身体運動・聴覚・視覚を利用したDJ体験の提案 ~マルチモーダルDJ~
こんにちは。白川弥生です。
皆さんはクラブに行ったことがありますか? 僕は音楽がとても好きで、「2020年はクラブに是非とも行ってみたい！」と思っていましたが、昨今の感染症状況下で行くことが困難になってしまっています。
ですが、大学のある講義でグループメンバーと共にクラブに行かずとしても自分で簡単にDJをプレイしながら楽しめるシステムのプロトタイプを制作しました！今回はその紹介です。
プロジェクトの位置付け
講義で扱った「現実と現実感」、「リアリティを設計する」というテーマをベースとして音楽と映像を身体的な運動によって直感的に変化させることのできるDJ・VJシステムのプロトタイプを制作した。
本システムは文献[1]が定義する「音楽表現システム」の「即興的な音楽表現」に該当し、創意の発揮を可能にさせるだけでなく、DJやVJの基本的な行い方を習得することが可能になる。また、もともとDJやVJに熟達していることも必要ではなく未経験であっても十分楽しむことのできるように設計した。また、文献[1]では音楽を構成する最小単位として「ループ」と呼ばれる楽曲断片とすると入力以上に複雑な音声が構成され直感性に欠けると指摘しているが、本システムでは身体運動と音声エフェクタ・映像エフェクタを1対1に対応させることでその点を克服した。
文献[2]では身体運動に応じて聴覚や視覚が変化することでより没入的な体験ができると論じられている。この効果を利用することで、身体運動によって変化した音声情報を視覚化し、視覚にも変化を加えることで新しい音楽体験を提供できるシステムとなった。
また、昨今の感染症状況下においては、クラブなどの施設を用いたDJ・VJイベントの開催が困難になっているが、本システムとVRSNSを用いることで同様の体験を多くのユーザーに届けることが可能になる。(今後の展望で詳しく記述。)
体験の概要
本システムは身体運動と音声エフェクタ・映像エフェクタを連携させることにより直感的な操作可能なDJ・VJ体験を提供することを目的とした。グループ1にはDJ・VJに関する体験をしたことがあるメンバーは含まれていなかった。また、DJ・VJに挑戦することについては「機器の操作に慣れておらず難しそう」という理由で敷居が高いものと考えていた。そのため、本システムでは未熟達者でも楽しむことのできるシステムの構成を目指した。また、実装にはDERIVATIVE社のノードプログラミング環境TOUCHDESIGNERを用いた。
システム構成
図 1 システム構成
図1は本システムの構成図である。まず、手の位置や角度を求めるために、Oculus Touchの位置・角度・速度情報を計測する。計測されたデータをオーディオエフェクター・ビデオエフェクターに渡し、入力されている音声ファイルに対してフィルタや再生速度変更などのエフェクトを適用する。適用された音声情報をオーディオビジュアライザに適用し映像情報を生成する。その映像情報に対して、ビデオエフェクトに渡された左手の角度情報をもとに、ノイズ・色調変化を加えたものをHMD及びモニターに出力する。
使用機器
Oculus Touch
ヘッドマウントディスプレイOculus Rift Sの専用コントローラーで、内部に搭載されたセンサーによって角度・速度・角速度、さらにHMD本体との距離を計測することが可能である。
Oculus Rift S
TOUCHDESIGNERで出力された映像を出力するためのヘッドマウントディスプレイ。今回はVR映像ではなく、平面的な映像を出力している。Oculus Questでも動作することをメンバーが確認している。
音声エフェクタの説明と操作方法
図2 Oculus Touch
音声フィルタ
特定周波数の音声を取り除いたり、弱めたりすることのできる音声エフェクタ。DJプレイでは楽曲のビルドアップや、楽曲同士のつなぎ目で使われることが多いエフェクタである。本システムには低周波数を弱めるハイパス・フィルタ(HPF)と高周波数を弱めるローパス・フィルタ(LPF)を採用している。操作方法として、右手首の角度を時計回りに回転させることで、LPHのCutoff値を下げ、反時計回りに回転させることでHPFのCutoff値を上がるように設定した。(図2の矢印方向を回転軸とする)
効果音再生
DJプレイで見られるスクラッチのプレイを再現したものになる。図2の矢印方向の速度が一定以上になるとスクラッチ音を再生する。
再生速度の変更
音声ファイルの再生速度を変更することのできる音声エフェクタ。操作方法として、右手を高く上げると再生速度は速くなり、下げると再生速度を遅くなるように設定した。手の高さはHMDとOculus Touchの距離から計測し算出したものになる。
オーディオビジュアライザと映像エフェクタ
図3 オーディオビジュアライザ
オーディオビジュアライザ
図4の上のグラフ画像のように音声情報の角周波数成分の強度をグラフで描画し、その情報をもとに、ノイズやカラーランプを用いて左下の3Dオブジェクトに対し変形・色調変化を加える。その結果として得られた右下の3Dオブジェクトの映像情報を映像エフェクタに渡す。
映像エフェクタ
オーディオビジュアライザによって得られた映像を左手の角度情報を用いてノイズ・色調変化の処理を行う。(デモ映像を参照) これによって得られた映像をHMDおよびモニターに出力する。
エフェクタについての補足
手の角度や位置を厳密に特定の位置に固定することは、手の振動などを考えると不可能であると考えられる。そのため各エフェクタにはエフェクタが適用されない閾値を用意した。エフェクトを適用する領域では、DJプレイでは連続的に音楽が変化することが求められることから量子化せず、身体運動に伴って連続的にエフェクタが適用されるように設定した。
今後の展望
より快適で本格的なDJ・VJシステムの構築
本システムではDJにおいて最も重要である楽曲を連続的に繋げる操作の実装がされなかった。また、閾値は設定しているものの、角度や距離に対してエフェクタの応答が線形であるため、必ずしも使いやすいわけではない。これらの点を改善することでより快適で本格的なDJシステムを構築することができると考えられる。
ARアプリとしての展開
視野角の広いカメラをHMDに搭載し、そのカメラによって得られた物理世界の映像に投影することで、体勢感覚と視覚を統合するさらなるクロスモーダルを実現することができると考えられる。
VRSNSにおけるイベント
前述した通り、現在の感染症状況下においてはクラブなどのイベント会場に集まることが困難である。しかし、VRChatやNeos VR、clusterなどVRSNSのプラットフォームを用いることで本格的なDJイベントの開催が行えることが考えられる。
本システムではオーディオビジュアライザと映像エフェクタを実装したが、オーディオビジュアライザの代わりに音声情報とワールド内の照明やオブジェクトを連携させ、映像エフェクタの代わりに、それらを操作することができるようにすることでDJシステムの体験者、イベントの参加者がいるワールドを聴覚に合わせて変化させることで、より没入感のある音楽体験を提供することができる。照明などであれば物理世界でも可能だが、パーティクルなどを用いれば物理世界では実現できない視覚的変化を与えることができる。
また、物理世界のDJイベントでは聴衆の楽曲に対する反応を見て、その後のDJプレイにフィードバックを行うが、これはVRSNSでも可能であり、例えばVRChatのリアクション機能を用いることが考えられる。リアクション機能とはワールドの参加者が声に出さずとも絵文字を頭上に提示することで今の気持ちを表現することのできるシステムであり、実際VRChat内での多くのイベントでも使われている。類似機能はclusterにも存在しVRSNSには多く見られる機能の1つである。これを用いることでイベント参加者のツボを押さえたDJプレイを行うことが可能になる。
その他補足
本システムは最後に書いたようにVRSNSでの展開が期待され、特にTOUCHDESIGNERと近いノードプログラミングがVR空間で可能なNeos VRでの展開に期待している。
また、TOUCHDESGNERは機能を各メンバーに分担して作成してもらい、その後に統合することが他のプログラミング環境よりも容易であると感じた。
参考文献
[1] 橋田朋子, 苗村健, & 佐藤隆夫. (2008). 技法習得を伴う創意発揮: 即興的音楽表現支援の試み. 芸術科学会論文誌, 7(2), 75-84.
[2] 内山俊朗, 京谷実穂, and 中森志穂. "音によるフィードバックのタイミングが操作パフォーマンスに与える影響." 日本感性工学会論文誌 8.3 (2009): 749-758.
オーディオビジュアライザの制作の際に参考にした動画
How to make spectrum shape audiovisual using feeback in Touchdesigner (터치디자이너 튜토리얼 자막)
https://www.youtube.com/watch?v=jf718jbSoTU
