身体運動・聴覚・視覚を利用したDJ体験の提案 ~マルチモーダルDJ~
こんにちは。白川弥生です。
皆さんはクラブに行ったことがありますか? 僕は音楽がとても好きで、「2020年はクラブに是非とも行ってみたい！」と思っていましたが、昨今の感染症状況下で行くことが困難になってしまっています。
ですが、大学のある講義でグループメンバーと共にクラブに行かずとしても自分で簡単にDJをプレイしながら楽しめるシステムのプロトタイプを制作しました！今回はその紹介です。
プロジェクトの位置付け
講義で扱った「現実と現実感」、「リアリティを設計する」というテーマをベースとして音楽と映像を身体的な運動によって直感的に変化させることのできるDJ・VJシステムのプロトタイプを制作した。
本システムは文献[1]が定義する「音楽表現システム」の「即興的な音楽表現」に該当し、創意の発揮を可能にさせるだけでなく、DJやVJの基本的な行い方を習得することが可能になる。また、もともとDJやVJに熟達していることも必要ではなく未経験であっても十分楽しむことのできるように設計した。また、文献[1]では音楽を構成する最小単位として「ループ」と呼ばれる楽曲断片とすると入力以上に複雑な音声が構成され直感性に欠けると指摘しているが、本システムでは身体運動と音声エフェクタ・映像エフェクタを1対1に対応させることでその点を克服した。
文献[2]では身体運動に応じて聴覚や視覚が変化することでより没入的な体験ができると論じられている。この効果を利用することで、身体運動によって変化した音声情報を視覚化し、視覚にも変化を加えることで新しい音楽体験を提供できるシステムとなった。
また、昨今の感染症状況下においては、クラブなどの施設を用いたDJ・VJイベントの開催が困難になっているが、本システムとVRSNSを用いることで同様の体験を多くのユーザーに届けることが可能になる。(今後の展望で詳しく記述。)
体験の概要
本システムは身体運動と音声エフェクタ・映像エフェクタを連携させることにより直感的な操作可能なDJ・VJ体験を提供することを目的とした。グループ1にはDJ・VJに関する体験をしたことがあるメンバーは含まれていなかった。また、DJ・VJに挑戦することについては「機器の操作に慣れておらず難しそう」という理由で敷居が高いものと考えていた。そのため、本システムでは未熟達者でも楽しむことのできるシステムの構成を目指した。また、実装にはDERIVATIVE社のノードプログラミング環境TOUCHDESIGNERを用いた。
システム構成
図 1 システム構成
図1は本システムの構成図である。まず、手の位置や角度を求めるために、Oculus Touchの位置・角度・速度情報を計測する。計測されたデータをオーディオエフェクター・ビデオエフェクターに渡し、入力されている音声ファイルに対してフィルタや再生速度変更などのエフェクトを適用する。適用された音声情報をオーディオビジュアライザに適用し映像情報を生成する。その映像情報に対して、ビデオエフェクトに渡された左手の角度情報をもとに、ノイズ・色調変化を加えたものをHMD及びモニターに出力する。
使用機器
Oculus Touch
ヘッドマウントディスプレイOculus Rift Sの専用コントローラーで、内部に搭載されたセンサーによって角度・速度・角速度、さらにHMD本体との距離を計測することが可能である。
Oculus Rift S
TOUCHDESIGNERで出力された映像を出力するためのヘッドマウントディスプレイ。今回はVR映像ではなく、平面的な映像を出力している。Oculus Questでも動作することをメンバーが確認している。
音声エフェクタの説明と操作方法
図2 Oculus Touch
音声フィルタ
特定周波数の音声を取り除いたり、弱めたりすることのできる音声エフェクタ。DJプレイでは楽曲のビルドアップや、楽曲同士のつなぎ目で使われることが多いエフェクタである。本システムには低周波数を弱めるハイパス・フィルタ(HPF)と高周波数を弱めるローパス・フィルタ(LPF)を採用している。操作方法として、右手首の角度を時計回りに回転させることで、LPHのCutoff値を下げ、反時計回りに回転させることでHPFのCutoff値を上がるように設定した。(図2の矢印方向を回転軸とする)
効果音再生
DJプレイで見られるスクラッチのプレイを再現したものになる。図2の矢印方向の速度が一定以上になるとスクラッチ音を再生する。
再生速度の変更
音声ファイルの再生速度を変更することのできる音声エフェクタ。操作方法として、右手を高く上げると再生速度は速くなり、下げると再生速度を遅くなるように設定した。手の高さはHMDとOculus Touchの距離から計測し算出したものになる。
オーディオビジュアライザと映像エフェクタ
図3 オーディオビジュアライザ
オーディオビジュアライザ
図4の上のグラフ画像のように音声情報の角周波数成分の強度をグラフで描画し、その情報をもとに、ノイズやカラーランプを用いて左下の3Dオブジェクトに対し変形・色調変化を加える。その結果として得られた右下の3Dオブジェクトの映像情報を映像エフェクタに渡す。
映像エフェクタ
オーディオビジュアライザによって得られた映像を左手の角度情報を用いてノイズ・色調変化の処理を行う。(デモ映像を参照) これによって得られた映像をHMDおよびモニターに出力する。
エフェクタについての補足
手の角度や位置を厳密に特定の位置に固定することは、手の振動などを考えると不可能であると考えられる。そのため各エフェクタにはエフェクタが適用されない閾値を用意した。エフェクトを適用する領域では、DJプレイでは連続的に音楽が変化することが求められることから量子化せず、身体運動に伴って連続的にエフェクタが適用されるように設定した。
今後の展望
より快適で本格的なDJ・VJシステムの構築
本システムではDJにおいて最も重要である楽曲を連続的に繋げる操作の実装がされなかった。また、閾値は設定しているものの、角度や距離に対してエフェクタの応答が線形であるため、必ずしも使いやすいわけではない。これらの点を改善することでより快適で本格的なDJシステムを構築することができると考えられる。
ARアプリとしての展開
視野角の広いカメラをHMDに搭載し、そのカメラによって得られた物理世界の映像に投影することで、体勢感覚と視覚を統合するさらなるクロスモーダルを実現することができると考えられる。
VRSNSにおけるイベント
前述した通り、現在の感染症状況下においてはクラブなどのイベント会場に集まることが困難である。しかし、VRChatやNeos VR、clusterなどVRSNSのプラットフォームを用いることで本格的なDJイベントの開催が行えることが考えられる。
本システムではオーディオビジュアライザと映像エフェクタを実装したが、オーディオビジュアライザの代わりに音声情報とワールド内の照明やオブジェクトを連携させ、映像エフェクタの代わりに、それらを操作することができるようにすることでDJシステムの体験者、イベントの参加者がいるワールドを聴覚に合わせて変化させることで、より没入感のある音楽体験を提供することができる。照明などであれば物理世界でも可能だが、パーティクルなどを用いれば物理世界では実現できない視覚的変化を与えることができる。
また、物理世界のDJイベントでは聴衆の楽曲に対する反応を見て、その後のDJプレイにフィードバックを行うが、これはVRSNSでも可能であり、例えばVRChatのリアクション機能を用いることが考えられる。リアクション機能とはワールドの参加者が声に出さずとも絵文字を頭上に提示することで今の気持ちを表現することのできるシステムであり、実際VRChat内での多くのイベントでも使われている。類似機能はclusterにも存在しVRSNSには多く見られる機能の1つである。これを用いることでイベント参加者のツボを押さえたDJプレイを行うことが可能になる。
その他補足
本システムは最後に書いたようにVRSNSでの展開が期待され、特にTOUCHDESIGNERと近いノードプログラミングがVR空間で可能なNeos VRでの展開に期待している。
また、TOUCHDESGNERは機能を各メンバーに分担して作成してもらい、その後に統合することが他のプログラミング環境よりも容易であると感じた。
参考文献
[1] 橋田朋子, 苗村健, & 佐藤隆夫. (2008). 技法習得を伴う創意発揮: 即興的音楽表現支援の試み. 芸術科学会論文誌, 7(2), 75-84.
[2] 内山俊朗, 京谷実穂, and 中森志穂. "音によるフィードバックのタイミングが操作パフォーマンスに与える影響." 日本感性工学会論文誌 8.3 (2009): 749-758.
オーディオビジュアライザの制作の際に参考にした動画
How to make spectrum shape audiovisual using feeback in Touchdesigner (터치디자이너 튜토리얼 자막)
https://www.youtube.com/watch?v=jf718jbSoTU
VRChatオススメワールド5選
前書き
本記事は東大ぱてゼミAdvend Calendarの10日目の記事です。
VRChatとは
皆さんはVRChatというものを知っていますか？
VRChat(以下VRC)とは、VR空間内にアバターでログインし、多人数コミュニケーションができるソーシャルVRアプリです。フレンドと雑談したりVRC内のゲームで遊んだり、ひとりでいろいろなワールドに遊びにいってみたりすることができます。また、毎日様々なワールドでユーザー主催のイベントが開かれていて、非常に賑わっています。
ソーシャルVRアプリと聞いて、多くの方は「VRゴーグル(HMD)を使うんでしょ？」と思うかもしれませんが、VRCに初めてログインした時点ではHMDを所持していませんでした。VRCはHMDを持っていなくても、モニターからでも楽しむことができるようになっています。
ところで、2020年12月現在、流行中の感染症のために人が集まるイベントを開催しづらくなっているのは周知の事実だと思います。
しかしながら2020年9月に開催されました第25回日本バーチャルリアリティ学会大会では一部のイベントをソーシャルVRプラットフォーム「cluster」を用いて開催されました。
また、筆者も頻繁に大学へ行くことが出来ていませんが、VRC内で友人と交流することができています。
discord等の音声・映像コミュニケーションツールには無い「実際に(virtualに)」会っているという感覚はソーシャルVRプラットフォームならではないかと思います。
このように、VR空間では様々な技術を用いることで時間と空間の束縛にされない活動が可能となっています。(時間の束縛については後述します。)
本記事では、8月にVRChatユーザーとなったばかりの筆者がオススメのワールド、その中でも他記事ではなかなか紹介されていないワールドを紹介したいと思います。
友達と楽しめるワールド
1. 3×3Riddles
製作者:BAHT氏
Quest対応:○
謎解き脱出ゲームが遊べるワールド。9つの謎に挑み、脱出することができるか！？
筆者は謎解き初心者でありますが、楽しく取り組むことができ、謎解きにも興味を持つきっかけとなりました。
1つの部屋に1つの謎が用意されていて、それを順番に解く形式となっています。
フレンドと一緒に行くも良し、ひとりで遊んでみるも良しのワールドです。
同製作者が製作された「MazeOFXWord3」もオススメの謎解きワールドなのでこちらもぜひ。
2. RESONARK-RhythmGame v1
製作者:septem47氏
Quest対応:○
音ゲーができるワールド。VRモードでは奥から飛んでくるノーツに「触れる」「ホールドする」「弾く」、そしてコントローラを近づけて「拍手する」ことで演奏を楽しむことができます。
デスクトップモードではキーボードを押して楽しむことができ、さらにデスクトップモードに最適化した形にステージが変化します。
収録されている楽曲はハイテンポのものが多く、音ゲーが大好きな人でもニッコリ。ノリノリで楽しむことができます。
技術が可能にする表現を楽しもう
3. Shader Fes 2019
シェーダーフェス2019の会場が12/14(土)～公開されます。100以上の展示を通じて身近で不思議なシェーダーたちをお楽しみください！
— Shader Fes 2019@VRChat (@ShaderFes) December 10, 2019
The world of Shader Fes 2019 will be open from 12/14 (Sat). Enjoy over 100 familiar and mysterious shader exhibits!#VRChat #ShaderFes pic.twitter.com/9z90LL7tQD
主催:momoma氏
Quest対応:×
様々なクリエイターによる100以上のシェーダー作品を展示しているワールドです。
科学館+美術館のような雰囲気があり、どこへ行ってもエモい。シェーダーで出来ることの奥深さを体験できます。このワールドに行くと自分もシェーダーを描いてみたいと思ってしまうかも知れないワールドです。
あとBGMもめちゃくちゃ良くて無限にここに居れます。
空間・時間に束縛されない
4. HIPPARCOS SALON
製作者:クワマイ,phi16,オノッチ,momoma,天野ステラ,アルベール,三田村綯夜 (敬称略)
Quest対応:○
目の前に広がる113,711個もの星の中を歩き回ることのできるワールド。まさに360度のプラネタリウムだ。天体観測が好きな人だったら何時間でも楽しめるワールドです。
星は、Join(ワールドに入る)時には静止しているが中央のスイッチに触れると回転をし始める。空を回り続ける星を見ていると、あっという間に時間が経っていきます。
このワールドでは、天文学に関連することも解説されている他、地球からの距離をはかるデバイスも用意されている。「天文学全くわからないぞ！」という人も一度来てみてはいかがでしょうか。
5. Miyakonojo Civic Center
菊竹清訓氏設計
— 龍 lilea (@lileaLab) July 19, 2020
解体となった旧｢都城市民会館｣をVR化しました。
地下から屋根裏まで､全ての部屋を巡れます。
空間＋時をアーカイブ。
"人と建築の記憶"に触れてみてください。#旧都城市民会館VR #VRAA02参加作品 pic.twitter.com/GN7hJNRY8O
製作:3D Digital Archive Project
Quest対応:×
フォトグラメトリ技術を活用し、宮崎県都城市に「あった」旧都城市民会館をVR空間に再現したワールドです。筆者はVR教育に興味がありますが、そのきっかけになったのはこのワールドでした。
旧都城市民会館は戦後日本を代表する建築家・菊竹清訓氏によって設計され、1966年の開館から約40年にわたって都城市の文化振興拠点として利用されてきました。
2019年7月の解体を目前にデジタルデータとして記録され、VR空間に再現されました。計測の方法やその様子については詳しく解説がされているのでぜひ目を通して欲しいです。
アーカイブを残した後の活用方法なども提案されています。このようにトークセッションや建物見学の会場として活用することで教育にも活かされる時代はもうすぐそこまで来ています。
建物入口では近くを車が走っているのか、外の音が聞こえてきます。
各所に都城市民会館の思い出を振り返る市民の投稿が設置されています。
もう既に存在しない建物だけれども、VRでいつでも戻れることを実感させてくれるワールドです。
どれもオススメのワールドです。VRCを始めたら是非行ってみてください！
