バーチャルYoutuberのはじめ方④

Vtuberをやるにはモデリングだけではなく、モデルに動きをつけることを考えないといけません。今日はそのお話をします。

モーションキャプチャー

モーションキャプチャーというのは現実の人間の動きを記録してデジタルデータに変換する、Vtuberには必要不可欠な技術です。最近ではHTC Vive やOculus RiftなどのHMDシステムを使って実現する例が多いですね。ただ、それらのシステムは結構なお値段がかかります。

私の場合、とにかく費用を少なく抑えたかったのでKinectを使うことにしました。KinectはXbox 360というコンシューマーゲーム機のオプション機器で、別売りのWindows用アダプタとWindows用SDKを使えばPCでもモーションキャプチャーができるようになります。

Kinectを使ってCinema4Dで作ったモデルを動かす方法はいくつかありますが確立したノウハウが少なく、そこから試行錯誤が始まりました。

はじめてのCinema 4D 改訂第2版 3DCGの基本からMoGraph、キャラクターモデリングまで学べる

田村誠,コンノヒロム,宮田敏英 ビー・エヌ・エヌ新社 2018-12-14 売り上げランキング : 38637 Amazon 楽天市場 Yahooショッピング 7net Wowma 価格.com by カエレバ

まず、Cinema4D 上でKinectを使う方法を試しました。

OpenNIというKinect用のドライバソフトをWindowsに導入し、KinectでCinema4Dのジョイントを動かすPlug-Inを入れるのですが、まず、OpenNIを入れる時点で躓いてしまいました。OpenNIをインストールしてもKinectを認識してくれないのです。色々やってみましたがどうしてもダメだったのでこの方法は断念しました。

そのあと試したのはMMDでした。実はMMDでkinectはデフォルトで使えるのでモデルを動かすのは簡単でした。ネット上で無償提供されていたモデルを使い、初めてモーションキャプチャーできたときは感動しました。

ただ、Cinema4DからMMDへのリグの出力がうまくいかなくてこの方式も断念しました。

そのあとはLiveAnimationなども試してみましたが最終的にはCinema4Dからfbxモデルを書き出し→Unityでモーションキャプチャーという方法に落ち着きました。

UnityはCinema4Dから書き出したfbxを普通に読み込んでくれて、またそのfbxをCinema4Dで開いて修正することも可能なので、この方式が最適でした。また、動画の出力やリアルタイムでの出力も比較的簡単なのでこの方式でやることにしました。

ここへ至るまでに約2か月。3月も半ばごろだったと思います。

（続く）