動画を入力に使う方法

お使いのコンピュータでリアルタイムトラッキングがスムーズに動かない場合はこちらの方法をお試しください！

1. まずはお手持ちのスマホ等で動画を撮影し、その動画をコンピュータに転送します。 （こちらのサンプル動画もテストにお使いいただけます。）

2. Webcam Motion Captureウィンドウで動画入力を選択します。

3. 入力タイプで新しい動画を選択。動画を開くをクリックし動画ファイルを選択します。

4. 出力フォルダをクリックし、処理された後の動画の情報が出力されるフォルダを指定します。

5. 動画を処理をクリックします。

   - 動画の処理が完了すると、処理された動画と再生アイコンが表示されます。

6. 再生アイコンを押します。

   - アバターが入力動画に応じて動いていることを確認してください^*。

* 再生速度が入力動画と一致していない場合は、Webcam Motion Captureウィンドウメニューから環境設定を開き、再生設定を選択します。 動画のFPSが初期値では29.97になっているので、入力動画のFPSをこちらに入力してOKボタンを押してから、もう一度再生してみてください。

7. 体フィルター、口フィルター、まばたきフィルター、表情フィルターの値を調整しましょう。

   - 小さい値 ⇨ 反応速度が早くなるがノイズが乗りやすい。

   - 大きい値 ⇨ 反応速度が遅くなるがスムーズ。

   - (ヒント) 反応速度が十分に早い中で出来るだけ大きな値に設定してみるのがコツです。

8. Webcam Motion Captureを配信に使用したり、動画ファイルに保存する方法についてはOBS Studioの設定に進んでください。

表情の設定

表情の切り替え

図1

表情はキーボードで切り替えることができます。

初期設定では自動表情が有効になっています。 F1, F2, F3等のキー(図1(B))を使用すると、対応する感情(Neutral, Fun, Angry等)が有効になります。 自動表情に戻すには、キーボードのaキー(図1(A))を使用します。

• これらの事前に割り当てられたキーは変更することができます。
• 割り当てキーの横のチェックボックスにチェックを入れると、キーが押されている間だけ対応する感情が有効になります。
• それぞれのキーに割り当てられている感情は、対応するドロップダウンメニューから変更できます (図1(C))。
• 初期設定では、一つの感情を有効にすると他の感情は無効になりますが、表情に重ね合わせ (図1(D))にチェックを入れると、対応する感情は現在有効になっている感情の上に重ね合わせて適用されます。

自動表情が有効な場合、すべての表情はWebカメラでのトラッキングでコントロールされます。 その他の表情が有効な場合は、口の動きとまばたきのみ、Webカメラでのトラッキングでコントロールされます。

自動表情 / 口の動きの設定

表情や口の形、まばたきをWebカメラでコントロールする方法として、顔トラッキングサンプルかパーフェクトシンクのどちらかのモードを選択します（図2）。

1. 顔トラッキングサンプル: アバターの表情は、Webカメラに映るユーザーの表情と選択されたサンプルセットに登録された顔トラッキングサンプルを比較して自動的に決定されます。

2. パーフェクトシンク: AIを用いたトラッキングになります。各顔のパーツ（まゆげ、目、口の形など）を個別にトラックして、アバターの対応する顔のパーツに反映させます。

図2

A. 顔トラッキングサンプル

図3

顔トラッキングサンプルは以下の方法で設定できます。

1. ドロップダウンメニュー(図3(A)）から『プリセット』または『カスタム』サンプルセットを選択します。

   • 各サンプルセットには以下の表情が入っています：

   • Neutral (図3(B))
   • 5つの口の形 (図3(C))
   • "A", "I", "U", "E", "O"
   • 4つの感情表情 (図3(D))
   • お使いのアバターに設定されている感情表情("FUN", "SURPRISED", 等) から、お好みの4つの表情（blendshape）をドロップダウンメニュー (図3(E))から選択してください。

   • サンプル自体を無効にすることもできます (図3(G))。また感情表情では、まばたきを有効にするかどうか、口の形をのせるかどうかを選択することができます (図3(H))

2. プリセットを選択した場合：

   - アバターの各表情に対して、デフォルトで登録されている表情が表示されます(図3(F))。

   カスタムを選択した場合：

   - アバターの各表情に対して、以下の手順でオリジナルの表情(図3(F))を登録することができます。

   1. ウェブカメラが有効になっていることを確認し、『サンプルを更新』ボタン(図3(I))を押します。

   2. 現在の表情がリアルタイムで顔モデルに反映されます。

   3. 登録したい表情を作り、『登録』ボタンを押します。

      - 『リセット』ボタン(図3(J))を押すと、登録した表情を削除してデフォルトの表情に戻すことができます。

   ヒント: すべての表情はNeutralからの差分として認識されるので、Neutralにはいつもの普段通りの表情を登録することをお勧めします。

B. パーフェクトシンク

パーフェクトシンクは各顔のパーツ（まゆげ、目、口の形など）を個別にトラッキングします。 トラック対象の顔のパーツは、Apple iOSのARプラットフォームであるARKitで設定されている BlendShapeLocationに対応します。

1. ARKitで設定されている52の顔パーツをすべて使用する必要がない場合は、Webカメラを用いたパーフェクトシンクがおすすめです。 この場合お使いのアバターがパーフェクトシンクに対応している必要はありません。
2. Webカメラを用いたパーフェクトシンクで対応していない顔パーツを使用したい場合は、スマホアプリを利用する必要があります。 このオプションはお使いのアバターがパーフェクトシンクに対応している場合のみ使用可能です。 詳細はスマホアプリの設定を参照してください。

Webカメラを用いたパーフェクトシンクの設定

図4

• 入力BLENDSHAPE (図(B))には、Webカメラを用いたパーフェクトシンクでトラック可能な顔のパーツ(BlendShapeLocation)が表示されます。
• 入力値 (図4 (C))にはそれぞれの顔のパーツに対する値がリアルタイムに表示されます。 この値はWebカメラに映っているユーザーの表情からAIが自動的に推定したものに、入力倍率を掛け合わせたものになります(図4 (D))。
• 入力倍率が1.0の場合は、自動的に推定された値がそのまま入力値として使われます。入力倍率を利用すると、その効果を強めたり弱めたりできます。
• 入力値はアバターの出力BLENDSHAPE (図4 (E))に適用されます。
• お使いのアバターがパーフェクトシンクに対応している場合は、そのまま対応するBlendshapeが固定で設定されます。
• お使いのアバターがパーフェクトシンクには対応していないが、VRoid Studioで作成されたものである場合は、 適切なBlendshapeがデフォルトで設定されます。(こちらのBlendshapeは必要に応じて変更可能です。)
• お使いのアバターがパーフェクトシンクに未対応かつVRoid Studioで作成されたものでない場合は、それぞれの顔のパーツにお好みのBlendshapeを手動で設定してください。
• また特定の顔のパーツを利用したくない場合は、出力BLENDSHAPEにNoneを設定してください。
• ゼロ校正ボタンを押すと、現在の入力値を0にセットすることができます。（リセットボタンで初期状態に戻すことができます。）(図4 (A)).

スマホアプリの設定

iPhone/iPad (iOS 13.0以降)をお持ちの場合、 スマホアプリのフェイストラッキング機能を使って、 より豊かにアバターの表情をコントロールすることができます！ (Android対応のアプリもあります。)

waidayo

1. パーフェクトシンク に対応したVRMモデルを準備します。

   • デフォルトで表示されるアバターはパーフェクトシンクに対応しているので、まずはこのアバターでテストすることができます。 (こちらからダウンロードできます。)

2. iPhone/iPadでwaidayoを起動します。

3. こちら にしたがってiPhone/iPadにアバターを転送します。

4. こちら にしたがってiPhone/iPad上のwaidayoとWindows/Mac上のwaidayo for PCを連動させます。

   • 連動していることが確認出来たら、waidayo for PCは閉じていただいて構いません。

5. Webcam Motion Captureを起動し、Webcam Motion Receiverウィンドウ内の表情の設定をクリックします。 表情の設定が開いたら、トラッキングモードの選択でパーフェクトシンクを選び、トラッキング方法でスマホアプリにチェックを入れます。 (こちらの画像を参照。このオプションが表示されない場合は、お使いのアバターはパーフェクトシンクに対応していません。)

6. フェイストラッキングによりアバターの表情がコントロールできているはずです!

   • 試しに頬を膨らませたり、舌を出したりしてみましょう。

Facemotion3d, iFacialMocap, MeowFace (Android)

1. パーフェクトシンク に対応したVRMモデルを準備します。

   • デフォルトで表示されるアバターはパーフェクトシンクに対応しているので、まずはこのアバターでテストすることができます。 (こちらからダウンロードできます。)

2. コンピュータとスマートフォンが同じWiFiに接続されていることを確認します。

3. スマホでアプリ（Facemotion3d/iFacialMocap/MeowFace）を開きます。

4. Webcam Motion Receiverウィンドウ内の表情の設定をクリックします。 表情の設定が開いたら、トラッキングモードの選択でパーフェクトシンクを選び、トラッキング方法でスマホアプリにチェックを入れます。 (こちらの画像を参照。このオプションが表示されない場合は、お使いのアバターはパーフェクトシンクに対応していません。)

   • 対応するアプリをその下のメニューから選択すると自動的に接続します。自動的に接続しない場合は、アプリ選択メニューの下にあるIPアドレスにスマホのIPアドレスを入力し、接続ボタンを押してください^*。

5. フェイストラッキングによりアバターの表情がコントロールできているはずです!

   • 試しに頬を膨らませたり、舌を出したりしてみましょう。