ホーム アプリについて ダウンロード サブスクリプション よくある質問 使い方 ユーザーページ プロモーション お問い合わせ English

目次

ここから始めましょう

使い方:

  1. Webcam Motion CaptureとWebcam Motion Receiverの２つのウィンドウが起動していることを確認します。
  2. WebカメラがONになっていることを確認し、次に上半身がWebcam Motion Captureウィンドウの画面に映し出されていることを確認してください。
    - Webcam Motion CaptureウィンドウにWebカメラが表示されない場合は、よくある質問を参照してください。
  3. 手や指を動かしたり、頭を傾けたり、まばたきしてみましょう！
    - アバターがあなたの動作に応じて動いているはずです😊
    - おすすめの撮影環境もチェックしてみてください。
  4. 体フィルター、表情フィルター、口フィルターの値を調整しましょう。
    - 小さい値 ⇨ 反応速度が早くなるがノイズが乗りやすい。
    - 大きい値 ⇨ 反応速度が遅くなるがスムーズ。
    - (ヒント) 反応速度が十分に早い中で出来るだけ大きな値に設定してみるのがコツです。

動画を入力に使う方法

お使いのコンピュータでリアルタイムトラッキングがスムーズに動かない場合はこちらの方法をお試しください！
  1. まずはお手持ちのスマホ等で動画を撮影し、その動画をコンピュータに転送します。 （こちらのサンプル動画もテストにお使いいただけます。）
  2. Webcam Motion Captureウィンドウで動画入力を選択します。
  3. 入力タイプで新しい動画を選択。動画を開くをクリックし動画ファイルを選択します。
  4. 出力フォルダをクリックし、処理された後の動画の情報が出力されるフォルダを指定します。
  5. 動画を処理をクリックします。
    - 動画の処理が完了すると、処理された動画と再生アイコンが表示されます。
  6. 再生アイコンを押します。
    - アバターがあなたの動画に応じて動いているはずです!
  7. 体フィルター、表情フィルター、口フィルターの値を調整しましょう。
    - 小さい値 ⇨ 反応速度が早くなるがノイズが乗りやすい。
    - 大きい値 ⇨ 反応速度が遅くなるがスムーズ。
    - (ヒント) 反応速度が十分に早い中で出来るだけ大きな値に設定してみるのがコツです。

表情の設定

Webcam Motion Captureでは、表情（Blendshape）をコントロールする方法として3つの異なるモードがあります。

選択されたモードによって、それぞれ異なるデバイスで表情をコントロールします（表1）。

  1. 自動表情モード: 感情*1と口の形*2の両方を、顔トラッキングサンプルに基づいてWebカメラでコントロールします。
  2. 固定表情モード: 感情*1はキーボードで切り替えます。 口の形*2は顔トラッキングサンプルに基づいてWebカメラでコントロールします。
  3. パーフェクトシンクモード: すべての表情をスマホアプリでコントロールします。 このオプションはアバターが対応している場合にのみ表示されます（詳細はスマホアプリの設定を参照）。

表１. 各モードで表情（感情と口の形）をコントロールするデバイス

モード 表情
感情*1 口の形*2
1. 自動表情 Webカメラ Webカメラ
2. 固定表情 キーボード Webカメラ
3. パーフェクトシンク スマホアプリ
  • *1: Fun, Surprised, Sad等。*2: A, I, U, E, O。

モードの切り替え

初期設定では、自動表情モードが有効になっています。

F1, F2, F3等のキー(図1(B))を使用すると、固定表情モードに切り替わり、それぞれ割り当てられた感情が有効になります。 自動表情モードに戻すには、キーボードのaキー(図1(A))を使用します。

これらの事前に割り当てられたキーは変更することができます。

固定表情モードでは、対応するドロップダウンメニューからそれぞれのキーに対応する感情を変更できます (図1(C)).

図1

顔トラッキングサンプル

感情や口の形をWebカメラでコントロールする場合、アバターの表情はWebカメラに映るユーザーの表情と選択されたサンプルセットに登録された顔トラッキングサンプルに基づいて自動的に決定されます。

図2

  1. ドロップダウンメニュー(図2(A)）から『プリセット』または『カスタム』サンプルセットを選択します。
    各サンプルセットには以下の表情が入っています：
    • Neutral (図2(B))
    • 5つの口の形 (図2(C))
      • "A", "I", "U", "E", "O"
    • 4つの感情表情 (図2(D))
      • お使いのアバターに設定されている感情表情("FUN", "SURPRISED", 等) から、お好みの4つの表情（blendshape）をドロップダウンメニュー (図2(E))から選択してください。
  2. プリセットを選択した場合：
    - アバターの各表情に対して、デフォルトで登録されている表情が表示されます(図2(F))。
    - サンプル自体を無効にすることもできます (図2(G))。また感情表情では、まばたきを有効にするかどうか、口の形をのせるかどうかを選択することができます (図2(H))
    カスタムを選択した場合：
    - アバターの各表情に対して、以下の手順でオリジナルの表情(図2(F))を登録することができます。
    1. ウェブカメラが有効になっていることを確認し、『サンプルを更新』ボタン(図2(I))を押します。
    2. 現在の表情がリアルタイムで顔モデルに反映されます。
    3. 登録したい表情を作り、『登録』ボタンを押します。
      - 『リセット』ボタン(図2(J))を押すと、登録した表情を削除してデフォルトの表情に戻すことができます。
    ヒント: すべての表情はNeutralからの差分として認識されるので、Neutralにはいつもの普段通りの表情を登録することをお勧めします。

アニメーションの設定

フェイストラッキングやハンドトラッキングと、あらかじめ作成したアニメーションを組み合わせてキャラクターを動かすことができます。 アニメーションは、次のボーンを除くすべてのボーンに適用されます。
手が見えている場合:
Head*1 / 体の回転を適用するボーン*1*2 / Upper Arms / Lower Arms / Hands / Fingers
手が見えていない場合:
Head*1 / 体の回転を適用するボーン*1*2
  • *1 『トラッキングの詳細設定』から対応するトラッキングを無効にすることで、『Head』や『体の回転を適用するボーン』にもアニメーションを適用することができます。
  • *2 体の回転を適用するボーンは『トラッキングの詳細設定』から『Spine』『Chest』『Upper Chest』のいずれかを選択できます。
  1. Webcam Motion Receiverウィンドウの右上にある『アニメーションを使う』にチェックマークを入れます。
  2. 『プリセット』アニメーション、または『カスタム』アニメーションを選択します。
    プリセットを選択した場合:
    下のドロップダウンメニューからお好みのプリセットアニメーションを選択します。
    カスタムを選択した場合:
    FBXファイルに保存されたアニメーションデータを『アニメーションを開く』ボタンから読み込むことができます。アニメーションファイルは以下のいずれかの方法で取得できます。
    1. Mixamoからお好みのアニメーションデータを無料でダウンロードできます。 2500以上あるすべてのアニメーションデータは商用利用においてもロイヤリティフリーで使用できます。
    2. オリジナルのアニメーションをBlenderなどのCGソフトウェアで作成し、FBXファイル形式でエクスポートします。
      • 編集中やエクスポートの際にボーンの名前は変更しないでください。
      • BlenderでVRMファイルを編集するにはVRM Add-on for Blenderをインストールする必要があります。
またメインアニメーションだけでなく、５つまでサブアニメーションを同様の方法で設定することができ、指定されたキーでアニメーションを切り替えることができます。

スマホアプリの設定

iPhone/iPad (iOS 13.0以降)をお持ちの場合、 スマホアプリのフェイストラッキング機能を使って、 より豊かにアバターの表情をコントロールすることができます！ (Android対応のアプリもあります。)

waidayo

  1. パーフェクトシンク に対応したVRMモデルを準備します。
    • デフォルトで表示されるアバターはパーフェクトシンクに対応しているので、まずはこのアバターでテストすることができます。 (こちらからダウンロードできます。)
  2. iPhone/iPadでwaidayoを起動します。
  3. こちら にしたがってiPhone/iPadにアバターを転送します。
  4. こちら にしたがってiPhone/iPad上のwaidayoとWindows/Mac上のwaidayo for PCを連動させます。
    • 連動していることが確認出来たら、waidayo for PCは閉じていただいて構いません。
  5. Webcam Motion Captureを起動し、Webcam Motion Receiverウィンドウ内の表情の設定をクリックします。 表情の設定が開いたら、スマホアプリで表情トラッキングにチェックを入れます。 (こちらの画像を参照。このオプションが表示されない場合は、お使いのアバターはパーフェクトシンクに対応していません。)
  6. フェイストラッキングによりアバターの表情がコントロールできているはずです!
    • 試しに頬を膨らませたり、舌を出したりしてみましょう。

Facemotion3d, iFacialMocap, MeowFace (Android)

  1. パーフェクトシンク に対応したVRMモデルを準備します。
    • デフォルトで表示されるアバターはパーフェクトシンクに対応しているので、まずはこのアバターでテストすることができます。 (こちらからダウンロードできます。)
  2. コンピュータとスマートフォンが同じWiFiに接続されていることを確認します。
  3. スマホでアプリ（Facemotion3d/iFacialMocap/MeowFace）を開きます。
  4. Webcam Motion Receiverウィンドウ内の表情の設定をクリックします。 表情の設定が開いたら、スマホアプリで表情トラッキングにチェックを入れます。 (こちらの画像を参照。このオプションが表示されない場合は、お使いのアバターはパーフェクトシンクに対応していません。)
    • 対応するアプリをその下のメニューから選択すると自動的に接続します。自動的に接続しない場合は、アプリ選択メニューの下にあるIPアドレスにスマホのIPアドレスを入力し、接続ボタンを押してください*。
  5. フェイストラッキングによりアバターの表情がコントロールできているはずです!
    • 試しに頬を膨らませたり、舌を出したりしてみましょう。

* IPアドレスを直接指定しても接続しない場合、ファイアウォールにより通信がブロックされている可能性があります。

こちらを参考に『受信の規則』を開いてください。 『受信の規則』から『webcam motion receiver.exe』を見つけてダブルクリックし、『webcam motion receiver.exeのプロパティ』を開きます。 『操作』のセクションで『接続を許可する』を選択してください。

お問い合わせ

E-mail: contact@webcammotioncapture.info
E-mail: contact@webcammotioncapture.info
ＫＷＣＬ株式会社
東京都多摩市落合１ー４６ー１ココリア多摩センター７階
ＫＷＣＬ株式会社
東京都多摩市落合１ー４６ー１ココリア多摩センター７階