ホーム アプリについて ダウンロード サブスクリプション よくある質問 使い方 ユーザーページ プロモーション お問い合わせ English

目次

ここから始めましょう

使い方:

  1. Webcam Motion CaptureとWebcam Motion Receiverの２つのウィンドウが起動していることを確認します。
  2. WebカメラがONになっていることを確認し、次に上半身がWebcam Motion Captureウィンドウの画面に映し出されていることを確認してください。
    - Webcam Motion CaptureウィンドウにWebカメラが表示されない場合は、よくある質問を参照してください。
  3. 手や指を動かしたり、頭を傾けたり、まばたきしてみましょう！
    - アバターがあなたの動作に応じて動いているはずです😊
    - おすすめの撮影環境もチェックしてみてください。
  4. 体フィルター、口フィルター、まばたきフィルター、表情フィルターの値を調整しましょう。
    - 小さい値 ⇨ 反応速度が早くなるがノイズが乗りやすい。
    - 大きい値 ⇨ 反応速度が遅くなるがスムーズ。
    - (ヒント) 反応速度が十分に早い中で出来るだけ大きな値に設定してみるのがコツです。
  5. Webcam Motion Captureを配信に使用したり、動画ファイルに保存する方法についてはOBS Studioの設定に進んでください。

動画を入力に使う方法

お使いのコンピュータでリアルタイムトラッキングがスムーズに動かない場合はこちらの方法をお試しください！
  1. まずはお手持ちのスマホ等で動画を撮影し、その動画をコンピュータに転送します。 （こちらのサンプル動画もテストにお使いいただけます。）
  2. Webcam Motion Captureウィンドウで動画入力を選択します。
  3. 入力タイプで新しい動画を選択。動画を開くをクリックし動画ファイルを選択します。
  4. 出力フォルダをクリックし、処理された後の動画の情報が出力されるフォルダを指定します。
  5. 動画を処理をクリックします。
    - 動画の処理が完了すると、処理された動画と再生アイコンが表示されます。
  6. 再生アイコンを押します。
    - アバターがあなたの動画に応じて動いているはずです!
  7. 体フィルター、口フィルター、まばたきフィルター、表情フィルターの値を調整しましょう。
    - 小さい値 ⇨ 反応速度が早くなるがノイズが乗りやすい。
    - 大きい値 ⇨ 反応速度が遅くなるがスムーズ。
    - (ヒント) 反応速度が十分に早い中で出来るだけ大きな値に設定してみるのがコツです。
  8. Webcam Motion Captureを配信に使用したり、動画ファイルに保存する方法についてはOBS Studioの設定に進んでください。

OBS Studioの設定

Webcam Motion CaptureをYouTube等での配信に使用したり、動画ファイルに保存するには、OBS Studioの利用がおすすめです。 OBS Studioは無料で利用できる動画作成・生配信アプリです。

ここではOBS StudioにWebcam Motion Captureを設定する方法のみを説明します。OBS Studioの具体的な使い方については 外部サイトを参照してください。

Windows

Spout2を利用する方法(サブスクリプションの購入が必要)とゲームキャプチャを利用する方法があります。

A. Spout2

  1. obs-spout2-pluginをダウンロードし、インストールします。
  2. Webcam Motion Receiverウィンドウ内の下部にあるアプリの設定を開き、SPOUT2の使用を有効にします。
  3. OBSでソースにSpout2 Captureを設定します。
  4. Spout2 Captureの設定で、SpoutSendersにWebcam Motion Receiverを選択し、Composite modeにDefaultを選択します。
  5. 背景を透明にしたい場合は、Webcam Motion Receiverウィンドウ内の背景で透明を選択してください。

B. ゲームキャプチャ

  1. OBSでソースにゲームキャプチャを設定します。
  2. ゲームキャプチャの設定で、モードに特定のウィンドウをキャプチャを選択し、ウィンドウにWebcam Motion Receiverを選択します。
  3. 背景を透明にしたい場合は、ゲームキャプチャの設定で透過を許可にチェックを入れます。 Webcam Motion Receiverウィンドウ内の背景は透明を選択してください。

MacOS

サイフォンクライアントを利用する方法(サブスクリプションの購入が必要)とMacOS スクリーンキャプチャを利用する方法があります。

A. サイフォンクライアント

  1. Webcam Motion Receiverウィンドウ内の下部にあるアプリの設定を開き、SYPHONの使用を有効にします。
  2. OBSでソースにサイフォンクライアントを設定します。
  3. 背景を透明にしたい場合は、サイフォンクライアントの設定で透過を許可にチェックを入れます。 Webcam Motion Receiverウィンドウ内の背景は透明を選択してください。

B. MacOS スクリーンキャプチャ

  1. OBSでソースにMacOS スクリーンキャプチャを設定します。
  2. MacOS スクリーンキャプチャの設定で、方式にウィンドウキャプチャを選択し、ウィンドウにWebcam Motion Receiverを選択します。
  3. 背景を透明にしたい場合は、Webcam Motion Receiverウィンドウ内の背景は色を選択し、その色をOBSでクロマキーに設定します。

表情の設定

表情の切り替え

図1

表情はキーボードで切り替えることができます。

初期設定では自動表情が有効になっています。 F1, F2, F3等のキー(図1(B))を使用すると、対応する感情(Neutral, Fun, Angry等)が有効になります。 自動表情に戻すには、キーボードのaキー(図1(A))を使用します。

自動表情が有効な場合、すべての表情はWebカメラでのトラッキングでコントロールされます。 その他の表情が有効な場合は、口の動きとまばたきのみ、Webカメラでのトラッキングでコントロールされます。

自動表情 / 口の動きの設定

表情や口の形、まばたきをWebカメラでコントロールする方法として、顔トラッキングサンプルかパーフェクトシンクのどちらかのモードを選択します（図2）。
  1. 顔トラッキングサンプル: アバターの表情は、Webカメラに映るユーザーの表情と選択されたサンプルセットに登録された顔トラッキングサンプルを比較して自動的に決定されます。
  2. パーフェクトシンク: AIを用いたトラッキングになります。各顔のパーツ（まゆげ、目、口の形など）を個別にトラックして、アバターの対応する顔のパーツに反映させます。

図2

A. 顔トラッキングサンプル

図3

顔トラッキングサンプルは以下の方法で設定できます。
  1. ドロップダウンメニュー(図3(A)）から『プリセット』または『カスタム』サンプルセットを選択します。
    • 各サンプルセットには以下の表情が入っています：
    • Neutral (図3(B))
    • 5つの口の形 (図3(C))
      • "A", "I", "U", "E", "O"
    • 4つの感情表情 (図3(D))
      • お使いのアバターに設定されている感情表情("FUN", "SURPRISED", 等) から、お好みの4つの表情（blendshape）をドロップダウンメニュー (図3(E))から選択してください。
    • サンプル自体を無効にすることもできます (図3(G))。また感情表情では、まばたきを有効にするかどうか、口の形をのせるかどうかを選択することができます (図3(H))
  2. プリセットを選択した場合：
    - アバターの各表情に対して、デフォルトで登録されている表情が表示されます(図3(F))。
    カスタムを選択した場合：
    - アバターの各表情に対して、以下の手順でオリジナルの表情(図3(F))を登録することができます。
    1. ウェブカメラが有効になっていることを確認し、『サンプルを更新』ボタン(図3(I))を押します。
    2. 現在の表情がリアルタイムで顔モデルに反映されます。
    3. 登録したい表情を作り、『登録』ボタンを押します。
      - 『リセット』ボタン(図3(J))を押すと、登録した表情を削除してデフォルトの表情に戻すことができます。
    ヒント: すべての表情はNeutralからの差分として認識されるので、Neutralにはいつもの普段通りの表情を登録することをお勧めします。

B. パーフェクトシンク

パーフェクトシンクは各顔のパーツ（まゆげ、目、口の形など）を個別にトラッキングします。 トラック対象の顔のパーツは、Apple iOSのARプラットフォームであるARKitで設定されている BlendShapeLocationに対応します。

  1. ARKitで設定されている52の顔パーツをすべて使用する必要がない場合は、Webカメラを用いたパーフェクトシンクがおすすめです。 この場合お使いのアバターがパーフェクトシンクに対応している必要はありません。
  2. Webカメラを用いたパーフェクトシンクで対応していない顔パーツを使用したい場合は、スマホアプリを利用する必要があります。 このオプションはお使いのアバターがパーフェクトシンクに対応している場合のみ使用可能です。 詳細はスマホアプリの設定を参照してください。

Webカメラを用いたパーフェクトシンクの設定

図4

待機モーションの設定

フェイストラッキングやハンドトラッキングと、あらかじめ作成したアニメーションを組み合わせてキャラクターを動かすことができます。 アニメーションは、次のボーンを除くすべてのボーンに適用されます。
手が見えている場合:
Head*1 / 体の回転を適用するボーン*1*2 / Upper Arms / Lower Arms / Hands / Fingers
手が見えていない場合:
Head*1 / 体の回転を適用するボーン*1*2
  • *1 『トラッキングの詳細設定』から対応するトラッキングを無効にすることで、『Head』や『体の回転を適用するボーン』にもアニメーションを適用することができます。
  • *2 体の回転を適用するボーンは『トラッキングの詳細設定』から『Spine』『Chest』『Upper Chest』のいずれかを選択できます。
  1. Webcam Motion Receiverウィンドウの右上にある『待機モーションを使う』にチェックマークを入れます。
  2. 『プリセット』アニメーション、または『カスタム』アニメーションを選択します。
    プリセットを選択した場合:
    下のドロップダウンメニューからお好みのプリセットアニメーションを選択します。
    カスタムを選択した場合:
    FBXファイルに保存されたアニメーションデータを『アニメーションを開く』ボタンから読み込むことができます。アニメーションファイルは以下のいずれかの方法で取得できます。
    1. Mixamoからお好みのアニメーションデータを無料でダウンロードできます。 2500以上あるすべてのアニメーションデータは商用利用においてもロイヤリティフリーで使用できます。
    2. オリジナルのアニメーションをBlenderなどのCGソフトウェアで作成し、FBXファイル形式でエクスポートします。
      • 編集中やエクスポートの際にボーンの名前は変更しないでください。
      • BlenderでVRMファイルを編集するにはVRM Add-on for Blenderをインストールする必要があります。
またメインアニメーションだけでなく、５つまでサブアニメーションを同様の方法で設定することができ、指定されたキーでアニメーションを切り替えることができます。

スマホアプリの設定

iPhone/iPad (iOS 13.0以降)をお持ちの場合、 スマホアプリのフェイストラッキング機能を使って、 より豊かにアバターの表情をコントロールすることができます！ (Android対応のアプリもあります。)

waidayo

  1. パーフェクトシンク に対応したVRMモデルを準備します。
    • デフォルトで表示されるアバターはパーフェクトシンクに対応しているので、まずはこのアバターでテストすることができます。 (こちらからダウンロードできます。)
  2. iPhone/iPadでwaidayoを起動します。
  3. こちら にしたがってiPhone/iPadにアバターを転送します。
  4. こちら にしたがってiPhone/iPad上のwaidayoとWindows/Mac上のwaidayo for PCを連動させます。
    • 連動していることが確認出来たら、waidayo for PCは閉じていただいて構いません。
  5. Webcam Motion Captureを起動し、Webcam Motion Receiverウィンドウ内の表情の設定をクリックします。 表情の設定が開いたら、トラッキングモードの選択でパーフェクトシンクを選び、トラッキング方法でスマホアプリにチェックを入れます。 (こちらの画像を参照。このオプションが表示されない場合は、お使いのアバターはパーフェクトシンクに対応していません。)
  6. フェイストラッキングによりアバターの表情がコントロールできているはずです!
    • 試しに頬を膨らませたり、舌を出したりしてみましょう。

Facemotion3d, iFacialMocap, MeowFace (Android)

  1. パーフェクトシンク に対応したVRMモデルを準備します。
    • デフォルトで表示されるアバターはパーフェクトシンクに対応しているので、まずはこのアバターでテストすることができます。 (こちらからダウンロードできます。)
  2. コンピュータとスマートフォンが同じWiFiに接続されていることを確認します。
  3. スマホでアプリ（Facemotion3d/iFacialMocap/MeowFace）を開きます。
  4. Webcam Motion Receiverウィンドウ内の表情の設定をクリックします。 表情の設定が開いたら、トラッキングモードの選択でパーフェクトシンクを選び、トラッキング方法でスマホアプリにチェックを入れます。 (こちらの画像を参照。このオプションが表示されない場合は、お使いのアバターはパーフェクトシンクに対応していません。)
    • 対応するアプリをその下のメニューから選択すると自動的に接続します。自動的に接続しない場合は、アプリ選択メニューの下にあるIPアドレスにスマホのIPアドレスを入力し、接続ボタンを押してください*。
  5. フェイストラッキングによりアバターの表情がコントロールできているはずです!
    • 試しに頬を膨らませたり、舌を出したりしてみましょう。

* IPアドレスを直接指定しても接続しない場合、ファイアウォールにより通信がブロックされている可能性があります。

こちらを参考に『受信の規則』を開いてください。 『受信の規則』から『webcam motion receiver.exe』を見つけてダブルクリックし、『webcam motion receiver.exeのプロパティ』を開きます。 『操作』のセクションで『接続を許可する』を選択してください。

お問い合わせ

E-mail: contact@webcammotioncapture.info
E-mail: contact@webcammotioncapture.info
ＫＷＣＬ株式会社
東京都多摩市落合１ー４６ー１ココリア多摩センター７階
ＫＷＣＬ株式会社
東京都多摩市落合１ー４６ー１ココリア多摩センター７階