「映像」カテゴリーアーカイブ

バーチャルYoutuberになりたい

ふとバーチャルYoutuberのアプリを作りたくなったのでリソースを探すけど,詳しい説明が無かったのでメモ

必用なもの

iPhoneX以降,Unity2018.2以降,XCODE

 

Unity Packageを以下からダウンロードしインストール

https://github.com/Unity-Technologies/facial-ar-remote/releases

新規Unityプロジェクトを立ち上げる

 

【ビルドの設定】

  1. UnityをiOSビルドに変更
  2. faical-ar-remote>Remote>Scene>Clientを起動
  3. File>Build Settings>Player Settingsを起動
  4. other settingsのBundle Identifierを設定
  5. Target minimum iOS version を11.3以上にする
  6. Camera Usage Description に AR Face Tracking と入力
  7. Requires ARKit にチェックを入れる
  8. Scripting Define Symbols に ARKIT_1_5 と入力

 

【まずiPhoneアプリを作成】

  1. final-ar-remote>Remote>Scene>Clientを開いているか確認
  2. ビルドし,XCODEでアプリ化しデバイスにインストール
  3. 作成されたアプリを起動

【サンプルシーンを開いて確認】

  1. iPhoneとMacが同じルータ内に接続されているか確認
  2. final-ar-remote>Examples>Scenes>SlothBlendShapesを開く
  3. SlothBlendShapesのHierarchyのStreamReaderのInspectorのNetworkStreamのPortをiphoneアプリにポートと同じにする
  4. 再生ボタンをクリック
  5. ConsoleにIPアドレスが出る(2つIPアドレスが出る時はWifiと有線LANが見えているのでどちらか切るといいかも)
  6. iPhoneのアプリにConsoleに表示されたIPアドレスを入力
  7. iPhoneのアプリでConnectを押す

 

facialが動きます.お疲れ様でした.

 

参考サイト

https://github.com/Unity-Technologies/facial-ar-remote

https://blogs.unity3d.com/jp/2018/08/13/facial-ar-remote-animating-with-ar/

https://qiita.com/Yuzu_Unity/items/91fc2b6f8ebe0fc0e839

https://qiita.com/syoyo/items/f0ad3eb4ed3387ee6462

 

 

 

Oculus Quest開発メモ

Oculus Quest 開発メモ

https://qiita.com/pira/items/1c935f30d5ba6c020333

https://framesynthesis.jp/tech/unity/oculusquest/

https://qiita.com/pira/items/1c935f30d5ba6c020333

 

細かい部分はGoの解説でも網羅できる.

MacにOculus接続時=開発者モードをONにするとつながる

つながった後は開発者モードONでいいらしい

OVRPlugin.aar” is denied.

てエラー出る(ビルドはできるけどapk表示されない)

Reveal in FinderでFinderでそのファイルを見つけ,拡張子を.aarから.bakにする

Oculusを接続したまま,Build & Run する

実行される.

 

ストップモーション 補足

iPhoneの内容を記述しています

※Androidで使えそうなアプリはこちら

iMovieをダウンロードします(※iMovieは無料アプリになっています>詳細

iMovieのダウンロードここから


  1. アプリをスタートすると,「プロジェクト」を選択し[+]をタップします
  2. 今回作成した動画を選択します.複数ある場合もここで複数選択します
  3. 動画が読み込まれ,編集画面になります.この動画は横向きになっているので修正しましょう
  4. まず修正したい動画を選択します
  5. 上部の画面をスワイプさせて動画を回転させます
  6. 動画が横長の向きに修正されました
  7. 動画のつなぎ目部分の編集(トランジション)を無しにする場合(いわゆるカット編集),つなぎ目のアイコンを選択し「なし」を選びます
  8. 編集が終わったら「完了」を選択し,プロジェクトの画面に戻ります.編集した動画を出力するためにシェアアイコンをタップします
  9. HD720Pを選択します.動画は写真フォルダに出力されます

 

参考情報(映像編集について)

iMovie(1)

iMovie(2)

音その2

スマホはヘッドホンで聴いて遊ぶことが多いですよね.

ところがセリフが始まる前後に「シャー」という音が入るアプリもたまにみかけます.アンビエント(環境)ノイズと呼んだりします.

このノイズを消さないと,いかにもこれからしゃべりますって感じで印象悪いですね.

かなり高い機材でもこのノイズは出るものです.

音響のソフトにはこれを消す機能があります.

しゃべっていないときの音の特性を使って,ノイズを消すという手法です.

その方法(SoundTrackProの例)

  1. 収録した音声クリップのノイズのみ部分を選択します.
  2. そしてアンビエントノイズに設定をします
  3. ノイズプリントに設定を選択
  4. 波形全部を選択
  5. ノイズを低減を選択

soundtrack

ノイズの低減度合いがプレビューされますので具合をみて「適用」をクリック

TOOL

これで,ヘッドホンできいてても違和感ない声素材ができました.

さらにピッチシフタを使えば,音程を変えられるので声バレを防げます.ZIPFMのロボ丸みたいな声になっちゃいますが,,

フィードバックを減らす

カラオケやイベントなどでフィードバック(ハウリング)に悩む場合があります.

その1つの対策です.

まず,ひとつの原因ですが,ある特定の周波数(音程とおもって差し支えありません)をよく拾うマイクや,特定の周波数を出すスピーカーがあったりします.(今回はマイクに限って書きます)

feedback2

(黒い線で描いた絵はマイクのつもりです)

で,その音をマイクで拾ったとき(赤い線)

feedback

1周目 アンプ(音をおおきくする機械)で音が増幅されて出てきます

2周目 増幅された音を拾ってそれをさらに大きくして出します

4周目 さらに増幅して音を出します

以下無限ループで爆音になります

これを防ぐには,

(1)スピーカーとマイクを遠ざける

音は遅く伝わりるんで。そして、

(2)特定の周波数をカットする

どうしてもその音をひろいやすいマイクは,それが原因でフィードバックします.そこで,出す音のうちマイクにひろいやすい音をカットします.

つまり

800Hzに反応しやすいマイクの場合,スピーカーから800Hzの音が出にくいようにして無限ループさせないようにします.

これはPA(Public Address)機器を持ち込んだ場合に事前にチェックしなくてはなりません.そこでPA担当者は,シーっとか,ハッハッとか,マイクチェック!とか言っていろんな周波数の音を出してハウリングしないかチェックしいます.

ちなみにこの作業は会場毎におこないます.

というのも会場ごとに反響特性が違うからですね.マイクでひろいやすい音が会場によっては吸収され,会場によっては反響して回り込んでくるかもしれないからです.

なので「マイクチェック」としつこく,歩きながら言っているのはいろいろな周波数といろいろな場所(反響)でまんべんなくチェックしてるからで,かっこつけているわけではありません.

お客さんに不快な思いをさせないようにする,重要な作業です.

映像

映像系のリクエストが多かったのであわてて記述

動画の撮影と編集

CGのレンダリングと合成

について,おいおい記述します