作品の
動きを見る。
作業中の 2 分: 動きのあるシミュレーション、信号、粒子、および言語。
英語音声。キャプションは 10 のサイト言語すべてで利用できます。翻訳は機械支援されています。
記録を読む
00:01 皆さん、こんにちは。Kehillah 高校の最終学年に在籍する Michael です。
00:05 このポートフォリオでは、いくつかのプロジェクトをご紹介します。
00:10 始まりは、ある湖です。
00:11 これは学校の Sailbot シミュレーターです。PC 上で動作し、自動操縦で進路を制御します。
00:16 コードが船に働く力を計算し、少しずつ船を動かして、その処理を繰り返します。
00:21 動きとは、時間とともに状態を更新することです。
00:24 次は授業で取り組んだ探究です。ここでは実行ログをそのまま示しています。
00:27 グラフを行列で表して自分自身と掛け合わせると、各数値が二つの点を結ぶ経路の数になります。
00:33 Sign-Translator の骨格も、このようなグラフで表せます。
00:37 通常のフーリエ変換では、8,000 サンプルの処理に約 9 秒かかります。
00:42 信号を半分に分けて再帰的に処理すると、FFT はわずか 26 ミリ秒で終わります。
00:48 後にこのようなスペクトルから、生成した頭部の揺れが実際の手話者の 2 倍だと分かりました。
00:55 次は純粋なアート作品です。手の特徴点で 75,000 個の粒子を動かします。
01:01 同じ特徴点は、その後 Sign-Translator のデータ入力の一つになりました。
01:06 こうした好奇心が、Sign-Translator につながりました。
01:09 二つのカメラから伸びる線が各関節で交わり、その三次元位置が求まります。
01:14 骨の長さが変わらないという制約を使い、焦点距離の誤差を 40% 超から 1% 以内に減らしました。
01:20 動きを語彙のようなコードに圧縮し、Transformer が英語からそのコードを生成します。
01:27 ところが、その後はほぼすべてが失敗しました。
01:28 文全体の動きを生成するモデルは、静止した状態よりも意味を伝えられませんでした。
01:32 あるモデルは 95 項目すべての動作チェックに合格しても、文の意味を伝えられませんでした。
01:38 そこで現在は、単語ごとに動きを生成してクリップをつないでいます。
01:43 知らない単語は、そのまま抜け落ちます。
01:45 評価では、モデルが動きを英語に読み戻します。
01:49 動きのない入力は 2.05 点、生成した動きは 2.4 点、実際の手話は約 4 点です。
01:55 小さな改善ですが、一歩目です。
01:57 ご視聴ありがとうございました。
再生を開始できませんでした。ビデオ コントロールを試すか、ビデオをダウンロードしてください。
デモの裏側。
この映画は、進行中の実験と研究を示している。プロジェクトのページでメソッド、コンテキスト、制限事項を調べてください。
詳細は私のビデオチャンネルから。
YouTube