ポートフォリオフィルム / 02:00

作品の
動きを見る。

作業中の 2 分: 動きのあるシミュレーション、信号、粒子、および言語。

ビデオをダウンロードする

英語音声。キャプションは 10 のサイト言語すべてで利用できます。翻訳は機械支援されています。

記録を読む

00:01 皆さん、こんにちは。Kehillah 高校の最終学年に在籍する Michael です。

00:05 このポートフォリオでは、いくつかのプロジェクトをご紹介します。

00:10 始まりは、ある湖です。

00:11 これは学校の Sailbot シミュレーターです。PC 上で動作し、自動操縦で進路を制御します。

00:16 コードが船に働く力を計算し、少しずつ船を動かして、その処理を繰り返します。

00:21 動きとは、時間とともに状態を更新することです。

00:24 次は授業で取り組んだ探究です。ここでは実行ログをそのまま示しています。

00:27 グラフを行列で表して自分自身と掛け合わせると、各数値が二つの点を結ぶ経路の数になります。

00:33 Sign-Translator の骨格も、このようなグラフで表せます。

00:37 通常のフーリエ変換では、8,000 サンプルの処理に約 9 秒かかります。

00:42 信号を半分に分けて再帰的に処理すると、FFT はわずか 26 ミリ秒で終わります。

00:48 後にこのようなスペクトルから、生成した頭部の揺れが実際の手話者の 2 倍だと分かりました。

00:55 次は純粋なアート作品です。手の特徴点で 75,000 個の粒子を動かします。

01:01 同じ特徴点は、その後 Sign-Translator のデータ入力の一つになりました。

01:06 こうした好奇心が、Sign-Translator につながりました。

01:09 二つのカメラから伸びる線が各関節で交わり、その三次元位置が求まります。

01:14 骨の長さが変わらないという制約を使い、焦点距離の誤差を 40% 超から 1% 以内に減らしました。

01:20 動きを語彙のようなコードに圧縮し、Transformer が英語からそのコードを生成します。

01:27 ところが、その後はほぼすべてが失敗しました。

01:28 文全体の動きを生成するモデルは、静止した状態よりも意味を伝えられませんでした。

01:32 あるモデルは 95 項目すべての動作チェックに合格しても、文の意味を伝えられませんでした。

01:38 そこで現在は、単語ごとに動きを生成してクリップをつないでいます。

01:43 知らない単語は、そのまま抜け落ちます。

01:45 評価では、モデルが動きを英語に読み戻します。

01:49 動きのない入力は 2.05 点、生成した動きは 2.4 点、実際の手話は約 4 点です。

01:55 小さな改善ですが、一歩目です。

01:57 ご視聴ありがとうございました。

探検を続ける

デモの裏側。

この映画は、進行中の実験と研究を示している。プロジェクトのページでメソッド、コンテキスト、制限事項を調べてください。

詳細は私のビデオチャンネルから。

YouTube