組合影片 / 02:00

作品,
動態呈現。

作品內的兩分鐘:模擬、訊號、粒子和運動中的語言。

下載視頻

英文音頻。字幕支援所有十種網站語言;翻譯是機器輔助的。

閱讀文字記錄

00:01 大家好,我是 Michael,Kehillah 高中畢業年級的學生。

00:05 這是我的個人作品集,接下來我會帶大家了解幾個專案。

00:10 故事從一片湖開始。

00:11 這是學校的 Sailbot 模擬器,在電腦上執行,由自動駕駛程式控制轉向。

00:16 底層程式碼計算船體受到的力,讓船前進一小步,再重複這個過程。

00:21 運動,就是隨著時鐘不斷更新狀態。

00:24 接下來是一個課堂探究專案,這裡展示的是它的原始紀錄。

00:27 把圖寫成矩陣,再將矩陣與自身相乘,每個數就表示兩點之間的路徑數量。

00:33 Sign-Translator 的骨架也可以表示為這樣的圖。

00:37 普通傅立葉轉換處理 8,000 個取樣點需要將近 9 秒。

00:42 將訊號分成兩半並遞迴處理後,FFT 只需要 26 毫秒。

00:48 後來,這樣的頻譜揭示了一個問題:Sign-Translator 生成的頭部晃動是真實手語者的兩倍。

00:55 下一個專案純粹是藝術實驗:用手部關鍵點牽引 75,000 個粒子。

01:01 這些手部關鍵點後來也成為 Sign-Translator 的一種資料來源。

01:06 這些好奇心最終把我帶到了 Sign-Translator。

01:09 來自兩台攝影機的射線在關節處相交,從而確定關節的三維位置。

01:14 利用骨骼長度不變這一約束,焦距誤差從超過 40% 縮小到了 1% 以內。

01:20 接著,動作被壓縮成類似詞彙表的編碼,再由 Transformer 根據英語生成這些編碼。

01:27 然後,幾乎所有嘗試都失敗了。

01:28 整句動作生成器的可讀性,並不比完全靜止的基準更好。

01:32 其中一個模型通過了全部 95 項動作檢查,卻仍然無法表達一個句子。

01:38 所以,現在系統逐詞生成動作,再將片段拼接起來。

01:43 遇到不認識的詞,它就直接跳過。

01:45 評估時,另一個模型把動作重新解讀為英語。

01:49 空白動作得分為 2.05,生成動作得分為 2.4,真實手語約為 4。

01:55 提升很小,但這是一個開始。

01:57 感謝觀看。

繼續探索

示威遊行的背後。

影片展示了正在進行的實驗和工作。瀏覽專案頁面以了解方法、背景和限制。

更多來自我的影片頻道。

YouTube