作品,
動態呈現。
作品內的兩分鐘:模擬、訊號、粒子和運動中的語言。
英文音頻。字幕支援所有十種網站語言;翻譯是機器輔助的。
閱讀文字記錄
00:01 大家好,我是 Michael,Kehillah 高中畢業年級的學生。
00:05 這是我的個人作品集,接下來我會帶大家了解幾個專案。
00:10 故事從一片湖開始。
00:11 這是學校的 Sailbot 模擬器,在電腦上執行,由自動駕駛程式控制轉向。
00:16 底層程式碼計算船體受到的力,讓船前進一小步,再重複這個過程。
00:21 運動,就是隨著時鐘不斷更新狀態。
00:24 接下來是一個課堂探究專案,這裡展示的是它的原始紀錄。
00:27 把圖寫成矩陣,再將矩陣與自身相乘,每個數就表示兩點之間的路徑數量。
00:33 Sign-Translator 的骨架也可以表示為這樣的圖。
00:37 普通傅立葉轉換處理 8,000 個取樣點需要將近 9 秒。
00:42 將訊號分成兩半並遞迴處理後,FFT 只需要 26 毫秒。
00:48 後來,這樣的頻譜揭示了一個問題:Sign-Translator 生成的頭部晃動是真實手語者的兩倍。
00:55 下一個專案純粹是藝術實驗:用手部關鍵點牽引 75,000 個粒子。
01:01 這些手部關鍵點後來也成為 Sign-Translator 的一種資料來源。
01:06 這些好奇心最終把我帶到了 Sign-Translator。
01:09 來自兩台攝影機的射線在關節處相交,從而確定關節的三維位置。
01:14 利用骨骼長度不變這一約束,焦距誤差從超過 40% 縮小到了 1% 以內。
01:20 接著,動作被壓縮成類似詞彙表的編碼,再由 Transformer 根據英語生成這些編碼。
01:27 然後,幾乎所有嘗試都失敗了。
01:28 整句動作生成器的可讀性,並不比完全靜止的基準更好。
01:32 其中一個模型通過了全部 95 項動作檢查,卻仍然無法表達一個句子。
01:38 所以,現在系統逐詞生成動作,再將片段拼接起來。
01:43 遇到不認識的詞,它就直接跳過。
01:45 評估時,另一個模型把動作重新解讀為英語。
01:49 空白動作得分為 2.05,生成動作得分為 2.4,真實手語約為 4。
01:55 提升很小,但這是一個開始。
01:57 感謝觀看。
播放無法開始。嘗試視訊控製或下載影片。
示威遊行的背後。
影片展示了正在進行的實驗和工作。瀏覽專案頁面以了解方法、背景和限制。
更多來自我的影片頻道。
YouTube