作品,
动态呈现。
作品内的两分钟:模拟、信号、粒子和运动中的语言。
英文音频。字幕支持所有十种网站语言;翻译是机器辅助的。
阅读文字记录
00:01 大家好,我是 Michael,Kehillah 高中毕业年级的学生。
00:05 这是我的个人作品集,接下来我会带大家了解几个项目。
00:10 故事从一片湖开始。
00:11 这是学校的 Sailbot 模拟器,在电脑上运行,由自动驾驶程序控制转向。
00:16 底层代码计算船体受到的力,让船前进一小步,再重复这个过程。
00:21 运动,就是随着时钟不断更新状态。
00:24 接下来是一个课堂探究项目,这里展示的是它的原始日志。
00:27 把图写成矩阵,再将矩阵与自身相乘,每个数就表示两点之间的路径数量。
00:33 Sign-Translator 的骨架也可以表示为这样的图。
00:37 普通傅里叶变换处理 8,000 个采样点需要将近 9 秒。
00:42 将信号分成两半并递归处理后,FFT 只需要 26 毫秒。
00:48 后来,这样的频谱揭示了一个问题:Sign-Translator 生成的头部晃动是真实手语者的两倍。
00:55 下一个项目纯粹是艺术实验:用手部关键点牵引 75,000 个粒子。
01:01 这些手部关键点后来也成为 Sign-Translator 的一种数据来源。
01:06 这些好奇心最终把我带到了 Sign-Translator。
01:09 来自两台摄像机的射线在关节处相交,从而确定关节的三维位置。
01:14 利用骨骼长度不变这一约束,焦距误差从超过 40% 缩小到了 1% 以内。
01:20 接着,动作被压缩成类似词汇表的编码,再由 Transformer 根据英语生成这些编码。
01:27 然后,几乎所有尝试都失败了。
01:28 整句动作生成器的可读性,并不比完全静止的基线更好。
01:32 其中一个模型通过了全部 95 项动作检查,却仍然无法表达一个句子。
01:38 所以,现在系统逐词生成动作,再将片段拼接起来。
01:43 遇到不认识的词,它就直接跳过。
01:45 评估时,另一个模型把动作重新解读为英语。
01:49 空白动作得分为 2.05,生成动作得分为 2.4,真实手语约为 4。
01:55 提升很小,但这是一个开始。
01:57 感谢观看。
播放无法开始。尝试视频控件或下载视频。
示威游行的背后。
影片展示了正在进行的实验和工作。浏览项目页面以了解方法、背景和限制。
更多来自我的视频频道。
YouTube