组合影片 / 02:00

作品,
动态呈现。

作品内的两分钟:模拟、信号、粒子和运动中的语言。

下载视频

英文音频。字幕支持所有十种网站语言;翻译是机器辅助的。

阅读文字记录

00:01 大家好,我是 Michael,Kehillah 高中毕业年级的学生。

00:05 这是我的个人作品集,接下来我会带大家了解几个项目。

00:10 故事从一片湖开始。

00:11 这是学校的 Sailbot 模拟器,在电脑上运行,由自动驾驶程序控制转向。

00:16 底层代码计算船体受到的力,让船前进一小步,再重复这个过程。

00:21 运动,就是随着时钟不断更新状态。

00:24 接下来是一个课堂探究项目,这里展示的是它的原始日志。

00:27 把图写成矩阵,再将矩阵与自身相乘,每个数就表示两点之间的路径数量。

00:33 Sign-Translator 的骨架也可以表示为这样的图。

00:37 普通傅里叶变换处理 8,000 个采样点需要将近 9 秒。

00:42 将信号分成两半并递归处理后,FFT 只需要 26 毫秒。

00:48 后来,这样的频谱揭示了一个问题:Sign-Translator 生成的头部晃动是真实手语者的两倍。

00:55 下一个项目纯粹是艺术实验:用手部关键点牵引 75,000 个粒子。

01:01 这些手部关键点后来也成为 Sign-Translator 的一种数据来源。

01:06 这些好奇心最终把我带到了 Sign-Translator。

01:09 来自两台摄像机的射线在关节处相交,从而确定关节的三维位置。

01:14 利用骨骼长度不变这一约束,焦距误差从超过 40% 缩小到了 1% 以内。

01:20 接着,动作被压缩成类似词汇表的编码,再由 Transformer 根据英语生成这些编码。

01:27 然后,几乎所有尝试都失败了。

01:28 整句动作生成器的可读性,并不比完全静止的基线更好。

01:32 其中一个模型通过了全部 95 项动作检查,却仍然无法表达一个句子。

01:38 所以,现在系统逐词生成动作,再将片段拼接起来。

01:43 遇到不认识的词,它就直接跳过。

01:45 评估时,另一个模型把动作重新解读为英语。

01:49 空白动作得分为 2.05,生成动作得分为 2.4,真实手语约为 4。

01:55 提升很小,但这是一个开始。

01:57 感谢观看。

继续探索

示威游行的背后。

影片展示了正在进行的实验和工作。浏览项目页面以了解方法、背景和限制。

更多来自我的视频频道。

YouTube