포트폴리오 필름 / 02:00

프로젝트의
움직임을 보다.

작품 속 2분: 시뮬레이션, 신호, 입자, 움직이는 언어.

비디오 다운로드

영어 오디오. 캡션은 사이트의 10개 언어 모두로 제공됩니다. 번역은 기계의 도움을 받습니다.

성적표 읽기

00:01 안녕하세요. 저는 Kehillah 고등학교 졸업반 학생 Michael입니다.

00:05 이 포트폴리오에서 몇 가지 프로젝트를 함께 살펴보겠습니다.

00:10 시작은 호수입니다.

00:11 학교의 Sailbot 시뮬레이터가 PC에서 실행되며 자동 조종으로 방향을 제어합니다.

00:16 코드는 배에 작용하는 힘을 계산하고 배를 조금 이동시킨 뒤 이 과정을 반복합니다.

00:21 움직임은 시간에 따라 상태를 갱신하는 것입니다.

00:24 다음은 수업에서 진행한 탐구입니다. 여기에는 원래 실행 로그를 보여 줍니다.

00:27 그래프를 행렬로 나타내 자기 자신과 곱하면, 각 숫자는 두 점 사이의 경로 수를 나타냅니다.

00:33 Sign-Translator의 골격도 이런 그래프로 표현할 수 있습니다.

00:37 일반 푸리에 변환은 8,000개 샘플을 처리하는 데 거의 9초가 걸립니다.

00:42 신호를 반으로 나누어 재귀적으로 처리하면 FFT는 26밀리초밖에 걸리지 않습니다.

00:48 나중에 이런 스펙트럼을 통해 생성된 머리가 실제 수어 사용자의 머리보다 두 배 심하게 흔들린다는 것을 알았습니다.

00:55 다음 프로젝트는 순수한 예술 작업으로, 손의 특징점을 이용해 75,000개의 입자를 움직입니다.

01:01 이 특징점은 이후 Sign-Translator의 데이터 입력 경로 중 하나가 되었습니다.

01:06 이 모든 호기심이 Sign-Translator로 이어졌습니다.

01:09 두 카메라에서 뻗은 선이 각 관절에서 만나면 관절의 3차원 위치를 구할 수 있습니다.

01:14 뼈의 길이가 일정하다는 제약으로 초점 거리의 오차를 40% 초과에서 1% 이내로 줄였습니다.

01:20 동작을 어휘처럼 코드로 압축한 뒤 Transformer가 영어를 바탕으로 그 코드를 생성합니다.

01:27 그런데 그 뒤로 거의 모든 시도가 실패했습니다.

01:28 문장 전체의 동작을 생성하는 모델은 정지 상태보다 의미를 더 잘 전달하지 못했습니다.

01:32 한 모델은 95개 동작 검사를 모두 통과했지만, 여전히 문장 하나의 의미도 전달하지 못했습니다.

01:38 그래서 지금은 단어마다 동작을 따로 생성하고 클립을 이어 붙입니다.

01:43 모르는 단어는 그대로 빠집니다.

01:45 평가할 때는 모델이 동작을 다시 영어로 읽어 냅니다.

01:49 빈 동작의 점수는 2.05, 생성된 동작은 2.4, 실제 수어는 약 4입니다.

01:55 작은 개선이지만 시작입니다.

01:57 시청해 주셔서 감사합니다.

계속 탐색

시위 뒤에.

영화는 실험과 진행 중인 작업을 보여줍니다. 방법, 컨텍스트 및 제한 사항에 대한 프로젝트 페이지를 살펴보세요.

내 비디오 채널에서 더 많은 정보를 확인하세요.

YouTube