KR102464944B1 - 카메라 워크를 재현하는 방법 및 장치 - Google Patents

Abstract

카메라 워크를 재현하는 방법 및 장치가 개시된다. 카메라 워크를 재현하는 방법은 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬을 수신하고, 복수의 씬들을 포함하는 레퍼런스 영상으로부터 마스터 씬에 대응하는 대상 샷의 카메라 문법을 추출하고, 대상 샷의 카메라 문법에 기초하여 대상 샷의 카메라 레이아웃을 재현하는 가상 카메라를 구성하며, 가상 카메라를 이용하여 마스터 씬을 위한 카메라 워크를 재현한다.

Description

카메라 워크를 재현하는 방법 및 장치{METHOD AND APPARATUS OF REPRODUCING CAMERA WORK}

카메라 워크를 재현하는 방법 및 장치가 개시된다.

애니메이션 시장의 규모가 급성장함에 따라, 애니메이션 제작 과정에서의 기획 검증 방법으로 사전 시각화(previsualization) 제작의 중요성 및 필요성이 대두되고 있다.

애니메이션 제작 파이프라인은 예를 들어, 작가의 스크립트(script)를 바탕으로 스토리 릴(story reel)을 제작하고, 스토리 릴에 기반하여 생성된 대략적인 2차원 애니메틱스(animatics)를 기반으로 레이아웃 아티스트가 3차원 애니메틱스를 제작하는 것이 일반적이다. 여기서, 스토리 릴은 스토리보드를 사용하여 제작한 초벌 영상으로 시퀀스(sequence)의 타이밍을 확인할 수 있는 결과물로서, 연출자의 의도를 실무진에게 전달하기 위해 제작되는 영상으로 이해될 수 있다.

이 경우, 영상의 각 장면들에서 정형화되고 반복적인 카메라 워크가 사용되는 경우가 있음에도 불구하고, 레이아웃 아티스트가 각 장면에 대응하는 3차원 애니메틱스를 매번 제작해야 하는 번거로움 및 반복적인 작업에 따른 비용의 낭비가 발생할 수 있다.

일 실시예에 따르면, 정형화되고 반복적인 카메라 문법이 미리 반영된 레퍼런스 영상을 이용하여 마스터 씬에 대응하는 카메라 문법을 획득하여 카메라 워크를 재현함으로써 레이아웃 아티스트의 카메라 연출 작업을 보다 빠르고 효과적으로 수행할 수 있다.

일 실시예에 따르면, 기계 학습을 통해 레퍼런스 영상의 복수의 씬들을 씬이 전환되는 샷 단위로 용이하게 분류할 수 있다.

일 실시예에 따르면, 미리 트레이닝된 신경망에 의해 카메라 프레이밍 및 카메라 워크를 포함하는 카메라 문법을 용이하게 분류할 수 있다.

일 실시예에 따르면, 레퍼런스 영상의 대상 샷의 카메라 문법에 기초하여 구성한 가상 카메라에 의해 마스터 씬을 위한 카메라 워크를 재현함으로써 애니메이션 제작 과정에서 발생하는 재구성과 피드백을 용이하게 할 수 있다.

일 실시예에 따르면, 애니메이션 제작 과정에서 카메라 레이아웃 작업에 대한 효율을 향상시킴으로써 애니메이션 제작 비용을 감소시킬 수 있다.

일 실시예에 따르면, 카메라 워크를 재현하는 방법은 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬(master scene)을 수신하는 단계; 복수의 씬들(scenes)을 포함하는 레퍼런스 영상으로부터, 상기 마스터 씬에 대응하는 대상 샷(target shot)의 카메라 문법- 상기 카메라 문법은 카메라 프레이밍(camera framing) 및 카메라 워크(camera work) 중 적어도 하나를 포함함- 을 추출하는 단계; 상기 대상 샷의 카메라 문법에 기초하여, 상기 대상 샷의 카메라 레이아웃(camera layout)을 재현하는 가상 카메라를 구성하는 단계; 및 상기 가상 카메라를 이용하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 단계를 포함한다.

상기 레퍼런스 영상은 씬이 전환되는 샷(shot) 단위로 편집된 복수의 컷들을 포함하고, 상기 샷 단위로 미리 분류된 카메라 문법을 포함할 수 있다.

상기 복수의 컷들은 상기 레퍼런스 영상의 t 시점(t는 1보다 같거나 큰 자연수임)의 제1 프레임, 상기 t 시점에 선행하는 t-1 시점의 제2 프레임, 및 상기 t시점에 후행하는 t+1 시점의 제3 프레임 각각에서 추출된 옵티컬 플로우(optical flow) 및 컬러 히스토그램(color histogram)에 기초한 특징 벡터들에 의해 상기 샷 단위로 분류될 수 있다.

상기 샷 단위로 미리 분류된 카메라 문법은 카메라 프레이밍 및 카메라 워크를 포함하는 카메라 문법이 레이블링(labeling)된 복수의 트레이닝 영상들을 이용하여 트레이닝된 신경망에 기초하여 결정될 수 있다.

상기 신경망은 상기 카메라 프레이밍을 분류하는 제1 신경망; 및 상기 카메라 워크를 분류하는 제2 신경망 중 적어도 하나를 포함할 수 있다.

상기 카메라 프레이밍은 클로즈 업(close-up), 버스트(bust), 미디엄(medium), 니(knee), 풀(full), 롱(long) 중 적어도 하나의 피사체 배치 구조를 포함할 수 있다.

상기 카메라 워크는 팬(fan), 틸트(tilt), 오빗(orbit), 크레인(crane), 트랙(track), 스태틱(static) 중 적어도 하나의 카메라 움직임을 포함할 수 있다.

상기 대상 샷의 카메라 문법을 추출하는 단계는 상기 마스터 씬의 씬 유형(scene type), 상기 마스터 씬에 포함된 상기 적어도 하나의 3차원 캐릭터의 수, 상기 적어도 하나의 3차원 캐릭터의 동선 중 적어도 하나를 기초로, 상기 레퍼런스 영상에서 상기 마스터 씬에 대응하는 대상 씬을 포함하는 대상 샷을 결정하는 단계를 포함할 수 있다.

상기 카메라 워크를 재현하는 방법은 상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋(character asset)에 대한 사용자의 선택을 입력받는 단계를 더 포함하고, 상기 대상 샷의 카메라 문법을 추출하는 단계는 상기 레퍼런스 영상에서, 상기 캐릭터 에셋의 동선에 대응하는 피사체의 움직임을 포함하는 대상 샷을 결정하는 단계를 포함할 수 있다.

상기 가상 카메라를 구성하는 단계는 상기 레퍼런스 영상의 대상 샷에 포함된 피사체에, 상기 마스터 씬에서 선택된 어느 하나의 캐릭터 에셋을 매칭(matching)시키는 단계; 및 상기 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 프레이밍이 상기 대상 샷의 카메라 문법을 만족하도록 상기 가상 카메라를 구성하는 단계를 포함할 수 있다.

상기 어느 하나의 캐릭터 에셋을 매칭시키는 단계는 상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받는 단계; 및 상기 피사체에 상기 선택된 캐릭터 에셋을 매칭시키는 단계를 포함할 수 있다.

상기 가상 카메라를 구성하는 단계는 상기 피사체에 매칭된 캐릭터 에셋의 관절 정보를 기초로, 상기 피사체에 매칭된 캐릭터 에셋이 상기 대상 샷의 카메라 문법에 따른 카메라 프레이밍 내에 존재하도록 상기 가상 카메라를 구성하는 단계를 포함할 수 있다.

상기 카메라 워크를 재현하는 방법은 상기 마스터 씬을 위한 카메라 프레이밍의 설정을 입력받는 단계를 더 포함하고, 상기 카메라 워크를 재현하는 단계는 상기 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 워크에, 상기 설정된 카메라 프레이밍을 더 고려하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 단계를 포함할 수 있다.

일 실시예에 따르면, 카메라 워크를 재현하는 장치는 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬을 수신하는 통신 인터페이스; 및 복수의 씬들을 포함하는 레퍼런스 영상으로부터, 상기 마스터 씬에 대응하는 대상 샷의 카메라 문법- 상기 카메라 문법은 카메라 프레이밍 및 카메라 워크 중 적어도 하나를 포함함- 을 추출하고, 상기 대상 샷의 카메라 문법에 기초하여, 상기 대상 샷의 카메라 레이아웃을 재현하는 가상 카메라를 구성하며, 상기 가상 카메라를 이용하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 프로세서를 포함한다.

상기 프로세서는 상기 마스터 씬의 씬 유형, 상기 마스터 씬에 포함된 상기 적어도 하나의 3차원 캐릭터의 수, 상기 적어도 하나의 3차원 캐릭터의 동선 중 적어도 하나를 기초로, 상기 레퍼런스 영상에서 상기 마스터 씬에 대응하는 대상 씬을 포함하는 대상 샷을 결정할 수 있다.

상기 카메라 워크를 재현하는 장치는 상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받는 사용자 인터페이스를 더 포함하고, 상기 프로세서는 상기 레퍼런스 영상에서, 상기 캐릭터 에셋의 동선에 대응하는 피사체의 움직임을 포함하는 대상 샷을 결정할 수 있다.

상기 프로세서는 상기 레퍼런스 영상의 대상 샷에 포함된 피사체에 상기 마스터 씬에서 선택된 어느 하나의 캐릭터 에셋을 매칭시키고, 상기 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 프레이밍이 상기 대상 샷의 카메라 문법을 만족하도록 상기 가상 카메라를 구성할 수 있다.

상기 프로세서는 상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받고, 상기 피사체에 상기 선택된 캐릭터 에셋을 매칭시킬 수 있다.

상기 프로세서는 상기 피사체에 매칭된 캐릭터 에셋의 관절 정보를 기초로, 상기 피사체에 매칭된 캐릭터 에셋이 상기 대상 샷의 카메라 문법에 따른 카메라 프레이밍 내에 존재하도록 상기 가상 카메라를 구성할 수 있다.

일 측에 따르면, 정형화되고 반복적인 카메라 문법이 미리 반영된 레퍼런스 영상을 이용하여 마스터 씬에 대응하는 카메라 문법을 획득하여 카메라 워크를 재현함으로써 레이아웃 아티스트의 카메라 연출 작업을 보다 빠르고 효과적으로 수행할 수 있다.

일 측에 따르면, 기계 학습을 통해 레퍼런스 영상의 복수의 씬들을 씬이 전환되는 샷 단위로 용이하게 분류할 수 있다.

일 측에 따르면, 미리 트레이닝된 신경망에 의해 카메라 프레이밍 및 카메라 워크를 포함하는 카메라 문법을 용이하게 분류할 수 있다.

일 측에 따르면, 레퍼런스 영상의 대상 샷의 카메라 문법에 기초하여 구성한 가상 카메라에 의해 마스터 씬을 위한 카메라 워크를 재현함으로써 애니메이션 제작 과정에서 발생하는 재구성과 피드백을 용이하게 할 수 있다.

일 측에 따르면, 애니메이션 제작 과정에서 카메라 레이아웃 작업에 대한 효율을 향상시킴으로써 애니메이션 제작 비용을 감소시킬 수 있다.

도 1은 일 실시예에 따른 카메라 워크를 재현하는 방법을 나타낸 흐름도.
도 2는 다른 실시예에 따른 카메라 워크를 재현하는 방법을 설명하기 위한 도면.
도 3은 일 실시예에 따른 레퍼런스 영상의 씬들을 샷 단위로 분류하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 레퍼런스 영상의 특정 컷에 대응하는 카메라 문법의 분류 결과를 도시한 도면.
도 5는 일 실시예에 따른 카메라 문법의 예시들을 도시한 도면
도 6은 일 실시예에 따른 가상 카메라를 구성하는 방법을 나타낸 흐름도.
도 7은 일 실시예에 따른 가상 카메라를 이용하여 레퍼런스 영상의 카메라 워크를 재현한 결과 영상을 도시한 도면.
도 8은 다른 실시예에 따른 카메라 워크를 재현하는 방법을 설명하기 위한 도면.
도 9는 일 실시예에 따른 카메라 워크를 재현하는 장치의 블록도.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 카메라 워크를 재현하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 카메라 워크를 재현하는 장치(이하, '재현 장치')는 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬(master scene)을 수신한다(110). 마스터 씬은 예를 들어, 애니메이션 영상의 특정 장면에 어떠한 3차원 캐릭터가 나오고, 해당 3차원 캐릭터가 어떠한 동작을 수행하는지, 다시 말해 해당 장면이 어느 씬 유형에 해당하는지 등의 정보를 포함할 수 있다. 3차원 캐릭터는 예를 들어, 3차원 애니메이션 캐릭터일 수 있다.

재현 장치는 복수의 씬들(scenes)을 포함하는 레퍼런스 영상(reference image)으로부터, 마스터 씬에 대응하는 대상 샷(target shot)의 카메라 문법을 추출한다(120). 여기서, 레퍼런스 영상은 씬이 전환되는 샷(shot) 단위로 편집된 복수의 컷들을 포함하는 실사 영상 시퀀스 또는 실사 영상 비디오일 수 있다. 레퍼런스 영상은 샷 단위로 미리 분류된 카메라 문법을 포함할 수 있다. 레퍼런스 영상의 씬들의 길이와 마스터 씬의 길이는 서로 일치할 수 있다. 일 실시예에 따른 레퍼런스 영상의 씬들을 샷 단위로 분류하는 방법 및 레퍼런스 영상의 특정 컷에 대응하는 카메라 문법을 분류하는 방법은 아래의 도 3 내지 도 4를 참조하여 구체적으로 설명한다.

카메라 문법은 영화뿐만 아니라 애니메이션에서도 효과적인 스토리텔링에 있어서 중요한 요소 중 하나이며, 레이아웃 아티스트가 카메라 연출을 얼마나 풍부하게 하느냐에 따라 애니메이션의 퀄리티가 결정될 수 있다.

일 실시예에서는 상대적으로 카메라 문법이 풍부한 실사 영상 시퀀스를 카메라 문법이 정의되어 있는 샷 단위로 분할하여 카메라 문법을 분석하고 해당 영상과 동일한 카메라 연출을 애니메이션 제작에 활용할 수 있다.

일 실시예에서 카메라 문법은 예를 들어, 카메라 프레이밍(camera framing) 및 카메라 워크(camera work) 중 적어도 하나를 포함할 수 있다. 카메라 프레이밍은 예를 들어, 클로즈 업(close-up), 버스트(bust), 미디엄(medium), 니(knee), 풀(full), 및 롱(long) 등과 같은 레퍼런스 영상에 포함된 피사체의 배치 구조를 나타낼 수 있다. 또한, 카메라 워크는 카메라를 고정하거나, 이동하거나, 또는 렌즈의 이동에 의해 영상을 촬영하는 기법을 의미하며, '카메라 움직임'이라고도 부를 수 있다. 카메라 워크는 예를 들어, 팬(fan), 틸트(tilt), 오빗(orbit), 크레인(crane), 트랙(track), 및 스태틱(static) 등과 같은 카메라 움직임을 나타낼 수 있다.

일 실시예에 따른 카메라 문법의 유형들에 대하여는 아래의 도 5를 참조하여 구체적으로 설명한다.

단계(120)에서, 재현 장치는 예를 들어, 마스터 씬의 씬 유형(scene type), 마스터 씬에 포함된 적어도 하나의 3차원 캐릭터의 수, 적어도 하나의 3차원 캐릭터의 동선 중 적어도 하나를 기초로, 레퍼런스 영상에서 마스터 씬에 대응하는 대상 씬을 포함하는 대상 샷을 결정할 수 있다. 씬 유형은 예를 들어, 대화 씬, 격투 씬, 차량에 의한 이동 씬, 걷는 씬, 식사하는 씬, 자는 씬 등을 포함할 수 있으며, 반드시 이에 한정되지는 않는다.

예를 들어, 마스터 씬이 2명의 3차원 캐릭터가 뒤에서 앞으로 걸어가면서 서로 대화하는 장면을 나타낸다고 하자. 이 경우, 재현 장치는 레퍼런스 영상 중 2명의 피사체들이 서로 대화하는 대화 씬으로서, 피사체들의 동선이 뒤에서 앞으로 이동하는 대상 씬을 검색할 수 있다. 재현 장치는 검색한 대상 씬을 포함하는 대상 샷의 카메라 문법을 추출할 수 있다.

실시예에 따라서, 재현 장치는 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받을 수 있다. 재현 장치는 레퍼런스 영상에서, 캐릭터 에셋의 동선에 대응하는 피사체의 움직임을 포함하는 대상 샷을 결정할 수 있다. 재현 장치는 결정한 대상 샷의 카메라 문법을 추출할 수 있다.

재현 장치는 단계(120)에서 추출한 대상 샷의 카메라 문법에 기초하여, 대상 샷의 카메라 레이아웃(camera layout)을 재현하는 가상 카메라를 구성한다(130). 재현 장치가 가상 카메라를 구성하는 방법은 아래의 도 6을 참조하여 구체적으로 설명한다.

재현 장치는 가상 카메라를 이용하여 마스터 씬을 위한 카메라 워크를 재현한다(140). 재현 장치는 가상 카메라를 이용하여 마스터 씬의 적어도 하나의 3차원 캐릭터의 3차원 애니메틱스(animatics)를 위한 카메라 워크를 재현할 수 있다. 일 실시예에서 '마스터 씬을 위한 카메라 워크를 재현한다'는 것은 마스터 씬을 위한 카메라 워크를 생성하고, 해당 카메라 워크에 따라 생성된 3차원 애니메틱스를 출력 또는 표시한다는 의미로 이해될 수 있다. 재현 장치가 마스터 씬을 위한 카메라 워크를 재현한 결과는 아래의 도 7을 참조할 수 있다.

실시예에 따라서, 재현 장치는 마스터 씬을 위한 카메라 프레이밍의 설정을 사용자로부터 별도로 입력받을 수도 있다. 이 경우, 재현 장치는 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 워크에, 사용자에 의해 설정된 카메라 프레이밍을 더 고려하여 마스터 씬을 위한 카메라 워크를 재현할 수도 있다.

도 2는 다른 실시예에 따른 카메라 워크를 재현하는 방법을 설명하기 위한 도면이다. 도 2를 참조하면, 일 실시예에 따른 재현 장치는 레퍼런스 영상(201)으로부터 샷 경계(shot boundary)를 검출(210)하여 샷(들)을 분류할 수 있다(220). 재현 장치가 레퍼런스 영상의 씬들을 샷 단위로 분류하는 방법은 아래의 도 3을 참조하여 구체적으로 설명한다.

재현 장치는 단계(220)에서 분류된 샷(들)의 카메라 문법을 분류하고(230), 각 카메라 문법에 대응되는 샷들을 데이터베이스 또는 저장 장치 등에 저장할 수 있다(240).

이후, 애니메이션 영상에서 3차원 캐릭터의 대략적인 동선이 주어진 마스터 씬(203)이 입력되고, 마스터 씬(203)에서 대략적인 동선이 주어진 3차원 캐릭터들 중 어느 하나의 캐릭터 에셋(205)이 사용자 또는 재현 장치에 의해 선택되었다고 하자.

재현 장치는 단계(240)에서 저장된 레퍼런스 영상의 카메라 문법에 대응하는 샷들 중 마스터 씬(203)에 대응하는 대상 샷의 카메라 문법을 추출할 수 있다(250).

재현 장치는 단계(250)에서 추출한 대상 샷의 카메라 문법에 기초하여, 대상 샷의 카메라 레이아웃(camera layout)을 재현하는 가상 카메라를 구성할 수 있다(260). 재현 장치는 가상 카메라를 통해 레퍼런스 영상(의 대상 샷)과 동일한 카메라 문법을 적용하여 3차원 애니메틱스를 위한 3차원 가상 카메라 워크를 자동으로 재현할 수 있다(270).

일 실시예에 따르면, 레퍼런스 영상과 같은 실사 영상 시퀀스를 입력 시, 해당 영상과 동일한 카메라 프레이밍 및/또는 카메라 워크를 포함한 카메라 레이아웃을 재현하여 애니메이션 제작에 활용할 수 있는 3차원 애니메틱스를 생성할 수 있다.

일 실시예에 따르면, 레퍼런스 영상을 통해 카메라 문법을 트레이닝한 인공 신경망이 레퍼런스 영상과 유사한 카메라를 재현하고, 이를 3차원 애니메이션에서 활용 가능한 형태의 파일로 생성함으로써 고효율, 고도화된 레이아웃 작업을 수행 가능하게 할 수 있다.

도 3은 일 실시예에 따른 레퍼런스 영상의 씬들을 샷 단위로 분류하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 레퍼런스 영상에 포함된 복수의 프레임들 중 서로 연속하는 3개의 프레임들(310, 320, 330)이 도시된다.

일 실시예에 따른 재현 장치는 여러 샷들이 편집되어 있는 일련의 레퍼런스 영상 비디오의 어떤 지점에서 씬이 전환되는지를 검출하고, 씬이 전환되는 샷의 시작 프레임과 끝 프레임에 대한 정보를 추출할 수 있다.

재현 장치는 씬이 전환되는 샷의 컷 지점(시작 지점과 끝 지점)을 찾기 위해 예를 들어, 시간 t의 프레임을 기준으로 [t-a, t+a](여기서, t는 1보다 같거나 큰 자연수이고, a는 0 이 아닌 실수에 해당함.)와 같은 전후 프레임들에서, 영상 움직임 정보에 해당하는 옵티컬 플로우와 색상 정보에 해당하는 컬러 히스토그램을 추출하여 특징 벡터로 구성할 수 있다.

여기서, '옵티컬 플로우'는 시각적 자극을 설명하기 위해 도입된 개념으로서, 관찰자와 장면 사이의 상대적인 움직임에 의해 유발되는 시각적 장면에서의 물체, 표면 및 가장 자리의 명백한 움직임 패턴으로 이해될 수 있다. 옵티컬 플로우는 이미지의 밝기 패턴의 움직임의 겉보기 속도의 분포로 정의될 수도 있다. 옵티컬 프로우는 예를 들어, 움직임의 크기 및 움직임의 방향 등과 같이 영상에서 피사체 또는 관심 객체가 어떻게 움직이고 있는지를 나타내는 움직임 정보에 해당할 수 있다. 재현 장치는 옵티컬 프로우에 의해 프레임 장면에 대한 사전 지식없이 두 프레임 사이의 움직임 정보를 추정할 수 있다. 옵티컬 플로우는 예를 들어, 옵티컬 플로우 맵일 수 있다.

재현 장치는 예를 들어, 풀리 커넥티드 네트워크(fully connected network)로 구성된 SVM(Support Vector Machine)을 이용하여 해당 프레임이 특정 샷에 해당하는 컷인지를 구분함으로써 레퍼런스 영상의 복수의 씬들을 샷들로 분류할 수 있다.

예를 들어, 재현 장치는 도 3에서 200 내지 216으로 넘버링된 복수의 컷들 중 t 시점의 제1 프레임(320), t 시점에 선행하는 t-1 시점의 제2 프레임(310), 및 t 시점에 후행하는 t+1 시점의 제3 프레임(330)을 선택할 수 있다. 재현 장치는 제1 프레임(320), 제2 프레임(310), 및 제3 프레임(330) 각각에서 추출된 옵티컬 플로우 및 컬러 히스토그램을 기초로 각각의 프레임에 대응하는 특징 벡터들을 산출할 수 있다. 여기서, 산출된 각 프레임에 대응하는 특징 벡터는 이후의 과정에서 재현 장치가 특정 컷에 대응하는 카메라 워크를 추정하는 데에도 이용될 수 있다.

이때, 제1 프레임(320)과 제2 프레임(310)은 서로 같은 씬에 해당하므로 각 프레임에 대응하는 옵티컬 폴로우 및 컬러 히스토그램 간의 차이가 크지 않고, 이에 따라 각각의 프레임에 대응하여 산출된 특징 벡터들 또한 그 차이가 크지 않다.

이와 달리, 제1 프레임(320)과 제3 프레임(330)은 서로 다른 씬에 해당하므로 각 프레임에 대응하는 옵티컬 폴로우 및 컬러 히스토그램 간의 차이가 매우 크고, 이에 따라 각각의 프레임에 대응하여 산출된 특징 벡터들 또한 차이가 매우 크다.

재현 장치는 이와 같이 서로 이웃하는 프레임들 중 특징 벡터들 간의 차이가 변화하는 프레임, 또는 서로 이웃하는 프레임들 중 특징 벡터들 간의 차이가 미리 설정된 기준치보다 큰 프레임을 씬이 전환되는 샷의 컷 지점으로 결정할 수 있다. 재현 장치는 제1 프레임(320)을 제1 프레임(320)에 대응하는 제1 샷의 끝 프레임으로 설정하고, 제3 프레임(330)을 제3 프레임(330)에 대응하는 제2 샷의 시작 프레임으로 설정할 수 있다. 재현 장치는 제1 프레임(320) 및 제3 프레임(330)에 대한 정보(예를 들어, 해당 프레임이 어느 샷의 시작 프레임 또는 끝 프레임인지에 대한 정보 등)를 저장할 수 있다.

재현 장치는 전술한 과정을 통해, 레퍼런스 영상에 포함된 복수의 씬들을 샷 단위로 분류할 수 있다.

도 4는 일 실시예에 따른 레퍼런스 영상의 특정 컷에 대응하는 카메라 문법의 분류 결과를 도시한 도면이다. 도 4를 참조하면, 일 실시예에 따른 레퍼런스 영상의 특정 컷(410)에 대응하는 카메라 문법을 분류한 결과(430)가 도시된다.

일 실시예에 따른 재현 장치는 샷 단위로 분할된 영상에서 해당 샷 영상이 어떤 카메라 프레이밍과 어떠한 카메라 워크를 사용하는지를 분류할 수 있다. 이때, 샷 단위로 미리 분류된 카메라 문법은 카메라 프레이밍 및 카메라 워크를 포함하는 카메라 문법이 레이블링(labeling)된 복수의 트레이닝 영상들을 이용하여 트레이닝된 신경망에 기초하여 결정될 수 있다. 신경망은 예를 들어, 카메라 프레이밍을 분류하는 제1 신경망 및 카메라 워크를 분류하는 제2 신경망 중 적어도 하나를 포함할 수 있다.

재현 장치는 카메라 프레임을 분류하는 방법의 일 예시는 다음과 같다.

보다 구체적으로, 재현 장치는 예를 들어, 특정 컷(410)의 프레임의 전경 영상에 포함된 피사체 정보를 이용하여 피사체의 특징점들을 추출할 수 있다. 여기서, 피사체는 예를 들어, 사람을 포함하고, 피사체의 특징점들은 예를 들어, 사람의 눈, 눈썹, 코, 입, 귀, 목, 어깨, 팔꿈치, 손목, 골반, 무릎, 및 발목 등을 포함할 수 있다. 다만, 피사체 및 피사체의 특징점들이 반드시 이에 한정되는 것은 아니며, 이 밖에도, 다양한 대상들이 피사체 및/또는 피사체의 특징점들이 될 수 있다. 재현 장치는 예를 들어, 전경 영상에 포함된 피사체의 식별 정보, 피사체의 위치 및/또는 피사체의 일정 영역에 대응하는 픽셀 좌표 등과 같은 피사체 정보를 이용하여 피사체의 특징점들을 추출할 수 있다.

재현 장치는 피사체의 특징점들로부터 피사체에 대한 카메라 프레이밍, 다시 말해 피사체의 구도를 추정할 수 있다. 재현 장치는 예를 들어, 피사체의 얼굴, 눈, 코, 입의 위치 및 피사체의 얼굴 또는 가슴, 허리 등과 같은 기타 영역이 화면에서 차지하는 비율(또는 화면에 배치되는 피사체의 영역) 등을 통해 피사체에 대한 카메라 프레이밍이 클로즈 업인지 또는 버스트, 웨이스트 인지 등을 추정할 수 있다.

예를 들어, 복수의 프레임들을 포함하는 특정 컷(410)이 입력된 경우, 재현 장치는 미리 트레이닝된 신경망을 이용하여 해당 컷(410)에 포함된 피사체의 배치 구조가 화면에 피사체의 머리에서 가슴까지의 모습이 배치된 구조임을 파악하고, 해당 컷(410)의 카메라 프레이밍을 '버스트(bust)'로 결정할 수 있다.

또한, 재현 장치가 카메라 워크를 추정하는 방법은 예를 들어, 다음과 같다.

재현 장치는 도 3을 통해 전술한 과정에서 산출한 각 프레임에 대응하는 특징 벡터를 이용하여 각 샷에 대응하는 카메라 워크를 추정할 수 있다.

재현 장치는 앞서, 각 프레임에 대응하여 산출한 특징 벡터를 이용하여 카메라 워크를 추정할 수 있다. 재현 장치는 예를 들어, 특징 벡터를 미리 트레이닝된 제2 신경망에 인가함으로써 카메라 워크를 추정할 수 있다. 제2 신경망은 예를 들어, 카메라 프레이밍 및 카메라 워크가 레이블링된 복수의 트레이닝 영상들을 이용하여 트레이닝된 것일 수 있다. 제2 신경망은 예를 들어, 다층 퍼셉트론(Multi-Layer Perceptron; MLP) 모델을 포함할 수 있다. 다층 퍼셉트론(MLP) 모델은 일종의 피드 포워드 (feedforward) 인공 신경망으로서 입력 레이어(input layer), 히든 레이어(hidden layer) 및 출력 레이어(output layer)의 세 가지 노드로 구성될 수 있다. 다층 퍼셉트론(MLP) 모델에서 입력 노드를 제외한 각 노드는 비선형 활성화 함수를 사용하는 뉴런일 수 있다. 다층 퍼셉트론은 훈련을 위해 역전파(backpropagation)라 불리는 감독 트레이닝(supervised learning) 기술을 사용할 수 있다.

재현 장치는 특정 컷(410)을 촬영한 카메라의 움직임이 크레인 또는 지미집 등과 같은 장비에 의해 높은 곳에서 점차 아래 방향으로 움직여 촬영된 것임을 파악하고, 해당 컷(410)의 카메라 워크를 '크레인 다운(crane_down)'으로 결정할 수 있다.

재현 장치는 전술한 과정을 통해 피사체의 캐릭터 넘버,카메라 프레이밍, 및 카메라 워크를 포함하는 결과(430)를 출력할 수 있다.

도 5는 일 실시예에 따른 카메라 문법의 예시들을 도시한 도면이다. 도 5를 참조하면, 카메라 프레이밍 및 카메라 워크의 각 유형들을 분류한 표가 도시된다.

'카메라 프레이밍(framing)'은 카메라의 화면 구성, 다시 말해 촬영 시에 화면을 정리하여 트리밍을 하지 않더라도 필름 면 가득히 확대해서 작화할 수 있도록 처음부터 파인더에서 구성하는 것을 의미할 수 있다. 카메라 프레이밍은 '카메라 구도'라고도 부를 수 있다. 카메라 프레이밍은 예를 들어, 클로즈 업(close-up), 버스트(bust), 웨이스트(waist), 미디엄(medium), 니(knee), 풀(full), 롱(long) 등과 같은 피사체 배치 구조들을 포함할 수 있다.

클로즈 업(close-up)은 예를 들어, 인물의 얼굴을 강조하거나 대상을 부각시키는 등과 같이 영상의 어느 한 부분만을 확대한 것으로서 주로 긴장, 불안 등 심리 묘사에 사용될 수 있다. 클로즈 업에 의해 확장된 피사체를 통해 박진감 있는 장면이 구성될 수 있다.

버스트(bust) 또는 버스트 샷(bust shot)은 화면에 피사체의 머리에서 가슴까지의 모습이 배치되도록 하며, 예를 들어, 영화나 드라마에서 인물 간의 대화 장면, 뉴스나 다큐에서의 인터뷰 장면 외에도 다양한 씬에서 이용될 수 있다.

웨이스트(waist) 또는 웨이스트 샷(waist shot)은 화면에 머리에서 허리까지의 모습이 배치되도록 하며, 예를 들어, 상반신의 움직임을 나타내거나 대화 장면 및 인터뷰 장면 등에서 자주 사용될 수 있다.

미디엄(medium) 또는 미디엄 샷(Medium Shot)은 전술한 버스트-웨이스트-니샷'을 어우르는 샷의 통칭이라고 할수 있다. 예를 들어, 샷을 클로즈업 - 미디엄 샷 - 롱 샷의 크게 3개로 구분한 경우, 미디엄 샷은 중간 단계의 샷에 해당할 수 있다.

니(knee) 또는 니 샷(Knee Shot)은 화면에 머리에서 무릎까지의 모습이 배치되도록 하며, 예를 들어, 피사체의 상반신의 움직임을 잡을 때나 여러 피사체를 담을 때 사용될 수 있다. 니 샷은 적당한 거리감을 주기 때문에 안정감을 줄 수 있다.

풀(full) 또는 풀 샷(Full Shot)은 화면에 머리부터 발까지의 모습이 모두 배치되도록 하며, 예를 들어, 인물 전체를 표현하거나 배경과 함께 상황을 보여주는 경우에 사용될 수 있다.

롱(long) 또는 롱 샷은 피사체를 멀리서 찍는 샷에 해당한다. 롱 샷은 촬영 주체와의 관계와 위치 등을 설명하는 수단으로 사용되는 경우도 있으며, 시각적인 효과를 노리는 수단으로 사용될 수도 있다. 또한, 어떠한 사건이 시작되거나 다른 장소의 이야기가 전개될 때 상황을 설명하기 위해 사용될 수 있다.

'카메라 워크'는 카메라를 고정하거나, 이동하거나, 또는 렌즈의 이동에 의해 영상을 촬영하는 기법을 의미하며, '카메라 움직임'이라고도 부를 수 있다.

카메라 워크는 예를 들어, 팬(fan), 틸트(tilt), 오빗(orbit), 크레인(crane), 트랙(track), 스태틱(static), 및 달리(dolly) 등과 같은 카메라 움직임을 포함할 수 있다.

팬 또는 패닝(panning)은 파노라마, 또는 연결 기법이라고도 불리며, 카메라 축에 카메라를 고정시킨 후, 카메라의 앵글을 좌우로 움직여서 촬영하는 기법을 의미한다. 패닝은 카메라를 고정된 시점에서 수평으로 움직여서 넓은 풍경 등을 연속적으로 보여주기 위해 이용될 수 있다. 패닝은 카메라를 수평 방향으로 이동할 때, 일반적으로 피사체의 움직임에 맞추어 속도를 조절할 수 있다. 카메라를 왼쪽으로 움직이는 것을 팬 레프트(Pan left)라 하고, 오른쪽으로 움직이는 것을 팬 라이프(Pan right)라고 한다. 패닝은 예를 들어, 고정 샷에서 이어지는 지루함과 따분함에 활력을 줄 수 있으며, 시간 축의 연결 기법으로 활용될 수 있다.

틸트(tilt)는 카메라 축에 카메라가 고정된 상태에서 카메라의 앵글을 위, 아래 수직 방향으로 움직여서 촬영하는 기법을 의미한다. 카메라의 앵글을 위로 움직이는 것을 틸트 업(tilt up)이라 하고, 아래로 움직이는 것을 틸트 다운(tilt down)이라고 한다. 틸트는 예를 들어, 영상의 오프닝이나 높은 빌딩의 건물 등을 보여줄 때 이용될 수 있다.

오빗(orbit)은 원형의 트랙을 설치하여 피사체를 둘러 감싸며 촬영 하는 기법을 의미한다. 오빗은 '아크(Arc)'라고도 불릴 수 있다. 오빗 또는 아크는 후술하는 달리와 트랙이 결합된 것으로서 피사체를 중심으로 반원형으로 움직이는 촬영 기법을 의미한다. 아크는 움직이는 방향에 따라 아크 레프트(Arc left)와 아크 라이트(Arc right)로 나눌 수 있다. 아크 레프트는 피사체를 중심으로 왼쪽으로 180도 원을 그리며 촬영하는 것을 말하고, 아크 라이트는 피사체를 중심으로 오른쪽으로 180도 원을 그리며 촬영하는 것을 말한다. 아크는 고정된 피사체를 여러 각도에서 보여줄 때, 배경을 다양하게 변화시켜 관객들에게 흥미를 유발시킬 수 있다.

크레인(crane)은 카메라를 크레인 또는 지미집 등과 같은 장비에 의지한 채로 위(up) 또는 아래(down)로 움직여 촬영하는 기법을 의미한다.

트랙(track) 또는 트래킹 (tracking)은 카메라가 좌우로 이동하는 피사체를 따라가면서 촬영하는 기법을 의미한다. 이때, 카메라는 피사체와 같은 방향으로 이동하며 촬영한다. 트랙은 오른쪽에서 왼쪽으로 이동하며 촬영하는 방법과 왼쪽에서 오른쪽으로 이동하며 촬영하는 방법과 같이 피사체의 움직임 방향에 따라서 촬영의 시작 지점이 달라질 수 있다. 트래킹은 움직이는 피사체를 따라가면서 촬영하기 때문에 주변의 배경이 변해 역동적이고 박진감있는 영상을 표현할 수 있다.

스태틱(static)은 트라이포드와 같은 고정 장치에 카메라를 고정시켜 피사체의 움직임과 상관없이 일체의 카메라 이동이나 카메라 조작 없이 촬영하는 기법을 의미한다.

달리(dolly)는 이동하는 수단 위에서 카메라 자체가 앞뒤로 움직이면서 촬영하는 기법을 의미한다. 따라서, 달리는 초점을 적절하게 조절해야 선명한 영상을 얻을 수 있고, 활동적인 영상을 얻을 수 있다. 달리에는 카메라를 어깨에 메고 찍기, 들고 찍기, 낮춰서 찍기 방법 등이 있으며, 최대한 충격이 없이 촬영하는 것이 중요하다.

도 6은 일 실시예에 따른 가상 카메라를 구성하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 재현 장치는 레퍼런스 영상의 대상 샷에 포함된 피사체에, 마스터 씬에서 선택된 어느 하나의 캐릭터 에셋을 매칭시킬 수 있다(610). 재현 장치는 예를 들어, 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받을 수 있다. 이때, 재현 장치는 사용자 인터페이스를 통해 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받을 수 있다. 재현 장치는 피사체에 선택된 캐릭터 에셋을 매칭시킬 수 있다.

재현 장치는 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 프레이밍이 대상 샷의 카메라 문법을 만족하도록 가상 카메라를 구성할 수 있다(620). 재현 장치는 예를 들어, 피사체에 매칭된 캐릭터 에셋의 관절 정보를 기초로, 피사체에 매칭된 캐릭터 에셋이 대상 샷의 카메라 문법에 따른 카메라 프레이밍 내에 존재하도록 가상 카메라를 구성할 수 있다.

도 7은 일 실시예에 따른 가상 카메라를 이용하여 레퍼런스 영상의 카메라 워크를 재현한 결과 영상을 도시한 도면이다. 도 7을 참조하면, 일 실시예에 따른 레퍼런스 영상의 대상 샷(710) 및 레퍼런스 영상의 대상 샷(710)의 카메라 워크를 재현한 결과 영상(730)이 도시된다.

예를 들어, 대상 샷(710)에서 피사체(715)가 화면에서 머리부터 무릎까지의 모습이 배치되고, 카메라가 피사체(715)와 같은 방향으로 이동하며 촬영된다고 하자. 이 경우, 대상 샷(710)의 카메라 문법은 예를 들어, 트랙_니(track knee)일 수 있다.

일 실시예에 따른 재현 장치는 대상 샷(710)의 카메라 문법을 결과 영상(730)에 재현할 수 있다. 재현 장치는 대상 샷(710)의 카메라 문법에 기초하여 대상 샷(710)의 카메라 레이아웃을 재현하는 가상 카메라를 구성할 수 있다. 이때, 가상 카메라는 대상 샷(710)의 카메라 문법인 '트랙_니(track knee)'를 재현할 수 있다. 재현 장치는 가상 카메라를 이용하여 대상 샷(710)의 카메라 문법을 마스터 씬의 캐릭터 에셋(735)에 재현함으로써 결과 영상(730)을 생성할 수 있다.

도 8은 다른 실시예에 따른 카메라 워크를 재현하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시예에 따른 재현 장치는 레퍼런스 영상(801)으로부터 샷 경계를 찾아 컷 지점을 검출할 수 있다(803). 이때, 레퍼런스 영상(801)은 데이터 증강 기법(815)에 의해 구축된 데이터 또는 데이터베이스(817)로부터 제공된 영상들을 포함할 수 있다.

재현 장치는 단계(803)에서 검출한 컷 지점을 기준으로 레퍼런스 영상을 샷 단위로 구분된 샷 영상들로 분류할 수 있다(805). 재현 장치는 샷 영상들로부터 전경과 배경을 분리하고(807), 주요 피사체에 해당하는 전경을 마스크 처리할 수 있다(809).

재현 장치는 단계(809)에서 마스크 처리된 영상 또는 단계(805)에서 분류된 샷 영상들(805)에 대하여 AI(Artificial Intelligence)를 이용한 카메라 문법 분류를 수행할 수 있다(811). 재현 장치는 대상 샷의 카메라 문법을 추출하여 저장할 수 있다(813).

이후, 애니메이션 영상에서 3차원 캐릭터의 대략적인 동선이 주어진 마스터 씬이 입력되고(820), 마스터 씬에서 주요 캐릭터 에셋의 대략적인 움직임이 주어졌다고 하자(822). 이때, 주요 캐릭터 에셋은 사용자에 의해 선택될 수도 있고, 또는 재현 장치에 의해 선택될 수도 있다.

재현 장치는 샷 영상들(805) 중 대상 샷의 주요 피사체와 마스터 씬의 캐릭터 에셋을 매칭시킬 수 있다(824). 이때, 대상 샷 및 대상 샷의 주요 피사체는 사용자 인터페이스(UI)를 통해 사용자에 의해 선택되거나, 또는 미리 트레이닝된 신경망에 의해 선택될 수 있다.

재현 장치는 단계(813)에서 저장된 대상 샷의 카메라 문법과 숏 브레이크 다운(Shot Breakdown) 기법(828)에 의해 단계(824)에서 대상 샷의 주요 피사체와 매칭된 캐릭터 에셋을 위한 카레라 워크를 자동 생성할 수 있다(826).

재현 장치는 대상 샷의 카메라 문법에 기초하여 자동 생성된 카메라 워크에 의해 가상 카메라의 움직임을 생성할 수 있다(830). 단계(830)에서, 재현 장치는 카메라 프레이밍 설정 인터페이스(832)를 통해 사용자에 의해 입력된 카메라 프레이밍을 반영하여 카메라 움직임을 생성할 수 있다.

재현 장치는 단계(830)에서 생성된 카메라 움직임에 의해 3 차원 애니메틱스를 생성할 수 있다(834).

도 9는 일 실시예에 따른 카메라 워크를 재현하는 장치의 블록도이다. 도 9를 참조하면, 일 실시예에 따른 카메라 워크를 재현하는 장치(이하, '재현 장치')(900)는 통신 인터페이스(910), 및 프로세서(930)를 포함한다. 재현 장치(900)는 사용자 인터페이스(950), 메모리(970), 및 디스플레이(990)를 더 포함할 수 있다. 통신 인터페이스(910), 프로세서(930), 사용자 인터페이스(950), 메모리(970), 및 디스플레이(990)는 통신 버스(905)를 통해 서로 통신할 수 있다.

통신 인터페이스(910)는 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬을 수신한다.

프로세서(930)는 복수의 씬들을 포함하는 레퍼런스 영상으로부터, 마스터 씬에 대응하는 대상 샷의 카메라 문법을 추출한다. 프로세서(930)는 대상 샷의 카메라 문법에 기초하여, 대상 샷의 카메라 레이아웃을 재현하는 가상 카메라를 구성한다. 프로세서(930)는 가상 카메라를 이용하여 마스터 씬을 위한 카메라 워크를 재현한다.

프로세서(930)는 마스터 씬의 씬 유형, 마스터 씬에 포함된 적어도 하나의 3차원 캐릭터의 수, 적어도 하나의 3차원 캐릭터의 동선 중 적어도 하나를 기초로, 레퍼런스 영상에서 마스터 씬에 대응하는 대상 씬을 포함하는 대상 샷을 결정할 수 있다.

사용자 인터페이스(950)는 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받을 수 있다. 이 경우, 프로세서는 레퍼런스 영상에서, 캐릭터 에셋의 동선에 대응하는 피사체의 움직임을 포함하는 대상 샷을 결정할 수 있다.

프로세서(930)는 레퍼런스 영상의 대상 샷에 포함된 피사체에 마스터 씬에서 선택된 어느 하나의 캐릭터 에셋을 매칭시킬 수 있다. 프로세서(930)는 예를 들어, 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받고, 피사체에 선택된 캐릭터 에셋을 매칭시킬 수 있다.

프로세서(930)는 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 프레이밍이 대상 샷의 카메라 문법을 만족하도록 가상 카메라를 구성할 수 있다. 프로세서(930)는 예를 들어, 피사체에 매칭된 캐릭터 에셋의 관절 정보를 기초로, 피사체에 매칭된 캐릭터 에셋이 대상 샷의 카메라 문법에 따른 카메라 프레이밍 내에 존재하도록 가상 카메라를 구성할 수 있다.

또한, 프로세서(930)는 도 1 내지 도 8을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(930)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.

프로세서(930)는 프로그램을 실행하고, 재현 장치(900)를 제어할 수 있다. 프로세서(930)에 의하여 실행되는 프로그램 코드는 메모리(970)에 저장될 수 있다.

메모리(970)은 통신 인터페이스(910)를 통해 수신한 마스터 씬을 저장할 수 있다. 메모리(970)는 레퍼런스 영상에서 프로세서(930)에 의해 마스터 씬에 대응하여 추출된 대상 샷의 카메라 문법을 저장할 수 있다. 또한, 메모리(970)는 프로세서(930)에 의해 구성된 가상 카메라를 이용하여 마스터 씬을 위한 카메라 워크가 재현된 결과 영상을 저장할 수 있다.

이 밖에도, 메모리(970)는 상술한 프로세서(930)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 메모리(970)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(970)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(970)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.

디스플레이(990)는 통신 인터페이스(910)를 통해 수신한 마스터 씬 및/또는 프로세서(930)에 의해 구성된 가상 카메라를 이용하여 마스터 씬을 위한 카메라 워크가 재현된 결과 영상을 표시할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

900: 카메라 워크를 재현하는 장치('재현 장치')
905: 통신 버스
910: 통신 인터페이스
930: 프로세서
950: 사용자 인터페이스
970: 메모리
990: 디스플레이

Claims (20)

1. 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬(master scene)을 수신하는 단계;
   복수의 씬들(scenes)을 포함하는 레퍼런스 영상으로부터, 상기 마스터 씬에 대응하는 대상 샷(target shot)의 카메라 문법- 상기 카메라 문법은 카메라 프레이밍(camera framing) 및 카메라 워크(camera work) 중 적어도 하나를 포함함- 을 추출하는 단계;
   상기 대상 샷의 카메라 문법에 기초하여, 상기 대상 샷의 카메라 레이아웃(camera layout)을 재현하는 가상 카메라를 구성하는 단계; 및
   상기 가상 카메라를 이용하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 단계
   를 포함하고,
   상기 레퍼런스 영상은
   씬이 전환되는 샷(shot) 단위로 편집된 복수의 컷들과 상기 샷 단위로 미리 분류된 카메라 문법을 포함하고,
   상기 샷 단위로 미리 분류된 카메라 문법은
   카메라 프레이밍 및 카메라 워크를 포함하는 카메라 문법이 레이블링(labeling)된 복수의 트레이닝 영상들을 이용하여 트레이닝된 신경망에 기초하여 결정되는, 카메라 워크를 재현하는 방법.
   
2. 삭제
3. 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬(master scene)을 수신하는 단계;
   복수의 씬들(scenes)을 포함하는 레퍼런스 영상으로부터, 상기 마스터 씬에 대응하는 대상 샷(target shot)의 카메라 문법- 상기 카메라 문법은 카메라 프레이밍(camera framing) 및 카메라 워크(camera work) 중 적어도 하나를 포함함- 을 추출하는 단계;
   상기 대상 샷의 카메라 문법에 기초하여, 상기 대상 샷의 카메라 레이아웃(camera layout)을 재현하는 가상 카메라를 구성하는 단계; 및
   상기 가상 카메라를 이용하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 단계
   를 포함하고,
   상기 레퍼런스 영상은
   씬이 전환되는 샷(shot) 단위로 편집된 복수의 컷들을 포함하고, 상기 샷 단위로 미리 분류된 카메라 문법을 포함하며,
   상기 복수의 컷들은
   상기 레퍼런스 영상의 t 시점(t는 1보다 같거나 큰 자연수임)의 제1 프레임, 상기 t 시점에 선행하는 t-1 시점의 제2 프레임, 및 상기 t시점에 후행하는 t+1 시점의 제3 프레임 각각에서 추출된 옵티컬 플로우(optical flow) 및 컬러 히스토그램(color histogram)에 기초한 특징 벡터들에 의해 상기 샷 단위로 분류되는, 카메라 워크를 재현하는 방법.
   
4. 삭제
5. 제1항에 있어서,
   상기 신경망은
   상기 카메라 프레이밍을 분류하는 제1 신경망; 및
   상기 카메라 워크를 분류하는 제2 신경망
   중 적어도 하나를 포함하는, 카메라 워크를 재현하는 방법.
   
6. 제1항에 있어서,
   상기 카메라 프레이밍은
   클로즈 업(close-up), 버스트(bust), 미디엄(medium), 니(knee), 풀(full), 롱(long) 중 적어도 하나의 피사체 배치 구조를 포함하는, 카메라 워크를 재현하는 방법.
   
7. 제1항에 있어서,
   상기 카메라 워크는
   팬(fan), 틸트(tilt), 오빗(orbit), 크레인(crane), 트랙(track), 스태틱(static) 중 적어도 하나의 카메라 움직임을 포함하는, 카메라 워크를 재현하는 방법.
   
8. 제1항에 있어서,
   상기 대상 샷의 카메라 문법을 추출하는 단계는
   상기 마스터 씬의 씬 유형(scene type), 상기 마스터 씬에 포함된 상기 적어도 하나의 3차원 캐릭터의 수, 상기 적어도 하나의 3차원 캐릭터의 동선 중 적어도 하나를 기초로, 상기 레퍼런스 영상에서 상기 마스터 씬에 대응하는 대상 씬을 포함하는 대상 샷을 결정하는 단계
   를 포함하는, 카메라 워크를 재현하는 방법.
   
9. 제1항에 있어서,
   상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋(character asset)에 대한 사용자의 선택을 입력받는 단계
   를 더 포함하고,
   상기 대상 샷의 카메라 문법을 추출하는 단계는
   상기 레퍼런스 영상에서, 상기 캐릭터 에셋의 동선에 대응하는 피사체의 움직임을 포함하는 대상 샷을 결정하는 단계
   를 포함하는, 카메라 워크를 재현하는 방법.
   
10. 제1항에 있어서,
    상기 가상 카메라를 구성하는 단계는
    상기 레퍼런스 영상의 대상 샷에 포함된 피사체에, 상기 마스터 씬에서 선택된 어느 하나의 캐릭터 에셋을 매칭(matching)시키는 단계; 및
    상기 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 프레이밍이 상기 대상 샷의 카메라 문법을 만족하도록 상기 가상 카메라를 구성하는 단계
    를 포함하는, 카메라 워크를 재현하는 방법.
    
11. 제10항에 있어서,
    상기 어느 하나의 캐릭터 에셋을 매칭시키는 단계는
    상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋에 대한 사용자의 선택을 입력받는 단계; 및
    상기 피사체에 상기 선택된 캐릭터 에셋을 매칭시키는 단계
    를 포함하는, 카메라 워크를 재현하는 방법.
    
12. 제10항에 있어서,
    상기 가상 카메라를 구성하는 단계는
    상기 피사체에 매칭된 캐릭터 에셋의 관절 정보를 기초로, 상기 피사체에 매칭된 캐릭터 에셋이 상기 대상 샷의 카메라 문법에 따른 카메라 프레이밍 내에 존재하도록 상기 가상 카메라를 구성하는 단계
    를 포함하는, 카메라 워크를 재현하는 방법.
    
13. 제10항에 있어서,
    상기 마스터 씬을 위한 카메라 프레이밍의 설정을 입력받는 단계
    를 더 포함하고,
    상기 카메라 워크를 재현하는 단계는
    상기 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 워크에, 상기 설정된 카메라 프레이밍을 더 고려하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 단계
    를 포함하는, 카메라 워크를 재현하는 방법.
    
14. 하드웨어와 결합되어 제1항, 제3항, 및 제5항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
    
15. 적어도 하나의 3차원 캐릭터의 동선을 포함하는 마스터 씬을 수신하는 통신 인터페이스; 및
    복수의 씬들을 포함하는 레퍼런스 영상으로부터, 상기 마스터 씬에 대응하는 대상 샷의 카메라 문법- 상기 카메라 문법은 카메라 프레이밍 및 카메라 워크 중 적어도 하나를 포함함- 을 추출하고, 상기 대상 샷의 카메라 문법에 기초하여, 상기 대상 샷의 카메라 레이아웃을 재현하는 가상 카메라를 구성하며, 상기 가상 카메라를 이용하여 상기 마스터 씬을 위한 카메라 워크를 재현하는 프로세서
    를 포함하고,
    상기 레퍼런스 영상은
    씬이 전환되는 샷(shot) 단위로 편집된 복수의 컷들과 상기 샷 단위로 미리 분류된 카메라 문법을 포함하고,
    상기 샷 단위로 미리 분류된 카메라 문법은
    카메라 프레이밍 및 카메라 워크를 포함하는 카메라 문법이 레이블링(labeling)된 복수의 트레이닝 영상들을 이용하여 트레이닝된 신경망에 기초하여 결정되는, 카메라 워크를 재현하는 장치.
    
16. 제15항에 있어서,
    상기 프로세서는
    상기 마스터 씬의 씬 유형(scene type), 상기 마스터 씬에 포함된 상기 적어도 하나의 3차원 캐릭터의 수, 상기 적어도 하나의 3차원 캐릭터의 동선 중 적어도 하나를 기초로, 상기 레퍼런스 영상에서 상기 마스터 씬에 대응하는 대상 씬을 포함하는 대상 샷을 결정하는,
    카메라 워크를 재현하는 장치.
    
17. 제15항에 있어서,
    상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋(character asset)에 대한 사용자의 선택을 입력받는 사용자 인터페이스
    를 더 포함하고,
    상기 프로세서는
    상기 레퍼런스 영상에서, 상기 캐릭터 에셋의 동선에 대응하는 피사체의 움직임을 포함하는 대상 샷을 결정하는,
    카메라 워크를 재현하는 장치.
    
18. 제15항에 있어서,
    상기 프로세서는
    상기 레퍼런스 영상의 대상 샷에 포함된 피사체에 상기 마스터 씬에서 선택된 어느 하나의 캐릭터 에셋을 매칭(matching)시키고,
    상기 피사체에 매칭된 캐릭터 에셋과 관련된 카메라 프레이밍이 상기 대상 샷의 카메라 문법을 만족하도록 상기 가상 카메라를 구성하는,
    카메라 워크를 재현하는 장치.
    
19. 제18항에 있어서,
    상기 프로세서는
    상기 적어도 하나의 3차원 캐릭터 중 어느 하나의 캐릭터 에셋(character asset)에 대한 사용자의 선택을 입력받고,
    상기 피사체에 상기 선택된 캐릭터 에셋을 매칭시키는,
    카메라 워크를 재현하는 장치.
    
20. 제18항에 있어서,
    상기 프로세서는
    상기 피사체에 매칭된 캐릭터 에셋의 관절 정보를 기초로, 상기 피사체에 매칭된 캐릭터 에셋이 상기 대상 샷의 카메라 문법에 따른 카메라 프레이밍 내에 존재하도록 상기 가상 카메라를 구성하는,
    카메라 워크를 재현하는 장치.

Images