KR20130090621A - 사전 시각화 영상 생성 장치 및 방법 - Google Patents
사전 시각화 영상 생성 장치 및 방법 Download PDFInfo
- Publication number
- KR20130090621A KR20130090621A KR1020120011881A KR20120011881A KR20130090621A KR 20130090621 A KR20130090621 A KR 20130090621A KR 1020120011881 A KR1020120011881 A KR 1020120011881A KR 20120011881 A KR20120011881 A KR 20120011881A KR 20130090621 A KR20130090621 A KR 20130090621A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- information
- virtual camera
- actor
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 영상 제작 작업에서 3D 디지털 액터를 포함하는 가상 공간과 가상 카메라 장치를 사용하여 공간 내의 카메라의 모션, 가상 공간과 디지털 액터 모션과의 상호 작용 등을 시뮬레이션하고 영상에 대한 미리 보기 기능을 지원함으로써 보다 효과적인 영상 제작을 지원하는 사전 시각화 영상 생성 장치 및 방법을 제안한다.
Description
본 발명은 사전 시각화 영상을 생성하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 가상 카메라를 기반으로 사전 시각화 영상을 생성하는 장치 및 방법에 관한 것이다.
6-70년대 산업이나 과학/군사 기술 분야에서 수치 계산에 따른 작동 시뮬레이션을 위주로 사용되었던 컴퓨터 그래픽 산업은 80년대부터는 대중에게 영화, 게임, 방송 등의 엔터테인먼트 분야를 통해서 본격적으로 선보이기 시작하였다.
80년대까지의 영화 산업에서는 영상 합성 위주의 2D 기술이나 애니메이션과 같이 연속 이미지를 사람의 손으로 하나씩 그려서 영상을 제작하는 기술이 보편적으로 사용되었다.
이후 컴퓨터 하드웨어의 발달과 더불어 Maya나 3D Max 등의 컴퓨터 그래픽용 프로그램의 지원을 통하여 작업을 자동화함으로써 그 시간과 비용을 절감하는 노력이 계속되었다. 합성 효과는 초기 공상 과학 영화(SF)에서 가장 핵심인 기능이었다. 날아다니는 슈퍼맨을 구현하기 위해 배우를 와이어 등의 기술을 공중에 띄우고 이를 배경과 합성하여 최종 영상을 제작하였다. 초기에는 이러한 작업만으로도 많은 사람들에게 감명을 주기에 충분하였지만, 이러한 기술 자체가 원래 있는 영상을 기반으로 수행하는 작업이기에 영상에 인간의 상상력과 창조성을 적용하기에는 부족한 면이 많았다.
영상에 작가의 상상력과 창조성을 효과적으로 구현하기 위해 사용된 기법이 디지털 액터 기술이다. 디지털 액터는 영화/방송 분야에서는 특수 효과의 핵심 기술이다. 현실의 액터와 똑같은 모습으로 재현된 3차원 배우는 영상 곳곳에서 중요한 역할을 수행하였다. "스파이더맨 2(2004)"에서는 악당 옥토퍼스의 결투 장면이, "슈퍼맨 리턴즈(2006)"에서는 슈퍼맨의 비행 장면이, "벤자민 버튼의 시계는 꺼꾸로 간다(2009)"에서 늙은이로 태어나서 점점 젊어가는 주연 액터의 얼굴 등의 주요 장면에서 주연 액터의 모습을 본뜬 디지털 액터를 활용하였다. 심지어는 아예 실제 액터를 쓰지 않는 영화도 제작되었다. "파이널 판타지(2001)", "폴라 익스프레스(2004)", "베오울프(2007)" 등에서는 아예 디지털 액터를 이용하여 전 장면을 3D 촬영하였다.
하지만, 디지털 액터를 활용한 영상 제작에는 많은 기술과 작업이 필요하다. 일단 디지털 액터는 실제 액터가 아니기 때문에 영상 공간에서 스스로 움직일 수 없어 그 모션을 디지털 액터에 이식하여 액션을 취하도록 한다. 이를 위해 미리 실제 액터의 모션을 따로 잡아 해당 장면에서 디지털 액터에 모션을 적용하여 영상을 제작한다. 즉 영상 촬영과 디지털 액터의 액션이 따로 제작되고, 따로 후작업을 거쳐서 하나의 영상으로 합쳐진다.
이러한 작업에서 디지털 액터와 실제 촬영 장면의 일치가 전체적으로 영상의 자연스러움을 좌우하게 된다. 특히 실제 액터와 디지털 액터와의 상호작용이 있는 장면이라면 더욱 큰 영향을 끼치게 된다. 하지만, 실사 촬영과 디지털 액터의 액션이 따로 이루어지고 있으며, 후작업 단계에서는 액터간 액션들의 불일치를 확인하더라도 재촬영을 하지 않는 한 이를 수정할 수 없다.
또한, 영상 제작에서 장면의 카메라의 모션 제어와 속성 설정은 아주 중요한 요소이다. 하지만, 카메라의 모션이나 각도 등은 실제 영상을 찍어서 보지 않는 한 감독이 원하는 장면을 얻을 수 있는지 확인할 수 없다. 기존에는 디자이너들이 감독의 의도에 따라서 2D 일러스트 등을 수작업으로 제작하거나, 좀더 진보하여 3D 모델을 활용하여 디자이너들이 카메라의 이동 경로나 방향, 속성 등을 수작업으로 지정하여 영상을 생성한 3D 콘티를 제작하였다. 하지만, 이러한 콘티는 대략적인 윤곽만을 제공할 뿐 아니라, 이러한 콘티 설정을 하기 위해서 장면 설정, 카메라 설정 등의 반복 작업 뿐만 아니라, 제작에 참여하는 사람들의 많은 의사 소통을 거쳐야 하기 때문에 매우 힘들고 시간이 많이 걸리는 작업이다. 또한, 실제 촬영 진행 후에 원래 의도와 맞지 않은 영상은 후편집을 통하여 교정 작업을 수행하는데 많은 비용과 시간이 소요되는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 영상 제작 작업에서 3D 디지털 액터를 포함하는 가상 공간과 가상 카메라를 사용하여 현실 공간 내의 가상 촬영 장치의 모션, 가상 공간과 디지털 액터 모션과의 상호 작용 등을 시뮬레이션하고 영상에 대한 미리 보기 기능을 지원함으로써 보다 효과적인 영상 제작을 지원하는 사전 시각화 영상 생성 장치 및 방법을 제안함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 현실 액터의 모션 정보를 추출하는 모션 정보 추출부; 상기 현실 액터의 모션을 촬영하는 가상 촬영 장치의 모션 정보를 가상 카메라 정보로 수집하는 가상 촬영 장치 정보 수집부; 상기 가상 촬영 장치 정보를 기초로 현실 세계에 위치된 상기 액터의 모션 정보를 디지털 액터에 반영하여 상기 디지털 액터의 모션을 적용한 가상 장면 영상을 사전 시각화 영상으로 생성하는 사전 시각화 영상 생성부; 및 상기 사전 시각화 영상이 생성되게 제어 기능을 수행하는 사전 시각화 영상 생성 제어부를 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치를 제안한다.
바람직하게는, 상기 가상 촬영 장치 정보 수집부는 상기 가상 촬영 장치에 부착된 마커를 이용하여 상기 가상 촬영 장치의 모션을 추적하는 가상 촬영 장치 추적부; 및 상기 추적을 통해 상기 가상 촬영 장치 정보로 상기 가상 촬영 장치의 위치에 대한 정보 또는 상기 가상 촬영 장치의 방향에 대한 정보를 수집하는 위치/방향 정보 수집부를 포함한다.
바람직하게는, 상기 모션 정보 추출부는 상기 현실 액터에 부착된 마커를 이용하여 상기 모션 정보를 추출한다.
바람직하게는, 상기 사전 시각화 영상 생성 장치는 상기 디지털 액터에 적용 가능하게 상기 모션 정보를 보정하는 모션 정보 보정부; 또는 잡음 제거 또는 표본 단순화로 상기 가상 촬영 장치 정보를 보정하는 가상 카메라 정보 보정부를 더욱 포함한다.
바람직하게는, 상기 사전 시각화 영상 생성 장치는 화면 인터페이스 또는 무선 제어기를 통해 상기 가상 카메라의 속성을 제어하는 가상 카메라 속성 제어부를 더욱 포함한다.
바람직하게는, 상기 사전 시각화 영상 생성 제어부는 가상 공간에 배치되는 가상 모델을 가상 모델 데이터로 미리 생성하거나 미리 생성된 가상 모델을 가상 모델 데이터로 저장하는 가상 모델 데이터 관리부; 상기 모션 정보를 추출할 때마다 수집된 상기 가상 촬영 장치 정보를 이용하여 가상 공간 내의 상기 가상 카메라를 제어하는 가상 카메라 제어부; 상기 모션 정보를 상기 가상 공간에 위치하는 상기 디지털 액터에 반영하여 상기 디지털 액터를 제어하는 디지털 액터 제어부; 제어되는 상기 가상 카메라를 이용하여 상기 가상 공간의 크기나 형태를 조정하여 상기 가상 공간을 제어하는 가상 공간 제어부; 및 제어되는 상기 가상 공간에 상기 가상 모델 데이터와 제어되는 상기 디지털 액터 및 상기 가상 카메라를 결합시켜 상기 사전 시각화 영상이 생성되게 제어하는 결합 기반 장면 영상 생성 제어부를 포함한다. 더욱 바람직하게는, 상기 사전 시각화 영상 생성 제어부는 상기 실제 촬영 장치가 배치된 현실 공간과 상기 가상 공간 내의 가상 카메라 간 위치와 방향의 상대적 차이 값을 계산하여 상기 차이 값으로 상기 가상 카메라의 보정 정보를 초기화하는 가상 카메라 정보 초기화부를 더욱 포함하며, 상기 가상 카메라 제어부는 상기 모션 정보를 추출할 때마다 초기화된 가상 카메라 값을 이용하여 상기 가상 카메라 정보를 보정하여 상기 가상 카메라를 제어한다.
바람직하게는, 상기 결합 기반 장면 영상 생성 제어부는 상기 가상 카메라 정보를 기반으로 상기 사전 시각화 영상을 입체 영상으로 생성되게 제어하거나, 상기 결합 기반 장면 영상 생성 제어부는 상기 사전 시각화 영상이 상기 가상 촬영 장치와 상기 사전 시각화 영상 생성부에 다중 화면으로 동시 출력되게 제어한다. 더욱 바람직하게는, 상기 결합 기반 장면 영상 생성 제어부는 네트워크를 이용하여 원격으로 상기 다중 화면이 미리보기 영상으로 출력되게 제어한다.
바람직하게는, 상기 사전 시각화 영상 생성 장치는 상기 모션 정보, 상기 가상 카메라 정보, 상기 가상 장면 영상 및 상기 사전 시각화 영상 중 적어도 하나를 호환성 있는 데이터로 변환하는 호환적 데이터 변환부를 더욱 포함한다.
또한, 본 발명은 현실 액터의 모션 정보를 추출하는 모션 정보 추출 단계; 상기 현실 액터의 모션을 촬영하는 가상 촬영 장치의 모션 정보를 가상 카메라 정보로 수집하는 가상 촬영 장치 정보 수집 단계; 및 상기 가상 카메라 정보를 기초로 현실 세계에 위치된 상기 액터의 모션 정보를 디지털 액터에 반영하여 상기 디지털 액터의 모션을 적용한 가상 장면 영상을 사전 시각화 영상으로 생성하는 사전 시각화 영상 생성 단계를 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 방법을 제안한다.
바람직하게는, 상기 가상 촬영 장치 정보 수집 단계는 상기 현실 공간의 가상 촬영 장치에 부착된 마커를 이용하여 상기 가상 촬영 장치의 모션을 추적하는 가상 촬영 장치 추적 단계; 및 상기 추적을 통해 상기 가상 촬영 장치 정보로 상기 가상 촬영 장치의 위치에 대한 정보 또는 상기 가상 촬영 장치의 방향에 대한 정보를 수집하는 위치/방향 정보 수집 단계를 포함한다.
바람직하게는, 상기 모션 정보 추출 단계는 상기 현실 액터에 부착된 마커를 이용하여 상기 모션 정보를 추출한다.
바람직하게는, 상기 사전 시각화 영상 생성 방법은 상기 디지털 액터에 적용 가능하게 상기 모션 정보를 보정하는 모션 정보 보정 단계를 더욱 포함한다.
바람직하게는, 상기 사전 시각화 영상 생성 방법은 잡음 제거 또는 표본 단순화로 상기 가상 카메라 정보를 보정하는 가상 카메라 정보 보정 단계를 더욱 포함한다.
바람직하게는, 상기 사전 시각화 영상 생성 방법은 화면 인터페이스 또는 무선 제어기를 통해 상기 가상 카메라의 속성을 제어하는 가상 카메라 제어 단계를 더욱 포함한다.
바람직하게는, 상기 사전 시각화 영상 생성 방법은 상기 사전 시각화 영상이 생성되게 제어 기능을 수행하는 사전 시각화 영상 생성 제어 단계를 더욱 포함하며, 상기 사전 시각화 영상 생성 제어 단계는 가상 공간에 배치되는 가상 모델을 가상 모델 데이터로 미리 생성하거나 미리 생성된 가상 모델을 가상 모델 데이터로 저장하는 가상 모델 데이터 관리 단계; 상기 가상 촬영 장치의 모션 정보를 추출할 때마다 수집된 상기 가상 카메라 정보를 이용하여 가상 공간 내의 상기 가상 카메라를 제어하는 가상 카메라 제어 단계; 상기 모션 정보를 상기 가상 공간에 위치하는 상기 디지털 액터에 반영하여 상기 디지털 액터를 제어하는 디지털 액터 제어 단계; 제어되는 상기 가상 카메라를 이용하여 상기 가상 공간의 크기나 형태를 조정하여 상기 가상 공간을 제어하는 가상 공간 제어 단계; 및 제어되는 상기 가상 공간에 상기 가상 모델 데이터와 제어되는 상기 디지털 액터 및 상기 가상 카메라를 결합시켜 상기 사전 시각화 영상이 생성되게 제어하는 결합 기반 장면 영상 생성 제어 단계를 포함한다. 더욱 바람직하게는, 상기 사전 시각화 영상 생성 제어 단계는 상기 실제 촬영 장치가 배치된 현실 공간과 상기 가상 공간 내의 가상 카메라 간 위치와 방향의 상대적 차이 값을 계산하여 상기 차이 값으로 상기 가상 카메라의 보정 정보를 초기화하는 가상 카메라 정보 초기화 단계를 더욱 포함하며, 상기 가상 카메라 제어 단계는 상기 모션 정보를 추출할 때마다 초기화된 가상 카메라 값을 이용하여 상기 가상 카메라 정보를 보정하여 상기 가상 카메라를 제어한다.
바람직하게는, 상기 사전 시각화 영상 생성 방법은 상기 모션 정보, 상기 가상 카메라 정보, 상기 가상 장면 영상 및 상기 사전 시각화 영상 중 적어도 하나를 호환성 있는 데이터로 변환하는 호환적 데이터 변환 단계를 더욱 포함한다.
본 발명은 다음과 같은 효과를 얻을 수 있다. 첫째, 실제 영상 제작 환경과 동일한 가상 촬영 장치 기능과 실시간 액터 모션 추출 기능을 기반으로 디지털 액터와 가상 공간을 사용하는 제작 영상에 대해 완벽한 미리 보기 기능을 제공할 수 있다. 둘째, 촬영 중에 수집한 데이터에 대한 관리 기능을 제공하여 언제든지 촬영 데이터를 재생할 수 있는 기능을 지원할 수 있다. 셋째, 제작진은 먼저 데이터를 수집한 후에 나중에 영상을 생성하여 그 결과를 확인하던 기존의 작업 방법에서 벗어나 데이터 수집 단계에서 사전 시각화 영상을 통하여 결과를 확인할 수 있다. 넷째, 가상 공간을 기반으로 한 촬영 장치의 모션을 시뮬레이션함으로써 영상 제작에 대한 카메라 설정을 사전에 결정할 수 있으며, 실제 촬영지에서 카메라 구도 설정, 3D 특수효과 등의 작업에 대한 반복 작업을 줄여 제작 기간 단축과 비용 절감이 가능해진다.
도 1은 본 발명의 바람직한 실시예에 따른 사전 시각화 영상 생성 장치를 개략적으로 도시한 블록도이다.
도 2는 도 1에 도시된 사전 시각화 영상 생성 장치에 추가되는 구성을 도시한 블록도이다.
도 3은 도 1에 도시된 사전 시각화 영상 생성 장치의 내부 구성을 구체적으로 도시한 블록도이다.
도 4는 마커와 추적 장치를 기반으로 한 사전 시각화 장치의 구성도이다.
도 5는 마커와 추적 장치를 기반으로 한 사전 시각화 장치의 블록도이다.
도 6은 가상 촬영 장치 추적부의 내부 구성을 도시한 블록도이다.
도 7은 액터 모션 추적부의 내부 구성을 도시한 블록도이다.
도 8은 데이터 후처리부의 내부 구성을 도시한 블록도이다.
도 9는 가상 카메라 속성 제어부의 내부 구성을 도시한 블록도이다.
도 10은 장면 제어부의 내부 구성을 도시한 블록도이다.
도 11은 영상 생성부의 내부 구성을 도시한 블록도이다.
도 12는 액션을 취하는 배우로부터 모션을 추출하여 이를 가상 촬영 장치의 화면에 출력하는 개념도를 설명하기 위한 도면이다.
도 13은 추출 카메라 위치에 대해서 카메라 위치값과 방향값이 보정되는 흐름을 설명하기 위한 도면이다.
도 14는 본 발명의 바람직한 실시예에 따른 사전 시각화 영상 생성 방법을 개략적으로 도시한 흐름도이다.
도 2는 도 1에 도시된 사전 시각화 영상 생성 장치에 추가되는 구성을 도시한 블록도이다.
도 3은 도 1에 도시된 사전 시각화 영상 생성 장치의 내부 구성을 구체적으로 도시한 블록도이다.
도 4는 마커와 추적 장치를 기반으로 한 사전 시각화 장치의 구성도이다.
도 5는 마커와 추적 장치를 기반으로 한 사전 시각화 장치의 블록도이다.
도 6은 가상 촬영 장치 추적부의 내부 구성을 도시한 블록도이다.
도 7은 액터 모션 추적부의 내부 구성을 도시한 블록도이다.
도 8은 데이터 후처리부의 내부 구성을 도시한 블록도이다.
도 9는 가상 카메라 속성 제어부의 내부 구성을 도시한 블록도이다.
도 10은 장면 제어부의 내부 구성을 도시한 블록도이다.
도 11은 영상 생성부의 내부 구성을 도시한 블록도이다.
도 12는 액션을 취하는 배우로부터 모션을 추출하여 이를 가상 촬영 장치의 화면에 출력하는 개념도를 설명하기 위한 도면이다.
도 13은 추출 카메라 위치에 대해서 카메라 위치값과 방향값이 보정되는 흐름을 설명하기 위한 도면이다.
도 14는 본 발명의 바람직한 실시예에 따른 사전 시각화 영상 생성 방법을 개략적으로 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 사전 시각화 영상 생성 장치를 개략적으로 도시한 블록도이다. 도 2는 도 1에 도시된 사전 시각화 영상 생성 장치에 추가되는 구성을 도시한 블록도이다. 도 3은 도 1에 도시된 사전 시각화 영상 생성 장치의 내부 구성을 구체적으로 도시한 블록도이다. 이하 설명은 도 1 내지 도 3을 참조한다.
도 1은 본 발명의 바람직한 실시예에 따른 사전 시각화 영상 생성 장치를 개략적으로 도시한 블록도이다. 도 2는 도 1에 도시된 사전 시각화 영상 생성 장치에 추가되는 구성을 도시한 블록도이다. 도 3은 도 1에 도시된 사전 시각화 영상 생성 장치의 내부 구성을 구체적으로 도시한 블록도이다. 이하 설명은 도 1 내지 도 3을 참조한다.
모션 정보 추출부(110)는 현실 액터의 모션 정보를 추출하는 기능을 수행한다. 모션 정보 추출부(110)는 현실 액터에 부착된 마커를 이용하여 모션 정보를 추출할 수 있다. 후술하겠지만, 모션 정보 추출부(110)는 액터 모션 추적부와 동일한 기능을 수행하는 구성이다.
가상 촬영 장치 정보 수집부(120)는 현실 액터의 모션을 촬영하는 가상 촬영 장치의 모션 정보를 가상 카메라 정보로 수집하는 기능을 수행한다. 후술하겠지만, 가상 촬영 장치 정보 수집부(120)는 가상 촬영 장치 추적부와 동일한 기능을 수행하는 구성이다.
가상 촬영 장치 정보 수집부(120)는 도 3 (a)에 도시된 바와 같이 가상 촬영 장치 추적부(121) 및 위치/방향 정보 수집부(122)를 포함할 수 있다. 가상 촬영 장치 추적부(121)는 현실 공간의 가상 촬영 장치에 부착된 마커를 이용하여 가상 촬영 장치의 모션을 추적하는 기능을 수행한다. 위치/방향 정보 수집부(122)는 가상 촬영 장치 추적을 통해 가상 촬영 장치 정보로 가상 카메라의 위치에 대한 정보 또는 가상 카메라의 방향에 대한 정보를 수집하는 기능을 수행한다.
사전 시각화 영상 생성부(140)는 가상 촬영 장치 정보를 기초로 현실 세계에 위치된 액터의 모션 정보를 디지털 액터에 반영하여 디지털 액터와 가상 카메라의 움직임이 조합된 가상 장면 영상을 사전 시각화 영상으로 생성하는 기능을 수행한다. 사전 시각화 영상 생성부(140)는 현실 세계에 위치된 액터의 모션이 추출될 때마다 추출된 모션 정보를 디지털 액터에 반영하여 디지털 액터의 모션을 적용한 가상 장면 영상을 사전 시각화 영상으로 생성할 수 있다. 본 실시예에서 현실 세계에 위치된 액터는 현실 세계에서 주로 움직이는 배우를 의미하며, 디지털 액터는 가상 공간에서 현실 세계에 위치된 액터의 모션에 따라 움직이는 배우를 의미한다. 후술하겠지만, 사전 시각화 영상 생성부(140)는 영상 생성부와 동일한 기능을 수행하는 구성이다.
사전 시각화 영상 생성 제어부(130)는 사전 시각화 영상이 생성되게 제어 기능을 수행한다. 후술하겠지만, 사전 시각화 영상 생성 제어부(130)는 장면 제어부와 동일한 기능을 수행하는 구성이다.
사전 시각화 영상 생성 제어부(130)는 도 3 (b)에 도시된 바와 같이 가상 모델 데이터 관리부(131), 가상 카메라 제어부(132), 디지털 액터 제어부(133), 가상 공간 제어부(134) 및 결합 기반 장면 영상 생성 제어부(135)를 포함할 수 있다. 가상 모델 데이터 관리부(131)는 가상 공간에 배치되는 디지털 액터나 배경 건물 등의 가상 모델을 가상 모델 데이터로 미리 생성하거나 미리 생성된 가상 모델을 가상 모델 데이터로 저장하는 기능을 수행한다. 후술하겠지만, 가상 모델 데이터 관리부(131)는 장면 관리부와 동일한 기능을 수행하는 구성이다. 가상 카메라 제어부(132)는 모션 정보를 추출할 때마다 수집된 가상 카메라 정보를 이용하여 가상 카메라를 제어하는 기능을 수행한다. 후술하겠지만, 가상 카메라 제어부(132)는 장면 카메라 제어부와 동일한 기능을 수행하는 구성이다. 디지털 액터 제어부(133)는 현실 액터의 모션 정보를 가상 공간에 위치하는 디지털 액터에 반영하여 디지털 액터를 제어하는 기능을 수행한다. 후술하겠지만, 디지털 액터 제어부(133)는 액터 모션 제어부와 동일한 기능을 수행하는 구성이다. 가상 공간 제어부(134)는 제어되는 가상 카메라를 이용하여 가상 공간의 크기나 형태를 조정하여 가상 공간을 제어하는 기능을 수행한다. 후술하겠지만, 가상 공간 제어부(134)는 가상 공간 조정부와 동일한 기능을 수행하는 구성이다. 결합 기반 장면 영상 생성 제어부(135)는 제어되는 상기 가상 공간에 상기 가상 모델 데이터와 제어되는 상기 디지털 액터 및 상기 가상 카메라를 결합시켜 상기 사전 시각화 영상이 생성되게 제어하는 기능을 수행한다. 결합 기반 장면 영상 생성 제어부(135)는 가상 카메라 정보를 기반으로 사전 시각화 영상을 입체 영상으로 생성되게 제어할 수 있다. 또한, 결합 기반 장면 영상 생성 제어부(135)는 사전 시각화 영상이 가상 촬영 장치와 사전 시각화 영상 생성부에 다중 화면으로 동시 출력되게 제어할 수 있다. 이때, 결합 기반 장면 영상 생성 제어부(135)는 네트워크를 이용하여 원격으로 다중 화면이 미리보기 영상으로 출력되게 제어할 수 있다.
사전 시각화 영상 생성 제어부(130)는 도 3 (b)에 도시된 바와 같이 가상 카메라 정보 초기화부(136)를 더욱 포함할 수 있다. 가상 카메라 정보 초기화부(136)는 실제 촬영 장치가 배치된 현실 공간과 가상 공간 내의 가상 카메라 간 위치와 방향의 상대적 차이 값을 계산하여 그 차이 값으로 가상 카메라의 보정 정보를 초기화하는 기능을 수행한다. 이때, 가상 카메라 제어부(132)는 모션 정보를 추출할 때마다 수집된 가상 카메라 정보에 초기화된 가상 카메라 값을 적용함으로써 가상 카메라 정보를 보정하여 가상 카메라를 제어할 수 있다. 후술하겠지만, 가상 카메라 정보 초기화부(136)는 가상 카메라 초기화부와 동일한 기능을 수행하는 구성이다.
사전 시각화 영상 생성 장치(100)는 도 2에 도시된 바와 같이 모션 정보 보정부(210), 가상 카메라 정보 보정부(220), 가상 카메라 속성 제어부(230) 및 호환적 데이터 변환부(240)를 더욱 포함할 수 있다.
모션 정보 보정부(210)는 디지털 액터에 적용 가능하게 모션 정보를 보정하는 기능을 수행한다. 가상 카메라 정보 보정부(220)는 잡음 제거 또는 표본 단순화로 가상 카메라 정보를 보정하는 기능을 수행한다. 후술하겠지만, 모션 정보 보정부(210)와 가상 카메라 정보 보정부(220)는 데이터 후처리부와 동일한 기능을 수행하는 구성이다.
가상 카메라 속성 제어부(230)는 화면 인터페이스 또는 무선 제어기를 통해 가상 카메라의 속성을 제어하는 기능을 수행한다. 이 가상 카메라 속성 제어부(230)는 도 5의 가상 카메라 속성 제어부와 동일한 기능을 수행하는 구성이다.
호환적 데이터 변환부(240)는 현실 액터의 모션 정보, 가상 카메라 정보, 가상 장면 영상 및 사전 시각화 영상 중 적어도 하나를 호환성 있는 데이터로 변환하는 기능을 수행한다.
다음으로, 사전 시각화 영상 생성 장치(100)의 일실시예로 영상 제작을 위한 가상 카메라 기반의 사전 시각화 장치(이하, 사전 시각화 장치로 약칭함)에 대해 설명한다. 도 4는 마커와 추적 장치를 기반으로 한 사전 시각화 장치의 개념도이다. 도 5는 마커와 추적 장치를 기반으로 한 사전 시각화 장치의 블록도이다. 이하 설명은 도 4와 도 5를 참조한다.
사전 시각화 장치(400)는 영상 제작 작업에서 3D 디지털 액터를 포함하는 가상 공간과 가상 촬영 장치를 사용하여 공간 내의 카메라의 모션, 가상 공간과 디지털 액터 모션과의 상호 작용 등을 시뮬레이션하고 영상에 대한 미리보기 기능을 지원함으로써 보다 효과적인 영상 제작을 지원하는 장치이다. 사전 시각화 장치(400)의 특징을 요약하면 다음과 같다. 첫째, 영상 제작 지원 시스템 구축에 있어서 카메라의 모션과 액터의 모션을 실시간으로 추적 처리한다. 둘째, 수집된 데이터를 영상 서버로 전송하며, 이를 기반으로 가상 공간에서의 카메라 위치와 액터의 모션을 적용하여 실시간 사전 시각화 영상을 제작한다. 셋째, 가상 카메라의 FOV나 확대/축소 등의 속성을 제어한다. 넷째, 사전 시각화 영상 제작을 위한 정보를 저장/관리하고 이를 재생하며, 사전 시각화 영상을 동영상으로 제작한다. 다섯째, 수집된 카메라 정보와 액터 모션 정보를 다른 응용 프로그램에서도 활용할 수 있도록 수집 정보에 대한 범용적 목적을 위한 호환성 확보를 제공한다.
이를 위해 사전 시각화 장치(400)는 가상 촬영 장치(430), 마커 기반 카메라 장치 모션 정보를 수집하는 가상 촬영 장치 추적부(420), 마커 기반의 액터 모션을 추적하는 액터 모션 추적부(410), 및 서비스 제어 장치(render server; 440)를 포함한다. 서비스 제어 장치(440)는 수집된 데이터를 관리하고 처리하는 데이터 후처리부(441), 가상 촬영 장치 모션 정보와 액터 모션 정보 등의 가상 공간을 구축하기 위해 필요한 데이터를 관리하고 장면을 구성하는 기능을 제공하는 장면 제어부(443), 가상 공간 영상을 생성하고 이의 사전 시각화 영상을 생성하는 영상 생성부(444), 저장된 가상 카메라 모션 정보 및 액터 모션 정보를 다른 분야에서도 활용할 수 있도록 하는 데이터 호환성 지원부(445)를 포함한다.
도 6은 가상 촬영 장치 추적부의 내부 구성을 도시한 블록도이다. 도 6에 도시된 바와 같이, 가상 촬영 장치 추적부(420)는 마커를 기반으로 가상 촬영 장치의 위치와 정보를 수집하는 카메라 트래킹부(421), 수집된 카메라 정보를 서버로 전송하는 카메라 트래킹 정보 전송부(422), 전송된 트래킹 정보를 저장/관리하는 카메라 트래킹 정보 관리부(423)를 포함한다. 카메라 트래킹 정보 전송부(422)는 수집된 위치와 방향 정보를 네트워크를 통하여 서버로 실시간으로 전송한다.
도 7은 액터 모션 추적부의 내부 구성을 도시한 블록도이다. 도 7에 도시된 바와 같이, 액터 모션 추적부(410)는 액터에 부착된 마커를 기반으로 액터의 모션 정보를 수집하는 액터 모션 트래킹부(411), 수집된 모션 서버로 전송하는 액터 모션 전송부(412), 전송된 모션 정보를 저장/관리하는 액터 모션 관리부(413)를 포함한다. 액터 모션 전송부(412)는 수집된 영상을 네트워크를 통하여 서버로 실시간으로 전송한다.
도 8은 데이터 후처리부의 내부 구성을 도시한 블록도이다. 도 8에 도시된 바와 같이, 데이터 후처리부(441)는 저장된 가상 촬영 장치 모션 정보에 대한 잡음 제거, 표본 단순화 등의 작업을 제공하는 카메라 트래킹 정보 후처리부(501), 액터 모션 정보를 적용할 3D 액터에 맞추어주는 모션 정보 후처리부(502)를 포함한다.
도 9는 가상 카메라 속성 제어부의 내부 구성을 도시한 블록도이다. 도 9에 도시된 바와 같이, 가상 카메라 속성 제어부(442)는 화면 UI를 통하여 가상 카메라의 FOV(시야)나 확대/축소 등의 속성을 제어하는 카메라 속성 화면 제어부(511), 무선 제어기를 통하여 가상 카메라의 FOV(시야)나 확대/축소 등의 속성을 제어하는 카메라 속성 무선 제어부(512)를 포함한다.
도 10은 장면 제어부의 내부 구성을 도시한 블록도이다. 도 10에 도시된 바와 같이, 장면 제어부(443)는 현실 공간에 위치된 가상 촬영 장치의 초기 방향과 위치를 가상 공간 내의 가상 카메라와 일치시키는 가상 카메라 초기화부(521), 미리 설계된 가상 공간 장면 데이터를 읽어 들여서 가상 공간을 구성하는 장면 관리부(522), 수집된 카메라 트래킹 정보에 맞추어서 가상 공간 내의 카메라의 위치와 방향 및 속성을 제어하는 장면 카메라 제어부(523), 가상 공간을 구성하는 장면 데이터와 수집된 카메라 장치의 트래킹 정보와의 단위를 일치시키는 가상 공간 조정부(525)를 포함한다.
도 11은 영상 생성부의 내부 구성을 도시한 블록도이다. 도 11에 도시된 바와 같이, 영상 생성부(444)는 구성된 장면 모델 데이터와 카메라 트래킹 정보, 액터 모션 정보를 실시간으로 결합하여 영상을 생성하고, 그 결과를 가상 카메라 장치의 화면 장치와 영상 서버의 모니터에 동시에 출력하는 동시 영상 생성부(531), 사용자 지정에 따라 3D 입체 영상을 생성하는 입체 장면 생성부(532), 카메라 트래킹 정보 관리부(423)와 액터 모션 관리부(413)에서 관리하는 가상 촬영 장치(430)와 모션 정보를 기반으로 언제든지 다시 영상을 다시 볼 수 있도록 재생 기능을 제공하는 장면 재생부(533), 공간적으로 멀리 떨어져 있는 제작 감독이나 투자자들에게 인터넷을 통하여 영상을 볼 수 있도록 기능을 제공하는 원격 장면 재생부(535), 재생 영상을 동영상 파일로 저장하는 기능을 제공하는 장면 동영상 제작부(534)를 포함한다.
데이터 호환성 지원부(445)는 수집된 카메라 트래킹 정보 및 액터 모션 정보를 마야나 맥스와 같은 기존의 상용 프로그램에서 활용할 수 있도록 표준 형식에 기반한 정보 출력 기능을 제공함으로써 다양한 활용을 위한 호환성을 지원한다.
이하 도 4 내지 도 11을 참조하여 사전 시각화 장치(400)를 상세히 설명한다. 이하 실시예에서 사용자는 화면 출력을 포함하는 가상 카메라 장치를 제작하고 여기에 마커를 부착한 후에 카메라의 위치를 추적한다.
사전 시각화 장치(400)는 가상 카메라 장치 정보를 수집하는 가상 촬영 장치 추적부(420), 액터 모션 정보를 수집하는 액터 모션 추적부(410), 전송된 데이터를 관리하고 처리하는 데이터 후처리부(441), 가상 공간에서 카메라에 대한 속성을 제어하는 가상 카메라 속성 제어부(442), 구성할 가상 공간을 제어하는 장면 제어부(443), 최종 영상을 생성하는 영상 생성부(444) 및 데이터 호환성 지원부(445)로 구성된다.
가상 촬영 장치 추적부(420)는 다음과 같이 작동된다. 지정한 공간에서 마커를 장착한 가상 촬영 장치를 움직이면 카메라 트래킹부(421)는 공간 내에서의 마커 추적 카메라를 이용하여 가상 촬영 장치(430)의 위치와 방향을 추적하고 카메라 트래킹 정보 전송부(422)는 네트워크를 통해서 수집된 카메라 모션 정보를 영상 서버로 전송한다. 액터 모션 추적부(410)는 다음과 같이 작동된다. 지정된 공간에서 마커를 장착한 액터가 동작을 수행하면 액터 모션 트래킹부(411)는 마커 추적 카메라를 이용하여 액터의 모션을 추출하고, 액터 모션 전송부(412)는 모션 정보를 영상 서버로 같이 전달하게 된다. 전송된 추출 데이터는 각각 카메라 트래킹 정보 관리부(423)와 액터 모션 관리부(413)를 통해서 저장되고 관리된다.
저장된 카메라 트래킹 정보는 가상 촬영 장치가 사람의 손에 의해 움직이므로 손떨림 등에 의해 노이즈가 발생할 우려가 있다. 이를 영상 생성에 그대로 사용하게 되면 영상의 품질 저하 등의 문제가 야기될 수 있다. 데이터 후처리부(441)는 이러한 문제를 처리한다. 먼저 트래킹 정보 관리부(423)에서는 카메라의 트래킹 정보와 액터 모션 정보를 추출 시간(t)을 기준으로 관리하는데, 이는 시간 t1부터 t2까지 카메라 위치 및 방향 정보는 지정된 시간 간격(△t)을 기준으로 저장된다. 카메라 트래킹 정보 후처리부(501)는 저장된 특정 시간 C(t)의 카메라의 위치와 방향에 대해 후처리 함수 f(t,i)에 의하여 노이즈를 제거하거나 값을 보정하여 보정 카메라 정보 C'(t)를 생성한다. C'(t)는 수학식 1과 같이 구할 수 있다.
모션 정보 후처리부(502)에서는 추출된 모션 정보를 가상 공간의 3D 디지털 액터로 전이하는 과정에서 모션을 추출한 실제 액터와 디지털 액터와의 체격의 차이로 인해 발생하는 문제점을 처리한다.
가상 카메라 속성 제어부(442)는 가상 공간에서 카메라의 역할을 수행하는 카메라의 속성을 제어하는데, 2가지 작동 모드를 제공한다. 카메라 속성 화면 제어부(511)에서는 영상 서버에서 서버 운영자가 화면 인터페이스를 통해 카메라의 속성 등을 수정하고 그 결과 화면이 가상 카메라 장치에 출력된다. 실제로 가상 카메라 운영자는 그 속성을 변경할 수 있는 권한이 없으며 단순하게 화면만 볼 수 있을 뿐이다. 카메라 속성 무선 제어부(512)는 카메라 속성을 가상 촬영 장치 작동자가 직접 제어를 하는 기능을 지원한다. 가상 촬영 장치에 달린 무선 제어 장치를 기반으로 카메라 작동자가 직접 카메라 시야각(Fov)나 확대/축소 등을 제어할 수 있다.
장면 제어부(443)는 가상 공간을 구축하기 위해 필요한 모델 데이터를 관리하고 장면을 구성하는 기능을 제공한다. 가상 카메라 초기화부(521)는 가상 공간 내의 초기 위치와 실제 공간 사이의 위치의 차이를 계산하고 이를 보정한다. 즉 현실 공간에서 가상 촬영 장치의 모션(위치, 방향)이 가상 공간 상에서 가상 카메라와 일치하기 위한 작업인 것이다. 가상 카메라를 가상 공간 내에 위치했을 때, 그 값은 위치(Origin(Position))와 방향(Origin(Direction)) 값을 갖게 되는데, 가상 카메라 초기화부(521)는 이를 원점과 방향(Init(Position, Direction))으로 처리하도록 보정 기준값(CorrBase(Position, Direction))을 결정한다. 이후 장면에 공간에서 추출된 카메라 위치값(Extract(Position, Direction))은 보정 기준값(CorrBase(Position, Direction))을 기반으로 보정 작업을 거쳐 카메라의 위치와 방향(CorrValue(Position, Direction))을 보정한다. 이를 수학식으로 나타내면 다음과 같다.
CorrBase(Position, Direction) = Origin(Position, Direction) - Init(Position, Direction)
CorrValue(Position, Direction) = Correction(CorrBase(Position, Direction), Extract(Position, Direction))
장면 관리부(522)는 마야나 3D-Max 등의 프로그램에서 미리 설계된 가상 공간을 구축하는 모델 데이터를 가상 촬영 장치의 화면에 출력할 수 있도록 로딩/제어하는 기능을 지원한다. UI를 통해서 화면에 로딩되는 모델 데이터를 선택적으로 선택할 수 있으며 이의 위치를 지정할 수 있도록 한다. 이는 기존의 가상 스튜디오 등이 미리 정의된 장면 공간만을 사용할 수 있는 반면에 사전 시각화 장치(400)는 운영자가 필요에 의해서 장면을 구성하는 데이터를 자유롭게 바꿀 수 있는 기능을 제공해준다.
장면 카메라 제어부(523)는 가상 촬영 장치 추적부(420)에서 수집되어 데이터 후처리부(441)를 거쳐 저장된 카메라 트래킹 정보(위치, 방향, FOV 등)를 기반으로 영상을 생성할 수 있도록 가상 공간 내의 카메라의 속성을 설정한다. 액터 모션 제어부(524)는 수집된 액터 모션 정보를 가상 공간 내의 디지털 액터에게 적용하여 액션을 수행하도록 제어한다. 이때 수집된 가상 촬영 장치의 모션 정보와 액터 모션 정보는 추적을 위해 사용된 하드웨어 장치에 사양에 의해 결정되는데, 대부분 그 단위가 mm 단위로 구성되어 있다. 그러나 영상에서 표시하고자 하는 장면은 10층짜리 큰 빌딩이 될 수도 있고, 가로 길이와 세로 길이가 각각 10cm인 작은 방이 될 수도 있다. 전투 장면을 위한 광활한 평야가 될 수도 있고 험준한 산악이 될 수도 있다. 그러나 실제 촬영 공간은 이보다 훨씬 협소하기 때문에 가상 공간 조정부(525)는 이러한 단위의 차이를 일치시키는 작업을 수행한다. 이하 도 13을 참조하여 설명한다. 가상 촬영 장치 추적부(420)에서 수집한 카메라의 위치와 방향(S601)은 가상 카메라 초기화부(521)에서 구한 보정 기준값(S602, S603)을 기준으로 보정 절차를 거쳐 보정값(CorrValue(Position, Direction))을 생성한다(S604). 장면 카메라 제어부(523)에서는 장면 조정 함수(SceneScalar)를 통해 장면에 사용될 최종 카메라 정보(FinalValue(Position, Direction))를 계산한다(S621). 이때 조정의 기준값은 장면 관리부(522)에서 읽어들인 장면 데이터(SceneData)(S611, S612)를 통해서 결정한다. 이를 수학식으로 나타내면 다음과 같다.
FinalValue(Position, Direction) = SceneScaler(CorrValue(Position, Direction), SceneData)
영상 생성부(444)는 다음과 같이 작동된다. 동시 영상 생성부(531)는 구성된 장면 데이터와 카메라 트래킹 보정 정보, 액터 모션 정보를 실시간으로 결합하여 영상을 생성하고, 그 결과를 가상 촬영 장치(430)의 화면 장치와 영상 서버의 모니터에 동시에 출력하는 기능을 제공한다. 이는 영상 제작 현장에서 카메라 장치를 움직이는 카메라 감독과 전체 영상 제작을 총괄하는 영상 감독에게 동일한 영상을 제공함으로써 영상 제작에 유용한 제작 환경을 제공한다. 도 12에서는 추출된 배우의 모션이 결합되어 화면을 생성하여 영상을 가상 촬영 장치의 화면에 출력하는 개념을 그림으로 보여주고 있다.
입체 장면 생성부(532)는 최근 급증하는 입체 영상 제작 환경을 지원하기 위해 가상 카메라 장치의 영상과 영상 렌더링 서버에 입체 영상을 지원한다. 저장된 카메라 트래킹 정보를 기반으로 운영자가 가상 공간 내에 가상 스테레오 카메라를 시뮬레이션함으로써 입체 영상에 대한 사전 시각화 영상을 제공한다. 특히 좌/우 카메라 간의 축간 거리 및 영점 값을 자유롭게 변경하여 화면을 확인할 수 있기에 장면에 적합한 스테레오 카메라의 설정을 계획하고, 실제 촬영 단계에서 이를 기반으로 촬영을 진행을 위한 기반 데이터로 활용한다.
장면 재생부(533)는 카메라 트래킹 정보 관리부(423)와 액터 모션 관리부(413)에서 관리하는 가상 촬영 장치(430)와 모션 정보를 기반으로 언제든지 일반 영상 및 입체 영상을 대해 다시 볼 수 있도록 재생 기능을 제공한다. 원격 장면 재생부(535)는 공간적으로 멀리 떨어져 있는 제작 감독이나 투자자들에게 인터넷을 통하여 영상을 볼 수 있도록 기능을 제공한다. 장면 동영상 제작부(534)는 재생 영상을 동영상 파일로 저장하는 기능을 제공한다.
데이터 호환성 지원부(445)는 수집된 카메라 트래킹 정보 및 액터 모션 정보를 마야나 맥스와 같은 기존의 상용 프로그램에서 활용할 수 있도록 표준 형식에 기반한 정보 출력 기능을 제공함으로써 다양한 활용을 위한 호환성을 지원한다.
다음으로, 사전 시각화 영상 생성 장치(100)의 사전 시각화 영상 생성 방법에 대해 설명한다. 도 14는 본 발명의 바람직한 실시예에 따른 사전 시각화 영상 생성 방법을 개략적으로 도시한 흐름도이다. 이하 설명은 도 14를 참조한다.
먼저, 현실 액터의 모션 정보를 추출한다(모션 정보 추출 단계, S10). 이 단계(S10)에서는 현실 액터에 부착된 마커를 이용하여 모션 정보를 추출할 수 있다.
모션 정보 추출 단계(S10) 이후, 현실 액터의 모션을 촬영하는 가상 촬영 장치의 모션 정보를 가상 카메라 장치 정보로 수집한다(가상 촬영 장치 정보 수집 단계, S20). 가상 촬영 장치 정보 수집 단계(S20)는 다음과 같이 수행될 수 있다. 먼저, 현실 공간의 가상 촬영 장치에 부착된 마커를 이용하여 가상 촬영 장치의 모션을 추적한다. 이후, 가상 촬영 장치 추적을 통해 가상 촬영 장치 정보로 가상 카메라의 위치에 대한 정보 또는 가상 카메라의 방향에 대한 정보를 수집한다.
가상 촬영 장치 정보 수집 단계(S20) 이후, 가상 카메라 장치 정보를 기초로 현실 세계에 위치된 액터의 모션 정보를 디지털 액터에 반영하여 디지털 액터의 모션이 있는 가상 장면 영상을 사전 시각화 영상으로 생성한다(사전 시각화 영상 생성 단계, S30).
가상 촬영 장치 정보 수집 단계(S20)와 사전 시각화 영상 생성 단계(S30) 사이에는 사전 시각화 영상 생성 제어 단계(S30')가 더욱 수행될 수 있다. 이 단계(S30')는 사전 시각화 영상이 생성되게 제어 기능을 수행하는 단계이다.
한편, 가상 촬영 장치 정보 수집 단계(S20) 이전에 실제 촬영 장치가 배치된 현실 공간과 가상 공간 내의 가상 촬영 장치 간 위치와 방향의 상대적 차이 값을 계산하여 그 차이 값으로 가상 촬영 장치의 보정 정보를 초기화하는 가상 카메라 정보 초기화 단계가 수행될 수 있다. 일례로, 가상 촬영 장치 정보 초기화 단계는 모션 정보 추출 단계(S10)와 가상 촬영 장치 정보 수집 단계(S20) 사이에 수행될 수 있다. 가상 카메라 정보 초기화 단계에 따라 사전 시각화 영상 생성 제어 단계(S30')는 모션 정보를 추출할 때마다 초기화된 가상 카메라 값을 이용하여 가상 카메라 정보를 보정하여 가상 카메라를 제어할 수 있다.
한편, 모션 정보 추출 단계(S10) 이후에 모션 정보 보정 단계가 수행될 수 있다. 이 단계에서는 디지털 액터에 적용 가능하게 모션 정보를 보정한다. 일례로, 모션 정보 보정 단계는 모션 정보 추출 단계(S10)와 가상 촬영 장치 정보 수집 단계(S20) 사이에 수행될 수 있다.
한편, 가상 촬영 장치 정보 수집 단계(S20) 이후에 가상 카메라 정보 보정 단계가 수행될 수 있다. 이 단계에서는 잡음 제거 또는 표본 단순화로 가상 카메라 정보를 보정한다. 일례로, 가상 카메라 정보 보정 단계는 가상 촬영 장치 정보 수집 단계(S20)와 사전 시각화 영상 생성 단계(S30) 사이에 수행될 수 있다.
한편, 가상 촬영 장치 정보 수집 단계(S20) 이후에 가상 카메라 제어 단계가 수행될 수 있다. 이 단계에서는 화면 인터페이스 또는 무선 제어기를 통해 가상 카메라 장치의 속성을 제어한다. 일례로, 가상 카메라 정보 보정 단계는 가상 촬영 장치 정보 수집 단계(S20)와 사전 시각화 영상 생성 단계(S30) 사이에 수행될 수 있다.
한편, 사전 시각화 영상 생성 단계(S40) 이후에 호환적 데이터 변환 단계가 수행될 수 있다. 이 단계에서는 현실 액터의 모션 정보, 가상 카메라 정보, 가상 장면 영상 및 사전 시각화 영상 중 적어도 하나를 호환성 있는 데이터로 변환한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 사전 시각화 영상 생성 장치 110 : 모션 정보 추출부
120 : 가상 촬영 장치 정보 수집부 121 : 가상 촬영 장치 추적부
122 : 위치/방향 정보 수집부 130 : 사전 시각화 영상 생성 제어부
131 : 가상 모델 데이터 관리부 132 : 가상 카메라 제어부
133 : 디지털 액터 제어부 134 : 가상 공간 제어부
135 : 결합 기반 장면 영상 생성부 136 : 가상 카메라 정보 초기화부
140 : 사전 시각화 영상 생성부 150 : 전원부
160 : 주제어부 210 : 모션 정보 보정부
220 : 가상 카메라 정보 보정부 230 : 가상 카메라 속성 제어부
240 : 호환적 데이터 변환부
120 : 가상 촬영 장치 정보 수집부 121 : 가상 촬영 장치 추적부
122 : 위치/방향 정보 수집부 130 : 사전 시각화 영상 생성 제어부
131 : 가상 모델 데이터 관리부 132 : 가상 카메라 제어부
133 : 디지털 액터 제어부 134 : 가상 공간 제어부
135 : 결합 기반 장면 영상 생성부 136 : 가상 카메라 정보 초기화부
140 : 사전 시각화 영상 생성부 150 : 전원부
160 : 주제어부 210 : 모션 정보 보정부
220 : 가상 카메라 정보 보정부 230 : 가상 카메라 속성 제어부
240 : 호환적 데이터 변환부
Claims (18)
- 현실 액터의 모션 정보를 추출하는 모션 정보 추출부;
상기 현실 액터의 모션을 촬영하는 가상 촬영 장치의 모션 정보를 가상 카메라 정보로 수집하는 가상 촬영 장치 정보 수집부;
상기 가상 카메라 정보를 기초로 상기 액터의 모션 정보를 디지털 액터에 반영하여 상기 디지털 액터의 모션이 있는 가상 장면 영상을 사전 시각화 영상으로 생성하는 사전 시각화 영상 생성부; 및
상기 사전 시각화 영상이 생성되게 제어 기능을 수행하는 사전 시각화 영상 생성 제어부를 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 1 항에 있어서,
상기 가상 촬영 장치 정보 수집부는,
상기 가상 촬영 장치에 부착된 마커를 이용하여 상기 가상 촬영 장치의 모션을 추적하는 가상 촬영 장치 추적부; 및
상기 추적을 통해 상기 가상 카메라 정보로 상기 가상 카메라의 위치에 대한 정보 또는 상기 가상 카메라의 방향에 대한 정보를 수집하는 위치/방향 정보 수집부
를 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 1 항에 있어서,
상기 모션 정보 추출부는 상기 현실 액터에 부착된 마커를 이용하여 상기 모션 정보를 추출하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 1 항에 있어서,
상기 디지털 액터에 적용 가능하게 상기 모션 정보를 보정하는 모션 정보 보정부; 또는
잡음 제거 또는 표본 단순화로 상기 가상 카메라 정보를 보정하는 가상 카메라 정보 보정부
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 1 항에 있어서,
화면 인터페이스 또는 무선 제어기를 통해 상기 가상 카메라의 속성을 제어하는 가상 카메라 속성 제어부
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 1 항에 있어서,
상기 사전 시각화 영상 생성 제어부는,
가상 공간에 배치되는 가상 모델을 가상 모델 데이터로 미리 생성하거나 미리 생성된 가상 모델을 가상 모델 데이터로 저장하는 가상 모델 데이터 관리부;
상기 가상 촬영 장치의 모션 정보를 추출할 때마다 수집된 상기 가상 카메라 정보를 이용하여 가상 공간 내의 가상 카메라를 제어하는 가상 카메라 제어부;
상기 모션 정보를 상기 가상 공간에 위치하는 상기 디지털 액터에 반영하여 상기 디지털 액터를 제어하는 디지털 액터 제어부;
제어되는 상기 가상 카메라를 이용하여 상기 가상 공간의 크기나 형태를 조정하여 상기 가상 공간을 제어하는 가상 공간 제어부; 및
제어되는 상기 가상 공간에 상기 가상 모델 데이터와 제어되는 상기 디지털 액터 및 상기 가상 카메라를 결합시켜 상기 사전 시각화 영상이 생성되게 제어하는 결합 기반 장면 영상 생성 제어부
를 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 6 항에 있어서,
상기 사전 시각화 영상 생성 제어부는,
실제 촬영 장치가 배치된 현실 공간과 상기 가상 공간 내의 가상 카메라 간 위치와 방향의 상대적 차이 값을 계산하여 상기 차이 값으로 상기 가상 카메라의 보정 정보를 초기화하는 가상 카메라 정보 초기화부
를 더욱 포함하며,
상기 가상 카메라 제어부는 상기 모션 정보를 추출할 때마다 초기화된 가상 카메라 값을 이용하여 상기 가상 카메라 정보를 보정하여 상기 가상 카메라를 제어하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 6 항에 있어서,
상기 결합 기반 장면 영상 생성 제어부는 상기 가상 카메라 정보를 기반으로 상기 사전 시각화 영상을 입체 영상으로 생성되게 제어하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 6 항에 있어서,
상기 결합 기반 장면 영상 생성 제어부는 상기 사전 시각화 영상이 상기 가상 촬영 장치와 상기 사전 시각화 영상 생성부에 다중 화면으로 동시 출력되게 제어하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 9 항에 있어서,
상기 결합 기반 장면 영상 생성 제어부는 네트워크를 이용하여 원격으로 상기 다중 화면이 미리보기 영상으로 출력되게 제어하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 제 1 항에 있어서,
상기 모션 정보, 상기 가상 카메라 정보, 상기 가상 장면 영상 및 상기 사전 시각화 영상 중 적어도 하나를 호환성 있는 데이터로 변환하는 호환적 데이터 변환부
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 장치. - 현실 액터의 모션 정보를 추출하는 모션 정보 추출 단계;
상기 현실 액터의 모션을 촬영하는 가상 촬영 장치의 모션 정보를 가상 카메라 정보로 수집하는 가상 촬영 장치 정보 수집 단계; 및
상기 가상 카메라 정보를 기초로 상기 액터의 모션 정보를 디지털 액터에 반영하여 상기 디지털 액터의 모션이 있는 가상 장면 영상을 사전 시각화 영상으로 생성하는 사전 시각화 영상 생성 단계부
를 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 방법. - 제 12 항에 있어서,
상기 가상 촬영 장치 정보 수집 단계는,
상기 현실 공간의 상기 가상 촬영 장치에 부착된 마커를 이용하여 상기 가상 촬영 장치의 모션을 추적하는 가상 촬영 장치 추적 단계; 및
상기 추적을 통해 상기 가상 카메라 정보로 상기 가상 카메라의 위치에 대한 정보 또는 상기 가상 카메라의 방향에 대한 정보를 수집하는 위치/방향 정보 수집 단계
를 포함하거나,
상기 모션 정보 추출 단계는 상기 현실 액터에 부착된 마커를 이용하여 상기 모션 정보를 추출하는 것을 특징으로 하는 사전 시각화 영상 생성 방법. - 제 12 항에 있어서,
상기 디지털 액터에 적용 가능하게 상기 모션 정보를 보정하는 모션 정보 보정 단계; 또는
잡음 제거 또는 표본 단순화로 상기 가상 카메라 정보를 보정하는 가상 카메라 정보 보정 단계
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 방법. - 제 12 항에 있어서,
화면 인터페이스 또는 무선 제어기를 통해 상기 가상 카메라의 속성을 제어하는 가상 카메라 속성 제어 단계
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 방법. - 제 12 항에 있어서,
상기 사전 시각화 영상이 생성되게 제어 기능을 수행하는 사전 시각화 영상 생성 제어 단계
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 방법. - 제 16 항에 있어서,
실제 촬영 장치가 배치된 현실 공간과 상기 가상 공간 내의 가상 카메라 간 위치와 방향의 상대적 차이 값을 계산하여 상기 차이 값으로 상기 가상 카메라의 보정 정보를 초기화하는 가상 카메라 장치 정보 초기화 단계
를 더욱 포함하며,
상기 사전 시각화 영상 생성 제어 단계는 상기 모션 정보를 추출할 때마다 초기화된 가상 카메라 값을 이용하여 상기 가상 카메라 정보를 보정하여 상기 가상 카메라를 제어하는 것을 특징으로 하는 사전 시각화 영상 생성 방법. - 제 12 항에 있어서,
상기 모션 정보, 상기 가상 카메라 정보, 상기 가상 장면 영상 및 상기 사전 시각화 영상 중 적어도 하나를 호환성 있는 데이터로 변환하는 호환적 데이터 변환 단계
를 더욱 포함하는 것을 특징으로 하는 사전 시각화 영상 생성 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120011881A KR101713772B1 (ko) | 2012-02-06 | 2012-02-06 | 사전 시각화 영상 생성 장치 및 방법 |
| US13/585,754 US20130201188A1 (en) | 2012-02-06 | 2012-08-14 | Apparatus and method for generating pre-visualization image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120011881A KR101713772B1 (ko) | 2012-02-06 | 2012-02-06 | 사전 시각화 영상 생성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130090621A true KR20130090621A (ko) | 2013-08-14 |
| KR101713772B1 KR101713772B1 (ko) | 2017-03-09 |
Family
ID=48902487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120011881A KR101713772B1 (ko) | 2012-02-06 | 2012-02-06 | 사전 시각화 영상 생성 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20130201188A1 (ko) |
| KR (1) | KR101713772B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102412595B1 (ko) * | 2021-09-09 | 2022-06-24 | 주식회사 치즈앤 | 3d 캐릭터를 활용한 특수촬영물 제작 서비스 제공 방법 및 장치 |
| KR102474451B1 (ko) * | 2022-06-02 | 2022-12-06 | 주식회사 비브스튜디오스 | 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11232626B2 (en) * | 2011-12-21 | 2022-01-25 | Twenieth Century Fox Film Corporation | System, method and apparatus for media pre-visualization |
| US10600245B1 (en) * | 2014-05-28 | 2020-03-24 | Lucasfilm Entertainment Company Ltd. | Navigating a virtual environment of a media content item |
| JP6609988B2 (ja) * | 2015-05-18 | 2019-11-27 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
| JP2016099638A (ja) * | 2014-11-18 | 2016-05-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
| US10664975B2 (en) | 2014-11-18 | 2020-05-26 | Seiko Epson Corporation | Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target |
| EP3340188A4 (en) * | 2015-08-20 | 2019-05-22 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
| ES2812851T3 (es) * | 2016-11-01 | 2021-03-18 | Previble AB | Dispositivo de previsualización |
| KR102202372B1 (ko) | 2017-01-17 | 2021-01-13 | 한국전자통신연구원 | 영상 컨텐츠를 재사용하여 사용자 인터랙션을 인지할 수 있는 인터랙티브 미디어 제작 시스템 및 그 운용방법 |
| CN107015642A (zh) * | 2017-03-13 | 2017-08-04 | 武汉秀宝软件有限公司 | 一种基于增强现实的数据同步方法和系统 |
| CN107146278B (zh) * | 2017-04-18 | 2020-05-26 | 深圳市智能现实科技有限公司 | 场景建模方法及装置 |
| CN109035373B (zh) * | 2018-06-28 | 2022-02-01 | 北京市商汤科技开发有限公司 | 三维特效程序文件包的生成及三维特效生成方法与装置 |
| CN111031259B (zh) * | 2019-12-17 | 2021-01-19 | 武汉理工大学 | 一种内向型三维场景采集虚拟复眼照相机 |
| CN111857520B (zh) * | 2020-06-16 | 2024-07-26 | 广东希睿数字科技有限公司 | 基于数字孪生的3d可视化交互显示方法与系统 |
| CN114697762B (zh) * | 2022-04-07 | 2023-11-28 | 脸萌有限公司 | 一种处理方法、装置、终端设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006252558A (ja) * | 2005-03-09 | 2006-09-21 | Microsoft Corp | 拡張コンテンツビルドパイプラインのためのシステムおよび方法 |
| JP2007006175A (ja) * | 2005-06-24 | 2007-01-11 | Nissan Motor Co Ltd | 車両用画像生成装置および方法 |
| JP2009500042A (ja) * | 2005-07-07 | 2009-01-08 | インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド | ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム |
| JP2009106393A (ja) * | 2007-10-26 | 2009-05-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8615383B2 (en) * | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
| US9299184B2 (en) * | 2009-04-07 | 2016-03-29 | Sony Computer Entertainment America Llc | Simulating performance of virtual camera |
| US8890774B2 (en) * | 2010-02-09 | 2014-11-18 | Disney Enterprises, Inc. | Heads-up display for a gaming environment |
| KR101390383B1 (ko) * | 2010-11-16 | 2014-04-29 | 한국전자통신연구원 | 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치 |
| US8786680B2 (en) * | 2011-06-21 | 2014-07-22 | Disney Enterprises, Inc. | Motion capture from body mounted cameras |
-
2012
- 2012-02-06 KR KR1020120011881A patent/KR101713772B1/ko active IP Right Grant
- 2012-08-14 US US13/585,754 patent/US20130201188A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006252558A (ja) * | 2005-03-09 | 2006-09-21 | Microsoft Corp | 拡張コンテンツビルドパイプラインのためのシステムおよび方法 |
| JP2007006175A (ja) * | 2005-06-24 | 2007-01-11 | Nissan Motor Co Ltd | 車両用画像生成装置および方法 |
| JP2009500042A (ja) * | 2005-07-07 | 2009-01-08 | インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド | ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム |
| JP2009106393A (ja) * | 2007-10-26 | 2009-05-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102412595B1 (ko) * | 2021-09-09 | 2022-06-24 | 주식회사 치즈앤 | 3d 캐릭터를 활용한 특수촬영물 제작 서비스 제공 방법 및 장치 |
| KR102474451B1 (ko) * | 2022-06-02 | 2022-12-06 | 주식회사 비브스튜디오스 | 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 |
| WO2023234532A1 (ko) * | 2022-06-02 | 2023-12-07 | 주식회사 비브스튜디오스 | 버추얼 프로덕션의 데이터 기록 방법, 장치 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101713772B1 (ko) | 2017-03-09 |
| US20130201188A1 (en) | 2013-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101713772B1 (ko) | 사전 시각화 영상 생성 장치 및 방법 | |
| JP6429829B2 (ja) | 画像処理システム、画像処理装置、制御方法、及び、プログラム | |
| CN108200445B (zh) | 虚拟形象的虚拟演播系统及方法 | |
| JP6808357B2 (ja) | 情報処理装置、制御方法、及び、プログラム | |
| JP6833348B2 (ja) | 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム | |
| US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
| US9299184B2 (en) | Simulating performance of virtual camera | |
| JP2017212592A (ja) | 制御装置、制御方法、及び、プログラム | |
| JP2017212591A (ja) | 制御装置、制御方法、及び、プログラム | |
| CN105069827A (zh) | 一种采用三维模型处理视频转场的方法 | |
| CN106331521A (zh) | 一种网络虚拟现实技术与实拍结合影视制作系统 | |
| EP4111677B1 (en) | Multi-source image data synchronization | |
| JP2019050593A (ja) | 画像処理システム、画像処理装置、制御方法、及び、プログラム | |
| JP2019134428A (ja) | 制御装置、制御方法、及び、プログラム | |
| WO2013041152A1 (en) | Methods to command a haptic renderer from real motion data | |
| KR101734655B1 (ko) | 360°실사 vr콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 vfx 후반작업 적용 방법 | |
| KR102561903B1 (ko) | 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법 | |
| KR20130067855A (ko) | 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법 | |
| Karakottas et al. | Xr360: A toolkit for mixed 360 and 3d productions | |
| AU2018203096B2 (en) | System, method and apparatus for rapid film pre-visualization | |
| JP2019071650A (ja) | 制御装置、制御方法、及び、プログラム | |
| CN115756263A (zh) | 剧本交互方法、装置、存储介质、电子设备及产品 | |
| CN117750043A (zh) | 一种直播中背景融合方法、系统、存储介质及直播设备 | |
| KR20200010909A (ko) | 파노라마 크로마키 합성 시스템 및 방법 | |
| NZ719982B2 (en) | System, method and apparatus for rapid film pre-visualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |