KR20030049642A

KR20030049642A - 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법

Info

Publication number: KR20030049642A
Application number: KR1020010079920A
Authority: KR
Inventors: 정세윤; 전병태; 한규서; 윤호섭; 배영래
Original assignee: 한국전자통신연구원
Priority date: 2001-12-17
Filing date: 2001-12-17
Publication date: 2003-06-25
Also published as: US6965699B2; US20030112327A1

Abstract

본 발명에 따른 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법은, 기존의 멀티미디어 컨텐츠 부호화 표준에는 포함되어 있지 않은 영상 촬영시 카메라 정보, 즉 카메라의 위치 움직임 정보, 카메라 시점 변화 정보를 카메라 움직임 정보 스트림으로 컨텐츠와 같이 저장하는 것이다. 즉, 카메라 위치 센서와 카메라 시점 변화 센서를 통해 얻은 촬영 당시의 카메라 정보를 컨텐츠 내에 같이 부호화 하여 기록함으로서, 향후 컨텐츠 재 사용시, 컴퓨터 그래픽 영상과의 합성을 용이하고 정확하게 할 수 있으며, 이 정보는 MPEG-7의 카메라 움직임 정보 기술자로 쉽게 변환 가능하므로 멀티미디어 컨텐츠의 검색 방법 중 카메라 움직임 정보 색인 작업도 용이하게 할 수 있는 것이다.

Description

스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법{Camera information coding/decoding method for composition of stereoscopic real video and computer graphic}

본 발명은 스테레오스카픽(Stereoscopic) 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법에 관한 것으로서, 특히 스테레오스카픽 영상과 컴퓨터 그래픽 영상을 합성하는데 필요한 카메라 정보를 촬영 시 부호화하여 컨텐츠와 같이 저장하여 향후 합성 작업시 활용하도록 함으로써, 별도로 카메라 정보를 계산하는 시간을 단축하고 기록된 정확한 값을 사용하도록 한 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법에 관한 것이다.

일반적으로, 디지털 동영상 컨텐츠를 부호화하는 방법 중에 가장 보편화된 표준은 MPEG 표준들이다. MPEG에서 정의된 표준으로는 MPEG-1, MPEG-2, MPEG-4, MPEG-7이 있다.

MPEG-1은 고정 비트율의 저장매체에 저장하는 표준방법이고, MPEG-2는 고품질의 디지털 방송용 표준이다. 현재 DVD(Digital Video Disc)와 HDTV에서 사용되고 있다.

MPEG-4는 처음으로 객체 개념이 도입된 새로운 개념의 멀티미디어 부호화 표준이다. MPEG-4는 장면기술 부분과 객체 부분으로 나누어져 있다. 이전의 표준들은 단순한 동영상 측면에서 오디오 부분과 비디오 부분으로 나누어 각각을 부호화하는 방법인데, MPEG-4는 이를 좀더 세밀하게 나눠 각 오디오와 비디오를 구성하고 있는 부분들을 객체로 나누어, 각 객체들을 최적화된 방법으로 부호화하고, 이들 객체로 구성된 장면의 구성 정보를 따로 부호화하여 효율을 높인 표준이다.

MPEG-4는 비주얼(Visual) 부분과 오디오(Audio) 부분, 시스템(System) 부분으로 구성되어 있다. 향후 멀티미디어 컨텐츠 부호화 표준들은 이러한 개념이 적용되어 계속 발전하리라고 예상된다. 본 발명에서도 이러한 점을 고려하여 카메라 정보를 카메라 스트림 객체로 저장하는 방법을 고안하였다. 이외 MPEG-7은 멀티미디어 검색을 위한 검색정보 부호화 표준이 있다.

MPEG을 비롯한 멀티미디어 부호화 표준에서, 촬영 당시의 카메라 정보는 포함되어 있지 않다. MPEG-7에서는 카메라 정보가 있지만 이는 비디오 영상을 영상처리 기법을 통해 카메라 움직임을 추정하여 그 계산 결과를 저장하는 방법으로 검색하는데 적합한 정보만을 담고 있어, 컴퓨터 그래픽과 합성하는데는 부족한 점이 있다.

실사 동영상과 컴퓨터 그래픽을 합성하기 위한 시점(Viewpoint)정보를 구하기 위해서는 촬영 당시의 카메라 위치와 시점 정보가 필요하다. 현재 멀티미디어 부호화 표준에는 이러한 정보들이 포함되어 있지 않아, 촬영 시 환경을 역으로 추정하여 계산하여 합성을 하고 있다. 이 카메라 정보를 추정하는 작업은 매우 어려울 뿐만 아니라, 정확한 결과를 얻기가 어렵다.

현재 실사 동영상과 컴퓨터 그래픽을 합성하는 컨텐츠 제작이 늘고 있다. 일 예로, 대부분의 영화가 컴퓨터 그래픽을 사용하고 있고, 요즘 많이 방송되는 스포츠 경기 중계의 가상 정보가 있다. 이때, 촬영 시 카메라 정보를 얻는 장치로 메모리 헤더(Memory Header)가 사용되고 있다. 이 메모리 헤더의 정보를 이용하여 스포츠 중계 방송에서 가상 기법을 사용하여 경기중의 스코어라든가 선수 정보를 실사 영상 위에 합성하여 보여 주는 것이다. 또한 현재 메모리 헤더 정보의 부호화 표준 방법이 없어 이 정보를 저장하여 향후에 사용하는데 어려움이 있다. 영상을 녹화한 후, 필요할 때마다 편집하여 재 사용하는 것처럼, 촬영 영상과 촬영 시 카메라 정보를 같이 기록한다면, 촬영 후에 필요할 때마다 새로운 컴퓨터 그래픽 영상과 합성하여 쉽게 다른 컨텐츠를 만들 수 있을 것이다.

기존의 메모리 헤더는 단점이 하나 더 있다. 카메라 위치 변화의 정보를 측정하지 못하므로 촬영 시 카메라 위치가 고정되어 있어야 한다. 카메라 위치가 이동할 경우에는 이 위치 이동을 측정할 다른 센서가 필요하다.

따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위하여 안출한 것으로, 본 발명의 목적은, 스테레오스카픽 영상과 컴퓨터 그래픽 영상을 합성하는데 필요한 카메라 정보를 촬영 시 부호화하여 컨텐츠와 같이 저장하여 향후 합성 작업 시 활용하도록 함으로써, 별도로 카메라 정보를 계산하는 시간을 단축하고 기록된 정확한 값을 사용하도록 한 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법을 제공함에 있다.

즉, 디지털 동영상 멀티미디어 부호화 표준에서 촬영 시 카메라 정보를 같이 저장하고 있지 않아 컴퓨터 그래픽 영상과 합성하는데 필요한 시점 정보를 별도로 추정하여 계산하여야 한다. 이 추정하는 작업은 어렵고 정확한 정보를 얻기가 어렵다는 문제점이 있다. 이러한 문제점을 해결하기 위해 디지털 동영상 부호화 시 카메라 위치 정보와 시점정보를 같이 부호화하여 저장한다면 향후 컴퓨터 그래픽과의 합성 작업 시 작업을 쉽게 할 수 있고 정확한 합성 결과물을 얻을 수 있다.

본 발명은 기존의 고정 위치 카메라에만 적용되는 메모리 헤더에 위치 센서를 이용해서 카메라 위치 정보를 더하여 카메라 위치가 이동하는 경우에도 적용 할 수 있게 하였다. 요즘 추세가 실사 영상과 컴퓨터 그래픽 합성의 사실감을 높이기 위해 스테레오스카픽으로 컨텐츠를 제작하고 있는데 이점을 고려하여 단일 카메라가 아닌 스테레오스카픽 촬영 영상에 적합한 카메라 정보 부호화/복호화 방법을 제공하는 것이다.

도 1은 일반적인 스테레오스카픽 카메라의 형태를 나타낸 도면으로서, 도 1a는 카메라의 정면도, 도 1b는 평면도, 도 1c는 사시도이다.

도 2는 도 1에 도시된 스테레오스카픽 카메라의 움직임 변화를 설명하기 위한 도면으로서, 도 2a는 스테레오스카픽 카메라의 시점 변화 움직임을 설명하기 위한 도면이고, 도 2b는 스테레오스카픽 카메라의 위치 변환 움직임을 설명하기 위한 도면.

도 3은 현재 프레임에 대한 카메라 움직임 정보의 부호화 과정을 나타낸 도면.

도 4는 현재 프레임에 대한 카메라 움직임 정보의 복호화 과정을 나타낸 도면.

도 5는 PC 기반 스테레오스카픽 디스플레이장치를 나타낸 도면.

도 6은 현재 좌,우 프레임에 대한 카메라 위치 벡터 계산 과정을 나타낸 흐름도.

도 7은 현재 좌,우 프레임 카메라 시점 벡터 및 상향 벡터 정보 계산 과정을 나타낸 흐름도.

*도면의 주요부분에 대한 부호의 설명*

121 : 주밍 컨트롤러123 : 위치 센서

320 : 감산기340 : 부호화기

410 : 복호기430 : 가산기

510 : 셔터 글라스520 : 적외선 에미터

530 : 그래픽 보드540 : OpenGL 랜더러

550 : 시점 계산기

상기한 목적을 달성하기 위한 본 발명에 따른 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법의 일 측면에 따르면, 현재 촬영되고 있는 영상의 해당 프레임에 대한 카메라 정보를 감지하여 입력하는 단계; 상기 입력된 현재 프레임에 대한 카메라 정보와 바로 이전(t-1)의 프레임에 대한 카메라 정보의 각 성분들끼리 차이를 계산하여 프레임간의 카메라 변화 정보를 구하는 단계; 상기 구한 프레임간 카메라 변화 정보를 부호화하여 촬영된 영상 컨텐츠와 부호화된 카메라 정보를 압축 저장하는 단계; 상기 부호화된 해당 프레임에 대한 카메라 정보를 이전 프레임에 대한 카메라 정보로 업데이트하는 단계를 포함한다. 상기 카메라 정보는, 카메라 위치 정보(x,y,z), 카메라 시점 정보로 구성되어있다. 상기 카메라 시점 정보는, 카메라의 틸팅 각도 정보, 카메라의 패닝 각도 정보, 카메라의 주밍 각도 정보를 포함하고 있다. 그리고, 상기 카메라의 위치 정보는, 카메라의 트래킹 정보, 돌링 정보, 부밍 정보를 포함하고 있다.

상기 프레임간 카메라 변화 정보를 부호화하는 방법은, 허프만 부호화 또는 LZW 부호화 또는 그외의 적합한 엔트로피 부호화 방법을 이용할 수 있다.

또한, 본 발명에 따른 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법의 일 측면에 따르면, 카메라 정보 스트림에서 현재 프레임의 부호화된 카메라 정보가 입력되면, 입력된 카메라 정보를 복호화하여 프레임간의 카메라 변화 정보를 구하는 단계; 상기 구한 카메라 변화 정보와 이전 프레임 카메라 정보를 가산하여 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 계산하는 단계; 상기 계산된 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이전 프레임 카메라 정보로 업데이트하는 단계; 상기 구한 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이용하여 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 정보를 합성하는 단계를 포함할 수 있다.

상기 카메라의 위치 벡터 정보 계산은, 현재 프레임의 카메라 위치 정보(CameraLocationInfo)의 bReset값이 참 인지를 판단하여 bReset값이 거짓인 경우, 이전의 위치 벡터에 CameraLocationInfo의 DeltaVector를 더해서 카메라의 위치 벡터를 구하는 단계; 상기 구한 카메라의 위치 벡터값을 다음 계산을 위해 이전값으로 업 데이트하는 단계; 초기 카메라의 위치를 원점이라고 했을 때와 컴퓨터 그래픽 영상 합성 작업시의 원점 사이의 원점 위치 변화를 보정하기 위해 상기 구한 카메라의 위치 벡터를 좌표계 보상 변환하는 단계; 좌표계 보상 변환을 하여 현재 프레임의 시점을 설정하는데 필요한 왼쪽 카메라 위치와 오른쪽 카메라 위치를 구하는 단계를 포함한다.

상기 현재 프레임의 카메라 위치 정보(CameraLocationInfo)의 bReset값이 참인 경우, 왼쪽 카메라의 위치는 CameraLocation 정보를 그대로 사용하고 오른쪽 카메라 위치는 상기 카메라 위치정보를 좌표계 보상 변환하여 계산한 법선 벡터 Dnormal 을 더해 카메라의 위치 벡터를 구하는 단계; 상기 구한 카메라의 위치 벡터값을 다음 계산을 위해 이전값으로 업 데이트하는 단계; 초기 카메라의 위치를 원점이라고 했을 때와 컴퓨터 그래픽 영상 합성 작업시의 원점 사이의 원점 위치 변화를 보정하기 위해 상기 구한 카메라의 위치 벡터를 좌표계 보상 변환하는 단계; 좌표계 보상 변환을 하여 현재 프레임의 시점을 설정하는데 필요한 왼쪽 카메라 위치와 오른쪽 카메라 위치를 구하는 단계를 포함할 수 있다.

또한, 상기 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 정보를 합성시 주밍 처리하기 위해, 실사 영상과 컴퓨터 그래픽 영상의 공간을 정합하는데 사용하는 카메라 상수 정보와, 왼쪽 카메라 정보에서 오른쪽 카메라 정보를 구할 때 사용하는 두 렌즈 사이의 거리 정보, 렌즈의 최소 초점 거리에서 최대 초점 거리까지 변환하는데 줌 컨트롤의 회전양을 결정하기 위한 렌즈 정보를 저장하는 단계를 포함한다. 상기 카메라 상수 정보는, 카메라 X축 방향으로 센서의 수, 카메라 X축 방향으로 픽셀의 수, X축 방향으로 센서 당 크기, Y축 방향으로 센서 당 크기, X축 픽셀 당 크기, Y축 픽셀 당 크기, 픽셀의 X축 중심점, 픽셀의 Y축 중심점, 스케일 요소 정보 중 적어도 하나의 정보를 포함한다.

한편, 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법을 수행하기 위하여 디지털 처리장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리장치에 의해 판독될 수 있는 기록 매체의 일 측면에 따르면, 현재 촬영되고 있는 영상의 해당 프레임에 대한 카메라 정보를 감지하여 입력하는 단계; 상기 입력된 현재(t) 프레임에 대한 카메라 정보와 바로 이전(t-1)의 프레임에 대한 카메라 정보의 각 성분들끼리 차이를 계산하여 프레임간의 카메라 변화 정보를 구하는 단계; 상기 구한 프레임간 카메라 변화 정보를 부호화하여 촬영된 영상 컨텐츠와 부호화된 카메라 정보를 압축 저장하는 단계; 상기 부호화된 해당 프레임에 대한 카메라 정보를 이전 프레임에 대한 카메라 정보로 업데이트하는 단계를 수행한다.

또한, 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법을 수행하기 위하여 디지털 처리장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리장치에 의해 판독될 수 있는 기록 매체의 일 측면에 따르면, 카메라 정보 스트림에서 현재 프레임의 부호화된 카메라 정보가 입력되면, 입력된 카메라 정보를 복호화하여 프레임간의 카메라 변화 정보를 구하는 단계; 상기 구한 카메라 변화 정보와 이전 프레임 카메라 정보를 가산하여 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 계산하는 단계; 상기 계산된 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이전 프레임 카메라 정보로 업데이트하는 단계; 상기 구한 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이용하여 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 정보를 합성하는 단계를 수행한다.

이하, 본 발명에 따른 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법에 대한 바람직한 실시 예에 대하여 첨부한 도면을 참조하여 상세하게 살펴보기로 하자.

도 1은 메모리 헤더와 위치 센서가 장착된 스테레오스카픽 카메라의 도면으로서, 도 1a는 스테레오스카픽 카메라의 정면도이고, 도 1b는 평면도, 도 1c는 사시도를 나타낸 것이다.

도 1에 도시된 스테레오스카픽 카메라는 일반적으로 두 대의 카메라를 평행하게 카메라 받침대에 장착하여 사용한다. 두 카메라 사이 거리 D는 보통 사람의 두 눈 사이 거리 정도인 5~10Cm 정도를 사용한다.

촬영 시 카메라 움직임 정보를 실시간적으로 측정하는 장비를 메모리 헤더(Memory Heder)라고 한다. 이 메모리 헤더는 카메라 시점 움직임 센서(122)와 주밍(Zooming) 컨트롤러(121)로 구성되어 있다. 여기서, 주밍 컨트롤러(122)는 주밍 센서를 포함한다.

움직임 센서(122)는 틸팅(Tilting)정보와 패닝(Panning)정보를 측정하는 센서로서, 틸팅 센서와 패닝 센서를 포함한다. 스테레오 스카픽 카메라용 장치이므로 주밍 컨트롤러(121)가 2대 장착되어 있다.

이러한 스테레오스카픽 카메라의 움직임 형태를 도 2를 참조하여 살펴보자. 도 2는 도 1에 도시된 스테레오스카픽 카메라의 움직임 변화를 설명하기 위한 도면으로서, 도 2a는 스테레오스카픽 카메라의 시점 변화 움직임을 설명하기 위한 도면이고, 도 2b는 스테레오스카픽 카메라의 위치 변환 움직임을 설명하기 위한 도면이다.

카메라 움직임에는 두 가지 부류가 있다. 하나는 카메라 위치는 고정이고 촬영하는 방향, 즉 시점을 변경하는 움직임이고 다른 하나는 시점 방향을 평행하게 유지하면서 카메라 전체가, 즉 카메라 위치가 움직이는 경우이다.

도 2a는 카메라의 시점 변화 운동의 종류를 나타내는 도면이다. 촬영 기사가 카메라 손잡이(124)로 카메라 받침대를 좌우로 움직여 카메라 시점을 좌우로 변경하는 동작이 패닝(Panning)이고, 상하로 움직이는 동작이 틸팅(tilting)이다. 카메라 손잡이 부에 있는 주밍 콘트롤러(121)로 렌즈에 부착된 줌 렌즈를 움직여 초점거리를 변경하는 작업이 주밍(Zooming)이다.

이러한 카메라 시점의 움직임 정보는 각도로 표현되므로 이 정보를 얻기 위한 센서들은 각도를 측정해 주는 센서들이다. 즉 메모리 헤더는 각 방향의 회전 각도정보를 측정하는 센서로 구성될 수 있다.

각 센서의 역할을 다시 정리하면, 카메라 받침대의 좌우 회전 각도를 측정하는 센서가 패닝 센서의 역할이고, 상하 회전 각도를 측정하는 센서가 틸팅 센서로, 이 두 센서는 도 1에서와 같이 카메라 받침대(122) 내부에 장착되어 있다.

주밍 센서는 주밍 콘트롤러(121)에 포함되어 있는 센서로 역시 렌즈의 초점거리를 조정하기 위해 회전한 각도를 측정한다. 스테레오스카픽 카메라의 경우는 도 1에서 처럼 주밍 컨트롤러(121)는 2개가 사용되고 있다. 즉, 일반 카메라에서의 메모리 헤더와 스테레오스카픽 카메라에서의 메모리 헤더의 차이는 주밍 콘트롤과 주밍 센서 부분이다.

두 카메라의 렌즈를 동일하게 조정할 수 있는 장치를 사용해야 한다. 두 렌즈를 동시에 같은 양만큼 주밍을 조절할 수 있는 장치가 필요하다. 두 주밍 센서의측정값은 동일하므로, 한 개의 값만 저장하면 된다. 이러한 두 장치의 일치 구현은 스테핑 모터와 같은 디지털 모터를 사용하면 가능하다.

촬영된 영상에 컴퓨터 그래픽 영상을 합성하기 위해서는 영상 평면과 실제 3차원 공간의 변환 정보가 필요한데 이를 구하는 작업을 카메라 캘리브레이션이라고 한다. 이를 위해서는 카메라의 3차원 위치 정보와 렌즈 정보가 필요하다. 이 카메라의 위치 정보를 구하기 위해 위치 센서가(123) 장착되어 있다.

위치 센서(123)는 기준점과의 상대 좌표를 측정해주는 역할을 한다. 합성시 이 상대 좌표는 기준점을 합성 영상의 기준점으로 변환 이동하여 쉽게 실제 좌표로 계산 할 수 있다.

도 2a는 카메라 위치 움직임 정보를 설명하는 도면으로서, 카메라 위치 변화 운동으로는 카메라가 좌우로 움직이는 것을 트래킹(Tracking)이라고 하고, 카메라가 상하로 움직이는 것을 부밍(Booming)이라고 한다. 또한, 카메라가 전후로 움직이는 것을 돌링(Dolling)이라고 한다. 이러한 정보는 도면 1의 위치 센서(123)의 위치 정보 변화 측정값에 의해 구해진다. 위치 센서(123)의 측정값 측면에서 보면 위치 센서(123)값이 x,y,z의 3차원 벡터 값으로 표현될 경우 트래킹은 위치 정보의 좌우 방향, 즉 x 축방향의 이동으로 표현되고, 부밍은 상하 방향, 즉 y 축 방향의 이동으로 표현되고, 돌링은 전후방향, 즉 z 축 방향의 이동으로 표현될 수 있다.

참고로, 카메라 위치 센서(123)는 기준점과 위치 센서간에 무선 또는 레이져, 자기장 같은 신호를 주고받아 이 신호 도착 시간 변화를 측정하여 이를 위치로 변환하는 동작원리를 이용하는 일반적인 이동 물체 3차원 위치 측정 장치를 본 발명에서도 사용하면 될 것이다.

이러한 카메라 정보는 비디오의 매 프레임마다 기록되어야 한다. 이를 표현하기 위해 FrameCameraInfo 기술자를 고안하였다.

FrameCameraInfo{

CameraViewingMoveInfo

CameraLocationInfo

}

이 기술자는 CameraViewingMoveInfo , CameraLocationMoveInfo 두 개의 기술자로 구성되어 있다.

CameraViewingMoveInfo{

Bool bReset

Float TiltingAngle

Float PaningAngle

Flost ZoomingAngle

}

CameraLocationMoveInfo{

Bool bReset

Float DeltaVector[3]

}

카메라 위치 정보와 각도 정보는 매 프레임마다 필요한데, 부호화 효율을 높이기 위해 이전 프레임과의 차이값을 기록하는 것이 바람직하다. 이를 반영하여 현재 프레임의 카메라 위치와 시점을 계산하는 과정 즉, 현재의 프레임에 대한 카메라 움직임 정보의 부호화 과정을 도 3을 참조하여 설명해 보기로 한다. 도 3은 현재 프레임에 대한 카메라 움직임 정보의 부호화 과정을 나타낸 도면이다.

현재 프레임의 카메라 정보(310)가 센서로부터 입력이 된다. 여기서, 상기 센서는 움직임 센서 즉, 패닝 센서, 틸팅 센서, 주밍 센서 등이 될 수 있다.

상기 센서로부터 입력된 카메라 정보는 카메라 위치 정보(x,y,z)와 카메라 시점 정보 (TiltingAngle, PaningAngle, ZoomingAngle)이다. 여기서 주의할 점은 좌우 회전은 y축에 대한 회전으로 표현되고, 상하 회전은 x축에 대한 회전으로 표현된다는 것이다. 그래서 TiltingAngle을 x 성분에, PaningAngle을 y성분에 대응시켰다.

상기 센서로부터 입력되는 현재(t) 프레임에 대한 카메라 정보는 바로 이전(t-1)의 프레임에 대한 카메라 정보(350)와 감산기(320)에 의해 각 성분들끼리 차이를 계산하여 프레임간의 카메라 변화 정보(330)을 구하게 된다. 이렇게 구한 프레임간 카메라 변화 정보는 부호화기(340)를 통해 부호화되는 것이다. 여기서, 부호화 방법으로는 허프만 부호화 또는 LZW 부호화 방법 등 임의의 부호화 방법을 사용할 수 있다. 단, 도 4에 도시된 복호기(410)와 동일한 부호화 방법을 사용해야한다.

부호화가 끝나면 부호화기(340)는 부호화된 프레임 카메라 정보를 이전 프레임에 대한 카메라 정보로 업데이트 해서, 새로운 프레임에 대한 카메라 정보가 입력되는 경우 업데이트된 프레임 카메라 정보를 이전 프레임에 대한 카메라 정보로 이용하는 것이다. 그리고, 부호화된 카메라 정보와 스테레오스카픽 동영상과 동기화 되어 저장되는 것이다.

이와 같은 카메라 변화 정보는 상기의 CameraViewingMoveInfo와 CameraLocationMoveInfo 기술자로 표현된다. 이 표현된 정보를 기록할 때 부호화기(340)를 사용하여 압축 저장하게 된다.

카메라 정보의 에러 내성을 높이기 위해 카메라 정보의 차이 계산을 일정 횟수 후 다시 시작하는 것이 좋다. 즉, 일정 프레임단위 마다 차이 계산을 다시 시작하는 것이다. 차이 계산을 다시 시작할 경우 상기 기술자의 bReset 값을 참으로 설정하고, 그 외의 경우는 거짓 값으로 설정한다.

다시 시작할 경우, CameraViewingMoveInfo 는 각도 정보가 아니라 시점 벡터의 x,y,z 값이 각각 기록된다.

이 FrameCameraInfo는 비디오의 각 프레임과 동기화 되어야 한다. 이를 위해 각 프레임의 헤더로 포함되어 부호화 할 수도 있고, 별도의 스트림으로 기록하여 부호화 할 수도 있다. 헤더에 넣는 경우 기존의 비디오 부호화 장치를 변형해야 하므로 별도의 스트림으로 기록하는 것이 바람직 할 것이다. 이러한 별도의 카메라 정보 스트림 방법은 MPEG-4와 같은 객체별 부호화 방법에 적합하다.

도 4는 현재 프레임의 카메라 정보를 복호화하는 과정이다. 카메라 정보 스트림에서 현재 프레임의 부호화된 정보값이 복호기(410)에 입력되면 이를 복호화하여 프레임간의 카메라 변화 정보(420)를 얻는다. 이때 bReset값이 거짓인 경우 즉, 카메라의 구동이 Reset되지 않은 경우 이전 프레임(450)값은 복호화된 프레임간 카메라 변화 정보에 가산기(430)를 통해 가산되어 현재 프레임 카메라 정보(440), 즉, 카메라의 현재 위치 정보 (x,y,z) 및 시점 점보(TiltingAngle, PaningAngle, ZoomingAngle)를 구하고 다음 번 계산을 위해 이 값을 이전 프레임 카메라 정보로 업데이트한다.

도 5은 PC 기반 스테레오스카픽 입체 영상 디스플레이 장치를 나타낸 도면으로서, 그 동작 원리를 살펴보면, 먼저 스테레오스카픽 기능을 지원하는 그래픽 보드(530)의 제1,2 버퍼에 좌측 영상 데이터와 우측 영상 데이터를 각각 기록한다. 여기서, 제1 버퍼는 좌측 영상데이터를 저장하는 버퍼이고, 제2 버퍼는 우측 영상 데이터를 저장하는 버퍼이다.

제1,2 버퍼에 기록된 좌. 우측 영상 데이터는 상호 교번으로 모니터에 출력되고 이것을 보기 위해 그래픽 보드(530)의 동기 신호 발생부에서 발생하는 동기 신호를 적외선 에미터(520)를 통해 셔터 글라스(510)에 보내 좌측 영상이 출력될 때는 오른쪽 셔터가 닫쳐 좌측 눈으로 좌측 영상만 보게 하고, 우측 영상이 출력될 때는 왼쪽 셔터가 닫쳐 오른쪽 눈으로 우측 영상만 보이게 하는 것이다.

이는 인간의 잔상 효과를 이용하여 영상이 입체로 보이게 하는 것이다. 이때 사용자가 영상을 보는 도중 어지러움증을 방지하기 위해 좌측 영상 데이터와 우측영상 데이터의 주파수는 100Hz 이상이어야 한다.

도 5에서 각각의 좌측과 우측 영상의 컴퓨터 그래픽 합성은 OpenGL 렌더러(540)에 의해 처리 된다. 스테레오스카픽 방식의 영상을 입체로 보이게 하기 위해서는 매 프레임마다 시점 계산기(550)에 의해 좌측 시점과 우측 시점을 계산 하여 OpenGL 렌더러(540)에 지정해 주어야 한다.

이 시점의 지정은 OpenGL의 gluLookAt 함수에 의해 처리된다.

다음은 gluLookAt의 함수 원형이다.

void gluLookAt(

GLdouble eyex ,

GLdouble eyey ,

GLdouble eyez ,

GLdouble centerx ,

GLdouble centery ,

GLdouble centerz ,

GLdouble upx ,

GLdouble upy ,

GLdouble upz

);

매개 변수 eyex, eyey, eyez 는 눈의 위치, 즉 카메라의 위치 벡터이고, centerx, centery, centerz 는 카메라가 바라보는 방향 벡터, upx, upy, upz는 카메라의 상측 방향 벡터이다.

시점 계산기(550)에서 FrameCameraInfo 를 사용하여 gluLookAt함수에 필요한 eyex,eyey,eyez와 centerx, centery,centerz 와 upx,upy,upz를 계산 된다.

이하, 시점 계산기(550)에서 FrameCameraInfo를 사용하여 gluLookAt함수에 필요한 eyex,eyey,eyez를 계산하는 방법과, centerx, centery,centerz와 upx,upy,upz를 계산하는 방법에 대하여 도 6 및 도 7를 참조하여 단계적으로 설명해 보기로 하자.

도 6은 현재 좌,우 프레임에 대한 카메라 위치 벡터(eyex,eyey,eyez)를 계산 과정을 나타낸 흐름도이다.

먼저, 좌/우 카메라 위치 정보를 계산하는 과정을 설명하면 현재 프레임의 CameraLocationInfo의 bReset값이 참 인지를 판단한다(S600).

판단 결과, 현재 프레임의 CameraLocationInfo의 bReset값이 참인 경우, 즉, 카메라가 리셋된 경우, 왼쪽 카메라의 위치는 CameraLocation 정보를 그대로 사용하고 오른쪽 카메라 위치는 도 7의 S740단계에서 계산된 법선 벡터 Dnormal 을 더해 얻어 진다(S610). 즉, 왼쪽 카메라 위치와 오른쪽 카메라 위치를 벡터로 표시하면 아래와 같이 표현될 수 있다.

Left ViewPoint

Leyex = CameraLocationInfo.DeltaVector[0];

Leyey = CameraLocationInfo.DeltaVector[1];

Leyez = CameraLocationInfo.DeltaVector[2];

Right ViewPoint

Reyex = Leyex + Dnormal.x;

Reyey = Leyey + Dnormal.y;

Reyez = Leyez + Dnormal.z;

법선 벡터 Dnormal은 왼쪽 시점 벡터 Center와 윗 방향 벡터 Up이 이루는 평면의 법선 벡터와 평행하고 두 카메라 렌즈 사이의 거리인 D 만큼의 크기를 가지는 벡터이다. 여기서, 상기 법선 벡터 Dnormal값은 계산은 도 7의 설명 시 상세하게 설명하기로 한다.

한편, 상기 S600단계에서 현재 프레임의 CameraLocationInfo의 bReset값이 거짓인 경우는 이전의 위치 벡터에 CameraLocationInfo의 DeltaVector를 더해서 얻게 된다(S620). 즉, 현재 프레임의 CameraLocationInfo의 bReset값이 거짓인 경우에 왼쪽과 오른쪽 카메라 위치를 벡터로 표시하면 아래와 같이 표현할 수 있다.

Left ViewPoint

Leyex = PLeyex + CameraLocationInfo.DeltaVector[0];

Leyey = PLeyey + CameraLocationInfo.DeltaVector[1];

Leyez = PLeyez + CameraLocationInfo.DeltaVector[2];

Right ViewPoint

Reyex = PReyex + CameraLocationInfo.DeltaVector[0];

Reyey = PReyey + CameraLocationInfo.DeltaVector[1];

Reyez = PReyez + CameraLocationInfo.DeltaVector[2];

이렇게 계산된 결과(PLeyex, PLeyey, PLeyez, PReyex, PReyex, PReyex)는 다음 계산을 위해 이전값에 저장된다(S630).

이어, 좌표계 보정 변환을 하게 되는데(S640), 이는 초기 위치 센서의 위치를 원점이라고 했을 때와 컴퓨터 그래픽 영상 합성 작업시의 원점 사이의 원점 위치 변화를 보상하는 것이다. 이는 일반적인 좌표계 변환 연산으로 처리 가능하다. 좌표계 보상 변환을 하여 현재 프레임의 시점을 설정하는데 필요한 왼쪽 카메라 위치와 오른쪽 카메라 위치를 구하게 된다(S650). 즉, 좌표계 보상 변환을 하여 현재 프레임의 시점을 설정하는데 필요한 왼쪽 카메라 위치와 오른쪽 카메라 위치를 벡터값으로 표현하면 아래와 같다.

Left ViewPoint(LEyex, LEyey, LEyez)

Right ViewPoint(REyex, REyey, REyez)

이어, 좌측과 우측 카메라의 centerx, centery,centerz와 upx,upy,upz를 계산하는 방법에 대하여 도 7을 참조하여 살펴보자.

도 7은 현재 프레임의 CameraViewMoveInfo를 입력으로 받아 카메라의 시점 벡터와 윗방향 벡터를 구하는 과정이다.

먼저, CameraViewMoveInfo의 bReset값이 참인지를 판단한다(S700).

판단 결과, CameraViewMoveInfo의 bReset값이 참인 경우 CameraViewMoveInfo의 값이 시점 벡터값이 된다(S710). 즉, CenterX값은 CameraViewMoveInfo. TiltingAngle값이 되고, CenterY값은 CameraViewMoveInfo. PaningAngle값이 되며, CenterZ값은 CameraViewMoveInfo. ZoomingAngle값이 되는 것이다.

한편, CameraViewMoveInfo의 bReset값이 거짓인 경우는 이전의 시점 벡터와 윗 방향 벡터를 X축에 대해 TiltingAngle만큼, Y축에 대해 PanningAngle만큼 회전 연산을 수행한 벡터를 구한다(S720).

상기 S710 및 S720단계에서 구한 값은 다음 번 계산을 위해 이전 벡터에 갱신한다(S730).

그리고, 좌표계 보상 변환을 하고, 위 방향 벡터와 시점 방향 벡터가 이루는 평면에 법선 방향과 평행한 방향으로 크기가 두 렌즈 사이의 거리 D 인 벡터 Dnormal을 구한다(S740).

좌표계 보상이 된 시점 벡터는 왼쪽 눈의 시점 벡터가 되며, 이 벡터에 Dnormal벡터를 더해 오른쪽 눈의 시점 벡터를 얻는다(S750). 즉, 왼쪽 눈의 시점 벡터(Left ViewPoint)는, LCenterx, LCentery, LCentery가 되고, 오른쪽 눈의 시점 벡터 Right ViewPoint는,

RCenterx = LCenterx + Dnormal.x,

RCentery = LCentery + Dnormal.y,

RCenterz = LCentery + Dnormal.z 가 되는 것이다.

도 6과 도 7에서 계산된 최종 결과 벡터들은 gluLookAt 함수의 매개 변수로사용하여 OpenGL 렌더러(540)의 좌측과 우측의 시점으로 지정된다.

주밍(Zooming)을 처리하기 위해서는 카메라의 초기 정보가 필요하다. 이 초기 정보를 기록하기 위한 CameraInitInfo기술자의 구조는 아래와 같이 표현될 수 있다.

CameraInitInfo{/*카메라 초기정보*/

/*카메라 상수*/

double Ncx; /*[sel] 카메라 X축 방향으로 센서의 수*/

double Nfx; /*[pix] 카메라 X축 방향으로 픽셀의 수*/

double dx; /*[mm/sel] X축 방향으로 센서 당 크기*/

double dy; /*[mm/sel] Y축 방향으로 센서 당 크기*/

double dpx; /*[mm/pix] X축 픽셀 당 크기*/

double dpy; /*[mm/pix] Y축 픽셀 당 크기*/

double Cx; /*[pix] X축 중심점*/

double Cy; /*[pix] Y축 중심점*/

double sx; /* 스케일 요소*/

/* 두 렌즈 사이의 거리 */

double /* D 두 렌즈 사이의 거리*/

/* 렌즈 정보 */

double Fmin /* 최소 초점 거리 */

double Fmax /* 최대 초점 거리 */

double LenZRotationAngle /*최소 초점 거리에서 최대 초점 거리까지 렌즈 회전각도 */

}

상기한 초기 카메라 정보 기술자는 카메라 상수와 두 카메라의 렌즈 사이의 거리와 렌즈 정보를 담고 있다. 카메라 상수는 실사 영상과 컴퓨터 그래픽 영상의 공간을 정합하는 정보로 사용된다.

그리고, 두 렌즈 사이의 거리는 왼쪽 카메라 정보에서 오른쪽 카메라 정보로 구할 때 사용되고, 렌즈 정보는 렌즈의 최소 초점 거리에서 최대 초점거리까지 변화하는데 줌 컨트롤러를 얼마나 회전시켜야 하는지 하는 정보이다.

이 정보들을 활용하여 줌 컨트롤러의 변화량에 따라 초점거리의 변화량을 알 수 있다. 즉, CamerMoveInfo.ZoomingAngle정보를 실제 주밍 정보로 바꾸는데 사용된다. 참고로, OpenGL에서 이러한 주밍을 처리하는 방법은 여러 가지가 있는데 그중 한가지는 gluPerpective함수의 매개변수 중 FOV를 변경해서 처리하는 방법이 있다.

맨 처음 촬영 시 왼쪽 카메라의 위치, 즉 CameraLocation을 원점이라고 하고, 시점 벡터는 -z 방향이라고 가정한다면, 좌표계 보상 변환이 용이할 것이다. 본 발명에서는 위치 센서와 왼쪽 카메라의 위치를 동일하게 취급하였다. 대부분의 경우 이 두 위치 사이의 오차는 무시할 정도로 작은 값이다.

상기한 바와 같이, 본 발명에 따른 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화/복호화 방법은 기존의 멀티미디어 컨텐츠 부호화 표준에는 포함되어 있지 않은 영상 촬영 시 카메라 정보, 즉 카메라의 위치 움직임 정보, 카메라 시점 변화 정보를 카메라 움직임 정보 스트림으로 컨텐츠와 같이 저장하는 것이다. 즉, 카메라 위치 센서와 카메라 시점 변화 센서를 통해 얻은 촬영 당시의 카메라 정보를 컨텐츠 내에 같이 부호화하여 기록함으로서, 향후 컨텐츠 재 사용 시, 컴퓨터 그래픽 영상과의 합성을 용이하고 정확하게 할 수 있으며, 이 정보는 MPEG-7의 카메라 움직임 정보 기술자로 쉽게 변환 가능하므로 멀티미디어 컨텐츠의 검색 방법 중 카메라 움직임 정보 색인 작업도 용이하게 할 수 있는 이점이 있다.

또한, 본 발명의 카메라 정보 부호화 방법은 일반 단일 고정식 카메라 영상이 아닌 이동식 스테레오스카픽 카메라 영상을 대상으로 한 카메라 부호화 방법이므로 보다 사실적인 합성 영상 컨텐츠를 쉽게 제작 할 수 있는 것이다.

Claims

스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법에 있어서,

현재 촬영되고 있는 영상의 해당 프레임에 대한 카메라 정보를 감지하여 입력하는 단계;

상기 입력된 현재(t) 프레임에 대한 카메라 정보와 바로 이전(t-1)의 프레임에 대한 카메라 정보의 각 성분들끼리 차이를 계산하여 프레임간의 카메라 변화 정보를 구하는 단계;

상기 구한 프레임간 카메라 변화 정보를 부호화하여 촬영된 영상 컨텐츠와 부호화된 카메라 정보를 압축 저장하는 단계;

상기 부호화된 해당 프레임에 대한 카메라 정보를 이전 프레임에 대한 카메라 정보로 업데이트하는 단계를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법.
제1항에 있어서,

상기 카메라 정보는,

카메라 위치 정보 (x,y,z), 카메라 시점 정보 중 적어도 하나의 정보를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라정보 부호화 방법.
제2항에 있어서,

상기 카메라 시점 정보는,

카메라의 틸팅 각도 정보, 카메라의 패닝 각도 정보, 카메라의 주밍 각도 정보, 카메라의 롤링 정보 중 적어도 하나의 정보를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법.
제2항에 있어서,

상기 카메라의 위치 정보는,

카메라의 트래킹 정보, 돌링 정보, 부밍 정보 중 적어도 하나의 정보를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법.
제1항에 있어서,

상기 프레임간 카메라 변화 정보를 부호화는 허프만 부호화 또는 LZW 부호화 또는 임의의 엔트로피 부호화 방법을 이용하는 스테레오스카픽 실사 동영상 정보와컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법.
스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법에 있어서, .

카메라 정보 스트림에서 현재 프레임의 부호화된 카메라 정보가 입력되면, 입력된 카메라 정보를 복호화하여 프레임간의 카메라 변화 정보를 구하는 단계;

상기 구한 카메라 변화 정보와 이전 프레임 카메라 정보를 가산하여 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 계산하는 단계;

상기 계산된 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이전 프레임 카메라 정보로 업데이트하는 단계;

상기 구한 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이용하여 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 정보를 합성하는 단계를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법.
제6항에 있어서,

상기 카메라의 위치 벡터 정보 계산은,

현재 프레임의 카메라 위치 정보(CameraLocationInfo)의 bReset값이 참 인지를 판단하여 bReset값이 거짓인 경우, 이전의 위치 벡터에 CameraLocationInfo의 DeltaVector를 더해서 카메라의 위치 벡터를 구하는 단계; ;

상기 구한 카메라의 위치 벡터값을 다음 계산을 위해 이전값으로 업 데이트하는 단계;

초기 카메라의 위치를 원점이라고 했을 때와 컴퓨터 그래픽 영상 합성 작업시의 원점 사이의 원점 위치 변화를 보상하기 위해 상기 구한 카메라의 위치 벡터를 좌표계 보상 변환하는 단계;

좌표계 보상 변환을 하여 현재 프레임의 시점을 설정하는데 필요한 왼쪽 카메라 위치와 오른쪽 카메라 위치를 구하는 단계를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법.
제7항에 있어서,

상기 현재 프레임의 카메라 위치 정보(CameraLocationInfo)의 bReset값이 참인 경우, 왼쪽 카메라의 위치는 CameraLocation 정보를 그대로 사용하고 오른쪽 카메라 위치는 상기 카메라 위치정보를 좌표계 보상 변환하여 계산한 법선 벡타 Dnormal 을 더해 카메라의 위치 벡터를 구하는 단계;

상기 구한 카메라의 위치 벡터값을 다음 계산을 위해 이전값으로 업 데이트하는 단계;

초기 카메라의 위치를 원점이라고 했을 때와 컴퓨터 그래픽 영상 합성 작업시의 원점 사이의 원점 위치 변화를 보정하기 위해 상기 구한 카메라의 위치 벡터를 좌표계 보상 변환하는 단계;

좌표계 보상 변환을 하여 현재 프레임의 시점을 설정하는데 필요한 왼쪽 카메라 위치와 오른쪽 카메라 위치를 구하는 단계를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법.
제8항에 있어서,

상기 법선 벡터 Dnormal은,

왼쪽 시점 벡터 Center와 윗 방향 벡터 Up이 이루는 평면의 법선 벡터와 평행하고 두 카메라 렌즈 사이의 거리인 D 만큼의 크기를 가지는 벡터인 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법.
제6항에 있어서,

상기 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 정보를 합성시 주밍 처리하기 위해, 실사 영상과 컴퓨터 그래픽 영상의 공간을 정합하는데 사용하는 카메라 상수 정보와, 왼쪽 카메라 정보에서 오른쪽 카메라 정보를 구할 때 사용하는 두 렌즈 사이의 거리 정보, 렌즈의 최소 초점 거리에서 최대 초점 거리까지변환하는데 줌 컨트롤의 회전량을 결정하기 위한 렌즈 정보를 저장하는 단계를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법.
제10항에 있어서,

상기 카메라 상수 정보는,

카메라 X축 방향으로 센서의 수, 카메라 X축 방향으로 픽셀의 수, X축 방향으로 센서 당 크기, Y축 방향으로 센서 당 크기, X축 픽셀 당 크기, Y축 픽셀 당 크기, 픽셀의 X축 중심점, 픽셀의 Y축 중심점, 스케일 요소 정보 중 적어도 하나의 정보를 포함하는 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법.
스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 부호화 방법을 수행하기 위하여 디지털 처리장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리장치에 의해 판독될 수 있는 기록 매체에 있어서,

현재 촬영되고 있는 영상의 해당 프레임에 대한 카메라 정보를 감지하여 입력하는 단계;

상기 입력된 현재(t) 프레임에 대한 카메라 정보와 바로 이전(t-1)의 프레임에 대한 카메라 정보의 각 성분들끼리 차이를 계산하여 프레임간의 카메라 변화 정보를 구하는 단계;

상기 구한 프레임간 카메라 변화 정보를 부호화하여 촬영된 영상 컨텐츠와 부호화된 카메라 정보를 압축 저장하는 단계;

상기 부호화된 해당 프레임에 대한 카메라 정보를 이전 프레임에 대한 카메라 정보로 업데이트하는 단계를 수행하는 기록 매체.
스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 합성을 위한 카메라 정보 복호화 방법을 수행하기 위하여 디지털 처리장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리장치에 의해 판독될 수 있는 기록 매체에 있어서,

카메라 정보 스트림에서 현재 프레임의 부호화된 카메라 정보가 입력되면, 입력된 카메라 정보를 복호화하여 프레임간의 카메라 변화 정보를 구하는 단계;

상기 구한 카메라 변화 정보와 이전 프레임 카메라 정보를 가산하여 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 계산하는 단계;

상기 계산된 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터 정보를 이전 프레임 카메라 정보로 업데이트하는 단계;

상기 구한 현재 프레임 카메라의 위치 벡터 정보, 시점 벡터 및 상향 벡터정보를 이용하여 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상 정보를 합성하는 단계를 수행하는 기록 매체.