KR20090034694A - 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치 - Google Patents

3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치 Download PDF

Info

Publication number
KR20090034694A
KR20090034694A KR1020070120975A KR20070120975A KR20090034694A KR 20090034694 A KR20090034694 A KR 20090034694A KR 1020070120975 A KR1020070120975 A KR 1020070120975A KR 20070120975 A KR20070120975 A KR 20070120975A KR 20090034694 A KR20090034694 A KR 20090034694A
Authority
KR
South Korea
Prior art keywords
camera
information
viewpoint
viewpoint camera
parameter information
Prior art date
Application number
KR1020070120975A
Other languages
English (en)
Other versions
KR101390811B1 (ko
Inventor
김용태
김재승
김대식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/174,174 priority Critical patent/US8218855B2/en
Publication of KR20090034694A publication Critical patent/KR20090034694A/ko
Priority to US13/404,954 priority patent/US8929643B2/en
Application granted granted Critical
Publication of KR101390811B1 publication Critical patent/KR101390811B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법은, 수신된 3차원 영상 데이터 스트림으로부터 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 추출하고, 다시점 카메라 파라미터 정보로부터 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보를 추출하여, 매트릭스 정보를 이용하여 데이터 구간에 대한 다시점 카메라의 좌표계를 복원함으로써, 3차원 영상에 대한 보다 많은 정보를 이용하여 저피로도 및 화질 개선 프로세스를 수행하여 보다 낳은 3차원 영상을 감상할 수 있다.
3차원 영상, 다시점 카메라, 카메라 파라미터, 카메라 좌표계

Description

3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및 그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그 장치{Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image}
본 발명은 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 장치에 관한 것으로써, 상세하게는 3차원 영상을 위한 다시점 카메라 파라미터를 재정의하여 효율적으로 다시점 카메라 파라미터를 수신하거나 전송하는 방법 및 장치에 관한 것이다.
3차원 영상에서의 카메라 파라미터는 다양한 영상 처리에 활용된다. 3차원 영상을 위한 카메라 파라미터는 에피폴라 라인 컨스트레인트(Epipolar line constraint)를 이용한 변이 추정 기법이나 3차원 영상 보정을 위한 왜곡 보상(Rectification) 과정 등 다양하게 사용될 수 있다. 영상 획득시 상황을 유추하여 저피로도 파라미터 또는 피로도 감소 알고리즘을 생성하는데에도 카메라 파라미터가 사용된다. 하지만, 현재 3차원 카메라 파라미터를 저장하기 위한 표준화된 포 맷이 없다.
도 1 은 세계 좌표계와 카메라 좌표계의 관계를 도시한다.
좌표계 110은 세계 좌표계(world coordinate)이며, XW축, YW축, ZW축으로 구성된다. 좌표계 120은 카메라 좌표계이며, XC축, YC축, ZC축으로 구성된다. 세계 좌표계(110)와 카메라 좌표계(120)의 원점은 t만큼 떨어져 있으며, 카메라 좌표계(120)는 세계 좌표계(110)에 대해 R만큼 회전되어 있다. 임의의 점 P는 세계 좌표계(110) 상의 PW인 반면, 카메라 좌표계(120) 상에서는 PC에 매칭된다. 이하 수학식 1을 참조하여, 세계 좌표계(110) 및 카메라 좌표계(120)의 관계를 설명한다.
MC = R-1MW - R-1t
MC 및 MW 는 각각 카메라 좌표계의 임의의 점이며, R은 세계 좌표계(110)를 기준으로 한 카메라 좌표계(120)의 회전 매트릭스이고, t는 세계 좌표계(110) 및 카메라 좌표계(120) 간의 거리를 나타낸다.
도 2a 는 카메라 좌표계와 영상 좌표계의 관계를 도시한다.
좌표계 210은 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 나타내며, 좌표계 220은 실제 디스플레이 장치로 보는 2차원 영상 좌표계를 나타낸다. 카메라 좌표계 상에서 (X, Y, Z) 좌표의 사물은 2차원 영상 좌표계 상에서 (x, y, f) 좌표에 맺히게 된다. (X, Y, Z) 좌표와 (x, y, f) 좌표 간의 관계는 수학식 2와 같고, 비례식에 의해 x 및 y 는 수학식 3 과 같이 표현된다.
f : Z = x : X
f : Z = y : Y
x = f × X/Z
y = f × Y/Z
도 2b 은 카메라 좌표계와 화상 상의 임의의 점 사이의 관계를 도시한다.
좌표계 210은 카메라 좌표계이며, 좌표계 220은 카메라 좌표계(210)에서의 영상에 맺히는 한 장면에 대한 좌표계를 나타내며, 좌표계 230은 영상 좌표계를 나타낸다.
좌표계 220에서 한 픽셀 간격이 (sX, sY)이고, 좌표계 220의 중점이 영상 좌표계(230)에 맺히는 좌표를 (oX, oY)라 하고, 좌표계 220의 (x, y) 점이 영상 좌표계(230)에 맺히는 좌표를 (xim, yim)라 정의한다. 영상 좌표계와 카메라 좌표계의 관계는 수학식 4 에 의해 표현될 수 있다.
x = - (xim - oX) × sX
y = - (yim - oY) × sY
수학식 3 및 수학식 4를 이용하여, 카메라 좌표계(210) 상의 임의의 점이 영상 좌표계(230)에 맺히는 좌표가 수학식 5와 같이 결정된다.
xim = - (f/sX) × (X/Z) + OX
yim = - (f/sY) × (Y/Z) + OY
수학식 6 내지 수학식 8에서는 전술된 카메라 좌표계 및 영상 좌표계 상의 좌표의 관계가 매트릭스 형식으로 표현된다.
s × m = A × MC
수학식 1 및 수학식 6을 이용하면 수학식 7이 유도된다.
s × m = A × (R-1MW - R-1t)
이 때 내부 파라미터인 초점 거리(focal length), 화상의 가로세로비(aspect ratio) 및 중점(oX, oY)에 대한 매트릭스 A는 수학식 8과 같이 표현된다.
Figure 112007084882405-PAT00001
따라서, 카메라 파라미터를 전송하기 위해서는, 외부 파라미터로써 카메라 좌표계 간의 회전각, 평행 이동 거리가 필요하며 내부 파라미터로써 초점 거리, 화상의 가로세로비, 중점을 개별적으로 보내야 한다.
본 발명이 해결하고자 하는 과제는, 3차원 영상을 위한 다시점 카메라 시스템의 카메라 파라미터를 보다 적은 파라미터를 이용하여 효율적으로 표현하는데 있다. 또한, 입체 영상을 느낄 수 있는 환경에서의 카메라 파라미터를 표현하기 위해, 입체감을 느낄 수 있는 특수한 경우에 대한 카메라 파라미터 표현 방법과 일반적인 표현 방법를 모두 제안한다.
또한, 본 발명의 과제는, 3차원 영상 데이터를 이용하여 정확한 3차원 영상의 복원이 가능하도록, 카메라 파라미터를 3차원 영상 데이터 스트림의 헤더 정보 또는 메타데이터에 기록하는데 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법은, 수신된 3차원 영상 데이터 스트림으로부터 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 추출하는 단계; 상기 다시점 카메라 파라미터 정보로부터 다시점 카메라 좌표계에 대한 평행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보를 추출하는 단계; 및 상기 매트릭스 정보를 이용하여 상기 소정 데이터 구간에 대한 다시점 카메라의 좌표계를 복원하는 단계를 포함한다.
일 실시예의 상기 매트릭스 정보 추출 단계는, 상기 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 추출하는 단계를 포 함하며, 상기 부가 파라미터 정보는, 상기 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함한다.
일 실시예의 상기 카메라 좌표계 복원 단계는, 상기 제 1 시점 카메라의 한 좌표축 상에 상기 제 2 시점 카메라의 원점을 위치시키는 단계를 포함하고, 상기 매트릭스 정보 추출 단계는, 상기 평행 이동 매트릭스 정보의 파라미터는, 상기 제 1 시점 카메라의 한 좌표축에 대한 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값이다.
일 실시예의 상기 매트릭스 정보 추출 단계는, 상기 평행 이동 매트릭스 정보의 파라미터는, 상기 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값이다.
일 실시예의 상기 매트릭스 정보 추출 단계는, 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 추출할지 여부를 결정하는 단계를 포함하고, 상기 회전 매트릭스 정보의 파라미터는, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보, 및 소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보 중 하나이다.
일 실시예의 상기 부가 파라미터 정보는 상기 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되며, 상기 부가 파라미터 정보의 중요도는 네 단계의 레벨로써, 제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨, 제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨, 제 3 레벨은 상기 화상의 가로세로비 및 상기 제 1 시점 카메라의 중점을 전송하며, 상기 제 2 시점 카메라의 중점은 상기 제 1 시점 카메라의 중점과 동일한 레벨, 및 제 4 레벨은 상기 화상의 가로세로비, 상기 제 1 시점 카메라의 중점 및 상기 제 2 시점 카메라의 중점을 전송하는 레벨인 것을 특징으로 한다.
일 실시예의 상기 다시점 카메라 파라미터 정보 추출 단계는, 상기 다시점 카메라 파라미터의 존재에 따라 상기 다시점 카메라 파라미터 정보를 상기 메타 데이터로 포함하는지 여부를 확인하는 단계를 포함한다.
일 실시예의 상기 다시점 카메라 파라미터 정보 추출 단계는, 상기 3차원 영상 데이터 스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷으로부터 상기 다시점 카메라 파라미터 정보를 추출하는 단계를 포함한다.
다른 실시예의 상기 다시점 카메라 파라미터 정보 추출 단계는, 상기 ISO 기반의 미디어 파일 포맷이 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 상기 다시점 카메라 파라미터 정보를 추출하는 단계를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 수신 장치는, 수신된 3차원 영상 데이터 스트림으로부터 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 추출하는 다시점 카메라 파라미터 정보 추출부; 상기 다시점 카메라 파라미터 정보로부터 상기 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보를 추출하는 매트릭스 정보 추출부; 및 상기 매트릭스 정보를 이용하여 상기 소정 데이터 구간에 대한 다시점 카메라의 좌표계를 복원하는 다시점 카메라 좌표계 복원부를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 전송 방법은, 상기 3차원 영상의 소정 데이터 구간에 대한 제 1 시점 카메라 및 제 2 시점 카메라의 좌표계를 설정하는 단계; 상기 설정된 좌표계를 이용하여, 상기 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 중 적어도 하나를 포함하는 매트릭스 정보를 결정하는 단계; 및 상기 결정된 매트릭스 정보를 이용하여 상기 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 설정하는 단계를 포함한다.
일 실시예의 상기 다시점 카메라 파라미터 정보 설정 단계는, 상기 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 설정하는 단계를 포함하고, 상기 부가 파라미터 정보는, 상기 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하고, 상기 부가 파라미터 정보는 상기 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되고, 상기 부가 파라미터 정보의 중요도는 네 레벨로써, 제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨, 제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨, 제 3 레벨은 상기 화상의 가로세로비 및 상기 제 1 시점 카메라의 중점을 전송하며, 상기 제 2 시점 카메라의 중점은 상기 제 1 시점 카메라의 중점과 동일한 레벨, 및 제 4 레벨은 상기 화상의 가로세로비, 상기 제 1 시점 카메라의 중점 및 상기 제 2 시점 카메라의 중점을 전송하는 레벨인 것을 특징으로 한다.
일 실시예의 상기 다시점 카메라 좌표계 설정 단계는, 상기 제 1 시점 카메라의 한 좌표축 상에 상기 제 2 시점 카메라 좌표계의 원점을 위치시키는 단계를 포함하고, 상기 매트릭스 정보 결정 단계는, 상기 평행 이동 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라의 한 좌표축에 대한 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값을 결정하는 단계; 및 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 설정할지 여부를 결정하고, 상기 회전 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보, 및 소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보; 중 하나를 결정하는 단계를 포함한다.
일 실시예의 상기 매트릭스 정보 결정 단계는, 상기 평행 이동 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값을 결정하는 단계; 및 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 설정할지 여부를 결정하고, 상기 회전 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보; 및
소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보; 중 하나를 결정하는 단계를 포함한다.
일 실시예의 3차원 영상을 위한 다시점 카메라 파라미터 전송 단계는, 상기 3차원 영상 데이터를 입력받는 단계; 및 상기 3차원 영상 데이터에 대한 메타 데이터로 상기 설정된 다시점 카메라 파라미터 정보를 기록하는 단계를 포함한다.
일 실시예의 상기 다시점 카메라 파라미터 정보 기록 단계는, 상기 3차원 영상 데이터를 ISO 기반의 미디어 파일 포맷으로 기록할 때, 상기 ISO 기반의 미디어 파일 포맷에 상기 다시점 카메라 파라미터 정보를 기록하는 단계를 포함한다.
다른 실시예의 상기 다시점 카메라 파라미터 정보 기록 단계는, 상기 ISO 기반의 미디어 파일 포맷이 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 상기 다시점 카메라 파라미터 정보를 기록하는 단계를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 전송 장치는, 상기 3차원 영상의 소정 데이터 구간에 대한 제 1 시점 카메라 및 제 2 시점 카메라의 좌표계를 설정하는 다시점 카메라 좌표계 설정부; 상기 설정된 좌표계를 이용하여, 상기 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 중 적어도 하나를 포함하는 매트릭스 정보를 결정하는 매트릭스 정보 결정부; 및 상기 결정된 매트릭스 정보를 이용하여 상기 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 설정하는 다시점 카메라 파라미터 정보 설정부를 포함한다.
또한, 본 발명은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한, 본 발명은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 전송 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명의 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 장치는, 제 2 시점 카메라 좌표계의 원점을 제 2 시점 카메라 좌표계의 한 좌표축 상에 위치시킴으로써, 보다 적은 3차원 카메라 파라미터를 이용하여 3차원 영상을 위한 카메라 시스템을 표현하는 효과가 있다.
또한, 본 발명은, 3차원 카메라 파라미터가 3차원 영상 데이터 스트림의 헤더 정보 또는 메타데이터에 포함되어 있으므로, 3차원 영상 데이터 및 3차원 카메라 파라미터를 이용하여 시청자의 저피로도 관련 프로세스, 에피폴라 라인 컨스트레인트 기법, 왜곡 보상 기법 등의 다양한 프로세스가 가능하므로 3차원 영상의 화 질을 증대시킬 수 있다.
본 발명의 카메라 파라미터 정보는 시간축에 따라 가변적이므로, 소정 데이터 구간 단위로 개별적으로 카메라 파라미터 정보가 설정됨으로써, 3차원 영상을 보다 정확하게 표현할 수 있다.
본 발명은 압축/전송 분야 외에도 가상 영상 합성, 중간 영상 합성, 3차원 영상 디스플레이 등 3차원 영상이 이용될 수 있는 다양한 분야에서 유용하게 활용될 수 있다.
이하, 도 3 내지 도 11을 참고하여, 본 발명의 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 장치가 설명된다.
도 3 는 본 발명의 일 실시예에 따른 3 차원 영상을 위한 다시점 카메라 파라미터 수신 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 다시점 카메라 파라미터 수신 장치(300)는 다시점 카메라 파라미터 정보 추출부(310), 매트릭스 정보 추출부(320), 부가 파라미터 정보 추출부(330) 및 다시점 카메라 좌표계 복원부(340)를 포함한다.
다시점 카메라 파라미터 정보 추출부(310)는 수신된 3차원 영상 데이터 스트림으로부터 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 추출하여, 매트릭스 정보 추출부(320) 및 부가 파라미터 정보 추출부(330)로 다시점 카메라 파라미터 정보를 출력한다.
본 발명의 일 실시예에 따른 여러 가지 파라미터 정보들은 소정 데이터 구간 별로 개별적으로 설정될 수 있다. 일 실시예의 소정 데이터 구간은, 프레임, GOP(Group of Pictures), 필드 등의 3차원 영상 데이터의 다양한 데이터 단위 중 한 데이터 단위에 대해, 적어도 하나 이상의 데이터 단위를 포함한 데이터 구간을 나타낸다. 소정 데이터 구간은 시간에 따라 가변적으로 설정될 수도 있다.
예를 들면, 소정 데이터 구간은 프레임 단위로 적어도 하나의 프레임을 포함하는 데이터 구간일 수 있다. 데이터 구간이 3차원 영상의 모든 프레임들을 포함한다면 소정 데이터 구간에 대한 카메라 파라미터는 3차원 영상의 모든 프레임에 대해 동일한 카메라 파라미터 정보가 적용될 수 있다. 반면에, 전체 데이터가 적어도 하나 이상의 프레임을 포함하는 복수 개의 데이터 구간으로 나뉘어진다면, 각각의 데이터 구간 내의 프레임들에 대해 각각 다른 카메라 파라미터 정보가 적용될 수도 있다.
일 실시예의 다시점 카메라 파라미터 정보 추출부(310)는 다시점 카메라 파라미터 정보를 수신된 3차원 영상 데이터 스트림의 메타 데이터로 포함하는지 여부를 확인하는 단계를 포함한다.
일 실시예의 다시점 카메라 파라미터 정보 추출부(310)는 3차원 영상 데이터가 ISO 기반의 미디어 파일 포맷일 때, ISO 기반의 미디어 파일 포맷으로부터 다시점 카메라 파라미터 정보를 추출한다.
다른 실시예의 다시점 카메라 파라미터 정보 추출부(310)는 3차원 영상 데이터가 ISO 기반의 미디어 파일 포맷일 때, ISO 기반의 미디어 파일 포맷은 moov 박 스, mdat 박스 및 meta 박스를 포함할 수 있다. 다시점 카메라 파라미터 정보는 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출될 수 있다.
매트릭스 정보 추출부(320)는 다시점 카메라 파라미터 정보 추출부(310)로부터 입력된 다시점 카메라 파라미터 정보로부터, 소정 데이터 구간에 대한 다시점 카메라 좌표계에 대한 평행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보를 추출하여, 다시점 카메라 좌표계 복원부(340)로 출력한다.
일 실시예의 매트릭스 정보 추출부(320)는 평행 이동 매트릭스 정보의 파라미터를 추출하는 평행 이동 매트릭스 정보 추출부를 포함하며, 평행 이동 매트릭스 정보의 파라미터는, 제 1 시점 카메라의 한 좌표축에 대한 제 2 시점 카메라 좌표계의 원점의 평행 이동 값이다. 이 때, 카메라 좌표계 복원부(340)는 제 1 시점 카메라의 한 좌표축 상에 제 2 시점 카메라의 원점을 위치시킨다.
일 실시예의 매트릭스 정보 추출부(320)는 평행 이동 매트릭스 정보의 파라미터는, 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 제 2 시점 카메라 좌표계의 원점의 평행 이동 값이다.
평행 이동 매트릭스 정보가 설정되는 방식에 따른 차이점은 도 5a 및 도 5b를 이용하여 후술된다.
일 실시예의 매트릭스 정보 추출부(320)는 제 1 시점 카메라 및 제 2 시점 카메라의 배열 방식에 따라 회전 매트릭스 정보를 추출할지 여부를 결정하고, 회전 매트릭스 정보의 파라미터는, 제 1 시점 카메라를 기준으로 하여, 상기 제 1 시점 카메라에 상대적인 제 2 시점 카메라의 상대적인 회전각 정보이다.
제 1 시점 카메라에 대한 상대적인 제 2 시점 카메라 좌표계의 회전각을 의미한다. 이를 통해 상기 제 1시점의 카메라 파라미터를 따로 전송하지 않고 상대적인 값만을 전송하여 두 카메라의 관계를 표현할 수 있다.
부가 파라미터 정보 추출부(330)는 다시점 카메라 파라미터 정보 추출부(310)로부터 입력된 다시점 카메라 파라미터 정보로부터, 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 추출하여, 다시점 카메라 좌표계 복원부(340)로 출력한다. 부가 파라미터 정보는 해당 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함한다.
부가 파라미터 정보 추출부(330)의 일 실시예는 부가 파라미터 정보는 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되며, 부가 파라미터 정보의 중요도는 네 단계의 레벨로 구성된다. 즉, 제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨, 제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨, 제 3 레벨은 화상의 가로세로비 및 제 1 시점 카메라의 중점을 전송하며, 제 2 시점 카메라의 중점은 제 1 시점 카메라의 중점과 동일한 레벨, 및 제 4 레벨은 화상의 가로세로비, 제 1 시점 카메라의 중점 및 제 2 시점 카메라의 중점을 전송하는 레벨이다.
다시점 카메라 좌표계 복원부(340)는 매트릭스 정보 추출부(320) 및 부가 파라미터 정보 추출부(330)로부터 추출된 파라미터 정보를 입력받아, 평행 이동 매트릭스, 회전 매트릭스 정보 및 부가 파라미터 정보 등을 이용하여 다시점 카메라의 좌표계를 복원한다.
다시점 카메라 좌표계 복원부(340)의 일 실시예는, 제 1 시점 카메라의 한 좌표축 상에 제 2 시점 카메라의 원점을 위치시킨다.
본 발명의 다시점 카메라 좌표계의 복원부(340)에서 좌표계를 설정하는 방식은 이하 도 5a 및 도 5b를 참조하여 상술된다.
도 4 는 본 발명의 일 실시예에 따른 3 차원 영상을 위한 다시점 카메라 파라미터 전송 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 다시점 카메라 파라미터 전송 장치(400)는 다시점 카메라 좌표계 설정부(410), 매트릭스 정보 결정부(420) 및 다시점 카메라 파라미터 정보 설정부(430)를 포함한다.
다시점 카메라 좌표계 설정부(410)는 3차원 영상의 적어도 하나 이상의 프레임을 포함하는 소정 데이터 구간에 대한 제 1 시점 카메라 및 제 2 시점 카메라의 좌표계를 설정한다.
다시점 카메라 좌표계 설정부(410)의 일 실시예는, 제 1 시점 카메라의 한 좌표축 상에 제 2 시점 카메라 좌표계의 원점을 위치시킨다.
매트릭스 정보 결정부(420)는 다시점 카메라 좌표계 설정부(410)에서 설정된 좌표계를 이용하여, 각각의 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 중 적어도 하나를 포함하는 매트릭스 정보를 결정하고, 결정된 매트릭스 정보를 다시점 카메라 파라미터 정보 설정부(430)로 출력한다.
매트릭스 정보 결정부(420)의 일 실시예는, 평행 이동 매트릭스에 대한 파라미터로써, 제 1 시점 카메라의 한 좌표축에 대한 제 2 시점 카메라 좌표계의 원점의 평행 이동 값을 결정한다. 또한, 회전 매트릭스에 대한 파라미터로써, 제 1 시점 카메라에 대한 제 2 시점 카메라의 회전각 정보를 이용한다.
다시점 카메라 파라미터 정보 설정부(430)는 매트릭스 정보 결정부(420)에서 결정된 매트릭스 정보를 이용하여 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 설정한다.
다시점 카메라 파라미터 정보 설정부(430)의 일 실시예는, 도 4에 미도시되었지만, 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 설정하는 부가 파라미터 정보 결정부를 포함한다. 부가 파라미터 정보의 일 실시예는 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하고, 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되고, 부가 파라미터 정보의 중요도는 네 레벨로 구성된다. 부가 파라미터 정보의 중요도 레벨 별 전송 파라미터 정보는, 전술된 다시점 카메라 파라미터 수신 장치(300)에서의 추출되는 부가 파라미터 정보의 중요도 레벨 별 파라미터 정보와 동일하다.
도 4에 도시되지 않았지만, 다시점 카메라 파라미터 전송 장치(400)는 3차원 영상 데이터를 입력받는 입력부 및 3차원 영상 데이터에 대한 메타 데이터로 설정 된 다시점 카메라 파라미터 정보를 기록하는 다시점 카메라 파라미터 정보 기록부를 포함한다.
다시점 카메라 파라미터 정보 기록부의 일 실시예는, 3차원 영상 데이터를 ISO 기반의 미디어 파일 포맷으로 기록할 때, ISO 기반의 미디어 파일 포맷에 다시점 카메라 파라미터 정보를 기록한다.
다시점 카메라 파라미터 정보 기록부의 다른 실시예는, 3차원 영상 데이터를 ISO 기반의 미디어 파일 포맷으로 기록할 때, ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함할 수 있다. 다시점 카메라 파라미터 정보는 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 기록될 수 있다.
본 발명에서는 입체 영상을 느낄 수 있는 환경에서의 카메라 파라미터를 표현하고자 한다. 사람이 3D 디스플레이에서 입체감을 느끼기 위해서는 일반적으로 좌우 영상의 초점거리 거리가 동일해야 한다. 이는 현재 시중에 나와 있는 대부분의 3차원 디스플레이는 시청 위치를 가운데로 한정지기 때문이다. 또한 좌우 카메라의 정렬을 맞추어야 한다. 즉, 두 카메라의 좌표계가 한 축을 공유하도록 하여 한다. 두 카메라의 정렬이 맞추어지지 않는 경우 평행 카메라 시스템이라도 좌우 영상의 객체의 크기가 달라질 수 있고 이 경우 좌우영상은 뇌에서 3차원 영상으로 합성되지 않는다. 이에 본 발명에서는 입체감을 느낄 수 있는 특수한 경우에 대한 카메라 파라미터 표현 방법과 일반적인 표현 방법 둘 다 제안한다.
도 5a 는 본 발명에서 도입한 입체감을 고려한 다시점 카메라 좌표계의 표현 방법을 도시한다. 도 5a를 참조하여, 다시점 카메라 좌표계 복원부(340) 및 다시점 카메라 좌표계 설정부(410)에서 사용되는 다시점 카메라 좌표계가 상술된다.
좌표계 510은 제 1 시점 카메라 좌표계를 도시하며, 좌표계 520은 제 2 시점 카메라 좌표계를 도시한다. 제 1 시점 카메라 좌표계(510)에서는 X1축(512), Y1축, Z1축이 원점(515)에서 서로 직교한다.
사람의 두 눈은 평행한 축 상에서 일정 거리(예를 들면, 65mm)를 두고 존재하므로, 시청자가 입체감을 느끼기 위해서는 서로 다른 시점 카메라들이 한 축을 공유하면서 배치되어야 한다. 따라서 본 발명의 일 실시예는, 입체감을 고려한 3차원 영상의 시청을 위해서 제 2 시점 카메라 좌표계(520)의 원점(525)을 제 1 시점 카메라 좌표계(510)의 X1축(512) 상에 위치시킨다. 즉 제 1 시점 카메라 좌표계의 원점(515)로부터 tX만큼 떨어진 (tX, 0, 0)에 제 2 시점 카메라 좌표계의 원점(525)가 놓인다.
따라서, 본 발명의 제 1 시점 카메라 좌표계(510) 및 제 2 시점 카메라 좌표계(520) 사이의 평행 이동 매트릭스는 (tX, 0, 0)가 된다. 즉, 본 발명의 일 실시예인 입체감을 고려한 다시점 카메라 시스템의 경우는, 평행 이동 매트릭스를 알기 위해 X축, Y축, Z축 세 방향의 평행 이동 값을 모두 알 필요 없이 한 축 방향으로 의 평행이동 값만이 필요하다.
도 5a 에서 도시된 입체감을 고려한 다시점 카메라 시스템이 아닌 일반적인 다시점 카메라 시스템의 경우에는, 제 2 시점 카메라 좌표계의 원점이 제 1 시점 카메라 좌표계의 한 좌표축 상에 위치되지 않는다. 따라서 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현되는 제 2 시점 카메라 좌표계의 원점의 X축, Y축, Z축 세 방향의 평행 이동 값 모두가 다시점 카메라 파라미터 정보로써 필요하다.
또한, 제 1 시점 카메라 좌표계(510) 및 제 2 시점 카메라 좌표계(520) 사이의 평행 이동으로 원점을 일치시킨 후 각각의 좌표축을 일치시키기 위해 회전 매트릭스 파라미터가 필요하다. 회전 매트릭스(R)는 X축 방향으로의 회전각(α), Y축 방향으로의 회전각(β), Z축 방향으로의 회전각(γ)이 필요하다.
도 5b 는 본 발명에서 도입한 스테레오 카메라에 대한 매트릭스 정보의 파라미터를 도시한다.
스테레오 카메라 환경은 제 1 시점 카메라 및 제 2 시점 카메라, 즉 두 대의 카메라로 구성된 카메라 시스템으로, 입체감이 고려된 3차원 영상이 획득될 수 있다.
전술한 바와 같이 제 2 시점 카메라 좌표계의 원점이 제 1 시점 카메라 좌표계의 한 축 상에 놓이므로, 평행 이동 매트릭스는 한 좌표값만이 필요하다. 즉, 제 2 시점 카메라 좌표계의 평행 이동 매트릭스는 (tX, 0, 0) 로 표현된다.
회전 매트릭스는 제 1 시점 카메라와 제 2 시점 카메라 사이의 상대적인 값 으로 표현된다. 입체감을 고려한 시스템인 경우, 일반적으로 초점거리는 동일하다는 가정으로부터 상기 제 1 시점 카메라 및 제 2 카메라에 대한 회전 매트릭스 정보는 Y축으로만 회전각 값이 변하고 나머지 축은 고정된다. 즉, 두 시점 카메라가 모두 X축은 각도 α로, Z축은 각도 γ로 고정되는데 반해, Y축에 대해서는 제 1 시점 카메라는 각도 -β/2 만큼, 제 2 시점 카메라는 β/2 만큼 회전된다. 따라서, 입체감의 표현이 고려된 스테레오 카메라 좌표계인 경우 한 축의 회전각의 값만으로 상대적인 회전 정보를 표현할 수 있다.
도 5c 는 본 발명에서 도입한 다시점 카메라에 대한 매트릭스 정보의 파라미터를 도시한다.
스테레오 카메라의 경우 상대적인 표현으로 충분히 카메라 파라미터가 유효하지만, 다시점의 경우 기준 시점 카메라를 제외하고 두 대 이상의 카메라가 존재하므로 상대적인 표현을 할 경우 특별한 제약이 필요하다. 다시점 동영상의 경우 기준이 되는 시점이 존재한다. 이 시점은 다른 시점의 예측없이 독립적으로 디코딩이 가능하다. 본 발명에서는 이 기준 시점을 이용하여 다른 시점의 평행 이동 매트릭스와 회전 매트릭스 값을 상대적으로 표현한다.
예를 들어 평행 이동 매트릭스의 값들은 기준 시점의 경우 (0,0,0)을 가지고 나머지 시점들은 그 값을 기준으로 상대적인 값들로 표현된다. 이 때 다시점 영상들이 한 축으로 정렬되는 것은 불가능하므로 하나의 값으로 표현되지 않고 매트릭스 형태로 표현된다. 회전 매트릭스도 기준 시점 카메라 파라미터의 경우 R=f(0,0,0)=I 로 정의되고 나머지 시점들은 기준 시점 카메라를 기준으로 상대적인 값들로 표현된다.
전술된 스트레오 카메라의 매트릭스 정보에 비해, 입체감이 고려되지 않은 일반적인 다시점 카메라 시스템을 위한 카메라 좌표계의 경우 회전 매트릭스를 이용해 범용적으로 회전 정보를 표현한다.
3차원 영상을 위한 카메라 시스템이 다시점 카메라 시스템으로 확장되는 경우, 제 1 시점은 기준 시점으로 제 2시점은 부가 시점으로 설정된다.
또한 본 발명의 다른 실시예에 따른 일반적인 다시점 카메라 시스템의 다시점 카메라 파라미터 수신 장치(300) 및 다시점 카메라 파라미터 전송 장치(400)는 도 5c 를 참고하여 세 방향의 평행 이동 파라미터(tX, tY, tZ), 세 방향의 회전각(α. β, γ)를 이용하여 좌표계 설정이 가능하다.
일 실시예의 매트릭스 정보 추출부(320)는 제 1 시점 카메라 및 제 2 시점 카메라의 배열 방식에 따라 회전 매트릭스 정보를 추출할지 여부를 결정하므로, 다시점 카메라의 배열 방식에 의해 회전 매트릭스 정보는 필요한 경우에만 설정된다. 예를 들면, 제 1 시점 카메라 및 제 2 시점 카메라의 배열 방식이 교차식(Convergent Arrange)인 경우 회전 매트릭스 정보가 존재하지만, 평행식(Parallel Arrange)인 경우에는 회전 매트릭스 정보가 필요하지 않다.
도 6a 는 ISO 기반의 파일 포맷의 구조를 도시한다.
도 6a를 참고하여, ISO(International Standardization Organization) 기반의 미디어 파일 포맷의 기본 구조가 설명된다. ISO 파일 박스(600)는 moov 박 스(610) 및 mdat 박스(620)를 포함한다.
moov 박스(610)는 영상(video trak) 또는 음성(audio trak) 정보에 대한 기본적인 헤더 정보들을 포함하고, mdat 박스(620)는 실질적인 영상 데이터들 또는 음성 데이터들을 포함하고 있다. mdat 박스(620)의 일 실시예는, 인터리브드 타임 순서로(interleaved time-ordered) 영상 또는 음성 프레임들을 포함하고 있다.
도 6b 는 ISO 기반의 파일 포맷의 박스 리스트를 도시한다.
ftyp 박스(630)는 파일 형식 및 호환성(file type and compatibility)을 나타내고 해당 파일의 주된 종류(major_brand)에 대한 정보를 포함한다. 본 발명의 일 실시예는 해당 파일이 3차원 스테레오 영상임을 나타내기 위해 "ssav"로 설정한다. 여기서 ssav는 스테레오스코픽 AV(stereoscopic audio-video)의 약어를 나타낸다.
moov 박스(610)는 타임드 리소스(timed resources)의 모든 메타데이터를 위한 공간이다. 도 6a 를 참조하여서 전술한 바와 같이, moov 박스는 mdat 박스(620)에 포함되어 있는 실질 미디어 데이터를 위한 헤더 정보 또는 메타데이터들이 포함되어 있다.
mdat 박스(620)는 도 6a를 참고하여 전술한 바와 같이, 미디어 데이터를 위한 공간이다.
meta 박스(640)도 moov 박스(610) 이외의 메타데이터를 위한 공간이다. 본 발명의 일 실시예는 3차원 영상을 위한 다시점 카메라 파라미터 정보를 위한 공간으로써 tdcp(three dimensional camera parameters) 박스(650)를 meta 박스(640)의 하위 레벨에 포함시킨다.
moov 박스(610)의 하위 레벨인 trak 박스는 메인 AV 데이터 또는 보조 데이터에 대한 각각의 독립적인 트랙 또는 스트림을 위한 공간이다. 본 발명의 다른 실시예는 3차원 영상을 위한 다시점 카메라 파라미터 정보를 위한 공간으로써 tdcp(three dimensional camera parameters) 박스(650)를 trak 박스 이하(670)의 다른 meta 박스의 하위 레벨에 포함시킨다.
도 6b에 모두 도시되지는 않았으나, 3차원 영상을 위한 다시점 카메라 파라미터 정보를 위한 공간이 meta 박스의 하위 레벨 박스, moov 박스의 하위 레벨 박스, moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, trak 박스의 하위 레벨 박스 및 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 위치할 수 있다.
따라서, 다시점 카메라 파라미터 정보 획득부(310)의 일 실시예는 도 6b를 참고하여 전술된 tdcp 박스로부터 추출된 다시점 카메라 파라미터로부터 변이 벡터 정보를 획득한다. 또한, 다시점 카메라 파라미터 전송 장치(400)의 일 실시예는 ISO 기반의 미디어 파일 포맷의 헤더 영역의 tdcp 박스에 다시점 카메라 파라미터를 기록한다.
도 7 은 카메라 파라미터의 표현을 위한 다시점 카메라 파라미터들의 구조를 도시한다.
3DCamParams()는 3차원 다시점 카메라 파라미터를 나타낸다.
Is_CamParams는 3차원 다시점 카메라 파라미터가 없는 경우를 고려하기 위 해, 3차원 다시점 카메라 파라미터의 유무를 나타내는 변수이다. 본 발명의 일 실시예는, Is_CamParams가 0인 경우 카메라 파라미터가 없고, 1인 경우 카메라 파라미터가 존재한다.
CamArrange는 3차원 다시점 카메라 시스템의 전체적인 배치 구조를 나타낸다. 3차원 다시점 카메라의 배치 형태는 이하 도 8a를 참조하여 후술된다.
baseline_distance는 회전 매트릭스의 파라미터를 의미한다. 본 발명의 일 실시예는 제 1 시점 카메라 좌표계와 제 2 시점 카메라 좌표계를 인위적으로 조정하였으므로 매트릭스의 값을 전부 보낼 필요 없이 한 좌표축의 좌표값만을 보내면 된다.
focal_length는 각각의 카메라의 초점 거리(focal length)를 나타낸다. 3차원 다시점 카메라 시스템은 복수 개의 카메라를 보유하며, 각각의 카메라마다 초점 거리가 달라질 수 있지만, 3차원 효과를 누리기 위해서는 기본적으로 초점 거리가 동일해야 하므로 본 발명에서는 모든 카메라들이 동일한 초점 거리를 갖고 있다고 가정된다. 따라서, focal_length는 하나의 값으로 표현된다.
rotation[3]은 전술한 회전 매트릭스의 세 방향의 회전각을 나타낸다. 카메라 배치가 평행식 카메라 구조인 경우 rotation[3] 파라미터는 필요 없어진다. 카메라의 배치가 교차식인 경우, rotation[3] 파라미터의 값을 전송하거나 저장한다.
num_of_AdditionalParams는 부가적인 파라미터인 부가 파라미터 정보의 수를 나타낸다.
AdditionalParams는 3차원 영상을 위한 다시점 카메라를 위한 다양한 부가 파라미터 정보를 나타낸다. 본 발명의 일 실시예는 화상의 가로세로비(aspect ratio), 각각의 카메라의 중점(center point) 등이 부가 파라미터 정보로 이용된다.
본 발명의 일 실시예는 부가 파라미터 정보의 중요도에 따라 순서를 부여한다. num_of_AdditionalParams를 이용하여 중요도에 따라 필요한 파라미터만을 전송하거나 저장한다. 본 발명의 일 실시예는 화상의 가로세로비, 제 1 시점 카메라의 중점(oX, oY), 제 2 시점 카메라의 (oX, oY) 순으로 중요도가 낮아진다.
부가 파라미터 정보의 중요도 순위를 0, 1, 3, 5로 설정하여, 중요도가 0인 경우 부가 파라미터 정보가 전송되지 않고, 중요도가 1인 경우 화상의 가로세로비 값만이 전송된다. 중요도가 3인 경우 화상의 가로세로비 및 제 1 시점 카메라의 중점이 전송되고, 제 2 시점 카메라의 중점은 제 1 시점 카메라의 중점과 동일하다고 가정된다. 중요도가 5인 경우 화상의 가로세로비 및 제 1 시점 카메라의 중점 뿐만 아니라 제 2 시점 카메라의 중점도 개별적으로 전송된다.
도 8a 는 다시점 카메라의 다양한 배치 방법을 도시한다.
좌측의 카메라 배치(810)는 제 1 시점 카메라(812) 및 제 2 시점 카메라(814)의 배치가 평행식 카메라 구조인 경우이다. 중앙의 카메라 배치(820)는 제 1 시점 카메라(812) 및 제 2 시점 카메라(814)의 배치가 일반적인 교차식 카메라 구조인 경우이다. 우측의 카메라 배치(830)는 제 1 시점 카메라(812) 및 제 2 시점 카메라(814)의 배치가 평행적 교차식 카메라 구조인 경우를 나타낸다.
도 8b 는 다시점 카메라의 다양한 배치 방법에 따른 카메라 파라미터의 표현 방법을 도시한다.
도 7에서 전술된 CamArrange 파라미터는 다시점 카메라의 배치 구조에 따라 정의된다. 본 발명의 일 실시예에서, 다시점 카메라 시스템이 평행식 카메라 구조인 경우 CamArrange가 0으로 정의되며, 일반적인 교차식 카메라 구조인 경우 CamArrange가 1로 정의된다. 또한 평행적 교차식 카메라 구조의 다시점 시스템인 경우 CamArrange가 2로 정의되며, CamArrange가 3 내지 15의 값은 사용자에 의해 정의 가능한 공간으로 할당된다.
도 9a 는 ISO 기반의 파일 포맷의 일 실시예에서 입체감을 고려한 다시점 카메라 시스템의 카메라 파라미터의 표현 방법을 도시한다.
도 9a 에서 도시된 카메라 파라미터의 표현 기술(Syntax)은, 도 6b를 참고하여 전술된 일 실시예에서, 3차원 다시점 카메라 파라미터를 위한 tdcp 박스(650)가 meta 박스(640)의 하위 레벨인 경우(Box type : 'tdcp' / Container : Meta box('meta'))에 해당한다. ISO 기반의 미디어 파일 포맷에서 3차원 다시점 카메라 파라미터의 구비 여부는 필수가 아니며(Mandatory : No), 파라미터의 양은 0 또는 1(Quantity : Zero or one)이다. 도 9a 에 도시된 카메라 파라미터의 일 실시예는 모든 프레임에 대해 동일한 카메라 파라미터(910)가 정의되고 있다.
도 9a 의 카메라 파라미터의 표현 방식은 입체감을 고려한 다시점 카메라 시스템의 경우의 카메라 파라미터로써, 평행 이동 매트릭스 정보의 파라미터는 한 방향의 좌표축의 평행 이동 값(baseline_distance, 920)만으로 정의된다. 각각의 카 메라 파라미터의 정의는 도 7에서 전술된 바와 동일하다.
도 9b 는 ISO 기반의 파일 포맷의 일 실시예에서 일반적인 다시점 카메라 시스템의 카메라 파라미터의 표현 방법을 도시한다.
도 9b 의 카메라 파라미터의 표현 방식은 일반적인 다시점 카메라 시스템의 환경에서 설정된 카메라 파라미터(930)에 관한 것으로써, 평행 이동 매트릭스 정보의 파라미터는 세 방향의 좌표축의 평행 이동 값(translation[3], 940)으로 정의된다. 각각의 카메라 파라미터의 정의는 도 7에서 전술된 바와 동일하다.
도 9c 는 ISO 기반의 파일 포맷의 다른 실시예에서 일반적인 다시점 카메라 시스템의 카메라 파라미터의 표현 방법을 도시한다.
본 발명의 일 실시예의 카메라 파라미터는 시간축에 따라 가변적으로 설정되며, 그 일 실시예로써 도 9c의 실시예는 적어도 하나의 프레임을 포함하는 프레임 구간인 소정 데이터 구간 별로 카메라 파라미터가 개별적으로 설정된 경우를 도시한다. 각각의 카메라 파라미터의 정의는 도 7에서 전술된 바와 동일하다.
for문(950)을 통해 각각의 데이터 구간마다 개별적으로 카메라 파라미터가 정의(960)된다. 즉, 각각의 프레임마다 현재 기초 스트림의 식별 정보(ES_ID, 970), 현재 기초 스트림에서의 시작 프레임 위치 정보(offset, 972), 현재 데이터 구간에서의 프레임 수(length, 974)가 정의됨으로써, 현재 기초 스트림 및 현재 데이터 구간에서의 프레임 정보가 설정되며, 각각의 데이터 구간마다 개별적인 카메라 파라미터(980)가 설정된다.
또한, 도 9c 의 카메라 파라미터의 표현 방식은 일반적인 다시점 카메라 시 스템의 경우의 카메라 파라미터로써, 평행 이동 매트릭스 정보의 파라미터는 세 방향의 좌표축의 평행 이동 값(translation[3], 990)으로 정의된다.
도 10 은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법의 흐름도를 도시한다.
단계 1010에서, 수신된 3차원 영상 데이터 스트림으로부터 다시점 카메라 파라미터 정보가 추출된다.
본 발명의 일 실시예는, 3차원 영상 데이터 스트림의 헤더 정보 또는 메타데이터로부터 다시점 카메라 파라미터 정보를 추출한다.
단계 1020에서, 다시점 카메라 파라미터 정보로부터 다시점 카메라 좌표계에 대한 평행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보가 추출된다.
본 발명의 일 실시예에 따른 평행 이동 매트릭스는 한 시점의 카메라 좌표계에 대한 다른 좌표계의 상대적인 좌표값을 포함하고 있으며, 회전 매트릭스 정보는 세 축의 회전각 정보 또는 한 축의 회전각 정보을 포함한다.
단계 1030에서, 카메라 초점 거리 및 부가 파라미터 정보가 추출된다. 부가 파라미터 정보는 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함한다.
본 발명의 일 실시예에서 부가 파라미터 정보는, 그 중요도에 따라 화상의 가로세로비, 제 1 시점 카메라의 중점, 제 2 시점 카메라의 중점 순서를 포함한다.
단계 1040에서, 매트릭스 정보, 부가 파라미터 정보, 카메라 초점 거리 중 적어도 하나를 이용하여 다시점 카메라의 좌표계가 복원된다.
본 발명의 일 실시예어서, 다시점 카메라의 좌표계는 제 1 시점 카메라 좌표계의 한 좌표축 상에 제 2 시점 카메라의 원점을 위치시킨다.
도 11 은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 전송 방법의 흐름도를 도시한다.
단계 1110에서, 3차원 영상을 위한 다시점 카메라 구조의 제 1 시점 카메라 및 제 2 시점 카메라의 좌표계가 설정된다.
본 발명의 일 실시예에서, 제 1 시점 카메라 좌표계의 한 좌표축 상에 제 2 시점 카메라의 원점이 위치될 수 있다.
단계 1120에서, 설정된 다시점 카메라 시스템의 각각의 카메라의 좌표계를 이용하여, 평행 이동 매트릭스 및 회전 매트릭스 중 적어도 하나를 포함하는 매트릭스 정보가 결정된다.
본 발명의 일 실시예에 따른 평행 이동 매트릭스는 한 시점 카메라 좌표계에 대한 다른 시점 카메라 좌표계의 상대적인 좌표값을 포함하고 있으며, 회전 매트릭스 정보는 세 축의 회전각 정보 또는 한 축의 회전각 정보를 포함한다.
단계 1130에서, 다시점 카메라 시스템에서의 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하는 부가 파라미터 정보 및 카메라 초점 거리가 결정된다.
본 발명의 일 실시예에서 부가 파라미터 정보는, 그 중요도에 따라 화상의 가로세로비, 제 1 시점 카메라의 중점, 제 2 시점 카메라의 중점 순서를 포함한다.
단계 1140에서, 결정된 매트릭스 정보, 부가 파라미터 정보, 카메라 초점 거리 중 적어도 하나를 이용하여 다시점 카메라 파라미터 정보가 설정된다.
본 발명의 일 실시예에서, 매트릭스 정보 및 부가 파라미터 정보 등의 3차원 다시점 카메라 파라미터 정보는 3차원 영상 데이터 스트림의 헤더 정보 또는 메타데이터에 포함된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 세계 좌표계와 카메라 좌표계의 관계를 도시한다.
도 2a 는 카메라 좌표계와 영상 좌표계의 관계를 도시한다.
도 2b 은 카메라 좌표계와 화상 상의 임의의 점 사이의 관계를 도시한다.
도 3 는 본 발명의 일 실시예에 따른 3 차원 영상을 위한 다시점 카메라 파라미터 수신 장치의 블록도를 도시한다.
도 4 는 본 발명의 일 실시예에 따른 3 차원 영상을 위한 다시점 카메라 파라미터 전송 장치의 블록도를 도시한다.
도 5a 는 본 발명에서 도입한 다시점 카메라 좌표계의 표현 방법을 도시한다.
도 5b 는 본 발명에서 도입한 스테레오 카메라에 대한 매트릭스 정보의 파라미터를 도시한다.
도 5c 는 본 발명에서 도입한 다시점 카메라에 대한 매트릭스 정보의 파라미터를 도시한다.
도 6a 는 ISO 기반의 파일 포맷의 구조를 도시한다.
도 6b 는 ISO 기반의 파일 포맷의 박스 리스트를 도시한다.
도 7 은 카메라 파라미터의 표현을 위한 다시점 카메라 파라미터들의 구조를 도시한다.
도 8a 는 다시점 카메라의 다양한 배치 방법을 도시한다.
도 8b 는 다시점 카메라의 다양한 배치 방법에 따른 카메라 파라미터의 표현 방법을 도시한다.
도 9a 는 ISO 기반의 파일 포맷의 일 실시예에서 입체감을 고려한 다시점 카메라 시스템의 카메라 파라미터의 표현 방법을 도시한다.
도 9b 는 ISO 기반의 파일 포맷의 일 실시예에서 일반적인 다시점 카메라 시스템의 카메라 파라미터의 표현 방법을 도시한다.
도 9c 는 ISO 기반의 파일 포맷의 다른 실시예에서 일반적인 다시점 카메라 시스템의 카메라 파라미터의 표현 방법을 도시한다.
도 10 은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법의 흐름도를 도시한다.
도 11 은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다시점 카메라 파라미터 전송 방법의 흐름도를 도시한다.

Claims (25)

  1. 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법에 있어서,
    수신된 3차원 영상 데이터 스트림으로부터 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 추출하는 단계;
    상기 다시점 카메라 파라미터 정보로부터 상기 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보를 추출하는 단계; 및
    상기 추출된 매트릭스 정보를 이용하여 다시점 카메라의 좌표계를 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  2. 제 1 항에 있어서,
    상기 매트릭스 정보 추출 단계는, 상기 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 추출하는 단계를 포함하며,
    상기 부가 파라미터 정보는, 상기 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  3. 제 1 항에 있어서,
    상기 카메라 좌표계 복원 단계는, 상기 제 1 시점 카메라의 한 좌표축 상에 상기 제 2 시점 카메라의 원점을 위치시키는 단계를 포함하고,
    상기 매트릭스 정보 추출 단계는, 상기 평행 이동 매트릭스 정보의 파라미터가, 상기 제 1 시점 카메라의 한 좌표축에 대한 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값인 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  4. 제 1 항에 있어서,
    상기 매트릭스 정보 추출 단계는, 상기 평행 이동 매트릭스 정보의 파라미터가, 상기 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값인 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  5. 제 1 항에 있어서,
    상기 매트릭스 정보 추출 단계는, 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 추출할지 여부를 결정하는 단계를 포함하고,
    상기 회전 매트릭스 정보의 파라미터는, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보; 및
    소정 축에 대해 대칭적인 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 회전각 정보; 중 하나인 것을 특징으로 하는 다시점 카메라 파라미터 수신 방 법.
  6. 제 2 항에 있어서,
    상기 부가 파라미터 정보는 상기 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되며, 상기 부가 파라미터 정보의 중요도는 네 단계의 레벨로써,
    제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨,
    제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨,
    제 3 레벨은 상기 화상의 가로세로비 및 상기 제 1 시점 카메라의 중점을 전송하며, 상기 제 2 시점 카메라의 중점은 상기 제 1 시점 카메라의 중점과 동일한 레벨, 및
    제 4 레벨은 상기 화상의 가로세로비, 상기 제 1 시점 카메라의 중점 및 상기 제 2 시점 카메라의 중점을 전송하는 레벨인 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  7. 제 1 항에 있어서,
    상기 다시점 카메라 파라미터 정보 추출 단계는, 상기 다시점 카메라 파라미터 정보를 상기 수신된 3차원 영상 데이터 스트림의 상기 메타 데이터로 포함하는지 여부를 확인하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  8. 제 1 항에 있어서,
    상기 다시점 카메라 파라미터 정보 추출 단계는, 상기 3차원 영상 데이터 스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷으로부터 상기 다시점 카메라 파라미터 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  9. 제 8 항에 있어서, 상기 다시점 카메라 파라미터 정보 추출 단계는,
    상기 ISO 기반의 미디어 파일 포맷이 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 상기 다시점 카메라 파라미터 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 수신 방법.
  10. 3차원 영상을 위한 다시점 카메라 파라미터 수신 장치에 있어서,
    수신된 3차원 영상 데이터 스트림으로부터 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 추출하는 다시점 카메라 파라미터 정보 추출부;
    상기 다시점 카메라 파라미터 정보로부터 상기 소정 데이터 구간에 대한 평 행 이동 매트릭스 및 회전 매트릭스 정보 중 적어도 하나를 포함하는 매트릭스 정보를 추출하는 매트릭스 정보 추출부; 및
    상기 매트릭스 정보를 이용하여 다시점 카메라의 좌표계를 복원하는 다시점 카메라 좌표계 복원부를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 수신 장치.
  11. 제 10 항에 있어서,
    상기 매트릭스 정보 추출부는, 상기 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 추출하고,
    상기 부가 파라미터 정보는, 상기 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하며,
    상기 부가 파라미터 정보는 상기 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되며, 상기 부가 파라미터 정보의 중요도는 네 단계의 레벨로써,
    제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨,
    제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨,
    제 3 레벨은 상기 화상의 가로세로비 및 상기 제 1 시점 카메라의 중점을 전송하며, 상기 제 2 시점 카메라의 중점은 상기 제 1 시점 카메라의 중점과 동일한 레벨, 및
    제 4 레벨은 상기 화상의 가로세로비, 상기 제 1 시점 카메라의 중점 및 상 기 제 2 시점 카메라의 중점을 전송하는 레벨인 것을 특징으로 하는 다시점 카메라 파라미터 수신 장치.
  12. 제 10 항에 있어서, 상기 매트릭스 정보 추출부는, 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 추출할지 여부를 결정하고,
    상기 평행 이동 매트릭스 정보의 파라미터는, 상기 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값이고,
    상기 회전 매트릭스 정보의 파라미터는, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보; 및
    소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보; 중 하나인 것을 특징으로 하는 다시점 카메라 파라미터 수신 장치.
  13. 3차원 영상을 위한 다시점 카메라 파라미터 전송 방법에 있어서,
    상기 3차원 영상의 소정 데이터 구간에 대한 제 1 시점 카메라 및 제 2 시점 카메라의 좌표계를 설정하는 단계;
    상기 설정된 좌표계를 이용하여, 상기 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 중 적어도 하나를 포함하는 매트릭스 정보를 결정하는 단계; 및
    상기 결정된 매트릭스 정보를 이용하여 상기 소정 데이터 구간에 대한 다시점 카메라 파라미터 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  14. 제 13 항에 있어서,
    상기 다시점 카메라 파라미터 정보 설정 단계는, 상기 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 설정하는 단계를 포함하고,
    상기 부가 파라미터 정보는, 상기 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하고,
    상기 부가 파라미터 정보는 상기 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되고, 상기 부가 파라미터 정보의 중요도는 네 레벨로써,
    제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨,
    제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨,
    제 3 레벨은 상기 화상의 가로세로비 및 상기 제 1 시점 카메라의 중점을 전송하며, 상기 제 2 시점 카메라의 중점은 상기 제 1 시점 카메라의 중점과 동일한 레벨, 및
    제 4 레벨은 상기 화상의 가로세로비, 상기 제 1 시점 카메라의 중점 및 상기 제 2 시점 카메라의 중점을 전송하는 레벨인 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  15. 제 13 항에 있어서,
    상기 다시점 카메라 좌표계 설정 단계는, 상기 제 1 시점 카메라의 한 좌표축 상에 상기 제 2 시점 카메라 좌표계의 원점을 위치시키는 단계를 포함하고,
    상기 매트릭스 정보 결정 단계는,
    상기 평행 이동 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라의 한 좌표축에 대한 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값을 결정하는 단계; 및
    상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 설정할지 여부를 결정하고, 상기 회전 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보; 및
    소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보; 중 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  16. 제 13 항에 있어서,
    상기 매트릭스 정보 결정 단계는,
    상기 평행 이동 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값을 결정하는 단계; 및
    상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 설정할지 여부를 결정하고, 상기 회전 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보; 및
    소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보; 중 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  17. 제 13 항에 있어서,
    상기 3차원 영상 데이터를 입력받는 단계; 및
    상기 3차원 영상 데이터에 대한 메타 데이터로 상기 설정된 다시점 카메라 파라미터 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  18. 제 17 항에 있어서,
    상기 다시점 카메라 파라미터 정보 기록 단계는, 상기 3차원 영상 데이터를 ISO 기반의 미디어 파일 포맷으로 기록할 때, 상기 ISO 기반의 미디어 파일 포맷에 상기 다시점 카메라 파라미터 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  19. 제 18 항에 있어서, 상기 다시점 카메라 파라미터 정보 기록 단계는,
    상기 ISO 기반의 미디어 파일 포맷이 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 상기 다시점 카메라 파라미터 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 방법.
  20. 3차원 영상을 위한 다시점 카메라 파라미터 전송 장치에 있어서,
    상기 3차원 영상의 소정 데이터 구간에 대한 제 1 시점 카메라 및 제 2 시점 카메라의 좌표계를 설정하는 다시점 카메라 좌표계 설정부;
    상기 설정된 좌표계를 이용하여, 상기 소정 데이터 구간에 대한 평행 이동 매트릭스 및 회전 매트릭스 중 적어도 하나를 포함하는 매트릭스 정보를 결정하는 매트릭스 정보 결정부; 및
    상기 결정된 매트릭스 정보를 이용하여 상기 소정 데이터 구간에 대한 다시 점 카메라 파라미터 정보를 설정하는 다시점 카메라 파라미터 정보 설정부를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 장치.
  21. 제 19 항에 있어서,
    상기 다시점 카메라 파라미터 정보 설정부는, 상기 소정 데이터 구간에 대한 카메라 초점 거리 및 부가 파라미터 정보 중 적어도 하나를 결정하고,
    상기 부가 파라미터 정보는, 상기 소정 데이터 구간에 대한 화상의 가로세로비, 각각의 카메라의 중점 중 적어도 하나를 포함하고,
    상기 부가 파라미터 정보는 상기 부가 파라미터 정보의 중요도에 따라 전송하는 부가 파라미터 정보의 양이 결정되고, 상기 부가 파라미터 정보의 중요도는 네 레벨로써,
    제 1 레벨은 상기 부가 파라미터 정보를 전송하지 않는 레벨,
    제 2 레벨은 상기 화상의 가로세로비만 전송하는 레벨,
    제 3 레벨은 상기 화상의 가로세로비 및 상기 제 1 시점 카메라의 중점을 전송하며, 상기 제 2 시점 카메라의 중점은 상기 제 1 시점 카메라의 중점과 동일한 레벨, 및
    제 4 레벨은 상기 화상의 가로세로비, 상기 제 1 시점 카메라의 중점 및 상기 제 2 시점 카메라의 중점을 전송하는 레벨인 것을 특징으로 하는 다시점 카메라 파라미터 전송 장치.
  22. 제 20 항에 있어서,
    상기 매트릭스 정보 결정부는,
    상기 평행 이동 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라 좌표계를 기준으로 상대적으로 표현된 상기 제 2 시점 카메라 좌표계의 원점의 평행 이동 값을 결정하는 평행 이동 매트릭스 정보 결정부; 및
    상기 제 1 시점 카메라 및 상기 제 2 시점 카메라의 배열 방식에 따라 상기 회전 매트릭스 정보를 설정할지 여부를 결정하고, 상기 회전 매트릭스에 대한 파라미터로써, 상기 제 1 시점 카메라를 기준으로 하여 상기 제 1 시점 카메라에 상대적인 상기 제 2 시점 카메라의 3개의 회전각 정보; 및
    소정 축에 대해 대칭적인 회전각을 갖는 상기 제 1 시점 카메라 및 상기 제 2 시점 카메라를 위한 1 개의 회전각 정보; 중 하나를 결정하는 회전 매트릭스 정보 결정부를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 장치.
  23. 제 20 항에 있어서,
    상기 3차원 영상 데이터를 입력받는 입력부; 및
    상기 3차원 영상 데이터에 대한 메타 데이터로 상기 설정된 다시점 카메라 파라미터 정보를 기록하는 다시점 카메라 파라미터 정보 기록부를 포함하는 것을 특징으로 하는 다시점 카메라 파라미터 전송 장치.
  24. 제 1 항 내지 제 9 항의 중 어느 한 항의 다시점 카메라 파라미터 수신 방법 을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
  25. 제 13 항 내지 제 19 항의 중 어느 한 항의 다시점 카메라 파라미터 전송 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
KR1020070120975A 2007-10-04 2007-11-26 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치 KR101390811B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/174,174 US8218855B2 (en) 2007-10-04 2008-07-16 Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US13/404,954 US8929643B2 (en) 2007-10-04 2012-02-24 Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US97746607P 2007-10-04 2007-10-04
US60/977,466 2007-10-04

Publications (2)

Publication Number Publication Date
KR20090034694A true KR20090034694A (ko) 2009-04-08
KR101390811B1 KR101390811B1 (ko) 2014-05-26

Family

ID=40760523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070120975A KR101390811B1 (ko) 2007-10-04 2007-11-26 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치

Country Status (1)

Country Link
KR (1) KR101390811B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204491A1 (ko) * 2016-05-26 2017-11-30 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102055777B1 (ko) * 2018-02-27 2019-12-13 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 처리 방법
KR20200061279A (ko) 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690172B1 (ko) * 2005-06-02 2007-03-08 엘지전자 주식회사 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204491A1 (ko) * 2016-05-26 2017-11-30 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10887577B2 (en) 2016-05-26 2021-01-05 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video

Also Published As

Publication number Publication date
KR101390811B1 (ko) 2014-05-26

Similar Documents

Publication Publication Date Title
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US8218855B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
KR101490689B1 (ko) 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US8390674B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US9456196B2 (en) Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service
CN101682794B (zh) 用于处理深度相关信息的方法、装置和系统
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
EP2603902B1 (en) Displaying graphics in multi-view scenes
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
EP2618584A1 (en) Stereoscopic video creation device and stereoscopic video creation method
KR101457893B1 (ko) 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
US8384764B2 (en) Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same
JP2015534745A (ja) 立体画像の生成、送信、及び受信方法、及び関連する装置
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
KR20090034694A (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
KR101396350B1 (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
Schild et al. Integrating stereoscopic video in 3D games
Hussain et al. The effectiveness of 2d-3d converters in rendering natural water phenomena
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치
Kim et al. Implementation of real-time 3D image communication system using stereoscopic imaging and display scheme
Park et al. Multi-view stereoscopic 3D image communication system for web-based reality teleconferencing application

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee