KR101490689B1 - 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치 - Google Patents

카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치 Download PDF

Info

Publication number
KR101490689B1
KR101490689B1 KR20080071897A KR20080071897A KR101490689B1 KR 101490689 B1 KR101490689 B1 KR 101490689B1 KR 20080071897 A KR20080071897 A KR 20080071897A KR 20080071897 A KR20080071897 A KR 20080071897A KR 101490689 B1 KR101490689 B1 KR 101490689B1
Authority
KR
South Korea
Prior art keywords
parameter
focal length
camera
stereoscopic image
focal
Prior art date
Application number
KR20080071897A
Other languages
English (en)
Other versions
KR20090123743A (ko
Inventor
김용태
이건일
김대식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/392,613 priority Critical patent/US9179124B2/en
Priority to MX2010012948A priority patent/MX2010012948A/es
Priority to PCT/KR2009/001549 priority patent/WO2009145426A1/en
Priority to JP2011511493A priority patent/JP5519647B2/ja
Priority to CN2009801193329A priority patent/CN102047668B/zh
Priority to EP09754891A priority patent/EP2286596A1/en
Priority to BRPI0912178A priority patent/BRPI0912178A2/pt
Publication of KR20090123743A publication Critical patent/KR20090123743A/ko
Application granted granted Critical
Publication of KR101490689B1 publication Critical patent/KR101490689B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

본 발명은 스테레오스코픽 영상의 부호화 및 복호화에 관한 것이다.
본 발명의 일 실시예에 따라 스테레오스코픽 영상을 복원하는 방법은, 수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 상기 스테레오스코픽 영상에 대한 정보를 파싱하고, 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터를 추출하여, 스테레오스코픽 영상의 데이터를 복호화하여 복원하고, 스테레오스코픽 영상의 데이터를 카메라 파라미터를 이용하여 재생함으로써 보다 정확한 스테레오스코픽 영상을 복원하여 재생할 수 있다.
스테레오스코픽 영상, 스테레오 카메라, 초점 거리, 주점

Description

카메라 파라미터를 이용한 스테레오스코픽 영상 데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상 복원 방법 및 그 장치{Method and apparatus for generating a stereoscopic image datastream using a camera parameter, and method and apparatus for reconstructing a stereoscopic image using the same}
본 발명은 스테레오스코픽 영상의 부호화 및 복호화에 관한 것이다.
최근의 영상 기술에서, 보다 사실적이고 현실감 있는 영상 정보를 표현하기 위해 3차원 영상을 구현하는 방식에 대한 연구가 활발히 진행되고 있다. 3차원 영상 구현 방식 중, 인간 시각 특성을 활용하여, 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 할당되는 위치에 주사한 후, 좌시점과 우시점을 시청자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다. 이러한 3차원 영상 구현 방식의 일례인 배리어 LDC(Barrier LCD)를 장착한 휴대 단말기에서는 스테레오스코픽 컨텐츠를 재생하여 사용자에게 좀 더 실감나는 영상을 제공할 수 있게 되었다.
본 발명은 스테레오스코픽 영상의 부호화 및 복호화에 관한 것이다.
본 발명이 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법은, 스테레오스코픽 영상 데이터를 부호화하는 단계; 상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하여 카메라 파라미터를 결정하는 단계; 및 상기 부호화된 영상 데이터 및 카메라 파라미터를 데이터스트림에 삽입하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 적어도 하나의 카메라 중 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리 파라미터를 별개로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 적어도 하나의 카메라 중 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 동일하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라 미터 중 하나를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 상이하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 카메라의 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 결정하는 단계; 및 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 어느 하나를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하여 상기 초점 거리에 대한 정보를 설정하는지 여부를 나타내는 초점 거리 종횡비 이용 파라미터를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용한다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하지 않는다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 '1'로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점(principal point)을 나타내는 제 1 주점 파라미터, 및 상기 스테레오스코픽 영상 중 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 주점의 x 좌표 성분 및 y 좌표 성분 별로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 스테레오스코픽 영상의 주점에 대한 정보를 설정하 는지 여부를 나타내는 주점 정보 설정 파라미터를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보를 설정한다면, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터 및 상기 스테레오스코픽 영상 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 결정하는 단계를 더 포함하고, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 x 좌표 성분 및 y 좌표 성분 별로 결정될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보를 설정하지 않는다면, 상기 적어도 하나의 카메라 중 소정 시점의 카메라에 의해 촬영된 영역의 중점과 상기 소정 시점의 영상의 주점이 일치하는 것으로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메라 파라미터 결정 단계는, 상기 카메라의 회전각 중, x축 기준의 회전각을 나타내는 x축 회전각 파라미터, y축 기준의 회전각을 나타내는 y축 회전각 파라미터 및 z축 기준의 회전각을 나타내는 z축 회전각 파라미터를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 카메 라 파라미터 결정 단계는, 상기 x축 기준의 회전각, y축 기준의 회전각 및 z축 기준의 회전각을 3x3 행렬 또는 크기 9의 배열로 표현할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 상기 데이터스트림 삽입 단계는, 상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에, 상기 카메라 파라미터를 삽입하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 방법은, 수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 상기 스테레오스코픽 영상에 대한 정보를 파싱하는 단계; 상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터를 추출하는 단계; 및 상기 스테레오스코픽 영상의 데이터를 복호화하여 복원하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 복원 단계는, 상기 스테레오스코픽 영상의 데이터를 상기 카메라 파라미터를 이용하여 재생하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 적어도 하나의 카메라 중에서, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리 파라미터를 별개로 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 적어도 하나의 카메라 중, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 동일하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터 중 하나를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 상이하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 카메라의 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 추출하는 단계; 및 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 어느 하나를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하여 상기 초점 거리에 대한 정보가 설정되었는지 여부를 나타내는 초점 거리 종횡비 이용 파라미터를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율이 이용되었다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율이 이용되지 않았다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 '1'로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터, 및 상기 스테레오스코픽 영상 중 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 추출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터를 주점의 x 좌표 성분 및 y 좌표 성분 별로 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 스테레오스코픽 영상의 주점에 대한 정보가 설정되었는지 여부를 나타내는 주점 정보 설정 파라미터를 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보가 설정되었다면, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터 및 상기 스테레오스코픽 영상 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 추출하는 단계를 더 포함하고, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 x 좌표 성분 및 y 좌표 성분 별로 추출될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보가 설정되지 않았다면, 상기 적어도 하나의 카메라 중 소정 시점의 카메라에 의해 촬 영된 영역의 중점과 상기 소정 시점의 영상의 주점이 일치하는 것으로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 카메라의 회전각 중, x축 기준의 회전각을 나타내는 x축 회전각 파라미터, y축 기준의 회전각을 나타내는 y축 회전각 파라미터 및 z축 기준의 회전각을 나타내는 z축 회전각 파라미터를 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 카메라 파라미터 추출 단계는, 상기 x축 기준의 회전각, y축 기준의 회전각 및 z축 기준의 회전각을 3x3 행렬 또는 크기 9의 배열로 표현된 회전각 파라미터를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 방법의 상기 파싱 단계는, 상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터, 상기 카메라 파라미터를 추출하는 단계; 및 상기 mdat 박스로부터 상기 스테레오스코픽 영상의 데이터를 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서, 상기 스테레오스코픽 영상 데이터스트림 생성 방법은, 스테레오스코픽 영상 데이터를 부 호화하는 단계; 상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하여 카메라 파라미터를 결정하는 단계; 및 상기 부호화된 영상 데이터 및 카메라 파라미터를 데이터스트림에 삽입하는 단계를 포함한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서, 상기 스테레오스코픽 영상 복원 방법은, 수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 상기 스테레오스코픽 영상에 대한 정보를 파싱하는 단계; 상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터를 추출하는 단계; 및 상기 스테레오스코픽 영상의 데이터를 복호화하여 복원하는 단계를 포함한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치는, 스테레오스코픽 영상 데이터를 부호화하는 영상 데이터 부호화부; 상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하여 카메라 파라미터를 결정하는 카메라 파라미터 결정부; 및 상기 부호화된 영상 데이터 및 카메라 파라미터를 데이터스트림에 삽입하는 데이터스트림 삽입부를 포함한다
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리를 결정하는 초점 거리 파라미터 결정부를 포함하고, 상기 초점 거리 파라미터 결정부는, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리 파라미터를 별개로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 상기 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 결정하는 초점 거리 불일치 파라미터 결정부를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 초점 거리 파라미터 결정부는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 동일하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터 중 하나를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 초점 거리 파라미터 결정부는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 상이하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거 리를 결정하는 초점 거리 파라미터 결정부를 포함하고, 상기 초점 거리 파라미터 결정부는, 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 카메라의 초점 거리를 결정하는 초점 거리 파라미터 결정부; 및 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 결정하는 초점 거리 종횡비 파라미터 결정부를 포함하고, 상기 초점 거리 파라미터 결정부는, 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 어느 하나를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하여 상기 초점 거리에 대한 정보를 설정하는지 여부를 나타내는 초점 거리 종횡비 이용 파라미터를 결정하는 초점 거리 종횡비 이용 파라미터 결정부를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 초점 거리 종횡비 파라미터 결정부는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용한다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 초점 거리 종횡비 파라미터 결정부는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하지 않는다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 '1'로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 스테레오스코픽 영상의 주점에 대한 정보를 결정하는 주점 파라미터 결정부를 포함하고, 상기 주점 파라미터 결정부는, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점(principal point)을 나타내는 제 1 주점 파라미터, 및 상기 스테레오스코픽 영상 중 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 주점 파라미터 결정부는, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 주점의 x 좌표 성분 및 y 좌표 성분 별로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 스테레오스코픽 영상의 주점에 대한 정보를 설정하는지 여부를 나타내는 주점 정보 설정 파라미터를 결정하는 주점 정보 설정 파라미터 결정부를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 주점 정보 설정 파라미터에 기초하여, 상기 스테레오 스코픽 영상의 주점에 대한 정보를 결정하는 주점 파라미터 결정부를 포함하고, 상기 주점 파라미터 결정부는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보를 설정한다면, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터 및 상기 스테레오스코픽 영상 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 결정하고, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 x 좌표 성분 및 y 좌표 성분 별로 결정될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 카메라 파라미터 결정부는, 상기 주점 정보 설정 파라미터에 기초하여, 상기 스테레오스코픽 영상의 주점에 대한 정보를 결정하는 주점 파라미터 결정부를 포함하고, 상기 주점 파라미터 결정부는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보를 설정하지 않는다면, 상기 적어도 하나의 카메라 중 소정 시점의 카메라에 의해 촬영된 영역의 중점과 상기 소정 시점의 영상의 주점이 일치하는 것으로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 제 1 항에 있어서, 상기 카메라 파라미터 결정부는, 상기 카메라의 회전각에 대한 정보를 결정하는 회전각 파라미터 결정부를 포함하고, 상기 회전각 파라미터 결정부는, x축 기준의 회전각을 나타내는 x축 회전각 파라미터, y축 기준의 회전각을 나타내는 y축 회전각 파라미터 및 z축 기준의 회전각을 나타내는 z축 회전각 파라미터를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 회전 각 파라미터 결정부는, 상기 x축 기준의 회전각, y축 기준의 회전각 및 z축 기준의 회전각을 3x3 행렬 또는 크기 9의 배열로 표현할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 상기 데이터스트림 삽입부는, 상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에, 상기 카메라 파라미터를 삽입할 수 있다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 장치는, 수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 상기 스테레오스코픽 영상에 대한 정보를 파싱하는 파싱부; 상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터를 추출하는 카메라 파라미터 추출부; 및 상기 스테레오스코픽 영상의 데이터를 복호화하여 복원하는 영상 데이터 복호화부를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 스테레오스코픽 영상 복원 장치는, 상기 복원된 스테레오스코픽 영상을 상기 카메라 파라미터를 이용하여 재생하는 재생부를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리에 대한 정 보를 추출하는 초점 거리 파라미터 추출부를 포함하고, 상기 초첨 거리 파라미터 추출부는, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리 파라미터를 별개로 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 적어도 하나의 카메라 중에서, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 추출하는 초점 거리 불일치 파라미터 추출부를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리에 대한 정보를 추출하는 초점 거리 파라미터 추출부를 더 포함하고, 상기 초점 거리 파라미터 추출부는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 동일하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터 중 하나를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리에 대한 정보를 추출하는 초점 거리 파라미터 추출부를 더 포함하고, 상기 초점 거리 파라미터 추출부는, 상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 상이하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 제 19 항에 있어서, 상기 카메라 파라미터 추출부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리에 대한 정보를 추출하는 초점 거리 파라미터 추출부를 포함하고, 상기 초점 거리 파라미터 추출부는, 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리에 대한 정보를 추출하는 초점 거리 파라미터 추출부; 및 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 추출하는 초점 거리 종횡비 파라미터 추출부를 포함하고, 상기 초점 거리 파라미터 추출부는, 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 어느 하나를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하여 상기 초점 거리에 대한 정보가 설정되었는지 여부를 나타내는 초점 거리 종횡비 이용 파라미터를 추출하는 초점 거리 종횡비 이용 파라미터 추출부를 더 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 초점 거리 종횡비 파라미터 추출부는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율이 이용되었다면, 상기 초점 거리 종횡비 파라미터를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 초점 거리 종횡비 파라미터 추출부는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율이 이용되지 않았다면, 상기 초점 거리 종횡비를 '1'로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 스테레오스코픽 영상 중 소정 시점 영상의 주점에 대한 정보를 추출하는 주점 파라미터 추출부를 포함하고, 상기 주점 파라미터 추출부는, 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터, 및 상기 스테레오스코픽 영상 중 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 주점 파라미터 추출부는, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터를 주점의 x 좌표 성분 및 y 좌표 성분 별로 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 스테레오스코픽 영상의 주점에 대한 정보가 설정되었는지 여부를 나타내는 주점 정보 설정 파라미터를 추출하는 주점 정보 설정 파라미터 추출부를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 스테레오스코픽 영상 중 소정 시점 영상의 주점에 대한 정보를 추출하는 주점 파라미터 추출부를 더 포함하고, 상기 주점 파라미터 추출부는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보가 설정되었다면, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터 및 상기 스테레오스코픽 영상 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 추출하고, 상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 x 좌표 성분 및 y 좌표 성분 별로 추출될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 스테레오스코픽 영상 중 소정 시점 영상의 주점에 대한 정보를 추출하는 주점 파라미터 추출부를 더 포함하고, 상기 주점 파라미터 추출부는, 상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보가 설정되지 않았다면, 상기 적어도 하나의 카메라 중 소정 시점의 카메라에 의해 촬영된 영역의 중점과 상기 소정 시점의 영상의 주점이 일치하는 것으로 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 카메라 파라미터 추출부는, 상기 카메라의 회전각에 대한 정보를 추출하는 회전각 파라미터 추출부를 포함하고, 상기 회전각 파라미터 추출부는, x축 기준의 회전각을 나타내는 x축 회전각 파라미터, y축 기준의 회전각을 나타내는 y축 회전각 파라미터 및 z축 기준의 회전각을 나타내는 z축 회전각 파라미터를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 회전각 파라미터 추출부는, 상기 x축 기준의 회전각, y축 기준의 회전각 및 z축 기준의 회전각을 3x3 행렬 또는 크기 9의 배열로 표현된 회전각 파라미터를 추출할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 복원 장치의 상기 파싱부는, 상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터, 상기 카메라 파라미터를 추출하고, 상기 mdat 박스로부터 상기 스테레오스코픽 영상의 데이터를 추출할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)는 영상 데이터 부호화부(110), 카메라 파라미터 결정부(120) 및 데이터스크림 삽입부(130)를 포함한다.
영상 데이터 부호화부(110)는 부호화하고자 하는 스테레오스코픽 영상의 영상 데이터를 부호화하고, 부호화된 영상 데이터는 데이터스크림 삽입부(130)로 출력한다. 스테레오스코픽 영상은 제 1 시점 영상 및 제 2 시점 영상이 각각 부호화될 수도 있으며, 제 1 시점 영상 및 제 2 시점 영상이 혼합된 영상이 부호화될 수 있다. 또한, 다시점 영상 또는 단일 시점 영상이 부호화되기 위해 영상 데이터 부호화부(110)로 입력될 수 있다.
카메라 파라미터 결정부(120)는, 부호화하고자 하는 스테레오스코픽 영상에 대한 카메라 파라미터를 결정하고, 데이터스트림 삽입부(130)로 출력한다. 스테레오스코픽 영상을 획득하기 위해 다수의 카메라가 필요하며, 각각의 카메라 별로 시점이 다르다. 각각의 시점별로 카메라 정보는 달라질 수 있으므로, 각각이 시점별 카메라 파라미터가 별개로 설정될 필요가 있다.
일 실시예에 따라는 카메라 파라미터 결정부(120)는 각각의 카메라에 대한 초점 거리, 주점(principal point, main point), 회전각/평행이동 등을 나타내는 정보를 카메라 파라미터로써 결정할 수 있다. 도 1에 도시되지는 않았지만, 카메라 파라미터 결정부(120)는 초점 거리 파라미터 결정부, 주점 파라미터 결정부, 회전각 파라미터 결정부를 포함할 수 있다.
초점 거리 파라미터 결정부는 적어도 하나의 카메라 중 소정 시점 카메라의 초점 거리에 대한 정보(이하, '초점 거리 파라미터')를 결정한다.
카메라 파라미터 결정부(120)는 제 1 시점 카메라의 초점 거리 및 제 2 시점 카메라의 초점 거리가 상이한지 여부를 나타내는 정보(이하, '초점 거리 불일치 파라미터'라 한다.)를 결정하기 위해 초점 거리 불일치 파라미터 결정부를 포함할 수 있다.
카메라 파라미터 결정부(120)는 초점 거리의 수직, 수평 거리의 비율(이하, '초점 거리 종횡비')을 이용하여 초점 거리를 결정하기 위해 초점 거리 종횡비 파 라미터 결정부를 포함할 수 있다.
또한, 카메라 파라미터 결정부(120)는 초점 거리 종횡비를 이용하는지 여부를 나타내는 정보(이하, '초점 거리 종횡비 이용 파라미터')를 결정하기 위해 초점 거리 종횡비 이용 파라미터 결정부를 포함할 수 있다.
주점 파라미터 결정부는 스테레오스코픽 영상의 주점에 대한 정보(이하, '주점 파라미터')를 결정한다. 카메라 파라미터 결정부(120)는 주점 정보를 설정하는지 여부를 나타내는 정보(이하, '주점 정보 설정 파라미터')를 결정하기 위해 주점 정보 설정 파라미터 결정부를 포함할 수 있다.
회전각 파라미터 결정부는, 적어도 하나의 시점 카메라 중 소정 시점 카메라의 회전 각도에 대한 정보(이하, '회전각 파라미터')를 결정한다.
데이터스트림 삽입부(130)는 영상 데이터 부호화부(110)로부터 입력받은 부호화된 영상 데이터 및 카메라 파라미터 결정부(120)로부터 입력받은 카메라 파라미터를 데이터스트림에 삽입함으로써 스테레오스코픽 영상 데이터스트림을 생성한다.
부호화된 영상 데이터와 카메라 파라미터는 각각 스테레오스코픽 영상 데이터스트림 상의 적합한 위치에 삽입된다. 도 8 및 9 를 참고하여 일 실시예에 따라 영상 데이터 및 카메라 파라미터가 삽입되는 스테레오스코픽 영상 데이터스트림의 구조가 후술된다.
도 2 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)는 파싱부(210), 카메라 파라미터 추출부(220), 영상 데이터 복호화부(230) 및 재생부(240)를 포함한다.
파싱부(210)는, 수신된 스테레오스코픽 영상 데이터스트림를 파싱하여, 스테레오스코픽 영상의 데이터 및 스테레오스코픽 영상에 대한 정보를 분리한다. 파싱부(210)는 스테레오스코픽 영상 데이터를 영상 데이터 복호화부(230)로 출력하고, 카메라 파라미터를 카메라 파라미터 추출부(220)로 출력한다.
카메라 파라미터 추출부(220)는, 파싱부(210)로부터 입력받은 영상 정보로부터 카메라 파라미터를 추출한다. 스테레오스코픽 영상에 대한 카메라 파라미터는 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초한다. 추출된 카메라 파라미터는 재생부(240)로 출력될 수 있다.
일 실시예에 따라는 카메라 파라미터 추출부(220)는 각각의 카메라에 대한 초점 거리, 주점, 회전각/평행이동 등을 나타내는 정보를 카메라 파라미터로써 추출할 수 있다. 도 2 에 도시되지는 않았지만, 카메라 파라미터 추출부(220)는 초점 거리 파라미터 추출부, 주점 파라미터 추출부, 회전각 파라미터 추출부를 포함할 수 있다.
초점 거리 파라미터 추출부는 초점 거리 파라미터를 추출한다.
카메라 파라미터 추출부(220)는 초점 거리 불일치 파라미터 추출부를 포함할 수 있다. 초점 거리 불일치 파라미터 추출부에 의해 추출된 초점 거리 불일치 파라미터에 기초하여, 카메라 파라미터 추출부(220)는 각각의 시점 카메라의 초점 거리 가 일치하는지 여부를 고려하여, 각각의 초점 거리들을 모두 추출하는지 결정할 수 있다.
카메라 파라미터 추출부(220)는 초점 거리 종횡비 파라미터 추출부를 포함할 수 있다. 초점 거리 종횡비 파라미터 추출부에 의해 추출된 초점 거리 종횡비 파라미터에 기초하여, 카메라 파라미터 추출부(220)는 수직 또는 수평 방향 중 한 방향의 초점 거리만을 추출하여도 되는지 판단할 수 있다.
또한, 카메라 파라미터 추출부(220)는 초점 거리 종횡비 이용 파라미터 추출부를 포함할 수 잇다. 초점 거리 종횡비 이용 파라미터에 기초하여, 초점 거리 종횡비 파라미터 추출부는 초점 거리 종횡비 파라미터를 추출할지 여부를 결정할 수 있다.
주점 파라미터 추출부는 주점 파라미터를 추출한다. 카메라 파라미터 추출부(220)는 주점 설정 파라미터 추출부를 포함할 수 있다. 주점 설정 파라미터에 기초하여, 카메라 파라미터 주점 파라미터 추출부는 주점 파라미터를 추출할지 여부를 결정할 수 있다.
회전각 파라미터 추출부는 적어도 한 시점 카메라의 회전각 파라미터를 추출한다.
영상 데이터 복호화부(230)는, 스테레오스코픽 영상의 데이터를 복호화하여 복원하고 재생부(240)로 출력한다. 스테레오스코픽 영상은 부호화시 채용된 압축 기술을 이용하여 복호화한다.
재생부(240)는 복원된 스테레오스코픽 영상을 카메라 파라미터를 이용하여 재생한다. 재생부(240)는 카메라 파라미터를 이용하여 카메라 시점 사이의 관계를 고려하며 스테레오스코픽 영상을 재생하므로 보다 정확하게 재생할 수 있다.
본 발명의 일 실시예에서 이용되는 카메라 파라미터는 초점 거리 파라미터, 초점 거리 종횡비 파라미터, 주점 파라미터, 회전각 파라미터, 평행 이동 파라미터 중 적어도 하나를 포함한다. 여기서 초점 거리 파라미터, 초점 거리 종횡비 파라미터, 주점 파라미터는 카메라 하나에 대한 파라미터로써 카메라 내부 파라미터로 명명되고, 회전각 파라미터, 평행 이동 파라미터는 다수의 카메라의 관계에 대한 파라미터로써 카메라 외부 파라미터로 명명된다.
카메라 파라미터는 에피폴라 라인 컨스트레인 기법(Epipolar line constraint), 렉티피케이션 기법(Rectification) 등 다양한 프로세스에 적용되어, 3차원 영상의 화질이 개선될 수 있다.
카메라 파라미터들의 구체적인 사용례는 이하 도 10 내지 18 을 참고하여 후술된다. 상세하게는, 초점 거리 파라미터(도 10 내지 15), 초점 거리 불일치 파라미터(도 11), 초점 거리 종횡비 파라미터(도 14 및 15), 초점 거리 종횡비 이용 파라미터(도 15), 주점 파라미터(도 16 및 17), 주점 정보 설정 파라미터(도 17), 회전각 파라미터(도 18)의 사용례가 각각의 도면들을 참고하여 상술된다.
도 3 은 월드 좌표계와 카메라 좌표계의 관계를 도시한다.
월드 좌표계(world coordinate, 300)와 카메라 좌표계(camera coordinate, 350)와의 관계에 있어서, 월드 좌표계(300)와 카메라 좌표계(350)의 거리는 t(305), 월드 좌표계(300)와 카메라 좌표계(350)의 회전각 R(355)는 X, Y, Z축의 회전 각도로 정의될 수 있다.
t(305)는 월드 좌표계(300)의 원점과 카메라 좌표계(350)의 원점 사이의 거리로 볼 수 있다.
회전각 R(355)는, 월드 좌표계(300)의 X축, XW(310)를기준으로 하는 카메라 좌표계(350)의 X축, XC(360)의 회전 각도, 월드 좌표계(300)의 Y축, YW(320)를 기준으로 하는 카메라 좌표계(350)의 Y축, YC(370)의 회전 각도, 월드 좌표계(300)의 Z축, ZW(330)를 기준으로 하는 카메라 좌표계(350)의 Z축, ZC(380)에 의해 결정될 수 있다. 회전각 R(355)는 3x3 행렬일 수 있다.
월드 좌표계(300) 상의 좌표(MW)와 카메라 좌표계(350) 상의 좌표(MC) 간의 대응 관계는 수학식 1에 의해 정의된다.
MC = R-1MW - R-1t
임의의 좌표(302)는 월드 좌표계(300)에 대해서 PW(340)일 때 수학식 1에 의해 카메라 좌표계(350)에 대해서 PC(390)로 매칭된다.
도 4 는 카메라 좌표계 상의 좌표와 이에 대응하는 영상 상의 좌표의 관계를 도시한다.
카메라 좌표계(400)와 카메라 좌표계(400)의 ZC축에 대해 수직으로 (XC-YC 평 면에 평행하게) 배치된 영상(420)을 이용하여 둘의 관계를 살펴본다. 카메라 좌표계(400) 상의 임의의 좌표 (X, Y, Z)(410)는 영상(420) 상의 점 (x, y, f)(430)에 대응된다.
두 좌표 (X, Y, Z)(410) 및 (x, y, f)(430)의 관계는 비례식(450)과 그로부터 유도된 관계식(460)으로 설명될 수 있다. 이를 간소화하면 수학식 2와 같다.
s·m = A·MC
여기서 s 는 종횡비(aspect ratio), m은 영상 상의 좌표, A는 카메라 내부 파라미터, MC는 카메라 좌표계 상의 좌표를 나타낸다. 종횡비 s는 s=(sx, sy)로, 카메라 내부 파라미터 매트릭스 A는 A=[-f/sx, 0, 0; 0, -f/sy, 0; 0, 0, 1]로 표현될 수 있다.
s·m = A·(R-1MW - R-1t)
수학식 3에 의해 월드 좌표계 상의 좌표와 영상 상의 좌표의 관계가 표현된다.
주점(principal point, main point)는 영상과 광축의 교차점이다. 카메라에 의해 촬영된 영역이 영상으로 정확히 대응되어 카메라의 촬영 영역의 중점과 영상의 중점이 정확히 일치하는 것이 바람직하지만 일치하지 않는 경우가 있을 수 있다. 또한, 카메라에 의해 촬영된 영역의 중점과 영상의 주점이 일치하는 것이 바람직하지만 일치하지 않는 경우가 발생할 수 있다.
도 5 는 촬영 영상 좌표와 재생 영상 상의 좌표의 관계를 도시한다.
카메라로 촬영된 영상(510)과 재생 화면(500)을 대응할 때, 촬영 영상(510)의 원점(530)은 재생 화면(500)의 원점 (ox, oy)(560)에, 촬영 영상(510)의 임의의 좌표 (x, y)(540)은 재생 화면(500)의 좌표 (xim, yim)(570)에 대응된다.
카메라의 하드웨어 특성 상 단위 가로 크기 sx(520), 단위 세로 크기 sy(530)라고 하면, 좌표 (x, y)(540)와 좌표 (xim, yim)(570)의 관계는 수학식(505)에 의해 정의될 수 있다. y 성분에 대하여, 수학식(505)에 관계식(460)을 대입하면, 관계식(555)이 유도된다. 관계식(555)는 재생 화면과 카메라 좌표계의 관계를 표현한다.
도 6 은 스테레오스코픽 카메라의 평행이동 정보 및 회전각 정보를 도시한다.
스테레오스코픽 카메라의 제 1 시점 카메라 좌표계와 제 2 시점 카메라 좌표계의 관계는 두 좌표계 사이의 평행 이동 및 회전각 관계로 표현된다. 일 실시예에 따른 제 1 시점 카메라 좌표계 및 제 2 시점 카메라 좌표계는 x축을 동일선 상에 배치하고, 제 1 시점 카메라 좌표계를 월드 좌표계와 동일시한다는 가정 하에 이하 제 1 시점 카메라 좌표계와 제 2 시점 카메라 좌표계의 관계를 설명한다.
평행 이동 정보는 제 1 시점 카메라 좌표계를 기준으로 제 2 시점 카메라 좌 표계의 거리를 표현하므로, 제 1 시점 카메라의 평행 이동 매트릭스는 (0, 0, 0)이고, 제 2 시점 카메라의 평행 이동 매트릭스는 t=(tx, ty, tz)으로 표현된다. 따라서, 평행 이동 정보는 제 2 시점 카메라 좌표계의 평행 이동 매트릭스만으로 표현될 수 있다.
제 1 시점 카메라 좌표계를 월드 좌표계로 간주하여 제 2 시점 카메라 좌표계의 회전 각도를 표현하므로, 제 1 시점 카메라의 회전각 매트릭스는 I=[1,0, 0; 0, 1, 0; 0, 0, 1]이고, 제 2 시점 카메라의 회전각 매트릭스는 R=f(a, b, c)으로 표현된다. 따라서, 회전 정보는 제 2 시점 카메라 좌표계의 회전각 매트릭스만으로 표현될 수 있다.
일반적으로 회전 정보는 3x3 행렬 구조이지만 x, y, z축에 대한 각도로 표현할 수도 있다. 즉, 회전 정보는 R = R(φx, φy, φz) = R(φx)·R(φy)·R(φz)로 표현될 수 있다.
도 7 은 제 1 시점 카메라 좌표계와 제 2 시점 카메라 좌표계의 관계를 도시한다.
제 1 시점 카메라 좌표계(700)와 제 2 시점 카메라 좌표계의 관계(750)는, 두 좌표계의 평행 이동 정보 및 회전 정보로 표현된다.
즉, 제 1 시점 카메라 좌표계(700)의 원점과 제 2 시점 카메라 좌표계(750)의 원점이 t(710)만큼 평행 이동 되어 배치되어 있으므로, 평행 이동 정보는 t=(tx, ty, tz)로 표현된다. 또한, 제 1 시점 카메라 좌표계(700)에 대한 제 2 시점 카메라 좌표계(750)의 회전 각도 R(760)이므로, 회전 정보는 R=f(a, b, c)로 표현된다.
따라서, 임의의 좌표(720)가 제 1 시점 카메라 좌표계(700)에 대해서는 점 P1(730)에 위치하지만, 제 2 시점 카메라 좌표계(750)에 대해서는 점 P2(740)에 위치한다. P1(730) 및 P2(740)는 회전 정보 R 및 평행 이동 정보 t로 정의될 수도 있다.
도 8 은 ISO 기반의 미디어 파일 포맷에 따르는 파일 포맷의 구조를 도시한다.
국제 표준화 기구(International Standardization Ogranization, 이하 'ISO'라 한다.) 기반의 미디어 파일 포맷(800)은 moov 박스(810) 및 mdat 박스(850)를 포함한다.
moov 박스(810)에는 영상 및 음성 정보에 대한 기본적인 헤더 정보가 삽입된다. moov 박스(810)는 trak 박스(820, 825) 등 다양한 박스를 포함한다. trak 박스(820, 825)는 mdat 박스 내의 영상 및 음성 정보의 저장 위치 등에 대한 정보를 포함한다. mdat 박스(850)는 실제 영상 및 음성 데이터들이 기초 스트림(elementary stream, 이하 'ES'라 한다.) 형태로 포함되어 있다. ISO 기반의 미디어 파일 포맷(800)은 엠펙-4(Moving Picture Experts Group-4, 이하 'MPEG-4'라 한다.), AVC/H.264(Advanced Video Coding/H.264) 방식에 널리 사용되는 영상 및 음성 데이터 포맷이다.
도 9 는 ISO 기반의 미디어 파일 포맷에 따르는 파일 구조를 구성하는 박스 리스트를 도시한다.
ISO 기반의 미디어 파일 포맷에 따르는 파일 구조를 구성하는 박스 리스트(900)는 계층적 구조를 갖는다. 가장 상위에 ftyp 박스(910), moov 박스(920), mdat 박스(930), meta 박스(940), 기타 박스들(950)가 위치한다.
ftyp 박스(910)는, 파일 타입과 호환성에 대한 정보를 포함한다. 스테레오스코픽 영상 데이터에 대한 파일 포맷임을 나타내기 위해 'major_brand'는 'ssav'로 설정된다.
moov 박스(920)는, 타임드 리소스(timed resource)의 모든 메타데이터를 위한 공간이다. moov 박스(920) 이하의 trak 박스(960)는 메인 AV 데이터 또는 부가 데이터를 식별하는 개별적인 트랙 또는 스트림을 위한 공간이다. trak 박스(960) 이하의 mdia 박스(962)는 트랙 내의 모든 미디어 정보를 위한 공간이다.
mdat 박스(930)는, 실제 미디어 데이터의 공간이다.
meta 박스(940)는 메타데이터를 위한 공간이다. 본 발명의 일 실시예는, meta 박스(940)의 하위 레벨에 scdi 박스(980)를 삽입하고, scdi 박스(980)에 스테레오스코픽 카메라 정보 및 시차 정보를 삽입한다.
본 발명의 다른 실시예는, 스테레오스코픽 카메라 정보를 삽입하기 위한 공간으로 가장 상위 박스(950), moov 박스(920) 이하의 박스(970), trak 박스(960) 이하의 박스(966), mdia 박스(962) 이하의 박스(964) 및 meta 박스(940) 이하의 임의의 박스(990) 중 적어도 하나를 선택할 수 있다.
도 10 는 스테레오스코픽 영상에 대한 여러 파라미터를 구현하기 위한 신택 스를 도시한다.
본 발명의 일 실시예는, 스테레오스코픽 카메라 정보 및 시차 정보를 구현하기 위한 신택스(1000)에, 스테레오스코픽 영상의 각각의 시점 영상 사이의 시차 정보를 나타내는 파라미터(1020) 및 스테레오스코픽 영상를 촬영한 카메라에 대한 정보를 나타내는 파라미터(1040)를 추가한다. 본 발명의 일 실시예에 따르는 카메라 파라미터를 구현하기 위해 scdi 박스(980)를 정의하는 신택스(1000)는 하기의 파라미터들을 포함할 수 있다.
'item_count' 파라미터는 스테레오스코픽 데이터의 구간 데이터를 나타내는 아이템의 번호를 나타낸다. 다수의 구간 데이터들이 동일한 카메라/시차 정보를 갖는다면, 'item_count' 파라미터는 '1'로 설정될 수 있다.
'item_ID' 파라미터는 스테레오스코픽 구간 데이터를 위한 iloc 박스 내에 기록된 아이템 식별 정보를 나타낸다. iloc 박스에는 아이템 위치 정보가 삽입된다.
'is_item_ID_ref' 파라미터는 현재 아이템이 다른 아이템의 파라미터를 사용하는지 여부를 나타낸다. 'ref_item_ID' 파라미터는 참조 아이템의 'item_ID' 파라미터를 나타낸다. 아이템의 sdci 박스 내의 카메라/시점 정보가 사용 가능한 아이템이 참조되어야 한다.
'is_display_safety_info' 파라미터는 시차 정보가 삽입되는지 여부를 나타낸다. 'expected_display_width' 파라미터 및 'expected_display_height' 파라미터는 각각 예상되는 디스플레이 폭 및 높이를 나타낸다. 'expected_viewing_distance' 파라미터는 예상되는 시청 거리를 나타낸다. 디스플레이 폭/높이, 시청 거리는 밀리미터 단위로 정의될 수 있다. 'min_of_disparity' 파라미터 및 'max_of_disparity' 파라미터는 각각 제 1 시점 영상과 제 2 시점 영상 사이의 최소 시차 및 최대 시차를 나타낸다.
'is_cam_params' 파라미터는 카메라 정보가 삽입되는지 여부를 나타낸다. 'baseline' 파라미터는 두 카메라 사이의 거리를 나타낸다. 'focal_length' 파라미터는 광학적 중심(optical center)으로부터 영상 평면까지의 거리를 나타낸다. 'convergence_distance' 파라미터는 두 카메라 사이의 중점으로부터 수렴점까지의 거리를 나타낸다. 'is_camera_cross' 파라미터는 스테레오스코픽 카메라가 평행식 또는 교차식으로 배치되었는지 여부를 나타낸다.
스테레오스코픽 영상 데이터와 함께 스테레오스코픽 영상에 대한 카메라 정보 및 시차 정보가 함께 제공되므로, 복원된 스테레오스코픽 영상을 재생할 때 카메라 정보 및 시차 정보를 이용하면 스테레오스코픽 영상의 입체감이 증대될 수 있으며, 입체감에 의한 시청자의 피로감이 감소될 수 있다.
이하, 본 발명의 다양한 실시예들에 의해, 스테레오스코픽 영상의 카메라/시차 정보를 위한 신택스(1000) 내에 카메라 파라미터의 신택스(1040) 부분에 대체할 수 있는 신택스들이 도 11 내지 18을 참고하여 상술된다.
도 11 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
스테레오스코픽 카메라 정보 신택스(1100)는 'is_differen_focal_length' 파 라미터(1110)를 사용한다. 'is_differen_focal_length' 파라미터(1110)는 전술된 초점 거리 불일치 파라미터로써, 제 1 시점 카메라의 초점 거리(이하, '제 1 초점 거리'라 한다.)와 제 2 시점 카메라의 초점 거리(이하, '제 2 초점 거리'라 한다.)가 상이한지 여부를 나타낸다. 'primary_focal_length' 파라미터(1120)는 제 1 초점 거리를 나타낸다. 즉, 카메라 정보로써 제 1 초점 거리가 사용된다.
if 조건문(1130)에서 'is_differen_focal_length' 파라미터(1110)가 '1'을 만족한다면, 'secondary_focal_length' 파라미터(1140)가 사용된다. 즉, 초점 거리 불일치 파라미터에 의해 제 1, 2 초점 거리가 상이한 것으로 판단된다면, 'secondary_focal_length' 파라미터(1140)가 나타내는 제 2 초점 거리도 사용된다.
if 조건문(1130)에서 'is_differen_focal_length' 파라미터(1110)가 '0'을 만족한다면, 'secondary_focal_length' 파라미터(1140)는 사용되지 않는다. 초점 거리 불일치 파라미터에 의해 제 1, 2 초점 거리가 동일한 것으로 판단되므로, 제 1 초점 거리 하나만으로 제 1 시점 카메라 및 제 2 시점 카메라의 초점 거리를 표현할 수 있다. 도 11에 도시되지는 않았지만, 제 2 초점 거리 하나만으로도 제 1 시점 카메라 및 제 2 시점 카메라의 초점 거리가 표현될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 초점 거리 파라미터 결정부를 포함하고, 초점 거리 파라미터 결정부는 'primary_focal_length' 파라미터(1120)를 결정한다. 또한, 초점 거리 불일치 파라미터 결정부에 의해 결정된 'is_differen_focal_length' 파라미터(1110)에 기초하여, 초점 거리 파라미터 결정부는 'secondary_focal_length' 파라미터(1140)를 결정할지 여부를 결정한다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 초점 거리 파라미터 추출부를 포함하고, 초점 거리 파라미터 추출부는 'primary_focal_length' 파라미터(1120)를 추출한다. 초점 거리 불일치 파라미터 추출부에 의해 추출된 'is_differen_focal_length' 파라미터(1110)에 기초하여, 초점 거리 파라미터 추출부는 'secondary_focal_length' 파라미터(1140)를 추출할지 여부를 결정한다.
도 12 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 다른 예를 도시한다.
스테레오스코픽 카메라 정보 신택스(1200)는 'is_differen_focal_length' 파라미터(1110)를 사용하지 않고, 'primary_focal_length' 파라미터(1220) 및 'secondary_focal_length' 파라미터(1240)를 모두 사용된다. 즉, 제 1 초점 거리 및 제 2 초점 거리가 별개로 사용된다. 제 1 시점과 제 2 시점은 좌측 시점 및 우측 시점일 수 있다.
만약 제 2 시점의 초점 거리 정보가 저장 또는 전송되지 않은 경우 제 1 시점 초점 거리와 제 2 시점 초점 거리가 동일한 것으로 간주된다.
따라서, 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 초점 거리 파라미터 결정부를 포함하고, 초점 거리 파라미터 결정부는 'primary_focal_length' 파라미터(1220) 및 'secondary_focal_length' 파라미터(1240)를 결정한다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 초점 거리 파라미터 추출부를 포함하고, 초점 거리 파라미터 추출부는 'primary_focal_length' 파라미터(1220) 및 'secondary_focal_length' 파라미터(1240)를 추출한다.
도 13 는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
초점 거리는 수평 성분과 수직 성분의 두 파라미터로 표현될 수 있다. 스테레오스코픽 카메라 정보 신택스(1300)는, 'hor_focal_length' 파라미터(1320) 및 'ver_focal_length' 파라미터(1340)를 사용된다. 'hor_focal_length' 파라미터(1320)는 초점 거리의 수평 성분을 나타내며, 'ver_focal_length' 파라미터(1340)는 초점 거리의 수직 성분을 나타낸다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 초점 거리 파라미터 결정부를 포함하고, 초점 거리 파라미터 결정부는 'hor_focal_length' 파라미터(1320) 및 'ver_focal_length' 파라미터(1340)를 결정한다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 초점 거리 파라미터 추출부를 포함하고, 초점 거리 파라미터 추출부는 'hor_focal_length' 파라미터(1320) 및 'ver_focal_length' 파라미터(1340)를 추출한다.
도 14 는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 다른 예를 도시한다.
초점 거리는 초점 거리의 수평 성분과 수직 성분의 비율인 초점 거리 종횡비를 이용하면 수평 성분 및 수직 성분 중 하나만으로도 표현될 수 있다. 스테레오스코픽 카메라 정보 신택스(1400)는, 'hor_focal_length' 파라미터(1420) 및 'aspect_ratio' 파라미터(1440)를 사용된다. 'hor_focal_length' 파라미터(1420)는 초점 거리의 수평 성분을 나타내며, 'aspect_ratio' 파라미터(1440)는 초점 거리의 종횡비를 나타낸다. 다른 실시예에서는 'hor_focal_length' 파라미터(1420) 대신 'ver_focal_length' 파라미터가 사용될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 초점 거리 파라미터 결정부 및 초점 거리 종횡비 결정부를 포함할 수 있다. 초점 거리 파라미터 결정부는 'hor_focal_length' 파라미터(1420)를 결정하고, 초점 거리 종횡비 결정부는 'aspect_ratio' 파라미터(1440)를 결정할 수 있다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 초점 거리 파라미터 추출부 및 초점 거리 종횡비 추출부를 포함할 수 있다. 초점 거리 파라미터 추출부는 'hor_focal_length' 파라미터(1420)를 추출할 수 있고, 초점 거리 종횡비 추출부는 'aspect_ratio' 파라미터(1440)를 추출할 수 있다.
도 15 는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 또 다른 예를 도시한다.
스테레오스코픽 카메라 정보 신택스(1500)는 'is_aspect_ratio' 파라미터(1510)를 사용한다. 'is_aspect_ratio' 파라미터(1510)는 전술된 초점 거리 종횡비 이용 파라미터로써, 초점 거리를 표현하기 위해 초점 거리 종횡비를 이용하는지 여부를 나타낸다. 'hor_focal_length' 파라미터(1520)는 제 1 초점 거리를 나타낸다.
if 조건문(1530)에서 'is_aspect_ratio' 파라미터(1510)가 '1'을 만족한다면, 'aspect_ratio' 파라미터(1540)가 사용된다. 즉, 초점 거리 종횡비가 이용되는 것으로 판단된다면, 초점 거리 파라미터가 선언되어 사용된다.
if 조건문(1530)에서 'is_aspect_ratio' 파라미터(1510)가 '0'을 만족한다면, 'aspect_ratio' 파라미터(1540)는 따로 정의되지 않는다. 일 실시예에서는 if 조건문(1530)에서 'is_aspect_ratio' 파라미터(1510)가 '0'을 만족한다면, 'aspect_ratio' 파라미터(1540)는 따로 정의되지 않고 '1'로 간주된다. 즉, 초점 거리 종횡비가 이용되지 않는 것으로 판단된다면, 초점 거리 종횡비가 1로 간주되어 초점 거리의 수평 성분과 수직 성분이 동일하다고 판단될 수 있다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 초점 거리 파라미터 결정부, 초점 거리 종횡비 파라미터 결정부 및 초점 거리 종횡비 이용 파라미터 결정부를 포함한다. 초점 거리 파라미터 결정부는 'hor_focal_length' 파라미터(1520)를 결정한다. 또한, 초점 거리 종횡비 이용 파라미터 결정부에 의해 결정된 'is_aspect_ratio' 파라미터(1510)에 기초하여, 초점 거리 종횡비 파라미터 결정부는 'aspect_ratio' 파라미터(1540)를 결정할지 여부를 결정한다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 초점 거리 파라미터 추출부, 초점 거리 종횡비 파라미터 추출부 및 초점 거리 종횡비 이용 파라미터 추출부를 포함한다. 초점 거리 파라미터 추출부는 'hor_focal_length' 파라미터(1520)를 추출한다. 또한, 초점 거리 종횡비 이용 파라미터 추출부에 의해 추출된 'is_aspect_ratio' 파라미터(1510)에 기초하여, 초점 거리 종횡비 파라미터 추출부는 'aspect_ratio' 파라미터(1540)를 추출할지 여부를 결정한다.
도 16 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 주점 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
주점은 카메라에 의해 촬영된 영상의 중점을 의미한다. 주점은 각각의 시점 영상마다 별개로 표현되며, x, y 성분 별로 표현될 수 있다. 일 실시예는 제 1 시점 영상은 좌시점 영상, 제 2 시점은 우시점 영상일 수 있다.
스테레오스코픽 카메라 정보 신택스(1400)는, 'primary_principal_x' 파라미터(1640), 'primary_principal_y' 파라미터(1650), 'secondary_principal_x' 파라미터(1660) 및 'secondary_principal_y' 파라미터(1670)를 사용된다. 'primary_principal_x' 파라미터(1640)는 제 1 시점 영상의 주점의 x 성분, 'primary_principal_y' 파라미터(1650)는 제 1 시점 영상의 주점의 y 성분, 'secondary_principal_x' 파라미터(1660)는 제 2 시점 영상의 주점의 x 성분, 'secondary_principal_y' 파라미터(1670)는 제 2 시점 영상의 주점의 y 성분을 나 타낸다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 주점 파라미터 결정부를 포함할 수 있다. 주점 파라미터 결정부는 'primary_principal_x' 파라미터(1640), 'primary_principal_y' 파라미터(1650), 'secondary_principal_x' 파라미터(1660) 및 'secondary_principal_y' 파라미터(1670)를 결정할 수 있다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 주점 파라미터 추출부를 포함할 수 있다. 주점 파라미터 추출부는 'primary_principal_x' 파라미터(1640), 'primary_principal_y' 파라미터(1650), 'secondary_principal_x' 파라미터(1660) 및 'secondary_principal_y' 파라미터(1670)를 추출할 수 있다.
도 17 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 주점 파라미터를 구현하기 위한 신택스의 다른 예를 도시한다.
스테레오스코픽 카메라 정보 신택스(1700)는 'is_principal_point' 파라미터(1710)를 사용한다. 'is_principal_point' 파라미터(1710)는 전술된 주점 정보 설정 파라미터로써, 주점 정보가 설정되는지 여부를 나타내고, 영상의 주점이 카메라의 중점과 다른 경우를 별도로 정의하기 위한 파라미터이다.
if 조건문(1730)에서 'is_principal_point' 파라미터(1710)가 '1'을 만족한다면, 'primary_principal_x' 파라미터(1740), 'primary_principal_y' 파라미터(1750), 'secondary_principal_x' 파라미터(1760) 및 'secondary_principal_y' 파라미터(1770)가 사용된다. 즉, 주점 정보가 이용되는 것으로 판단된다면, 주점 파라미터들(1740, 1750, 1670, 1770)이 선언되어 사용된다.
if 조건문(1730)에서 'is_principal_point' 파라미터(1710)가 '0'을 만족한다면, 'primary_principal_x' 파라미터(1740), 'primary_principal_y' 파라미터(1750), 'secondary_principal_x' 파라미터(1760) 및 'secondary_principal_y' 파라미터(1770)는 선언되지 않은 채 따로 정의되지 않는다. 일 실시예에서는 if 조건문(1730)에서 'is_principal_point' 파라미터(1710)가 '0'을 만족한다면, 주점 파라미터들(1740, 1750, 1760, 1770)는 따로 정의되지 않고 각각의 시점 카메라의 중점과 각각의 시점 영상의 주점이 일치하는 것으로 간주된다.
일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 주점 파라미터 결정부 및 주점 정보 설정 파라미터 결정부를 포함한다. 주점 정보 설정 파라미터 결정부에 의해 결정된 'is_principal_point' 파라미터(1710)에 기초하여, 주점 파라미터 결정부는 'primary_principal_x' 파라미터(1740), 'primary_principal_y' 파라미터(1750), 'secondary_principal_x' 파라미터(1760) 및 'secondary_principal_y' 파라미터(1770)를 결정한다.
또한, 일 실시예에 따른 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 주점 파라미터 추출부 및 주점 정보 설정 파라미터 추출부를 포함한다. 주점 정보 설정 파라미터 추출부에 의해 추출된 'is_principal_point' 파라미터(1710)에 기초하여, 주점 파라미터 추출부는 'primary_principal_x' 파라미터(1740), 'primary_principal_y' 파라미터(l750), 'secondary_principal_x' 파라미터(1760) 및 'secondary_principal_y' 파라미터(1770)를 추출한다.
도 18 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 회전각 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
스테레오스코픽 카메라 정보 신택스(1800)는 'rotation' 파라미터를 포함한다. 'rotation' 파라미터는 회전각 정보로서, x, y, z축 방향의 회전각이 각각 사용되므로, 3개의 각도 값으로 표현될 수 있다. 또한, 'rotation' 파라미터(1820)는 3x3 매트릭스로도 표현될 수 있으므로, 'rotation[3][3]'으로 표현될 수 있으며, 크기 9의 배열인 'rotation[9]'(1820)으로 표현될 수도 있다.
도 18에 도시되지는 않았지만, 스테레오스코픽 카메라 정보 신택스(1800)는 평행 이동 파라미터를 사용할 수도 있다. 평행 이동 파라미터는 제 1 시점 카메라 좌표계와 제 2 시점 카메라 좌표계 사이의 거리를 'translation[3]'의 형태로 표현할 수 있다.
따라서, 스테레오스코픽 영상 데이터스트림 생성 장치(100)의 카메라 파라미터 결정부(120)는 회전각 파라미터 결정부를 포함하고, 회전각 파라미터 결정부는 'rotation[9]' 파라미터(1820)를 결정한다.
또한, 스테레오스코픽 영상 복원 장치(200)의 카메라 파라미터 추출부(220)는 회전각 파라미터 추출부를 포함하고, 회전각 파라미터 추출부는 'rotation[9]' 파라미터(1820)를 추출한다.
도 19 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법을 이용하는 스테레오스코픽 영상 파일 생성 시스템의 블록도를 도시한다.
일 실시예에 따른 스테레오스코픽 영상 파일 생성 시스템(1900)은 제 1 시점 카메라(1902), 제 2 시점 카메라(1904), 다시점 영상 또는 모노 영상 카메라(1906), 입력부(1910), 영상 신호 처리부(1920), 저장부(1930), 부호화부(1940) 및 파일 생성부(1960)를 포함한다.
제 1 시점 카메라(1902), 제 2 시점 카메라(1904) 각각의 카메라는 소정 피사체를 제 1 시점 또는 제 2 시점에서 촬영하여 서로 다른 시점의 영상을 출력한다. 단일 시점 영상도 제공되는 경우라면, 모노 영상 카메라(1906)로부터 모노스코픽 영상 데이터가 출력된다. 카메라로부터 출력된 영상들은 입력부(1910)를 통해 입력된다.
입력부(1910)로 입력된 영상들은 영상 신호 처리부(1920)를 통해 전처리(pre-processing)된다. 전처리 동작의 일례는 아날로그 값의 외부 영상값을 디지털 값으로 변환하는 동작이다. 여기서 외부 영상 값이란 CCD 또는 CMOS 타입의 센서를 통해 인식된 빛과 컬러 성분을 의미한다.
저장부(1930)는 영상 신호 처리부(1920)에 의해 전처리된 각각의 영상 데이터를 저장하여 부호화부(1940)에 제공한다. 저장부(1930)이 별도로 도시되어 있기는 하지만, 스테레오스코픽 영상 파일 생성 시스템(1900)이 저장부(1930) 이외에 다른 구성 요소들 사이에 버퍼링을 해주는 다른 저장 구성들을 포함하지 않는 것은 아니다.
부호화부(1940)는 저장부(1930)로부터 제공받은 각각의 영상 데이터를 부호화한다. 부호화부(1940)의 데이터의 부호화 동작은 필요에 따라서 생략될 수도 있다.
파일 생성부(1960)는 부호화부(1940)으로부터 입력받은 (부호화된) 영상 데이터 및 각각의 영상의 연관 관계 정보(1950)를 소정 파일 포맷에 삽입하여 영상 파일(1970)을 생성한다. 영상 연관 관계 정보(1950)는 각각의 영상 데이터들의 연관 관계를 표현하기 위한 trak 박스의 참조 정보 및 각각의 영상 데이터의 미디어 타입을 나타내기 위한 핸들러(handler) 정보 등을 포함할 수 있다.
또한, 영상 연관 관계 정보(1950)는 각각의 영상의 2D 영상 관련 정보 및 3D 영상 관련 정보를 포함할 수 있다. 3D 영상 관련 정보는 제 1, 2 시점 영상 간의 관계를 나타내며, 2D/3D 데이터 구간에 대한 정보, 제 1, 2 시점 영상의 배치 방식에 대한 정보, 영상 파일 타입 정보, 카메라 파라미터, 디스플레이 정보, 시차 정보 등을 포함할 수 있다.
파일 생성부(1960)의 일 실시예는 각각의 영상 데이터를 영상 파일(1970)의 미디어 데이터 영역에 저장하며, 각각의 영상 연관 관계 정보(1950)를 헤더 영역에 저장할 수 있다. 영상 파일(1970)이 ISO 기반의 미디어 파일 포맷인 경우, 각각의 영상 데이터는 mdat 박스에 ES 형태로 저장되며, 각각의 영상 연관 관계 정보(1950)는 trak 박스 및 그 이하의 박스들에 저장될 수 있다.
영상 파일(1970)은 입체 영상 파일 재생 장치로 입력되거나 전송된다.
도 20 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 방법을 이용하는 스테레오스코픽 영상 복원/재생 시스템의 블록도를 도시한다.
일 실시예에 다른 스테레오스코픽 영상 복원/재생 시스템(2000)은 파일 분석부(2020), 복호화부(2030), 저장부(2040), 재생부(2050) 및 표시부(2060)를 포함한다.
파일 분석부(2020)는 수신된 영상 파일(2010)을 분석한다. 분석 결과, 파일 영역(ftyp box), 무브 영역(moov box), 트랙 영역(trak box), 메타데이터 영역(meta box)에 각각 저장된 정보가 분석된 후, 미디어 데이터 영역(mdat box)에 저장된 각각의 영상 데이터가 추출될 수 있다. 각각의 영상 데이터로써, 제 1 시점 영상 데이터(2022), 제 2 시점 영상 데이터(2024), 그 외의 다시점 영상/모노스코픽 영상(2026)이 추출될 수 있다. 파일 분석에 의해, 영상 데이터 관련 정보(2028)가 추출될 수 있다. 영상 데이터 관련 정보(2028)는, 상호 연관된 트랙에 대한 트랙 참조 정보 등의 각각의 시점 영상 연관 관계 정보를 포함할 수 있다.
복호화부(2030)는 영상 파일(2010)로부터 추출된 각각의 영상 데이터(2022, 2024, 2026) 등을 입력받아 복호화한다. 영상 파일 내의 영상 데이터가 부호화되어 있는 경우에만 복호화 동작이 수행된다. 저장부(2040)는 복호화부(2030)로부터 출력된 (복호화된) 영상 데이터(2035)를 입력받고, 파일 분석부(2020)로부터 추출된 영상 데이터 관련 정보 등(2028)을 입력받아 저장한다.
재생부(2050)는 저장부(2040)로부터 재생될 영상 데이터(2045) 및 영상 재생 관련 정보(2048)를 입력받아 영상을 재생한다. 영상 재생 관련 정보(2048)는 영상 데이터 관련 정보(2048) 중 영상을 재생하기 위해 필요한 정보이며, 각각의 시점 영상의 연관 관계 정보를 포함한다.
재생부(2050)는 영상 재생 관련 정보(2048)를 이용하여 영상 데이터(2045)를 2D 또는 3D의 필요한 재생 방식으로 재생할 수 있다. 예를 들어, 재생부(2050)는 영상 데이터의 식별 정보를 참조하여 상호 연관된 스테레오스코픽 영상들을 합성하여 재생할 수 있다. 또한 재생부(2050)는, 영상 데이터의 식별 정보 및 2D/3D 데이터 구간 정보를 참조하여 상호 연관된 스테레오스코픽 영상과 모노스코픽 영상을 함께 재생할 수도 있다.
표시부(2060)는 재생부(2050)가 재생하는 영상을 화면 상에 표시할 수 있다. 표시부(2060)는 배리어 LCD(Barrier Liquid Crystal Display)로 구성될 수 있다. 배리어 LCD가 오프(off) 상태로 구동되면 모노스코픽 영상이 표시될 수 있으며,배리어 LCD가 온(on) 상태로 구동되면 스테레오스코픽 입체 영상의 각각의 시점 영상이 표시될 수 있다.
도 21 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 흐름도를 도시한다.
단계 2110 에서, 스테레오스코픽 영상 데이터가 부호화된다.
단계 2120 에서, 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하여 카메라 파라미터가 결정된다. 카메라 파라미터는 초점 거리 관련 파라미터, 주점 관련 파라미터, 평행 이동 파라미터, 회전각 파라미터, 종횡비 피라미터 등을 포함할 수 있다. 초점 거리 관련 파라미터는 초점 거리 뿐만 아니라 시점별 초점 거리가 불일치하는지 여부를 나타내는 정보, 종횡비를 이용하여 초점 거리의 표현 여부를 나타내는 정보 등을 포함할 수 있다. 주점 관련 파라미터는 주점 뿐만 아니라 카메라 중점 이외에 영상의 주점을 별개로 설정할지 여부를 나타내는 정보를 포함할 수 있다.
단계 2130 에서, 부호화된 영상 데이터 및 카메라 파라미터가 데이터스트림에 삽입된다. 일례로, ISO 기반의 미디어 파일 포맷의 데이터스트림이 생성되는 경우, 영상 데이터는 mdat 박스에, 카메라 파라미터는 moov 박스의 하위 박스, trak 박스, trak 박스의 하위 박스, meta 박스, meta 박스의 하위 박스 등에 삽입될 수 있다.
도 22 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 방법의 흐름도를 도시한다.
단계 2210 에서, 수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 스테레오스코픽 영상에 대한 정보가 파싱된다. 일례로 ISO 기반의 미디어 파일 포맷에 따르는 데이터스트림이 수신된 경우, 스토레오스코픽 영상의 데이터는 mdat 박스로부터, 스테레오스코픽 영상에 대한 정보는 moov 박스의 하위 박스, trak 박스, trak 박스의 하위 박스, meta 박스, meta 박스의 하위 박스 등으로부터 파싱될 수 있다.
단계 2220 에서, 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터가 추출된다. 카메라 파라미터는 초점 거리 관련 파라미터, 주점 관련 파라미터, 평행 이동 파라미터, 회전각 파라미터, 종횡비 피라미터 등을 포함할 수 있다. 또한, 초점 거리 종횡비 이용 파라미터, 초점 거리 불일치 파라미터, 주점 정보 설정 파라미터 등이 추출될 수 있다.
단계 2230 에서, 스테레오스코픽 영상의 데이터가 복호화되어 복원된다.
단계 2240 에서, 스테레오스코픽 영상의 데이터가 카메라 파라미터를 이용하여 재생된다. 카메라 파라미터들을 이용하여 각각의 시점 영상을 적절한 위치 및 시간에 재생하여 표시함으로써 보다 정확한 2D 및 3D 영상이 사용자에게 제공될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으 로 해석되어야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 블록도를 도시한다.
도 2 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 장치의 블록도를 도시한다.
도 3 은 월드 좌표계와 카메라 좌표계의 관계를 도시한다.
도 4 는 카메라 좌표계 상의 좌표와 이에 대응하는 영상 상의 좌표의 관계를 도시한다.
도 5 는 촬영 영상 좌표와 재생 영상 상의 좌표의 관계를 도시한다.
도 6 은 스테레오스코픽 카메라의 평행이동 정보 및 회전 정보를 도시한다.
도 7 은 제 1 시점 카메라 좌표계와 제 2 시점 카메라 좌표계의 관계를 도시한다.
도 8 은 ISO 기반의 미디어 파일 포맷에 따르는 파일 포맷의 구조를 도시한다.
도 9 는 ISO 기반의 미디어 파일 포맷에 따르는 파일 구조를 구성하는 박스 리스트를 도시한다.
도 10 는 스테레오스코픽 영상에 대한 여러 파라미터를 구현하기 위한 신택스를 도시한다.
도 11 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
도 12 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 다른 예를 도시한다.
도 13 는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
도 14 는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 다른 예를 도시한다.
도 15 는 본 발명의 다른 실시예에 따른 스테레오스코픽 영상에 대한 카메라 초점 거리 파라미터를 구현하기 위한 신택스의 또 다른 예를 도시한다.
도 16 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 주점 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
도 17 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 주점 파라미터를 구현하기 위한 신택스의 다른 예를 도시한다.
도 18 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상에 대한 카메라 회전각 파라미터를 구현하기 위한 신택스의 일례를 도시한다.
도 19 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법을 이용하는 스테레오스코픽 영상 파일 생성 시스템의 블록도를 도시한다.
도 20 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 방법을 이용하는 스테레오스코픽 영상 복원/재생 시스템의 블록도를 도시한다.
도 21 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 흐름도를 도시한다.
도 22 은 본 발명의 일 실시예에 따른 스테레오스코픽 영상 복원 방법의 흐름도를 도시한다.

Claims (26)

  1. 수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 상기 스테레오스코픽 영상에 대한 정보를 파싱하는 단계;
    상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터를 추출하는 단계; 및
    상기 스테레오스코픽 영상의 데이터를 복호화하여 복원하는 단계를 포함하고,
    상기 카메라 파라미터 추출 단계는,
    상기 적어도 하나의 카메라 중, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  2. 제 1 항에 있어서, 상기 복원 단계는,
    상기 스테레오스코픽 영상의 데이터를 상기 카메라 파라미터를 이용하여 재생하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  3. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 적어도 하나의 카메라 중에서, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리 파라미터를 별개로 추출하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  4. 삭제
  5. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 동일하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터 중 하나를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  6. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 초점 거리 불일치 파라미터에 기초하여 상기 제 1 초점 거리 및 상기 제 2 초점 거리가 상이하다면, 상기 제 1 초점 거리를 나타내는 제 1 초점 거리 파라미터 및 상기 제 2 초점 거리를 나타내는 제 2 초점 거리 파라미터를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  7. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 카메라의 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터를 추출 하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  8. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 추출하는 단계; 및
    상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 어느 하나를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  9. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하여 상기 초점 거리에 대한 정보가 설정되었는지 여부를 나타내는 초점 거리 종횡비 이용 파라미터를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  10. 제 9 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율이 이용되었다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  11. 제 9 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율이 이용되지 않았다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 '1'로 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  12. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터, 및 상기 스테레오스코픽 영상 중 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 추출하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  13. 제 12 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터를 주점의 x 좌표 성분 및 y 좌표 성분 별로 추출하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  14. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 스테레오스코픽 영상의 주점에 대한 정보가 설정되었는지 여부를 나타 내는 주점 정보 설정 파라미터를 추출하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  15. 제 14 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보가 설정되었다면, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터 및 상기 스테레오스코픽 영상 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 추출하는 단계를 더 포함하고,
    상기 제 1 주점 파라미터 및 상기 제 2 주점 파라미터는 x 좌표 성분 및 y 좌표 성분 별로 추출되는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  16. 제 14 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보가 설정되지 않았다면, 상기 적어도 하나의 카메라 중 소정 시점의 카메라에 의해 촬영된 영역의 중점과 상기 소정 시점의 영상의 주점이 일치하는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  17. 제 1 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 카메라의 회전각 중, x축 기준의 회전각을 나타내는 x축 회전각 파라미터, y축 기준의 회전각을 나타내는 y축 회전각 파라미터 및 z축 기준의 회전각을 나타내는 z축 회전각 파라미터를 추출하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  18. 제 17 항에 있어서, 상기 카메라 파라미터 추출 단계는,
    상기 x축 기준의 회전각, y축 기준의 회전각 및 z축 기준의 회전각을 3x3 행렬 또는 크기 9의 배열로 표현된 회전각 파라미터를 추출하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  19. 제 1 항에 있어서, 상기 파싱 단계는,
    상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터, 상기 카메라 파라미터를 추출하는 단계; 및
    상기 mdat 박스로부터 상기 스테레오스코픽 영상의 데이터를 추출하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 복원 방법.
  20. 스테레오스코픽 영상 데이터를 부호화하는 단계;
    상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하여 카메라 파라미터를 결정하는 단계; 및
    상기 부호화된 영상 데이터 및 카메라 파라미터를 데이터스트림에 삽입하는 단계를 포함하고,
    상기 카메라 파라미터 결정 단계는,
    상기 적어도 하나의 카메라 중 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 결정하는 단계; 및
    상기 초점 거리 불일치 파라미터에 기초하여, 상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 적어도 하나를 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 생성 방법.
  21. 삭제
  22. 제 20 항에 있어서, 상기 카메라 파라미터 결정 단계는,
    상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 결정하는 단계; 및
    상기 초점 거리의 수평 성분값을 나타내는 수평 초점 거리 파라미터 및 상기 초점 거리의 수직 성분값을 나타내는 수직 초점 거리 파라미터 중 어느 하나를 결 정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 생성 방법.
  23. 제 22 항에 있어서,
    상기 카메라 파라미터 결정 단계는, 상기 카메라의 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용하여 상기 초점 거리에 대한 정보를 설정하는지 여부를 나타내는 초점 거리 종횡비 이용 파라미터를 결정하는 단계를 더 포함하고,
    상기 초점 거리 종횡비 파라미터 결정 단계는, 상기 초점 거리 종횡비 이용 파라미터에 기초하여 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 이용한다면, 상기 초점 거리의 수평 성분값 및 수직 성분값의 비율을 나타내는 초점 거리 종횡비 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 생성 방법.
  24. 제 20 항에 있어서, 상기 카메라 파라미터 결정 단계는,
    상기 스테레오스코픽 영상의 주점에 대한 정보를 설정하는지 여부를 나타내는 주점 정보 설정 파라미터를 결정하는 단계; 및
    상기 주점 정보 설정 파라미터에 기초하여 상기 주점에 대한 정보를 설정한다면, 상기 스테레오스코픽 영상 중 제 1 시점 영상의 주점을 나타내는 제 1 주점 파라미터 및 상기 스테레오스코픽 영상 제 2 시점 영상의 주점을 나타내는 제 2 주점 파라미터를 별개로 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 스코픽 영상 데이터스트림 생성 방법.
  25. 삭제
  26. 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서, 상기 컴퓨터 프로그램이 구현하기 위한 스테레오스코픽 영상 복원 방법은,
    수신된 데이터스트림으로부터 스테레오스코픽 영상의 데이터 및 상기 스테레오스코픽 영상에 대한 정보를 파싱하는 단계;
    상기 스테레오스코픽 영상을 촬영한 적어도 하나의 카메라 중 각각의 카메라의 고유 특성에 기초하는 카메라 파라미터를 추출하는 단계; 및
    상기 스테레오스코픽 영상의 데이터를 복호화하여 복원하는 단계를 포함하고,
    상기 카메라 파라미터 추출 단계는,
    상기 적어도 하나의 카메라 중, 제 1 시점 카메라의 초점 거리를 나타내는 제 1 초점 거리 및 제 2 시점 카메라의 초점 거리를 나타내는 제 2 초점 거리가 상이한지 여부를 나타내는 초점 거리 불일치 파라미터를 추출하는 단계를 더 포함하는 것을 특징으로 하는 기록 매체.
KR20080071897A 2008-05-27 2008-07-23 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치 KR101490689B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US12/392,613 US9179124B2 (en) 2008-05-27 2009-02-25 Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
MX2010012948A MX2010012948A (es) 2008-05-27 2009-03-26 Metodo y aparato para generar un flujo de datos de imagenes estereoscopicas usando un parametro de camara, y metodo y aparato para restaurar la imagen esreoscopica usando un parametro de camara.
PCT/KR2009/001549 WO2009145426A1 (en) 2008-05-27 2009-03-26 Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
JP2011511493A JP5519647B2 (ja) 2008-05-27 2009-03-26 カメラ・パラメータを利用したステレオスコピック映像データ・ストリーム生成方法及びその装置、
CN2009801193329A CN102047668B (zh) 2008-05-27 2009-03-26 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备
EP09754891A EP2286596A1 (en) 2008-05-27 2009-03-26 Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
BRPI0912178A BRPI0912178A2 (pt) 2008-05-27 2009-03-26 método de restaurar imagem estereoscópia, método de geração de corrente de dados de imagem estereoscópia, e meio de gravação legível por computador

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US5617408P 2008-05-27 2008-05-27
US61/056,174 2008-05-27

Publications (2)

Publication Number Publication Date
KR20090123743A KR20090123743A (ko) 2009-12-02
KR101490689B1 true KR101490689B1 (ko) 2015-02-06

Family

ID=41685940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080071897A KR101490689B1 (ko) 2008-05-27 2008-07-23 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치

Country Status (8)

Country Link
US (1) US9179124B2 (ko)
EP (1) EP2286596A1 (ko)
JP (1) JP5519647B2 (ko)
KR (1) KR101490689B1 (ko)
CN (1) CN102047668B (ko)
BR (1) BRPI0912178A2 (ko)
MX (1) MX2010012948A (ko)
WO (1) WO2009145426A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP5002047B2 (ja) * 2010-11-05 2012-08-15 シャープ株式会社 立体画像データ再生装置
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP6026443B2 (ja) * 2011-03-10 2016-11-16 ヴィディオ・インコーポレーテッド ビデオ・ビットストリーム中の描画方向情報
US9414047B2 (en) 2011-08-12 2016-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Signaling change of camera parameter and/or depth parameter using update message
BR112014003661A2 (pt) * 2011-08-30 2017-03-21 Ericsson Telefon Ab L M ajuste de lado receptor de imagens estereoscópicas
CN103139555B (zh) * 2011-11-22 2017-07-11 浙江大学 一种视频序列参数编码方法、解码方法、对应的装置及码流
CN103379333B (zh) 2012-04-25 2018-12-04 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
WO2014101102A1 (zh) * 2012-12-28 2014-07-03 华为技术有限公司 对视频内容的摄像机参数的编码和解码方法与装置
US10171745B2 (en) * 2014-12-31 2019-01-01 Dell Products, Lp Exposure computation via depth-based computational photography
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
US10887577B2 (en) 2016-05-26 2021-01-05 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US10560678B2 (en) * 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
CN107479180A (zh) * 2017-08-28 2017-12-15 中国科学院上海微系统与信息技术研究所 一种显微立体图像采集装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
WO2019194573A1 (en) * 2018-04-05 2019-10-10 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
JP7271099B2 (ja) * 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
JP2021182650A (ja) * 2018-07-20 2021-11-25 ソニーグループ株式会社 画像処理装置および方法
US11347788B2 (en) * 2019-01-16 2022-05-31 Toyota Research Institute, Inc. Systems and methods for generating a requested image view
US11887151B2 (en) * 2022-02-14 2024-01-30 Korea Advanced Institute Of Science And Technology Method and apparatus for providing advertisement disclosure for identifying advertisements in 3-dimensional space

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104671A (ko) * 2005-03-31 2006-10-09 세종대학교산학협력단 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
US6097850A (en) * 1996-11-27 2000-08-01 Fujitsu Limited Measuring method and apparatus of photographic parameter and computer memory product
US5802410A (en) 1997-02-18 1998-09-01 Wah Lo; Allen Kwok Method and apparatus for producing composite images with a masked imaging device
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US7428482B2 (en) * 1999-03-26 2008-09-23 Sony Corporation Visualization and setting of a virtual camera and lens system in a computer graphic modeling environment
JP2004274253A (ja) 2003-03-06 2004-09-30 Sharp Corp 映像記録装置および映像送信装置
KR100556830B1 (ko) 2003-12-12 2006-03-10 한국전자통신연구원 스테레오스코픽 입체영상 디스플레이를 위한 3차원 그래픽모델렌더링 장치 및 그 방법
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
KR101398168B1 (ko) 2007-10-10 2014-05-22 한국전자통신연구원 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104671A (ko) * 2005-03-31 2006-10-09 세종대학교산학협력단 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체

Also Published As

Publication number Publication date
EP2286596A1 (en) 2011-02-23
WO2009145426A1 (en) 2009-12-03
CN102047668B (zh) 2013-08-07
US9179124B2 (en) 2015-11-03
JP2011523285A (ja) 2011-08-04
BRPI0912178A2 (pt) 2018-02-20
MX2010012948A (es) 2010-12-21
CN102047668A (zh) 2011-05-04
US20090295907A1 (en) 2009-12-03
KR20090123743A (ko) 2009-12-02
JP5519647B2 (ja) 2014-06-11

Similar Documents

Publication Publication Date Title
KR101490689B1 (ko) 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US8218855B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US9456196B2 (en) Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US10158838B2 (en) Methods and arrangements for supporting view synthesis
KR101530713B1 (ko) 영상 파일을 생성하고 표시하기 위한 장치 및 방법
CA2553522C (en) System and method for managing stereoscopic viewing
CN110100435B9 (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
EP2088789A2 (en) Apparatus and method for generating and displaying media files
EP2001235A1 (en) Format for recording stereoscopic or synthetic video data with related metadata
CN102474638A (zh) 组合3d视频与辅助数据
KR20140127287A (ko) 삼차원 장면에서 표시 객체의 표시 위치를 제공하고, 표시 객체를 표시하기 위한 방법 및 장치
KR20150053774A (ko) 입체 이미지들을 생성, 전송 및 수신하기 위한 방법 및 관련된 디바이스들
KR101390811B1 (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
KR101396350B1 (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
Robitza 3d vision: Technologies and applications
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치
Pahalawatta et al. Depth/Disparity Interchange Representation for Post-Production

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5