KR20090034707A - 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치 - Google Patents

다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20090034707A
KR20090034707A KR1020080015447A KR20080015447A KR20090034707A KR 20090034707 A KR20090034707 A KR 20090034707A KR 1020080015447 A KR1020080015447 A KR 1020080015447A KR 20080015447 A KR20080015447 A KR 20080015447A KR 20090034707 A KR20090034707 A KR 20090034707A
Authority
KR
South Korea
Prior art keywords
parameter
multiview image
box
data stream
information
Prior art date
Application number
KR1020080015447A
Other languages
English (en)
Other versions
KR101396350B1 (ko
Inventor
김용태
황서영
김재승
김대식
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/198,515 priority Critical patent/US8384764B2/en
Publication of KR20090034707A publication Critical patent/KR20090034707A/ko
Application granted granted Critical
Publication of KR101396350B1 publication Critical patent/KR101396350B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다시점 영상 데이터스트림 생성 방법 및 장치와 다시점 영상 데이터스트림 복호화 방법은 다시점 영상 데이터스트림에 다시점 영상 데이터를 기록하고, 다시점 영상 데이터에 대한 다시점 영상 파라미터가 다시점 영상 데이터스트림에 기록되는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 다시점 영상 데이터스트림에 기록하고, 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 다시점 영상 데이터스트림에 기록하여, 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 다시점 영상 파라미터를 다시점 영상 데이터스트림에 기록할지 여부를 결정함으로써, 다시점 영상에 대한 각종 파라미터를 이용하여 다시점 영상의 화질을 증대시킬 수 있다.
다시점 영상, 3차원 영상, 스테레오스코픽 영상, 시청 피로도, 3차원 카메라

Description

다시점 영상 데이터스트림 생성 방법 및 장치와 다시점 영상 데이터스트림 복호화 방법 및 장치{Method and appratus for generating multiview image data stream, and method and apparatus for decoding multiview image data stream}
본 발명은 다시점 영상 데이터스트림을 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 상세하게는 다시점 영상 데이터스트림에 저장되는 다시점 영상에 대한 각종 파라미터를 정의하고, 정의된 다시점 영상에 대한 파라미터를 포함하는 다시점 영상 데이터스트림을 부호화하거나 복호화하는 방법 및 장치에 관한 것이다.
최근의 영상 기술에서, 보다 사실적이고 현실감 있는 영상 정보를 표현하기 위해 3차원 영상을 구현하는 방식에 대한 연구가 활발히 진행되고 있다. 3차원 영상 구현 방식 중, 인간 시각 특성을 활용하여, 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 시청자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다. 이러한 3차원 영상 구현 방식의 일례인 배리어 LDC(Barrier LCD)를 장착한 휴대 단말기에서는 스테레오스코픽 컨텐츠를 재 생하여 사용자에게 좀 더 실감나는 영상을 제공할 수 있게 되었다.
도 1 은 ISO(International Standardization Organization) 기반의 미디어 파일 포맷의 구조를 도시한다.
ISO 기반의 미디어 파일 포맷에 따른 미디어 파일(100)은 mdat 박스(110) 및 moov 박스(120)를 포함한다. mdat 박스(110)는 시간적으로 정렬된 인터리브드 비디오 프레임 및 오디오 프레임을 포함하며, moov 박스(120)는 mdat 박스(110)에 저장된 미디어 프레임에 대한 정보를 수록하는 trak 박스를 포함한 다른 박스들이 저장된다. 일부 trak 박스(122)는 비디오 프레임에 대한 정보를 포함하며, 다른 trak 박스(123)는 오디오 프레임에 대한 정보를 포함할 수 있다. 또한, 3차원 영상 데이터가 ISO 기반의 미디어 파일 포맷으로 기록될 수 있다.
본 발명이 해결하고자 하는 과제는, 다시점 영상 데이터의 효율적인 복원을 위해 필요한 다시점 영상 데이터에 대한 각종 파라미터를 수록하는 다시점 영상 데이터스트림을 생성하는 방법 및 장치를 제안한다. 또한, 다시점 영상 파라미터를 수록하는 다시점 영상 데이터스트림을 복호화하는 방법 및 장치를 제안한다.
다시점 영상 데이터의 효과적인 기록 및 복원을 위해 다시점 영상 파라미터의 기록 여부와 사용성 여부를 제어하는 방법이 제안된다. 또한, 효과적으로 다시점 영상 파라미터가 기록될 수 있는 데이터스트림의 구조가 제안된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 방법은, 상기 다시점 영상 데이터스트림에 다시점 영상 데이터를 기록하는 단계; 상기 다시점 영상 데이터에 대한 다시점 영상 파라미터가 상기 다시점 영상 데이터스트림에 기록되는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 상기 다시점 영상 데이터스트림에 기록하는 단계; 및 상기 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록할지 여부를 결정하는 단계를 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록 파라미터 기록 단계는, 상기 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이 터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 상기 다시점 영상 데이터스트림에 기록하는 단계를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록 여부 결정 단계는, 상기 다시점 영상 파라미터 기록 파라미터 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록할지 여부를 결정하는 단계를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록 여부 결정 단계는, 상기 현재 데이터구간의 다시점 영상 파라미터가 상기 이전 데이터구간의 다시점 영상 파라미터로부터 변동되어 상기 다시점 영상 파라미터 변동 파라미터 값이 '1'로 설정되고, 상기 다시점 영상 데이터스트림에 상기 다시점 영상 파라미터를 기록할 것으로 결정되어 상기 다시점 영상 파라미터 기록 파라미터의 값이 '1'로 설정된 경우, 상기 다시점 영상 파라미터 기록 파라미터 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여, 상기 현재 데이터구간의 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록하기로 결정하고, 기록하는 단계를 포함한다.
일 실시예의 상기 다시점 영상 파라미터는 상기 다시점 영상에 대한 적어도 하나의 정보를 포함하며, 각각 정보는 적어도 하나의 데이터구간에 대해 개별적으로 설정된다.
일 실시예의 상기 다시점 영상 파라미터는, 상기 다시점 영상 데이터를 획득한 카메라에 대한 카메라 파라미터 및 상기 다시점 영상을 시청시 발생하는 피로도 의 감소를 위한 저피로도 파라미터 중 적어도 하나를 포함한다.
일 실시예의 상기 카메라 파라미터는, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 거리 정보, 초점 정보, 회전각 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함한다.
일 실시예의 상기 카메라 파라미터는, 상기 카메라가 다시점 카메라인 경우, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 평행 이동 매트릭스 정보, 초점 정보, 회전각 매트릭스 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함한다.
일 실시예의 상기 저피로도 파라미터는, 상기 다시점 영상에 대한 권장 시청 거리 정보, 권장 디스플레이 크기 정보, 변이 벡터의 최소값 정보 및 변이 벡터의 최대값 정보 중 적어도 하나를 포함한다.
일 실시예에서 상기 다시점 영상이 기준 시점 영상 및 나머지 시점 영상들로 구성될 때, 상기 다시점 영상 파라미터는, 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터가 나머지 시점 영상에 대한 적어도 하나의 다시점 영상 파라미터를 참조하여 설정되고, 상기 나머지 시점 영상에 대한 소정 다시점 영상 파라미터가 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터를 참조하여 설정된다.
일 실시예의 상기 다시점 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷이다.
일 실시예의 상기 다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 다시점 영상 파라미터는, 상기 moov 박스와 동일 레벨인 상기 meta 박스의 하위 레벨 박스; 상기 moov 박스의 하위 레벨 박스; 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스; 상기 trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스; 상기 mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스; 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스; 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 상기 mdat 박스에 기록되는 기초 스트림에 대한 정보가 기록되는 박스 중 적어도 어느 하나에 기록된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 방법은, 상기 다시점 영상 데이터에 대한 다시점 영상 파라미터가 상기 다시점 영상 데이터스트림에 기록되어 있는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계; 및 상기 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정하는 단계를 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록 파라미터 추출 단계는, 상기 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터 추출 여부 결정 단계는, 상기 다시 점 영상 파라미터 기록 파라미터 값 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정하는 단계를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터 추출 여부 결정 단계는, 상기 다시점 영상 파라미터 변동 파라미터 값이 '1'이고, 상기 다시점 영상 파라미터 기록 파라미터의 값이 '1'인 경우, 상기 현재 데이터구간의 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하기로 결정하고, 추출한다.
일 실시예는, 상기 다시점 영상 데이터스트림으로부터 다시점 영상 데이터를 추출하는 단계; 및 상기 다시점 영상 파라미터 및 상기 추출된 다시점 영상 데이터를 이용하여 다시점 영상을 복원하는 단계를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터는 상기 다시점 영상에 대한 적어도 하나의 정보를 포함하며, 각각 정보는 적어도 하나의 데이터구간에 대해 개별적으로 설정된다.
일 실시예의 상기 다시점 영상 파라미터는, 상기 다시점 영상 데이터를 획득한 카메라에 대한 카메라 파라미터 및 상기 다시점 영상을 시청시 발생하는 피로도의 감소를 위한 저피로도 파라미터 중 적어도 하나를 포함한다.
일 실시예의 상기 카메라 파라미터는, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 거리 정보, 초점 정보, 회전각 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함한다.
일 실시예의 상기 카메라 파라미터는, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 평행 이동 매트릭스 정보, 초점 정보, 회전각 매트릭스 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함한다.
일 실시예의 상기 저피로도 파라미터는, 상기 다시점 영상에 대한 권장 시청 거리 정보, 권장 디스플레이 크기 정보, 변이 벡터의 최소값 정보 및 변이 벡터의 최대값 정보 중 적어도 하나를 포함한다.
일 실시예에서 상기 다시점 영상이 기준 시점 영상 및 나머지 시점 영상들로 구성될 때, 상기 다시점 영상 파라미터는, 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터가 나머지 시점 영상에 대한 적어도 하나의 다시점 영상 파라미터를 참조하여 설정되고, 상기 나머지 시점 영상에 대한 소정 다시점 영상 파라미터가 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터를 참조하여 설정된다.
일 실시예의 상기 다시점 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷이다.
일 실시예의 상기 다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 다시점 영상 파라미터는, 상기 moov 박스와 동일 레벨인 상기 meta 박스의 하위 레벨 박스; 상기 moov 박스의 하위 레벨 박스; 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스; 상기 trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스; 상기 mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스; 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스; 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 상기 mdat 박스에 기록되는 기초 스트림에 대한 정보가 기록되는 박스 중 적어도 어느 하나로부터 추출된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 장치는, 상기 다시점 영상 데이터스트림에 다시점 영상 데이터를 기록하는 다시점 영상 데이터 기록부; 상기 다시점 영상 데이터에 대한 다시점 영상 파라미터가 상기 다시점 영상 데이터스트림에 기록되는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 상기 다시점 영상 데이터스트림에 기록하는 다시점 영상 파라미터 기록 파라미터 기록부; 및 상기 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록할지 여부를 결정하는 다시점 영상 파라미터 기록부를 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록 파라미터 기록부는, 상기 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 상기 다시점 영상 데이터스트림에 기록하는 다시점 영상 파라미터 변동 파라미터 기록부를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록부는, 상기 다시점 영상 파라미터 기록 파라미터 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록할지 여부를 결정한다.
일 실시예의 상기 다시점 영상 파라미터 기록부는, 상기 현재 데이터구간의 다시점 영상 파라미터가 상기 이전 데이터구간의 다시점 영상 파라미터로부터 변동되어 상기 다시점 영상 파라미터 변동 파라미터 값이 '1'로 설정되고, 상기 다시점 영상 데이터스트림에 상기 다시점 영상 파라미터를 기록할 것으로 결정되어 상기 다시점 영상 파라미터 기록 파라미터의 값이 '1'로 설정된 경우,상기 다시점 영상 파라미터 기록 파라미터 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여, 상기 현재 데이터구간의 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록하기로 결정하고, 기록한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 장치는, 상기 다시점 영상 데이터에 대한 다시점 영상 파라미터가 상기 다시점 영상 데이터스트림에 기록되어 있는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 다시점 영상 파라미터 기록 파라미터 추출부; 및 상기 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정하는 다시점 영상 파라미터 추출부를 포함한다.
일 실시예의 상기 다시점 영상 파라미터 기록 파라미터 추출부는, 상기 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 다시점 영상 파라미터 변동 파라미터 추출부를 더 포함한다.
일 실시예의 상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 파라미터 기록 파라미터 값 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정한다.
일 실시예의 상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 파라미터 변동 파라미터 값이 '1'이고, 상기 다시점 영상 파라미터 기록 파라미터의 값이 '1'인 경우, 상기 현재 데이터구간의 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하기로 결정하고, 추출한다.
일 실시예는, 상기 다시점 영상 데이터스트림으로부터 다시점 영상 데이터를 추출하는 다시점 영상 데이터 추출부; 및 상기 다시점 영상 파라미터 및 상기 추출된 다시점 영상 데이터를 이용하여 다시점 영상을 복원하는 다시점 영상 복원부를 더 포함한다.
본 발명은, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한 본 발명은, 본 발명의 일 실시예 따른 다시점 영상 데이터스트림 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명의 다시점 영상 데이터스트림 생성 방법 및 장치는 다시점 영상 파라 미터 기록 파라미터를 정의하여 다시점 영상 파라미터의 기록 여부를 표시함으로써 다시점 영상 파라미터의 유용성을 향상시킨다. 또한, 다시점 영상 변동 파라미터를 정의하여, 데이터 구간 별 다시점 영상 파라미터의 변동 여부를 표시함으로써 다시점 영상 파라미터의 유용성을 향상시킨다. 영상 데이터의 아이템을 식별하여 파라미터를 정의함으로써 서로 다른 아이템에 대한 파라미터끼리 참조하여 다시점 영상 파라미터가 효과적으로 다시점 영상에 대한 정보를 표현할 수 있다.
본 발명의 다시점 영상 데이터스트림 복호화 방법 및 장치는, 다시점 영상 파라미터 기록 여부를 확인하고 데이터 구간 별 다시점 영상 파라미터의 변동 여부를 확인함으로써, 다시점 영상 파라미터의 추출 여부를 조절할 수 있으므로, 다시점 영상 데이터스트림을 이용하여 보다 효율적으로 다시점 영상을 복원할 수 있다. 또한, 아이템 별 다시점 영상 파라미터들이 서로 참조될 수 있으므로 필요한 파라미터를 쉽게 검색하여 이용할 수 있다.
본 발명의 다시점 영상 데이터스트림 생성 방법 및 장치와 복호화 방법 및 장치는 3차원 프로세스의 성능을 개선시킴으로써, 다시점 영상의 압축/전송 분야 외에도 가상 영상 합성/ 중간 영상 합성/ 3차원 영상 디스플레이 등 여러 분야에서 적용될 수 있으므로 다양한 3차원 영상 기기에서 이용될 수 있다.
도 2 는 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 장치(200)는 영 상 데이터 기록부(210), 다시점 영상 파라미터 기록 파라미터 기록부(220), 다시점 영상 파라미터 변동 파라미터 기록부(230) 및 다시점 영상 파라미터 기록부(240)를 포함한다.
영상 데이터 기록부(210)는 다시점 영상 데이터스트림(250)에 다시점 영상 데이터를 기록한다. 다시점 영상 데이터는 다시점 영상 데이터스트림(250)의 페이로드 영역에 기록될 수 있다.
다시점 영상 파라미터 기록 파라미터 기록부(220)는 다시점 영상 파라미터 기록 파라미터를 다시점 영상 데이터스트림(250)에 기록한다. 다시점 영상 파라미터 기록 파라미터는 다시점 영상 데이터에 대한 다시점 영상 파라미터가 다시점 영상 데이터스트림(250)에 기록되는지 여부를 나타낸다.
다시점 영상 파라미터 변동 파라미터 기록부(230)는 다시점 영상 파라미터 변동 파라미터를 다시점 영상 데이터스트림(250)에 기록한다. 다시점 영상 파라미터 변동 파라미터는, 다시점 영상 데이터의 현재 데이터 구간에 대한 다시점 영상 파라미터가 이전 데이터 구간에 대한 다시점 영상 파라미터로부터 변동이 있는지 여부를 나타낸다.
본 발명의 다른 실시예에는 다시점 영상 파라미터 기록 파라미터 기록부(220)가 다시점 영상 파라미터 변동 파라미터 기록부(230)를 포함할 수도 있다.
다시점 영상 파라미터 기록부(240)는 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 다시점 영상 파라미터를 다시점 영상 데이터스트림(250)에 기록할지 여부를 결정한다. 다시점 영상 파라미터 기록 파라미터 뿐만 아니라 다시점 영상 파라미터 변동 파라미터도 입력된 경우, 다시점 영상 파라미터 기록부(240)는 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 변동 파라미터의 값을 고려하여 다시점 영상 파라미터를 다시점 영상 데이터스트림(250)에 기록할지 여부를 결정한다.
다시점 영상 파라미터 기록 파라미터의 값에 따라 다시점 영상 파라미터가 다시점 영상 데이터스트림(250)에 기록되어야 한다고 결정되고, 다시점 영상 파라미터 변동 파라미터의 값에 따라 이전 데이터 구간에 대한 다시점 영상 파라미터와 다른 새로운 다시점 영상 파라미터가 다시점 영상 데이터스트림(250)에 기록되어야 한다고 결정되면, 다시점 영상 파라미터 기록부(240)는 다시점 영상 데이터스트림(250)에 다시점 영상 파라미터를 기록한다.
다시점 영상 파라미터는 다시점 영상에 대한 적어도 하나의 정보를 포함하며, 각각 정보는 적어도 하나의 데이터구간에 대해 개별적으로 설정된다. 즉, 다시점 영상 파라미터는 각각의 데이터구간마다 개별적으로 설정될 수도 있으며, 복수 개의 데이터구간마다 설정될 수도 있다. 다시점 영상 파라미터가 변경되지 않는 데이터구간의 개수가 일정하지 않을 수 있다. 모든 데이터 구간, 즉 하나의 데이터에 대해서 하나의 다시점 영상 파라미터 값이 일관적으로 유지될 수도 있다.
다시점 영상 파라미터는 다시점 영상 데이터를 획득한 카메라에 대한 카메라 파라미터, 및 다시점 영상을 시청시 발생하는 피로도의 감소를 위한 저피로도 파라미터 중 적어도 하나를 포함할 수 있다.
다시점 영상 파라미터가 카메라 파라미터 및 저피로도 파라미터일 수 있으므 로, 다시점 영상 파라미터 기록 파라미터는 카메라 파라미터가 다시점 영상 데이터 스트림에 기록되는지 여부에 대한 파라미터 및 저피로도 파라미터가 기록되는지 여부에 대한 파라미터 중 적어도 하나를 포함할 수 있다.
마찬가지로, 다시점 영상 파라미터 변동 파라미터는 카메라 파라미터가 이전 데이터 구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 파라미터, 및 저피로도 파라미터가 이전 데이터 구간에 대한 저피로도 파라미터로부터 변동이 있는지 여부를 나타내는 파라미터 중 적어도 하나를 포함할 수 있다.
카메라 파라미터는 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 거리 정보, 초점 정보, 회전각 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함한다. 다시점 카메라 시스템에서, 둘 이상의 카메라 사이의 거리가 하나의 축을 기준으로 정의할 수 없는 일반적인 경우라면, 카메라 파라미터는 카메라들 사이의 거리 정보 대신 카메라들 사이의 평행 이동 매트릭스 정보를 포함할 수 있으며, 회전각 정보 대신 회전각 매트릭스 정보를 포함할 수 있다.
저피로도 파라미터는 다시점 영상에 대한 권장 시청 거리 정보, 권장 디스플레이 크기 정보, 변이 벡터의 최소값 정보 및 변이 벡터의 최대값 정보 중 적어도 하나를 포함한다.
다시점 영상이 기준 시점 영상 및 나머지 시점 영상들로 구성될 때, 다시점 영상 파라미터는 기준 시점 영상에 대한 소정 다시점 영상 파라미터가 나머지 시점 영상에 대한 적어도 하나의 다시점 영상 파라미터를 참조하여 설정될 수 있다. 반대로, 나머지 시점 영상에 대한 소정 다시점 영상 파라미터가 기준 시점 영상에 대 한 소정 다시점 영상 파라미터를 참조하여 설정될 수도 있다.
본 발명의 일 실시예에서 다시점 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷이다. 다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷이고, ISO 기반의 미디어 파일 포맷이 moov 박스, mdat 박스 및 meta 박스를 포함할 때, 다시점 영상 파라미터는 moov 박스와 동일 레벨인 meta 박스의 하위 레벨 박스, moov 박스의 하위 레벨 박스, moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스 중 적어도 하나에 기록될 수 있다.
또한, 다시점 영상 파라미터는, trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스, mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스, trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스(이 meta 박스는 전술된 moov 박스와 동일 레벨인 meta 박스와는 다른 위치의 박스이다.) 및 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 mdat 박스에 기록되는 기초 스트림에 대한 정보가 기록되는 박스 중 적어도 어느 하나에 기록될 수 있다.
도 3 은 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 장치(300)는 다시점 영상 파라미터 기록 파라미터 추출부(310), 다시점 영상 파라미터 변동 파라미터 추출부(320), 다시점 영상 파라미터 추출부(330), 다시점 영상 데이터 추출부(340) 및 다시점 영상 복원부(350)를 포함한다.
다시점 영상 데이터스트림 복호화 장치(300)의 다시점 영상 파라미터는 다시 점 영상 데이터스트림 생성 장치(200)의 다시점 영상 파라미터와 동일하다.
다시점 영상 파라미터 기록 파라미터 추출부(310)는 수신된 다시점 영상 데이터스트림으로부터 다시점 영상 파라미터 기록 파라미터를 추출한다.
다시점 영상 파라미터 변동 파라미터 추출부(320)는 수신된 다시점 영상 데이터스트림으로부터 다시점 영상 파라미터 변동 파라미터를 추출한다.
본 발명의 다른 실시예는 다시점 영상 파라미터 기록 파라미터 추출부(320)가 다시점 영상 파라미터 변동 파라미터 추출부(330)를 포함할 수도 있다.
다시점 영상 파라미터 추출부(330)는 다시점 영상 파라미터 추출부(330)는 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 다시점 영상 파라미터를 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정한다. 또한, 다시점 영상 파라미터 변동 파라미터도 추출된 경우, 다시점 영상 파라미터 변동 파라미터 및 다시점 영상 파라미터 기록 파라미터를 고려하여 다시점 영상 파라미터를 다시점 영상 데이터스트림으로부터 추출할지 여부가 결정된다.
즉, 다시점 영상 파라미터 추출부(330)는, 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 파라미터 변동 파라미터를 분석한다. 분석 결과에 따라, 다시점 영상 파라미터 기록 파라미터가 다시점 영상 파라미터가 다시점 영상 데이터스트림에 기록되어 있고, 다시점 영상 파라미터 변동 파라미터가 이전 다시점 영상 파라미터로부터 값이 변동되었음이 파악된다면, 다시점 영상 파라미터 추출부(330)는, 새로운 다시점 영상 파라미터를 수신된 다시점 영상 데이터스트림으로부터 추출한다.
다시점 영상 데이터 추출부(340)는 다시점 영상 데이터스트림으로부터 다시점 영상 데이터를 추출한다.
다시점 영상 복원부(350)는 다시점 영상 파라미터 및 추출된 다시점 영상 데이터를 이용하여 다시점 영상을 복원한다.
전술된 바와 같이, 다시점 영상 데이터스트림이 ISO 기반의 파일 포맷이라면, 다시점 영상 파라미터는 다시점 영상에 대한 정보 및 파라미터를 저장하고 있는 박스로부터 추출될 수 있다. 다시점 영상에 대한 정보 및 파라미터를 저장하고 있는 박스는 전술된 각각의 실시예에 따라 결정될 수 있다.
이하, 도 4 내지 도 11을 참조하여 본 발명에서 제안되는 다시점 영상 파라미터가 기술된다.
도 4 는 카메라 파라미터의 신택스의 일 실시예를 도시한다.
본 발명의 일 실시예에 따른 카메라 파라미터 정의 신택스의 일 실시예(400)는 카메라 사이의 거리 정보(baseline), 초점 거리 정보(focal_length), 카메라 배치 방식 정보(is_camera_cross), 회전각 정보(rotation)를 정의한다. 회전각 정보(rotation)는 카메라 배치 방식 정보(is_camera_cross)가 교차식 카메라일 때에 정의된다. 또한, 카메라 파라미터는 카메라 사이의 거리 정보, 초점 거리 정보, 카메라 배치 방식 정보, 회전각 정보, 중점 정보(center_point), 픽셀의 가로세로비(aspect_ratio) 중 적어도 하나를 포함할 수도 있다.
도 5 는 카메라 파라미터의 신택스의 다른 실시예를 도시한다.
카메라 파라미터 정의 신택스의 다른 실시예(500)는 카메라 사이의 거리 정 보(baseline) 대신에 평행 이동 매트릭스 정보(translation[])를 정의할 수도 있다. 카메라가 두 개인 스테레오스코픽 시스템에서는 두 카메라가 좌표계의 한 축을 공유한다고 할 때, 공유된 한 축 상에서 카메라 사이의 거리 정보(baseline)만으로 두 카메라 사이의 평행 이동 정보가 표현되지만, 일반적인 다시점 시스템에서는 항상 카메라 좌표계들이 서로 축을 공유한다고 가정될 수 없다. 따라서 일반적인 다시점 시스템에서 카메라 사이의 거리를 나타내기 위해서는, 각각의 시점마다 특정 시점의 카메라 좌표계를 기준으로 상대적인 값으로 표현되는 평행 이동 매트릭스 정보(translation[])가 필요하다.
또한, 일반적인 다시점 시스템에서의 카메라들은 회전각 정보가 하나의 값으로 정의될 수 없으므로, 회전각 매트릭스 정보(rotation[])가 필요하다.
도 6 은 저피로도 파라미터의 신택스의 일 실시예를 도시한다.
본 발명의 일 실시예에 따른 저피로도 파라미터 정의 신택스의 일 실시예(600)는 권장 시청 거리 정보(ViewingDistance), 권장 디스플레이 크기 정보(DisplaySizeWidth / DisplaySizeHeight), 변이 벡터의 최소값 정보(MinofDisparity) 및 변이 벡터의 최대값 정보(MaxofDisparity)를 정의한다. 권장 시청 거리 정보(ViewingDistance), 권장 디스플레이 크기 정보(DisplaySizeWidth / DisplaySizeHeight)는 다시점 영상을 제공한 컨텐츠 제공자 측이, 제공된 다시점 영상이 최적의 환경에서 재생될 수 있도록 권장하는 정보들일 수 있다. 변이 벡터의 최소값 정보(MinofDisparity) 및 변이 벡터의 최대값 정보(MaxofDisparity)는 다시점 영상의 다른 시점 영상 사이의 변이 벡터 값의 대표 값의 일례이다. 본 실시예 외에도 저피로도 파라미터는 권장 시청 거리 정보, 권장 디스플레이 크기 정보, 변이 벡터의 최소값 정보 및 변이 벡터의 최대값 정보 중 적어도 하나를 포함할 수 있다.
도 7 은 본 발명의 일 실시예에 따라 파라미터 기록 여부를 고려하여 카메라 파라미터 및 저피로도 파라미터를 정의하는 신택스의 일 실시예를 도시한다.
본 발명의 일 실시예는, 다시점 영상 파라미터 기록 파라미터를 이용하여 파라미터 기록 여부를 고려한다. 본 발명의 일 실시예는 다시점 영상 파라미터로써 카메라 파라미터(400, 500) 및 저피로도 파라미터(600)가 있을 수 있으므로, 다시점 영상 파라미터 기록 파라미터로써 카메라 파라미터 기록 파라미터(is_camParams, 710) 및 저피로도 파라미터 기록 파라미터(is_displaySafetyInfo, 720)를 포함할 수 있다.
도 7 의 실시예에서는 카메라 파라미터 및 저피로도 파라미터가 함께 정의되어 있으나, 다시점 영상 파라미터가 항상 카메라 파라미터 및 저피로도 파라미터를 동시에 포함할 필요는 없다. 마찬가지로 카메라 파라미터 기록 파라미터 및 저피로도 파라미터 기록 파라미터도 각각의 다시점 영상 파라미터가 정의되는지 여부에 따라 정의된다.
ID 관련 파라미터 정의 신택스(730)는 데이터의 아이템들을 식별하기 위한 아이템 ID에 따른 다시점 영상 파라미터들의 활용 여부를 나타낸다. 여기서 데이터의 아이템은 여러 가지 데이터 단위일 수 있으며, 데이터 구간(fragment), 프레임, 기초 스트림(elementary stream, ES) 단위일 수도 있다. 예를 들어, ID 관련 파라 미터 정의 신택스(730)는 다시점 영상을 구성하는 각각의 시점 영상이 기록되는 각각의 기초 스트림(ES)을 식별하기 위해 정의된 아이템 ID에 따라 다시점 영상 파라미터가 정의되었는지 여부(is_camParamID, is_displaySafeInfoID)를 나타낸다. 아이템 ID 별 다시점 영상 파라미터들의 활용 방법은 이하 도 8a 및 도 8b 를 참고하여 기술된다.
'reserved', 'Reserved'는 차후 정의되기 위한 예약 할당 비트를 나타낸다.
카메라 파라미터 관련 신택스의 일 실시예(740)는 카메라 파라미터 기록 파라미터(is_camParams, 742)에 의해 카메라 파라미터가 다시점 영상 데이터스트림에 기록된다고 결정되면 카메라 파라미터를 정의된다. 또한, 아이템 ID 별로 카메라 파라미터가 정의되는지 여부를 나타내는 파라미터(is_camParamsID, 744)에 의해 아이템 ID 별로 카메라 파라미터가 정의되는지 결정된다. 카메라 파라미터는 (A)(746)에서 카메라 파라미터가 정의됨으로써 설정되며, (A)(746)에는 카메라 파라미터 정의 신택스의 일 실시예(400) 및 다른 실시예(500)가 포함될 수 있다.
카메라 파라미터와 마찬가지로 저피로도 파라미터 관련 신택스의 일 실시예(750)도 저피로도 파라미터 기록 파라미터(is_displaySafetyInfo, 752) 및 아이템 ID 별로 저피로도 파라미터가 정의되는지 여부를 나타내는 파라미터(is_displaySafeInfoID, 754)에 의해 저피로도 파라미터가 정의되는지 결정된다. (B)(756)에는 저피로도 파라미터 정의 신택스의 일 실시예(600)가 포함될 수 있다.
전술된 바와 같이, 다시점 영상에 대해 카메라 파라미터만 설정된 경우에는 카메라 파라미터 신택스(740)만 정의되면 되고, 다시점 영상에 대해 저피로도 파라 미터만 설정된 경우에는 저피로도 파라미터 신택스(750)만 정의되면 된다.
도 8a 은 파라미터 ID를 이용하여 파라미터끼리 참조하는 일 방식을 도시한다.
다시점 영상 데이터스트림(800)은 ftyp 박스, moov 박스(820), mdat 박스(810)를 포함한다. mdat 박스(810)는 다시점 영상 미디어 데이터를 포함하며, moov 박스(820)는 mdat 박스(810)의 다시점 영상 미디어 데이터에 대한 각종 정보 및 파라미터들을 포함한다.
다시점 영상 미디어 데이터는 복수의 시점에 대한 영상 데이터를 포함하며, 각각의 시점에 대한 영상 데이터가 별개의 기초 스트림에 저장될 수 있다. 즉, 각각의 스테레오스코픽 기초 스트림(stereoscopic ES)(812, 814, 817)은 각각 다른 시점 영상 데이터를 포함한다.
moov 박스(820)의 각각의 trak 박스(822, 824, 827)는 각각의 기초 스트림(812, 814, 817)에 대한 파라미터를 포함한다. 각각의 trak 박스(822, 824, 827)는 meta 박스(823, 825, 828)를 포함한다. ISO 기반의 미디어 파일 포맷은 ftyp 박스, moov 박스, mdat 박스와 동일 레벨의 meta 박스를 포함할 수 있지만, trak 박스의 하위 레벨에 또 다른 meta 박스가 포함될 수 있다. 본 발명의 일 실시예는 meta 박스(825, 828)가 cmsi 박스(826, 829)를 포함하고, 다시점 영상 파라미터를 cmsi 박스(826, 829)에 저장한다. 즉, 기초 스트림(814)의 다시점 영상 데이터에 대한 다시점 영상 파라미터는 cmsi 박스(826)에 기록되며, 기초 스트림(817)의 다시점 영상 데이터에 대한 다시점 영상 파라미터는 cmsi 박스(829)에 기록된다.
다시점 영상 데이터스트림(800)에서 아이템은 기초 스트림 별로 정의되고, 아이템이 서로 식별되도록 아이템 ID가 정의될 수 있다. 본 발명의 일 실시예는 다시점 영상 파라미터가 관련 영상 데이터의 아이템 ID 별로 독립적으로 설정되므로, 각각의 기초 스트림 ID에 대응되는 다시점 영상 파라미터가 정의된다.
이 경우, 설명의 편의를 위해 기초 스트림(812)이 기준 시점 영상 데이터에 대한 기초 스트림이라고 가정하자. meta 박스(823)는 기초 스트림 812의 기준 시점 영상 데이터에 대한 파라미터를 포함하고 있다. cmsi 박스(826)의 다시점 영상 파라미터는 기초 스트림(814)의 기준 시점이 아닌 한 시점 영상 데이터에 대한 파라미터이며, cmsi 박스(829)의 다시점 영상 파라미터는 기초 스트림(817)의 또 다른 시점 영상 데이터에 대한 파라미터이다.
cmsi 박스(826) 및 cmsi 박스(829)의 다시점 영상 파라미터들은 각각 meta 박스(823)의 파라미터를 참조할 수 있다. 예를 들어, 기준 시점이 아닌 다른 시점 영상 파라미터가 기준 시점 영상 파라미터에 상대적인 값으로 설정된 경우, cmsi 박스(826) 및 cmsi 박스(829)의 다시점 영상 파라미터들은 meta 박스(823)의 기준 시점 영상 파라미터를 이용하여 해석되어야 하므로, meta 박스(823)의 파라미터를 참조할 수 있다.
도 8b 는 파라미터 ID를 이용하여 파라미터끼리 참조하는 다른 방식으로 도시한다.
아이템 ID에 따라 정의된 다시점 영상 파라미터를 분석하기 위해 도 8a와 같이 기준 시점 영상 파라미터를 제외한 다른 시점 영상 파라미터가 각각 기준 시점 영상 파라미터를 참조하는 방식 이외에도, 기준 시점 영상 파라미터가 다른 시점 영상 파라미터를 참조할 수도 있다.
즉, meta 박스(823)의 기준 시점 영상 파라미터를 설정하거나 분석하기 위해, 기준 시점 영상 파라미터에 cmsi 박스(826)의 한 시점 영상 파라미터 및 cmsi 박스(829)의 다른 시점 영상 파라미터 등 다른 시점 영상 파라미터들 중 적어도 하나가 참조될 수 있다.
도 8a 및 도 8b의 실시예에서, 다시점 영상이 스테레오스코픽 영상일 때, 기준 시점 영상이 좌시점 영상이며, 다른 시점 영상이 우시점 영상일 수 있다. 이러한 경우에는 우시점 영상에 대한 파라미터가 기준 시점 영상인 좌시점 영상에 대한 파라미터를 참조할 수 있으며, 기준 시점 영상인 좌시점 영상에 대한 파라미터가 우시점 영상에 대한 파라미터를 참조할 수도 있다.
도 9 는 본 발명의 일 실시예에 따라 파라미터 기록 여부 및 파라미터 변동 여부를 고려하여 카메라 파라미터 및 저피로도 파라미터를 정의하는 신택스의 일 실시예를 도시한다.
도 9의 신택스는 카메라 파라미터 기록 파라미터(is_camParams, 910), 저피로도 파라미터 기록 파라미터(is_displaySafetyInfo, 920)를 이용하여 다시점 영상 파라미터 기록 여부를 판단한다. 또한, 다시점 영상 파라미터 변동 파라미터를 이용하여 현재 데이터 구간에 대한 다시점 영상 파라미터가 이전 데이터 구간에 대한 다시점 영상 파라미터로부터 변동이 있는지 여부를 파악한다. 다시점 영상 파라미터 변동 파라미터는 카메라 파라미터 변동 파라미터(is_camParamsChanged, 930), 저피로도 파라미터 변동 파라미터(is_displaySafeInfoChanged, 940)를 포함할 수 있다.
다시점 영상 파라미터 변동 파라미터는 이전 데이터 구간에 대한 다시점 영상 파라미터 및 현재 데이터 구간에 대한 다시점 영상 파라미터를 비교한다. 현재 데이터 구간에 대한 다시점 영상 파라미터가 이전 데이터 구간에 대한 다시점 영상 파라미터로부터 바뀌지 않았다면, 이전 다시점 영상 파라미터를 그대로 사용하면 되므로, 현재 데이터 구간에 대한 다시점 영상 파라미터를 다시 이용할 수 있다.
따라서 다시점 영상 데이터스트림 생성 장치(200)는 다시점 영상 파라미터 변동 파라미터(930, 940)를 확인한 후 다시점 영상 데이터스트림에 현재 데이터 구간에 대한 다시점 영상 파라미터를 기록할지 결정한다. 또한, 다시점 영상 데이터스트림 복호화 장치(300)는 다시점 영상 파라미터 변동 파라미터(930, 940)를 확인하고 다시점 영상 데이터스트림으로부터 다시점 영상 파라미터를 추출한다. 데이터 구간 별로 다시점 영상 데이터스트림을 비교하므로 for 조건문 내에서 정의된다.
카메라 파라미터 관련 신택스(950)에서는 카메라 파라미터 기록 파라미터(910) 및 카메라 파라미터 변동 파라미터(930)의 값을 조건부(952)로 카메라 파라미터 설정 여부가 결정된다. 즉, 카메라 파라미터 기록 파라미터(910)가 '참'이어야 카메라 파라미터가 다시점 영상 데이터스트림에 포함되고, 동시에 카메라 파라미터 변동 파라미터(930)가 '참'이어야, 변동된 현재 데이터 구간에 대한 새로운 다시점 영상 파라미터가 다시점 영상 데이터스스트림에 포함된다. 따라서, 두 파라미터(910, 930)가 모두 '참'이어야, (A) 부분(955)에 포함된 카메라 파라미터 정의 신택스(400, 500)에 따른 카메라 파라미터 정의가 수행된다.
(i) 카메라 파라미터가 다시점 영상 데이터스트림에 기록되지 않으므로 카메라 파라미터 기록 파라미터(910)가 '거짓'이거나, (ii) 현재 데이터 구간에 대한 카메라 파라미터가 이전 데이터 구간에 대한 카메라 파라미터로부터 바뀌지 않아서 카메라 파라미터 변동 파라미터(930)가 '거짓'이라면, (A)(955)의 카메라 파라미터 설정이 수행되지 않는다.
또한, 저피로도 파라미터 관련 신택스(960)에서는 저피로도 파라미터 기록 파라미터(920) 및 저피로도 파라미터 변동 파라미터(940)의 값을 조건부로(962) 카메라 파라미터 설정 여부가 결정된다. 즉, 저피로도 파라미터 기록 파라미터(920)도 '참'이고, 저피로도 파라미터 변동 파라미터(920)도 '참'이어야, (B) 부분(965)에 포함된 저피로도 파라미터 정의 신택스(600)가 포함된다.
도 10 는 본 발명의 일 실시예에 따라 파라미터 기록 여부 및 파라미터 동일성 여부를 고려하여 카메라 파라미터 및 저피로도 파라미터를 정의하는 신택스의 다른 실시예를 도시한다.
도 10 의 신택스는 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 파라미터 동일성 파라미터를 고려하여 다시점 영상 파라미터를 정의한다. 카메라 파라미터 동일성 파라미터(is_camParamsSame, 1030) 및 저피로도 파라미터 동일성 파라미터(is_displaySafetyInfo, 1040)는 각각 현재 데이터 구간에 대한 카메라 파라미터 및 저피로도 파라미터가 이전 데이터 구간에 대한 파라미터와 동일한지 여부를 나타낸다.
카메라 파라미터 관련 신택스(1050)는 카메라 파라미터 기록 파라미터(is_camParams) 및 카메라 파라미터 동일성 파라미터(is_camParamsSame, 1030)를 고려하여 정의된다. 즉, 카메라 파라미터가 다시점 영상 파라미터에 기록되므로 카메라 파라미터 기록 파라미터가 '참'이고, 현재 데이터 구간에 대한 카메라 파라미터가 이전 데이터 구간에 대한 카메라 파라미터와 동일하지 않아 카메라 파라미터 동일성 파라미터가 '거짓'이라면(1052), 카메라 파라미터가 새로이 정의되어야 하므로 (A)(1055)에 포함되는 카메라 파라미터 정의 신택스가 수행된다.
저피로도 파라미터 관련 신택스(1060)도 마찬가지로 저피로도 파라미터 기록 파라미터(is_displaySafetyInfo) 및 카메라 파라미터 동일성 파라미터(is_displaySafeInfoSame, 1040)를 고려하여 정의된다. 즉, 저피로도 파라미터가 다시점 영상 파라미터에 기록되므로 저피로도 파라미터 기록 파라미터가 '참'이고, 현재 데이터 구간에 대한 저피로도 파라미터가 이전 데이터 구간에 대한 저피로도 파라미터와 동일하지 않아 저피로도 파라미터 동일성 파라미터가 '거짓'이라면(1062), (B)(1065)에 포함되는 저피로도 파라미터 정의 신택스가 수행된다. 전역적으로 파라미터가 정의됨으로써 데이터 구간 별로 개별적으로 정의된 파라미터의 저장 공간이 절약될 수 있다.
도 11 은 본 발명의 일 실시예에 따라 다시점 영상 파라미터가 전역적으로 정의하는 신택스의 일 실시예를 도시한다.
본 발명의 다시점 영상 파라미터는 데이터 구간 별로 설정될 수 있지만, 전체 데이터 구간에 걸쳐 일정한 다시점 영상 파라미터가 설정될 수 있다. 전역적 저 피로도 파라미터 신택스(1110)는 전체 데이터 구간에 대해 일정한 일부 저피로도 파라미터를 정의하므로, for 조건문에 포함되지 않은 채 전역적으로 정의된다. 부분적 저피로도 파라미터 신택스(1160)는 전역적으로 설정되지 않은 나머지 저피로도 파라미터들(1165)이 for 조건문 내에서 정의된다. 도 11은 전역적 저피로도 파라미터만을 예로 들고 있지만, 카메라 파라미터도 전역적으로 정의될 수 있다.
이상 도 7 내지 도 11의 다시점 영상 파라미터 신택스들의 실시예들은 카메라 파라미터 및 저피로도 파라미터가 함께 정의되었지만, 카메라 파라미터 및 저피로도 파라미터 중 하나만이 정의될 수 있음은 전술한 바와 같다.
이하, 도 12 내지 도 14를 참조하여 본 발명에서 제안되는 다시점 영상 파라미터가 ISO 기반의 미디어 파일 포맷에서의 저장되는 실시예들에 대해 기술된다.
도 12 는 본 발명의 일 실시예에 따른 카메라 파라미터 및 저피로도 파라미터가 저장될 ISO 기반의 미디어 파일 포맷의 박스 리스트를 도시한다.
ISO 기반의 미디어 파일 포맷의 가장 상위 레벨 박스에는 ftyp 박스, moov 박스, mdat 박스, meta 박스가 있을 수 있다. ftyp 박스는 파일 타입 및 호환성에 대한 정보를 수록하며, moov 박스는 타임드 리소스들(timed resources)의 모든 메타데이터를 위한 공간이다. mdat 박스는 미디어 데이터의 저장 공간이며, meta 박스는 메타데이터가 기록된다. 본 발명에서 정의되는 카메라 파라미터 및 저피로도 파라미터를 포함하는 다시점 영상 파라미터의 실시예들은 다시점 영상 및 단시점 영상 정보가 수록되는 cmsi 박스에 포함된다.
cmsi 박스는 moov 박스의 하위 레벨 박스(1210), moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스(1220), trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스(1230), trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스(1240), 및 mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스(1250), moov 박스와 동일 레벨인 상기 meta 박스의 하위 레벨 박스(1260) 중 적어도 하나에 포함될 수 있다. 또한, trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중, mdat 박스에 기록되는 기초 스트림에 대한 정보가 기록되는 박스에 cmsi 박스가 포함될 수도 있다.
도 13 은 본 발명의 일 실시예에 따른 카메라 파라미터 및 저피로도 파라미터가 저장될 ISO 기반의 미디어 파일 포맷의 박스 위치를 도시한다.
다시점 영상 데이터스트림(1300)은 ISO 기반의 미디어 파일 포맷으로서, ftyp 박스, moov 박스(1320), mdat 박스(1310)을 포함하고 있다. mdat 박스(1310)에는 기초스트림들(1312, 1316)이 저장되어 있으며, moov 박스(1320)에는 기초스트림 1312에 대한 파라미터가 저장된 trak 박스(1322) 및 기초스트림 1316에 대한 파라미터가 저장된 trak 박스(1326)가 포함되어 있다.
다시점 영상 데이터스트림(1300)은 도 12 에서 전술된 cmsi 박스의 실시예들 중 한 박스 위치(1260)에 위치한 cmsi 박스의 경우에 해당한다. 즉, trak 박스(1322)의 하위 레벨인 meta 박스(1323)의 하위 레벨에, 기초 스트림(1312)에 대한 정보를 수록하고 있는 파라미터를 포함하는 cmsi 박스(1324)가 위치한다.
마찬가지로 trak 박스(1326)의 하위 레벨인 meta 박스(1327)의 하위 레벨에, 기초 스트림(1316)에 대한 정보를 수록하고 있는 파라미터를 포함하는 cmsi 박스(1328)가 위치한다.
도 14 는 본 발명의 다른 실시예에 따른 카메라 파라미터 및 저피로도 파라미터가 저장될 ISO 기반의 미디어 파일 포맷의 박스 위치를 도시한다.
다시점 영상 데이터스트림(1400)은 ftyp 박스, mdat 박스(1410), moov 박스(1420)를 포함하며, mdat 박스(1410)은 기초스트림(1421)를, moov 박스는 기초스트림(1412)에 대한 정보를 나타내는 파라미터를 포함하는 trak 박스(1422)를 포함한다. trak 박스(1422)는 meta 박스(1423)를 포함하며, meta 박스(1423)는 기초스트림(1412)에 대한 정보를 가지고 있는 박스(1424)를 포함한다. meta 박스(1423)의 하위 레벨의 박스(1424)가 cmsi 박스(1425)를 포함하므로, 본 발명의 다시점 영상 파라미터들을 수록할 수 있다.
도 15 는 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 방법의 흐름도를 도시한다.
단계 1510에서, 다시점 영상 데이터스트림에 다시점 영상 데이터가 기록된다. 다시점 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷일 수 있다.
단계 1520에서, 다시점 영상 데이터에 대한 다시점 영상 파라미터 기록 파라미터가 다시점 영상 데이터스트림에 기록된다. 다시점 영상 파라미터 기록 파라미터는 다시점 영상 파라미터가 다시점 영상 데이터스트림에 기록되는지 여부를 나타낸다. 다시점 영상 파라미터는 카메라 파라미터 및 저피로도 파라미터 중 적어도 하나를 포함할 수 있다. 마찬가지로 다시점 영상 파라미터 기록 파라미터로써, 카메라 파라미터 기록 파라미터 및 저피로도 파라미터 기록 파라미터 중 하나를 해당 파라미터에 대해 설정될 수 있다.
단계 1530에서, 다시점 영상 파라미터 변동 파라미터가 다시점 영상 데이터스트림에 기록된다. 다시점 영상 파라미터 변동 파라미터는 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타낸다. 카메라 파라미터 변동 파라미터 및 저피로도 파라미터 변동 파라미터 중 하나가 해당 파라미터에 대해 설정될 수 있다.
단계 1540에서, 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 파라미터 변동 파라미터의 값에 기초하여 다시점 영상 파라미터를 다시점 영상 데이터스트림에 기록할지 여부가 결정된다. 다시점 영상 파라미터가 기록될 것을 결정되면, 다시점 영상 데이터스트림에 다시점 영상 파라미터가 기록된다.
도 15의 흐름도는 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 파라미터 변동 파라미터가 모두 정의된 경우를 기술하였으나, 두 파라미터 중 하나만 있을 수 있으며, 한 파라미터만 정의된 경우 해당 파라미터의 조건이 만족되는 경우 다시점 영상 파라미터가 다시점 영상 데이터스트림에 기록될 수 있다.
도 16 는 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 방법의 흐름도를 도시한다.
단계 1610에서, 다시점 영상 파라미터 기록 파라미터가 다시점 영상 데이터스트림으로부터 추출된다. 카메라 파라미터 기록 파라미터 및 저피로도 파라미터 기록 파라미터 중 적어도 하나가 추출될 수 있다.
단계 1620에서, 다시점 영상 파라미터 변동 파라미터가 다시점 영상 데이터 스트림으로부터 추출된다. 카메라 파라미터 변동 파라미터 및 저피로도 파라미터 변동 파라미터 중 적어도 하나가 추출될 수 있다.
단계 1630에서, 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 변동 파라미터의 값에 기초하여 다시점 영상 파라미터가 다시점 영상 데이터스트림으로부터 추출될지 여부가 결정된다. 다시점 영상 파라미터가 추출될 것으로 결정되면, 다시점 영상 데이터스트림으로부터 다시점 영상 파라미터가 추출된다.
다시점 영상 데이터스트림 복호화 방법에서, 다시점 영상 데이터스트림으로부터 다시점 영상 데이터도 추출될 수 있다. 추출된 다시점 영상 파라미터 및 추출된 다시점 영상 데이터를 이용하여 다시점 영상이 복원될 수 있다.
도 16의 흐름도는 다시점 영상 파라미터 기록 파라미터 및 다시점 영상 파라미터 변동 파라미터가 모두 정의된 경우를 기술하였으나, 두 파라미터 중 하나만 있을 수 있으며, 한 파라미터만 정의된 경우 해당 파라미터의 조건이 만족되는 경우 다시점 영상 파라미터가 다시점 영상 데이터스트림으로부터 추출될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 ISO(International Standardization Organization) 기반의 미디어 파일 포맷의 구조를 도시한다.
도 2 는 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 장치의 블록도를 도시한다.
도 3 은 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 장치의 블록도를 도시한다.
도 4 는 카메라 파라미터의 신택스의 일 실시예를 도시한다.
도 5 는 카메라 파라미터의 신택스의 다른 실시예를 도시한다.
도 6 은 저피로도 파라미터의 신택스의 일 실시예를 도시한다.
도 7 은 본 발명의 일 실시예에 따라 파라미터 기록 여부를 고려하여 카메라 파라미터 및 저피로도 파라미터를 정의하는 신택스의 일 실시예를 도시한다.
도 8a 은 파라미터 ID를 이용하여 파라미터끼리 참조하는 일 방식을 도시한다.
도 8b 는 파라미터 ID를 이용하여 파라미터끼리 참조하는 다른 방식으로 도시한다.
도 9 는 본 발명의 일 실시예에 따라 파라미터 기록 여부 및 파라미터 변동 여부를 고려하여 카메라 파라미터 및 저피로도 파라미터를 정의하는 신택스의 일 실시예를 도시한다.
도 10 는 본 발명의 일 실시예에 따라 파라미터 기록 여부 및 파라미터 동일 성 여부를 고려하여 카메라 파라미터 및 저피로도 파라미터를 정의하는 신택스의 다른 실시예를 도시한다.
도 11 은 본 발명의 일 실시예에 따라 다시점 영상 파라미터가 전역적으로 정의하는 신택스의 일 실시예를 도시한다.
도 12 는 본 발명의 일 실시예에 따른 카메라 파라미터 및 저피로도 파라미터가 저장될 ISO 기반의 미디어 파일 포맷의 박스 리스트를 도시한다.
도 13 은 본 발명의 일 실시예에 따른 카메라 파라미터 및 저피로도 파라미터가 저장될 ISO 기반의 미디어 파일 포맷의 박스 위치를 도시한다.
도 14 는 본 발명의 다른 실시예에 따른 카메라 파라미터 및 저피로도 파라미터가 저장될 ISO 기반의 미디어 파일 포맷의 박스 위치를 도시한다.
도 15 는 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 생성 방법의 흐름도를 도시한다.
도 16 는 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 복호화 방법의 흐름도를 도시한다.

Claims (27)

  1. 다시점 영상 데이터스트림을 생성하는 방법에 있어서,
    상기 다시점 영상 데이터스트림에 다시점 영상 데이터를 기록하는 단계;
    상기 다시점 영상 데이터에 대한 다시점 영상 파라미터가 상기 다시점 영상 데이터스트림에 기록되는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 상기 다시점 영상 데이터스트림에 기록하는 단계; 및
    상기 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록할지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  2. 제 1 항에 있어서,
    상기 다시점 영상 파라미터 기록 파라미터 기록 단계는, 상기 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 상기 다시점 영상 데이터스트림에 기록하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  3. 제 2 항에 있어서, 상기 다시점 영상 파라미터 기록 여부 결정 단계는,
    상기 다시점 영상 파라미터 기록 파라미터 및 상기 다시점 영상 파라미터 변 동 파라미터 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록할지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  4. 제 3 항에 있어서, 상기 다시점 영상 파라미터 기록 여부 결정 단계는,
    상기 현재 데이터구간의 다시점 영상 파라미터가 상기 이전 데이터구간의 다시점 영상 파라미터로부터 변동되어 상기 다시점 영상 파라미터 변동 파라미터 값이 '1'로 설정되고,
    상기 다시점 영상 데이터스트림에 상기 다시점 영상 파라미터를 기록할 것으로 결정되어 상기 다시점 영상 파라미터 기록 파라미터의 값이 '1'로 설정된 경우,
    상기 다시점 영상 파라미터 기록 파라미터 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여, 상기 현재 데이터구간의 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림에 기록하기로 결정하고, 기록하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  5. 제 1 항에 있어서,
    상기 다시점 영상 파라미터는 상기 다시점 영상에 대한 적어도 하나의 정보를 포함하며, 각각 정보는 적어도 하나의 데이터구간에 대해 개별적으로 설정되는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  6. 제 1 항에 있어서,
    상기 다시점 영상 파라미터는, 상기 다시점 영상 데이터를 획득한 카메라에 대한 카메라 파라미터 및 상기 다시점 영상을 시청시 발생하는 피로도의 감소를 위한 저피로도 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  7. 제 6 항에 있어서,
    상기 카메라 파라미터는, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 거리 정보, 초점 정보, 회전각 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  8. 제 6 항에 있어서,
    상기 카메라 파라미터는, 상기 카메라가 다시점 카메라인 경우, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 평행 이동 매트릭스 정보, 초점 정보, 회전각 매트릭스 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  9. 제 6 항에 있어서,
    상기 저피로도 파라미터는, 상기 다시점 영상에 대한 권장 시청 거리 정보, 권장 디스플레이 크기 정보, 변이 벡터의 최소값 정보 및 변이 벡터의 최대값 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  10. 제 1 항에 있어서,
    상기 다시점 영상이 기준 시점 영상 및 나머지 시점 영상들로 구성될 때,
    상기 다시점 영상 파라미터는, 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터가 나머지 시점 영상에 대한 적어도 하나의 다시점 영상 파라미터를 참조하여 설정되고,
    상기 나머지 시점 영상에 대한 소정 다시점 영상 파라미터가 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터를 참조하여 설정되는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  11. 제 1 항에 있어서,
    상기 다시점 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷인 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  12. 제 1 항에 있어서,
    상기 다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 다시점 영상 파라미터는,
    상기 moov 박스와 동일 레벨인 상기 meta 박스의 하위 레벨 박스;
    상기 moov 박스의 하위 레벨 박스;
    상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스;
    상기 trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스;
    상기 mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스;
    상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스; 및
    상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 상기 mdat 박스에 기록되는 기초 스트림에 대한 정보가 기록되는 박스 중 적어도 어느 하나에 기록되는 것을 특징으로 하는 다시점 영상 데이터스트림 생성 방법.
  13. 수신된 다시점 영상 데이터스트림을 복호화하는 방법에 있어서,
    상기 다시점 영상 데이터에 대한 다시점 영상 파라미터가 상기 다시점 영상 데이터스트림에 기록되어 있는지 여부를 나타내는 다시점 영상 파라미터 기록 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계; 및
    상기 다시점 영상 파라미터 기록 파라미터의 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  14. 제 13 항에 있어서,
    상기 다시점 영상 파라미터 기록 파라미터 추출 단계는, 상기 다시점 영상 데이터의 현재 데이터구간에 대한 다시점 영상 파라미터가 이전 데이터구간에 대한 카메라 파라미터로부터 변동이 있는지 여부를 나타내는 다시점 영상 파라미터 변동 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  15. 제 14 항에 있어서,
    상기 다시점 영상 파라미터 추출 여부 결정 단계는, 상기 다시점 영상 파라미터 기록 파라미터 값 및 상기 다시점 영상 파라미터 변동 파라미터 값에 기초하여 상기 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  16. 제 15 항에 있어서, 상기 다시점 영상 파라미터 추출 여부 결정 단계는,
    상기 다시점 영상 파라미터 변동 파라미터 값이 '1'이고, 상기 다시점 영상 파라미터 기록 파라미터의 값이 '1'인 경우,
    상기 현재 데이터구간의 다시점 영상 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하기로 결정하고, 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  17. 제 13 항에 있어서,
    상기 다시점 영상 데이터스트림으로부터 다시점 영상 데이터를 추출하는 단계; 및
    상기 다시점 영상 파라미터 및 상기 추출된 다시점 영상 데이터를 이용하여 다시점 영상을 복원하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  18. 제 13 항에 있어서,
    상기 다시점 영상 파라미터는 상기 다시점 영상에 대한 적어도 하나의 정보를 포함하며, 각각 정보는 적어도 하나의 데이터구간에 대해 개별적으로 설정되는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  19. 제 13 항에 있어서,
    상기 다시점 영상 파라미터는, 상기 다시점 영상 데이터를 획득한 카메라에 대한 카메라 파라미터 및 상기 다시점 영상을 시청시 발생하는 피로도의 감소를 위한 저피로도 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  20. 제 19 항에 있어서,
    상기 카메라 파라미터는, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 거리 정보, 초점 정보, 회전각 정보 및 카메라 배치 방법 정보 중 적어도 하 나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  21. 제 19 항에 있어서,
    상기 카메라 파라미터는, 중점 정보, 픽셀의 가로세로비 정보, 카메라들 사이의 평행 이동 매트릭스 정보, 초점 정보, 회전각 매트릭스 정보 및 카메라 배치 방법 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  22. 제 19 항에 있어서,
    상기 저피로도 파라미터는, 상기 다시점 영상에 대한 권장 시청 거리 정보, 권장 디스플레이 크기 정보, 변이 벡터의 최소값 정보 및 변이 벡터의 최대값 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  23. 제 13 항에 있어서,
    상기 다시점 영상이 기준 시점 영상 및 나머지 시점 영상들로 구성될 때,
    상기 다시점 영상 파라미터는, 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터가 나머지 시점 영상에 대한 적어도 하나의 다시점 영상 파라미터를 참조하여 설정되고,
    상기 나머지 시점 영상에 대한 소정 다시점 영상 파라미터가 상기 기준 시점 영상에 대한 소정 다시점 영상 파라미터를 참조하여 설정되는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  24. 제 13 항에 있어서,
    상기 다시점 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷인 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  25. 제 13 항에 있어서,
    상기 다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 다시점 영상 파라미터는,
    상기 moov 박스와 동일 레벨인 상기 meta 박스의 하위 레벨 박스;
    상기 moov 박스의 하위 레벨 박스;
    상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스;
    상기 trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스;
    상기 mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스;
    상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스; 및
    상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 상기 mdat 박스에 기록되는 기초 스트림에 대한 정보가 기록되는 박스 중 적어도 어느 하나로부터 추출되는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  26. 제 1 항 내지 제 12 항 중 어느 하나의 다시점 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
  27. 제 13 항 내지 제 25 항 중 어느 하나의 다시점 영상 데이터스트림 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
KR1020080015447A 2007-10-04 2008-02-20 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치 KR101396350B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/198,515 US8384764B2 (en) 2007-12-20 2008-08-26 Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US97746607P 2007-10-04 2007-10-04
US60/977,466 2007-10-04
US97880907P 2007-10-10 2007-10-10
US60/978,809 2007-10-10
US1540507P 2007-12-20 2007-12-20
US61/015,405 2007-12-20

Publications (2)

Publication Number Publication Date
KR20090034707A true KR20090034707A (ko) 2009-04-08
KR101396350B1 KR101396350B1 (ko) 2014-05-20

Family

ID=40760533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080015447A KR101396350B1 (ko) 2007-10-04 2008-02-20 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101396350B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128956A (ko) 2016-10-27 2016-11-08 에스케이플래닛 주식회사 대사 생성을 지원하는 멀티미디어 콘텐츠 제작을 위한 시스템, 이를 위한 장치, 이를 위한 단말, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20060047674A1 (en) * 2004-09-01 2006-03-02 Mohammed Zubair Visharam Method and apparatus for supporting storage of multiple camera views
KR101102004B1 (ko) * 2005-12-30 2012-01-04 삼성전자주식회사 3차원 입체 영상에 대한 피로도를 정량화하는 방법 및시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128956A (ko) 2016-10-27 2016-11-08 에스케이플래닛 주식회사 대사 생성을 지원하는 멀티미디어 콘텐츠 제작을 위한 시스템, 이를 위한 장치, 이를 위한 단말, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR101396350B1 (ko) 2014-05-20

Similar Documents

Publication Publication Date Title
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US9179124B2 (en) Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
EP2523461A1 (en) Image processing device, information recording medium, image processing method, and program
US8390674B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8929643B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US20080303832A1 (en) Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
KR101362941B1 (ko) 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
WO2011083625A1 (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
RU2462771C2 (ru) Устройство и способ для генерации и отображения медиа-файлов
US20090199100A1 (en) Apparatus and method for generating and displaying media files
KR20090037370A (ko) 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치, 그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및 장치
CN102484735A (zh) 用于视频图像的变速再现的方法和设备
US8384764B2 (en) Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
KR101390811B1 (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
KR101396350B1 (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치
US20140219640A1 (en) Method and apparatus for storing and playing 3d video source

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee