KR20090093734A - 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치 - Google Patents

다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치

Info

Publication number
KR20090093734A
KR20090093734A KR1020080044722A KR20080044722A KR20090093734A KR 20090093734 A KR20090093734 A KR 20090093734A KR 1020080044722 A KR1020080044722 A KR 1020080044722A KR 20080044722 A KR20080044722 A KR 20080044722A KR 20090093734 A KR20090093734 A KR 20090093734A
Authority
KR
South Korea
Prior art keywords
parameter
image
multiview
view image
view
Prior art date
Application number
KR1020080044722A
Other languages
English (en)
Inventor
김용태
송재연
이건일
황서영
김대식
김재승
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/266,870 priority Critical patent/US8878836B2/en
Publication of KR20090093734A publication Critical patent/KR20090093734A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다시점 영상 정보가 삽입되는 데이터스트림의 부호화 및 복호화에 관한 것이다.
본 발명에 따른 다시점 영상 데이터스트림 복호화 방법은 수신된 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림으로부터 다시점 영상 중 적어도 하나의 시점 영상 정보를 추출하고, 기초 스트림의 개수 및 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 다시점 영상 데이터스트림으로부터 다시점 영상에 관한 파라미터를 추출하여, 추출된 다시점 영상에 관한 파라미터 및 추출된 시점 영상 정보를 이용하여 다시점 영상을 복원함으로써, 3차원 영상의 화질을 개선할 수 있다.

Description

다시점 영상을 위한 부가 정보를 포함하는 데이터스트림 부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림 복호화 방법 및 장치{Method and apparatus for encoding a datastream including additional information on multiview images, and method and apparatus for decoding a datastream using the same}
본 발명은 다시점 영상 정보가 삽입되는 데이터스트림의 부호화 및 복호화에 관한 것이다.
최근의 영상 기술 분야에서 3차원 영상을 구현하는 방식에 대한 연구가 활발히 진행되고 있다. 3차원 영상을 효과적으로 구현함으로써 3차원 현실이 보다 사실적으로 표현될 수 있다. 현재 3차원 영상을 재생하는 방식은, 인간 시각 특성을 활용하여 기존의 2차원 디스플레이 장치에 대해 각각 적절한 위치 및 시간에 좌측 시점 영상 및 우측 시점 영상을 주사한 후, 좌측 시점 정보 및 우측 시점 정보를 사용자의 좌안 및 우안에 각각 분리하여 상이 맺히게 함으로써 사용자가 3차원 입체감을 느끼게 하는 원리를 이용하고 있다.
하지만 사용자가 현재 3차원 영상 재생 방식에 따른 3차원 영상을 시청할 때 발생하는 피로도는 3차원 영상 사용 분야의 확산 및 3차원 영상 기술의 발전에 큰 걸림돌이 되고 있다. 이러한 문제점을 해결하기 위해 좌측 시점 영상 및 우측 시점 영상의 변이를 이용하는 3차원 영상의 시청시 발생하는 피로도를 완화시키는 저피로도 알고리즘이 제안되었다. 또한, 좌측 시점 영상 및 우측 시점 영상의 정확한 재생을 위해 좌측 시점 영상 및 우측 시점 영상을 촬영한 카메라에 대한 정보를 표현하는 방법에 대해서도 제안되었다.
본 발명은 3차원 영상을 위한 다시점 영상 데이터스트림에 3차원 영상의 정확한 복원을 위해 정의된 부가 정보를 포함시킴으로써 3차원 영상 재생 정보를 효율적으로 저장하고 전송하기 위해 다시점 영상 데이터스트림을 부호화하는 방법 및 장치를 제공한다.
또한, 3차원 영상을 위한 다시점 영상 데이터스트림으로부터 3차원 영상의 정확하고 안정적인 복원레 필요한 부가 정보를 추출하기 위해 다시점 영상 데이터스트림을 복호화하는 방법 및 장치를 제공한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 부호화 방법은, 상기 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림에 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 포함하는 영상 정보를 삽입하는 단계; 상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여 상기 다시점 영상에 관한 파라미터를 결정하는 단계; 및 상기 다시점 영상 데이터스트림에 상기 다시점 영상에 관한 파라미터를 삽입하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함할 수 있다.
상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 디스플레이 화면의 폭에 관한 파라미터, 상기 디스플레이 화면의 높이에 관한 파라미터 및 상기 시청 거리에 관한 파라미터를 상기 다시점 영상의 모든 시점 영상에 대해 동일한 값으로 결정하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터를, 상기 다시점 영상 중 기준 시점 영상을 기준으로 상대적으로 표현된 값으로 결정하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 다시점 영상에 관한 파라미터를, 상기 다시점 영상 정보의 기초 스트림의 관련 정보들이 삽입된 박스보다 상위 박스에 삽입할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 다시점 영상에 관한 파라미터를, 상기 기준 시점을 제외한 시점 영상의 기초 스트림의 관련 정보들이 삽입된 박스와 동일한 레벨의 박스에 삽입할 수 있다.
상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고, 상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값으로 표현되고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스로 표현되고, 상기 회전 파라미터는, 하나의 값으로 표현되거나 둘 이상의 값을 포함하는 매트릭스로 표현될 수 있다.
상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 하나의 기초 스트림에 삽입하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현하는 단계를 포함할 수 있다.
상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 하나의 기초 스트림에 삽입하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 별개의 박스에 삽입하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스들에 삽입하는 단계를 포함할 수 있다.
상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 데이터스트림은 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비하고, 각각의 기초 스트림에 상기 다시점 영상 중 한 시점 영상 정보씩을 삽입하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 결정하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 결정하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 결정하는 단계를 더 포함할 수 있다.
상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 데이터스트림은 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비하고, 하나의 기초 스트림에 상기 다시점 영상 중 한 시점 영상 정보씩을 삽입하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 카메라 파라미터는 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 다시점 영상 정보에 관한 파라미터는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 삽입되는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상에 관한 파라미터를, 각각의 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들에 삽입하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상에 관한 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스에 모두 삽입하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 삽입하는 단계는, 상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우, 상기 각각의 시점에 대한 다시점 영상 파라미터를, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들에 삽입하는 단계를 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림을 복호화하는 방법은, 상기 수신된 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림으로부터 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 추출하는 단계; 상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 상기 다시점 영상 데이터스트림으로부터 상기 다시점 영상에 관한 파라미터를 추출하는 단계; 및 상기 추출된 다시점 영상에 관한 파라미터 및 상기 추출된 시점 영상 정보를 이용하여 상기 다시점 영상을 복원하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함할 수 있다.
상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함할 수 있다.
상기 디스플레이 화면의 폭에 관한 파라미터, 상기 디스플레이 화면의 높이에 관한 파라미터 및 상기 시청 거리에 관한 파라미터는 상기 다시점 영상의 모든 시점 영상에 대해 동일한 값일 수 있다.
상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터는, 상기 다시점 영상 중 기준 시점 영상을 기준으로 상대적으로 표현된 값일 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상에 관한 파라미터를, 상기 다시점 영상 정보의 기초 스트림의 관련 정보들이 삽입된 박스보다 상위 박스로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상에 관한 파라미터를, 상기 기준 시점을 제외한 시점 영상의 기초 스트림의 관련 정보들이 삽입된 박스와 동일한 레벨의 박스로부터 추출하는 단계를 포함할 수 있다.
상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고, 상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값이고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스이고, 상기 회전 파라미터는, 하나의 값이거나 둘 이상의 값을 포함하는 매트릭스일 수 있다.
상기 다시점 영상에 관한 적어도 하나의 시점 영상 정보를 추출하는 단계는, 상기 다시점 영상 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 상기 다시점 영상 데이터스트림 내의 하나의 기초 스트림으로부터 추출하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 적어도 하나의 시점 영상 정보를 추출하는 단계는,상기 다시점 영상 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 상기 다시점 영상 데이터스트림 내의 하나의 기초 스트림으로부터 추출하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 별개의 박스로부터 추출하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스들로부터 추출하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 적어도 하나의 시점 영상 정보를 추출하는 단계는, 상기 다시점 영상 데이터스트림이 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비할 때, 각각의 기초 스트림으로부터 상기 다시점 영상 중 한 시점 영상 정보씩을 추출하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 적어도 하나의 시점 영상 정보를 추출하는 단계는, 상기 다시점 영상 데이터스트림이 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비할 때, 각각의 기초 스트림으로부터 상기 다시점 영상 중 한 시점 영상 정보씩을 추출하는 단계를 포함하고, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 다시점 영상 정보에 관한 파라미터를, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 각각의 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 다시점 영상에 관한 파라미터를 추출할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스로부터 추출할 수 있다.
상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 각각의 시점에 대한 카메라 파라미터를 추출할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 부호화 장치는, 상기 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림에 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 포함하는 영상 정보를 삽입하는 다시점 영상 정보 삽입부; 상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여 상기 다시점 영상에 관한 파라미터를 결정하는 다시점 영상 파라미터 결정부; 및 상기 다시점 영상 데이터스트림에 상기 다시점 영상에 관한 파라미터를 삽입하는 다시점 영상 파라미터 삽입부를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함할 수 있다.
상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함할 수 있다.
상기 다시점 영상 파라미터 결정부는, 상기 디스플레이 화면의 폭에 관한 파라미터, 상기 디스플레이 화면의 높이에 관한 파라미터 및 상기 시청 거리에 관한 파라미터를 상기 다시점 영상의 모든 시점 영상에 대해 동일한 값으로 결정할 수 있다.
상기 다시점 영상 파라미터 결정부는, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터를, 상기 다시점 영상 중 기준 시점 영상을 기준으로 상대적으로 표현된 값으로 결정할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 다시점 영상에 관한 파라미터를, 상기 다시점 영상 정보의 기초 스트림의 관련 정보들이 삽입된 박스보다 상위 박스에 삽입할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 다시점 영상에 관한 파라미터를, 상기 기준 시점을 제외한 시점 영상의 기초 스트림의 관련 정보들이 삽입된 박스와 동일한 레벨의 박스에 삽입할 수 있다.
상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고, 상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값으로 표현되고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스로 표현되고, 상기 회전 파라미터는, 하나의 값으로 표현되거나 둘 이상의 값을 포함하는 매트릭스로 표현될 수 있다.
상기 다시점 영상 정보 삽입부는, 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 하나의 기초 스트림에 삽입하고, 상기 다시점 영상 파라미터 결정부는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현할 수 있다.
상기 다시점 영상 정보 삽입부는, 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 하나의 기초 스트림에 삽입하고, 상기 다시점 영상 파라미터 결정부는, 상기 카메라 파라미터를 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 별개의 박스에 삽입할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스들에 삽입할 수 있다.
상기 다시점 영상 정보 삽입부는, 상기 다시점 영상 데이터스트림은 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비하고, 각각의 기초 스트림에 상기 다시점 영상 중 한 시점 영상 정보씩을 삽입하고, 상기 다시점 영상 파라미터 결정부는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현할 수 있다.
상기 다시점 영상 파라미터 결정부는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 더 결정할 수 있다.
상기 다시점 영상 파라미터 결정부는, 현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 더 결정할 수 있다.
상기 다시점 영상 파라미터 결정부는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 더 결정할 수 있다.
상기 다시점 영상 정보 삽입부는, 상기 다시점 영상 데이터스트림은 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비하고, 하나의 기초 스트림에 상기 다시점 영상 중 한 시점 영상 정보씩을 삽입하고, 상기 다시점 영상 파라미터 결정부는, 상기 카메라 파라미터를 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현할 수 있다.
상기 다시점 영상 파라미터 결정부는, 상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 카메라 파라미터는 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 더 포함할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 다시점 영상 정보에 관한 파라미터는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 삽입되는 단계를 포함할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상에 관한 파라미터를, 각각의 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들에 삽입하는 단계를 포함할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상에 관한 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스에 모두 삽입하는 단계를 포함할 수 있다.
상기 다시점 영상 파라미터 삽입부는, 상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우, 상기 각각의 시점에 대한 다시점 영상 파라미터를, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들에 삽입할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림을 복호화하는 장치는, 상기 수신된 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림으로부터 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 추출하는 다시점 영상 정보 추출부; 상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 상기 다시점 영상 데이터스트림으로부터 상기 다시점 영상에 관한 파라미터를 추출하는 다시점 영상 파라미터 추출부; 및 상기 추출된 다시점 영상에 관한 파라미터 및 상기 추출된 시점 영상 정보를 이용하여 상기 다시점 영상을 복원하는 다시점 영상 복원부를 포함할 수 있다.
상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함할 수 있다.
상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함할 수 있다.
상기 디스플레이 화면의 폭에 관한 파라미터, 상기 디스플레이 화면의 높이에 관한 파라미터 및 상기 시청 거리에 관한 파라미터는 상기 다시점 영상의 모든 시점 영상에 대해 동일한 값일 수 있다.
상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터는, 상기 다시점 영상 중 기준 시점 영상을 기준으로 상대적으로 표현된 값일 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상에 관한 파라미터를, 상기 다시점 영상 정보의 기초 스트림의 관련 정보들이 삽입된 박스보다 상위 박스로부터 추출하는 단계를 포함할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상에 관한 파라미터를, 상기 기준 시점을 제외한 시점 영상의 기초 스트림의 관련 정보들이 삽입된 박스와 동일한 레벨의 박스로부터 추출하는 단계를 포함할 수 있다.
상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고, 상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값이고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스이고, 상기 회전 파라미터는, 하나의 값이거나 둘 이상의 값을 포함하는 매트릭스일 수 있다.
상기 다시점 영상 정보 추출부는, 상기 다시점 영상 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 상기 다시점 영상 데이터스트림 내의 하나의 기초 스트림으로부터 추출하고, 상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할 수 있다.
상기 다시점 영상 정보 추출부는, 상기 다시점 영상 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 상기 다시점 영상 데이터스트림 내의 하나의 기초 스트림으로부터 추출하고, 상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 별개의 박스로부터 더 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스들로부터 더 추출할 수 있다.
상기 다시점 영상 정보 추출부는, 상기 다시점 영상 데이터스트림이 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비할 때, 각각의 기초 스트림으로부터 상기 다시점 영상 중 한 시점 영상 정보씩을 추출하고, 상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 더 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 더 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 더 추출할 수 있다.
상기 다시점 영상 정보 추출부는, 상기 다시점 영상 데이터스트림이 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비할 때, 각각의 기초 스트림으로부터 상기 다시점 영상 중 한 시점 영상 정보씩을 추출하고, 상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 상기 다시점 영상 데이터스트림으로부터 더 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 다시점 영상 정보에 관한 파라미터를, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 각각의 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 다시점 영상에 관한 파라미터를 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스로부터 추출할 수 있다.
상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 각각의 시점에 대한 카메라 파라미터를 추출할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명은 본 발명의 실시예에 따른 다시점 영상 데이터스트림 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독가능한 기록 매체를 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명은 본 발명의 실시예에 따른 다시점 영상 데이터스트림 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독가능한 기록 매체를 포함할 수 있다.
본 발명에 따른 다시점 영상 데이터스트림의 부호화 방법 및 장치는 3차원 영상의 효과적인 재생을 위해 표현된 다시점 영상 파라미터를 포함하는 다시점 영상 데이터스트림을 생성하고, 다시점 영상 데이터스트림이 범용적으로 사용될 수 있도록 국제 표준화 기구(International Standardization Organization, ISO)에 따른 파일 포맷의 형식에서 다시점 영상 파라미터가 삽입될 수 있는 적절한 위치가 결정된다.
또한 본 발명에 따른 다시점 영상 데이터스트림의 복호화 방법 및 장치는 다시점 영상 데이터스트림으로부터 다시점 영상 파라미터를 추출하여 3차원 영상을 정확하고 효과적으로 복원한다. 또한, 본 발명은 추출된 다시점 영상 파라미터 중 저피로도 파라미터를 이용하여 3차원 영상 시청시 발생할 수 있는 피로도를 완화시키기 위한 저피로도 관련 프로세스를 수행할 수 있다. 이외에도 다시점 영상 파라미터를 이용하여 에피폴라 라인 제약 조건(Epipolar line constraint) 및 왜곡 보상(Rectification) 등의 다양한 기법에 의해 3차원 영상의 화질을 개선할 수 있다.
도 1 은 본 발명에 따른 다시점 영상 데이터스트림 부호화 장치의 일 실시예의 블록도를 도시한다.
도 2 는 본 발명에 따른 다시점 영상 데이터스트림 복호화 장치의 일 실시예의 블록도를 도시한다.
도 3 은 국제 표준화 기구 ISO(International Standardization Organization) 기반의 파일 포맷의 간단한 구조를 도시한다.
도 4 는 ISO 기반의 미디어 파일 포맷의 각종 파라미터 박스 리스트를 도시한다.
도 5 는 본 발명에 따른 다시점 영상에 대한 저피로도 파라미터의 일 실시예를 도시한다.
도 6 은 다시점 영상을 획득하기 위한 카메라의 좌표계를 도시한다.
도 7a 는 본 발명에 따른 다시점 영상에 대한 카메라 파라미터의 일 실시예를 도시한다.
도 7b 는 본 발명에 따른 다시점 영상에 대한 카메라 파라미터의 다른 실시예를 도시한다.
도 8a 는 본 발명에 따라, 하나의 기초 스트림 및 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
도 8b 는 본 발명에 따라, 하나의 기초 스트림과 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
도 9 는 본 발명에 따라, 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터의 일 실시예의 신택스를 도시한다.
도 10a 는 본 발명에 따라, 스테레오스코픽 영상에 대한 두 개의 기초 스트림 및 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
도 10b 는 본 발명에 따라, 스테레오스코픽 영상에 대한 두 개의 기초 스트림 및 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
도 11 은 본 발명에 따라, 스테레오스코픽 영상에 대한 두 개의 기초 스트림 및 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 다른 실시예를 도시한다.
도 12a 는 본 발명의 따른 다시점 영상 파라미터의 일 실시예의 신택스를 도시한다.
도 12b 는 본 발명의 따른 다시점 영상 파라미터의 다른 실시예의 신택스를 도시한다.
도 12c 는 본 발명의 따른 다시점 영상 파라미터의 또 다른 실시예의 신택스를 도시한다.
도 13a 는 본 발명에 따라, N 개 시점의 다시점 영상에 대한 N 개의 기초 스트림 및 각각의 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
도 13b 는 본 발명에 따라, N 개 시점의 다시점 영상에 대한 N 개의 기초 스트림 및 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
도 14 는 본 발명에 따라, N 개 시점의 다시점 영상에 대한 부가적으로 정의되는 다시점 영상 파라미터의 일 실시예를 도시한다.
도 15 는 본 발명에 따른 다시점 영상 데이터스트림 부호화 방법의 일 실시예의 흐름도를 도시한다.
도 16 은 본 발명에 따른 다시점 영상 데이터스트림 복호화 방법의 일 실시예의 흐름도를 도시한다.
도 1 은 본 발명에 따른 다시점 영상 데이터스트림 부호화 장치의 일 실시예의 블록도를 도시한다.
일 실시예에 따른 다시점 영상 데이터스트림 부호화 장치(100)는 다시점 영상 정보 삽입부(110), 다시점 영상 파라미터 결정부(120) 및 다시점 영상 파라미터 삽입부(130)를 포함한다.
다시점 영상 정보 삽입부(110)는 다시점 영상 정보를 입력 받아, 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림에 다시점 영상 중 적어도 하나의 시점 영상 정보를 포함하는 영상 정보를 삽입하여 출력한다. 다시점 영상 정보는 좌측 시점 및 우측 시점에 관한 영상 정보일 수 있으며, 셋 이상의 시점에 관한 영상 정보일 수도 있다.
다시점 영상 파라미터 결정부(120)는 입력된 다시점 영상 정보가 삽입되는 현재 다시점 영상 데이터스트림 내에 존재하는 기초 스트림의 개수 및 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여 다시점 영상에 관한 파라미터(이하 '다시점 영상 파라미터'라 함)를 결정하고, 결정 결과를 다시점 영상 파라미터 삽입부(130)로 출력한다.
다시점 영상 파라미터는, 다시점 영상을 획득하기 위해 사용된 카메라에 관한 정보인 카메라 파라미터 및 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함할 수 있다.
기초 스트림의 개수는 다시점 영상 중 각각의 별개 시점 영상 정보가 하나의 기초 스트림에 모두 포함되는지 여부, 또는 복수 개의 기초 스트림 중 한 기초 스트림에 복수 개의 시점 영상 중 한 시점 영상씩 대응되어 삽입되는지 여부 등에 의해 결정될 수 있다. 또한, 다시점 영상 중 각각의 시점 영상 사이의 관계는 각각의 시점 영상에 관한 파라미터를 결정할 때, 다른 시점 영상의 정보를 참조하는지 여부에 관한 것이다.
다시점 영상 파라미터 삽입부(130)는, 다시점 영상 파라미터 결정부(120)로부터 다시점 영상 파라미터를 입력받아 다시점 영상 데이터스트림의 소정 위치에 삽입하여 출력한다.
다시점 영상 파라미터 삽입부(130)는 다시점 영상 데이트스트림 내에 다시점 영상 파라미터를 삽입하는 위치를 기초 스트림의 개수 및 각각의 시점 영상 사이의 관계에 기초하여 결정할 수 있다.
도 2 는 본 발명에 따른 다시점 영상 데이터스트림 복호화 장치의 일 실시예의 블록도를 도시한다.
일 실시예에 따른 다시점 영상 데이터스트림 복호화 장치(200)는 다시점 영상 정보 추출부(210), 다시점 영상 파라미터 추출부(220) 및 다시점 영상 복원부(230)를 포함한다.
다시점 영상 정보 추출부(210)는 수신된 다시점 영상 데이터스트림으로부터 다시점 영상 데이터스트림 내의 적어도 하나의 기초 스트림으로부터 다시점 영상 중 적어도 하나의 시점 영상 정보를 추출하여, 다시점 영상 복원부(230)로 출력한다.
다시점 영상 정보 추출부(210)는 현재 다시점 영상 데이터스트림 내의 단 하나의 기초 스트림으로부터 다시점 영상에 대한 영상 정보를 추출할 수도 있으며, 복수 개의 기초 스트림으로부터 각각 별개의 시점 영상 정보를 추출할 수도 있다.
다시점 영상 파라미터 추출부(220)는 수신된 다시점 영상 데이터스트림으로부터, 기초 스트림의 개수 및 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 다시점 영상 데이터스트림으로부터 다시점 영상 파라미터를 추출하여 다시점 영상 복원부(230)로 출력한다.
다시점 영상 파라미터는 현재 다시점 영상 데이터스트림이 포함하고 있는 기초 스트림의 개수에 관한 정보를 포함할 수 있다. 또한 다시점 영상 파라미터는, 현재 다시점 영상 데이터스트림에, 다시점 영상 정보가 각각의 시점 별로 분리되어 삽입되어 있는지 여부에 관한 정보를 포함할 수도 있다. 따라서, 도면에 도시되지는 않았지만, 다시점 영상 정보 추출부(210)는 다시점 영상 파라미터 추출부(220)에서 추출된 기초 스트림 개수에 관한 정보 또는 다시점 영상 정보가 시점 별로 분리되어 삽입되어 있는지 여부에 관한 정보를 이용하여 기초 스트림으로부터 다시점 영상 정보를 추출할 수도 있다.
본 발명에 따른 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 파라미터는 본 발명에 따른 다시점 영상 데이터스트림 부호화 장치(100)에서 결정된 다시점 영상 파라미터와 동일하다.
다시점 영상 복원부(230)는 다시점 영상 정보 추출부(210)로부터 입력된 다시점 영상 정보 및 다시점 영상 파라미터 추출부(220)로부터 입력된 다시점 영상 파라미터를 이용하여, 다시점 영상의 각각의 시점 영상을 복원한다.
이하 도 3 내지 도 4 를 참고하여 다시점 영상 데이터스트림 부호화 장치(100)가 부호화하는 다시점 영상 데이터스트림 또는 다시점 영상 데이터스트림 복호화 장치(200)가 복호화하는 다시점 영상 데이터스트림의 실시예들이 상술된다.
도 3 은 국제 표준화 기구 ISO(International Standardization Organization) 기반의 미디어 파일 포맷의 간단한 구조를 도시한다.
ISO 기반의 미디어 파일 포맷은 크게 moov 박스(310) 및 mdat 박스(330)를 포함한다. 본 발명이 일 실시예에 따른 다시점 영상 데이터스트림은 ISO 기반의 미디디어 파일 포맷일 수 있다. ISO 기반의 미디어 파일 포맷(300)의 mdat 박스(330)에 인터리브(interleave)되고 시간 순서에 따르는 비디오 및 오디오 프레임들, 즉 미디어 데이터가 저장된다. moov 박스(310)에 타임드 리소스(timed resource)들의 모든 메타데이터가 삽입된다. moov 박스(310)는 mdat 박스(330) 내의 미디어 데이터(비디오, 오디오)에 대한 정보를 포함하는 trak 박스(320, 325)를 포함할 수 있다. moov 박스(310)는 trak 박스(320, 325) 이외의 다른 박스들을 포함할 수도 있다.
도 4 는 ISO 기반의 미디어 파일 포맷의 각종 파라미터 박스 리스트를 도시한다.
ISO 기반의 미디어 파일 포맷의 가장 상위 레벨 박스에는 ftyp 박스, moov 박스, mdat 박스, meta 박스가 있을 수 있다. ftyp 박스는 파일 타입 및 호환성에 대한 정보를 수록하며, moov 박스는 타임드 리소스들(timed resources)의 모든 메타데이터를 위한 공간이다. mdat 박스는 미디어 데이터의 저장 공간이며, meta 박스는 메타데이터가 삽입된다. 본 발명에서 정의되는 카메라 파라미터 및 저피로도 파라미터를 포함하는 다시점 영상 파라미터는 다시점 영상 및 단시점 영상 정보가 수록되는 cmsi 박스에 포함된다.
cmsi 박스는 moov 박스의 하위 레벨 박스(410), moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스(420), trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스(430), trak 박스의 하위 레벨인 mdia 박스의 하위 레벨 박스(440), 및 mdia 박스의 하위 레벨인 stbl 박스의 하위 레벨 박스(450), moov 박스와 동일 레벨인 상기 meta 박스의 하위 레벨 박스(460) 중 적어도 하나에 포함될 수 있다. 또한, trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중, mdat 박스에 삽입되는 기초 스트림에 대한 정보가 삽입되는 박스에 cmsi 박스가 포함될 수도 있다. 다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 파라미터 삽입부(130)는 상기 박스들 중 하나에 다시점 영상 파라미터를 삽입할 수 있으며, 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 파라미터 추출부(220)는 상기 박스들 중 하나로부터 다시점 영상 파라미터를 추출해낼 수 있다.
이하 도 5 내지 도 14를 참고하여, 다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 파라미터 결정부(120)가 다시점 영상 파라미터를 결정하는 방법 및 다시점 영상 파라미터 삽입부(130)가 다시점 영상 파라미터를 다시점 영상 데이터스트림에 삽입하는 위치가 기술된다. 또한, 동일 도면을 참고하여, 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 파라미터 추출부(220)가 다시점 영상 파라미터를 다시점 영상 데이터스트림으로부터 추출하는 위치 및 다시점 영상 파라미터 복원부(230)가 다시점 영상 파라미터를 이용하여 다시점 영상을 복원하는 방법이 기술된다.
도 5 는 본 발명에 따른 다시점 영상에 대한 저피로도 파라미터의 일 실시예를 도시한다.
저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터(510, expected_display_width), 디스플레이 화면의 높이에 관한 파라미터(520, expected_display_height) 및 시청 거리에 관한 파라미터(530, expected_viewing_distance), 각각의 시점 영상 사이의 최소 변이에 관한 파라미터(540, min _ of _ disparity), 각각의 시점 영상 사이의 최대 변이에 관한 파라미터(550, max _ of _ disparity) 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 파라미터 결정부(120)는 디스플레이 화면의 폭에 관한 파라미터(510), 디스플레이 화면의 높이에 관한 파라미터(520) 및 시청 거리에 관한 파라미터(530)를, 다시점 영상의 모든 시점 영상에 대해 동일한 값, 즉 다시점 영상의 모든 시점들을 대표하는 하나의 값으로 결정할 수 있다.
또한, 다시점 영상 파라미터 결정부(120)는 각각의 시점 영상 사이의 최소 변이에 관한 파라미터(540), 각각의 시점 영상 사이의 최대 변이에 관한 파라미터(550)를, 다시점 영상 중 기준 시점 영상을 기준으로 상대적으로 표현된 값으로 결정할 수 있다.
따라서, 본 발명의 일 실시예에 따른 다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 파라미터 삽입부(130)는 저피로도 파라미터 중 모든 시점 영상에 대해 동일한 값으로 결정된 파라미터를 다시점 영상 정보의 기초 스트림의 관련 정보들이 삽입된 박스보다 상위 박스에 삽입할 수 있다. 예를 들어, 디스플레이 화면의 폭에 관한 파라미터(510), 디스플레이 화면의 높이에 관한 파라미터(520) 및 시청 거리에 관한 파라미터(530)는 모든 시점에 대해 동일한 값이기 때문에, mdat 박스 내의 다시점 영상 정보의 기초 스트림에 대한 관련 정보들이 삽입된 trak 박스보다 상위 박스인 moov 박스와 동일 레벨의 박스에 삽입될 수 있다.
또한, 다시점 영상 파라미터 삽입부(130)는 저피로도 파라미터 중 기준 시점 영상을 기준으로 상대적으로 표현된 값을 갖는 파라미터를, 기준 시점 영상을 제외한 나머지 시점 영상에 대한 파라미터들이 수록된 박스와 동일한 레벨의 박스에 삽입할 수 있다. 예를 들어, 각각의 시점 영상 사이의 최소 변이에 관한 파라미터(540), 각각의 시점 영상 사이의 최대 변이에 관한 파라미터(550)는 기준 시점 영상을 기준으로 상대적으로 표현되었기 때문에, 기준 시점 영상을 제외한 나머지 시점 영상 정보가 삽입된 mdat 박스에 대응되는 trak 박스 또는 그 trak 박스와 동일한 레벨의 박스에 삽입될 수 있다.
또한, 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 파라미터 추출부(220)는 전술된 위치의 박스로부터 다시점 영상 파라미터를 추출해낼 수 있다. 또한, 다시점 영상 복원부(230)는 서로 다른 시점에 대해 표현된 방식에 따라 저피로도 파라미터를 정확히 분석하여 다시점 영상을 복원하는데 이용할 수 있다.
도 6 은 다시점 영상을 획득하기 위한 카메라의 좌표계를 도시한다.
다시점 영상 파라미터 중 카메라 파라미터는 다시점 영상을 획득하기 위한 카메라의 공간적 위치를 좌표계로 나타냄으로써 카메라에 관한 정보를 표현한다. 설명의 편의를 위해 도 6 은 다시점 중 두 개의 시점에 대한 스테레오스코픽 영상을 획득한 카메라의 좌표계를 도시한다. 제 1 카메라 좌표계(610)는 스테레오스코픽 영상을 획득한 제 1 카메라에 대한 좌표계이며, 제 2 카메라 좌표계(620)는 스테레오스코픽 영상을 획득한 제 2 카메라에 대한 좌표계이다. 월드 좌표계(630)는 제 1 카메라 좌표계(610) 및 제 2 카메라 좌표계(620)와는 다른 일반적인 공간에 대한 좌표계이다.
카메라 파라미터를 표현하는 방법으로 크게 두 가지를 예로 들 수 있다.
첫번째 방법은, 제 1 카메라 좌표계(610) 및 제 2 카메라 좌표계(620)를 둘 중 하나의 카메라 좌표계를 기준으로 나머지 카메라 좌표계의 위치를 설정함으로써 카메라 파라미터를 표현하는 방법이다. 예를 들어, 제 2 카메라 좌표계(620)의 위치를 제 1 카메라 좌표계(610)를 기준으로 상대적으로 정의함으로써, 제 1 카메라 좌표계(610)에 대해 상대적으로 표현된 제 2 카메라 좌표계(620) 상의 소정 위치의 좌표를 카메라 파라미터로 정의할 수 있다. 이와 같은 카메라 파라미터 표현 방식을 이하 '상대적 표현 방식'이라 한다.
두번째 방법은, 월드 좌표계(630)를 기준으로 제 1 카메라 좌표계(610) 및 제 2 카메라 좌표계(620)의 각각의 위치를 설정함으로써 카메라 파라미터를 표현하는 방법이다. 즉, 월드 좌표계(630)를 기준으로 제 1 카메라 좌표계(610) 상의 소정 위치의 좌표, 제 2 카메라 좌표계(620) 상의 소정 위치의 좌표를 카메라 파라미터로 정의할 수 있다. 이와 같은 카메라 파라미터 표현 방식을 이하 '절대적 표현 방식'이라 한다.
카메라 파라미터는, 카메라에 대한 평행 이동 파라미터, 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함한다.
카메라 파라미터의 상대적 표현 방식에서는, 카메라에 대한 평행 이동 파라미터는, 제 1 카메라 좌표계(610)에 대해 제 2 카메라 좌표계(620)의 원점이 어느 정도의 거리에 위치하였는지를 나타낸다. 예를 들어, 도 6의 t21={tX, tY, tZ}가 평행 이동 파라미터의 값이 된다. 또한 회전 파라미터는 제 1 카메라 좌표계(610)를 기준으로 제 2 카메라 좌표계(620)의 각 축들이 어느 정도의 각도로 회전하였는지를 나타낸다. 예를 들어, 도 6의 R21={RX, RY, RZ}가 회전 파라미터의 값이 된다.
카메라 파라미터의 상대적 표현 방식에서는, 제 1 카메라 좌표계(610)는 자신의 좌표계에 대해서는 평행 이동 매트릭스는 {tX, tY, tZ}={0, 0, 0}, 회전 매트릭스는 {RX, RY, RZ}={0, 0, 0}로 정의되므로, 제 1 카메라를 위한 카메라 파라미터를 별도로 정의할 필요가 없다. 즉, 다시점 영상 파라미터 결정부(120)는, 제 1 카메라 좌표계(610)를 기준으로 상대적으로 표현된 제 2 카메라 좌표계(620) 상의 좌표값을 상대적 표현 방식의 카메라 파라미터로써 결정한다. 즉, 스테레오스코픽 영상에 대한 카메라 파라미터가 한 시점에 대한 카메라 파라미터만으로 결정될 수 있다.
스테레오스코픽 영상이 아닌 다시점 영상으로 확장되는 경우에도, 어느 한 시점 카메라를 도 6의 제 1 카메라와 같은 기준 시점 카메라로 설정하고, 나머지 카메라들을 도 6의 제 2 카메라와 같이 제 1 카메라(기준 시점 카메라)에 대해 상대적인 위치에 있는 카메라로 설정하면, 나머지 카메라들은 각각의 좌표계 상의 소정 위치의 좌표값을 제 1 카메라의 좌표계에 대해 상대적인 수치로 정의함으로써 상대적인 표현 방식의 카메라 파라미터가 획득될 수 있다.
카메라 파라미터의 절대적 표현 방식에서는, 월드 좌표계(630)를 중심으로 제 1 카메라 좌표계(610) 및 제 2 카메라 좌표계(620) 상의 위치의 좌표값이 카메라 파라미터로 결정된다. 즉, 각각의 카메라 좌표계마다 다른 좌표값이 결정되므로, 모든 시점에 대해 각각 별개의 카메라 좌표계가 결정된다. 도 6 을 참고하면, 제 1 카메라에 대한 평행 이동 파라미터는 t1로 결정되고, 제 2 카메라에 대한 평행 이동 파라미터는 t2로 결정된다. 마찬가지로, 회전 파라미터도 월드 좌표계(630)를 기준으로 제 1 카메라 좌표계(610)의 축이 회전한 각도 및 제 2 카메라(620)의 축이 회전한 각도를 나타낸다.
도 7a 는 본 발명에 따른 다시점 영상에 대한 카메라 파라미터의 일 실시예를 도시한다.
평행 이동 파라미터(700, translation[3]) 및 회전 파라미터(730, rotation[3])는 일반적으로 카메라 좌표계의 세 축에 대한 값을 가지므로 3개의 값으로 표현되거나 3개의 값을 포함하는 매트릭스로 표현될 수 있다.
입체감을 고려한 다시점 영상의 경우 초점 거리 파라미터(710, focal_length)는 모든 시점에 대해 동일하다고 가정되므로, 한 시점 카메라의 초점 거리로 결정될 수 있다. 다만, 절대적 표현 방식의 초점 거리 파라미터는 각각의 시점마다 다른 값으로 표현될 수 있다.
카메라 배치 방식 파라미터(720, is _ camera _ cross)는 여러 개의 카메라가 평행식(parallel-camera)으로 배치되었는지 혹은 교차식(cross-camera)으로 배치되었는지 여부를 나타낸다. 회전 파라미터(730)는 카메라 배치 방식 파라미터(720)의 값이 1인 경우, 즉 카메라가 교차식으로 배치된 경우에 정의될 수 있다.
도 7b 는 본 발명에 따른 다시점 영상에 대한 카메라 파라미터의 다른 실시예를 도시한다.
제 1 카메라 좌표계(610) 및 제 2 카메라 좌표계(620)가 어느 한 축을 공유한다면, 제 1 카메라 좌표계(610)에 대한 제 2 카메라 좌표계(620)의 원점의 평행 이동 파라미터는 공유된 한 축 상의 거리로만 표현될 수 있다. 이러한 경우, 평행 이동 파라미터(705)는 한 개의 값으로 표현될 수 있다. 또한, 특정한 카메라 좌표계의 경우, 회전 파라미터(735)도 한 축의 회전 각도만으로 표현될 수 있다.
다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 데이터스트림 결정부(120)는 도 7a 또는 도 7b와 같이 카메라 파라미터를 정의할 수 있다. 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 데이터스트림 복원부(230)는 도 7a 또는 도 7b 의 카메라 파라미터를 분석하여 다시점 영상을 복원할 수 있다.
도 8a 는 본 발명에 따라, 하나의 기초 스트림 및 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
본 발명의 일 실시예에 따른 다시점 영상 데이터스트림(800)이 ISO 기반의 미디어 파일 포맷인 경우, 다시점 영상 데이터스트림(800)은 ftyp 박스(810), moov 박스(820), mdat 박스(830)를 포함한다. mdat 박스는 다시점 영상 정보가 삽입된 기초 스트림(840)을 포함하고, moov 박스(820)는 trak 박스(850)를, trak 박스(850)는 meta 박스(860)를, meta 박스(860)는 cmsi 박스(870)를 포함한다. moov 박스(820) 내의 trak 박스(850), meta 박스(860), cmsi 박스(870)는 기초 스트림(840)에 대응되며, 기초 스트림(840)에 대한 각종 부가 정보를 포함한다.
설명의 편의를 위해, 다시점 영상 데이터스트림(800)은 다시점 영상의 일례로써 좌측 시점 및 우측 시점의 스테레오스코픽 영상을 포함한다고 가정한다.
다시점 영상 데이터스트림(800)이 하나의 기초 스트림(840)만을 포함하고 있으며, 기초 스트림(840)에는 스테레오스코픽 영상의 좌측 시점 영상 정보 및 우측 시점 영상 정보를 모두 포함하는 혼합 영상 정보가 삽입된다.
본 발명의 카메라 파라미터의 상대적 표현 방식에 따라, 우측 시점 영상에 대해 좌측 시점 영상을 기준으로 상대적으로 표현된 카메라 파라미터가 cmsi 박스(870)에 저장된다. 상대적인 표현 방식의 카메라 파라미터는 한 시점 영상에 대한 카메라 좌표계의 값으로 정의될 수 있으므로, cmsi 박스(870) 하나만으로 카메라 파라미터가 설정될 수 있다. 도면에서는 cmsi 박스(870)가 trak 박스(850) 하위의 meta 박스(860) 하위 레벨에 포함되어 있지만, moov 박스(820) 하위 레벨의 다른 박스에도 포함될 수 있다. cmsi 박스(870)는 다시점 영상 데이터스트림(800)의 헤더 영역의 어느 영역에도 포함될 수 있다.
도 8b 는 본 발명에 따라, 하나의 기초 스트림과 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
다시점 영상 데이터스트림(880)은, 절대적 표현 방식의 카메라 파라미터를 포함한다. 즉, 스테레오스코픽 영상 중 각각의 시점 영상마다 독립적으로 표현된 카메라 파라미터가 다시점 영상 데이터스트림(880)에 삽입된다. 다시점 영상 데이터스트림(880)의 meta 박스(860)에는 좌측 시점 영상 정보를 위한 cmsi 박스(890) 및 우측 시점 영상 정보를 위한 cmsi 박스(895)가 포함된다. 절대적 표현 방식의 카메라 파라미터는 cmsi 박스(890, 895)처럼 각각의 시점 영상 정보에 대한 별개의 박스에 삽입될 수 있다.
다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 데이터스트림 삽입부(130)는 도 8a 또는 도 8b와 같이 ISO 기반의 미디어 파일 포맷의 박스에 카메라 파라미터를 삽입할 수 있다. 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 데이터스트림 추출부(220)는 도 8a 또는 도 8b와 같이 ISO 기반의 미디어 파일 포맷의 박스로부터 카메라 파라미터를 추출할 수 있다.
도 9 는 본 발명에 따라, 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터의 일 실시예의 신택스를 도시한다.
도 8 b의 cmsi 박스(890, 895)처럼 절대적 표현 방식의 카메라 파라미터가 각각의 시점 영상 정보에 대한 별개의 박스에 삽입되는 경우와 달리, 하나의 박스에 각각의 시점 영상 정보에 대한 카메라 파라미터가 모두 삽입되는 경우가 있을 수 있다. 즉, 도 9 에는 카메라 배치 방식 파라미터(910, is _ camera _ cross), 좌측 시점 영상의 평행 이동 파라미터(920, traslation _L[3]), 좌측 시점 영상의 초점 거리 파라미터(930, focal _ length _L), 좌측 시점 영상의 회전 파라미터(940, rotation_L[3]), 우측 시점 영상의 평행 이동 파라미터(950, traslation _R[3]), 우측 시점 영상의 초점 거리 파라미터(960, focal _ length _R), 우측 시점 영상의 회전 파라미터(970, rotation _R[3])가 동시에 한 박스 내에서 정의될 수 있다.
도 10a 는 본 발명에 따라, 스테레오스코픽 영상에 대한 두 개의 기초 스트림 및 두 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
다시점 영상 데이터스트림(1000)은 ISO 기반의 미디어 파일 포맷으로써 ftyp박스(1010), moov 박스(1020) 및 mdat 박스(1030)를 포함하고, mdat 박스(1030)는 기초 스트림(1040, 1050)를, moov 박스(1020)는 trak 박스(1060, 1070)를, trak 박스(1060, 1070)는 meta 박스(1065, 1075)를 포함한다. trak 박스(1060) 및 meta 박스(1065)는 기초 스트림(1040)에 대응되며, 기초 스트림(1040)에 삽입된 영상에 관한 부가 정보를 포함한다. 마찬가지로, trak 박스(1070) 및 meta 박스(1075)는 기초 스트림(1050)에 대응되며, 기초 스트림(1050)에 삽입된 영상에 관한 부가 정보를 포함한다.
본 발명의 일 실시예로써 다시점 영상 데이터스트림(1000)은 두 개의 기초 스트림(1040, 1050)을 포함하고, 각각의 기초 스트림(1040, 1050)에 스테레오스코픽 영상이 삽입된다. 예를 들어, 스테레오스코픽 영상 중 좌측 시점에 관한 영상 정보가 기초 스트림(1040)에 삽입되고, 우측 시점에 관한 영상 정보가 기초 스트림(1050)에 삽입된다. 기초 스트림이 두 개인 경우, 좌측 시점 영상 및 우측 시점 영상은 부호화 단계에서 각각 별도의 부호화부를, 복호화 단계에서는 각각 별도의 복호화부를 사용할 수 있다.
기초 스트림(1040, 1050)에 삽입된 스테레오스코픽 영상 정보에 대한 다시점 영상 파라미터가 상대적 표현 방식으로 정의된 경우, 기초 스트림(1040)의 좌측 시점 영상을 기준으로 표현되는 기초 스트림(1050)의 우측 시점 영상에 대한 카메라 정보가 스테레오스코픽 영상을 위한 카메라 파라미터로 결정된다. 따라서 카메라 파라미터는 기초 스트림(1040)의 좌측 시점 영상 정보에 대한 정보를 수록하는 trak 박스(1060) 또는 meta 박스(1065)에 삽입될 필요가 없으며, 우측 시점 영상에 대한 정보를 수록하는 trak 박스(1070) 또는 meta 박스(1075)에 삽입된다. 도 10a 에서는 카메라 파라미터가 cmsi 박스(1078)에서 정의되며, cmsi 박스(1078)는 meta 박스(1075)의 하위 레벨에 포함된다.
도 10b 는 본 발명에 따라, 스테레오스코픽 영상에 대한 두 개의 기초 스트림 및 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
기초 스트림(1040, 1050)에 삽입된 스테레오스코픽 영상 정보에 대한 다시점 영상 파라미터가 절대적 표현 방식으로 정의된 경우, 카메라 파라미터는 기초 스트림(1040)의 좌측 시점 영상 및 기초 스트림(1050)의 우측 시점 영상 각각에 대해 독립적으로 표현된다. 따라서 기초 스트림(1040)의 좌측 시점 영상 정보에 대한 정보를 수록하는 trak 박스(1060) 및 meta 박스(1065) 중 적어도 하나의 박스의 하위 레벨에 좌측 시점 영상에 대한 카메라 파라미터가 삽입되며, 기초 스트림(1050)의 우측 시점 영상에 대한 정보를 수록하는 trak 박스(1070) 및 meta 박스(1075) 중 적어도 하나의 박스의 하위 레벨에 우측 시점 영상에 대한 카메라 파라미터가 삽입되어야 한다. 도 10b 에서는 좌측 시점 영상에 대한 카메라 파라미터가 cmsi 박스(1069)에 삽입되고 우측 시점 영상에 대한 카메라 파라미터가 cmis 박스(1079)에 삽입되며, cmsi 박스(1069, 1079)는 각각 meta 박스(1065, 1075)의 하위 레벨에 포함된다.
도 11 은 본 발명에 따라, 스테레오스코픽 영상에 대한 두 개의 기초 스트림 및 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 다른 실시예를 도시한다.
다시점 영상 데이터스트림(1100)은 ISO 기반의 미디어 파일 포맷으로써 ftyp박스(1110), moov 박스(1120) 및 mdat 박스(1130)을 포함하고, mdat 박스(1130)는 기초 스트림(1140, 1150)를, moov 박스(1120)는 trak 박스(1160, 1170)를, trak 박스(1160, 1170)는 meta 박스(1165, 1175)를 포함한다. trak 박스(1160) 및 meta 박스(1165)는 기초 스트림(1140)에 대응되며, 기초 스트림(1140)에 삽입된 영상에 관한 정보를 포함한다. 마찬가지로, trak 박스(1170) 및 meta 박스(1175)는 기초 스트림(1150)에 대응되며, 기초 스트림(1150)에 삽입된 영상에 관한 정보를 포함한다.
도 11에 도시된 다시점 영상 파라미터는 도 10a 를 참고한 상대적인 표현 방식의 다시점 영상 파라미터와 유사하지만, 현재 시점 영상에 관한 카메라 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 카메라 파라미터가 다시점 영상 데이터스트림(1100)에 존재하는지 여부를 나타내는 파라미터(이하 '대응 시점 파라미터 존부 파라미터'라 함)가 다시점 영상 파라미터로써 추가된다. 즉, 좌측 시점 및 우측 시점 영상에 대한 스테레오스코픽 영상에 대한 다시점 영상 파라미터가 상대적 표현 방식에 의해 결정된 경우, 좌측 시점 영상 및 우측 시점 영상은 서로 대응되는 시점이다. 따라서, 좌측 시점 영상에 대한 대응 시점 파라미터 존부 파라미터는 우측 시점 영상에 대한 다시점 영상 파라미터가 존재하는지 여부를 나타내고, 우측 시점 영상에 대한 대응 시점 파라미터 존부 파라미터는 좌측 시점 영상에 대한 다시점 영상 파라미터가 존재하는지 여부를 나타낸다.
도 11을 참고하면, 좌측 시점 영상에 대한 meta 박스(1165)는 좌측 시점 영상에 대한 대응 시점 파라미터 존부 파라미터(1166, is _ matching _ cmsi)를 포함하고, 대응 시점 파라미터 존부 파라미터(1166)는 우측 시점 영상에 대한 trak 박스(1170), meta 박스(1175), cmsi 박스(1178) 등의 부가 정보 박스에 우측 시점 영상에 대한 다시점 영상 파라미터가 스테레오스코픽 영상 데이터스트림(1100) 내에 존재하는지 여부를 나타낸다. 일례로 대응 시점 파라미터 존부 파라미터 값이 1 인 경우 대응 시점에 대한 다시점 영상 파라미터가 다시점 영상 데이터스트림 내에 존재하고, 대응 시점 파라미터 존부 파라미터 값이 0인 경우 대응 시점에 대한 다시점 영상 파라미터가 존재하지 않는다.
대응 시점 파라미터 존부 파라미터(1166)를 통해 다시점 영상 데이터스트림 복호화 장치(200)가 좌측 시점 영상을 복호화하는 동작에서, 스테레오스코픽 영상 데이터스트림(1100)의 헤더 영역을 분석하면서 우측 시점 영상에 대한 다시점 영상 파라미터의 존재를 확인하여, 우측 시점 영상에 대한 다시점 영상 파라미터를 추출하고 스테레오스코픽 영상을 복원하기 위해 이용할 수 있다.
다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 데이터스트림 삽입부(130)는 도 10a, 10b 및 11와 같은 ISO 기반의 미디어 파일 포맷의 박스에 카메라 파라미터를 삽입할 수 있다. 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 데이터스트림 추출부(220)는 도 10a, 10b 및 11와 같은 ISO 기반의 미디어 파일 포맷의 박스로부터 카메라 파라미터를 추출할 수 있다.
도 12a 는 본 발명의 따른 다시점 영상 파라미터의 일 실시예의 신택스를 도시한다.
스테레오스코픽 영상에 대한 정보를 포함하는 박스(StereoscopicVideoMediaInformationBox, 이하 'svmi 박스'라 함)의 신택스(1200)는 스테레오스코픽 시점 정보(1210), 스테레오스코픽 시점 및 모노스코픽 시점의 전환 정보(1260)를 정의한다.
스테레오스코픽 시점 정보(1210)는 혼합 영상 구성 파라미터(1220, stereoscopic_composition_type), 기준/부가 시점 순서 파라미터(1225, is _ left _ first), 대응 시점 파라미터 존부 파라미터(1230, is _ matching _ cmsi)를 포함한다.
혼합 영상 구성 파라미터(1220, stereoscopic _ composition _ type)는 스테레오스코픽 시점 영상의 좌측 시점 영상 및 우측 시점 영상에 관한 정보가 혼합 영상으로 구성되는 방법을 나타낸다. 예를 들어, 혼합 영상 구성 파라미터(1220)는 혼합 영상이 수직 방향 라인 인터리브드 포맷, 수평 방향 라인 인터리브드 포맷, 탑 다운 포맷, 사이드 바이 사이드 포맷, 필드 시퀀셜 포맷, 프레임 시퀀셜 포맷, 블록 인터리브드 포맷, 변이 맵 포맷, 깊이 맵 포맷, 변이 및 움직임 맵 포맷, 단일 기준 시점 영상 포맷 및 단일 부가 시점 영상 포맷인지 나타낸다. 두 개의 기초 스트림에 좌우 시점 영상 정보가 각각 삽입되는 경우에는, 좌측 시점 영상 및 우측 시점 영상에 대한 혼합 영상 구성 파라미터(1220)가 각각 단일 기준 시점 영상 포맷 및 단일 부가 시점 영상 포맷으로 설정될 수 있다.
기준/부가 시점 순서 파라미터(1225, is _ left _ first)는, 메인(main) 기초 스트림에 좌측시점 영상 정보 및 우측 시점 영상 정보가 배열되는 순서에 대한 정보를 나타낸다. 예를 들어, 기준/부가 시점 순서 파라미터(1225)는 (i) 메인 기초 스트림에 좌측 시점 영상 정보가 배열되고, 서브(sub) 기초 스트림에 우측 시점 영상 정보가 배열되는 경우, 또는 (ii) 메인 기초 스트림에 우측 시점 영상 정보가 배열되고, 서브 기초 스트림에 좌측 시점 영상 정보가 배열되는 경우를 결정한다.
스테레오스코픽 시점 및 모노스코픽 시점의 전환 정보(1260)는 스테레오/모노 전환 회수 파라미터(1270, stereo _ mono _ change _ count), 데이터 구간 개수 파라미터(1280, sample _ count), 스테레오 구간 시작 파라미터(1290, stereo _ flag)를 포함한다.
스테레오/모노 전환 회수 파라미터(1270)는 기초 스트림이 적어도 하나의 데이터 구간으로 구분되어 있고, 각각의 데이터 구간에 스테레오스코픽 영상의 혼합 영상 또는 모노스코픽 영상(좌측 시점 영상 또는 우측 시점 영상)이 삽입된 경우, 소정 구간 동안 스테레오스코픽 영상이 삽입된 데이터 구간 및 모노스코픽 영상이 삽입된 데이터 구간이 서로 전환된 횟수를 나타낸다.
데이터 구간 개수 파라미터(1280, sample _ count)는, 현재 기초 스트림 내의 스테레오스코픽 영상의 혼합 영상 또는 모노스코픽 영상이 삽입된 모든 데이터 구간의 개수를 나타낸다.
스테레오 구간 시작 파라미터(1290, stereo _ flag)는 현재 기초 스트림 내의 소정 구간에서 첫 데이터 구간이 스테레오스코픽 영상의 혼합 영상인지 모노스코픽 영상인지를 나타낸다.
즉, 스테레오스코픽 영상에 대한 정보를 포함하는 박스(svmi 박스)는, 현재 시점 영상에 관한 카메라 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 카메라 파라미터가 현재 스테레오스코픽 영상 데이터스트림에 존재하는지 여부를 나타내는 대응 시점 파라미터 존부 파라미터를 포함한다.
절대적 표현 방식의 스테레오스코픽 영상에 대한 카메라 파라미터는 대응 시점 파라미터 존부 파라미터를 반드시 포함하는 것은 아니지만, 만약 포함한다면 좌측 시점 및 우측 시점 영상에 대해 모두 1 로 설정하여 대응 시점에 카메라 파라미터가 존재함을 나타낼 수 있다.
도 12b 는 본 발명의 따른 다시점 영상 파라미터의 다른 실시예의 신택스를 도시한다.
svmi 박스는 현재 시점 영상에 관한 카메라 파라미터가 존재하는지 여부를 나타내는 현재 시점 파라미터 존부 파라미터(1240, is _ cmsi _ here)를 포함할 수 있다. 예를 들어, 현재 시점 파라미터 존부 파라미터(1240)의 값이 0 인 경우 현재 기초 스트림의 한 시점 영상을 위한 카메라 파라미터가 존재하지 않으며, 값이 1 인 경우 현재 기초 스트림의 한 시점 영상을 위한 카메라 파라미터가 존재한다.
도 12c 는 본 발명의 따른 다시점 영상 파라미터의 또 다른 실시예의 신택스를 도시한다.
svmi 박스는 현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 대응 시점 스트림 식별 파라미터(1250, matching _ ESID _ of _ cmsi)를 포함할 수 있다. 대응 시점 스트림 식별 파라미터(1250)는 현재 스크림의 시점 영상에 대응되는 다시점 영상 파라미터가 삽입되어 있는 기초 스트림의 식별 정보를 나타낼 수 있다.
예를 들어, 대응 시점 스트림 식별 파라미터(1250)의 값이 2 인 경우, 현재 기초 스트림을 식별 정보가 2인 기초 스트림과 대응시키고, 식별 정보가 2인 기초 스트림에 대한 다시점 영상 파라미터를 이용하여 현재 기초 스트림에 대한 다시점 영상 파라미터를 분석한다. 예를 들어, 대응 시점 스트림 식별 파라미터(1250)의 값이 0 인 경우, 현재 기초 스트림과 대응되는 다시점 영상 파라미터를 가지는 다른 기초 스트림이 존재하지 않음을 나타낸다.
이상 도 12a, 12b, 12c 를 이용하여 설명된 대응 시점 파라미터 존부 파라미터(1230), 현재 시점 파라미터 존부 파라미터(1240), 대응 시점 스트림 식별 파라미터(1250)는 카메라 파라미터 이외의 다시점 영상 파라미터에 대해서도 정의될 수 있다.
다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 데이터스트림 결정부(120)는 도 12a, 12b 및 12c와 같이 다시점 영상 파라미터를 정의할 수 있다. 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 데이터스트림 복원부(230)는 도 12a, 12b 및 12c의 다시점 영상 파라미터를 분석하여 다시점 영상을 복원할 수 있다.
도 13a 는 본 발명에 따라, N 개 시점의 다시점 영상에 대한 N 개의 기초 스트림 및 각각의 시점에 대해 상대적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
다시점 영상은 두 시점의 스테레오스코픽 영상 외에도 N 개의 시점에 대해서도 존재할 수 있다. N 개의 다시점 영상에 대한 데이터스트림은 N 개의 시점 영상 정보를 포함하게 된다. N 개의 다시점 영상에 대한 데이터스트림은 N 개 이상의 기초 스트림을 포함하여, 각각의 기초 스트림에 N 개의 시점 영상 중 하나씩 포함할 수 있다.
다시점 영상 데이터스트림(1300)은 ISO 기반의 미디어 파일 포맷으로써 ftyp박스(1310), moov 박스(1320) 및 mdat 박스(1330)을 포함하고, mdat 박스(1330)는 기초 스트림(1340, 1342, 1344)를, moov 박스(1320)는 trak 박스(1350, 1360, 1370)를, trak 박스(1350, 1360, 1370)는 meta 박스(1355, 1365, 1375)를 포함한다. trak 박스(1350) 및 meta 박스(1355)는 메인 기초 스트림(1340)에 대응되며, 메인 기초 스트림(1340)에 삽입된 제 1 시점 영상에 관한 정보를 포함한다. trak 박스(1360) 및 meta 박스(1365)는 제 1 서브 기초 스트림(1342)에 대응되며, 제 1 기초 스트림(1342)에 삽입된 제 2 시점 영상에 관한 정보를 포함한다. trak 박스(1370) 및 meta 박스(1375)는 제 (n-1) 기초 스트림(1344)에 대응되며, 제 (n-1) 기초 스트림(1344)에 삽입된 제 n 영상(이하 n은 2보다 크고 N보다 작거나 같다)에 관한 정보를 포함한다.
기초 스트림(1340, 1342, 1344)에 삽입된 다시점 영상 정보에 대한 다시점 영상 파라미터가 상대적 표현 방식으로 정의된 경우, 메인 기초 스트림(1340)의 제 1 시점 영상을 기준으로 표현되는 서브 기초 스트림(1342(1344))의 제 2 시점 영상(제 n 시점 영상)에 대한 다시점 영상 정보가 다시점 영상 파라미터로 결정된다. 따라서 다시점 영상 파라미터는 메인 기초 스트림(1340)의 제 1 시점 영상 정보에 대한 정보를 수록하는 trak 박스(1350) 또는 meta 박스(1355)에 삽입될 필요가 없으며, 제 2 시점 영상(제 n 시점 영상)에 대한 정보를 수록하는 trak 박스(1360(1370)) 또는 meta 박스(1365(1375))에 삽입된다. 도 13a 에서는 카메라 파라미터가 cmsi 박스(1368(1378))에서 정의되며, cmsi 박스(1368(1378))는 meta 박스(1365(1375))의 하위 레벨에 포함된다.
따라서 제 1 시점 영상에 대한 다시점 영상 파라미터는 따로 저장하거나 추출될 필요가 없다.
도 13b 는 본 발명에 따라, N 개 시점의 다시점 영상에 대한 N 개의 기초 스트림 및 각각의 시점에 대해 독립적으로 표현된 카메라 파라미터를 포함하는 다시점 영상 데이터스트림의 일 실시예를 도시한다.
기초 스트림(1340, 1342, 1344)에 삽입된 다시점 영상 정보에 대한 다시점 영상 파라미터가 절대적 표현 방식으로 정의된 경우, 다시점 영상 파라미터는 메인 기초 스트림(1340)의 제 1 시점 영상, 제 1 서브 기초 스트림(1342)의 제 2 시점 영상 및 제 (n-1) 서브 기초 스트림(1344)의 제 n 시점 영상 각각에 대해 독립적으로 표현된다. 따라서 메인 기초 스트림(1340)의 제 1 시점 영상 정보에 대한 정보를 수록하는 trak 박스(1350) 및 meta 박스(1355) 중 적어도 하나의 박스의 하위 레벨에 제 1 시점 영상에 대한 다시점 영상 파라미터가 삽입되며, 제 1 서브 기초 스트림(1342)(제 (n-1) 서브 기초 스트림(1344))의 제 2 시점 영상(제 n 시점 영상)에 대한 정보를 수록하는 trak 박스(1360(1370)) 및 meta 박스(1365(1375)) 중 적어도 하나의 박스의 하위 레벨에 제 2 시점 영상(제 n 시점 영상)에 대한 다시점 영상 파라미터가 삽입되어야 한다. 도 10b 에서는 제 1 시점 영상에 대한 다시점 영상 파라미터가 cmsi 박스(1359)에 삽입되고 제 2 시점 영상(제 n 시점 영상)에 대한 다시점 영상 파라미터가 cmsi 박스(1369(1379))에 삽입되며, cmsi 박스(1359, 1369(1379))는 각각 meta 박스(1355, 1365(1375))의 하위 레벨에 포함된다.
이상 도 13a, 13b 를 이용하여 설명된 세 시점 이상의 다시점 영상 데이터스트림 구조는 카메라 파라미터 이외의 다시점 영상 파라미터에 대한 경우에도 해당될 수 있다.
다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 데이터스트림 삽입부(130)는 도 13a 또는 도 13b와 같이 ISO 기반의 미디어 파일 포맷의 박스에 카메라 파라미터를 삽입할 수 있다. 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 데이터스트림 추출부(220)는 도 13a 또는 도 13b와 같이 ISO 기반의 미디어 파일 포맷의 박스로부터 카메라 파라미터를 추출할 수 있다.
도 14 는 본 발명에 따라, N 개 시점의 다시점 영상에 대한 부가적으로 정의되는 다시점 영상 파라미터의 일 실시예를 도시한다.
본 발명의 일 실시예에 따른 다시점 영상 데이터스트림은 셋 이상의 시점에 대한 다시점 영상 정보의 집합이 삽입되는 박스(1400, MultiviewVideoInformationBox, 이하 'mvvi 박스'라 함)를 포함할 수 있다.
mvvi 박스(1400)의 다시점 영상 파라미터는 카메라 파라미터, 저피로도 파라미터 외에도 제 1 시점 영상의 기초 스트림을 표시하는 제 1 시점 파라미터(1410, is_main_view), 각각의 시점의 배치 순서를 나타내는 시점 배치 순서 파라미터(1420, view _ ordering), 각각의 시점을 나타내는 시점 식별 파라미터(1430, view _ ID) 중 적어도 하나를 더 포함할 수 있다.
제 1 시점 파라미터(1410)는 다시점 영상 데이트스트림 내의 여러 개의 기초 스트림 중 제 1 시점 영상 정보가 삽입된 기초 스트림의 위치를 나타낼 수 있다. 예를 들어 제 1 시점 파라미터(1410)의 값이 1 인 경우 해당 기초 스트림의 영상 정보가 제 1 시점 영상 정보임이 확인되고, 제 1 시점 파라미터(1410)의 값이 0 인 경우 해당 기초 스트림의 영상 정보가 제 1 시점이 아닌 나머지 시점 영상 정보임이 확인된다.
시점 식별 파라미터(1430)는 각각의 시점에 대한 식별 정보 또는 시점 순서 정보를 나타낸다.
시점 배치 순서 파라미터(1420)는, 시점 식별 파라미터(1430) 값이 왼쪽으로부터 오른쪽으로 표기된다고 가정될 때, 시점 배치 순서가 오름 차순인지 내림 차순인지를 나타낸다. 예를 들어, 시점 배치 순서 파라미터(1420)의 값이 1 인 경우 시점 식별 파라미터(1430)의 값이 0 인 기초 스트림에 가장 좌측 시점 영상이 삽입되어 있음이 표시된다. 또한, 시점 배치 순서 파라미터(1420)의 값이 0 이고 시점 식별 파라미터(1430)의 값이 0 인 기초 스트림에 가장 우측 시점 영상이 삽입되어 있음이 표시된다. mvvi 박스(1400)의 일 실시예는 ISO 기반의 미디어 파일 포맷의 다시점 영상 데이터스트림의 trak 박스에 포함될 수 있다.
다시점 영상 데이터스트림 부호화 장치(100)의 다시점 영상 데이터스트림 결정부(120)는 도 15와 같이 카메라 파라미터를 정의할 수 있다. 다시점 영상 데이터스트림 복호화 장치(200)의 다시점 영상 데이터스트림 복원부(230)는 도 15 의 카메라 파라미터를 분석하여 다시점 영상을 복원할 수 있다.
도 15 는 본 발명에 따른 다시점 영상 데이터스트림 부호화 방법의 일 실시예의 흐름도를 도시한다.
단계 1510 에서, 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림에 다시점 영상 중 적어도 하나의 시점 영상 정보를 포함하는 영상 정보가 삽입된다.
다시점 영상 데이터스트림은 적어도 하나의 기초 스트림을 포함할 수 있다. 기초 스트림이 하나인 경우, 복수 개의 시점 영상 정보가 혼합된 영상이 기초 스트림에 삽입될 수 있다. 기초 스트림이 다시점 영상의 시점 개수보다 많거나 같은 경우, 하나의 기초 스트림에 하나의 시점 영상씩 삽입될 수 있다.
단계 1520 에서, 기초 스트림의 개수 및 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여 다시점 영상에 관한 파라미터가 결정된다.
다시점 영상에 관한 파라미터는 기초 스트림이 복수 개인지 여부를 반영하여 정의될 수 있다. 또한, 다시점 영상 파라미터는 각각의 시점 영상에 대해 독립적으로 정의될 수 있으며, 소정 시점 영상을 기준으로 설정되는 나머지 시점 영상에 대한 다시점 정보가 다시점 영상 파라미터로 결정될 수도 있다.
단계 1530 에서, 다시점 영상 데이터스트림에 다시점 영상에 관한 파라미터가 삽입된다.
다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷인 경우, 다시점 영상 파라미터는 다시점 영상 데이터스트림의 헤더 영역에 삽입될 수 있으며, 헤더 영역 중에서도 소정 시점 영상이 삽입되는 페이로드 영역의 기초 스트림에 대응되는 소정 박스에 저장될 수 있다.
도 16 은 본 발명에 따른 다시점 영상 데이터스트림 복호화 방법의 일 실시예의 흐름도를 도시한다.
단계 1610에서, 수신된 다시점 영상 데이터스트림의 적어도 하나의 기초 스트림으로부터 다시점 영상 중 적어도 하나의 시점 영상 정보가 추출된다.
다시점 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷인 경우, mdia 박스로부터 다시점 영상 정보가 추출될 수 있으며, mdat 박스는 기초 스트림을 적어도 하나 이상 포함할 수 있다. 각각의 기초 스트림으로부터 하나의 시점에 대한 영상 정보만이 추출될 수 있는 반면, 다시점 영상 정보가 혼합된 영상 정보가 추출될 수도 있다.
단계 1620에서, 기초 스트림의 개수 및 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 다시점 영상 데이터스트림으로부터 다시점 영상에 관한 파라미터가 추출된다.
다시점 영상 파라미터로 카메라 파라미터, 저피로도 파라미터 등이 추출될 수 있으며, 다시점 영상 파라미터는 ISO 기반의 미디어 파일 포맷인 다시점 영상 데이터스트림의 헤더 영역 내의 소정 박스로부터 추출될 수 있다.
단계 1630에서, 추출된 다시점 영상에 관한 파라미터 및 추출된 시점 영상 정보를 이용하여 다시점 영상가 복원된다.
헤더 영역으로부터 추출된 다시점 영상 파라미터가 기초 스트림의 개수 및 각각의 시점 영상 사이의 관계를 고려하여 분석되고, 분석된 다시점 영상 파라미터를 이용하여 기초 스트림으로부터 추출된 다시점 영상 정보가 복원된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 삽입매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 삽입매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (52)

  1. 적어도 하나 이상의 기초 스트림을 구비하는 다시점 영상 데이터스트림을 부호화하는 방법에 있어서,
    상기 다시점 영상 데이터스트림의 기초 스트림에 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 포함하는 영상 정보를 삽입하는 단계;
    상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여 상기 다시점 영상에 관한 파라미터를 결정하는 단계; 및
    상기 다시점 영상 데이터스트림에 상기 다시점 영상에 관한 파라미터를 삽입하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  2. 제 1 항에 있어서,
    상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  3. 제 2 항에 있어서,
    상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  4. 제 2 항에 있어서,
    상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고,
    상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값으로 표현되고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스로 표현되고,
    상기 회전 파라미터는, 하나의 값으로 표현되거나 둘 이상의 값을 포함하는 매트릭스로 표현되는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  5. 제 4 항에 있어서,
    상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 하나의 기초 스트림에 삽입하는 단계를 포함하고,
    상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  6. 제 4 항에 있어서,
    상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 데이터스트림은 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비하고, 각각의 기초 스트림에 상기 다시점 영상 중 한 시점 영상 정보씩을 삽입하는 단계를 포함하고,
    상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  7. 제 1 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  8. 제 1 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  9. 제 1 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  10. 제 1 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 다시점 영상 파라미터는 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  11. 제 1 항에 있어서, 상기 다시점 영상에 관한 파라미터를 삽입하는 단계는,
    상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 다시점 영상 정보에 관한 파라미터는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 삽입되는 단계를 포함하는 것을 다시점 영상 데이터스트림 부호화 방법.
  12. 제 11 항에 있어서, 상기 다시점 영상에 관한 파라미터를 삽입하는 단계는,
    상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우,
    상기 각각의 시점에 대한 다시점 영상 파라미터를, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들에 삽입하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 방법.
  13. 적어도 하나 이상의 기초스트림을 구비하는 다시점 영상 데이터스트림을 복호화하는 방법에 있어서,
    상기 수신된 다시점 영상 데이터스트림의 기초 스트림으로부터 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 추출하는 단계;
    상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 상기 다시점 영상 데이터스트림으로부터 상기 다시점 영상에 관한 파라미터를 추출하는 단계; 및
    상기 추출된 다시점 영상에 관한 파라미터 및 상기 추출된 시점 영상 정보를 이용하여 상기 다시점 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  14. 제 13항에 있어서,
    상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  15. 제 14 항에 있어서,
    상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  16. 제 14 항에 있어서,
    상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고,
    상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값이고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스이고,
    상기 회전 파라미터는, 하나의 값이거나 둘 이상의 값을 포함하는 매트릭스인 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  17. 제 14 항에 있어서,
    상기 다시점 영상에 관한 적어도 하나의 시점 영상 정보를 추출하는 단계는,상기 다시점 영상 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 상기 다시점 영상 데이터스트림 내의 하나의 기초 스트림으로부터 추출하는 단계를 포함하고,
    상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  18. 제 14 항에 있어서,
    상기 다시점 영상에 관한 적어도 하나의 시점 영상 정보를 추출하는 단계는, 상기 다시점 영상 데이터스트림이 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비할 때, 각각의 기초 스트림으로부터 상기 다시점 영상 중 한 시점 영상 정보씩을 추출하는 단계를 포함하고,
    상기 다시점 영상에 관한 파라미터를 추출하는 단계는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  19. 제 13 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  20. 제 13 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  21. 제 13 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  22. 제 13 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 상기 다시점 영상 데이터스트림으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  23. 제 13 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 다시점 영상 정보에 관한 파라미터를, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 복호화 방법.
  24. 제 23 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 각각의 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 다시점 영상에 관한 파라미터를 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  25. 제 23 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    상기 다시점 영상에 관한 파라미터가 상기 다시점 영상 중 각각의 시점 영상마다 독립적으로 표현된 경우, 상기 다시점 영상 데이터스트림의 헤더 영역 내의 소정 한 박스로부터 추출하는 것을 특징으로 다시점 영상 데이터스트림 복호화 방법.
  26. 제 24 항에 있어서, 상기 다시점 영상에 관한 파라미터를 추출하는 단계는,
    상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 각각의 시점에 대한 카메라 파라미터를 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 방법.
  27. 적어도 하나 이상의 기초 스트림을 구비하는 다시점 영상 데이터스트림을 부호화하는 장치에 있어서,
    상기 다시점 영상 데이터스트림의 기초 스트림에 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 포함하는 영상 정보를 삽입하는 다시점 영상 정보 삽입부;
    상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여 상기 다시점 영상에 관한 파라미터를 결정하는 다시점 영상 파라미터 결정부; 및
    상기 다시점 영상 데이터스트림에 상기 다시점 영상에 관한 파라미터를 삽입하는 다시점 영상 파라미터 삽입부를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  28. 제 27 항에 있어서,
    상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  29. 제 28 항에 있어서,
    상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  30. 제 28 항에 있어서,
    상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고,
    상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값으로 표현되고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스로 표현되고,
    상기 회전 파라미터는, 하나의 값으로 표현되거나 둘 이상의 값을 포함하는 매트릭스로 표현되는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  31. 제 30 항에 있어서,
    상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 하나의 기초 스트림에 삽입하는 단계를 포함하고,
    상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  32. 제 30 항에 있어서,
    상기 영상 정보를 삽입하는 단계는, 상기 다시점 영상 데이터스트림은 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비하고, 각각의 기초 스트림에 상기 다시점 영상 중 한 시점 영상 정보씩을 삽입하는 단계를 포함하고,
    상기 다시점 영상에 관한 파라미터를 결정하는 단계는, 상기 카메라 파라미터를 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  33. 제 27 항에 있어서, 상기 다시점 영상 파라미터 결정부는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 더 결정하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  34. 제 27 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 더 결정하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  35. 제 27 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 더 결정하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  36. 제 27 항에 있어서, 상기 다시점 영상에 관한 파라미터를 결정하는 단계는,
    상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 다시점 영상 파라미터는 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 더 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  37. 제 27 항에 있어서, 상기 다시점 영상에 관한 파라미터를 삽입하는 단계는,
    상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 다시점 영상 정보에 관한 파라미터는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 삽입되는 단계를 포함하는 것을 다시점 영상 데이터스트림 부호화 장치.
  38. 제 37 항에 있어서, 상기 다시점 영상에 관한 파라미터를 삽입하는 단계는,
    상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우,
    상기 각각의 시점에 대한 다시점 영상 파라미터를, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들에 삽입하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 부호화 장치.
  39. 적어도 하나 이상의 기초스트림을 구비하는 다시점 영상 데이터스트림을 복호화하는 장치에 있어서,
    상기 수신된 다시점 영상 데이터스트림의 기초 스트림으로부터 상기 다시점 영상 중 적어도 하나의 시점 영상 정보를 추출하는 다시점 영상 정보 추출부;
    상기 기초 스트림의 개수 및 상기 다시점 영상 중 각각의 시점 영상 사이의 관계에 기초하여, 상기 다시점 영상 데이터스트림으로부터 상기 다시점 영상에 관한 파라미터를 추출하는 다시점 영상 파라미터 추출부; 및
    상기 추출된 다시점 영상에 관한 파라미터 및 상기 추출된 시점 영상 정보를 이용하여 상기 다시점 영상을 복원하는 다시점 영상 복원부를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  40. 제 39 항에 있어서,
    상기 다시점 영상에 관한 파라미터는, 상기 다시점 영상을 획득하기 위해 사용된 카메라에 관한 카메라 파라미터 및 상기 다시점 영상의 안정적인 시청을 위한 저피로도 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  41. 제 40 항에 있어서,
    상기 저피로도 파라미터는, 디스플레이 화면의 폭에 관한 파라미터, 디스플레이 화면의 높이에 관한 파라미터 및 시청 거리에 관한 파라미터, 상기 각각의 시점 영상 사이의 최대 변이에 관한 파라미터, 상기 각각의 시점 영상 사이의 최소 변이에 관한 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  42. 제 40 항에 있어서,
    상기 카메라 파라미터는, 상기 카메라에 대한 평행 이동 파라미터, 상기 카메라에 대한 회전 파라미터 및 초점 거리 중 적어도 하나를 포함하고,
    상기 평행 이동 파라미터는, 상기 각각의 시점 영상에 대한 카메라의 좌표계의 한 축이 공유되면 하나의 값이고, 상기 카메라 좌표계의 축이 공유되지 않으면 둘 이상의 값을 포함하는 매트릭스이고,
    상기 회전 파라미터는, 하나의 값이거나 둘 이상의 값을 포함하는 매트릭스인 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  43. 제 40 항에 있어서,
    상기 다시점 영상 정보 추출부는,상기 다시점 영상 상기 다시점 영상 중 각각의 시점 영상 정보를 모두 포함하는 혼합 영상을 상기 다시점 영상 데이터스트림 내의 하나의 기초 스트림으로부터 추출하고,
    상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해, 상기 기준 시점 영상을 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  44. 제 40 항에 있어서,
    상기 다시점 영상 정보 추출부는, 상기 다시점 영상 데이터스트림이 상기 다시점 영상의 시점 수 이상의 개수의 기초 스트림을 구비할 때, 각각의 기초 스트림으로부터 상기 다시점 영상 중 한 시점 영상 정보씩을 추출하고,
    상기 다시점 영상 파라미터 추출부는, 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 영상 정보를 기준으로 상대적으로 표현된 카메라 파라미터를 상기 다시점 영상 데이터스트림으로부터 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  45. 제 39 항에 있어서, 상기 다시점 영상 파라미터 추출부는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 더 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  46. 제 39 항에 있어서, 상기 다시점 영상 파라미터 추출부는,
    현재 시점 영상에 관한 다시점 영상 파라미터가 존재하는지 여부를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 더 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  47. 제 39 항에 있어서, 상기 다시점 영상 파라미터 추출부는,
    현재 시점 영상에 관한 다시점 영상 파라미터를 결정할 때 대응이 되는 시점 영상의 기초 스트림의 식별 정보를 나타내는 파라미터를 상기 다시점 영상 데이터스트림으로부터 더 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  48. 제 39 항에 있어서, 상기 다시점 영상 파라미터 추출부는,
    상기 다시점 영상이 셋 이상의 시점에 관한 경우, 상기 기준 시점 영상의 기초 스트림을 표시하는 파라미터, 각각의 시점을 나타내는 파라미터, 각각의 시점의 배치 순서를 나타내는 파라미터 중 적어도 하나를 상기 다시점 영상 데이터스트림으로부터 더 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  49. 제 39 항에 있어서, 상기 다시점 영상 파라미터 추출부는,
    상기 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 다시점 영상 정보에 관한 파라미터를, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출하는 것을 특징으로 하는 다시점 영상 복호화 장치.
  50. 제 49 항에 있어서, 상기 다시점 영상 파라미터 추출부는,
    상기 다시점 영상 파라미터가 상기 다시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상에 대해 상기 기준 시점 정보를 기준으로 상대적으로 표현된 경우, 각각의 시점 영상 중 기준 시점 영상을 제외한 나머지 시점 영상의 기초 스트림에 대응되는 동일한 레벨의 박스들로부터 상기 각각의 시점에 대한 카메라 파라미터를 추출하는 것을 특징으로 하는 다시점 영상 데이터스트림 복호화 장치.
  51. 제 1 항 내지 제 12 항 중 어느 한 항의 다시점 영상 데이터스트림 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독가능한 기록 매체.
  52. 제 13 항 내지 제 26 항 중 어느 한 항의 다시점 영상 데이터스트림 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독가능한 기록 매체.
KR1020080044722A 2008-02-29 2008-05-14 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치 KR20090093734A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/266,870 US8878836B2 (en) 2008-02-29 2008-11-07 Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US3249008P 2008-02-29 2008-02-29
US61/032,490 2008-02-29

Publications (1)

Publication Number Publication Date
KR20090093734A true KR20090093734A (ko) 2009-09-02

Family

ID=41452909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080044722A KR20090093734A (ko) 2008-02-29 2008-05-14 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20090093734A (ko)

Similar Documents

Publication Publication Date Title
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR101490689B1 (ko) 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
CN105165008B (zh) 对与多视图再现设备一起使用的视频数据信号进行编码的方法
US8259162B2 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
US8218855B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
JP4251907B2 (ja) 画像データ作成装置
US9456196B2 (en) Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service
CN104333746B (zh) 广播接收机及其3d字幕数据处理方法
CN103202021B (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
JP2013539256A (ja) ３次元コンテンツに関する画像を合成する方法
CA2559131A1 (en) Stereoscopic parameter embedding apparatus and stereoscopic image reproducer
RU2462771C2 (ru) Устройство и способ для генерации и отображения медиа-файлов
JP6231125B2 (ja) マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法
KR20050090009A (ko) 화상 데이터 작성 장치 및 그 데이터를 재생하는 화상데이터 재생 장치
KR20080108939A (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
JP2012528510A (ja) 映像処理方法及び装置
JP2005184377A (ja) 画像変換装置及びそれを用いた画像記録装置
KR20090100189A (ko) 스케일링 정보를 포함하는 스테레오스코픽 영상데이터스트림 부호화 방법 및 장치, 그리고 그 복호화 방법및 그 장치
KR101390811B1 (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
KR101396350B1 (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application