KR101750047B1 - 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치 - Google Patents

3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치 Download PDF

Info

Publication number
KR101750047B1
KR101750047B1 KR1020100098829A KR20100098829A KR101750047B1 KR 101750047 B1 KR101750047 B1 KR 101750047B1 KR 1020100098829 A KR1020100098829 A KR 1020100098829A KR 20100098829 A KR20100098829 A KR 20100098829A KR 101750047 B1 KR101750047 B1 KR 101750047B1
Authority
KR
South Korea
Prior art keywords
image data
stream
time information
view image
information
Prior art date
Application number
KR1020100098829A
Other languages
English (en)
Other versions
KR20120037208A (ko
Inventor
박홍석
이재준
민형석
이대종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100098829A priority Critical patent/KR101750047B1/ko
Priority to US13/161,142 priority patent/US9167222B2/en
Publication of KR20120037208A publication Critical patent/KR20120037208A/ko
Priority to US14/087,901 priority patent/US9516293B2/en
Application granted granted Critical
Publication of KR101750047B1 publication Critical patent/KR101750047B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

3차원 영상을 제공하는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 획득하고, 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라, 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 생성한 후, 제 1 시점 영상 데이터, 제 2 시점 영상 데이터 및 시간 정보를 전송한다. 이 때, 제 1 시점 영상 데이터를 제 1 스트림을 통하여 전송하고, 제 2 시점 영상 데이터를 제 2 스트림을 통하여 전송하는 3차원 영상 제공 방법 및 장치가 개시된다.

Description

3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치{Method for providing and processing 3D image and apparatus for providing and processing 3D image}
본 발명은 3차원 영상을 제공하는 방법 및 장치와 3차원 영상을 처리하는 방법 및 장치에 관한 것으로, 특히 시간 정보를 통하여 영상 데이터에 대한 쌍정보를 제공함으로써 3차원 영상을 효율적으로 제공하는 방법 및 장치와, 쌍정보가 제공된 시간 정보를 이용하여 3차원 영상을 효율적으로 처리하는 방법 및 장치에 관한 것이다.
그래픽 기술 및 정보 통신 기술의 발달에 힘입어 3차원 영상에 대한 사용자의 욕구가 급증하고 있다. 3차원 영상은 사람의 양안 시차를 이용하는 것으로 좌안에 노출될 영상 데이터와 우안에 노출될 영상 데이터를 각각 제작하여 제공함으로써 사용자는 입체감을 느끼게 된다.
종래에는, 네트워크의 상태나 정보 처리 속도의 한계 등으로 상이한 시점의 영상 데이터들을 다중화하여 전송하는 기술이 보급되었다. 그러나, 네트워크 및 정보 처리 기술의 발달에 따라 상이한 시점의 영상 데이터를 별도의 스트림을 통하여 전송하는 기술이 각광을 받고 있으며, 이 경우 한쌍의 영상 데이터임을 나타내는 정보가 제공되어야 한다.
상기의 문제점을 해결하기 위한 본 발명의 목적은 시간 정보를 이용하여 쌍정보를 제공하는 3차원 영상 데이터 제공 방법 및 장치와, 쌍 정보를 제공하는 시간 정보를 이용하여 3차원 영상 데이터를 처리하는 방법 및 장치를 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 하나의 특징은, 3차원 영상을 제공하는 방법에 있어서, 3차원 영상을 제공하는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 획득하는 단계; 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 생성하는 단계; 및 상기 제 1 시점 영상 데이터, 상기 제 2 시점 영상 데이터 및 상기 시간 정보를 전송하는 단계를 포함하며, 상기 전송하는 단계는, 상기 제 1 시점 영상 데이터를 제 1 스트림을 통하여 전송하고, 상기 제 2 시점 영상 데이터를 제 2 스트림을 통하여 전송하는 것이다.
상기 시간 정보는, DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp) 중 적어도 하나를 포함할 수 있다.
상기 생성하는 단계는, 3차원 영상을 제공하는 한 쌍의 영상 데이터들에 대한 시간 정보가 동일한 값을 갖는 제 1 모드 및 3차원 영상을 제공하는 한 쌍의 영상 데이터들에 대한 시간 정보가 순차적인 값을 갖는 제 2 모드 중 적어도 하나의 타입에 기초하여, 상기 제 1 시점 영상 데이터 및 상기 제 2 시점 영상 데이터의 시간 정보를 생성하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 시간 정보를 생성하는데 사용된 모드에 관한 정보인 모드 정보가 포함된 부가 정보를 생성하는 단계를 포함할 수 있다.
상기 부가 정보는, 상기 시간 정보가 상기 제 1 모드에 기초하여 생성된 경우, 동일한 시간 정보를 갖는 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보를 더 포함할 수 있다.
상기 부가 정보는, 상기 시간 정보가 상기 제 2 모드에 기초하여 생성된 경우, 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터의 시점을 나타내는 선행 시점 정보를 더 포함할 수 있다.
상기 부가 정보는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 3차원 영상을 제공하기 위한 영상 데이터이며, 상이한 스트림에 포함되어 전송됨을 나타내는 3D 모드 정보를 더 포함할 수 있다.
상기 부가 정보는, Program Mapping Table(이하, PMT)에 포함될 수 있다.
상기 부가 정보는, PES(Program Elementary Stream) 해더(Header)내의 private data 필드 및 Extension 필드 중 적어도 하나에 포함될 수 있다.
상기 부가 정보는, ES(Elementary Stream) 해더내의 User_data 필드에 포함될 수 있다.
상기 부가 정보는, H.264에 따른 SEI, SPS, PPS 중 적어도 하나의 필드에 포함될 수 있다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 3차원 영상을 처리하는 방법에 있어서, 3차원 영상을 제공하는 제 1 시점 영상 데이터를 포함하는 제 1 스트림 및 상기 3차원 영상을 제공하는 제 2 시점 영상 데이터를 포함하는 제 2 스트림을 수신하는 단계; 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 획득하는 단계; 및 상기 시간 정보에 기초하여, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 처리하는 단계를 포함하며, 상기 시간 정보는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라 생성된 것이다.
상기 처리하는 단계는, 상기 제 1 스트림 및 상기 제 2 스트림 중 적어도 하나에 포함된 영상 데이터를 불연속적으로 처리하는 소정의 상황이 발생하면, 상기 제 1 스트림과 상기 제 2 스트림 모두에서 다른 영상 데이터를 참조하지 않는 기준 영상 데이터가 검색될 때까지 영상 데이터가 출력되지 않도록 제어하는 단계를 포함할 수 있다.
상기 처리하는 단계는, 상기 제 1 스트림과 상기 제 2 스트림 모두에서 기준 영상 데이터가 검색되면, 상기 부가 정보에 기초하여 늦게 검색된 기준 영상 데이터로부터 상기 제 1 스트림 및 상기 제 2 스트림내의 영상 데이터를 동기화하여 출력하는 단계를 더 포함할 수 있다.
상기 처리하는 단계는, 상기 동기화에 필요한 정보를 후처리 모듈 및 렌더러 모듈 중 적어도 하나에 전송하는 단계를 더 포함할 수 있다.
상기 처리하는 단계는, 상기 동기화에 필요한 정보를 상기 출력하는 영상 데이터들에 삽입하는 단계를 더 포함할 수 있다.
상기 소정의 상황은, 임의 접근(Random Access) 요청 신호가 수신되거나, 프레임 스킵이 발생한 경우를 포함할 수 있다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 3차원 영상을 제공하는 장치에 있어서, 3차원 영상을 제공하는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 수신하는 수신부; 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 소정의 관계에 따라 생성하는 생성부; 및 상기 제 1 시점 영상 데이터, 상기 제 2 시점 영상 데이터 및 상기 시간 정보를 전송하는 전송부를 포함하며, 상기 전송부는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 상이한 스트림을 통하여 전송하는 것이다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 3차원 영상을 처리하는 방법에 있어서, 3차원 영상을 제공하는 제 1 시점 영상 데이터를 포함하는 제 1 스트림 및 상기 3차원 영상을 제공하는 제 2 시점 영상 데이터를 포함하는 제 2 스트림을 수신하는 스트림 수신부; 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 획득하는 획득부; 및 상기 시간 정보에 기초하여, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 처리하는 처리부를 포함하며, 상기 시간 정보는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라 생성된 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 제공 장치(100)에 관한 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상 처리 장치(200)에 관한 블록도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 생성부(120)에서 생성한 시간 정보의 일 예이다.
도 4는 본 발명의 일 실시예에 따른 생성부(120)에서 생성한 시간 정보의 다른 예이다.
도 5는 본 발명의 일 실시예에 따른 부가 정보에 관한 일 예이다.
도 6은 본 발명의 일 실시예에 따른 PMT(Program Mappting Table)에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
도 7은 본 발명의 일 실시예에 따른 PES(Program Elementary Stream) 해더에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
도 8은 본 발명의 일 실시예에 따른 ES(Elementary Stream) 해더에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
도 9은 본 발명의 일 실시예에 따른 H.264에서 정의하는 NAL Unit에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
도 10은 본 발명의 다른 실시예에 따른 영상 처리 장치(1000)에 관한 블록도를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 랜덤 액세스를 제공하는 일 예를 나타낸다.
도 12은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 프레임 스킵이 발생하는 일 예를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)의 구체적인 동작을 나타낸다.
도 14은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화 정보를 전달하는 일 예를 나타낸다.
도 15은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화 정보를 전달하는 다른 예를 나타낸다.
도 16은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화 정보를 전달하는 또 다른 예를 나타낸다.
도 17은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화를 구현하는 방법에 관한 일 예를 나타낸다.
도 18은 본 발명의 일 실시예에 따른 3차원 영상 제공 방법에 관한 흐름도를 나타낸다.
도 19은 본 발명의 일 실시예에 따른 3차원 영상 처리 방법에 관한 흐름도를 나타낸다.
도 20은 본 발명의 다른 실시예에 따른 3차원 영상 처리 방법에 관한 흐름도를 나타낸다.
이하에서는 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 제공 장치(100)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 3차원 영상 제공 장치(100)는 획득부(110), 생성부(120) 및 전송부(130)를 포함한다.
획득부(110)는 3차원 영상을 제공하는 영상 데이터를 획득한다. 본 명세서에는 3차원 영상은 2개의 상이한 시점의 영상 데이터를 통하여 제공되는 스테레오스코픽 영상 데이터로 가정한다. 그러나, 셋 이상의 상이한 시점의 영상 데이터를 이용하여 3차원 영상이 제공될 수 있다. 이하에서는 설명의 편의를 위하여 3차원 영상을 제공하는 영상 데이터를 제 1 시점 영상 데이터와 제 2 시점 영상 데이터로 명명한다. 제 1 시점 영상 데이터는 좌시점 영상 데이터이고, 제 2 시점 영상 데이터가 우시점 영상 데이터이거나 반대일 수 있다. 실시 예에 따라서는, 제 1 시점 영상 데이터가 기준 시점 영상 데이터로 명명되고, 제 2 시점 영상 데이터가 부가 시점 영상 데이터로 명명될 수도 있다.
획득부(110)는 외부로부터 제 1 시점 영상 데이터 및 제 2 시점 영상 데이터를 수신하거나, 직접 생성할 수 있다. 제 1 시점 영상 데이터와 제 2 시점 영상 데이터는 동일한 코딩 기술을 이용하여 생성될 수도 있으나, 상이한 코딩 기술을 이용하여 생성될 수도 있다.
생성부(120)는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 생성한다. 시간 정보는 영상 데이터들이 디코더에서 처리될 시간을 나타내는 DTS(Decoding Time Stamp) 또는 영상 데이터들이 렌더러에서 처리될 시간을 나타내는 PTS(Presentation Time Stamp)를 포함할 수 있다.
생성부(120)는 후술할 3차원 영상 제공 장치(200)가 시간 정보를 이용하여 한 쌍의 영상 데이터를 쉽게 인지할 수 있도록 미리 약속된 방식에 따라 시간 정보를 생성한다. 생성된 시간 정보는 제 1 시점 영상 데이터 및 제 2 시점 영상 데이터에 대한 부가 정보에 삽입되어 전송될 수 있다.
이하에서는, 생성부(120)가 한쌍의 영상 데이터들에 대한 시간 정보를 생성하는 두 가지 방법을 설명한다. 그러나, 시간 정보는 한쌍의 영상 데이터들을 나타낼 수 있다면, 어떠한 방법으로 생성되어도 무방하다.
첫 번째 방법에서는, 한 쌍의 영상 데이터들에 대한 시간 정보가 동일한 값을 갖도록 시간 정보를 생성한다. 이하에서는, 첫 번째 방법에 대한 구체적인 예를 도 3을 이용하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 생성부(120)에서 생성한 시간 정보의 일 예이다.
도 3에서 제 1 스트림(310)은 제 1 시점 영상 데이터를 포함하고, 제 2 스트림(320)는 제 2 시점 영상 데이터를 포함한다. 생성부(120)는 한 쌍의 제 1 시점 영상 데이터와 제 2 시점 영상 데이터에 대하여 동일한 PTS 값을 생성한다. 도 3을 참고하면, 생성부(120)는 제 1 시점 영상 데이터(311)과 제 2 시점 영상 데이터(321)에 대한 PTS 값을 '00:01:03:34'로 생성한다.
첫 번째 방법에 의할 경우, 후술할 3차원 영상 처리 장치(200)에서는 동일한 PTS 값을 갖는 둘 이상의 영상 데이터들을 수신하게 된다. 동일한 시점에 두 개의 영상 데이터가 출력되는 것은 불가능하므로, 이들 간의 처리 순서가 시그널링 되어야 한다. 이를 위하여, 생성부(120)는 동일한 시간 정보를 갖는 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보를 더 생성할 수 있다. 우선 순위 정보는 영상 데이터들에 대한 부가 정보에 포함될 수 있다.
두 번째 방법에서는, 생성부(120)가 한 쌍의 영상 데이터에 대한 시간 정보가 순차적인 값을 갖도록 시간 정보를 생성한다. 이하에서는, 두 번째 방법에 대한 구체적인 예를 도 4을 이용하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 생성부(120)에서 생성한 시간 정보의 다른 예이다. 생성부(120)는 한 쌍의 제 1 시점 영상 데이터와 제 2 시점 영상 데이터에 대하여 순차적인 PTS 값을 생성한다. 그러나, 생성부(120)가 한쌍의 영상 데이터들에 대하여 연속적인 PTS 값을 생성할 필요는 없다.
도 4에서, 제 1 시점 영상 데이터(411)의 PTS 값은 '00:01:03:34'로 생성하고, 제 1 시점 영상 데이터(412)의 PTS 값은 '00:01:03:68'로 생성하고, 제 2 시점 영상 데이터(421)의 PTS 값은 '00:01:03:51'로 설정하였다.
순차적인 PTS 값을 갖는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 한쌍의 영상 데이터이므로, 제 1 시점 영상 데이터(411)와 제 2 시점 영상 데이터(421)가 한 쌍의 영상 데이터이거나, 제 1 시점 영상 데이터(412)와 제 2 시점 영상 데이터(421)가 한 쌍의 영상 데이터일 수 있다. PTS 값이 한쌍의 영상 데이터를 명확하게 나타내도록 하기 위하여, 생성부(120)는 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터의 시점을 나타내는 선행 시점 정보를 더 생성하여, 부가 정보에 삽입할 수 있다.
제 1 시점 영상 데이터가 선행하는 시간 정보를 가진다면, 제 1 시점 영상 데이터(411)와 제 2 시점 영상 데이터(421)가 한 쌍의 영상 데이터이다.
전송부(130)는 제 1 시점 영상 데이터, 제 2 시점 영상 데이터 및 시간 정보를 전송한다. 전송부(130)는 제 1 시점 영상 데이터를 제 1 스트림을 통하여 전송하고, 제 2 시점 영상 데이터를 제 2 스트림을 통하여 전송한다. 즉, 전송부(130)는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 상이한 스트림을 통하여 전송한다. 시간 정보는 대응하는 영상 데이터에 부가되어 전송되거나, 다른 정보에 포함되어 전송될 수 있다. 실시 예에 따라서는 제 1 스트림과 제 2 스트림이 전송되는 전송 매체와 상이한 전송 매체를 통하여 시간 정보가 전송될 수도 있다.
전송부(130)는 시간 정보의 타입 정보(즉, 한 쌍의 영상 데이터가 어떤 관계를 가지는지를 나타내는 정보), 우선 순위 정보 및 선행 시점 정보 중 적어도 하나가 포함된 부가 정보를 더 전송할 수 있다.
영상 데이터가 MPEG 계열의 코딩 기술을 이용한 경우에는 PMT(Program Mapping Table), PES(Program Elementary Stream) 해더, ES(Elementary Stream) 해더 중 적어도 하나에 부가 정보가 포함될 수 있다. 또한, 영상 데이터가 H.264 계열에 따른 코딩 기술을 이용하는 경우, SEI(Supplemental Enhancement Information), SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 중 적어도 하나에 부가 정보가 포함될 수 있다.
3차원 영상을 제공하기 위해서는 좌시점 영상 데이터와 우시점 영상 데이터를 제공하여야 한다. 종래에는 좌시점 영상 데이터와 우시점 영상 데이터를 하나의 스트림으로 다중화하여 전송하므로, 한 쌍의 영상 데이터들를 용이하게 인식할 수 있었다.
그러나, 좌시점 영상 데이터와 우시점 영상 데이터를 별도의 스트림을 통하여 전송하는 방법이 제안됨에 따라 한 쌍의 영상 데이터를 식별하는 것이 용이하지 않게 되었다. 디스플레이 장치로 입력되는 좌시점 영상 데이터와 우시점 영상 데이터가 순차적으로 전달되지 못할 수 있다. 이 경우, 사용자는 입체감을 제대로 느끼지 못한다.
본원 발명에서는 PTS와 같은 시간 정보를 이용하여 영상 데이터들간의 쌍정보를 명시적으로 제공함으로써, 별도의 더미 데이터 없이도 한쌍의 영상 데이터가 용이하게 식별될 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상 처리 장치(200)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 3차원 영상 처리 장치(200)는 수신부(210), 획득부(220) 및 처리부(230)를 포함한다.
수신부(210)는 3차원 영상을 제공하는 복수 개의 스트림을 수신한다. 이하에서는 설명의 편의를 위하여 제 1 시점 영상 데이터를 포함하는 스트림을 제 1 스트림으로 명명하고, 제 2 시점 영상 데이터를 포함하는 스트림을 제 2 스트림으로 명명한다.
획득부(220)는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 획득한다. 획득부(220)는 시간 정보에 관한 타입 정보가 포함된 부가 정보를 획득할 수 있다.
한 쌍의 영상 데이터들이 동일한 시간 정보를 갖는 경우(제 1 타입)에는, 동일한 시간 정보를 갖는 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보가 부가 정보에 포함될 수 있으며, 한쌍의 영상 데이터들이 순차적인 시간 정보를 갖는 경우(제 2 타입)에는 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터를 나타내는 선행 시점 정보가 부가 정보에 포함될 수 있다.
처리부(230)는 시간 정보에 기초하여 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 처리한다. 처리부(230)는 복호화부(미도시) 및 렌더러부(미도시)를 포함할 수 있다. 복호화부(미도시)는 제 1 시점 영상 데이터를 복호화하는 제 1 복호화부(미도시)와 제 2 시점 영상 데이터를 복호화하는 제 2 복호화부(미도시)를 포함할 수 있다.
이하에서는 시간 정보의 타입에 따라 처리부(230)가 영상 데이터를 처리하는 방법을 설명한다.
먼저, 한 쌍의 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 동일한 PTS 값을 갖는 경우(제 1 타입)를 도 3을 이용하여 설명한다.
제 1 복호화부는 제 1 시점 영상 데이터(311)를 복호화하고, 제 2 복호화부는 제 2 시점 영상 데이터(322)를 복호화한다.
제 1 복호화부 및 제 2 복호화부는 타입 정보 및 PTS를 이용하여 제 1 시점 영상 데이터(311)와 제 2 시점 영상 데이터(312)가 한 쌍의 영상 데이터임을 확인한다. 복호화부는 영상 데이터들의 쌍 정보 및 한 쌍의 영상 데이터들의 선후 관계 정보를 렌더러(미도시)에게 시그널링 할 수 있다.
렌더러(미도시)는 제 1 시점 영상 데이터(311)와 제 2 시점 영상 데이터(312)를 동기화하여 렌더링한다. 이 때, 제 1 시점 영상 데이터(311)와 제 2 시점 영상 데이터(312)의 PTS가 동일하므로, 렌더러는 상술한 우선 순위 정보에 기초하여 먼저 렌더링 할 영상 데이터를 결정하여야 한다. 일 예로, 우선 순위 정보가 제 1 시점 영상 데이터가 우선함을 나타내면, 제 1 시점 영상 데이터(311)가 먼저 렌더링 된 후 제 2 시점 영상 데이터(312)가 렌더링 될 것이다.
다음으로, 한 쌍의 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 동일한 PTS 값을 갖는 경우(제 2 타입)를 도 4을 이용하여 설명한다.
제 1 복호화부는 제 1 시점 영상 데이터(311,312)를 복호화하고, 제 2 복호화부는 제 2 시점 영상 데이터(321)를 복호화한다.
렌더러는 부가 정보에 포함된 타입 정보, 선행 시점 정보 및 PTS를 이용하여, 제 1 시점 영상 데이터(311)과 제 2 시점 영상 데이터(321)가 한 쌍의 영상 데이터임을 확인한다. 이 후, 렌더러는 제 1 시점 영상 데이터(311), 제 2 시점 영상 데이터(321)를 동기화하여 렌더링한다.
도 5는 본 발명의 일 실시예에 따른 부가 정보에 관한 일 예이다.
PTS_composition_type 필드(510)는 한 쌍의 영상 데이터들의 PTS 타입을 나타낸다. 본 명세서에서는 한 쌍의 영상 데이터들은 동일한 PTS값을 갖거나(제 1 타입), 순차적인 PTS 값(제 2 타입)을 갖는 것으로 가정하였다. PTS_composition_type 필드(510)가 '0'로 설정되면 한 쌍의 영상 데이터들의 PTS가 제 2 타입임을 나타내고, PTS_composition_type 필드(510)가 '1'으로 설정되면 한 쌍의 영상 데이터들의 PTS는 제 1 타입임을 나타낸다.
LR_flag 필드(520)는 복수 개의 스트림들이 어떤 시점의 영상 데이터를 포함하는지를 나타낸다. 일 예로, LR_flag 필드(520)가 '1'로 설정되면 제 1 스트림이 좌시점 영상 데이터를 포함하고, LR_flag 필드(520)가 '0'으로 설정되면 제 1 스트림이 우시점 영상 데이터를 포함한다.
L_procede_R_flag(540)는 선행 시점 정보에 해당한다. 한 쌍의 영상 데이터의 PTS가 제 2 타입일 경우 한 쌍의 영상 데이터들은 순차적인 PTS 값을 가진다. 이 때, 좌시점 영상 데이터의 PTS와 우시점 영상 데이터의 PTS 중 어느 것이 선행하는지를 표시함으로써 한 쌍의 영상 데이터들을 확인할 수 있다.
L_procede_R_flag(540)가 '1'로 설정되면, 한 쌍의 영상 데이터에 있어서 좌시점 영상 데이터의 PTS가 우시점 영상 데이터의 PTS보다 선행함을 나타낸다.
L_procede_R_flag(540)가 '1'로 설정되면, 한 쌍의 영상 데이터에 있어서 우시점 영상 데이터의 PTS가 좌시점 영상 데이터의 PTS보다 선행함을 나타낸다.
L_display_first_flag(530)는 우선 순위 정보에 해당한다. 한 쌍의 영상 데이터의 PTS가 제 1 타입일 경우, 한쌍의 영상 데이터들은 동일한 PTS 값을 가진다. L_display_first_flag(530)는 동일한 PTS를 가지는 영상 데이터들 중 어느 것을 먼저 처리할 것인지를 나타낸다.
L_display_first_flag(530)가 '1'로 설정되면 좌시점 영상 데이터가 우시점 영상 데이터보다 먼저 처리됨을 나타낸다.
L_display_first_flag(530)가 '0'으로 설정되면, 우시점 영상 데이터가 좌시점 영상 데이터보다 먼저 처리됨을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 PMT(Program Mappting Table)에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
부가 정보는 PSI(Program Signaling Information)내의 'reserved' 필드 또는 'descriptor'필드를 통해서 제공될 수 있으며, 도 6에서는 이러한 예로 부가 정보가 PMT내의 descriptor 필드(610)에 포함되는 경우이다.
도 7은 본 발명의 일 실시예에 따른 PES(Program Elementary Stream) 해더에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
본 발명의 일 실시예에 따른 부가 정보는 PEB_private_data 필드(710) 또는 PEB_Extention_Field_data 필드(720) 중 적어도 하나에 포함될 수 있다.
도 8은 본 발명의 일 실시예에 따른 ES(Elementary Stream) 해더에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
본 발명의 일 실시예에 따른 부가 정보는 extension_and_user_data(0) 필드(810), extension_and_user_data(1) 필드(820) 및 extension_and_user_data(2) 필드(830) 중 적어도 하나에 포함될 수 있다.
도 9은 본 발명의 일 실시예에 따른 H.264에서 정의하는 NAL Unit에 부가 정보가 삽입되는 경우의 일 예를 설명한다.
본 발명의 일 실시예에 따른 부가 정보는 SEI(Supplemental Enhancement Information)(910), SPS(Sequence Parameter Set)(920) 및 PPS(Picture Parameter Set)(930) 중 적어도 하나에 포함될 수 있다.
SEI(910)는 부가 정보를 제공하는 영역으로써 사용자가 독자적으로 정의하는 내용이 포함될 수 있다.
SPS(920)는 시퀀스 전체의 부호화 및 복호화와 관련된 정보가 포함된 해더 정보이다.
PPS(930)는 픽쳐 전체에 대한 정보가 포함된 해더 정보이다.
도 10은 본 발명의 다른 실시예에 따른 영상 처리 장치(1000)에 관한 블록도를 나타낸다.
본 발명의 다른 실시예에 다른 영상 처리 장치(1000)는 판단부(1010), 처리부(1020) 및 제어부(1030)를 포함한다.
판단부(1010)는 제 1 스트림 및 제 2 스트림 중 하나에 포함된 영상 데이터를 불연속적으로 처리하는 소정의 상황이 발생하는지를 판단한다. 제 1 스트림은 3차원 영상을 제공하는 제 1 시점 영상 데이터를 포함하고, 제 2 스트림은 3차원 영상을 제공하는 제 2 시점 영상 데이터를 포함한다. 제 1 스트림 및 제 2 스트림에 포함된 영상 데이터를 불연속적으로 처리하는 상황의 예로는, 사용자가 트릭 플레이를 요청하거나 빠른 재생을 요청한 경우등과 같이 랜덤 엑세스가 필요한 경우 또는 디코더의 출력이 지연되거나, 렌더러가 데이터를 수신하지 못하거나, 버퍼의 오버플로우등에 의하여 프레임 스킵이 발생하는 경우이다.
판단부(1010)는 영상 데이터를 불연속적으로 처리하는 소정의 상황이 발생하였음을 제어부(1030)에 통지한다.
처리부(1020)는 제 1 스트림 및 제 2 스트림에 포함된 영상 데이터를 복호화한 후 복호화된 데이터를 렌더러에 전달한다. 처리부(1020)는 시간 정보의 타입과 선후 관계가 포함된 부가 정보를 이용하여, 한쌍의 영상 데이터들을 식별할 수 있고 출력 순서를 알 수 있기 때문에 좌시점 영상 데이터와 우시점 영상 데이터를 동기화하여 순차적으로 출력할 수 있다. 그러나, 스트림내의 영상 데이터를 순차적으로 재생하지 못하는 소정의 상황이 발생하면 후술할 제어부(1030)의 제어에 따라 한 쌍의 영상 데이터들이 순차적으로 동기화되어 출력될 수 있도록 하여야 한다.
제어부(1030)는 처리부(1020)를 제어하여 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 동기화되어 재생되도록 한다.
제어부(1030)는 소정의 상황이 발생한 이후에 제 1 스트림과 제 2 스트림 모두에서 다른 영상 데이터를 참조하지 않는 기준 영상 데이터가 검색될 때까지 영상 데이터가 렌더러에 전송되지 않도록 처리부(1020)를 제어한다. 기준 영상 데이터는 I 프레임 또는 IDR 프레임일 수 있다.
랜덤 액세스는 기준 영상 데이터에서 가능하다. 3차원 영상을 제공하기 위해서는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 동기화되어 출력되어야 하므로, 제 1 시점 영상 데이터에 해당하는 기준 영상 데이터와 제 2 시점 영상 데이터에 해당하는 기준 영상 데이터가 모두 발견되는 시점부터 재생이 가능하다. 따라서, 제어부(1030)는 처리부(1020)가 처리한 영상 데이터의 타입을 확인한 후, 제 1 시점 영상 데이터에 해당하는 기준 영상 데이터와 제 2 시점 영상 데이터에 해당하는 기준 영상 데이터가 모두 발견될 때까지 처리된 영상 데이터가 렌더러에 전송되지 않도록 한다.
제어부(1030)는 제 1 스트림과 제 2 스트림 모두에서 기준 영상 데이터가 검색되면, 늦게 검색된 기준 영상 데이터로부터 영상 데이터들이 동기화되어 렌더링되도록 처리부(1020)를 제어한다. 제어부(1030)는 영상 데이터들이 동기화되어 렌더링되는데 필요한 정보인 동기화 정보(예를 들면, 쌍정보)가 렌더러에 전송되도록 처리부(1020)를 제어할 수 있다.
처리부(1020)는 제어부(1030)의 제어에 따라 동기화 정보를 영상 데이터에 부가하여 렌더러 또는 후처리부에 전송하거나, 동기화 정보를 영상 데이터와는 별도로 렌더러 또는 후처리부로 전송할 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 랜덤 액세스를 제공하는 일 예를 나타낸다. 도 11에서, 제 1 스트림은 좌시점 영상 데이터를 포함하고, 제 2 스트림은 우시점 영상 데이터를 포함하는 것으로 가정하자.
도 11a에서, 제 1 스트림은 MPEG2 코딩 기술을 사용하여 생성되며, 제 2 스트림은 MPEG2 또는 H.264 코딩 기술을 사용하여 생성되었다.
먼저, 각 스트림들내에서 랜덤 엑세스가 가능한 지점을 살펴보자. 제 1 스트림은 I 프레임(1101)으로의 랜덤 엑세스가 가능하다. 그러나, 제1 스트림내의 I 프레임(1101)에 대응하는 제 2 스트림내의 영상 데이터는 B 프레임(1102)이다. I 프레임(1101)은 다른 영상 데이터를 참조하지 않고 복호화될 수 있는 기준 영상 데이터이지만, B 프레임(1102)은 다른 영상 데이터를 참조하여 복호화된다. 따라서,제 2 스트림에서는 B 프레임(1102)으로의 랜덤 엑세스가 불가능하다.
제어부(1030)는 제 2 스트림에서 기준 영상 데이터가 검색될 때까지 제 1 스트림내의 영상 데이터와 제 2 스트림내의 영상 데이터를 렌더링하지 않는다. 제 2 스트림내에서 I 프레임(1103)이 검색되면, 제어부(1030)는 I 프레임(1103)부터 영상 데이터들이 동기화되어 렌더링되도록 처리부(1020)을 제어한다. 이 후, 제 1 스트림내의 B 프레임(1104)와 제 2 스트림내의 I 프레임(1103)을 시작으로 좌시점 영상 데이터와 우시점 영상 데이터가 순차적으로 렌더링될 것이다.
이와 같이, 제어부(1030)는 제 1 스트림내의 복호화된 영상 데이터가 출력되지 않도록 대기시키고, 부가 정보를 이용하여 제 1 스트림과 제 2 스트림내의 영상 데이터들이 동시에 출력될 수 있는 시점까지 대기된 영상 데이터의 수를 카운팅함으로써 제 1 스트림과 제 2 스트림내의 영상 데이터들이 동기화되어 출력될 수 있도록 한다.
도 11b에서, 제 1 스트림은 MPEG2 코딩 기술을 사용하여 생성되며, 제 2 스트림은 MPEG2 또는 H.264 코딩 기술을 사용하여 생성되었다.
먼저, 각 스트림들내에서 랜덤 엑세스가 가능한 지점을 살펴보자. 제 1 스트림은 I 프레임(1111)으로의 랜덤 엑세스가 가능하다. 그러나, 제1 스트림내의 I 프레임(1111)에 대응하는 제 2 스트림내의 영상 데이터는 P 프레임(1112)이다. P 프레임(1112)은 B 프레임과 마찬가지로 다른 영상 데이터를 참조하여 복호화된다. 따라서, 제 2 스트림에서는 B 프레임(1102)으로의 랜덤 엑세스가 불가능하다.
제어부(1030)는 제 2 스트림에서 기준 영상 데이터가 검색될 때까지 제 1 스트림내의 영상 데이터와 제 2 스트림내의 영상 데이터를 렌더링하지 않는다. 제 2 스트림내에서 I 프레임(1113)이 검색되면, 제어부(1030)는 I 프레임(1113)부터 영상 데이터들이 동기화되어 렌더링되도록 처리부(1020)을 제어한다. 이 후, 제 1 스트림내의 P 프레임(1114)와 제 2 스트림내의 I 프레임(1113)을 시작으로 좌시점 영상 데이터와 우시점 영상 데이터가 순차적으로 렌더링될 것이다.
도 11c에서, 제 1 스트림은 MPEG2 코딩 기술을 사용하여 생성되며, 제 2 스트림은 H.264 코딩 기술을 사용하여 생성되었다.
먼저, 각 스트림들내에서 랜덤 엑세스가 가능한 지점을 살펴보자. 제 1 스트림은 I 프레임(1121)으로의 랜덤 엑세스가 가능하다. 제1 스트림내의 I 프레임(1121)에 대응하는 제 2 스트림내의 영상 데이터 또한 I 프레임(1122)이다. H.264 코딩 기술에서는, I 프레임들 중 IDR 프레임만이 다른 영상 데이터를 참조하지 않고 복호화될 수 있다. IDR 프레임은 이전 프레임 정보를 전혀 사용하지 않고 복호화 될 수 있는 프레임을 의미하며, IDR 프레임을 기준으로 PIC(Picture Order Count), 프레임 번호, 참조 프레임 버퍼의 상태가 모두 초기화된다. H.264/AVC 코딩 기술에서는 I 프레임 이후의 P 프레임이 I 프레임 이전의 프레임을 참조하는 방식의 예측 부호화가 가능하다. 따라서, I 프레임(1122)는 랜덤 액세스 포인트가 되지 못한다.
I 프레임(1122)는 IDR 프레임이 아니므로 랜덤 액세스가 요청된 지점에서는 우시점 영상 데이터를 재생할 수 없다.
제어부(1030)는 제 2 스트림에서 기준 영상 데이터가 검색될 때까지 제 1 스트림내의 영상 데이터와 제 2 스트림내의 영상 데이터를 모두 렌더링하지 않는다. 제 2 스트림내에서 IDR 프레임(1123)이 검색되면, 제어부(1030)는 IDR 프레임(1123)부터 영상 데이터들이 동기화되어 렌더링되도록 처리부(1020)을 제어한다. 이 후, 제 1 스트림내의 I 프레임(1124)와 제 2 스트림내의 IDR 프레임(1123)을 시작으로 좌시점 영상 데이터와 우시점 영상 데이터가 순차적으로 렌더링될 것이다.
도 11d에서, 제 1 스트림은 H.264 코딩 기술을 사용하여 생성되며, 제 2 스트림은 H.264 코딩 기술을 사용하여 생성되었다.
먼저, 각 스트림들내에서 랜덤 엑세스가 가능한 지점을 살펴보자. 제 1 스트림은 IDR 프레임(1131)으로의 랜덤 엑세스가 가능하다. 그러나, 제1 스트림내의 IDR 프레임(1131)에 대응하는 제 2 스트림내의 영상 데이터는 I(IDR이 아닌) 프레임(1132)이다. I 프레임(1132)는 IDR 프레임이 아니므로 랜덤 액세스가 요청된 지점에서는 우시점 영상 데이터를 재생할 수 없다. 따라서, 제 2 스트림에서는 I 프레임(1132)으로의 랜덤 엑세스가 불가능하다.
제어부(1030)는 제 2 스트림에서 기준 영상 데이터가 검색될 때까지 제 1 스트림내의 영상 데이터와 제 2 스트림내의 영상 데이터를 모두 렌더링하지 않는다. 제 2 스트림내에서 IDR 프레임(1133)이 검색되면, 제어부(1030)는 IDR 프레임(1123)부터 영상 데이터들이 동기화되어 렌더링되도록 처리부(1020)을 제어한다. 이 후, 제 1 스트림내의 IDR 프레임(1134)과 제 2 스트림내의 IDR 프레임(1133)을 시작으로 좌시점 영상 데이터와 우시점 영상 데이터가 순차적으로 렌더링될 것이다.
도 12은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 프레임 스킵이 발생하는 일 예를 나타낸다. 도 12에서, 제 1 스트림은 좌시점 영상 데이터를 포함하고, 제 2 스트림은 우시점 영상 데이터를 포함하는 것으로 가정하자.
TB1(1211), TB2(1221)은 각각 제 1 스트림 및 제 2 스트림에 대한 전송 버퍼이다. TB1(1211), TB2(1221)를 통하여 PCR을 획득할 수 있다. PCR은 전송 프트림내의 타임 스탬프로써, 디코더의 타이밍을 도출한다.
MB1(1212), MB2(1222)는 각각 제 1 스트림 및 제 2 스트림에 대한 다중화 버퍼이다. MB1(1212), MB2(1222)를 통하여 DTS 및 PTS를 획득한다. PTS는 PES 해더내에 존재할 수 있으며, 프리젠테이션 시간을 나타낸다. DTS 또한 PES 해더내에 존재할 수 있으며, 디코딩 시간을 나타낸다.
EB1(1213) 및 EB2(1223)은 각각 제 1 스트림 및 제 2 스트림에 대한 기본 스트림 버퍼이다.
D1(1214), D2(1224)는 각각 제 1 스트림 및 제 2 스트림에 대한 디코더이다.
O1(1215), O2(1225)는 각각 제 1 스트림 및 제 2 스트림에 대한 재배열 버퍼이다.
도 12에서, 렌더러(1240)내의 버퍼에 오버플로우가 발생하여 R2(1244)가 처리되지 못하였다. 따라서, 렌더러(1240)는 L1(1241), R1(1242), L2(1243), L3(1245) 순으로 영상 데이터를 렌더링 하였다. L2(1243)와 L3(1245)는 모두 좌시점 영상 데이터로써 한 쌍의 영상 데이터가 아니다. 따라서, 사용자는 입체감을 제대로 느낄 수 없다.
본원 발명은, 프레임 스킵이 발생하면 제 1 스트림과 제 2 스트림 모두에서 기준 영상 프레임이 검색될 때까지 렌더링을 중지함으로써, 프레임 스킵이 발생한 후에도 좌시점 영상 데이터와 우시점 영상 데이터가 동기화되어 출력될 수 있다.
도 13은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)의 구체적인 동작을 나타낸다. 도 13에서, 사용자로부터 트릭 플레이가 요청되었다고 가정하자.
제어부(1030)는 트릭 플레이가 요청된 지점에서의 영상 데이터들이 기준 영상 데이터인지를 판단한다. 트릭 플레이가 요청된 지점에서 제 2 스트림내의 영상 데이터는 P 프레임이므로, 제어부(1030)는 영상 데이터를 렌더러(1310)에 전송하지 않도록 처리부(1020)을 제어한다.
제어부(1030)는 제 2 스트림에서 I 프레임이 검색되면, 검색된 I 프레임부터 영상 데이터들이 동기화하여 출력되도록 처리부(1020)를 제어한다.
도 14은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화 정보를 전달하는 일 예를 나타낸다.
처리부(1020)는 좌시점 영상 데이터와 우시점 영상 데이터에 동기화 정보를 부가하여 렌더러(1410)에 전송한다. 동기화 정보는 한쌍의 영상 데이터들을 식별하기 위한 쌍정보 및 한쌍의 영상 데이터들의 출력 순서를 나타내는 출력 순서 정보가 포함될 수 있다.
도 15은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화 정보를 전달하는 다른 예를 나타낸다.
처리부(1020)는 동기화 정보를 복호화된 영상 데이터들과 별도로 렌더러(1510)에 전달한다.
도 16은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)에서 동기화 정보를 전달하는 또 다른 예를 나타낸다.
처리부(1020)는 동기화 정보를 복호화된 영상 데이터들과 별도로 후처리부(1610) 및 렌더러(1620)에 전달한다.
도 17은 본 발명의 일 실시예에 따른 영상 처리 장치(1000)가 부가 정보외의 데이터를 이용하여 동기화를 구현하는 방법에 관한 일 예를 나타낸다. 도 17에서, 제 1 스트림은 MPEG2 코딩 기술을 사용하여 생성되고, 제 2 스트림은 H.264/AVC 코딩 기술을 사용하여 생성되었다.
MPEG2 코딩 기술의 경우 프레임의 순서를 'temporal reference' 필드에서 정의하며, GOP 단위로 프레임의 디스플레이 순서를 지정한다.
H.264/AVC 코딩 기술의 경우, 프레임의 순서를 POC 값으로 정의하며, POC는 프레임의 디스플레이 순서를 의미한다. POC 계산은 슬라이스 해더에서 정의되는 'pic_order_cnt_type'에 따라 세가지 방식 중 하나가 사용되며, 슬라이스 해더에 포함된 카운트 값 계산을 위한 정보를 이용하여 POC 값을 계산한다.
따라서, 영상 처리 장치(1000)는 좌시점 영상 데이터를 복호화하여 'temporal reference' 필드를 획득하고, 우시점 영상 데이터를 복호화하여 POC를 계산함으로써 영상 데이터들이 스트림내의 몇 번째 프레임인지를 확인할 수 있다. 이러한 정보를 이용하여 한쌍의 영상 데이터들을 확인할 수 있다.
이와 같이, 영상 처리 장치(1000)는 PTS, DTS와 같은 시간 정보를 이용하여 한쌍의 영상 데이터를 확인할 수도 있으나, 'temporal reference' 필드 및 POC와 같은 정보를 이용하여도 한쌍의 영상 데이터를 확인할 수 있다.
도 18은 본 발명의 일 실시예에 따른 3차원 영상 제공 방법에 관한 흐름도를 나타낸다.
단계 s1810에서는, 3차원 영상을 제공하는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 획득한다.
단계 s1820에서는, 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 생성한다. 이 때, 시간 정보는, 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라 생성된다.
단계 s1830에서는, 제 1 시점 영상 데이터 제 2 시점 영상 데이터 및 시간 정보를 전송한다. 제 1 시점 영상 데이터는 제 1 스트림을 통하여 전송하고, 제 2 시점 영상 데이터는 제 2 스트림을 통하여 전송한다.
도 19은 본 발명의 일 실시예에 따른 3차원 영상 처리 방법에 관한 흐름도를 나타낸다.
단계 s1910에서는, 3차원 영상을 제공하는 제 1 시점 영상 데이터를 포함하는 제 1 스트림 및 3차원 영상을 제공하는 제 2 시점 영상 데이터를 포함하는 제 2 스트림을 수신한다.
단계 s1920에서는, 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보를 획득한다. 시간 정보는, 제 1 시점 영상 데이터와 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라 생성된 것이다.
단계 s1930에서는, 시간 정보에 기초하여 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 처리한다.
도 20은 본 발명의 다른 실시예에 따른 3차원 영상 처리 방법에 관한 흐름도를 나타낸다.
단계 s2010에서는, 제 1 스트림 및 상기 제 2 스트림 중 적어도 하나에 포함된 영상 데이터를 불연속적으로 처리하는 소정의 상황이 발생하였는지를 판단한다. 소정의 상황이 발생하면 단계 s2020을 진행하고, 그렇지 않으면 단계 s2050을 진행한다.
단계 s2020에서는, 제 1 스트림 및 제 2 스트림내의 영상 데이터를 처리한다.
단계 s2030에서는, 제 1 스트림과 제 2 스트림 모두에서 다른 영상 데이터를 참조하지 않는 기준 영상 데이터가 검색되었는지를 판단한다. 즉, 단계 s2010을 진행한 이후에 제 1 스트림과 제 2 스트림에서 기준 영상 데이터가 검색되었는지를 판단한다. 제 1 스트림과 제 2 스트림 모두에서 기준 영상 데이터가 검색되면, 단계 s2050을 진행하고 그렇지 않으면 단계 s2040을 진행한다.
단계 s2040에서는, 처리된 영상 데이터가 렌더링되지 않도록 제어한다. 이 후, 단계 s2020을 다시 진행하여 다음 영상 데이터를 처리한다.
단계 s2050에서는, 영상 데이터들을 동기화하여 렌더링함으로써 3차원 영상을 제공한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (30)

  1. 3차원 영상을 제공하는 방법에 있어서,
    3차원 영상을 제공하는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 획득하는 단계;
    상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록, 소정의 관계에 따라 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보 및 상기 시간 정보에 대한 부가 정보를 생성하는 단계; 및
    상기 제 1 시점 영상 데이터, 상기 제 2 시점 영상 데이터 및 상기 시간 정보를 전송하는 단계를 포함하며,
    상기 전송하는 단계는, 상기 제 1 시점 영상 데이터를 제 1 스트림을 통하여 전송하고, 상기 제 2 시점 영상 데이터를 제 2 스트림을 통하여 전송하고,
    상기 부가 정보는, 한 쌍의 영상 데이터들에 대한 시간 정보가 동일한 값을 갖는 제 1 타입의 경우 동일한 시간 정보를 갖는 상기 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보를 포함하고, 한 쌍의 영상 데이터들에 대한 시간 정보가 순차적인 값을 갖는 제 2 타입의 경우 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터의 시점을 나타내는 선행 시점 정보를 포함하는 것을 특징으로 하는 3차원 영상 제공 방법.
  2. 제 1 항에 있어서, 상기 시간 정보는,
    DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp) 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 제공 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1항에 있어서, 상기 부가 정보는,
    상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 3차원 영상을 제공하기 위한 영상 데이터이며, 상이한 스트림에 각각 포함되어 전송됨을 나타내는 3D 모드 정보를 더 포함하는 것을 특징으로 하는 3차원 영상 제공 방법.
  8. 제 1항에 있어서, 상기 부가 정보는,
    Program Mapping Table(이하, PMT)에 포함되는 것을 특징으로 하는 3차원 영상 제공 방법.
  9. 제 1항에 있어서, 상기 부가 정보는,
    PES(Program Elementary Stream) 해더(Header)내의 private data 필드 및Extension 필드 중 적어도 하나에 포함되는 것을 특징으로 하는 3차원 영상 제공 방법.
  10. 제 1항에 있어서, 상기 부가 정보는,
    ES(Elementary Stream) 해더내의 User_data 필드에 포함되는 것을 특징으로 하는 3차원 영상 제공 방법.
  11. 제 1항에 있어서, 상기 부가 정보는,
    H.264에 따른 SEI(Supplemental Enhancement Information), SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 중 적어도 하나의 필드에 포함되는 것을 특징으로 하는 3차원 영상 제공 방법.
  12. 3차원 영상을 처리하는 방법에 있어서,
    3차원 영상을 제공하는 제 1 시점 영상 데이터를 포함하는 제 1 스트림 및 상기 3차원 영상을 제공하는 제 2 시점 영상 데이터를 포함하는 제 2 스트림을 수신하는 단계;
    상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보 및 상기 시간 정보에 대한 부가 정보를 획득하는 단계; 및
    상기 시간 정보에 기초하여, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 처리하는 단계를 포함하며,
    상기 시간 정보는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라 생성되고,
    상기 부가 정보는, 한 쌍의 영상 데이터들에 대한 시간 정보가 동일한 값을 갖는 제 1 타입의 경우 동일한 시간 정보를 갖는 상기 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보를 포함하고, 한 쌍의 영상 데이터들에 대한 시간 정보가 순차적인 값을 갖는 제 2 타입의 경우 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터의 시점을 나타내는 선행 시점 정보를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  13. 제 12 항에 있어서, 상기 시간 정보는,
    DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  14. 삭제
  15. 제 12항에 있어서,
    상기 처리하는 단계는, 상기 시간 정보 및 상기 부가 정보에 기초하여 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 처리하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  16. 삭제
  17. 삭제
  18. 제 15항에 있어서, 상기 부가 정보는,
    Program Mapping Table(이하, PMT)에 포함되는 것을 특징으로 하는 3차원 영상 처리 방법.
  19. 제 15항에 있어서, 상기 부가 정보는,
    PES(Program Elementary Stream) 해더(Header)내의 private data 필드 및Extension 필드 중 적어도 하나에 포함되는 것을 특징으로 하는 3차원 영상 처리 방법.
  20. 제 15항에 있어서, 상기 부가 정보는,
    ES(Elementary Stream) 해더내의 User_data 필드에 포함되는 것을 특징으로 하는 3차원 영상 처리 방법.
  21. 제 15항에 있어서, 상기 부가 정보는,
    H.264에 따른 SEI, SPS, PPS 중 적어도 하나의 필드에 포함되는 것을 특징으로 하는 3차원 영상 처리 방법.
  22. 제 15항에 있어서, 상기 처리하는 단계는,
    상기 제 1 스트림 및 상기 제 2 스트림 중 적어도 하나에 포함된 영상 데이터를 불연속적으로 처리하는 소정의 상황이 발생하면, 상기 제 1 스트림과 상기 제 2 스트림 모두에서 다른 영상 데이터를 참조하지 않는 기준 영상 데이터가 검색될 때까지 상기 제 1 스트림 및 상기 제 2 스트림내의 영상 데이터가 출력되지 않도록 제어하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  23. 제 22항에 있어서, 상기 처리하는 단계는,
    상기 제 1 스트림과 상기 제 2 스트림 모두에서 기준 영상 데이터가 검색되면, 상기 부가 정보에 기초하여 늦게 검색된 기준 영상 데이터로부터 상기 제 1 스트림 및 상기 제 2 스트림내의 영상 데이터를 동기화하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  24. 제 23항에 있어서, 상기 처리하는 단계는,
    상기 제 1 스트림 및 상기 제 2 스트림내의 영상 데이터를 동기화하여 출력하는데 필요한 동기화 정보를 후처리 모듈 및 렌더러 모듈 중 적어도 하나에 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  25. 제 23항에 있어서, 상기 처리하는 단계는,
    상기 제 1 스트림 및 상기 제 2 스트림내의 영상 데이터를 동기화하여 출력하는데 필요한 동기화 정보를 상기 출력하는 영상 데이터들에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  26. 제 22항에 있어서, 상기 소정의 상황은,
    임의 접근(Random Access) 요청 신호가 수신되거나, 프레임 스킵이 발생한 경우를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
  27. 3차원 영상을 제공하는 장치에 있어서,
    3차원 영상을 제공하는 제 1 시점 영상 데이터와 제 2 시점 영상 데이터를 수신하는 수신부;
    상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보 및 상기 시간 정보에 대한 부가 정보를 소정의 관계에 따라 생성하는 생성부; 및
    상기 제 1 시점 영상 데이터, 상기 제 2 시점 영상 데이터 및 상기 시간 정보를 전송하는 전송부를 포함하며,
    상기 전송부는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 상이한 스트림을 통하여 전송하고,
    상기 부가 정보는, 한 쌍의 영상 데이터들에 대한 시간 정보가 동일한 값을 갖는 제 1 타입의 경우 동일한 시간 정보를 갖는 상기 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보를 포함하고, 한 쌍의 영상 데이터들에 대한 시간 정보가 순차적인 값을 갖는 제 2 타입의 경우 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터의 시점을 나타내는 선행 시점 정보를 포함하는 것을 특징으로 하는 3차원 영상 제공 장치.
  28. 3차원 영상을 처리하는 방법에 있어서,
    3차원 영상을 제공하는 제 1 시점 영상 데이터를 포함하는 제 1 스트림 및 상기 3차원 영상을 제공하는 제 2 시점 영상 데이터를 포함하는 제 2 스트림을 수신하는 스트림 수신부;
    상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 처리될 시점을 나타내는 시간 정보 및 상기 시간 정보에 대한 부가 정보를 획득하는 획득부; 및
    상기 시간 정보에 기초하여, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터를 처리하는 처리부를 포함하며,
    상기 시간 정보는, 상기 제 1 시점 영상 데이터와 상기 제 2 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내도록 소정의 관계에 따라 생성되고,
    상기 부가 정보는, 한 쌍의 영상 데이터들에 대한 시간 정보가 동일한 값을 갖는 제 1 타입의 경우 동일한 시간 정보를 갖는 상기 한 쌍의 영상 데이터들의 처리 순서를 나타내는 우선 순위 정보를 포함하고, 한 쌍의 영상 데이터들에 대한 시간 정보가 순차적인 값을 갖는 제 2 타입의 경우 한 쌍의 영상 데이터들 중 선행하는 시간 정보를 갖는 영상 데이터의 시점을 나타내는 선행 시점 정보를 포함하는 것을 특징으로 하는 3차원 영상 처리 장치.
  29. 제 1항 내지 제 2항 또는 제 7항 내지 제 11항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  30. 제 12항 내지 제 13항, 제 15항 또는 제 18항 내지 제 26항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020100098829A 2010-10-11 2010-10-11 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치 KR101750047B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100098829A KR101750047B1 (ko) 2010-10-11 2010-10-11 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
US13/161,142 US9167222B2 (en) 2010-10-11 2011-06-15 Method and apparatus for providing and processing 3D image
US14/087,901 US9516293B2 (en) 2010-10-11 2013-11-22 Method and apparatus for providing and processing 3D image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100098829A KR101750047B1 (ko) 2010-10-11 2010-10-11 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치

Publications (2)

Publication Number Publication Date
KR20120037208A KR20120037208A (ko) 2012-04-19
KR101750047B1 true KR101750047B1 (ko) 2017-06-22

Family

ID=45924808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100098829A KR101750047B1 (ko) 2010-10-11 2010-10-11 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치

Country Status (2)

Country Link
US (2) US9167222B2 (ko)
KR (1) KR101750047B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568535B2 (en) * 2008-05-22 2020-02-25 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
WO2013109966A1 (en) 2012-01-20 2013-07-25 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
US11690558B2 (en) * 2011-01-21 2023-07-04 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
KR101998892B1 (ko) * 2012-03-01 2019-07-10 소니 주식회사 송신 장치, 송신 방법 및 수신 장치
EP2822282B1 (en) * 2012-04-23 2018-11-07 LG Electronics Inc. Signal processing device and method for 3d service
WO2013162335A1 (ko) * 2012-04-26 2013-10-31 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
US10205975B2 (en) * 2016-01-20 2019-02-12 Avago Technologies International Sales Pte. Limited Trick mode operation with multiple video streams
US11082752B2 (en) * 2018-07-19 2021-08-03 Netflix, Inc. Shot-based view files for trick play mode in a network-based video delivery system
JP2023545222A (ja) * 2021-09-16 2023-10-27 センスタイム インターナショナル ピーティーイー．リミテッド 画像同期方法及び装置、機器並びにコンピュータ記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997015150A1 (fr) * 1995-10-19 1997-04-24 Sony Corporation Procede et dispositif de formation d'images en trois dimensions
DE60115789T2 (de) * 2000-08-25 2006-08-31 Fuji Photo Film Co., Ltd., Minami-Ashigara Vorrichtung zur Parallaxbildaufnahme und Parallaxbildverarbeitung
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
WO2004030376A1 (ja) * 2002-09-27 2004-04-08 Sharp Kabushiki Kaisha 立体画像表示装置、立体画像記録装置および立体画像記録方法
WO2006007527A2 (en) * 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8512139B2 (en) * 2006-04-13 2013-08-20 Igt Multi-layer display 3D server based portals
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
EP2198625A4 (en) * 2007-10-10 2013-11-06 Korea Electronics Telecomm METADATA STRUCTURE FOR STORING AND REPRODUCING STEREOSCOPIC DATA AND METHOD FOR STORING A STEREOSCOPIC CONTENT FILE USING THESE METADATA
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
EP2343907A4 (en) * 2008-10-10 2012-06-20 Lg Electronics Inc RECEPTION SYSTEM AND METHOD OF PROCESSING DATA
KR100970388B1 (ko) * 2008-10-31 2010-07-15 한국전자통신연구원 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device

Also Published As

Publication number Publication date
US20140078253A1 (en) 2014-03-20
US20120086773A1 (en) 2012-04-12
US9167222B2 (en) 2015-10-20
KR20120037208A (ko) 2012-04-19
US9516293B2 (en) 2016-12-06

Similar Documents

Publication Publication Date Title
KR101750047B1 (ko) 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
KR101506219B1 (ko) 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US20170318276A1 (en) Broadcast receiver and video data processing method thereof
US9661320B2 (en) Encoding device, decoding device, playback device, encoding method, and decoding method
US20120106921A1 (en) Encoding method, display apparatus, and decoding method
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
KR102008818B1 (ko) 디지털 방송 신호 처리 방법 및 장치
KR100810539B1 (ko) 다중 카메라 시스템에서 자유로운 기본설정 뷰의부호화/복호화 방법 및 그 장치
JP5957769B2 (ja) 映像処理装置及び映像処理方法
WO2013089024A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
KR101977260B1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
KR20120097372A (ko) 방송 수신기 및 3ｄ 방송 데이터 처리 방법
JPWO2013099289A1 (ja) 再生装置、送信装置、再生方法及び送信方法
US20140354770A1 (en) Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof
KR100763441B1 (ko) 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
US8934757B2 (en) Content distribution system, playback device, distribution server, playback method, and distribution method
US20120188340A1 (en) Content distribution system, playback apparatus, distribution server, playback method, and distribution method
KR101591703B1 (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
US20140078255A1 (en) Reproduction device, reproduction method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant