KR20110106367A - 이미지 기반 ３ｄ 비디오 포맷 - Google Patents

이미지 기반 ３ｄ 비디오 포맷 Download PDF

Info

Publication number
KR20110106367A
KR20110106367A KR1020117016213A KR20117016213A KR20110106367A KR 20110106367 A KR20110106367 A KR 20110106367A KR 1020117016213 A KR1020117016213 A KR 1020117016213A KR 20117016213 A KR20117016213 A KR 20117016213A KR 20110106367 A KR20110106367 A KR 20110106367A
Authority
KR
South Korea
Prior art keywords
information
depth information
additional
multiple views
dimensional video
Prior art date
Application number
KR1020117016213A
Other languages
English (en)
Other versions
KR101651442B1 (ko
Inventor
페테르-안드레 레데르트
레이니르 베. 엠. 클레인 휘네비크
바르톨로뫼스 베. 데. 소네펠트
크리스티안 바레캄프
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20110106367A publication Critical patent/KR20110106367A/ko
Application granted granted Critical
Publication of KR101651442B1 publication Critical patent/KR101651442B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

본 발명은 3차원 비디오 데이터를 인코딩하기 위한 방법 및 디바이스(580)에 관한 것으로, 상기 디바이스는: 상이한 뷰포인트들로부터 장면의 다중 동시 뷰들(501)을 인코딩하도록 배열된 제 1 인코더(505); 장면의 깊이 정보를 인코딩하도록 배열된 제 2 인코더(510); 및 다중 뷰들 및 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하도록 배열된 제 3 인코더(515) 및 인코딩된 정보를 3차원 비디오 데이터의 표현(513)에 결합하도록 배열된 결합기(520)를 포함한다. 추가 정보는 깊이 정보 및 다중 뷰들 중 적어도 하나가 동일한 소스 재료에 대응하는지의 여부를 표시하는 분류기를 포함하여, 이들이 대응하면 깊이 정보 및 다중 뷰들 중 적어도 하나를 이용하여 추가의 상이한 뷰포인트들로부터의 추가의 장면의 뷰들을 렌더링한다. 본 발명은 추가로, 3차원 비디오 데이터를 디코딩하기 위한 방법 및 디바이스(585) 뿐만 아니라, 본 발명에 따른 방법을 실행하기 위한 프로그램 명령들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

Description

이미지 기반 ３Ｄ 비디오 포맷{IMAGE BASED 3D VIDEO FORMAT}
본 발명은 3차원 비디오 데이터를 인코딩하는 디바이스 및 방법, 3차원 비디오 데이터를 디코딩하기 위한 디바이스 및 방법, 및 3차원 비디오 데이터를 포함하는 신호에 관한 것이다.
지난 20여년 동안 다양한 입체영상(stereoscopic) 및 자동 입체영상(autostereoscopic) 디스플레이 시스템들이 개발되어 왔다. 이 시스템들은 뷰어(viewer)에게 정지 및/또는 동영상 비디오 이미지들의 3차원(3D) 인상(impression)을 제공하는 것을 목적으로 한다. 일반적으로, (자동) 입체영상 디바이스들은 뷰어(viewer)의 각각의 좌측 및 우측 눈에 적절한 좌측 및 우측 이미지를 제공하고, 좌측 및 우측 이미지는 뷰어의 인간 시각 시스템(human visual system)에 의해 해석될 때 3D 인상을 발생시킨다.
입체영상 디스플레이 시스템들은 셔터 안경(shutter glass)과 같은 능동형 안경-기반 시스템들을 포함한다. 셔터 안경 기반 시스템들에서 디스플레이 디바이스는 일반적으로 시간-멀티플렉스된(time-multiplexed) 방식으로 좌측 및 우측 이미지들을 디스플레이한다. 셔터 안경은 디스플레이 시스템과 동기화하여 차례로 동작하여 각각의 좌측 및 우측 이미지들이 뷰어의 대응하는 눈에 도달하도록 한다. 다른 안경 기반 시스템들은 3D 영화에서 이용되는 편광 안경과 같이, 수동이다.
상기 입체영상 시스템들이 일반적으로 명백한 3D 체험이라고 용인되는 것을 제공할지라도, 이용자들은 특수 안경을 귀찮은 것으로 여기는 경향이 있다. 결과적으로 자동 입체영상 시스템들이 개발되었고 여기서 둘 이상의 뷰들이 디스플레이 디바이스 상에 동시에 제공된다. 게다가 이와 같은 디스플레이 시스템들에는 배리어(barrier)들, 또는 렌티큘러(lenticular)들과 같이 각각의 뷰들을 상이한 뷰잉 방향들로 지향시키는 광 지향 수단이 설치되어 있다. 예를 들면, 미국 특허 6064424는 레틴큘러 기반 자동 입체 음향 디스플레이 시스템의 예를 제공한다.
뷰어가 자동 입체영상 디스플레이 디바이스를 볼 때, 뷰어는 일반적으로 두 개의 개별 뷰들을 수신할 것이다: 하나는 자신의 좌측 눈을 위한 것이고 하나는 자신의 우측 눈을 위한 것이다. 이 이미지들을 인간의 비주얼 시스템에 의해 3D 인상으로 순서대로 결합된다.
입체영상 및 자동 입체영상 디바이스들이 고품질의 3D 인상을 제공하기 위해, 하나보다 많은 종래의 2D 이미지를 포함하는 비디오 신호를 제공하는 것이 정상적이다. 광범위한 대안들이 이미 개시되어 있다. 입체영상 디스플레이 디바이스들은 일반적으로 콘텐트가 시간 순차적 및/또는 멀티플렉스된 방식으로 좌측 및 우측 이미지들을 포함하는 형태로 전달될 것을 요구한다.
한편 자동 입체영상 디스플레이들은 일반적으로 둘보다 많은 뷰(view)들을 요구한다. 이 이유로 어떤 디스플레이 디바이스들은 시간-순차 및/또는 멀티플렉스된 방식으로 다중 뷰들을 요구한다. 국제 특허 출원 WO2006/137000은 3차원 비디오 데이터를 인코딩하는 다른 방법의 예를 제공한다. 이 특정한 이미지 데이터의 교환 방법은 종래의 2D 이미지, 대응하는 깊이 이미지(뷰잉 방향으로의 픽셀들의 거리를 나타낸다), 및 폐색 정보(occlusion information)의 교환을 가능하게 한다. 그와 같은 정보는 ACM SIGGRAPH'98에서 J.Shade 등에 의한 "Layered Depth Images",pp.231 내지 242에 개시된 것과 같은 기술들을 이용하여, 이미지의 하나 이상의 뷰들을 렌더링하는데 이용될 수 있다.
3차원 비디오 데이터를 교환하는데 많은 상이한 포맷들이 존재할지라도, 각각의 포맷들의 특성들은 일반적으로 맞춤형인 하나의 유형의 디스플레이 디바이스이다.
본 발명의 목적은 3차원 비디오 데이터의 전달을 용이하게 하는 것이다.
이 목적은 3차원 비디오 데이터를 인코딩하는 방법에 의해 해결되고, 상기 방법은 상이한 뷰포인트들로부터의 장면의 다중 뷰들의 인코딩 단계; 장면의 깊이 정보를 인코딩하는 단계; 다중 뷰들 및 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하는 단계; 및 인코딩된 정보를 3차원 비디오 데이터의 표현에 결합하는 단계를 포함하고, 깊이 정보 및 다중 뷰들 중 적어도 하나가 동일한 소스 자료(source material)에 대응할 때 추가 정보는 깊이 정보 및 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링하기 위해 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함한다.
추가 정보에 의한 본 발명은 부가적인 뷰들(즉, 인코딩된 데이터에 존재하지 않는 추가 뷰들)이 렌더링되어야 할 때, 프로세싱 디바이스, 또는 렌더링 디바이스를 위한 3차원 비디오 데이터를 이용하는 방식의 결정을 간소화한다. 이렇게 함으로써, 본 발명은 더욱 다목적의 3차원 비디오 데이터 포맷의 생성을 인에이블(enable)한다. 본 발명에 따른 방법은 상이한 뷰포인트들로부터의 장면의 적어도 두 뷰들을 상기 장면의 깊이 정보와 함께 인코딩할 것을 제안한다. 그룹 식별자를 통해 뷰 정보를 깊이 정보와 링크하는 추가 정보를 포함함으로써, 종래의 멀티-뷰 또는 이미지에 깊이 표현들을 추가한 것보다 더 다기능의 3차원 비디오 데이터의 표현이 달성된다. 실제로 3차원 비디오 데이터의 이 특정 표현은 아주 많은 수의 디스플레이들에 대한 입력으로 이용될 수 있고, 게다가 추가 정보에 기초하여 이미지 렌더링을 간소화하고/하거나 개선할 수 있다.
본 발명은 3차원 비디오 데이터의 표현 내의 깊이 정보 및 스테레오 또는 멀티-뷰 이미지들 사이의 링크가 있는지의 여부를 표시하는 추가 정보 내에 그룹 식별자를 제공할 것을 제안한다. 결과적으로, 그와 같은 3차원 비디오 데이터의 표현을 수신하는 프로세싱 디바이스는 이 정보를 이용하여, 그와 같은 링크가 존재하지 않을 때 두 소스들 모두를 믹싱(mixing)함으로써 품질의 저하를 방지할 수 있다. 더욱이 링크가 존재할 때, 추가 정보는 부가적인 뷰들의 렌더링 동안 뷰 정보 및 깊이 정보의 이용을 인에이블할 수 있다.
실시예에서 그룹 분류자는 깊이 정보가 다중 뷰들 중 적어도 둘에 존재하는 시차(disparity) 정보에 대응하는지를 나타내는 정보를 포함한다. 그와 같은 정보는 다수의 인코딩된 뷰들이 제공될 때 자동 입체영상 디스플레이 상에 디스플레이하기 위한 추가 뷰들을 동기화할지의 여부를 결정할 때 유용할 수 있다. 대안적으로 예를 들면, 깊이 정보는 스테레오 신호와 함께 제공될 때 스테레오 이미지들 내에 자막을 삽입하는데 유용할 수 있다. 깊이 맵(depth map)이 뷰 정보를 나타내면, 깊이 맵은 자막 삽입 또는 온 스크린 디스플레이(On Screen Display: OSD) 생성 동안 이용될 수 있는데, 왜냐하면 깊이 맵은 자막 정보가 디스플레이될 수 있는 장면 내에 위치들을 결정하는데 추가 정보를 제공하기 때문이다.
깊이 정보가 다중 뷰들 중 적어도 2개에 존재하는 시차 정보에 대응하면, 깊이 정보의 시차 정보로의 실제 변환이 또한 제공될 수 있다. 그와 같은 이용 가능한 정보는 갖는 것은 자막 삽입에 더욱 도움을 줄 수 있다.
추가의 실시예에서 추가 정보는 깊이 정보의 뷰포인트 및 다중 뷰들의 적어도 하나의 뷰포인트 사이의 관계를 나타내는 뷰 분류자를 포함한다. 이 뷰 분류자는 인코딩된 멀티-뷰 이미지들을 깊이 정보다 더해진 이미지를 이용하여 렌더링된 뷰들과 결합하는데 이용될 수 있다. 후자는 동기화된 뷰들을 이용하여 보완될 수 있는 뷰 정보를 포함하는 콘텐트가 제공될 때 특정한 값이 된다.
추가의 실시예에서 추가 정보는 다중 뷰들 각각 및 및 깊이 정보에 대한 그룹 분류자 값을 포함하고, 동일한 분류자 값들은 깊이 정보의 뷰포인트 및 각각의 뷰들 사이의 대응성을 표시한다. 이 정보는 특히 뷰들 내의 시차가 길이 정보에 대응하는지의 여부를 표시하는 정보와 결합할 때, 인코딩된 뷰 정보를 대체하기 위하여 특정 뷰들을 렌더링할지를 선택하는데 이용될 수 있다.
추가의 실시예에서 추가 정보는 단지 2차원의 디스플레이 상에 3차원 비디오 신호를 렌더링하기 위해 선호하는 뷰를 표시하는 정보를 포함한다.
추가의 실시예에서 추가 정보는 상기 추가 정보는 다중 뷰들 및 깊이 정보 사이의 관계를 다중 뷰들 및 깊이 정보 내의 하나 이상의 공간 영역들에 대하여 표시하는 정보를 인코딩한다. 뷰 대신이거나 뷰를 보완하는 하나 이상의 공간 영역들에 대한 추가 정보를 전체로 제공함으로써, 본 발명은 상기 영역들을 개별적으로, 즉 더 미세한 입도(granularity)로 처리할 수 있다.
추가 정보는 이미지의 공간 영역들과 연관되는 라벨(label)들로 제공될 수 있다. 그와 같은 공간 영역들은 라벨링된 세그먼트(segment)들일 수 있고, 이 경우 또한 세그먼트 디스크립션(segment description)이 요구된다. 대안적으로 라벨들은 기본적인 압축 방식의 요소들; 예를 들면, 매크로(macro)(블록들)과 같이 공지되어 있는 이미지 요소들과 연관될 수 있다.
더 미세한 그레인(grain) 표현은 특히 부분 이미지들 또는 부분 깊이 맵들와의 결합에 이용될 때 특히 유용할 수 있다. 부분 이미지들 및/또는 부분 깊이 맵을 이용함으로써 코딩된 3차원 비디오 데이터에 대한 대역폭 요건들에 대한 추가 감소가 인에이블될 수 있다.
본 발명의 목적은 3차원 비디오 데이터를 디코딩하는 방법에서 추가로 치리되고, 상기 방법은 3차원 비디오 데이터의 표현으로부터 추가 정보를 추출하는 단계로서, 추가 정보는 상이한 뷰포인트들로부터의 장면의 다중 뷰들 및 상기 장면의 깊이 정보 사이의 관계를 나타내고, 상기 추가 정보는 깊이 정보 및 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함하고 그룹 분류자가 대응성을 표시할 때, 깊이 정보 및 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터 장면의 부가적인 뷰들을 렌더링함으로써 추가 정보에 기초하여 3차원 비디오 데이터를 렌더링한다.
본 발명의 목적은 3차원 비디오 데이터를 인코딩하기 위한 디바이스에 의해 추가로 처리되고, 상기 디바이스는: 상이한 뷰포인트들로부터의 장면의 다중 뷰들을 인코딩하도록 배열된 제 1 인코더; 장면의 깊이 정보를 인코딩하도록 배열된 제 2 인코더 및 다중 뷰들 및 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하도록 배열된 제 3 인코더, 및 인코딩된 정보를 3차원 비디오 데이터의 표현에 결합하도록 배열된 결합기를 포함하고, 깊이 정보 및 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응할 때, 추가 정보는 깊이 정보 및 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링하기 위해 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함한다.
본 발명의 목적은 3차원 비디오 데이터를 디코딩하기 위한 디바이스에 의해 추가로 처리되며, 상기 디바이스는: 3차원 비디오 데이터의 표현으로부터, 상이한 뷰포인트들로부터의 장면의 다중 뷰들 및 장면의 깊이 정보 사이의 관계를 나타내는 추가 정보를 추출하도록 배열된 추출기로서, 상기 추가 정보는 깊이 정보 및 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지를 나타내는 그룹 분류자를 포함하는, 상기 추출기, 및 그룹 분류자가 대응성을 표시할 때, 깊이 정보 및 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링함으로써 추가 정보에 기초하여 3차원 비디오 데이터를 렌더링하도록 배열된 렌더링 수단을 포함한다.
본 발명의 목적은 3차원 비디오 신호에 의해 추가로 처리되고, 상기 신호는 상이한 뷰포인트들로부터의 장면의 인코딩된 다중 뷰들 및 장면의 인코딩된 깊이 정보 및 다중 이미지들 및 깊이 정보 사이의 관계를 나타내는 인코딩된 추가 정보를 포함하고, 깊이 정보 및 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응할 때 상기 추가 정보는 깊이 정보 및 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링하기 위해 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함한다.
본 발명의 실시예들은 단지 예를 통해, 도면들을 참조하여 설명될 것이다.
도 1은 시차를 규정하는 여러 포괄 개념들 및 파라미터들을 도시한 도면.
도 2는 시차 및 깊이 사이의 관계를 도시한 도면.
도 3은 5개의 뷰들을 포함하는 뷰잉 원추(viewing cone)를 제공하는 자동 입체 음향 디스플레이를 도시한 도면.
도 4는 본 발명에 따른 3차원 비디오 데이터를 인코딩하는 방법을 도시한 도면.
도 5는 본 발명에 따른 3차원 비디오 데이터를 디코딩하는 방법을 도시한 도면.
도 6은 본 발명에 따른 3차원 비디오 데이터를 인코딩하기 위한 디바이스 및 디코딩하기 위한 디바이스를 도시한 도면.
3차원 비디오 신호들은 둘 이상의 이미지들 또는 뷰들을 포함하는 종래 기술로부터 공지된다. 이미지 또는 비디오들은 하나 및 동일한 장면의 상이한 뷰잉 방향들로부터 관찰되는 이미지들 또는 뷰들과 일치한다. 전형적으로, 그와 같은 뷰들은 디스플레이 디바이스 상에서 동시에 렌더링된다. 그러나, 이것들은 또한 멀티플렉스된 방식으로 렌더링되어 인간의 눈이 이미지들을 실질적으로 동시인 것으로 인지하도록 한다.
예를 들면, 셔터 안경을 이용할 때와 같이, 시간 멀티플렉스된 콘텐트 렌더링의 경우, 이것은 일반적으로 교호하는 방식으로 상당한 고속으로 좌측 및 우측 이미지들을 인터리빙(interleaving)하는 것을 의미한다.
그러므로 전형적으로 3차원 비디오 신호는 단일 시간 인스턴스(time instance)에서 렌더링하기 위해, 또는 동시인 것으로 인지되는 미리 결정된 타임-슬롯(time-slot) 내에서 렌더링하기 위해 적어도 두 뷰들을 인코딩한다. 그 결과에 따른 렌더링된 이미지들은 자신들이 뷰어의 적절한 눈들에 라우팅(routing)될 때 후속해서 3D 인상을 제공한다.
스테레오 이미지들을 이용하여 스테레오 콘텐트를 인코딩하는 것은 널리 공지되어 있다. 그러나 스테레오 이미지들, 더 일반적으로 말해서 다중-뷰 이미지들을 이용하는 것은 하나의 중요한 단점을 갖는다; 각각의 이미지들이 시차 관계를 락인(lock-in)한다. 결과적으로 특히 디스플레이들이 상대적으로 좁은 시차 범위만을 렌더링할 수 있으면, 이것은 인코딩된 콘텐트를 보다 넓은 시차 범위를 갖는 디스플레이 디바이스에 대하여 렌더링할 때 문제들을 발생시킨다.
콘텐트 시차를 특정 디스플레이에 매칭(matching)하기 위해 다중-뷰 이미지들을 프로세싱하는 것이 가능할지라도, 이것을 일반적으로 추가 프로세싱을 수반한다.
대안의 해법은 3차원 비디오 데이터를 소위 이미지 플러스 뎁스(image plus depth) 포맷에서 인코딩하는 것이다. 이 포맷은 추가 뷰들이 예를 들면, 장면의 정면 이미지 및 대응하는 깊이 정보에 기초하여 렌더링되도록 한다. 그와 같은 정보는 예를 들면, 폐색 데이터를 포함하도록 확장될 수 있다. 폐색 데이터는 정면 이미지에 제공되는 장면이 인코딩된 정면 이미지의 방향 이외의 뷰잉 방향으로부터 뷰잉될 때 보이게 되는 이미지 정보(또는 깊이 정보)이다. 폐색 데이터는 단지 뷰 정보(예를 들면, RGB 또는 YUV)만을 포함할 수 있으나, 마찬가지로 추가 폐색 깊이 정보를 포함할 수 있다.
상기 포맷의 단점은 만족스런 3D 체험을 인지할 수 있도록 하기 위해, 렌더링될 뷰들이 필요할 것이다. 그러나, 그렇게 하는데 있어서의 장점은 디스플레이 디바이스들의 시차 범위를 고려하는 것이 가능해지는 것이다. 게다가 자막들, 메뉴들 및/또는 다른 OSD 정보와 같은 부가적인정보가 동일한 프로세스로 렌더링될 수 있다.
시차 및 깊이 관계
도 1은 시차를 규정하는 여러 포괄 개념들 및 파라미터들을 도시한다. 도 1은 이중 화살표(E)의 끝단에서 눈 거리(E)만큼 떨어져 이격되어 위치되는 두 뷰포인트들을 도시한다. 뷰잉 거리(Z)로, 점선으로 표시되는 스크린(S)이 위치되고 스크린은 3차원 정보를 디스플레이하는데 이용된다. 그와 같은 스크린은 실제로 예를 들면, 적절한 안경을 착용한 관찰자의 눈에 각각의 뷰포인트에 대한 적절한 이미지 정보를 대안적으로 제공하는 시간 또는 스펙트럼 순차 디스플레이일 수 있다.
도 1의 스크린(S)은 영(0)의 시차에 배치된다. 영 시차에 대응하는 깊이에 위치되는 면상 물체(planar object)는 좌측 이미지 및 우측 이미지에서 정확하게 동일한 지점에 위치될 것이다. 이중 화살표(W)는 스크린의 폭을 표시한다. N(near)은 스크린(S) 앞의 최대 인지 깊이를 나타낸다. 마찬가지로 F(far)는 스크린(S) 뒤의 최대 인지 깊이를 나타낸다.
선(dN)은 스크린(S)의 앞의 N에 위치된 물체의 인지된 시차를 나타내고, 여기서 시차 값(dN)은 음으로, 이는 또한 교차 시차(crossed disparity)로 칭해지고:
dN = N * E/(Z - N) [1]
으로 표현될 수 있다.
선(dF)은 스크린(S) 뒤의 F에 위치된 물체이 인지 시차를 나타내고, 시차 갓(dF)는 양이고, 이는 또한 비교차 시차(un-crossed disparity)로 칭해지고:
dF = F * E /(Z + F) [2]
로 표현될 수 있다.
실제로 최대 시차는 눈 거리(E) 이하로 있어서 편안한 뷰잉이 가능하다. 실제로 최대 시차는 바람직하게는 사람들 사이의 눈 거리의 편차를 고려하여 평균 눈 거리(E) 아래의 값으로 설정된다.
도 1은 예를 들면, 시차에 관한 지점(F 또는 N)에 위치되는 물체들에 대한 깊이 관계를 도시한다. 식 1 및 식 2에서 확인될 수 있는 바와 같이, 시차는 깊이와 반비례한다.
도 2는 스테레오 이미지 내의 시차 및 깊이의 관계를 더 설명하고 이것을 깊이와 더 관련시킨다. 한 쌍의 스테레오 이미지들에 대한 시차는 전형적으로 기준에 대하여 결정된다. 전형적으로 이 기준은 이미지들 중 하나이다.
도 2는 한 쌍의 스테레오 이미지들 및 깊이 맵을 도시한다. 전형적으로 뷰 정보는 본원에서 제시되는 좌측 및 우측 이미지들과 같이, 다중 이미지들을 포함할 것이다. 도 2는 대응하는 깊이 정보를 포함하는 이미지를 추가로 도시한다. 이 예에서 모든 이미지들은 동일한 해상도로 제공된다. 그러나 좌측 및/또는 우측 이미지들 및/또는 깊이 이미지 중 하나가 더 낮은 해상도에 있는 것이 드물지 않은데, 이로 인해 3차원 비디오 데이터에 요구되는 풋프린트(footprint)가 감소한다. 여기서는 명료성을 위해 모든 이미지들 및 깊이 이미지들은 동일한 크기로 되어 있는 것으로 고려될 것이다.
다음 깊이 및 시차 사이의 관계가 도 2의 좌측 및 우측 이미지들을 이용하여 추가로 도시된다. 좌측 이미지는 시차를 결정하기 위한 기준 이미지로 이용될 것이다.
이미지(L)는 두 면상 물체들, 즉 진한 사각형(110), 및 밝은 원(105)을 포함하는 좌측 눈에 대한 이미지를 나타낸다. 밝은 원은 부분적으로 진한 사각형을 폐색하여 자신이 진한 사각형 전방에 위치됨을 표시한다. 이미지(R)은 동일한 면상 물체들, 즉 진한 사각형(110') 및 밝은 원(105')을 포함하는 우측 눈에 대한 이미지를 나타낸다.
좌측 및 우측 이미지 모두에서 진한 사각형(110, 110')은 동일한 지점에 위치된다. 이는 이 물체가 소위 영 시자 평면에 위치되는 것을 의미한다. 백색 원(105, 105')은 검은 사각형 전방에 위치된다. 결과적으로 우측 눈 이미지에서의백색 원은 좌측에 대해 n 픽셀들 만큼 변위(displace)된 것으로 보인다.
도 2에서의 이미지(D)는 각각의 이미지들에 대한 시차에 기초하여 대응하는 깊이 맵을 표현한다. 이 깊이 맵에서 깊이가 인코딩되어 톤(tone)이 더 밝을수록, 좌측 이미지의 일부가적인 뷰어에게 더 가까워지도록 한다. 원(105")은 가장 밝고 뷰어에 가장 근접하다. "영 시차"에 있는 부분 폐색 사각형(11")은 그레이 톤(grey tone) 상으로 매핑된다. 배경은 차례로 검게 인코딩된다.
뷰 정보 및 깊이 정보 관계
본 발명의 발명자들은 3차원 비디오 데이터를 위한 전형적인 인코딩 포맷들이 다중 뷰 또는 이미지 플러스 뎁스 데이터 중 하나의 인코딩에 초점을 맞추고 있음을 인식하였다. 그러나, 더 다기능의 3차원 비디오 데이터 표현은 깊이 정보를 다중-뷰 신호에 추가함으로써 더욱이 각각의 뷰 정보가 깊이 정보에 어느 정도 관계되는지를 나타내는 추가 정보를 추가함으로써 달성될 수 있다.
후자가 요구되지 않을지라도, 이는 3차원 비디오 데이터를 디코딩하고 렌더링할 때 유용한 정보를 제공한다.
아래에는 추가 정보에 대한 일련의 예들이 제공되고 논의된다. 상기 예들에서 추가 정보는 그룹 분류자 및 뷰 분류자를 이용하여 인코딩된다. 그러나 이 특정한 인코딩의 방식이 바람직하다는 적이 주목되어야 하지만 단 하나의 가능한 인코딩인 것으로 해석되어서는 안 된다.
이후에 이용되는 그룹 식별자는 뷰 이미지들 또는 깊이 이미지들이 동일한 시차/깊이 소스 자료와 관련되는지의 여부를 표시한다. 이 점에서 다중-뷰 카메라를 이용하여 기록된 이미지들이 관련된 소스 자료를 나타내고 따라서 동일한 그룹 분류자를 수신하는 것으로 고려된다. 마찬가지로 스테레오 쌍으로부터 도출되는 시차에 기초한 깊이 이미지는 또한 동일한 분류자를 수신할 것이다. 그러나 이용자 분류에 기초하여 구성되는 것과 같이 수동 깊이 맵은 동일한 그룹 분류자를 수신하지 않을 것이다.
이후에 이용되는 뷰 분류자는 이미지들의 뷰잉 방향을 나타낸다. 예를 들면, 스테레오 쌍을 인코딩할 때 뷰 분류자들은 전형적으로 0 및 1일 것이므로, 우측 뷰포인트는 특정한(수평) 각도로 오프셋(offset)되어 있음을 나타낸다. 그러나 이것들은 또한 추가의 중심 뷰에 대하여 표시된 후에 각각 -1/2 및 + 1/2로 표시될 수 있다. 마찬가지로, 5 뷰 디스플레이에 대한 뷰들은 뷰 분류자들(0, 1, 2, 3 및 4) 또는 대안적으로 -2, -1, 0, 1 및 2를 가지는 것으로서 분류될 수 있다.
도 3은 자동 입체영상 디스플레이에 렌더링되는 뷰잉 원추들을 도시하는 5-뷰 자동 입체영상 디스플레이의 상면도의 개략적인 도면을 제공한다. 뷰들(201, 202, 203, 204, 및 205) 각각은 특정한 뷰잉 방향 내에서 보인다. 뷰들 각각은 방향에 따라 특정한 각도로 오프셋된다. 게다가 이 뷰들 각각에 대한 분류자는 이미지 내에 V = -2로부터 V = +2까지의 범위로 표시되었다.
스테레오에 깊이의 추가
이미지 그룹 뷰
I0 A 0
I1 A 1
D0 A 0
표 1은 스테레오 및 깊이 정보 이 양쪽 모두를 포함하는 3차원 비디오 데이터 내의 뷰 및 깊이 정보의 관계를 나타내기 위한 추가 정보 목록의 예를 제공한다. 표 1에서의 그룹 분류자는 모든 깊이 정보 및 시차 정보가 동일한 소스 자료에 대응하는 것을 나타낸다. 표 1에서의 뷰 분류자는 이 신호 내의 깊이 정보가 I0와 연관되는 것을 나타낸다. 결과적으로 I0는 깊이 정보(D0)와 함께 이미지 정보로 이용되어, 예를 들면, 신호가 5-뷰 자동 입체영상 디스플레이 상에 렌더링될 때 부가적인뷰들을 렌더링할수 있다.
게다가 이 정보의 지식은 또한, 각각의 뷰들의 인코딩 동안 및/또는 깊이 정보를 인코딩할 때 이용될 수 있다.
5-뷰 자동 입체 음향 디스플레이의 경우에, 뷰들 중 2개가 I0 및 I1과 각각 대응하면, 추가 뷰들을 렌더링하기 보다는 이것들을 이용하는 것이 바람직할 것임이 당업자에게 명확할 것이다.
상기 정보는 또한, 특히 자막 또는 온 스크린 디스플레이(OSD) 정보를 렌더링할 때 입체영상 디스플레이들에서 유용하게 이용될 수 있다. 이 경우에 깊이 정보는 그와 같은 자막들 또는 OSD 정보를 수용하기 위해 3차원 뷰잉 공간에 여유가 있는지에 대한 정보를 제공한다.
그룹 분류자에 의해 표시되는 대응성은 엄격한 방식으로, 즉 깊이가 시차에 반비례함을 표시하는데, 이용될 수 있다. 그러나, 전형적으로 깊이 값들은 0 내지 255 범위 내의 값들과 같은 깊이 범위 상에 매핑될 것이다. 이 경우 깊이 값들은 여전히 역 비례 관계를 유지하지만 팩터(factor)에 의해 효과적으로 스케일링(scaling)된다. 결과적으로 이 팩터 또한 인코딩될 것이다.
그룹 분류자는 또한 더 자유로운 방식으로 이용될 수 있는데, 왜냐하면 깊이 맵들을 생성하는 프로세스에서, 깊이 정보가 시차와 반비례 관계를 유지하지 않는 그러한 방식으로 깊이/시차 데이터를 변환하는 것이 드물지 않기 때문이다. 가장 단순한 예들은 예를 들면, 실제 깊이 정보가 크립핑(clipping)된 상황들이다. 대안적으로, 자막들을 삽입하기 위한 헤드룸(headroom)을 생성하기 위해 장면 내의 모든 정보가 미세하게 후방으로 이동될 수 있다. 게다가 예를 들면, 깊이 맵을 "압축(compacting)"하는데 있어서 인간의 시각 시스템의 특성을 이용하는데 비선형 변환들이 적용될 수 있다. 이와 같은 변환이 적용되는 경우 변환 및/또는 역변환을 기술하는 정보를 추가로 저장하는 것이 유리할 수 있다.
스테레오에 수동 깊이의 추가
이미지 그룹 뷰
I0 A 0
I1 A 1
D0 B 0
표 2는 스테레오에 수동 깊이 정보가 추가된 것을 포함하는 3차원 비디오 데이터 내의 뷰 정보의 관계들을 나타내기 위한 추가 정보 목록들의 부가적인 예를 제공한다.
표 2에서의 그룹 분류자는 신호가 시차/깊이 정보의 두 대응하지 않는 소스들을 포함하는 것을 나타낸다. 실제로 3차원 비디오 데이터 내의 깊이 정보(D0)는 완전히 상이한 시차/깊이 정보에 기초할 수 있다. 그러나, 뷰 분류자는 D0의 뷰가 I0의 뷰에 대응하는 것을 나타내고, 이것은 결과적으로 I0가 D0와 함께 이용되어 새로운 뷰들을 렌더링할 수 있음을 나타낸다.
상기 필드들을 갖는 3차원 비디오 데이터의 표현이 셔터 안경 기반 디스플레이 상에 렌더링될 때 바람직하게도 이미지들(I0 및 I1)이 렌더링 프로세스에 이용된다. 그러나, 그와 같은 콘텐트가 5-뷰 자동 입체영상 디스플레이 상에 렌더링될 때, 바람직하게도 I1은 이용되지 않은 채로 남고 모든 뷰들은 I0 및 D0에 기초하여 렌더링된다. I1가 상이한 깊이/시차 정보에 기초하므로 상충하는 깊이 큐(depth cue)들은 인간의 시각 시스템에 의해 해석될 때 동기화/렌더링된 이미지들 내의 큐들로 제공될 수 있다.
스테레오에 중간 깊이의 추가
이미지 그룹 뷰
I0 A -½
I1 A +½
D0 A 0
표 3은 스테레오에 중간 깊이 정보가 추가된 것을 포함하는 3차원 비디오 데이터 내의 뷰 정보의 관계들을 나타내기 위한 추가 정보 목록들의 부가적인 예를 제공한다. 이 예에서 스테레오 뷰들은 I0 및 I1 각각에 대하여 코딩되지만, 깊이 정보(D0)는 좌측 및 우측 뷰들의 이미지 사이가 중심에 있는 뷰잉 각으로부터의 이미지에 대해 각각 코딩된다. 좌측 및 우측이 중심 이미지에 대하여 동일하게 변위되어 있다는 사실로 인해, 단일 깊이 맵은 I0 및 I1 이미지들 중 어느 하나 및 D0에 기초하여 이미지들 충분히 동기화한다.
스테레오에 시차-기반 및 수동 깊이 추가
이미지 그룹 뷰
I0 A 0
I1 A 1
D0 A 0
D1 B 0
표 4는 스테레오에 시차 및 수동 깊이 정보에 기초한 깊이 정보가 추가된 것을 포함하는 3차원 비디오 데이터 내의 뷰 정보의 관계들을 나타내기 위한 추가 정보 목록들의 부가적인 예를 제공한다.
종래에 없던 두 깊이 맵들이 본원에 제공될지라도, D0 및 D1 양쪽 모두는 I0의 뷰와 연관되고, 이 둘은 부가적인 뷰들의 합성을 인에이블(enable)한다. 두 개의 완전한 깊이 맵들을 제공함으로써, 또는 하나의 완전한 깊이 맵 및 하나의 부분적인 깊이 맵을 제공함으로써, 추가 깊이 정보가 제공될 수 있다.
깊이 정보(D1)는 예를 들면, 3D 효과와 관련될 수 있다. 이 깊이 정보는 후속해서 디스플레이 상의 시각화를 위해 I0에 기초하여 이미지들을 합성하는데 이용될 수 있다. 그러나 깊이 정보(D1)는 I0와 동일한 그룹의 일부가 아니므로, 그에 따른 동기화된 이미지들은 쌍(I0 및 I1)에서 제공되는 것과 상이한 깊이 정보를 제공할 수 있다.
상술한 바와 같이 두 깊이 맵들(D0 및 D1)을 이용하는 대신, 단일 뷰에 대한 모든 깊이 값들을 포함하는 단일 깊이 맵을 이용하고 이것을 바이너리 마스크(binary mask)와 함께 이용하여 깊이/시차가 I0 및 I1 내의 깊이/시차와 일치하는지의 여부를 표시하는 것이 가능하다.
상기에 표시된 바이너리 마스크는 픽셀 당을 기초로 하여(또는 대안적으로 더 큰 규모로, 예를 들면, 매크로블록 레벨로) 특정 영역이 동일한 그룹 및/또는 뷰에속하는지를 플래그(flag)하도록 한다.
동일한 정보가 영역 및 그룹/뷰 사이의 연관을 나타내는 다른 표현들에서 표현될 수 있다. 예를 들면, 비트맵을 이용하는 대신, 동일한 정보는 라벨링된 이미지 세그먼트들을 이용하고/하거나 예를 들면, (매크로)블록들과 같은 기본적인 압축 방식에서 이용되는 라벨링된 요소들을 이용하여 표현될 수 있다. 이 방식으로, 더 세밀한 그레인 표현이 제공될 수 있다.
더 미세한 그레인 표현은 부분 이미지들 또는 부분 깊이 맵들와의 결합에 이용될 때 특히 유용할 수 있다. 부분 이미지들 및/또는 부분 깊이 맵을 이용함으로써 코딩된 3차원 비디오 데이터에 대한 대역폭 요건들에 대한 추가 감소가 인에이블될 수 있다. 더욱이 OSD 또는 자막들과 같은 응용들은 전형적으로 단지 부분 이미지들만을 요구한다.
상술한 방식에서 이미지의 일부들을 특정 뷰 또는 그룹 분류자 또는 또 다른 분류자와 연관시키는 추가 정보가 제공된다. 그와 같은 정보를 이미지의 공간 영역들에 제공함으로써 본 발명은 이미지 레벨 미만의 입도에서 이용될 수 있다.
추가 정보가 전형적으로 3차원 비디오 신호의 인코딩에 존재할 것이므로, 상기 정보는 압축을 보조할 수 있는데, 왜냐하면 상기 정보로 인해 압축기는 예를 들면, D0 및 I0에 기초하여 I1을 예측함으로써, D0가 I1의 데이터 압축을 개선하는데 이용될 수 있는지의 여부를 결정할 수 있기 때문이다.
멀티-뷰에 다중-깊이 추가
이미지 그룹 뷰
I0 A -1½
I1 A -½
I2 A ½
I3 A 1½
D0 A -½(-2½)
D1 A ½(2½)
표 5는 멀티-뷰 정보 및 다중 깊이 맵들을 포함하는 3차원 비디오 데이터 내의 뷰 정보의 관계들을 나타내는 추가 정보 목록들의 부가적인 예를 제공한다.
그룹 분류자에 의해 표시되는 바와 같이 깊이/시차 정보가 대응한다. 그러므로 깊이 정보는 대안의 이미지들을 렌더링하는데 이용될 수 있다. 게다가 깊이 정보의 두 세트들이 인코딩되고, 여기서 I1 및 D0가 동이란 뷰를 인코딩하고, I2 및 D1이 동일한 뷰를 인코딩한다. 게다가 추가 정보는 어떤 뷰들이 여기서 괄호 내에 표시되는 각각의 깊이 정보를 이용하여 렌더링되는 것이 바람직한지를 나타내는 정보를 제공할 수 있다.
이미 표시된 바와 같이 다중 이미지들 및 깊이 정보 사이의 관계를 나타내는 추가 정보는 상기에 제공된 유형 및 포맷으로 제한되지 않는다.
예를 들면, 3차원 비디오 데이터가 좌측 및 우측 스테레오 뷰들 중 적어도 하나와 함께 사용되도록 인코딩되는 깊이 정보 및 스테레오 신호를 포함하는 본 발명의 특히 간단한 실시예에서, 추가 정보는 깊이 정보가 스테레오 쌍의 좌측 및 우측 뷰들 사이의 이미지 시차에 기초하는지의 여부를 표시하는 단일 비트일 수 있다.
이 단일 비트는 또한, 예를 들면, 부가 비트의 형태인 부가적인 추가 정보에 의해 보완될 수 있고, 여기서 부가 비트는 깊이 정보가 이미지들 내의 시차와 미리 결정된 방식에서 일치하는지의 여부를 표시한다. 마찬가지로 다른 부가 비트는 스테레오 쌍의 뷰가 시차를 결정하기 위한 기준 이미지로 이용되는지의 여부를 표시할 수 있다. 이 비트는 또한 비디오 신호의 2차원 표현을 렌더링하기 위해 어떤 뷰가 이용되는 것이 바람직한지의 여부를 표시하는데 이용될 수 있다.
본원에서 주로 뷰 정보 및 깊이 정보가 기술되었을지라도, 예를 들면, 존재할 때, 특정 뷰를 갖는 폐색 정보를 관련시키는 더 많은 정보가 추가될 수 있다.
도 4는 3차원 비디오 데이터를 인코딩하기 위한 방법의 블록도를 제공한다. 상기 방법은 상이한 뷰포인트들로부터의 장면의 다중 뷰의 인코딩 단계(305)를 포함한다. 실제로, 그와 같은 인코딩은 압축일 수 있으나 포함할 필요는 없다. 전형적으로 인코딩의 결과는 인코딩된 뷰 정보이고, 이는 특정한 코딩 포맷의 대상이 된다. 상기 방법은 장면의 310의 깊이 정보를 인코딩하는 단계를 포함한다. 깊이 정보는 각각의 뷰들의 시차 정보로부터 도출되는 부분 내에 있을 수 있으나, 대안적으로 예를 들면, 레인지 파인더(range finder), 또는 (반) 수동 깊이 맵 생성과 같은 부가적인 입력에 기초할 수 있다. 상기 방법은 다중 이미지들 및 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하는 단계(315)를 추가로 포함한다.
특히 유용한 실시예에서 이 추가 정보는 또한 뷰 정보 및/또는 깊이 정보의 인코딩에 이용될 수 있다. 실제로, 특히 압축을 실행할 때, 깊이 정보를 이용하여 유용한 방식으로 압축을 보조하는 것이 가능할 수 있다.
추가 정보는 상술한 바와 같이 정보를 포함할 수 있다. 블록도에 도시되는 바와 같이, 상기 방법의 다양한 단계들은 동시에, 또는 데이터-의존성의 경우, 예를 들면, 생성된 추가 정보를 도 4에서의 파선들에 의해 표시되는 바와 같이 이용할 때, 이는 순차적으로 또는 파이프라인(pipeline)식으로 수행될 수 있다.
상기 방법은 인코딩된 정보가 3차원 비디오 데이터의 표현에 결합되는 단계를 추가로 포함한다. 이 표현은 예를 들면, 지점 대 지점 링크를 이용하여, 또는 네트워크를 통한 브로드캐스트에 의해, 예를 들면, 추가 디바이스로의 전송을 위한 전자 신호일 수 있다. 대안적으로, 이 표현은 컴퓨터들 사이에서 이미지들 또는 비디오 파일들을 저장 또는 교환하기 위한, 파일 시스템 내의 파일일 수 있다.
3차원 비디오 데이터의 표현은 저장 디바이스(예를 들면, 후술되는 저장 디바이스(525))에 저장될 수 있다. 특히, 3차원 비디오 신호는 인터넷 같은 네트워크에 연결되는 서버 상에, 브로드캐스터에 의한 분배를 위한 저장 시스템, 기록 디바이스에 의한 저장 시스템에 저장될 수 있거나, 또는 DVD 또는 블루-레이(Blu-ray) 디스크와 같은 기록 캐리어(carrier)들을 제조하기 위한 생산 시스템 및/또는 저작 시스템(authoring system)을 통해 다수의 매체에 저장될 수 있다. 추가 정보는 다양한 국면의 저장 프로세스로 3차원 비디오 신호 내에 및/또는 저장 매체에 포함될 수 있다. 기록 캐리어의 생산 프로세스는 추가 정보를 포함하는 3D 비디오 신호를 구현하는 트랙(track)들 내에 마크(mark)들의 물리적 패턴을 제공하는 단계, 및 기록 캐리어의 자료를 형상하여 적어도 하나의 저장 층에 마크들의 트랙들을 제공하는 단계를 추가로 포함할 수 있다.
도 5는 3차원 비디오 데이터를 디코딩하는 방법의 블록도를 도시한다. 본원에 제시된 방법은 3차원 비디오 데이터의 표현으로부터 추가 정보를 추출하는 단계(405)를 포함한다. 추가 정보는 상이한 뷰포인트들로부터의 장면의 다중 뷰들 및 장면의 깊이 정보 사이의 관계를 나타낸다. 상기 방법은 추가 정보 및 다중 뷰들 중 적어도 하나 및 깊이 정보에 기초하여 3차원 비디오 데이터를 렌더링(410)하는 단계를 추가로 포함한다.
디코딩하는 단계는 바람직하게도 다중 뷰들 및 깊이 정보를 이용하여 렌더링하는 단계를 포함한다. 본 발명에 따라 제공되는 추가 정보는 또한 좌측 및 우측 이미지들을 렌더링할 때 유용할 수 있다. 예를 들면, 셔터 안경 기반 입체영상 디스플레이 디바이스 상에 렌더링하기 위하여 3차원 비디오 데이터를 디코딩할 때, 깊이 정보는 3차원 장면 내에 OSD 정보를 삽입하는데 가장 양호한 지점을 결정하는데 이용될 수 있다.
그러나, 다른 애플리케이션들에서 추가 정보는 상기 표현에 제공되는 다중 뷰들을 렌더링할지 또는 (선택적으로) 뷰 및 깊이 정보 이 양쪽 모두에 기초하여 추가 뷰들을 렌더링할지를 결정하는데 유용하게 이용될 수 있다.
도 6은 본 발명에 따른 3차원 비디오 데이터를 인코딩하기 위한 디바이스(580) 뿐만 아니라, 3차원 비디오 데이터를 렌더링하기 위한 디바이스(585)를 포함하는 블록도를 도시한다.
3차원 비디오 데이터를 인코딩하기 위한 디바이스(580)는: 상이한 뷰포인트들로부터의 장면의 다중 뷰들(501)을 인코딩하도록 배열된 인코더(505), 장면의 깊이 정보를 인코딩하도록 배열된 제 2 인코더(510) 및 다중 이미지들 및 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하도록 배열된 제 3 인코더(515)를 포함한다. 선택적으로 제 3 인코더는 상술한 바와 같이 제 1 및/또는 제 2 인코더에서 이용하기 위한 정보(511)를 출력할 수 있음이 추가로 주목된다.
이 특정한 도면에 도시된 실시예에서, 제 2 인코더(510)는 다중 뷰들(501) 이외의 입력 데이터(503)를 수신한다. 이 입력은 예를 들면, 수동의 깊이 맵 생성 프로세스로부터의 결과일 수 있고, 대안적으로 상기 입력은 다중 뷰들(501)을 이용하여 외부 깊이 맵 생성 디바이스에 의해 생성되는 입력일 수 있다.
제 1, 제 2, 및 제 3 인코더들(505, 510, 515)의 각각의 출력들(505, 507, 및 509)은 후속해서 결합기(520)에 의해 3차원 비디오 데이터의 표현(513)에 결합된다. 결합기가 3차원 비디오 데이터의 파일 표현을 생성하는 경우, 결합기는 컴퓨터의 중앙 처리 장치(CPU) 상에서 구현될 수 있다. 대안적으로, 상기 표현이 전자 신호인 경우, 결합기는 디지털 대 아날로그 변환기 및 예를 들면, 라인 구동 회로를 추가로 포함할 수 있다.
상기 표현(513)이 저장 디바이스(525)에 저장될 수 있거나 대안적으로 네트워크(530)를 통해 추가 디바이스에 전송될 수 있다. 추가 디바이스는 예를 들면, 3차원 비디오 데이터를 디코딩하기 위한 디바이스(585)일 수 있다. 디바이스(585)는 상이한 뷰포인트들로부터의 장면의 다중뷰들 및 3차원 비디오 데이터의 표현(513)으로부터의 장면의 깊이 정보 사이의 관계를 나타내는 추가 정보를 추출하도록 배열된 추출기(535)를 포함한다. 추출기는 예를 들면, 컴퓨터의 CPU 상에서 또는 대안적으로 컴퓨터 내의 추가적인 프로세싱 유닛 상에서 구현될 수 있다. 표현(513)이 특정한 파일 포맷 형태인 파일인 경우, 추출기는 예를 들면, 표현(513)으로부터 관련 필드들 또는 스트림들을 추출하기 위한 디멀티플렉서(demultiplexer) 또는 파서(parser)를 포함할 수 있다.
디바이스(585)는 추가 정보 및 다중 뷰들 및 깊이 정보 중 적어도 하나에 기초하여 3차원 비디오 데이터를 렌더링하도록 배열된 렌더링 수단(540)을 추가로 포함한다. 렌더링 수단은 예를 들면, 이미지 및 깊이 정보에 기초하여 자동 입체영상 디스플레이 디바이스 상에 디스플레이하기 위하여 다중 뷰를 렌더링하는 소프트웨어 렌더링 스택(rendering stack)을 포함할 수 있다.
명확성을 위해 상기 설명은 본 발명의 실시예들을 상이한 기능 유닛들 및 프로세서들을 참조하여 설명하였음이 인식될 것이다. 그러나, 상이한 기능 유닛들 또는 프로세서들 사이의 기능의 임의의 적절한 분포는 본 발명을 손상시키지 않고 이용될 수 있다. 예를 들면, 개별 프로세서들 또는 제어기들에 의해 실행되는 것으로 도시된 기능은 동일한 프로세서 또는 제어기들에 의해 실행될 수 있다. 그러므로, 특정한 기능 유닛들에 대하여 언급한 것들은 엄격한 논리 또는 물리적 구조 또는 조직을 나타내기보다는 단지 설명된 기능을 제공하기 위한 임의의 수단을 언급하는 것으로 이해되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 결합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로, 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 운영되는 컴퓨터 소프트웨어로, 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 물리적, 기능적, 및 논리적으로 임의의 적절한 방식으로 구현된다. 실제로 상기 기능들은 단일 유닛으로, 복수의 유닛들로, 또는 다른 기능 유닛들의 일부로 구현될 수 있다. 이와 같으므로, 본 발명은 단일 유닛으로 구현될 수 있거나 또는 상이한 유닛들 및 프로세서들 사이에 물리적 및 기능적으로 분배될 수 있다.
본 발명이 일부 실시예들과 관련하여 설명되었을지라도, 본 발명은 본원에 진술되는 특정 형태로 제한되지 않도록 의도된다. 오히려, 본 발명의 범위는 첨부 청구항들에 의해서만 제한된다. 부가적으로, 특징이 특정 실시예들과 관련하여 기술되는 것처럼 보일 수 있을지라도, 당업자들은 기술된 실시예들의 다양한 특징들이 본 발명에 따라 결헙될 수 있음을 인식할 것이다. 청구항들에서, 용어 "포함하는(comprising)"는 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
더욱이, 개별적으로 기재될지라도, 복수의 수단들, 요소들 또는 방법 단계들은 예를 들면, 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 개별 특징들이 상이한 청구항들에 포함될 수 있을지라도, 이것들은 가능하면 유용한게 결합될 수 있고, 상이한 청구항들 내에 포함되는 것이 특징들의 결합이 실현 불가능하고/하거나 유용하지 않음을 의미하지 않는다. 또한 특징이 청구항들의 하나의 범주 내에 포함되는 것은 이 범주로의 제한을 의미하지 않고 상기 특징이 오히려 적절할 때 다른 청구항 범주에 마찬가지로 적용가능하다는 것을 나타낸다. 더욱이, 청구항들 내의 특징들의 순서는 특징들이 반드시 작동되어야만 하는 임의의 지정된 순서를 의미하지 않고 특히 방법 청구항 내의 개별 단계들의 순서는 상기 단계들이 이 순서로 실행되어야만 한다는 것을 의미하지 않는다. 오히려, 상기 단계들은 임의의 적절한 순서로 실행될 수 있다. 게다가, 단수를 언급하는 것이 복수를 배제하지 않는다. 그러므로 부정관사("a", "an"), "제 1(first)", "제 2(second)" 등의 언급들이 복수를 제외하지 않는다. 청구항들 내의 참조 부호들은 단지 명확한 예가 임의의 방식으로 청구항들의 범위를 제한하는 것으로 해석되지 않아야 하기 때문에 제공된다.
505: 제 1 인코더 510: 제 2 인코더
515: 제 3 인코더 525: 저장 디바이스

Claims (15)

  1. 3차원 비디오 데이터를 인코딩(encoding)하는 방법에 있어서:
    - 상이한 뷰포인트들로부터의 장면의 다중 뷰들의 인코딩 단계(305);
    - 상기 장면의 깊이 정보를 인코딩하는 단계(310);
    - 상기 다중 뷰들 및 상기 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하는 단계(315); 및
    - 인코딩된 정보를 상기 3차원 비디오 데이터의 표현에 결합하는 단계(320)를 포함하고,
    상기 추가 정보는 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료(source material)에 대응할 때, 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 상기 장면의 부가적인 뷰들을 렌더링하기 위해 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함하는, 3차원 비디오 데이터를 인코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 그룹 분류자는 상기 깊이 정보가 상기 다중 뷰들 중 적어도 둘에 존재하는 시차(disparity) 정보에 대응하는지를 나타내는 정보를 포함하는, 3차원 비디오 데이터를 인코딩하는 방법.
  3. 제 2 항에 있어서,
    상기 추가 정보는 상기 깊이 정보가 상기 다중 뷰들 중 적어도 둘과 어느 정도 관계하는지의 여부를 표시하는, 3차원 비디오 데이터를 인코딩하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 추가 정보는 상기 다중 뷰들 중 적어도 둘에 존재하는 시차 정보 및 상기 깊이 정보 사이의 관계를 나타내는 변환 정보를 포함하는, 3차원 비디오 데이터를 인코딩하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 추가 정보는 상기 깊이 정보의 뷰포인트 및 상기 다중 뷰들의 적어도 하나의 뷰포인트 사이의 관계를 나타내는 뷰 분류자를 포함하는, 3차원 비디오 데이터를 인코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 추가 정보는 상기 다중 뷰들 각각 및 깊이 정보에 대한 그룹 분류자 값을 포함하고, 동일한 분류자 값들은 상기 깊이 정보의 뷰포인트 및 각각의 뷰들 사이의 대응성을 표시하는, 3차원 비디오 데이터를 인코딩하는 방법.
  7. 제 1 항에 있어서,
    상기 추가 정보는 2차원의 디스플레이 상에 3차원 비디오 신호를 렌더링하기 위해 선호하는 뷰를 표시하는 정보를 포함하는, 3차원 비디오 데이터를 인코딩하는 방법.
  8. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 추가 정보는 상기 다중 뷰들 및 상기 깊이 정보 사이의 관계를 상기 다중 뷰들 및 상기 깊이 정보 내의 하나 이상의 공간 영역들에 대하여 표시하는 정보를 인코딩하는, 3차원 비디오 데이터를 인코딩하는 방법.
  9. 3차원 비디오 데이터를 디코딩하는 방법에 있어서:
    - 상기 3차원 비디오 데이터의 표현(513)으로부터 추가 정보를 추출하는 단계로서, 상기 추가 정보는 상이한 뷰포인트들로부터의 장면의 다중 뷰들 및 상기 장면의 깊이 정보 사이의 관계를 나타내고, 상기 추가 정보는 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함하는, 상기 추가 정보 추출 단계(405), 및
    - 상기 그룹 분류자가 대응성을 표시할 때, 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터 장면의 부가적인 뷰들을 렌더링함으로써 상기 추가 정보에 기초하여 상기 3차원 비디오 데이터를 렌더링하는 단계(410)를 포함하는, 3차원 비디오 데이터를 디코딩하는 방법.
  10. 제 9 항에 있어서,
    상기 그룹 분류자는 상기 깊이 정보가 상기 다중 뷰들 중 적어도 둘에 존재하는 시차 정보와 대응하는지를 나타내는 정보를 포함하는, 3차원 비디오 데이터를 디코딩하는 방법.
  11. 3차원 비디오 데이터를 인코딩하기 위한 디바이스(580)에 있어서:
    - 상이한 뷰포인트들로부터의 장면의 다중 뷰들(501)을 인코딩하도록 배열된 제 1 인코더(505);
    - 상기 장면의 깊이 정보를 인코딩하도록 배열된 제 2 인코더(510);
    - 상기 다중 뷰들 및 상기 깊이 정보 사이의 관계를 나타내는 추가 정보를 인코딩하도록 배열된 제 3 인코더(515); 및
    - 인코딩된 정보를 상기 3차원 비디오 데이터의 표현(513)에 결합하도록 배열된 결합기(520)를 포함하고, 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응할 때 상기 추가 정보는 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링하기 위해 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함하는, 3차원 비디오 데이터를 인코딩하기 위한 디바이스(580).
  12. 3차원 비디오 데이터를 디코딩하기 위한 디바이스(585)에 있어서:
    - 3차원 비디오 데이터의 표현(513)으로부터 추가 정보를 추출하도록 배열된 추출기로서, 상기 추가 정보는 상이한 뷰포인트들로부터의 장면의 다중 뷰들 및 상기 장면의 깊이 정보 사이의 관계를 나타내고, 상기 추가 정보는 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지를 나타내는 그룹 분류자를 포함하는, 상기 추출기(535), 및
    - 그룹 분류자가 대응성을 표시할 때, 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링함으로써 상기 추가 정보에 기초하여 3차원 비디오 데이터를 렌더링하도록 배열된 렌더링 수단(540)을 포함하는, 3차원 비디오 데이터를 디코딩하기 위한 디바이스(585).
  13. 3차원 비디오 신호(513)에 있어서:
    - 상이한 뷰포인트들로부터의 장면의 인코딩된 다중 뷰들,
    - 상기 장면의 인코딩된 깊이 정보, 및
    - 상기 다중 이미지들 및 상기 깊이 정보 사이의 관계를 나타내는 인코딩된 추가 정보를 포함하고, 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응할 때 상기 추가 정보는 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나를 이용하여 부가적인 상이한 뷰포인트들로부터의 장면의 부가적인 뷰들을 렌더링하기 위해 상기 깊이 정보 및 상기 다중 뷰들 중 적어도 하나가 동일한 소스 자료에 대응하는지의 여부를 표시하는 그룹 분류자를 포함하는, 3차원 비디오 신호(513).
  14. 제 13 항에 따른 3차원 비디오 신호(513)를 포함하는, 저장 디바이스(525).
  15. 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램 명령들을 포함하는, 컴퓨터 프로그램 제품.
KR1020117016213A 2008-12-15 2009-12-10 이미지 기반 ３ｄ 비디오 포맷 KR101651442B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08171627A EP2197217A1 (en) 2008-12-15 2008-12-15 Image based 3D video format
EP08171627.6 2008-12-15

Publications (2)

Publication Number Publication Date
KR20110106367A true KR20110106367A (ko) 2011-09-28
KR101651442B1 KR101651442B1 (ko) 2016-08-26

Family

ID=40551343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117016213A KR101651442B1 (ko) 2008-12-15 2009-12-10 이미지 기반 ３ｄ 비디오 포맷

Country Status (6)

Country Link
US (1) US8767046B2 (ko)
EP (2) EP2197217A1 (ko)
JP (1) JP5734867B2 (ko)
KR (1) KR101651442B1 (ko)
CN (1) CN102246529B (ko)
WO (1) WO2010070545A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007248A1 (en) * 2014-07-10 2016-01-14 Intel Corporation Storage of depth information in a digital image file
KR20190136992A (ko) * 2018-05-31 2019-12-10 한국전자통신연구원 영상 처리 방법 및 이를 이용한 영상 재생 장치

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044130B1 (ko) 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
WO2010010521A2 (en) 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
CN102165495B (zh) * 2008-09-25 2014-11-26 皇家飞利浦电子股份有限公司 三维图像数据处理
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
KR101972962B1 (ko) * 2009-02-19 2019-04-26 톰슨 라이센싱 3ｄ 비디오 포맷
WO2010126613A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
TWI532009B (zh) 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
US9338426B2 (en) 2010-10-27 2016-05-10 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
EP2654305A2 (en) * 2010-12-13 2013-10-23 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
PL397016A1 (pl) * 2011-11-17 2013-05-27 Politechnika Poznanska Sposób kodowania glebi stereoskopowej
EP2807827A4 (en) 2012-01-25 2015-03-04 Lumenco Llc CONVERTING A DIGITAL STEREO IMAGE IN SEVERAL VIEWS WITH PARALLAX FOR 3D VISUALIZATION WITHOUT GLASSES
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
TW201336293A (zh) * 2012-02-22 2013-09-01 Chunghwa Picture Tubes Ltd 顯示３ｄ影像的裝置及其方法
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
WO2014122553A1 (en) * 2013-02-06 2014-08-14 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
KR20140115854A (ko) 2013-03-22 2014-10-01 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
EP2982107B1 (en) * 2013-04-05 2017-11-22 Koninklijke Philips N.V. Re-targeting a three-dimensional image signal
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
RU2667605C2 (ru) 2013-05-10 2018-09-21 Конинклейке Филипс Н.В. Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации
TWI508526B (zh) * 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
KR102516992B1 (ko) * 2015-11-11 2023-04-04 소니그룹주식회사 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
CN106780686B (zh) * 2015-11-20 2020-07-10 网易（杭州）网络有限公司 一种3d模型的合并渲染系统及方法、终端
JP6992511B2 (ja) * 2016-01-13 2022-01-13 ソニーグループ株式会社 情報処理装置および情報処理方法
TW201727537A (zh) * 2016-01-22 2017-08-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
CN106791776B (zh) * 2016-11-30 2019-04-30 努比亚技术有限公司 一种实现视频播放的方法和装置
CN106791764A (zh) * 2016-11-30 2017-05-31 努比亚技术有限公司 一种实现视频编解码的方法和装置
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
US10873733B2 (en) * 2017-06-23 2020-12-22 Mediatek Inc. Methods and apparatus for deriving composite tracks
CN110008904A (zh) * 2019-04-08 2019-07-12 万维科研有限公司 生成基于视频文件格式的形状识别列表的方法
CN110855997B (zh) * 2019-11-06 2023-03-28 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质
CN112788325B (zh) * 2019-11-06 2023-06-02 Oppo广东移动通信有限公司 一种图像处理方法、编码装置、解码装置及存储介质
CN110784722B (zh) * 2019-11-06 2022-08-16 Oppo广东移动通信有限公司 编解码方法、编解码装置、编解码系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
WO2008150111A1 (en) * 2007-06-07 2008-12-11 Enhanced Chip Technology Inc. Format for encoded stereoscopic image data file
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568268A (ja) * 1991-03-04 1993-03-19 Sharp Corp 立体視画像作成装置および立体視画像作成方法
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
WO1999030280A1 (en) 1997-12-05 1999-06-17 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
KR100977193B1 (ko) * 2002-04-25 2010-08-20 샤프 가부시키가이샤 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP4259884B2 (ja) * 2003-01-20 2009-04-30 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2007525906A (ja) 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルコーディングのシステムおよび方法
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US8879823B2 (en) 2005-06-23 2014-11-04 Koninklijke Philips N.V. Combined exchange of image and related data
EP1931150A1 (en) * 2006-12-04 2008-06-11 Koninklijke Philips Electronics N.V. Image processing system for processing combined image data and depth data
KR100894874B1 (ko) * 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
CN100563340C (zh) * 2008-07-07 2009-11-25 浙江大学 基于深度图像渲染的多通道视频流编码器和解码器
CN100563339C (zh) * 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
WO2008150111A1 (en) * 2007-06-07 2008-12-11 Enhanced Chip Technology Inc. Format for encoded stereoscopic image data file
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007248A1 (en) * 2014-07-10 2016-01-14 Intel Corporation Storage of depth information in a digital image file
US9369727B2 (en) 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
KR20190136992A (ko) * 2018-05-31 2019-12-10 한국전자통신연구원 영상 처리 방법 및 이를 이용한 영상 재생 장치

Also Published As

Publication number Publication date
KR101651442B1 (ko) 2016-08-26
EP2377325A1 (en) 2011-10-19
CN102246529A (zh) 2011-11-16
US8767046B2 (en) 2014-07-01
WO2010070545A1 (en) 2010-06-24
EP2377325B1 (en) 2017-03-01
CN102246529B (zh) 2014-11-26
EP2197217A1 (en) 2010-06-16
US20110242279A1 (en) 2011-10-06
JP2012512554A (ja) 2012-05-31
JP5734867B2 (ja) 2015-06-17

Similar Documents

Publication Publication Date Title
KR101651442B1 (ko) 이미지 기반 ３ｄ 비디오 포맷
US10567728B2 (en) Versatile 3-D picture format
CN102474638B (zh) 组合3d视频与辅助数据
US8422801B2 (en) Image encoding method for stereoscopic rendering
US8482654B2 (en) Stereoscopic image format with depth information
US8488869B2 (en) Image processing method and apparatus
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
JP5544361B2 (ja) 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
EP2433429B1 (en) Entry points for 3d trickplay
JP2010503310A (ja) 符号化されたステレオスコピック映像データのファイルフォーマット
WO2010095080A1 (en) Combining 3d image and graphical data
CN102047669B (zh) 具有深度信息的视频信号
Winkler et al. Stereo/multiview picture quality: Overview and recent advances
EP2282550A1 (en) Combining 3D video and auxiliary data
US20140213364A1 (en) Image processing
Doyen et al. 3D intensity adjustment of a stereo content to improve Quality Of Experience
Didier et al. Use of a Dense Disparity Map to Enhance Quality of Experience Watching Stereoscopic 3D Content at Home on a Large TV Screen
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190820

Year of fee payment: 4