KR20120020627A - 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법 - Google Patents

3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120020627A
KR20120020627A KR1020100084346A KR20100084346A KR20120020627A KR 20120020627 A KR20120020627 A KR 20120020627A KR 1020100084346 A KR1020100084346 A KR 1020100084346A KR 20100084346 A KR20100084346 A KR 20100084346A KR 20120020627 A KR20120020627 A KR 20120020627A
Authority
KR
South Korea
Prior art keywords
image
view
view image
resolution
format
Prior art date
Application number
KR1020100084346A
Other languages
English (en)
Inventor
이석
이승신
박두식
이재준
위호천
오병태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100084346A priority Critical patent/KR20120020627A/ko
Priority to US13/137,081 priority patent/US20120050465A1/en
Priority to EP11174847A priority patent/EP2424254A3/en
Publication of KR20120020627A publication Critical patent/KR20120020627A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

3D 영상 포맷을 이용한 영상 처리 장치 및 방법이 개시된다. 본 발명에 의하면, 3D 영상 포맷을 모노 영상, 스테레오 영상 및 멀티뷰 영상을 생성할 수 있는 영상으로 구성함으로써, 기존의 인프라의 변화없이 다양한 디스플레이를 통해 다양한 영상을 출력할 수 있다.

Description

3Ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING USING 3D IMAGE FORMAT}
본 발명은 영상 처리 장치 및 방법에 관한 것으로, 보다 자세하게는 3차원 영상 포맷을 이용하여 3차원 영상 서비스를 효과적으로 수행하는 영상 처리 장치 및 방법에 관한 것이다.
3D 영상 서비스를 위해서는 1개의 카메라를 사용하는 2D 영상과 달리 복수 개의 시점에서 영상을 촬영하고, 촬영된 영상을 미리 정의된 포맷으로 변환하는 것이 필요하다.
종래에는 3D 영상 서비스를 위해 스테레오 형식의 포맷이 이용되었다. 스테레오 형식의 포맷은 시청자의 시점이 고정되기 때문에 사용자가 깊이감이나 거리감을 느낄 수 있다고 하더라도, 사용자가 머리를 움직이거나 위치를 변경하는 등의 시점의 변화를 반영할 수 없다.
이러한 시점의 변화를 용이하게 반영하고, 기존의 인프라 변경없이 종래의 모노 영상, 스테레오 영상뿐만 아니라 멀티뷰 영상도 처리할 수 있는 영상 포맷이 필요하다.
본 발명의 일실시예에 따른 영상 처리 장치는 복수의 촬영 장치로부터 컬러 영상과 깊이 영상을 수집하는 영상 수집부; 및 상기 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하는 영상 변환부를 포함할 수 있다.
본 발명의 일실시예에 따른 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고, 상기 제3 시점 영상 및 제4 시점 영상은, 제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 가질 수 있다.
본 발명의 다른 일실시예에 따른 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 상기 제2 시점 영상과 제3 시점 영상은, 상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 가질 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치는 상기 3D 영상 포맷으로 변환된 깊이 영상과 컬러 영상을 부호화하는 영상 부호화부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 처리 장치는 3D 영상 포맷을 포함하는 3D 영상 스트림을 수신하는 영상 스트림 수신부; 및 출력 영상의 시점에 기초하여 상기 3D 영상 스트림을 선택적으로 복호화하는 영상 복호화부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 처리 장치는 상기 출력 영상의 시점이 멀티뷰인 경우, 멀티뷰 영상을 구성하는 적어도 하나의 영상 중 제2 해상도를 갖는 영상에 대해 제1 해상도로 복원하는 해상도 복원부; 및 상기 멀티뷰 영상을 구성하는 영상들을 합성하여 멀티뷰 영상을 생성하는 영상 생성부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 복수의 촬영 장치로부터 컬러 영상과 깊이 영상을 수집하는 단계; 및 상기 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 상기 3D 영상 포맷으로 변환된 깊이 영상과 컬러 영상을 부호화하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 처리 방법은 3D 영상 포맷을 포함하는 3D 영상 스트림을 수신하는 단계; 및 출력 영상의 시점에 기초하여 상기 3D 영상 스트림을 선택적으로 복호화하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 처리 방법은 상기 출력 영상의 시점이 멀티뷰인 경우, 멀티뷰 영상을 구성하는 적어도 하나의 영상 중 제2 해상도를 갖는 영상에 대해 제1 해상도로 복원하는 단계; 및 상기 멀티뷰 영상을 구성하는 영상들을 합성하여 멀티뷰 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 기록매체는 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고, 상기 제3 시점 영상 및 제4 시점 영상은, 제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 갖는 3D 영상 포맷이 기록될 수 있다.
본 발명의 다른 실시예에 따른 기록매체는 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 상기 제2 시점 영상과 제3 시점 영상은, 상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 3D 영상 포맷이 기록될 수 있다.
본 발명의 일실시예에 따르면, 기존의 인프라의 변화없이 모노 영상 및 스테레오 영상을 서비스하면서도 스테레오스코픽 디스플레이와 같은 멀티뷰 영상을 서비스할 수 있다.
본 발명의 일실시예에 따르면, 모노 영상, 스테레오 영상 및 멀티뷰 영상을 디코딩하여 재생함으로써, 입력된 영상 스트림과 디스플레이에 대해 하위 호환성을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따른 3D 영상 포맷의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 Satelite View 영상을 생성하는 과정을 도시한 도면이다.
도 6은 본 발명의 다른 일실시예에 따른 Satellite View 영상을 생성하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 3D 영상 포맷으로 구성된 영상 스트림을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 3D 영상 포맷으로 구성된 영상 스트림에 포함된 영상을 디스플레이하는 과정을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 모드 선택을 통해 영상을 생성하는 과정을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 3D 영상 포맷에 데이터를 추가하는 일례를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 부호화 방법을 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 복호화 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명에서 언급되는 부호화 장치(101)와 복호화 장치(102)는 영상 처리 장치에 대응한다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
부호화 장치(101)는 복수의 촬영 장치로부터 수집한 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하여 저장할 수 있다. 이 때, 복수의 촬영 장치로부터 수집한 컬러 영상과 깊이 영상은 복수 개의 시점(view)을 구성할 수 있다. 즉, 복수의 촬영 장치는 하나의 피사체에 대해 다른 시점에서 영상을 촬영할 수 있다. 이와 같이 3D 영상 포맷으로 변환된 영상은 복호화 장치(102)에 전달되고, 복호화 장치(102)는 사용자의 목적이나 디스플레이의 종류에 따라 모노 방식의 2D 영상, 스테레오 방식의 3D 영상 또는 멀티뷰 방식의 3D 영상으로 재생할 수 있다.
본 발명의 일실시예에 따른 3D 영상 포맷은 스테레오 영상을 위해 2개의 시점 영상인 제1 시점 영상 및 제2 시점 영상과 멀티뷰 영상을 위채 추가적으로 2개의 시점 영상인 제3 시점 영상 및 제4 시점 영상으로 구성될 수 있다. 이 때, 멀티뷰 영상을 위한 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 해상도가 낮다.
본 발명의 다른 실시예에 따른 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상으로 구성될 수 있다. 이 때, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 해상도가 낮다. 제1 시점 영상은 모노 영상을 구성하고, 제1 시점 영상과 제2 시점 영상 또는 제1 시점 영상과 제3 시점 영상이 각각 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상이 멀티뷰 영상을 구성할 수 있다.
복호화 장치(102)는 부호화 장치(101)로부터 다양한 종류의 영상 스트림을 수신할 수 있다. 일례로, 복호화 장치(102)는 모노 영상, 스테레오 영상 또는 멀티뷰 영상으로 각각 구성된 영상 스트림을 생성할 수 있다.
그리고, 복호화 장치(102)는 다양한 종류의 디스플레이와 연결될 수 있다. 일례로, 복호화 장치(102)는 3D 영상 포맷으로 구성된 영상 스트림으로부터 연결된 디스플레이의 종류에 따라 다른 영상을 추출할 수 있다. 만약, 연결된 디스플레이가 2D 디스플레이인 경우, 복호화 장치(102)는 모노 영상을 추출하고, 연결된 디스플레이가 스테레오 디스플레이인 경우, 복호화 장치(102)는 스테레오 영상을 추출할 수 있다. 그리고, 연결된 디스플레이가 스테레오스코픽 디스플레이인 경우, 복호화 장치(102)는 멀티뷰 영상을 추출할 수 있다.
부호화 장치(101)와 복호화 장치(102)에 대해서는 이하에서 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 부호화 장치(201)는 영상 수집부(202), 영상 변환부(203) 및 영상 부호화부(204)를 포함할 수 있다.
영상 수집부(202)는 복수의 촬영 장치로부터 컬러 영상과 깊이 영상을 수집할 수 있다. 이 때, 복수의 촬영 장치는 하나의 피사체를 복수의 시점에서 컬러 영상과 깊이 영상을 촬영할 수 있다. 여기서, 복수의 촬영 장치는 동일한 해상도의 영상을 촬영할 수 있다. 또는, 복수의 촬영 장치 중 일부의 촬영 장치는 나머지 촬영 장치보다 낮은 해상도의 영상을 촬영할 수 있다.
영상 변환부(203)는 수집된 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환할 수 있다.
본 발명에서 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함할 수 있다. 이 때, 제1 시점 영상 및 제2 시점 영상은 2개의 시점을 가진 스테레오 카메라와 같은 촬영 장치로부터 수집될 수 있고, 제3 시점 영상 및 제4 시점 영상은 Satellite 카메라와 같은 촬영 장치로부터 수집될 수 있다.
여기서, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
이 때, Satellite 카메라로부터 수집된 2개의 시점 영상은 스테레오 카메라로부터 수집된 2개의 시점 영상보다 해상도가 같거나 또는 낮을 수 있다. 만약, Satellite 카메라와 스테레오 카메라의 해상도가 동일한 경우, 영상 수집부(202)는 가우시안 필터링을 통해 Satellite 카메라로부터 수집된 2개의 시점 영상의 해상도를 낮출 수 있다. 그리고, 영상 수집부(202)는 원본 해상도와 줄어든 해상도 사이의 변환 필터의 필터 계수를 계산하여 저장할 수 있다. 이 때, 변환 필터는 Wiener 필터일 수 있다.
본 발명의 다른 실시예에 따른 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상으로 구성될 수 있다. 이 때, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 해상도가 낮다. 그리고, 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고, 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치될 수 있다.
해상도를 낮추는 방법으로 다음과 같은 방법이 적용될 수도 있다.
일례로, 영상 변환부(203)는 제1 해상도를 갖는 제3 시점 영상과 제4 시점 영상을 각각 인터레이싱하여 짝수 라인 또는 홀수 라인 중 어느 하나로 구성되어 제2 해상도를 갖도록 가공할 수 있다. 이 때, 제2 해상도는 제1 해상도보다 낮은 해상도를 나타낸다. 예를 들어, 3D 영상 포맷을 구성하는 제3 시점 영상은 촬영 장치가 수집한 제3 시점 영상의 짝수 라인 또는 홀수 라인 중 어느 하나만으로 구성될 수 있다. 또한, 3D 영상 포맷을 구성하는 제4 시점 영상은 촬영 장치가 수집한 제4 시점 영상의 짝수 라인 또는 홀수 라인 중 어느 하나만으로 구성될 수 있다
다른 일례로, 영상 변환부(203)는 제1 해상도를 갖는 제3 시점 영상과 제4 시점 영상 각각을 상부 영상(top) 또는 하부 영상(bottom) 중 어느 하나로 구성되어 제2 해상도를 갖도록 가공할 수 있다. 이 때, 제2 해상도는 제1 해상도보다 낮은 해상도를 나타낸다. 예를 들어, 3D 영상 포맷을 구성하는 제3 시점 영상은 촬영 장치가 수집한 제3 시점 영상의 상부 영상 또는 하부 영상 중 어느 하나로 구성될 수 있다. 그리고, 3D 영상 포맷을 구성하는 제4 시점 영상은 촬영 장치가 수집한 제4 시점 영상의 상부 영상 또는 하부 영상 중 어느 하나로 구성될 수 있다.
그리고, 3D 영상 포맷은 3D 영상 포맷에 포함된 영상들의 투명도 정보 또는 분할 정보 중 적어도 하나를 포함하는 부가 정보 또는 카메라 파라미터 또는 깊이 범위 중 적어도 하나를 포함하는 메타 정보를 포함할 수 있다.
영상 부호화부(240)는 3D 영상 포맷으로 변환된 깊이 영상과 컬러 영상을 부호화할 수 있다. 부호화된 깊이 영상과 컬러 영상은 비트스트림 형태로 복호화 장치에 전달될 수 있다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3을 참고하면, 복호화 장치(301)는 영상 스트림 수신부(302), 영상 복호화부(303), 해상도 복원부(304) 및 영상 생성부(305)를 포함할 수 있다.
영상 스트림 수신부(302)는 부호화 장치로부터 3D 영상 포맷을 포함하는 3D 영상 스트림을 수신할 수 있다. 이 때, 본 발명의 일실시예에 따른 복호화 장치(301)는 기존의 영상 데이터에 대한 하위 호환성(Backward Compatibility)을 지원할 수 있다. 즉, 영상 스트림 수신부(302)는 새롭게 정의된 3D 영상 포맷을 포함하는 영상 스트림 뿐만 아니라, 모노 영상, 스테레오 영상을 포함하는 영상 스트림도 수신할 수 있다.
일례로, 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함할 수 있다. 여기서, 제3 시점 영상 및 제4 시점 영상은, 제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 가질 수 있다. 3D 영상 포맷에서, 제3 시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
다른 일례로, 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함할 수 있다. 여기서, 제2 시점 영상과 제3 시점 영상은 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 가질 수 있다. 그리고, 3D 영상 포맷에서 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고, 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치될 수 있다.
영상 복호화부(303)는 출력 영상의 시점에 기초하여 3D 영상 스트림을 선택적으로 복호화할 수 있다. 즉, 본 발명의 일실시예에 따른 복호화 장치(301)는 기존의 디스플레이에 대한 하위 호환성(Backward Compatibility)을 지원할 수 있다. 구체적으로, 영상 스트림 수신부(302)가 3D 영상 포맷을 포함하는 3D 영상 스트림만 수신하였다고 하더라도, 연결된 디스플레이를 위한 출력 영상의 시점에 따라 3D 영상 스트림을 선택적으로 복호화할 수 있다.
예를 들어, 연결된 디스플레이가 2D 디스플레이인 경우, 영상 복호화부(303)는 3D 영상 스트림으로부터 모노 영상을 복호화할 수 있다. 구체적으로, 영상 복호화부(303)는 3D 영상 포맷에서 기본 시점인 제1 시점 영상만 복호화할 수 있다. 그리고, 연결된 디스플레이가 스테레오 디스플레이인 경우, 영상 복호화부(303)는 스테레오 영상을 복호화할 수 있다. 예를 들어, 영상 복호화부(303)는 3D 영상 포맷에서 스테레오 영상을 구성하는 제1 시점 영상 및 제2 시점 영상을 복호화할 수 있다.
해상도 복원부(304)는 출력 영상의 시점이 멀티뷰인 경우, 멀티뷰 영상을 구성하는 적어도 하나의 영상 중 제2 해상도를 갖는 영상에 대해 제1 해상도로 복원할 수 있다. 이 때, 제2 해상도는 제1 해상도보다 낮은 값을 나타낸다.
만약, 3D 영상 포맷이 스테레오 영상을 구성하기 위한 제1 시점 영상 및 제2 시점 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점 영상 및 제4 시점 영상으로 구성된 경우, 해상도 복원부(304)는 제2 해상도를 갖는 제3 시점 영상 및 제4 시점 영상을 제1 시점 영상 및 제2 시점 영상과 동일한 제1 해상도를 갖도록 복원할 수 있다.
도 2에서 설명하였듯이, 제3 시점 영상 및 제4 시점 영상은 제1 시점 영상 및 제2 시점 영상보다 해상도가 감소된 영상일 수 있다. 만약, 제3 시점 영상 및 제4 시점 영상이 제1 시점 영상 및 제2 시점 영상과 동일한 해상도를 가지는 경우, 3D 영상 포맷을 구성하는 제3 시점 영상 및 제4 시점 영상은 인터레이싱에 따라 짝수 라인 또는 홀수 라인 중 어느 하나로 구성되도록 해상도가 변환된 영상일 수 있다. 또는, 제3 시점 영상 및 제4 시점 영상이 제1 시점 영상 및 제2 시점 영상과 동일한 해상도를 가지는 경우, 3D 영상 포맷을 구성하는 제3 시점 영상 및 제4 시점 영상은 상부 영상 또는 하부 영상 중 어느 하나로 구성되도록 해상도가 변환된 영상일 수 있다.
그리고, 3D 영상 포맷이 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상으로 구성된 경우, 해상도 복원부(304)는 제2 해상도를 갖는 제2 시점 영상과 제3 시점 영상을 제1 시점 영상과 동일한 제1 해상도를 갖도록 복원할 수 있다.
3D 영상 포맷이 스테레오 영상을 구성하기 위한 제1 시점 영상 및 제2 시점 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점 영상 및 제4 시점 영상으로 구성된 경우, 영상 생성부(305)는 제1 시점 영상, 제2 시점 영상, 제3 시점 영상 및 제4 시점 영상을 합성하여 멀티뷰 영상을 생성할 수 있다. 그리고, 3D 영상 포맷이 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상으로 구성된 경우, 영상 생성부(305)는 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 합성하여 멀티뷰 영상을 생성할 수 있다.
즉, 연결된 디스플레이가 스테레오스코픽 디스플레이인 경우, 영상 복호화부(303)는 멀티뷰 영상을 추출할 수 있다. 구체적으로, 영상 복호화부(303)는 3D 영상 포맷에서 멀티뷰 영상을 구성하는 영상을 복호화할 수 있다. 이 때, 해상도 복원부(304)는 해상도가 낮은 영상을 원래 해상도로 복원할 수 있다. 그러면, 영상 생성부(305)는 해상도가 복원된 영상을 이용하여 멀티뷰 영상을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 3D 영상 포맷의 일례를 도시한 도면이다.
도 4를 참고하면, 제1 시점 영상(base view)은 컬러 영상(401)과 깊이 영상(405)이다. 그리고, 제2 시점 영상(additional view)은 컬러 영상(402)과 깊이 영상(406)이다. 또한, 제3 시점 영상(satellite view 1)은 컬러 영상(403)과 깊이 영상(407)이다. 그리고, 제4 시점 영상(satellite view 2)은 컬러 영상(404)과 깊이 영상(408)이다. 도 4에서 볼 수 있듯이, 제3 시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
제1 시점 영상은 모노 영상을 구성한다. 제1 시점 영상과 제2 시점 영상은 스테레오 영상의 좌측 영상과 우측 영상을 의미한다. 그리고, 제1 시점 영상, 제2 시점 영상, 제3 시점 영상 및 제4 시점 영상은 멀티뷰 영상을 구성할 수 있다. 시스템의 구성에 따라 제3 시점 영상 및 제4 시점 영상에 대응하는 영상의 개수는 변동될 수 있다.
제3 시점 영상과 제4 시점 영상의 해상도는 제1 시점 영상과 제2 시점 영상의 해상도보다 낮은 값을 가진다. 추후 멀티뷰 영상을 구성하기 위해, 제3 시점 영상과 제4 시점 영상의 해상도는 제1 시점 영상과 제2 시점 영상의 해상도와 동일한 값을 가지도록 복원된 후 제1 시점 영상과 제2 시점 영상과 합성될 수 있다.
만약, 영상 수집 단계에서 제3 시점 영상 및 제4 시점 영상이 제1 시점 영상 및 제2 시점 영상과 동일한 해상도를 가지는 경우, 제3 시점 영상과 제4 시점 영상은 해상도 변환 과정을 거칠 수 있다.
구체적으로, 3D 영상 포맷을 구성하는 제3 시점 영상과 제4 시점 영상은 촬영 장치가 촬영한 제3 시점 영상과 제4 시점 영상의 짝수 라인 또는 홀수 라인 중 어느 하나만 선택되어 해상도가 감소될 수 있다. 그리고, 3D 영상 포맷을 구성하는 제3 시점 영상과 제4 시점 영상은 촬영 장치가 촬영한 제3 시점 영상과 제4 시점 영상의 상부 영상 또는 하부 영상 중 어느 하나만 선택되어 해상도가 감소될 수 있다.
도 4는 3D 영상 포맷이 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상으로 구성된 경우를 나타낸다.
추가적으로, 본 발명의 다른 실시예에 따른 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상으로 구성될 수 있다. 이 때, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가질 수 있다. 3D 영상 포맷에서 제2 시점 영상은 제1 시점 영상을 중심으로 좌측에 배치되고, 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치될 수 있다.
도 5는 본 발명의 일실시예에 따른 Satellite View 영상을 생성하는 과정을 도시한 도면이다.
3D 영상 포맷이 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상으로 구성된 경우, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 낮은 해상도를 가질 수 있다. 만약, 제1 시점 영상과 제2 시점 영상과 동일한 해상도를 갖는 제3 시점 영상과 제4 시점 영상이 수집된 경우, 제3 시점 영상과 제4 시점 영상은 해상도를 변환하는 과정을 거칠 수 있다.
즉, 도 5는 인터레이싱을 통해 제3 시점 영상과 제4 시점 영상의 해상도를 변환하는 과정을 나타낸다. 짝수 영상(501)은 촬영 장치가 수집한 제3 시점 영상 또는 제4 시점 영상에서 짝수 라인만 선택되어 해상도가 1/2로 감소된 영상일 수 있다. 홀수 영상(502)는 촬영 장치가 수집한 제3 시점 영상 또는 제4 시점 영상에서 홀수 라인만 선택되어 해상도가 1/2로 감소된 영상일 수 있다.
도 6은 본 발명의 다른 일실시예에 따른 Satelite View 영상을 생성하는 과정을 도시한 도면이다.
3D 영상 포맷이 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상으로 구성된 경우, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 낮은 해상도를 가질 수 있다. 만약, 제1 시점 영상과 제2 시점 영상과 동일한 해상도를 갖는 제3 시점 영상과 제4 시점 영상이 수집된 경우, 제3 시점 영상과 제4 시점 영상은 해상도를 변환하는 과정을 거칠 수 있다.
즉, 도 6은 영상 분리를 통해 제3 시점 영상과 제4 시점 영상의 해상도를 변환하는 과정을 나타낸다. 상부 영상(601)은 촬영 장치가 수집한 제3 시점 영상 또는 제4 시점 영상을 상부와 하부와 분리한 후 상부만이 선택되어 해상도가 1/2로 감소된 영상일 수 있다. 하부 영상(602)은 촬영 장치가 수집한 제3 시점 영상 또는 제4 시점 영상을 상부와 하부와 분리한 후 하부만이 선택되어 해상도가 1/2로 감소된 영상일 수 있다.
도 7은 본 발명의 일실시예에 따른 3D 영상 포맷으로 구성된 영상 스트림을 도시한 도면이다.
본 발명의 일실시예에 따른 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함할 수 있다. 여기서, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 낮은 해상도를 가질 수 있다. 그리고, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
도 7에서 제1 시점 영상(703)은 모노 영상(Mono Video)을 구성할 수 있다. 그리고, 제1 시점 영상(703)과 제2 시점 영상(702)은 스테레오 영상(Stereo Video)을 구성할 수 있다. 또한, 제1 시점 영상(703), 제2 시점 영상(702) 및 제3 시점 영상/제4 시점 영상(701)은 멀티뷰 영상(Multiview Video)을 구성할 수 있다. 즉, 본 발명의 일실시예에 따른 3D 영상 포맷으로 3가지 형태의 영상을 도출할 수 있다.
본 발명의 다른 실시예에 따른 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가질 수 있다. 여기서, 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고, 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치될 수 있다.
이 경우, 제1 시점 영상은 모노 영상을 구성할 수 있다. 그리고, 제1 시점 영상과 제2 시점 영상은 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상과 제3 시점 영상은 스테레오 영상을 구성할 수 있다. 그리고, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상은 멀티뷰 영상을 구성할 수 있다.
따라서, 본 발명의 일실시예에 따른 복호화 장치는 연결된 디스플레이의 종류에 따라 각각 다른 형태의 영상을 도출할 수 있다.
도 8은 본 발명의 일실시예에 따른 3D 영상 포맷으로 구성된 영상 스트림에 포함된 영상을 디스플레이하는 과정을 도시한 도면이다.
도 8을 참고하면, 복호화 장치가 3D 영상 포맷으로 구성된 영상 스트림(801)을 수신한 것을 가정한다. 이 때, 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함할 수 있다. 여기서, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 낮은 해상도를 가질 수 있다. 그리고, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
도 8은 복호화 장치가 디스플레이에 대한 하위 호환성을 지원하는 것을 설명한다. 즉, 2D 디스플레이(802)와 스테레오 디스플레이(803)는 종래의 디스플레이를 의미한다.
만약, 복호화 장치와 연결된 디스플레이 장치가 모노 영상을 디스플레이하는 2D 디스플레이(802)인 경우, 복호화 장치는 3D 영상 포맷을 구성하는 제1 시점 영상(base view)을 H.264 또는 AVC 등을 통해 디코딩하여 모노 영상을 생성할 수 있다.
그리고, 복호화 장치와 연결된 디스플레이 장치가 스테레오 영상을 디스플레이하는 스테레오 디스플레이(803)인 경우, 복호화 장치는 3D 영상 포맷을 구성하는 제1 시점 영상(base view)과 제2 시점 영상(additional view)을 MVC stereo high profile에 따라 디코딩하여 스테레오 영상을 생성할 수 있다.
또한, 복호화 장치와 연결된 디스플레이 장치가 멀티뷰 영상을 디스플레이하는 스테레오스코픽 디스플레이(804)인 경우, 복호화 장치는 3D 영상 포맷을 구성하는 제1 시점 영상(base view), 제2 시점 영상(additional view), 제3 시점 영상(satellite view 1) 및 제4 시점 영상(satellite view 2)을 디코딩하여 멀티뷰 영상을 생성할 수 있다.
도 8은 3D 영상 포맷이 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가지는 경우에도 동일하게 적용될 수 있다. 이 경우, 제1 시점 영상은 모노 영상을 구성할 수 있다. 그리고, 제1 시점 영상과 제2 시점 영상은 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상과 제3 시점 영상은 스테레오 영상을 구성할 수 있다. 그리고, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상은 멀티뷰 영상을 구성할 수 있다.
도 9는 본 발명의 일실시예에 따른 모드 선택을 통해 영상을 생성하는 과정을 도시한 도면이다.
도 9를 참고하면, 복호화 장치가 3D 영상 포맷으로 구성된 영상 스트림(903) 뿐만 아니라 모노 영상으로 구성된 영상 스트림(901) 및 스테레오 영상으로 구성된 영상 스트림(902)을 수신할 수 있다고 가정한다. 도 9는 복호화 장치가 영상 스트림에 대한 하위 호환성을 지원하는 것을 설명한다. 즉, 영상 스트림(901)와 영상 스트림(902)은 종래의 영상 스트림을 의미한다. 그리고, 3D 영상 포맷으로 구성된 영상 스트림(903)은 본 발명의 일실시예에 따른 영상 스트림을 의미한다.
복호화 장치(904)는 출력 영상의 시점(view)을 고려하여 출력 모드를 선택할 수 있다. 출력 영상이 모노 영상인 경우, 복호화 장치(904)는 1개의 시점인 모노 영상(905)을 디코딩하는 출력 모드를 선택할 수 있다. 그리고, 출력 영상이 스테레오 영상인 경우, 복호화 장치(904)는 출력 모드를 2개의 시점인 스테레오 영상(906)을 디코딩하는 출력 모드를 선택할 수 있다. 또한, 출력 영상이 멀티뷰 영상인 경우, 복호화 장치(904)는 n개(n은 4이상)의 시점인 멀티뷰 영상(907)을 디코딩하는 출력 모드를 선택할 수 있다.
그러면, 복호화 장치(904)는 선택한 출력 모드에 따라 각각의 영상 스트림을 디코딩한 후, 모노 영상(905), 스테레오 영상(906)을 생성할 수 있다. 만약, 복호화 장치(904)가 영상 스트림(903)으로부터 멀티뷰 영상(907)을 디코딩한 경우, 멀티뷰 영상(907)을 구성하는 제1 시점 영상, 제2 시점 영상, 제3 시점 영상 및 제4 시점 영상을 합성하여 멀티뷰 영상(907)을 생성할 수 있다. 앞서 설명하였듯이, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상의 해상도로 복원된 후에 합성될 수 있다.
도 9는 3D 영상 포맷이 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가지는 경우에도 동일하게 적용될 수 있다. 이 경우, 제1 시점 영상은 모노 영상을 구성할 수 있다. 그리고, 제1 시점 영상과 제2 시점 영상은 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상과 제3 시점 영상은 스테레오 영상을 구성할 수 있다. 그리고, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상은 멀티뷰 영상을 구성할 수 있다.
도 10은 본 발명의 일실시예에 따른 3D 영상 포맷에 데이터를 추가하는 일례를 도시한 도면이다.
특히, 도 10은 3D 영상 포맷에 포함된 제1 시점 영상(Left Color), 제2 시점 영상(Right Color), 제3 시점 영상(Left Satellite) 및 제4 시점 영상(Right Satellite)을 합성하여 멀티뷰 영상을 재생할 때, 모노 영상(2D) 또는 스테레오 영상이 삽입되는 경우를 나타낸다.
본 발명의 일실시예에 따르면, 3D 영상 포맷이 모노 영상과 스테레오 영상을 처리할 수 있는 구조로 되어 있기 때문에, 모노 영상(2D) 또는 스테레오 영상이 삽입되더라도 추가적인 처리가 불필요하다. 즉, 복호화 장치는 추가적인 처리없이 제1 시점 영상에 2D광고를 삽입하거나 또는 제1 시점 영상과 제2 시점 영상에 스테레오 광고를 삽입할 수 있다. 이 때, 2D 광고가 삽입되면, 제2 시점 영상, 제3 시점 영상 및 제4 시점 영상은 Null값으로 변경된다. 그리고, 스테레오 광고가 삽입되면, 제3 시점 영상과 제4 시점 영상은 Null값으로 변경된다.
도 10은 3D 영상 포맷이 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가지는 경우에도 동일하게 적용될 수 있다. 이 경우, 제1 시점 영상은 모노 영상을 구성할 수 있다. 그리고, 제1 시점 영상과 제2 시점 영상은 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상과 제3 시점 영상은 스테레오 영상을 구성할 수 있다. 그리고, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상은 멀티뷰 영상을 구성할 수 있다.
도 11은 본 발명의 일실시예에 따른 부호화 방법을 도시한 도면이다.
부호화 장치는 복수의 촬영 장치로부터 컬러 영상과 깊이 영상을 수집할 수 있다(S1101).
부호화 장치는 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환할 수 있다(S1102). 일례로, 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함할 수 있다. 이 때, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 낮은 해상도를 가질 수 있다. 그리고, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
다른 일례로, 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가질 수 있다.
이 경우, 제1 시점 영상은 모노 영상을 구성할 수 있다. 그리고, 제1 시점 영상과 제2 시점 영상은 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상과 제3 시점 영상은 스테레오 영상을 구성할 수 있다. 그리고, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상은 멀티뷰 영상을 구성할 수 있다. 여기서, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
일례로, 부호화 장치는 스테레오 영상을 구성하는 제1 시점 영상 및 제2 시점 영상과 제3 시점 영상 및 제4 시점 영상의 해상도가 동일한 경우, 제3 시점 영상과 제4 시점 영상의 해상도를 변환할 수 있다.
이 때, 부호화 장치는 촬영 장치가 수집한 제3 시점 영상과 제4 시점 영상 각각을 인터레이싱하여 짝수 라인 또는 홀수 라인 중 어느 하나를 구성하도록 해상도를 감소시킬 수 있다. 그리고, 부호화 장치는 촬영 장치가 수집한 제3 시점 영상과 제4 시점 영상 각각을 상부 영상(top) 또는 하부 영상(bottom)으로 분리한 후 어느 하나로 구성하도록 해상도를 감소시킬 수 있다.
3D 영상 포맷은 3D 영상 포맷에 포함된 영상들의 투명도 정보 또는 분할 정보 중 적어도 하나를 포함하는 부가 정보 또는 카메라 파라미터 또는 깊이 범위 중 적어도 하나를 포함하는 메타 정보를 더 포함할 수 있다.
부호화 장치는 3D 영상 포맷으로 변환된 깊이 영상과 컬러 영상을 부호화할 수 있다(S1103).
도 12는 본 발명의 일실시예에 따른 복호화 방법을 도시한 도면이다.
복호화 장치는 3D 영상 포맷을 포함하는 3D 영상 스트림을 수신할 수 있다(S1201). 일례로, 3D 영상 포맷은 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상 및 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함할 수 있다. 이 때, 제3 시점 영상과 제4 시점 영상은 제1 시점 영상과 제2 시점 영상보다 낮은 해상도를 가질 수 있다. 그리고, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
다른 일례로, 3D 영상 포맷은 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고, 제2 시점 영상과 제3 시점 영상은 제1 시점 영상보다 낮은 해상도를 가질 수 있다. 이 경우, 제1 시점 영상은 모노 영상을 구성할 수 있다. 그리고, 제1 시점 영상과 제2 시점 영상은 스테레오 영상을 구성할 수 있다. 또한, 제1 시점 영상과 제3 시점 영상은 스테레오 영상을 구성할 수 있다. 그리고, 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상은 멀티뷰 영상을 구성할 수 있다. 여기서, 제3 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고, 제4 시점 영상은 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치될 수 있다.
복호화 장치는 출력 영상의 시점에 기초하여 3D 영상 스트림을 선택적으로 복호화할 수 있다(S1202).
출력 영상의 시점이 멀티뷰인 경우, 복호화 장치는 멀티뷰 영상을 구성하는 적어도 하나의 영상 중 낮은 해상도를 갖는 영상에 대해 원래 해상도로 복원할 수 있다(S1203).
복호화 장치(S1204)는 멀티뷰 영상을 구성하는 영상들을 합성하여 멀티뷰 영상을 생성할 수 있다.
도 11 내지 도 12에서 설명되지 않은 부분은 도 1 내지 도 10의 설명을 참고할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 부호화 장치
102: 복호화 장치

Claims (34)

  1. 복수의 촬영 장치로부터 컬러 영상과 깊이 영상을 수집하는 영상 수집부; 및
    상기 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하는 영상 변환부
    를 포함하고,
    상기 3D 영상 포맷은,
    제1 해상도를 갖는 적어도 하나의 영상 및 상기 제1 해상도보다 낮은 제2 해상도를 갖는 적어도 하나의 영상으로 구성된 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 3D 영상 포맷은,
    스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고,
    상기 제3 시점 영상 및 제4 시점 영상은,
    제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 제3 시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고,
    상기 제4시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치되는 것을 특징으로 하는 영상 처리 장치.
  4. 제2항에 있어서,
    상기 영상 변환부는,
    제1 해상도를 갖는 상기 제3 시점 영상 또는 제4 시점 영상 각각을 인터레이싱하여 짝수 라인 또는 홀수 라인으로 구성된 제2 해상도를 갖도록 가공하는 것을 특징으로 하는 영상 처리 장치.
  5. 제2항에 있어서,
    상기 영상 변환부는,
    제1 해상도를 갖는 상기 제3 시점 영상 또는 제4 시점 영상 각각에서 상부 영상(top) 또는 하부 영상(bottom)을 선택하여 제2 해상도를 갖도록 가공하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 3D 영상 포맷은,
    제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고,
    상기 제2 시점 영상과 제3 시점 영상은,
    상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고,
    상기 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치되는 것을 특징으로 하는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 3D 영상 포맷은,
    상기 3D 영상 포맷에 포함된 영상들의 투명도 정보 또는 분할 정보 중 적어도 하나를 포함하는 부가 정보 또는 카메라 파라미터 또는 깊이 범위 중 적어도 하나를 포함하는 메타 정보를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 3D 영상 포맷으로 변환된 깊이 영상과 컬러 영상을 부호화하는 영상 부호화부
    를 더 포함하는 영상 처리 장치.
  10. 3D 영상 포맷을 포함하는 3D 영상 스트림을 수신하는 영상 스트림 수신부; 및
    출력 영상의 시점에 기초하여 상기 3D 영상 스트림을 선택적으로 복호화하는 영상 복호화부
    를 포함하고,
    상기 3D 영상 포맷은,
    제1 해상도를 갖는 적어도 하나의 영상 및 상기 제1 해상도보다 낮은 제2 해상도를 갖는 적어도 하나의 영상으로 구성된 것을 특징으로 하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 3D 영상 포맷은,
    스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고,
    상기 제3 시점 영상 및 제4 시점 영상은,
    제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 제3 시점 영상 또는 제4 시점 영상은,
    인터레이싱을 통해 짝수 라인 또는 홀수 라인으로 구성된 제2 해상도를 갖는 영상인 것을 특징으로 하는 영상 처리 장치.
  13. 제11항에 있어서,
    상기 제3 시점 영상 또는 제4 시점 영상은,
    상부 영상 또는 홀수 영상으로 구성되어 제2 해상도를 갖는 영상인 것을 특징으로 하는 영상 처리 장치.
  14. 제10항에 있어서,
    상기 3D 영상 포맷은,
    제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고,
    상기 제2 시점 영상과 제3 시점 영상은,
    상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고,
    상기 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치되는 것을 특징으로 하는 영상 처리 장치.
  16. 제10항에 있어서,
    상기 출력 영상의 시점이 멀티뷰인 경우, 멀티뷰 영상을 구성하는 적어도 하나의 영상 중 제2 해상도를 갖는 영상에 대해 제1 해상도로 복원하는 해상도 복원부; 및
    상기 멀티뷰 영상을 구성하는 영상들을 합성하여 멀티뷰 영상을 생성하는 영상 생성부
    를 더 포함하는 영상 처리 장치.
  17. 복수의 촬영 방법으로부터 컬러 영상과 깊이 영상을 수집하는 단계; 및
    상기 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하는 단계
    를 포함하고,
    상기 3D 영상 포맷은,
    제1 해상도를 갖는 적어도 하나의 영상 및 상기 제1 해상도보다 낮은 제2 해상도를 갖는 적어도 하나의 영상으로 구성된 것을 특징으로 하는 영상 처리 방법.
  18. 제17항에 있어서,
    상기 3D 영상 포맷은,
    상기 복수의 촬영 방법 각각으로부터 수집한 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고,
    상기 제3 시점 영상 및 제4 시점 영상은,
    제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 제3 시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 좌측에 배치되고,
    상기 제4시점 영상은 상기 제1 시점 영상과 제2 시점 영상을 기준으로 우측에 배치되는 것을 특징으로 하는 영상 처리 방법.
  20. 제19항에 있어서,
    상기 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하는 단계는,
    제1 해상도를 갖는 상기 제3 시점 영상 또는 제4 시점 영상 각각을 인터레이싱하여 짝수 라인 또는 홀수 라인으로 구성된 제2 해상도를 갖도록 가공하는 것을 하는 영상 처리 방법.
  21. 제19항에 있어서,
    상기 컬러 영상과 깊이 영상을 3D 영상 포맷으로 변환하는 단계는,
    제1 해상도를 갖는 상기 제3 시점 영상 또는 제4 시점 영상 각각에서 상부 영상(top) 또는 하부 영상(bottom)을 선택하여 제2 해상도를 갖도록 가공하는 것을 특징으로 하는 영상 처리 방법.
  22. 제17항에 있어서,
    상기 3D 영상 포맷은,
    상기 복수의 촬영 방법 각각으로부터 수집한 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고,
    상기 제2 시점 영상과 제3 시점 영상은,
    상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 방법.
  23. 제22항에 있어서,
    상기 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고,
    상기 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치되는 것을 특징으로 하는 영상 처리 방법.
  24. 제17항에 있어서,
    상기 3D 영상 포맷은,
    상기 3D 영상 포맷에 포함된 영상들의 투명도 정보 또는 분할 정보 중 적어도 하나를 포함하는 부가 정보 또는 카메라 파라미터 또는 깊이 범위 중 적어도 하나를 포함하는 메타 정보를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  25. 제17항에 있어서,
    상기 3D 영상 포맷으로 변환된 깊이 영상과 컬러 영상을 부호화하는 단계
    를 더 포함하는 영상 처리 방법.
  26. 3D 영상 포맷을 포함하는 3D 영상 스트림을 수신하는 단계; 및
    출력 영상의 시점에 기초하여 상기 3D 영상 스트림을 선택적으로 복호화하는 단계
    를 포함하고,
    상기 3D 영상 포맷은,
    제1 해상도를 갖는 적어도 하나의 영상 및 상기 제1 해상도보다 낮은 제2 해상도를 갖는 적어도 하나의 영상으로 구성된 것을 특징으로 하는 영상 처리 방법.
  27. 제26항에 있어서,
    상기 3D 영상 포맷은,
    다른 시점을 갖는 복수의 촬영 방법 각각으로부터 수집한 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고,
    상기 제3 시점 영상 및 제4 시점 영상은,
    제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 영상 처리 방법.
  28. 제27항에 있어서,
    상기 제3 시점 영상 또는 제4 시점 영상은,
    인터레이싱을 통해 짝수 라인 또는 홀수 라인으로 구성된 제2 해상도를 갖는 영상인 것을 특징으로 하는 영상 처리 방법.
  29. 제27항에 있어서,
    상기 제3 시점 영상 또는 제4 시점 영상은,
    상부 영상 또는 홀수 영상으로 구성되어 제2 해상도를 갖는 영상인 것을 특징으로 하는 영상 처리 방법.
  30. 제27항에 있어서,
    상기 3D 영상 포맷은,
    복수의 촬영 방법 각각으로부터 수집한 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고,
    상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 것을 특징으로 하는 영상 처리 방법.
  31. 제30항에 있어서,
    상기 제2 시점 영상은, 제1 시점 영상을 중심으로 좌측에 배치되고,
    상기 제3 시점 영상은 제1 시점 영상을 중심으로 우측에 배치되는 것을 특징으로 하는 영상 처리 방법.
  32. 제26항에 있어서,
    상기 출력 영상의 시점이 멀티뷰인 경우, 멀티뷰 영상을 구성하는 적어도 하나의 영상 중 제2 해상도를 갖는 영상에 대해 제1 해상도로 복원하는 단계; 및
    상기 멀티뷰 영상을 구성하는 영상들을 합성하여 멀티뷰 영상을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
  33. 스테레오 영상을 구성하기 위한 제1 시점(base view) 영상 및 제2 시점(additional view) 영상과 멀티뷰 영상을 구성하기 위한 제3 시점(satelite view1) 영상 및 제4 시점(satelite view2) 영상을 포함하고,
    상기 제3 시점 영상 및 제4 시점 영상은,
    제1 해상도를 갖는 제1 시점 영상 및 제2 시점 영상의 해상도보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 3D 영상 포맷이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  34. 제1 시점 영상, 제2 시점 영상 및 제3 시점 영상을 포함하고,
    상기 제2 시점 영상과 제3 시점 영상은,
    상기 제1 해상도를 갖는 제1 시점 영상보다 낮은 제2 해상도를 갖는 것을 특징으로 하는 3D 영상 포맷이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020100084346A 2010-08-30 2010-08-30 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법 KR20120020627A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100084346A KR20120020627A (ko) 2010-08-30 2010-08-30 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
US13/137,081 US20120050465A1 (en) 2010-08-30 2011-07-19 Image processing apparatus and method using 3D image format
EP11174847A EP2424254A3 (en) 2010-08-30 2011-07-21 Image processing apparatus and method using 3D image format

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100084346A KR20120020627A (ko) 2010-08-30 2010-08-30 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120020627A true KR20120020627A (ko) 2012-03-08

Family

ID=44582269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100084346A KR20120020627A (ko) 2010-08-30 2010-08-30 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US20120050465A1 (ko)
EP (1) EP2424254A3 (ko)
KR (1) KR20120020627A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525713B1 (ko) * 2010-11-15 2015-06-03 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329985A1 (en) * 2012-06-07 2013-12-12 Microsoft Corporation Generating a three-dimensional image
US9538164B2 (en) * 2013-01-10 2017-01-03 Qualcomm Incorporated Stereoscopic conversion with viewing orientation for shader based graphics content
KR20140135473A (ko) * 2013-05-16 2014-11-26 한국전자통신연구원 3d 영상의 수신지연 처리장치 및 방법

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
DE69726025T2 (de) * 1996-06-13 2004-09-16 K.U. Leuven Research & Development Verfahren und vorrichtung zum erhalten einer dreidimensionalen form
EP0931420A4 (en) * 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
US6879341B1 (en) * 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
WO1999012348A1 (en) * 1997-08-29 1999-03-11 Matsushita Electric Industrial Co., Ltd. Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator
JP4181800B2 (ja) * 2002-06-20 2008-11-19 Ｎｅｃ東芝スペースシステム株式会社 ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7248794B2 (en) * 2003-06-12 2007-07-24 Imagesat International N.V. Remote platform multiple capture image formation method and apparatus
WO2005065085A2 (en) * 2003-12-21 2005-07-21 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
WO2007047736A2 (en) * 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
DE102006055641B4 (de) * 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
US20080174659A1 (en) * 2007-01-18 2008-07-24 Mcdowall Ian Wide field of view display device and method
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US20090238378A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced Immersive Soundscapes Production
KR101474568B1 (ko) 2009-01-16 2014-12-18 삼성전자주식회사 이동통신 단말기에서 국제 전화 오토 다이얼링 제공 방법 및 장치
CN102292996B (zh) * 2009-01-20 2014-09-17 皇家飞利浦电子股份有限公司 3d图像数据的传输
KR101630866B1 (ko) * 2009-01-20 2016-06-16 코닌클리케 필립스 엔.브이. ３ｄ 이미지 데이터의 전송
ES2578022T3 (es) * 2009-02-17 2016-07-20 Koninklijke Philips N.V. Combinación de datos de imágenes 3D y gráficos
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US20110032332A1 (en) * 2009-08-07 2011-02-10 Darren Neuman Method and system for multiple progressive 3d video format conversion
US8436891B2 (en) * 2009-09-16 2013-05-07 Disney Enterprises, Inc. Hyperlinked 3D video inserts for interactive television
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
KR101661969B1 (ko) * 2009-11-02 2016-10-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
US8872893B2 (en) * 2010-05-26 2014-10-28 Broadcom Corporation Systems and methods for managing distribution of 3D media
US8982151B2 (en) * 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US9560406B2 (en) * 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
EP2605514B1 (en) * 2010-08-09 2017-07-12 Panasonic Corporation Image encoding method, image decoding method, image encoding device, and image decoding device
KR101735612B1 (ko) * 2010-08-16 2017-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
WO2012092246A2 (en) * 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US8587641B2 (en) * 2011-03-04 2013-11-19 Alexander Roth Autostereoscopic display system
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
JP2012195728A (ja) * 2011-03-16 2012-10-11 Seiko Epson Corp 表示装置、表示システム、及び、表示装置の制御方法
JP6126076B2 (ja) * 2011-03-29 2017-05-10 クアルコム，インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525713B1 (ko) * 2010-11-15 2015-06-03 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
US9407899B2 (en) 2010-11-15 2016-08-02 Lg Electronics Inc. Method for transforming frame format and apparatus using same method

Also Published As

Publication number Publication date
EP2424254A2 (en) 2012-02-29
EP2424254A3 (en) 2012-11-28
US20120050465A1 (en) 2012-03-01

Similar Documents

Publication Publication Date Title
KR101840308B1 (ko) 3차원 콘텐츠에 관한 영상들을 조합하기 위한 방법
KR101647408B1 (ko) 영상 처리 장치 및 방법
KR101390813B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
JP6644979B2 (ja) ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス
EP2393301A1 (en) Method and apparatus for generating header information of stereoscopic image
JP5837606B2 (ja) フレームフォーマット変換方法及びその方法を使用する装置
KR20080108884A (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
JP5889899B2 (ja) マルチ視野信号の２つの視野と対応する画像の対をエンコードする方法、デコードする方法、エンコーダ、デコーダ、コンピュータプログラム及びソフトウェアツール
JP2013098986A (ja) 映像符号化方法及び装置、並びに映像復号化方法及び装置
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
KR20120020627A (ko) 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
JP2005184377A (ja) 画像変換装置及びそれを用いた画像記録装置
KR20080027190A (ko) 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치
JP4104895B2 (ja) 立体画像符号化装置および立体画像復号装置
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid