KR101038452B1 - 멀티뷰 이미지 생성 - Google Patents

멀티뷰 이미지 생성 Download PDF

Info

Publication number
KR101038452B1
KR101038452B1 KR1020067002454A KR20067002454A KR101038452B1 KR 101038452 B1 KR101038452 B1 KR 101038452B1 KR 1020067002454 A KR1020067002454 A KR 1020067002454A KR 20067002454 A KR20067002454 A KR 20067002454A KR 101038452 B1 KR101038452 B1 KR 101038452B1
Authority
KR
South Korea
Prior art keywords
edge
input image
image
depth
depth map
Prior art date
Application number
KR1020067002454A
Other languages
English (en)
Other versions
KR20060119864A (ko
Inventor
마크 제이. 알. 오피 디이 빅크
파비안 이. 언스트
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060119864A publication Critical patent/KR20060119864A/ko
Application granted granted Critical
Publication of KR101038452B1 publication Critical patent/KR101038452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

입력 이미지에 기초하여 멀티뷰 이미지를 생성하기 위한 멀티뷰 이미지 생성 유닛(100)이 개시되어 있다. 생성 유닛(100)은 상기 입력 이미지에서 에지를 검출하는 에지 검출 수단(102)과; 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 깊이 맵 생성 수단(104)으로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 뷰어와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 뷰어와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 수단(104)과, 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단(106)을 포함한다.
Figure R1020067002454
렌더링 수단, 깊이 맵, 멀티뷰 이미지, 에지 검출, 컴퓨터 프로그램

Description

멀티뷰 이미지 생성{Multi-view image generation}
본 발명은 입력 이미지에 기초하여 멀티뷰 이미지(multi-view image)를 생성하는 멀티뷰 이미지 생성 유닛에 관한 것이다.
본 발명은 또한,
- 입력 이미지에 대응하는 신호를 수신하는 수신 수단, 및
- 상기 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 멀티뷰 이미지 생성 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
본 발명은 또한, 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 방법에 관한 것이다.
본 발명은 또한, 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의해 로딩될 수 있는 컴퓨터 프로그램 제품에 관한 것으로, 상기 프로그램 제품은 입력 이미지에 기초하여 멀티뷰 이미지를 생성하기 위해 명령어들을 포함한다.
멀티뷰 디스플레이 디바이스 상에서 3D 효과를 생성하기 위해, 서로 다른 가상 시점들로부터의 이미지들이 렌더링 되어야 한다. 이것은 다중 입력 시야들이나 일부 3D 또는 깊이 정보가 존재할 것을 요구한다. 이러한 깊이 정보는 멀티뷰 카메라 시스템들로부터 생성되어 기록되거나 종래의 2D 비디오 소재로부터 생성되어 기록될 수 있다. 2D 비디오로부터 깊이 정보를 생성하기 위해, 모션으로부터의 구조, 초점 정보, 기하학적 형상들, 및 동적 교합(dynamic occlusion)과 같은 몇 가지 형태들의 깊이 큐들이 적용될 수 있다. 목표는 밀집 깊이 맵(a dense depth map), 즉 픽셀 당 하나의 깊이 값을 생성하는 것이다. 이러한 깊이 맵은 멀티뷰 이미지를 렌더링하는데 사용되어 깊이 효과를 관찰자에게 제시한다. 1997년 캘리포니아, 로스 알라미토스, Vol. IV, ISBN 0-8186-7919-0, 페이지 2749-2752, IEEE 컴퓨터 협회, 음향, 음성, 및 신호 처리에 대한 국제 회의에서, P.A. Redert, E.A. Hendriks, 및 J. Biemond에 의한 논문 "중간이 아닌 위치들에서 멀티뷰 이미지들의 합성(Synthesis of multi viewpoint images at non-intermediate positions)"에는 깊이 정보를 추출하고, 입력 이미지 및 깊이 맵에 기초하여 멀티뷰 이미지를 렌더링하는 방법이 개시되어 있다.
상기 인용된 방법의 단점은 깊이 맵 생성이 적절하지 못하여 결과적으로 불만족스런 깊이 효과가 나타나는 것이다.
본 발명의 목적은, 서두에 기술된 종류의 멀티뷰 이미지 생성 유닛으로서, 지각적으로 납득할 수 있는 깊이 효과를 갖는 멀티뷰 이미지들을 상대적으로 제한된 깊이 정보에 기초하여 렌더링하기 위해 배치되는 멀티뷰 이미지 생성 유닛을 제공하는 것이다.
이러한 본 발명의 목적은,
- 상기 입력 이미지에서 에지를 검출하는 에지 검출 수단,
- 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 깊이 맵 생성 수단으로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 수단, 및
- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단을 포함하는 상기 생성 유닛에 따라 달성된다. 결과적으로, 상기 멀티뷰 이미지의 수행된 렌더링은 에지가 주변 영역보다 상기 관찰자에게 더 가깝게 인식되는, 즉 에지 상의 깊이 차이가 생성되는 방식에 따른다. 인간 지각 포인트의 시점으로부터 상기 에지는 전경 대상(object)에 속하도록 나타난다. 그러므로, 위치적으로 상기 깊이 렌더링은 상기 전면 대상이 배경 앞에 실제로 있다는 것을 보여준다. 본 발명자들은 인간 지각이 그에 따라 깊이 효과를 완성하기 위해 이러한 매우 제한되고 부분적 깊이 정보를 통합하는 것을 관찰하여 왔다.
에지가 1 픽셀 폭의 전이를 반드시 의미하는 것은 아니라는 것에 주의해야 한다. 그것은 다수의 픽셀들에 걸쳐 확장하는 부드러운 에지일 수 있다.
본 발명에 따른 상기 멀티뷰 이미지 생성 유닛의 실시예에 있어서, 상기 에지 검출 수단은 상기 입력 이미지의 제 1 픽셀 값들 및 제 2 입력 이미지의 각각의 제 2 픽셀 값들 사이의 픽셀 값 차이들을 계산함으로써 상기 에지를 검출하도록 배치되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속한다. 비디오 이미지들의 시퀀스의 후속하는 이미지들을 감산하는 단계에 기초하여 에지를 검출하는 단계는 상대적으로 쉽다. 이러한 실시예의 장점은 실시간 구현이 상대적으로 단순한 계산 리소스들을 통해 실현될 수 있다는 것이다. 픽셀 값들은 색상 또는 휘도와 같은 시각적 정보를 표현한다.
픽셀 값 차이들을 계산함으로써 상기 에지를 검출하도록 배치되는 본 발명에 따른 상기 멀티뷰 이미지의 실시예에 있어서, 상기 제 1 깊이 값은 상기 픽셀 값 차이들 중 첫번째 것의 함수이다. 다시 말해서, 상기 계산된 픽셀 값 차이는 상기 깊이 값을 결정하기 위해 사용된다. 양호하게는, 상기 계산된 픽셀 값 차이는 상기 깊이 값에 비례한다. 선택적으로, 필터링 단계는 픽셀 값 차이들의 계산의 중간 결과에 대해 적용된다. 상기 필터링 단계는 공간적, 시간적, 또는 시공간 저역통과 필터링을 포함할 수 있다. 대안적으로, 문턱값은 상대적으로 낮은 픽셀 값 차이들을 필터링 출력하기 위해 사용된다. 이러한 상대적으로 낮은 픽셀 값 차이들은 그에 따라 노이즈로 해석된다.
본 발명에 따른 상기 멀티뷰 이미지 생성 유닛의 실시예에 있어서, 상기 에지 검출 수단은 상기 입력 이미지 및 제 2 입력 이미지에 기초하여 계산되는 모션 벡터 필드에 기초하여 상기 에지를 검출하도록 배치되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속한다. 양호하게는, 상기 에지 검출 수단은 상기 모션 벡터 필드의 모션 벡터들에 이웃하는 모션 벡터 차이들을 계산함으로써 상기 에지를 검출하도록 배치된다. 계산 모션 벡터 필드들은 예를 들어 비디오 압축, 비 비월주사, 또는 일시적 업 컨버전(temporal up-conversion)과 같은 것에 대해 공지된 공통 테크닉이다. 전형적으로, 모션 벡터 필드에서의 불연속들, 즉 상기 모션 벡터 필드의 인접한 모션 벡터들 사이의 상대적으로 큰 차이들은 캡쳐된 장면에서 이동하는 대상들의 경계들에 대응하므로, 관련된 에지들에 대응한다. 본 발명에 따른 이러한 실시예의 장점은 그것이 서로 다른 형태들의 에지들: 실질적으로 고정된 대상들에 속하는 에지들 및 이동하는 대상들에 속하는 에지들 사이에서 구별하기 위해 배치된다는 것이다. 특히, 후자의 형태의 에지들은 이러한 에지들이 전형적으로 전경 대상들에 대응하기 때문에 관련이 있다.
모션 벡터 필드에 기초하여 상기 에지를 검출하기 위해 배치되는 본 발명에 따른 상기 멀티뷰 이미지 생성 유닛의 실시예에 있어서, 상기 제 1 깊이 값은 상기 모션 벡터 차이들 중 첫번째 것의 함수이다. 다시 말해서, 상기 계산된 모션 벡터 차이는 상기 깊이 값을 결정하기 위해 사용된다. 양호하게는, 상기 계산된 모션 벡터 차이들은 상기 깊이 값에 비례한다.
본 발명의 다른 목적은 상대적으로 제한된 깊이 정보에 기초하여 깊이 효과를 지각적으로 확신하는 것을 통해 멀티뷰 이미지들을 렌더링하기 위해 배치되는 시작절에서 기술된 종류의 멀티뷰 이미지 생성 유닛을 포함하는 이미지 처리 장치를 제공하는 것이다.
본 발명의 이러한 목적은,
- 상기 입력 이미지에서 에지를 검출하는 에지 검출 수단,
- 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 깊이 맵 생성 수단으로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 수단, 및
- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단을 포함하는 생성 유닛에 따라 달성된다.
선택적으로, 상기 이미지 처리 장치는 상기 멀티뷰 이미지를 디스플레이하기 위한 멀티뷰 디스플레이 디바이스를 더 포함한다.
본 발명의 다른 목적은 상대적으로 제한된 깊이 정보에 기초하는 깊이 효과를 지각적으로 확신하는 것을 통해 멀티뷰 이미지들을 렌더링하기 위해 시작절에서 기술된 종류의 방법을 제공하는 것이다.
본 발명의 이러한 목적은,
- 상기 입력 이미지에서 에지를 검출하는 단계,
- 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 단계로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 단계, 및
- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 포함하는 방법에 따라 달성된다.
본 발명의 다른 목적은 상대적으로 제한된 깊이 정보에 기초하여 깊이 효과를 지각적으로 확신하는 것을 통해 멀티뷰 이미지들을 렌더링하기 위해 시작절에서 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.
본 발명의 이러한 목적은,
- 상기 입력 이미지에서 에지를 검출하는 단계,
- 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 단계로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 단계, 및
- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 수행하기 위한 성능을 갖는 상기 처리 수단을 로딩된 후에 제공하는 컴퓨터 프로그램 제품에 따라 달성된다.
상기 멀티뷰 이미지 생성 유닛의 수정들 및 그의 변형들은 기술된 상기 이미지 처리 장치, 상기 방법, 및 상기 컴퓨터 프로그램 제품의 수정들 및 그의 변형들에 대응할 수 있다.
본 발명에 따른 멀티뷰 이미지 생성 유닛, 상기 이미지 처리 장치, 상기 방법, 및 상기 컴퓨터 프로그램 제품의 이러한 특징들 및 다른 특징들은 첨부 도면을 참조하여 이하 기술되는 실시예들과 관련하여 상세히 설명되고 그로부터 보다 명백해질 것이다.
도 1은 본 발명에 따른 멀티뷰 이미지 생성 유닛의 실시예를 개략적으로 도시한 도면.
도 2는 본 발명에 따른 멀티뷰 이미지 생성 유닛의 또 다른 실시예를 개략적으로 도시한 도면.
도 3은 비디오 이미지들의 시퀀스의 입력 이미지를 개략적으로 도시한 도면.
도 4a는 후속하는 입력 이미지들 사이의 색상 차이들에 기초한 깊이 맵을 개략적으로 도시한 도면.
도 4b는 모션 불연속들에 기초한 깊이 맵을 개략적으로 도시한 도면.
도 5a는 에지들로의 깊이 할당에 대한 제 1 함수를 개략적으로 도시한 도면.
도 5b는 에지들로의 깊이 할당에 대한 제 2 함수를 개략적으로 도시한 도면.
도 5c는 에지들로의 깊이 할당에 대한 제 3 함수를 개략적으로 도시한 도면.
도 6은 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시한 도면.
동일한 참조번호들이 도면들 전체에 걸쳐 유사한 부분들을 나타내도록 사용되어 있다.
도 1은 본 발명에 따른 멀티뷰 이미지 생성 유닛(100)의 실시예를 개략적으로 도시한 도면이다. 멀티뷰 이미지 생성 유닛(100)은 비디오 이미지들의 시퀀스에 기초하여 멀티뷰 이미지들의 시퀀스를 생성하기 위해 배치된다. 도 3은 비디오 이미지들의 시퀀스의 입력 이미지를 개략적으로 도시한 도면이다. 멀티뷰 이미지 생성 유닛(100)은 입력 커넥터(108)에서 비디오 이미지들의 스트림을 제공받고, 출력 커넥터들(110, 112)에서 비디오 이미지들의 2개의 상호관련된 스트림들을 각각 제공한다. 비디오 이미지들의 이러한 2개의 상호관련된 스트림들은, 비디오 이미지들의 상호관련된 스트림들 중 첫번째 스트림에 기초하여 시야들의 제 1 시리즈를 시각화하고, 비디오 이미지들의 상호관련된 스트림들 중 두번째 스트림에 기초하여 시야들의 제 2 시리즈를 시각화하도록 구성된 멀티뷰 디스플레이 디바이스에 제공될 수 있다. 사용자가 그의 좌측 안구로 시야들의 제 1 시리즈를, 그의 우측 안구로 시야들의 상기 제 2 시리즈를 관찰하는 경우, 사용자는 3D 효과를 인지한다. 비디오 이미지들의 상호관련된 스트림들 중 첫번째 스트림이 수신된 비디오 이미지들의 시퀀스에 대응하고, 비디오 이미지들의 상호관련된 스트림들의 두번째 것이 수신된 비디오 이미지들의 시퀀스에 기초하여 렌더링될 수도 있다. 양호하게는, 비디오 이미지들의 스트림들 모두는 수신된 비디오 이미지들의 시퀀스에 기초하여 렌더링된다. 상기 렌더링은 예를 들어, 1997년 캘리포니아, 로스 알라미토스, Vol. IV, ISBN 0-8186-7919-0, 페이지 2749-2752, IEEE 컴퓨터 협회, 음향, 음성, 및 신호 처리에 대한 국제 회의에서, A. Redert, E.A. Hendriks, 및 J. Biemond에 의한 논문 "중간이 아닌 위치들에서 멀티뷰 이미지들의 합성"에서 기술되는 바와 같다. 대안적으로, 상기 렌더링은 Short Note 124, 그라나다, 2003년, Proceedings Eurographics 에서, R.P.Berretty 및 F.E.Ernst 에 의한 "2.5D 비디오로부터의 고품질 이미지들(High-quality images from 2.5D video)"에서 기술되는 바와 같다.
멀티뷰 이미지 생성 유닛(100)은,
- 입력 이미지들에서 에지들을 검출하는 에지 검출 유닛(102),
- 상기 검출된 에지들에 기초하여 상기 각각의 입력 이미지들에 대해 깊이 맵들을 생성하는 깊이 맵 생성 유닛(104), 및
- 상기 입력 이미지들 및 상기 각각의 깊이 맵들에 기초하여 상기 멀티뷰 이미지들을 렌더링하는 렌더링 유닛(106)을 포함한다.
에지들을 검출하는 단계는 개별적 입력 이미지들의 공간적 고역 통과 필터링에 기초할 수도 있다. 그러나, 상기 에지들은 다중 입력 이미지들의 상호 비교, 특히 비디오 이미지들의 시퀀스의 후속하는 이미지들의 픽셀 값 차이들의 계산에 기초하여 검출되는 것이 바람직하다. 픽셀 값 차이들 S(x, y, n)의 계산의 제 1 예는 방정식(1)에 따라 제시된다:
S(x, y, n) = |I(x, y, n) - I(x, y, n-1)| (1)
여기서, I(x, y, n)은 시간(n)에서 이미지의 x 및 y 좌표를 갖는 픽셀의 휘도값이다. 대안적으로, 픽셀 값 차이들 S(x, y, n)은 색상 값들에 기초하여 계산된 다:
S(x, y, n) = |C(x, y, n) - C(x, y, n-1)| (2)
여기서, C(x, y, n)는 시간(n)에서 이미지의 x 및 y 좌표를 갖는 픽셀의 색상 값이다. 방정식(3)에는, 3개의 서로 다른 구성요소들 R(적색), G(녹색), B(청색)에 기초하여 픽셀 값 차이들 S(x, y, n)을 계산하는 추가적 대안이 제시된다.
S(x,y,n) = max(|R(x,y,n)-R(x,y,n-1)|,|G(x,y,n)-G(x,y,n-1)|,|B(x,y,n)-B(x,y,n-1)|) (3)
선택적으로, 픽셀 값 차이 신호(
Figure 112006008397568-pct00001
)는 미리 결정된 문턱값 아래인 모든 픽셀 값 차이들을 예를 들어 0인 상수로 클리핑함으로써 필터링된다. 선택적으로, 모폴로직 필터(morphologic filters) 연산이 적용되어 공간적으로 작은 에지들 모두를 제거할 수 있다. 모폴로직 필터들은 일반적인 비선형 이미지 처리 유닛들이다. 예를 들어, vol. 15, no. 3, pp. 249-258, 1988년, "Signal Processing"에서 P.W.Verbek, H.A.Vrooman, 및 L.J.van Vliet 에 의한 논문 "최대 최소 필터들에 의한 저레벨 이미지 처리(Low-level image processing by max-min filters)"를 참조하자.
필터링된 픽셀 값 차이 신호(
Figure 112006008397568-pct00002
)의 계산 후에, 깊이 맵이 결정된다. 이것은 방정식 4로 정의된다.
D(x, y, n) = F(SF(x, y, n)) (4)
여기서, D(x, y, n)은 시간(n)에서 이미지의 x 및 y 좌표를 갖는 픽셀의 깊 이 값이고, 함수 F(j)는 픽셀 값 차이 SF(x, y, n)의 깊이 값 D(x, y, n)으로 선형 또는 비선형 변환이다. 이러한 함수 F(j)는 미리 결정된 상수와 픽셀 값 차이 SF(x, y, n)의 단순한 곱셈일 수 있다.
D(x, y, n) = αㆍSF(x, y, n) (5)
대안적으로, 함수 F(j)는 주목 픽셀 및 이 주목 픽셀에 공간적으로 이웃하는 제 2 픽셀 사이의 공간 거리(i)에 관련하고, 국소 최대값을 갖는 가중치 팩터 W(i)와 픽셀 값 차이 SF(x, y, n)의 곱셈에 대응한다. 상기 제 2 픽셀은 에지의 중앙에 위치되는 것으로 가정된다.
D(x', y', n) = W(x, y, x', y')*SF(x, y, n) (6)
도 5a는 에지들로의 깊이 할당에 대한 적절한 함수, 즉 공간 거리(i)의 함수로서 가중치 팩터 W(i)를 개략적으로 도시한다.
상술된 바와 같은 동작들의 결과는, 특정 깊이 맵 중 에지에 대응하는 제 1 그룹 요소들은 멀티뷰 이미지의 관찰자와 관련하여 제 1 깊이 값을 가지고, 상기 깊이 맵 중 상기 에지에 인접하여 위치되는 특정 입력 이미지의 영역에 대응하는 제 2 그룹의 요소들은 상기 멀티뷰 이미지의 관찰자와 관련하여 제 2 깊이 값을 가지며, 상기 제 1 값은 상기 제 2 값보다 더 작다는 것이다. 다시 말해서, 깊이 맵의 요소들 중 에지들에 대응하는 요소들은 깊이 맵의 요소들은 상기 깊이 맵의 다른 요소들보다 상기 관찰자에게 보다 작은 거리를 표현하는 값을 갖는다.
도 4a는 후속하는 입력 이미지들 사이의 색상 차이들에 기초한 깊이 맵의 예를 개략적으로 도시한다. 이러한 깊이 맵은 필터링 없이, 방정식(2, 5)에서 상술된 바와 같이 결정된다.
에지 검출 유닛(102), 깊이 맵 생성 유닛(104), 및 렌더링 유닛(106)은 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이러한 기능들은 소프트웨어 프로그램 제품의 제어하에서 수행된다. 실행 동안, 일반적으로 상기 소프트웨어 프로그램 제품은 RAM과 같은 메모리로 로딩되어 그곳으로부터 실행된다. 상기 프로그램은 ROM, 하드디스크, 또는 자기 및/또는 광 저장소와 같은 백그라운드 메모리로부터 로딩될 수 있고, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 애플리케이션 특정 집적회로는 개시된 기능성을 제공한다.
도 2는 본 발명에 따른 멀티뷰 이미지 생성 유닛(200)의 또다른 실시예를 개략적으로 도시한다. 멀티뷰 이미지 생성 유닛(200)은 비디오 이미지들의 시퀀스에 기초하여 멀티뷰 이미지들의 시퀀스를 생성하도록 구성된다. 멀티뷰 이미지 생성 유닛(200)은 입력 커넥터(108)에서 비디오 이미지들의 스트림을 제공받고, 출력 커넥터들(110, 112)에서 비디오 이미지들의 2개의 상호관련된 스트림들을 각각 제공한다. 멀티뷰 이미지 생성 유닛(200)은,
- 상기 입력 이미지들의 모션 벡터 필드들을 계산하는 모션 추정 유닛(202),
- 상기 각각의 모션 벡터 필드들에 기초하여 상기 입력 이미지들에서 에지들을 검출하는 에지 검출 유닛(102),
- 상기 검출된 에지들에 기초하여 상기 각각의 입력 이미지들에 대해 깊이 맵들을 생성하는 깊이 맵 생성 유닛(104), 및
- 상기 입력 이미지들 및 상기 각각의 깊이 맵들에 기초하여 상기 멀티뷰 이미지들을 렌더링하는 렌더링 유닛(106)을 포함한다.
모션 추정 유닛(202)은 예를 들어, 페이지 368-379, 1993년 10월, no. 5, vol. 3, 비디오 기술에 대한 회로들 및 시스템에 관한 IEEE 트랜잭션들에서, G. de Haan 등에 의한 논문 "3-D 순환적 탐색 블록 매칭을 통한 트루-모션 추정(True-Motion Estimation with 3-D Recursive Search Block Matching)"에서 명시된 바와 같다.
에지 검출 유닛(102)에는 모션 추정 유닛(202)에 의해 계산된 모션 벡터 필드들이 제공된다. 에지 검출 유닛(102)은 모션 벡터 필드 불연속성들을 결정하도록 구성된다. 즉 상대적으로 큰 모션 벡터 대비(contrast)를 갖는 모션 벡터 필드들에서의 영역들을 검출하기 위해 구성된다는 것을 의미한다. 이러한 영역들은 대응하는 이미지들에서의 에지들에 대응한다. 선택적으로, 에지 검출 유닛(102)은 또한 픽셀 값들, 즉 입력 이미지들의 색상 및/또는 휘도 값들을 제공받는다. 다양한 입력들을 적절히 결합함으로써, 상기 이미지에서의 세그먼트들이 달성된다. 이러한 처리는 또한, 2003년 1월, Heinrich-Hertz-Institut, 베를린, ICOB(Imersive 통신 및 방송 시스템들)에서, F. Ernst에 의한 "시간 일관된 세분화에 기초하는 2D 대 3D 비디오 변환(2D-to-3D video conversion based on time-consistent segmentation)"에 기술되어 있다. 상기 이미지들내 세그먼트들의 검출된 에지들의 좌표들 외에, 또한 상기 세그먼트들의 위상(topology) 정보가 에지 검출 유닛(102)에 의해 제공될 수 있다. 그러므로, 상기 에지들의 어느 측이 전경 대상에 속하고 상기 에지의 어느 측이 배경에 속하는지 알려진다.
상기 에지 검출 후에, 깊이 값들의 할당이 수행된다. 양호하게는, 깊이 값들의 할당은 도 5b 및 도 5c에 도시된 바와 같은 가중치 팩터들 W(i)에 기초한다. 이러한 도 5b 및 도 5c에 있어서, 좌측 부분이 전경에 대응하는 것으로 가정된다. 도 5b는 비대칭 할당을 도시하고 있다; 깊이 점프(depth jump)는 전경을 향하여 바이어스되고, 도 5c는 비틀린(skewed) 할당을 도시하고 있다; 깊이 점프는 배경에서 보다 빨리 떨어진다. 도 5a에서 도시하는 바와 같이, 에지 주변에 대한 깊이의 대칭 할당은 적절한 인지를 위해 충분한 것으로 보이지만, 어떤 다른 깊이 큐로부터 추가적인 깊이 정보가 존재하는 경우, 이러한 에지에 적절한 인지를 위해 충분한 것으로 보이지만 깊이 값들을 할당하는데 적용되는 것이 바람직하다. 깊이 값들의 할당은 정보가 상기 에지의 전경 측이 상기 에지의 배경 측보다 다소 더 앞쪽으로 렌더링되도록 약간 바이어스되는 것이 바람직하다. 상기된 바와 같이, 에지 검출 유닛(102)은 상기 세그먼트들의 토폴로지에 대한 정보를 제공하도록 구성된다. 그로므로, 상기 에지의 어느 측이 상기 전경에 속하는지와 어느 측이 상기 배경에 속하는지를 알게 된다. 도 4b는 본 발명에 따른 이러한 실시예의 깊이 맵 생성 유닛(104)에 의해 제공되는 모션 불연속성들에 기초한 깊이 맵을 개략적으로 도시한다.
모션 추정 유닛(202), 에지 검출 유닛(102), 깊이 맵 생성 유닛(104), 및 렌더링 유닛(106)은 하나의 프로세서를 사용하여 구현될 수 있다.
요약하자면, 멀티뷰 이미지 생성 유닛들(100, 200)은, 깊이 불연속들에 대한 양호한 후보들인 입력 이미지들 내의 에지들을 검출하고, 상기 에지들이 주변 영역들보다 관찰자에게 더 가까운 것으로 인식되는 방식으로 이러한 이미지들을 렌더링함으로써 멀티뷰 이미지들을 렌더링하도록 구성된다.
상기 깊이 할당이 주로 에지 검출에 기초하므로 구현하기 쉽고 안정적이다. 특히, 상기 에지 검출이 색상, 휘도, 텍스쳐, 또는 모션에 기초하여 상대적으로 쉽기 때문이다. 양호하게는, 상기 에지들은 시간, 예를 들어, 시간 일관된 세분화(time-consistent segmentation)를 통해 트랙되므로, 에지 당 깊이 할당이 보다 시간에 걸쳐 보다 안정적이다.
도 6은 본 발명에 따른 이미지 처리 장치(600)의 실시예를 개략적으로 도시한 도면이다. 상기 이미지 처리 장치는,
- 입력 이미지들을 표현하는 비디오 신호를 수신하는 수신 유닛(602),
- 도 1 및 도 2의 어떠한 것과 관련하여 기술되는 바와 같은, 상기 수신된 입력 이미지들에 기초하여 멀티뷰 이미지들을 생성하는 멀티뷰 이미지 생성 유닛(604), 및
- 멀티뷰 이미지 생성 유닛(604)에 의해 제공된 상기 멀티뷰 이미지들을 디스플레이하는 멀티뷰 디스플레이 디바이스(606)를 포함한다.
상기 비디오 신호는 안테나 또는 케이블을 통해 수신되는 방송 신호일 수 있지만, 또한 VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장소 디바이스로부터의 신호일 수도 있다. 상기 신호는 입력 커넥터(610)에서 제공된다. 이미지 처리 장치(600)는 예를 들어 TV 일 수 있다. 대안적으로, 이미지 처 리 장치(600)는 선택적인 디스플레이 디바이스를 포함하지 않고, 디스플레이 디바이스(606)를 포함하는 장치에 출력 신호를 제공할 수 있다. 이미지 처리 장치(600)는 셋 탑 박스, 위성 튜너, VCR 재생기, DVD 재생기, 또는 레코더와 같은 것일 수 있다. 선택적으로, 이미지 처리 장치(600)는 하드 디스크와 같은 저장 수단이나, 광 디스크들과 같은 이동식 미디어 상에 저장하기 위한 저장 수단을 포함한다. 이미지 처리 장치(600)는 또한 촬영소 또는 방송자에 의해 응용되는 시스템일 수도 있다.
상기 언급된 실시예들은 본 발명을 제한하기보다는 예시하는 것이며, 당업자는 첨부된 특허청구범위로부터 벗어나지 않고 대안적인 실시예들을 디자인할 수 있다는 것을 이해할 것이다. 특허청구범위에 있어서, 괄호 안의 어떠한 참조부호들은 청구범위를 제한하도록 구성되지는 않는다. 단어 '포함하다'는 청구범위에 열거되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. 요소들의 단수 표현은 복수의 해당 요소들의 존재를 배제하지 않는다. 본 발명은 몇 개의 명확한 요소들을 포함하는 하드웨어와 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거하고 있는 유닛 청구항에 있어서, 이러한 몇몇 수단은 하드웨어의 하나와 동일한 아이템에 의해 구체화될 수 있다.

Claims (11)

  1. 입력 이미지에 기초하여 멀티뷰 이미지(multi-view image)를 생성하기 위한 멀티뷰 이미지 생성 유닛(100, 200)에 있어서:
    - 상기 입력 이미지 내의 에지(edge)를 검출하는 에지 검출 수단(102);
    - 깊이 맵(depth map) 생성 수단(104)으로서,
    상기 멀티뷰 이미지의 뷰어(viewer)와 관련된, 제 1 깊이 값을 갖는 상기 에지에 대응하는 깊이 맵의 요소들의 제 1 그룹,
    상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 2 깊이 값을 갖는, 제 1 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 2 그룹, 및
    상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 3 깊이 값을 갖는, 제 2 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 3 그룹을 생성함으로써, 상기 에지에 기초하여 상기 입력 이미지에 대한 상기 깊이 맵을 생성하고,
    상기 제 1 깊이 값은 상기 제 2 깊이 값보다 작고, 상기 제 1 깊이 값은 상기 제 3 깊이 값보다 작은, 상기 깊이 맵 생성 수단(104); 및
    - 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단(106)을 포함하는, 멀티뷰 이미지 생성 유닛(100, 200).
  2. 제 1 항에 있어서,
    상기 에지 검출 수단(102)은 상기 입력 이미지의 제 1 픽셀 값들 및 제 2 입력 이미지의 각각의 제 2 픽셀 값들 사이의 픽셀 값 차이들을 계산함으로써 상기 에지를 검출하도록 구성되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속하는, 멀티뷰 이미지 생성 유닛(100).
  3. 제 2 항에 있어서,
    상기 제 1 픽셀 값들은 색상 및 휘도 중 하나를 표현하는, 멀티뷰 이미지 생성 유닛(100).
  4. 제 2 항에 있어서,
    상기 제 1 깊이 값은 상기 픽셀 값 차이들 중 첫번째 것의 함수인, 멀티뷰 이미지 생성 유닛(100).
  5. 제 1 항에 있어서,
    상기 에지 검출 수단(102)은 상기 입력 이미지 및 제 2 입력 이미지에 기초하여 계산되는 모션 벡터 필드에 기초하여 상기 에지를 검출하도록 구성되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속하는, 멀티뷰 이미지 생성 유닛(200).
  6. 제 5 항에 있어서,
    상기 에지 검출 수단(102)은 상기 모션 벡터 필드의 이웃하는 모션 벡터들의 모션 벡터 차이들을 계산함으로써 상기 에지를 검출하도록 구성되는, 멀티뷰 이미지 생성 유닛(200).
  7. 제 6 항에 있어서,
    상기 제 1 깊이 값은 상기 모션 벡터 차이들 중 첫번째 것의 함수인, 멀티뷰 이미지 생성 유닛(200).
  8. 이미지 처리 장치(600)에 있어서:
    입력 이미지에 대응하는 신호를 수신하는 수신 수단(602); 및
    제 1 항에 청구된, 상기 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 멀티뷰 이미지 생성 유닛(604)을 포함하는, 이미지 처리 장치(600).
  9. 제 8 항에 있어서,
    상기 멀티뷰 이미지를 디스플레이하는 멀티뷰 디스플레이 디바이스(606)를 더 포함하는, 이미지 처리 장치(600).
  10. 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 방법에 있어서:
    - 상기 입력 이미지 내의 에지를 검출하는 단계;
    - 깊이 맵을 생성하는 단계로서,
    상기 멀티뷰 이미지의 뷰어와 관련된, 제 1 깊이 값을 갖는 상기 에지에 대응하는 상기 깊이 맵의 요소들의 제 1 그룹,
    상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 2 깊이 값을 갖는, 제 1 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 2 그룹, 및
    상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 3 깊이 값을 갖는, 제 2 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 3 그룹을 생성함으로써, 상기 에지에 기초하여 상기 입력 이미지에 대한 상기 깊이 맵을 생성하고,
    상기 제 1 깊이 값은 상기 제 2 깊이 값보다 작고, 상기 제 1 깊이 값은 상기 제 3 깊이 값보다 작은, 상기 깊이 맵 생성 단계; 및
    - 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 포함하는, 멀티뷰 이미지 생성 방법.
  11. 입력 이미지에 기초하여 멀티뷰 이미지를 생성하기 위한 명령어들을 포함하는, 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체에 있어서:
    상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하고, 상기 컴퓨터 프로그램은 로딩된 후,
    - 상기 입력 이미지 내의 에지를 검출하는 단계;
    - 깊이 맵을 생성하는 단계로서,
    상기 멀티뷰 이미지의 뷰어와 관련된, 제 1 깊이 값을 갖는 상기 에지에 대응하는 상기 깊이 맵의 요소들의 제 1 그룹,
    상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 2 깊이 값을 갖는, 제 1 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 2 그룹, 및
    상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 3 깊이 값을 갖는, 제 2 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 3 그룹을 생성함으로써, 상기 에지에 기초하여 상기 입력 이미지에 대한 상기 깊이 맵을 생성하고,
    상기 제 1 깊이 값은 상기 제 2 깊이 값보다 작고, 상기 제 1 깊이 값은 상기 제 3 깊이 값보다 작은, 상기 깊이 맵 생성 단계; 및
    - 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 수행하기 위한 기능을 상기 처리 수단에 제공하는, 컴퓨터 판독가능 기록 매체.
KR1020067002454A 2003-08-05 2004-07-28 멀티뷰 이미지 생성 KR101038452B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102431 2003-08-05
EP03102431.8 2003-08-05

Publications (2)

Publication Number Publication Date
KR20060119864A KR20060119864A (ko) 2006-11-24
KR101038452B1 true KR101038452B1 (ko) 2011-06-01

Family

ID=34112498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067002454A KR101038452B1 (ko) 2003-08-05 2004-07-28 멀티뷰 이미지 생성

Country Status (6)

Country Link
US (1) US7764827B2 (ko)
EP (1) EP1654884A1 (ko)
JP (1) JP4644669B2 (ko)
KR (1) KR101038452B1 (ko)
CN (1) CN1830217B (ko)
WO (1) WO2005013623A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150062412A (ko) * 2013-11-29 2015-06-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
FI117369B (fi) * 2004-11-26 2006-09-15 Imbera Electronics Oy Menetelmä elektroniikkamoduulin valmistamiseksi
WO2006077506A1 (en) * 2005-01-18 2006-07-27 Koninklijke Philips Electronics N.V. Multi-view display device
KR100913173B1 (ko) 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
KR100898287B1 (ko) 2005-07-05 2009-05-18 삼성모바일디스플레이주식회사 입체 영상 표시 장치
KR100932977B1 (ko) 2005-07-05 2009-12-21 삼성모바일디스플레이주식회사 입체 영상 표시 장치
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US8279221B2 (en) 2005-08-05 2012-10-02 Samsung Display Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
WO2007063478A2 (en) 2005-12-02 2007-06-07 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input
CN101390131B (zh) * 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
US8331711B2 (en) 2006-10-04 2012-12-11 Koninklijke Philips Electronics N.V. Image enhancement
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
DE102007021518B4 (de) * 2007-05-04 2009-01-29 Technische Universität Berlin Verfahren zum Verarbeiten eines Videodatensatzes
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP4886898B2 (ja) * 2007-07-26 2012-02-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ関連情報伝達のための方法及び装置
US20090094173A1 (en) * 2007-10-05 2009-04-09 Adaptive Logic Control, Llc Intelligent Power Unit, and Applications Thereof
BR122012021797A2 (pt) * 2007-10-05 2015-08-04 Thomson Licensing Aparelho para incorporar informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo de múltiplas visualizações (mvc)
EP2061004A1 (en) * 2007-11-14 2009-05-20 Sony Corporation Object boundary accurate motion detection using hierarchical block splitting and motion segmentation
KR101560182B1 (ko) 2008-01-07 2015-10-15 삼성전자주식회사 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
KR101524465B1 (ko) * 2008-01-10 2015-06-02 삼성전자주식회사 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
JP5596669B2 (ja) 2008-04-10 2014-09-24 ジーブイビービー ホールディングス エス．エイ．アール．エル． ライブ作品におけるコンテンツ置換方法及び装置
EP2269378A2 (en) 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information
JP5083052B2 (ja) 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US9179153B2 (en) 2008-08-20 2015-11-03 Thomson Licensing Refined depth map
US9225965B2 (en) * 2008-11-07 2015-12-29 Telecom Italia S.P.A. Method and system for producing multi-view 3D visual contents
KR101506926B1 (ko) 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
JP5607716B2 (ja) 2009-01-07 2014-10-15 トムソン ライセンシング 統合デプス推定
KR20110024524A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 백라이트 유닛, 디스플레이 장치 및 백라이트 유닛 제어 방법
JP4892113B2 (ja) * 2009-09-08 2012-03-07 株式会社東芝 画像処理方法及び装置
KR101807886B1 (ko) 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
KR101281961B1 (ko) * 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
US8345958B2 (en) * 2009-12-31 2013-01-01 Industrial Technology Research Institute Method and system for developing new-view image
TWI387934B (zh) * 2009-12-31 2013-03-01 Ind Tech Res Inst 多視角影像之建構方法及系統
US20110216065A1 (en) * 2009-12-31 2011-09-08 Industrial Technology Research Institute Method and System for Rendering Multi-View Image
CN102687178B (zh) * 2010-08-27 2016-04-20 三星电子株式会社 用于产生多视图的渲染设备和方法
US9305398B2 (en) * 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
JP5549566B2 (ja) * 2010-12-07 2014-07-16 コニカミノルタ株式会社 ステレオ撮影装置
KR101336956B1 (ko) * 2010-12-27 2013-12-04 주식회사 넥시아 디바이스 2차원 영상을 스테레오 영상으로 변환하는 방법
WO2012144162A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 ３次元撮像装置、光透過部、画像処理装置、およびプログラム
CN103765895B (zh) * 2011-06-24 2017-03-08 Lg电子株式会社 使用跳跃模式的编码/解码方法和装置
KR101966920B1 (ko) 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
CN105340274A (zh) 2013-04-05 2016-02-17 三星电子株式会社 深度图编码方法及其设备以及深度图解码方法及其设备
GB2514557A (en) * 2013-05-28 2014-12-03 Snell Ltd Image processing
CN105631848B (zh) * 2014-10-31 2018-11-09 联想(北京)有限公司 一种信息处理方法和电子设备
CA2988360A1 (en) 2015-06-16 2016-12-22 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999030280A1 (en) 1997-12-05 1999-06-17 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JPH10276455A (ja) * 1997-03-28 1998-10-13 Sony Corp 映像表示方法および映像表示装置
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US20040179739A1 (en) * 2001-05-23 2004-09-16 Piotr Wilinski Depth map computation
JP2004534336A (ja) * 2001-07-06 2004-11-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999030280A1 (en) 1997-12-05 1999-06-17 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
KR20010032346A (ko) * 1997-12-05 2001-04-16 로버트 베커 개선된 영상 변환 및 부호화 기술

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150062412A (ko) * 2013-11-29 2015-06-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR102135914B1 (ko) * 2013-11-29 2020-07-20 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Also Published As

Publication number Publication date
CN1830217B (zh) 2010-06-09
CN1830217A (zh) 2006-09-06
WO2005013623A1 (en) 2005-02-10
US7764827B2 (en) 2010-07-27
US20060232666A1 (en) 2006-10-19
JP2007502454A (ja) 2007-02-08
KR20060119864A (ko) 2006-11-24
EP1654884A1 (en) 2006-05-10
JP4644669B2 (ja) 2011-03-02

Similar Documents

Publication Publication Date Title
KR101038452B1 (ko) 멀티뷰 이미지 생성
US8036451B2 (en) Creating a depth map
KR101249236B1 (ko) 깊이 인식
KR101168384B1 (ko) 깊이 맵을 생성하는 방법, 깊이 맵 생성 유닛, 이미지 처리 장치, 및 컴퓨터 프로그램 제품
JP4762994B2 (ja) 視差マップ
JP5406269B2 (ja) 奥行き検知装置及び方法
CA2305735C (en) Improved image conversion and encoding techniques
JP2007520822A (ja) 奥行きマップの生成
WO2006003577A1 (en) Creating a depth map
KR20110093616A (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
AU1647299A (en) Improved image conversion and encoding techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140519

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee