KR101038402B1 - 모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성 - Google Patents

모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성 Download PDF

Info

Publication number
KR101038402B1
KR101038402B1 KR1020097004126A KR20097004126A KR101038402B1 KR 101038402 B1 KR101038402 B1 KR 101038402B1 KR 1020097004126 A KR1020097004126 A KR 1020097004126A KR 20097004126 A KR20097004126 A KR 20097004126A KR 101038402 B1 KR101038402 B1 KR 101038402B1
Authority
KR
South Korea
Prior art keywords
image
depth
depth map
block
video
Prior art date
Application number
KR1020097004126A
Other languages
English (en)
Other versions
KR20090035024A (ko
Inventor
하오훙 왕
시앙-춘 리
사라스 만주나스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090035024A publication Critical patent/KR20090035024A/ko
Application granted granted Critical
Publication of KR101038402B1 publication Critical patent/KR101038402B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

모노스코픽 저-전력 이동 디바이스는 단일 포착된 뷰로부터 실-시간 스테레오 이미지 및 비디오를 생성할 수 있다. 그 디바이스는 오토포커싱 프로세스로부터의 통계를 사용하여, 단일 포착된 뷰의 블록 깊이 맵을 생성한다. 블록 깊이 맵에서의 아티팩트가 감소되고 이미지 깊이 맵이 생성된다. 쌍안 비전의 기하학적 구조의 함수인 디스패리티 맵 및 Z-버퍼 기반 3D 표면 복원 프로세스를 사용하여, 스테레오 3-차원 (3D) 좌측 및 우측 뷰가 이미지 깊이 맵으로부터 생성된다.
Figure R1020097004126
모노스코픽 저-전력 디바이스, 스틸 이미지, 비디오 이미지

Description

모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성{REAL-TIME CAPTURING AND GENERATING STEREO IMAGES AND VIDEOS WITH A MONOSCOPIC LOW POWER MOBILE DEVICE}
발명의 배경
기술분야
일반적으로, 본 발명은, 핸드-헬드 카메라, 캠코더, 단일-센서 카메라 전화기, 또는 실-시간 이미지들 및 비디오들을 생성할 수 있는 다른 단일 카메라 센서 디바이스와 같은 모노스코픽 저-전력 이동 디바이스에 관한 것이다. 또한, 본 발명은, 실-시간 스테레오 이미지, 스틸 이미지 (still image) 포착 디바이스를 생성하는 방법 및 비디오 이미지 포착 디바이스에 관한 것이다.
배경기술
최근, 지각적인 리얼리즘은 다음 세대의 멀티미디어 개발의 변혁을 이끄는 주요한 힘들 중 하나가 되어 가고 있다. 고속으로 발전하는 멀티미디어 통신 및 엔터테이먼트 시장은, 스테레오 이미지 포착, 프로세싱, 압축, 전달, 및 디스플레이를 커버링하는 3D 스테레오스코픽 (stereoscopic) 이미지 및 비디오 기술들을 요청한다. 3DTV 및 MPEG 3 DAV와 같은 장래의 표준들에 관한 몇몇 시도가 그러한 요청들을 충족하도록 런칭 (launch) 되었다.
스테레오 이미지와 모노 이미지 사이의 주요한 차이점은, 스테레오 이미지가 장면에서의 오브젝트에 3차원 및 거리의 느낌을 제공하는 것이다. 선천적으로 인간의 시각은, 상이한 원근 뷰포인트로 좌측 눈 및 우측 눈에 의해 관측되는 쌍안 (binocular) 뷰로 인해 스테레오스코픽이다. 인간의 뇌는 스테레오스코픽 깊이로 이미지를 합성할 수 있다. 일반적으로, 2개의 센서를 갖는 스테레오스코픽 카메라는 스테레오스코픽 이미지 또는 비디오를 생성하기 위해 요구된다. 그러나, 현재 이용되는 대부분의 멀티미디어 디바이스들은 모노스코픽 인프라구조내에서 구현된다.
과거 수년간, 스테레오스코픽 이미지 생성이 활발하게 연구되어 왔다. 일 연구에서, 비디오 시퀀스가 분석되고, 3D 장면 구조가 2D 기하학적 배열 및 모션 활성도 (또한, 모션으로부터의 구조 (SfM) 로 지칭됨) 로부터 추정된다. 이러한 접근법들의 클래스는 레코딩된 2D 비디오 칩들의 3D로의 변환을 가능하게 한다. 그러나, 계산 복잡도가 다소 높으므로, 실-시간 스테레오 이미지 생성에는 가능하지 않다. 한편, SfM이 수학적으로 풀리지 않은 문제 (ill-posed problem) 이므로, 그 결과는 아티팩트 (artifact) 를 포함할 수도 있고, 시각적인 불편함을 초래할 수도 있다. 먼저, 몇몇 다른 접근법들은 특정 애플리케이션에 따른 발견적 법칙 (heuristic rule) 에 기초하여 단일-뷰 스틸-이미지로부터 깊이 정보를 추정하고, 그 후, 그에 따라 스테레오스코픽 뷰를 생성한다.
또 다른 연구에서, 모노스코픽 큐 (cue), 예를 들어, 오브젝트의 망막 사이즈로부터 상대적인 깊이 정보를 추출하는 방법이 제안되며, 그 방법은 보조 깊이 맵 생성에 유용하다. 또 다른 연구에서, 파라메트릭 깊이 맵 생성 방식에 기초 한 안면 피처 (facial feature) 가 2D 머리-및-어깨 이미지들을 3D로 변환시키기 위해 제안된다. 깊이-맵 생성을 위한 또 다른 제안된 방법에서, 이러한 접근법의 몇몇 단계들, 예를 들어, 사전프로세싱에서의 이미지 분류는 평범하지 않고, 구현이 매우 복잡할 수도 있으며, 그 제안된 알고리즘의 실용성을 약화시킨다. 또 다른 방법에서, 모션 검출 및 영역 세그먼트화를 사용하여, 3D로의 2D 이미지 실-시간 변환 알고리즘이 제안된다. 그러나, 오브젝트 세그먼트화 및 오브젝트 깊이 추정의 부정확도로 인해, 아티팩트를 회피할 수 없다. 명확하게, 상술된 모든 방법들은 단지 포착된 모노스코픽 이미지들만을 고려한다. 몇몇 다른 접근법들은 스테레오 뷰를 생성하는 것을 보조하기 위해 보조 소스를 이용한다. 예를 들어, 저비용 보조 모노크롬 또는 저-해상도 카메라가 부가적인 뷰를 포착하기 위해 사용되며, 그 후, 디스패리티 (disparity) 추정 모델을 이용하여 픽셀들의 깊이 맵을 생성한다.
또 다른 예에서, 모노스코픽 고해상도 컬러 카메라는 장면의 명도 및 색도를 포착하기 위해 사용되고, 저해상도 모노크롬 "아웃트리거 (outrigger)" 카메라의 값싼 플랭킹 (flanking) 3-D 스테레오스코픽 쌍은 깊이를 갖는 명도 및 색도를 증대시키기 위해 사용된다. 획득된 3개의 뷰들로부터 생성된 디스패리티 맵은 스테레오스코픽 쌍들을 합성하기 위해 사용된다. 또 다른 예에서, 자동 및 수동 기술의 혼합된 세트는 깊이 맵을 추출하기 위해 사용되며 (종종, 자동 방법은 신뢰할 수 없다), 그 후, 간단한 평활화 필터가 사용되어 결과적인 이미지의 가시적인 아티팩트를 감소시킨다.
용이하게 알 수 있는 바와 같이, 모노스코픽 이동 카메라 전화기 또는 다른 저-전력 모노스코픽 디바이스를 사용함으로써 실-시간 스테레오 이미지들 및 비디오들을 획득하기 위한 저-복잡도 방법에 대한 필요성이 존재한다.
다른 접근법들에서 사용된 보조 장비들 또는 인간-상호작용뿐만 아니라 SfM 또는 깊이 분석을 사용함으로써 유도된 계산 복잡도를 회피하는 방식으로 깊이 맵 정보를 추정하는 모노스코픽 저-전력 이동 디바이스에 대한 필요성이 존재한다.
또한, 스테레오 비디오의 실-시간 포착 및 생성을 위해 깊이 정보를 검출 및 추정하도록 저-복잡도 접근법을 이용하는 모노스코픽 저-전력 이동 디바이스에 대한 필요성이 존재한다.
발명의 요약
전술한 관점에서, 본 발명의 목적은, 스테레오 비디오의 실-시간 포착 및 생성을 위해 깊이 정보를 검출 및 추정하기 위한 저-복잡도 접근법을 이용하는 모노스코픽 저-전력 이동 디바이스를 제공하는 것이다.
본 발명의 또 다른 목적은, 보조 장비들 또는 인간-상호작용뿐만 아니라 SfM 또는 깊이 분석을 사용함으로써 유도된 계산 복잡도를 회피하는 모노스코픽 저-전력 이동 디바이스를 제공하는 것이다.
본 발명의 또 다른 목적은, 저-복잡도 스테레오 이미지 쌍 생성 프로세스를 이용하는 모노스코픽 저-전력 이동 디바이스를 제공하는 것이다.
본 발명의 또 다른 목적은, 우수한 3D 효과로 스테레오 이미지들을 포착 및 생성하는 모노스코픽 저-전력 이동 디바이스를 제공하는 것이다.
본 발명의 또 다른 목적은, 스테레오 이미지 및 비디오 포착 및 생성 양자를 위해 사용될 수 있는 모노스코픽 저-전력 이동 디바이스를 제공하는 것이다.
상기 목적들은, 이미지를 포착하도록 동작가능하며, 포커싱 프로세스를 통해 전체 포커싱 범위에 걸쳐 렌즈를 이동함으로써 최상의 포커스 위치를 결정하고, 그 이미지를 포착할 때 최대 포커스 값을 갖는 포커스 위치를 선택하도록 동작가능한 오토포커싱 서브-모듈을 갖는 단일-센서 카메라 센서 모듈을 포함하는 모노스코픽 저-전력 이동 디바이스에 의해 수행된다. 그 디바이스는, 제 1 스테이지에서 오토포커싱 서브-모듈로부터의 통계를 사용하여 블록-레벨 깊이 맵을 자동적으로 전개하고, 제 2 스테이지에서 이미지 깊이 맵을 전개하도록 동작가능한 깊이 맵 생성기 어셈블리를 포함한다. 또한, 그 디바이스는, 포착된 이미지로부터 미싱 (missing) 제 2 뷰를 생성하여 3D 스테레오 좌측 및 우측 뷰를 생성하도록 동작가능한 이미지 쌍 생성기 모듈을 포함한다.
모노스코픽 저-전력 이동 디바이스는 깊이 맵 정보를 추정하기 위해 모노스코픽 카메라 센서의 오토포커스 기능을 사용하며, 이는, 다른 접근법에서 사용된 보조 장비들 또는 인간-상호작용뿐만 아니라 다른 제안된 시스템의 SfM 또는 깊이 분석을 사용함으로써 유도된 계산 복잡도를 회피한다.
스테레오 비디오 생성을 위해 깊이 맵 검출의 정확도를 개선시키는 부가적이지만 옵션적인 모션 추정 모듈을 갖는 모노스코픽 저-전력 이동 디바이스가, 스테레오 이미지 및 비디오 포착 및 생성 양자를 위해 사용될 수 있다.
모노스코픽 저-전력 이동 디바이스는, 스테레오 이미지들을 생성하기 위해 깊이 정보를 검출 및 추정하도록 오토포커스 프로세스로부터의 통계를 사용한다. 오토포커스 프로세스의 사용은 2-스테이지 깊이 맵 추정 설계로 인해 저-전력 디바이스에 적합하다. 즉, 제 1 스테이지에서, 블록-레벨 깊이 맵이 오토포커스 프로세스를 사용하여 검출된다. 근사화된 이미지 깊이 맵은 제 2 스테이지에서 쌍선형 (bilinear) 필터링을 사용함으로써 생성된다.
또한, 모노스코픽 저-전력 이동 디바이스는, 스테레오 비디오의 실-시간 포착 및 생성을 위해 깊이 정보를 검출 및 추정하도록 저-복잡도 접근법을 이용한다. 그 접근법은, 모션 추정치로부터의 통계, 오토포커스 프로세싱, 및 히스토리 데이터 플러스 몇몇 발견적 법칙을 사용하여, 깊이 맵을 추정한다.
모노스코픽 저-전력 이동 디바이스는, Z-버퍼 기반 3D 표면 복원을 사용함으로써 저-복잡도 스테레오 이미지 쌍 생성 프로세스를 이용한다.
본 발명의 또 다른 양태로서, 모노스코픽 저-전력 이동 디바이스로 실-시간 스테레오 이미지를 생성하는 방법은, 이미지를 포착하는 단계, 렌즈를 오토포커싱하고, 전체 포커싱 범위에 걸쳐 렌즈를 이동함으로써 최상의 포커스 위치를 결정하며, 그 이미지를 포착할 때 최대 포커스 값을 갖는 그 포커스 위치를 선택하는 단계; 제 1 스테이지에서 그 오토포커싱 단계로부터의 통계를 사용하여 블록-레벨 깊이 맵을 자동적으로 생성하고, 제 2 스테이지에서 이미지 깊이 맵을 생성하는 단계; 및 3D 스테레오 좌측 및 우측 뷰를 생성하기 위해 그 포착된 이미지로부터 미싱 제 2 뷰를 생성하는 단계를 포함한다.
본 발명의 또 다른 양태로서, 스틸 이미지들을 프로세싱하는 방법은, 포착된 스틸 이미지를 오토포커싱 프로세싱하고, 블록-레벨 깊이 맵을 검출하기 위해 그 이미지에서 원격 오브젝트들의 깊이 정보를 추정하는 단계; 및 그 블록-레벨 깊이 맵으로부터 이미지 깊이 맵을 근사화하는 단계를 포함한다.
오토포커싱 프로세싱은, 코오스-투-파인 (coarse-to-fine) 깊이 검출 프로세스를 사용하여 이미지를 프로세싱하는 단계를 포함한다. 또한, 근사화 단계는 근사화된 이미지 깊이 맵을 유도하기 위해 블록-레벨 깊이 맵을 쌍선형 필터링하는 단계를 포함한다.
또 다른 양태에서, 본 발명은, 프로세서에 의한 실행시에, 블록-레벨 깊이 맵의 코너 (corner) 포인트들 (A, B, C 및 D) 을 포함하는 각각의 포커스 블록의 깊이값을 결정하고, 다음의 수학식
Figure 112009012161723-pct00001
에 따라 그 블록내에서 모든 픽셀들의 깊이값 (dp) 을 결정하기 위해 이미지를 쌍선형 필터링하도록 동작가능한 프로그램 명령어들을 갖는 프로그램 코드에 관한 것이 며, 여기서, 그 블록의 코너 포인트들 (A, B, C 및 D) 에 대한 위치값들 및 깊이값들은 (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD) 로서 나타내고, 각각의 픽셀은 포인트 P (xP, yP, dP) 로 나타낸다.
본 발명의 또 다른 양태에서, 스틸 이미지 포착 디바이스는, 포착된 스틸 이미지를 프로세싱하고 블록-레벨 깊이 맵을 검출하기 위해 그 이미지에서의 원격 오브젝트들의 깊이 정보를 추정하도록 동작가능한 오토포커싱 모듈; 쌍선형 필터링을 사용하여 블록-레벨 깊이 맵으로부터 이미지 깊이 맵을 근사화하도록 동작가능한 이미지 깊이 맵 모듈; 및 3-차원 (3-D) 스테레오 좌측 및 우측 뷰를 생성하기 위해 그 포착된 이미지로부터 미싱 제 2 뷰를 생성하도록 동작가능한 이미지 쌍 생성기 모듈을 포함한다.
본 발명의 또 다른 양태에서, 비디오 이미지 포착 디바이스는, 포착된 비디오 클립을 프로세싱하고 장면에서의 원격 오브젝트들의 깊이 정보를 추정하도록 동작가능한 오토포커싱 모듈; 및 그 포착된 비디오 클립을 코딩하고, 통계 정보를 제공하며, 모션 추정을 결정하도록 동작가능한 비디오 코딩 모듈을 포함한다. 깊이 맵 생성기 어셈블리는, 모션 추정으로부터의 통계 정보, 오토포커싱 모듈의 프로세스, 및 히스토리 데이터 플러스 발견적 법칙들을 사용하여, 스테레오 비디오의 실-시간 포착 및 생성을 위한 깊이 정보를 검출 및 추정하여, 이미지 깊이 맵이 유도되는 최종 블록 깊이 맵을 획득하도록 동작가능하다.
도면의 간단한 설명
전술한 요약뿐만 아니라 본 발명의 바람직한 실시형태의 다음의 상세한 설명은, 첨부한 도면과 함께 판독될 때 더 용이하게 이해될 것이다. 본 발명을 예시하기 위해, 현재 바람직한 실시형태가 도면에 도시되어 있다. 그러나, 본 발명이 도시된 프로세스들의 정확한 배열로 제한되지 않음을 이해해야 한다.
도 1은 모노스코픽 저-전력 이동 디바이스의 일반적인 블록도를 도시한다.
도 2는 실-시간 스테레오 이미지 및 비디오 데이터 양자의 포착, 프로세싱, 및 디스플레이를 위한 동작의 일반적인 블록도를 도시한다.
도 3은 3D 스틸 이미지를 실-시간 포착 및 생성하는 동작의 일반적인 블록도를 도시한다.
도 4는 포커스 포인트로부터의 렌즈 위치와 오브젝트 거리 사이의 관계의 도면을 도시한다.
도 5a는 글로벌 탐색 알고리즘을 사용하여 FV와 렌즈 위치 사이의 관계의 그래프를 도시한다.
도 5b는 코오스-투-파인 탐색 알고리즘에 대한 FV와 렌즈 위치 사이의 관계의 그래프를 도시한다.
도 6a는 본래의 이미지를 도시한다.
도 6b는 도 6a의 이미지의 이미지 깊이 맵을 도시한다.
도 6c는 도 6a의 이미지의 블록 깊이 맵을 도시한다.
도 6d는, 도 6c의 블록 깊이 맵을 사용하는 합성된 3D 애너그리프 (anaglyph) 뷰를 도시한다.
도 6e는 도 6b의 이미지의 필터링된 깊이 맵을 도시한다.
도 7a는 이웃 블록을 갖는 중간 포인트의 다이어그램을 도시한다.
도 7b는 코너 포인트를 갖는 블록의 다이어그램을 도시한다.
도 8은 깊이 맵 생성 프로세스에 대한 흐름도를 도시한다.
도 9a 및 도 9b는 제 1 프레임의 이미지 및 대응하는 BDM을 도시한다.
도 9c 및 도 9d는 비디오의 30번째 프레임 및 그의 대응하는 BDM을 도시한다.
도 9e 및 도 9f는 비디오의 60번째 프레임 및 그의 대응하는 BDM을 도시한다.
도 10a, 도 10b 및 도 10c는, 도 9b, 도 9d 및 도 9f에 도시된 BDM들로부터 생성된 이미지 깊이 맵 (IDM) 을 도시한다.
도 11은 이미지 쌍 생성 프로세스를 도시한다.
도 12a는 쌍안 비전의 좌측 뷰 및 우측 뷰를 도시한다.
도 12b는 디스패리티 맵을 계산하기 위한 파라미터들에 대한 쌍안 비전의 기하학적 모델을 도시한다.
도 13a는 도 6e에 도시되어 있는 근사화된 이미지 깊이 맵을 사용함으로써 생성된 애너그리프 이미지를 도시한다.
도 13b는 도 6b에 도시된 정확한 이미지 깊이 맵을 사용함으로써 생성된 애너그리프 이미지를 도시한다.
도 14a는 도 9a의 결과적인 애너그리프 비디오 프레임의 일 예를 도시한다.
도 14b는 도 9c의 결과적인 애너그리프 비디오 프레임의 일 예를 도시한다.
도 14c는 도 9e의 결과적인 애너그리프 비디오 프레임의 일 예를 도시한다.
도 15a 및 도 15b는 Z-버퍼 기반 3D 보간 프로세스의 흐름도를 도시한다.
바람직한 실시형태의 상세한 설명
본 발명이 많은 상이한 형태로 실시형태들을 허용하지만, 이러한 설명 및 첨부한 도면은 본 발명의 실시의 예로서 몇몇 형태만을 개시한다. 본 발명은 설명된 실시형태들로 제한하려는 것이 아니며, 본 발명의 범위는 첨부된 청구항에서 나타낼 것이다.
본 발명에 따라 스테레오 이미지 및 비디오를 포착 및 생성하는 디바이스의 바람직한 실시형태가 핸드-헬드 카메라, 캠코더, 또는 단일-센서 카메라 전화기와 같은 모노스코픽 저-전력 이동 디바이스에 대한 특정 애플리케이션에 대해 후술된다. 그러나, 당업자는, 본 발명이 또한 단일-센서 카메라 모듈을 갖는 다른 타입의 디바이스에 매우 적합하다는 것을 인식할 것이다. 다음으로, 유사한 참조부호가 명세서 전반에 걸쳐 유사한 엘리먼트들을 나타내는데 사용되는 도면을 상세히 참조하면, 도면 부호 (10) 로 일반적으로 지정된 본 발명에 따른 모노스코픽 저-전력 이동 디바이스가 도 1에 도시되어 있다.
일반적으로, 모노스코픽 저-전력 이동 디바이스 (10) 는, 여기에 설명된 디바이스 (10) 의 동작을 제어하기 위한 프로세서 (56), 렌즈 (12), 및 단일-센서 카메라 유닛, 핸드-헬드 디지털 카메라 또는 캠코더와 같은 카메라 센서 모듈 (14) 을 포함한다. 프로세서 (56) 는, 여기에 설명된 동작들을 수행하기 위해 메모 리 (60) 에 저장된 프로그램 명령어들 또는 프로그래밍 코드를 실행한다. 저장부 (62) 는, 카메라, 캠코더, 또는 단일-센서 유닛의 파일 시스템이며, 애플리케이션에 의존하여 플래시, 디스크, 또는 테이프를 포함할 수도 있다.
카메라 센서 모듈 (14) 은, 스틸 이미지 모드 (18) 로 스틸 이미지들을 포착할 수 있고, 비디오 클립을 생성하기 위해 비디오 모드 (20) 로 레코딩 주기에 걸쳐 비디오들을 포착할 수 있는 이미지 포착 서브-모듈 (16) 을 포함한다. 또한, 카메라 센서 모듈 (14) 은 동작의 듀얼 모드들, 즉, 스틸 이미지 모드 (24) 및 비디오 모드 (26) 를 갖는 오토포커싱 서브-모듈 (22) 을 포함한다.
또한, 모노스코픽 저-전력 이동 디바이스 (10) 는, 동작의 듀얼 모드, 즉, 스틸 이미지 모드 (30) 및 비디오 모드 (32) 를 또한 갖는 깊이 맵 검출기 모듈 (28) 을 포함한다. 예시적인 실시형태에서, 깊이 맵 생성기 어셈블리 (34) 는 동작의 듀얼 모드를 갖는 2-스테이지 깊이 맵 추정 프로세스를 이용한다. 도 2 및 도 3에서 매우 양호하게 관측되는 바와 같이, 2-스테이지 깊이 맵 추정 프로세스의 제 1 스테이지 (스테이지 1) 는, 오토포커싱 서브-모듈 (22) 에 의해 수행되는 스틸 모드 (24) 의 오토포커싱 프로세싱 (124) 또는 비디오 모드 (26) 의 오토포커싱 프로세싱 (126) 으로부터의 통계를 사용하여 블록-레벨 깊이 맵을 자동적으로 전개한다. 제 2 스테이지에서, 깊이 맵 검출기 모듈 (28) 에 의해 수행되는 스틸 모드 (30) 의 깊이 검출 프로세스 (130) 또는 비디오 모드 (32) 의 깊이 검출 프로세스 (132) 에 의해 이미지 깊이 맵이 생성된다. 도 2에서, fi는 i번째 프 레임을 나타내고, fi-1은 i-1번째 프레임을 나타내고, di는 i번째 프레임의 블록 깊이 맵 (BDM) 을 나타내며, di'는 i번째 프레임의 이미지 깊이 맵 (IDM) 을 나타낸다.
모노스코픽 저-전력 이동 디바이스 (10) 는 단일-센서 카메라 센서 모듈 (14) 을 갖는다. 따라서, 단지 하나의 이미지만이 포착되며, 그러한 이미지는 스테레오 이미징 및 디스플레이를 위한 좌측 (L) 뷰를 나타내는데 사용된다. 스테레오 뷰 생성기 서브-모듈 (48) 에서 좌측 뷰 (본래의 포착된 이미지) 및 이미지 깊이 맵으로부터 제 2 또는 미싱 우측 (R) 뷰를 생성하도록 이미지 쌍 생성기 모듈 (42) 이 디바이스 (10) 에 포함된다. 또한, 이미지 쌍 생성기 모듈 (42) 은, 디스패리티 맵 서브-모듈 (44) 및 Z-버퍼 3D 표면 복원 서브-모듈 (46) 을 포함한다.
예시적인 실시형태에서, 3D 효과 생성기 모듈 (52) 을 사용하여 디스플레이 (58) 상에서 3D 효과가 디스플레이된다. 예시적인 실시형태에서, 3D 효과 생성기 모듈 (52) 은 결과적인 3D 효과를 시연하기 위한 값싼 레드-블루 애너그리프이다. 생성된 스테레오 뷰들은, 홀로그래픽 및 스테레오스코픽 디바이스들과 같은 다른 메커니즘에 의해 용이하게 디스플레이된다.
옵션적으로, 모노스코픽 저-전력 이동 디바이스 (10) 는 비디오를 코딩할 시에 사용하기 위한 비디오 코딩 모듈 (54) 을 포함한다. 비디오 코딩 모듈 (54) 은, 깊이 맵 검출기 모듈 (28) 에 의한 비디오 모드 (32) 의 깊이 검출 프로세스 (132) 에서의 사용을 위한 모션 (추정) 정보 (36) 를 제공한다.
또한, 도 3을 참조하면, 동작에서, 카메라 센서 모듈 (14) 은 이미지 포착 서브-모듈 (16) 에서 하나 이상의 스틸 이미지들을 스틸 이미지 모드 (18) 로 포착한다. 스틸 이미지 모드 (18) 는 포착 프로세스 (118) 를 수행한다. 포착 프로세스 (118) 는 오토포커싱 프로세싱 (124) 에 선행한다. 일반적으로, 스틸 이미지 모드 (24) 의 오토포커싱 프로세싱 (124) 은, 장면에서 원격 오브젝트들의 깊이 정보를 추정하기 위해 이용된다. 계산 복잡도를 감소시키기 위해, 스테이지 1에서의 블록 깊이 검출은 스틸 이미지 모드 (24) 의 전역 (exhaustive) 포커싱 탐색 (125) 에서 코오스-투-파인 깊이 검출 알고리즘을 이용한다. 코오스-투-파인 깊이 검출 알고리즘은, 스틸 이미지 모드 (18) 로 포착 프로세스 (118) 에 의해 포착된 이미지를, 이전 스테이지 (스테이지 1) 에서 관련 깊이 맵을 검출하는 다수의 블록들로 분할한다. 스테이지 2에서, 스틸 이미지 모드 (30) 의 깊이 검출 프로세스 (130) 는 쌍선형 필터 (131B) 를 이용하여, 스테이지 1의 블록 깊이 맵으로부터 근사화된 이미지 깊이 맵을 유도한다.
스틸 이미지 모드 (24) 의 오토포커싱 서브-모듈 (22) 은 스틸-이미지 포착에 사용되는 전역 탐색 포커싱 (125) 을 이용한다. 비디오 이미지 모드 (26) 로의 비디오 클립들의 실-시간 포착을 달성하기 위해, 스틸-이미지 포착에 사용되는 전역 탐색 포커싱 (125) 은 클라임-힐 (climb-hill) 포커싱 (127) 으로 대체되며, 비디오 서브-모듈 (32) 의 깊이 검출 프로세스 (132) 는, 비디오 코딩 모듈 (54) 로부터의 모션 정보 (36), 오토포커싱 프로세스 (126) 으로부터의 포커스 값 (38B), 및 도 2에 도시된 프레임 히스토리 통계 (40) 에 기초하여, 블록 깊이 맵 (34) 을 검출한다.
자동 깊이 맵 검출
또한 도 3을 참조하면, 모노스코픽 저-전력 이동 디바이스 (10) 는, 자동 블록 깊이 맵 검출을 위해 오토포커싱 서브-모듈 (22) 의 오토포커싱 프로세스 (124) 를 이용한다. 동작의 스틸-이미지 모드 (18) 및 비디오 모드 (20) 에서의 이미지 포착에 있어서, 이러한 시나리오 (동작의 모드들) 에서 이용되는 상이한 포커스 길이 탐색 알고리즘들로 인해 상이한 접근법들이 필요하다.
디지털 카메라에서, 대부분의 포커싱 어셈블리는 이미저 (imager) 평면상에서 이미지 콘트라스트 (contrast) 를 평가함으로써 최상의 포커스 위치를 선택한다. 포커스 값 (FV; 38B) 은 특정한 관심 영역에 걸쳐 포커스 메트릭을 통해 측정된 스코어이며, 일반적으로, 오토포커싱 프로세스 (126) 는 렌즈 (12) 의 최상의 포커스 위치로서 최고의 포커스 값에 대응하는 위치를 선택한다. 몇몇 카메라에서, 이미지의 고주파수 콘텐츠는 포커스 값 (FV; 38B) 으로서 사용되며, 예를 들어,
Figure 112009012161723-pct00002
와 같은 고대역 통과 필터 (HPF) 는 포커스 값 (FV; 38B) 을 결정하기 위해 고주파수 컴포넌트들을 포착하는데 사용될 수 있다. 또한, 포커스 값 (FV) 은 비디오 모드에서 후술될 바와 같은 FV 맵이다.
(도 4에 도시된 바와 같이) 포커스 포인트 (FV; 38B) 로부터의 렌즈 (12) 의 렌즈 위치와 카메라 또는 카메라를 갖는 디바이스 (10) 로부터의 타겟 거리 사이의 관계가 존재하며, 그 관계는 특정 카메라 센서 모듈 (14) 에 대해 고정된다. 다양한 카메라 센서들이 그러한 관계의 상이한 통계를 가질 수도 있다. 따라서, 일단 오토포커싱 서브-모듈 (22) 의 오토포커싱 프로세스 (124) 가 카메라 센서 모듈의 특성의 정보에 기초하여 렌즈 (12) 의 최상의 포커스 위치를 위치결정하면, 타겟 오브젝트와 카메라 또는 디바이스 (10) 사이에 실제 거리가 추정되며, 이는 또한 장면에서의 오브젝트의 깊이이다. 따라서, 깊이 맵 검출 프로세스는 센서-의존 오토포커싱 프로세스 (124 또는 126) 에 의존한다.
스틸-이미지 포착 모드 (18) 에서, 대부분의 디지털 카메라 센서 모듈 (14) 은 오토포커싱 프로세스 (124) 를 위해 전역 탐색 알고리즘 (125) 을 선택하며, 그 알고리즘은, 그 모듈의 렌즈 (12) 를 전체 포커싱 범위에 걸쳐 이동하고 최대 포커스 값을 갖는 포커스 위치를 선택함으로써, 최상의 포커스 위치를 결정한다.
전역 탐색 알고리즘 (125) 의 통상적인 예는, 균등하게-이격된 화살표 머리의 행에 의해 표시된 최소의 모터 스텝으로 전체 포커스 범위를 스캐닝하는, 도 5a에 관해 설명된 글로벌 탐색이다. 한편, 도 5b는, 먼저 화살표 머리의 행에 의해 표시된 더 큰 스텝을 사용하여 전체 포커스 범위를 탐색하고, 그 후, 인접한 화살표 머리들 사이에 더 작은 거리를 갖는 화살표 머리들로 표시된 더 작은 스텝을 사용하여 피크 위치 주변을 탐색하는 코오스-투-파인 탐색을 도시한다.
명확하게, 스틸-이미지에 대해 생성된 깊이 맵의 정확도는, 그 이미지에 대해 선택된 스폿 (spot) 포커스 윈도우들의 사이즈에 전적으로 의존한다. 일반적으로, 스틸-이미지 모드 (24) 에 대한 오토포커싱 프로세스 (124) 에서, 이미지는, 또한 스폿 포커스 윈도우로 지칭되는 N×N 서브 블록들로 스플릿트되며, 포커스 값 (38B) 은 오토포커싱 프로세스 (124) 동안 각각의 포커스 윈도우에 대해 계산된다.
전역 탐색 (125) 이후, 렌즈 (12) 의 최상의 포커스 위치가 각각의 포커스 윈도우에 대해 획득되며, 따라서, 각각의 윈도우에 대응하는 오브젝트의 깊이가 추정될 수 있다. 명확하게, 최소의 포커스 윈도우 사이즈, 깊이 맵의 더 양호한 정확도, 및 더 높은 계산 복잡도가 달성된다.
모노스코픽 저-전력 이동 디바이스 (10) 에서, 깊이 맵의 2개의 타입, 즉, 이미지 깊이 맵 (IDM) 및 블록 깊이 맵 (BDM) 이 깊이 맵 생성기 어셈블리 (34) 에서 정의된다. 이미지 깊이 맵에 있어서 모든 픽셀의 픽셀 깊이 값은 깊이 검출 프로세스 (130) 에 의해 저장되며, 블록 깊이 맵에 있어서 각각의 포커스 윈도우의 깊이값이 저장된다. 도 6b에서, 도 6a에 도시된 스틸-이미지 (70) 에 대응하는 이미지 깊이 맵 (75) 은 포커스 윈도우 사이즈를 1×1 로서 설정함으로써 획득되며, 따라서, 이미지 깊이 맵 (75) 은 픽셀-레벨 정확도로 존재하고, 여기서, 더 높은 강도를 갖는 픽셀들은 뷰포인트에 더 근접한 오브젝트들에 대응한다. 그러나, 일반적으로 이러한 설정은, 오토 포커싱에 대한 과도한 계산 복잡도로 인해 대부분의 애플리케이션에 가능하지 않다. 블록 깊이 맵 (77) 의 일 예가 도 6c에 도시되어 있으며, 여기서, N은 11로 설정되고, 이는 일반적인 계산 능력을 갖는 카메라들에 대해 더 실용적인 설정이다.
일반적으로, 오토포커싱 프로세스 (124) 에 의해 스테이지 1에서 생성된 블록 깊이 맵 (77) 은 이미지 깊이 맵 (80) (도 6e) 을 획득하기 위해 추가적으로 프로세싱될 필요가 있으며, 그렇지 않으면, 몇몇 아티팩트가 나타날 수도 있다. 도 6c에 도시된 블록 깊이 맵 (77) 을 사용하는 합성된 3D 애너그리프 뷰 (79) 의 일 예가 도 6d에 도시되어 있으며, 여기서, 에지들에서의 이웃 포커스 윈도우들 사이의 샤프한 깊이 갭이 이미지에서 실제 오브젝트 형상 경계들에 대응하지 않는다는 사실로 인해 아티팩트들이 나타난다. 그 아티팩트들은, 쌍선형 필터 (131B) 에 의한 프로세싱에 선행하는 아티팩트 감소 프로세스 (131A) 에 의해 감소될 수 있다. 필터링된 이미지 깊이 맵 (80) 이 도 6e에 도시되어 있다.
도 7a 및 도 7b에 최상으로 도시된 바와 같이, 아티팩트 감소 프로세스 (131A) 는 2개의 단계들로 구성된다. 제 1 단계에서, 도 6c의 각각의 블록의 코너 포인트들 (A, B, C 및 D) 의 깊이값이 오토포커싱 프로세스 (124) 동안 발견되고, 그 깊이값은 도 7a에 도시된 바와 같은 그의 이웃한 블록들의 평균값일 것이며, 여기서, 중간 포인트의 깊이 d는,
Figure 112009012161723-pct00003
와 같은 수학식 (1) 에 의해 정의되고, 여기서, d1, d2, d3 및 d4는 이웃한 블록들 의 깊이값이다.
오토포커싱 프로세스 (124) 에 의해 생성된 블록 깊이 맵은 저장된 각각의 포커스 윈도우/블록의 깊이값을 포함한다. 도 3에서, 하드웨어 블록인 메모리 (60) 및/또는 (도 2에 도시된) 저장부 (62) 는, 도시된 프로세스에서 도시되지 않는다.
모든 코너 포인트들 (A, B, C 및 D) 의 깊이값이 획득된 이후, 도 7b에 최상으로 도시된 바와 같은 제 2 단계에서, 쌍선형 필터링은 블록들 내부의 픽셀들의 깊이값을 획득한다. 도 7b에 도시된 일 예로서, 블록의 코너 포인트들 (A, B, C 및 D) 에 대한 위치 및 깊이값들은 (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD) 로서 표시되며, 따라서, 블록내의 모든 픽셀들의 깊이값이 계산될 수 있다. 예를 들어, 포인트 P (xP, yP, dP) 에 의해 표시된 픽셀에 있어서, 픽셀 깊이값 dp는,
Figure 112009012161723-pct00004
와 같은 수학식 (2) 에 의해 획득될 수 있다.
다음으로, 도 2를 참조하면, 비디오에 있어서, 최상의 포커스를 결정할 시에 야기되는 과도한 딜레이로 인해 전역 탐색 알고리즘 (125) 이 가능하지 않다. 힐 클라이밍 (hill climbing) 포커싱 (127) 은, 그의 더 신속한 탐색 스피드 때문에 더 일반적이다. 그것은, 힐을 클라이밍하는 것처럼 최상의 포커스 위치를 탐색한다. 카메라 센서 모듈 (14) 이 이미지 포착 서브-모듈 (16) 에서 비디오 모드 (20) 로 비디오를 레코딩하는 것을 시작할 경우, 전역 탐색 알고리즘 (125) 이 초기 위치로서 최상의 포커스 위치를 발견하기 위해 사용되며, 초기 렌즈 위치가 위치결정된 이후, 카메라 센서 모듈 (14) 은, 포커스 렌즈 (12) 가 이동해야 할 방향 및 힐의 상부에 도달하기 위해 얼마나 많이 이동해야 하는지를 실-시간으로 결정할 필요가 있다. 명확하게, 오토포커싱 프로세스 (126) 의 비디오 모드 (26) 동안, 비디오들에 대해 정확한 깊이 맵을 획득하는 것은, 스틸-이미지에 대한 것보다 훨씬 더 난해하다. 이론적으로 한정되는 것을 원하진 않지만, 그 이유 는 힐 클라이밍 포커싱만이, 다른 블록들에 대한 깊이 정확도를 보장하지는 않지만, 포커스에서 영역에 대한 정확한 깊이를 획득하기 때문이다. 또한, 모든 블록들에 대한 깊이의 정확도를 보장하는 전역 탐색 알고리즘 (125) 은 단지 레코딩의 시작점에서만 호출되므로, 이미지 포착 서브-모듈 (16) 에서 비디오 모드 (20) 의 레코딩 주기 동안 모든 블록들에 대한 깊이를 정정하는 것은 불가능하다.
다음으로, 도 8을 참조하면, 깊이 맵 검출기 모듈 (28) 에 의한 비디오 모드 (32) 에서의 사용에 대한 깊이 맵 검출 프로세스 (132) 의 흐름도가 도시된다. 현재의 프레임 인덱스는 n에 의해 표시되고, {Dn(i, j)} 및 {Fn(i, j)} (i＝1,2,...N, j＝1,2,...N) 은 그 현재 프레임의 최종 결정된 블록 깊이 맵 (BDM) 및 포커스 값 (FV) 맵 (38A) 이고, {Mn(i, j)} 및 {Vn(i, j)} 은 오토포커싱 프로세스 (126) 에 의해 획득된 내부 BDM 및 FV 맵이며, {Pn(i, j)} 및 {Tn(i, j)} 은 모션 예측에 의해 획득된 내부 BDM 및 FV 맵이다.
비디오 모드 (32) 의 깊이 검출 프로세스 (132) 동안, 먼저, 단계 S134에서 현재 프레임 n의 포커스 위치rk 힐 클라이밍 포커싱 (127) 에 의해 결정되며, 대응하는 블록 깊이 맵 {Mn(i, j)} 및 FV 맵 (38B) {Vn(i, j)} 가 획득된다. 단계 S134에는, 모션 정보 (MV; 36) 가 비디오 코딩 모듈 (54) 에 의해 수행된 비디오 코딩 프로세스 (154) 로부터 이용가능한지의 여부에 대한 판정이 행해지는 단계 S136가 후속한다. 그 판정이 "예" 라면, 단계 S138에서 모션 정보 (MV; 36) 가 분석되고 글로벌 모션 벡터 (GMV) 가 획득된다. 단계 S138에는, 글로벌 모션 (즉, GMV) 이 임계값보다 큰지의 여부에 대한 판정이 행해지는 단계 S139가 후속한다. 그 판정이 "예" 라면, 렌즈 (12) 는 다른 장면들로 이동하며, 그 후, 정확한 장면 깊이 히스토리를 보유하고 오브젝트 이동 방향을 추정하는 태스크들은 상이한 프로세스를 이용한다.
단계 S139에서의 판정이 "예" 라면, Dn(i, j)＝Mn(i, j) 및 Fn(i, j)＝Vn(i, j) 로 설정하며, 단계 S144에서, BDM 및 FV 맵의 업데이트 프로세스 동안 이전의 프레임들의 저장된 BDM 및 FV 맵 히스토리를 클린업 (clean up) 한다.
단계 S136으로 다시 복귀하여, 몇몇 시스템에서, 모션 정보 (36) 는 모든 종류의 원인들, 예를 들어, 비디오가 코딩되지 않거나 코딩 알고리즘의 모션 추정 모듈이 턴 오프 (turn off) 된다는 원인으로 인해 이용가능하지 않다. 따라서, 단계 S136에서의 판정은 "아니오" 이며, 단계 S136에는 후술될 단계 S144가 후속한다. 단계 S136에서의 판정이 "아니오" 일 경우, 프로세스는 모션 벡터들이 모든 블록들에 대해 0이라고 가정한다.
모션 정보 (36) 가 이용가능하면, 단계 139에는,
Figure 112009012161723-pct00005
Figure 112009012161723-pct00006
와 같은 수학식 (3) 및 수학식 (4) 에 의해, 프로세스 (132) 가 이전 프레임의 BDM 및 FV 맵으로부터 현재 프레임 Pn(i, j) 및 Tn(i, j) 의 BDM 및 FV 맵을 예측하는 단계 142가 후속하며, 여기서, (n-1) 번째 프레임의 블록 (a, b) 은 n번째 프레임의 블록 (i, j) 의 예측이고, FV_TH는 FV 차이에 대한 임계값이다.
단계 S142에는, 양호한 포커스가 더 정확한 깊이 추정치를 전달한다고 디바이스 (10) 가 가정하는 단계 S144가 후속한다. 따라서, 포커스 렌즈 위치는 최대 FV에 대응하며, 최상의 선택으로서 처리된다. 그러한 논리에 기초하여, 최종 BDM 및 FV 맵은,
Figure 112009012161723-pct00007
Figure 112009012161723-pct00008
와 같은 수학식 (5) 및 수학식 (6) 에 의해 결정되며, 여기서, {Dn(i, j)} 및 {Fn(i, j)} (i＝1,2,...N, j＝1,2,...,N) 은 현재 프레임의 최종 결정된 블록 깊이 맵 (BDM) 및 포커스 값 (FV) 맵 (38A) 이고; {Mn(i, j)} 및 {Vn(i, j)} 는 오토포커싱 프로세스 (126) 에 의해 획득된 내부 BDM 및 FV 맵이며; {Pn(i, j)} 및 {Tn(i, j)} 은 모션 예측에 의해 획득된 내부 BDM 및 FV 맵이다.
예상된 바와 같이, 수학식 (5) 및 수학식 (6) 은 모든 경우들에 대해 정확하지는 않다. 수학식 (5) 및 수학식 (6) 은, 폐색 (occlusion)/노출이 발생하는 경우와 같이 몇몇 난해한 시나리오들에 대해 실패할 것이다. 일반적으로, 비디오 프레임들이 초당 15 내지 30 프레임의 스피드로 포착된다고 가정하는 것이 합당하며, 그 프레임들에서의 오브젝트는 합당한 스피드로 이동하고 있으므로, 오브젝트는 이웃 프레임에서 너무 많이 이격하여 이동하진 않을 것이다.
발견적 법칙들은, 상술된 수학식 (3) 내지 수학식 (6) 에 대한 가정 및 논리, 및 도 8에 도시된 흐름도에서의 가정 및 논리를 참조한다. 이들 법칙들은 프로그램에서 실제로 코딩되며, 히스토리 데이터는 깊이 맵을 추정하기 위해 메모리 (60) 에 저장된다.
BDM이 획득된 이후, 스틸 이미지 모드에 대한 깊이 검출 프로세스 (130) 에 관해 설명된 동일한 접근법에 기초하여, 단계 S144의 BDM 결과들로부터 이미지 깊이 맵 (IDM) 이 단계 S146에서 계산된다. 따라서, 단계 S144의 BDM은 아티팩트 감소 (131A) 및 쌍선형 필터 (131B) 에 의한 쌍선형 필터링 (도 3) 에 영향을 받는다.
단계 S139로 복귀하여, 판정이 "아니오" 라면, 단계 S139에는, 히스토리가 롤오버 (roll over) 되는 단계 S140가 후속한다. 단계 S140에서, 롤오버 히스토리는 다음의 액션들을 참조하고, 즉, 카메라 렌즈가 다른 장면들로 이동하고 있다는 것을 의미하는, 글로벌 모션 (즉, GMV가 임계값보다 큼) 이 검출되면, 정확한 장면 히스토리를 보유하고 오브젝트 이동 방향을 추정하는 태스크가 난해하게 된다. 이러한 경우에 있어서, Dn(i, j)＝Mn(i, j) 및 Fn(i, j)＝Vn(i, j) 로 설정하고, 이전 프레임들의 저장된 BDM 및 FV 맵 히스토리를 클린업한다. 그 후, 단계 S140에는 단계 S146가 후속한다.
도 8의 프로세스를 시연하기 위한 일 예가 도 9a 내지 도 9f에 도시되어 있다. 도 9a 및 도 9b는 제 1 프레임 (82) 의 이미지 및 대응하는 BDM (84) 을 도시한다. 한편, 도 9c 및 도 9d는 비디오의 30번째 프레임 (86) 및 그의 대응하는 BDM (88) 을 도시한다. 도 9e 및 도 9f는 비디오의 60번째 프레임 (90) 및 그의 대응하는 BDM (92) 을 도시한다. 비디오에서, 플라스틱 병은 원거리로부터 카메라까지 롤링한다. 프로세스 (132) 가 장면에서의 오브젝트들의 이동을 캐치 (catch) 할 수 있고, 획득된 깊이 맵에서 이들 활성도를 반영한다는 것이 이들 도면들로부터 용이하게 관측될 수 있다.
도 10a, 도 10b 및 도 10c에서, 이미지 깊이 맵들 (IDM; 94, 96 및 98) 은, 프로세스 (132) 를 사용하는 도 9b, 도 9d 및 도 9f에 각각 도시된 BDM들 (84, 88 및 92) 로부터 생성된다. IDM들 (94, 96 및 98) 은 깊이 검출 프로세스 (130) (도 3) 를 사용함으로써 획득된다.
스테레오 이미지 쌍 생성
다음으로, 도 1 및 도 11을 참조하면, 지금까지, 디바이스 (10) 가 이미지 또는 좌측 뷰를 포착하였고, 대응하는 이미지 깊이 맵을 획득하였다. 이미지 쌍 생성 모듈 (42) 은, 다음으로 설명될 이미지 쌍 생성 프로세스 (142) 를 사용한다. 단계 S144에서 좌측 뷰가 획득되며, 단계 S146에서 깊이 검출 프로세스 (130 또는 132) 로부터 그의 대응하는 이미지 깊이 맵이 획득된다.
먼저, 단계 S144에서 그 획득된 이미지가 스테레오스코픽 시스템의 좌측 뷰이라고 이미지 쌍 생성 프로세스 (142) 가 가정하지만, 대안적으로, 그 이미지는 우측 뷰로 고려될 수 있다. 그 후, 단계 S146에서 획득된 이미지 깊이 맵에 기초하여, 단계 S148에서, 그 이미지에 대한 디스패리티 맵 (양 뷰에서의 이미지 포인트들 사이의 픽셀 거리) 이 디스패리티 맵 서브-모듈 (44) 에서 계산된다. 디스패리티 맵 서브-모듈 (44) 에 의한 디스패리티 맵 계산들은 도 12a 및 도 12b를 참조하여 후술될 것이다. 그러나, 좌측 뷰 및 깊이 맵 양자는 또한 3D 뷰 생성을 위하여 디스패리티 맵을 계산하기 위한 입력이며, 좌측 뷰 및 깊이 맵은 Z-버퍼 기반 표면 복원에 직접 기여한다. 단계 S148에는, Z-버퍼 3D 표면 복원 서브-모듈 (46) 에 의한 Z-버퍼 기반 3D 보간 프로세스 (146) 가 우측 눈으로부터 장면에 대한 3D 가시적인 표면을 구성하도록 호출되는 단계 S150가 후속한다. 단계 S150에는, 도 12b에 최상으로 도시된 바와 같이, 투영 평면에 3D 표면을 투영함으로써 우측 뷰가 획득되는 단계 S152가 후속한다. 단계 S152는 스테레오 뷰 생성기 서브-모듈 (48) 에 의해 수행된다.
도 12a에서, 원거리 오브젝트에 대한 투영 평면상에서 좌측 (L) 뷰 및 우측 (R) 뷰를 사용하여, 쌍안 비전의 기하학적 모델이 도시된다. 도 12b에서, F는 포커스 길이이고, L(xL, yL, 0) 은 좌측 눈이고, R(xR, yR, 0) 은 우측 눈이고, T(xT, yT, z) 는 장면에서의 3D 포인트이며, P(xP, yP, F) 및 Q(xQ, yQ, F) 는 좌측 및 우측 투영 평면상으로의 T의 투영 포인트이다. 명확하게, 투영 평면들상의 P 및 Q의 수평 위치는 (xP-xL) 및 (xQ-xR) 이며, 따라서, 디스패리티는 d＝[(xQ-xR)-(xP-xL)] 이다.
도 12b에 도시된 바와 같이, F 및 z의 비율은,
와 같은 수학식 (7) 에서 정의되며, 여기서, z는 깊이이다. 그러므로, 수학식 (8) 및 수학식 (9) 는,
Figure 112009012161723-pct00010
Figure 112009012161723-pct00011
와 같으며, 따라서, 디스패리티 d는,
Figure 112009012161723-pct00012
와 같은 수학식 (10) 에 의해 획득될 수 있다.
따라서, 좌측 뷰에서의 모든 픽셀들에 있어서, 우측 뷰에서의 그 대응부는, 수학식 (10) 에서 획득된 디스패리티 값의 거리만큼 좌측 측면 또는 우측 측면으로 시프트된다. 그러나, 좌측-뷰로부터 우측-뷰로의 매핑은 가능한 폐색으로 인해 1-대-1 매핑이 아니며, 따라서, 우측-뷰 이미지를 획득하기 위해 추가적인 프로세싱이 필요하다.
따라서, Z-버퍼 기반 3D 보간 프로세스 (146) 가 우측-뷰 생성을 위하여 Z-버퍼 3D 표면 복원 서브-모듈 (46) 에 의해 수행된다. (도 12a에 도시된 바와 같이) 눈으로부터 오브젝트까지의 거리와 비교하여 2개의 눈들 사이의 거리가 매우 작으므로, 대략적으로, 오브젝트로부터 좌측 눈까지의 거리가 오브젝트로부터 우측 눈까지의 거리와 동일하다고 고려하며, 이는 계산을 매우 간략하게 할 것이다. 따라서, 깊이 맵 Z(x, y) (여기서, Z(x, y) 는 실제 이미지 깊이 맵이지만, 검출될 미지의 맵이다) 이 우측 (R) 뷰에 대해 보유되며, 여기서, x, y는 뷰에서의 픽셀 위치이다.
다음으로, 도 15a 및 도 15b를 참조하면, 우측-뷰에 대해 3D 가시적인 표면을 재구성하기 위한 프로세스 (146) 가 다음으로 설명될 것이다. 시작부 (단계 S166) 에서, 깊이 맵이 무한대로서 초기화된다. 단계 S166에는, 좌측 뷰의 픽셀 (x0, y0) 이 획득되는 단계 168에 후속한다. 그 후, 단계 S170에서, 깊이 z0 및 디스패리티 값 d0를 갖는 좌측 뷰의 모든 픽셀 (x0, y0) 에 대하여,
Figure 112009012161723-pct00013
와 같이 정의된 수학식 (11) 에 의해 깊이 맵이 우측 뷰에서 그의 대응하는 픽셀에 대해 업데이트된다.
단계 S170에는, 임의의 더 많은 픽셀들이 존재하는지의 여부를 판정하는 판정 단계인 단계 S172가 후속한다. 그 판정이 "예" 라면, 단계 S172는 단계 S168로 복귀하여, 다음 픽셀을 획득한다. 한편, 좌측-뷰의 모든 픽셀들이 프로세싱되고, 그에 따라 단계 S172에서의 판정이 "아니오" 인 이후, 단계 S172에는, 재구성된 깊이 맵이 체크되며 무한대인 값들을 갖는 픽셀들 (좌측-뷰상에서 유효한 맵이 없는 픽셀들) 에 대해 탐색되는 단계 S174가 후속한다. 단계 S174에는, 픽셀값 (PV) 이 무한대인지의 여부에 대한 판정을 행하는 단계 S176에 후속한다. 단계 S176에서의 판정이 "아니오" 라면, 픽셀값 (PV) 은 유효하고, 도 15b의 단계 S188에서의 강도값으로서 직접 사용될 수 있다.
단계 S176에서의 판정이 "예" 라면, 단계 S180에서, 그러한 픽셀들에 대해, 이용가능한 깊이 값들을 갖는 그의 이웃 픽셀들에 기초하여 2D 보간에 의해 대응하는 픽셀에 대한 깊이를 먼저 계산한다. 그 이후, 단계 S182에서 상기 수학식 (10) 을 사용하여 디스패리티 값이 계산되고, 그 후, 단계 S184에서 그 픽셀의 대응하는 픽셀을 좌측 뷰에서 역으로 찾는다. 단계 S184에는, 픽셀이 찾아졌는지의 여부를 판정하는 단계 S186가 후속한다. 대응하는 픽셀이 이용가능하면, 단계 S186에는, 대응하는 강도값이 우측-뷰 픽셀에 대해 사용될 수 있는 단계 S188가 후속한다. 그렇지 않고, 단계 S186에서의 판정이 "아니오" 라면, 단계 S186에는, 이용가능한 강도값들을 갖는 우측-뷰에서의 이웃 픽셀들에 기초하여 강도값을 계산하기 위해 보간을 사용하는 단계 S190가 후속한다.
직접 강도 보간 방법보다 제안된 알고리즘을 사용하는 이점이, 스테레오 효과에 대해 더 양호한 리얼리즘을 초래하는 오브젝트 형상의 3D 연속성을 고려한다는 점임을 나타내는 것이 중요하다. 명확하게, 좌측 뷰의 비가시적 영역을 복원하는 문제는 풀리지 않은 문제이다. 일 공지된 솔루션에서, 미싱 픽셀의 깊이는, 장면에서 이면에 다른 가시적인 표면들이 존재하지 않는다는 가정으로 추가적인 표면에 대응하는 수평 방향에서 그의 이웃 픽셀을 사용함으로써 복원된다. 몇몇 경우에 있어서, 그 가정은 유효하지 않을 수도 있다. 더 많은 가능한 경우들을 고려하기 위해, 제안된 솔루션에서, 표면 복원은 모든 방향에서 모든 이웃 픽셀들의 깊이를 고려하며, 이는, 유효하지 않은 가정의 기회를 감소시킬 것이고 복원된 표면의 더 양호한 3D 연속성을 초래할 것이다.
실험 결과
디바이스 (10) 는 MSM8K VFE C-SIM 시스템에서 구현될 수 있다. 실험 결과들은, 포착된 및 생성된 스테레오 이미지들 및 비디오들이 우수한 3D 효과를 갖 는다는 것을 나타낸다.
실험에서, 값싼 레드-블루 애너그리프 생성 프로세스 (152) 가 결과적인 3D 효과를 시연하기 위해 사용되었지만, 생성된 스테레오 뷰들이 홀로그래픽 및 스테레오스코픽 디바이스와 같은 다른 메커니즘에 의해 디스플레이되는 것이 가능하다. 제 1 실험에서, 도 13a 및 도 13b에 도시된 바와 같이, 스테레오 이미지 쌍들은 상이한 종류의 이미지 깊이 맵을 사용하여 계산되었고, 대응하는 애너그리프 이미지들을 생성하였다. 도 13a는 도 6e에 도시되어 있는 근사화된 이미지 깊이 맵을 사용함으로써 생성되고, 도 13b는 도 6b에 도시되어 있는 정확한 이미지 깊이 맵을 사용함으로써 생성된다. 명확하게, 그 결과들은, 근사화된 이미지 깊이 맵이 정확한 깊이 맵을 사용하는 것과 유사한 이미지 품질을 초래한다는 것을 나타내며, 이는 양호한 성능을 증명한다.
요약으로, 모노스코픽 저-전력 이동 디바이스 (10) 는 스테레오 이미지 및 비디오의 실-시간 포착 및 생성을 제공한다. 그 디바이스 (10) 는, 스테레오 이미지 및 비디오를 포착 및 생성하기 위해 모노스코픽 카메라 센서 모듈 (14) 의 오토포커싱 프로세스를 이용한다. 카메라 센서의 오토포커싱 프로세스는, 장면에서 원격 오브젝트들의 깊이 정보를 추정하기 위해 이용된다. 비디오 포착에 있어서, 모션 정보, 포커스 값, 및 프레임 히스토리 통계에 기초하여 블록 깊이 맵을 검출하기 위해 저-복잡도 알고리즘이 제공된다.
디바이스 (10) 는, 계산 복잡도가 주요 관심사이도록 실-시간 애플리케이션에 대해 구성된다. 그러나, 디바이스 (10) 는 코오스-투-파인 방식으로 오브젝 트 깊이를 추정하며, 즉, 관련 블록 깊이 맵이 신속하게 검출될 수 있도록 이미지는 다수의 블록들로 분할된다. 그 후, 근사화된 이미지 깊이 맵으로 블록 깊이 맵을 변환하기 위해 쌍선형 필터가 이용된다. 스테레오 이미지 생성에 있어서, 미싱 뷰들을 추정하기 위해 저-복잡도 Z-버퍼 기반 3D 표면 복원 접근법이 이용된다.
실험 결과들은, 포착 및 생성된 스테레오 이미지 및 비디오가 충분한 3D 효과를 갖는다는 것을 나타낸다. 센서 모듈 (14) 의 포커스 기능이 더 양호해질수록, 추정된 깊이 맵이 더 정확해지며, 따라서, 생성된 이미지 및 비디오가 갖는 스테레오 효과가 더 양호해진다.
본 발명의 실시형태에 대한 전술한 설명은 예시 및 설명의 목적을 위해 제공되었다. 포괄적인 것으로 의도되거나, 개시된 정확한 형태로 본 발명을 제한하려고 의도되지는 않으며, 상기 교시의 관점에서 변형 및 변경이 가능하거나 본 발명의 실행으로부터 획득될 수도 있다. 고려된 특정한 사용에 적합한 다양한 실시형태에서 및 다양한 변형으로 본 발명을 당업자가 이용할 수 있도록 본 발명의 원리 및 그의 실용적인 애플리케이션을 설명하기 위해 실시형태들이 선택되고 설명되었다. 본 발명의 범위가 여기에 첨부된 청구항 및 그의 등가물에 의해 정의되는 것이 의도된다.

Claims (44)

  1. 이미지를 포착하도록 동작가능하며, 포커싱 프로세스를 통해 전체 포커싱 범위에 걸쳐 렌즈를 이동하고 상기 이미지를 포착할 때 최대 포커스 값을 갖는 포커스 위치를 선택함에 의해 포커스 위치를 결정하도록 동작가능한 오토포커싱 서브-모듈을 갖는 단일-센서 카메라 센서 모듈;
    제 1 스테이지에서는 상기 오토포커싱 서브-모듈로부터의 통계를 사용하여 자동적으로 블록-레벨 깊이 맵을 전개하고, 제 2 스테이지에서는 상기 블록-레벨 깊이 맵을 사용하여 이미지 깊이 맵을 전개하도록 동작가능한 깊이 맵 생성기 어셈블리; 및
    상기 이미지 깊이 맵을 사용하여 3차원 (3D) 스테레오 좌측 및 우측 뷰를 생성하기 위해, 상기 포착된 이미지로부터 미싱 (missing) 제 2 뷰를 생성하도록 동작가능한 이미지 쌍 생성기 모듈을 포함하며,
    상기 오토포커싱 서브-모듈의 포커싱 프로세스는, 스틸 이미지 모드에서 스틸-이미지를 포착하기 위해 전역 (exhaustive) 탐색 포커싱 프로세스를 수행하며, 비디오 모드에서 비디오 클립의 실-시간 포착을 달성하기 위해, 상기 전역 탐색 포커싱 프로세스에 의해 개시되고, 클라이밍-힐 (climbing-hill) 포커싱 프로세스가 후속하는, 모노스코픽 저-전력 이동 디바이스.
  2. 제 1 항에 있어서,
    상기 이미지 쌍 생성기 모듈은,
    상기 포착된 이미지에 대해 쌍안 비전 (binocular vision) 기하학적 배열의 좌측 뷰 및 우측 뷰에서의 이미지 포인트들 사이의 픽셀 거리에 기초하여, 디스패리티 (disparity) 맵을 계산하는 디스패리티 맵 서브-모듈로서, 상기 포착된 이미지는 상기 좌측 뷰를 표현하는, 상기 디스패리티 맵 서브-모듈;
    상기 우측 뷰로부터 상기 포착된 이미지에 대해 3D 가시적인 표면을 구성하 도록 동작가능한 Z-버퍼 3D 표면 복원 서브-모듈; 및
    상기 우측 뷰의 3D 표면을 투영 평면으로 투영하도록 동작가능한 스테레오 뷰 생성기 서브-모듈을 포함하는, 모노스코픽 저-전력 이동 디바이스.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제 2 스테이지에서, 상기 깊이 맵 생성기 어셈블리는 쌍선형 필터로 아티팩트 (artifact) 를 감소시키도록 동작가능한, 모노스코픽 저-전력 이동 디바이스.
  5. 제 4 항에 있어서,
    상기 제 2 스테이지에서, 상기 깊이 맵 생성기 어셈블리는 상기 포커싱 프로세스 동안 발견된 각각의 블록의 코너 포인트들 (A, B, C, 및 D) 의 깊이값을 획득하도록 동작가능하며, 상기 깊이값은 중간 포인트의 깊이 d가
    Figure 112009012161723-pct00014
    에 의해 정의되는 각각의 블록의 이웃한 블록들의 평균값이고, 여기서, d1, d2, d3 및 d4는 상기 이웃한 블록들의 깊이값들이며;
    상기 코너 포인트들 (A, B, C 및 D) 모두의 깊이값이 획득된 이후, 상기 쌍선형 필터는 상기 블록들내의 픽셀들의 픽셀 깊이값을 획득하도록 동작가능한, 모노스코픽 저-전력 이동 디바이스.
  6. 제 5 항에 있어서,
    상기 쌍선형 필터는, 또한,
    Figure 112009012161723-pct00015
    와 같은 수학식에 따라 픽셀 P (xP, yP, dP) 에 대한 픽셀 깊이값 dp를 계산하도록 동작가능하며,
    상기 각각의 블록의 상기 코너 포인트들 (A, B, C 및 D) 에 대한 위치값들 및 깊이값들은 (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD) 로서 나타내는, 모노스코픽 저-전력 이동 디바이스.
  7. 제 1 항에 있어서,
    상기 포착된 비디오 클립을 코딩하고, 상기 블록-레벨 깊이 맵을 계산하기 위해 통계 정보를 제공하는 비디오 코딩 모듈을 더 포함하며,
    상기 비디오 코딩 모듈은 모션 추정치를 결정하도록 동작가능하고,
    상기 깊이 맵 생성기 어셈블리는, 상기 제 2 스테이지에서, 상기 이미지 깊이 맵이 유도되는 최종 블록 깊이 맵을 획득하기 위해, 상기 모션 추정치로부터의 통계 정보, 상기 포커싱 프로세스, 및 히스토리 데이터 플러스 발견적 법칙 (history data plus heuristic rule) 들을 사용하여 스테레오 비디오의 실-시간 포착 및 생성을 위한 깊이 정보를 검출 및 추정하도록 동작가능한, 모노스코픽 저-전력 이동 디바이스.
  8. 제 1 항에 있어서,
    디스플레이, 및 상기 디스플레이상에서 상기 3D 스테레오 좌측 및 우측 뷰를 디스플레이하는 3D 효과 생성기 모듈을 더 포함하는, 모노스코픽 저-전력 이동 디바이스.
  9. 제 8 항에 있어서,
    상기 3D 효과 생성기 모듈은, 상기 디스플레이상의 3D 스테레오 좌측 및 우측 뷰의 레드-블루 애너그리프 (anaglyph) 이미지를 생성하도록 동작가능한, 모노스코픽 저-전력 이동 디바이스.
  10. 제 1 항에 있어서,
    핸드-헬드 디지털 카메라, 캠코더, 및 단일-센서 카메라 전화기 중 하나를 포함하는, 모노스코픽 저-전력 이동 디바이스.
  11. 단일 센서로 이미지를 포착하는 수단;
    렌즈를 오토포커싱하고, 전체 포커싱 범위에 걸쳐 상기 렌즈를 이동하고 상기 이미지를 포착할 때 최대 포커스 값을 갖는 포커스 위치를 선택함에 의해 포커스 위치를 결정하는, 오토포커싱 수단;
    제 1 스테이지에서는 상기 오토포커싱 수단으로부터의 통계를 사용하여 자동적으로 블록-레벨 깊이 맵을 생성하고, 제 2 스테이지에서는 상기 블록-레벨 깊이 맵을 사용하여 이미지 깊이 맵을 생성하는 수단; 및
    상기 이미지 깊이 맵을 사용하여 3차원 (3D) 스테레오 좌측 및 우측 뷰를 생성하기 위해 상기 포착된 이미지로부터 미싱 제 2 뷰를 생성하는 수단을 포함하며,
    상기 오토포커싱 수단은,
    스틸 이미지 모드에서 스틸-이미지를 포착하기 위해 전역 탐색 포커싱 프로세스를 수행하는 수단;
    비디오 모드에서 상기 전역 탐색 포커싱 프로세스를 개시하는 수단; 및
    실-시간 비디오 클립을 포착하기 위해 비디오 모드에서 클라이밍-힐 포커싱하는 수단을 포함하는, 모노스코픽 저-전력 이동 디바이스.
  12. 제 11 항에 있어서,
    상기 미싱 제 2 뷰를 생성하는 수단은,
    상기 포착된 이미지에 대해 쌍안 비전 기하학적 배열의 좌측 뷰 및 우측 뷰에서의 이미지 포인트들 사이의 픽셀 거리에 기초하여 디스패리티 맵을 계산하는 수단으로서, 상기 포착된 이미지는 상기 좌측 뷰를 표현하는, 상기 계산하는 수단;
    미싱 우측 뷰포인트로부터 상기 포착된 이미지에 대해 3D 가시적인 표면을 구성하는, Z-버퍼링을 이용한 3D 표면 복원 수단; 및
    상기 구성된 3D 표면을 투영 평면으로 투영함으로써 스테레오 뷰를 생성하는 수단을 포함하는, 모노스코픽 저-전력 이동 디바이스.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 제 2 스테이지에서 상기 이미지 깊이 맵을 생성하는 수단은 아티팩트를 감소시키는 수단을 포함하는, 모노스코픽 저-전력 이동 디바이스.
  15. 제 14 항에 있어서,
    상기 아티팩트를 감소시키는 수단은,
    상기 오토포커싱 수단에 의해 발견된 각각의 블록의 코너 포인트들 (A, B, C, 및 D) 의 깊이값을 획득하는 수단으로서, 상기 깊이값은 중간 포인트의 깊이 d가
    Figure 112009012161723-pct00016
    에 의해 정의되는 각각의 블록의 이웃한 블록들의 평균값이며, 여기서, d1, d2, d3 및 d4는 상기 이웃한 블록들의 깊이값들인, 상기 깊이값을 획득하는 수단; 및
    상기 코너 포인트들 (A, B, C 및 D) 모두의 깊이값이 획득된 이후, 상기 블록들내의 픽셀들의 픽셀 깊이값을 획득하도록 쌍선형 필터링하는 수단을 포함하는, 모노스코픽 저-전력 이동 디바이스.
  16. 제 15 항에 있어서,
    상기 쌍선형 필터링하는 수단은,
    Figure 112009012161723-pct00017
    와 같은 수학식에 따라 픽셀 P (xP, yP, dP) 에 대한 픽셀 깊이값 dp를 계산하는 수단을 포함하며,
    상기 각각의 블록의 상기 코너 포인트들 (A, B, C 및 D) 에 대한 위치값들 및 깊이값들은 (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD) 로서 나타내는, 모노스코픽 저-전력 이동 디바이스.
  17. 제 11 항에 있어서,
    통계 정보를 제공하고 상기 포착된 비디오 클립을 비디오 코딩하는 수단을 더 포함하며,
    상기 비디오 코딩하는 수단은 모션 추정하는 수단을 포함하고,
    상기 이미지 깊이 맵을 생성하는 수단은,
    상기 이미지 깊이 맵이 유도되는 최종 블록 깊이 맵을 획득하기 위해, 상기 모션 추정하는 수단으로부터의 통계 정보, 상기 오토포커싱 수단, 및 히스토리 데이터 플러스 발견적 법칙들을 사용하여, 스테레오 비디오의 실-시간 포착 및 생성을 위한 깊이 정보를 검출 및 추정하는 수단을 포함하는, 모노스코픽 저-전력 이동 디바이스.
  18. 제 11 항에 있어서,
    디스플레이, 및 상기 디스플레이상에서 상기 3D 스테레오 좌측 및 우측 뷰의 3D 효과를 생성하는 수단을 더 포함하는, 모노스코픽 저-전력 이동 디바이스.
  19. 제 18 항에 있어서,
    상기 3D 효과 생성 수단은 상기 디스플레이상의 상기 3D 스테레오 좌측 및 우측 뷰의 레드-블루 애너그리프 이미지를 생성하는, 모노스코픽 저-전력 이동 디바이스.
  20. 제 11 항에 있어서,
    핸드-헬드 디지털 카메라, 캠코더, 및 단일-센서 카메라 전화기 중 하나를 포함하는, 모노스코픽 저-전력 이동 디바이스.
  21. 단일 센서로 이미지를 포착하는 단계;
    렌즈를 오토포커싱하고, 전체 포커싱 범위에 걸쳐 상기 렌즈를 이동하고 상기 이미지를 포착할 때 최대 포커스 값을 갖는 포커스 위치를 선택함에 의해 포커스 위치를 결정하는, 오토포커싱 단계;
    제 1 스테이지에서는 상기 오토포커싱 단계로부터의 통계를 사용하여 자동적으로 블록-레벨 깊이 맵을 생성하고, 제 2 스테이지에서는 상기 블록-레벨 깊이 맵을 사용하여 이미지 깊이 맵을 생성하는 단계; 및
    상기 이미지 깊이 맵을 사용하여 3차원 (3D) 스테레오 좌측 및 우측 뷰를 생성하기 위해 상기 포착된 이미지로부터 미싱 제 2 뷰를 생성하는 단계를 포함하며,
    상기 오토포커싱 단계는,
    스틸 이미지 모드에서 스틸-이미지를 포착하기 위해 전역 탐색 포커싱 프로세스를 수행하는 단계;
    비디오 모드에서 상기 전역 탐색 포커싱 프로세스를 개시하는 단계; 및
    실-시간 비디오 클립을 포착하기 위해 비디오 모드에서 클라이밍-힐 포커싱하는 단계를 포함하는, 실-시간 스테레오 이미지 생성 방법.
  22. 제 21 항에 있어서,
    상기 미싱 제 2 뷰를 생성하는 단계는,
    상기 포착된 이미지에 대해 쌍안 비전 기하학적 배열의 좌측 뷰 및 우측 뷰에서의 이미지 포인트들 사이의 픽셀 거리에 기초하여 디스패리티 맵을 계산하는 단계로서, 상기 포착된 이미지는 상기 좌측 뷰를 표현하는, 상기 계산하는 단계;
    미싱 우측 뷰포인트로부터 상기 포착된 이미지에 대해 3D 가시적인 표면을 구성하는, Z-버퍼링을 이용한 3D 표면 복원 단계; 및
    상기 구성된 3D 표면을 투영 평면으로 투영함으로써 미싱 우측 뷰를 생성하는 단계를 포함하는, 실-시간 스테레오 이미지 생성 방법.
  23. 삭제
  24. 제 21 항에 있어서,
    상기 제 2 스테이지에서 상기 이미지 깊이 맵을 생성하는 단계는 아티팩트를 감소시키는 단계를 포함하는, 실-시간 스테레오 이미지 생성 방법.
  25. 제 24 항에 있어서,
    상기 아티팩트를 감소시키는 단계는,
    상기 오토포커싱 단계에 의해 발견된 각각의 블록의 코너 포인트들 (A, B, C, 및 D) 의 깊이값을 획득하는 단계로서, 상기 깊이값은 중간 포인트의 깊이 d가
    Figure 112009012161723-pct00018
    에 의해 정의되는 각각의 블록의 이웃한 블록들의 평균값이며, 여기서, d1, d2, d3 및 d4는 상기 이웃한 블록들의 깊이값들인, 상기 깊이값을 획득하는 단계; 및
    상기 코너 포인트들 (A, B, C 및 D) 모두의 깊이값이 획득된 이후, 상기 블록들내의 픽셀들의 픽셀 깊이값을 획득하도록 쌍선형 필터링을 수행하는 단계를 포함하는, 실-시간 스테레오 이미지 생성 방법.
  26. 제 25 항에 있어서,
    상기 쌍선형 필터링을 수행하는 단계는,
    Figure 112009012161723-pct00019
    와 같은 수학식에 따라 픽셀 P (xP, yP, dP) 에 대한 픽셀 깊이값 dp를 계산하는 단계를 포함하며,
    상기 각각의 블록의 상기 코너 포인트들 (A, B, C 및 D) 에 대한 위치값들 및 깊이값들은 (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD) 로서 나타내는, 실-시간 스테레오 이미지 생성 방법.
  27. 제 21 항에 있어서,
    상기 비디오 클립을 비디오 코딩하고, 모션 추정하는 단계를 더 포함하며,
    상기 이미지 깊이 맵을 생성하는 단계는,
    상기 이미지 깊이 맵이 유도되는 최종 블록 깊이 맵을 획득하기 위해, 상기 모션 추정하는 단계로부터의 통계, 상기 오토포커싱 단계, 및 히스토리 데이터 플러스 발견적 법칙들을 사용하여, 스테레오 비디오의 실-시간 포착 및 생성을 위한 깊이 정보를 검출 및 추정하는 단계를 포함하는, 실-시간 스테레오 이미지 생성 방법.
  28. 제 21 항에 있어서,
    디스플레이상에 상기 3D 스테레오 좌측 및 우측 뷰의 3D 효과를 생성하는 단계를 더 포함하는, 실-시간 스테레오 이미지 생성 방법.
  29. 제 28 항에 있어서,
    상기 3D 효과를 생성하는 단계는 상기 디스플레이상의 상기 3D 스테레오 좌측 및 우측 뷰의 레드-블루 애너그리프 이미지를 생성하는 단계를 포함하는, 실-시간 스테레오 이미지 생성 방법.
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
KR1020097004126A 2006-08-01 2007-07-30 모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성 KR101038402B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/497,906 US8970680B2 (en) 2006-08-01 2006-08-01 Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US11/497,906 2006-08-01

Publications (2)

Publication Number Publication Date
KR20090035024A KR20090035024A (ko) 2009-04-08
KR101038402B1 true KR101038402B1 (ko) 2011-06-01

Family

ID=38925520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097004126A KR101038402B1 (ko) 2006-08-01 2007-07-30 모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성

Country Status (9)

Country Link
US (2) US8970680B2 (ko)
EP (4) EP2498503B1 (ko)
JP (2) JP5350241B2 (ko)
KR (1) KR101038402B1 (ko)
CN (1) CN101496413B (ko)
BR (1) BRPI0715065B1 (ko)
CA (2) CA2657401C (ko)
RU (1) RU2417548C2 (ko)
WO (1) WO2008016882A2 (ko)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
KR100866491B1 (ko) * 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
DE102007021518B4 (de) * 2007-05-04 2009-01-29 Technische Universität Berlin Verfahren zum Verarbeiten eines Videodatensatzes
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
DE102008001451A1 (de) * 2008-04-29 2009-11-05 Robert Bosch Gmbh Kamera und Verfahren zum Steuern einer Kamera
WO2010018880A1 (en) * 2008-08-11 2010-02-18 Postech Academy-Industry Foundation Apparatus and method for depth estimation from single image in real time
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US20100079582A1 (en) * 2008-10-01 2010-04-01 Dunsmore Clay A Method and System for Capturing and Using Automatic Focus Information
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
KR20110097879A (ko) * 2008-11-24 2011-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. ３ｄ 비디오와 보조 데이터의 조합
US8238681B2 (en) * 2008-11-25 2012-08-07 Nokia Corporation Adaptive configuration of windows-of-interest for accurate and robust focusing in multispot autofocus cameras
US9569819B2 (en) * 2009-01-30 2017-02-14 Thomson Licensing Coding of depth maps
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
WO2010116329A2 (en) * 2009-04-08 2010-10-14 Stergen Hi-Tech Ltd. Method and system for creating three-dimensional viewable video from a single video stream
US8504640B2 (en) * 2009-06-02 2013-08-06 Motorola Solutions, Inc. Device recruitment for stereoscopic imaging applications
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
WO2011014421A2 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110032482A1 (en) * 2009-08-07 2011-02-10 Light Prescriptions Innovators, Llc 3d autostereoscopic display with true depth perception
US10198792B2 (en) 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US9030469B2 (en) * 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
KR20110090511A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
KR101121264B1 (ko) * 2010-03-30 2012-03-22 김길겸 입체 영상 카메라 장치 및 이의 구동 방법
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
JP5540942B2 (ja) * 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
KR101669820B1 (ko) 2010-07-02 2016-10-27 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
JP2012023258A (ja) * 2010-07-16 2012-02-02 Matsumoto Kenzai:Kk 温度差発電装置及び温度差発電方法
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
US8947506B2 (en) * 2010-08-27 2015-02-03 Broadcom Corporation Method and system for utilizing depth information for generating 3D maps
US9398205B2 (en) * 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
US8531542B2 (en) 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
US8922704B2 (en) 2010-09-01 2014-12-30 Apple Inc. Techniques for collection of auto-focus statistics
US8605167B2 (en) 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8786625B2 (en) 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8629913B2 (en) 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
US8488055B2 (en) 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
US8508612B2 (en) 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8670630B1 (en) 2010-12-09 2014-03-11 Google Inc. Fast randomized multi-scale energy minimization for image processing
KR101777854B1 (ko) 2010-12-21 2017-09-13 한국전자통신연구원 깊이감 조절 방법과 장치, 이를 구비하는 단말기 및 그 동작 방법
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
JP5847728B2 (ja) * 2011-04-15 2016-01-27 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
US20120268562A1 (en) * 2011-04-20 2012-10-25 Himax Technologies Limited Image processing module and image processing method thereof for 2d/3d images conversion and frame rate conversion
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
JP5824896B2 (ja) * 2011-06-17 2015-12-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20130002811A1 (en) * 2011-06-28 2013-01-03 Bu Lin-Kai Three-dimensional imaging method using single-lens image-capture apparatus and three-dimensional image enhancement method based on two-dimensional images
US8743180B2 (en) 2011-06-28 2014-06-03 Cyberlink Corp. Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US8928737B2 (en) * 2011-07-26 2015-01-06 Indiana University Research And Technology Corp. System and method for three dimensional imaging
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
CN103827920B (zh) * 2011-09-28 2018-08-14 皇家飞利浦有限公司 根据图像的对象距离确定
KR101918057B1 (ko) * 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
US9161010B2 (en) 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
US9414048B2 (en) * 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
KR101890133B1 (ko) * 2012-09-05 2018-09-28 삼성전자주식회사 촬영 장치 및 이의 촬영 방법
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
TWI508524B (zh) * 2012-10-26 2015-11-11 Quanta Comp Inc 裸視立體顯示裝置之自動調校方法及系統
CN103905806B (zh) * 2012-12-26 2018-05-01 三星电子（中国）研发中心 利用单摄像头实现3d拍摄的系统和方法
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US10109072B2 (en) * 2013-03-21 2018-10-23 Koninklijke Philips N.V. View classification-based model initialization
US9544613B2 (en) * 2013-04-24 2017-01-10 Sony Corporation Local detection model (LDM) for recursive motion estimation
US20150049821A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
US20150271467A1 (en) * 2014-03-20 2015-09-24 Neal Weinstock Capture of three-dimensional images using a single-view camera
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
CN104794713B (zh) * 2015-04-15 2017-07-11 同济大学 基于arm和双目视觉的温室作物数字化成像方法
US9875443B2 (en) * 2015-06-18 2018-01-23 TCL Research America Inc. Unified attractiveness prediction framework based on content impact factor
US11463676B2 (en) 2015-08-07 2022-10-04 Medicaltek Co. Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN105611162A (zh) * 2015-12-29 2016-05-25 太仓美宅姬娱乐传媒有限公司 一种摄影设备的摄像方法
US10341634B2 (en) 2016-01-29 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for acquiring image disparity
CN107079102B (zh) * 2016-09-26 2019-02-22 深圳市大疆创新科技有限公司 对焦方法、摄像装置和无人机
US10552981B2 (en) 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
US20200045094A1 (en) * 2017-02-14 2020-02-06 Bluejay Technologies Ltd. System for Streaming
GB201702386D0 (en) 2017-02-14 2017-03-29 Bluejay Tech Ltd System for streaming
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
US10536622B2 (en) * 2018-05-15 2020-01-14 Sony Corporation Camera depth prediction using generative adversarial network
CN111539906B (zh) * 2019-01-22 2024-04-12 顺丰科技有限公司 装载率测定方法及装置
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
US11321926B2 (en) * 2019-12-18 2022-05-03 Apple Inc. Method and device for content placement
WO2023184527A1 (en) * 2022-04-02 2023-10-05 Covidien Lp System and method for unsupervised stereoscopic reconstruction with disparity consistency

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151609A (en) * 1989-08-02 1992-09-29 Hitachi, Ltd. Method of detecting solid shape of object with autofocusing and image detection at each focus level
US5305092A (en) * 1991-09-03 1994-04-19 Hitachi, Ltd. Apparatus for obtaining three-dimensional volume data of an object
US20040100464A1 (en) 2002-11-25 2004-05-27 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396178A (ja) 1989-09-08 1991-04-22 Sanyo Electric Co Ltd オートフォーカス装置
JP3112485B2 (ja) 1991-01-22 2000-11-27 オリンパス光学工業株式会社 立体電子スチルカメラ
JP3096178B2 (ja) 1992-11-11 2000-10-10 株式会社エヌ・ティ・ティ・ドコモ Ｔｄｍａ−ｔｄｄ無線通信装置の送受信装置
AUPN732395A0 (en) 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
DE69739179D1 (de) * 1996-07-18 2009-02-05 Sanyo Electric Co Eidimensionale bilder
JP3957343B2 (ja) 1996-07-18 2007-08-15 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
JPH10108152A (ja) 1996-09-27 1998-04-24 Sanyo Electric Co Ltd 携帯情報端末
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
EP1044432A4 (en) * 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty IMPROVED IMAGE TRANSFORMATION AND CODING TECHNIQUES
US6128071A (en) * 1998-06-04 2000-10-03 Canon Kabushiki Kaisha Range data recordation
US6347344B1 (en) * 1998-10-14 2002-02-12 Hitachi, Ltd. Integrated multimedia system with local processor, data transfer switch, processing modules, fixed functional unit, data streamer, interface unit and multiplexer, all integrated on multimedia processor
US6816158B1 (en) * 1998-10-30 2004-11-09 Lemelson Jerome H Three-dimensional display system
JP2000251090A (ja) * 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
JP2001042200A (ja) 1999-07-30 2001-02-16 Casio Comput Co Ltd カメラ装置及びズーム動作制御方法
JP4126816B2 (ja) 1999-08-18 2008-07-30 ソニー株式会社 画像記録装置及び画像記録方法
JP2001061164A (ja) 1999-08-19 2001-03-06 Toshiba Corp 立体映像信号伝送方法
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP4550211B2 (ja) 2000-03-21 2010-09-22 オリンパス株式会社 カメラ
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
JP2003085578A (ja) 2001-09-14 2003-03-20 Namco Ltd ゲーム情報、情報記憶媒体、及びゲーム装置
JP2003109032A (ja) * 2001-09-26 2003-04-11 Pioneer Electronic Corp 画像作成装置及びコンピュータプログラム
JP2003209858A (ja) 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2003304562A (ja) 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US7324116B2 (en) 2002-06-20 2008-01-29 Microsoft Corporation Systems and methods for providing controllable texture sampling
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
JP4397217B2 (ja) 2002-11-12 2010-01-13 株式会社バンダイナムコゲームス 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
US7171054B2 (en) * 2003-05-01 2007-01-30 Eastman Kodak Company Scene-based method for determining focus
JP2004347871A (ja) 2003-05-22 2004-12-09 Fuji Photo Film Co Ltd プロジェクタ及びデジタルカメラ
JP4525089B2 (ja) * 2004-01-27 2010-08-18 フジノン株式会社 オートフォーカスシステム
US7262767B2 (en) * 2004-09-21 2007-08-28 Victor Company Of Japan, Limited Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP4214529B2 (ja) 2004-12-28 2009-01-28 日本ビクター株式会社 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
US7821570B2 (en) 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
JP5007373B1 (ja) 2012-03-14 2012-08-22 アルプス電気株式会社 レンズ駆動装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151609A (en) * 1989-08-02 1992-09-29 Hitachi, Ltd. Method of detecting solid shape of object with autofocusing and image detection at each focus level
US5305092A (en) * 1991-09-03 1994-04-19 Hitachi, Ltd. Apparatus for obtaining three-dimensional volume data of an object
US20040100464A1 (en) 2002-11-25 2004-05-27 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view

Also Published As

Publication number Publication date
RU2417548C2 (ru) 2011-04-27
JP2009545929A (ja) 2009-12-24
EP2498503A1 (en) 2012-09-12
WO2008016882A3 (en) 2008-07-03
WO2008016882A2 (en) 2008-02-07
CA2748558C (en) 2014-06-03
US20150002627A1 (en) 2015-01-01
EP2448279A2 (en) 2012-05-02
RU2009107082A (ru) 2010-09-27
US8970680B2 (en) 2015-03-03
US9509980B2 (en) 2016-11-29
BRPI0715065A2 (pt) 2013-05-28
JP5536146B2 (ja) 2014-07-02
EP2498504B1 (en) 2013-07-24
EP2498503B1 (en) 2015-06-24
CA2748558A1 (en) 2008-02-07
JP5350241B2 (ja) 2013-11-27
EP2448279A3 (en) 2012-05-09
CA2657401C (en) 2015-06-02
JP2012231508A (ja) 2012-11-22
CN101496413B (zh) 2011-09-07
EP2448279B1 (en) 2013-12-11
US20080031327A1 (en) 2008-02-07
EP2498504A1 (en) 2012-09-12
BRPI0715065B1 (pt) 2020-09-15
CN101496413A (zh) 2009-07-29
CA2657401A1 (en) 2008-02-07
EP2047689A2 (en) 2009-04-15
KR20090035024A (ko) 2009-04-08

Similar Documents

Publication Publication Date Title
KR101038402B1 (ko) 모노스코픽 저전력 이동 디바이스에 의한 스테레오 이미지 및 비디오의 실-시간 포착 및 생성
KR101096468B1 (ko) 복잡성-적응형 2차원-대-3차원 비디오 시퀀스 변환
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP3197801B2 (ja) 二次元表示画像生成方法
US20210133475A1 (en) Slow or fast motion video using depth information
KR101926498B1 (ko) 스테레오 영상 정합 장치 및 이의 정합 방법
KR101626679B1 (ko) 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체
Galabov 3D Capturing with monoscopic camera
Dane et al. Multiview synthesis for autostereoscopic displays
Chang Enhanced Depth Map in Low Light Conditions for RGB Cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 9