KR20090033487A - 듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법 - Google Patents

듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법 Download PDF

Info

Publication number
KR20090033487A
KR20090033487A KR1020097003531A KR20097003531A KR20090033487A KR 20090033487 A KR20090033487 A KR 20090033487A KR 1020097003531 A KR1020097003531 A KR 1020097003531A KR 20097003531 A KR20097003531 A KR 20097003531A KR 20090033487 A KR20090033487 A KR 20090033487A
Authority
KR
South Korea
Prior art keywords
image
image sensor
data
vertical
sensor
Prior art date
Application number
KR1020097003531A
Other languages
English (en)
Other versions
KR101066052B1 (ko
Inventor
시앙-춘 리
베니 카티비안
하오훙 왕
사라스 만주나스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090033487A publication Critical patent/KR20090033487A/ko
Application granted granted Critical
Publication of KR101066052B1 publication Critical patent/KR101066052B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

제 1 이미지 센서, 제 1 이미지 센서로부터 떨어져 이격되어 있는 제 2 이미지 센서, 제 1 이미지 센서와 제 2 이미지 센서로부터의 이미지 데이터를 애너글리프로 결합하는 다이버시티 결합 모듈, 및 다이버시티 결합 모듈로부터의 결합된 이미지 데이터를 처리하고 수직 미스매치 보상을 수행하도록 구성된 이미지 처리 모듈을 포함하는 장치가 개시된다.
제 1 이미지 센서, 제 2 이미지 센서, 이미지 데이터, 애너글리프, 다이버시티

Description

듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법{STEREO IMAGE AND VIDEO CAPTURING DEVICE WITH DUAL DIGITAL SENSORS AND METHODS OF USING THE SAME}
관련 출원
본 출원은 2006 년 7 월 25 일 출원된 발명의 명칭이 "MOBILE DEVICE WITH DUAL DIGITAL CAMERA SENSORS AND METHODS OF USING THE SAME" 인 공동 양도된 미국 특허 출원 제 11/493,434 호 (대리인 문서 번호 061170) 에 관한 것으로, 상기 출원은 본원에서 그 전체가 참조로서 병합되어 있다.
기술분야
본 출원은 전자 디바이스에 관한 것으로, 더욱 상세하게는, 듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법에 관한 것이다.
배경
셀룰러 전화기와 같은 몇몇 이동 디바이스는 이미지를 캡처하는 센서를 가질 수도 있다.
개요
일 양태는 제 1 이미지 센서, 제 1 이미지 센서로부터 떨어져 이격되어 있는 제 2 이미지 센서, 제 1 이미지 센서와 제 2 이미지 센서로부터의 이미지 데이터를 결합하는 다이버시티 결합 모듈, 및 다이버시티 결합 모듈로부터의 결합된 이미지 데이터를 처리하도록 구성된 이미지 처리 모듈을 포함하는 장치에 관한 것이다.
다른 양태는 제 1 이미지 센서를 이용하여 제 1 이미지를 센싱하는 단계, 제 1 이미지 센서로부터 떨어져 이격되어 있는 제 2 이미지 센서를 이용하여 제 2 이미지를 센싱하는 단계, 제 1 이미지 센서와 제 2 이미지 센서로부터의 이미지 데이터를 다이버시티 결합하는 단계, 및 결합된 이미지 데이터를 처리하여 애너글리프 이미지를 생성하는 단계를 포함하는 방법에 관한 것이다.
하나 이상의 실시형태의 상세는 첨부된 도면 및 다음 상세한 설명에 개시되어 있다.
도면의 간단한 설명
도 1 은 2 개 이상의 카메라 센서를 갖는 이동 디바이스를 도시한다.
도 2a 는 이미지 평면 P1' 및 P2' 에 투영된 2 개의 물점 (object point) P1 및 P2 를 도시하는 것으로, 단일 뷰포인트 V 는 카메라 센서의 위치이다.
도 2b 는 우측 이미지 평면 P1r' 및 P2r' 과, 좌측 이미지 평면 P1l' 및 P2l' 에 투영된 2 개의 물점 P1 및 P2 의 투시도법 (perspective projection) 을 도시한 것으로, V 좌측 및 V 우측은 2 개의 카메라 센서의 위치이다.
도 3 은 도 1 의 디바이스의 카메라 프로세스 파이프라인의 일 예를 도시한다.
도 4 는 도 1 의 디바이스에 의해 수행될 수도 있는 스테레오 비디오 프로세스 흐름도를 도시한다.
도 5 는 도 1 의 디바이스의 2 개의 센서에 의해 보이는 이미지의 예를 도시한다.
도 6 은 도 1 의 디바이스의 2 개 센서 제어기 (two sensor controller) 의 흐름도를 도시한다.
도 7a 및 도 7b 와, 도 8a 및 도 8b 는 소정의 수평 거리만큼 떨어져 있는 2 개의 센서로부터 캡처된 이미지의 예를 도시한다.
도 7c 및 도 8c 는 도 7a 및 도 7b 와, 도 8a 및 도 8b 의 좌안 뷰와 우안 뷰로부터 합성된 (composed) 3 차원 이미지를 도시한다.
도 9 는 2 개 이상의 센서를 갖는 이동 디바이스의 다른 구성을 도시한다.
도 10 은 도 9 의 디바이스를 이용한 비디오 모드 처리 방법을 도시한다.
상세한 설명
투시도법
도 2a 에 도시된 것과 같이, 카메라는 투시도법을 수행함으로써 이미지를 캡처한다. 도 2a 는 이미지 평면 P1' 및 P2' 에 투영된 2 개의 물점 P1 및 P2 를 도시하는 것으로, 단일 뷰포인트 V 는 카메라 센서의 위치이다.
도 2b 에 도시된 것과 같이, 깊이 지각 (depth perception) 을 갖는 인간의 시각 시스템을 시뮬레이션하기 위해, 2 개의 카메라 센서를 갖는 디바이스는 좌안 뷰와 우안 뷰를 캡처할 수도 있다. 도 2b 는 우측 이미지 평면 P1r' 및 P2r' 과, 좌측 이미지 평면 P1l' 및 P2l' 에 투영된 2 개의 물점 P1 및 P2 의 투시도법을 도시하는 것으로, V 좌측과 V 우측은 2 개의 카메라 센서의 위치이다. 이미 지 평면 상의 물체의 투영 차이는 깊이 지각을 스테레오 이미지로서 생성한다.
도 7a 및 도 7b 와, 도 8a 및 도 8b 는 약 6 ㎝ 의 수평 거리만큼 떨어져 있는 2 개의 센서로부터 캡처된 이미지 예를 도시한다. 아래에 설명되는 것과 같이, 도 7c 및 도 8c 는 도 7a 및 도 7b 와, 도 8a 및 도 8b 의 좌안 뷰와 우안 뷰로부터 합성된 3 차원 이미지를 도시한다.
3 차원 스테레오 이미지 및 비디오
지각적 사실주의 (perceptual realism) 의 향상은 차세대 멀티미디어 개발을 이끄는 요인이 되었다. 빠르게 성장하고 있는 멀티미디어 통신과 엔터테인먼트 시장은 스테레오 이미지 캡처링, 처리, 압축, 전달 및 디스플레이를 포함하는 3 차원 (3-D) (또한 스테레오 또는 스테레오스코픽으로 지칭됨) 이미지 및 비디오 기술을 이용할 수 있다.
스테레오 이미지와 모노 이미지 간의 주요한 차이는 스테레오 이미지가 장면 내의 물체에 대해 제 3 차원 (third dimension) 및 소정 거리의 느낌을 제공한다는 것이다. 인간의 시각은 상이한 원근 시점에서 자신의 좌안과 우안에 의해 보이는 쌍안경 뷰로 인해 스테레오스코픽의 성질을 갖는다. 인간의 뇌는 스테레오스코픽 깊이로 이미지를 합성할 수 있다.
멀티미디어 디바이스는 모노스코픽 인프라구조로 구현될 수도 있다. 모노스코픽 카메라는 스테레오 이미지를 캡처 및 생성할 수도 있다. 모노스코픽 카메라는 오토포커스 (auto-focus) 처리로부터의 통계치를 이용하여 깊이 정보를 검출 및 추정함으로써 스테레오 이미지를 생성할 수도 있다.
듀얼 센서를 갖는 디바이스
예를 들어, 이들 센서에 대한 증가된 데이터 처리의 계산 복잡도, 전력 소비, 위치 및 해상도 설정과 같이, 듀얼 센서를 갖는 디바이스와 관련하여 다수의 문제점들이 존재할 수도 있다. 카메라 전화기와 같은 디바이스는 2 개의 이미지 센서를 고정 위치에 가질 수도 있는데, 즉, 2 개의 센서가 움직이지 못할 수 있다. 2 개의 센서는 주 센서와, 상이한 해상도를 갖는 보조 센서와 같이 상이하게 구성되거나 취급될 수도 있다. 저해상도 센서는 비디오를 캡처하는데 이용될 수도 있지만, 고해상도 센서는 정지 이미지를 캡처하는데 이용될 수도 있다. 아래에 설명되는 것과 같이, 2 개의 센서로부터 촬상된 이미지는 함께 결합되거나 처리될 수도 있다.
듀얼 센서 카메라 전화기는 스테레오스코픽 이미지 또는 비디오를 캡처 및 생성하기 위한 정확한 뷰를 획득할 수도 있다. 듀얼 카메라 센서 이동 디바이스의 비용은 대략 단일 센서 (one-sensor) 디바이스의 비용과 동일하게 줄어들 수도 있다. 아래의 설명은 고품질 스테레오 이미지/비디오 캡처링 및 스테레오 이미지 합성을 가능하게 할 수도 있는 듀얼 카메라 센서 이동 디바이스 또는 스테레오스코픽 이미징 시스템을 설명한다.
도 1 은 3-D 스테레오 이미지 및 비디오를 캡처 및 처리하도록 구성된 듀얼 디지털 카메라 센서 (132, 134) 를 갖는 이동 디바이스 (130) 를 도시한다. 일반적으로, 이동 디바이스 (130) 는 디지털 이미지 및/또는 비디오 시퀀스를 캡처, 생성, 처리, 수정, 스케일링, 인코드, 디코드, 송신, 저장 및 디스플레이하도록 구 성될 수도 있다. 이동 디바이스 (130) 는 고품질 스테레오 이미지 캡처링, 여러 센서 위치, 시야각 (view angle) 미스매치 보상 및 스테레오 이미지를 처리 및 결합하는 효율적인 솔루션을 제공할 수도 있다.
이동 디바이스 (130) 는 무선 통신 디바이스, PDA (personal digital assistant), 핸드헬드 디바이스, 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 네트워크 이네이블 디지털 텔레비전, 이동 전화기, 셀룰러 전화기, 위성 전화기, 카메라 전화기, 지상 기반 무선전화기, 직접 양방향 통신 디바이스 (종종 "워키-토키" 로서 지칭됨), 캠코더 등에 표현되거나 구현될 수도 있다.
이동 디바이스 (130) 는 제 1 센서 (132), 제 2 센서 (134), 제 1 카메라 인터페이스 (136), 제 2 카메라 인터페이스 (148), 제 1 버퍼 (138), 제 2 버퍼 (150), 제 1 메모리 (146), 다이버시티 결합 모듈 (140; 또는 엔진), 카메라 프로세스 파이프라인 (142), 제 2 메모리 (154), 3-D 이미지용 다이버시티 결합 제어기 (152), MDP (144; mobile display processor), 비디오 인코더 (156), 정지 이미지 인코더 (158), 사용자 인터페이스 (120) 및 송수신기 (129) 를 포함할 수도 있다. 도 1 에 도시된 컴포넌트에 추가하여 또는 그 컴포넌트 대신에, 이동 디바이스 (130) 는 다른 컴포넌트를 포함할 수도 있다. 도 1 의 아키텍처는 단지 일 예일 뿐이다. 본원에 설명된 피처 및 기술은 여러 다른 아키텍처로 구현될 수도 있다.
센서 (132, 134) 는 디지털 카메라 센서일 수도 있다. 센서 (132, 134) 는 유사하거나 상이한 물리적 구조를 가질 수도 있다. 센서 (132, 134) 는 유사하거나 상이하게 구성된 설정을 가질 수도 있다. 센서 (132, 134) 는 정지 이미지 스냅샷 및/또는 비디오 시퀀스를 캡처할 수도 있다. 각각의 센서는 개별 센서 또는 센서 엘리먼트의 표면 상에 배열된 CFA (color filter array) 를 포함할 수도 있다.
메모리 (146, 154) 는 분리되거나 통합될 수도 있다. 메모리 (146, 154) 는 처리 전후에 이미지 또는 비디오 시퀀스를 저장할 수도 있다. 메모리 (146, 154) 는 휘발성 저장소 및/또는 비휘발성 저장소를 포함할 수도 있다. 메모리 (146, 154) 는 예를 들어, DRAM (dynamic random access memory), FLASH 메모리, NOR 또는 NAND 게이트 메모리, 또는 임의의 다른 데이터 저장 기술과 같은 임의 타입의 데이터 저장 수단을 포함할 수도 있다.
카메라 프로세스 파이프라인 (142; 또한 엔진, 모듈, 처리 유닛, VFE (video front end) 등으로 지칭됨) 은 이동 전화기용 칩 세트를 포함할 수도 있고, 이 이동 전화기용 칩 세트는 하드웨어, 소프트웨어, 펌웨어 및/또는 하나 이상의 마이크로프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 또는 그 다양한 조합을 포함할 수도 있다. 카메라 프로세스 파이프라인 (142) 은 하나 이상의 이미지 처리 기술을 수행하여 이미지 및/또는 비디오 시퀀스의 품질을 개선할 수도 있다. 아래에 설명되는 바와 같이, 도 3 은 도 1 의 카메라 프로세스 파이프라인 (142) 의 일 예를 도시한다.
비디오 인코더 (156) 는 디지털 비디오 데이터를 인코딩 (또는 압축) 및 디코딩 (또는 압축해제) 하는 인코더/디코더 (CODEC) 를 포함할 수도 있다. 비디오 인코더 (156) 는 MPEG 또는 H.264 와 같은 하나 이상의 인코딩/디코딩 표준 또는 포맷을 이용할 수도 있다.
정지 이미지 인코더 (158) 는 이미지 데이터를 인코딩 (또는 압축) 및 디코딩 (압축해제) 하는 인코더/디코더 (CODEC) 를 포함할 수도 있다. 정지 이미지 인코더 (156) 는 JPEG 와 같은 하나 이상의 인코딩/디코딩 표준 또는 포맷을 이용할 수도 있다.
송수신기 (129) 는 코딩된 이미지 또는 비디오 시퀀스를 수신하고/하거나 다른 디바이스 또는 네트워크로 송신할 수도 있다. 송수신기 (129) 는 CDMA (code division multiple access) 와 같은 무선 통신 표준을 이용할 수도 있다. CDMA 표준의 예로는, CDMA 1x EV-DO (Evolution Data Optimized) (3GPP2), WCDMA (Wideband CDMA) (3GPP) 등이 있다.
이동 디바이스 (130) 는 2-센서 카메라 아키텍처를 위해 상당히 최적화된 하드웨어 솔루션을 포함할 수도 있고, 그 비용은 단일 센서 카메라에서 이용되는 프로세스 엔진과 대략 동일할 수도 있다. 듀얼 카메라 센서 디바이스 (130) 에 일련의 모듈을 구현하여, 높은 시각 품질의 캡처된 이미지 및 비디오와, 낮은 전력 제약을 제공할 수도 있다.
이동 디바이스 (130) 는, 3-D 스테레오 이미지 및 비디오가 효율적으로 생성될 수 있도록, 2 개의 센서 (132, 134) 간에 고정된 수평 거리를 유지할 수도 있 다. 도 1 에 도시된 것과 같이, 2 개의 센서 (132, 134) 는 약 6 ㎝ 의 수평 거리만큼 분리될 수도 있지만, 6 ㎝ 보다 크거나 작은 다른 거리가 이용될 수도 있다. 제 1 센서 (132) 는 주 센서 (primary sensor) 일 수도 있고, 제 2 센서 (134) 는 보조 센서 (secondary sensor) 일 수도 있다. 넌 스테레오 모드의 경우에는 제 2 센서 (134) 를 셧 오프 (shut off) 하여 전력 소비를 줄일 수도 있다.
2 개의 버퍼 (138, 150) 는 2 개의 센서 (132, 134) 로부터의 픽셀 데이터의 하나의 행 (row) 또는 라인과 같이, 실시간 센서 입력 데이터를 저장할 수도 있다. 센서 픽셀 데이터는 소형 버퍼 (138, 150) 에 온라인 (on line) 으로 (즉, 실시간으로) 입력될 수도 있고, 센서 (132, 134) (또는 버퍼 (138, 150)) 사이에서 왕복 스위칭함으로써 오프라인으로 다이버시티 결합 모듈 (140) 및/또는 카메라 엔진 파이프라인 엔진 (142) 에 의해 처리될 수도 있다. 다이버시티 결합 모듈 (140) 및/또는 카메라 엔진 파이프라인 엔진 (142) 은 단일 센서의 데이터 레이트 속도의 약 2 배로 동작할 수도 있다. 출력 데이터 대역폭 및 메모리 요건을 줄이기 위해, 스테레오 이미지 및 비디오를 카메라 엔진 (142) 에서 합성할 수도 있다.
우선, 다이버시티 결합 모듈 (140) 은 제 1 버퍼 (138) 로부터 데이터를 선택할 수도 있다. 제 1 버퍼 (138) 의 한 행의 끝에서, 다이버시티 결합 모듈 (140) 은 제 2 버퍼 (150) 로 스위칭하여 제 2 센서 (134) 로부터의 데이터를 획득할 수도 있다. 다이버시티 결합 모듈 (140) 은 제 2 버퍼 (150) 로부터의 데이터의 한 행의 끝에서 제 1 버퍼 (138) 로 다시 스위칭할 수도 있다.
처리 전력 및 데이터 트래픽 대역폭을 줄이기 위해, 비디오 모드의 경우에 센서 이미지 데이터는 (제 1 메모리 (146) 를 바이패스하여) 버퍼 (138, 150) 를 통해 다이버시티 결합 모듈 (140) 로 직접 송신될 수도 있다. 한편, 스냅샷 (이미지) 처리 모드의 경우에, 센서 데이터는 오프라인 처리를 위해 메모리 (146) 에 저장될 수도 있다. 또한, 저전력 소비 프로파일의 경우에는, 제 2 센서 (134) 를 턴오프할 수도 있고, 카메라 파이프라인 구동 클록을 줄일 수도 있다.
스테레오 이미지 합성
도 7a 및 도 7b 와, 도 8a 및 도 8b 는 약 6 ㎝ 의 수평 거리만큼 분리된 제 1 및 제 2 센서 (132, 134) (좌안 및 우안 뷰) 로부터 캡처된 이미지의 예를 도시한다. 도 7a 및 도 7b 와, 도 8a 및 도 8b 는 (도 1 의 이동 디바이스 (130) 또는 이동 디바이스 (130) 로부터 데이터를 수신하는 어떤 다른 디바이스에서) 디스플레이를 위해 오토스테레오스코픽 시스템으로 직접 전달될 수 있는 이미지를 도시한다. 스테레오스코픽 애플리케이션의 효과를 나타내는 스테레오스코픽 디스플레이를 사용자가 보기 위해서는 3-D 안경 (3-D glasses) 을 이용해야 한다. 오토스테레오스코픽과 스테레오스코픽 간의 차이점은 스테레오스코픽 디스플레이가 3-D 안경을 필요로 한다는 것이다. 3-D 안경은 각각의 눈에 대한 정확한 뷰를 선택적으로 받아들인다. 이들 3-D 안경 상의 색 필터 (애너글리프) 에 대해, 좌안 뷰는 단지 적색 채널 데이터를 포함하고, 우안 뷰는 녹색 및 청색 채널을 포함할 수도 있다. 도 3 의 카메라 프로세스 파이프라인에 있어서, 색 채널 마스크 (328) 는 사용되지 않은 채널 데이터를 제거할 수도 있다.
도 7c 및 도 8c 는 도 7a 및 도 7b 와, 도 8a 및 도 8b 에서 2 개의 아이 뷰 (eye view) 로부터 합성된 3-D 스테레오 이미지 (애너글리프) 를 도시한다.
카메라 파이프라인
도 3 은 도 1 의 카메라 프로세스 파이프라인 (142) 의 일 예를 도시한다. 예를 들어, 카메라 프로세스 파이프라인 (142) 은 흑색 제거 모듈 (300), 렌즈 롤-오프 보정 모듈 (302), 채널 이득 모듈 (304), 불량 픽셀 보정 또는 잡음 저감 모듈 (306), 디모자이크 모듈 (308), 통계치 데이터 수집 모듈 (310), 1-D Y 매핑 모듈 (312), FOV (field of view) 크롭핑 모듈 (314), 스케일링 모듈 (316), 백색 밸런스 모듈 (318), 색 보정 모듈 (320), 살색 (skin color) 프로세서 (322), 루마 적응 모듈 (324), RGB (red/green/blue) LUT (look up table), RGB 에서 YCrCb 색 변환 또는 채널 마스크 모듈 (328), Y ASF (adaptive spatial filtering) 모듈 (330) 및 크로마 서브 모듈 (332) 을 포함할 수도 있다. 도 3 에 도시된 모듈/기능에 추가하여 또는 그 모듈/기능 대신에, 카메라 프로세스 파이프라인 (142) 은 다른 모듈 및/또는 기능을 포함할 수도 있다. 카메라 프로세스 파이프라인 (142) 의 출력은 도 1 의 제 2 메모리 (154) 에 제공될 수도 있다.
수직 미스매치 오프셋
이동 디바이스 (130) 는 2 개의 독립적인 센서 (132, 134) 로부터 캡처된 2 개의 뷰 이미지의 수직 미스매치를 신뢰성 있게 계산 및 보상할 수도 있다.
도 5 는 도 1 의 2 개의 센서 (132, 134) 에 의해 보이거나 캡처된 이미지의 예를 도시한다. 각각의 센서 (132, 134) 에 대한 유효 행 인덱스는 2 개의 센 서 (132, 134) 간에 존재하는 수직 미스매치 오프셋 (Y 오프셋으로 지칭됨) 으로부터 유도될 수도 있다. 도 6 을 참조하여 아래에 설명되는 것과 같이, 3-D 이미지용 다이버시티 결합 제어기 (152) 는 Y 오프셋을 유도할 수도 있다. 예를 들어, Y 오프셋 = 5 인 경우에, 제 1 센서 (132) 에 대한 유효 행 인덱스는 5 내지 (이미지 높이 - 1) 일 수도 있고, 제 2 센서 (134) 에 대한 유효 행 인덱스는 0 내지 (이미지 높이 - 6) 일 수도 있다. 다른 방법으로는, Y 오프셋 = -5 인 경우에, 제 1 센서 (132) 에 대한 유효 행 인덱스는 0 내지 (이미지 높이 - 6) 일 수도 있고, 제 2 센서 (134) 에 대한 유효 행 인덱스는 5 내지 (이미지 높이 - 1) 일 수도 있다. 단일 카메라 VFE 파이프라인 (142) 이 보다 높은 클록 주파수로 구동되어 2 개 센서의 출력 데이터를 소비할 수도 있다.
Y 오프셋을 추정하기 위해, Y 1-D 매핑 모듈 (312) 은 부록 A 의 의사 코드에 있어서 수직 방향 1-D 매핑 데이터 (예를 들어, Y SumSensor1[] 및 Y SumSensor2[]) 를 제공한다. 입력 행 데이터가 제 1 센서 (132) 와 제 2 센서 (134) 로부터 교대로 발생하기 때문에, 각각의 행에 대한 Y SumSensor1[] 및 Y SumSensor2[] 는 프레임의 끝에서 이용가능하게 될 것이다. Y 추정 작업이 디세이블되면, 전력 소비를 줄이도록 이러한 1-D Y 매핑 모듈 (312) 을 디세이블할 수도 있다.
채널 마스크 모듈 (328) 은 정규 이미지에 대한 색 변환 및 비디오 처리를 수행하고, 3-D 이미지 합성 시 색 채널 마스크 작업을 수행할 수도 있다. 좌안 뷰는 단지 적색 채널 데이터를 포함하고, 우안 뷰는 녹색 및 청색 채널을 포함하기 때문에, 카메라 엔진 (142) 은 단지 제 1 센서의 행 데이터에 대해 적색 채널 데이터를 송신하고, 제 2 센서의 행 데이터에 대해 녹색 및 청색 채널 데이터를 송신할 수도 있다. 따라서, 출력 데이터 트래픽 대역폭, 메모리 요건 및 스테레오 이미지를 합성하기 위한 후처리 작업을 줄일 수도 있다.
비디오 모드 처리
도 4 는 도 1 의 이동 디바이스 (130) 에 의해 수행될 수도 있는 스테레오 비디오 프로세스 흐름도를 도시한다. 스테레오 이미지 프로세스는 도 4 의 스테레오 비디오 모드 프로세스와 유사한 방식으로 구현될 수도 있다. 블록 400 에서, 수평 픽셀 인덱스는 버퍼 선택이 제 1 버퍼 (138) (제 1 센서 데이터) 또는 제 2 버퍼 (150) (제 2 센서 데이터) 인지 여부를 결정한다. 블록 402 및 블록 406 에서, 제 1 또는 제 2 버퍼 (138, 150) 로부터 각각 픽셀이 판독된다. 블록 404 및 블록 408 에서, 수직 픽셀 인덱스 (y 픽셀) 는 유효 데이터 기준을 찾기 위해 Y 오프셋 (y_offset) 과 비교되는데, 이 유효 데이터 기준은 제 1 및 제 2 센서 데이터와 상이하다. 블록 410 에서 유효 행 데이터가 다이버시티 결합 모듈 (140) 로 전송된 다음에, 블록 412 에서 카메라 파이프라인 엔진 (142) 으로 전송될 것이다. 블록 414 는 픽셀이 최종 픽셀이었는지 여부를 결정하고, 최종 픽셀이 아니면, 블록 400 으로 리턴한다. 최종 픽셀이면, 블록 418 에서의 디스플레이 또는 비디오 인코딩과 같은 추후 이용을 위해, 처리된 제 1 센서 데이터의 적색 채널 데이터와 제 2 센서 데이터의 녹색 및 청색 채널 데이터가 메모리 (154) 에 저장될 것이다 (블록 416).
센서 제어기
위치 부정확과 시야각 미스매치로 인해, 2 개의 센서의 캡처된 이미지 간에 어떤 수직 미스매치 오프셋이 존재할 수도 있다. 도 5 는 2 개의 센서의 캡처된 이미지 간의 수직 오프셋 (Y 오프셋) 을 도시한다. 2 개 센서 제어기 (152) 는 수직 방향으로 공통의 중첩된 영역에 위치한 합성된 이미지를 조절할 수도 있다. 도 5 에 도시된 것과 같이, (도 4 의 블록 404 및 블록 408 또는 도 3 의 FOV 크롭핑 모듈 (314) 에 의해) 이미지의 상부 또는 하부를 크롭핑 아웃 (crop out) 한 다음에, "합성된 이미지 높이 (composed image height)" 는 "센서 이미지 높이 (sensor image height)" 에서 Y 오프셋을 뺀 것과 같아진다.
도 6 은 도 1 의 2 개 센서 제어기 (152) 의 흐름도를 도시한다. 도 6 은 이동 디바이스 (130) 가 파워 온되는 경우 또는 센서 위치가 변하는 경우에 활성 상태일 수도 있는 추정 작업을 도시한다. 오프셋이 수직 방향에만 존재하기 때문에, 제안된 추정 솔루션은 (도 3 의 1-D Y 매핑 모듈 (312) 에 의한) 1-D Y 매핑에 의해 행해진 다음에, 1-D 상호 상관 (cross-correlation) 에 행해진다. 부록 A 는 대응하는 의사 코드의 목록을 기재한다.
수평 거리와 작은 수직 거리로 2 개의 이미지가 동시에 캡처되기 때문에, 2 개의 장면은 매우 유사하며 수평 방향으로 크게 상관될 수도 있다. 따라서, 그 프로세스는 단지 1-D 수직 매핑 및 상호 상관 검색만을 이용하여 강건하며 효율적인 목표를 달성할 수도 있다.
블록 602 및 블록 606 에서, 제 1 및 제 2 센서 (132, 134) 는 데이터를 캡 처한다. 각각의 행마다 누적된 루마 데이터는 프레임의 끝에서 이용 가능하다. 블록 604 및 블록 608 에서, 카메라 프로세스 파이프라인 (142) 은 도 3 의 1-D Y 매핑 모듈 (312) 에 의한 1-D Y 매핑으로 센서 데이터를 처리한다.
블록 610 에서, 도 1 의 제어기 (152) 는 2 개의 센서의 Y 매핑 간의 최대 상관에 대응하는 Y 오프셋을 찾는다. 2 개의 센서의 Y 매핑 데이터의 상호 상관은 도 1 의 제어기 (152) 에 의한 후처리에서 행해진다. 최대 상호 상관에 대응하는 오프셋은 유도된 Y 오프셋이다. 수직 오프셋은 시야각에 의존하는 제한된 값일 수도 있다. 또한, 검색 범위가 제한될 수도 있다.
블록 612 에서, 스테레오 이미지 처리 오류를 피하기 위해, 도 1 의 제어기 (152) 에 의해 최대 상호 상관이 임계값과 비교된다. 최대 상호 상관이 임계값보다 작으면, 스테레오 이미지가 성공적으로 합성되며, 블록 614 에서 y 오프셋이 다이버시티 결합을 위해 설정된다. 예를 들어, 임계값은 제 1 센서의 Y 매핑 데이터의 자기 상관의 90% 로서 설정될 수 있다. 즉, 제 1 센서 및 제 2 센서 데이터 간의 중첩된 이미지 에너지가 제 1 센서 데이터의 에너지의 90% 이상인 경우에만, 합성된 상태가 성공적이다. 블록 616 에 도시된 것과 같이, 최대 상호 상관이 임계값보다 작으면, 스테레오 이미지는 성공적으로 합성되지 않는다.
요약하면, 듀얼 카메라 센서 (132, 134) 를 갖는 이동 디바이스 (130) 는 고품질 스테레오 이미지 및 비디오 캡처링을 가능하게 할 수도 있다. 센서 위치, 시야각 미스매치 보상 및 2 개 뷰 (two-view) 조합과 같은 다수의 문제점이 해결될 수도 있다. 이동 디바이스 (130) 의 비용이 단일 센서 카메라 전화기에서 이용 되는 프로세스 엔진과 대략 등가로 되도록, 이동 디바이스 (130) 는 특정 애플리케이션의 저전력 제약을 만족시키기 위해 크게 최적화될 수도 있다. 한편, 유연하며 신뢰성 있는 솔루션은 2 개의 독립적인 센서 (132, 134) 로부터 캡처된 2 개의 뷰 이미지의 수직 미스매치를 계산 및 보상하여 높은 시각 품질을 보장할 수도 있다.
2 개의 센서를 갖는 디바이스 (적어도 하나의 센서가 이동 가능함)
도 9 는 2 개 이상의 센서 (102, 104) 를 갖는 이동 디바이스 (100) 의 다른 구성을 도시한다. 이동 디바이스 (100) 는 상술한 기능들 중 하나 이상을 구현하도록 구성될 수도 있다. 이동 디바이스 (100) 는 디지털 이미지 및/또는 비디오 시퀀스를 캡처, 생성, 프로세스, 수정, 스케일링, 인코드, 디코드, 송신, 저장 및 디스플레이하도록 구성될 수도 있다. 이동 디바이스 (100) 는 무선 통신 디바이스, PDA (personal digital assistant), 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 네트워크 이네이블 디지털 텔레비전, 이동 전화기, 셀룰러 전화기, 위성 전화기, 카메라 전화기, 지상 기반 무선전화기, 직접 양방향 통신 디바이스 (종종 "워키-토키" 로서 지칭됨) 등과 같은 디바이스에 표현되거나 구현될 수도 있다.
이동 디바이스 (100) 는 제 1 센서 (102), 제 2 센서 (104), 센서 위치 제어기 (106), 카메라 프로세스 파이프라인 (108), 디스플레이 (110), 비디오 인코더 (112), 정지 이미지 인코더 (114), 메모리 (116), 카메라 제어기 (118), 사용자 인터페이스 (120), 프로세서 (128) 및 송수신기 (129) 를 포함할 수도 있다. 도 9 에 도시된 컴포넌트에 추가하여 또는 그 컴포넌트 대신에, 이동 디바이스 (100) 는 다른 컴포넌트를 포함할 수도 있다. 도 9 에 도시된 아키텍처는 단지 일 예일 뿐이다. 본원에 설명된 피처 및 기술은 여러 다른 아키텍처로 구현될 수도 있다.
센서 (102, 104) 는 디지털 카메라 센서일 수도 있다. 센서 (102, 104) 는 정지 이미지 스냅샷 및/또는 비디오 시퀀스를 캡처할 수도 있다. 각각의 센서는 개별 센서 또는 센서 엘리먼트의 표면 상에 배열된 CFA (color filter array) 를 포함할 수도 있다.
메모리 (116) 는 처리 전후에 이미지 또는 비디오 시퀀스를 저장할 수도 있다. 메모리 (116) 는 휘발성 저장소 및 비휘발성 저장소를 포함할 수도 있다. 메모리 (116) 는 예를 들어, DRAM (dynamic random access memory), FLASH 메모리, NOR 또는 NAND 게이트 메모리, 또는 임의의 다른 데이터 저장 기술과 같은 임의 타입의 데이터 저장 수단을 포함할 수도 있다.
카메라 프로세스 파이프라인 (108; 또한 엔진, 모듈, 처리 유닛 등으로 지칭됨) 은 이동 전화기용 칩 세트를 포함할 수도 있고, 이 이동 전화기용 칩 세트는 하드웨어, 소프트웨어, 펌웨어 및/또는 하나 이상의 마이크로프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 또는 그 다양한 조합을 포함할 수도 있다. 카메라 프로세스 파이프라인 (108) 은 하나 이상의 이미지 처리 기술을 수행하여 이미지 및/또는 비디오 시퀀스의 품질을 개선할 수도 있다. 예를 들어, 카 메라 프로세스 파이프라인 (108) 은 디모자이킹, 렌즈 롤오프 보정, 스케일링, 색 보정, 색 변환 및 공간 필터링과 같은 기술을 수행할 수도 있다. 또한, 카메라 프로세스 파이프라인 (108) 은 다른 기술을 수행할 수도 있다.
비디오 인코더 (112) 는 디지털 비디오 데이터를 인코딩 (또는 압축) 및 디코딩 (또는 압축해제) 하는 인코더/디코더 (CODEC) 를 포함할 수도 있다.
정지 이미지 인코더 (114) 는 이미지 데이터를 인코딩 (또는 압축) 및 디코딩 (압축해제) 하는 인코더/디코더 (CODEC) 를 포함할 수도 있다.
송수신기 (129) 는 코딩된 이미지 또는 비디오 시퀀스를 수신하고/하거나 다른 디바이스 또는 네트워크로 송신할 수도 있다. 송수신기 (129) 는 CDMA (code division multiple access) 와 같은 무선 통신 표준을 이용할 수도 있다. CDMA 표준의 예로는, CDMA 1x EV-DO (Evolution Data Optimized), WCDMA (Wideband CDMA) 등이 있다.
센서의 추가 상세
이하, 2 개의 별개의 센서 (102, 104) 를 갖는 이동 디바이스 (100) 의 설계 및 피처를 설명한다. 센서 (102, 104) 는 2 개의 양태를 가질 수도 있다. 첫째로, 센서 위치 제어기 (106) 는 예를 들어, 하나 이상의 방향으로 센서 (102, 104) 를 회전, 이동 또는 활주시키는 것과 같이, 2 개의 센서 (102, 104) 의 로케이션 및/또는 위치를 조정할 수도 있다. 도 9 에는 몇몇 이동 예가 도시되어 있지만, 다른 2 차원 (2-D) 또는 3 차원 (3-D) 이동이 구현될 수도 있다. 그 이동은 사용자 및/또는 카메라 제어기 (118) 에 의해 설정될 수도 있다. 조정 가능한 센서 (102, 104) 는 이미지 품질 향상, 3-D 이미지 및 비디오 시각화 및 360 도 파노라마 비디오 생성과 같은 다수의 진보된 피처를 가능하게 할 수도 있다.
그 이동은 일 시간 기간 동안 고정되거나 주파수에 따라 교대로 일어날 수도 있다. 일 구성에 있어서, 이동 디바이스 (100) 는 3 개 이상의 센서를 포함하고, 그 센서들은 일렬로, 삼각형으로, 원형으로 또는 어떤 다른 패턴으로 배열된다. 본 구성에 있어서, 이동 디바이스 (100) 는 어떤 센서도 이동함 없이 어떤 센서를 활성화시키고 다른 센서를 비활성화시킬 수도 있다. 이러한 구성은 센서 이동으로부터 발생하는 문제를 피할 수도 있다.
둘째로, 보다 진보된 피처 및/또는 이미지 처리 애플리케이션을 가능하게 하도록, 해상도와 같은 센서 (102, 104) 의 여러 설정이 조정 가능할 수도 있다. 듀얼 센서 (102, 104) 는 이동 디바이스 (100) 의 이미지 처리 유연성을 개선할 수도 있다.
도 10 은 도 9 의 이동 디바이스 (100) 를 이용하는 비디오 모드 처리 방법을 도시한다. 도 10 은 도 1 내지 도 8c 를 참조하여 설명된 기능들 중 임의의 기능을 포함하도록 조합되거나 수정될 수도 있다. 블록 202 및 블록 204 에서, 센서 (102, 104) 는 이미지를 캡처하고 픽셀 데이터를 카메라 프로세스 파이프라인 (108) 으로 전송하는데, 이 카메라 프로세스 파이프라인 (108) 은 VFE (video front end) 에 구현되거나 VFE 와 함께 결합될 수도 있다. 블록 206 및 블록 208 에서, 카메라 프로세스 파이프라인 (108) 은 픽셀 데이터를 처리한다. 예 를 들어, 카메라 프로세스 파이프라인 (108) 은 색을 조정하고, 크기를 스케일링하며 이미지 콘트라스트를 향상시킴으로써 이미지 품질을 개선할 수도 있다.
블록 210 에서, 카메라 프로세스 파이프라인 (108) 은 2 개의 센서 (102, 104) 로부터 캡처된 피처리 이미지를 결합 (또는 스티치 (stitch)) 할 수도 있다. 결합된 이미지는 디스플레이 (110) 에 의한 디스플레이 및/또는 인코더 (112, 114) 에 의한 정지 이미지 및/또는 비디오 인코딩을 위해 메모리 (116) 에 저장될 수도 있다 (블록 214). 결정 블록 212 는 캡처 및 프로세스할 픽셀 데이터가 더 있는지 여부를 결정한다.
2 개의 센서 (102, 104) 는 하나 이상의 이점을 제공할 수도 있다. 첫째로, 관찰자의 시야각은 센서 위치를 조정함으로써 제어 가능할 수도 있다. 둘째로, 2 개의 센서 (102, 104) 로부터의 입력 이미지는 함께 처리 및 합성될 수도 있다. 셋째로, 2 개의 센서 (102, 104) 간의 수평 거리는 조정 가능할 수도 있다. 이들 이점들 중 하나 이상은 유연성 및 성능을 증가시켜 넓은 범위의 진보된 피처를 지원할 수도 있다.
본원에 설명된 기술은 특정 애플리케이션에 대한 센서 위치 설정 및 제어 구성에 따라 다를 수도 있다. 저전력 소비 프로파일의 경우에는, 제 2 센서 (104) 를 턴오프할 수도 있고, 카메라 파이프라인 구동 클록을 줄일 수 있다.
조정 가능한 센서 위치
센서 (102, 104) 가 3 개의 위치 또는 로케이션에 존재할 수도 있어, 유연성을 제공하며 진보된 피처를 가능하게 할 수도 있다.
2 개의 센서 (102, 104) 서로 매우 가깝게 위치할 수도 있다. 2 개의 센서 (102, 104) 가 사실상 동일한 뷰 포트 (view port) 를 지향하고 있는 경우에, 즉, 2 개의 센서 (102, 104) 간의 이론상 거리가 0 에 근접하는 경우에, 캡처된 이미지 및/또는 비디오 품질은 크게 향상될 수도 있다. 캡처된 이미지들을 이동시켜 캡처된 이미지들을 하나의 이미지로 병합하는데 조정 알고리즘을 이용할 수도 있다.
랜덤 이미지 잡음은 특히 낮은 조명 환경에서 문제가 될 수도 있다. 2 개의 센서 (102, 104) 를 갖는 수신 다이버시티는 시간 다이버시티로 인한 중첩된 이미지 블러링 또는 노출 시간의 제약 없이 센서 잡음을 줄이는 좋은 솔루션일 수도 있다. 2 개의 센서 (102, 104) 는 2 개의 센서 (102, 104) 의 캡처된 장면 간의 차이를 줄이도록 서로 가까이 배치될 수도 있다. 센서 잡음 분포가 독립적일 수도 있고, 동일한 분산을 가질 수도 있다. 2 개의 센서 (102, 104) 로부터의 2 개의 처리된 이미지를 결합한 후에, SNR (signal to noise ratio) 은 다음 식과 같이 계산될 수도 있다.
Figure 112009010669049-PCT00001
여기서, S1 및 S2 는 센서 (102) 및 (104) 로부터 캡처된 이미지의 신호이고, var(N1) 및 var(N2) 는 각각 센서 (102) 및 센서 (104) 로부터의 센서 잡음 이미지 분산이다. SNR 은 2 개의 센서의 이미지 또는 비디오를 결합한 다음에 3 dB (decibel) 만큼 크게 개선될 수도 있다.
본원에는 듀얼 카메라 센서를 갖는 이동 디바이스가 설명되어 있다. 이동 디바이스에 있어서, 센서의 설정과 위치 모두는 조정 가능할 수도 있다. 지능형 피처 적응 이미지 결합 엔진은 이미지 품질 개선, 3-D 이미지 및 비디오 시각화 및 360 도 파노라마 비디오 생성과 같은 진보된 피처 또는 애플리케이션을 제공할 수도 있다.
본원에 개시된 양태와 관련하여 설명된 여러 예시적인 논리 블록, 모듈, 회로 및 알고리즘 단계는 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이러한 호환 가능성을 명확히 설명하기 위해, 여러 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계는 일반적으로 그 기능성의 관점에서 상술되었다. 그러한 기능성이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과된 설계 제약 및 특정 애플리케이션에 따라 다르다. 당업자라면, 각각의 특정 애플리케이션에 대해 여러 방식으로 설명된 기능성을 구현할 수도 있지만, 그러한 구현 결정은 한정적인 것으로서 해석되지 않아야 한다.
본원에 개시된 양태와 관련하여 설명된 여러 예시적인 논리 블록, 모듈 및 회로는 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트 또는 트랜지스터 논리, 이산 하드웨어 컴포넌트, 또는 본원에 설명된 기능을 수행하도록 설계된 그 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로는, 범용 프로세서는 임의의 통상적인 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 또한, 프로세서는 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성과 같은, 컴퓨팅 디바이스의 조합으로서 구현될 수도 있다.
본원에 개시된 실시형태와 관련하여 설명된 방법 또는 알고리즘의 액션 (action) 은 하드웨어에 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에, 또는 양자의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기입할 수 있도록, 프로세서에 저장 매체가 연결된다. 다른 방법으로는, 저장 매체는 프로세서와 일체로 형성될 수도 있다. 프로세서와 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 은 사용자 단말기에 상주할 수도 있다. 다른 방법으로는, 프로세서와 저장 매체는 사용자 단말기에 이산 컴포넌트로서 상주할 수도 있다.
당업자라면, 설명된 양태에 대한 여러 변형을 명확히 알 수 있고, 본원에 정 의된 일반적인 원리는 본 개시내용의 사상이나 범위로부터 일탈함이 없이 다른 실시형태에 적용될 수도 있다. 따라서, 본 개시내용은 본원에 도시된 실시형태에 한정되는 것이 아니라, 본원에 개시된 원리 및 신규한 피처와 부합하는 최광의 범위가 부여된다.
부록 A
미스매치 오프셋 계산에 대한 의사 코드:
Figure 112009010669049-PCT00002

Claims (32)

  1. 제 1 이미지 센서;
    상기 제 1 이미지 센서로부터 떨어져 이격되어 있는 제 2 이미지 센서;
    상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 이미지 데이터를 결합하는 다이버시티 결합 모듈; 및
    상기 다이버시티 결합 모듈로부터의 결합된 이미지 데이터를 처리하도록 구성된 이미지 처리 모듈을 포함하는, 장치.
  2. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 스테레오스코픽 (stereoscopic) 디스플레이를 위해 애너글리프 (anaglyph) 이미지를 생성하도록 구성되는, 장치.
  3. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 오토스테레오스코픽 (autostereoscopic) 디스플레이 상에 직접 시각화되는 애너글리프 이미지를 생성하도록 구성되는, 장치.
  4. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 스테레오스코픽 디스플레이를 위해 애너글리프 비디오를 생성하도록 구성되는, 장치.
  5. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 오토스테레오스코픽 디스플레이 상에 직접 시각화되는 애너글리프 비디오를 생성하도록 구성되는, 장치.
  6. 제 1 항에 있어서,
    상기 제 1 이미지 센서로부터의 데이터를 저장하는 제 1 버퍼; 및
    상기 제 2 이미지 센서로부터의 데이터를 저장하는 제 2 버퍼를 더 포함하고,
    상기 다이버시티 결합 모듈은 상기 제 1 버퍼와 상기 제 2 버퍼로부터 데이터를 교대로 수신하도록 구성되는, 장치.
  7. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 데이터에 대한 수직 방향 1 차원 매핑을 제공하도록 구성된 매핑 모듈을 포함하는, 장치.
  8. 제 7 항에 있어서,
    상기 매핑 모듈로부터의 수직 방향 1 차원 매핑 데이터를 상관시키고; 또한
    상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 이미지 데이터의 수직 매핑의 최대 상관에 대응하는 수직 미스매치 오프셋 (mismatch offset) 을 찾도록 구성된 제어기를 더 포함하고,
    상기 다이버시티 결합 모듈은 상기 수직 미스매치 오프셋을 이용하여 상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 이미지 데이터를 결합하는, 장치.
  9. 제 8 항에 있어서,
    상기 다이버시티 결합 모듈은,
    상기 수직 미스매치 오프셋을 상기 제 1 이미지 센서로부터의 제 1 픽셀의 수직 인덱스와 비교하고;
    상기 제 1 이미지 센서로부터의 제 1 픽셀의 수직 인덱스가 상기 수직 미스매치 오프셋보다 크면, 상기 제 1 픽셀을 상기 이미지 처리 모듈로 전송하고;
    상기 수직 미스매치 오프셋을 상기 제 2 이미지 센서로부터의 제 2 픽셀의 수직 인덱스와 비교하며; 또한
    상기 제 2 이미지 센서로부터의 제 2 픽셀의 수직 인덱스가 이미지 높이 (image height) 에서 상기 수직 미스매치 오프셋을 뺀 것보다 작으면, 상기 제 2 픽셀을 상기 이미지 처리 모듈로 전송하도록 구성되는, 장치.
  10. 제 8 항에 있어서,
    상기 제어기는 상기 수직 미스매치 오프셋을 임계값과 비교하여 스테레오 이 미지의 합성 실패가 존재했는지 여부를 결정하도록 구성되는, 장치.
  11. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 상기 제 1 이미지 센서와 상기 제 2 이미지 센서에 의해 캡처된 이미지들의 흑색 제거 (black subtraction), 렌즈 롤-오프 보정 (lens roll-off correction), 채널 이득 조정, 불량 픽셀 보정, 디모자이킹 (demosaicing), 크롭핑 (cropping), 스케일링 (scaling), 백색 밸런싱 (white balancing), 색 보정, 루마 적응 (luma adaptation), 색 변환, 및 이미지 콘트라스트의 향상 중 적어도 하나를 수행하도록 구성되는, 장치.
  12. 제 1 항에 있어서,
    상기 이미지 처리 모듈은 색 채널 마스크 작업을 수행하여 3 차원 이미지들을 합성하도록 구성된 색 변환 모듈을 포함하는, 장치.
  13. 제 12 항에 있어서,
    상기 이미지 처리 모듈은 상기 제 1 이미지 센서의 행 데이터 (row data) 에 대해 적색 채널 데이터를 출력하고, 상기 제 2 이미지 센서의 행 데이터에 대해 녹색 및 청색 채널 데이터를 출력하는, 장치.
  14. 제 1 항에 있어서,
    상기 제 1 이미지 센서와 상기 제 2 이미지 센서는 약 6 센티미터 떨어져 위치하는, 장치.
  15. 제 1 항에 있어서,
    상기 제 2 이미지 센서는 상기 장치가 저전력 모드 (low power mode) 에 들어가는 경우에 비활성화되도록 구성되는, 장치.
  16. 제 1 항에 있어서,
    이동 전화기인, 장치.
  17. 제 1 항에 있어서,
    무선 신호들을 송신 및 수신하도록 구성된 송수신기를 더 포함하는, 장치.
  18. 제 1 이미지 센서를 이용하여 제 1 이미지를 센싱하는 단계;
    상기 제 1 이미지 센서로부터 떨어져 이격되어 있는 제 2 이미지 센서를 이용하여 제 2 이미지를 센싱하는 단계;
    상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 이미지 데이터를 다이버시티 결합하는 단계; 및
    애너글리프 이미지를 생성하도록 상기 결합된 이미지 데이터를 처리하는 단계를 포함하는, 방법.
  19. 제 18 항에 있어서,
    상기 애너글리프 이미지를 스테레오스코픽 디스플레이를 위해 준비하는 단계를 더 포함하는, 방법.
  20. 제 18 항에 있어서,
    오토스테레오스코픽 디스플레이 상에 직접 시각화되는 상기 애너글리프 이미지를 준비하는 단계를 더 포함하는, 방법.
  21. 제 18 항에 있어서,
    스테레오스코픽 디스플레이를 위해 애너글리프 비디오를 생성하는 단계를 더 포함하는, 방법.
  22. 제 18 항에 있어서,
    오토스테레오스코픽 디스플레이 상에 직접 시각화되는 애너글리프 비디오를 생성하는 단계를 더 포함하는, 방법.
  23. 제 18 항에 있어서,
    상기 제 1 이미지 센서로부터의 데이터를 저장하는 단계; 및
    상기 제 2 이미지 센서로부터의 데이터를 저장하는 단계를 더 포함하고,
    상기 다이버시티 결합하는 단계는 제 1 버퍼와 제 2 버퍼로부터 데이터를 교대로 수신하는 단계를 포함하는, 방법.
  24. 제 18 항에 있어서,
    상기 결합된 이미지 데이터를 처리하는 단계는 상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 데이터에 대한 수직 방향 1 차원 매핑을 제공하는 단계를 포함하는, 방법.
  25. 제 24 항에 있어서,
    수직 방향 1 차원 매핑 데이터를 상관시키는 단계; 및
    상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 이미지 데이터의 수직 매핑의 최대 상관에 대응하는 수직 미스매치 오프셋을 찾는 단계를 더 포함하고,
    상기 다이버시티 결합하는 단계는 상기 수직 미스매치 오프셋을 이용하여 상기 제 1 이미지 센서와 상기 제 2 이미지 센서로부터의 이미지 데이터를 결합하는 단계를 포함하는, 방법.
  26. 제 24 항에 있어서,
    상기 다이버시티 결합하는 단계는,
    상기 제 1 이미지 센서로부터의 제 1 픽셀의 수직 인덱스와 수직 미스매치 오프셋을 비교하는 단계;
    상기 제 1 이미지 센서로부터의 제 1 픽셀의 수직 인덱스가 상기 수직 미스매치 오프셋보다 크면, 상기 제 1 픽셀을 처리하는 단계;
    상기 수직 미스매치 오프셋을 상기 제 2 이미지 센서로부터의 제 2 픽셀의 수직 인덱스와 비교하는 단계; 및
    상기 제 2 이미지 센서로부터의 제 2 픽셀의 수직 인덱스가 이미지 높이에서 상기 수직 미스매치 오프셋을 뺀 것보다 작으면, 상기 제 2 픽셀을 처리하는 단계를 포함하는, 방법.
  27. 제 24 항에 있어서,
    수직 미스매치 오프셋을 임계값과 비교하여 스테레오 이미지의 합성 실패가 존재했는지 여부를 결정하는 단계를 더 포함하는, 방법.
  28. 제 18 항에 있어서,
    상기 결합된 이미지 데이터를 처리하는 단계는 상기 제 1 이미지 센서와 상기 제 2 이미지 센서에 의해 캡처된 이미지들의 흑색 제거, 렌즈 롤-오프 보정, 채널 이득 조정, 불량 픽셀 보정, 디모자이킹, 크롭핑, 스케일링, 백색 밸런싱, 색 보정, 루마 적응, 색 변환, 및 이미지 콘트라스트의 향상 중 적어도 하나를 수행하는 단계를 포함하는, 방법.
  29. 제 18 항에 있어서,
    상기 결합된 이미지 데이터를 처리하는 단계는 3 차원 이미지들을 합성하도록 색 채널 마스크 작업을 수행하는 단계를 포함하는, 방법.
  30. 제 29 항에 있어서,
    상기 결합된 이미지 데이터를 처리하는 단계는 상기 제 1 이미지 센서의 행 데이터에 대해 적색 채널 데이터를 출력하고, 상기 제 2 이미지 센서의 행 데이터에 대해 녹색 및 청색 채널 데이터를 출력하는, 방법.
  31. 제 18 항에 있어서,
    상기 제 2 이미지 센서를 저전력 모드에서 비활성화시키는 단계를 더 포함하는, 방법.
  32. 제 18 항에 있어서,
    무선 신호들을 송신 및 수신하는 단계를 더 포함하는, 방법.
KR1020097003531A 2006-07-25 2007-07-25 듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법 KR101066052B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/493,434 US8456515B2 (en) 2006-07-25 2006-07-25 Stereo image and video directional mapping of offset
US11/493,434 2006-07-25

Publications (2)

Publication Number Publication Date
KR20090033487A true KR20090033487A (ko) 2009-04-03
KR101066052B1 KR101066052B1 (ko) 2011-09-20

Family

ID=38670618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097003531A KR101066052B1 (ko) 2006-07-25 2007-07-25 듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법

Country Status (6)

Country Link
US (1) US8456515B2 (ko)
EP (1) EP2055111B1 (ko)
JP (2) JP5185267B2 (ko)
KR (1) KR101066052B1 (ko)
CN (1) CN101496415B (ko)
WO (1) WO2008014350A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428635B1 (ko) * 2011-07-20 2014-08-08 브로드콤 코포레이션 듀얼 이미지 캡쳐 프로세싱

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
KR100810265B1 (ko) * 2006-08-07 2008-03-06 삼성전자주식회사 휴대단말기의 영상 촬영 장치 및 방법
US8749575B2 (en) * 2007-03-07 2014-06-10 Telefonaktiebolaget L M Ericssson (Publ) Display controller, electronic apparatus and method for creating a translucency effect using color model transform
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US20110098083A1 (en) * 2008-05-19 2011-04-28 Peter Lablans Large, Ultra-Thin And Ultra-Light Connectable Display For A Computing Device
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US10831093B1 (en) * 2008-05-19 2020-11-10 Spatial Cam Llc Focus control for a plurality of cameras in a smartphone
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US9736368B2 (en) 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8249332B2 (en) * 2008-05-22 2012-08-21 Matrix Electronic Measuring Properties Llc Stereoscopic measurement system and method
US8326022B2 (en) * 2008-05-22 2012-12-04 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
ES2622485T3 (es) * 2008-05-22 2017-07-06 Matrix Electronic Measuring Properties, Llc Sistema y método de medición estereoscópicos
US9449378B2 (en) 2008-05-22 2016-09-20 Matrix Electronic Measuring Properties, Llc System and method for processing stereoscopic vehicle information
ES2625729T3 (es) * 2008-05-22 2017-07-20 Matrix Electronic Measuring Properties, Llc Sistema y método de medición estereoscópica
US8345953B2 (en) * 2008-05-22 2013-01-01 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
KR100910175B1 (ko) * 2009-04-06 2009-07-30 (주)에이직뱅크 입체영상 생성용 이미지센서
JP2010252046A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮像装置
TW201040581A (en) * 2009-05-06 2010-11-16 J Touch Corp Digital image capturing device with stereo image display and touch functions
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP5167222B2 (ja) * 2009-09-17 2013-03-21 富士フイルム株式会社 固体電子撮像装置の白バランス調整システムおよびその動作制御方法
TWI394097B (zh) * 2009-10-12 2013-04-21 Nat Univ Tsing Hua 移動物體的偵測方法以及偵測系統
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
JP5413184B2 (ja) * 2009-12-24 2014-02-12 ソニー株式会社 カメラシステム及びカメラ制御方法
KR101643607B1 (ko) * 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
CN102170571A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种支持双通道cmos传感器的数码相机架构
US20110316971A1 (en) * 2010-06-28 2011-12-29 Jianping Zhou Single pipeline stereo image capture
US8588600B2 (en) * 2010-07-27 2013-11-19 Texas Instruments Incorporated Stereoscopic auto-focus based on coordinated lens positions
ES2374348B1 (es) * 2010-08-04 2012-10-22 Engineea Remote Technologies, S.L Dispositivo de grabación en tres dimensiones para teléfonos móviles.
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
GB2483433A (en) * 2010-08-31 2012-03-14 Sony Corp 3D image adjustment based on differences in colour properties between stereo pair
CN103081483A (zh) * 2010-09-08 2013-05-01 日本电气株式会社 摄影设备和摄影方法
KR101723235B1 (ko) * 2010-10-04 2017-04-04 삼성전자주식회사 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법
US20120105584A1 (en) * 2010-10-28 2012-05-03 Gallagher Andrew C Camera with sensors having different color patterns
US20120106840A1 (en) * 2010-10-28 2012-05-03 Amit Singhal Combining images captured with different color patterns
DE102010062496B4 (de) * 2010-12-07 2022-01-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
US8633989B2 (en) * 2010-12-16 2014-01-21 Sony Corporation 3D camera phone
JP4991930B2 (ja) * 2010-12-20 2012-08-08 株式会社東芝 立体映像信号処理装置及び方法
TWI474720B (zh) * 2011-01-10 2015-02-21 Etron Technology Inc 應用於網路攝影機的通用序列匯流排裝置與其控制的方法
US20120188409A1 (en) * 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
US20110298916A1 (en) * 2011-04-18 2011-12-08 Lmi Technologies Ltd. Sensor system processing architecture
CN102289225A (zh) 2011-04-22 2011-12-21 钰创科技股份有限公司 应用于网络摄影机的通用序列总线装置与其控制的方法
JP5629642B2 (ja) * 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
US9560334B2 (en) 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
US20130070051A1 (en) * 2011-09-20 2013-03-21 Cheng-Tsai Ho Video encoding method and apparatus for encoding video data inputs including at least one three-dimensional anaglyph video, and related video decoding method and apparatus
US8374421B1 (en) * 2011-10-18 2013-02-12 Google Inc. Methods and systems for extracting still frames from a compressed video
US9076269B2 (en) * 2012-01-31 2015-07-07 Sony Corporation Method and electronic device for creating a combined image
TWI446089B (zh) * 2012-04-24 2014-07-21 Wistron Corp 鏡頭擴充座
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP6151935B2 (ja) 2013-03-11 2017-06-21 日東電工株式会社 経皮吸収促進用組成物および貼付製剤
DE112013007165A5 (de) * 2013-06-13 2016-03-10 Leica Camera Ag Kamera mit opto-elektronischem Entfernungsmesser
US10497140B2 (en) * 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
KR102126487B1 (ko) 2013-10-24 2020-06-24 삼성전자주식회사 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
CN103986874A (zh) 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
CN105446631B (zh) * 2014-08-19 2019-02-12 昆山纬绩资通有限公司 具有照相功能的电子装置及照相方法
CN104661003B (zh) * 2015-02-04 2016-09-07 苏州佳世达电通有限公司 电子装置及其色彩校正方法
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US10264238B2 (en) * 2015-11-12 2019-04-16 Bitanimate, Inc. Stereoscopic mapping
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP6590718B2 (ja) * 2016-02-03 2019-10-16 キヤノン株式会社 情報処理装置及びその制御方法
US20170366799A1 (en) * 2016-06-20 2017-12-21 Bitanimate, Inc. Stereoscopic aerial-view images
KR102524498B1 (ko) * 2016-07-06 2023-04-24 삼성전자주식회사 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
US10389948B2 (en) 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
WO2018164930A1 (en) * 2017-03-08 2018-09-13 Vid Scale, Inc. Improving motion vector accuracy by sharing cross-information between normal and zoom views
US10531067B2 (en) 2017-03-26 2020-01-07 Apple Inc. Enhancing spatial resolution in a stereo camera imaging system
CN109391764A (zh) * 2017-08-10 2019-02-26 聚晶半导体股份有限公司 双摄像头图像获取装置及其摄像方法
JP2019035703A (ja) * 2017-08-21 2019-03-07 株式会社東芝 放射線検出器、および放射線検出装置
US11218632B2 (en) * 2019-11-01 2022-01-04 Qualcomm Incorporated Retractable panoramic camera module

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4734756A (en) 1981-12-31 1988-03-29 3-D Video Corporation Stereoscopic television system
JPS6411490A (en) 1987-07-03 1989-01-17 Sharp Kk Vertical position adjusting device for stereoscopic video signal
JPH0787600B2 (ja) * 1991-06-06 1995-09-20 株式会社エイ・ティ・アール視聴覚機構研究所 視差補正装置
JPH0888868A (ja) * 1994-09-20 1996-04-02 Canon Inc 複眼撮像装置
US5742330A (en) * 1994-11-03 1998-04-21 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JPH10224823A (ja) 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
JP3667105B2 (ja) 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
JPH11146425A (ja) * 1997-11-11 1999-05-28 Canon Inc 複眼カメラ及び複眼カメラシステム並びに複眼カメラ制御方法
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP2000036968A (ja) * 1998-07-21 2000-02-02 Canon Inc 複眼撮像装置及び複眼撮像方法
GB9922099D0 (en) 1999-09-18 1999-11-17 Ebanks Andrew An optical viewing device
US6671399B1 (en) 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
JP2003004442A (ja) 2001-06-20 2003-01-08 Fujitsu Ten Ltd 測距装置
GB2394850A (en) 2002-10-29 2004-05-05 Nec Technologies A cell phone that can take stereo images
JP4090896B2 (ja) * 2003-01-16 2008-05-28 シャープ株式会社 情報端末装置
CN100458559C (zh) * 2003-06-23 2009-02-04 宋柏君 立体数码相机及成像显示方法
WO2005079078A1 (ja) * 2004-02-17 2005-08-25 Seijiro Tomita 立体映像記録・再生方法並びにこれを表示する立体映像表示装置
FR2873214B1 (fr) 2004-07-13 2008-10-10 Canon Res Ct France S A S Soc Procede et dispositif d'obtention d'un signal stereoscopique
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법
US7760109B2 (en) * 2005-03-30 2010-07-20 Memsic, Inc. Interactive surveillance network and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428635B1 (ko) * 2011-07-20 2014-08-08 브로드콤 코포레이션 듀얼 이미지 캡쳐 프로세싱
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing

Also Published As

Publication number Publication date
JP2009545081A (ja) 2009-12-17
JP2013048450A (ja) 2013-03-07
CN101496415A (zh) 2009-07-29
CN101496415B (zh) 2011-03-02
JP5539474B2 (ja) 2014-07-02
EP2055111B1 (en) 2016-05-04
KR101066052B1 (ko) 2011-09-20
WO2008014350A1 (en) 2008-01-31
JP5185267B2 (ja) 2013-04-17
US20080024596A1 (en) 2008-01-31
US8456515B2 (en) 2013-06-04
EP2055111A1 (en) 2009-05-06

Similar Documents

Publication Publication Date Title
KR101066052B1 (ko) 듀얼 디지털 센서를 갖는 스테레오 이미지 및 비디오 캡처링 디바이스 및 그 이용 방법
US8189100B2 (en) Mobile device with dual digital camera sensors and methods of using the same
EP3067746B1 (en) Photographing method for dual-camera device and dual-camera device
US9167224B2 (en) Image processing device, imaging device, and image processing method
WO2018132231A1 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US20050207486A1 (en) Three dimensional acquisition and visualization system for personal electronic devices
US20120050478A1 (en) Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
EP4195650A1 (en) Photographing method and electronic device
US11776089B2 (en) Apparatus and methods for non-uniform downsampling of captured panoramic images
WO2013146067A1 (ja) 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
EP3349444A1 (en) Method for processing media content and technical equipment for the same
EP2485494A1 (en) Method and system for utilizing depth information as an enhancement layer
KR100703713B1 (ko) 3차원 영상 획득 및 디스플레이가 가능한 3차원 모바일 장치
EP3494691A1 (en) Method for temporal inter-view prediction and technical equipment for the same
WO2021168185A1 (en) Method and device for processing image content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 8