KR102302004B1 - 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 - Google Patents

듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 Download PDF

Info

Publication number
KR102302004B1
KR102302004B1 KR1020207012571A KR20207012571A KR102302004B1 KR 102302004 B1 KR102302004 B1 KR 102302004B1 KR 1020207012571 A KR1020207012571 A KR 1020207012571A KR 20207012571 A KR20207012571 A KR 20207012571A KR 102302004 B1 KR102302004 B1 KR 102302004B1
Authority
KR
South Korea
Prior art keywords
camera
image sensor
frame
sensor
isp
Prior art date
Application number
KR1020207012571A
Other languages
English (en)
Other versions
KR20200049906A (ko
Inventor
노이 코헨
갈 샤브타이
오뎃 기구신스키
나답 게바
아나트 레셈
길 바쳐
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority to KR1020217028693A priority Critical patent/KR102521406B1/ko
Publication of KR20200049906A publication Critical patent/KR20200049906A/ko
Application granted granted Critical
Publication of KR102302004B1 publication Critical patent/KR102302004B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/225—
    • H04N5/23203—
    • H04N5/23241—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

제 1 센서 및 제 1 이미지 신호 프로세서(ISP)를 갖고 제 1 프레임 스트림을 출력하도록 동작하는 제 1 카메라, 제 2 센서 및 제 2 ISP를 갖고 제 2 프레임 스트림을 출력하도록 동작하는 제 2 카메라, 및 완전 작동 모드에서 한쪽 카메라의 동작을 제어하고 부분 작동 모드에서 다른 쪽 카메라의 동작을 제어하며 또한 완전 동작 카메라의 출력 사항을 듀얼 애퍼처 카메라 출력 사항으로서 출력하도록 구성 가능한 동기화 및 동작 제어 모듈을 포함하며, 이에 따라, 부분 작동 모드의 상기 다른 쪽 카메라는 완전 작동 모드의 상기 다른 쪽 카메라에 비해 듀얼 애퍼처 카메라 전력 소모를 감소시킨다.

Description

듀얼 애퍼처 카메라 시스템에서의 프레임 동기화{FRAME SYNCHRONIZATION IN A DUAL-APERTURE CAMERA SYSTEM}
관련 출원에 대한 상호 참조
본 출원은 2006년 6월 19일자로 출원된 미국 가출원 제62/351,990호로부터 우선권을 주장하며, 이 문헌의 전체 내용은 참조로서 본 명세서에 포함된다.
분야
본 명세서에 개시된 실시예들은 일반적으로 2개 이상의 카메라를 포함하는 카메라 시스템("듀얼 카메라" 또는 "듀얼 애퍼처 카메라"라고도 함)에 관한 것으로서, 카메라 데이터를 처리하여 2개 이상의 카메라에 의해 출력되는 프레임들 간의 동기화를 요구하는 호스트 장치들에 연결됨으로써 전력 소모를 줄인다.
디지털 카메라 모듈은 현재 다양한 호스트 장치에 통합되고 있다. 이러한 호스트 장치는 셀룰러 전화기, PDA(personal data assistant), 컴퓨터 등을 포함한다. 호스트 장치의 디지털 카메라 모듈에 대한 소비자 요구는 계속 증가하고 있다.
호스트 장치 제조업체는 광학 줌, 개선된 저조도 성능 및 더 높은 화질과 같은 더욱 우수한 성능을 갖춘 고성능 카메라를 요구하고 있다. 이러한 요구를 해결하기 위해, 최근 새로운 카메라 시스템이 제안되었다. 이러한 카메라 시스템은 부분적으로 또는 완전히 중첩된 시야(FOV)로 동일한 방향을 바라보도록 정렬된 2개의 카메라를 포함하며, 본 명세서에서는 "듀얼 카메라(dual-카메라)" 시스템(또는 2개의 애퍼처(A 및 B)를 가진, "듀얼 애퍼처 카메라" 시스템)으로 지칭된다(국제특허출원 PCT/IB2014/062180, PCT/IB2014/063393 및 PCT/IB2016/050844 참조). 이 2개의 카메라는 각각에 사용되는 렌즈에 따라, 유사한 FOV 또는 매우 다른 FOV를 가질 수 있다. 개선된 해상도, 개선된 노이즈 성능 및 개선된 화질로 합성 이미지를 형성하기 위한(적어도 합성 이미지 시야의 일부에 대해) 전용 알고리즘에 따라 2개의 카메라로부터의 이미지가 함께 "스티칭" 또는 "융합"될 수 있음이 개시되어 있다(예를 들면, PCT/IB2014/062180 및 PCT/IB2014/063393 참조). 이미지 스티칭 또는 이미지 융합 알고리즘은 애플리케이션 프로세서(AP)에서 실행되는 소프트웨어로 구현되거나, 또는 하드웨어(하드 와이어드 구현)로 구현될 수 있다.
미리 보기 또는 비디오 녹화 중에 고화질 줌을 제공하거나 향상된 저조도 성능을 제공하는 것과 같은 몇몇 듀얼 카메라 시스템은, 미리 보기를 보여주거나 비디오를 녹화하는데 사용되는 출력 프레임 스트림을 생성하기 위해 하나의 카메라 스트림으로부터 다른 카메라 스트림으로 전환하는 것을 포함할 수 있음이 개시되어 있다(예를 들면, 공동 소유의 미국 특허 제9185291호 참조). 이러한 전환은 줌 인 및 줌 아웃 시에 특정 줌 팩터(ZF)에서 수행된다. 몇몇 경우들에서, 예를 들어 듀얼 카메라 시스템의 2개 카메라가 서로 다른 FOV를 갖고, 듀얼 카메라 시스템이 2개 카메라 사이의 연속 줌을 구현하는 경우에, 가능한 한 매끄럽게 2개 카메라 간의 전환을 유지하는 것이 바람직하다. 스무스 트랜지션(smooth transition)은 사용자가 2개 카메라 간의 전환 지점을 알지 못하는 전환이다. 스무스 트랜지션은 시간 및 공간에서 매끄러워야 하며, 즉 양쪽 측면 모두에서 연속적이어야 한다.
또한, 몇몇 듀얼 카메라 시스템은 2개 카메라 프레임으로부터의 깊이 맵 산출을 포함할 수 있음이 알려져 있다. 깊이 맵은 프레임의 픽셀들의 맵이며, 여기서는 장면 내의 각 오브젝트의 상대 거리가 두 프레임 사이의 오브젝트 이미지의 공간적 이동으로 결정된다. 몇몇 실시예들에서, 깊이 맵은 2개의 카메라로부터의 프레임들 간 레지스트레이션 단계(registration step)를 필요로 한다. 레지스트레이션 단계는 장면 내의 동일한 오브젝트에 대응하는 두 개 이미지의 픽셀들 사이에 매칭을 발견하고, 두 개 대응 픽셀의 센서 상의 위치 사이의 오프셋을 나타내는 디스패리티 값(disparity value)을 각 매칭된 픽셀 쌍에 할당하여 "고밀도 디스패리티 맵(dense disparity map)"을 형성하는 단계이다. 대안적으로, 레지스트레이션 단계는 두 개 프레임으로부터 피쳐들을 추출하고, 장면 내의 동일한 오브젝트에 대응하는 피쳐들 사이의 매칭을 발견하고, 매칭된 피쳐들로부터 "스파스 깊이 맵(sparse depth map)"을 산출해 내는 것을 포함할 수 있다. 깊이 맵은 미리 보기나 비디오 스트림에 대하여, 또는 스냅샷 이미지에 대하여 산출될 수 있다.
전술한 세 가지 응용들(두 개의 캡처된 이미지 융합, 두 개의 프레임 스트림 사이의 전환, 및 두 개의 카메라 프레임으로부터 깊이 맵 생성)에 있어서, 프레임 획득 시간의 동기화는 중요한 요구 사항이며 공통된 실시 사항이다. 예를 들어, 2개 카메라의 두 프레임 간 정보를 등록할 때, 장면 내의 오브젝트 모션이나 듀얼 애퍼처 카메라의 모션은 프레임 획득 시간이 일정 시간 내에 동기화되지 않으면 레지스트레이션 오류를 야기할 수 있다(예를 들면, 3-5msec 미만). 레지스트레이션 오류는 깊이 맵을 산출할 때 잘못된 깊이 추정을 발생시킬 수 있다. 스무스 트랜지션에서, 2개 카메라의 프레임 쌍 간의 시간 동기화가 없으면 한쪽 카메라에서 다른 쪽 카메라로 전환할 때 눈에 띄는 불연속이 발생할 수도 있다.
2개의 카메라 센서 사이의 동기화 방법으로는, "마스터 센서"라고 지칭되는 하나의 센서로부터 "슬레이브 센서"라고 지칭되는 제 2 센서로 매 프레임마다 동기화 신호를 전송하는 것을 포함하는 것이 본 기술 분야에 공지되어 있다. 이 방법에서는 동기화 상태를 유지하기 위해 2개의 카메라가 거의 동일한 속도로 프레임 스트림을 출력할 것을 요구한다(예를 들어, 양쪽 센서 모두가 30fps 속도로 프레임들을 출력).
동기화 유지와는 별도로, 2개의 카메라를 항상 병렬로 스트리밍하도록 유지하는 것은 다음과 같은 다른 이점들이 있다(출력 이미지나 프레임을 생성하는데 실제로는 하나의 카메라만이 사용될 경우에도): 첫째, 2개의 카메라 모두에 대한 정확한 초점 정보, 화이트 밸런스 및 광 이득 레벨("3A 정보"로 알려짐)을 유지하며, 이에 따라 가능한 한 작은 레이턴시로 미사용 카메라의 정보를 사용할 수 있는데 바람직하다. 한쪽 카메라가 "대기(standby)" 모드로 설정되어 있어 프레임을 스트리밍하지 않을 경우에는, 프레임 스트리밍을 시작하도록 카메라를 구성할 시에 화이트 밸런스, 노출 및 초점이 장면과 매칭되는 값으로 수렴될 때까지 최대 몇 초가 걸릴 수 있다. 이 시간은 사용자 경험을 방해할 수 있으며, 예를 들어, 줌 인 또는 줌 아웃할 때, 또는 일반 조명 모드에서 낮은 조명 모드로 전환할 때에 한쪽 카메라에서 다른 쪽 카메라로 매끄럽게 전환하지 못하게 할 수 있다. 둘째, 레지스트레이션은, 예를 들어 두 개 이미지로부터 장면의 깊이 맵을 산출할 목적으로, 항상 유지될 필요가 있을 수 있다. 그러나, 두 개의 카메라 센서를 병렬로 실행하면 전력 소모가 배가되는 불이익이 초래된다.
요약하면, 듀얼 카메라에서 하나의 애퍼처(카메라)와 다른 애퍼처(카메라) 간의 빠른 출력 전환을 가능하게 하려면 2개 카메라 모두가 동작하여 동기화될 필요가 있다. 2개의 카메라를 완전 작동 상태로 유지하면 단일 카메라 시스템과 비교하여 결합된 카메라 전력 소모가 두 배가 되기 때문에, 이것은 전력 소모 문제를 발생시킨다. 현재, 이 전력 소모 문제에 대한 만족할 만한 해결책이 없다.
예시적인 실시예들에서, 각각의 제 1 카메라 출력 사항을 출력하도록 동작하는 제 1 카메라 및 각각의 제 2 카메라 출력 사항을 출력하도록 동작하는 제 2 카메라, 그리고 완전 작동 모드에서 한쪽 카메라의 동작을 제어하고 부분 작동 모드에서 다른 쪽 카메라의 동작을 제어하도록 구성 가능한 동기화 및 동작 제어 모듈을 포함하며, 한쪽 카메라가 부분 작동 모드에 있고 다른 쪽 카메라가 완전 작동 모드에 있는 상기 듀얼 애퍼처 카메라의 동작은 2개의 카메라 모두가 완전 작동 모드로 동작할 경우의 시스템 전력 소모에 비해 시스템 전력 소모를 감소시키는 시스템이 제공된다.
예시적인 일 실시예에서, 상기 동기화 및 동작 제어 모듈은 완전 작동 카메라의 출력 사항을 듀얼 애퍼처 카메라 출력 사항으로서 출력하도록 더 구성 가능하다.
예시적인 일 실시예에서, 상기 제 1 카메라는 관련 제 1 이미지 신호 프로세서(ISP)와 통신하며 제 1 프레임 스트림을 출력하도록 동작하는 제 1 카메라 이미지 센서를 포함하고, 상기 제 2 카메라는 관련 제 2 ISP와 통신하며 제 2 프레임 스트림을 출력하도록 동작하는 제 2 카메라 이미지 센서를 포함하며, 또한 상기 동기화 및 동작 제어 모듈은 완전 작동 모드에서 상기 제 1 카메라 이미지 센서 및/또는 상기 제 1 ISP의 동작을 제어하고 부분 작동 모드에서 상기 제 2 카메라 이미지 센서 및/또는 상기 제 2 ISP의 동작을 제어하도록 더 구성 가능하다.
예시적인 일 실시예에서, 상기 제 1 카메라는 관련 제 1 이미지 신호 프로세서(ISP)와 통신하며 제 1 프레임 스트림을 출력하도록 동작하는 제 1 카메라 이미지 센서를 포함하고, 상기 제 2 카메라는 관련 제 2 ISP와 통신하며 제 2 프레임 스트림을 출력하도록 동작하는 제 2 카메라 이미지 센서를 포함하며, 또한 상기 동기화 및 동작 제어 모듈은 부분 작동 모드에서 상기 제 1 카메라 이미지 센서 및/또는 상기 제 1 ISP의 동작을 제어하고 완전 작동 모드에서 상기 제 2 카메라 이미지 센서 및/또는 상기 제 2 ISP의 동작을 제어하도록 더 구성 가능하다.
예시적인 일 실시예에서, 상기 동기화 및 동작 제어 모듈은 상기 제 1 ISP 및 상기 제 2 ISP에 의해 처리되는 프레임 쌍을 동기화시키도록 더 구성 가능하다.
예시적인 일 실시예에서, 상기 동기화 및 동작 제어 모듈은 상기 제 1 ISP 및 상기 제 2 ISP에 의해 처리되는 프레임 쌍을 동기화시키도록 더 구성 가능하다.
예시적인 일 실시예에서, 완전 작동 모드에서 상기 제 1 카메라 이미지 센서의 동작 제어 및 부분 작동 모드에서 상기 제 2 카메라 이미지 센서의 동작 제어는 상기 제 1 및 제 2 카메라 이미지 센서들 각각의 각 프레임 크기의 제어를 포함한다.
예시적인 일 실시예에서, 완전 작동 모드에서 상기 제 1 카메라 이미지 센서의 동작 제어 및 부분 작동 모드에서 상기 제 2 카메라 이미지 센서의 동작 제어는 상기 제 1 및 제 2 카메라 이미지 센서들 각각의 각 프레임 속도의 제어를 포함한다.
예시적인 일 실시예에서, 완전 작동 모드에서 상기 제 1 카메라 이미지 센서의 동작 제어 및 부분 작동 모드에서 상기 제 2 카메라 이미지 센서의 동작 제어는 상기 제 1 및 제 2 ISP들 각각의 각 처리 속도의 제어를 포함한다.
예시적인 일 실시예에서, 상기 시스템은 각 카메라의 동작을 제어하고 듀얼 애퍼처 카메라 출력 사항을 출력하도록 상기 동기화 및 동작 제어 모듈을 구성하는데 사용되는 명령을 상기 동기화 및 동작 제어 모듈에 제공하기 위한 스무스 트랜지션 라이브러리(smooth transition library)를 더 포함한다.
예시적인 일 실시예에서, 부분 작동 모드에서 카메라의 프레임 크기는 완전 작동 모드에서 카메라의 프레임 크기의 일부이다. 예시적인 일 실시예에서, 부분 작동 모드에서 카메라의 프레임 속도는 완전 작동 모드에서 카메라의 프레임 속도의 일부이다. 예시적인 일 실시예에서, 부분 작동 모드에서 카메라의 ISP 처리 속도는 완전 작동 모드에서 카메라의 ISP 처리 속도의 일부이다. 예를 들어, 상기 일부의 값은 1/3일 수 있다. 상기 일부는 당연히 1보다 작은 임의의 다른 값을 취할 수 있다. 예를 들어, 상기 일부는 1/4 내지 1/2의 범위일 수 있다.
예시적인 실시예들에서, 각각의 제 1 카메라 출력 사항을 출력하도록 동작하는 제 1 카메라 및 각각의 제 2 카메라 출력 사항을 출력하도록 동작하는 제 2 카메라를 포함하는 듀얼 애퍼처 카메라를 제공하는 단계, 및 완전 작동 모드에서 한쪽 카메라를 동작시키고 부분 작동 모드에서 다른 쪽 카메라를 동작시키는 단계를 포함하며, 이에 따라, 2개의 카메라 모두가 완전 작동 모드로 동작할 경우의 전력 소모에 비해 듀얼 카메라 전력 소모를 감소시키는 방법이 제공된다.
예시적인 일 실시예에서, 상기 방법은 완전 작동 모드로 동작하는 카메라의 출력 사항을 듀얼 애퍼처 카메라 출력 사항으로서 출력하는 단계를 더 포함한다.
예시적인 일 실시예에서, 상기 방법은 상기 제 1 및 제 2 카메라들 간을 전환하는 단계 및 완전 작동 모드로 상기 제 2 카메라를 동작시키고 부분 작동 모드로 상기 제 1 카메라를 동작시키는 단계를 더 포함한다.
예시적인 일 실시예에서, 상기 카메라 출력 사항은 각각의 프레임 스트림을 포함하고, 상기 방법은 듀얼 카메라 출력 사항을 출력하기 이전에, 완전 작동 모드로 동작하는 카메라의 출력의 파라미터를 부분 작동 모드로 동작하는 카메라의 출력의 파라미터와 동기시키는 단계를 더 포함한다.
본 명세서에 개시된 양태들, 실시예들 및 특징들은 첨부된 도면들과 함께 고려될 경우에 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 명세서에 개시된 예시적인 실시예에 따른 시스템을 개략적으로 도시한 것이다.
이하에 개시되는 실시예들은 감소된 전력 소모를 갖는 듀얼 애퍼처 카메라 및 그러한 카메라를 작동시키는 방법에 관한 것이다. 듀얼 애퍼처 카메라의 각 카메라는 관련 이미지 신호 프로세서(ISP)와 통신하는 카메라 이미지 센서(또는 단순히 "센서")를 포함한다. 몇몇 실시예들에서는, 2개의 센서가 단일 ISP와 관련될 수 있으며 그것과 시간 공유할 수 있다. 감소된 전력 소모는 대부분의 경우 한쪽 카메라가 "완전 작동"인 반면 다른 쪽 카메라는 완전 작동이 아니거나 또는 "부분 작동"임에 따라 발생한다. 본 명세서에 사용되는 "완전 작동 카메라" 또는 "완전 작동 모드의 카메라"는, 각각의 이미지 센서의 동작이 정규의 프레임 속도 또는 프레임 크기로 이루어지고, 관련 ISP의 동작이 정규의 ISP 처리 속도로 이루어지는 카메라를 지칭한다. 본 명세서에서 사용되는 "부분 작동 카메라" 또는 "부분 작동 모드의 카메라"는 각각의 이미지 센서의 동작이 전체 작동 프레임 속도 또는 프레임 크기에 비해 감소된 프레임 속도 또는 프레임 크기로 이루어지며, 및/또는 관련 ISP의 동작이 정규의(완전 작동) ISP 처리 속도에 비해 감소된 처리 속도로 이루어지는 카메라를 지칭한다. 일례에서, 완전 작동 카메라는 30-60 프레임/초(FPS)로 프레임을 출력할 수 있는 반면, 부분 작동 카메라는 5-10 FPS의 더 낮은 속도로 프레임을 출력할 수 있다. 다른 예에서, 완전 작동 카메라는 프레임당 13Mpxl 크기로 프레임을 출력할 수 있는 반면, 부분 작동 카메라는 프레임당 0.2-8Mpxl의 더 낮은 크기로 프레임을 출력할 수 있다.
동기화 메커니즘은 완전 작동 카메라의 출력에서 부분 작동 카메라의 출력으로 듀얼 애퍼처 카메라 출력을 신속하게 전환 가능하게 한다. 동기화 메커니즘은 예를 들어 전용 소프트웨어(SW) 모듈에 의해 수행될 수 있다. 대안적으로, 동기화 메커니즘은 하드웨어(HW)에 포함될 수도 있다. 아래에 제시된 새로운 동기화 메커니즘 및 방법은 한쪽 카메라가 완전 작동하고 다른 쪽 카메라가 부분 작동하는 경우에도, 2개 카메라 스트림의 동기화를 가능하게 한다. 본 발명의 동기화는 전력 소모를 줄이면서 2개 카메라의 프레임을 동기화된 상태로 유지하고, 2개 카메라의 각 프레임으로부터 항상 깊이 맵을 산출할 수 있게 한다.
카메라들 간의 전환은 줌 팩터 또는 장면의 선택과 같은 사용자 입력에 의해 결정되며, 스무스 트랜지션 라이브러리(smooth transition library)에 의해 행해진다(아래 참조). 예를 들어, 이 라이브러리는 스무스 트랜지션 라이브러리이다. 트랜지션의 타이밍에 대한 결정 방식은 본 기술 분야에 공지되어 있다(예를 들면, 공동 소유의 미국 특허 제9185291호 참조). 듀얼 애퍼처 카메라 출력이 완전 작동 카메라의 출력에서 부분 작동 카메라의 출력으로 전환되기 직전에, 부분 작동 카메라는 각각의 완전 작동 프레임 속도 및/또는 프레임 크기 및/또는 ISP 처리 속도로 완전하게 작동하게 된다. 듀얼 애퍼처 카메라 출력 전환 이후에, 완전 작동 카메라는 각각의 부분 작동 프레임 속도 및/또는 프레임 크기 및/또는 ISP 처리 속도로 부분적으로 작동하게 된다.
완전 작동 카메라가 "부분 작동" 모드로 전환되는 대신 스트리밍 프레임을 중지시키는 경우, 완전 작동 카메라에서 부분 작동 카메라로의 전환 시간은, 본 제안된 부분 작동 카메라의 동작을 사용할 때의 전환 시간에 비해 증가하게 된다. 완전 작동 카메라가 프레임을 출력하는 동안 부분 작동 카메라가 최대 속도 및 최대 프레임 크기로 동작하는 경우, 전체 듀얼 카메라 시스템의 전력 소모는, 본 제안된 부분 작동 카메라의 동작을 사용할 때의 전력 소모에 비해 증가하게 된다.
도 1은 본 명세서에 개시된 예시적인 실시예에 따른 시스템(100)을 개략적으로 도시한 것이다. 시스템(100)은 2개의 카메라 이미지 센서(또는 단순히 "센서")(106 및 110)를 가진 듀얼 애퍼처 카메라(110)를 포함한다. 카메라(110)는 카메라 모듈 설계에 관한 기술 분야에 알려진 몇몇 메커니즘(도 1에 도시되지 않음) 예를 들어 카메라 몸체, 렌즈, 작동 메커니즘(actuation mechanism), 광 필터 등을 더 포함한다(예를 들어, 특허 출원 PCT/IB2014/062180, PCT/IB2014/063393 및 PCT/IB2016/050844 참조). 각 센서는 각각의 카메라 및 그것의 각각의 컴포넌트들과 관련된다. 예를 들어, 시스템(100)은 이 경우에 센서(106)가 광시야(FOV) 렌즈(도시되지 않음)와 관련되고 센서(110)가 텔레(좁은) FOV 렌즈(도시되지 않음)와 관련되는 듀얼 애퍼처 줌 카메라일 수 있다. 몇몇 실시예들에서, 한쪽 센서는 컬러 센서(센서 픽셀들 상에 베이어(Bayer) 어레이와 같은 컬러 필터 어레이(CFA)를 가짐)일 수 있으며, 다른 쪽 센서는 단색 센서(픽셀 상에 CFA가 없음)일 수 있다. 시스템(100)은 센서들(106 및 110)과 각각 관련된 2개의 이미지 신호 프로세서(ISP), ISP(112) 및 ISP(114)를 더 포함한다. 각 ISP는 단일의 카메라 출력 프레임을 처리하여, 처리된 프레임을 생성한다. 처리 단계들은 본 기술 분야에 알려진 신호 페데스탈 판정 및 제거(signal pedestal determination and removal), 화이트 밸런스(white balance), 노이즈 제거 처리(de-noising), 렌즈 음영 효과 제거, 모자이크 제거 처리(de-mosaicing), 선명화(sharpening), 색 보정(color correction), 감마 보정(gamma correction), 프레임 자르기(cropping) 및 스케일링(scaling) 그리고 그 밖의 단계들을 포함할 수 있다. ISP(112)는 카메라(예컨대, MIPI, I2C, SPI)당 하나 이상의 디지털 제어 채널(116)을 통해 센서(106)에 연결되며, ISP(114)는 카메라(예컨대, MIPI, I2C, SPI)당 하나 이상의 디지털 제어 채널(118)을 통해 센서(110)에 연결된다.
시스템(100)은 동기화 및 동작 제어 모듈(120)(줄여서 간단하게 "모듈(120)")을 더 포함한다. 모듈(120)은 센서들(106 및 110)이 동작하는 프레임 속도들 및/또는 크기들, 그리고 관련 ISP들(112 및 114)이 동작하는 처리 속도들을 제어하며, 또한 ISP들(112 및 114)에 의해 처리되고 출력되는 프레임들의 동기화 쌍을 담당한다. 시스템(100)은 스무스 트랜지션 라이브러리(130)를 더 포함한다. 모듈(120)은 프레임들, 그리고 타임 스탬프 및 요청된 프레임 속도와 같은 프레임 파라미터들을 ISP들(112 및 114) 및/또는 스무스 트랜지션 라이브러리(130)로부터 수신하고, 이들 파라미터들에 기초하여 동작한다. 모듈(120)은 각각의 디지털 제어 채널들(122 및 124)을 통해 센서들(106 및 110)과 통신한다.
ISP들(112 및 114)에 의해 출력된 프레임들은 프레임 크기, 노출 시간, 아날로그 이득 정보, ISP 자르기 및 스케일 정보, 프레임 속도, 초점 위치 정보 및 요청된 줌 팩터와 같은 다른 파라미터들과 함께 스무스 트랜지션 라이브러리(130)로 전달된다. 스무스 트랜지션 라이브러리(130)는 줌 팩터, 화상 장면의 오브젝트 깊이 등과 같은 몇몇 파라미터들에 따라, 한쪽 프레임 스트림에서 다른 쪽 프레임 스트림으로 매끄럽게 전환하는 것을 담당한다. 스무스 트랜지션 라이브러리는 모듈(120)에 신호를 전송함으로써, 부분 작동 카메라를 완전 작동 카메라로 변경하거나 또는 그 반대로 변경하고, 및/또는 프레임 크기를 변경하고, 및/또는 카메라 센서의 프레임 속도를 변경하고, 및/또는 각 ISP의 처리 속도를 변경할 수 있다.
몇몇 실시예들에서, 모듈(120)에 의한 프레임 속도의 제어는 센서들(106 및 110)의 수직 블랭킹(blanking) 시간을 증가 또는 감소시킴으로써 수행될 수 있다. 수직 블랭킹 시간을 증가시키면 프레임 속도가 감소하고, 수직 블랭킹 시간을 감소시키면 프레임 속도가 증가한다.
모듈들(120 및 130)은 소프트웨어 모듈일 수 있거나 또는 하드웨어(HW)로 구현될 수도 있다. 이 모듈들은 단일의 HW 프로세서 또는 수 개의 HW 프로세서에 포함될 수 있다. 모듈들(112 및 114)은 일반적으로 HW 모듈이다. ISP(112) 및 ISP(114)는 별개의 HW 모듈(예컨대, 마이크로프로세서, CPU, GPU, 전용 하드웨어, FPGA 등)로 구현되거나 또는 단일의 HW 모듈로 구현될 수 있다.
다음의 설명은, 하나의 센서(110)가 낮은 프레임 속도로 프레임들을 스트리밍하고 다른 센서(106)가 높은 프레임 속도로 프레임들을 스트리밍하는 바람직한 시나리오에서의 시스템(100)의, 특히 모듈(120)의 예시적인 동작 방법에 대한 제 1 실시예이다. 따라서, 본 예에서는, 센서(110)가 "부분 작동" 카메라의 센서이고, 센서(106)가 "완전 작동" 카메라의 센서이다. 낮은 프레임 속도 센서(부분 작동) 및 높은 프레임 속도 센서(완전 작동)의 역할은 동일한 시스템 내에서 상호 교환 가능하며, 이 정의들은 예시로서만 여기에 나타내는 줌 팩터 및 화상 장면 정보와 같은 파라미터들에 의존함에 유의한다. 또한, 이 시나리오에서, ISP들(112 및 114)의 동작 속도는 센서들(106 및 110)로부터 각각 도달하는 프레임 스트림들의 속도와 매칭됨에 유의해야 한다. 예를 들어, 센서(110)가 낮은 프레임 속도로 스트리밍하면, ISP(114)의 동작 속도는, 센서(106)로부터 더 높은 프레임 속도로 프레임들을 수신하는 ISP(112)의 동작 속도에 비해 감소된다. 예시적인 동작에서의 상세는 다음과 같다:
1. 모듈(120)은 센서가 높은 프레임 속도, 예를 들어 30FPS로 프레임들을 스트리밍하도록 하는 값으로 센서(106)의 수직 블랭킹 시간을 구성한다. 또한, 모듈(120)은 센서(106)의 높은 프레임 속도의 정수 제수(divisor)(분수)가 되는 속도로 프레임들을 스트리밍하도록 하는 값으로 센서(110)의 수직 블랭킹 시간을 구성한다(예를 들어, 속도들 사이의 프레임 속도 비가 1/n이며, n은 예를 들어 2 이상의 정수).
2. 모듈(120)은 높은 프레임 속도 센서와 동일한 프레임 속도로 동작한다. 이 모듈은 각 프레임에 대한 프레임 타임 스탬프 및 입력 프레임들이 유효 프레임인지의 여부를 나타내는 유효/무효 디스크립터와 같은 메타 데이터 정보와 함께, ISP들(112 및 114)로부터 새로운 프레임 쌍을 연속적으로 수신한다. 센서(106)로부터 스트리밍되는 프레임들은 모두 "유효" 프레임으로 표시된다. 센서(110)로부터 스트리밍되는 프레임들도 또한 "유효" 프레임으로 표시된다. 그러나, 센서(106)로부터의 하나의 프레임이 유효하고, 센서(110)로부터의 대응하는 프레임이 없는 한 쌍의 프레임이 있을 경우에는, 누락된 낮은 프레임 속도 프레임 대신에 "더미(dummy)" 프레임이 사용될 수 있으며, 이러한 더미 프레임은 "무효(invalid)" 프레임으로 표시된다. 예를 들어, 센서(106)가 30FPS로 스트리밍하고, 센서(110)가 높은 프레임 속도의 1/3(즉, 10FPS)로 스트리밍할 경우에는, 모듈(120)이 약 1/30초마다 센서(106)로부터 유효 프레임을 수신하고, 약 1/10초마다 센서(110)로부터 유효 프레임을 수신한다. 모듈(120)은 높은 프레임 속도로 동작하기 때문에, 단지 3번째 동작마다 2개의 유효 프레임을 수신하게 된다. 대안적으로, 모듈(120)은 2개의 유효 입력 프레임이 이용 가능할 경우에만 호출될 수도 있다.
3. 모듈(120)은 유효한 프레임 쌍의 타임 스탬프들을 비교하고, 그들 사이의 시간 차이를 계산한다. 그 다음, 센서들(106 및/또는 110)의 수직 블랭킹 시간에 대해 요구되는 수정값을 계산하여 2개의 유효 프레임 간의 시간 차이가 최소화되도록 하고, 센서(110) 및/또는 센서(106)를 새로운 수직 블랭킹 시간으로 구성한다.
4. 디지털 제어 채널들(122 및 124)(예를 들어, I2C 채널들)을 통해 명령을 전송함으로써 변경사항들이 센서들(106 및/또는 110)에 적용된다.
5. 센서들(106, 110) 각각으로부터 요구되는 프레임 속도는 스무스 트랜지션 라이브러리(130) 요청들에 기초하여 결정될 수 있다. 스무스 트랜지션 라이브러리(130)는 줌 팩터, 장면 파라미터들, 시스템 성능 및 사용자 선호와 같은 상이한 파라미터들에 기초하여, 센서들(106 및 110)로부터 동일한 프레임 속도 및/또는 프레임 크기 또는 상이한 프레임 속도 및/또는 프레임 크기를 구성하도록 제어 모듈(120)에게 요청할 수 있다.
다음의 설명은 센서들(106 및 110) 모두가 높은 프레임 속도로 프레임들을 스트리밍하고, ISP(114)가 낮은 프레임 속도로 프레임들을 처리하고, ISP(110)는 높은 프레임 속도로 프레임들을 처리하는 바람직한 시나리오에서의 시스템(100)의, 특히 모듈(120)의 예시적인 동작 방법에 대한 제 2 실시예이다. 따라서, 본 예에서는, ISP(114)가 "부분 작동" 카메라의 ISP이고, ISP(112)가 "완전 작동" 카메라의 ISP이다. 이 시나리오에서, 모듈(120)은 ISP(112) 및 ISP(114)의 처리 속도들만을 제어한다. 높은 프레임 속도로 ISP(114)에 도달하고 그것에 의해 처리되지 않는 프레임들은 폐기된다. 낮은 프레임 속도 센서 및 높은 프레임 속도 센서의 역할은 동일한 시스템 내에서 상호 교환 가능하며, 이 정의들은 줌 팩터 및 화상 장면 정보와 같은 파라미터들에 의존하고, 이 예시적으로 선택된 역할들은 예시로서만 여기에 나타나 있음에 유의한다. 예시적인 동작에서의 상세는 다음과 같다:
1. 모듈(120)은 센서(106) 및 센서(110)의 수직 블랭킹 시간 및 ISP(112) 및 ISP(114)가 동작하는 속도 모두를 구성한다. 예를 들어, 센서들(106 및 110)은 30FPS로 프레임들을 스트리밍하도록 구성되고, ISP(112)는 30FPS와 동일한 속도로 동작하도록 구성되며, ISP(114)는 10FPS와 동일한 속도로 동작하도록 구성된다. ISP(114)가 동작하도록 구성되는 속도는, ISP(112)가 동작하도록 구성되는 속도의 정수 제수가 되도록(예를 들어, 속도들 사이의 프레임 속도 비가 1/n이고, n은 2 이상이 되도록) 설정된다.
2. 모듈(120)은 높은 프레임 속도 ISP(112)와 동일한 프레임 속도로 동작한다. 이 모듈은 각 프레임에 대한 프레임 타임 스탬프들 및 입력 프레임들이 유효 프레임인지의 여부를 나타내는 유효/무효 디스크립터와 같은 메타 데이터 정보와 함께, ISP들(112 및 114)로부터 새로운 프레임 쌍을 연속적으로 수신한다. ISP(112)로부터 스트리밍되는 프레임들은 모두 "유효" 프레임으로 표시된다. ISP(114)로부터 스트리밍되는 프레임들도 또한 "유효" 프레임으로 표시된다. 그러나, 하나의 프레임이 ISP(112)로부터 도달하고 ISP(114)로부터의 대응하는 프레임이 없는 한 쌍의 프레임이 있을 경우에는, 누락된 낮은 프레임 속도 프레임 대신에 "더미" 프레임이 사용될 수 있으며, 이러한 더미 프레임은 "무효" 프레임으로 표시된다. 예를 들어, ISP(112)가 30FPS로 프레임들을 처리하고, ISP(114)가 높은 프레임 속도의 1/3로 프레임들을 처리할 경우에는, 모듈(120)이 약 1/30초마다 ISP(112)로부터 유효 프레임을 수신하고, 약 1/10초마다 ISP(114)로부터 유효 프레임을 수신한다. 모듈(120)은 높은 프레임 속도로 동작하기 때문에, 단지 3번째 동작마다 2개의 유효 프레임을 수신하게 된다. 대안적으로, 모듈(120)은 2개의 유효 입력 프레임이 이용 가능할 경우에만 호출될 수도 있다.
3. 모듈(120)은 유효한 프레임 쌍의 타임 스탬프들을 비교하고, 그들 사이의 시간 차이를 계산한다. 그 다음, ISP(112) 및 ISP(114)의 동작 속도들에 요구되는 수정값 및 센서들(106 및/또는 110)의 수직 블랭킹 시간에 대해 요구되는 수정값을 계산하여, 2개의 유효 프레임 간의 시간 차이가 최소화되도록 한다.
4. 디지털 제어 채널들(122 및 124)(예를 들어, I2C 채널들)을 통해 명령을 전송함으로써 변경사항들이 센서들(106 및/또는 110)에 적용된다.
상기의 예들 모두에서, 센서들(106 및 110) 및 ISP들(112 및 114) 각각으로부터의 요청된 프레임 속도는 본 기술 분야에 알려진 트랜지션 라이브러리(130) 요청들에 기초하여 결정될 수 있다(예를 들면, 공동 소유의 미국 특허 제9185291호 참조). 라이브러리(130)는 줌 팩터, 장면 파라미터들, 시스템 성능 및 사용자 선호와 같은 상이한 파라미터들에 기초하여, 센서들(106 및 110) 및 ISP들(112 및 114)로부터 동일한 프레임 속도 또는 상이한 프레임 속도들을 구성하도록 모듈(120)에게 요청할 수 있다.
다음의 설명은 하나의 센서(110)가 낮은 프레임 크기로 프레임들을 스트리밍하고 다른 센서(106)가 높은 프레임 크기로 프레임들을 스트리밍하는 바람직한 시나리오에서의 시스템(100)의, 특히 모듈(120)의 예시적인 동작 방법의 제 3 실시예이다. 본 경우에는 센서(106)가 완전 작동 카메라의 센서이고, 센서(110)가 부분 작동 카메라의 센서이다. 낮은 프레임 크기 센서(부분 작동) 및 높은 프레임 크기 센서(완전 작동)의 역할은 동일한 시스템 내에서 상호 교환 가능하며, 이 정의들은 예시로서만 여기에 나타내는 줌 팩터 및 화상 장면 정보와 같은 파라미터들에 의존함에 유의한다. 또한, 이 시나리오에서, ISP들(112 및 114)의 동작 복잡성은 각각 센서들(106 및 110)로부터 도달하는 프레임 스트림들에 의존함에 유의해야 한다(예를 들어, 센서(110)가 낮은 프레임 크기로 스트리밍할 경우, ISP(114)의 동작 복잡성은 센서(106)로부터 높은 프레임 크기로 프레임들을 수신하는 ISP(112)보다 감소된다):
1. 모듈(120)은 각 센서 스트림이 원하는 프레임 속도, 예를 들어 30FPS로 프레임들을 스트리밍하도록 하는 값으로 양쪽 센서들(106 및 110)의 수직 블랭킹 시간을 구성한다.
2. 모듈(120)은 또한 센서(106)의 프레임 크기를 높은 프레임 크기(예를 들어, 13mpxl)로, 센서(110)의 프레임 크기를 낮은 프레임 크기(예를 들어, 0.5mpxl)로 구성한다. 또한, 이 모듈은 ISP들(112 및 114)에게 각 ISP에 대한 예상 프레임 크기를 통보한다.
3. ISP들(112 및 114)은 예상 프레임 속도에 따라 활성 및 비활성 하드웨어 체인들을 설정한다. ISP들(114)은 예를 들어 활성 트랜지스터들의 개수를 줄여서(불필요한 트랜지스터 턴 오프) 전체 전력 소모를 감소시킬 수 있다.
4. 모듈(120)은 이 센서들과 동일한 프레임 속도로 동작한다. 이 모듈은 각 프레임에 대한 프레임 타임 스탬프들과 같은 메타 데이터 정보와 함께, ISP들(112 및 114)로부터의 새로운 프레임 쌍을 연속적으로 수신한다.
5. 모듈(120)은 각 프레임 쌍의 타임 스탬프들을 비교하여, 그들 사이의 시간 차이를 계산한다. 그 다음, 센서들(106 및/또는 110)의 수직 블랭킹 시간에 대해 요구되는 수정값들을 계산하여 2개의 유효 프레임 간의 시간 차이가 최소화되도록 하고, 센서(110) 및/또는 센서(106)를 새로운 수직 블랭킹 시간으로 구성한다.
6. 디지털 제어 채널들(122 및 124)(예를 들어, I2C 채널들)을 통해 명령을 전송함으로써 변경사항들이 센서들(106 및/또는 110)에 적용된다.
7. 센서들(106, 110) 각각으로부터 요청되는 프레임 크기는 스무스 트랜지션 라이브러리(130) 요청들에 기초하여 결정될 수 있다. 스무스 트랜지션 라이브러리(130)는 줌 팩터, 장면 파라미터들, 시스템 성능 및 사용자 선호와 같은 상이한 파라미터들에 기초하여, 센서들(106 및 110)로부터 동일한 프레임 크기 또는 상이한 프레임 크기들을 구성하도록 SW 동기화 및 동작 제어 모듈(120)에게 요청할 수 있다.
시스템(100)의 예시적인 동작 방법의 제 4 실시예에서, 시스템(100)은 하나의 센서가 최대 프레임 속도 및 높은 프레임 크기로 스트리밍하는 반면, 제 2 센서는 낮은 프레임 속도 및 낮은 프레임 크기로 동작하도록 작동할 수 있다. 이 실시예에서는, 위에서 제시된 동작 방법들에 대한 조합의 구현이 존재한다.
표 1은 선택적으로 전력이 감소되는 네 가지 방법의 비교를 보여준다. 부분 작동 카메라의 경우, "Full" 텍스트가 있는 각 셀은 최대 전력 소모에서의 작동을 나타내며, "Partial" 텍스트가 있는 각 셀은 전력 감소를 나타낸다.
[표 1]
Figure 112020044287012-pat00001
요약하면, 본 출원은 사용자가 정의한 줌 팩터, 장면 선택 및 그 밖의 파라미터들에 따라 하나의 카메라 또는 다른 카메라로부터 조합된 프리뷰 또는 비디오 출력이 나오는 듀얼 카메라를 포함하는 시스템 및 그 동작 방법을 개시한다. 특수한(부분) 작동 모드에서 듀얼 카메라 이미지 출력을 생성하는데 사용되지 않는 카메라를 동작시키는 것에 의해, 전력 소모 불이익을 최소화하면서 고속 출력 전환이 가능해진다.
이상 설명한 다양한 특징들 및 단계들, 그리고 각각의 이러한 특징 또는 단계에 대한 다른 공지의 등가물들은 본 명세서에서 설명한 원리에 따른 방법을 수행하기 위해 당업자에 의해 혼합 및 매칭될 수 있다. 본 발명이 특정 실시예들 및 예시들과 관련하여 제공되었지만, 당업자는 본 발명이 구체적으로 설명된 실시예들을 넘어 다른 대안의 실시예들 및/또는 용도 그리고 이들에 대한 명백한 수정물 및 등가물로 확장된다는 것을 이해할 것이다. 따라서, 본 발명은 본 명세서의 실시예들의 특정 개시 내용에 의해 제한되지 않는다. 예를 들어, 본 설명이 듀얼 애퍼처 카메라에 초점을 맞추고 있지만, 다중 애퍼처 카메라의 임의의 2개의 카메라에 적용되는 경우, 2개보다 많은 애퍼처(카메라)를 갖는 다중 애퍼처 카메라가 여기에 설명된 방법의 적용으로부터 이익을 얻을 수 있다. 일반적으로, 본 발명은 본 명세서에 설명된 특정 실시예들에 의해 제한되는 것이 아니며, 첨부된 청구범위의 범주에 의해서만 제한되어야 하는 것으로 이해되어야 한다.
달리 명시되지 않는 한, 선택을 위한 옵션 목록의 마지막 두 개 구성요소 사이에 있는 "및/또는"이라는 표현은 나열된 옵션들 중 하나 이상의 선택이 적절하며 만들어질 수 있음을 나타낸다.
청구범위 또는 명세서가 "일" 또는 "한" 요소를 언급하는 경우, 그러한 언급은 해당 요소 하나만 존재하는 것으로 해석되어서는 안된다는 것을 이해해야 한다.
본 명세서에서 언급된 모든 참조 문헌은, 각각의 개별적인 참조 문헌이 구체적으로 및 개별적으로 참조로서 명세서에 포함되는 것으로 표시된 것과 동일한 정도로 그 전체가 참조로서 본 명세서에 포함된다. 또한, 본원에서의 참조 문헌의 인용 또는 식별은 그러한 참조 문헌이 본원의 선행 기술로서 이용 가능하다는 것의 인정으로 해석되어서는 안된다.

Claims (11)

  1. a) 제1 이미지 센서 작동 속도를 갖는 제1 이미지 센서를 포함하며, 제1 프레임 스트림을 출력하도록 동작하는 제1 카메라;
    b) 제2 이미지 센서 작동 속도를 갖는 제2 이미지 센서를 포함하며, 제2 프레임 스트림을 출력하도록 동작하는 제2 카메라;
    c) 완전 작동 모드에서 제1 카메라 및 제1 이미지 센서의 동작을, 그리고 부분 작동 모드에서 제2 카메라 및 제2 이미지 센서의 동작을 제어 및 시간 동기화하도록 구성 가능하여, 상기 제1 이미지 센서가 완전 작동 모드 센서가 되게 하는 동기화 및 동작 제어 모듈;을 포함하고,
    상기 제2 이미지 센서 작동 속도는 상기 제1 이미지 센서 작동 속도의 일부이고, 상기 제1 프레임 스트림과 상기 제2 프레임 스트림은 동기화되고,
    상기 동기화 및 동작 제어 모듈은 상기 완전 작동 모드 센서의 프레임 속도로 작동하는 시스템.
  2. 제 1 항에 있어서, 상기 제1 프레임 스트림으로부터의 프레임 및 상기 제2 프레임 스트림으로부터의 프레임을 포함하는 동기화된 프레임 쌍을 출력하도록 구성되는 시스템.
  3. 제 1 항에 있어서, 상기 제1 이미지 센서는 제1 시야와 관련되고, 상기 제2 이미지 센서는 상기 제1 시야 보다 좁은 제2 시야와 관련되는 시스템.
  4. 제 1 항에 있어서, 상기 제1 이미지 센서는 제1 시야와 관련되고, 상기 제2 이미지 센서는 상기 제1 시야 보다 넓은 제2 시야와 관련되는 시스템.
  5. 제 1 항에 있어서, 상기 제1 이미지 센서는 컬러 이미지 센서이고, 상기 제2 이미지 센서는 단색 이미지 센서인 시스템.
  6. 제 1 항에 있어서, 상기 제1 이미지 센서는 단색 이미지 센서이고, 상기 제2 이미지 센서는 컬러 이미지 센서인 시스템.
  7. 제 1 항에 있어서, 상기 동기화 및 동작 제어 모듈은 상기 제1 이미지 센서 및 상기 제2 이미지 센서의 각각의 수직 블랭킹 시간을 구성함으로써, 상기 제1 이미지 센서의 동작 및 상기 제2 이미지 센서의 동작을 제어 및 시간 동기화하도록 구성 가능한 시스템.
  8. 제 1 항에 있어서, 상기 제1 이미지 센서 작동 속도는 제1 프레임 속도이고, 상기 제2 이미지 센서 작동 속도는 제2 프레임 속도이고, 상기 제2 프레임 속도는 상기 제1 프레임 속도의 일부인 시스템.
  9. 제 7 항에 있어서, 각각의 수직 블랭킹 시간의 구성은 상기 제1 이미지 센서 및 상기 제2 이미지 센서의 수직 블랭킹 시간을 증가 또는 감소시키는 구성을 포함하는 시스템.
  10. 삭제
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 제1 및 제2 카메라들, 그리고 상기 제1 및 제2 이미지 센서들의 동작을 제어하도록 상기 동기화 및 동작 제어 모듈을 구성하는데 사용되는 명령을, 상기 동기화 및 동작 제어 모듈에 제공하기 위한 스무스 트랜지션 라이브러리를 더 포함하는 시스템.

KR1020207012571A 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 KR102302004B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217028693A KR102521406B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662351990P 2016-06-19 2016-06-19
US62/351,990 2016-06-19
KR1020197000854A KR102110093B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
PCT/IB2017/053470 WO2017221106A1 (en) 2016-06-19 2017-06-12 Frame synchronization in a dual-aperture camera system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000854A Division KR102110093B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217028693A Division KR102521406B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Publications (2)

Publication Number Publication Date
KR20200049906A KR20200049906A (ko) 2020-05-08
KR102302004B1 true KR102302004B1 (ko) 2021-09-14

Family

ID=60783910

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020237012107A KR102646151B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020197000854A KR102110093B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020217028693A KR102521406B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020247007560A KR20240036133A (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020177032270A KR101893722B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020207012571A KR102302004B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020187023434A KR101939958B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020237012107A KR102646151B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020197000854A KR102110093B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020217028693A KR102521406B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020247007560A KR20240036133A (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR1020177032270A KR101893722B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187023434A KR101939958B1 (ko) 2016-06-19 2017-06-12 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Country Status (5)

Country Link
US (4) US10616484B2 (ko)
EP (3) EP4020958B1 (ko)
KR (7) KR102646151B1 (ko)
CN (4) CN109639954B (ko)
WO (1) WO2017221106A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240047807A (ko) 2022-10-05 2024-04-12 한국철도기술연구원 다중 센서에서 획득한 데이터의 동기화 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277480B (zh) * 2017-07-10 2019-03-29 Oppo广东移动通信有限公司 白平衡同步方法、装置和终端设备
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US20190320102A1 (en) * 2018-04-13 2019-10-17 Qualcomm Incorporated Power reduction for dual camera synchronization
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
US11082622B2 (en) * 2019-12-13 2021-08-03 Nuro, Inc. Systems and methods for dynamically switching image signal processor configurations
US11115590B1 (en) * 2020-03-04 2021-09-07 Gopro, Inc. Intelligent sensor switch during recording
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112203076B (zh) * 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
US11671704B2 (en) 2020-11-13 2023-06-06 Samsung Electronics Co., Ltd. Electronic device including a plurality of image sensors and method for thereof
KR20220170301A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 영상 제어 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080219654A1 (en) 2007-03-09 2008-09-11 Border John N Camera using multiple lenses and image sensors to provide improved focusing capability

Family Cites Families (328)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
KR940017747A (ko) 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6341180B1 (en) 1997-12-18 2002-01-22 Cellavision Ab Image content autofocus for microscopy using a noise-insensitive focus filter
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
AU2003236050A1 (en) 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
US20040240052A1 (en) 2003-06-02 2004-12-02 Pentax Corporation Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
JP2008507229A (ja) 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
ATE524760T1 (de) 2004-07-20 2011-09-15 Five Dimension Co Ltd Elektronische bildgebungseinrichtung
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
EP1950608B1 (en) 2005-11-14 2010-09-22 Nikon Corporation Image shake correction device and camera
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
US20090122406A1 (en) 2006-02-06 2009-05-14 Jarkko Rouvinen Optical Image Stabilizer Using Gimballed Prism
JP4669047B2 (ja) 2006-02-06 2011-04-13 ノキア コーポレイション 撮像システムにおける位置検知の方法及びデバイス
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8786770B2 (en) 2008-09-10 2014-07-22 Panasonic Corporation Camera body and imaging device
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP5486017B2 (ja) 2009-01-16 2014-05-07 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
EP2417560B1 (en) 2009-04-07 2017-11-29 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
WO2011005413A2 (en) 2009-06-22 2011-01-13 Omnivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
EP2478464B1 (en) 2009-09-14 2019-05-08 VIION Systems Inc. Saccadic dual-resolution video analytics camera
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
CA3043204C (en) 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
TWI524752B (zh) 2010-05-03 2016-03-01 量宏科技股份有限公司 用於高解析度影像及視訊擷取之裝置及方法
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
US8823797B2 (en) * 2010-06-03 2014-09-02 Microsoft Corporation Simulated video with extra viewpoints and enhanced resolution for traffic cameras
CA2804772A1 (en) 2010-07-13 2012-01-19 Ram Srikanth Mirlay Variable three-dimensional camera assembly for still photography
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) * 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
US9251565B2 (en) * 2011-02-03 2016-02-02 Massachusetts Institute Of Technology Hyper-resolution imaging
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2012122177A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging, LLC Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
KR101821141B1 (ko) * 2012-02-09 2018-01-23 삼성전자주식회사 3차원 영상 시스템 및 그 영상 재생 방법
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9225903B2 (en) 2012-07-12 2015-12-29 Sony Corporation Image blur correction apparatus, method of correcting image blur, and imaging apparatus
EP2872966A1 (en) * 2012-07-12 2015-05-20 Dual Aperture International Co. Ltd. Gesture-based user interface
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
WO2014062180A1 (en) 2012-10-18 2014-04-24 Halliburton Energy Services, Inc. Gravel packing apparatus having a jumper tube protection assembly
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN102920426A (zh) 2012-10-22 2013-02-13 东莞麦可龙医疗科技有限公司 一种微距可视内窥方法及装置
US9609190B2 (en) 2012-10-31 2017-03-28 Invisage Technologies, Inc. Devices, methods, and systems for expanded-field-of-view image and video capture
CN105122129A (zh) 2012-11-08 2015-12-02 威动光有限公司 微型光学变焦镜头
US9386226B2 (en) 2012-11-16 2016-07-05 Panasonic Intellectual Property Corporation Of America Camera drive device
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
WO2014152855A2 (en) 2013-03-14 2014-09-25 Geerds Joergen Camera system
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
JP5952782B2 (ja) * 2013-06-12 2016-07-13 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
CN108234851B (zh) 2013-06-13 2019-08-16 核心光电有限公司 双孔径变焦数字摄影机
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
JP6103503B2 (ja) 2013-07-31 2017-03-29 パナソニックＩｐマネジメント株式会社 撮像装置
CN109120823B (zh) * 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
CN105579902B (zh) 2013-09-23 2019-06-28 Lg伊诺特有限公司 一种制造相机模块的方法
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
TW201515433A (zh) 2013-10-14 2015-04-16 Etron Technology Inc 影像校正系統和立體照相機的校正方法
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
GB2520726A (en) * 2013-11-29 2015-06-03 St Microelectronics Res & Dev Read-out circuitry for an image sensor
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
CN105339840B (zh) 2013-12-06 2019-06-14 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
KR20160090373A (ko) 2013-12-06 2016-07-29 후아웨이 디바이스 컴퍼니 리미티드 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
WO2015081562A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 一种终端及图像处理方法、图像采集方法
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
EP3099044B1 (en) 2014-05-15 2018-12-26 Huawei Technologies Co. Ltd. Multi-frame noise reduction method and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
CN103986876B (zh) * 2014-05-29 2017-06-06 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
CN108924428A (zh) 2014-09-30 2018-11-30 华为技术有限公司 一种自动对焦方法、装置及电子设备
RU2017114952A (ru) 2014-10-03 2018-11-06 Нестек С.А. Сырная композиция и способ ее получения
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
CN104333702A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种自动对焦的方法、装置及终端
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
CN112394467B (zh) 2015-04-16 2023-06-09 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
EP3314329B1 (en) 2015-06-24 2019-01-23 Corephotonics Ltd. Low profile tri-axis actuator for folded lens camera
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
CN112672024B (zh) 2015-08-13 2022-08-02 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
US9843736B2 (en) 2016-02-26 2017-12-12 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
CN113805405B (zh) 2017-01-12 2023-05-23 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080219654A1 (en) 2007-03-09 2008-09-11 Border John N Camera using multiple lenses and image sensors to provide improved focusing capability

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240047807A (ko) 2022-10-05 2024-04-12 한국철도기술연구원 다중 센서에서 획득한 데이터의 동기화 방법 및 장치

Also Published As

Publication number Publication date
EP3381181A4 (en) 2018-11-14
CN109639954B (zh) 2020-10-23
KR102110093B1 (ko) 2020-05-13
EP4020958B1 (en) 2023-10-25
KR101939958B1 (ko) 2019-01-17
CN112217976A (zh) 2021-01-12
EP3381181A1 (en) 2018-10-03
KR20180019516A (ko) 2018-02-26
WO2017221106A1 (en) 2017-12-28
CN107925728A (zh) 2018-04-17
CN107925728B (zh) 2020-12-08
US20230292002A1 (en) 2023-09-14
KR20240036133A (ko) 2024-03-19
KR20210113436A (ko) 2021-09-15
CN109639954A (zh) 2019-04-16
EP4270978A3 (en) 2024-02-14
US11689803B2 (en) 2023-06-27
US11172127B2 (en) 2021-11-09
US20180343382A1 (en) 2018-11-29
CN112217976B (zh) 2022-02-08
KR20200049906A (ko) 2020-05-08
EP4020958C0 (en) 2023-10-25
US20180359392A1 (en) 2018-12-13
EP4020958A1 (en) 2022-06-29
EP3381181B1 (en) 2022-04-06
US20220030167A1 (en) 2022-01-27
KR20230053711A (ko) 2023-04-21
KR20190010710A (ko) 2019-01-30
KR20180100066A (ko) 2018-09-06
KR102521406B1 (ko) 2023-04-12
US10616484B2 (en) 2020-04-07
KR102646151B1 (ko) 2024-03-08
CN112217977A (zh) 2021-01-12
EP4270978A2 (en) 2023-11-01
KR101893722B1 (ko) 2018-08-30

Similar Documents

Publication Publication Date Title
KR102302004B1 (ko) 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US20230353869A1 (en) Imaging apparatus and setting screen thereof
AU2013201746B2 (en) Image processing apparatus and method of camera device
CN106576160B (zh) 用于具有模式切换的深度相机模式的成像架构
US8890971B2 (en) Image processing apparatus, image capturing apparatus, and computer program
US11729500B2 (en) Lowpass filter control apparatus and lowpass filter control method for controlling variable lowpass filter
US20110018978A1 (en) 3d image display apparatus and 3d image display method
US9787925B2 (en) Imaging device with reduced delay in display
KR101552070B1 (ko) 영상 신호 전송 방법 및 장치
KR102617898B1 (ko) 다수의 센서 장치들에서의 이미지 캡처 동기화
JP5863356B2 (ja) ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant