KR20220058593A - 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 - Google Patents

스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220058593A
KR20220058593A KR1020227011016A KR20227011016A KR20220058593A KR 20220058593 A KR20220058593 A KR 20220058593A KR 1020227011016 A KR1020227011016 A KR 1020227011016A KR 20227011016 A KR20227011016 A KR 20227011016A KR 20220058593 A KR20220058593 A KR 20220058593A
Authority
KR
South Korea
Prior art keywords
image
tele
fov
handheld device
camera
Prior art date
Application number
KR1020227011016A
Other languages
English (en)
Inventor
아비아 이스라엘리
닛잔 호로비츠
리모르 바티노
요아브 커츠
노이 코헨
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Publication of KR20220058593A publication Critical patent/KR20220058593A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

스마트폰과 같은 모바일 핸드헬드 전자 장치는 각각의 와이드 시야(FOVW)를 갖는 와이드 이미지를 캡처하기 위한 와이드 카메라, FOVW보다 작은 각각의 텔레 시야(FOVT)를 갖는 텔레 이미지를 캡처하기 위한 텔레 카메라, 및 복수의 와이드 이미지를 시야(FOVP > FOVW)를 갖는 파노라마 이미지로 스티칭하고 스마트 파노라마 이미지를 획득하기 위해 텔레 이미지를 파노라마 이미지 내의 주어진 위치에 피닝하도록 구성된 프로세서를 포함한다.

Description

스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 2019년 12월 9일에 출원된 미국 가특허출원 제62/945,519호로부터 우선권을 주장하며, 그 전체가 참조로 여기에 포함된다.
본 명세서에 개시된 주제는 일반적으로 파노라마 이미지에 관한 것으로서, 특히 그러한 이미지를 멀티-카메라(예를 들어, 듀얼-카메라)로 획득하기 위한 방법에 관한 것이다.
멀티-애퍼처 카메라(또는 멀티-카메라)는 하이-엔드 장치용 카메라를 설계할 때, 모바일 장치(예컨대, 스마트폰, 태블릿 등) 제조업체의 표준 선택이 되어 가고 있다. 멀티-카메라 셋업은 통상적으로, 와이드 시야(FOV)(또는 "앵글") 애퍼처("와이드" 도는 "W" 카메라), 및 동일한 FOV(예컨대, 깊이 보조 카메라), 좁은 FOV("텔레 FOV" 또는 FOVT를 갖는 "텔레포토", "텔레" 또는 "T" 카메라), 와이드 FOV(FOVW) 또는 울트라-와이드 FOV(FOVUW)("울트라 -와이드" 또는 "UW" 카메라) 중 어느 하나를 갖는 하나 이상의 추가 렌즈를 포함한다.
최근 몇 년 동안, 파노라마 촬영은 사진가에게 매우 큰 FOV(일반적으로 수직 방향으로)로 풍경과 주변 환경을 캡처할 수 있는 기능을 제공하기 때문에, 모바일 사용자에게 인기를 얻고 있다. 일부 모바일 장치 제조업체는 이러한 추세를 인식하고, 스마트폰과 같은 모바일 장치의 후면 카메라 셋업에 울트라-와이드-앵글(또는 "울트라-와이드") 카메라를 제공한다. 그럼에도 불구하고, 단일 애퍼처로 풍경을 캡처하는 것은 제한적이며, 사용자가 큰 FOV 장면을 캡처하고자 하는 경우 이미지 스티칭이 필요하다.
모바일 장치에서 캡처한 파노라마 이미지(또는 간단히 "일반 파노라마")는 함께 스티칭된 복수의 FOVW 이미지를 포함한다. W 이미지 데이터는 스티칭 프로세스를 위해 사용되는 메인 카메라 데이터인데, 와이드 FOV("FOVW"라고도 표시됨)를 가지면, 최종 (스티칭된) 이미지("와이드 파노라마"라고 함)는 동일한 장면을 캡처하는 텔레 카메라-기반 파노라마(또는 간단히 "텔레 파노라마")를 위해 요구되는 것보다 적은 메모리를 소모하기 때문이다. 또한, W 카메라는 T 카메라보다 더 큰 피사계 심도를 가져서, 포커스 측면에서 우수한 결과를 가져온다. 울트라-W 카메라와 비교하여, W 카메라는 왜곡 측면에서도 우수한 결과를 보여준다.
와이드 파노라마는 와이드 이미지 해상도에 의해 제한되기 때문에, 주로 멀리 있는 객체의 미세한 세부사항을 구별하는 기능이 제한된다. 파노라마 이미지 내에서 "관심 객체"(OOI)를 향해 줌인하려는 사용자, 즉 디지털 줌을 수행하려는 사용자는 와이드 이미지 해상도 제한으로 인해 이미지가 흐려지는 것을 알아차릴 수 있다. 또한, 메모리 제약을 충족하기 위해 파노라마 이미지는 와이드 이미지 해상도보다 훨씬 낮은 해상도로 압축될 수 있다.
FOV가 매우 큰 파노라마 이미지와 이미지 해상도가 높은 텔레 이미지의 이점들을 결합하는 것이 필요하고 유익할 것이다.
OOI의 해상도를 증대시키기 위해, "스마트 파노라마"를 획득하기 위한 시스템 및 방법이 본 명세서에 개시된다. 스마트 파노라마는 와이드 파노라마 및 동시에 캡처된 OOI의 적어도 하나의 텔레-기반 이미지를 포함한다. 즉, 본 명세서에 기술된 스마트 파노라마는 (i) 당업계에 알려진 파노라마 이미지 및 (ii) 파노라마 FOV 내에서 피닝되거나 위치하는 위치하는 OOI의 하나 이상의 고해상도 이미지 세트를 포함하는 이미지 데이터 어레이를 의미한다. 파노라마가 캡처되는 동안, 추가 프로세스가 W 카메라 FOVW 장면을 분석하고 OOI를 식별한다. OOI가 식별되면, "최상의 카메라"가 멀티-카메라 어레이로부터 선택된다. "최상의 카메라" 선택은 복수의 카메라 사이에 있을 수도 있거나, 또는 다른 줌 상태 또는 다른 시점(POV)과 같은 상이한 작동 모드를 갖는 단일 텔레 카메라 사이에 있을 수도 있다. "최고의 카메라" 선택은 OOI의 객체 크기, 카메라로부터의 거리 등을 기반으로 할 수 있으며, "최상의 카메라"에 대한 캡처 요청이 발행된다. "최상의 카메라" 선택은 아래에 설명된 것과 같은 텔레 캡처 전략에 의해 정의될 수 있다. 상이한 광학 줌 상태를 갖는 카메라를 사용하는 일부 실시예에서, "최상의 카메라"는 유리한 줌 상태를 사용하여 작동될 수 있다. 스캐닝 FOV를 갖는 카메라의 다른 실시예에서, "최상의 카메라"는 해당 OOI를 향해 지향될 수 있다.
본 명세서에 개시된 방법은 특정 멀티-카메라 모듈에 제한되지 않으며, 1이 아닌 FOV 비율을 갖는 적어도 2개의 카메라로 구성된 조합뿐만 아니라, 카메라들의 임의의 조합에 대해 사용될 수 있다.
현재의 멀티-카메라 시스템에서, FOVT는 일반적으로 FOVW의 중앙 부분에 있으며, 검출된 관심 객체가 캡처 요청을 트리거하는 제한된 스트립을 정의한다. 2D 스캐닝 기능을 갖는 텔레 카메라는 스캐닝 범위에서 검출된 모든 객체를 캡처할 수 있도록 스트립을 확장한다. 즉 "어디서나 주밍"을 제공한다. 2D 스캐닝 기능을 갖는 카메라의 예는 공동 소유의 국제 특허 출원 PCT/IB2016/057366, PCT/IB2019/053315 및 PCT/IB2018/050988에서 찾을 수 있다.
다중 광학 줌 상태를 갖는 텔레 카메라는 예를 들어, OOI의 크기 및 거리ㅇ에 따라 주밍(및 FOVT)을 조정할 수 있다. 그러한 기능을 갖는 카메라는 예를 들어, 공동 소유의 미국 국제 특허 출원 PCT/IB2020/050002 및 PCT/IB2020/051405에서 찾을 수 있다.
사용자에게 표시되는 파노라마는 고해상도 OOI 이미지 정보가 존재하는 파노라마 영역을 표시하는 일부 차별화(differentiating) 요소를 포함할 것이며, 이러한 차별화 요소 표시는 예를 들어, 터치 가능한 직사각형 박스를 포함할 수 있다. 박스를 터치하면, 광학적으로 주밍된 풀 해상도의 이미지가 표시되어, 사용자가 파노라마 뷰와 고해상도 줌인 뷰를 모두 즐길 수 있게 한다.
다양한 실시예에서, 핸드헬드 모바일 전자 장치에 제공되는데, 이는 와이드 이미지를 캡처하기 위한 와이드 카메라, 여기서 각각의 와이드 이미지는 각각의 와이드 시야(FOVW)를 갖고; 텔레 이미지를 캡처하기 위한 텔레 카메라, 여기서 각각의 텔레 이미지는 FOVW보다 작은 각각의 텔레 시야(FOVT)를 갖고; 및 각각의 FOVW를 갖는 복수의 와이드 이미지를 시야(FOVP > FOVW)를 갖는 파노라마 이미지로 스티칭하고, 상기 파노라마 이미지 내의 주어진 위치에 텔레 이미지를 피닝하여 스마트 파노라마 이미지를 획득하도록 구성된 프로세서를 포함한다.
일부 실시예에서, 각각의 와이드 이미지는 다른 와이드 이미지의 장면 정보와 상이한 와이드 장면 정보를 포함한다.
일부 실시예에서, 프로세서는 텔레 이미지를 주어진 위치에 피닝하기 전에, 텔레 이미지를 크롭핑도록 구성된다.
일부 실시예에서, 텔레 이미지는 심미적 기준에 따라 크롭핑된다.
일부 실시예에서, 와이드 카메라는 와이드 이미지를 자율적으로 캡처하도록 구성된다.
일부 실시예에서, 텔레 카메라는 텔레 이미지를 자율적으로 캡처하도록 구성된다.
일부 실시예에서, 프로세서는 핸드헬드 장치의 미래 움직임을 예측하는 모션 모델을 사용하도록 구성된다.
일부 실시예에서, 프로세서는 FOVP 내에서 객체의 미래 움직임을 예측하는 모션 모델을 사용하도록 구성된다.
일부 실시예에서, 프로세서는 텔레 이미지의 자동 캡처링을 위하여 특정 캡처 전략을 사용하도록 구성된다.
일부 실시예에서, 파노라마 이미지 내의 주어진 위치에 텔레 이미지를 피닝하는 것은 와이드 이미지와 텔레 이미지 사이의 로컬라이제이션을 실행함으로써 획득된다.
일부 실시예에서, 파노라마 이미지 내의 주어진 위치에 텔레 이미지를 피닝하는 것은 파노라마 이미지와 텔레 이미지 사이의 로컬라이제이션을 실행함으로써 획득된다.
일부 실시예에서, 텔레 카메라는 복수의 줌 상태를 갖는다.
일부 실시예에서, 프로세서는 복수의 줌 상태로부터 특정 줌 상태를 자율적으로 선택하도록 구성된다.
일부 실시예에서, 복수의 줌 상태로부터의 특정 줌 상태는 인간 사용자에 의해 선택된다.
일부 실시예에서, 복수의 줌 상태는 별개의(discrete) 수를 포함한다.
일부 실시예에서, 복수의 줌 상태 중 적어도 하나는 연속적으로 수정될 수 있다.
일부 실시예에서, 텔레 카메라는 스캐닝 텔레 카메라이다.
일부 실시예에서, 프로세서는 장면 내의 특정 위치에 FOVT의 스캐닝을 자율적으로 지향하도록 구성된다.
일부 실시예에서, FOVT 스캐닝은 하나의 광학 경로 폴딩 요소를 회전시킴으로써 수행된다.
일부 실시예에서, FOVT 스캐닝은 2개 이상의 광학 경로 폴딩 요소를 회전시킴으로써 수행된다.
일부 실시예에서, 각각의 텔레 이미지는 파노라마 이미지의 중심으로부터의 장면 정보를 포함한다.
일부 실시예에서, 텔레 이미지의 장면 정보는 고유(native) 텔레 시야보다 크며, 와이드 시야보다 작은 시야로부터의 장면 정보를 포함한다.
일부 실시예에서, 장면의 특정 세그먼트가 텔레 카메라에 의해 캡처되고, 파노라마 이미지 내의 위치에 피닝된다.
일부 실시예에서, 프로세서는 텔레 카메라로 장면의 특정 세그먼트를 캡처하기 위해 추적 알고리즘을 사용한다.
일부 실시예에서, 프로그램은 어떤 장면 정보가 텔레 카메라에 의해 캡처되고 파노라마 이미지 내의 위치에 피닝되는지를 결정한다.
일부 실시예에서, 프로세서는 어떤 장면 정보가 텔레 카메라에 의해 캡처되고 파노라마 이미지 내의 위치에 피닝되는지를 결정하기 위해 와이드 이미지 데이터에 기초하여 세일리언시 맵을 계산하도록 구성된다.
일부 실시예에서, 프로세서는 텔레 카메라로 장면 정보를 캡처하기 위해 추적 알고리즘을 사용하도록 구성된다.
일부 실시예에서, 파노라마 이미지 내의 주어진 위치에 피닝된 텔레 이미지는 파노라마 이미지 내의 다른 위치에 추가로 표시된다.
일부 실시예에서, 파노라마 이미지 내의 주어진 위치에 피닝된 텔레 이미지는 확대된 스케일로 표시된다.
다양한 실시예에서, 하기 방법이 제공되는데, 이는 복수의 와이드 이미지를 제공하는 단계, 여기서 각각의 와이드 이미지는 각각의 와이드 시야(FOVW)를 갖고, 다른 와이드 이미지와 상이한 와이드 장면 정보를 포함하고; 복수의 텔레 이미지를 제공하는 단계, 여기서 각각의 텔레 이미지는 FOVW보다 작은 각각의 텔레 시야(FOVT)를 갖고; 프로세서를 사용하여 복수의 와이드 이미지를 파노라마 시야(FOVP > FOVW)를 갖는 파노라마 이미지로 스티칭하는 단계; 및 상기 프로세서를 사용하여 적어도 하나의 텔레 이미지를 파노라마 이미지 내의 주어진 위치에 피닝하는 단계를 포함한다.
일부 실시예에서, 핸드헬드 장치는 FOVP에서 장면 정보를 캡처하기 위해 사용자에 의해 수동으로 이동된다.
본 명세서에 개시된 실시예의 비-제한적인 예는 본 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에 설명된다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다. 상이한 도면에서 동일한 요소는 동일한 번호로 표시될 수 있다. 도면에서의 요소는 반드시 축척에 맞게 그려진 것은 아니다. 도면에서:
도 1a는 예시적인 트리플 카메라 출력 이미지 크기 및 그 사이의 비율을 도시한다.
도 1b는 2개의 상이한 줌 상태에 있는 T 카메라를 갖는 듀얼-카메라에서 W 및 T 이미지 사이의 예시적인 비율을 도시한다.
도 1c는 2D 스캐닝 T 카메라를 포함하는 듀얼-카메라에 대한 듀얼-카메라 이미지의 FOV를 도시한다.
도 2a는 특정 OOI가 FOVW 중심 주변의 제한된 스트립에 위치한 객체일 때의 스마트 파노라마 이미지의 예를 도시한다.
도 2b는 특정 OOI가 FOVW의 대부분에 걸쳐 위치하는 파노라마 이미지의 예를 도시한다.
도 3a는 인간 사용자 시점에서의 스마트 파노라마 출력의 예시적인 실시예를 도시한다.
도 3b는 인간 사용자 시점에서의 스마트 파노라마 출력의 다른 예시적인 실시예를 도시한다.
도 3c는 인간 사용자 시점에서의 스마트 파노라마 출력의 또 다른 예시적인 실시예를 도시한다.
도 4는 본 명세서에 기술된 스마트 파노라마 이미지를 제공할 수 있는 전자 장치의 일 실시예를 개략적으로 도시한다.
도 5는 본 명세서에 기술된 스마트 파노라마 사용 방법의 일반적인 작업 흐름을 도시한다.
도 6a 및 도 6b는 W 이미지 내에서 T 이미지의 로컬라이제이션(localization)을 도시한다.
본 명세서에 개시된 실시예의 비-제한적인 예는 본 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에 설명된다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다. 상이한 도면에서 동일한 요소는 동일한 번호로 표시될 수 있다. 도면의 요소는 반드시 축척에 맞게 그려진 것은 아니다. 도면에서:
도 1a는 예시적인 트리플 카메라 출력 이미지 크기 및 이들 사이의 비율을 도시한다. 트리플 카메라는 예를 들어, 울트라-와이드 FOV(FOVUW로 표시됨)(102), 와이드 FOV(FOVW로 표시됨)(104) 및 텔레 FOV(FOVT로 표시됨)(106)와 같이 서로 다른 FOV를 갖는 3개의 카메라를 포함한다. 이러한 트리플 카메라는 본 명세서에 개시된 "스마트 파노라마" 방법에 적용 가능하다. UW 또는 W 카메라 중 어느 하나가 본 명세서에 개시된 스마트 파노라마를 획득하는 방법에서 "와이드 카메라"로 사용될 수 있으며, 텔레 카메라는 파노라마 캡처에 필요한 캡처 시간 내에 OOI의 고-해상도 이미지를 캡처하는 데 사용될 수 있다.
도 1b는 2개의 상이한 줌 상태, 즉 제1 줌 상태 및 제2 줌 상태에 있는 텔레 카메라 및 와이드 카메라를 포함하는 듀얼 카메라에서 W 및 T 이미지들 사이의 예시적인 비율을 도시한다. 여기서, 제2 줌 상태는 제1 줌 상태보다 줌 팩터(ZF)가 더 큰(해당 FOV가 더 작은) 상태를 의미한다. W 카메라는 FOVW(104)를 갖는다. T 카메라는 예를 들어, x5 줌 및 x8 줌의 2 이상의 별개 줌 상태 사이에서, 또는 (줌 기능의 한계 내에서) 연속 줌을 통한 원하는 수의 줌 상태 사이에서, 그 줌 팩터(및 해당 FOV(106'))를 조정할 수 있는 줌 텔레 카메라이다. 파노라마 이미지는 W 이미지 데이터를 기반으로 하지만, 특정 FOVT(106')(및 해당 줌 팩터)를 선택하고, 이러한 특정 FOVT(106')를 사용하여 OOI를 캡처하여 스마트 파노라마 이미지에 대한 최상의 사용자 경험을 제공할 수 있다.
도 1c는 2D 스캐닝 T 카메라를 포함하는 듀얼-카메라에 대한 듀얼-카메라 이미지의 FOV를 도시한다. 2D 스캐닝 T 카메라는 "고유 FOVT"를 갖고, 장면에서 고유 FOVT의 위치가 변경될 수 있어서, 고유 FOVT보다 더 큰 장면의 세그먼트를 커버하거나 "스캔"할 수 있다. 이라힌 더 큰 장면 세그먼트는 "유효 텔레 FOV" 또는 간단히 "텔레 FOV"라고 지칭된다. 도 1c는 FOVW(104) 내 2개의 다른 위치에 있는 고유 FOVT(106')를 도시한다. FOVW(104)를 갖는 W 카메라는 일반 파노라마를 캡처하는 데 사용된다. FOVW에 적용된 관심 영역(ROI) 검출 방법은 이러한 ROI를 향해 FOVT(106'')을 지정하기 위해 사용된다. 이러한 검출 방법의 예는 아래에 설명되어 있다. FOV 스캐닝은 하나 이상의 광학 경로 폴딩 요소(OPFE)의 회전 작동에 의해 수행될 수 있다. OPFE 작동에 의한 FOV 스캔은 약간의 세틀링 시간이 필요하기 때문에 즉각적이지 않다. FOV 스캐닝은 예를 들어, 2°- 5° 스캐닝에 대해 약 1-30 ms, 10°- 25° 스캐닝에 대해 약 5-80 ms의 시간 스케일을 필요로 할 수 있다. 일부 실시예에서 T 카메라는 FOVW 영역의 약 50%를 커버할 수 있다. 다른 실시예에서, T 카메라는 FOVW 영역의 약 80% 이상을 커버할 수 있다.
일반 파노라마 이미지는 수직 또는 수평 센서 방향으로 캡처될 수 있다. 파노라마 캡처 방향은 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽이 될 수 있으며, 최대 360도까지 모든 화각을 포함할 수 있다. 이러한 캡처링은 구형, 원통형 또는 3D 파노라마에 적용될 수 있다.
도 2a는 스마트 파노라마 이미지 예를 도시하며, 여기서 OOI(202, 204, 206, 208, 210)는 FOVW의 중심 주위의 한정된(limited) 스트립에 위치한(제한된) 객체이며, 제한 양은 예를 들어, W 및 T 카메라들 사이의 FOV 비율로 정의된다. 이러한 스트립은 스캔 기능이 없는 T 카메라의 FOV에 대응한다. 이러한 스트립에 포함된 OOI는 스마트 파노라마 프로세스에 의해 검출되고 자동으로 캡처된다. 멀티-상태 줌 카메라 또는 연속 줌 카메라를 T 카메라로 사용하면, FOVW에서 입체각(Ω202)을 차지하는 객체(예컨대, 202)가 (FOVW에서 입체각(Ω210)을 차지하는) 다른 객체(210)(여기서, Ω210 > Ω202)보다 더 높은 이미지 해상도로 캡처될 수 있다.
도 2b는 OOI(212, 214, 216, 218, 220, 222)가 FOVW의 대부분에 걸쳐 위치하는 파노라마 이미지의 예를 도시한다. OOI는 또한 한정된 스트립으로 제한될 수 있지만, 이 스트립의 한계(limit)는 도 2a에서보다 상당히 크다. 스캐닝 T 카메라는 2D 스캐닝 범위에서 중심에서 벗어나(off-center) 위치하는 객체(예컨대, 객체 222)를 캡처할 수 있다.
도 3a는 인간 사용자 시점에서의 스마트 파노라마 출력의 예시적인 실시예를 도시한다. OOI로 식별되고 높은 T 이미지 해상도로 캡처된 객체(212, 214, 216, 218, 220 및 222)는 파노라마 이미지에서 보이거나 보이지 않을 수 있는 직사각형 박스로 표시되어, 사용자에게 OOI의 고해상도 이미지의 이용 가능성에 대한 힌트를 제공한다. 박스 중 하나(예컨대, 박스(222))를 클릭하면, 고해상도 이미지에 액세스되고, 여러 가지 방법으로(예를 들어, 전체 이미지 미리보기; 스마트 파노라마 이미지와 함께 나란히 디스플레이; 파노라마, W 이미지 및 T 이미지를 결합한 줌인 비디오 디스플레이; 또는 이용 가능한 이미지를 사용하는 임의 다른 유형의 디스플레이 등의 방법을 포함하지만, 이에 국한되지 않음) 사용자에게 표시될 수 있다.
도 3b 및 도 3c는 인간 사용자 시점에서의 스마트 파노라마 출력의 다른 예시적인 실시예를 도시한다. 도 3b 및 도 3c는 도 2a에 도시된 파노라마 장면을 참조한다. OOI로 식별되고 높은 T 이미지 해상도로 캡처된 객체(202 및 208)는 실제 위치(및 크기)에서 뿐만 아니라 객체(202 및 208)에 대해 각각 224 및 226과 같은 확대 표현(또는 축척)으로도 파노라마 이미지에서 볼 수 있다. 이러한 확대된 표현은 파노라마 이미지의 적절한 세그먼트에 표시될 수 있다. 적합한 세그먼트는 다른 OOI가 존재하지 않는 세그먼트, 이미지 품질이 낮은 곳, 이미지 아티팩트가 존재하는 곳 등일 수 있다. 일부 예에서, 이러한 이중 표현은 장면에서의 모든 OOI에 대해 사용될 수 있다.
다른 예에서, 객체(202 및 208) 각각의 확대된 표현인 객체(224 및 226)에 대해 예시적으로 도시된 도 3c를 참조하면, 하나 이상의 OOI가 확대된 표현으로 이들의 실제 위치에 표시될 수 있다.
도 4는 본 명세서에 기술된 스마트 파노라마 이미지를 제공할 수 있는 전자 장치(400, 예를 들어, 스마트폰)의 실시예를 개략적으로 도시한다. 전자 장치(400)는 논-폴디드(수직) T 카메라 또는 폴디드 T 카메라일 수 있는 제1 T 카메라(402)를 포함하는데, 이는 하나 이상의 OPFE(404) 및 제1 이미지 센서(408)에 의해 기록된 제1 이미지를 형성하는 제1(텔레) 렌즈를 포함하는 제1 렌즈 모듈(406)을 포함한다. T 카메라(4020)는 제1(텔레) 이미지 센서(410)에 의해 기록된 이미지를 형성한다. 제1 렌즈는 고정된 줌 팩터(ZF)를 제공하는 고정된 유효 초점 거리(고정 EFL), 또는 적응 가능한 ZF를 제공하는 적응형 유효 초점 거리(적응형 EFL)를 가질 수 있다. 초점 길이의 적응(adaptation)은 별개의 불연속적이거나 연속적일 수 있으며, 즉 특정 각각의 ZF를 갖는 2개 이상의 별개의 줌 상태를 제공하기 위한 가변 초점 길이의 별개의 수이거나, ZF의 적응이 연속적일 수 있다. 제1 렌즈 액추에이터(412)는 포커싱 및/또는 광학 이미지 안정화(OIS)를 위해 렌즈 모듈(406)을 이동시킬 수 있다. OPFE 액추에이터(414)는 OIS 및/또는 FOV 스캐닝을 위해 OPFE(404)를 작동시킬 수 있다.
일부 실시예에서, T 카메라의 FOV 스캐닝은 OPFE 작동에 의해 수행되지 않을 수 있다. 일부 실시예에서, T 카메라의 FOV 스캐닝은 하나의 OPFE를 작동함으로써가 아니라 둘 이상의 OPFE를 작동함으로써 수행될 수 있다. 2개의 OPFE를 작동하여 FOV 스캐닝을 수행하는 스캐닝 T 카메라는 예를 들어, 2020년 11월 5일에 출원된 공동 소유의 미국 가특허출원 제63/110,057호에 설명되어 있다.
전자 장치(400)는 카메라 모듈(402)의 FOVT보다 큰 FOVW를 갖는 W 카메라 모듈(420)을 더 포함한다. W 카메라 모듈(420)은 제2(와이드) 이미지 센서(424)에 의해 기록된 이미지를 형성하는 제2 렌즈 모듈(422)을 포함한다. 제2 렌즈 액추에이터(426)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(422)을 이동시킬 수 있다. 일부 실시예에서, 제2 캘리브레이션 데이터는 제2 메모리(428)에 저장될 수 있다.
전자 장치(400)는 애플리케이션 프로세서(AP)(430)를 더 포함할 수 있다. 애플리케이션 프로세서(440)는 T 이미지 신호 프로세서(ISP)(432) 및 W 이미지 ISP(434)를 포함한다. 애플리케이션 프로세서(430)는 세일리언트(salient) ROI 추출기(438), 객체 검출기(440), 객체 추적기(442) 및 카메라 컨트롤러(444)를 포함하는 실시간 모듈(436)을 더 포함한다. 애플리케이션 프로세서(440)는 파노라마 모듈(448) 및 스마트 파노라마 모듈(450)을 더 포함한다.
일부 실시예에서, 제1 캘리브레이션 데이터는 예를 들어, EEPROM(전기적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리)와 같이 T 카메라 모듈의 제1 메모리(416)에 저장될 수 있다. 다른 실시예에서, 제1 캘리브레이션 데이터는 NVM(비휘발성 메모리)과 같은 제3 메모리(470)에 저장될 수 있다. 제1 캘리브레이션 데이터는 W 모듈(420)의 센서들과 T 모듈(402) 사이의 캘리브레이션 데이터를 포함할 수 있다. 다른 실시예들에서, 제2 캘리브레이션 데이터는 제3 메모리(452)에 저장될 수 있다. 제2 캘리브레이션 데이터는 W 모듈(420)의 센서들과 T 모듈(402) 사이의 캘리브레이션 데이터를 포함할 수 있다. T 모듈은 예를 들어, 8mm - 30mm 또는 그 이상의 유효 초점 거리(EFL), 10deg - 40deg의 대각선 FOV, 및 f/# = 1.8 - 6 정도의 f 수를 가질 수 있다. W 모듈은 예를 들어, 2.5mm - 8mm의 EFL, 50deg - 130deg의 대각선 FOV 및 f/# = 1.0 - 2.5를 가질 수 있다.
사용시, AP(430)와 같은 프로세싱 유닛은 카메라 모듈(402, 420)로부터 각각의 와이드 및 T 이미지 데이터를 수신하고, 카메라 제어 신호를 카메라 모듈(402, 420)에 공급할 수 있다.
세일리언트 ROI 추출기(438)는 각각의 W 이미지에 대한 세일리언시 맵을 계산할 수 있다. 세일리언시 맵은 고전적인 컴퓨터 비전 방법이나 신경망 모델을 사용하여 다양한 세일리언시 또는 세일리언트-객체-검출(SOD) 알고리즘을 적용함으로써 획득될 수 있다. 세일리언시 방법에 대한 예는 "MIT 세일리언시 벤치마크" 및 "MIT/튀빙겐 세일리언시 벤치마크"와 같은 당업계에 공지된 데이터세트에서 찾을 수 있다. 세일리언트 ROI 추출기(438)는 또한 세일리언트 관심 영역(ROI)을 추출하고, 위에서 논의된 OOI를 포함할 수 있다. 각각의 세일리언트 객체(또는 ROI)에 대해, 장면 세그먼트 및 세일리언시 스코어를 포함할 수 있는 주변 경계 박스가 정의된다. 세일리언시 스코어는 이후 단계에서 설명하는 대로 미래의 결정에 대한 객체의 영향을 결정하는 데 사용될 수 있다. 세일리언시 스코어는 객체 속성, 예를 들어, 객체의 크기 및 각 객체의 세일리언시 스코어의 표현을 반영하는 파라미터의 조합으로 선택된다.
일부 실시예에서, 객체 검출기(440)는 세일리언시 맵의 계산과 동시에 W 이미지에서 객체를 검출하고 장면에서의 객체에 대한 의미론적 이해를 제공할 수 있다. 추출된 의미론적 정보는 세일리언시 스코어를 계산하는데 고려될 수 있다.
다른 실시예에서, 객체 검출기(440)는 세일리언시 맵의 계산 후에 W 이미지에서 객체를 검출할 수 있다. 객체 검출기(440)는 단지 W 이미지의 세그먼트, 즉 세일리언트 ROI 추출기(438)에 의해 세일리언시 ROI로 분류된 세그먼트만을 사용할 수 있다. 객체 검출기(440)는 ROI의 의미론적 이해를 추가로 제공할 수 있는데, 여기서 의미론적 정보는 세일리언시 스코어를 재계산하는 데 사용될 수 있다.
객체 검출기(440)는 ROI의 위치 및 분류 유형에 대한 정보와 같은 데이터를 객체 추적기(442)에 제공할 수 있으며, 객체 추적기는 ROI의 위치에 대하여 카메라 컨트롤러(444) 및 카메라 컨트롤러(458)를 업데이트할 수 있다. 카메라 컨트롤러(444)는 특정 의미론적 레이블 또는 와이드 FOV 내에서의 ROI 위치(예컨대, 와이드 FOV의 제한된 텔레 FOV 커버리지와 같은 하드웨어 제한을 고려하기 위함) 또는 특정 임계값 이상의 세일리언시 스코어 등의 종속성 하에 ROI를 캡처하는 것을 고려할 수 있다.
파노라마 모듈(448)은 당업계에 알려진 바와 같이 복수의 W 이미지를 파노라마 이미지로 스티칭한다. 스마트 파노라마 모듈(450)은 고해상도 ROI를 파노라마 이미지 상의 대응 위치 및 스마트 파노라마 이미지에 사용될 T 이미지를 선택하는 이미지 선택 모듈(미도시)에 매칭시킨다.
카메라 컨트롤러(444)는 최상의 사용자 경험을 제공하기 위하여 상이한 텔레 캡처 전략에 따라 ROI를 캡처하도록 T 카메라를 선택하거나 지향할 수 있다. 최상의 사용자 경험을 제공하기 위해, 카메라 컨트롤러(444)는 예를 들어, 적절한 ZF를 선택하거나 고유 FOVT를 FOVT 내의 ROI를 향해 지향되게 함으로써, "최상의 카메라"가 되게 할 수 있다.
일부 예에서, "최상의 사용자 경험"은 최고 해상도로 OOI에 대한 정보를 제공하는 ROI의 T 이미지(텔레 캡처 "전략 예 1" 또는 "SE 1")를 의미할 수 있으며, 이를 제공하는 각각의 텔레 캡처 전략은 선택될 수 있다. 그러나, 다른 예에서는 다음과 같은 전략 예를 통해 최상의 사용자 경험을 제공할 수 있다:
최고의 세일리언시 스코어를 갖는 OOI를 포함하는 텔레 ROI 캡처링("SE 2");
하나의 ROI 텔레 캡처에서 다수의 OOI 캡처링("SE 3");
서로 다른 ROI 텔레 캡처 간의 균일하거나 불균일한 피사계 심도 분포("SE 4");
예컨대 심미적 크롭핑이 적용될 수 있도록, OOI뿐만 아니라 일정량의 배경ㅇ으을 포함("SE 5");
특정 줌 팩터로 복수의 ROI 캡처링("SE 6");
하나의 ROI 텔레 캡처에서 다수의 OOI 캡처링, 여기서 OOI는 텔레 FOV 내의 특정 분포에 따라 분포될 수 있음("SE 7");
하나의 ROI에서 하나 이상의 OOI 캡처링, 여기서 OOI는 T 이미지 내의 특정 위치 또는 영역에 위치해야 함("SE 8");
예컨대, 이미지 센서에 형성된 특정 OOI 또는 ROI의 이미지가 특정 이미지 크기를 가질 수 있도록, 특정 줌 팩터로 복수의 ROI 캡처링("SE 9");
특정 분광 또는 색상 구성 범위("SE 10");
특정 밝기 범위("SE 11"); 텍스처와 같은 시각적 데이터("SE 12")일 수 있는 특정 장면 특성("SE 12");
OOI뿐만 아니라 특정 양의 배경을 포함, 여기서 T 카메라 설정은 OOI에 초점이 맞춰지고 배경이 특정 정도의 광학적 보케를 가질 수 있거나("SE 13"), 또는 최소 또는 최대 광학적 보케를 가질 수 있도록("SE 14") 선택될 수 있다;
더 높은 선호도 지정 유형의 OOI로 캡처링, 예컨대 사용자는 예를 들어, 텔레에 의해 동물, 식물 또는 건물 또는 인간 중 어느 것이 더 높은 선호도로 캡처될 것인지를 선택할 수 있다("SE 15"); 또는
특정 상태 또는 조건에서 선호하는 유형의 OOI를 더 높은 선호도로 캡처링, 예컨대 인간은 뜬 눈 상태를 더 높은 선호도로 하여 캡처될 수 있고, 새는 펼쳐진 날개를 더 높은 선호도로 하여 캡쳐될 수 있고("SE 16"), 또는 촬영 기법에서 공지된 다른 기준이 최상의 사용 경험을 위해 고려될 수 있다.
텔레 캡처 전략은 최상의 사용자 경험을 제공하기 위해 각각 정의된다. 텔레 캡처 전략에 따르면, 카메라 컨트롤러(444)는 예를 들어, 선택된 줌 팩터, 선택된 f 수 또는 스캐닝 카메라가 지향될 수 있는 POV와 관련하여 T 카메라의 설정을 조정할 수 있다. 세일리언시 맵의 계산 또는 모션 모델의 적용 또는 객체 추적 알고리즘의 사용과 같이 본 명세서에 기재된 다른 기술들이 예를 들어, 특정 텔레 캡처 전략을 구현하기 위한 설정을 변경함으로써 사용 또는 적용될 수 있다.
다른 실시예에서, 카메라 컨트롤러(444)는 고유 FOVT 경계를 초과하는 OOI의 서브-영역인 ROI를 캡처하기로 결정할 수 있다. 이러한 객체는 "큰(large)" 객체로 지칭될 것이다. "큰" 객체가 선택되면, 세일리언트 ROI 추출기(438)는 큰 객체를 포함하는 와이드 FOV의 세그먼트에 대한 추가 세일리언시 맵을 계산할 수 있다. 세일리언시 맵이 분석될 수 있고, 큰 객체의 가장 시각적으로 주의 깊은(눈에 띄는, salient) 서브-영역이 T 카메라에 의해 캡처되도록 선택될 수 있다. 예를 들어, 서브-영역은 다음 계산 단계에서 큰 객체 데이터를 대체할 수 있다. 카메라 컨트롤러(444)는 스캐닝 T 카메라를 그것을 캡처하기 위한 서브-영역으로 향하게 지향할 수 있다.
스마트 파노라마 모듈(450)은 T 이미지를 저장(캡처)할지 또는 폐기할지 결정할 수 있다. 즉, 스마트 파노라마 모듈(464)은 캡처된 모든 T 이미지 중 "최상"의 이미지만 저장할 수 있다. 최상의 이미지는 가장 많은 양의 세일리언트 정보를 포함하는 이미지로 정의될 수 있다. 다른 실시예에서, 최상의 이미지는 개별 사용자에게 높은 가치를 가질 수 있는 특정 객체, 예를 들어 특정한 사람 또는 동물을 포함할 수 있다. 스마트 파노라마 모듈(450)은 예를 들어, 자동으로(예컨대, 기계 학습 절차를 통해) 또는 사용자에 의한 수동으로 어떠한 ROI가 최상의 이미지로 간주되어야 하는지를 학습한다. 또 다른 실시예에서, 최상의 이미지는 특정 줌 팩터로 캡처된 이미지, 또는 각각의 ROI를 포함하는 복수의 이미지일 수 있으며, 여기서 각각의 ROI는 특정 줌 팩터 또는 일부 다른 속성(예를 들어, 이미지 센서에 형성된 ROI의 이미지는 특정 크기, 특정 분광 또는 색상 구성 범위을 가질 수 있음) 또는 최소 포커스 또는 디포커스, 또는 특정 밝기 범위 또는 텍스처와 같은 시각적 데이터일 수 있는 특정 장면 특성으로 캡처될 수 있다. 일부 실시예에서, 스마트 파노라마 모듈(450)은 새로 캡처된 이미지가 이전에 저장된(즉, 이미 선택된) 이미지와 겹치지 않는(비-중첩) FOV를 갖는지 확인할 수 있다.
일부 실시예에서, 객체 추적기(442)는 연속적인 W 이미지에 걸쳐 선택된 ROI를 추적할 수 있다. 다른 추적 방법이 사용될 수 있다. Henriques et al.의 "커널화된 상관 필터를 갖는 고속 추적". 객체 추적은 ROI가 T 카메라에 의해 캡처될 때까지 또는 객체 추적 프로세스가 실패할 때까지 계속될 수 있다. 일부 실시예에서, 객체 추적기(442)는 예를 들어, 현재 카메라 위치와 일부 모션 모델에 기초하여, ROI의 미래 위치를 예측하기 위해 또한 구성될 수 있다. 이러한 예측을 위해, 칼만 필터의 확장 또는 당업계에 공지된 임의의 다른 모션 추정이 사용될 수 있다. 칼만 필터 방법에 대한 예는 1995년 Welch와 Bishop이 발행한 "칼만 필터 소개"라는 논문에서 찾아볼 수 있다. 위치 예측은 스캐닝 T 카메라를 예상되는 미래 ROI 위치로 지향하는 데 사용될 수 있다. 일부 실시예에서, ROI의 추정된 속도도 고려될 수 있다. 속도는 장면의 다른 객체에 대한 예컨대 OOI의 속도 또는 전자 장치(400)의 움직임에 대한 예컨대 OOI의 속도를 의미할 수 있다.
다른 실시예에서, 카메라 컨트롤러(444)는 결함 검출을 수행하도록 구성될 수 있다. 결함 검출은 예를 들어, 이미지 품질 또는 장면 콘텐츠 측면에서 특정 임계값이 충족되지 않을 수 있는 경우, 오류를 일으킬 수 있다. 예를 들어, (a) 모션 블러, (b) 전자 노이즈, (c) 디포커스 블러, 장면의 장애물 또는 기타 원치 않는 효과의 특정 임계값이 이미지에서 검출될 수 있는 경우, 오류가 발생할 수 있다. 일부 예에서, ROI 이미지에서 오류가 발생한 경우, 이러한 이미지는 스마트 파노라마 이미지를 위해 고려되지 않으며, 스캐닝 T 카메라는 ROI를 포함하는 장면 세그먼트로 리디렉션하고 ROI를 다시 캡처하도록 지시받을 수 있다.
다른 실시예에서, 카메라 컨트롤러(444)는 캡처 결정을 위한 추가 사용자 입력을 고려할 수 있다. 사용자 입력은 의도적이거나 비의도적일 수 있다. 예를 들어, 시선 추적을 사용하여 캡처 결정을 내릴 수 있다. 예를 들어, 사용자 대면 카메라는 카메라 호스팅 장치의 화면이나 장면 자체에서 볼 때, 사용자의 눈 움직임을 자동으로 관찰하는 데 사용될 수 있다. 예를 들어, 사용자의 눈이 다른 장면 세그먼트에 머무는 것보다 특정 장면 세그먼트에 훨씬 더 오래 머무는 경우, 해당 세그먼트는 사용자에게 중요하다고 간주될 수 있으며, 더 높은 우선 순위로 캡처될 수 있다.
다른 실시예에서 그리고 예를 들어, 텔레 FOV에 대해 큰 객체를 캡처하기 위해 또는 매우 높은 해상도로 객체를 캡처하기 위해, 카메라 컨트롤러(444)는 단일 T 이미지가 아니라, ROI의 다른 세그먼트를 포함하는 복수의 T 이미지에 의해 ROI를 캡처하도록 구성될 수 있다. 복수의 T 이미지는 ROI 전체를 표시할 수 있는 하나의 이미지로 함께 스티칭될 수 있다.
최상의 이미지의 최종 선택은 스마트 파노라마 모듈(450)에 의해 수행될 수 있다. 스마트 파노라마 모듈(450)은 예를 들어, (i) 최대 저장 용량, (ii) 저장된 이미지 간의 FOV 중첩 및 (iii) 파노라마 FOV에서 ROI의 공간 분포를 고려할 수 있다. 스마트 파노라마 모듈(450)은 위에서 설명된 바와 같은 최상의 사용자 경험을 제공하는 것과 같은 기준뿐만 아니라, 예를 들어 Wang et al이 2018년 "주의 및 심미적 인식 포토 크롭핑을 위한 심층 네트워크 솔루션" 논문에 기술한 바와 같은 심미적 이미지 크롭핑의 기준을 총족하는 크롭핑 윈도우를 찾는 것을 목적으로 하는 크롭핑 모듈(도시되지 않음)을 추가로 포함한다.
일부 실시예에서, 스마트 파노라마 모듈(450)은 와이드 FOV보다 더 넓은 FOV를 갖는 스티칭된 이미지에 대한 추가 세일리언시 계산을 수행할 수 있다. 예를 들어, 세일리언시 정보는 파노라마 FOV의 세그먼트 또는 전체에 세일리언시 또는 SOD 모델을 적용하여 계산될 수 있다.
다른 실시예에서, 스마트 파노라마 모듈(450)은 예를 들어, 검출 알고리즘을 적용함으로써, 스마트 파노라마 이미지에서 사용될 T 이미지를 선택하기 위해 의미론적 정보를 사용할 수 있다. 스마트 파노라마 이미지에서 사용될 T 이미지를 선택할 가능성은 예를 들어, 사람의 얼굴이 얼굴-검출 알고리즘에 의해 검출될 경우 높아진다.
선택된 T 이미지는 스마트 파노라마 이미지에 표시된 직사각형을 탭하거나, 줌 핀칭을 통해 스마트 파노라마 FOV로부터 고유 텔레 FOV로 줌 전환하여 사용자에게 예시적으로 표시될 수 있다.
도 5는 예를 들어, 장치(400)와 같은 전자 장치에서 구현(수행 또는 실시)될 수 있는 본 명세서에 기재된 스마트 파노라마 "기능"(또는 사용 방법)의 일반적인 작업 흐름을 도시한다. 캡처 프로세스는 단계(502)에서 일반 파노라마 이미지를 캡처링하는 것으로 시작한다. AP(430)와 같은 처리 유닛은 단계(504)에서 사용자가 장면을 따라 W 카메라를 지향함에 따라, 일련의 W(와이드) 이미지를 수신한다. W 이미지는 자율적으로 캡처될 수 있다. W 이미지는 단계(506)에서 OOI 및 ROI를 식별하기 위해 436과 같은 RT 모듈에 의해 처리된다. ROI가 식별된 후, 2D 스캐닝 카메라의 경우, 단계(508)에서 처리 유닛은 고해상도 T 카메라를 관심 영역으로 지향할 수 있다. 다중 줌 상태를 갖는 "센터드(centered) FOVT 카메라"(즉, 와이드 FOV에 대해 FOVT가 중앙에 있는 T 카메라)의 경우, 카메라 컨트롤러(444)는 일반 파노라마 캡처 동안, T 이미지를 캡처하기 위해 유리한 줌 상태를 선택할 수 있다. 여기서, "유리한 줌 상태"라는 용어는 상술한 바와 같이 최상의 사용자 경험을 제공하는 줌 상태를 의미할 수 있다. T 카메라가 ROI를 지향하도록 하면, T 이미지가 단계(510)에서 캡처된다. 결함 검출이 수행되고 오류 메시지가 발생하는 경우, 단계(508)로 되돌아갈 수 있다. 즉, 처리 유닛이 고해상도 텔레 카메라를 ROI에 다시 지향하고 그것을 다시 캡처한다. 결국, W 이미지는 파노라마 모듈(448)에 의해 스티칭되어, 단계(512)에서 일반 파노라마 이미지를 생성한다. 단계(514)에서, 스마트 파노라마 모듈(450)은 어떠한 T 이미지가 스마트 파노라마에 포함될지를 결정하고 선택된 T 이미지 위치를 매우 높은 해상도를 갖는 파노라마 이미지에 피닝한다.
일부 실시예에서, 단계(510)에서 캡처된 T 이미지의 이미지 데이터는 일반 파노라마 이미지를 위해 사용될 수 있다.
센터드 FOVT 카메라를 갖는 다른 실시예에서, 처리 유닛은 파노라마 캡처 동안, T 이미지를 캡처하기 위한 올바른 타이밍을 결정할 수 있다.
도 6a-b는 W 이미지 내에서 T 이미지의 로컬라이제이션을 도시한다. 로컬라이제이션은 고해상도 카메라를 ROI로 지향하게 하기 위해 단계(508)에서 수행되거나, T 이미지를 파노라마 이미지의 특정 위치에 피닝하기 위해 단계(514)에서 수행될 수 있다. T 이미지는 스캐닝 텔레 카메라 또는 비-스캐닝 텔레 카메라에 의해 캡처될 수 있다.
도 6a에서, 스캐닝 T FOV(602)는 와이드 카메라 FOV(604) 내의 추정된 POV에서 도시된다. W FOV(604)에 대한 스캐닝 T FOV 추정은 OPFE 위치 데이터를 제공하는 위치 센서 측정에 일반적으로 의존할 수 있는 텔레-와이드 캘리브레이션 정보에 의해 획득된다. T FOV 추정은 캘리브레이션에 따라 달라지므로, T 이미지 데이터와 W 이미지 데이터를 매칭시키는 측면에서 충분히 정확하지 않을 수 있다. 일반적으로, 로컬라이제이션 이전에, 동일한 객체 포인트의 이미지 포인트들은 예를 들어, 와이드 카메라와 텔레 카메라 사이에서 25픽셀 이상, 50픽셀 이상 또는 100픽셀 이상 벗어날 수 있다(deviate). 우리는 약 1μm의 픽셀 크기를 가정한다. W FOV에 대한 T FOV 추정의 정확도를 개선하기 위해 텔레 로컬라이제이션이 수행된다. 로컬라이제이션 프로세스는 다음을 포함된다:
1. 먼저, 서치 영역(606)이 도 6a에 도시된 바와 같이 선택될 수 있다. 선택은 사전(캘리브레이션 기반) 추정을 기반으로 할 수 있다. 서치 영역은 사전 추정의 FOV 중심으로 정의될 수 있으며, 이는 직사각형 영역에 대칭적으로 임베딩될 수 있으며, 여기서 직사각형 영역은 예를 들어, T FOV에 의해 커버되는 영역의 2배 또는 3배 또는 4배일 수 있다.
2. 서치 영역이 W FOV 프레임으로부터 크롭핑된다.
3. 다음 단계는 템플릿 매칭을 포함할 수 있으며, 소스는 크롭핑된 서치 영역으로 표현될 수 있고, 템플릿은 T FOV 프레임으로 표현될 수 있다. 이러한 프로세스는 서치 영역의 다른 위치 또는 전체 서치 영역에 대한 템플릿의 교차-상관관계(cross-correlation)에 의해 수행될 수 있다. 가장 높은 매칭 값을 갖는 위치는 W FOV 내에서 T FOV 위치의 최상의 추정을 나타낼 수 있다. 도 2b에서, 608은 로컬라이제이션 후 최종 추정된 텔레 FOV를 나타낸다.
로컬라이제이션 후, 동일한 객체 포인트의 이미지 포인트들은 와이드 카메라와 텔레 카메라 사이에서 일반적으로 20픽셀 미만, 10픽셀 미만 또는 심지어 2픽셀 미만 벗어날 수 있다.
본 개시내용이 특정 실시예 및 일반적으로 관련된 방법의 시점에서 설명되었지만, 실시예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시내용은 여기에 기재된 특정 실시예에 의해 제한되지 않고 첨부된 청구범위에 의해서만 제한되는 것으로 이해되어야 한다.
본 명세서에서 언급된 모든 참조는 각각의 개별 참조가 구체적이고 개별적으로 참조로 여기에 포함되는 것으로 표시된 것과 동일한 정도로, 그 전체가 참조로 명세서에 포함된다. 또한, 본 출원에서 임의의 참조의 인용 또는 식별이 그러한 참조가 본 출원에 대한 선행 기술로서 이용가능하다는 인정으로 해석되어서는 안 된다.

Claims (31)

  1. 핸드헬드 장치로서,
    와이드 이미지를 캡처하기 위한 와이드 카메라, 여기서 각각의 와이드 이미지는 각각의 와이드 시야(FOVW)를 갖고;
    텔레 이미지를 캡처하기 위한 텔레 카메라, 여기서 각각의 텔레 이미지는 FOVW보다 작은 각각의 텔레 시야(FOVT)를 갖고; 및
    각각의 FOVW를 갖는 복수의 와이드 이미지를 시야(FOVP > FOVW)를 갖는 파노라마 이미지로 스티칭하고, 상기 파노라마 이미지 내의 주어진 위치에 텔레 이미지를 피닝하여 스마트 파노라마 이미지를 획득하도록 구성된 프로세서;
    를 포함하는 핸드헬드 장치.
  2. 제1항에 있어서, 각각의 와이드 이미지는 다른 와이드 이미지의 장면 정보와 상이한 와이드 장면 정보를 포함하는 핸드헬드 장치.
  3. 제1항에 있어서, 상기 프로세서는 상기 텔레 이미지를 주어진 위치에 피닝하기 전에, 상기 텔레 이미지를 크롭핑하도록 구성되는 핸드헬드 장치.
  4. 제3항에 있어서, 상기 텔레 이미지는 심미적 기준에 따라 크롭핑되는 핸드헬드 장치.
  5. 제1항에 있어서, 상기 와이드 카메라는 와이드 이미지를 자율적으로 캡처하도록 구성되는 핸드헬드 장치.
  6. 제1항에 있어서, 상기 텔레 카메라는 텔레 이미지를 자율적으로 캡처하도록 구성되는 핸드헬드 장치.
  7. 제1항에 있어서, 상기 프로세서는 상기 핸드헬드 장치의 미래 움직임을 예측하는 모션 모델을 사용하도록 구성되는 핸드헬드.
  8. 제1항에 있어서, 상기 프로세서는 FOVP 내에서 객체의 미래 움직임을 예측하는 모션 모델을 사용하도록 구성되는 핸드헬드 장치.
  9. 제6항에 있어서, 상기 프로세서는 텔레 이미지의 자율적 캡처링을 위하여 특정 캡처 전략을 사용하도록 구성되는 핸드헬드 장치.
  10. 제1항에 있어서, 상기 파노라마 이미지 내의 주어진 위치에 텔레 이미지를 피닝하는 단계는 상기 와이드 이미지와 텔레 이미지 사이의 로컬라이제이션을 실행함으로써 획득되는 핸드헬드 장치.
  11. 제1항에 있어서, 상기 파노라마 이미지 내의 주어진 위치에 텔레 이미지를 피닝하는 단계는 상기 파노라마 이미지와 텔레 이미지 사이의 로컬라이제이션을 실행함으로써 획득되는 핸드헬드 장치.
  12. 제1항에 있어서, 상기 텔레 카메라는 복수의 줌 상태를 갖는 핸드헬드 장치.
  13. 제12항에 있어서, 상기 프로세서는 상기 복수의 줌 상태로부터 특정 줌 상태를 자율적으로 선택하도록 구성되는 핸드헬드 장치.
  14. 제12항에 있어서, 상기 복수의 줌 상태로부터의 특정 줌 상태는 인간 사용자에 의해 선택되는 핸드헬드 장치.
  15. 제12항에 있어서, 상기 복수의 줌 상태는 별개의(discrete) 수를 포함하는 핸드헬드 장치.
  16. 제12항에 있어서, 상기 복수의 줌 상태 중 적어도 하나는 연속적으로 수정될 수 있는 핸드헬드 장치.
  17. 제1항에 있어서, 상기 텔레 카메라는 스캐닝 텔레 카메라인 핸드헬드 장치.
  18. 제17항에 있어서, 상기 프로세서는 장면 내의 특정 위치에 FOVT 스캐닝을 자율적으로 지향하도록 구성되는 핸드헬드 장치.
  19. 제17항에 있어서, 상기 FOVT 스캐닝은 하나의 광학 경로 폴딩 요소를 회전시킴으로써 수행되는 핸드헬드 장치.
  20. 제17항에 있어서, 상기 FOVT 스캐닝은 2개 이상의 광학 경로 폴딩 요소를 회전시킴으로써 수행되는 핸드헬드 장치.
  21. 제1항에 있어서, 각각의 텔레 이미지는 상기 파노라마 이미지의 중심으로부터의 장면 정보를 포함하는 핸드헬드 장치.
  22. 제1항에 있어서, 상기 텔레 이미지의 장면 정보는 고유 텔레 시야보다 크며, 와이드 시야보다 작은 시야로부터의 장면 정보를 포함하는 핸드헬드 장치.
  23. 제1항에 있어서, 장면의 특정 세그먼트가 상기 텔레 카메라에 의해 캡처되고, 상기 파노라마 이미지 내의 위치에 피닝되는 핸드헬드 장치.
  24. 제23항에 있어서, 상기 프로세서는 텔레 카메라로 장면의 특정 세그먼트를 캡처하기 위해 추적 알고리즘을 사용하는 핸드헬드 장치.
  25. 제1항에 있어서, 프로그램은 어떤 장면 정보가 텔레 카메라에 의해 캡처되고 파노라마 이미지 내의 위치에 피닝되는지를 결정하는 핸드헬드 장치.
  26. 제6항에 있어서, 상기 프로세서는 어떤 장면 정보가 텔레 카메라에 의해 캡처되고 파노라마 이미지 내의 위치에 피닝되는지를 결정하기 위해 와이드 이미지 데이터에 기초하여 세일리언시 맵을 계산하도록 구성되는 핸드헬드 장치.
  27. 제6항에 있어서, 상기 프로세서는 텔레 카메라로 장면 정보를 캡처하기 위해 추적 알고리즘을 사용하도록 구성되는 핸드헬드 장치.
  28. 제1항에 있어서, 상기 파노라마 이미지 내의 주어진 위치에 피닝된 텔레 이미지는 파노라마 이미지 내의 다른 위치에 추가로 표시되는 핸드헬드 장치.
  29. 제1항에 있어서, 상기 파노라마 이미지 내의 주어진 위치에 피닝된 텔레 이미지는 확대된 스케일로 표시되는 핸드헬드 장치.
  30. 복수의 와이드 이미지를 제공하는 단계, 여기서 각각의 와이드 이미지는 각각의 와이드 시야(FOVW)를 갖고, 다른 와이드 이미지와 상이한 와이드 장면 정보를 포함하고;
    복수의 텔레 이미지를 제공하는 단계, 여기서 각각의 텔레 이미지는 FOVW보다 작은 각각의 텔레 시야(FOVT)를 갖고;
    프로세서를 사용하여 복수의 와이드 이미지를 파노라마 시야(FOVP > FOVW)를 갖는 파노라마 이미지로 스티칭하는 단계; 및
    상기 프로세서를 사용하여 적어도 하나의 텔레 이미지를 파노라마 이미지 내의 주어진 위치에 피닝하는 단계;
    를 포함하는 방법.
  31. 제30항에 있어서, 상기 핸드헬드 장치는 FOVP에서 장면 정보를 캡처하기 위해 사용자에 의해 수동으로 이동되는 방법.
KR1020227011016A 2019-12-09 2020-12-03 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 KR20220058593A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962945519P 2019-12-09 2019-12-09
US62/945,519 2019-12-09
PCT/IB2020/061461 WO2021116851A2 (en) 2019-12-09 2020-12-03 Systems and methods for obtaining a smart panoramic image

Publications (1)

Publication Number Publication Date
KR20220058593A true KR20220058593A (ko) 2022-05-09

Family

ID=76328900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227011016A KR20220058593A (ko) 2019-12-09 2020-12-03 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US11770618B2 (ko)
EP (1) EP4049444A4 (ko)
KR (1) KR20220058593A (ko)
CN (1) CN114641983A (ko)
WO (1) WO2021116851A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949976B2 (en) * 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
DE102022001394B3 (de) 2022-04-23 2023-06-29 Rainer Püllen Bildaufzeichnungssystem mit mehreren Zoombereichen und Flüssigkeitsinjektionslinse
WO2024090674A1 (en) * 2022-10-29 2024-05-02 Samsung Electronics Co., Ltd. Method and apparatus for stitching frames of image comprising moving objects

Family Cites Families (329)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JP3218730B2 (ja) 1992-10-19 2001-10-15 株式会社ニコン 予測機能を有する焦点調節装置
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
KR940017747A (ko) 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6341180B1 (en) 1997-12-18 2002-01-22 Cellavision Ab Image content autofocus for microscopy using a noise-insensitive focus filter
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002099014A (ja) 2000-09-22 2002-04-05 Nikon Corp 信号予測装置及びこれを具えたカメラ
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
AU2003236050A1 (en) 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
US20040240052A1 (en) 2003-06-02 2004-12-02 Pentax Corporation Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
US7990422B2 (en) 2004-07-19 2011-08-02 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
EP1780567B1 (en) 2004-07-20 2011-09-14 Five Dimension Co., Ltd. Electronic imaging device
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP4992720B2 (ja) 2005-11-14 2012-08-08 株式会社ニコン 像ブレ補正装置およびカメラ
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
EP1984774A4 (en) 2006-02-06 2010-11-24 Nokia Corp OPTICAL IMAGE STABILIZER WITH A CARDANPRISMA
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
CN101401022B (zh) 2006-02-06 2010-07-21 诺基亚公司 在成像系统中进行位置检测的方法和设备
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
US8832119B2 (en) * 2008-06-12 2014-09-09 Fuji Xerox Co., Ltd. Systems and methods for organizing files in a graph-based layout
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
CN102150078B (zh) 2008-09-10 2013-09-04 松下电器产业株式会社 相机机身及摄像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
WO2010108119A2 (en) 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
US20120113266A1 (en) 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
EP3220180A1 (en) 2009-06-16 2017-09-20 INTEL Corporation Camera applications in a handheld device
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
US9215385B2 (en) 2009-06-22 2015-12-15 Ominivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
EP2478464B1 (en) 2009-09-14 2019-05-08 VIION Systems Inc. Saccadic dual-resolution video analytics camera
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
CA3043204C (en) 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
JP2013518529A (ja) 2010-01-28 2013-05-20 パスウェイ イノベーションズ アンド テクノロジーズ インク カメラ・スキャナ装置およびパーソナル・コンピュータ・ベースの処理ソフトウェアを有するドキュメント・イメージング・システム
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
TWI524752B (zh) 2010-05-03 2016-03-01 量宏科技股份有限公司 用於高解析度影像及視訊擷取之裝置及方法
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
EP2593835B1 (en) 2010-07-13 2016-07-13 Ram Srikanth Mirlay Variable three-dimensional camera assembly for still photography
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
US20120229663A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging , Llc Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
WO2013186804A1 (ja) 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
EP2874003B1 (en) 2012-07-12 2017-12-20 Sony Corporation Image shake correction device and image shake correction method and image pickup device
KR20150043312A (ko) 2012-07-12 2015-04-22 주식회사 듀얼어퍼처인터네셔널 제스처―기반 사용자 인터페이스
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
WO2014070927A2 (en) 2012-10-31 2014-05-08 Invisage Technologies, Inc. Expanded-field-of-view image and video capture
TWI525802B (zh) 2012-11-08 2016-03-11 威動光私人有限公司 變焦透鏡、光學裝置、用以製造其之方法及包含其之手持式電子器件
CN104106002B (zh) 2012-11-16 2017-10-13 松下电器（美国）知识产权公司 相机驱动装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
WO2014107634A2 (en) 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus relating to the use of multipe optical chains
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
WO2014145166A2 (en) 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
US9137447B2 (en) 2013-07-31 2015-09-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9007531B2 (en) * 2013-08-28 2015-04-14 Vonage Network Llc Methods and apparatus for expanding a field of view in a video communication session
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
WO2015041496A1 (ko) 2013-09-23 2015-03-26 엘지이노텍 주식회사 카메라 모듈 및 그 제작 방법
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9973692B2 (en) * 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
CN104581136B (zh) 2013-10-14 2017-05-31 钰立微电子股份有限公司 图像校准系统和立体摄像机的校准方法
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
EP3073733A4 (en) 2013-12-06 2017-04-05 Huawei Device Co., Ltd. Method for generating picture and twin-lens device
CN105339840B (zh) 2013-12-06 2019-06-14 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
US9894287B2 (en) 2013-12-06 2018-02-13 Huawei Device (Dongguan) Co., Ltd. Method and apparatus for acquiring a high dynamic image using multiple cameras
KR20160090373A (ko) 2013-12-06 2016-07-29 후아웨이 디바이스 컴퍼니 리미티드 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
US10257450B2 (en) 2014-05-15 2019-04-09 Huawei Technologies Co., Ltd. Multi-frame noise reduction method, and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
KR102032882B1 (ko) 2014-09-30 2019-10-16 후아웨이 테크놀러지 컴퍼니 리미티드 자동 포커싱 방법, 장치 및 전자 장치
US9476744B2 (en) 2014-10-08 2016-10-25 Dieterich Standard, Inc. Integrated orifice plate assembly
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
CN111175926B (zh) 2015-04-16 2021-08-20 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) * 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
CN111812910B (zh) 2015-06-24 2021-05-11 核心光电有限公司 折叠式相机模块
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR102143730B1 (ko) 2015-09-06 2020-08-12 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
EP4254926A3 (en) * 2015-12-29 2024-01-31 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
US9811946B1 (en) * 2016-05-30 2017-11-07 Hong Kong Applied Science and Technology Research Institute Company, Limited High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
FR3056150A1 (fr) 2016-09-16 2018-03-23 Compagnie Generale Des Etablissements Michelin Pneumatique comportant trois couches de travail
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
ES1192262Y (es) 2017-09-15 2017-12-26 Garcia Juan Carlos Rivera Dispositivo de confort higrotermico
US10817996B2 (en) * 2018-07-16 2020-10-27 Samsung Electronics Co., Ltd. Devices for and methods of combining content from multiple frames
SG10201807675TA (en) 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd Duration and Potential Region of Interest for Suspicious Activities
WO2020051405A1 (en) 2018-09-07 2020-03-12 Svelte Barbershop + Essentials Llc Wireless hot shaving cream dispenser
EP4022569A4 (en) * 2019-08-26 2023-09-06 AGT International GmbH TRACKING DYNAMICS USING A COMPUTERIZED DEVICE

Also Published As

Publication number Publication date
EP4049444A2 (en) 2022-08-31
WO2021116851A3 (en) 2021-08-05
EP4049444A4 (en) 2022-11-16
US11770618B2 (en) 2023-09-26
US20220303464A1 (en) 2022-09-22
WO2021116851A2 (en) 2021-06-17
CN114641983A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
EP3328055B1 (en) Control method, control device and electronic device
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
KR20220058593A (ko) 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
US20140002606A1 (en) Enhanced image processing with lens motion
CN114651275B (zh) 全视场参考图像的图像拼接
CN112738363B (zh) 一种光路切换方法及装置、监控模组、电子设备和存储介质
US20230388645A1 (en) Systems and methods for obtaining a smart panoramic image
CN108521862A (zh) 用于跟踪拍摄的方法和设备
US11982925B2 (en) Folded zoom camera module with adaptive aperture
JPH089219A (ja) カメラ
US12007668B2 (en) Split screen feature for macro photography
US20230353871A1 (en) Systems and methods for obtaining a super macro image
CN106922181A (zh) 方向感知自动聚焦
JP6831473B2 (ja) 撮影装置とその制御方法および制御プログラム
JP2022186785A (ja) 制御装置、その制御方法、およびプログラム
US20240236474A1 (en) Systems and methods for obtaining a smart panoramic image
JP7286294B2 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP7159371B2 (ja) 制御装置、その制御方法、およびプログラム
JP5281904B2 (ja) ビューファインダーシステム及びそれを備えた撮像装置
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
CN115348390A (zh) 拍摄方法及拍摄装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right