KR20220107328A - 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 - Google Patents

카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 Download PDF

Info

Publication number
KR20220107328A
KR20220107328A KR1020227025448A KR20227025448A KR20220107328A KR 20220107328 A KR20220107328 A KR 20220107328A KR 1020227025448 A KR1020227025448 A KR 1020227025448A KR 20227025448 A KR20227025448 A KR 20227025448A KR 20220107328 A KR20220107328 A KR 20220107328A
Authority
KR
South Korea
Prior art keywords
image
camera
mobile device
tele
selected object
Prior art date
Application number
KR1020227025448A
Other languages
English (en)
Other versions
KR102515482B1 (ko
Inventor
아나트 레셈 갓
루씨 카츠
오므리 레위
오데드 기구신스키
이프타 코왈
에브라임 골든베르그
갈 샤브타이
노이 코헨
미카엘 쉐러
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority to KR1020237010217A priority Critical patent/KR102640227B1/ko
Publication of KR20220107328A publication Critical patent/KR20220107328A/ko
Application granted granted Critical
Publication of KR102515482B1 publication Critical patent/KR102515482B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2258—
    • H04N5/23216—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/89—Television signal recording using holographic recording
    • H04N5/90—Television signal recording using holographic recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Abstract

카메라 패닝 또는 모션에서 배경 흐림을 생성하는 시스템, 이미징 장치 및 방법이 개시된다. 상기 방법은 이미지 센서를 갖는 이미징 장치를 사용하며, 장면에서 추적할 객체를 선택하는 단계, 이미지 또는 이미지 스트림을 기록하는 단계, 및 선택된 객체가 이미징 장치에 대해 또는 장면에 대해 이동하는 동안 선택된 객체를 이미지 센서의 동일한 위치에 광학 및/또는 디지털 방식으로 정렬함으로써, 선택된 객체에 대해 블러링된 이미지 배경 및/또는 전경과 패닝 또는 모션의 장면을 생성하는 단계를 포함할 수 있다.

Description

카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법{SYSTEM AND METHOD FOR CREATING BACKGROUND BLUR IN CAMERA PANNING OR MOTION}
관련 출원에 대한 상호 참조
본 출원은 2019 년 7 월 31 일에 출원된 미국 가특허 출원 제 62/881,007 호에 기초하여 우선권 주장하며, 이는 그 전체가 여기에 참조로 포함된다.
본 명세서에 개시된 실시 예는 일반적으로 디지털 카메라에 관한 것으로서, 특히 카메라 패닝 또는 모션 동안의 효과에 관한 것이다.
수동 카메라 패닝은 사용자가 카메라 셔터를 열고 촬영하는 동안 움직이는 대상체(또는 객체)를 추적하고, 셔터를 닫기 전에 대상체 또는 객체를 노출 기간 동안 프레임의 동일한 위치에 유지함으로써, 흐릿한(blurred) 배경과 비교적 선명한 대상체로 구성된 이미지를 획득할 수 있게 한다. 사진 작가가 뷰 파인더에서 대상체를 따라갈 때, 카메라 움직임으로 인해 배경이 흐려질 수 있도록 노출 시간이 충분히 길어야 한다. 이하의 설명에서, "대상체"와 "객체"는 상호 교환적으로 사용될 수 있다.
카메라를 패닝하여 선택된 객체를 맹목적으로 추적하는 사진 작가의 능력은 또한 움직이는 선택된 객체의 이미지를 획득하는데 중요하다. 기술이 좋지 않으면, 예를 들어 손 모션에 기인하여 선택된 객체와 배경 및/또는 전경이 모두 흐려질 수 있다. 따라서, 수동 카메라 패닝에 의해 선택된 객체의 모션감(sense of motion)을 묘사한 이미지를 획득하는 것은 상당히 어려울 수 있다. 패닝된 사진을 캡처하는 데 도움이 되도록, 사진 작가는 삼각대와 모노포드 또는 모션 제어 카메라 로봇을 사용할 수 있는데, 이는 다른 평면들에서 안정적으로 유지하면서 한 평면에서는 카메라를 쉽게 스윙할 수 있게 한다.
특히, 스포츠 사진 분야에서는 선택된 객체의 모션감을 묘사하는 이미지를 캡처하는 것이 바람직하다. 스무스한 배경/전경 블러링과 넓은 시야(FOV)를 생성하는 간단한 촬영 기술로 선택된 객체의 모션감을 묘사하는 이미지를 획득하는 개선된 방법을 갖는 것이 바람직하다.
본 명세서에 개시된 실시 예는 카메라 또는 객체 모션으로부터 유도된 패닝 효과 및 다른 블러링 효과를 갖는 정지 이미지 또는 비디오를 자동으로 생성하는 방법을 교시한다. 이 방법은 단일 카메라 또는 여러 카메라를 사용하고 카메라 또는 장면의 움직임에 따라 배경 및 전경 블러링을 출력한다.
예시적인 실시 예들에서, 이미지 센서를 포함하는 이미징 장치에서, 장면에서 추적할 객체를 선택하는 단계; 각각의 기록된 이미지 또는 기록된 이미지 스트림을 제공하기 위해 이미지 또는 이미지 스트림을 기록하는 단계 및 선택된 객체가 상기 이미징 장치 또는 상기 장면에 대해 이동하는 동안, 선택된 객체를 상기 이미지 센서의 동일한 주어진 위치에 정렬함으로써, 선택된 객체에 대해 블러링된 이미지 배경 및/또는 전경을 생성하는 단계를 포함하는 방법이 제공된다.
일 실시 예에서, 정렬 단계는 선택된 객체를 이미지 센서의 동일한 주어진 위치에 광학적으로 정렬하는 단계를 포함한다.
일 실시 예에서, 이미징 장치는 제 1 이미지 센서를 갖는 제 1 카메라 및 제 2 이미지 센서를 갖는 제 2 카메라를 포함하고, 상기 기록 및 정렬은 상기 제 1 카메라로 수행되고, 상기 정렬을 위해 필요한 적어도 하나의 파라미터는 상기 제 2 카메라에 의해 제공된 정보를 사용하여 계산된다.
일 실시 예에서, 이미지 센서는 정렬에 필요한 적어도 하나의 파라미터를 계산하기 위한 정보를 제공하는 제 1 복수의 픽셀, 및 기록을 위해 사용되는 제 2 복수의 픽셀을 포함한다.
일 실시 예에서, 기록 단계는 복수의 프레임을 기록하는 단계를 포함하고, 정렬 단계는 선택된 객체를 이미지 센서의 유사한 위치에 광학적으로 정렬하는 단계 및 상기 선택된 객체를 이미지 센서의 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 단계를 포함한다.
일 실시 예에서, 기록 단계는 복수의 프레임을 기록하는 단계를 포함하고, 정렬 단계는 선택된 객체를 이미지 센서의 개별 픽셀에 광학적으로 정렬하는 단계 및 상기 선택된 객체를 이미지 센서의 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 단계를 포함한다.
일 실시 예에서, 기록된 이미지 스트림은 복수의 개별 이미지를 포함하고, 상기 방법은 개별 이미지 데이터를 사용하여 인공 이미지 데이터를 생성하는 단계를 더 포함한다.
일 실시 예에서, 이미지 스트림을 기록하는데 사용되는 fps(초당 프레임 수) 레이트와 상이한 fps 레이트로 상기 기록된 이미지 스트림을 재생하는 단계를 더 포함한다.
일 실시 예에서, 기록된 이미지 스트림은 2 개 이상의 시퀀스로 분할되고, 상기 방법은 상이한 fps 레이트로 각 시퀀스를 재생하는 단계를 더 포함한다.
일 실시 예에서, 기록된 이미지 스트림을 상이한 정도의 블러링을 나타내는 2 개 이상의 시퀀스로 분할하는 단계를 더 포함한다.
일 실시 예에서, 정렬 단계는 상기 선택된 객체의 미래 위치에 대한 추론을 수행하는 단계를 포함한다.
일 실시 예에서, 선택된 객체는 별을 포함한다.
일 실시 예에서, 정렬에 필요한 적어도 하나의 파라미터는 시프트 파라미터, 스케일 파라미터 및 회전 파라미터로 구성된 그룹으로부터 선택된다.
일 실시 예에서, 기록 단계는 복수의 프레임을 기록하는 단계를 포함하고, 상기 정렬 단계는 상기 선택된 객체를 상기 제 1 이미지 센서의 유사한 위치에 광학적으로 정렬하는 단계 및 상기 선택된 객체를 상기 제 1 이미지 센서의 상기 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 단계를 포함한다.
일 실시 예에서, 기록 단계는 복수의 프레임을 기록하는 단계를 포함하고, 상기 정렬 단계는 상기 선택된 객체를 상기 제 1 이미지 센서의 개별 픽셀에 광학적으로 정렬하는 단계 및 상기 선택된 객체를 상기 제 1 이미지 센서의 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 단계를 포함한다.
일 실시 예에서, 제 1 카메라와 제 2 카메라 사이의 캘리브레이션 데이터는 비-휘발성 메모리에 저장된다.
일 실시 예에서, 제 1 및 제 2 복수의 픽셀은 센서 픽셀의 총수에 합산된다.
일 실시 예에서, 정렬에 필요한 적어도 하나의 파라미터는 시프트 파라미터, 스케일 파라미터 및 회전 파라미터로 구성된 그룹으로부터 선택된다.
일 실시 예에서, 인공 이미지 데이터는 이미지 블러링의 균일성을 증가시키기 위해 사용된다.
예시적인 실시 예에서, 각각의 기록된 이미지 또는 기록된 이미지 스트림을 제공하기 위해 이미지 또는 이미지 스트림을 기록하는 이미지 센서를 포함하는 이미징 장치; 및 장면에서 추적할 객체를 선택하고 선택된 객체가 이미징 장치에 대해 또는 장면에 대해 이동하는 동안 선택된 객체를 이미지 센서의 동일한 주어진 위치에 정렬함으로써, 상기 선택된 객체에 대해 블러링된 이미지 배경 및/또는 전경을 생성하도록 구성된 프로세서를 포함하는 시스템이 제공된다.
일 실시 예에서, 선택된 객체를 상기 이미지 센서의 동일한 주어진 위치에 정렬하기 위한 상기 프로세서 구성은 객체를 포함하는 시야를 스캔하도록 반사 요소에 지시하는 구성을 포함한다.
일 실시 예에서, 이미징 장치는 제 1 카메라 및 제 2 카메라를 포함한다.
다양한 실시 예에서, 상기 또는 하기 시스템은 스마트폰이다.
본 명세서에 개시된 실시 예의 비-제한적인 예는 본 단락 다음에 열거된 본 명세서에 첨부된 도면을 참조하여 아래에 설명된다. 도면 및 설명은 본 명세서에 개시된 실시 예를 조명하고 명확하게 하기 위한 것이며, 어떠한 방식으로도 제한하는 것으로 간주되어서는 안된다. 다른 도면에서 동일한 요소는 동일한 번호로 표시될 수 있다. 도면의 요소는 반드시 축척에 맞게 그려질 필요는 없다.
도 1a는 낮은 빈도 캡처를 사용한 다중 프레임 평균화 현상을 예시한다.
도 1b는 높은 빈도 캡처를 사용한 다중 프레임 평균화 현상을 예시한다.
도 2a는 객체가 고정된(움직이지 않는) 배경에 대해 이동하는 동적 장면의 예를 도시한다.
도 2b는 배경에 대해 위치가 고정된 객체를 촬영하면서 카메라가 움직이는 동적 장면의 예를 보여준다.
도 3은 상이한 유형의 예시적인 블러링 효과를 (a) 내지 (g)로 도시한다.
도 4는 카메라에 대해 더 멀거나 더 가까운 객체 이동을 사용하는 예시적인 배경 블러링을 도시한다.
도 5는 카메라의 광축에 수직인 객체 이동을 사용하는 예시적인 배경을 도시한다.
도 6은 카메라의 광축에 수직인 카메라 모션을 사용하는 예시적인 배경 블러링을 도시한다.
도 7은 본 명세서에 개시된 객체의 모션감을 묘사하는 이미지를 획득하기 위한 방법의 예시적인 실시 예를 흐름도로 도시한다.
도 8a는 조정 가능한 텔레 시야를 갖는 듀얼-애퍼처 디지털 카메라의 실시 예를 개략적으로 도시한다.
도 8b는 조정 가능한 시야를 갖는 단일 애퍼처 폴디드 디지털 카메라를 개략적으로 도시한다.
도 9는 적어도 하나의 스캐닝 텔레 카메라를 갖는 다중 애퍼처 카메라를 포함하는 전자 장치의 실시 예를 개략적으로 도시한다.
도 1a는 낮은 빈도로 캡처된 복수의 단일 이미지를 평균화함으로써, 생성된 동적 장면의 평균화된 이미지의 예를 보여준다. 장면은 나무를 포함하는 배경(102) 및 선택된 객체(104)를 보여준다. 낮은 빈도로 캡처하는 것은 2 개의 연속적으로 캡처된 이미지 사이에 비교적 긴 시간이 지나간다는 것을 의미한다. 용어 "상대적으로 긴 시간"은 장면에서 상당한 양의 움직임이 발생하는 기간을 의미한다. 낮은 빈도로 단일 이미지를 캡처하면, 객체의 특징 사이에 가시적인 "단(step)"이 있는 평균화된 이미지가 생성된다. 예로서, 배경에서 두 나무(102) 각각의 상단 위치(a-d) 사이에 보이는 단을 지칭한다.
당 업계에 알려진 인공 블러링은 평균화된 이미지를 수정하고 이미지 특징 또는 영역의 보다 연속적인 블러링을 얻기 위해 사용될 수 있다. 예를 들어, 도 1b의 나무 상단에 존재하는 블러링 정도를 얻기 위해 인공 블러링을 사용할 수 있다. 다른 예들에서, 보다 연속적인 블러링은 인공 이미지 데이터를 생성함으로써 얻어질 수 있다. 도 1a에서 보이는 왼쪽 나무의 이미지 데이터를 참조하여, 예를 들어 나무의 왼쪽 상단을 생성한 프레임으로부터의 이미지 데이터(제 1 이미지 데이터) 및 나무의 오른쪽 상단을 생성한 프레임으로부터의 이미지 데이터(제 2 이미지 데이터)를 사용하여, 하나 이상의 이미지를 인공적으로 생성한다. 예를 들어, 객체(여기서는 나무)를 제 1 위치로부터 제 2 위치(여기서는 왼쪽에서 오른쪽으로)로 이동하는 모션 모델을 적용할 수 있다. 이미지 데이터는 모션 모델에 의해 생성된 하나 이상의 위치를 "프리징(freezing)"함으로써 인공적으로 생성될 수 있다. 모션 모델은 제 1 위치에서의 객체 특징(여기서는 나무의 상단)을 제 2 위치(여기서는 왼쪽에서 오른쪽으로)로 연결하는 직선을 따르는 균일한 모션, 또는 예를 들어 균일하게 가속된 모션 또는 임의의 비-직선을 따라 수행되는 모션과 같은 다른 모션일 수 있다.
일부 예들에서, "블러링 정도"는 상대적으로 그리고 시각적 외관에 대해서만 정의될 수 있다. 예를 들어, 숙련된 사용자에게 더 흐리거나 덜 흐려 보이는 2 개 이상의 이미지를 비교할 때, "더 강한 블러링" 대 "더 약한 블러링", 또는 "블러링 정도의 감소" 등을 지칭할 수 있다. 일부 경우에, "블러링 정도"는 본 명세서에 설명된 바와 같이 흐릿한 배경 및/또는 전경을 갖는 이미지를 생성하기 위해 평균화된 이미지(또는 "프레임")의 수에 의해 정의될 수 있다. 블러링 정도가 높을수록 이미지 생성을 위해 평균화된 이미지 수가 더 많을 수 있다. 또 다른 예에서, "블러링 정도"는 이미지를 생성하기 위해 평균화된 픽셀의 수에 의해 정의될 수 있다. 더 높은 정도의 블러링은 이미지 생성을 위해 평균화된 더 많은 수의 픽셀에 대응할 수 있다. 예를 들어, 2-3 개의 픽셀이 평균화되면 낮은 정도의 블러링이 달성되고, 40-50 개의 픽셀이 평균화되면 높은 정도의 블러링이 달성될 수 있다. 또 다른 예에서, "블러링 정도"는 모든 픽셀 및 모든 평균화된 이미지에 대한 동일한 픽셀의 값으로부터 이미지 대 이미지 편차에 대한 합을 계산함으로써 얻어질 수 있는 값에 의해 정의될 수 있다. 블러링 정도가 높을수록 합의 값이 높아질 수 있다. 평균 제곱근(rms) 함수와 같은 당 업계에 알려진 함수가 편차를 계산하기 위해 사용될 수 있다.
도 1b는 높은 빈도로 캡처된 복수의 단일 이미지를 평균화함으로써, 생성된 동적 장면의 평균화된 이미지의 또 다른 예를 보여준다. 높은 빈도로 캡처한다는 것은 연속적으로 캡처한 두 이미지 사이에 비교적 짧은 시간이 지나간다는 것을 의미한다. 단일 이미지를 높은 빈도로 캡처하면 가시적인 단이 거의 없지만 객체의 특징사이에 스무스한 전환을 갖는 평균화된 이미지가 생성된다. 배경(102)에서 나무의 위치의 예에서, 우리는 도 1a와 같이 가시적인 단을 찾지 못하지만, 나무의 다른 위치 사이의 부드러운 전환을 발견할 수 있다. 스무스한 전환은 그것이 균일한 블러링으로 인식될 수 있기 때문에, 필요할 수 있다.
사진에서의 동적 장면은 카메라 움직임, 객체 움직임 또는 둘 다를 포함할 수 있다. 도 2a는 객체(200)(예를 들어, 스케이트 보드를 타는 소년)가 고정된(움직이지 않는) 배경(202)에 대해 이동하는 동적 장면의 예를 보여준다. 장면은 카메라(204)에 의해 이미지화(촬영)된다. 카메라(204)는 렌즈, 이미지 센서 및 처리 장치(프로세서)를 포함한다. 도 9를 참조하라. 도 2b는 배경(202)에 대해 고정된 위치를 갖는 선택된 객체(예를 들어, 아이)(200')를 촬영하는 동안 카메라(204)가 이동하는 또 다른 동적 장면의 예를 도시한다. 도 2a에서의 선택된 객체(200) 및 배경(202), 또는 도 2b에서의 선택된 객체(200') 및 배경(202)은 카메라(204)로부터 상이한 거리에 있다.
동적 장면을 촬영할 때, 배경 및/또는 전경이 흐릿한 상태에서 객체에 초점을 유지하는 것이 바람직하다. 본 명세서에 개시된 실시 예는 이를 여러 방식으로 제공하며, 그 중 일부는 도 3에 도시되어 있다.
도 3은 본 명세서에 개시된 방법에 의해 생성된 상이한 유형의 예시적인 블러링 효과를 (a) 내지 (g)로 도시한다: (a) 객체(304)가 선명하게 유지되는 동안, 카메라가 X 방향을 따라 시프트되어, 객체(인간 모양)(304) 뒤의 배경 나무(302)가 X 방향으로 선형 블러링을 나타냄; (b) 작은 카메라가 X 및 Y 방향으로 시프트되어, 나무(302)에서 가우시안 또는 "디스크" 유형의 블러링을 유발함; (c) 큰 카메라가 X 및 Y 방향으로 시프트되어, 나무(302)에서 "하트 모양" 유형의 블러링을 유발함; (d) 나무(302)에 대한 X 방향으로의 객체(304)의 이동이 시프트 유형의 블러링을 유발함((a)의 것과 유사하지만, 이동에 비해 약간 작고 객체와 배경 사이의 거리와 무관함); (e) 나무(302)에 대한 Z 방향으로의 객체(304)의 이동이 스케일 유형의 블러링을 유발함; (f) 나무(302)에 대한 객체(304)의 회전이 회전 유형의 블러링을 유발함; (g) 나무(302)에 대한 객체(304)의 변형 이동(예를 들어, 손 흔들기)이 비-강성 객체 모양 변경/변형 또는 비-강성 객체/자세 변경 유형의 블러링을 유발함; 및 (h) 객체(304)가 선명하게 유지되는 동안, 카메라가 X 방향을 따라 시프트되어, 객체(인간 모양)(304) 뒤의 배경 나무(302) 및 전경 나무(306)가 X 방향으로 선형 블러링을 나타냄.
일부 실시 예에서, 본 명세서에 설명된 방법은 일반적으로 동적 장면으로 지칭될 수 있는 장면을 이미징하는 데 사용될 수 있을 뿐만 아니라 다른 목적, 예를 들어 저조도 조건에서 장면을 이미징하기 위해 사용될 수도 있다. "저조도"는 장면이 평균 50-70 Lux 미만, 예를 들어 20 Lux 또는 5 Lux인 조건으로 정의될 수 있다. 보다 일반적으로, 여기에 설명된 방법은 유효 노출 시간이 긴 장면을 캡처하는 데 사용될 수 있다. 긴 유효 노출 시간은 장면에서의 역동성 또는 움직임 정도와 실제 노출 시간의 곱으로 정의될 수 있다. 긴 유효 노출 시간은 예를 들어, 노출 시간 T1 동안 각속도 ω1을 갖는 빠르게 움직이는 객체와 더 긴 노출 시간 T2 = 2T1로 캡처한 각속도 ω2 = 1/2·ω1를 갖는 더 느리게 움직이는 객체에 의해 획득될 수 있다. 긴 노출 시간 T로 캡처될 수 있는, 느린 각속도 ω로 움직이는 객체의 예는 예를 들어, 밤하늘에 보이는 별일 수 있다.
일부 실시 예에서, 장면 또는 전체 장면에서의 하나 이상의 객체가 노출 동안 상당한 양만큼 이동하면, 긴 유효 노출 시간을 얻을 수 있다. 예에서, 상당한 양의 움직임은 예를 들어, 이미지 센서의 1-3 픽셀에 걸쳐 특정 객체 지점의 번짐으로 이어질 수 있는, 노출 동안의 움직임으로 정의될 수 있다. 또 다른 예에서, 상당한 양의 움직임은 예를 들어, 10 픽셀 이상에 걸쳐 특정 객체 지점의 번짐으로 이어질 수 있는, 노출 동안의 움직임으로 정의될 수 있다. 또 다른 예에서, 상당한 양의 움직임은 예를 들어, 10-250 픽셀 이상에 걸쳐 특정 객체 지점의 번짐으로 이어질 수 있는, 노출 동안의 움직임으로 정의될 수 있다.
다음에 설명되는 실시 예들에 따르면, 배경 및 전경 블러링은 도 4 내지 도 6을 참조하여 예시된 다음의 4 가지 시나리오를 통해 의도적으로 그리고 인공적으로 생성될 수 있다.
제 1 시나리오에서, 선택된 객체는 카메라로부터 더 가깝게/더 멀리 이동한다. 도 4 참조하라. 객체가 카메라에 더 가까워지면, 카메라 이미지 센서에서 그 크기가 더 커지고, 객체가 카메라로부터 멀어지면, 카메라 이미지 센서에서 그 크기가 작아진다. 이것은 스케일 변경을 나타낸다. 객체의 스케일 변경이 나머지 장면의 스케일 변경과 같지 않으면, 이러한 방식으로 움직이지 않는 객체는 흐릿하게 표시될 것이다. 이 시나리오에서, 이미지를 캡처하는 동안, 기계식 줌을 사용하여 기록을 시작할 때, 객체는 센서상의 그 크기에 맞게 스케일링된다( "정렬"이라고도 함).
보다 구체적으로, 프레임(a)는 2 개의 나무(402a, 402b)를 포함하여 객체(400) 뒤에 배경을 가지며 카메라로부터 멀리 떨어진 객체(인간 형태)(400)를 갖는 이미지를 보여준다. 객체(400)은 선택된 객체이다. 프레임(a)는 이미지 기록이 시작될 때, 센서상의 초기 장면에 해당한다. 프레임(b)는 정렬이 사용되지 않은 경우, 카메라에 더 가까운 객체(400')(현재 다른 위치 및 시간에 있는 객체(400)를 나타냄)를 갖는 이미지를 보여준다. 도 4, 도 5, 도 6에서, 부재번호(500, 600)는 원래 선택된 객체를 나타내는 한편, 부재번호(500', 600')는 서로 다른 위치와 시간에서의 동일한 각각의 객체를 나타낸다. 프레임(c)는 기록이 시작될 때, 프레임(a)과 동일한 크기 및 위치에 있도록, 센서상의 그 크기로 광학적으로 및/또는 디지털 방식으로 정렬(스케일링됨)된 장면(b)을 보여준다. 프레임(a)와 비교할 때, 움직임은 객체(400')의 크기에 대해 나무(402a' 및 402b')의 크기를 감소시킴에 주목하라. 프레임(c)는 이미지 기록을 마칠 때, 센서상의 마지막 장면에 해당한다. 프레임(d)는 캡처의 시작 단계(704)(프레임 a) 및 종료 단계(710)(프레임 c)로부터의 프레임(a) 및 (c)로부터의 객체(400) 및 나무(402a 및 402b)의 중첩된 이미지를 보여준다. 프레임(e)은 기록하는 동안 센서에 캡처된 빛을 포함하는 최종 캡처 결과를 보여준다(단계 704-708). 여기에는 제 1 장면(a), 마지막 장면(c) 및 그 사이의 모든 장면이 포함된다.
일부 실시 예에서 그리고 선택적으로, 정렬은 캡처 후에 디지털 방식으로 수행될 수 있다. 또 다른 실시 예에서, 예를 들어 다중-프레임 경우(아래의 단계 708 참조)에서 그리고 선택적으로, 정렬의 일부는 캡처 중에 광학적으로 및/또는 디지털 방식으로 수행되고, 캡처 후에 일부는 디지털 방식으로 수행될 수 있다. 예를 들어, 정렬은 선택된 객체를 이미지 센서상의 개별 픽셀에 광학적으로 정렬하는 단계 및 상기 선택된 객체를 이미지 센서상의 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 단계를 포함할 수 있다. 선택된 객체를 개별 픽셀에 광학적으로 정렬하는 것은 서브-픽셀 정렬을 포함하지 않는 광학 정렬을 지칭할 수 있다.
제 2 시나리오에서, 카메라는 정지되어 있고, 선택된 객체는 카메라 렌즈의 광축에 수직으로 이동(시프트)한다. 도 5를 참조하라. 선택된 객체의 시프트 이동이 카메라 센서의 나머지 장면의 시프트 이동과 같지 않으면, 이러한 방식으로 이동하지 않는 객체는 흐릿하게 표시될 것이다. 이 시나리오에서, 선택된 객체는 기록이 시작될 때, 센서의 해당 위치에 정렬된다. 선택된 객체는 기계적 시프트를 사용하여 이미지를 캡처하는 동안, 정렬(시프트)된다. 기계적 시프트는 예를 들어, 반사 요소 또는 프리즘과 같은 광학 경로 폴딩 요소(OPFE)를 이동하거나, 또는 카메라 렌즈를 이동하거나, 또는 카메라 모듈의 측면 위치 또는 틸트 각도 위치를 이동함으로써, 수행된다.
도 5는 선택된 객체가 카메라 렌즈의 광축에 수직으로 이동하는 경우에 있어서, 본 명세서에 설명된 방법의 일 실시 예에 따라 획득된 배경 블러링의 결과를 설명한다. 보다 구체적으로, 프레임(a)는 2 개의 나무(502a 및 502b)를 포함하여 객체(500) 뒤에 배경을 가진 선택된 객체(인간 형태)(500)를 갖는 이미지를 보여준다. 프레임(a)는 이미지 기록을 시작할 때, 센서의 초기 장면에 해당한다. 프레임(b)는 정렬이 사용되지 않는 경우, 카메라에 대해 오른쪽으로 이동한 객체(500)를 나타내는 객체(500')를 갖는 이미지를 보여준다. 프레임(c)는 객체(500')가 프레임(a)의 객체(500)와 동일한 위치에 있도록, 객체(500')를 정렬하기 위해 시야(FOV)를 이동함으로써 광학적으로 및/또는 디지털 방식으로 정렬(시프트)된 장면(b)을 보여준다(아래의 단계 708을 참조하라). 시프트로 인해 나무(502a' 및 502b')가 센서의 왼쪽으로 이동했음에 주목하다. 프레임(c)는 이미지 기록이 끝날 때 센서의 마지막 장면에 해당한다. 프레임(d)는 캡처의 시작 단계(704)(프레임 a) 및 종료 단계(710)(프레임 c)로부터의 프레임(a) 및 (c)로부터의 객체(500) 및 나무(502a 및 502b)의 중첩된 이미지를 보여준다. 프레임(e)은 기록하는 동안 센서에 캡처된 빛을 포함하는 최종 캡처 결과를 보여준다(단계 704-708). 여기에는 제 1 장면(a), 마지막 장면(c) 및 그 사이의 모든 장면이 포함된다.
제 3 시나리오에서, 카메라는 객체 및 배경/전경이 이동하지 않는 동안, 광축에 수직으로 이동한다. 이로 인해 객체와 카메라 사이의 거리가 변경된다. 도 6을 참조하라. 카메라에 대해 선택된 객체와 상이한 거리에 있는 장면의 모든 객체는 이동하는 동안 카메라 위치의 기준선 간의 차이로 인해 흐릇하게 될 것이다. 선택된 객체와 카메라 사이의 거리가 카메라 센서에 대해 다른 객체 또는 나머지 장면의 거리와 같지 않으면, 그것들은 센서에서 상이하게 시프트될 것이다. 같은 방식으로 움직이지 않는 객체는 흐릿해질 것이다. 이 시나리오에서, 선택된 객체는 이미지를 캡처하는 동안 위에서 설명한 기계적 시프트를 사용하여 정렬(시프트)된다.
도 6은 카메라가 카메라의 광축에 수직으로 이동하는 경우에 있어서, 본 명세서에 설명된 방법의 일 실시 예에 따라 획득된 배경 블러링의 결과를 설명한다. 보다 구체적으로, 프레임(a)는 2 개의 나무(602a 및 602b)를 포함하여 객체(600) 뒤에 배경이 있는 객체(인간 형태)(600)를 갖는 이미지를 보여준다. 객체(600')는 시프트된 객체(600)를 나타낸다. 프레임(a)은 이미지 기록이 시작될 때, 센서의 초기 장면에 해당한다. 프레임(b)는 정렬이 사용되지 않은 경우, 카메라 이동의 결과로서 프레임(a)의 위치와 비교하여 오른쪽으로 이동한 이미지를 표시한다. 프레임(c)는 선택된 객체가 프레임(a)에서와 동일한 위치에 있도록, 객체(600')를 정렬하기 위해 FOV를 이동함으로써 광학적으로 및/또는 디지털 방식으로 정렬(시프트)된 장면(b)을 보여준다. 시프트로 인해 나무(602a' 및 602b')가 센서의 왼쪽으로 이동했음에 주목하라. 프레임(c)는 이미지 기록을 마칠 때, 센서의 마지막 장면에 해당한다. 프레임(d)는 캡처의 시작 단계(704)(프레임 a) 및 종료 단계(710)(프레임 c)로부터의 프레임(a) 및 (c)로부터의 객체(600) 및 나무(602a 및 602b)의 중첩된 이미지를 보여준다. 프레임(e)은 기록하는 동안, 센서에 캡처된 빛을 포함하는 최종 캡처 결과를 보여준다(단계 704-708). 여기에는 제 1 장면(a), 마지막 장면(c) 및 그 사이의 모든 장면이 포함된다.
제 4 시나리오에서, 위의 제 1, 제 2 및 제 3 시나리오의 조합을 사용할 수 있다.
도 7은 본 명세서에 개시된 객체의 모션감을 묘사하는 이미지를 획득하기 위한 방법의 예시적인 실시 예를 흐름도로 도시한다. 흐름은 객체의 움직임이나 카메라의 움직임에 의해 유도된 모션을 포함하는 장면을 관찰하는 것으로 시작된다. 추적할 객체가 단계(702)에서 선택되고, 이동하는 객체 또는 이동하는 카메라와 함께 객체가 추적되는 동안, 이미지 또는 비디오 스트림의 기록이 단계(704)에서 시작된다. 단계(706)에서, 이미지 또는 비디오 스트림에서 보이는 객체에 대해 시프트, 스케일 및 회전 계산이 수행된다. 708으로부터 706까지의 화살표로 표시된 바와 같이, 추적, 스케일, 시프트 및 회전 수정이 각 프레임(또는 모든 X 세트 프레임)에서 재계산된다. 단계(708)에서, 일부 실시 예에서, 객체는 카메라의 이미지 센서상의 동일한 위치에 유지되도록, 광학적으로 및/또는 디지털 방식으로 정렬된다. 다중-프레임을 포함하는 일부 실시 예에서, 객체의 나머지 정렬은 기록 종료 후, 단계(712)에서 디지털 방식으로 수행될 수 있거나, 또는 기계적 및 디지털 정렬의 조합에 의해 수행될 수 있다. 이미지 스트림을 포함하는 비디오를 생성하기 위한 일부 실시 예에서, 객체가 스트림의 모든 이미지의 FOV 내에서 동일한 위치에 나타나도록, 객체의 정렬이 수행될 수 있다.
이미지 스트림을 포함하는 비디오를 생성하기 위한 다른 실시 예에서, 객체의 정렬은 단계(708)에서 어떠한 광학적 정렬이 수행되지 않는 경우 객체가 장면내에서 이동했을 각속도에 대략 대응하는 각속도 ω로 객체가 이동하는 것처럼 보이도록, 수행될 수 있다. 일부 실시 예에서, 생성된 이미지 스트림은 비디오 캡처에 사용된 속도(비디오에 사용되는 초당 프레임 수(fps)에 의해 정의됨)로 재생될 수 있다. 다른 실시 예에서, 생성된 이미지 스트림은 미적 시간-경과 효과를 달성하기 위해 더 높은 fps로 재생되거나 미적 슬로우-모션 효과를 달성하기 위해 더 낮은 fps로 재생될 수 있다. fps는 일정하지 않을 수 있지만 생성된 비디오 전체에서 수정될 수 있다. 이것은 FOV 내의 특정 세그먼트를 강조하거나 비디오 캡처 중에 발생할 수 있는 특정 이벤트를 강조하는 데 유용할 수 있다.
일 예에서, 다음 또는 유사한 시퀀스로 비디오내의 특정 이벤트를 강조하여 표시할 수 있다:
-일정한 fps, 예를 들어 비디오가 기록된 fps로 비디오의 제 1 시퀀스를 재생한다.
-강조할 이벤트가 발생할 때까지 점진적으로 감소하는 fps로 비디오의 제 2 시퀀스를 재생한다.
-강조된 이벤트 발생 후 일정한 fps로 비디오의 제 3 시퀀스를 재생한다.
-이벤트 발생 후 제 1 시퀀스의 fps에 도달할 때까지 점진적으로 증가하는 fps로 비디오의 제 4 시퀀스를 재생한다.
-제 1 시퀀스의 일정한 fps로 비디오의 제 5 시퀀스를 재생한다.
이미지 또는 비디오 스트림의 기록은 단계(710)에서 완료되어, 흐릿한 배경을 갖는 이미지를 초래한다.
일부 예들에서, 객체는 움직이는 객체일 수 있다. 이는 결과 이미지를 생성하기 위해, 각 프레임에 존재하는 전체 이미지 데이터를 사용할 수 없지만, 이미지 시퀀스의 각 이미지에 존재하는 이미지 세그먼트의 이미지 데이터만 사용할 수 있음을 의미한다.
도 7에서 수행된 일부 단계에 대한 자세한 내용은 다음과 같다.
객체/객체 선택 단계(702)
추적할 객체 또는 대상체의 선택은 여러 가지 방법으로 수행될 수 있다. 선택된 객체는 직사각형 관심 영역(ROI) 또는 이미지 내부의 마스크 영역으로 식별될 수 있다. 식별 표시는 자동 선택, 사용자 선택, 또는 사용자 선택 및 디지털 개선을 사용하여 수행될 수 있으며, 이들 모두는 당 업계에 공지되어 있다. 당 업계에 공지된 바와 같이, 향상된 견고성을 갖는 추적 방법이 사용될 수 있다. 추적 방법은 단일 객체 기능뿐만 아니라 복수의 객체 기능에 의존할 수 있다.
이미지 또는 비디오 스트림의 기록, 단계(704-710)
기록은 단일의 긴 노출을 사용하여 수행될 수 있거나, 다음과 같이 짧은 노출 이미지 시퀀스를 캡처하여 평균화함으로써 수행될 수 있다.
a) 긴-지속(long-duration) 셔터 속도를 사용하는 단일의 긴 노출. 애퍼처와 디지털/아날로그 게인은 동일한 밝기 수준을 얻기 위해 자동으로 조정된다.
b) 노출이 짧고 평균화된 다수의 이미지들. 많은 이미지를 평균화할 때 노이즈가 줄어들기 때문에, 노출 시간이 짧을 수 있다. 비디오 모드의 경우, 출력은 마지막 10-30 프레임의 평균과 같이 마지막으로 찍은 프레임의 평균일 수 있다.
c) 상이한 센서 픽셀 기능, 즉 일부(복수)의 센서 픽셀이 짧은 다중-노출을 겪는 반면 다른 센서 픽셀은 긴 노출을 겪는 기능을 가진 단일 카메라(예를 들어, 도 8a에 도시된 폴디드 카메라(804))를 사용한다. 예를 들어, 쿼드 센서(예컨대, 일본 특허 출원 번호 2019041178 참조)를 사용함으로써, 쿼드-베이어 픽셀 구조는 4 개의 픽셀 그룹 내에서 2 개의 노출을 가질 수 있다. 이 경우, 이미지 센서상의 픽셀 선택은 긴 노출을 위해 사용되고, 나머지 픽셀은 짧은 노출을 위해 사용된다. 최종 이미지는 긴 노출 픽셀과 짧은 노출 픽셀의 이미지 데이터 조합이다.
일부 실시 예에서, 단일 이미지가 생성되어 사용자에게 표시하기 위해 출력될 수 있다. 다른 실시 예에서, 이미지 스트림(즉, 비디오)이 출력을 위해 생성될 수 있다. 비디오 스트림이 생성되는 경우, 비디오의 특정 시퀀스에 대해 특정 정도의 블러링이 필요할 수 있다. 이것은 평균화(또는 평균)를 위해 취한 프레임 수를 조정함으로써 달성될 수 있다. 일 예에서, 제 1 블러링 정도를 갖는 제 1 시퀀스에 대해 10-30 프레임이 평균화될 수 있는 반면, 제 2 블러링 정도를 갖는 제 2 시퀀스에 대해 30-60 프레임이 평균화될 수 있다. 생성된 비디오의 제 2 시퀀스는 제 1 시퀀스보다 더 높은 블러링 정도를 갖는다. 다른 예에서, 5-10 프레임이 제 1 및 제 2 시퀀스보다 약한 블러링을 나타내는 제 3 시퀀스를 얻기 위해 평균화될 수 있다. 사용자 또는 프로그램은 "포스트 캡처"에서, 즉 이미지 스트림이 캡처된 후 임의의 시간에 흐려지는 정도를 정의할 수 있다. 또 다른 예에서, 장면에서 특정 이벤트를 강조하기 위해, 이벤트가 발생할 때까지 점차적으로 블러링 정도를 증가시키고, 이벤트 동안 블러링 정도를 일정하게 유지한 다음, 점차적으로 블러링 정도를 감소시키는 것이 바람직할 수 있다. 블러링은 다른 프레임에 있는 이미지 데이터의 평균화에 의존하기 때문에, 블러링 정도는 연속적으로 수정될 수 없고 개별 단계에서 단지 수정될 수 있다. 일부 예들에서, 개별 단계들은 평균화되는 프레임 세트 또는 시퀀스에 하나 이상의 프레임을 더하거나 빼는 것에 의해 수행된다. 연속적인 블러링 수정을 달성하기 위해, 당 업계에 알려진 인공적 블러링이 이미지 평균화에 의해 달성된 블러링 위에 중첩될 수 있다. 당 업계에 알려진 인공적 블러링은 또한 본 명세서에 기술된 바와 같이 생성된 단일 이미지 내에서 연속적으로 블러링 정도를 수정하는데 사용될 수 있다.
시프트, 스케일 및 회전 계산 단계(706)
예시적인 실시 예에서, 객체는 예를 들어, 공동 소유 국제 특허 출원 PCT/IB2016/052179, PCT/IB2016/055308, PCT/IB2016/057366, 및 PCT/IB2019/053315에 기재된 공지된 카메라를 사용하여, 아래에 요약된 방식 중 하나로 추적될 수 있고, 시프트, 스케일 및 회전은 추적 결과로부터 계산될 수 있다.
1. 상이한 센서 픽셀 기능, 즉 일부(복수)의 센서 픽셀이 짧은 다중-노출을 겪는 반면 다른 센서 픽셀은 긴 노출을 겪는 기능을 갖는 단일 카메라(예를 들어, 도 8a에도 도시된 폴디드 카메라(804))를 사용한다. 객체 시프트, 스케일 및 회전 계산은 센서(806)상의 일부(복수)의 픽셀, 예를 들어 총 픽셀 수의 1/16로부터의 정보를 사용하여 수행된다. 기계적 정렬은 카메라(804)에서 수행된다. 사진 기록 단계(704-710)는 센서(806)의 나머지 픽셀(즉, 객체 시프트, 스케일 및 회전 계산에 사용되지 않은 총 픽셀 수의 15/16)에 대해 수행된다.
2. 대안적으로 단일 카메라를 사용하여, 객체 시프트 계산 및 사진 기록이 도 8b에 도시된 바와 같이 동일한 카메라 센서(예를 들어, 센서(806))에서 수행된다. 객체는 비디오 스트림에서 추적되고, 시프트, 스케일 및 회전이 계산된다. 기계적 정렬은 추적하는 동안 수행된다(단계 708).
3. 예를 들어, PCT/IB2016/057366에 기재되고 도 8b 및 도 9에 도시된 듀얼-카메라를 사용한다: 듀얼-카메라는 센서(802)를 갖는 제 1 업라이트 카메라(800) 및 센서(806)를 갖는 제 2 폴디드 카메라(804)를 포함한다. 카메라(800)는 IR, 가시 광선, 구조 광 또는 임의의 다른 유형의 빛일 수 있으며, 객체 추적을 위해 사용된다. 기계적 정렬 및 사진 기록은 카메라(804)에서 수행된다. 객체 위치(시프트, 스케일 및 회전) 계산은 센서(802)로부터의 정보를 사용하여 객체를 추적함으로써 수행된다. 카메라(804)에 필요한 정렬을 추정하기 위해(단계 708), 센서들 사이의 시프트, 스케일 및 회전은 기능 매칭 및 카메라 간의 이전 캘리브레이션을 사용하여 계산된다. 카메라(804)(도 8a 참조) 및 카메라(800)와 카메라(804)(도 8b 참조)를 포함하는 듀얼 카메라와 같은 카메라는 전자 장치(900)와 같은 호스트 장치에 포함될 수 있다.
일부 실시 예에서, 움직이는 객체의 미래 위치에 대한 추론(추정)이 수행될 수 있다. 추론은 캡처된 프레임에서 검출된 과거 시프트, 스케일 및 회전과 같은 파라미터를 기반으로 할 수 있다. 이것들은 미래의 시프트, 스케일 및 회전의 추정치를 제공할 수 있다. 추정은 예를 들어, 과거의 시프트, 스케일 및 회전의 선형 외삽에 의해 수행될 수 있다. 다른 실시 예에서, 비-선형 외삽이 수행될 수 있다. 추론은 또한 또는 대안적으로 머신 러닝 또는 당 업계에 알려진 다른 기술에 기초할 수 있다. 추론은 단계(708)에서 의미있는 기계적 정렬을 수행하는 데 유용할 수 있다. 예를 들어, 장면의 FOV 내에서 각속도 ωObject로 이동하는 객체로 여길 수 있는데, 이는 예를 들어, OPFE를 회전시킴으로써, (기계적 정렬을 수행하는 데 필요할 수 있는) FOV 스캔 이동을 수행할 수 있는, 더 작을 수 있지만 여전히 대략 최대 각속도 ωScan일 수 있다. 이 예에서, 추론은 이미지 센서의 특정 위치에 실제로 객체를 정렬할 수 있는 기계적 움직임을 수행하는 데 중요할 수 있다. 일부 실시 예에서, 예를 들어 2-4 프레임을 캡처하기 위해 필요한 시간 스케일로 외삽할 수 있다. 다른 실시 예, 예를 들어 더 큰 기계적 정렬 스트로크를 필요로 하는 실시 예에서, 예를 들어 4-10 프레임 이상을 캡처하기 위해 필요한 시간 스케일로 외삽할 수 있다.
일부 실시 예에서, 캡처된 실제 움직임과 외삽된 움직임 사이의 편차를 보상하기 위해 디지털 정렬이 수행될 수 있다.
다른 실시 예는 객체 추적, 사진 기록 또는 둘 다를 수행하기 위해 다른 단일, 듀얼 또는 멀티-애퍼처 카메라를 사용할 수 있다.
기계적 정렬 단계(708)
예시적인 실시 예들에서, 센서상의 객체의 정렬, 시프트, 회전 및 줌은 광학적으로 및/또는 디지털 방식으로 수행될 수 있다(후자는 디지털 비디오 스트림을 사용함). 다음 유형의 기계적 정렬을 사용할 수 있다.
예를 들어, PCT/IB2019/053315에 기재되며, 도 8b에 도시된 듀얼 카메라에서 객체 시프트를 매칭하기 위해 프리즘이 이동한다. OPFE(예를 들어, 프리즘)(808)는 2 개의 축(각 축은 자유도, DOF임) 주위로 광학 경로를 폴딩할 수 있다. 자유도는 제 1 광학 경로(814)(X 축)에 평행한 요 회전 축(812)을 중심으로 한 요 회전(810)과 Y 축에 평행한 피치 회전 축(818)을 중심으로 한 피치 회전(816)이다. 프리즘 이동에 의한 FOV 스캐닝은 순간적으로 수행되지 않지만, 약간의 세틀링(settling) 시간을 필요로 한다. 프리즘 이동에 의한 FOV 스캐닝은 예를 들어, 2°- 5°스캐닝을 위해 약 1-30ms의 시간 스케일로, 그리고 10°- 25°스캐닝을 위해 약 15-80ms로 수행될 수 있다.
1. 예를 들어, PCT/IB2016/052179에 기재된 움직임, 객체 시프트와 매칭되도록, 카메라의 측면 위치 또는 틸트 각도를 수정하기 위해 렌즈 이동 또는 카메라 모듈 이동이 이루어진다. 예를 들어, 렌즈 모듈의 이동은 객체의 Z 방향으로의 시프트에 대응하는 X 방향(822) 및 Y 방향(820)으로의 액추에이터를 사용하여 수행될 수 있다. 틸트 모션은 액추에이터에 결합된 광학 요소의 광축을 따라 선형 변위로 변환될 수 있다. 예를 들어, 공동 소유인 PCT/IB2019/053315에 기재된 바와 같이, 2 개의 액추에이터가 이중-축 틸트를 제공할 수 있는 어셈블리내에 결합될 수 있다.
2. 객체 스케일에 매칭되도록 기계적인 줌 조정을 한다. 일부 고급 카메라 설계는 서로에 대해 움직일 수 있는 상이한 렌즈 그룹을 포함할 수 있어, 카메라의 유효 초점 거리를 변경하여 광학 줌 기능을 제공한다. 기계식 줌은 객체의 스케일을 광학적으로 정렬하는데 사용될 수 있다.
3. 객체 회전과 매칭되도록 기계적 정렬을 한다. 예를 들어, OPFE 틸트-생성 이미지 롤 움직임은 객체 회전을 보상한다. 두 축(Y-818 및 X-812) 중심으로의 프리즘의 회전을 조합하고, 렌즈를 Y 방향으로 시프트함으로써, (롤 축에서) 객체의 접선 회전에 대한 보상을 얻을 수 있다. 메커니즘은 출원인의 국제 특허 출원 PCT/IB2016/055308에 자세히 설명되어 있다.
다른 구성에서는 모터 또는 모션 제어를 사용하는 대체적인 외부 또는 내부 기계적 정렬 요소를 사용할 수 있다.
상기 방법의 일부 실시 예는 밤하늘과 같이 매우 낮은 빛을 갖는 장면을 캡처하도록 구성될 수 있다. 밤하늘 캡처를 위한 실시 예는 소위 "별 추적기" 삼각대, 즉 긴 노출 시간으로 하늘("천체 사진")을 캡처하기 위해 별의 움직임을 따르는 삼각대와 유사할 수 있다. 천체 사진술은 일반적으로 약 0.1-0.0001 Lux의 조도 조건에서 수행된다. 천체 사진의 경우, 카메라 호스트 장치를 (지구에 비해) 정지된 객체에 배치하거나, 또는 카메라 호스트 장치를 정지된 객체에 고정적으로 연결하는 것이 유용할 수 있다. 지구는 별에 대해 상대적인 이동을 수행하므로, 지구상의 사진 작가에게는 지구의 24 시간내 360도 회전(시간당 약 15도 또는 분당 1/4도 회전)으로부터 유도된 약 ω ≒ 4 · 10-3 deg/s의 각속도 ω로 별이 움직일 수 있다. 알려진 바와 같이, 실제 각속도는 지구상의 사진 작가의 특정 위치 또는 좌표에 따라 다르다. 광학 정렬 단계(708)에서, 별의 움직임과 유사한 카메라 또는 OPFE 또는 렌즈 또는 센서를 갖는 움직임을 수행할 수 있다. 일 예에서, 단계(708)에서의 광학 정렬은 오로지 지구상의 사용자의 위치 및 지구상의 카메라의 방향에만 의존할 수 있으며, 즉 카메라로부터의 이미지 정보와 같은 추가 정보가 필요하지 않을 수 있다. 사용자의 위치와 카메라의 방향은 알려진대로 카메라 호스트 장치를 사용하여 직접적으로, 또는 위치가 알려진 WiFi 공급 장치와 같은 외부 장치에 의해 간접적으로 획득될 수 있다.
일반적으로, 사진 작가는 "600 룰(rule)"(때로는 "500 룰")을 사용한다. 600 룰은 천체 사진에 사용할 수 있는 주어진 카메라 설정에 대해 가능한 최대 노출 시간 TMax의 대략적인 추정치를 제공한다. 즉, TMax 동안 센서를 노출하면, 이미지에 별 흔적(trail)을 초래하지 않으면서 최대 신호 캡처를 제공할 수 있다. 600 룰에 의하면, 초 단위의 TMax가 다음과 같이 주어진다:
Figure pat00001
여기서, CF는 카메라 센서의 크롭 팩터이고, EFL은 당 업계에 알려진 유효 초점 거리(mm)이다. 일반적으로, 모바일 장치에 포함된 카메라의 EFL은 예를 들어, EFL = 2.5mm(초광각 카메라의 경우) 내지 EFL = 25mm(텔레 카메라의 경우)의 범위에 있다. 일반적으로, 모바일 장치에 포함된 카메라의 CF는 CF = 2.5(대형 1/1”센서의 경우) 내지 CF = 10(1/4”센서의 경우)의 범위에 있다. 예를 들어, (a) CF = 2.5 및 EFL = 2.5mm(대형 센서 및 넓은 FOV) 및 (b) CF = 10 및 EFL = 25mm(소형 센서 및 좁은 FOV)의 극단적인 경우를 예로 들면, T1 Max ≒ 100s 및 T2 Max ≒ 2.4s의 모바일 천체 사진의 맥락에서 TMax 값을 얻을 수 있다. 두 번째 예(CF = 10, EFL = 25mm)는 예를 들어, 줌 배율이 높은 폴디드 텔레 카메라에 해당한다. 여기에 설명되고 이미지 센서에 별을 광학적으로 정렬하여 별의 모션을 보정하기 위한 천체 사진 맥락에서 적용되는 방법을 사용하면, 별 흔적 없이 선명한 밤하늘 이미지를 획득하면서 훨씬 더 긴 노출 시간을 사용할 수 있다. 여기서 상당히 긴 노출 시간은 600 룰을 사용하여 추정되는 것보다 1.5-40 배 더 긴 노출 시간을 의미할 수 있다. 두 번째 예에서 알 수 있듯이, 이는 특히 텔레 카메라와 관련이 있을 수 있다. 다른 예들에서, 별들은 광학적으로 정렬되지 않을 수 있지만, 단계(712)에서 디지털 정렬될 수 있다. 또 다른 예들에서, 별들은 광학 및 디지털 정렬의 조합에 의해 정렬될 수 있다.
도 9는 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-애퍼처 카메라를 포함하는 전자 장치(900)의 실시 예를 개략적으로 도시한다. 전자 장치(900)는 예를 들어, 스마트폰, 태블릿 또는 노트북일 수 있다. 전자 장치(900)는 FOV 스캐닝을 위한 OPFE(912)를 포함하는 제 1 스캐닝 텔레 카메라 모듈(910), 및 제 1 이미지 센서(916)에 의해 기록된 제 1 이미지를 형성하는 제 1 렌즈 모듈(918)을 포함한다. 제 1 렌즈 액추에이터(924)는 포커싱 및/또는 광학 이미지 안정화(OIS)를 위해 렌즈 모듈(918)을 이동할 수 있다. 일부 실시 예에서, 전자 장치(900)는 객체 정렬 기(942) 및 이미지/비디오 생성기(944)를 포함하는 애플리케이션 프로세서(AP)(940)를 더 포함할 수 있다. 일부 실시 예에서, 제 1 캘리브레이션 데이터는 카메라 모듈의 제 1 메모리(922), 예를 들어 EEPROM(전기적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리)에 저장될 수 있다. 다른 실시 예에서, 제 1 캘리브레이션 데이터는 전자 장치(900)의 NVM(비-휘발성 메모리)과 같은 제 3 메모리(950)에 저장될 수 있다. 제 1 캘리브레이션 데이터는 와이드 카메라 모듈(930)과 텔레 카메라 모듈(910)의 센서들 사이의 캘리브레이션 데이터를 포함할 수 있다. 일부 실시 예에서, 제 2 캘리브레이션 데이터는 제 2 메모리(938)에 저장될 수 있다. 다른 실시 예에서, 제 2 캘리브레이션 데이터는 제 3 메모리(950)에 저장될 수 있다. 다른 실시 예에서, AP(940)는 카메라 모듈(910)에 위치한 제 1 메모리 및 카메라 모듈(930)에 위치한 제 2 메모리에 각각 저장된 캘리브레이션 데이터를 수신할 수 있다. 제 2 캘리브레이션 데이터는 와이드 카메라 모듈(930)과 텔레 카메라 모듈(910)의 센서들 사이의 캘리브레이션 데이터를 포함할 수 있다. 전자 장치(900)는 제 2 이미지 센서(934)에 의해 기록된 이미지를 형성하는 제 2 렌즈 모듈(932)을 포함하는 카메라 모듈(910)의 FOV보다 큰 FOV를 갖는 와이드(또는 울트라-와이드) 카메라 모듈(930)을 더 포함한다. 제 2 렌즈 액추에이터(936)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(932)을 이동할 수 있다.
사용시, AP(940)와 같은 처리 장치는 카메라 모듈(910 및 930)로부터 각각의 제 1 및 제 2 이미지 데이터를 수신하고, 카메라 제어 신호를 카메라 모듈(910 및 930)에 공급할 수 있다. 카메라 제어 신호는 OPFE 액추에이터(914)에 대한 제어 신호를 포함할 수 있으며, 이는 제어 신호에 응답하여 FOV 스캐닝을 위해 OPFE(912)를 회전시킨다. FOV 스캐닝은 단계(708)에서 이미지 센서상의 주어진 위치에 선택된 객체를 광학적으로(또는 기계적으로) 정렬하는 데 사용될 수 있다. 일부 실시 예에서, OPFE 액추에이터(914)는 OIS를 위해 OPFE(912)를 작동시킬 수 있다. 일부 실시 예에서, 예를 들어 단계(706)를 수행하기 위해, AP(940)는 카메라 모듈(930)로부터 제 2 이미지 데이터를 수신할 수 있다. 객체 정렬기(942)는 선택된 객체를 추적하고, 선택된 객체를 이미지 센서의 주어진 위치에 광학적으로 정렬하기 위해 텔레 카메라(910)로 전송되는 제어 신호를 계산하기 위해, 제 2 이미지 데이터를 사용하도록 구성된 프로세서일 수 있다. 다른 실시 예에서, 객체 정렬기(942)는 선택된 객체를 추적하기 위해 제 1 이미지 데이터를 사용할 수 있다. 다른 실시 예에서, 객체 정렬기(942)는 단계(712)에서 이미지 센서상의 주어진 위치에 디지털 방식으로 객체를 정렬하도록 구성될 수 있다. 일부 실시 예에서, 객체 정렬기(942)는 이동하는 객체의 미래 위치를 추론(추정)하기 위해 제 1 이미지 데이터 및/또는 제 2 이미지 데이터를 사용하도록 구성될 수 있다. 이미지 또는 비디오 생성기(944)는도 7에 기재된 바와 같이, 이미지 및 이미지 스트림을 각각 생성하도록 구성될 수 있다. 일부 실시 예에서, 이미지/비디오 생성기(944)는 복수의 단일 이미지로부터의 제 1 이미지 데이터를 평균하도록 구성될 수 있다. 일부 실시 예에서, 이미지/비디오 생성기(944)는 인공 이미지를 생성하도록 구성될 수 있다. 일부 실시 예에서, 이미지/비디오 생성기(944)는 인공 블러링을 포함하는 이미지를 생성하도록 구성될 수 있다.
달리 명시되지 않는 한, 선택을 위한 옵션 목록의 마지막 두 멤버 사이의 "및/또는"이라는 표현을 사용하는 것은 나열된 옵션 중 하나 이상을 선택하는 것이 적절하고 이루어질 수 있음을 나타낸다.
청구 범위 또는 명세서가 "하나의" 요소를 지칭하는 경우, 그러한 참조는 그 요소 중 하나만이 존재하는 것으로 해석되어서는 안된다는 것을 이해해야 한다.
명확성을 위해, 별도의 실시 예 또는 예의 맥락에서 설명된 본 개시 내용의 특정 특징이 또한 단일 실시 예와 조합되어 제공될 수 있다는 것이 이해된다. 반대로, 간결함을 위해 단일 실시 예의 맥락에서 설명된 본 개시 내용의 다양한 특징이 또한 개별적으로 또는 임의의 적절한 하위 조합으로 또는 임의의 다른 설명된 실시 예에서 적절하게 제공될 수 있다. 다양한 실시 예의 맥락에서 설명된 특정 특징은 실시 예가 그러한 요소없이 작동하지 않는 한 이러한 실시 예의 필수 특징으로 간주되지 않아야 한다.
본 개시 내용은 제한된 수의 실시 예를 설명하지만, 이러한 실시 예의 많은 변형, 수정 및 다른 응용이 이루어질 수 있다는 것을 이해할 것이다. 일반적으로, 본 개시 내용은 여기에 설명된 특정 실시 예에 의해 제한되지 않고, 첨부된 청구 범위에 의해서만 제한되는 것으로 이해되어야 한다.
본 명세서에 언급된 모든 참고 문헌은 각각의 개별 참고 문헌이 구체적으로 그리고 개별적으로 본 명세서에 참고로 포함되도록, 지시된 것과 동일한 정도로 그 전체가 참고로 본 명세서에 포함된다. 또한, 본 출원에서 임의의 참고 문헌의 인용 또는 식별은 그러한 참고 문헌이 본 출원에 대한 선행 기술로 이용 가능하다는 것을 인정하는 것으로 해석되어서는 안된다.

Claims (20)

  1. 모바일 장치로서,
    텔레 시야(FOVT)를 가지며, 텔레 이미지 센서 및 광학 경로 폴딩 요소(OPFE)를 포함하는 제1의 스캐닝 텔레 카메라;
    제2 이미지 센서 및 FOVT보다 큰 제2 FOV2(FOV2>FOVT)를 갖는 제2의 카메라; 및
    프로세서로서,
    장면에서 추적할 객체를 선택하고,
    각각의 기록된 텔레 이미지 또는 기록된 텔레 이미지 스트림을 제공하기 위해 상기 스캐닝 텔레 카메라로 이미지 또는 이미지 스트림을 기록하고,
    상기 OPFE가 회전하도록 지시하여 상기 선택된 객체가 상기 모바일 장치에 대해 또는 상기 장면에 대해 이동하는 동안, 상기 선택된 객체를 상기 텔레 이미지 센서의 동일한 주어진 위치에 광학적으로 정렬함으로써, 상기 선택된 객체에 대해 블러링된 이미지 배경 및/또는 전경을 생성하도록,
    구성된, 상기 프로세서;
    를 포함하는 모바일 장치.
  2. 제1항에 있어서, 상기 광학적으로 정렬하는 구성은 상기 제2의 카메라에 의해 제공되는 정보를 이용하여 광학 정렬에 필요한 적어도 하나의 파라미터를 계산하는 구성을 더 포함하는 모바일 장치.
  3. 제1항에 있어서, 상기 텔레 이미지 센서는 광학 정렬에 필요한 적어도 하나의 파라미터를 계산하기 위한 정보를 제공하는 제1 복수의 픽셀, 및 상기 이미지 또는 이미지 스트림을 기록하는 데 사용되는 제2 복수의 픽셀을 포함하는 모바일 장치.
  4. 제1항에 있어서, 상기 기록하는 구성은 복수의 프레임을 기록하는 구성을 포함하고, 상기 광학적으로 정렬하는 구성은 상기 선택된 객체를 상기 텔레 이미지 센서의 유사한 위치에 광학적으로 정렬하고 상기 선택된 객체를 상기 텔레 이미지 센서의 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 구성을 포함하는 모바일 장치.
  5. 제1항에 있어서, 상기 기록하는 구성은 복수의 프레임을 기록하는 구성을 포함하고, 상기 광학적으로 정렬하는 구성은 상기 선택된 객체를 상기 텔레 이미지 센서의 개별 픽셀에 광학적으로 정렬하고 상기 선택된 객체를 상기 텔레 이미지 센서의 동일한 주어진 위치에 디지털 방식으로 추가적으로 정렬하는 구성을 포함하는 모바일 장치.
  6. 제1항에 있어서, 상기 기록된 이미지 스트림은 복수의 개별 이미지를 포함하고, 상기 프로세서는 개별 이미지 데이터를 이용하여 인공 이미지 데이터를 생성하도록 추가로 구성되는 모바일 장치.
  7. 제1항에 있어서, 상기 프로세서는 상기 텔레 이미지 스트림을 기록하는데 사용되는 초당 프레임(fps) 레이트와 상이한 fps 레이트로 상기 기록된 텔레 이미지 스트림을 재생하도록 추가로 구성되는 모바일 장치.
  8. 제1항에 있어서, 상기 기록된 텔레 이미지 스트림은 2개 이상의 시퀀스로 분할되고, 상기 프로세서는 상이한 초당 프레임 레이트로 각 시퀀스를 재생하도록 추가로 구성되는 모바일 장치.
  9. 제1항에 있어서, 상기 프로세서는 상기 기록된 텔레 이미지 스트림을 상이한 블러링 정도를 나타내는 2개 이상의 시퀀스로 분할하도록 추가로 구성되는 모바일 장치.
  10. 제1항에 있어서, 상기 광학적으로 정렬하는 구성은 상기 선택된 객체의 미래 위치에 대한 추론을 수행하는 구성을 포함하는 모바일 장치.
  11. 제1항에 있어서, 상기 선택된 객체는 별을 포함하는 모바일 장치.
  12. 제1항에 있어서, 상기 장면에서 추적할 객체를 선택하는 구성은 제2의 카메라의 이미지 데이터를 이용하는 구성을 포함하는 모바일 장치.
  13. 제1항에 있어서, 상기 장면에서 추적할 객체를 선택하는 구성은 텔레 카메라의 이미지 데이터를 이용하는 구성을 포함하는 모바일 장치.
  14. 제2항에 있어서, 상기 광학 정렬에 필요한 적어도 하나의 파라미터는 시프트 파라미터, 스케일 파라미터 및 회전 파라미터로 구성된 그룹으로부터 선택되는 모바일 장치.
  15. 제3항에 있어서, 텔레 카메라와 제2의 카메라 사이의 캘리브레이션 데이터를 저장하기 위한 비휘발성 메모리를 더 포함하는 모바일 장치.
  16. 제3항에 있어서, 상기 제1 및 제2 복수의 픽셀은 센서 픽셀의 총수에 합산되는 모바일 장치.
  17. 제6항에 있어서, 상기 인공 이미지 데이터는 이미지 블러링의 균일성을 증가시키기 위해 사용되는 모바일 장치.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 스캐닝 텔레 카메라는 폴디드 텔레 카메라인 모바일 장치.
  19. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 모바일 장치는 스마트폰인 모바일 장치.
  20. 제18항에 있어서, 상기 모바일 장치는 스마트폰인 모바일 장치.


KR1020227025448A 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 KR102515482B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237010217A KR102640227B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962881007P 2019-07-31 2019-07-31
US62/881,007 2019-07-31
KR1020227005047A KR102425865B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
PCT/IB2020/055428 WO2021019318A1 (en) 2019-07-31 2020-06-09 System and method for creating background blur in camera panning or motion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227005047A Division KR102425865B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237010217A Division KR102640227B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220107328A true KR20220107328A (ko) 2022-08-02
KR102515482B1 KR102515482B1 (ko) 2023-03-29

Family

ID=74230207

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020217014619A KR102365748B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020237010217A KR102640227B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020217000784A KR102254947B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020247005518A KR20240027858A (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020227025448A KR102515482B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020227005047A KR102425865B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020217014619A KR102365748B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020237010217A KR102640227B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020217000784A KR102254947B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR1020247005518A KR20240027858A (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227005047A KR102425865B1 (ko) 2019-07-31 2020-06-09 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법

Country Status (6)

Country Link
US (2) US11368631B1 (ko)
EP (1) EP3837662A4 (ko)
KR (6) KR102365748B1 (ko)
CN (1) CN112585644A (ko)
IL (3) IL301734A (ko)
WO (1) WO2021019318A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220137700A1 (en) * 2020-10-30 2022-05-05 Rovi Guides, Inc. System and method for selection of displayed objects by path tracing
CN117441185A (zh) * 2021-06-03 2024-01-23 三星电子株式会社 用于校正图像的方法和电子设备
US20230093087A1 (en) * 2021-09-17 2023-03-23 Yembo, Inc. Browser optimized interactive electronic model based determination of attributes of a structure
KR20230060304A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 복수의 렌즈들을 구비하는 전자 장치 및 그 제어 방법
CN115334243A (zh) * 2022-08-23 2022-11-11 维沃移动通信有限公司 拍摄方法及其装置
CN117635506B (zh) * 2024-01-24 2024-04-05 成都航天凯特机电科技有限公司 一种基于AI赋能Mean Shift算法的图像增强方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101474191B1 (ko) * 2014-02-03 2014-12-18 삼성전기주식회사 조명 모듈 및 이를 이용하는 외관 검사 시스템
US20150002684A1 (en) * 2013-06-28 2015-01-01 Canon Kabushiki Kaisha Image processing apparatus
US20160301868A1 (en) * 2015-04-10 2016-10-13 Qualcomm Incorporated Automated generation of panning shots
KR20180126106A (ko) * 2017-04-27 2018-11-27 (주)이즈미디어 카메라 모듈 검사장치용 위치 정렬 장치
US20190213712A1 (en) * 2018-01-05 2019-07-11 Qualcomm Incorporated Motion blur simulation

Family Cites Families (326)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
KR940017747A (ko) 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6341180B1 (en) 1997-12-18 2002-01-22 Cellavision Ab Image content autofocus for microscopy using a noise-insensitive focus filter
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
WO2004084542A1 (ja) 2003-03-20 2004-09-30 Seijiro Tomita パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
WO2006008805A1 (ja) 2004-07-20 2006-01-26 Five Dimension Co., Ltd. 電子撮像装置
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
US20060126737A1 (en) 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a camera to track an object using motion vector data
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP4188394B2 (ja) 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
WO2007055356A1 (ja) 2005-11-14 2007-05-18 Nikon Corporation 像ブレ補正装置およびカメラ
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
JP4669047B2 (ja) 2006-02-06 2011-04-13 ノキア コーポレイション 撮像システムにおける位置検知の方法及びデバイス
CN101401023A (zh) 2006-02-06 2009-04-01 诺基亚公司 使用装有万向节的棱镜的光学图像稳定器
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
CN101221341A (zh) * 2007-01-08 2008-07-16 华晶科技股份有限公司 景深构图设定方法
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US9618748B2 (en) 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
US8937651B2 (en) 2007-04-19 2015-01-20 Dvp Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
CN102150078B (zh) 2008-09-10 2013-09-04 松下电器产业株式会社 相机机身及摄像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
US8896697B2 (en) 2009-04-07 2014-11-25 Chen Golan Video motion compensation and stabilization gimbaled imaging system
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
SG177156A1 (en) 2009-06-16 2012-01-30 Intel Corp Camera applications in a handheld device
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
CN102461157B (zh) 2009-06-22 2016-01-20 豪威科技有限公司 多视频标准中可操作的用于图像传感器的系统和方法
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
ES2739036T3 (es) 2009-09-14 2020-01-28 Viion Systems Inc Cámara de análisis de vídeo de resolución dual sacádica
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
JP2013518529A (ja) 2010-01-28 2013-05-20 パスウェイ イノベーションズ アンド テクノロジーズ インク カメラ・スキャナ装置およびパーソナル・コンピュータ・ベースの処理ソフトウェアを有するドキュメント・イメージング・システム
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US9369621B2 (en) 2010-05-03 2016-06-14 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
GB201010233D0 (en) * 2010-06-18 2010-07-21 Univ Nottingham Trent Improvements in or relating to sample analysis
EA201201649A1 (ru) 2010-07-13 2013-06-28 Рам Шрикант Мирлай Фотокамерное устройство покадровой фотосъемки для получения трехмерного изображения с изменяемой глубиной восприятия
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2012122177A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging, LLC Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP6046966B2 (ja) * 2012-04-19 2016-12-21 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
IL219639A (en) * 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
CN104350734B (zh) 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
KR20150043312A (ko) 2012-07-12 2015-04-22 주식회사 듀얼어퍼처인터네셔널 제스처―기반 사용자 인터페이스
WO2014010303A1 (ja) 2012-07-12 2014-01-16 ソニー株式会社 像振れ補正装置と像振れ補正方法および撮像装置
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
WO2014070927A2 (en) 2012-10-31 2014-05-08 Invisage Technologies, Inc. Expanded-field-of-view image and video capture
CN105122129A (zh) 2012-11-08 2015-12-02 威动光有限公司 微型光学变焦镜头
US9386226B2 (en) 2012-11-16 2016-07-05 Panasonic Intellectual Property Corporation Of America Camera drive device
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
WO2014145166A2 (en) 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
JP6103503B2 (ja) 2013-07-31 2017-03-29 パナソニックＩｐマネジメント株式会社 撮像装置
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
WO2015041496A1 (ko) 2013-09-23 2015-03-26 엘지이노텍 주식회사 카메라 모듈 및 그 제작 방법
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150103147A1 (en) 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
WO2015081563A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 一种生成图片的方法及一种双镜头设备
CN105339840B (zh) 2013-12-06 2019-06-14 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
CN104937921B (zh) 2013-12-06 2019-04-26 华为终端（东莞）有限公司 一种终端及图像处理方法、图像采集方法
US9973672B2 (en) 2013-12-06 2018-05-15 Huawei Device (Dongguan) Co., Ltd. Photographing for dual-lens device using photographing environment determined using depth estimation
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
US10257450B2 (en) 2014-05-15 2019-04-09 Huawei Technologies Co., Ltd. Multi-frame noise reduction method, and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
CN105659580B (zh) 2014-09-30 2018-09-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
CN112305833A (zh) 2015-04-16 2021-02-02 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
CN105847662A (zh) * 2015-06-19 2016-08-10 维沃移动通信有限公司 一种基于移动终端的运动物体拍摄方法和移动终端
KR102060259B1 (ko) 2015-06-24 2019-12-27 코어포토닉스 리미티드 접이식 렌즈 카메라용 저-프로파일 3-축 액추에이터
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
US10230898B2 (en) 2015-08-13 2019-03-12 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
US10070060B2 (en) 2015-09-06 2018-09-04 Corephotonics Ltd Auto focus and optical image stabilization with roll compensation in a compact folded camera
JP6593629B2 (ja) * 2015-09-09 2019-10-23 ソニー株式会社 画像処理装置、固体撮像素子、および電子機器
CN105488511B (zh) * 2015-11-25 2018-11-23 小米科技有限责任公司 图像的识别方法及装置
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2017208090A1 (en) 2016-05-30 2017-12-07 Corephotonics Ltd. Rotational ball-guided voice coil motor
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
EP3789810B1 (en) 2017-01-12 2022-09-28 Corephotonics Ltd. Compact folded camera
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
CN108476289B (zh) * 2017-07-31 2021-02-02 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
US11190702B2 (en) 2017-09-05 2021-11-30 Sony Corporation Image-capturing apparatus
JP7009142B2 (ja) * 2017-09-28 2022-01-25 キヤノン株式会社 撮像装置および画像処理方法
US11195336B2 (en) * 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150002684A1 (en) * 2013-06-28 2015-01-01 Canon Kabushiki Kaisha Image processing apparatus
KR101474191B1 (ko) * 2014-02-03 2014-12-18 삼성전기주식회사 조명 모듈 및 이를 이용하는 외관 검사 시스템
US20160301868A1 (en) * 2015-04-10 2016-10-13 Qualcomm Incorporated Automated generation of panning shots
KR20180126106A (ko) * 2017-04-27 2018-11-27 (주)이즈미디어 카메라 모듈 검사장치용 위치 정렬 장치
US20190213712A1 (en) * 2018-01-05 2019-07-11 Qualcomm Incorporated Motion blur simulation

Also Published As

Publication number Publication date
WO2021019318A1 (en) 2021-02-04
IL297759B1 (en) 2023-05-01
EP3837662A4 (en) 2021-12-15
US20220210343A1 (en) 2022-06-30
US11368631B1 (en) 2022-06-21
KR20210059800A (ko) 2021-05-25
KR102365748B1 (ko) 2022-02-23
KR20230048447A (ko) 2023-04-11
IL301734A (en) 2023-05-01
IL290201B (en) 2022-12-01
KR102515482B1 (ko) 2023-03-29
IL290201B2 (en) 2023-04-01
EP3837662A1 (en) 2021-06-23
KR102425865B1 (ko) 2022-07-27
KR102640227B1 (ko) 2024-02-22
IL297759B2 (en) 2023-09-01
KR102254947B1 (ko) 2021-05-24
US20220264030A1 (en) 2022-08-18
KR20210016469A (ko) 2021-02-15
KR20220025263A (ko) 2022-03-03
CN112585644A (zh) 2021-03-30
KR20240027858A (ko) 2024-03-04
IL297759A (en) 2022-12-01
IL290201A (en) 2022-03-01

Similar Documents

Publication Publication Date Title
KR102425865B1 (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US7664293B2 (en) Image sensing apparatus and control method thereof
US8228400B2 (en) Generation of simulated long exposure images in response to multiple short exposures
EP3443736B1 (en) Method and apparatus for video content stabilization
US20070147812A1 (en) Digital panoramic camera
JP6321990B2 (ja) 撮像装置および撮像方法
JP2014211574A (ja) 撮像装置、その制御方法およびプログラム
CN107333054A (zh) 图像稳定设备及其控制方法和存储介质
JP2016005160A (ja) 撮像装置およびその制御方法
US8817127B2 (en) Image correction device for image capture device and integrated circuit for image correction device
JP2006030972A (ja) 撮像装置及び撮像方法
JP6296909B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
JP6797566B2 (ja) 撮像装置、撮像装置の制御方法、および、画像処理装置
JP2022187291A (ja) レンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーｌｓｉ
JP2023063114A (ja) 電子機器及び撮像方法
JP2015075675A (ja) 撮像装置
JP2007110347A (ja) カメラ装置
JP2021081611A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2017073698A (ja) 撮像装置及びその制御方法
JP2018182377A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2018011109A (ja) 撮像装置及びその制御方法
JP2015070337A (ja) 撮像装置、撮像方法並びにプログラム
JP2016201627A (ja) 撮像装置、合成撮影方法及び合成撮影プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant