KR20220164086A - 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원 - Google Patents

스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원 Download PDF

Info

Publication number
KR20220164086A
KR20220164086A KR1020227041872A KR20227041872A KR20220164086A KR 20220164086 A KR20220164086 A KR 20220164086A KR 1020227041872 A KR1020227041872 A KR 1020227041872A KR 20227041872 A KR20227041872 A KR 20227041872A KR 20220164086 A KR20220164086 A KR 20220164086A
Authority
KR
South Korea
Prior art keywords
fov
camera
zoom camera
image
zoom
Prior art date
Application number
KR1020227041872A
Other languages
English (en)
Other versions
KR102629883B1 (ko
Inventor
닛잔 호로비츠
요아브 커츠
아디 팔리크
오므리 레위
루씨 카츠
미카엘 쉐러
노이 코헨
오렌 조하르
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority to KR1020247002356A priority Critical patent/KR20240015155A/ko
Publication of KR20220164086A publication Critical patent/KR20220164086A/ko
Application granted granted Critical
Publication of KR102629883B1 publication Critical patent/KR102629883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2254—
    • H04N5/2258—
    • H04N5/23229—
    • H04N5/23287—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

프리즘 수차를 보정하고, 텔레 및 와이드 FOV를 매칭시키고, 연관된 텔레 FOV를 로컬라이제이션하고, 와이드 프레임을 로컬라이제이션된 텔레 FOV를 향해 주밍함으로써, 와이드 시야(FOV) 카메라와 스캐닝 텔레 카메라 사이의 심리스, 스무스 트랜지션을 얻기 위한 시스템 및 방법이 개시된다.

Description

스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원{VIDEO SUPPORT IN A MULTI-APERTURE MOBILE CAMERA WITH A SCANNING ZOOM CAMERA}
관련 출원에 대한 상호 참조
본 출원은 2020년 12월 26일에 출원된 미국 가특허출원 제63/130,655호로부터 우선권의 이익을 주장하며, 이 출원은 전체가 참조로 여기에 포함된다.
본 명세서에 개시된 실시예는 일반적으로 모바일 카메라에 관한 것으로서, 특히 스캐닝 카메라를 구비하는 멀티-애퍼처 카메라에서의 비디오 지원에 관한 것이다.
듀얼-카메라가 서브-카테고리인 멀티-카메라는 최신 모바일 전자 핸드헬드 장치("모바일 장치", 예를 들어, 스마트폰, 태블릿 등)의 표준이다. 멀티-카메라는 일반적으로 와이드 앵글 또는 시야(FOVW) 카메라("와이드 카메라" 또는 "WC")와 더 좁은 FOV("고유(native) FOVT" 또는 "n-FOVT"를 갖는 텔레포토 또는 "텔레" 카메라)를 갖거나 또는 울트라-와이드 FOV(FOVUW)를 갖는 하나 이상의 추가 카메라를 포함한다.
"스캐닝 텔레 카메라"("STC")는 n-FOVT보다 큰 장면의 세그먼트를 커버하거나 "스캔"한다. 이러한 세그먼트는 "스캐닝 텔레 FOV" 또는 "s-FOVT"로 지칭된다. FOV 스캐닝은 하나 이상의 광학 경로 폴딩 요소("OPFE")를 회전시킴으로써 수행될 수 있다. STC는 예를 들어, 공동 소유의 미국 특허 제10578948호에 설명되어 있다.
WC 및 텔레 카메라를 포함한 듀얼-카메라의 경우, 사용자가 비디오 작동 모드(이미지 스트림)에서 줌인 또는 줌아웃하는 동안, 사용자에게 와이드 또는 텔레 이미지가 디스플레이된다. "활성(active)" 카메라를 전환할 때, 즉 출력 이미지가 디스플레이되는 카메라를 (텔레에서 와이드로 또는 그 반대로) 전환할 때, 사용자는 비디오에서 "점프(jump)" 또는 불연속성을 보게 된다. 이러한 점프는 다른 것들 중에서 2개 이상의 카메라의 서로 다른 시점(POV)으로 인해 야기된다. 카메라의 POV는 유니티(unity) 벡터로 정의되며, 원점(point of origin)과 방향으로 완전히 설명된다. 원점은 각 카메라의 애퍼처 중심이다. POV의 방향은 원점과 각 카메라의 특정 FOV 중심 사이의 선형 연결에 의해 지정된다. 모바일 장치에 포함된 공지의 듀얼-카메라에서, 두 카메라의 원점들은 예를 들어 5-25mm만큼 약간 상이하다.
디스플레이된 비디오에서의 "스무스 트랜지션"(ST)은 (다른 POV를 갖는) 상이한 카메라의 이미지 스트림 간에 전환할 때, 점프를 최소화하는 소프트웨어 기능이다. 현재의 멀티-카메라에서, FOVT의 중심은 FOVW의 중심과 실질적으로 동일하다(즉, FOVT의 중심과 FOVW의 중심은 실질적으로 동일하다). 스마트폰과 같이 멀티 카메라가 탑재된 모바일 장치의 경우, 와이드 카메라의 POV와 텔레 카메라의 POV는 스마트폰 후면의 법선과 실질적으로 평행하다. 그러나, STC의 경우, n-FOVT 및 POV는 고정되어 있지 않지만 s-FOVT 내에서 스캔한다. 따라서, 일반적으로 n-FOVT의 중심과 FOVW의 중심은 동일하지 않으며, 스마트폰에 포함될 때, STC의 POV는 스마트폰 후면의 법선과 평행하지 않다.
비디오 이미지 스트림 내에서 와이드 이미지("WI")와 스캐닝 텔레 이미지("STI") 사이의 스무스 트랜지션을 위한 스무스 트랜지션 기능이 필요하고 이는 유용할 것이다.
여기에서는 카메라 또는 POV 간의 스무스한(즉, 끊김 없는(seamless)) 트랜지션을 얻기 위한 시스템 및 방법이 개시되는데, 이는 줌-인("줌-인") 중에 와이드 이미지 데이터를 디스플레이하는 것으로부터 스캐닝 텔레 이미지 데이터를 디스플레이하는 것으로 전환할 때, 또는 줌-아웃("줌-아웃") 중에 스캐닝 텔레 이미지 데이터를 디스플레이하는 것으로부터 와이드 이미지 데이터를 디스플레이하는 것으로 전환할 때, 비디오 작동 모드에서 발생하는 점프 효과를 최소화한다. 이하, 단순성을 위해 "와이드 이미지 데이터"는 "와이드 이미지" 또는 "WI"로 대체될 수 있으며, "스캐닝 텔레 이미지 데이터"는 "STC 데이터", "스캐닝 텔레 이미지" 또는 "STI"로 대체될 수 있다.
다양한 예에서, 줌 카메라가 제공되는데, 이는 와이드 시야(FOVW)를 갖고, 와이드 이미지(WI)를 출력하도록 작동하는 와이드 카메라; FOVW보다 좁은 고유 스캐닝 텔레 FOV(n-FOVT)를 갖고, STI를 출력하도록 작동하는 스캐닝 텔레 카메라(STC); 및 상기 와이드 카메라 및 상기 STC에 작동 가능하게 연결되고, FOVW 내의 비-센터 영역으로의 연속 줌-인 동작, 또는 FOVW 내의 비-센터 영역으로부터의 연속 줌-아웃 동작을 디스플레이하는 비디오 이미지 스트림을 스트리밍하도록 구성된 카메라 컨트롤러를 포함하고, WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로, 또는 그 반대로 전환될 때, 비디오 이미지에 스무스 트랜지션을 제공한다.
일부 예들에서, 스무스 트랜지션은 다음 중 하나 이상에 의해 달성될 수 있다: 이는 STI의 회전 보정를 수행하는 것, WI와 STI 사이의 레지스트레이션을 실행하는 것, 또는 위치 매칭을 수행하기 위한 WI와 STI 사이의 로컬라이제이션을 실행하는 것이다. WI와 STI 간의 로컬라이제이션은 로컬라이제이션 이전의 위치 매칭에 대한 위치 매칭의 정확도를 2.5배 이상 또는 심지어 10배 이상 향상시킬 수 있다.
일부 예들에서, 스무스 트랜지션은 다음 중 하나에 의해 달성될 수 있다: WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로 전환할 때, 스캐닝 텔레 이미지 관심 영역(ROI)에서의 객체의 거리에 따라 WI에 대한 STI를 시프트하는 것, 및/또는 STI를 디스플레이하는 것으로부터 WI를 디스플레이하는 것으로 전환할 때 와이드 이미지 ROI에서의 객체의 거리에 따라 STI에 대한 WI를 시프트하는 것; WI 및/또는 STI에 블러링을 적용하는 것; WI와 STI의 블렌딩을 수행하는 것; WI와 STI 사이의 스케일 및/또는 밝기 및/또는 컬러 매칭을 수행하는 것; 또는 순차적으로 디스플레이되는 WI의 각각의 크롭 오프셋이 라인 상에 놓이도록 WI를 크롭핑하는 것이다. WI의 크롭핑은 순차적으로 디스플레이되는 WI의 각각의 크롭 오프셋 사이의 거리가 줌 팩터에 따라 선형으로 변경되도록 크롭하거나, 순차적으로 디스플레이되는 WI의 각각의 크롭 오프셋 사이의 거리가 줌 팩터의 제곱에 따라 변경되도록 크롭핑하는 것을 포함할 수 있다. 크롭 오프셋 및/또는 크롭 센터 및/또는 크롭 팩터는 선택된 객체가 사용자에게 디스플레이되는 크롭핑된 스캐닝 텔레 이미지에 포함되도록 선택될 수 있다. 선택된 객체는 크롭핑된 스캐닝 텔레 이미지 내의 특정 위치에 있을 수 있다.
일부 예들에서, 순차적으로 디스플레이되는 WI의 FOVW 중심의 각각의 좌표들이 라인 상에 놓이도록 WI를 크로핑함으로써, 스무스 트랜지션이 달성될 수 있다. 상기 WI의 크로핑은 순차적으로 디스플레이되는 WI의 FOVW 중심의 각각의 좌표간 거리가 줌 팩터에 따라 선형적으로 변하도록 크로핑하거나, 순차적으로 디스플레이되는 WI의 FOVW 중심의 각각의 좌표간 거리가 줌 팩터의 제곱에 따라 변경되도록 크로핑하는 것을 포함할 수 있다.
일부 예들에서, 스무스 트랜지션은 특정 타겟 영역이 비디오 이미지 스트림에 항상 표시되도록 WI를 크롭핑하거나, 순차적으로 디스플레이된 WI에서 특정 타겟 영역의 각각의 좌표가 라인 상에 놓이도록 WI를 크롭핑함으로써 달성될 수 있다. 크로핑은 순차적으로 디스플레이되는 WI에서 특정 타겟 영역의 각각의 좌표 사이의 거리가 선형적으로 또는 제곱 법칙에 따라 변경되도록 할 수 있다.
일부 예들에서, WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로의 전환은 업-트랜스퍼 ZF 값(ZFUP)에서 수행될 수 있고, 여기서 STI를 디스플레이하는 것으로부터 WI를 디스플레이하는 것으로의 전환은 다운-트랜스퍼 ZF 값(ZFDOWN)에서 수행되고, ZFUP ≥ ZFDOWN이다.
일부 예들에서, STI를 디스플레이하는 것으로부터 WI를 디스플레이하는 것으로의 전환은 FOVW 내의 고유 FOVT(n-FOVT)의 시점(POV)에 의존하는 다운-트랜스퍼 ZF 값(ZFDOWN)에서 수행될 수 있다. 즉, ZFDOWN = ZFDOWN(x,y), 여기서 ZFDOWN(센터 POV)은 FOVW 내 센터 POV의 다운-트랜스퍼 ZF 값이고, 여기서 ZFDOWN(마진 POV)은 FOVW 내 마진 POV의 다운-트랜스퍼 ZF 값이고, 여기서 ZFDOWN(센터 POV) < ZFDOWN(마진 POV)이다.
일부 예들에서, WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로의 전환은 업-트랜스퍼 ZF 값(ZFUP)에서 수행될 수 있고, 여기서 ZFUP은 FOVW 내의 고유 FOVT(n-FOVT)의 POV에 의존하지 않으며, 여기서 [ZFDOWN( x,y)]MAX는 STC의 스캐닝 FOV(s-FOVT) 내의 모든 가능한 POV에 대한 ZFDOWN(x,y)의 최대값이고, 여기서 ZFUP ≥ [ZFDOWN(x,y)]MAX이다.
일부 예들에서, WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로의 전환은 FOVW 내의 n-FOVT의 POV에 의존하는 ZFUP에서 수행될 수 있으며, 여기서 ZFUP = ZFUP(x,y)이다.
일부 예들에서, WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로의 전환은 ZFUP에서 수행될 수 있고, STI를 디스플레이하는 것으로부터 WI를 디스플레이하는 것으로의 전환은 ZFDOWN에서 수행될 수 있으며, 여기서 비디오 촬영 모드에서의 ZFUP 및/또는 ZFDOWN의 값은 스틸 촬영 모드에서의 ZFUP 및/또는 ZFDOWN 값보다 5% 내지 30% 더 크다. ZFUP 및/또는 ZFDOWN의 값은 사용자에게 디스플레이되는 와이드 및 STI의 종횡비에 따라 달라질 수 있다. 디지털 이미지 안정화 비디오 모드에서의 ZFUP 및/또는 ZFDOWN의 값은 논-이미지 안정화 비디오 모드에서의 ZFUP 및/또는 ZFDOWN의 값보다 5% 내지 30% 더 클 수 있다.
일부 예들에서, 디지털 이미지 안정화 비디오 모드에서, 센터 POV에서의 이미지 안정화 능력은 마진 POV에서의 이미지 안정화 능력보다 5% 내지 30% 더 클 수 있다.
일부 예들에서, 비디오 이미지 스트림의 2개의 연속 이미지들에서 사용자에게 디스플레이되는 크롭핑된 STI에서 선택된 객체의 특정 위치가 > 10픽셀만큼 변하지 않도록 STI를 크롭핑하는 것에 의해 스무스 트랜지션이 달성될 수 있다. 일부 예들에서, 선택된 객체의 특정 위치는 > 5픽셀만큼 변하지 않을 수 있다. 일부 예들에서, 사용자에게 디스플레이되는 크롭핑된 스캐닝 텔레 이미지에서 선택된 객체의 특정 위치는 미적 기준에 따라 선택될 수 있다.
일부 예들에서, 카메라 컨트롤러는 WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로 전환하기 이전에, 비-전환 기준을 평가하고, 비-전환 기준이 충족되는 경우, WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로 전환하지 않도록, 추가로 구성될 수 있다. 비-전환 기준은 모션 블러, 전자 노이즈, 롤링 셔터, 디포커스 블러 및 부정확한 이미지 정렬 또는 가로막음으로 구성된 그룹에서 선택될 수 있다. 비-전환 기준은 WI에서의 위치와 관련하여 STI에서의 ROI의 상당한 미스-로케이션 또는 STI에서의 ROI의 부재; STI의 불완전한 롤 보정; 타겟 좌표가 STC의 스캐닝 FOV(s-FOVT)에 포함되는지를 결정하기 위한 검사; WI와 STI 사이에서 앞뒤로 점프하는 것을 방지하기 위해 타겟 좌표가 s-FOVT의 마진에 가까운지 결정하기 위한 검사; 또는 타겟 좌표가 예상되는 최대 프리즘 스캐닝 속도보다 빠르게 움직이는지 결정하기 위한 검사를 포함할 수 있다.
상기 또는 하기 줌 카메라는 스마트폰에 포함될 수 있다.
일부 예들에서, 와이드 이미지를 출력하기 위해, 와이드 시야(FOVW)를 갖는 와이드 카메라를 사용하는 단계; 스캐닝 텔레 이미지를 출력하기 위해, FOVW보다 좁은 고유 스캐닝 텔레 FOV(n-FOVT)를 갖는 스캐닝 텔레 카메라를 사용하는 단계; 및 FOVW 내의 비-센터 영역으로의 연속 줌-인 동작, 또는 FOVW 내의 비-센터 영역으로부터의 연속 줌-아웃 동작을 디스플레이하는 비디오 이미지 스트림을 스트리밍하고, 와이드 이미지를 디스플레이하는 것으로부터 스캐닝 텔레 이미지를 디스플레이하는 것으로 또는 그 반대로 전환될 때, 비디오 이미지에 스무스 트랜지션을 제공하도록, 상기 와이드 카메라 및 상기 스캐닝 텔레 카메라에 작동 가능하게 연결된 카메라 컨트롤러를 구성하는 단계를 포함하는 방법이 제공된다.
본 명세서에 개시된 주제의 비-제한적인 예는 이 단락 다음에 나열되며 여기에 첨부된 도면을 참조하여 아래에 설명된다. 하나 이상의 도면에서 보이는 동일한 구조, 요소 또는 부품은 그것들이 보이는 도면에서 동일한 숫자로 표시될 수 있다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다.
도 1은 본 명세서에 개시된 바와 같은 멀티-카메라를 포함하는 모바일 장치의 실시예를 개략적으로 도시한다.
도 2는 상이한 OPFE 위치 및 오브젝트 도메인에서의 이들 각각의 FOV를 도시한다.
도 3은 본 명세서에 개시된 와이드 이미지 내에서 STC 이미지를 찾기 위한 방법의 주요 단계를 흐름도로 도시한다.
도 4a는 하나의 뷰에서 W 이미지 내에서의 T 이미지의 로컬라이제이션을 도시한다.
도 4b는 다른 뷰에서 W 이미지 내에서의 T 이미지의 로컬라이제이션을 도시한다.
도 5a는 제1 방법 실시예에 의해 생성된 스무스 트랜지션 비디오 시퀀스로 디스플레이되는 줌-인 시나리오를 도시한다.
도 5b는 동일한 폭/높이 비율을 갖도록 디지털 방식으로 주밍된, 도 5a의 줌-인 시나리오에서의 이미지들을 도시한다.
도 5c는 도 5b에서의 일부 이미지 및 타겟 위치를 도시한다.
도 6은 크롭 방법의 주요 단계를 흐름도로 도시한다.
도 7은 스캐닝 기능을 갖는 적어도 하나의 카메라를 포함하는 멀티-카메라에서 스무스 트랜지션 경험을 달성하기 위해 본 명세서에 개시된 방법의 다른 실시예를 도시한다.
도 1은 듀얼-카메라를 포함하는 100으로 번호가 매겨진 모바일 장치(예를 들어, 스마트폰)의 실시예를 개략적으로 도시한다. 듀얼-카메라는 주어진 고유 FOVT("n-FOVT") 및 유효 또는 스캐닝 FOVT("s-FOVT")를 갖는 스캐닝 텔레 카메라("STC")(110)를 포함한다. STC(110)는 OPFE(118), 텔레 렌즈를 갖는 텔레 렌즈 모듈(112), 및 텔레 이미지 센서(114)를 포함하는 폴디드 카메라일 수 있다. 텔레 렌즈는 고정 줌 팩터(ZF)를 제공하는 고정 유효 초점 거리(EFL)를 가질 수 있거나, 또는 적응형(adaptable) ZF를 제공하는 적응형(가변) EFL을 가질 수 있다. EFL의 적응은 이산적(discrete)이거나 연속적일 수 있다. STC(110)는 포커싱 및/또는 광학 이미지 안정화(OIS)를 위해 렌즈 모듈(112)을 이동시키기 위한 렌즈 액추에이터(116), OIS를 위해 OPFE(118)를 작동시키고 및/또는 s-FOVT 내에서 특정 시점(POV)에 대해 n-FOVT를 스캐닝하기 위한 OPFE 액추에이터(122), 및 제1 메모리(124)를 더 포함한다. 메모리(124)는 EEPROM(전기적으로 소거 가능한 프로그램 가능한 판독 전용 메모리)일 수 있다. 일부 실시예에서, 제1 메모리(124)는 제1 캘리브레이션 데이터를 저장할 수 있다. STC(110)는 예를 들어, 8mm - 50mm 이상의 EFL, 10 - 40deg의 대각선 n-FOVT, 및 f/# = 약 1.5 - 6의 f 수를 가질 수 있다.
n-FOVT 스캐닝은 유한한 최대 속도로 일어난다. 즉, 약간의 안정화 시간을 필요로 한다. N-FOVT 스캐닝은 2-5° 스캐닝에 대해 약 1-30ms, 및 10-25° 스캐닝에 대해 약 10-80ms의 시간 스케일에서 수행될 수 있다. 일부 실시예에서, s-FOVT는 FOVW 영역의 약 50%를 커버할 수 있다. 일부 실시예에서, s-FOVT는 FOVW 영역의 약 100% 또는 심지어 그 이상을 커버할 수 있다.
일부 실시예에서, n-FOVT 스캐닝은 예를 들어, 공동 소유의 국제 특허 출원 PCT/IB2021/059843에 설명된 바와 같이, 단일 OPFE 대신 2개 이상의 OPFE를 작동시킴으로써 수행될 수 있다.
듀얼-카메라는 STC(110)의 n-FOVT보다 더 큰 FOVW를 갖는 와이드 카메라("WC")(130)를 더 포함한다. WC(130)는 와이드 렌즈를 갖는 와이드 렌즈 모듈(132) 및 와이드 이미지 센서(134)를 포함한다. 제2 렌즈 액추에이터(136)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(132)을 이동시킬 수 있다. 일부 실시예에서, 제2 캘리브레이션 데이터는 제2 메모리(138)에 저장될 수 있다. 다른 실시예에서, 제1 캘리브레이션 데이터 및 제2 캘리브레이션 데이터는 제3 메모리(170)에 저장될 수 있다. 제1 및 제2 캘리브레이션 데이터는 WC(130) 및 STC(110) 사이의 캘리브레이션 데이터를 포함할 수 있다. WC는 예를 들어, 2.5 - 20mm의 EFL, 50 - 130deg의 대각선 FOV 및 약 1.0 - 2.5의 f/#를 가질 수 있다.
모바일 장치(100)는 애플리케이션 프로세서(AP)(140)를 더 포함할 수 있다. AP(140)는 와이드 이미지 신호 프로세서(ISP)(144) 및 텔레 이미지 ISP(142)를 포함할 수 있다. AP(140)는 센서 제어 유닛(152), 사용자 제어 유닛(160), 비디오 처리 유닛(154)을 갖는 카메라 컨트롤러(150), 및 후처리 유닛(146)을 더 포함할 수 있고, 이들 모두는 이미지 센서(114 및 134)에 작동 가능하게 결합된다. 사용자 제어 유닛(160)은 이미지 또는 비디오를 캡처할지 여부를 선택하는 데 사용되는 작동 모드 선택 기능(162), ROI, ROI의 "타겟 좌표" 또는 그 특정 POV(이하, "특정 POV" 및 "타겟 좌표"는 상호교환적으로 사용됨)를 선택하는 데 사용되는 관심 영역(ROI) 기능(164), 및 ZF를 선택하는 데 사용되는 줌 팩터(ZF) 모듈(166을 포함할 수 있다. ROI는 사용자 또는 알고리즘에 의해 선택되는 FOVW 또는 s-FOVT 내의 세그먼트일 수 있다. ROI는 특정 객체 또는 객체의 특정 구성을 포함하기 때문에, 다른 세그먼트보다 사용자에게 더 높은 가치를 가질 수 있다. 일반적으로, WC는 ROI 중 하나에 포커싱되고, STC는 ROI 중 하나를 향해 조향(steered)되고 및/또는 ROI 중 하나에 포커싱된다.
사용시, AP(140)는 카메라(110 및 130)로부터 각각의 와이드 및 STC 이미지 데이터를 수신하고, 카메라 제어 신호를 카메라(110 및 130)에 공급할 수 있다.
센서 제어 유닛(152)은 2개의 ISP(142 및 144) 및 사용자 제어 유닛(160)에 작동 가능하게 결합되고, 줌 팩터에 따라 이미지 센서들 중 어느 것이 작동 가능한지를 선택하고, 센서 제어 신호를 제공하는 데 사용될 수 있다. 비디오 처리 유닛(154)은 비디오 출력에 관한 결정을 내리기 위해 비-전환 기준을 평가하도록 구성될 수 있다. 구체적으로, 비-전환 기준의 평가 시, 비-전환 기준이 충족되면, 모듈(154)은 줌-인 동작에서 와이드 이미지 데이터만을 포함하는 줌 비디오 출력 이미지를 출력하도록 구성될 수 있다. 후처리 모듈(146)은 노이즈 제거, 샤프닝, 스케일링 등을 포함할 수 있는 이미지 처리에 사용될 수 있다.
여기 및 다음에서, 그리고 달리 명시되지 않은 경우, 다음 정의를 사용한다.
- 입력 이미지: 텔레 ISP(142) 또는 와이드 ISP(144)에 의해 제공되는 이미지.
- 스캐닝 텔레 이미지(STI): 텔레 ISP(142)에 의해 제공되는 이미지.
- 와이드 이미지(WI): 와이드 ISP(144)에 의해 제공되는 이미지.
- 출력 이미지: 사용자에게 디스플레이되는 이미지(일반적으로, 비디오 스트림의 특정 이미지).
- 텔레 출력 이미지: STI 데이터에 기반하고, 단계(608)(도 6) 또는 단계 (708)(도 7)에서 제공되는 출력 이미지.
- 와이드 출력 이미지: WI 데이터에 기반하고, 단계(608)(도 6) 또는 단계 (708)(도 7)에서 제공되는 출력 이미지.
- 출력 이미지 데이터 전환: 이미지 비디오 스트림에서, 사용자에게 텔레 출력 이미지 또는 와이드 출력 이미지를 디스플레이하는 것으로부터 사용자에게 와이드 출력 이미지 또는 텔레 출력 이미지를 각각 디스플레이하도록 전환하는 동작.
- 이하, '이미지 데이터', 및 '이미지' 또는 '이미지들'은 상호 교환적으로 사용된다.
스틸 카메라 모드에서의 줌-인 및 줌-아웃
다음을 정의한다. TFOV = tan(카메라 FOV/2). "낮은 ZF"는 ZF < TFOVW/TFOVT를 따르는 모든 줌 팩터를 나타낸다. "높은 ZF"는 ZF > TFOVW/TFOVT를 따르는 모든 ZF를 나타낸다. "트랜스퍼 ZF" 또는 "ZFT"는 ZF = TFOVW/TFOVT를 따르는 ZF를 나타낸다. ZFT는 출력 이미지 데이터 전환을 가능하게 하는 가장 작은 ZF를 나타낸다. 일 실시예에서, 스틸 모드에서의 줌-인 및 줌-아웃은 다음과 같이 수행될 수 있다:
줌-인: ZFT 약간 위까지의 낮은 ZF에서, 출력 이미지는 디지털 방식으로 주밍된 와이드 출력 이미지이다. ZFUP ≥ ZFT인 업-트랜스퍼 ZF("ZFUP")에서, 와이드 출력 이미지를 디스플레이하는 것으로부터 텔레 출력 이미지를 디스플레이하는 것으로 출력 이미지 데이터 전환이 수행될 때, 스무스 트랜지션("ST")을 달성하기 위해, STI가 여기에 설명된 바와 같이 시프트 및 수정된다. ZF ≥ ZFUP의 경우, 출력은 디지털 방식으로 주밍된 텔레 출력 이미지이다.
줌-아웃: ZFT 약간 위까지의 높은 ZF에서, 출력 이미지는 디지털 방식으로 주밍된 텔레 출력 이미지이다. ZFDOWN ≥ ZFT인 다운-트랜스퍼 ZF("ZFDOWN")에서, 텔레 출력 이미지를 디스플레이하는 것으로부터 와이드 출력 이미지를 디스플레이하는 것으로 출력 이미지 데이터 전환이 수행될 때, ST를 달성하기 위해, WI가 여기에 설명된 바와 같이 시프트 및 수정된다. ZF ≤ ZFDOWN의 경우, 출력은 디지털 방식으로 주밍된 와이드 출력 이미지이다.
"ZFT 약간 위"는 ZFT보다 약 1%-25% 높은 ZF를 나타낼 수 있다.
일부 예들에서, ST를 달성하기 위해 글로벌 레지스트레이션 알고리즘이 사용될 수 있다.
일부 실시예에서, ZFUP 및/또는 ZFDOWN은 고정 ZF일 수 있고, ZFUP ≤ ZFDOWN 또는 ZFUP ≥ ZFDOWN일 수 있다.
다른 실시예에서, ZFUP 및/또는 ZFDOWN은 고정 ZF가 아닐 수 있지만, 예를 들어 POV 또는 타겟 좌표(즉, s-FOVT 내 n-FOVT의 위치)에 따라 변할 수 있다("동적 트랜스퍼 ZF"). 즉, ZFDOWN = ZFDOWN(x,y) 및/또는 ZFUP = ZFUP(x,y)이고, "(x,y)"는 s-FOVT 내의 좌표 또는 POV를 나타낸다.
일부 실시예에서, ZFDOWN은 s-FOVT의 마진 영역에서보다 s-FOVT의 센터 영역에서 더 작을 수 있다. 즉, ZFDOWN(센터 영역) < ZFDOWN(마진 영역). "센터 영역"과 "마진 영역"은 상호 배타적인 것으로 정의된다. 실시예에서, 그리고 도 2에 도시된 s-FOVT(200)를 참조하면, 센터 영역은 s-FOVT(200)과 동일한 높이-폭 비율 및 동일한 센터를 갖지만 s-FOVT(200)의 높이 및 폭 각각의 50%만 갖는 직사각형 박스를 가리키는 모든 POV로 정의될 수 있다. s-FOVT(200)을 가리키지만 센터 영역을 가리키지 않는 모든 POV는 마진 영역에 포함된다. 다른 예에서, 직사각형 박스는 각각 s-FOVT(200)의 높이와 폭의 30%만 가질 수 있거나, 또는 각각 s-FOVT(200)의 높이와 폭의 80%만큼을 가질 수 있고, 이에 따라 중심 영역과 마진 영역의 정의가 변경된다. 단일 OPFE 기반 STC에서, s-FOVT의 센터 영역에서 캡처된 STI는 마진 영역에서 캡처된 STI보다 오브젝트 도메인에서 더 큰 FOV 세그먼트를 포함한다. 이것은 예를 들어 s-FOVT 내의 센터 위치에서 처리되지 않은(즉, 수정되지 않은, 크롭핑되지 않은 등) STI로부터 특정 종횡비를 갖는 직사각형의 수정된 STI를 얻기 위해서는, s-FOVT 내의 마진 위치에서 처리되지 않은 STI로부터 동일한 특정 종횡비를 갖는 직사각형의 수정된 STI를 얻기 위할 때보다 더 적은 양의 크롭핑이 필요하기 때문이다(즉, 더 적은 양의 장면 정보가 손실된다). 오브젝트 도메인은 실제(또는 물리적) 장면, 즉 FOV가 충분히 크고 어떠한 수차 및 왜곡이 없는 이상적인 카메라로 캡처된 장면으로 정의된다. 즉, 오브젝트 도메인은 인간 관찰자에게 보일 수 있는 장면 모습(appearance)에 대응한다. 따라서, 센터 영역에서의 ZFUP 및 ZFDOWN은 마진 영역에서보다 작을 수 있다.
동적 트랜스퍼 ZF를 사용하는 이점은 적어도 s-FOVT의 센터 영역에서, STC를 사용하는 이미지 품질 이점이 더 낮은 ZF에서 향유될 수 있다는 것이다. 동적 업- 앤 다운 트랜스퍼 ZF를 사용하면, 스틸 촬영 모드에서 특히 유용할 수 있다. 고정 또는 동적 ZFUP 및/또는 ZFDOWN를 갖는 일부 실시예에서, 비디오 촬영 모드(즉, 사용자가 비디오 스트림을 캡처할 때)에서의 ZFUP 및/또는 ZFDOWN의 값은 스틸 촬영 모드에서의 ZFUP 및/또는 ZFDOWN의 값보다 5% 내지 30% 더 클 수 있다. 일부 실시예에서, ZFUP 및/또는 ZFDOWN의 값은 와이드 출력 이미지 및/또는 텔레 출력 이미지의 종횡비에 의존할 수 있다.
ZFUP = ZFUP(x,y)인 일부 실시예에서, ZFUP(센터 영역) < ZFUP(마진 영역)이다.
일부 실시예들에서, ZFUP은 고정될 수 있고, ZFDOWN은 동적일 수 있다, 즉, ZFDOWN = ZFDOWN(x,y)이다. 고정 ZFUP는 ZFUP ≥ [ZFDOWN(x,y)]MAX를 충족할 수 있다. 즉, 고정 ZFUP는 s-FOVT 내의 모든 POV를 고려할 때 최대 ZFDOWN인 최대 ZFDOWN(x,y)으로 정의된다. 이는 ZF에 어떠한 변화가 없을지라도, STI로부터 WI로의 출력 이미지 데이터 전환이 수행될 필요가 있는 시나리오를 방지하기 때문에, 유익할 수 있다. 이러한 바람직하지 않은 시나리오의 예는 (ZFUP이 마진 영역에서보다 더 작을 수 있는) 센터 위치의 타겟 좌표에서 출력 이미지 데이터가 WI로부터 STI로 전환한 후, STC로 움직이는 객체를 추적하는 것과 관련된다. 객체(즉, 타겟 좌표)는 이제 s-FOVT 내에서 더 많은 마진 위치로 이동할 수 있고, 여기서 각각의 ZF에 의해 정의된 FOV는 STI로 더 이상 지원될 수 없는데, 이는 이러한 마진 위치에서의 n-FOVT가 충분히 크지 않기 때문이다. 불완전한 STI 데이터 때문에, ZF의 변화가 없을지라도, STI로부터 WI로의 출력 이미지 데이터 전환이 수행될 필요가 있다. ZFUP≥ [ZFDOWN(x,y)]MAX를 충족하는 고정 ZFUP를 사용하면, 비디오 모드에서 특히 유용할 수 있다.
스무스 트랜지션
ST를 달성하기 위해, 출력 이미지의 위치, 스케일, 밝기 및 컬러를 매칭시키는 것이 출력 이미지 데이터 전환 이전 및/또는 이후에 수행될 수 있다. 그러나, 전체 WI와 STI 간의 이미지 위치 매칭은 예를 들어, 시차(視差) 때문에 많은 경우에 불가능하다. 따라서, 본 명세서에 개시된 바와 같은 스무스 트랜지션에서, 위치 매칭은 ROI 영역에서만 달성될 수 있는 반면, 스케일 밝기 및 컬러는 전체 출력 이미지 영역에 대해 매칭될 수 있다. 구체적으로, STI는 WI를 디스플레이하는 것으로부터 STI를 디스플레이하는 것으로 전환할 때, STI ROI에서의 객체의 거리에 따라 WI에 대해 시프트될 수 있으며, STI를 디스플레이하는 것으로부터 WI를 디스플레이하는 것으로 전환할 때, WI ROI에서의 객체의 거리에 따라 STI에 대해 WI가 시프트될 수 있다.
도 2는 PCT/IB021/056311에 더 자세히 설명된 바와 같이 오브젝트 도메인에서의 서로 다른 OPFE 위치 및 각각의 n-FOVT를 도시한다. 오브젝트 도메인은 수차 및 왜곡을 갖는 카메라로 캡처된 장면으로 정의되는 "이미지 도메인"과 구별된다. 본 개시내용에서, 이미지 도메인은 카메라(110)와 같은 STC에 의해 캡처된 장면으로 정의된다. 박스(200)는 s-FOVT, 즉 오브젝트 도메인에서 특정 STC로 도달할 수 있는 모든 POV로부터의 모든 STC 이미지 데이터를 포함하는 가장 작은 직사각형 FOV를 나타낸다. 3개의 다른 OPFE 위치(0, 1 및 2)에 대한 n-FOVT는 202-0, 202-1 및 202-2로 표시된다. OPFE "제로 위치"(202-0)에 대한 n-FOVT는 POV 수차 없이 객체 또는 장면의 이미지를 생성하는 n-FOVT로 정의된다. 즉, 제로 위치에서, 오브젝트 도메인에서의 객체는 이미지 도메인의 객체 이미지와 동일하다(스케일링, 이미지 센서 노이즈 등 제외). 일반적으로, 제로 위치에서는, n-FOVT와 FOVW의 중심이 겹친다. 도시된 바와 같이, 다른 위치(예를 들어, 202-1 및 202-2)에서의 n-FOVT는 202-0과 같은 수평 직사각형이 아니라 임의의 사각형이다. 동일한 직사각형 객체는 각각 n-FOVT(202-0, 202-1 및 202-2)에서 204-0, 204-1 및 204-2로 표시된다.
도 3은 본 명세서에 개시된 바와 같이 WI 내에서 STI를 찾기 위한 방법의 주요 단계를 도시한다. STI는 단계(302)에서 캡처된다. 캡처 이전에, n-FOVT가 특정 POV를 향해 스캔된다. STI는 국제 특허 출원 PCT/IB2021/056311에 설명된 바와 같이, 단계(304)에서 수정된다. 적절한 크롭핑 선택 기준을 사용하여, 수정되고 크롭핑된 STI에 포함된 콘텐츠, 및 수정되고 크롭핑된 STI 내의 객체 위치를 조작할 수 있다. 크롭핑 선택 기준은 특정 n-FOVT에서 캡처된 특정 STI를 수정하고 크롭핑하기 위한 특정 기준을 나타낸다. 크롭핑에는 크롭 오프셋 및/또는 크롭핑 센터 및/또는 크롭핑 팩터 정의가 포함된다. 크롭 오프셋은 오브젝트 도메인에서 이미지의 왼쪽 상단 코너의 위치이다. 크폽핑 팩터는 일반적으로 1/ZF로 주어진다.
일부 예들에서, 선택된 객체가 크롭핑된 STI에 포함되도록 크롭핑을 수정할 수 있다.
다른 예에서, 선택된 객체가 크롭핑된 STI의 특정 위치에 위치하도록 크롭핑을 수정할 수 있다.
일부 예들에서, 그리고 비디오 모드의 경우, 비디오 스트림의 2개의 연속 프레임에서 선택된 객체의 위치가 텔레 센서의 폭 및/또는 높이의 10% 또는 5% 또는 1% 이상 변하지 않도록 크롭핑을 수정할 수 있다.
다른 예에서, 2개의 연속 프레임에서 선택된 객체의 위치는 50픽셀 미만 또는 20픽셀 미만 또는 심지어 5픽셀 미만(1um의 픽셀 크기로 가정함)만큼 변할 수 있다.
또 다른 예에서, 비디오 스트림의 연속 프레임에서 선택된 객체의 위치가 단지 느리게 변하도록, 예를 들어 10픽셀/초 또는 5픽셀/초 또는 2픽셀/초(1um의 픽셀 크기로 가정함)보다 높지 않은 프리퀀시로 변하도록 크로핑을 수정할 수 있다.
또 다른 예에서, 선택된 객체의 위치가 미적 기준을 충족하도록 크롭핑을 수정할 수 있다. 미적 기준은 예를 들어, 촬영자의 "3분의 1의 법칙"에서와 같이, 예를 들어 크롭핑된 STI("미적 프레이밍")에서 선택된 객체의 위치를 기반으로 할 수 있다. 또는, 추가적인 객체가 예를 들어, 촬영자의 "리딩 라인의 법칙" 등에서와 같이, 크롭핑된 STI에 포함되거나 제외되는지 여부를 기반으로 할 수 있다. WI 내에서 STI의 로컬라이제이션은 예를 들어, 도 4a-b에 설명된 바와 같이 단계(306)에서 수행된다. 당업계에 공지된 바와 같이 크롭핑된 STI와 WI 사이의 이미지 레지스트레이션은 단계(308)에서 수행된다. 출력 이미지 데이터 전환은 아래에서 더 자세히 설명되는 바와 같이, 단계(310)에서 수행될 수 있다. 텔레 출력 이미지 데이터로부터 와이드 출력 이미지 데이터로 전환할 수 있는 줌-아웃의 경우에도, 동일한 단계를 수행할 수 있다. 일부 예들에서, 전환 단계는 STI 및 WI의 블렌딩 또는 융합을 포함할 수 있다.
도 4a-b는 공동 소유의 국제 특허 출원 PCT/IB2020/061461에 더 자세히 설명되어 있는 바와 같이, 단계(306)에서 수행된 WI 내 STI의 로컬라이제이션의 세부 사항을 도시한다.
도 4a에서, n-FOVT 추정(402)은 FOVW(404) 내의 추정된 POV에서 도시된다. 추정된 POV는 캘리브레이션 데이터로부터 추정된 바와 같은 POV를 지칭한다. n-FOVT 추정은 캘리브레이션에 따라 달라지며, STI와 WI를 매칭시키는 측면에서 충분히 정확하지 않을 수 있다. 일반적으로, 로컬라이제이션 이전에, STI 및 WI에서의 동일한 객체 포인트의 이미지 포인트 좌표는 25, 50 또는 심지어 100픽셀 이상 차이가 날 수 있다. 우리는 약 1μm의 픽셀 크기를 가정한다. 이러한 편차를 감소시키기 위해, 즉 향상된 정확도로 개선된 n-FOVT 추정을 달성하기 위해 로컬라이제이션(단계(306))이 수행된다. 로컬라이제이션에는 다음이 포함된다:
1. 도 4a에 도시된 바와 같이 서치 영역(406)을 선택한다. 서치 영역(406)은 n-FOVT 추정의 센터를 이용하여 정의될 수 있고, 직사각형 영역에 (예를 들어 대칭적으로) 임베딩할 수 있다. 여기서, 직사각형 영역은 n-FOVT 추정에 의해 커버되는 영역의 2배 또는 3배 또는 4배일 수 있다.
2. WI에서 서치 영역을 크롭핑한다.
3. 템플릿 매칭을 한다. 여기서, 소스는 WI로부터 크롭핑된 서치 영역으로 나타내어지고 템플릿은 STI로 나타낼 수 있다. 템플릿 매칭은 서치 영역의 상이한 위치 또는 전체 서치 영역에 걸쳐서 템플릿의 상호-상관관계(cross-correlation)에 의해 수행될 수 있다. 매칭 값이 가장 높은 위치는 FOVW 내에서 n-FOVT의 위치에 대한 최상의 추정을 나타낼 수 있다. 이 보다 정확한 개선된 n-FOVT 추정이 도 4b에 408로 표시되고, 이는 단계(308 및 310)을 수행하는 데 추가로 사용될 수 있다. 일반적으로, 로컬라이제이션 이후, 동일한 객체 포인트의 이미지 포인트는 WI와 STI 사이에서 5픽셀 미만 또는 심지어 2픽셀 미만으로 차이날 수 있다. 즉, 정확도는 5, 10 또는 20배까지 향상된다.
도 5a 내지 도 5c는 본 명세서에 개시된 제1 크롭 방법("방법 1")에 의해 생성된 ST 비디오 시퀀스를 도시한다. 다음에서, 인덱스 "0"은 초기 상태를 나타내고, 인덱스 "f"는 최종(또는 타겟) 상태를 나타내고, 인덱스 "t"는 일부 중간 상태를 나타낸다. "상태"는 ZF, 크롭 팩터 및 크롭 오프셋으로 정의된 이미지를 나타낸다. "최종 상태"는 와이드 출력 이미지 데이터를 포함하는 ST 비디오 시퀀스에 디스플레이되는 마지막 이미지를 나타낸다. 추가적인 줌-인 시, 출력 이미지 데이터 전환이 수행될 수 있다.
도 5a는 줌-인 시나리오가 방법 1에 의해 생성된 ST 비디오 시퀀스에서 디스플레이되는 방법을 도시한다. 이미지(502)는 ST 비디오 시퀀스의 제1 이미지를 나타낼 수 있다. 이미지(502)는 ZF = 1.0을 가질 수 있다. 즉, 전체 FOVW를 포함하거나 ZF > 1을 가질 수 있다. 이미지(504-512)는 좌표(xf, yf) 및 타겟 ZF("ZFf")를 갖는 "타겟" 위치(514)를 향한 ST 비디오 시퀀스의 후속 이미지들을 나타낸다. 타겟 위치(514)는 줌-인이 지향되는 위치이다. STC의 n-FOVT는 타겟 위치(514)가 n-FOVT의 중심에 위치하도록 스캔된다. 위치(514) 및 ZFf는 줌-인 동작 이전 또는 시작 시에 사용자 또는 프로그램에 의해 선택될 수 있다. 이미지들(504-512)은 와이드 출력 이미지이다. 이미지들(504-512)의 크롭 오프셋은 각각 이미지 프레임들(516-528)로 표시된다. 방법 1의 장점은 타겟 위치(514)가 이미지들(502-512) 각각에 포함되도록, 즉 타겟 위치(514)가 전체 ST 비디오 시퀀스에 디스플레이되도록, 크롭핑이 선택된다는 점이다.
도 5b는 줌-인 ST 비디오 시퀀스에서 사용자에게 후속적으로 디스플레이되는 이미지들(504-512)을 도시한다. 즉, 상기 이미지들은 동일한 폭/높이 비율을 갖도록, 디지털 방식으로 주밍된다.
도 5c는 이미지(502), 이미지(512) 및 타겟 위치(514)를 도시한다. 숫자(532)는 이미지(502)의 좌표계에서 타겟 위치(514)의 초기 X-좌표(X0)를 나타내고, 숫자(534)는 이미지(512)의 좌표계에서 타겟 위치(514)의 타겟 X-좌표(Xf)를 나타낸다. 이에 따라 Y 좌표들(Y0 및 Yf)가 정의된다. 타겟 위치(514)는 오브젝트 도메인에서 정의된다. (각각 x축 및 y축을 따라 측정된) 이미지들(502 및 512)의 폭 및 높이는 W502 및 W512 및 H502 및 H512로 각각 주어진다. 상대 위치("relPos0,x") 및 ("relPosf,x")는 relPos0,x = X0/W502 및 relPosf,x = Xf/W512에 의해 532 및 534로부터 유도될 수 있다. 이에 따라 Y 방향의 상대 위치들이 정의될 수 있다. 스무스 트랜지션은 X 축 및 Y 축 모두에 대해 타겟 위치의 상대 좌표를 점진적으로 수정함으로써 달성된다. 타겟 ZFf에서, 타겟 위치(514)의 상대 위치는 relPosf,x = relPosf,y = 1/2이다. 즉, 타겟 위치(514)는 출력 이미지 중심과 일치한다.
방법 1은 줌-아웃에 대해서는 유사하게 사용될 수 있다.
도 6은 방법 1의 주요 단계를 도시한다. ZF0 < ZFT를 갖는 초기(또는 "0") 상태에서 이미지들(502-512)과 같은 와이드 출력 이미지를 디스플레이하는 비디오 스트림으로 시작할 수 있다. 도 4a-b에 기술된 바와 같은 FOVW 내 n-FOVT의 로컬라이제이션이 수행된다.
일반적으로, 일부 중간 상태("t")에서의 상대 위치는 relPost = (Xt/Wt, Yt/Ht)에 따라 계산될 수 있다. 여기서, Wt 및 Ht는 각각 중간 상태에서 디스플레이되는 출력 이미지의 폭과 높이이고, 여기서 Wt=W/ZFt 및 Ht=H/ZFt는 크롭 팩터를 정의하고, 여기서 W 및 H는 각각 언크롭핑된 WI의 폭과 높이이다.
초기 상태의 상대 위치(relPos0)은 relPos0 = (X0/W0,Y0/H0)로서, 이미지(502)의 좌표계에서 타겟 좌표(X0, Y0)로부터 계산되며, 여기서 W0=W/ZF0 및 H0=H/ZF0은 각각 초기 상태 0에서 디스플레이되는 출력 이미지의 폭과 높이이다. relPos0로부터 타겟 상태 relPosf의 상대 위치로의 트랜지션에 대한 트랜지션 기울기 S는 다음 식으로부터 유도될 수 있다.
Figure pat00001
여기서, ZFP는 ZFP ≥ ZFT를 충족하는 사전 설정된 고정 ZF 값이다.
단계(602)에서, 프로그램 또는 사용자는 ZF(ZFt1)(여기서, ZFt1 ≥ ZFT)를 갖는 제1 중간 상태("t1")로 줌-인하기 위한 명령을 트리거하여, (와이드로부터 STC 이미지 데이터로의) 출력 이미지 데이터 전환이 수행될 수 있도록 한다. 초기 출력 이미지는 전체 FOVW를 디스플레이하는 이미지(즉, ZF0=1)이거나, FOVW의 (디지털 방식으로 주밍된) 세그먼트를 디스플레이하는 1 < ZF0 < ZFT를 갖는 이미지일 수 있다.
단계(604)에서, 상대 위치 업데이트는 relPost1 = relPos0 + (ZFt1-ZF0)·S에 따라 계산된다. 일반적으로, 상대 위치 업데이트는 relPost = relPost-1 + (ZFt-ZFt-1)·S일 수 있다.
단계(606)에서, 크롭 팩터 및 크롭 오프셋이 계산된다. 크롭 오프셋(XC,YC)은 먼저 상대 좌표를 다음과 같이 계산하여 계산된다: Xt1 = relPost1,x·Wt1 및 Yt1 = relPost1,y·Ht1, 여기서 relPost,x 및 relPost,y는 각각 relPost의 x 값 및 y 값이다. 크롭 오프셋의 위치(XC,YC)는 (이미지 t1의 좌표계에서) 타겟 좌표로부터 Xt1 및 Yt1을 빼서 계산된다.
단계(608)에서, WI 데이터에 기초하고 크롭 오프셋(XC,YC)에 따라 크롭되고 이미지 크기(Wt, Ht)를 갖는 이미지가 ST 비디오 시퀀스에서 출력되고 디스플레이된다. 추가 줌-인이 수행되면, 흐름은 단계(602)로부터 다시 시작할 수 있다.
일부 예들에서, 다음 출력 이미지 데이터 전환은 WI 입력만을 사용하는 것으로부터 STI 입력만을 사용하는 것으로 전환될 수 있다.
제2 크롭 방법("방법 2")에서, ST는 크롭 오프셋을 선형으로 수정함으로써, 달성될 수 있다. 초기 크롭 오프셋(XC,0,YC,0)과 타겟 크롭 오프셋(XC,f,YC,f) 사이의 선형 연결을 생각할 수 있다. 방법 2에서, 줌-인 또는 줌-아웃할 때, 크롭 오프셋은 항상 도 5a에 도시된 바와 같이 이러한 선형 연결 상에 놓이게 된다. 일부 예들에서, 크롭 오프셋이 선형 연결 상에 놓이게 되는 위치는 선형으로 결정된다. 다른 예에서, 위치는 제곱 법칙에 의해 결정된다. 예를 들어, 선형 연결 상의 크롭 오프셋 위치의 차이(즉, 각각의 크롭 오프셋 사이의 거리)는 ZF=2에서 ZF=4로 주밍될 때보다 ZF=1에서 ZF=2로 주밍될 때 2배 더 크다.
제3 크롭 방법("방법 3")에서, ST는 ST 비디오 스트림에 표시된 FOV의 중심을 선형으로 수정함으로써, 달성될 수 있다. 초기 FOV 중심과 타겟 FOV 중심 사이의 선형 연결을 생각할 수 있다. 방법 3에서, 줌-인 또는 줌-아웃할 때, FOV 중심이 항상 이러한 선형 연결 상에 놓일 수 있다. 크롭 오프셋이 선형 연결 상에 놓이게 되는 위치는 선형 법칙 또는 제곱 법칙에 의해 결정될 수 있다.
도 7은 본 명세서에 개시된 ST 방법의 실시예를 도시한다. 비디오 스트림의 각각의 이미지에 대해, 와이드 및 텔레 입력 이미지와 STC의 POV가 단계(702)에서 검색된다. 텔레 입력 이미지는 와이드 POV와 정렬되도록 미리 수정되거나(rectified) 단계(702)에서 수정될 수 있다. 선택적으로, 단계(702)에서, OFPE 위치는 캘리브레이션 데이터를 사용하여 n-FOVT 추정으로 변환될 수 있다. 예를 들어, 스캐닝에 의해 n-FOVT가 변경된 경우, WI에 대한 현재 STI의 변환(translation) 및 회전 매개변수를 계산하기 위해 레지스트레이션 프로세스가 실행될 수 있다. 변환은 시차(parallax), 즉 불완전한 캘리브레이션으로 인해 발생할 수 있는 STI와 WI 사이의 잔여 회전에 대한 회전을 보상할 수 있다.
일부 예들에서, 멀티-카메라는 STC 및/또는 WC를 위한 광학 이미지 안정화(OIS) 또는 전자 이미지 안정화(EIS)와 같은 이미지 안정화(IS)를 포함할 수 있다. IS는 WI와 STI를 서로에 대해 시프트시킬 수 있으므로, 관성 측정 유닛(IMU)으로부터 제공되는 센서 데이터와 같은 IS 제어 입력 데이터, 또는 특정 광학 부품을 일정량만큼 이동하라는 명령과 같은 IS 제어 출력 데이터가 단계(702)에서 판독될 수 있다. 데이터는 WI 및 STI에서 예상되는 픽셀 시프트로 변환될 수 있고, 변환은 ST 비디오 시퀀스에서 IS 메커니즘이 가질 수 있는 임의의 바람직하지 않은 효과를 보상하기 위해 사용될 수 있다. 알려진 바와 같이, EIS의 경우, 선택된 객체 또는 전체 장면이 비디오 스트림의 2개 이상의 연속 출력 이미지에서 동일한(또는 유사한) 특정 위치에 위치하도록, 입력 이미지가 크롭핑되고 시프트된다. STC와 WC 사이의 점프를 방지하기 위해, 디지털 이미지 안정화 비디오 모드에서의 ZFUP 및/또는 ZFDOWN 값은 논-이미지 안정화 비디오 모드에서의 ZFUP 및/또는 ZFDOWN 값보다 2.5% 내지 50% 더 클 수 있다. 또한, EIS를 수행하는 기능, 예를 들어 시프트될 수 있는 최대 픽셀 수로 측정된 값은 마진 POV보다 센터 POV에서 2.5% 내지 50% 더 클 수 있다. 여기서, IS는 두 가지 다른 목표를 달성하는 데 사용될 수 있다. 제1 목표는 예를 들어, 사용자의 핸드쉐이크를 완화하기 위해, 약 50-100Hz 이상의 높은 프리퀀시에서 WC 또는 STC를 안정화하는 것이다. 제1 목표는 장면을 견고하게 프레이밍하기 위한 것일 수 있다. 즉, (오브젝트 도메인의) 선택된 장면을 FOVW 또는 n-FOVT 내 또는 FOVW 또는 n-FOVT 내의 특정 위치에서 유지하기 위해, 약 20Hz 이하(예를 들어 1Hz)의 낮은 프리퀀시에서 WC 또는 STC를 안정화하는 것이다. 와이드 또는 텔레 입력 이미지는 단계(704)에서 출력 이미지로 사용하도록 선택된다. 와이드 입력 이미지 데이터는 다음과 같은 경우에 선택될 수 있다.
- 낮은 ZF의 경우, 또는
- 높은 ZF의 경우이지만, 여기서 하나 이상의 비-전환 기준이 충족되는 경우. 비-전환 기준을 평가하면, ST가 달성될 수 없거나 유익하지 않을 수 있는 상황에서 출력 이미지 데이터 전환을 방지할 수 있다. STI가 캡처된 후, 다음과 같은 비-전환 기준을 평가할 수 있다.
1. 낮은 STI 품질. 예를 들어, 낮은 이미지 품질은 낮은 장면 조명과 같은 큰 전자 노이즈로 인해 발생할 수 있다. 이는 STC가 아웃-오브-포커스("디포커스 블러)때문이거나, 모션 블러, 롤링 셔터 아티팩트 또는 당 업계에 공지된 다른 아티팩트 때문이다.
2. 부-적합한 STI 합성(composition). 예를 들어, 이것은 STI가 사용자에게 출력되는 ST 비디오 스트림에서 STI보다 선행하는 WI에 표시된 장면과 상당히 다른 장면을 보여주는 시나리오(i), 또는 STI가 (예를 들어, STI와 WI의 캡처 사이에 일어나는 움직임에 의해) WI에 표시된 장면과 의미론적 불일치가 상당히 심한 장면을 보여주는 시나리오(ii), 또는 STI가 (예를 들어, 가로막음에 의해) WI에 포함된 ROI를 보여주지 못하거나, WI에 대해 상당히 잘못된 위치(mis-location)에 ROI를 보여주는 시나리오(iii)를 포함할 수 있다(예를 들어, WC 좌표계의 타겟 좌표가 STC 좌표계의 타겟 좌표와 상당히 다름).
3. 불완전한 STI 수정(correction), 예를 들어, STI의 불완전한 롤 수정.
STI가 캡처되기 이전이나 n-FOVT가 특정 타겟 좌표로 스캔되기 이전에, 다음과 같은 비-전환 기준이 평가될 수 있다.
1. 유효한 STC 스캔 범위: 타겟 좌표가 s-FOVT에 포함되는지 여부를 평가한다.
2. STC - WC 점프 방지: 타겟 좌표가 s-FOVT의 마진에 대한 임계값보다 가까운지 여부를 평가한다. 이 경우, ROI와 STC의 상대적인 작은 움직임에도, ROI가 더 이상 STI에 의해 완전히 커버될 수 없는 상황이 발생하여, WI가 사용되어만 한다. STC와 WC 사이의 이러한 점프를 방지하기 위해, 타겟 좌표가 s-FOVT의 마진에 대해 (수평 또는 수직 방향으로) s-FOVT의 5% 또는 10% 또는 20%에 가까운 거리에 위치하는 경우, STI 출력 데이터로 전환하지 않을 수 있다.
3. 유효한 ROI 속도: n-FOVT가 이 움직임을 따를 수 있는지 여부를 분석하기 위해 ROI(및 각각의 타겟 좌표)의 속도를 평가한다.
출력 이미지로 선택된 입력 이미지는 단계(706)에서 크롭핑된다. 예를 들어, 선택된 입력 이미지에 따라, 현재 ZF, 입력 이미지에 대한 필요한 이미지 크롭핑 등이 계산된다. 크롭 방법 1, 크롭 방법 2 또는 크롭 방법 3에 따라 계산이 수행될 수 있다. 결과적으로 크롭핑된 이미지는 사용자에게 디스플레이(또는 출력)될 수 있다.
선택적으로, 그리고 예를 들어, a) 선택된 입력 이미지, b) 입력 이미지의 크롭핑, 및/또는 c) 이미지 레지스트레이션 매개변수에 따라, ST 출력 이미지는 단계(708)에서 렌더링될 수 있다.
다른 예에서, 본 명세서에 개시된 방법은 크롭핑의 동작을 포함하지 않을 수 있지만, 여기에 설명된 대로 계산된 매개변수만 제공할 수 있으며, 크롭핑, 비디오 렌더링 등과 같은 단계(706 및 708)의 동작이 다른 프로그램이나 프로세서에서, 예를 들어 하드웨어 가속을 지원하는 전용 하드웨어(HW)에서 수행될 수 있다.
STI와 WI 간의 해상도 차이를 보정하기 위해, 출력 이미지에 블러링을 적용할 수 있다.
회전 보정은 단계(708)에서도 적용될 수 있다. WC와 STC 간의 렌즈 왜곡 불일치는 또 다른 문제이다. ST의 경우, 모든 입력 이미지에 왜곡 보정을 적용하거나, 대안적으로 텔레 입력 이미지에만 디지털 왜곡을 적용하거나, 와이드 입력 이미지에만 디지털 왜곡을 적용하여, 그것들이 각각의 다른 입력 이미지들과 매칭되도록 할 수 있다.
달리 명시되지 않는 한, 선택 옵션 목록의 마지막 두 부재 사이에 "및/또는"이라는 표현을 사용하는 것은 나열된 옵션 중 하나 이상이 적절하고 선택될 수 있음을 나타낸다.
청구범위 또는 명세서가 "a" 또는 "an" 요소를 언급하는 경우, 그러한 참조는 해당 요소 중 하나만 존재하는 것으로 해석되어서는 안 된다는 것을 이해해야 한다.
본 명세서에 언급된 모든 특허, 특허 출원 및 공보들은 마치 각각의 개별 특허, 특허 출원 또는 공보들이 참조에 의해 구체적이고 개별적으로 여기에 포함되는 것과 동일한 정도로, 그 전체가 참조에 의해 본 명세서에 포함된다. 또한, 본 출원에서의 인용 또는 식별은 그러한 참조가 본 개시내용에 대한 선행 기술로서 이용가능하다는 인정으로 해석되어서는 안 된다.

Claims (17)

  1. 줌 카메라로서,
    a) 와이드 시야(FOVW)를 갖고, 와이드 이미지(WI)를 출력하도록 작동하는 와이드 카메라;
    b) 광학 경로 폴딩 요소(OPFE)를 포함하는 폴디드 텔레 카메라(FTC)로서, 상기 FTC는 FOVW보다 좁은 고유 텔레 시야(n-FOVT)를 갖고, 상기 FTC는 폴디드 텔레 이미지(FTI)를 출력하고 상기 OPFE를 작동하여 광학 이미지 안정화(OIS)를 수행하도록 작동하는, 상기 폴디드 텔레 카메라(FTC); 및
    c) 상기 와이드 카메라 및 상기 FTC에 작동 가능하게 연결되고, 상기 FOVW 내의 비-센터(non-center) 영역으로의 연속 줌-인 동작, 또는 상기 FOVW 내의 비-센터 영역으로부터의 연속 줌-아웃 동작을 디스플레이하는 비디오 이미지 스트림을 스트리밍하도록 구성된 카메라 컨트롤러;
    를 포함하고,
    WI를 디스플레이하는 것으로부터 FTI를 디스플레이하는 것으로, 또는 그 반대로 전환될 때, 비디오 이미지에 스무스 트랜지션을 제공하는 줌 카메라.
  2. 제1항에 있어서, 상기 와이드 카메라는 와이드 카메라 렌즈를 포함하고, 상기 와이드 카메라는 상기 와이드 카메라 렌즈를 작동시킴으로써 OIS를 수행하도록 작동되는 줌 카메라.
  3. 제1항에 있어서, 관성 측정 유닛(IMU)으로부터의 데이터가 WI 및 FTI에서 예상 픽셀 시프트를 계산하는 데 사용되고, 상기 계산된 예상 픽셀 시프트는 상기 OIS 수행으로 인해 발생하는 비디오 이미지 스트림의 바람직하지 않은 효과를 보상하는 데 사용되는 줌 카메라.
  4. 제1항에 있어서, 상기 줌 카메라는 또한 전자 이미지 안정화(EIS)를 수행하도록 구성되는 줌 카메라.
  5. 제4항에 있어서, 관성 측정 유닛(IMU)으로부터의 데이터가 WI 및 FTI에서 예상 픽셀 시프트를 계산하는 데 사용되고, 상기 계산된 예상 픽셀 시프트는 상기 EIS 수행으로 인해 발생하는 비디오 이미지 스트림의 바람직하지 않은 효과를 보상하는 데 사용되는 줌 카메라.
  6. 제1항에 있어서, 상기 스무스 트랜지션은 상기 FTI의 회전 보정을 수행함으로써 달성되는 줌 카메라.
  7. 제1항에 있어서, 상기 스무스 트랜지션은 상기 WI와 FTI 사이의 레지스트레이션을 실행함으로써 달성되는 줌 카메라.
  8. 제1항에 있어서, 상기 스무스 트랜지션은 위치 매칭을 수행하기 위해 상기 WI와 FTI 사이의 로컬라이제이션을 실행함으로써 달성되는 줌 카메라.
  9. 제1항에 있어서, 상기 스무스 트랜지션은 상기 WI 및/또는 FTI에 블러링을 적용함으로써 달성되는 줌 카메라.
  10. 제1항에 있어서, 상기 스무스 트랜지션은 상기 WI와 FTI를 블렌딩함으로써 달성되는 줌 카메라.
  11. 제1항에 있어서, 상기 WI를 디스플레이하는 것으로부터 FTI를 디스플레이하는 것으로의 전환은 업-트랜스퍼 ZF 값(ZFUP)에서 수행되고, 상기 FTI를 디스플레이하는 것으로부터 WI를 디스플레이하는 것으로의 전환은 다운-트랜스퍼 ZF 값(ZFDOWN)에서 수행되고, 여기서 ZFUP ≥ ZFDOWN인 줌 카메라.
  12. 제11항에 있어서, 상기 줌 카메라는 또한 EIS를 수행하도록 구성되고, EIS- 안정화된 비디오 이미지 스트림에서의 ZFUP 및/또는 ZFDOWN의 값은 논(non)-EIS-안정화된 비디오 이미지 스트림에서의 ZFUP 및/또는 ZFDOWN의 값보다 2.5% 내지 50% 더 큰 줌 카메라.
  13. 제1항에 있어서, 상기 FTC는 n-FOVT 내의 특정 위치 내에 선택된 장면을 유지하도록 작동하고, OIS를 위한 동작은 50Hz 이상의 고주파수에서 수행되고, 상기 선택된 장면을 n-FOVT 내의 특정 위치 내에 유지하기 위한 동작은 20Hz 이하의 저주파에서 수행되는 줌 카메라.
  14. 제1항에 있어서, 상기 스무스 트랜지션을 제공하기 위해, 상기 줌 카메라는 하나 이상의 계산 단계를 수행하고, 상기 하나 이상의 계산 단계 중 적어도 하나에서 하드웨어 가속이 사용되는 줌 카메라.
  15. 제1항에 있어서, 상기 FTC는 8mm 내지 50mm의 유효 초점 거리를 갖는 줌 카메라.
  16. 제1항에 있어서, 상기 와이드 카메라는 2.5mm 내지 20mm의 유효 초점 거리를 갖는 줌 카메라.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 줌 카메라는 스마트폰에 포함되는 줌 카메라.
KR1020227041872A 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원 KR102629883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247002356A KR20240015155A (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063130655P 2020-12-26 2020-12-26
US63/130,655 2020-12-26
PCT/IB2021/062305 WO2022137213A1 (en) 2020-12-26 2021-12-24 Video support in a multi-aperture mobile camera with a scanning zoom camera
KR1020227012635A KR102473911B1 (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012635A Division KR102473911B1 (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247002356A Division KR20240015155A (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원

Publications (2)

Publication Number Publication Date
KR20220164086A true KR20220164086A (ko) 2022-12-12
KR102629883B1 KR102629883B1 (ko) 2024-01-25

Family

ID=82159034

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020247002356A KR20240015155A (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
KR1020227012635A KR102473911B1 (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
KR1020227041872A KR102629883B1 (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020247002356A KR20240015155A (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
KR1020227012635A KR102473911B1 (ko) 2020-12-26 2021-12-24 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원

Country Status (5)

Country Link
US (1) US20230336683A1 (ko)
EP (1) EP4085607A4 (ko)
KR (3) KR20240015155A (ko)
CN (1) CN116472483A (ko)
WO (1) WO2022137213A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634516B1 (ko) * 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
KR20180132982A (ko) * 2015-12-29 2018-12-12 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
KR20190102102A (ko) * 2015-08-13 2019-09-02 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688364B2 (en) * 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
JP2006191411A (ja) * 2005-01-07 2006-07-20 Canon Inc カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム
US7236306B2 (en) * 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
WO2019138342A1 (en) * 2018-01-09 2019-07-18 6115187 Canada, Inc. d/b/a Immervision, Inc. Constant resolution continuous hybrid zoom system
US20200118287A1 (en) * 2018-10-16 2020-04-16 Augentix Inc. Method of Assembly Calibration for Multi-Camera system and Related Device
CN111510618B (zh) * 2019-01-30 2022-04-05 虹软科技股份有限公司 变焦方法及应用其的电子设备
KR20220025553A (ko) * 2020-08-24 2022-03-03 삼성전자주식회사 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 전자 장치의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634516B1 (ko) * 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
KR20190102102A (ko) * 2015-08-13 2019-09-02 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR20180132982A (ko) * 2015-12-29 2018-12-12 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라

Also Published As

Publication number Publication date
US20230336683A1 (en) 2023-10-19
KR20240015155A (ko) 2024-02-02
EP4085607A4 (en) 2023-09-20
KR102629883B1 (ko) 2024-01-25
KR102473911B1 (ko) 2022-12-02
EP4085607A1 (en) 2022-11-09
KR20220093108A (ko) 2022-07-05
WO2022137213A1 (en) 2022-06-30
CN116472483A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11770616B2 (en) Dual aperture zoom camera with video support and switching / non-switching dynamic control
KR102473911B1 (ko) 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
JP2019047145A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant