KR102480820B1 - 스캐닝 폴디드 카메라의 광학 이미지 안정화 - Google Patents

스캐닝 폴디드 카메라의 광학 이미지 안정화 Download PDF

Info

Publication number
KR102480820B1
KR102480820B1 KR1020217038426A KR20217038426A KR102480820B1 KR 102480820 B1 KR102480820 B1 KR 102480820B1 KR 1020217038426 A KR1020217038426 A KR 1020217038426A KR 20217038426 A KR20217038426 A KR 20217038426A KR 102480820 B1 KR102480820 B1 KR 102480820B1
Authority
KR
South Korea
Prior art keywords
tele
camera
rotational motion
delete delete
opfe
Prior art date
Application number
KR1020217038426A
Other languages
English (en)
Other versions
KR20220021469A (ko
Inventor
에브라임 골든베르그
노이 코헨
이프타 코왈
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority to KR1020227044442A priority Critical patent/KR102547198B1/ko
Publication of KR20220021469A publication Critical patent/KR20220021469A/ko
Application granted granted Critical
Publication of KR102480820B1 publication Critical patent/KR102480820B1/ko

Links

Images

Classifications

    • H04N5/23287—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G02B26/0883—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements the refracting element being a prism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G02B13/007—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror the beam folding prism having at least one curved surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/642—Optical derotators, i.e. systems for compensating for image rotation, e.g. using rotating prisms, mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/23258—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

이러한 카메라를 포함하는 핸드헬드 전자 장치의 원하지 않는 회전 운동을 보상하도록 작동하는 텔레 폴디드 카메라로서, 보상은 원하지 않는 회전 운동 및 텔레 폴디드 카메라의 관점에 따라 달라집니다.

Description

스캐닝 폴디드 카메라의 광학 이미지 안정화
관련 출원에 대한 상호 참조
본 출원은 2020년 8월 12일에 출원된 미국 가특허출원 제63/064,565호로부터 우선권의 이익을 주장하며, 이는 그 전체가 참조로 여기에 통합된다.
본 명세서에 개시된 예는 일반적으로 디지털 카메라에 관한 것으로서, 특히 폴디드 디지털 카메라로 획득된 이미지의 보정에 관한 것이다.
"폴디드 카메라"라고도 하는 폴디드 광학 장치를 갖는 컴팩트 디지털 카메라가 공지되어 있고, 이와 관련하여 공동 소유 국제 특허 출원 PCT/IB2016/057366를 참조하라. 스마트폰, 태블릿 등과 같은 핸드헬드(handheld) 전자 장치(여기에서 "핸드헬드 장치"라고도 함)에서, 폴디드 텔레 카메라는 종종 멀티-카메라의 일부이며, 하나 이상의 추가 카메라, 예를 들어 울트라-와이드 카메라 및 와이드 카메라를 수반한다. 울트라-와이드 카메라는 FOVT를 갖는 텔레 카메라보다 더 큰 FOVW를 갖는 와이드 카메라보다 더 큰 시야(FOVUW)를 갖는다(유사한 이미지 센서 크기로 가정함).
도 1a는 100으로 번호 매겨진 폴디드 텔레 카메라를 개략적으로 도시한 사시도이다. 카메라(100)는 렌즈 광축(110)을 갖는 렌즈(102), 광학 경로 폴딩 요소(OPFE)(104) 및 이미지 센서(106)를 포함한다. OPFE(104)는 객체, 장면 또는 파노라마 뷰 섹션(114)으로부터 X 축에 실질적으로 평행한 축(108)을 따르는 제1 광학 경로를 Z 축에 실질적으로 평행한 축(110)을 따르는 제2 광학 경로로 폴딩한다. 카메라(100)는 이미지 센서에 대해 축(110)(X축)을 중심으로 OPFE(104)를 회전시키도록 설계되었다. 즉, Y-Z 평면에서 화살표(112)로 표시된 회전이다. 즉, 폴디드 텔레 카메라(100)는 "스캐닝" 텔레 카메라("STC")이다. 도 1b는 제로 위치로부터 30도만큼 회전한 후의 OPFE(104)를 도시한다.
도 1c는 렌즈(102), OPFE(104) 및 이미지 센서(106)를 갖는 STC(100)를 포함하는 핸드헬드 장치(120)를 평면도로 도시한다. 장치 법선("N")은 장치(120)의 스크린(116)에 직교하고, 관찰자를 향한다. 카메라의 광축은 X축과 평행하다. 다른 예에서, STC(100)는 카메라의 광축이 Y축과 평행하도록 120에 포함될 수 있다.
이미지는 카메라의 특정 시점(POV, Point Of View)으로부터 획득된다. POV는 카메라 애퍼처의 위치를 시작점으로 하고 FOV 중심의 객체지점을 끝점으로 하는 벡터에 의해 정의되는 방향이다(2개의 FOVT(326 및 332)에 대응하는 2 개의 POV 벡터(324 및 328)를 가짐. 도 3a 참조). POV 벡터 대신에, FOV 중심 방향 벡터(FOVCD)라고 말할 수도 있다. 예를 들어, ISO 규칙에 따라 정의된 구면 좌표(r, θ, φ)에서, r = 0에서의 카메라의 POV는 극각(θ) 및 방위각(φ)를 갖는 (1, θ, φ)로 정의되고, 이는 텔레 FOV의 중심에서 객체지점의 위치를 정의하다. POV 벡터의 길이는 1(단위 벡터)이거나 일정한 길이(예를 들어, EFL)를 갖거나 가변 길이를 가질 수 있어서, 예를 들어 특정 평면에 놓일 수 있다.
예를 들어, 공동 소유의 PCT 특허 출원 PCT/IB2016/057366호 및 도 1a 내지 도 1b를 참조하면, PFE의 회전은 도 1a 내지 도 1b에서 2차원(2D)의 FOV로 "스캐닝"하기 위해 X축 중심 및 Y축 중심으로 수행될 수 있다.
핸드헬드 장치에 포함된 최신 카메라는 사용자의 손 움직임(종종 "손떨림"이라고도 함)으로 인한 원하지 않는 카메라 동작을 완화하기 위한 광학 이미지 안정화(OIS)를 포함한다. OIS의 경우, 광학 구성 요소는 카메라의 이미지 센서에서의 촬영된 객체의 움직임을 줄이기 위해 이동한다. 렌즈 모듈 및/또는 이미지 센서 및/또는 OPFE 및/또는 전체 카메라가 이동될 수 있다. 핸드헬드 장치에 포함된 관성 측정 유닛(IMU)은 6개의 자유도에 따른 모션 데이터를 제공하는데, 즉 도 1c를 참조하면, X-Y-Z에서의 선형 이동, Z축 중심으로의 롤 "틸팅"(또는 "기울이기"), 요(Y축 중심으로의 틸팅) 및 피치(X축 중심으로의 틸팅)이다. 일반적으로, OIS는 피치 및 요 회전 보정을 위해서만 제공되고 롤 회전을 위해서는 제공되지 않는데, 이는 피치 및 요 회전이 손떨림으로 야기되는 이미지 품질 저하의 주요 부분을 차지하기 때문이다. 일반(즉, 비-스캐닝) 카메라 및 포함된 핸드헬드 장치에서의 IMU의 좌표계는 정렬될 수 있으며 시간이 지나면서 진화하지(evolve) 않는다. STC의 경우, 이는 유효하지 않다. 핸드헬드 장치의 좌표계와 STC의 좌표계 사이의 관계는 FOV 스캐닝이 수행될 때 변경된다. 따라서, 당업계에 알려진 OIS는 STC에서 손 움직임 보상을 위해 사용될 수 없다.
스캐닝 텔레 카메라를 위한 OIS가 필요하고 이를 구비하는 것이 이점이 될 것이다.
이제부터 단순화를 위해, "전자 장치", "전자 휴대용 장치" "휴대용 장치" 또는 "장치"라는 용어는 상호 교환적으로 사용된다. 이제부터 단순화를 위해, "스마트폰"이라는 용어는 폴디드 카메라를 스캐닝하고 본 명세서에 기재된 카메라에서 OIS를 위한 방법을 구현하는 모든 전자 핸드헬드 장치를 나타내는 데 사용될 수 있다.
다양한 실시예에서, 그러한 카메라를 포함하는 핸드헬드 전자 장치의 원하지 않는 회전 운동을 보상하도록 작동하는 텔레 폴디드 카메라가 제공되며, 여기서 보상은 원하지 않는 회전 운동 및 텔레 폴디드 카메라의 시점에 따라 달라진다(depend on).
다양한 실시예에서, 핸드헬드 전자 장치는 장치의 법선에 대해 90도 미만의 각도를 형성하는 제1 광학 경로로부터 장치의 법선에 실질적으로 직교하는 제2 광학 경로를 향해 광을 폴딩하기 위한 OPFE, 상기 제2 광학 경로를 따르는 렌즈 광축을 갖는 렌즈, 및 이미지 센서를 포함하는 텔레 폴디드 카메라, 여기서 상기 장치는 핸드헬드 전자 장치이고; 상기 텔레 폴디드 카메라의 시점(POV)을 장면의 세그먼트 쪽으로 지향하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하기 위한 OPFE 액추에이터; 상기 장치의 원하지 않는 회전 운동을 감지하기 위한 모션 센서; 및 상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 적어도 하나의 액추에이터, 여기서 상기 보상은 상기 장치의 원하지 않는 회전 운동 및 상기 텔레 폴디드 카메라의 POV에 따라 달라지는 적어도 하나의 액추에이터를 포함한다.
일부 실시예에서, 원하지 않는 회전 운동은 장치의 법선을 중심으로 이루어진다.
일부 실시예에서, 장치는 텔레 카메라의 시야(FOVT)보다 큰 시야(FOVW)를 갖는 와이드 카메라를 더 포함한다.
일부 실시예에서, 회전 운동을 감지하는 것은 3 방향에서 회전 운동을 측정하는 것을 포함한다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 보상하기 위해 텔레 폴디드 카메라의 구성 요소를 이동시키기 위한 액추에이터는 텔레 폴디드 카메라의 POV를 장면의 일 세그먼트를 향해 지향시키기 위해 OPFE를 하나 이상의 방향으로 틸팅하기 위한 OPFE 액추에이터이다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 보상하기 위해 텔레 폴디드 카메라의 구성 요소를 이동시키는 것은 렌즈를 이동시키는 것을 포함한다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 보상하기 위해 텔레 폴디드 카메라의 구성 요소를 이동시키는 것은 이미지 센서를 이동시키는 것을 포함한다.
일부 실시예에서, 장치는 텔레 카메라의 좌표를 핸드헬드 장치의 좌표와 정렬하거나, 그 반대로 정렬하기 위해 좌표 변환을 수행하도록 구성된 처리 유닛을 더 포함한다.
일부 실시예에서, 장치는 기준 좌표계의 좌표를 핸드헬드 장치의 좌표 및 텔레 카메라의 좌표와 정렬하기 위해 좌표 변환을 수행하도록 구성된 처리 유닛을 더 포함한다.
일부 실시예에서, 좌표 변환은 로드리게스의 회전 공식을 이용하여 수행된다.
일부 실시예에서, 모션 센서는 관성 측정 유닛(IMU)을 포함한다.
일부 실시예에서, 장치는 모션 센서를 판독하고 회전 운동 보상 액추에이터에 제어 신호를 제공하도록 구성된 마이크로컨트롤러 유닛(MCU)을 더 포함한다. 일부 실시예에서, MCU는 애플리케이션 프로세서(AP)에 포함된다.
일부 실시예에서, 장치는 OPFE를 틸팅하기 위해 OPFE 액추에이터에 POV 제어 신호를 제공하도록 구성된 애플리케이션 프로세서를 더 포함한다.
다양한 실시예에서, 장치의 법선에 대해 90도 미만의 각도를 형성하는 제1 광학 경로로부터 장치의 법선에 실질적으로 직교하는 제2 광학 경로를 향해 광을 폴딩하기 위한 OPFE, 상기 제2 광학 경로를 따르는 렌즈 광축을 갖는 렌즈, 및 이미지 센서를 포함하는 텔레 폴디드 카메라를 포함하는 핸드 헬드 장치를 제공하는 단계; 상기 텔레 폴디드 카메라의 시점(POV)을 장면의 세그먼트 쪽으로 지향하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하기 위한 OPFE 액추에이터를 제공하는 단계; 상기 장치의 원하지 않는 회전 운동을 감지하는 단계; 및 상기 장치의 원하지 않는 회전 운동을 보상하는 단계, 여기서 상기 보상은 상기 원하지 않는 회전 운동 및 상기 텔레 폴디드 카메라의 POV에 따라 달라지는 단계를 포함하는 방법이 제공된다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 텔레 폴디드 카메라의 구성 요소를 이동시키는 것을 포함한다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 장치의 법선 방향 중심의 회전 운동을 보상하는 것을 포함한다.
일부 실시예에서, 방법은 텔레 카메라의 좌표를 IMU의 좌표와 정렬하기 위해 좌표 변환을 수행하는 단계를 더 포함한다.
일부 실시예에서, 방법은 IMU의 좌표를 텔레 카메라의 좌표와 정렬하기 위해 좌표 변환을 수행하는 단계를 더 포함한다.
일부 실시예에서, 방법은 기준 좌표계의 좌표를 IMU의 좌표 및 텔레 카메라의 좌표와 정렬하기 위해 좌표 변환을 수행하는 단계를 더 포함한다.
일부 실시예에서, 좌표 변환을 수행하는 단계는 로드리게스의 회전 공식을 이용하여 변환을 수행하는 것을 포함한다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 감지하는 단계는 3 방향에서 원하지 않는 회전 운동을 감지하는 것을 포함한다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 보상하는 단계는 OPFE를 회전시키는 것을 포함한다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 보상하는 단계는 렌즈를 이동시키는 것을 포함한다.
일부 실시예에서, 장치의 원하지 않는 회전 운동을 보상하는 단계는 이미지 센서를 이동시키는 것을 포함한다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 방정식:
Figure 112021135763787-pct00001
을 사용함으로써, X 방향으로의 원하지 않는 회전 운동에 의해 야기되는 변화된 POV를 계산하는 것을 포함한다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 방정식:
Figure 112021135763787-pct00002
을 사용함으로써, Y 방향으로의 원하지 않는 회전 운동에 의해 야기되는 변화된 POV를 계산하는 것을 포함한다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 방정식:
Figure 112021135763787-pct00003
을 사용함으로써, X 방향으로의 원하지 않는 회전 운동에 의해 야기되는 변화된 POV를 계산하는 것을 포함한다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 방정식:
Figure 112021135763787-pct00004
을 사용함으로써, X, Y 및 Z 방향으로의 원하지 않는 회전 운동에 의해 함께 야기되는 변화된 POV의 방향을 계산하는 것을 포함한다.
일부 실시예에서, 원하지 않는 회전 운동을 보상하는 단계는 방정식:
Figure 112021135763787-pct00005
을 사용함으로써, X, Y 및 Z 방향으로의 원하지 않는 회전 운동에 의해 함께 야기되는 변화된 POV의 벡터를 계산하는 것을 포함한다.
본 명세서에 개시된 실시예의 비-제한적인 예는 이 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에서 설명된다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다. 상이한 도면에서 동일한 요소는 동일한 숫자로 표시될 수 있다.
도 1a는 공지된 폴디드 스캐닝 카메라를 개략적으로 도시하는 사시도이다.
도 1b는 제로 위치에서 30도만큼 회전한 후의 도 1a의 텔레 카메라에서의 OPFE를 도시한다.
도 1c는 스마트폰에서 "후면" 또는 "전면(world-facing)" 카메라로 통합된, 도 1a 및 도 1b에 도시된 것과 같은 스캐닝 카메라를 도시한다.
도 2a는 제로 위치에 있는 제1 스캐닝 텔레 카메라 및 제2 와이드 카메라를 포함하는 스마트폰을 예시적으로 도시한다.
도 2b는 0이 아닌 위치에 있는 텔레 카메라를 갖는 도 2a의 스마트폰을 도시한다.
도 2c는 0이 아닌 또다른 위치에 있는 텔레 카메라를 갖는 도 2a의 스마트폰을 도시한다.
도 3a는 텔레 카메라에 대한 좌표계를 유도하는데 사용되는 2차원(2D) 차트를 도시한다.
도 3b는 도 3a의 2차원 차트에서 손떨림에 의해 야기되는 회전 장치 움직임의 영향을 도시한다.
도 3c는 본 명세서에 개시된 스캐닝 텔레 카메라 OIS를 위한 방법의 주요 단계를 흐름도로 도시한다.
도 4a는 본 명세서에 개시된 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-애퍼처 카메라를 포함하는 핸드헬드 장치의 실시예를 블록도로 개략적으로 도시한다.
도 4b는 본 명세서에 개시된 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-애퍼처 카메라를 포함하는 핸드헬드 장치의 다른 실시예를 블록도로 개략적으로 도시한다.
도 2a는 제로 위치에 있는 STC(202) 및 와이드 카메라(204)를 포함하는 스마트폰(200)을 예시적으로 도시한다. 와이드 카메라(204)는 스캐닝 카메라가 아니며, 그 POV("POVW")는 스마트폰의 장치 법선(N)에 평행하다(Z축에 평행함). 장치 법선(N)은 가장 큰 면적을 갖는 스마트폰(200)의 표면 상의 법선에 평행(또는 역-평행)하다. 스마트폰(200)의 IMU(예를 들어, 도 4a 및 4b의 IMU(460), 여기에 도시되지 않음)의 좌표계는 도 2a에 도시된 좌표계와 같은 스마트폰(200)의 좌표계와 정렬될 수 있다. 도 2a에서, 좌표계의 3개의 축이 스마트폰(200)의 3개의 대칭 축과 평행하므로, IMU(및 스마트폰(200)) 좌표계의 Z축은 POVW와 평행하다. STC(202)의 POV("POVT")는 도 1a에 도시된 바와 같은 OPFE 회전 상태에 대응하는, 제로 위치("POVT,0")로 지향된다. 제로 위치에서 POVT를 사용하면, IMU, 와이드 카메라(204) 및 STC(202)의 좌표계는 정렬된다.
OIS에 대한 제1 예시적인 방법("예 1")에서, (간단함을 위해) 피치 회전만을 보정할 수 있는 와이드 카메라(204)용 OIS를 고려해보자. 원하지 않는 손 움직임의 양을 검출하기 위해, IMU로부터 X축을 중심으로 한 피치 회전 값("XIMU")을 판독하고, 예를 들어 렌즈를 특정 방향(dir1)으로 특정 양만큼 이동시키고, 여기서 이동량(또는 스트로크)은 XIMU에 비례한다. 즉, 렌즈 스트로크(SW)는 SW = CW · XIMU(일부 상수(CW) 포함)를 충족한다. 이는 제로 위치에서 STC(202)의 OIS를 위해서도 유효하다. dir1에서 ST = CT · XIMU(일부 상수(CT) 포함)만큼 렌즈를 이동시킴으로써, 손 움직임이 보상된다.
도 2b는 0이 아닌 위치에 있는 STC(202)를 갖는 스마트폰(200)을 도시한다. POVT는 POVW에 대해 α도의 각도를 갖는다. 예를 들어, α = 30도인 경우, 이는 도 1b에 도시된 바와 같은 OPFE 회전 상태에 대응한다. IMU, 와이드 카메라(204) 및 STC(202)의 좌표계는 더 이상 정렬되지 않는다.
0이 아닌 위치에 STC(202)를 갖는 예 1(피치 방향으로의 손 움직임)을 고려해 보자. 와이드 카메라(204)에 대한 OIS는 예 1에서와 같이 수행될 수 있다. 그러나, STC(202)의 OIS에 대해, 예 1의 방법은 더 이상 손 움직임 보상을 수행할 수 없다. 즉, (일반적으로) CT가 없으므로, 텔레 렌즈를 ST = CT · XIMU만큼 이동시킴으로써, 손 움직임이 보상된다. 이는 STC(202)와 IMU의 좌표계가 더 이상 정렬되지 않기 때문이다.
OIS에 대한 제2 예시적인 방법("예 2")에 대해서는 도 2c를 참조한다. 도2a와 비교하여, POVT는 Y축을 중심으로 90도만큼 회전된다. 즉, POVT와 POVW는 서로 수직이다. 예 1에서와 같이, 피치 회전 보정만을 위한 와이드 카메라의 OIS를 고려하자. 손 움직임은 회전(XIMU)에 대한 IMU의 값을 판독하고 dir1에서 SW = CW · XIMU(일부 상수(CW) 포함)만큼 와이드 카메라의 렌즈(도시되지 않음)를 이동시킴으로써 완전히 보상될 수 있다. 그러나, 손 움직임은 dir1에서 ST = CT · XIMU(일부 상수(CT) 포함)만큼 STC의 렌즈(도시되지 않았지만 렌즈(102)와 유사함)를 이동시킴으로써, 보상될 수 없다. 그 대신, 회전 방향이 dir1로부터 dir1과 상이한 특정 방향 dir2로 수정되어야만 한다. 손 움직임은 dir2에서 STC 렌즈를 ST = CT · XIMU만큼 이동시킴으로써 보상될 수 있다. 일반적으로, STC의 경우, OIS 축은 STC의 POV 또는 스캐닝 상태에 따라 달라지므로, 와이드 카메라의 경우와 같이, 일정하지 않다.
도 3a는 STC에 대한 좌표계를 유도하기 위한 2차원(2D) 차트(320)를 도시한다. STC의 애퍼처(322)는 좌표(0, 0, 0)에 위치한다. 제로 상태 STC POVT(POVT,0)(324)는 장치 법선(N)(도 2a-c 참조)에 평행하며 좌표(0, 0, EFLT)를 가질 수 있는 제1 광학 경로에 대응하며, 여기서 EFLT는 STC의 EFL이다. FOVT(326)는 POVT,0(324)에서 STC의 FOVT에 대응한다. 대응하는 FOVT(332)를 갖는 원하는 또는 타겟 POVT(328)("POVT,T")도 또한 도시된다.
도 3b는 STC를 포함하는 핸드헬드 장치가 예를 들어, 사용자의 손 움직임 때문에 Z축을 중심으로 회전 "롤" 모션을 겪은 후의 도 3a의 2D 차트(320)를 도시한다. POVT,0(324)는 어떠한 변경을 겪지 않았다. 그러나, 대응하는 FOVT는 회전된 FOVT(326')으로 변경되었다. 대조적으로, 회전 운동은 POVT,T(328)을 POVT,T(328')로 변경하였다. 회전 장치 동작에 응답하여 POVT,T(328)와 같은 POV의 변경은 회전 각도 또는 회전량뿐만 아니라 POVT의 위치에 따라 달라진다.
도 3c는 본 명세서에 개시된 STC OIS를 위한 방법의 주요 단계를 흐름도로 도시한다.
제1 단계(302)에서, 인간 사용자 또는 프로그램에 의해 트리거되고 FOV 스캐너(442)(도 4a)에 의해 처리된 명령은 FOVT를 장면 내의 관심 영역(ROI)으로 지향한다. 스캐닝은 OPFE 액추에이터(414)(도 4a)로 OPFE를 회전시킴으로써, 수행될 수 있다. OPFE 회전에 의한 FOV 스캐닝은 즉시 수행되지 않지만, 약간의 안정화 시간이 필요하며, 이는 2-5도 스캐닝의 경우, 약 1-50ms, 10-45도 스캐닝의 경우, 약 5-500ms일 수 있다. 안정화 시간이 지나면, STC는 텔레 이미지를 캡처하기 위해 작동한다. STC는 사용자 명령에 의해 또는 자율적으로 객체에 포커싱될 수 있다. STC의 스캐닝 방향은 초기(또는 타겟) POV 벡터(PI)에 의해 주어질 수 있다.
단계(304)에서, IMU가 판독되고, 피치, 요 및 롤 방향, 즉 각각 XIMU, YIMU 및 ZIMU 중심의 회전 운동을 제공한다. 일반적으로, IMU는 회전 각도를 결정하기 위해 포함되어야 하는 각가속도에 대한 데이터를 제공한다. IMU 데이터는 장치의 원하지 않는 회전 운동을 계산하는 데 사용될 수 있다.
단계(306)에서, 좌표 변환이 수행된다. 장치의 원하지 않는 회전 운동에 의해 야기된 STC의 POV 변화 및 원하지 않는 회전 운동의 감지는 서로 다른 좌표계에서 발생하기 때문에, 좌표 변환이 필요하다.
AP 또는 MCU와 같은 처리 유닛은 좌표 변환을 수행하도록 구성될 수 있다(예를 들어, 도 4a에서의 장치(400) 또는 장치(480)의 AP(440), 또는 장치(400)의 MCU(470)). 일부 예에서, AP 또는 MCU는 아래 방정식을 해석적으로 또는 분석적으로 풀 수 있거나, AP 또는 MCU는 방정식을 대략적으로 풀기 위해 다항식 피팅(fit) 또는 선형 피팅을 사용할 수 있다. 다른 예들에서, AP 또는 MCU는 계산을 수행하지 않고 좌표 변환을 위해 룩업 테이블(LUT)을 사용할 수 있다. 일부 예에서는 예를 들어 도 4a에 도시된 바와 같이, 좌표 변환은 STC 모듈(410)에 연결된 MCU(470)와 같은 MCU에 의해 수행될 수 있다.
일부 예에서, 변환은 IMU의 좌표계에서 STC의 좌표를 표현하기 위해 수행될 수 있다. 그 다음, 장치 회전 및 보상 동작이 IMU의 좌표계에서 계산될 수 있다.
일부 예에서, 도 3b에 도시된 차트(320)와 같은 2D 차트는 IMU의 좌표계에서 STC의 좌표를 표현하는데 사용될 수 있다. 차트(320)는 STC를 캘리브레이션하거나, 예컨대 텔레 카메라와 와이드 카메라를 포함하는 듀얼 카메라를 캘리브레이션하기 위한 캘리브레이션 차트와 유사할 수 있다. STC 애퍼처(322)는 (0, 0, 0)에 위치할 수 있다. 핸드헬드 장치는 "가로(landscape)" 방향으로 차트(320) 쪽을 향할 수 있고, 즉 도 3b의 좌표계를 참조하면 도 1c에 도시된 스마트폰의 긴 측(long side)이 X축에 평행하며 짧은 측이 Y축에 평행할 수 있으며, 그와 함께 STC 애퍼처는 Z 방향으로 차트 쪽을 향하고 있다. STC가 도달할 수 있는 모든 POV는 차트(320) 상에 있는 좌표를 가리키는 "POV 벡터" 또는 "카메라 포인팅 벡터"(P)로 제공된다. 제로 상태 위치의 좌표는 (0, 0, EFLT)일 수 있으며, 여기서 EFLT는 STC의 EFL이다. 제로 위치에서, IMU(및 핸드헬드 장치)의 좌표는 STC의 좌표와 겹친다.
STC가 0이 아닌 POV로 지향되면, IMU로부터 STC의 좌표로의 좌표 변환이 수행되어야 하다. 일부 예에서, 로드리게스(Rodrigues)의 회전 공식이 이용될 수 있다. IMU의 피치/요/롤 회전 값은 "hnd_pitch", "hnd_yaw" 및 "hnd_roll"로 명명될 수 있다. IMU는 다음과 같은 단위 벡터를 갖는 좌표계에서 hnd_pitch, hnd_yaw 및 hnd_roll을 제공한다.
- 피치 단위 벡터(RP): RP = (1, 0, 0),
- 요 단위 벡터(RY): RY = (0, 1, 0),
- 롤 단위 벡터(RR): RR = (0, 0, 1).
일반적으로, OIS는 작은 각도만 보정하다. 따라서, 어떤 상황에서는 대략적으로, 피치/요/롤 회전을 독립적으로 처리할 수 있다. 장치의 (약간) 회전에 대해, 로드리게스의 회전 공식은 피치/요/롤 회전에 독립적으로 적용될 수 있다. 여기서, (약간의) 회전은 피치/요/롤 회전에 대한 합으로 표시될 수 있다. 초기 POV 벡터(PI)에 적용된 hnd_pitch, hnd_yaw 또는 hnd_roll(IMU의 좌표에서, RP, RY 및 RR)에 의한 손 움직임은 다음과 같은 최종 POV 벡터(PF)를 초래할 수 있다(("cross(x, y)"는 벡터 x와 y의 외적을 나타내고, "dot(x, y)"는 벡터 x와 y의 내적을 나타냄).
RP를 중심으로 hnd_pitch 회전 후 POV 벡터 PF P(hnd_yaw, hnd_roll = 0):
Figure 112021135763787-pct00006
RY를 중심으로 hnd_yaw 회전 후 POV 벡터 PF Y(hnd_pitch, hnd_roll = 0):
Figure 112021135763787-pct00007
RR 중심으로 hnd_roll 회전 후 POV 벡터 PF R(hnd_pitch, hnd_yaw = 0):
Figure 112021135763787-pct00008
작은 각도의 경우, 피치, 요 및 롤 회전을 모두 거친 최종 POV 벡터(PF,)(정규화 이전)는 다음과 같이 주어진다:
Figure 112021135763787-pct00009
최종 POV 벡터(PF)가 차트(320) 상에 놓이도록 하기 위해 정규화가 수행될 수 있다. 일부 예에서, PF는 PF,를 EFLT/PF, z로 정규화함으로써 얻어질 수 있으며, 여기서 PF, z는 PF,의 z-성분이다. 즉:
Figure 112021135763787-pct00010
위의 방정식으로부터 단지 요 및 피치 중심의 원하지 않는 회전 손 움직임을 보상할 수 있는 예를 들어, 와이드 카메라(204)와 같은 비-스캐닝 카메라와 대조적으로, STC에서 원하지 않는 회전 손 움직임을 보상하기 위해서는 요, 피치 및 롤의 3 방향 중심의 회전 손 움직임을 보상해야만 한다.
좌표 변환을 위한 다른 예에서, 변환은 STC의 좌표계에서 IMU의 좌표를 표현하기 위해 수행될 수 있다. 그 다음, 손 움직임 회전 및 보상 동작은 STC의 좌표계에서 계산될 수 있다. 위와 같이, 로드리게스의 회전 공식이 이용될 수 있다.
좌표 변환을 위한 또 다른 예들에서, 변환은 제3 좌표계("기준 좌표계")으로의 변환일 수 있다. STC와 IMU의 좌표는 모두 기준 좌표계에 표현된다. 그 다음, 손 움직임 회전 및 보상 동작은 기준 좌표계에서 계산될 수 있다. 위와 같이, 로드리게스의 회전 공식이 이용될 수 있다.
단계(308)에서, OIS를 위한 이동이 수행될 수 있다. 일부 예에서, OIS는 STC의 OPFE를 이동시킴으로써 수행될 수 있다. 다른 예에서, 렌즈(102)와 같은 렌즈 및/또는 이미지 센서(106)와 같은 이미지 센서가 OIS를 위해 이동될 수 있다. 이상적인 OIS를 가정하면, OPFE 및/또는 렌즈 및/또는 센서의 이동은 POV 벡터에 대한 손 움직임의 효과를 정확히 취소하는 POC 벡터 수정(POIS)으로 이어질 수 있다. 즉, PF + POIS = PI. 따라서, 단계(308)를 수행한 후, STC는 다시 PI를 향해 지향된다. 다른 예들에서, 전체 STC는 OIS를 위해 이동될 수 있다. 즉, OPFE, 렌즈, 이미지 센서가 OIS를 위한 하나의 유닛으로 함께 이동한다.
일부 실시예에서, 단계(304-308)는 STC를 연속적으로 안정화하기 위해 반복될 수 있다. 단계(304-308)를 포함하는 OIS 사이클은 예를 들어, 500Hz - 100kHz의 주파수에서 수행될 수 있다. 상기 OIS 방법이 수행되는 동안, STC 이미지 또는 이미지 스트림이 캡처된다.
일부 실시예들에서, IMU는 OPFE에 고정적으로 부착될 수 있으므로, OPFE를 이동할 때, IMU도 그에 따라 이동한다. 이것은 STC 및 IMU 모두에 대해 동일한 기저 벡터를 갖는 좌표계를 사용할 수 있게 하여, 단계(306)에서의 좌표 변환이 요구되지 않는다.
일부 실시예에서, 센서 액추에이터는 STC 이미지의 POV 수차를 보정하기 위해 이미지 센서를 작동시킬 수 있다. 공동 소유의 국제 특허 출원 PCT/IB2021/056311에 기술된 바와 같이, STC 이미지는 POV 수차를 겪는다. 하나의 수차는 이미지 센서에서 STC 이미지의 회전이다("회전 POV 수차"). 본 명세서에 개시된 바와 같이, OPFE를 이동함으로써 원하지 않는 회전 손 움직임이 보상될 때, OPFE의 이동은 POV 수차를 도입한다. 센서 액추에이터는 회전 POV 수차를 보상하기 위해 이미지 센서의 법선을 중심으로 이미지 센서를 회전시키는 데 사용될 수 있다.
도 4a는 본 명세서에 개시된 적어도 하나의 STC를 갖는 멀티-애퍼처 카메라를 포함하며 400으로 번호 매겨진 핸드헬드 장치의 실시예를 개략적으로 도시한다. 장치(400)는 FOV 스캐닝 및/또는 OIS를 위한 OPFE 액추에이터(414) 뿐만 아니라 OPFE(412)를 포함하는 STC 모듈(410), 및 이미지 센서(416)에 의해 기록된 텔레 이미지를 형성하는 텔레 렌즈 모듈(420)을 포함한다. 텔레 렌즈 액추에이터(422)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(420)을 이동시킬 수 있다. 핸드헬드 장치(400)는 FOV 스캐너(442), OIS 컨트롤러(444), 이미지 생성기(446) 및 객체 추적기(448)를 포함하는 애플리케이션 프로세서(AP)(440)를 더 포함할 수 있다.
다른 예들에서, 장치(400)는 2개의 OPFE뿐만 아니라 2개의 OPFE 각각에 대한 OPFE 액추에이터를 포함하는 STC를 포함할 수 있다. 일부 예에서, OPFE 액추에이터는 본 명세서에 개시된 바와 같이 OIS를 수행하기 위해 OPFE를 작동시킬 수 있다. 다른 예에서, 렌즈 액추에이터는 렌즈를 작동시킬 수 있거나 센서 액추에이터는 본 명세서에 개시된 바와 같이 OIS를 수행하기 위해 센서를 작동시킬 수 있다. 2개의 OPFE를 기반으로 하는 STC 카메라는 예를 들어, PCT/IB2021/054186에 기재되어 있다. 이러한 STC에서, 카메라 내부의 광학 경로는 두 번 폴딩되어, 이를 더블-폴디드 스캐닝 텔레 카메라라 일컫는다.
핸드헬드 장치(400)는 제2 이미지 센서(432)에 의해 기록된 이미지를 형성하는 제2 렌즈 모듈(434)을 포함하는 와이드(또는 울트라-와이드) 카메라 모듈(430)을 더 포함한다. 제2 렌즈 액추에이터(436)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(434)를 이동시킬 수 있다. 일부 예에서, STC는 전체 FOVW 또는 심지어 더 큰 FOV를 스캐닝할 수 있다. 다른 예에서, STC는 FOVW보다 작은 FOV를 스캐닝할 수 있다.
일부 예에서, 객체 추적기(448)는 FOVW 내에서 객체를 추적하고 추적 데이터를 FOV 스캐너(442) 및/또는 OIS 컨트롤러(444)에 제공하도록 구성될 수 있다. 추적 데이터에 기초하여, FOV 스캐너(442) 및/또는 OIS 컨트롤러(444)는 STC로 객체를 추적하기 위해 OPFE 회전을 작동시키는 OPFE 액추에이터(414)에 제어 신호를 제공한다. 예를 들어, 객체가 FOVT의 중심에 오도록 객체를 추적할 수 있다. 아래에 설명된 예 3 내지 7은 이러한 추적 시나리오를 참조하며, 여기서 와이드 카메라 이미지 데이터는 텔레 FOV 스캐닝을 트리거하는 추적 정보를 제공하는 데 사용된다.
일부 예들에서, 추적 정보 및 OIS 정보가 간섭할 수 있고 원하는 객체 추적 및/또는 OIS 결과를 달성하기 위해 추적과 OIS 간의 조정이 필요할 수 있다.
OIS에 대한 제3 예시적인 방법으로, OIS가 없는 와이드 카메라 및 STC를 포함하는 장치(400 또는 480)와 같은 장치를 고려해 보자. STC는 정지된 객체를 추적하여, 객체의 중심이 FOVT의 중심에 위치하도록 할 수 있다. 추적은 실시간(RT)으로 발생할 수 있다. 즉, 추적 편차의 검출과 보상 사이에 지연이 없다고 가정한다. 사용자의 손 움직임으로 야기되는 장치의 회전 동작은 와이드 카메라에서 객체의 움직임으로 검출된다. 이에 대한 응답으로, STC의 추적 이동이 트리거되고, 텔레 FOV에서의 객체의 위치가 업데이트된다. 결론적으로, RT 시나리오에서, 객체 추적기는 객체가 항상 FOVT의 중앙에 위치하고 사용자의 손 움직임에 영향을 받지 않는다는 의미에서 OIS를 수행한다.
OIS에 대한 제4 예시적인 방법으로, OIS가 없는 와이드 카메라 및 OIS가 있는 STC를 포함하는 장치(400 또는 480)와 같은 장치를 고려해 보자. 예 3에서와 같이, (움직이지 않는) 객체의 중심이 FOVT의 중심에 위치하도록 FOVW에서 RT 객체 추적을 한다고 가정하자. OIS는 RT에서도 수행될 수 있다. 사용자의 손 움직임으로 야기된 장치의 회전 동작은 와이드 카메라에서 객체의 움직임으로 검출된다. 이에 대한 응답으로, STC에 대한 추적 이동(ΔT)이 트리거된다. 동시에, 장치의 회전 동작도 STC의 OIS에 의해 검출되고, 이에 대한 응답으로 STC의 OIS 이동(ΔOIS)이 트리거될 것이다. OIS 이동은 본 명세서에 개시된 OIS 방법에 따라 수행될 수 있다. ΔT와 ΔOIS는 방향과 크기 면에서 동일하다. 즉, 2·ΔT = 2·ΔOIS의 STC 이동이 트리거될 것이며, 이는 객체를 FOVT의 중심에 유지하기 위해(원하는 추적 결과), 그리고 STC 이미지 상의 손 움직임의 영향을 억제하기 위해(원하는 OIS 결과) 요구되는 이동량의 2배이다. 결론적으로, 텔레 추적이나 텔레 OIS 모두에 대해 원하는 결과를 얻지 못한다. 따라서, 일부 예에서는 객체 추적을 사용할 때 STC의 OIS가 디스에이블된다.
OIS에 대한 제5 예시적인 방법으로, OIS가 없는 와이드 카메라 및 OIS가 있는 STC를 포함하는 장치(400 또는 480)와 같은 장치를 고려해 보자. (움직이지 않는) 객체의 중심이 FOVT의 중심에 위치하도록 FOVW에서 객체 추적이 수행될 수 있다. 그러나, RT에서는 객체 추적 및 OIS가 수행되지 않을 수 있다. 일반적으로, OIS는 객체 추적보다 높은 주파수에서 수행된다. 예를 들어, OIS는 500Hz - 100kHz에서 수행되고 객체 추적은 1Hz - 100Hz에서 수행될 수 있다. 일부 예에서, OIS와 객체 추적 간의 원하지 않는 간섭을 방지하기 위해, 객체 추적을 사용할 때 OIS를 디스에이블할 수 있다. 다른 실시예에서, 주파수 영역에서 OIS 및 객체 추적의 제어를 분리할 수 있다. 예를 들어, 예컨대 30Hz보다 높은 주파수에서 일어나는, 사용자의 손 움직임으로 야기되는 장치의 회전 동작에 대해, 장치 모션 보정을 위해 OIS를 사용할 수 있다. 예를 들어, 30Hz보다 낮은 주파수에 대해서는 장치 모션 보정을 위해 OIS를 사용하지 않을 수 있다. 그 대신, 낮은 주파수의 장치의 움직임은 객체 추적기에 의해 보상될 것이다.
OIS에 대한 제6 예시적인 방법으로, OIS가 있는 와이드 카메라 및 OIS가 없는 STC를 포함하는 장치(400 또는 480)와 같은 장치를 고려해 보자. (움직이지 않는) 객체의 중심이 FOVT의 중심에 위치하도록 FOVW에서 객체 추적이 수행될 수 있다. 객체 추적 및 OIS는 RT에서 수행될 수 있다. 와이드 카메라의 OIS와 같이, 사용자의 손 움직임으로 야기되는 장치의 회전 동작은 와이드 이미지 스트림에 영향을 주지 않을 것이다. 객체가 FOVW에서 움직이지 않기 때문에, STC의 어떠한 추적 이동이 트리거되지 않는다. 결론적으로, 손의 움직임에 대한 보상이 없고, 객체는 더 이상 FOVT의 중심에 위치하지 않아, 원치 않는 객체 추적 결과가 발생한다. 이러한 원하지 않는 결과를 방지하기 위한 일부 예에서, 객체 추적을 수행할 때 와이드 카메라의 OIS를 디스에이블할 수 있다. 다른 예에서, STC에 제공되는 객체 추적 제어 신호는 와이드 카메라의 OIS 제어 신호를 추가로 포함할 수 있다. 두 신호를 겹쳐 놓음으로써, 와이드 카메라 OIS와 적절한 STC 추적의 이점을 모두 누릴 수 있다.
OIS에 대한 제7 예시적인 방법으로, 모두 OIS가 있는 와이드 카메라 및 STC를 구비하는 장치(400 또는 480)와 같은 장치를 고려해 보자. 객체의 중심이 FOVT의 중심에 위치하도록 RT 추적을 가정한다. 사용자의 손 움직임으로 야기되는 장치의 회전 동작은 RT에서 와이드 카메라와 STC 모두에서의 OIS 이동으로 보정될 것이다. 결론적으로, 사용자의 손 움직임은 객체 추적기의 원하는 출력에 영향을 미치지 않을 것이다.
캘리브레이션 데이터는 제1 메모리(424), 예를 들어 EEPROM(전기적으로 소거 가능한 프로그램 가능 읽기 전용 메모리) 및/또는 제2 메모리(438) 및/또는 NVM(비휘발성 메모리)과 같은 제3 메모리(450)에 저장될 수 있다. 캘리브레이션 데이터는 와이드 카메라(430)와 STC(410) 사이의 캘리브레이션 데이터를 포함할 수 있다. 캘리브레이션 데이터는 OPFE의 위치와 STC의 대응하는 POV 사이의 캘리브레이션 데이터를 더 포함할 수 있다.
핸드헬드 장치(400)는 400의 모션 정보를 제공하는 관성 측정 유닛(IMU, 예를 들어, 자이로스코프)(460)을 더 포함한다. 예를 들어, 마이크로컨트롤러 유닛(MCU)(470)은 IMU(460)의 데이터를 판독 및 처리하는 데 사용될 수 있다. 일부 예들에서, MCU는 AP(440)의 일부인 OIS 컨트롤러(444)에 의해 제어될 수 있다. 일부 예들에서, 단계(304) 및 단계(306)은 MCU에 의해 수행될 수 있고, 단계(308)은 OPFE 액추에이터(414)(OIS가 렌즈 시프트 또는 센서 시프트에 의해 각각 수행되는 경우, 렌즈 액추에이터(436) 및/또는 센서 액추에이터(418))에 의해 수행될 수 있다. 일부 예들에서, MCU(470)는 AP(440)에 통합될 수 있다.
본 명세서에 개시된 바와 같은 적어도 하나의 STC를 갖는 멀티-애퍼처 카메라를 포함하는 핸드헬드 장치(480)의 다른 실시예가 도 4b에 도시되어 있다. IMU(460)로부터 모션 데이터를 판독 및 처리하고 OIS 제어 신호를 공급하기 위한 MCU(미도시)는 STC 모듈(410), 예를 들어 OPFE 액추에이터(414)의 드라이버내에 포함될 수 있다.
일부 예들에서, 손 모션 추정을 위해 추가 데이터가 사용될 수도 있다. 추가 데이터는 예를 들어, 와이드 카메라(430)로부터의 이미지 데이터 또는 핸드헬드 장치에 존재하는 추가 감지 유닛으로부터의 데이터일 수 있다.
일부 예에서, 와이드 카메라(430)로부터의 이미지 데이터는 당업계에 알려진 바와 같이, 복수의 이미지로부터 "광학 흐름(optical flow)"을 추정하는 데 사용될 수 있으며, 여기서 OIS 컨트롤러(444)는 장치(400)의 모션을 추정하기 위해 IMU(460)로부터의 데이터와 함께 광학 흐름의 데이터를 사용할 수 있다. 다른 예에서, 카메라(410) 및/또는 카메라(430)의 이미지 데이터로부터 추정된 광학 흐름 데이터만이 장치(400)의 모션을 추정하는데 사용될 수 있다.
이미지 생성기(446)는 이미지 및 이미지 스트림을 생성하도록 구성될 수 있다. 일부 예에서, 이미지 생성기(446)는 카메라(430)로부터의 제1 이미지 데이터만을 사용하도록 구성될 수 있다. 다른 예에서, 이미지 생성기(446)는 카메라(410) 및/또는 카메라(430)로부터의 이미지 데이터를 사용할 수 있다.
본 개시내용은 특정 실시예 및 일반적으로 관련된 방법의 관점에서 설명되었지만, 실시예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시내용은 본 명세서에 기재된 특정 실시예에 의해 제한되지 않고 첨부된 청구범위에 의해서만 제한되는 것으로 이해되어야 한다.
달리 명시되지 않는 한, 선택 옵션 목록의 마지막 두 구성원 사이에 "및/또는"이라는 표현을 사용하는 것은 나열된 옵션 중 하나 이상이 적절하고 선택될 수 있음을 나타낸다.
청구범위 또는 명세서가 "a" 또는 "an" 요소를 언급하는 경우, 그러한 참조는 해당 요소 중 하나만 존재하는 것으로 해석되어서는 안 된다는 것을 이해해야 하다.
또한, 명확성을 위해, "실질적으로"라는 용어는 허용 가능한 범위 내에서 값의 변동 가능성을 암시하는 데 사용된다. 일 예에 따르면, 본 명세서에서 사용된 "실질적으로"라는 용어는 임의의 특정된 값의 최대 5% 이상 또는 이하로의 가능한 변동을 의미하는 것으로 해석되어야 한다. 다른 예에 따르면, 본 명세서에서 사용된 "실질적으로"라는 용어는 임의의 특정된 값의 최대 2.5% 이상 또는 이하로의 가능한 변동을 의미하는 것으로 해석되어야 한다. 추가 예에 따르면, 본 명세서에서 사용된 "실질적으로"라는 용어는 임의의 특정된 값의 최대 1% 이상 또는 이하로의 가능한 변동을 의미하는 것으로 해석되어야 한다.
본 명세서에 언급된 모든 특허 및/또는 특허 출원은 각각의 개별 참조가 구체적이고 개별적으로 여기에 표시된 것과 동일한 정도로, 그 전체가 참조에 의해 명세서에 포함된다. 또한, 본 출원에서 인용 또는 식별은 그러한 참조가 본 발명에 대한 선행 기술로서 이용가능하다는 인정으로 해석되어서는 안 된다.

Claims (42)

  1. 장치로서,
    장치 법선(N)에 대해 90도 미만의 각도를 형성하는 제1 광학 경로로부터 상기 장치 법선에 직교하는 제2 광학 경로를 향해 광을 폴딩하기 위한 광학 경로 폴딩 요소(OPFE), 상기 제2 광학 경로를 따르는 렌즈 광축을 갖는 렌즈, 및 이미지 센서를 포함하는 텔레 폴디드 카메라, 여기서 상기 장치는 핸드헬드 전자 장치이고;
    상기 텔레 폴디드 카메라의 시점(POV)을 장면의 세그먼트 쪽으로 지향하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하기 위한 OPFE 액추에이터;
    상기 장치의 원하지 않는 회전 운동을 감지하기 위한 모션 센서;
    상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 적어도 하나의 액추에이터, 여기서 상기 보상은 상기 장치의 원하지 않는 회전 운동 및 상기 텔레 폴디드 카메라의 POV에 따라 달라지고; 및
    상기 텔레 폴디드 카메라의 좌표를 상기 장치의 좌표와 정렬하거나, 그 반대로 정렬하기 위해 좌표 변환을 수행하도록 구성된 처리 유닛;
    을 포함하는 장치.
  2. 제1항에 있어서, 상기 원하지 않는 회전 운동은 상기 장치 법선을 중심으로 하는 장치.
  3. 제1항에 있어서, 텔레 카메라의 시야(FOVT)보다 큰 시야(FOVW)를 갖는 와이드 카메라를 더 포함하는 장치.
  4. 제1항에 있어서, 상기 원하지 않는 회전 운동의 감지는 3 방향에서 원하지 않는 회전 운동을 감지하는 것을 포함하는 장치.
  5. 제1항에 있어서, 상기 원하지 않는 회전 운동의 보상은 3 방향에서 원하지 않는 회전 운동을 보상하는 것을 포함하는 장치.
  6. 제1항에 있어서, 상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 상기 적어도 하나의 액추에이터는 상기 OPFE를 이동시키는 OPFE 액추에이터를 포함하는 장치.
  7. 제1항에 있어서, 상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 상기 적어도 하나의 액추에이터는 상기 렌즈를 이동시키는 렌즈 액추에이터를 포함하는 장치.
  8. 제1항에 있어서, 상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 상기 적어도 하나의 액추에이터는 상기 센서를 이동시키는 센서 액추에이터를 포함하는 장치.
  9. 삭제
  10. 장치로서,
    장치 법선(N)에 대해 90도 미만의 각도를 형성하는 제1 광학 경로로부터 상기 장치 법선에 직교하는 제2 광학 경로를 향해 광을 폴딩하기 위한 광학 경로 폴딩 요소(OPFE), 상기 제2 광학 경로를 따르는 렌즈 광축을 갖는 렌즈, 및 이미지 센서를 포함하는 텔레 폴디드 카메라, 여기서 상기 장치는 핸드헬드 전자 장치이고;
    상기 텔레 폴디드 카메라의 시점(POV)을 장면의 세그먼트 쪽으로 지향하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하기 위한 OPFE 액추에이터;
    상기 장치의 원하지 않는 회전 운동을 감지하기 위한 모션 센서;
    상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 적어도 하나의 액추에이터, 여기서 상기 보상은 상기 장치의 원하지 않는 회전 운동 및 상기 텔레 폴디드 카메라의 POV에 따라 달라지고; 및
    기준 좌표계의 좌표를 상기 장치의 좌표 및 상기 텔레 폴디드 카메라의 좌표와 정렬하는 좌표 변환을 수행하도록 구성된 처리 유닛;
    을 포함하는 장치.
  11. 제1항에 있어서, 상기 좌표 변환은 로드리게스의 회전 공식을 이용하여 수행되는 장치.
  12. 삭제
  13. 삭제
  14. 제1항에 있어서, 상기 모션 센서는 관성 측정 유닛(IMU)을 포함하는 장치.
  15. 제1항에 있어서, 상기 모션 센서를 판독하고, 상기 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 적어도 하나의 구성 요소를 이동시키기 위한 적어도 하나의 액추에이터에 제어 신호를 제공하도록 구성된 마이크로컨트롤러 유닛(MCU)을 더 포함하는 장치.
  16. 제15항에 있어서, 상기 MCU는 애플리케이션 프로세서에 포함되는 장치.
  17. 제1항에 있어서, 상기 OPFE를 틸팅하기 위해 POV 제어 신호를 상기 OPFE 액추에이터에 제공하도록 구성된 애플리케이션 프로세서를 더 포함하는 장치.
  18. 제1항에 있어서, 상기 텔레 폴디드 카메라는 2개의 OPFE를 포함하는 더블-폴디드 텔레 카메라인 장치.
  19. 제3항에 있어서, 와이드 이미지 데이터는 FOVW 내의 객체를 추적하는 데 사용되고, 추적 정보는 상기 텔레 폴디드 카메라로 객체를 추적하기 위해 상기 텔레 폴디드 카메라의 POV를 추적되는 객체 쪽으로 지향하는 데 사용되는 장치.
  20. 제19항에 있어서, 상기 텔레 폴디드 카메라로 객체를 추적하는 동안, 상기 장치의 원하지 않는 회전 운동을 보상하기 위한 상기 텔레 폴디드 카메라의 구성 요소의 이동은 디스에이블되는 장치.
  21. 제19항에 있어서, 상기 와이드 카메라는 상기 장치의 원하지 않는 회전 운동을 보상하기 위해 이동되는 구성 요소를 추가로 포함하고, 상기 텔레 폴디드 카메라로 객체를 추적하는 동안, 상기 와이드 카메라의 구성 요소의 이동은 디스에이블되는 장치.
  22. 제19항에 있어서, 상기 장치의 원하지 않는 회전 운동을 보상하기 위해 상기 텔레 폴디드 카메라의 구성 요소를 이동시키는 것은 상기 텔레 폴디드 카메라로 객체를 추적하기 위해 사용되는 주파수 범위와 상이한 주파수 범위에서 수행되는 장치.
  23. 제19항에 있어서, 30Hz보다 낮은 주파수 범위는 상기 텔레 폴디드 카메라로 객체를 추적하는 데 사용되고, 30Hz보다 높은 주파수 범위는 상기 장치의 원하지 않는 회전 운동을 보상하는 데 사용되는 장치.
  24. 제19항에 있어서, 100Hz보다 낮은 주파수 범위는 상기 텔레 폴디드 카메라로 객체를 추적하는 데 사용되고, 200Hz보다 높은 주파수 범위는 상기 장치의 원하지 않는 회전 운동을 보상하는 데 사용되는 장치.
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
KR1020217038426A 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화 KR102480820B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227044442A KR102547198B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063064565P 2020-08-12 2020-08-12
US63/064,565 2020-08-12
PCT/IB2021/056617 WO2022034402A1 (en) 2020-08-12 2021-07-22 Optical image stabilization in a scanning folded camera

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227044442A Division KR102547198B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화

Publications (2)

Publication Number Publication Date
KR20220021469A KR20220021469A (ko) 2022-02-22
KR102480820B1 true KR102480820B1 (ko) 2022-12-22

Family

ID=80247779

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020237020587A KR102598070B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화
KR1020217038426A KR102480820B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화
KR1020237037379A KR20230154290A (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화
KR1020227044442A KR102547198B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237020587A KR102598070B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237037379A KR20230154290A (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화
KR1020227044442A KR102547198B1 (ko) 2020-08-12 2021-07-22 스캐닝 폴디드 카메라의 광학 이미지 안정화

Country Status (5)

Country Link
US (1) US11968453B2 (ko)
EP (1) EP4038432A4 (ko)
KR (4) KR102598070B1 (ko)
CN (4) CN116679419A (ko)
WO (1) WO2022034402A1 (ko)

Family Cites Families (326)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
EP0605045B1 (fr) 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
AU2003236050A1 (en) 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
KR20040103786A (ko) 2003-06-02 2004-12-09 펜탁스 가부시키가이샤 다초점 촬상 장치 및 다초점 촬상 장치를 가진 모바일 장치
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
EP1780567B1 (en) 2004-07-20 2011-09-14 Five Dimension Co., Ltd. Electronic imaging device
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US7822330B2 (en) 2005-11-14 2010-10-26 Nikon Corporation Image blur correction device and camera
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
US20090219547A1 (en) 2006-02-06 2009-09-03 Petteri Kauhanen Method and Device for Position Sensing in an Imaging System
US20090122406A1 (en) 2006-02-06 2009-05-14 Jarkko Rouvinen Optical Image Stabilizer Using Gimballed Prism
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
EP2328017A4 (en) 2008-09-10 2011-11-02 Panasonic Corp CAMERA BODY AND PICTURE DEVICE
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US20120026366A1 (en) 2009-04-07 2012-02-02 Nextvision Stabilized Systems Ltd. Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
CN102428405A (zh) 2009-06-16 2012-04-25 英特尔公司 手持装置中的摄像机应用
US20100321494A1 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
US9215385B2 (en) 2009-06-22 2015-12-15 Ominivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
ES2739036T3 (es) 2009-09-14 2020-01-28 Viion Systems Inc Cámara de análisis de vídeo de resolución dual sacádica
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
CA3043204C (en) 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
WO2011094292A1 (en) 2010-01-28 2011-08-04 Pathway Innovations And Technologies, Inc. Document imaging system having camera-scanner apparatus and personal computer based processing software
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
EP2567287B1 (en) 2010-05-03 2019-08-21 InVisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
US20120069224A1 (en) * 2010-05-06 2012-03-22 Andrew Cilia Method and system for single-camera license-plate recognition and magnification
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
KR20130094294A (ko) 2010-07-13 2013-08-23 램 스리칸쓰 밀래이 스틸 사진용의 가변 3차원 카메라 어셈블리
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
EP2684026A4 (en) 2011-03-08 2014-09-10 Spectral Instr Imaging Llc IMAGING SYSTEM COMPRISING PRIMARY AND AUXILIARY CAMERA SYSTEMS
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
WO2013186804A1 (ja) 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014008939A1 (en) 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface
EP2874003B1 (en) 2012-07-12 2017-12-20 Sony Corporation Image shake correction device and image shake correction method and image pickup device
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN104937920A (zh) 2012-10-31 2015-09-23 因维萨热技术公司 扩展视场图像和视频捕获
CN105122129A (zh) 2012-11-08 2015-12-02 威动光有限公司 微型光学变焦镜头
JP6152386B2 (ja) 2012-11-16 2017-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ カメラ駆動装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9282228B2 (en) 2013-01-05 2016-03-08 The Lightco Inc. Camera methods and apparatus using optical chain modules which alter the direction of received light
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
WO2014152855A2 (en) 2013-03-14 2014-09-25 Geerds Joergen Camera system
US9851803B2 (en) 2013-03-15 2017-12-26 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
EP3008890A4 (en) 2013-06-13 2016-05-04 Corephotonics Ltd ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
US9137447B2 (en) 2013-07-31 2015-09-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
JP6435265B2 (ja) * 2013-08-21 2018-12-05 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
WO2015041496A1 (ko) 2013-09-23 2015-03-26 엘지이노텍 주식회사 카메라 모듈 및 그 제작 방법
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
TW201515433A (zh) 2013-10-14 2015-04-16 Etron Technology Inc 影像校正系統和立體照相機的校正方法
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
CN105339840B (zh) 2013-12-06 2019-06-14 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
WO2015081562A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 一种终端及图像处理方法、图像采集方法
EP3067746B1 (en) 2013-12-06 2019-08-21 Huawei Device Co., Ltd. Photographing method for dual-camera device and dual-camera device
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
EP3099044B1 (en) 2014-05-15 2018-12-26 Huawei Technologies Co. Ltd. Multi-frame noise reduction method and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
KR102032882B1 (ko) 2014-09-30 2019-10-16 후아웨이 테크놀러지 컴퍼니 리미티드 자동 포커싱 방법, 장치 및 전자 장치
US9476744B2 (en) 2014-10-08 2016-10-25 Dieterich Standard, Inc. Integrated orifice plate assembly
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
WO2016101155A1 (en) * 2014-12-23 2016-06-30 SZ DJI Technology Co., Ltd. Uav panoramic imaging
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
CN111175935B (zh) * 2015-04-16 2022-02-08 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
US10192133B2 (en) * 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
CN111812910B (zh) 2015-06-24 2021-05-11 核心光电有限公司 折叠式相机模块
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
KR102253997B1 (ko) 2015-08-13 2021-05-20 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
KR102433623B1 (ko) * 2015-12-29 2022-08-18 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US9843736B2 (en) 2016-02-26 2017-12-12 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107925717B (zh) 2016-05-30 2020-10-27 核心光电有限公司 旋转滚珠引导音圈电动机
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
US10884321B2 (en) 2017-01-12 2021-01-05 Corephotonics Ltd. Compact folded camera
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
CN114137790A (zh) * 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
US10534837B2 (en) * 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
WO2019150188A1 (en) * 2018-02-05 2019-08-08 Corephotonics Ltd. Reduced height penalty for folded camera
CN111448793B (zh) 2018-02-12 2021-08-31 核心光电有限公司 具有光学图像稳定化的折叠摄像机
US11019242B2 (en) * 2018-06-14 2021-05-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera assembly and electronic device using the same, both having a decorative member mounted on a shell and comprising a decorative ring and a flange
US11190689B1 (en) * 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization

Also Published As

Publication number Publication date
CN116679419A (zh) 2023-09-01
US20230164437A1 (en) 2023-05-25
CN116679420A (zh) 2023-09-01
KR20220021469A (ko) 2022-02-22
KR20230154290A (ko) 2023-11-07
WO2022034402A1 (en) 2022-02-17
US11968453B2 (en) 2024-04-23
KR20230093539A (ko) 2023-06-27
CN114424104B (zh) 2023-06-30
EP4038432A4 (en) 2022-12-14
KR102598070B1 (ko) 2023-11-02
CN114424104A (zh) 2022-04-29
CN116626960A (zh) 2023-08-22
KR102547198B1 (ko) 2023-06-22
EP4038432A1 (en) 2022-08-10
KR20230004931A (ko) 2023-01-06

Similar Documents

Publication Publication Date Title
JP6170395B2 (ja) 撮像装置およびその制御方法
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
US8471915B2 (en) Self-correcting adaptive long-stare electro-optical system
KR101983156B1 (ko) 촬영 장치의 이미지 보정 장치 및 방법
CN107113376A (zh) 一种图像处理方法、装置及摄像机
JP2015022027A (ja) 撮像装置およびその制御方法
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP7456043B2 (ja) 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム
AU2017344757B2 (en) An aerial camera boresight calibration system
AU2022231762A1 (en) A bundle adjustment system
JP2017219635A5 (ko)
KR20160087684A (ko) 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법
KR102480820B1 (ko) 스캐닝 폴디드 카메라의 광학 이미지 안정화
JP6628678B2 (ja) 距離測定装置、撮像装置、および距離測定方法
WO2018180908A1 (ja) ブレ補正装置、交換レンズおよび撮像装置
WO2018180909A1 (ja) 交換レンズおよびカメラボディ
JP2021033015A5 (ko)
US9560340B2 (en) Three-dimensional image pickup lens system and image pickup system including the same
JPH1124120A (ja) 画像振れ補正装置
JP2006349554A (ja) 測距機能付き車載カメラシステム
CN115210533A (zh) 用于估计图像采集设备的位姿的方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
GRNT Written decision to grant