KR102526794B1 - 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 - Google Patents

카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 Download PDF

Info

Publication number
KR102526794B1
KR102526794B1 KR1020177035454A KR20177035454A KR102526794B1 KR 102526794 B1 KR102526794 B1 KR 102526794B1 KR 1020177035454 A KR1020177035454 A KR 1020177035454A KR 20177035454 A KR20177035454 A KR 20177035454A KR 102526794 B1 KR102526794 B1 KR 102526794B1
Authority
KR
South Korea
Prior art keywords
image
imaging unit
motion
unit
coordinates
Prior art date
Application number
KR1020177035454A
Other languages
English (en)
Other versions
KR20180032529A (ko
Inventor
다이스케 이소
소이치 쿠와하라
히데시 야마다
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180032529A publication Critical patent/KR20180032529A/ko
Application granted granted Critical
Publication of KR102526794B1 publication Critical patent/KR102526794B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

본 개시는, 손떨림 및 렌즈 왜곡을 효과적으로 보정할 수 있도록 하는 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법에 관한 것이다. 촬상부는, 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여 피사체를 촬상하고, 검출부는, 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 촬상부의 움직임을 검출한다. 그리고, 움직임 검출부에 의해 검출된 촬상부의 움직임 및 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 촬상부에 의해 촬상된 화상상의 좌표를, 촬상부의 흔들림 및 광학계의 왜곡의 양방이 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리가 행하여진다. 본 기술은, 예를 들면, 적층형의 CMOS 이미지 센서에 적용할 수 있다.

Description

카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
본 개시는, 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법에 관한 것으로, 특히, 흔들림 및 렌즈 왜곡을 효과적으로 보정할 수 있도록 하는 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법에 관한다.
종래, 촬상 장치는, 광학식 손떨림 보정(OIS : Optical Image Stabilizer) 또는 전자식 손떨림 보정(EIS : Electronic Image Stabilization)을 이용하여, 촬상 장치의 흔들림이 화상에 주는 영향을 억제할 수 있다.
예를 들면, 종래의 전자식 손떨림 보정에서는, 화상으로부터 움직임량을 구하는 방법에 의해 손떨림을 보정하도록 화상 처리가 행하여진다. 그렇지만, 이 방법에서는, 계산 처리가 복잡하거나, 저조도하로의 움직임량의 측정 정밀도가 저하되거나, 동피사체에 의한 손떨림량의 추정 오차가 발생하거나 하기 때문에, 손떨림 보정의 정밀도가 저하되는 일이 있다.
이에 대해, 자이로 센서나 가속도 센서 등에 의해 검출된 모션 센서 정보를 이용하는 전자식 손떨림 보정이 제안되어 있다. 그런데, 모션 센서 정보를 이용하는 종래의 전자식 손떨림 보정에서는, 이동량에 맞추어서 화상 전체의 위치를 이동시킬뿐이고, 화상면 내에서의 위치에 의한 이동량의 차이에 대응하는 것은 곤란하였다. 특히, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서와 같은 롤링 셔터를 이용한 촬상 소자를 이용한 경우에는, 화소의 라인마다의 노광 시간의 어긋남에 의한 한화면 내에서의 이동량의 차이(포컬 플레인 현상)에 대한 대응은 행하여지고 있지 않았다.
그래서, 본원 출원인은, 특허 문헌 1에 개시되어 있는 바와 같이, 화상면 내에서의 위치에 의한 이동량의 차이나, 한화면 내에서의 노광 시간의 어긋남에 의한 이동량의 차이에 대응하여 손떨림 보정을 행할 수가 있는 촬상 장치를 제안하고 있다. 이 손떨림 보정을 채용함으로써, 중앙부터 주변까지 매우 정밀도 좋게 손떨림을 보정할 수 있음에 더하여, 포컬 플레인 현상에 의한 변형도 억제할 수 있다.
또한, 일반적으로, 렌즈 왜곡 보정 처리에 관해 다양한 수법이 제안되어 있고, 예를 들면, 파라미터를 측정하고 싶은 렌즈를 이용하여 체커 보드를 촬상하는 Zhang의 수법이, 자주 이용되어 있다.
특허 문헌 1 : 국제 공개 제2014/156731호 팜플렛
비특허 문헌 1 : "Flexible Camera Calibration by Viewing a Plane from Unknown Orientations", Zhengyou Zhang, ICCV99
그런데, 상술한 바와 같이, 특허 문헌 1에 개시되어 있는 손떨림 보정에 의해 양호한 효과를 얻을 수 있지만, 더욱 손떨림 및 렌즈 왜곡을 효과적으로 보정할 것이 요구되고 있다.
본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 손떨림 및 렌즈 왜곡을 효과적으로 보정할 수 있도록 하는 것이다.
본 개시의 한 측면의 카메라 모듈은, 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와, 상기 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부와, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비한다.
본 개시의 한 측면의 고체 촬상 소자는, 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와, 상기 촬상부에서 적어도 1프레임분의 상기 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비한다.
본 개시의 한 측면의 전자 기기는, 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와, 상기 촬상부에서 적어도 1프레임분의 상기 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부와, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비한다.
본 개시의 한 측면의 촬상 방법은, 광학계를 통하여 입사하는 피사체로부터의 광을 수광하는 촬상부에 의해 상기 피사체를 촬상하고, 상기 촬상부에서 적어도 1프레임분의 상기 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하고, 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행한다.
본 개시의 한 측면에서는, 광학계를 통하여 입사하는 피사체로부터의 광을 수광하는 촬상부에 의해 피사체가 촬상되고, 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 촬상부의 움직임이 검출되고, 검출된 촬상부의 움직임 및 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 촬상부에 의해 촬상된 화상상의 좌표를, 촬상부의 흔들림 및 광학계의 왜곡의 양방이 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리가 행하여진다.
본 개시의 한 측면에 의하면, 손떨림 및 렌즈 왜곡을 효과적으로 보정할 수 있다.
도 1은 본 기술을 적용한 카메라 모듈의 한 실시의 형태의 구성례를 도시하는 블록도.
도 2는 제1의 동기 방식에 관해 설명하는 도면.
도 3은 제2의 동기 방식에 관해 설명하는 도면.
도 4는 제3의 동기 방식에 관해 설명하는 도면.
도 5는 제4의 동기 방식에 관해 설명하는 도면.
도 6은 제5의 동기 방식에 관해 설명하는 도면.
도 7은 모션 센서 출력의 시간 범위에 관해 설명하는 도면.
도 8은 일반적인 렌즈 왜곡 보정 처리 및 손떨림 보정 처리를 설명하는 도면.
도 9는 2단계로 행하여지는 좌표 변환에 관해 설명하는 도면.
도 10은 일괄로 행하여지는 좌표 변환에 관해 설명하는 도면.
도 11은 렌즈 왜곡 및 손떨림을 보정하는 구체적인 방법을 설명하는 도면.
도 12는 렌즈 왜곡 및 손떨림을 보정하는 구체적인 방법을 설명하는 도면.
도 13은 제어 화소를 화상 내에 배치하는 배치례를 도시하는 도면.
도 14는 제어 화소를 균등 또는 비균등하게 배치하는 배치례를 도시하는 도면.
도 15는 제어 화소 이외의 화소의 보간 방법에 관해 설명하는 도면.
도 16은 제1의 보정 결과 출력 방식을 설명하는 도면.
도 17은 제2의 보정 결과 출력 방식을 설명하는 도면.
도 18은 제3의 보정 결과 출력 방식을 설명하는 도면.
도 19는 제4의 보정 결과 출력 방식을 설명하는 도면.
도 20은 제5의 보정 결과 출력 방식을 설명하는 도면.
도 21은 수평 방향에 대한 절대각을 산출하는 방법에 관해 설명하는 도면.
도 22는 피치각, 롤각 및 요각을 정의하는 도면.
도 23은 호모그래피 처리에 관해 설명하는 도면.
도 24는 촬상 방법을 설명하는 플로우 차트.
도 25는 본 기술을 적용한 전자 기기의 한 실시의 형태의 구성례를 도시하는 블록도.
도 26은 이미지 센서를 사용하는 사용례를 도시하는 도면.
이하, 본 기술을 적용한 구체적인 실시의 형태에 관해, 도면을 참조하면서 상세히 설명한다.
<카메라 모듈의 구성례>
도 1은, 본 기술을 적용한 카메라 모듈의 한 실시의 형태의 구성례를 도시하는 블록도이다.
도 1에 도시하는 바와 같이, 카메라 모듈(11)은, 이미지 센서(12), 모션 센서(13), 파라미터 기억부(14), 데이터 분리부(15), 모션 신호 처리부(16), 좌표 변환 처리부(17) 및 화상 변형부(18)를 구비하고 구성된다.
이미지 센서(12)는, 촬상부(21) 및 동기 처리부(22)를 갖고 있음과 함께, 모션 센서(13)용의 인터페이스가 실장되어 있고, 그 인터페이스를 경유하여 모션 센서(13)로부터 출력되는 모션 센서 출력을 취입한다. 그리고, 이미지 센서(12)는, 촬상부(21)로부터 출력되는 화상 데이터에 모션 센서 출력을 부가한 모션 센서 출력 붙음 화상 데이터를 출력한다.
촬상부(21)는, 도시하지 않는 광학계에 의해 피사체로부터의 광이 집광되고, 복수의 화소가 행렬형상으로 배치된 촬상면에 결상되는 피사체의 상을 촬상하고, 그 촬상에 의해 취득된 화상 데이터를 출력한다.
동기 처리부(22)는, 촬상부(21)로부터 출력되는 화상 데이터와, 모션 센서(13)로부터 출력되는 모션 센서 출력과의 동기를 취하고, 화상 데이터 및 모션 센서 출력을 통합하여 출력하는 동기(同期) 처리를 행한다. 또한, 동기 처리부(22)에 의한 동기 처리의 상세에 대관서는, 도 2 내지 도 6을 참조하여 후술한다.
모션 센서(13)는, 예를 들면, 3축방향의 각속도를 검출 가능한 자이로 센서에 의해 구성되고, 그들의 각속도에 의해 표시되는 카메라 모듈(11)의 움직임을 모션 센서 출력으로서 출력한다. 또한, 모션 센서(13)로서는, 6축 또는 9축방향의 움직임(각가속도나 가속도 등)을 검출 가능한 것을 사용하여도 좋다.
파라미터 기억부(14)는, 좌표 변환 처리부(17)가 좌표 변환 처리를 행하는데 이용하는 각종의 파라미터, 예를 들면, 렌즈 왜곡 보정 계수나 제어 화소 좌표 등을 기억한다. 렌즈 왜곡 보정 계수는, 이미지 센서(12)의 촬상부(21)를 구성하는 화소의 좌표를 파라미터로서, 광학계가 갖는 렌즈의 왜곡을 미리 측정하여 두고, 그 왜곡을 보정하도록 사전에 구하여진 계수이다. 제어 화소 좌표는, 후술하는 도 13 및 도 14에 도시하는 바와 같이, 화상 변환을 정확하게 행하는 대상이 되는 특정한 제어 화소를 지정하는 좌표이다.
데이터 분리부(15)는, 이미지 센서(12)로부터 공급되는 모션 센서 출력 붙음 화상 데이터를, 화상 데이터 및 모션 센서 출력으로 분리한다. 그리고, 데이터 분리부(15)는, 모션 신호 처리부(16)에 모션 센서 출력을 공급하고, 화상 변형부(18)에 화상 데이터를 공급한다.
모션 신호 처리부(16)는, 데이터 분리부(15)로부터 공급되는 모션 센서 출력을, 카메라 모듈(11)의 움직임을 나타내는 움직임 정보로 변환하는 신호 처리를 행하고, 카메라 모듈(11)의 움직임 정보를, 좌표 변환 처리부(17)에 공급한다. 예를 들면, 모션 신호 처리부(16)는, 모션 센서 출력으로서 3축방향의 각속도가 공급되는 경우, 그들의 각속도를 적분함에 의해, 3축방향의 회전각(각도의 변화량)으로 변환할 수 있다. 이때, 모션 신호 처리부(16)는, 변환을 행할 때에 발생하는 적분 오차 등을 보정할 수 있다.
좌표 변환 처리부(17)는, 파라미터 기억부(14)로부터 판독한 제어 화소 좌표(후술하는 도 13 및 도 14 참조)마다, 이미지 센서(12)의 손떨림 및 광학계의 렌즈 왜곡의 양방이, 이미지 센서(12)에 의해 촬상된 화상에 주는 영향을 억제하도록, 화상의 좌표를 변환하는 좌표 변환 처리를 행한다. 이때, 좌표 변환 처리부(17)는, 모션 신호 처리부(16)로부터 공급되는 카메라 모듈(11)의 움직임 정보에 의거한 손떨림 보정 및 파라미터 기억부(14)로부터 판독한 렌즈 왜곡 보정 계수에 의거한 렌즈 왜곡 보정이 일괄로 행하여지도록 좌표 변환 처리를 행한다. 그리고, 좌표 변환 처리부(17)는, 좌표 변환 처리에 의해 제어 화소 좌표마다 구한 보정 제어점 좌표를, 화상 변형부(18)에 공급하다. 또한, 좌표 변환 처리부(17)에 의한 좌표 변환 처리의 상세에 대관서는, 도 8 내지 도 11을 참조하여 후술한다.
화상 변형부(18)는, 좌표 변환 처리부(17)로부터 공급되는 보정 제어점 좌표에 따라, 데이터 분리부(15)로부터 공급되는 화상 데이터에 대해 화상 변형 처리를 행한다. 예를 들면, 화상 변형부(18)는, 보정 전의 화상 데이터에서의 제어점 좌표의 화소치를, 그 제어점 좌표에 대응하는 보정 제어점 좌표의 화소치로서 이용함으로써 화상을 변형한다. 또한, 화상 변형부(18)는, 제어점 좌표 이외의 좌표의 화소에 관해서는, 제어점 좌표의 화소에 대한 화상 변형 처리의 결과를 이용하여 보간하는 보간 처리를 행한다. 그리고, 화상 변형부(18)는, 화상 변형 처리를 행한 결과 얻어지는 손떨림 및 렌즈 왜곡이 보정된 보정 결과 화상을, 출력 화상으로서 도시하지 않는 후단의 블록에 출력한다.
이상과 같이 카메라 모듈(11)은 구성되어 있고, 모션 센서(13)로부터 출력되는 모션 센서 출력이 화상 데이터에 동기하여 통합된 모션 센서 출력 붙음 화상 데이터가 이미지 센서(12)로부터 출력된다. 그리고, 좌표 변환 처리부(17)에서, 손떨림 및 렌즈 왜곡의 보정이 일괄로 행하여지는 좌표 변환 처리가 행하여지고, 화상 변형부(18)에서 보정 제어점 좌표에 의거한 화상 변형 처리가 행하여진다. 이에 의해, 카메라 모듈(11)은, 손떨림 및 렌즈 왜곡을 효과적으로 보정할 수 있다.
<동기 처리에 관해>
도 2 내지 도 6을 참조하여, 동기 처리부(22)가, 화상 데이터와 모션 센서 출력과의 동기를 취하는 구조에 관해, 제1 내지 제5의 동기 방식을 설명한다.
우선, 도 2를 참조하여, 제1의 동기 방식으로서, 모션 센서(13)로부터 샘플이 출력된 때의, 촬상부(21)의 화소 행렬의 라인 번호를 기록하는 구조에 관해 설명한다.
예를 들면, CMOS 이미지 센서에 의해 롤링 셔터 방식으로 촬상이 행하여지는 경우, 도 2에 도시하는 바와 같이, 촬상부(21)의 라인 번호에 따라 순차적으로, 출력이 행하여진다. 도 2에서는, 라인 번호(Li)은, 촬상부(21)에 행렬형상으로 배치된 화소의 i번째의 라인의 번호를 나타내고 있고, 모션 센서 샘플(Si)은, 프레임의 촬상이 시작되고 나서 i번째에 출력되는 샘플(모션 센서 출력)을 나타내고 있다.
예를 들면, 이와 같이 롤링 셔터 방식으로 판독될 때, 화상의 선두 라인부터 최후의 라인까지의 판독에는, 프레임 레이트에 의존한 판독 시간(Δti)이 필요하게 된다. 구체적으로는, 이미지 센서(12)가 60FPS(Frame Per Second)로 동작하는 경우, 판독 시간(Δti)은, 약 16.7msec(=1000msec/60frame)가 된다.
한편, 이미지 센서(12)가 구동하고 있는 동안, 모션 센서(13)도 마찬가지로 동작하고 있기 때문에, 모션 센서(13)의 샘플링 레이트(Δtm)에 응하여, 모션 센서(13)의 샘플을 취득할 수 있다. 예를 들면, 모션 센서(13)의 샘플링 레이트가 1㎑인 경우, 1msec마다 하나의 모션 센서 샘플을 취득할 수 있다.
이와 같이, 촬상부(21) 및 모션 센서(13)는 독립한 샘플링 레이트로 동작하고 있다. 또한, 화상에 관해서는 프레임 단위보다도 더욱 미세한 단위인 라인 단위로의 제어(수평 동기)를 행할 수가 있다. 따라서 어느 라인을 다 읽은 타이밍에서 모션 센서의 샘플이 취득되어 있으면, 그 라인 번호와 모션 센서 샘플을 대응시키는 것이 가능하다.
이것을 이용하여, 카메라 모듈(11)에서는, 동기 처리부(22)가, 어느 프레임 내에 있어서, 취득한 모든 모션 센서의 샘플과, 그 샘플이 취득된 타이밍의 라인 번호를 연계시키는 동기 처리를 행한다. 이와 같이, 카메라 모듈(11)은, 프레임 내에서의 모션 센서 샘플의 위치의 대응시킴을 행할 수 있다.
도 2에 도시하는 예에서는, 프레임(i)에서의 최초의 모션 센서 샘플(S1)은 라인 번호(L1)를 다 읽은 타이밍에서 취득되어 있고, 동기 처리부(22)는, 모션 센서 샘플(S1)과 라인 번호(L1)를 연계시켜서 기록하여 둔다. 마찬가지로, 동기 처리부(22)는, 모션 센서 샘플(S2)와 라인 번호(L2)를 연계하여 기록하여 두고, 그 이후의 모션 센서 샘플과 라인 번호를 각각 연계하여 기록하여 둔다. 그리고, 1프레임분의 판독이 끝난 타이밍에서, 그 1프레임의 판독 중에 취득한 모든 모션 센서 샘플을 화상 데이터와 함께 이미지 센서(12)로부터 출력한다. 이상에 의해, 동기 처리부(22)는, 화상 데이터와 모션 센서 출력의 동기를 취할 수 있다.
또한, 실제로 모션 센서 샘플을 사용할 때는, 모션 센서(13)로부터 출력되는 시간 지연이나, 이미지 센서(12)의 노광 시간, 화상 데이터의 프레임 내에서의 위치 등을 고려할 필요가 있다. 즉, 모션 센서(13) 중에는 센서 내부에서 로우패스 필터를 걸치고 있는 것이 있고, 로우패스 필터를 걸침에 의한 지연이 생겨 버린다. 이 때문에, 동기 처리부(22)는, 그 지연 분만큼 어긋난 모션 센서 샘플을 라인 번호에 연계시킬 필요가 있다.
또한, 이미지 센서(12)의 노광 시간에 응하여 보정을 걸어야 할 타이밍이 다른 것으로 된다. 예를 들면, 전자식 손떨림 보정에서는, 노광 시간의 중간의 타이밍에서 취득된 모션 센서 출력을 이용하는 것이 적절하기 때문에, 수평 동기의 타이밍이, 그 라인의 판독 끝의 타이밍인 경우에는, 타이밍을 어긋낸 편이 좋다. 즉, 노광 시간이 16ms라면, 8ms 전의 타이밍의 모션 센서 출력을 이용하여 보정을 행하는 것이 바람직하다.
물론, 처리에 응하여 타이밍을 어긋내는 것도 가능하다. 또한, 어느 라인의 노광 시간 내 모든 시간의 모션 센서 출력을 평균한 값을, 그 라인의 보정에 이용하여도 좋다. 또한, 샘플링마다 라인 번호가 특정됨에 의해, 모션 센서 출력의 샘플링 주기에 대응하는 라인수를 용이하게 계산할 수 있다. 이 관계로부터 지연량을 라인수로 환산하여 고침으로써, 화상 내에서 타이밍의 어긋남을 지연량에 응하여 라인수만큼 어긋냄으로써, 즉 y좌표 방향으로 어긋냄으로써, 용이하게 조정할 수 있다.
또한, CMOS 이미지 센서에서는, 수직 동기가 출력되는 타이밍으로부터 진정한 화상이 판독되는 타이밍까지의 사이에, OPB(광학 블랙)의 판정 처리에 필요로 하는 시간이나, 다른 처리에 필요로 하는 시간 등이 포함된 경우가 있다. 이 경우, 상술한 라인 번호와 진정한 화상에서 차분이 발생하여 버리기 때문에, 라인 번호와 진정한 화상을 일치시키기 위해서는, 이 차분을 고려할 필요가 있다. 즉, 이 차분에 의한 지연량을, 라인수를 단위로 하여 계산하여, 지연량에 응하여 라인수를 어긋냄으로써, 라인 번호와 진정한 화상을 일치시킬 수 있다.
이상과 같이, 동기 처리부(22)는, 제1의 동기 방식에 의해, 모션 센서(13)로부터 샘플이 출력되는 타이밍을 기준으로 하여, 촬상부(21)의 화소 행렬의 라인 번호를 연계시킴으로써, 화상 데이터 및 모션 센서 출력을 동기시킬 수 있다.
다음에, 도 3을 참조하여, 제2의 동기 방식으로서, 모션 센서(13)로부터 출력되는 샘플의 샘플 번호를, 촬상부(21)의 화소 행렬의 라인 번호에 할당하는 구조에 관해 설명한다.
예를 들면, 제2의 동기 방식은, 상술한 도 2에 도시한 제1의 동기 방식에서의, 이미지 센서(12)와 모션 센서(13)와의 관계를 역전시켰던 것이다. 우선, 제1의 동기 방식과 마찬가지로, 모션 센서(13)의 샘플은, 샘플링 레이트(Δtm)에 따라 정하여진 시간 간격으로 취득할 수 있다.
도 3에 도시하는 모션 센서 샘플(S0)은, 전의 프레임의 노광중에 취득된 샘플이다. 즉, 모션 센서 샘플(S0)은, 라인 번호(Li)를 판독한 타이밍보다도 전에 취득된 최후의 샘플이다. 이때, 동기 처리부(22)는, 모션 센서 샘플(S0)을 일의적으로 특정할 수 있는 번호(0)를 라인 번호(Li)에 연계시켜서, 라인 번호(Li)의 화소치열(pLi, 1, pLi, 2, …, pLi, n)과 함께 기록한다.
또한 마찬가지로, 도 3에 도시하는 라인 번호(Lj)를 읽은 타이밍보다도 전에 취득된 최후의 샘플이 모션 센서 샘플(S1)인 경우, 동기 처리부(22)는, 모션 센서 샘플(S1)을 일의적으로 특정할 수 있는 번호(1)를 라인 번호(Lj)의 화소치열(pLj , 1, pLj, 2, …, pLj, n)과 함께 기록한다.
이와 같이, 모션 센서 샘플을 일의적으로 특정할 수 있는 번호를 라인마다 부여함으로써, 동기 처리부(22)는, 이미지 센서(12)와 모션 센서(13)를 라인마다 동기시킬 수 있다. 또한, 이미지 센서(12)의 각 라인과, 모션 센서 샘플이 취득되지 않은 라인의 관계를 특정할 수 있기 때문에, 모션 센서 샘플이 취득되지 않은 라인에서의 모션 센서 샘플의 보간(補諫)도 용이하게 행하는 것이 가능해진다.
이상과 같이, 동기 처리부(22)는, 제2의 동기 방식에 의해, 촬상부(21)로부터 라인마다 출력되는 타이밍을 기준으로 하여, 모션 센서(13)로부터 출력되는 샘플의 샘플 번호를 라인 번호에 연계시킴으로써, 화상 데이터 및 모션 센서 출력을 동기시킬 수 있다.
다음에, 도 4를 참조하여, 제3의 동기 방식으로서, 이미지 센서(12) 및 모션 센서(13) 각각의 타임 스탬프를 이용하여 동기를 취하는 구조에 관해 설명한다.
우선, 이미지 센서(12) 및 모션 센서(13)가, 각각 독립하여 구동하고 있는 점은, 상술한 도 2에 도시한 제1의 동기 방식과 마찬가지이다. 그리고, 제3의 동기 방식에서는, 이미지 센서(12) 및 모션 센서(13)가, 각각 타임 스탬프를 발행할 수 있는 구조를 내부에 구비하고 있는 것으로 한다. 구체적으로는, 이미지 센서(12) 및 모션 센서(13) 각각에 내장되는 프로세서의 클록에 의거하여, 타임 스탬프가 발행된다.
예를 들면, 이미지 센서(12)는, 수평 동기를 특정하는 타임 스탬프를 발행하고, 모션 센서(13)는, 샘플이 취득된 타이밍을 특정하는 타임 스탬프를 발행한다. 이에 의해, 수평 동기와 샘플 취득의 타이밍을 맞출 수 있고, 또한, 비례 계산에 의해 서브픽셀 단위로의 라인 번호를 추정할 수 있다.
우선, 모션 센서 샘플이 취득된 시각(tm)의 전후에서, 판독 시각(t1)에서 좌표(y1)의 라인이 판독되고, 판독 시각(t2)에서 좌표(y2)의 라인이 판독되었다고 한다. 이때, 모션 센서 샘플이 취득된 시각(tm)에 대응하는 서브픽셀 단위의 라인 번호(ym)는, 다음의 식(1)으로 표시된다.
[수식 1]
Figure 112017122353884-pct00001
이와 같이, 타임 스탬프에 의해, 모션 센서(13)로부터 모션 센서 샘플이 취득된 시각 및 이미지 센서(12)로부터 라인마다의 판독 시각을 취득함에 의해, 동기 처리부(22)는, 보다 정확하게 동기를 취할 수 있다. 또한, 이미지 센서(12) 및 모션 센서(13)는 임의의 방법으로 동기를 취하고, 이미지 센서(12) 및 모션 센서(13)의 타임 스탬프를 일치시켜 둘 필요가 있다.
이상과 같이, 동기 처리부(22)는, 제3의 동기 방식에 의해, 이미지 센서(12) 및 모션 센서(13) 각각의 타임 스탬프를 이용하여, 모션 센서 샘플이 취득된 시각에 대응하는 서브픽셀 단위의 라인 번호를 추정함으로써, 화상 데이터 및 모션 센서 출력을 동기시킬 수 있다.
다음에, 도 5를 참조하여, 제4의 동기 방식으로서, 이미지 센서(12) 및 모션 센서(13)에서 공통의 타임 스탬프를 사용함에 의해 동기를 취하는 구조에 관해 설명한다.
도 5는, 제4의 동기 방식을 이용할 수 있는 카메라 모듈(11)의 구성례를 도시하는 블록도이고, 카메라 모듈(11)을 구성하는 블록 중, 제4의 동기 방식의 설명에서 불필요한 블록의 도시는 생략되어 있다. 예를 들면, 제4의 동기 방식에서는, 이미지 센서(12) 및 모션 센서(13)가 공통의 컨트롤러에 접속된 구성으로 되어 있고, 이 컨트롤러가, 타임 스탬프를 발행하는 타임 스탬프 발행기(19)를 갖고 있다.
타임 스탬프 발행기(19)는, 이미지 센서(12) 및 모션 센서(13) 각각으로부터 송신된 타임 스탬프 발행 리퀘스트를 수신한 타이밍에서, 각각에 대해 타임 스탬프를 송신한다.
우선, 이미지 센서(12)는, 처음의 수평 동기의 타이밍에서 화상의 선두 라인을 판독한다. 그 타이밍에서, 이미지 센서(12)는, 타임 스탬프 발행기(19)에 대해 타임 스탬프 발행 리퀘스트를 송신한다. 타임 스탬프 발행기(19)는, 리퀘스트를 수신한 후, 그 타이밍에서의 타임 스탬프를 이미지 센서(12)에 대해 송신한다. 그리고, 이미지 센서(12)는, 수평 동기를 특정하는 타임 스탬프를 수신하고 화상의 라인을 통합하고, 타임 스탬프 붙음 화상 데이터를 출력한다. 이후의 수평 동기의 타이밍에서 같은 동작을 반복한다.
또한, 모션 센서(13)에서도 마찬가지로, 모션 센서 출력을 출력할 때마다 타임 스탬프 발행기(19)에 대해 타임 스탬프 발행 리퀘스트를 행한다. 그리고, 모션 센서(13)는, 샘플이 취득된 타이밍을 특정하는 타임 스탬프 붙음 모션 센서 출력을 출력한다.
따라서 동기 처리부(22)는, 이미지 센서(12)로부터 출력되는 화상 데이터의 타임 스탬프와, 모션 센서(13)로부터 출력되는 모션 센서 출력의 타임 스탬프에 의거하여, 양자의 시간적 및 공간적인 위치 관계의 동기를 취할 수 있다.
또한, 이와 같은 제4의 동기 방식에서도, 상술한 도 4를 참조하여 설명한 제3의 동기 방식과 마찬가지로, 서브픽셀 단위의 라인 번호를 추정할 수 있다.
이상과 같이, 동기 처리부(22)는, 제4의 동기 방식에 의해, 공통의 타임 스탬프를 사용함으로써, 화상 데이터 및 모션 센서 출력을 동기시킬 수 있다.
다음에, 도 6을 참조하여, 제5의 동기 방식으로서, 이미지 센서(12)의 고정 라인수마다 모션 센서(13)의 샘플을 취득하는 구조에 관해 설명한다.
예를 들면, 모션 센서(13)의 샘플링 레이트(NM)(㎐)가 이미지 센서의 프레임 레이트(NI)(frames/sec)로 우수리 없이 나눌 수 없는(割り切れない) 경우, 1프레임에서 취득할 수 있는 모션 센서(13)의 샘플수는 프레임마다 다른 것으로 된다.
따라서 이 경우, 도 6의 A에 도시하는 바와 같이, 프레임(i)에서 샘플을 취득된 라인과, 그 다음의 프레임(i+1)에서 샘플을 취득된 라인이란, 일치하지 않게 된다. 예를 들면, 모션 센서(13)의 샘플링 레이트가 1000(㎐)이고, 프레임 레이트가 60(frames/sec)인 경우, 그들의 비율은, 1000/60≒16.7이 된다. 에 의해, 어느 프레임에서 취득된 모션 센서(13)의 샘플수가 16개임에 대해, 샘플링의 사정 상, 다른 프레임에 있어서 취득될 수 있는 모션 센서(13)의 샘플수가 17개가 되는 일이 있다.
그렇지만, 프레임마다 취득할 수 있는 샘플수가 고정되어 있는 편이 시스템 설계에 있어서 사정이 좋은 편이 많다. 이 때문에, 카메라 모듈(11)에서는, 이미지 센서(12)의 프레임 레이트(NI)로 우수리 없이 나눠지는(割り切れる) 수가 되도록, 모션 센서(13)의 샘플링 레이트(NM)가 설정된다. 이에 의해, 이미지 센서(12)의 특정한 라인에서, 항상, 모션 센서(13)의 샘플을 취득할 수 있다.
즉, 도 6의 B에 도시하는 바와 같이, 프레임(i)에서 샘플을 취득된 라인과, 그 다음의 프레임(i+1)에서 샘플을 취득된 라인이 일치하게 된다. 즉, 특정한 고정 라인수마다 모션 센서(13)의 샘플을 취득할 수 있다. 예를 들면, 프레임 레이트가 60(frames/sec)인 경우, 모션 센서(13)의 샘플링 레이트를 1200㎐로 설정함으로써, 프레임마다 20개의 샘플을 반드시 취득할 수 있다. 이에 의해, 화상의 총 라인수를 H라고 하면, H/20라인마다 모션 센서(13)의 샘플을 취득할 수 있다.
이상과 같이, 동기 처리부(22)는, 제5의 동기 방식에 의해, 이미지 센서(12)의 고정 라인수마다 모션 센서(13)의 샘플을 취득함으로써, 화상 데이터 및 모션 센서 출력을 동기시킬 수 있다.
또한, 동기 처리부(22)가, 화상 데이터 및 모션 센서 출력의 동기를 취하는 동기 방식으로서는, 상술하여 설명한 바와 같은 구조로 한정되는 일은 없고, 기타의 다양한 구조를 이용할 수 있다.
<모션 센서 출력에 관해>
도 7을 참조하여, 1장의 프레임과 함께 출력되는 모션 센서 출력의 시간 범위에 관해 설명한다.
예를 들면, 어느 1장의 프레임을 출력할 때에, 그 프레임을 구성하는 각 라인의 판독시에 취득할 수 있는 모션 센서 출력만으로는, 그 프레임을 촬상하고 있는 시간 범위의 모든 움직임을 재현할 수는 없다. 즉, 어느 프레임의 최초의 라인의 노광중의 움직임 정보는, 그 프레임의 전의 프레임의 판독시에 취득할 수 있는 모션 센서 출력이 필요해진다. 또한, 프레임과 프레임 사이의 노광을 행하지 않는 시간(프레임 블랭킹)의 움직임 정보는, 그들의 프레임 사이의 이동량을 추정하는 유용하다.
따라서 카메라 모듈(11)은, 어느 프레임의 화상과 함께, 그 프레임의 최초의 라인의 노광중에 취득한 모션 센서 출력 및 그 프레임의 노광이 시작되기 전의 프레임 블랭킹 중에 취득한 모션 센서 출력을 출력한다.
또한, 어떠한 이유로 모션 센서(13)와 이미지 센서(12)와의 사이에 정하여진 길이의 지연이 생기는 경우가 있다. 예를 들면, 모션 센서(13) 및 이미지 센서(12)를 접속하는 기판에서의 처리의 지연 등이 이것에 해당한다. 가령, 그 지연량이 고정이라면, 그 고정의 지연분도 고려하여 모션 센서 출력을 포함하여 당해 프레임과 함께 출력한다.
또한, 이미지 센서(12) 및 모션 센서(13)를 동기시키는 동기 방법에 있어서 라인 번호를 사용하는 경우, 1프레임 전의 모션 센서 출력에 할당하는 라인 번호는 마이너스의 값(예를 들면, L-1)을 부여하면 좋다. 또한, 예를 들면, 1프레임 후의 모션 센서 출력에 할당하는 경우에는, 화상의 총 라인수에 다음 프레임으로의 라인수를 가산한 값을 사용하면 좋다.
이상과 같이, 이미지 센서(12)는, 어느 1장의 프레임을 출력할 때에, 그 프레임을 구성하는 각 라인의 판독시에 취득할 수 있는 모션 센서 출력뿐만 아니라, 프레임 블랭킹 중, 노광 중 및 지연분의 모션 센서 출력을 관련시켜서 출력한다. 이와 같이, 동기 처리부(22)가, 1프레임분의 화상이 촬상도기 전 또는 후의 소정 기간에서 모션 센서 출력을, 그 1프레임분에 포함하여 출력함으로써, 그들의 모션 센서 출력을 이용하여, 보다 정확한 손떨림 보정을 행할 수가 있다.
<렌즈 왜곡을 고려한 전자(電子) 손떨림 보정에 관해>
도 8 내지 도 11을 참조하여, 렌즈 왜곡을 고려한 전자 손떨림 보정에 관해 설명한다.
종래, 일반적으로, 렌즈 왜곡 보정 처리 및 손떨림 보정 처리가, 각각 전(全) 화소에 대해 행하여지고, 그들의 처리가 행하여질 때마다 화상이 생성되는 방식이 사용되고 있다.
예를 들면, 도 8에 도시하는 바와 같이, 우선, 렌즈 왜곡과 손떨림을 포함하는 입력 화상의 전 화소에 대해 렌즈 왜곡 보정 처리가 행하여져서, 왜곡 보정 화상이 생성된다. 다음에, 생성된 왜곡 보정 화상의 전 화소에 대해 손떨림 보정 처리가 행하여져서, 최종적인 보정 화상이 출력된다. 그렇지만, 이 방식에서는 최종적으로 이용되지 않는 왜곡 보정 화상이 중간 화상으로서 생성되기 때문에, 쓸데없는 메모리 대역을 사용하는 것으로 되어 있다.
그래서, 카메라 모듈(11)에서는, 쓸데없는 중간 화상을 생성하지 않고서 렌즈 왜곡 보정 및 손떨림 보정 처리를 일괄(一括)하여 행하는 방법이 채용된다.
예를 들면, 렌즈 왜곡 보정용의 좌표 변환 함수(Td(x, y)) 및 손떨림 보정용의 좌표 변환 함수(TS(x, y))는, 어느 것이나 백 워드 방식(변환 후의 좌표를 건네주면, 변환 전의 좌표를 돌려 주는 방식)으로 한다. 여기서, 도 8에 나타내 비와 같은 렌즈 왜곡 보정 처리 및 손떨림 보정 처리를 순차적으로 행하는 변형은, 도 9에 도시하는 바와 같이, 2단계로 처리가 행하여진다.
우선, 도 9의 A에 도시하는 바와 같이, 렌즈 왜곡 보정용의 좌표 변환 함수(Td(x, y))에 의해, 입력 화상(I)의 좌표가 왜곡 보정 화상(Id)의 좌표로 변환되도록 왜곡 보정 변환이 행하여져, 중간 화상으로서의 왜곡 보정 화상(Id)이 생성된다. 이 백 워드 방식이 왜곡 보정 변환식은, 다음의 식(2)으로 표시된다.
[수식 2]
Figure 112017122353884-pct00002
다음에, 도 9의 B에 도시하는 바와 같이, 손떨림 보정용의 좌표 변환 함수(TS(x, y))에 의해, 왜곡 보정 화상(Id)의 좌표가 왜곡 보정 및 손떨림 보정 화상(Ir)의 좌표로 변환되도록 손떨림 보정 변환이 행하여져, 최종적인 변환 결과인 출력 화상이 출력된다. 이 백 워드 방식의 손떨림 보정 변환식은, 다음의 식(3)으로 표시된다.
[수식 3]
Figure 112017122353884-pct00003
그런데, 이와 같은 처리에서 실제는, 하나의 좌표가 연속으로 변환될 뿐이기 때문에, 도 9의 A 및 도 9의 B에 도시하는 2개의 변형을 1개의 변형으로 총합하여도, 동일한 변환 결과를 얻을 수 있다.
그래서, 카메라 모듈(11)에서는, 도 10에 도시하는 바와 같은 방식에 의해 일괄로 좌표 변환을 행한다.
도 10에 도시하는 바와 같이, 렌즈 왜곡 보정 처리 및 손떨림 보정 처리를 일괄로 행하는데 사용되는 좌표 변환 함수 Td(TS(x, y))에 의해, 왜곡 보정 화상(Id)을 생성하는 일 없이, 입력 화상(I)의 좌표가 왜곡 보정 및 손떨림 보정 화상(Is)의 좌표로 변환된다. 이 백 워드 방식의 왜곡 및 손떨림 변환식은, 다음의 식(4)으로 표시된다.
[수식 4]
Figure 112017122353884-pct00004
이 방식을 채용하면, 좌표치만이 연속으로 변환 처리될 뿐이고, 입력 화상(I)으로부터, 최종적으로는 사용되지 않는 중간 화상(왜곡 보정 화상(Id))을 생성하는 것이 회피되고, 왜곡과 손떨림을 동시에 보정한 왜곡 보정 및 손떨림 보정 화상(Is)을 출력할 수 있다. 이에 의해, 카메라 모듈(11)은, 메모리량이나 계산량 등을 삭감할 수 있고, 시스템 구성에 대해 큰 어드밴티지를 얻을 수 있다.
다음에, 도 11 및 도 12를 참조하여, 렌즈 왜곡 및 손떨림을 보정하는 구체적인 방법에 관해 설명한다.
예를 들면, 이미지 센서(12)가, 피치 방향으로 회전각(-θp)(rad)으로 회전하고, 요 방향으로 회전각(-θy)(rad)으로 회전하고, 롤 방향으로 회전각(-θr)(rad)으로 회전하였다고 한다. 이때, 도 11에 도시하는, 왜곡이 없는 화상 좌표계에서의 좌표(xu, yu)의 점(pu)과, 좌표(Xu, Yu)의 점(Pu)과의 사이에는, 상술한 특허 문헌 1에 개시되어 있는 손떨림 보정 관계식, 즉, 다음의 식(5)이 성립된다.
[수식 5]
Figure 112017122353884-pct00005
또한, 식(5)에서, 초점 거리(L)는 이미지 센서의 광학 중심 위치에서의 초점 거리를 화소수으로 환산한 것이다. 즉, 식(5)의 손떨림 보정 관계식은, 상술한 도 9 및 도 10을 참조하여 설명한 손떨림 보정용의 좌표 변환 함수(TS(x, y))를 나타내고 있다. 여기서, 임의의 백 워드식 렌즈 왜곡 보정용의 좌표 변환 함수(Td(x, y))에 관해, 손떨림 보정 처리 및 렌즈 왜곡 보정 처리에서는, 다음의 식(6)에 따른 변환이 행하여진다.
[수식 6]
Figure 112017122353884-pct00006
식(6)에 따른 변환을 행함으로써, 출력 화상의 좌표계의 어느 좌표(xu, yu)에 대한 손떨림 보정을 행하기 전의 좌표(Xu, Yu)가 산출되고, 또한 이 좌표(Xu, Yu)에 대한 렌즈 왜곡 보정을 행하기 전의 좌표(Xd, Yd)가 산출된다. 이와 같이, 출력 화상의 좌표와 입력 화상의 좌표와의 대응 관계가 취하여지기 때문에, 중간 화상을 생성하는 일 없이, 렌즈 왜곡 보정 및 손떨림 보정을 동시에 행하는 것이 가능해진다.
그런데, 출력 화상에 굳이 렌즈 왜곡을 가하고 싶은 경우는, 상술한 처리에서 출력되는 좌표로서, 왜곡 보정된 점(pu)의 좌표(xu, yu)가 아니라, 왜곡을 포함하는 좌표계에 있어서 점(pd)의 좌표(xd, yd)를 이용하면 좋다. 이와 같은 처리는, 예를 들면, 좌표 변환 함수(Td(x, y))의 역함수로서 좌표 변환 역함수(Td -1(x, y))를 이용하면 좋고, 다음의 식(7)에 따라 변환이 행하여진다.
[수식 7]
Figure 112017122353884-pct00007
여기서, 카메라 모듈(11)에서 실제로 이용되는 2개의 렌즈 왜곡 처리 방법에 관해 설명한다.
우선, 제1의 렌즈 왜곡 처리 방법은, Brown-Conrady의 렌즈 왜곡 모델에 대응한 보정 방법이다. 이 모델에서는, 메리디오널 방향 및 새지털 방향의 양방의 왜곡이, 왜곡 보정에 이용하는 파라미터(k1, k2, k3, p1, p2) 및 왜곡 보정 전후의 광학 중심을 원점으로 한 정규화 좌표((xd, yd) 및 (xu, yu))를 이용하여, 다음의 식(8)과 같이 표현된다.
[수식 8]
Figure 112017122353884-pct00008
단, 식(8)에서 사용된 파라미터는, 렌즈 고유의 값이기 때문에, 미리 측정하여 둘 필요가 있다. 이와 같이, 파라미터를 사전에 측정하는 측정 조작을 카메라 캘리브레이션이라고 칭하고, 여러가지의 수법이 제안되어 있다. 그 중에서도, 파라미터를 측정하고 싶은 렌즈를 이용하여 체커 보드를 촬상한 Zhang의 수법(상술한 비특허 문헌 1)이, 일반적으로, 자주 이용되어 있다.
즉, 체커 보드의 격자점의 왜곡 상태를, 식(8)에 피팅함으로써, 파라미터가 측정된다. 일단 파라미터를 측정함에 의해, 후에는 백 워드 방식으로, 대상으로 하는 왜곡 보정 후의 좌표(xu, yu)에 대응하는 왜곡 보정 전의 좌표(Xd, Yd)를 계산하고, 그 위치에서의 취득한 화소치를 왜곡 보정 후의 좌표의 화소치로 하면 좋다. 또한, 파라미터가 정해지면 좌표마다의 왜곡 보정량은 일정하게 되기 때문에, 각 좌표에 대응하는 이동량을 유지하는 테이블을 갖는 것도 가능하다.
다음에, 제2의 렌즈 왜곡 처리 방법으로서, 상고(像高)를 키로 하는 테이블에 왜곡량을 넣어 두는 보정 방법에 관해 설명한다.
렌즈 왜곡에는, 메리디오널 방향의 성분 및 새지털 방향의 성분이 있는데, 새지털 방향의 성분은 메리디오널 방향에 비하여 작기 때문에, 메리디오널 방향, 즉 상고만의 함수로 근사할 수 있다. 따라서, 왜곡이 있는 광학계에 있어서 거리(rd)의 위치에서 결상한 점이, 왜곡이 없는 광학계에서 광학 중심으로부터의 거리(ru)의 위치에서 결상하였다고 하면, 광학 중심으로부터의 거리의 왜곡 비율 함수(D)를 이용하여, 거리(rd)는, 다음의 식(9)에 의해 표시할 수 있다.
[수식 9]
Figure 112017122353884-pct00009
이 왜곡 비율 함수(D)를 렌즈 설계 데이터나 실측치에 의거하여 사전에 측정함에 의해, 렌즈 왜곡을 고려한 손떨림 보정 처리를 행할 수가 있다. 여기서, 렌즈 왜곡을 고려한 손떨림 보정 처리에서의 순서에 관해 설명한다.
우선, 제1의 순서에서, 왜곡이 없는 손떨림 보정 후 화상(출력 화상)의 좌표계에서의 좌표(xu, yu)가 지정된다. 다음에, 제2의 순서에서, 좌표(xu, yu)를, 이미지 센서(12)의 회전각에 의해 정해지는 손떨림 보정 관계식에 적용시켜서, 왜곡이 없는 손떨림 보정 전 화상에서의 좌표(Xu, Yu)가 산출된다. 그리고, 제3의 순서에서, 왜곡에 의한 왜곡 비율 함수(D)를 이용하여, 왜곡이 있는 손떨림 보정 전 화상에서의 좌표(Xd, Yd)가 산출된다. 이 연산은, 다음의 식(10)과 같이 표시할 수 있다.
[수식 10]
Figure 112017122353884-pct00010
또한, 제4의 순서로, 좌표(Xd, Yd)에서의 화소치가 취득되고, 이것이 출력 화상의 좌표(xu, yu)에서의 화소치가 된다.
또한, 왜곡 비율 함수(D)는, 예를 들면, 연산을 간단하게 하기 위해 거리의 제곱(r2)의 함수로 하여도 좋다. 또한, 출력 화상에 굳이 렌즈 왜곡을 남겨 두고 싶은 경우는, 전술한 좌표(xu, yu)에 대해 왜곡 비율 함수를 적용하여 좌표 변환을 행하여 좌표(xd, yd)를 구하고, 그 위치에서의 화소치를, 상술한 제4의 순서에서 취득한 것으로 하면 좋다.
또한, 상면(像面) 내의 렌즈 왜곡을 촬상하고, 손떨림 보정식의 초점 거리(L)를 상면 위치에 응하여 변화시킴으로써, 단일한 보정식을 적용할 뿐으로 렌즈 왜곡과 손떨림을 동시에 보정하는 것도 가능하다. 즉, 화상의 면 내의 위치에 응한 손떨림 및 왜곡의 영향의 차이에 대응하여, 화상을 보정할 수 있다. 이 방식에 관해, 이하에서 설명한다.
상술한 설명과 마찬가지로, 이미지 센서가 피치 방향으로 회전각(-θp)(rad)으로 회전하고, 요 방향으로 회전각(-θy)(rad)으로 회전하고, 롤 방향으로 회전각(-θr)(rad)으로 회전하였다고 하면, 좌표(xu, yu)의 점(pu)과, 좌표(Xu, Yu)의 점(Pu)과의 사이에는, 상술한 특허 문헌 1에 개시되어 있는 손떨림 보정 관계식이 성립된다. 이 관계식은, 다음의 식(11)으로 표시된다.
[수식 11]
Figure 112017122353884-pct00011
여기서, 식(11)에서, 손떨림 보정 관계식의 초점 거리(L)는 이미지 센서의 광학 중심 위치에서의 초점 거리를 화소수로 환산하는 것이다.
예를 들면, 렌즈 왜곡이 없는 이상(理想) 렌즈에서, 이 초점 거리는 상면상의 위치에 의하지 않고 일정하지만, 실제의 렌즈에서는 왜곡 때문에, 상면상의 위치에 따라 초점 거리가 다르다고 간주할 수 있다. 그래서, 상면 위치에서의 피치 방향 및 요 방향이 가상적인 초점 거리(Lp(xu, yu) 및 Ly(xu, yu))를 사전에 측정하고, 초점 거리(Lp(xu, yu) 및 Ly(xu, yu))를 이용하여 상술한 손떨림 보정 관계식을 이용함으로써, 왜곡을 고려한 좌표 변환을 행할 수가 있다. 이 관계식은, 다음의 식(12)으로 표시된다.
[수식 12]
Figure 112017122353884-pct00012
도 12는, 식(12)을 이용한 변환 방식에 관해 설명하는 도면이다. 이하에서는, 구체적인 변환 순서를 설명한다.
우선, 제1의 순서에서, 왜곡이 없는 손떨림 보정 후 화상(출력 화상)의 좌표계에서의 좌표(xu, yu)가 지정된다. 다음에, 제2의 순서에서, 좌표(xu, yu)를, 이미지 센서(12)의 회전각과 그 상면 위치에서 초점 거리에 의해 정해지는 손떨림 보정 관계식에 적용시켜서, 왜곡이 있는 손떨림 보정 전 화상에서 좌표(Xd, Yd)가 산출된다. 그리고, 제3의 순서에서, 좌표(Xd, Yd)에서 화소치가 취득되고, 이것이 출력 화상의 좌표(xu, yu)에서의 화소치가 된다.
또한, 상면 위치에서 가상적인 초점 거리(L(xu, yu))의 측정은, 다음에 설명하는 2개의 방법에 의해 실현할 수 있다.
우선, 제1의 방법에서는, 모션 센서 데이터와 함께 실제로 화상을 촬상하고, 모션 센서에 의한 손떨림 보정 처리와, 광학 플로우나 블록 매칭 등의 화상 처리에 의한 손떨림 보정 처리와의 양방이 행하여진다. 그리고, 양자를 비교함에 의해, 가상적인 초점 거리(L(xu, yu))가 구하여진다. 이 제1의 방법에서는, 왜곡이 (전혀 없는 영역에서는 양자의 이동량은 일치함에 대해, 왜곡이 있는 영역에서는 양자의 이동량이 다름에 의해, 양자의 차분이 제로가 되도록 함으로써, 가상적인 초점 거리(Lp(xu, yu) 및 Ly(xu, yu))를 구할 수 있다.
다음에, 제2의 방법은, 렌즈 설계 데이터를 이용하는 방법이다. 즉, 렌즈 설계 데이터를 이용함에 의해, 모든 광학 정보를 재현할 수 있기 때문에, 이것을 이용하여 가상적인 초점 거리(L(xu, yu))를 추정할 수 있다.
이와 같이 하여 구한, 초점 거리(Lp(xu, yu) 및 Ly(xu, yu))를 이용한 변환을 행하여, 도 12에 도시하는 바와 같이, 좌표(xu, yu)의 점(pu)을 좌표(Xd, Yd)의 점(Pd)으로 변환함으로써, 손떨림 및 왜곡을 보정할 수 있다.
그런데, 출력 화상에 굳이 렌즈 왜곡을 가하고 싶은 경우는, 상술한 처리에서 출력되는 좌표로서, 왜곡 보정된 점(pu)의 좌표(xu, yu)가 아니라, 왜곡을 포함하는 좌표계에 점(pd)의 좌표(xd, yd)를 이용하면 좋다. 이때, 상술한 가상적인 초점 거리(Lp 및 Ly)를, 렌즈 왜곡을 포함한 채로 사전에 구하고 둠으로써, 이 처리를 실현할 수 있다. 즉, 도 12에 도시하는 바와 같이, 초점 거리(Lp(xd, yd) 및 Ly(xd, yd))를 이용한 변환을 행하여, 좌표(xd, yd)의 점(pd)을 좌표(Xd, Yd)의 점(Pd)으로 변환하면 좋다.
<제어 화소에 대한 렌즈 왜곡 보정 처리 및 손떨림 보정 처리에 관해>
도 13 내지 도 15를 참조하여, 제어 화소에 대한 렌즈 왜곡 보정 처리 및 손떨림 보정 처리에 관해 설명한다.
일반적으로, 렌즈 왜곡 보정 처리 및 손떨림 보정 처리는, 발생하는 왜곡 및 손떨림의 정도에도 따르지만, 반드시 전 화소에 대해 정확하게 시행할 필요는 없다. 예를 들면, 일부의 화소에 대해서만 정확한 보정 처리를 행하고, 그 화소로 둘러싸여진 영역 내에 관해서는, 보정 처리가 행하여진 화소를 이용한 단순한 보간 처리에 의해 화질을 유지한 채로 근사할 수 있다.
그래서, 카메라 모듈(11)에서는, 특정한 제어 화소에 대해서만 정확한 렌즈 왜곡 보정 처리 및 손떨림 보정 처리를 행하고, 그들의 제어 화소를 이용하여, 제어 화소 이외의 화소에 대해 간이적인 보간 처리를 행함으로써, 최종적으로 화상 전체의 보정을 행하는 방법을 채용한다. 이하에서는, 제어 화소를 이용한 처리 방법에 관해 설명한다.
우선, 도 13을 참조하여, 제어 화소를 화상 내에 배치하는 배치례에 관해 설명한다.
도 13에서는, 제어 화소가 흰원(○)으로 표시되어 있다. 예를 들면, 도 13의 A에서는, 제어 화소를 격자형상으로 배치하는 배치례가 도시되어 있고, 도 13의 B에서는, 제어 화소를 삼각형상으로 배치하는 배치례가 도시되어 있다. 또한, 도 13의 C에는, 제어 화소를 전 화소(모든 좌표)에 배치하는 배치례가 도시되어 있고, 좌상 1열째의 일부의 제어 화소만이 도시되어 있다. 또한, 도 13의 C에 도시하는 배치례는, 1변의 길이를 1화소분으로 한 특별한 케이스에서의 격자형상의 배치라고도 말할 수 있다.
이와 같이, 격자형상 또는 삼각형으로 제어 화소를 배치하는 것은, 컴퓨터 그래픽스(CG : Computer Graphics)와의 상성(相性)을 고려하였기 때문이다. 예를 들면, CG에서는, 폴리곤에 의해 물체 형상을 표현하는 것이 일반적이고, 그 폴리곤의 정점(頂点)에 텍스쳐 좌표를 할당함에 의해, 물체를 보다 실물(實物)과 같이 렌더링하고 있다. 카메라 모듈(11)에서는, 계산의 간이화뿐만 아니라, 손떨림 보정 화상의 출력시에 CG의 체제를 이용할 수 있도록, 이와 같은 제어 화소의 배치를 채용하고 있다.
다음에, 도 14를 참조하여, 제어 화소의 배치 밀도(密度)에 관해 설명한다.
카메라 모듈(11)에서는, 도 14의 A에 도시하는 바와 같이 제어 화소를 균등하게 배치하는 배치례 및 도 14의 B에 도시하는 바와 같이 제어 화소를 비균등하게 배치하는 배치례의 어느 쪽을 채용하여도 좋다. 예를 들면, 도 14의 B에 도시하는 바와 같이 제어 화소를 비균등하게 배치함에 의해, 화상 전체에서의 제어 화소의 개수를 바꾸는 일 없이, 조밀한(密な) 화상 변형에도 대응할 수 있다.
즉, 렌즈 왜곡 형상이 화상 주변에서 복잡하게 변화하는 경우, 왜곡 방식의 변화가 특히 복잡한 위치에 제어 화소를 조밀하게 배치하는 한편, 기타의 위치에서는 제어 화소를 드문드문하게 배치함으로써, 제어 화소의 수를 바꾸지 않고서 렌즈 왜곡 보정 처리의 정밀도를 유지할 수 있다. 또한, 모션 센서(13)의 검출에 의거한 회전각의 변화가 큰 영역에는 제어 화소를 조밀하게 배치한 한편, 회전각의 변화가 작은 영역에는 드문드문하게 배치함으로써, 제어 화소의 총 개수를 바꾸는 일 없게 손떨림 보정의 효과를 향상시킬 수 있다.
또한, 제어 화소의 개수는 프레임마다 변경하는 것도 가능하고, 예를 들면, 움직임이 적은 프레임에서는 제어 화소의 총 개수를 삭감하거나, 이미지 센서(12)의 손떨림에 의한 변화가 큰 영역에만 제어 화소를 배치하거나 할 수 있다. 이와 같은 제어 화소의 배치 방법에 의해 화상 보정의 효과를 높이는 것이 가능해지고, 동시에, 계산 효율도 높일 수 있다.
예를 들면, 카메라 모듈(11)에서는, 화상 보정에 필요한 계산은 제어 화소에 대해서만 행하고, 제어 화소 이외의 화소에 관해서는 삼각형 또는 사각형의 형상에 의거하여 보간 처리를 행한다. 즉, 제어 화소수가 적을수록 복잡한 연산을 행하는 화소수가 감소하는 것으로 되기 때문에, 제어 화소의 개수를 최소한으로 억제하고, 또한, 보정 효과를 향상시키기 위해서는, 예를 들면, 도 14의 B에 도시한 바와 같은 비균등 배치를 적절하게 채용하는 것이 중요해진다.
다음에, 도 15를 참조하여, 제어 화소 이외의 화소의 보간 방법에 관해 설명한다.
예를 들면, 제어 화소가 사각형 형상으로 배치된 경우에는, 도 15의 A에 도시하는 바와 같은 바이리니어 보간이 적용된다. 또한, 제어 화소가 삼각형으로 배치된 경우에는, 도 15의 B에 도시하는 바와 같은 중심좌표(重心座標) 보간이 적용된다.
도 15의 A에 도시하는 바와 같이, 바이리니어 보간에서는, 사각형 형상으로 배치된 제어 화소에 의거하여, 제어 화소 이외의 화소가 보간된다. 예를 들면, 제어 화소를 정점(p00), 정점(p10), 정점(p01) 및 정점(p11)으로 한 사각형 형상의 내측에서, 비율(u : v)이 되는 내분점(p)을 변형하는 경우, 바이리니어 보간에 의해, 이하의 식(13)에 표시하는 바와 같이, 변형 후의 내분점(p')의 좌표가 산출된다. 즉, 변형 후의 제어 화소의 정점(p00'), 정점(p10'), 정점(p01') 및 정점(p11')의 좌표에 대한 비율(u : v)에 의거하여, 내분점(p)에 대응하는 내분점(p')의 좌표가 산출된다.
[수식 13]
Figure 112017122353884-pct00013
그리고, 전자식 손떨림 보정(EIS) 및 왜곡 보정에 의한 변형 후의 좌표를 취득한 후, 이 위치에서 화소치를 서브샘플링하여 취득한다. 예를 들면, 리샘플링은, 니어리스트 네이버나, 바이리니어, 바이큐빅, 이방성 필터링 등의 일반적인 리샘플링 수법을 이용할 수 있다. 또한, 이 보간 처리는 CG에서의 텍스쳐 보간 처리를 이용할 수 있기 때문에, GPU(Graphics Processing Unit)를 이용함에 의해, 하드웨어에 의한 고속의 처리를 행할 수가 있다. 이 경량으로 고속의 보간 처리를 행함으로써, 모든 화소에 대해 렌즈 왜곡 보정 처리 및 손떨림 보정 처리의 계산을 행하는 일 없고, 주위의 제어 화소의 좌표에 의거하여, 제어 화소 이외의 화소에 대해 효과를 근사할 수 있다.
또한, 도 15의 B에 도시하는 바와 같이, 중심좌표 보간에서는, 삼각형상으로 배치된 제어 화소에 의거하여, 제어 화소 이외의 화소가 보간된다. 우선, 중심좌표 보간에서는, 변형 전의 삼각형에서, 어느 하나의 내분점(p)에 의해 결정되는 부분삼각형의 면적(S1), 면적(S2) 및 면적(S3)을 산출하여 둔다. 다음에, 전자식 손떨림 보정(EIS) 및 왜곡 보정에 의한 변형 후의 내분점(p')의 좌표는, 앞서 구한 부분 삼각형의 면적(S1), 면적(S2) 및 면적(S3)과, 변형 후의 정점(p1'), 정점(p2') 및 정점(p3')의 좌표를 이용하여, 다음의 식(14)에 따라 산출할 수 있다.
[수식 14]
Figure 112017122353884-pct00014
그리고, 내분점(p')의 좌표를 산출한 후, 상술한 바이리니어 보간과 마찬가지로, 원래의 화상의 화소치를 어떠한 리샘플링 수법에 의해 취득한다.
<보정 결과 출력 방식에 관해>
도 16 내지 도 20을 참조하여, 카메라 모듈(11)에서 보정 결과를 출력하는 방식에 관해 설명하다. 또한, 도 16 내지 도 20에서는, 도 1에 도시한 카메라 모듈(11)을 구성하는 블록 중, 보정 결과 출력 방식의 설명에 불필요한 블록의 도시는 생략되어 있다. 예를 들면, 카메라 모듈(11)에서는, 이하에서 설명하는 바와 같은 5개의 방식에 의해 보정 결과가 출력된다.
도 16은, 제1의 보정 결과 출력 방식을 설명하는 도면이다.
도 16에 도시하는 바와 같이, 제1의 보정 결과 출력 방식에서는, 모션 센서 출력이 모션 신호 처리부(16)에 입력되고, 좌표 변환 처리부(17)에 제어 화소 좌표 및 렌즈 왜곡 보정 계수가 입력되고, 화상 변형부(18)에 입력 화상이 입력된다. 그리고, 모션 신호 처리부(16)는, 모션 센서 출력을, 카메라 모듈(11)의 움직임을 나타내는 움직임 정보로 변환하는 신호 처리를 행한다. 이때, 모션 신호 처리부(16)는, 상술한 바와 같이 적분 오차 등을 보정하는 신호 처리를 행한다. 또한, 도 16 내지 도 20의 설명에서, 이와 같은 보정이 행하여져서 좌표 변환 처리부(17)에 의해 구하여지는 카메라 모듈(11)의 움직임을 나타내는 움직임 정보를, 보정 모션 센서 출력이라고 칭한다.
또한, 좌표 변환 처리부(17)는, 모션 신호 처리부(16)로부터 공급되는 보정 모션 센서 출력에 의거하여, 손떨림 및 렌즈 왜곡을 보정하는 좌표 변환 처리를 제어 화소에 대해 행하고, 그 결과 얻어지는 보정 제어점 좌표를 화상 변형부(18)에 공급한다. 그리고, 화상 변형부(18)는, 보정 제어점 좌표에 의거하여 입력 화상을 변형하는 화상 변형 처리를 행하고, 그 결과 얻어지는 보정 결과 화상을 출력한다.
이와 같이, 제1의 보정 결과 출력 방식에서는, 처리에 필요한 모든 정보가 카메라 모듈(11)에 입력되고, 보정 결과 화상만이 카메라 모듈(11)로부터 출력된다. 따라서, 제1의 보정 결과 출력 방식에 의해, 손떨림 보정 시스템을 블랙 박스로서 취급할 수 있다.
도 17은, 제2의 보정 결과 출력 방식을 설명하는 도면이다.
도 17에 도시하는 바와 같이, 제2의 보정 결과 출력 방식에서는, 모션 센서 출력이 모션 신호 처리부(16)에 입력되고, 좌표 변환 처리부(17)에 제어 화소 좌표 및 렌즈 왜곡 보정 계수가 입력된다. 한편, 입력 화상은, 그대로 카메라 모듈(11)을 스루하여 출력된다. 그리고, 모션 신호 처리부(16)는, 모션 센서 출력에 대한 신호 처리를 행하여 보정 모션 센서 출력을 좌표 변환 처리부(17)에 공급한다. 또한, 좌표 변환 처리부(17)는, 모션 신호 처리부(16)로부터 공급되는 보정 모션 센서 출력에 의거하여, 손떨림 및 렌즈 왜곡을 보정하는 좌표 변환 처리를 제어 화소에 대해 행하고, 그 결과 얻어지는 보정 제어점 좌표를 출력한다.
이와 같이, 제2의 보정 결과 출력 방식에서는, 처리에 필요한 모든 정보가 카메라 모듈(11)에 입력되고, 아무것도 처리가 행하여지지 않은 입력 화상과, 보정 제어 화소 좌표가, 카메라 모듈(11)로부터 출력된다. 따라서, 제2의 보정 결과 출력 방식에 의해, 보정 제어 화소 좌표와 입력 화상을 후단의 시스템의 CG 처리계에 입력하고, 이른바 폴리곤에의 텍스쳐 매핑 형식으로 화면 제시를 행함으로써, 보다 효율이 좋은 결과 화상 제시를 실현할 수 있다.
또한, 카메라 모듈(11)이, 라인 단위 처리의 하드웨어 회로에 의해 실현되고 있는 경우, 화상 정보를 유지하는 라인 메모리의 용량 제한을 위해, 라인과 수직한 방향의 보정 결과를 화상에 반영하는 것은 곤란하다. 이에 대해, 제2의 보정 결과 출력 방식을 채용한 경우, 화상 그 자체에 대한 처리는 행하지 않기 때문에 라인 메모리의 문제는 회피되고, 또한 보정 제어 화소 좌표 및 입력 화상을 CG 처리계에 입력함으로써, 텍스쳐 매핑을 이용한 결과 화상의 표시도 용이하게 행하는 것이 가능해진다.
도 18은, 제3의 보정 결과 출력 방식을 설명하는 도면이다.
도 18에 도시하는 바와 같이, 제3의 보정 결과 출력 방식에서는, 모션 센서 출력이 모션 신호 처리부(16)에 입력된다. 한편, 입력 화상, 제어 화소 좌표 및 렌즈 왜곡 보정 계수는, 그대로 카메라 모듈(11)을 스루하여 출력된다. 그리고, 모션 신호 처리부(16)는, 모션 센서 출력에 대한 신호 처리를 행하여 보정 모션 센서 출력을 출력한다.
이와 같이, 제3의 보정 결과 출력 방식에서는, 카메라 모듈(11)에서 처리의 대상이 되는 것은 모션 센서 출력뿐이고, 기타의 입력 정보는 그대로 출력된다. 예를 들면, 제3의 보정 결과 출력 방식은, 카메라 모듈(11)에서의 모션 신호 처리만을 이용하고, 기타의 처리는, 카메라 모듈(11)의 후단에 독자 실장된 구성에서 이용된다.
모션 신호 처리부(16)에 의한 신호 처리에서는, 예를 들면, 모션 센서의 드리프트 보정이나, 노이즈 제거를 위한 필터링이 행하여지지만, 이들 신호 처리는, 모션 센서(13)에 대한 노하우가 필요해진다. 이 때문에, 모션 센서 출력을 잘 다루는 것은 결코 간단한 것은 아니다. 그와 같은 케이스에서, 카메라 모듈(11)에서 모션 신호 처리부(16)에 의한 신호 처리를 제공하는 것으로, 카메라 모듈(11)과 접속한 다른 시스템은 움직임에 관한 책무를 부담할 필요가 없어져서, 시스템 전체를 효율적으로 구축하는 것이 가능해진다.
도 19는, 제4의 보정 결과 출력 방식을 설명하는 도면이다.
도 19에 도시하는 바와 같이, 제4의 보정 결과 출력 방식에서는, 모션 센서 출력이 모션 신호 처리부(16)에 입력된다. 한편, 입력 화상, 제어 화소 좌표 및 렌즈 왜곡 보정 계수는, 그대로 카메라 모듈(11)을 스루하여 출력된다. 그리고, 모션 신호 처리부(16)는, 모션 센서 출력에 대한 신호 처리를 행하고, 카메라 모듈(11)의 움직임을 나타내는 움직임 정보로 변환하는데, 이때, 상술한 바와 같은 적분 오차 등의 보정은 행하여지지 않는다. 즉, 모션 신호 처리부(16)는, 보정 없는 모션 센서 출력을 출력한다.
이와 같이, 제4의 보정 결과 출력 방식에서는, 예를 들면, 모션 센서(13)로부터 공급되는 각속도를 단지 적분하여 얻어진 각도만큼을 보정 없는 모션 센서 출력으로서 출력하고, 기타의 입력 정보가 그대로 출력된다. 이것은, 복잡한 모션 신호 처리 기능이나 화상 변형 처리 등을, 후단의 시스템에서 실장하는 경우에 취할 수 있는 형태이다.
도 20은, 제5의 보정 결과 출력 방식을 설명하는 도면이다.
도 20에 도시하는 바와 같이, 제5의 보정 결과 출력 방식에서는, 입력 화상, 제어 화소 좌표, 렌즈 왜곡 보정 계수 및 모션 센서 출력은, 그대로 카메라 모듈(11)을 스루하여 출력되고, 카메라 모듈(11)에서의 처리는 행하여지지 않는다.
이와 같이, 제5의 보정 결과 출력 방식에서는, 카메라 모듈(11)에서는 아무것도 처리를 행하지 않고서 입력된 정보를 스루할 뿐이다. 이것은, 예를 들면, 동화상의 촬상시에 손떨림 보정 기능을 오프로 한 때를 상정한 형식으로 되어 있고, 카메라 모듈(11)이 실장되는 촬상 장치에서는, 필요에 응하여, 보정 결과 출력 방식의 전환을 설정할 수 있다.
이상과 같이, 카메라 모듈(11)은, 상술한 바와 같은 제1 내지 제5의 보정 결과 출력 방식을 이용하는 것이 상정되고, 각각 필요에 응한 보정 결과가 후단에 출력된다. 예를 들면, 카메라 모듈(11)에서는, 유저에 의한 설정에 따라, 어느 하나의 보정 결과 출력 방식으로 전환할 수 있다.
<가속도를 이용한 수평 유지에 관해>
도 21을 참조하여, 카메라 모듈(11)에서, 3축방향의 가속도를 이용하여 수평 방향에 대한 절대각을 산출하는 방법에 관해 설명한다.
도 21에 도시하는 바와 같이, 모션 신호 처리부(16)는, 수평 절대각 산출부(31), 칼만 필터(32) 및 적응적 LPF(로우패스 필터(33))를 구비하여 구성된다. 그리고, 모션 신호 처리부(16)에는, 모션 센서(13)로부터 출력되는 모션 센서 출력으로서, 3축방향의 가속도[αx, αy, αz], 피치 방향의 각속도(ωpitch), 롤 방향의 각속도(ωroll) 및 요 방향의 각속도(ωyaw)가 공급된다.
수평 절대각 산출부(31)는, 다음의 식(15)을 연산함으로써, 수평 절대각으로서, 피치각(θpitch) 및 롤각(θroll)의 연직 방향에 대한 경사를 산출한다.
[수식 15]
Figure 112017122353884-pct00015
단, 식(15)에서, 파라미터(μ)는, 제로로 나눗셈이 행하여지는 것을 회피하기 위해 임의의 값이 지정된다. 또한, 피치각(θpitch), 롤각(θroll) 및 요각(θyaw)은, 도 22에 도시하는 바와 같이 정의된다.
칼만 필터(32)는, 수평 절대각 산출부(31)에 의해 산출된 수평 절대각인 피치각(θpitch) 및 롤각(θroll)과, 피치 방향의 각속도(ωpitch) 및 롤 방향의 각속도(ωroll)를 이용하여, 칼만 필터에 의한 오차 예측을 행한다.
예를 들면, 가속도로부터 구한 각도에는 이미지 센서(12)의 움직임에 의한 가속도의 성분에 의한 순간적인 오차(고주파 성분의 오차)가 많이 포함되어 있다. 또한, 각속도로부터 구한 각도에는 자이로 드리프트에 의한 천천히 변화하는 성분의 오차(저주파 성분의 오차)가 많이 포함되어 있다. 따라서, 칼만 필터(32)는, 이들의 오차를 제거하기 위해 오차 예측을 구하고, 손떨림에 의한 오차 및 자이로 드리프트에 의한 오차 성분을 제거함으로써, 정밀도가 높은 수평 절대각인 피치각(θ'pitch) 및 롤각(θ'roll)을 얻을 수 있다.
적응적 LPF(33)는, 회전량이 작은 때의 평균치를 산출한다. 예를 들면, 칼만 필터(32)에 의해, 중력 가속도를 이용하는 것만으로는 수평 방향의 회전(요 방향 회전)의 보정을 행할 수가 없다. 그래서, 적응적 LPF(33)가, 요 방향의 각도에 관해서는 자이로스코프로부터 얻어진 각속도(ωyaw)에 대해 적응적 로우패스 필터를 걸침에 의해, 자이로 드리프트의 제거를 행한다. 또한, 적응적 LPF(33)는, 회전량이 작은 때의 평균치를 산출할 수 있으면 어떤 수법을 이용하여도 좋다.
예를 들면, 적응적 LPF(33)는, 다음의 식(16)을 이용한 가중평균 수법에 의해, 적응적으로 무게(ωk)를 계산함으로써, 가중평균을 산출한다.
[수식 16]
Figure 112017122353884-pct00016
즉, 적응적 LPF(33)는, 식(16)에 표시하는 바와 같이, 각속도의 변화량인 각가속도(α(t))를 산출하고, 현재 얻어지고 있는 오프셋 양과 자이로스코프 각속도와의 차분(d(t))을 산출하고, 가속도로부터 얻어진 움직임량(m(t))을 산출한다. 그리고, 적응적 LPF(33)는, 각가속도(α(t)), 차분(d(t)) 및 움직임량(m(t))을 이용하여, 적응적으로 무게(ωk)를 계산할 수 있다.
이와 같이, 모션 신호 처리부(16)는, 보정 절대 각도[피치각(θ'pitch) 및 롤각(θ'roll)]와, 자이로 드리프트가 제거된 보정 각도[요각(θ'yaw)]를 구하여, 좌표 변환 처리부(17)에 공급한다. 그리고, 좌표 변환 처리부(17)는, 모션 신호 처리부(16)에 의해 구하여진 보정 절대 각도 및 보정 각도를 이용하여 좌표 변환 처리를 행하고, 화상 변형부(18)는, 입력 화상(I)에 대한 화상 변형을 행하여 보정 화상(I')을 출력할 수 있다.
이와 같이, 카메라 모듈(11)은, 가속도계를 이용한 수평 유지 기능이 있는 손떨림 보정을 실행할 수 있다.
또한, 화상 변형부(18)는, 예를 들면, 상술한 특허 문헌 1에 개시되어 있는 화상 변형 처리를 행할 수가 있다. 또한, 화상 변형부(18)는, 예를 들면, 컴퓨터 비전에서 사용된 호모그래피 처리를 행하여도 좋다.
도 23은, 호모그래피 처리에 관해 설명하는 도면이다.
호모그래피 처리에서는, 3축분의 회전을 나타내는 회전 행렬(R)과, 사영 변환 행렬(K)을 이용하여 화상 변환을 행할 수가 있다. 여기서, 회전 행렬(R), 사영 변환 행렬(K) 및 사영 변환 역행렬(K-1)은, 다음의 식(17)으로 표시된다.
[수식 17]
Figure 112017122353884-pct00017
이 식(17)에 표시되어 있는 회전 행렬(R)에서, 피치각(θpitch), 롤각(θroll), 요각(θyaw)은, 상술한 도 22와 마찬가지로 정의된다. 또한, 사영 변환 행렬(K) 및 사영 변환 역행렬(K-1)은, x방향 초점 거리(fx), y방향 초점 거리(fy), x방향 광학 중심(xc) 및 y방향 광학 중심(yc)에 의해 표시된다.
이상의 일련의 처리에 의해, 수평 방향을 항상 유지하는 전자 손떨림 보정이 가능해진다.
<촬상 방법에 관해>
다음에, 도 24의 플로우 차트를 참조하여, 카메라 모듈(11)에 의한 촬상 방법에서 실행되는 처리의 한 예에 관해 설명한다.
예를 들면, 카메라 모듈(11)에서는, 촬상부(21)에 의해 1프레임의 촬상이 시작된다. 스텝 S11에서, 동기 처리부(22)는, 촬상부(21)로부터 출력되는 화상 데이터와, 모션 센서(13)로부터 출력되는 모션 센서 출력과의 동기를 취하는 동기 처리를 행한다. 그리고, 동기 처리부(22)는, 화상 데이터와 모션 센서 출력을 통합한 모션 센서 출력 붙음 화상 데이터를, 데이터 분리부(15)에 공급한다.
스텝 S12에서, 데이터 분리부(15)는, 스텝 S11에서 동기 처리부(22)로부터 공급된 모션 센서 출력 붙음 화상 데이터를 분리하여, 모션 센서 출력을 모션 신호 처리부(16)에 공급하고, 화상 데이터를 화상 변형부(18)에 공급한다.
스텝 S13에서, 모션 신호 처리부(16)는, 스텝 S12에서 데이터 분리부(15)로부터 공급된 모션 센서 출력을, 카메라 모듈(11)의 움직임을 나타내는 움직임 정보로 변환하여 좌표 변환 처리부(17)에 공급한다.
스텝 S14에서, 좌표 변환 처리부(17)는, 파라미터 기억부(14)로부터 렌즈 왜곡 계수 및 제어 화소 좌표를 판독하고, 스텝 S13에서 모션 신호 처리부(16)로부터 공급된 움직임 정보에 의거한 좌표 변환 처리를 행한다. 그리고, 좌표 변환 처리부(17)는, 좌표 변환 처리에서, 화상상의 좌표를, 제어점 좌표마다 손떨림 및 왜곡의 양방이 화상에 주는 영향을 억제하도록 일괄로 변환하기 위한 보정 제어점 좌표를 산출하여, 화상 변형부(18)에 공급한다.
스텝 S15에서, 화상 변형부(18)는, 스텝 S12에서 데이터 분리부(15)로부터 공급된 화상 데이터에 대해, 스텝 S14에서 좌표 변환 처리부(17)로부터 공급된 보정 제어점 좌표에 의거한 좌표 변환 처리를 시행한다. 이와 같이, 화상 변형부(18)가 화상 데이터에 좌표 변환 처리를 시행함에 의해 렌즈 왜곡 보정 처리 및 손떨림 보정 처리가 일괄로 행하여지고, 이에 의해 보정된 화상이 보정 결과 화상으로서 출력되고, 처리는 종료된다. 그 후, 다음의 1프레임의 촬상이 시작되는 타이밍까지 대기하고, 같은 처리가 반복하여 행하여진다.
이와 같이, 카메라 모듈(11)에서는, 렌즈 왜곡 보정 처리 및 손떨림 보정 처리가 일괄로 행하여짐에 의해, 화상을 효과적으로 보정할 수 있다.
이상과 같이, 카메라 모듈(11)에서는, 상술한 도 2 내지 도 5를 참조하여 설명한 바와 같이, 움직임 정보와 화상 정보의 동기가 취하여져 있기 때문에, 심한 움직임에 대해서도 정확하게 손떨림 보정을 행할 수가 있다.
그리고, 카메라 모듈(11)에서는, 상술한 도 7을 참조하여 설명한 바와 같이, 1프레임의 화상의 노광중의 움직임 정보를 전부, 그 프레임에 포함하여 이용할 수 있기 때문에, 손떨림뿐만 아니라 면(面) 내 흔들림 보정에도 응용할 수 있다.
또한, 카메라 모듈(11)에서는, 상술한 도 21을 참조하여 설명한 바와 같은 수평 제어가 행하여지기 때문에, 예를 들면, 프리뷰를 보지 않아도 수평하게 촬상할 수 있고, 적당하게 삼각 받침대에서도 수평하게 촬상할 수 있다.
또한, 카메라 모듈(11)에서는, 렌즈 왜곡 모델에 대응한 보정 방법, 또는, 상고를 키로 하는 테이블에 왜곡량을 넣고 두는 보정 방법에 의해, 화상 주변부에서도 전자 손떨림 보정에 의한 위치맞춤 정밀도의 저하를 억제할 수 있어서, 보다 간단한 처리로 왜곡 보정을 실현할 수 있다.
또한, 카메라 모듈(11)에서는, 상술한 도 13 내지 도 15를 참조하여 설명한 바와 같이, 특정한 제어 화소를 이용하여 처리가 행하여지기 때문에, 보정 정밀도의 저하를 막으면서 처리의 경량화를 도모할 수 있다.
그리고, 카메라 모듈(11)에서는, 상술한 도 16 내지 도 20을 참조하여 설명한 바와 같이, 다양한 보정 결과 출력 방식이 사용되기 때문에, 각각의 형식으로 처리 결과를 출력할 수가 있어서, 유연한 시스템 구성이 가능하다.
또한, 카메라 모듈(11)은, 각각 다른 칩으로 구성되는 이미지 센서(12) 및 모션 센서(13)를 조합시켜서 이용할 수 있다. 또는, 카메라 모듈(11)은, 이미지 센서(12)로서, 센서 기판과 로직 기판이 적층된 적층형의 CMOS 이미지 센서를 이용하여, 모션 센서(13)를 이미지 센서(12)에 내장하는 구성으로 하여도 좋다. 이와 같이, 이미지 센서(12) 및 모션 센서(13)가 적층형의 CMOS 이미지 센서에 의해 구성되는 경우, 그들의 동기를 용이하게 취할 수 있다. 또한, 카메라 모듈(11)을 구성하는 모든 블록이, 적층형의 CMOS 이미지 센서에 실장되는 구성을 채용하여도 좋다.
또한, 예를 들면, 적어도 1장 분의 화상을 기억하는 프레임 메모리로서 이용 가능한 메모리 칩이 적층된 구성의 적층형의 고체 촬상 소자에서는, 화상 변형부(18)에 의해, 메모리 칩에 기억되어 있는 화상에 대한 화상 변형 처리를 행할 수가 있다. 즉, 본 기술은, 센서 기판과 로직 기판이 적층되고, 로직 기판에서 좌표 변환 처리를 행하여 보정 결과 화상을 후단에 출력하는 적층형의 CMOS 이미지 센서에 적용할 수 있다.
<전자 기기의 구성례>
또한, 상술한 바와 같은 실시의 형태의 카메라 모듈(11)은, 예를 들면, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 촬상 시스템, 촬상 기능을 구비한 휴대 전화기, 또는, 촬상 기능을 구비한 다른 기기라는 각종의 전자 기기에 적용할 수 있다.
도 25는, 전자 기기에 탑재되는 촬상 장치의 구성례를 도시하는 블록도이다.
도 25에 도시하는 바와 같이, 촬상 장치(101)는, 광학계(102), 촬상 소자(103), 신호 처리 회로(104), 모니터(105) 및 메모리(106)를 구비하여 구성되고, 정지화상 및 동화상을 촬상 가능하다.
광학계(102)는, 1장 또는 복수장의 렌즈를 갖고서 구성되고, 피사체로부터의 상광(입사광)을 촬상 소자(103)에 유도하고, 촬상 소자(103)의 수광면(센서부)에 결상시킨다.
촬상 소자(103)로서는, 상술한 실시의 형태의 카메라 모듈(11)이 적용된다. 촬상 소자(103)에는, 광학계(102)를 통하여 수광면에 결상된 상에 응하여, 일정 기간, 전자가 축적된다. 그리고, 촬상 소자(103)에 축적된 전자에 응한 신호가 신호 처리 회로(104)에 공급된다.
신호 처리 회로(104)는, 촬상 소자(103)로부터 출력된 화소 신호에 대해 각종의 신호 처리를 시행한다. 신호 처리 회로(104)가 신호 처리를 시행함에 의해 얻어진 화상(화상 데이터)은, 모니터(105)에 공급되어 표시되거나, 메모리(106)에 공급되어 기억(기록)되거나 한다.
이와 같이 구성되어 있는 촬상 장치(101)에서는, 상술한 실시의 형태의 카메라 모듈(11)을 적용함으로써, 예를 들면, 보다 정확하게 손떨림 및 렌즈 왜곡이 보정된 화상을 촬상할 수 있다.
<이미지 센서의 사용례>
도 26은, 상술한 이미지 센서를 사용하는 사용례를 도시하는 도면이다.
상술한 이미지 센서는, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 케이스에 사용할 수 있다.
·디지털 카메라나, 카메라 기능 부착의 휴대 기기 등의, 감상용으로 제공되는 화상을 촬영하는 장치
·자동 정지 등의 안전운전이나, 운전자의 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차량탑재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 거리측정을 행하는 거리측정 센서 등의, 교통용으로 제공되는 장치
·유저의 제스처를 촬영하고, 그 제스처에 따른 기기 조작을 행하기 위해, TV나, 냉장고, 에어 컨디셔너 등의 가전에 제공되는 장치
·내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치
·방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 시큐리티용으로 제공되는 장치
·피부를 촬영하는 피부 측정기나, 두피를 촬영하는 마이크로스코프 등의, 미용용으로 제공되는 장치
·스포츠 용도 등 용의 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치
·밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와, 상기 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부와, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비하는 카메라 모듈.
(2) 상기 촬상부에 의해 촬상된 1프레임분의 상기 화상을 라인 단위로, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임과 동기시키는 동기 처리부를 또한 구비하는 상기 (1)에 기재된 카메라 모듈.
(3) 상기 동기 처리부는, 상기 촬상부에 의해 촬상된 1프레임분의 상기 화상의 라인마다 출력되는 타이밍 및 상기 움직임 검출부에 의해 상기 촬상부의 움직임이 검출된 타이밍의 어느 일방을 기준으로 하여, 타방이 취득된 타이밍을 연계시킴에 의해 동기를 취하는 상기 (2)에 기재된 카메라 모듈.
(4) 상기 동기 처리부는, 상기 촬상부에 의해 상기 화상의 촬상이 행하여지는 소정의 타이밍 및 상기 움직임 검출부에 의해 상기 촬상부의 움직임이 검출된 타이밍의 각각을 특정하는 타임 스탬프를 이용하여 동기를 취하는 상기 (2)에 기재된 카메라 모듈.
(5) 상기 동기 처리부는, 상기 촬상부에서 1프레임분의 상기 화상이 촬상되기 전 또는 후의 소정 기간에서 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임을, 그 1프레임분에 포함하여 출력하는 상기 (2)부터 (4)까지의 어느 하나에 기재된 카메라 모듈.
(6) 상기 움직임 검출부가 상기 촬상부의 움직임을 검출하여 출력하는 출력 신호에 대한 신호 처리를 행하여, 상기 촬상부의 움직임을 나타내는 움직임 정보로 변환하는 모션 신호 처리부를 또한 구비하는 상기 (1)부터 (5)까지의 어느 하나에 기재된 카메라 모듈.
(7) 상기 모션 신호 처리부는, 상기 움직임 검출부의 출력 신호를 변환할 때에 발생하는 오차를 보정하여, 상기 촬상부의 움직임 정보를 구하는 상기 (6)에 기재된 카메라 모듈.
(8) 상기 좌표 변환부에 의한 변환이 끝난 좌표에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상을 변형하는 화상 변형 처리부를 또한 구비하는 상기 (1)부터 (7)까지의 어느 하나에 기재된 카메라 모듈.
(9) 상기 좌표 변환부는, 상기 화상을 구성하는 전 화소 중의, 특정한 제어 화소에 대해 좌표 변환 처리를 행하고, 상기 화상 변형 처리부는, 상기 제어 화소에 대한 변환이 끝난 좌표에 의거하여 화상 변형 처리를 행함과 함께, 상기 제어 화소 이외의 화소에 관해서는, 상기 제어 화소에 대한 화상 변형 처리의 결과를 이용하여 보간하는 보간 처리를 행하는 상기 (8)에 기재된 카메라 모듈.
(10) 상기 제어 화소는, 상기 화상에 대해 격자형상 또는 삼각형상으로 배치되는 상기 (8) 또는 (9)에 기재된 카메라 모듈.
(11) 상기 제어 화소는, 상기 화상 중에 비균등하게 배치되는 상기 (8)부터 (10)까지의 어느 하나에 기재된 카메라 모듈.
(12) 상기 좌표 변환부는, 상기 화상의 면 내의 위치에 응한 상기 촬상부의 흔들림의 영향의 차이와, 상기 화상의 면 내의 위치에 응한 상기 광학계의 왜곡의 영향의 차이에 대응하여, 상기 화상을 보정하는 좌표 변환 처리를 행하는 상기 (1)부터 (11)까지의 어느 하나에 기재된 카메라 모듈.
(13) 상기 좌표 변환부는, 상기 좌표 변환 처리를 행하여 출력하는 출력 좌표에 관해, 왜곡이 없는 상기 광학계를 이용한 경우에 있어서의 좌표로 변환하고, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임과 상기 화상의 면 내의 좌표 위치에 응한 보정량을 산출한 후, 왜곡이 있는 상기 광학계를 이용한 경우에 있어서의 상(像)에서의 좌표를 산출하는 상기 (12)에 기재된 카메라 모듈.
(14) 상기 좌표 변환부는, 상기 좌표 변환 처리를 행하여 출력하는 출력 좌표에 관해, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임과 상기 화상의 면 내의 좌표 위치에 응한 보정량을 산출하고, 왜곡이 있는 상기 광학계를 이용한 경우에 있어서의 상에서의 좌표를 산출하는 상기 (12)에 기재된 카메라 모듈.
(15) 상기 화상을 구성하는 화소의 좌표를 파라미터로 하는 상기 광학계의 왜곡 모델식의 보정 계수가 사전에 측정되어 있고, 상기 좌표 변환부는, 상기 광학계의 왜곡 모델식의 보정 계수를 이용하여, 상기 화상의 면 내의 위치에 응하여 영향이 다른 상기 광학계의 왜곡에 대응하는 보정을 행하는 상기 (12)부터 (14)까지의 어느 하나에 기재된 카메라 모듈.
(16) 상기 화상의 면 내의 위치 및 상기 촬상부의 흔들림 방향에 응하여 변화하는 상기 광학계의 초점 거리가 사전에 측정되어 있고, 상기 좌표 변환부는, 상기 화상의 면 내의 위치 및 상기 촬상부의 흔들림 방향에 응하여 다른 상기 초점 거리를 이용하여, 상기 촬상부의 흔들림을 보정하는 상기 (12)부터 (14)까지의 어느 하나에 기재된 카메라 모듈.
(17) 상기 촬상부에 의해 촬상된 상기 화상과, 상기 좌표 변환 처리에 의한 변환이 끝난 좌표를 후단에 출력하는 상기 (1)부터 (16)까지의 어느 하나에 기재된 카메라 모듈.
(18) 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와, 상기 촬상부에서 적어도 1프레임분의 상기 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비하는 고체 촬상 소자.
(19) 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와, 상기 촬상부에서 적어도 1프레임분의 상기 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부와, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비하는 전자 기기.
(20) 광학계를 통하여 입사하는 피사체로부터의 광을 수광하는 촬상부에 의해 상기 피사체를 촬상하고, 상기 촬상부에서 적어도 1프레임분의 상기 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하고, 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 촬상 방법.
또한, 본 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 여러 가지의 변경이 가능하다.
11 : 카메라 모듈 12 : 이미지 센서
13 : 모션 센서 14 : 파라미터 기억부
15 : 데이터 분리부 16 : 모션 신호 처리부
17 : 좌표 변환 처리부 18 : 화상 변형부
19 : 타임 스탬프 발행기 21 : 촬상부
22 : 동기 처리부 31 : 수평 절대각 산출부
32 : 칼만 필터 33 : 적응적 LPF

Claims (20)

  1. 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와,
    상기 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부와,
    상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비하고,
    상기 좌표 변환 처리부는, 상기 화상의 면 내의 위치에 응한 상기 촬상부의 흔들림의 영향의 차이와, 상기 화상의 면 내의 위치에 응한 상기 광학계의 왜곡의 영향의 차이에 대응하여, 상기 화상을 보정하는 좌표 변환 처리를 행하는 것을 특징으로 하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 촬상부에 의해 촬상된 1프레임분의 상기 화상을 라인 단위로, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임과 동기시키는 동기 처리부를 더 구비하는 것을 특징으로 하는 카메라 모듈.
  3. 제2항에 있어서,
    상기 동기 처리부는, 상기 촬상부에 의해 촬상된 1프레임분의 상기 화상의 라인마다 출력되는 타이밍 및 상기 움직임 검출부에 의해 상기 촬상부의 움직임이 검출된 타이밍의 어느 일방을 기준으로 하여, 타방이 취득된 타이밍을 연계시킴에 의해 동기를 취하는 것을 특징으로 하는 카메라 모듈.
  4. 제2항에 있어서,
    상기 동기 처리부는, 상기 촬상부에 의해 상기 화상의 촬상이 행하여지는 소정의 타이밍 및 상기 움직임 검출부에 의해 상기 촬상부의 움직임이 검출된 타이밍의 각각을 특정하는 타임 스탬프를 이용하여 동기를 취하는 것을 특징으로 하는 카메라 모듈.
  5. 제2항에 있어서,
    상기 동기 처리부는, 상기 촬상부에서 1프레임분의 상기 화상이 촬상되기 전 또는 후의 소정 기간에서 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임을, 그 1프레임분에 포함하여 출력하는 것을 특징으로 하는 카메라 모듈.
  6. 제1항에 있어서,
    상기 움직임 검출부가 상기 촬상부의 움직임을 검출하여 출력하는 출력 신호에 대한 신호 처리를 행하여, 상기 촬상부의 움직임을 나타내는 움직임 정보로 변환하는 모션 신호 처리부를 더 구비하는 것을 특징으로 하는 카메라 모듈.
  7. 제6항에 있어서,
    상기 모션 신호 처리부는, 상기 움직임 검출부의 출력 신호를 변환할 때에 발생하는 오차를 보정하여, 상기 촬상부의 움직임 정보를 구하는 것을 특징으로 하는 카메라 모듈.
  8. 제1항에 있어서,
    상기 좌표 변환 처리부에 의한 변환이 끝난 좌표에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상을 변형하는 화상 변형 처리부를 더 구비하는 것을 특징으로 하는 카메라 모듈.
  9. 제8항에 있어서,
    상기 좌표 변환 처리부는, 상기 화상을 구성하는 전 화소 중의, 특정한 제어 화소에 대해 좌표 변환 처리를 행하고,
    상기 화상 변형 처리부는, 상기 제어 화소에 대한 변환이 끝난 좌표에 의거하여 화상 변형 처리를 행함과 함께, 상기 제어 화소 이외의 화소에 관해서는, 상기 제어 화소에 대한 화상 변형 처리의 결과를 이용하여 보간하는 보간 처리를 행하는 것을 특징으로 하는 카메라 모듈.
  10. 제9항에 있어서,
    상기 제어 화소는, 상기 화상에 대해 격자형상 또는 삼각형상으로 배치되는 것을 특징으로 하는 카메라 모듈.
  11. 제9항에 있어서,
    상기 제어 화소는, 상기 화상 중에 비균등하게 배치되는 것을 특징으로 하는 카메라 모듈.
  12. 삭제
  13. 제1항에 있어서,
    상기 좌표 변환 처리부는, 상기 좌표 변환 처리를 행하여 출력하는 출력 좌표에 관해, 왜곡이 없는 상기 광학계를 이용한 경우에 있어서의 좌표로 변환하고, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임과 상기 화상의 면 내의 좌표 위치에 응한 보정량을 산출한 후, 왜곡이 있는 상기 광학계를 이용한 경우에 있어서의 상에서의 좌표를 산출하는 것을 특징으로 하는 카메라 모듈.
  14. 제1항에 있어서,
    상기 좌표 변환 처리부는, 상기 좌표 변환 처리를 행하여 출력하는 출력 좌표에 관해, 상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임과 상기 화상의 면 내의 좌표 위치에 응한 보정량을 산출하고, 왜곡이 있는 상기 광학계를 이용한 경우에 있어서의 상에서의 좌표를 산출하는 것을 특징으로 하는 카메라 모듈.
  15. 제1항에 있어서,
    상기 화상을 구성하는 화소의 좌표를 파라미터로 하는 상기 광학계의 왜곡 모델식의 보정 계수가 사전에 측정되어 있고,
    상기 좌표 변환 처리부는, 상기 광학계의 왜곡 모델식의 보정 계수를 이용하여, 상기 화상의 면 내의 위치에 응하여 영향이 다른 상기 광학계의 왜곡에 대응하는 보정을 행하는 것을 특징으로 하는 카메라 모듈.
  16. 제1항에 있어서,
    상기 화상의 면 내의 위치 및 상기 촬상부의 흔들림 방향에 응하여 변화하는 상기 광학계의 초점 거리가 사전에 측정되어 있고,
    상기 좌표 변환 처리부는, 상기 화상의 면 내의 위치 및 상기 촬상부의 흔들림 방향에 응하여 다른 상기 초점 거리를 이용하여, 상기 촬상부의 흔들림을 보정하는 것을 특징으로 하는 카메라 모듈.
  17. 제1항에 있어서,
    상기 촬상부에 의해 촬상된 상기 화상과, 상기 좌표 변환 처리에 의한 변환이 끝난 좌표를 후단에 출력하는 것을 특징으로 하는 카메라 모듈.
  18. 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와,
    상기 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비하고,
    상기 좌표 변환 처리부는, 상기 화상의 면 내의 위치에 응한 상기 촬상부의 흔들림의 영향의 차이와, 상기 화상의 면 내의 위치에 응한 상기 광학계의 왜곡의 영향의 차이에 대응하여, 상기 화상을 보정하는 좌표 변환 처리를 행하는 것을 특징으로 하는 고체 촬상 소자.
  19. 광학계를 통하여 입사하는 피사체로부터의 광을 수광하여, 상기 피사체를 촬상하는 촬상부와,
    상기 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하는 움직임 검출부와,
    상기 움직임 검출부에 의해 검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하는 좌표 변환 처리를 행하는 좌표 변환 처리부를 구비하고,
    상기 좌표 변환 처리부는, 상기 화상의 면 내의 위치에 응한 상기 촬상부의 흔들림의 영향의 차이와, 상기 화상의 면 내의 위치에 응한 상기 광학계의 왜곡의 영향의 차이에 대응하여, 상기 화상을 보정하는 좌표 변환 처리를 행하는 것을 특징으로 하는 전자 기기.
  20. 광학계를 통하여 입사하는 피사체로부터의 광을 수광하는 촬상부에 의해 상기 피사체를 촬상하고,
    상기 촬상부에서 적어도 1프레임분의 화상이 촬상되는 동안의 상기 촬상부의 움직임을 검출하고,
    검출된 상기 촬상부의 움직임 및 상기 광학계의 왜곡을 보정하는 보정 계수에 의거하여, 상기 촬상부에 의해 촬상된 상기 화상상의 좌표를, 상기 촬상부의 흔들림 및 상기 광학계의 왜곡의 양방이 상기 화상에 주는 영향을 억제하도록 일괄로 변환하며, 상기 화상의 면 내의 위치에 응한 상기 촬상부의 흔들림의 영향의 차이와, 상기 화상의 면 내의 위치에 응한 상기 광학계의 왜곡의 영향의 차이에 대응하여, 상기 화상을 보정하는 좌표 변환 처리를 행하는 것을 특징으로 하는 촬상 방법.
KR1020177035454A 2015-07-22 2016-07-08 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 KR102526794B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2015-145335 2015-07-22
JP2015145335 2015-07-22
PCT/JP2016/070261 WO2017014071A1 (ja) 2015-07-22 2016-07-08 カメラモジュール、固体撮像素子、電子機器、および撮像方法

Publications (2)

Publication Number Publication Date
KR20180032529A KR20180032529A (ko) 2018-03-30
KR102526794B1 true KR102526794B1 (ko) 2023-04-28

Family

ID=57834110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035454A KR102526794B1 (ko) 2015-07-22 2016-07-08 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법

Country Status (5)

Country Link
US (1) US10498962B2 (ko)
JP (1) JP6702323B2 (ko)
KR (1) KR102526794B1 (ko)
CN (1) CN107852462B (ko)
WO (1) WO2017014071A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677098B2 (ja) * 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
CN108886573A (zh) * 2016-05-20 2018-11-23 深圳市大疆灵眸科技有限公司 用于数字视频增稳的系统和方法
JP6674701B2 (ja) * 2016-09-28 2020-04-01 ルネサスエレクトロニクス株式会社 画像処理モジュール、および半導体システム
CN106780758B (zh) * 2016-12-07 2019-12-13 歌尔科技有限公司 用于虚拟现实设备的成像方法、装置及虚拟现实设备
JP6936034B2 (ja) * 2017-03-31 2021-09-15 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
JP2018205678A (ja) * 2017-06-06 2018-12-27 米田　正人 Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
JP7030442B2 (ja) * 2017-08-07 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107561723B (zh) * 2017-10-13 2020-05-05 京东方科技集团股份有限公司 显示面板和显示装置
CN109754425B (zh) * 2017-11-01 2023-07-28 浙江舜宇智能光学技术有限公司 Tof摄像模组的标定设备及其标定方法
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device
CN108680196B (zh) * 2018-04-28 2021-01-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
CN108737735B (zh) * 2018-06-15 2019-09-17 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
JP2020031264A (ja) * 2018-08-20 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、信号処理方法
CN109040525B (zh) * 2018-08-31 2021-10-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109348125B (zh) * 2018-10-31 2020-02-04 Oppo广东移动通信有限公司 视频校正方法、装置、电子设备和计算机可读存储介质
TWI766206B (zh) * 2018-11-13 2022-06-01 創惟科技股份有限公司 影像的修正方法及其裝置
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
CN110049239B (zh) * 2019-03-26 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110072049B (zh) * 2019-03-26 2021-11-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112129317B (zh) * 2019-06-24 2022-09-02 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
KR20210092012A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
KR102267696B1 (ko) * 2020-06-16 2021-06-21 남서울대학교 산학협력단 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법
JPWO2022168501A1 (ko) * 2021-02-04 2022-08-11
JP2022189113A (ja) * 2021-06-10 2022-12-22 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法
EP4135311A4 (en) * 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186884A (ja) * 2004-12-28 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP2011160067A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 手振れ補正装置及び方法、並びにカメラモジュール、携帯電話機
JP2014064327A (ja) * 2013-12-26 2014-04-10 Sony Corp 撮像装置と振れ補正方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197261A (ja) * 1992-12-24 1994-07-15 Canon Inc 撮像装置
JP5181603B2 (ja) * 2007-09-28 2013-04-10 カシオ計算機株式会社 撮像装置及びプログラム
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP2013509820A (ja) 2009-10-28 2013-03-14 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 符号化ローリングシャッタの方法およびシステム
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US20140192235A1 (en) 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP2013050538A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013050537A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP5984574B2 (ja) * 2012-08-14 2016-09-06 キヤノン株式会社 撮像システム及びその制御方法、撮像装置
US10051183B2 (en) 2013-03-29 2018-08-14 Sony Corporation Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
JP2014203400A (ja) * 2013-04-09 2014-10-27 株式会社デンソー 車外画像保存装置、及び撮像機能付き携帯端末
JP6198567B2 (ja) * 2013-10-21 2017-09-20 ソニーセミコンダクタソリューションズ株式会社 イメージセンサおよびその動作方法、並びに電子機器
US10070067B2 (en) 2014-04-15 2018-09-04 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186884A (ja) * 2004-12-28 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP2011160067A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 手振れ補正装置及び方法、並びにカメラモジュール、携帯電話機
JP2014064327A (ja) * 2013-12-26 2014-04-10 Sony Corp 撮像装置と振れ補正方法

Also Published As

Publication number Publication date
WO2017014071A1 (ja) 2017-01-26
CN107852462A (zh) 2018-03-27
JP6702323B2 (ja) 2020-06-03
US20180213153A1 (en) 2018-07-26
KR20180032529A (ko) 2018-03-30
US10498962B2 (en) 2019-12-03
JPWO2017014071A1 (ja) 2018-06-07
CN107852462B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
KR102526794B1 (ko) 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
JP5163409B2 (ja) 撮像装置、撮像方法、およびプログラム
US10043245B2 (en) Image processing apparatus, imaging apparatus, control method, and information processing system that execute a re-anti-shake process to remove negative influence of an anti-shake process
JP4926920B2 (ja) 防振画像処理装置及び防振画像処理方法
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6170395B2 (ja) 撮像装置およびその制御方法
JP4770924B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4962460B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP4618370B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6209002B2 (ja) 撮像装置およびその制御方法
WO2014069632A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US20050195295A1 (en) Image-taking apparatus and image processing method
JP2010136302A (ja) 撮像装置、撮像方法、およびプログラム
JP2018189730A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
CN113875219A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN108260360B (zh) 场景深度计算方法、装置及终端
JP5393877B2 (ja) 撮像装置および集積回路
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP4064001B2 (ja) カメラ
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP2012253451A (ja) 撮像装置及びプログラム
JP2011055084A (ja) 撮像装置及び電子機器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant