KR20180035150A - 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템 - Google Patents

카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템 Download PDF

Info

Publication number
KR20180035150A
KR20180035150A KR1020170123267A KR20170123267A KR20180035150A KR 20180035150 A KR20180035150 A KR 20180035150A KR 1020170123267 A KR1020170123267 A KR 1020170123267A KR 20170123267 A KR20170123267 A KR 20170123267A KR 20180035150 A KR20180035150 A KR 20180035150A
Authority
KR
South Korea
Prior art keywords
shake
correction
amount
vector
data
Prior art date
Application number
KR1020170123267A
Other languages
English (en)
Other versions
KR102393775B1 (ko
Inventor
히로시 무라까미
히로히데 오꾸노
도시야 스즈끼
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20180035150A publication Critical patent/KR20180035150A/ko
Application granted granted Critical
Publication of KR102393775B1 publication Critical patent/KR102393775B1/ko

Links

Images

Classifications

    • H04N5/23287—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N5/23254—
    • H04N5/23258—

Abstract

정지 화상 촬영 모드에서 사용되는 광학식 손떨림 보정에서는, 손떨림이 크면, 보정의 정밀도가 나빠지고, 동화상 촬영 모드에서 사용되는 전자식 손떨림 보정에서는, 손떨림의 주파수가 높으면, 보정의 정밀도가 나빠진다. 카메라 모듈(102)은 진동 검출 센서(107)에 의한 검출 결과에 기초하여 광학계(104)에 있어서의 광축의 흔들림을 검출하고, 흔들림의 양의 일부를 보정하기 위해, 광학식 손떨림 보정량에 기초하여, 보정 렌즈가 광축에 수직인 면내에서 시프트하도록 액추에이터(106)를 제어하고, 흔들림의 나머지의 양을 보정하기 위해, 흔들림의 보정 잔류량을 나타내는 데이터를 화상 처리 모듈(103)에 송신한다. 화상 처리 모듈(103)은 흔들림의 보정 잔류량을 나타내는 데이터를 수신하고, 보정 잔류량에 따른 전자식 손떨림 보정량에 기초하여, 프레임 데이터에 포함되는 촬상 화상 데이터의 유효 영역을 변화시킨다.

Description

카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템{CAMERA CONTROLLER, IMAGE PROCESSING MODULE, AND SEMICONDUCTOR SYSTEM}
본 발명은 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템에 관한 것이며, 예를 들어 손떨림 보정을 구비한 카메라를 제어하는 데 적합한 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템에 관한 것이다.
비디오 카메라 및 디지털 카메라에 있어서, 손떨림 보정하는 기술이 알려져 있다.
예를 들어, 특허문헌 1에는, 전자식 손떨림 보정(electronic image stabilization:EIS)의 기능과, 광학식 손떨림 보정(optical image stabilization:OIS)의 기능을 구비한 장치가 기재되어 있다. 이 장치에서는, 광학식 손떨림 보정부는, 진동 검출 소자의 출력 신호에 따라서 광축을 보정한다. 전자식 손떨림 보정부는, 촬상 소자에 의해 형성되는 촬상 영역의 화상 신호 중, 유효 영역을 적응적으로 변화시킨다.
일본 특허 공개 제2009-152793호 공보
그러나, 특허문헌 1의 장치에서는, 동화상 촬영 모드에서는, 전자식 손떨림 보정을 실행하고, 정지 화상 촬영 모드에서는, 광학식 손떨림 보정을 실행한다.
광학식 손떨림 보정은, 비교적 높은 주파수의 손떨림을 보정하는 것이 가능하지만, 촬상 화상의 주변부(단부)에서 렌즈 왜곡의 영향을 받는다. 광학식 손떨림 보정을 이용하는 정지 화상 촬영 모드에서, 손떨림이 크면, 보정의 정밀도가 나빠진다는 문제가 있다.
그 밖의 과제와 신규 특징은, 본 명세서의 기술 및 첨부 도면으로부터 명백하게 될 것이다.
일 실시 형태에서는, 흔들림의 양의 일부를 광학식 손떨림 보정하고, 흔들림의 보정 잔류량을 전자식 손떨림 보정한다.
일 실시 형태에 따르면, 손떨림 보정의 정밀도를 높게 할 수 있다.
도 1은 제1 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 2는 제2 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 3은 광학계(14)의 구성을 도시하는 도면.
도 4는 제3 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 5는 제3 실시 형태에 있어서의 수광면의 한쪽의 축방향으로 보정 렌즈(212)가 어긋났을 때의 광학식 손떨림 보정을 설명하기 위한 도면.
도 6은 제1 애플리케이션 프로세서(35)가, 보정 잔류 벡터를 나타내는 데이터 CMA를 수신하는 타이밍과, 수직 동기 신호 VSYNC를 수신하는 타이밍을 도시하는 도면.
도 7은 제4 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 8은 제5 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 9는 제6 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 10은 제7 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 11은 OIS 컨트롤러(67)가 수직 동기 신호 VSYNC를 수신하는 타이밍과, 흔들림 벡터를 수신하는 타이밍과, 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터를 수신하는 타이밍과, 대표 흔들림 벡터 및 대표 위치 벡터를 송신하는 타이밍을 도시하는 도면.
도 12는 제8 실시 형태의 반도체 시스템의 구성을 도시하는 도면.
도 13은 제8 실시 형태에 있어서의 수광면의 한쪽의 축방향으로 보정 렌즈(212)가 어긋났을 때의 손떨림 보정을 설명하기 위한 도면.
도 14의 (a)는 왜곡 보정 전의 촬상 화상을 도시하는 도면, (b)는 왜곡 보정 후의 촬상 화상을 도시하는 도면.
이하, 본 발명의 실시 형태에 대하여, 도면을 사용하여 설명한다.
[제1 실시 형태]
도 1은 제1 실시 형태의 반도체 시스템(100)의 구성을 도시하는 도면이다.
이 반도체 시스템(100)은 광학 손떨림 보정 기능을 구비한 카메라 모듈(102)과, 전자식 손떨림 보정 기능을 구비한 화상 처리 모듈(103)을 구비한다.
카메라 모듈(101)은 광학계(104)와, 진동 검출 센서(107)와, 이미지 센서(105)와, 액추에이터(106)와, 광학식 손떨림 보정을 제어하는 카메라 컨트롤러(108)를 구비한다.
광학계(104)는 손떨림을 보정하기 위한 보정 렌즈를 포함한다. 광학계(104)에는 외부로부터 광이 입사된다.
진동 검출 센서(107)는 카메라 모듈(101)의 진동을 검출한다.
이미지 센서(105)는 광학계(104)를 통해 입력된 광을 광전 변환함으로써 촬상 화상을 생성하고, 촬상 화상을 포함하는 프레임 데이터를 출력한다.
액추에이터(106)는 광학계(104)에 포함되는 보정 렌즈를 구동한다.
카메라 컨트롤러(108)는 연산부(110)와, 제어부(109)와, 통신부(111)를 구비한다.
연산부(110)는 진동 검출 센서(107)에 의한 검출 결과에 기초하여 광학계(104)에 있어서의 광축의 흔들림을 검출하고, 흔들림의 일부의 양을 보정하기 위해, 광학식 손떨림 보정량을 산출한다.
제어부(109)는 광학식 손떨림 보정량에 기초하여, 보정 렌즈가 광축에 수직인 면내에서 시프트하도록 보정 렌즈를 구동하는 액추에이터(106)를 제어한다.
통신부(111)는 흔들림의 나머지의 양을 보정하기 위해, 흔들림의 보정 잔류량을 나타내는 데이터를 화상 처리 모듈(103)에 송신한다.
화상 처리 모듈(103)은 제1 프로세서(112)와, 제2 프로세서(113)와, 제3 프로세서(114)를 구비한다.
제1 프로세서(112)는 카메라 컨트롤러(108)로부터 송신되는 흔들림의 보정 잔류량을 나타내는 데이터를 수신하고, 보정 잔류량에 따른 전자식 손떨림 보정량을 나타내는 신호를 출력한다.
제2 프로세서(113)는 이미지 센서(105)로부터 보내지는 프레임 데이터를 수신한다.
제3 프로세서(114)는 전자식 손떨림 보정을 실행한다. 전자식 손떨림 보정에는, 인접하는 프레임간에 있어서, 촬상 화상의 특징점의 이동량에 기초하여, 촬상 화상의 유효 화소 영역을 설정하는 제1 보정 방법과, 진동 검출 센서에 의한 진동 검출 결과에 기초하여, 촬상 화상의 유효 영역을 설정하는 제2 보정 방법의 2가지가 있다. 제1 보정 방법은, 연산량이 많기 때문에, 발열량이 커지고, 소비 전류도 커진다는 문제가 있음과 함께, 동화상에만 적용할 수 있다는 문제가 있다. 또한, 제1 보정 방법에서는, 특징점이 손떨림에 의해 이동한 것이 아닌 경우에, 손떨림 보정의 정밀도가 열화된다는 문제가 있다. 제3 프로세서(114)는 전자적 손떨림 보정 실행 후의 데이터를, 예를 들어 카메라 내의 표시 장치에 출력할 수 있다.
본 실시 형태에서는 제2 보정 방법을 사용한다. 이하의 실시 형태에 있어서도, 전자식 손떨림 보정으로서, 제2 보정 방법이 사용된다.
제3 프로세서(114)는 제1 프로세서(112)로부터 보내지는 전자식 손떨림 보정량에 기초하여, 제2 프로세서(113)로부터 보내지는 프레임 데이터에 포함되는 촬상 화상의 유효 영역을 변화시킨다.
이상과 같이, 본 실시 형태에 따르면, 손떨림이 발생하였을 때에, 한정된 범위에서 광학식 손떨림 보정을 행하고, 광학식 손떨림 보정에 의해 다 보정하지 못한 만큼을 전자식 손떨림 보정하므로, 손떨림 보정의 정밀도를 높게 할 수 있다.
특히, 스마트폰에서는, 탑재되는 광학계는, 경량, 박형화를 위해, 소직경이며 렌즈수가 적은 구성을 취하기 때문에, 렌즈 왜곡의 영향을 받기 쉽다는 문제가 있다. 본 실시 형태에서는, 광학식 손떨림 보정에 있어서, 렌즈 왜곡이 없는 범위에서 보정하고, 나머지는, 전자식 손떨림 보정에 의해 보정할 수 있으므로, 손떨림 보정의 정밀도가 양호해진다.
한편, 전자식 손떨림 보정에서는, 촬상 소자의 고화소화에 수반하여, 큰 흔들림각에서도 보정하는 것이 가능하지만, 높은 주파수의 손떨림을 보정할 수 없다. 전자식 손떨림 보정을 이용하는 동화상 촬영 모드에서, 손떨림의 주파수가 높으면, 보정의 정밀도가 나빠진다는 문제가 있다. 본 실시 형태에서는, 광학식 손떨림 보정과 전자식 손떨림 보정의 양쪽의 장점을 이용할 수 있다. 이에 의해, 정지 화상 촬영 모드와 동화상 촬영 모드의 양쪽에 있어서, 광학식 손떨림 보정에 있어서, 렌즈 왜곡이 없는 범위에서 보정하고, 나머지는, 전자식 손떨림 보정에 의해 보정할 수 있으므로, 손떨림 보정의 정밀도가 양호해진다.
[제2 실시 형태]
도 2는 제2 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(11)과, 화상 처리 모듈(12)과, 모니터(27)를 구비한다.
카메라 모듈(11)은 광학계(14)와, 진동 검출 센서(18)와, 액추에이터(20)와, OIS 컨트롤러(17)와, 이미지 센서(16)를 구비한다.
도 3은 광학계(14)의 구성을 도시하는 도면이다.
광학계(14)는 줌 렌즈(211), 보정 렌즈(212), 조리개(213) 및 포커스 렌즈(214)를 포함한다.
줌 렌즈(211)는 피사체(13)의 상의 배율을 변화시킨다. 보정 렌즈(212)는 피사체(13)의 상의 흔들림을 보정한다. 보정 렌즈(212)는 카메라 모듈(11)의 흔들림을 상쇄하는 방향으로 이동함으로써, 이미지 센서(16) 상의 피사체(13)의 상의 흔들림을 작게 한다. 조리개(213)는, 광학계(14)를 통과하는 광의 양을 조정한다. 포커스 렌즈(214)는 이미지 센서(16)에 형성되는 피사체(13)의 상의 포커스 상태를 변화시킨다.
진동 검출 센서(18)는 카메라 모듈(11)에 가해지는 진동을 검출한다. 진동 검출 센서(18)는 자이로 센서를 포함하고, 카메라 모듈(11)의 연직면 내의 각속도 및 수평면 내의 각속도를 검출하고, 이들 각속도를 나타내는 신호를 OIS 컨트롤러(17)에 출력한다.
OIS 컨트롤러(17)의 연산부는, 진동 검출 센서(18)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 카메라 모듈(11)의 회전각을 산출한다. OIS 컨트롤러(17)의 연산부는, 카메라 모듈(11)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다.
OIS 컨트롤러(17)의 제어부는, 보정 렌즈(212)가 흔들림 벡터와 역방향의 벡터의 크기와 방향으로 시프트하도록 지시하는 제어 신호를 액추에이터(20)에 출력한다.
액추에이터(20)는 OIS 컨트롤러(17)로부터의 제어 신호를 받아, 광학계의 광축에 수직인 면내에서 보정 렌즈(212)를 구동한다. 액추에이터(20)는, 예를 들어 마그네트와 평판 코일을 포함한다.
이미지 센서(16)는 광학계(14)를 통해 입사한 광을 광전 변환함으로써, 촬상 화상을 생성한다. 이미지 센서(16)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이다. CMOS 이미지 센서는, 2차원으로 배열된 복수의 단위 화소를 포함하고, 각각의 단위 화소는, 포토다이오드와, 포토다이오드에 축적된 전하를 부유 확산 영역(FD(Floating Diffusion))에 전송하는 전송 게이트와, 부유 확산 영역의 전하를 리셋하는 리셋 트랜지스터를 구비한다.
화상 처리 모듈(12)은 시스템 메인 보드 상에 탑재된 이미지 시그널 프로세서(21)와, 버퍼 메모리(22)와, 진동 검출 센서(26)와, 제1 애플리케이션 프로세서(25)와, 제2 애플리케이션 프로세서(23)와, 프레임 메모리(24)를 구비한다.
카메라 모듈(11)은 화상 처리 모듈(12)과 I2C(Inter-Integrated Circuit) 버스(99)로 접속된다.
화상 처리 모듈(12) 내의 제1 애플리케이션 프로세서(25)가 카메라 모듈(11) 내의 OIS 컨트롤러(17)에 제어 커맨드를 보낼 수 있다. 또한, 제1 애플리케이션 프로세서(25)가 OIS 컨트롤러(17)로부터의 정보를 수신할 수 있다.
이미지 센서(16)는 스타트 비트열과, 프레임 번호와, 촬상 화상과, 엔드 비트열을 포함하는 프레임 데이터 FD1을 이미지 시그널 프로세서(21)에 보낸다. 여기서, 프레임 번호의 초기값은 0이다.
이미지 시그널 프로세서(21)는 프레임 데이터 FD1에 포함되는 촬상 화상의 밝기, 색 또는 에지 등의 각종 보정을 행하고, 보정 후의 촬상 화상을 포함하는 프레임 데이터 FD2를 버퍼 메모리(22)에 출력한다.
진동 검출 센서(26)는 화상 처리 모듈(12)의 진동을 검출한다. 진동 검출 센서(26)는 자이로 센서를 포함하며, 화상 처리 모듈(12)의 연직면 내의 각속도 및 수평면 내의 각속도를 검출하고, 이들 각속도를 나타내는 신호를 제1 애플리케이션 프로세서(25)에 출력한다.
제1 애플리케이션 프로세서(25)는, 진동 검출 센서(26)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 화상 처리 모듈(12)의 회전각을 산출한다. 제1 애플리케이션 프로세서(25)는 화상 처리 모듈(12)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다. 제1 애플리케이션 프로세서(25)는 흔들림 벡터를 나타내는 신호 DPL을 제2 애플리케이션 프로세서(23)에 출력한다.
버퍼 메모리(22)는 프레임 전송 신호 FRA를 수신할 때마다, 1개분의 프레임 데이터 FD2를 제2 애플리케이션 프로세서(23)에 출력한다.
제2 애플리케이션 프로세서(23)는 전자식 손떨림 보정을 실행한다. 제2 애플리케이션 프로세서(23)는 흔들림 벡터를 나타내는 신호 DPL을 수신한다. 제2 애플리케이션 프로세서(23)는 흔들림 벡터와 역방향의 벡터의 크기와 방향으로 프레임 데이터 FD2에 포함되는 촬상 화상의 유효 영역을 이동시킨다.
제2 애플리케이션 프로세서(23)는 촬상 화상 중 유효 영역 내의 화소의 데이터(유효 화상 데이터)를 프레임 데이터 FD3으로서 프레임 메모리(24)에 출력한다.
프레임 메모리(24)는 프레임 전송 신호 FRA를 수신할 때마다, 1개분의 프레임 데이터 FD3을 모니터(27)에 출력한다.
모니터(27)는 프레임 메모리(24) 내의 프레임 데이터 FD3을 표시한다.
이상과 같이, 본 실시 형태에 따르면, 동화상 촬영 모드에서도 정지 화상 촬영 모드에서도, 카메라 모듈(11)과 화상 처리 모듈(12)에서, 각각 독립적으로, 광학식 손떨림 보정과, 전자식 손떨림 보정이 실행된다.
그러나, 각각 독립적으로 실행되므로, 과잉으로 손떨림 보정이 실행되어 버린다는 문제가 있다. 즉, 진동 검출 센서(18)에 의해 얻어지는 진동 정보에 따라서 광학식 손떨림 보정이 실행된 후에 얻어지는 화상에 대하여, 진동 검출 센서(26)에 의해 얻어지는 진동 정보에 따라서 전자적 손떨림 보정이 더 실행되므로, 과잉으로 손떨림 보정이 실행된다.
또한, I2C 버스 대신에, SPI(Serial Peripheral Interface) 버스를 사용하는 것으로 해도 된다. 다른 실시 형태에서도 마찬가지이다.
카메라 모듈이 보정 렌즈의 현재 위치를 검출하는 위치 검출 센서를 구비하고, 위치 검출 센서에 의해 검출된 보정 렌즈의 현재 위치를 사용하여, 액추에이터를 서보 제어하는 것으로 해도 된다. 다른 실시 형태에서도 마찬가지이다.
[제3 실시 형태]
도 4는 제3 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(31)과, 화상 처리 모듈(32)을 구비한다.
도 4의 구성이, 도 2의 구성과 상이한 점은, 도 4의 카메라 모듈(31)에 포함되는 OIS 컨트롤러(37)와 이미지 센서(36)의 기능, 및 도 4의 화상 처리 모듈(32)에 포함되는 제1 애플리케이션 프로세서(35)의 기능이, 도 2에 있어서의 대응하는 것과 상이한 것이다. 또한, 도 4의 화상 처리 모듈(32)이 진동 검출 센서를 구비하지 않는 것이, 도 2의 대응하는 것과 상이하다.
이미지 센서(36)는 프레임 데이터 FD1을 작성한 후, 프레임 데이터 FD1을 이미지 시그널 프로세서(21)에 출력하는 타이밍에 있어서, 수직 동기 신호 VSYNC를 제1 애플리케이션 프로세서(35)에 출력한다.
OIS 컨트롤러(37)의 연산부는, 진동 검출 센서(18)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 카메라 모듈(31)의 회전각을 산출한다. OIS 컨트롤러(37)의 연산부는, 카메라 모듈(31)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다.
OIS 컨트롤러(37)의 연산부는, 흔들림 벡터로부터 광학식 손떨림 보정 벡터를 산출한다. 광학식 손떨림 보정 벡터의 방향은, 흔들림 벡터의 방향과 반대이다. 광학식 손떨림 보정 벡터의 크기(광학식 손떨림 보정량)는 흔들림 벡터의 크기(흔들림양)에 보정 계수를 승산함으로써 산출된다. 보정 계수는, 흔들림 벡터의 크기(흔들림양)에 따라서 변한다.
OIS 컨트롤러(37)의 제어부는, 보정 렌즈(212)가 광학식 손떨림 보정 벡터의 크기와 방향으로 시프트하도록 지시하는 제어 신호를 액추에이터(20)에 출력한다.
도 5는 제3 실시 형태에 있어서의 수광면의 한쪽의 축방향으로 보정 렌즈(212)가 어긋났을 때의 광학식 손떨림 보정을 설명하기 위한 도면이다.
도 5의 (a)에는, 흔들림 벡터의 시간 변화를 나타내는 곡선 CV1과, 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치의 시간 변화를 나타내는 곡선 CV2가 도시되어 있다.
도 5의 (b)에는 보정 계수를 도시하고 있다.
흔들림 벡터의 크기(흔들림양)가 D0일 때에, 보정 계수가 0이다. 흔들림 벡터의 크기(흔들림양)가 D1보다도 크고, D0 미만일 때에는, 흔들림 벡터의 크기(흔들림양)가 작아질수록, 보정 계수가 커진다. 흔들림 벡터의 크기(흔들림양)가 D1 이하일 때에는, 보정 계수가 일정값으로 된다.
OIS 컨트롤러(37)의 연산부는, 흔들림 벡터와 광학식 손떨림 보정 벡터에 기초하여, 보정 잔류 벡터를 산출한다. 보정 잔류 벡터의 방향은, 광학식 손떨림 보정 벡터의 방향과 동일(흔들림 벡터의 방향과 역방향)하다. 보정 잔류 벡터의 크기(흔들림의 보정 잔류량)는 흔들림 벡터의 크기(흔들림양)로부터 광학식 손떨림 보정 벡터의 크기(광학식 손떨림 보정량)를 감산함으로써 산출된다. OIS 컨트롤러(37)의 통신부는, 보정 잔류 벡터를 나타내는 데이터 CMA를 제1 애플리케이션 프로세서(35)에 출력한다.
제1 애플리케이션 프로세서(35)는 보정 잔류 벡터를 나타내는 데이터 CMA와, 수직 동기 신호 VSYNC를 수신한다.
도 6은 제1 애플리케이션 프로세서(35)가 보정 잔류 벡터를 나타내는 데이터 CMA를 수신하는 타이밍과, 수직 동기 신호 VSYNC를 수신하는 타이밍을 도시하는 도면이다.
수직 동기 신호 VSYNC를 수신하는 타이밍과, 데이터 CMA를 수신하는 타이밍은 동기하고 있지 않다. 수직 동기 신호 VSYNC는 1/30초마다 수신된다. 데이터 CMA는 1/30초보다도 짧은 주기로 수신된다.
제1 애플리케이션 프로세서(35)는 수직 동기 신호 VSYNC를 수신하였을 때에, 그 타이밍보다도 전에, 또한 1개 전에 수직 동기 신호 VSYNC를 수신한 타이밍보다도 후에 수신한 복수개의 데이터 CMA로 나타내어지는 보정 잔류 벡터에 기초하여, 전자식 손떨림 보정 벡터를 구한다.
예를 들어, 복수개의 데이터 CMA에 포함되는 보정 잔류 벡터의 평균값, 혹은, 가장 새로운 데이터 CMA에 포함되는 보정 잔류 벡터 등을 전자식 손떨림 보정 벡터로 할 수 있다. 혹은, 손떨림 보정을 억제하고자 하는 경우에는, 복수의 보정 잔류 벡터 중, 크기가 최소인 것을 전자식 손떨림 보정 벡터로 해도 된다. 또한, 손떨림 보정을 촉진하고자 하는 경우에는, 복수의 보정 잔류 벡터 중, 크기가 최대인 것을 전자식 손떨림 보정 벡터로 해도 된다.
제1 애플리케이션 프로세서(35)는 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'를 제2 애플리케이션 프로세서(33)에 보낸다.
제2 애플리케이션 프로세서(33)는 전자식 손떨림 보정을 실행한다. 제2 애플리케이션 프로세서(33)는 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'를 수신한다. 제2 애플리케이션 프로세서(33)는 전자식 손떨림 보정 벡터의 크기와 방향으로 프레임 데이터 FD2에 포함되는 촬상 화상의 유효 영역을 이동시킨다.
제2 애플리케이션 프로세서(33)는 촬상 화상 중 유효 영역 내의 화소 데이터(유효 화상 데이터)를 프레임 데이터 FD3으로서 프레임 메모리(24)에 출력한다.
이상과 같이, 본 실시 형태에 따르면, OIS 컨트롤러가, 광학식 손떨림 보정에 의해 다 보정하지 못한 보정 잔류량을 나타내는 데이터를 화상 처리 모듈에 송신하고, 화상 처리 모듈이, 수신한 보정 잔류량을 나타내는 데이터에 기초하여, 전자식 손떨림 보정을 실행한다. 이에 의해, 과잉의 손떨림 보정이 방지되므로, 손떨림 보정의 정밀도를 높게 할 수 있다.
또한, 본 실시 형태에서는, 보정 잔류 벡터를 나타내는 데이터 CMA로서, 보정 잔류 벡터 자체(크기와 방향)가 보내지므로, 흔들림 벡터와 광학식 손떨림 보정 벡터가 각각 보내지는 것에 비해, I2C 버스에 흐르는 데이터양을 적게 할 수 있다.
[제4 실시 형태]
도 7은 제4 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(91)과, 화상 처리 모듈(32)을 구비한다.
도 7의 구성이, 도 4의 구성과 상이한 점은, 카메라 모듈(91)에 포함되는 OIS 컨트롤러(97)의 기능이, 도 4에 있어서의 대응하는 것과 상이한 것이다. 또한, 도 7의 카메라 모듈(91)은 위치 검출 센서(19)를 구비한다.
위치 검출 센서(19)는 광학계의 광축에 수직인 면(수광면) 내에 있어서의 보정 렌즈(212)의 위치를 나타내는 위치 벡터를 검출하고, 보정 렌즈(212)의 위치 벡터를 나타내는 신호를 OIS 컨트롤러(97)에 출력한다. 손떨림이 없을 때의 보정 렌즈(212)의 위치를 위치 벡터의 원점으로 한다. 위치 검출 센서(19)는, 예를 들어 마그네트와 홀 소자를 포함한다.
OIS 컨트롤러(97)의 연산부는, 진동 검출 센서(18)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 카메라 모듈(91)의 회전각을 산출한다. OIS 컨트롤러(97)의 연산부는, 카메라 모듈(91)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다.
OIS 컨트롤러(97)의 연산부는, 흔들림 벡터로부터 광학식 손떨림 보정 벡터를 산출한다. 광학식 손떨림 보정 벡터의 방향은, 흔들림 벡터의 방향과 반대이다. 광학식 손떨림 보정 벡터의 크기(광학식 손떨림 보정량)는, 흔들림 벡터의 크기(흔들림양)에 보정 계수를 승산함으로써 산출된다. 보정 계수는, 제3 실시 형태와 마찬가지로, 흔들림 벡터의 크기에 따라서 변한다.
OIS 컨트롤러(97)의 제어부는, 보정 렌즈(212)가 광학식 손떨림 보정 벡터의 크기와 방향으로 이동하도록 지시하는 제어 신호를 액추에이터(20)에 출력한다.
OIS 컨트롤러(97)의 연산부는, 흔들림 벡터와, 보정 후(액추에이터(20)가 이동 후)의 보정 렌즈(212)의 위치 벡터에 기초하여, 보정 잔류 벡터를 산출한다. 보정 잔류 벡터의 방향은, 광학식 손떨림 보정 벡터의 방향과 동일(흔들림 벡터의 방향과 역방향)하다. 보정 잔류 벡터의 크기(흔들림 보정 잔류량)는, 흔들림 벡터의 크기(흔들림양)로부터 보정 렌즈(212)의 위치 벡터의 크기(위치를 나타내는 양)를 감산함으로써 산출된다. OIS 컨트롤러(97)의 통신부는, 보정 잔류 벡터를 나타내는 데이터 CMA를 제1 애플리케이션 프로세서(35)에 출력한다.
이상과 같이, 본 실시 형태에 따르면, 광학식 손떨림 보정 후의 보정 렌즈의 위치에 기초하여, 보정 잔류량을 산출할 수 있다. 본 실시 형태에서도, 제3 실시 형태와 마찬가지로, 과잉의 손떨림 보정이 방지되므로, 손떨림 보정의 정밀도를 높게 할 수 있다.
[제5 실시 형태]
도 8은 제5 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(31)과, 화상 처리 모듈(42)을 구비한다.
도 8의 구성이, 도 7의 구성과 상이한 점은, 화상 처리 모듈(42)에 포함되는 제1 애플리케이션 프로세서(45) 및 제2 애플리케이션 프로세서(43)의 기능이, 도 7에 있어서의 대응하는 것과 상이한 것이다.
제1 애플리케이션 프로세서(45)는 제3 또는 제4 실시 형태와 마찬가지로 하여 얻어진 전자식 손떨림 보정 벡터에 프레임 번호를 붙인 프레임 번호 부여 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'_FN을 제2 애플리케이션 프로세서(43)에 보낸다. 여기서, 프레임 번호의 초기값은 0이다.
제2 애플리케이션 프로세서(43)는 전자식 손떨림 보정을 실행한다. 제2 애플리케이션 프로세서(43)는 프레임 번호 부여 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'_FN을 순차적으로 수신한다.
제2 애플리케이션 프로세서(43)는, 순차적으로 수신한 신호 CMA'_FN에 포함되는 프레임 번호 부여 전자식 손떨림 보정 벡터 중, 버퍼 메모리(22)로부터 출력된 프레임 데이터 FD2에 포함되는 프레임 번호와 동일한 프레임 번호가 붙여진 전자식 손떨림 보정 벡터를 선택한다. 제2 애플리케이션 프로세서(43)는 선택한 전자식 손떨림 보정 벡터의 크기와 방향으로 프레임 데이터 FD2에 포함되는 촬상 화상의 유효 영역을 이동시킨다.
이상과 같이, 본 실시 형태에 따르면, 이미지 센서(36)로부터 출력되는 프레임 데이터와, OIS 컨트롤러로부터 출력되는 전자식 손떨림 보정 벡터를 대응시킬 수 있다. 동화상의 씨닝 재생 등에 의해, 버퍼 메모리(22) 내에서 프레임 데이터 FD2가 씨닝되는 경우라도, 제2 애플리케이션 프로세서(43)는 프레임 데이터 FD2에 대응하는 전자식 손떨림 보정 벡터를 사용하여, 전자식 손떨림 보정을 실행할 수 있다.
[제6 실시 형태]
도 9는 제6 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(51)과, 화상 처리 모듈(52)을 구비한다.
도 9의 구성이, 도 8의 구성과 상이한 점은, 도 9의 카메라 모듈(51)에 포함되는 OIS 컨트롤러(57)와, 도 9의 화상 처리 모듈(52)에 포함되는 제1 애플리케이션 프로세서(55)의 기능이, 도 8에 있어서의 대응하는 것과 상이한 것이다.
OIS 컨트롤러(57)의 연산부는, 진동 검출 센서(18)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 카메라 모듈(51)의 회전각을 산출한다. OIS 컨트롤러(57)의 연산부는, 카메라 모듈(51)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다.
OIS 컨트롤러(57)의 연산부는, 흔들림 벡터로부터 광학식 손떨림 보정 벡터를 산출한다. 광학식 손떨림 보정 벡터의 방향은, 흔들림 벡터의 방향과 반대이다. 광학식 손떨림 보정 벡터의 크기는, 흔들림 벡터의 크기에 보정 계수를 승산함으로써 산출된다. 보정 계수는, 제3 실시 형태와 마찬가지로, 흔들림 벡터의 크기에 따라서 변한다.
OIS 컨트롤러(57)의 제어부는, 보정 렌즈(212)가 광학식 손떨림 보정 벡터의 크기와 방향으로 이동하도록 지시하는 제어 신호를 액추에이터(20)에 출력한다. OIS 컨트롤러(57)의 통신부는, 흔들림 벡터와, 광학식 손떨림 보정 후(액추에이터(20)가 이동 후)의 보정 렌즈(212)의 위치 벡터를 나타내는 데이터 CM을 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(55)에 출력한다.
제1 애플리케이션 프로세서(55)는 데이터 CM을 수신한다. 제1 애플리케이션 프로세서(55)는 수직 동기 신호 VSYNC를 수신하였을 때에, 그 타이밍보다도 전에, 또한 1개 전에 수직 동기 신호 VSYNC를 수신한 타이밍보다도 후에 수신한 복수개의 데이터 CM으로 나타내어지는 흔들림 벡터와 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터로부터, 대표 흔들림 벡터와, 보정 렌즈(212)의 대표 위치 벡터를 구한다.
예를 들어, 가장 새로운 데이터 CM에 포함되는 흔들림 벡터 및 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터를 대표 흔들림 벡터 및 보정 렌즈(212)의 대표 위치 벡터로 해도 된다.
제1 애플리케이션 프로세서(55)는 대표 흔들림 벡터 및 보정 렌즈(212)의 대표 위치 벡터로부터, 전자식 손떨림 보정 벡터를 구한다.
전자식 손떨림 보정 벡터의 방향은, 보정 렌즈(212)의 대표 위치 벡터의 방향과 동일하다. 전자식 손떨림 보정 벡터의 크기는, 대표 흔들림 벡터의 크기로부터 보정 렌즈(212)의 대표 위치 벡터의 크기를 감산함으로써 산출된다.
제1 애플리케이션 프로세서(55)는 전자식 손떨림 보정 벡터에 프레임 번호를 붙인 프레임 번호 부여 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'_FN을 제2 애플리케이션 프로세서(43)에 보낸다. 여기서, 프레임 번호의 초기값은 0이다.
또한, 제1 애플리케이션 프로세서(55)는 대표 흔들림 벡터의 크기(흔들림양)가 소정값 이상일 때에, 전자식 손떨림 보정이 실행되고, 대표 흔들림 벡터의 크기(흔들림양)가 소정값 미만일 때, 보정 잔류량이 있어도, 전자식 손떨림 보정이 실행되지 않도록 해도 된다. 즉, 제1 애플리케이션 프로세서(55)는, 대표 흔들림 벡터의 크기가 소정값 미만일 때에는, 전자식 손떨림 보정 벡터를 산출하지 않는 것으로 해도 된다. 이에 의해, 화상 처리 모듈(52)측에서, 피사체 흔들림이 발생하였는지, 혹은 팬ㆍ틸트가 발생하였는지를 구별하고, 피사체 흔들림이 발생하였을 때에 한하여, 전자식 손떨림 보정을 실행하도록 할 수 있다.
이상과 같이, 본 실시 형태에 따르면, OIS 컨트롤러로부터 화상 처리 모듈에, 보정 잔류량을 산출하기 전의 데이터인 흔들림량과, 보정 렌즈의 위치를 나타내는 데이터를 송신한다. 이와 같은 데이터가 송신되어도, 제5 실시 형태와 마찬가지의 효과가 얻어진다. 또한, 대표 흔들림 벡터의 크기(흔들림양)에 기초하여, 전자식 손떨림 보정을 실행할지 여부를 판단할 수도 있다.
[제6 실시 형태의 변형예]
본 실시 형태에서는, OIS 컨트롤러(57)는 흔들림 벡터와, 광학식 손떨림 보정 후(액추에이터(20)가 이동 후)의 보정 렌즈(212)의 위치 벡터를 나타내는 데이터 CM을 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(55)에 출력하는 것으로 하였지만, 이것에 한정되는 것은 아니다.
예를 들어, OIS 컨트롤러(57)의 통신부는, 흔들림 벡터와, 광학식 손떨림 보정 벡터를 나타내는 데이터 CM을 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(55)에 출력하는 것으로 해도 된다.
[제7 실시 형태]
도 10은 제7 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(61)과, 화상 처리 모듈(62)을 구비한다.
도 10의 구성이, 도 9의 구성과 상이한 점은, 도 10의 카메라 모듈(61)에 포함되는 이미지 센서(66)와 OIS 컨트롤러(67), 및 도 10의 화상 처리 모듈(62)에 포함되는 제1 애플리케이션 프로세서(65)의 기능이, 도 9에 있어서의 대응하는 것과 상이한 것이다.
이미지 센서(66)는 프레임 데이터 FD1을 작성한 후, 프레임 데이터 FD1을 이미지 시그널 프로세서(21)에 출력하는 타이밍에 있어서, 수직 동기 신호 VSYNC를 제1 애플리케이션 프로세서(65)가 아니라, OIS 컨트롤러(67)에 출력한다.
OIS 컨트롤러(67)의 연산부는, 진동 검출 센서(18)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 카메라 모듈(61)의 회전각을 산출한다. OIS 컨트롤러(67)의 연산부는, 카메라 모듈(61)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다.
OIS 컨트롤러(67)의 연산부는, 흔들림 벡터로부터 광학식 손떨림 보정 벡터를 산출한다. 광학식 손떨림 보정 벡터의 방향은, 흔들림 벡터의 방향과 반대이다. 광학식 손떨림 보정 벡터의 크기는, 흔들림 벡터의 크기에 보정 계수를 승산함으로써 산출된다. 보정 계수는, 제3 실시 형태와 마찬가지로, 흔들림 벡터의 크기에 따라서 변한다.
OIS 컨트롤러(67)의 제어부는, 보정 렌즈(212)가 광학식 손떨림 보정 벡터의 크기와 방향으로 이동하도록 지시하는 제어 신호를 액추에이터(20)에 출력한다.
도 11은 OIS 컨트롤러(67)가 수직 동기 신호 VSYNC를 수신하는 타이밍과, 흔들림 벡터를 수신하는 타이밍과, 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터를 수신하는 타이밍과, 대표 흔들림 벡터 및 대표 위치 벡터를 송신하는 타이밍을 도시하는 도면이다.
OIS 컨트롤러(67)가 수직 동기 신호 VSYNC를 수신하는 타이밍과, 흔들림 벡터를 수신하는 타이밍 및 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터를 수신하는 타이밍은 동기하고 있지 않다. 수직 동기 신호 VSYNC는 1/30초마다 수신된다. 흔들림 벡터 및 위치 벡터는 1/30초보다도 짧은 주기로 수신된다.
OIS 컨트롤러(67)의 연산부는, 수직 동기 신호 VSYNC를 수신할 때마다, 그 수신 타이밍보다도 전에, 또한 1개 전에 수직 동기 신호 VSYNC를 수신한 타이밍보다도 후에 취득한 흔들림 벡터와 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터로부터, 대표 흔들림 벡터와, 보정 렌즈(212)의 대표 위치 벡터를 구한다.
예를 들어, 가장 새로운 흔들림 벡터 및 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터를 대표 흔들림 벡터 및 보정 렌즈(212)의 대표 위치 벡터로 해도 된다.
OIS 컨트롤러(67)의 통신부는, 대표 흔들림 벡터와, 보정 렌즈(212)의 대표 위치 벡터를 나타내는 데이터 CM'를 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(65)에 출력한다.
제1 애플리케이션 프로세서(65)는 데이터 CM'를 수신한다. 제1 애플리케이션 프로세서(65)는 데이터 CM'에 포함되는 대표 흔들림 벡터 및 보정 렌즈(212)의 대표 위치 벡터로부터, 전자식 손떨림 보정 벡터를 구한다. 전자식 손떨림 보정 벡터의 방향은, 보정 렌즈(212)의 대표 위치 벡터의 방향과 동일하다. 전자식 손떨림 보정 벡터의 크기는, 대표 흔들림 벡터의 크기로부터 보정 렌즈(212)의 대표 위치 벡터의 크기를 감산함으로써 산출된다.
제1 애플리케이션 프로세서(65)는 전자식 손떨림 보정 벡터에 프레임 번호를 붙인 프레임 번호 부여 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'_FN을 제2 애플리케이션 프로세서(43)에 보낸다. 여기서, 프레임 번호의 초기값은 0이다.
이상과 같이, 본 실시 형태에서는, OIS 컨트롤러가 보정 잔류량을 나타내는 데이터를 수직 동기 신호 VSYNC에 동기하여 화상 처리 모듈에 송신하므로, IC2 버스를 흐르는 데이터의 양을 적게 할 수 있다.
또한, 본 실시 형태에서는, 제1 애플리케이션 프로세서측에서 필요로 되는 정보로 재생성할 필요가 없어, 제1 애플리케이션 프로세서의 성능에 영향을 받지 않는 시스템을 구축할 수 있다.
또한, 본 실시 형태에서는, 진동 검출 센서에 가까운 장소에서, 프레임 타이밍에 동기하여, 데이터를 가공할 수 있기 때문에, 진동 검출 센서의 출력 지연에 영향을 받지 않는 시스템을 구축할 수 있다. 또한, 본 실시 형태에서는, 적절한 주기로 움직임 벡터의 정보를 생성할 수도 있다. 또한, 본 실시 형태에서는, OIS 컨트롤러가, 광학식 손떨림 보정과 전자식 손떨림 보정의 보정량의 할당을 일괄 관리하기 때문에, 감도 조정 등의 공정 조정이 용이해진다.
[제7 실시 형태의 변형예]
제7 실시 형태에서는, OIS 컨트롤러(67)의 통신부는, 대표 흔들림 벡터와, 보정 렌즈(212)의 대표 위치 벡터를 나타내는 데이터 CM'를 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(65)에 출력하였지만, 이것에 한정되는 것은 아니다.
OIS 컨트롤러(67)의 통신부는, 대표 흔들림 벡터와, 대표 광학식 손떨림 보정 벡터를 나타내는 데이터 CM'를 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(65)에 출력하는 것으로 해도 된다. 대표 광학식 손떨림 보정 벡터는, 예를 들어 전프레임의 최신의 광학식 손떨림 보정 벡터로 할 수 있다.
OIS 컨트롤러(67)의 통신부는, 대표 흔들림 벡터로부터 대표 광학식 손떨림 보정 벡터를 감산한 보정 잔류 벡터를 나타내는 데이터 CM'를 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(65)에 출력하는 것으로 해도 된다.
또한, OIS 컨트롤러(67)의 통신부는, 대표 흔들림 벡터로부터 보정 렌즈(212)의 대표 위치 벡터를 감산한 보정 잔류 벡터를 나타내는 데이터 CM'를 보정 잔류 벡터를 나타내는 데이터로서 제1 애플리케이션 프로세서(65)에 출력하는 것으로 해도 된다.
[제8 실시 형태]
도 12는 제8 실시 형태의 반도체 시스템의 구성을 도시하는 도면이다.
이 반도체 시스템은, 카메라 모듈(71)과, 화상 처리 모듈(72)을 구비한다.
도 12의 구성이, 도 10의 구성과 상이한 점은, 도 12의 카메라 모듈(71)에 포함되는 OIS 컨트롤러(77), 및 도 12의 화상 처리 모듈(72)에 포함되는 제1 애플리케이션 프로세서(75), 버퍼 메모리(74) 및 제2 애플리케이션 프로세서(73)의 기능이, 도 10에 있어서의 대응하는 것과 상이한 것이다.
또한, 도 12의 카메라 모듈(71)은 왜곡 보정용 LUT(LookUp Table) 메모리(78)를 포함하고, 도 12의 화상 처리 모듈(72)이 제3 애플리케이션 프로세서(79)를 구비하는 점에서, 도 10에 도시한 것과 상이하다.
OIS 컨트롤러(77)의 연산부는, 진동 검출 센서(18)로부터 보내지는 연직면 내의 각속도 및 수평면 내의 각속도를 나타내는 신호에 기초하여, 카메라 모듈(71)의 회전각을 산출한다. OIS 컨트롤러(77)의 연산부는, 카메라 모듈(71)의 회전각에 기초하여, 광학계(14)에 있어서의 광축의 흔들림, 즉 수광면 내에 있어서의 피사체(13)로부터의 광의 광축으로부터의 흔들림을 나타내는 흔들림 벡터를 계산한다.
OIS 컨트롤러(77)의 연산부는, 흔들림 벡터로부터 광학식 손떨림 보정 벡터를 산출한다. 광학식 손떨림 보정 벡터의 방향은, 흔들림 벡터의 방향과 반대이다. 광학식 손떨림 보정 벡터의 크기는, 흔들림 벡터의 크기에 보정 계수를 승산함으로써 산출된다. 보정 계수는 흔들림 벡터의 크기에 따라서 변한다.
OIS 컨트롤러(77)의 제어부는, 보정 렌즈(212)가 광학식 손떨림 보정 벡터의 크기와 방향으로 이동하도록 지시하는 제어 신호를 액추에이터(20)에 출력한다.
도 13은 제8 실시 형태에 있어서의 수광면의 한쪽의 축방향으로 보정 렌즈(212)가 어긋났을 때의 손떨림 보정을 설명하기 위한 도면이다.
도 13의 (a)에는, 흔들림 벡터의 시간 변화를 나타내는 곡선 CV1과, 참고로서 제3 실시 형태에 있어서의 보정 후의 보정 렌즈(212)의 위치의 시간 변화를 나타내는 곡선 CV2와, 제8 실시 형태에 있어서의 보정 후의 보정 렌즈(212)의 위치의 시간 변화를 나타내는 곡선 CV3이 도시되어 있다.
도 13의 (b)에는, 참고로서 제3 실시 형태의 보정 계수(점선)와, 제8 실시 형태의 보정 계수(실선)가 도시되어 있다.
제8 실시 형태에서는, 흔들림 벡터의 크기가 D0일 때에, 보정 계수가 K(>0)이다. 흔들림 벡터의 크기(흔들림양)가 D1보다도 크고, D0 미만일 때에는, 흔들림 벡터의 크기(흔들림양)가 작아질수록, 보정 계수가 커진다. 흔들림 벡터의 크기(흔들림양)가 D1 이하일 때에는, 보정 계수가 일정값으로 된다. 본 실시 형태의 보정 계수는, 제3 실시 형태의 보정 계수보다도 손떨림 보정에 대한 억제가 낮아, 보정 렌즈(212)의 단부에 있어서도 손떨림 보정이 어느 정도 실행된다. 그 때문에, 렌즈 수차에 의해, 촬상 화상에 왜곡이 발생한다.
OIS 컨트롤러(77)의 연산부는, 수직 동기 신호 VSYNC를 수신할 때마다, 그 수신 타이밍보다도 전에, 또한 1개 전에 수직 동기 신호 VSYNC를 수신한 타이밍보다도 후에 취득한 흔들림 벡터와 광학식 손떨림 보정 후의 보정 렌즈(212)의 위치 벡터로부터, 대표 흔들림 벡터와, 보정 렌즈(212)의 대표 위치 벡터를 구한다.
왜곡 보정용 LUT 메모리(78)는 대표 흔들림 벡터와, 촬상 화상의 왜곡 보정용 데이터의 대응 관계를 정한 LUT를 기억한다. 왜곡 보정용 데이터는, 예를 들어 아핀 변환을 위한 데이터로 할 수 있다.
OIS 컨트롤러(77)의 연산부는, 왜곡 보정용 LUT 메모리(78)로부터 대표 흔들림 벡터에 대응하는 왜곡 보정용 데이터를 판독한다.
OIS 컨트롤러(77)의 통신부는, 왜곡 보정용 데이터와, 대표 흔들림 벡터와, 보정 렌즈(212)의 대표 위치 벡터를 나타내는 데이터 CX를 제1 애플리케이션 프로세서(75)에 출력한다.
제1 애플리케이션 프로세서(75)는 데이터 CX를 수신한다. 제1 애플리케이션 프로세서(75)는 데이터 CX에 포함되는 대표 흔들림 벡터 및 보정 렌즈(212)의 대표 위치 벡터로부터, 전자식 손떨림 보정 벡터를 구한다. 전자식 손떨림 보정 벡터의 방향은, 보정 렌즈(212)의 대표 위치 벡터의 방향과 동일하다. 전자식 손떨림 보정 벡터의 크기는, 대표 흔들림 벡터의 크기(흔들림양)로부터 보정 렌즈(212)의 대표 위치 벡터의 크기(위치를 나타내는 양)를 감산함으로써 산출된다.
제1 애플리케이션 프로세서(75)는 전자식 손떨림 보정 벡터에 프레임 번호를 붙인 프레임 번호 부여 전자식 손떨림 보정 벡터를 나타내는 신호 CMA'_FN을 제2 애플리케이션 프로세서(73)에 보낸다. 여기서, 프레임 번호의 초기값은 0이다.
제1 애플리케이션 프로세서(75)는 데이터 CX에 포함되는 왜곡 보정용 데이터에 프레임 번호를 붙인 프레임 번호 부여 왜곡 보정 데이터 AFN을 제3 애플리케이션 프로세서(79)에 보낸다.
버퍼 메모리(74)는 프레임 전송 신호 FRA를 수신할 때마다, 1개분의 프레임 데이터 FD2를 제3 애플리케이션 프로세서(79)에 출력한다.
제3 애플리케이션 프로세서(79)는, 순차적으로 수신한 프레임 번호 부여 왜곡 보정 데이터 AFN 중, 버퍼 메모리(74)로부터 출력된 프레임 데이터 FD2에 포함되는 프레임 번호와 동일한 프레임 번호가 붙여진 왜곡 보정 데이터를 선택한다. 제3 애플리케이션 프로세서(79)는 프레임 데이터 FD2에 포함되는 촬상 화상을 선택한 왜곡 보정 데이터에 의해 보정하고, 보정 후의 촬상 화상이 포함되는 프레임 데이터 FD4를 제2 애플리케이션 프로세서(73)에 보낸다.
도 14의 (a)는 왜곡 보정 전의 촬상 화상을 도시하는 도면이다. 도 14의 (b)는 왜곡 보정 후의 촬상 화상을 도시하는 도면이다. 왜곡 보정에 의해, 보정 렌즈(212)의 단부의 부분을 통해 입력된 광에 의해 생성되는 촬상 화상의 단부의 부분에 왜곡이 발생하지만, 왜곡 보정에 의해, 촬상 화상의 왜곡이 감소 또는 제거된다.
제2 애플리케이션 프로세서(73)는 전자식 손떨림 보정을 실행한다. 제2 애플리케이션 프로세서(73)는, 순차적으로 수신한 신호 CMA'_FN에 포함되는 프레임 번호 부여 보정 잔류 벡터 중, 프레임 데이터 FD4에 포함되는 프레임 번호와 동일한 프레임 번호가 붙여진 전자식 손떨림 보정 벡터를 선택한다. 제2 애플리케이션 프로세서(73)는 선택한 전자식 손떨림 보정 벡터의 크기와 방향으로 프레임 데이터 FD4에 포함되는 촬상 화상의 유효 영역을 이동시킨다. 제2 애플리케이션 프로세서(73)는 촬상 화상 중 유효 영역 내의 화소의 데이터(유효 화상 데이터)를 프레임 데이터 FD3으로서 프레임 메모리(24)에 출력한다.
이상과 같이, 본 실시 형태에 따르면, 광이 보정 렌즈의 단부를 통해 입력됨으로써, 촬상 화상에 왜곡이 발생하는 경우라도, 화상 처리 모듈에 의해, 흔들림량에 따른 왜곡 보정이 실행되므로, 표시되는 화상의 왜곡을 제거 또는 저감할 수 있다.
또한, 왜곡 보정은, 촬상 화상 전체가 아니라, 촬상 화상의 단부의 부분에 대해서만 행하는 것으로 해도 된다.
이상, 본 발명자에 의해 이루어진 발명을 실시 형태에 기초하여 구체적으로 설명하였지만, 본 발명은 실시 형태에 한정되는 것은 아니고, 그 요지를 일탈하지 않는 범위에서 다양하게 변경 가능한 것은 물론이다.
101 : 반도체 시스템
11, 31, 51, 61, 71, 91, 102 : 카메라 모듈
12, 32, 42, 52, 62, 72, 103 : 화상 처리 모듈
13 : 피사체
14, 104 : 광학계
16, 36, 66, 105 : 이미지 센서
17, 37, 57, 67, 77, 97 : OIS 컨트롤러
20, 106 : 액추에이터
18, 26, 107 : 진동 검출 센서
21 : 이미지 시그널 프로세서
22, 74 : 버퍼 메모리
23, 33, 43, 73 : 제2 애플리케이션 프로세서
24 : 프레임 메모리
25, 35, 45, 55, 65, 75 : 제1 애플리케이션 프로세서
27 : 모니터
78 : 왜곡 보정용 LUT 메모리
79 : 제3 애플리케이션 프로세서
99 : I2C 버스
108 : 카메라 컨트롤러
109 : 제어부
110 : 연산부
111 : 통신부
112 : 제1 프로세서
113 : 제2 프로세서
114 : 제3 프로세서

Claims (14)

  1. 광학식 손떨림 보정을 제어하는 카메라 컨트롤러로서,
    진동 검출 센서에 의한 검출 결과에 기초하여 광학계에 있어서의 광축의 흔들림을 검출하고, 상기 흔들림의 양의 일부를 보정하기 위해, 광학식 손떨림 보정량을 산출하는 연산부와,
    상기 광학식 손떨림 보정량에 기초하여, 상기 광학계에 포함되는 보정 렌즈가 상기 광축에 수직인 면내에서 시프트하도록 상기 보정 렌즈를 구동하는 액추에이터를 제어하는 제어부와,
    상기 흔들림의 나머지의 양을 보정하기 위해, 상기 흔들림의 보정 잔류량을 나타내는 데이터를 전자식 손떨림 보정 기능을 구비한 화상 처리 모듈에 송신하는 통신부를 구비한 카메라 컨트롤러.
  2. 제1항에 있어서,
    상기 통신부는, 이미지 센서로부터 수직 동기 신호를 받을 때마다, 상기 흔들림의 보정 잔류량을 나타내는 데이터를 상기 화상 처리 모듈에 송신하는 카메라 컨트롤러.
  3. 제1항에 있어서,
    상기 흔들림의 양에 따른, 이미지 센서의 촬상 화상의 왜곡 보정용의 데이터를 기억하는 기억부를 구비하고,
    상기 통신부는, 상기 흔들림의 양에 따른 상기 왜곡 보정용의 데이터를 상기 화상 처리 모듈에 송신하는 카메라 컨트롤러.
  4. 제1항에 있어서,
    상기 흔들림의 보정 잔류량을 나타내는 데이터는, 상기 흔들림의 양으로부터 상기 광학식 손떨림 보정량을 감산한 양을 나타내는 데이터인 카메라 컨트롤러.
  5. 제1항에 있어서,
    상기 흔들림의 보정 잔류량을 나타내는 데이터는, 상기 흔들림의 양으로부터 상기 보정 렌즈의 시프트 후의 위치를 나타내는 양을 감산한 양을 나타내는 데이터인 카메라 컨트롤러.
  6. 제1항에 있어서,
    상기 흔들림의 보정 잔류량을 나타내는 데이터는, 상기 흔들림의 양과, 상기 보정 렌즈의 시프트 후의 위치를 나타내는 데이터인 카메라 컨트롤러.
  7. 제1항에 있어서,
    상기 흔들림의 보정 잔류량을 나타내는 데이터는, 상기 흔들림의 양과, 상기 광학식 손떨림 보정량을 나타내는 데이터인 카메라 컨트롤러.
  8. 전자식 손떨림 보정 기능을 구비한 화상 처리 모듈로서,
    카메라 컨트롤러로부터 송신되는 광학계에 있어서의 광축의 흔들림의 보정 잔류량을 나타내는 데이터를 수신하고, 상기 보정 잔류량에 따른 전자식 손떨림 보정량을 나타내는 신호를 출력하는 제1 프로세서와,
    이미지 센서로부터 보내지는 프레임 데이터를 수신하는 제2 프로세서와,
    상기 제1 프로세서로부터 보내지는 상기 전자식 손떨림 보정량에 기초하여, 상기 프레임 데이터에 포함되는 촬상 화상의 유효 영역을 변화시키는 제3 프로세서를 구비한 화상 처리 모듈.
  9. 제8항에 있어서,
    상기 제1 프로세서는, 이미지 센서로부터 수직 동기 신호를 수신할 때마다, 1개 전의 수직 동기 신호를 수신한 타이밍보다도 후에 수신한 복수개의 상기 흔들림의 보정 잔류량을 나타내는 데이터에 기초하여, 상기 전자식 손떨림 보정량을 구하는 화상 처리 모듈.
  10. 제8항에 있어서,
    상기 제1 프로세서는, 전자식 손떨림 보정량에 프레임 번호를 붙인 신호를 상기 제3 프로세서에 출력하고,
    상기 제3 프로세서는, 상기 프레임 데이터의 프레임 번호와 동일한 번호가 붙여진 상기 전자식 손떨림 보정량에 기초하여, 상기 촬상 화상의 유효 영역을 변화시키는 화상 처리 모듈.
  11. 제8항에 있어서,
    상기 제1 프로세서는, 상기 흔들림의 보정 잔류량을 나타내는 데이터와 함께, 흔들림의 양에 따른 상기 촬상 화상의 왜곡 보정용의 데이터를 수신하고,
    상기 왜곡 보정용의 데이터를 사용하여, 상기 촬상 화상의 왜곡을 보정하는 제4 프로세서를 구비하는 화상 처리 모듈.
  12. 제8항에 있어서,
    상기 제1 프로세서는, 상기 흔들림의 보정 잔류량을 나타내는 데이터로서, 상기 흔들림의 양과 상기 광학계에 포함되는 보정 렌즈의 시프트 후의 위치를 나타내는 데이터를 수신하고, 상기 흔들림의 양으로부터 상기 위치를 나타내는 양을 감산함으로써 상기 전자식 손떨림 보정량을 산출하는 화상 처리 모듈.
  13. 제8항에 있어서,
    상기 제1 프로세서는, 상기 흔들림의 보정 잔류량을 나타내는 데이터로서, 상기 흔들림의 양과 상기 광학계에 포함되는 보정 렌즈의 시프트 후의 위치를 나타내는 데이터를 수신하고, 상기 흔들림의 양이 소정값 이상인 경우에, 상기 흔들림의 양으로부터 상기 위치를 나타내는 양을 감산함으로써 상기 전자식 손떨림 보정량을 산출하는 화상 처리 모듈.
  14. 광학 손떨림 보정 기능을 구비한 카메라 모듈과, 전자식 손떨림 보정 기능을 구비한 화상 처리 모듈을 구비한 반도체 시스템으로서,
    상기 카메라 모듈은,
    손떨림을 보정하기 위한 보정 렌즈를 포함하는 광학계와,
    상기 카메라 모듈의 진동을 검출하는 진동 검출 센서와,
    상기 광학계를 통해 입력된 광을 광전 변환함으로써 촬상 화상을 생성하고, 촬상 화상을 포함하는 프레임 데이터를 출력하는 이미지 센서와,
    상기 보정 렌즈를 구동하는 액추에이터와,
    광학식 손떨림 보정을 제어하는 카메라 컨트롤러를 구비하고,
    상기 진동 검출 센서에 의한 검출 결과에 기초하여 상기 광학계에 있어서의 광축의 흔들림을 검출하고, 상기 흔들림의 양의 일부를 보정하기 위해, 광학식 손떨림 보정량을 산출하고, 상기 광학식 손떨림 보정량에 기초하여 상기 보정 렌즈가 상기 광축에 수직인 면내에서 시프트하도록 상기 액추에이터를 제어하고, 상기 흔들림의 나머지의 양을 보정하기 위해, 상기 흔들림의 보정 잔류량을 나타내는 데이터를 상기 화상 처리 모듈에 송신하고,
    상기 화상 처리 모듈은,
    상기 카메라 컨트롤러로부터 송신되는 상기 흔들림의 보정 잔류량을 나타내는 데이터를 수신하고, 상기 보정 잔류량에 따른 전자식 손떨림 보정량을 나타내는 신호를 출력하는 제1 프로세서와,
    상기 이미지 센서로부터 보내지는 프레임 데이터를 수신하는 제2 프로세서와,
    상기 제1 프로세서로부터 보내지는 상기 전자식 손떨림 보정량에 기초하여, 상기 제2 프로세서로부터 보내지는 상기 프레임 데이터에 포함되는 촬상 화상 데이터의 유효 영역을 변화시키는 제3 프로세서를 구비한 반도체 시스템.
KR1020170123267A 2016-09-28 2017-09-25 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템 KR102393775B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016189500A JP6674701B2 (ja) 2016-09-28 2016-09-28 画像処理モジュール、および半導体システム
JPJP-P-2016-189500 2016-09-28

Publications (2)

Publication Number Publication Date
KR20180035150A true KR20180035150A (ko) 2018-04-05
KR102393775B1 KR102393775B1 (ko) 2022-05-03

Family

ID=61686977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170123267A KR102393775B1 (ko) 2016-09-28 2017-09-25 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템

Country Status (5)

Country Link
US (1) US10348969B2 (ko)
JP (1) JP6674701B2 (ko)
KR (1) KR102393775B1 (ko)
CN (1) CN107888821B (ko)
TW (1) TWI738869B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225248A1 (ko) * 2021-04-22 2022-10-27 삼성전자 주식회사 촬영 시 흔들림을 보정하는 방법 및 그 전자 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3522519B1 (en) * 2016-10-17 2022-11-30 Huawei Technologies Co., Ltd. Image acquiring method and terminal device
CN109819178B (zh) * 2017-11-21 2022-07-08 虹软科技股份有限公司 一种用于帧处理的方法和装置
US11402730B2 (en) * 2018-06-19 2022-08-02 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device holder with stablization
WO2021056553A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 防抖电路、方法、设备及存储介质
CN112333385B (zh) * 2020-10-28 2022-02-22 维沃移动通信有限公司 电子防抖控制方法及装置
EP4280615A1 (en) * 2021-07-30 2023-11-22 Honor Device Co., Ltd. Image anti-shake method and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160637A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd 撮像装置
JP2009152793A (ja) 2007-12-19 2009-07-09 Sanyo Electric Co Ltd 手振れ補正制御回路およびそれを搭載した撮像装置
JP2014039131A (ja) * 2012-08-14 2014-02-27 Canon Inc 撮像システム及びその制御方法
KR101642569B1 (ko) * 2014-04-18 2016-07-26 삼성전기주식회사 디지털 촬영시스템 및 그 제어방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029640A (ja) * 2002-06-28 2004-01-29 Canon Inc 防振ズームレンズ装置およびカメラシステム
JP2005215388A (ja) * 2004-01-30 2005-08-11 Canon Inc 交換レンズ及びそれを用いたカメラシステム
JP2006033758A (ja) * 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像復元方法
US7742644B2 (en) * 2006-01-18 2010-06-22 Qualcomm Incorporated Processing of images in imaging systems
JP5487643B2 (ja) * 2009-02-27 2014-05-07 株式会社ニコン カメラ
JP5513029B2 (ja) * 2009-07-15 2014-06-04 キヤノン株式会社 撮像装置およびその制御方法
JP5720556B2 (ja) * 2011-12-14 2015-05-20 株式会社Ｊｖｃケンウッド 撮像装置及び画像ぶれ補正方法
JP6004785B2 (ja) * 2012-06-29 2016-10-12 キヤノン株式会社 撮像装置、光学機器、撮像システムおよび制御方法
JP6074298B2 (ja) * 2013-03-18 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置、及びそれらの制御方法
US9374514B2 (en) * 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
WO2015123791A1 (en) * 2014-02-18 2015-08-27 Empire Technology Development Llc Composite image generation to remove obscuring objects
JP6472176B2 (ja) * 2014-06-10 2019-02-20 キヤノン株式会社 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法
JP6385212B2 (ja) * 2014-09-09 2018-09-05 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び画像生成装置
WO2016093502A1 (ko) * 2014-12-10 2016-06-16 엘지전자 주식회사 차량 디스플레이 장치 및 이를 구비한 차량
CN107852462B (zh) * 2015-07-22 2020-12-18 索尼公司 相机模块、固体摄像元件、电子设备和摄像方法
JP6700853B2 (ja) * 2016-02-26 2020-05-27 キヤノン株式会社 撮像システムおよびその制御方法、撮像装置、レンズ装置
JP6635825B2 (ja) * 2016-02-26 2020-01-29 キヤノン株式会社 撮像システムおよびその制御方法、撮像装置、レンズ装置
JP6910765B2 (ja) * 2016-08-26 2021-07-28 キヤノン株式会社 制御装置、防振制御方法および防振制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160637A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd 撮像装置
JP2009152793A (ja) 2007-12-19 2009-07-09 Sanyo Electric Co Ltd 手振れ補正制御回路およびそれを搭載した撮像装置
JP2014039131A (ja) * 2012-08-14 2014-02-27 Canon Inc 撮像システム及びその制御方法
KR101642569B1 (ko) * 2014-04-18 2016-07-26 삼성전기주식회사 디지털 촬영시스템 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225248A1 (ko) * 2021-04-22 2022-10-27 삼성전자 주식회사 촬영 시 흔들림을 보정하는 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR102393775B1 (ko) 2022-05-03
US10348969B2 (en) 2019-07-09
TWI738869B (zh) 2021-09-11
JP2018056753A (ja) 2018-04-05
TW201825998A (zh) 2018-07-16
JP6674701B2 (ja) 2020-04-01
CN107888821B (zh) 2021-04-09
CN107888821A (zh) 2018-04-06
US20180091739A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
KR102393775B1 (ko) 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템
US8279290B2 (en) Blur correcting image pickup apparatus and control method
CN107135338B (zh) 摄像系统及其控制方法、摄像设备和镜头装置
JP7277513B2 (ja) レンズ装置、レンズ装置の制御方法およびレンズ装置の制御プログラム、
CN107135349B (zh) 摄像设备、镜头单元、摄像系统及其控制方法
US20190230287A1 (en) Imaging apparatus
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
US9507170B2 (en) Optical apparatus, interchangeable lens, and method for correcting image blurring
JP2018033076A (ja) アクセサリ装置、撮像装置、撮像システム、通信制御方法および通信制御プログラム
JP2007017517A (ja) 像振れ補正装置
US9955078B2 (en) Image shake correction device, control method, and image pickup apparatus
JP5241019B2 (ja) 防振用シフトレンズを備えたレンズ装置
JP5509805B2 (ja) コンバータ、レンズ鏡筒、カメラボディおよびカメラ
US20120188398A1 (en) Image capture device and integrated circuit
JP7071204B2 (ja) 撮像システム、レンズ装置、撮像装置、及びその制御方法
US20150294442A1 (en) Camera system and imaging method
JP4759238B2 (ja) 光学機器
JP7182962B2 (ja) 撮像装置、レンズ装置およびこれらの制御方法
JP2004252486A (ja) 撮像装置における像ぶれ補正装置
JP7172214B2 (ja) 交換レンズ、カメラボディ及びカメラシステム
JP2018017748A (ja) 制御装置、撮像装置、レンズ装置、撮像システム、制御方法、プログラム、および、記憶媒体
TWM499576U (zh) 具自動影像校正之照相模組之手持式電子裝置
JP2011180545A (ja) 撮像装置
KR20140118590A (ko) 촬영 장치 및 촬영 장치의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant