KR20150135771A

KR20150135771A - 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법

Info

Publication number: KR20150135771A
Application number: KR1020157024158A
Authority: KR
Inventors: 마사토 요네다; 소이치 쿠와하라; 히로유키 히라이데
Original assignee: 소니 주식회사
Priority date: 2013-03-29
Filing date: 2014-03-14
Publication date: 2015-12-03
Also published as: CN105191283B; JP6327245B2; EP2981062B1; US10051183B2; KR102179731B1; WO2014156731A1; EP2981062A4; US20160057352A1; TW201448594A; CN105191283A; TWI655869B; EP2981062A1; JPWO2014156731A1

Abstract

본 개시는, 보다 효과적인 손떨림 보정을 행할 수 있도록 하는 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법에 관한 것이다. 피사체를 촬상하여 화상을 출력하는 촬상부와, 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와, 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치에 의존하여 다르고, 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 화상을 보정하는 보정 처리부와, 촬상부로부터 출력되는 화상과, 검출부로부터 출력되는 흔들림각과의 동기를 취하여 보정 처리부에 공급하는 동기부를 구비한다. 본 기술은, 예를 들면, 촬상 기능을 구비한 전자 기기에 적용할 수 있다.

Description

촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법{IMAGE-CAPTURING DEVICE, SOLID-STATE IMAGE-CAPTURING ELEMENT, CAMERA MODULE, ELECTRONIC DEVICE, AND IMAGE-CAPTURING METHOD}

본 개시는, 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법에 관한 것으로, 특히, 보다 효과적인 손떨림 보정을 행할 수 있도록 한 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법에 관한 것이다.

종래, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 촬상 기능을 구비한 전자 기기에서는, 촬상시의 손떨림을 보정하여 흔들림이 없는 화상을 출력하는 손떨림 보정 시스템이 채용되고 있다. 종래의 손떨림 보정 시스템에는, 전자식의 손떨림 보정과, 광학식의 손떨림 보정의 2종류가 있다.

전자식의 손떨림 보정은, 연속하는 화상의 사이에서, 찍혀져 있는 피사체의 흔들림을 화상으로부터 검출하고, 그 흔들림량에 응하여 화상의 위치를 이동시키는 화상 처리를 행함으로써 손떨림을 보정한다. 이와 같은 전자식의 손떨림 보정은, 메커니컬한 기구가 불필요하고, 구조체를 소형화할 수 있다. 그러나 화상으로부터 흔들림을 검출하기 때문에, 암소(暗所)에서 화상이 명확하지 않은 때에는 흔들림을 검출하는 것이 곤란하였다. 또한, 전(前)의 화상과 비교하기 때문에, 전의 화상을 전부 보존하는 메모리 영역이 필요해진다.

또한, 전자식의 손떨림 보정에서는, 손떨림량을 2개의 프레임(그림(畵))으로부터 검출하기 때문에, 화상 중의 움직임이 있는 물체(동체(動體))인 것인지, 또는 손떨림에 의한 화상의 어긋남인 것인지의 판정을 모든 신에서 확실하게 행하는 것은 극히 곤란하다. 이 동체와 손떨림의 구별도 포함한 알고리즘은 수많이 제안되어 있지만, 현재 상태로서는, 아직까지 개선이 행하여지고 있다.

또한, 광학식의 손떨림 보정은, 이미지 센서가 어떻게 떨렸는지를 자이로스코프 등으로 검출하고, 그 역(逆)보정의 분만큼 렌즈 또는 이미지 센서를 가동시킴에 의해 손떨림을 보정한다. 광학식의 손떨림 보정에서는, 물리적인 떨림을 검출하기 때문에, 전자식의 손떨림 보정과 같은 동체와 손떨림과의 오인식은 발생하지 않는다. 또한, 전의 그림(畵)과의 비교도 필요 없기 때문에, 전의 그림을 축적하기 위한 프레임 메모리가 불필요하다. 그러나, 광학식의 손떨림 보정에서는, 그 가동부의 구조체가 크게 되어 버릴 뿐만 아니라, 구조체를 움직이기 위해 소비 전력이 크게 되어 버린다.

또한, 종래, 촬상 소자로서 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 채용한 촬상 장치에서는, 촬상 소자의 라인마다 노광 기간의 어긋남(촬상 타이밍의 어긋남)이 생기기 때문에, 손떨림의 영향을 완전히 제거하는 것은 곤란하였다.

그래서, 특허 문헌 1에 개시되어 있는 바와 같이, 피사체 화상에서의 소정의 라인이 촬상된 때의 진동량으로부터 산출된 보정량에 의거하여, 피사체 화상을 라인마다 보정하는 손떨림 보정 처리가 제안되어 있다(특허 문헌 1 참조).

일본 특개2006-304313호 공보

그런데, 종래의 전자식 및 광학식의 손떨림 보정의 어느 것에서도, 화상 전체를 일양하게 보정할 수는 있지만, 예를 들면, 손떨림에 의해 화상에 발생하는 왜곡까지는 효과적으로 보정하는 것은 곤란하였다.

본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 보다 효과적인 손떨림 보정을 행할 수 있도록 하는 것이다.

본 개시의 한 측면의 촬상 장치, 고체 촬상 소자, 카메라 모듈, 또는 전자 기기는, 피사체를 촬상하여 화상을 출력하는 촬상부와, 상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와, 상기 촬상부가 출력하는 화상을 구성하는 화소의 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비한다.

본 개시의 한 측면의 촬상 방법은, 피사체를 촬상하여 화상을 출력하는 촬상부와, 상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부를 갖는 촬상 장치의 촬상 방법에 있어서, 상기 촬상부가 화상을 출력하고, 상기 검출부가 흔들림각을 출력하고, 상기 촬상부가 출력하는 화상을 구성하는 화소의 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 스텝을 포함한다.

본 개시의 한 측면에서는, 피사체를 촬상하여 화상이 출력하는 촬상부와, 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부를 구비하고, 촬상부가 출력하는 화상을 구성하는 화소의 위치와 검출부에 의해 검출된 흔들림각에 의거한 보정량이 산출되고, 이 보정량에 따라 화상이 보정된다.

본 개시의 한 측면에 의하면, 보다 효과적인 손떨림 보정을 행할 수가 있다.

도 1은 본 기술을 적용한 촬상 장치의 한 실시의 형태의 구성례를 도시하는 블록도.
도 2는 촬상 소자의 센서면과 피사체면과의 관계를 설명하는 도면.
도 3은 센서면이 떨리기 전후의 관계를 도시하는 도면.
도 4는 떨림에 의한 Y방향의 거리차를 설명하는 도면.
도 5는 Y축방향의 앙각과 피사체거리를 파라미터로 하여 구한 오차거리(δy)의 한 예를 도시하는 도면.
도 6은 흔들림각(θ)으로 회전이동한 때에 있어서의 X방향의 보정에 관해 설명하는 도면.
도 7은 흔들림각(θ)에 의한 동공위치의 변화를 설명하는 도면.
도 8은 X축방향의 앙각과 피사체거리를 파라미터로 하여 구한 오차거리(δx)의 한 예를 도시하는 도면.
도 9는 상높이와 보정량의 관계를 도시하는 도면.
도 10은 손떨림 보정 처리의 효과를 비교하여 설명하는 도면.
도 11은 손떨림 보정 처리의 효과를 비교하여 설명하는 도면.
도 12는 손떨림 보정 처리의 효과를 비교하여 설명하는 도면.
도 13은 자이로 데이터와 화상 데이터의 동기에 관해 설명하는 도면.
도 14는 자이로 데이터와 화상 데이터의 동기에 관해 설명하는 도면.
도 15는 피치각, 요각, 및 롤각의 정의를 도시하는 도면.
도 16은 글로벌 셔터 방식의 이미지 센서에서 흔들림각이 화상에 주는 영향을 도시하는 도면.
도 17은 글로벌 셔터 방식의 이미지 센서에서 흔들림각이 화상에 주는 영향을 도시하는 도면.
도 18은 롤링 셔터 방식의 이미지 센서에서 흔들림각이 화상에 주는 영향을 도시하는 도면.
도 19는 롤링 셔터 방식의 이미지 센서에서 흔들림각이 화상에 주는 영향을 도시하는 도면.
도 20은 롤링 셔터 방식의 이미지 센서에서 흔들림각이 화상에 주는 영향을 도시하는 도면.
도 21은 배럴 시프트 방식에 의한 손떨림 보정 기능을 구비한 촬상 장치의 구성례를 도시하는 도면.
도 22는 촬상 방법을 설명하는 플로 차트.
도 23은 본 기술을 적용한 촬상 장치의 다른 실시의 형태의 구성례를 도시하는 블록도.
도 24는 AF 제어 신호의 전류치와 피사체거리와의 관계에 관해 설명하는 도면.
도 25는 소정의 피사체거리와 X방향의 오차거리(δx)와의 관계의 한 예를 도시하는 도면.
도 26은 손떨림 보정 처리의 효과를 비교하여 설명하는 도면.
도 27은 본 기술을 적용한 고체 촬상 소자의 한 실시의 형태의 구성례를 도시하는 블록도.

이하, 본 기술을 적용한 구체적인 실시의 형태에 관해, 도면을 참조하면서 상세히 설명한다.

도 1은, 본 기술을 적용한 촬상 장치의 한 실시의 형태의 구성례를 도시하는 블록도이다.

도 1에 도시하는 바와 같이, 촬상 장치(11)는, 디지털 스틸 카메라나 디지털 비디오 카메라 등과 같이 촬상을 주된 기능으로 하는 전자 기기이고, 광학계(12), 기록 매체(13), 디스플레이(14), 및 카메라 모듈(15)을 구비하여 구성된다. 또한, 예를 들면, 촬상 장치(11)로서는, 촬상을 주된 기능으로 하는 전자 기기 외에, 휴대 전화 기기, 또는, 이른바 스마트 폰이나 태블릿 등으로 불리는 다기능형 휴대 단말과 같이 촬상 기능을 구비한 전자 기기가 적응 가능하게 된다.

광학계(12)는, 1장 또는 복수장의 렌즈를 갖고서 구성되고, 피사체로부터의 광을 집광하여, 카메라 모듈(15)이 갖는 이미지 센서(21)의 센서면에 피사체의 상을 결상한다.

기록 매체(13)은, 촬상 장치(11)에 내장형, 또는, 촬상 장치(11)에 착탈 가능한 리무버블형의 메모리(예를 들면, EEPROM(Electronically Erasable and Programmable Read Only Memory))이고, 카메라 모듈(15)로부터 출력되는 화상을 기록한다.

디스플레이(14)는, 예를 들면, 액정 패널이나 유기 EL(Electro Luminescence) 패널 등의 표시부를 갖고서 구성되고, 카메라 모듈(15)로부터 출력되는 화상을 표시한다.

카메라 모듈(15)은, 이미지 센서(21), 자이로 센서(22), 신호 동기부(同期部)(23), 파라미터 유지부(24), 및, 손떨림 보정 처리부(25)를 구비하여 구성된다.

이미지 센서(21)는, 피사체의 광학상을 촬상하여 전기 신호로 변환하는 X-Y형의 촬상 소자와, 촬상 소자로부터 출력되는 신호에 대한 신호 처리를 시행하는 신호 처리부를 갖고서 구성되고, 피사체가 촬상된 화상 신호를 출력한다. 예를 들면, 이미지 센서(21)는, 촬상 소자 및 신호 처리부가 적층된 일체의 칩에 의해 구성되고, 또는, 촬상 소자의 칩과 신호 처리부의 칩이 조합된 유닛에 의해 구성된다. 또한, 신호 처리부는, 촬상 소자의 출력을 증폭하는 AGC(Automatic Gain Control : 오토 게인 컨트롤)나, AD(Analog Digital) 변환 등의 전처리, 전처리된 디지털 신호를 적절한 화상 신호 포맷(Bayer, YUV, RGB 등)으로 변환하는 처리 등을 행한다.

자이로 센서(22)는, 이미지 센서(21)의 부근에 실장되고, 이미지 센서(21)가 떨린 때의 흔들림각을 물리적으로(화상 처리적이 아니고) 검출한다. 예를 들면, 자이로 센서(22)는, 각속도를 검출하는 검출부이고, 일정한 타이밍에서, 검출한 각속도로부터 구하여지는 흔들림각을 나타내는 자이로 데이터(이하, 적절히, 손떨림량 정보라고도 칭한다)를 출력한다.

신호 동기부(23)는, 이미지 센서(21)로부터 출력되는 화상 신호와, 자이로 센서(22)로부터 일정한 타이밍에서 출력되는 손떨림량 정보와의 동기(同期)를 취하는 동기 처리를 행하여, 화상 신호 및 손떨림량 정보를 손떨림 보정 처리부(25)에 출력한다. 또한, 신호 동기부(23)에 의한 동기 처리에 관해서는, 도 13 및 도 14를 참조하여 후술한다.

파라미터 유지부(24)는, 광학계(12) 및 이미지 센서(21)로 구성되는 모듈의 기하광학적(幾何光學的)인 고유 파라미터(예를 들면, 화각(畵角)이나 모듈 동공거리(瞳距離) 등)를 유지한다.

손떨림 보정 처리부(25)는, 신호 동기부(23)로부터 출력되는 화상 신호, 그 화상 신호와 동기가 취하여진 손떨림량 정보, 및, 파라미터 유지부(24)에 유지되어 있는 고유 파라미터에 의거하여, 화상 신호에 대한 보정량을 산출한다. 그리고, 손떨림 보정 처리부(25)는, 산출한 보정량에 따라 화상 신호의 손떨림을 보정하는 손떨림 보정 처리를 행하여, 손떨림의 발생을 억제한 화상 신호(이하, 적절히, 손떨림 보정 화상이라고 칭한다)로 변환하여, 기록 매체(13) 및 디스플레이(14)에 공급한다. 또한, 손떨림 보정 처리부(25)에 의한 상세한 손떨림 보정 처리에 관해서는, 도 15 내지 도 20을 참조하여 후술한다.

우선, 도 2 내지 도 12를 참조하여, 손떨림 보정 처리부(25)에서의 손떨림 보정 처리의 원리 및 평가에 관해 설명한다.

우선, 도 2에 도시하는 바와 같이, 이미지 센서(21)의 센서면(S)과 피사체면과의 관계를 정의한다.

피사체면(被寫體面)상의 각 점은, 도시하지 않은 광학계(12)(도 1)의 렌즈의 동공위치(瞳位置)(I)를 통과하여, 센서면(S)상에 결상한다. 예를 들면, 광학계(12)의 광축과 교차하는 피사체면상의 점(C)은, 동공위치(I)를 통과하여 센서면(S)의 개략 중심(여기서, 개략 중심이란, 센서면(S)의 화상(畵像)상의 중심, 또는 센서면(S)의 광학적인 중심, 또는, 센서면(S)의 화상상 또는 광학적인 중심의 부근을 포함하고, 이하, 적절히, 중심점이라고 칭한다)에 결상하고, 광학계(12)의 광축에 대해 앙각(仰角)(α)의 위치에 있는 피사체면상의 점(A)은, 점(A)부터 동공위치(I)를 통과하는 광선(L1)과 교차하는 센서면(S)상의 점에 결상한다.

또한, 도시하는 바와 같이, 센서면(S)의 중심점부터 동공위치(I)까지의 광학적인 거리를 모듈 동공거리(d)라고 하고, 피사체면상의 점(C)부터 동공위치(I)까지의 광학적인 거리를 피사체거리(D)라고 한다. 또한, 도면에 대해 직교하여 앞쪽(手前)을 향하는 축을 X축으로 하고, 도면의 아래로부터 위를 향하는 축을 Y축으로 하고, 도면의 왼쪽부터 오른쪽을 향하는 축을 Z축으로 한다.

그리고, 촬상시의 손떨림에 의해 촬상 장치(11)가 떨려서, 센서면(S)이 소정의 회전중심을 중심으로 하여 X축 주위로 흔들림각(θ)으로 회전이동하였다고 한다.

즉, 도 3에 도시하는 바와 같이, 회전중심(O)을 중심으로 하여 흔들림각(θ)으로 회전이동한 때, 센서면(S)은 센서면(S')으로 이동하고, 동공위치(I)는 동공위치(I')로 이동한다. 이때, 촬상 장치(11)가 떨리기 전에 앙각(α)의 위치에 있었던 피사체면상의 점(A)은, 점(A)부터 동공위치(I')를 통과하는 광선(LR)과 교차하는 센서면(S')상의 점에 결상한다. 즉, 피사체면상의 점(A)부터의 광은, 촬상 장치(11)가 떨리기 전의 동공위치(I)를 통과하는 광선(L1)이 아니라, 촬상 장치(11)가 떨린 후의 동공위치(I')를 통과하는 광선(LR)에 따라, 센서면(S')상의 점에 결상한다.

이때, 촬상 장치(11)가 떨린 후의 광학계(12)의 광축에 대한 광선(LR)의 앙각은 미지하고, 직접적으로 평가할 수는 없다. 그래서, 촬상 장치(11)가 떨린 후의 동공위치(I')를 통과하여 광선(L1)과 평행한 광선(L2)이 피사체면과 교차하는 피사체면상의 점(A')이, 피사체면상의 점(A)이라고 가정한 경우에, 이들의 위치 관계에 관해 검토한다.

우선, 회전중심(O)부터 센서면(S)의 중심점까지의 거리를 회전 반경(r)이라고 하면, 흔들림각(θ)으로 회전이동한 때, 센서면(S)의 중심점이 Z축방향으로 이동하는 이동량(ΔCz), 및, 센서면(S)의 중심점이 Y축방향으로 이동하는 이동량(ΔCy)은, 다음의 식(1)으로 표시된다.

[수식 1]

또한, 촬상 장치(11)가 떨리기 전에 있어서의 앙각(α)의 광선(L1)과 교차하는 피사체면상의 점(A)의 센서면상에서의 상높이(像高)(A), 및, 촬상 장치(11)가 떨린 후에 있어서의 광선(L1)과 평행한 광선(L2)과 교차하는 피사체면상의 점(A')의 센서면상에서의 상높이(A')는, 다음의 식(2)으로 표시된다.

[수식 2]

따라서 피사체면상의 점(A) 및 점(A')의 거리차(距離差)가 센서면상에서 무시할 수 있을 때에, 센서면(S)이 흔들림각(θ)으로 회전이동한 때의 상높이의 변화량(ΔA)은, 다음의 식(3)으로 표시된다.

[수식 3]

이와 같이, 식(3)으로 표시하는 바와 같이, 상높이의 변화량(ΔA)은, 모듈 동공거리(d), 흔들림각(θ), 및 앙각(α)만으로 구할 수 있고, 이들의 값은, 전부 기지량(旣知量)이다. 따라서, 모듈 동공거리(d), 흔들림각(θ), 및 앙각(α)이, 예를 들면, 실용에 견딜 수 있는 것이면, 극히 정확하게 손떨림 보정을 행할 수가 있다. 그래서, 모듈 동공거리(d), 흔들림각(θ), 및 앙각(α)이, 실용에 견딜 수 있는 것인지의 여부를 평가하기 위해서는, 피사체면상의 점(A) 및 점(A')의 거리차가 무시할 수 있다고 간주한 때에, 발생하는 오차량을 검토할 필요가 있다.

예를 들면, 도 4에 도시하는 바와 같이, 피사체면상의 점(A)부터 동공위치(I)를 통과하는 광선(L1)과 교차하는 센서면(S)상의 점을 점(a)으로 하고, 피사체면상의 점(A')부터 동공위치(I')를 통과하는 광선(L2)과 교차하는 센서면(S)을 포함하는 평면상의 점을 점(a')으로 한다. 이때, 피사체면상의 점(A) 및 점(A')의 Y방향의 거리차(A-A')는, 기하광학적으로, 센서면(S)을 포함하는 평면상의 점(a) 및 점(a')의 Y방향의 거리차(a-a')와 동등하고, 다음의 식(4)으로 표시된다.

[수식 4]

이와 같이 구하여지는 거리차(A-A')로부터, 피사체면상의 점(A')을 점(A)으로 간주할 수 있는지의 여부를 평가하기 위한 센서면상에서의 화소수의 오차거리(δ)(θ, α, D)를 구할 수 있다. 즉, 오차거리(δ)(θ, α, D)는, 거리차(A-A'), 이미지 센서(21)의 Y축방향의 1변의 화소수(Ny), 및, 이미지 센서(21)의 Y축방향의 최대 화각(β)에서의 피사체면상에서 Y방향으로 촬상 가능한 범위(=2·D·TANβ)를 이용하여, 다음의 식(5)으로 표시된다.

[수식 5]

이와 같이 구하여지는 오차거리(δ)(θ, α, D)에 관해, Y축방향의 앙각(α)과 피사체거리(D)를 파라미터로 하여 구한 한 예를 도 5에 도시한다.

도 5에는, 열방향의 파라미터로서 Y축방향의 앙각(α)(0.00°, 5.00°, 10.00°, 15.00°, 20.00°, 25.00°)을 이용하고, 행방향의 파라미터로서 피사체거리(D)(25㎝, 50㎝, 1m, 2m, 3m, 5m)를 이용하여 구하여진 오차거리(δ)(θ, α, D)가 도시되어 있다. 또한, 도 5는, 이미지 센서(21)의 최대 화각(β)을 상하 25°로 하고, 이미지 센서(21)의 Y방향의 화소수(Ny)를 3000화소로 하고, 회전 반경(r)을 50㎜로 하여 구하여진 오차거리(δ)(θ, α, D)의 한 예이다.

도 5에 도시되어 있는 오차거리(δ)(θ, α, D)의 각 수치는, 피사체면상의 점(A) 및 점(A')의 Y방향의 거리차(A-A')가, 이미지 센서(21)의 화소에서, 어느 정도 다른 위치에 그림으로서 나타나는지를 표시하고 있다.

일반적으로, 피사체면상의 소정의 2개소의 점의 거리차가 센서면상에서 2화소 이상 있으면, 그 거리차가 눈에 띈다고 말하여지고 있다. 도 5에서는, 오차거리(δ)(θ, α, D)가 2화소 미만의 범위, 즉, 피사체면상의 점(A) 및 점(A')의 Y방향의 거리차(A-A')가 센서면(S)상에서 2화소 미만이 되는 범위가, 태선의 테두리선으로 둘러싸여 있다. 이와 같이, 도 5에 도시되어 있는 앙각(α) 및 피사체거리(D)에 관해, 대부분의 범위에서, 오차거리(δ)(θ, α, D)는 2화소 미만이고, 충분히, 거리차(A-A')가 눈에 띄는 일은 없고, 실용에 견딜 수 있는 것이다.

또한, 오차거리(δ)(θ, α, D)는, 어디까지나 어느 순간에서의 오차(오차 화소수)이고, 통상의 촬상에서, 그 축적 시간 중에 움직이고 있고, 그 움직임 량을 전부 적분한 것이 그림으로서 표현된다. 이에 의해, 도 5에 도시되어 있는 정도의 오차는, 통상의 촬상에서 사용하는 범위에서는 전혀 문제가 되는 일은 없다.

즉, 피사체면상의 점(A) 및 점(A')의 거리차가 무시할 수 있다고 간주할 수 있다. 따라서, 촬상시의 손떨림에 의해 촬상 장치(11)가 떨리고, 센서면(S)이 소정의 회전중심을 중심으로 하여 흔들림각(θ)으로 회전이동한 때, 그 Y방향(종축 방향)의 보정량(Δy)은, 다음의 식(6)으로 구할 수 있다. 이 식(6)으로 표시되는 바와 같이, 보정량(Δy)은, 앙각(α)에 의존하여 다른 값이 된다. 또한, 피사체면상의 점(A)의 센서면상에서의 상높이는 앙각(α)으로 구하여지는 것보다, 보정량(Δy)은, 그 상높이(앙각(α)의 위치에 있는 피사체면상의 점(A)이 센서면(S) 다음 결상한 센서면(S)의 개략 중심부터 Y방향의 거리)에 의존하여 다른 값이 된다.

[수식 6]

여기서, 도 6을 참조하여, 이와 같이 흔들림각(θ)으로 회전이동한 때에 있어서의 X방향(횡축 방향)의 보정에 관해 설명한다.

도 6에서는, 센서면(S)의 상면에 결상되는 그림이 어떻게 되는지를 알기 쉽게 나타내기 위해, X축방향에 따라 배치되는 봉형상의 피사체(B)가 사용되고 있고, 설명을 간이화하기 위해 촬상 장치(11)가 떨림에 의한 동공위치(i)가 어긋남 없는 것으로 하여 도시되어 있다.

도 6의 A에는, 봉형상의 피사체(B)에 따라 X축방향에서 본 도면이 도시되어 있고, 도 6의 B에는, 도 6의 A의 속이 하한 화살표의 방향에서 본, 즉, Y축방향에서 본 도면이 도시되어 있다.

도 6에 도시하는 바와 같이, 흔들림각(θ)에 의해, 봉형상의 피사체(B)의 일방의 단부(b0)로부터 동공위치(i)에 입사된 광(L0)은, 촬상 장치(11)가 떨리기 전의 센서면(S)의 센서 중심점(C)에 결상하고, 촬상 장치(11)가 떨린 후의 센서면(S')의 센서 중심점(C')에 결상한다. 따라서, 센서면(S) 및 센서면(S') 각각에서, 동공위치(i)부터 센서 중심점(C)까지의 거리는, d/COSα가 되고, 동공위치(i)부터 센서 중심점(C')까지의 거리는 d/COS(α+θ)가 된다.

또한, 흔들림각(θ)에 의해, 봉형상의 피사체(B)의 타방의 단부(b1)로부터 동공위치(i)에 입사되는 광(L1)은, 촬상 장치(11)가 떨리기 전의 센서면(S)의 점(P)에 결상하고, 촬상 장치(11)가 떨린 후의 센서면(S')의 점(P')에 결상한다. 이때, 동공위치(i), 센서 중심점(C), 및 점(P)으로 이루어지는 삼각형과, 동공위치(i), 센서 중심점(C'), 및 점(P')으로 이루어지는 삼각형은 상사(相似)하게 된다. 따라서, 촬상 장치(11)가 떨리기 전의 센서 중심점(C)부터 점(P)까지의 값(Px)과, 촬상 장치(11)가 떨린 후의 센서 중심점(C')부터 점(P')까지의 값(P'x)과의 비(比)는, 다음의 식(7)으로 표시된다.

[수식 7]

따라서 식(7)에서, 촬상시의 손떨림에 의해 촬상 장치(11)가 떨리고, 센서면(S)이 소정의 회전중심을 중심으로 하여 흔들림각(θ)으로 회전이동한 때, 점(P)의 위치에 있는 화소를 보정의 대상으로 하고, 센서 중심점(C)부터 점(P)까지의 거리를 X라고 하면, 그 X방향(횡축 방향)의 보정량(Δx)은, 다음의 식(8)으로 구할 수 있다. 이 식(8)으로 표시되는 바와 같이, 보정량(Δx)은, 앙각(α)과, 센서 중심점(C)부터 점(P)까지의 거리(X)에 의존하여 다른 값이 된다.

[수식 8]

그런데, 실제로는, 흔들림각(θ)에 의해, 동공위치(i)는 변화한다. 그 때문에, 봉형상의 피사체(B)의 단부(b1)가 결상하는 위치는, 도 6에 도시하는 바와 같은 센서면(S')의 점(P')으로는 되지 않는다.

여기서, 도 7은, 흔들림각(θ)에 의한 동공위치(i)의 변화를 고려한 때의 봉형상의 피사체(B)의 단부(b1)가 결상하는 위치를 설명하는 도면이다.

도 7에 도시하는 바와 같이, 촬상 장치(11)가 흔들림각(θ)으로 떨린 때, 동공위치(i)는, 다음의 식(9)으로 표시하는 동공위치 이동량(Δi)만큼 피사체(B)에 근접하게 된다.

[수식 9]

따라서 촬상 장치(11)가 흔들림각(θ)으로 떨린 때, 피사체(B)의 단부(b1')의 위치가, 본래의 단부(b1)의 위치로 하여, 센서면(S")의 점(P")에 결상된다. 이때의 피사체(B)에서의 X축방향의 피사체 오차(δx)는, 다음의 식(10)으로 표시된다.

[수식 10]

단, 식(10)에서, TANq=X/D이다.

여기서, 상술한 도 5에 도시한 Y방향의 오차거리(δ)(θ, α, D)와 마찬가지로, X방향의 오차거리(δx)를 구한다. 오차거리(δx)는, 이미지 센서(21)의 X축방향의 1변의 화소수(Nx), 및, 이미지 센서(21)의 X축방향의 최대 화각(β)에서의 피사체면상에서 X방향으로 촬상 가능한 범위(=2·D·TANβ)를 이용하여, 다음의 식(11)으로 표시된다.

[수식 11]

단, 식(11)에서, TANq=X/D이다.

이와 같이 구하여지는 오차거리(δx)에 관해, X축방향의 앙각(α)과 피사체거리(D)를 파라미터로 하여 구한 한 예를 도 8에 도시한다.

도 8에는, 열방향의 파라미터로서 X축방향의 앙각(α)(0.00°, 5.00°, 10.00°, 15.00°, 20.00°, 25.00°, 30.00°, 35.00°)을 이용하고, 행방향의 파라미터로서 피사체거리(D)(25㎝, 50㎝, 1m, 2m, 3m, 5m)를 이용하여 구하여진 오차거리(δx)가 도시되어 있다. 또한, 이미지 센서(21)의 최대 화각(β)을 좌우 35°로 하고, 이미지 센서(21)의 X방향의 화소수(Nx)를 4000화소로 하고, 회전 반경(r)을 50㎜로 하여 구하여진 오차거리(δx)의 한 예이다.

도 8에 도시되어 있는 오차거리(δx)의 각 수치는, 피사체(B)의 단부(b1) 및 단부(b1')의 X방향의 거리차가, 이미지 센서(21)의 화소에서, 어느 정도 다른 위치에 그림으로서 나타나는 것인지를 표시하고 있다.

상술한 Y방향의 오차거리(δ)(θ, α, D)와 마찬가지로, 일반적으로, 피사체면상의 소정의 2개소의 점의 거리차가 2화소 이상 있으면, 그 거리차가 눈에 띈다고 말해지고 있다. 도 8에서는, 오차거리(δx)가 2화소 미만의 범위, 즉, 피사체(B)의 단부(b1) 및 단부(b1')의 X방향의 거리차가 센서면(S)상에서 2화소 미만이 되는 범위가, 태선의 테두리선으로 둘러싸여 있다. 이와 같이, 도 8에 도시되어 있는 앙각(α) 및 피사체거리(D)에 관해, 대부분의 범위에서, 오차거리(δx)는 2화소 미만이고, 충분히 실용에 견딜 수 있는 것이다.

또한, 오차거리(δx)는, 어디까지나 어느 순간에서의 오차(오차 화소수)이고, 통상의 촬상에서, 그 축적 시간 중에서 움직이고 있고, 그 움직임량을 전부 적분한 것이 그림으로서 표현된다. 이에 의해, 도 8에 도시되어 있는 정도의 오차는, 일상적으로 사용하는 범위에서는 전혀 문제가 되는 일은 없다.

또한, 이상의 설명에서는, X축 주위에 전방으로 기울어지는 흔들림(피치)에 관해 설명하였지만, Y축방향으로 좌우로 기울어지는 흔들림(요)에 관해서도 마찬가지로, 구할 수 있다.

여기서, 도 1의 광학계(12) 및 이미지 센서(21)를 구비하여 구성되는 모듈이, 도 9의 A에 도시하는 바와 같이 흔들림각(Δθ)으로 떨린 때의 보정량의 한 예가 도 9의 B에 도시되어 있다. 또한, 이 보정량은, 화소수가 1300만화소이고, 1화소의 1변이 1.12㎛인 이미지 센서(21)를 이용하여 구하여진 것이다.

도 9의 B에서, 횡축은 Y축방향의 상높이를 나타내고, 종축은 Y축방향의 보정량을 나타내고 있다. 도 9에는, Y축방향의 상높이가 높아지는데 수반하여, 보정량이 증가하고 있는 것이 나타나 있다. 또한, 도 9에는, 흔들림각(Δθ)으로서, 1.0° 및 0.3°가 도시되어 있고, 흔들림각이 커지는데 수반하여, 보정량이 증가하는 것이 나타나 있다. 또한, 배럴 시프트 방식의 광학 손떨림 보정에서는, 촬상 소자의 중심점, 즉, 도 9에서 횡축이 0인 점의 보정량에 따라 일양하게 화상 전체가 보정되어 있다.

따라서 촬상 장치(11)의 손떨림 보정 처리부(25)는, Y축방향의 상높이에 응하여 보정량을 구하고, 그 보정량을 이용하여 손떨림을 보정함에 의해, Y축방향의 상높이에 응하여 다르고 화상에 발생하는 왜곡을 효과적으로 보정할 수 있다. 촬상 장치(11)의 손떨림 보정 처리부(25)에서는, 특히, 화상의 단부에서의 보정을 효과적으로 행할 수 있다.

여기서, 도 10 내지 도 12는, 본 기술을 적용한 촬상 장치(11)에 의한 손떨림 보정 처리가 시행된 화상과, 종래의 배럴 시프트 방식의 광학 손떨림 보정이 행하여진 화상을 비교하여 나타내고 있다.

도 10에는, 격자 패턴의 패널을 손떨림 없는 원화(原畵)와 0.5°기울인 화상을 겹친 것이 도시되어 있고, 도 10의 A는, 본 기술을 적용한 촬상 장치(11)에 의한 손떨림 보정 처리가 시행된 화상이고, 도 10의 B는, 종래의 배럴 시프트 방식의 광학 손떨림 보정이 행하여진 화상이다. 도 10과 같이 멀리서 본 화상에서는, 각각의 화상의 차이를 인식하는 것은 곤란하다.

그래서, 도 11에는, 도 10의 화상의 중앙 부근을 잘라낸 화상이 도시되어 있고, 도 12에는, 도 10의 화상의 단부(端部) 부근을 잘라낸 화상이 도시되어 있다. 도 11의 A 및 도 12의 A는, 본 기술을 적용한 촬상 장치(11)에 의한 손떨림 보정 처리가 시행된 화상이고, 도 11의 B 및 도 12의 B는, 종래의 배럴 시프트 방식의 광학 손떨림 보정이 행하여진 화상이다.

도 11에 도시되는 바와 같이, 화상의 중앙 부근에서는, 각각의 화상의 차이를 인식하는 것은 곤란하다. 이에 대해, 도 12에 도시되는 바와 같이, 화상의 단부 부근에서는, 각각의 화상의 차이를 명확하게 인식할 수 있다. 즉, 본 기술을 적용한 촬상 장치(11)에 의한 손떨림 보정 처리가 시행된 화상에서는, 단부 부근에서도 원화와 0.5°떨림을 보정한 획은 일치하고 있다. 그러나 종래의 배럴 시프트 방식의 광학 손떨림 보정이 행하여진 화상에서는, 원화와 0.5°떨림을 보정한 획은 이중으로 보이고 있다.

이와 같이, 도 10 내지 도 12에 도시하는 화상으로부터, 본 기술을 적용함에 의해, 보다 효과적으로 손떨림을 보정할 수 있는 것이 나타나 있다. 특히, 근래, 스마트 폰의 보급은 눈부신 것이 있고, 그 기능으로서, 소형이기 때문에 피해 지나갈 수 없는 손떨림을, 구조적인 디메리트 없이 촬상하고, 게다가 품질이 좋은 그림을 간단하게 촬상할 수 있다는 본 기술은, 극히 공업적 가치가 높다고 말할 수 있다.

그런데, 촬상 장치(11)에서는, 이미지 센서(21)에 의해 촬상된 화상의, 어느 부분의 축적 기간중에, 어느 정도 어느 방향으로 떨린 것인가라는 것을, 손떨림 보정 처리부(25)가 보정하는 것이 된다. 그 때문에, 신호 동기부(23)가, 자이로 센서(22)로부터 출력되는 자이로 데이터(손떨림량 정보)와, 이미지 센서(21)로부터 출력되는 화상 데이터를 동기할 필요가 있다.

다음에, 도 13을 참조하여, 자이로 데이터와 화상 데이터와의 동기에 관해 설명한다.

도 13의 우측에는, 이미지 센서(21)로부터의 신호의 판독이 도시되어 있다. 이미지 센서(21)는, 종방향을 수직 어드레스로 하여, 하나의 수직 어드레스에 대해, 수평 방향의 모든 화소가 한번에 판독되는 구조로 되어 있다. 즉, 하나의 수평 라인에서 판독 시간이 일정하고, 축적 시간이 일정하게 된다는 것이다.

따라서 이미지 센서(21)에서는, 다른 수직 어드레스로 지정된 수평 라인이 시시각각 판독되고, 수평 라인마다의 축적 시간은 다른 타이밍이 된다. 단, 이미지 센서(21)의 각 화소에 신호 전하가 축적되는 시간인 축적 시간은, 모든 화소에서 일정하다. 그리고, 각 수평 라인에서의 축적 시간의 타이밍에 대응한 자이로 데이터를 취득할 필요가 있다. 즉, 축적 시간에서, 어느 정도의 흔들림량이 발생한 것인지를 나타내는 손떨림량 정보가 필요해진다.

도 13의 좌측에는, 어느 수평 라인의 축적 시간(T)의 중간의 타이밍에서, 자이로 센서(22)로부터 출력되는 자이로 데이터를, 그 수평 라인의 자이로 데이터로 하는 처리례가 도시되어 있다. 또한, 이와 같은 처리로 한정되는 일 없이, 예를 들면, 어느 수평 라인의 축적 시간(T)의 사이에서 출력되는 자이로 데이터의 평균치를, 그 수평 라인의 자이로 데이터로 하는 처리를 행하여도 좋다. 즉, 각 수평 라인에 대해, 각각의 축적 시간에 대응하는 동기가 취하여진 자이로 데이터를 취득할 수 있으면 좋다.

예를 들면, 이미지 센서(21)로부터 화상 데이터가 출력되는 타이밍과, 자이로 센서(22)로부터 자이로 데이터가 출력되는 타이밍으로 동기를 취하는 방법이 있다. 또한, 자이로 센서(22)로부터 출력되는 자이로 데이터를, 베이스밴드 칩 등의 자이로 센서(22) 밖에서 받아서 동기를 취하는 방법이 있다.

구체적으로는, 이미지 센서(21)에의 커맨드 발행 타이밍과, 그 커맨드에 따라 출력되는 화상 데이터의 지연을, 베이스밴드 칩에 전달하는 수단을 이용한다. 즉, 이미지 센서(21)는, 일반적으로, 수직 동기 신호에 따라 구동하고 있기 때문에, 외부로부터 노광 시간을 변경하는 커맨드를, 어느 타이밍에서 받아도 즉석에서 반영할 수는 없다. 그 때문에, 이미지 센서(21)에서는, 외부로부터 커맨드를 받은 이후의 프레임이 시작한 수직 동기 신호에 따라 제어가 행하여진다. 이와 같은 제어는, 프레임 내에서의 촬상 조건을 동일하게 하기 위해서다. 한편, 커맨드는 이미지 센서(21)의 외부로부터 주어지기 때문에, 수직 동기 신호란 관계가 없는 타이밍에서 발행된다. 또한, 베이스밴드 칩이 알 수 있는 타이밍은, 이미지 센서(21)에의 커맨드 발행과, 자이로 센서(22)에의 커맨드 발행의 타이밍이다.

즉, 도 14에 도시하는 바와 같이, 베이스밴드 처리에서 본 때, 이미지 센서(21)에의 커맨드가 시각(T1)의 타이밍에서 출력되고, 그 커맨드를 수취한 이미지 센서(21)는, 그 내부에서 수직 동기 신호와 동기하기 위한 동기 시간(ΔT)을 경유하고, 또한 n×FT시간 후(프레임 화상 출력시간(FT), 정수(n) : 1, 2, …)에, 화상 데이터를 출력한다. 따라서, 이 동기 시간(ΔT)이, 이미지 센서(21)에의 커맨드를 입력한 타이밍에서 의해 다른 것으로 된다.

한편, 자이로 센서(22)에의 데이터 출력을 요구하는 커맨드는, 이미지 센서(21)에의 커맨드가 요구되기 전의 시각(T0)의 타이밍에서 출력되어 있고, 자이로 센서(22)측에서는, 그 커맨드를 수취한 시각(T0)을 타임 스탬프로서 기록하고, 순차적으로, 자이로 데이터를 출력한다. 따라서, 베이스밴드 처리에서 보면, 모든 자이로 데이터가 출력되는 타이밍을 알 수 있다.

이와 같은 타이밍에서, 화상 데이터 및 자이로 데이터가 출력되어 신호 동기부(23)에 공급되고, 신호 동기부(23)는, 화상 데이터 및 자이로 데이터의 동기를 취하여, 손떨림 보정 처리부(25)에 출력한다. 그리고, 손떨림 보정 처리부(25)에서 손떨림 보정 처리가 행하여진다.

이하에서는, 손떨림 보정 처리부(25)에서의 행하여지는 손떨림 보정 처리에 관해 설명한다. 또한, 이하의 설명에서 나타나는 수식에서, 일부, 지금까지의 설명과 동일한 대상에 대해 다른 기호가 사용되고 있는 것이 있다.

우선, 손떨림 보정 처리의 제1의 처리례로서, 이미지 센서(21)에서 사용되는 촬상 소자가, 글로벌 셔터 방식을 채용하고 있는 구성에서의 손떨림 보정 처리에 관해 설명한다.

글로벌 셔터 방식에서는, 촬상 화상의 전체가, 개략 동시에 이미지로서 기록되기 때문에, 후술하는 롤링 셔터 방식과 달리, 1장의 화상에 대해 1조(組)의 보정각(補正角)(Y축방향의 보정량과 X축방향의 보정량)을 이용하여 손떨림 보정 처리를 행할 수가 있다. 즉, 1조의 보정각을 이용하여, 손떨림에 의해 위치가 어긋난 화상을, 위치가 어긋나지 않은 화상으로 보정할 수 있다.

또한, 가령, 노광 시간이 장시간이고, 노광 중에 복수의 손떨림량 정보(자이로 데이터)가 취득된 경우에는, 그들의 복수의 손떨림량 정보의 평균치를 이용하여 1조의 보정각을 결정할 수 있다. 또는, 노광 시간의 중앙의 타이밍에서 취득된 손떨림량 정보나, 복수의 손떨림량 정보로부터 보간하여 필요한 타이밍에서 손떨림량 정보를 취득하고, 1조의 보정각을 결정하여도 좋다.

우선, 도 15에 도시하는 바와 같이, 촬상 장치(11)의 흔들림(즉, 촬상 장치(11)에 내장된 이미지 센서(21)의 흔들림)은, 피치각, 요각, 및 롤각으로 정의된다.

도 16은, 글로벌 셔터 방식의 이미지 센서(21)에서 흔들림각이 화상에 주는 영향을 나타내고 있다.

도 16의 A에는, 이미지 센서(21)가 정지하고 있는 경우에 있어서의 화상의 위치가 도시되어 있고, 이 경우에는, 이미지 센서(21)의 중앙에 화상이 위치하고 있다.

도 16의 B에는, 이미지 센서(21)가 피치각의 마이너스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있고, 이 경우에는, 주로 이미지 센서(21)의 수직 방향(Y방향)의 상측을 향하는 영향이 주어진다.

도 16의 C에는, 이미지 센서(21)가 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있고, 이 경우에는, 주로 이미지 센서(21)의 수평 방향(X방향)의 좌측을 향하는 영향이 주어진다.

도 16의 D에는, 이미지 센서(21)가 피치각의 마이너스 방향 및 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 이 경우에는, 이미지 센서(21)의 수직 방향(Y방향)의 상측과, 이미지 센서(21)의 수평 방향(X방향)의 좌측을 서로 더한 방향을 향하는 영향이 주어진다.

또한, 롤각의 손떨림은, 화상의 회전으로서 영향이 주어진다. 또한, 이미지 센서(21)의 흔들림각을 θ로 하면, 화상상에서는, -θ의 영향이 주어진다.

그런데, 종래의 손떨림 보정 처리에서는, 피치각의 흔들림에 관해, 화상 전체가 일양하게 Y방향으로 Y1화소분 어긋나 있다고 하여, -Y1화소분의 화상을 이동시키거나, 화상의 판독 위치를 Y1화소분 어긋내거나 하는 등의 처리가 행하여지고 있다. 마찬가지로, 요각의 흔들림에 대해서도, 종래의 손떨림 보정 처리에서는, 화상 전체가 일양하게 X방향으로 X1화소분 어긋나 있다고 하여, -X1화소분의 화상을 이동시키거나, 화상의 판독 위치를 X1화소분 어긋내거나 하는 등의 처리가 행하여지고 있다.

그러나 도 17에 도시하는 바와 같이, 흔들림각에 대해, 화상 전체가 일양하게 어긋나는 것은 아니다. 도 17에서는, 실선이 얻어지는 화상을 나타내고 있고, 점선이 원래의 화상의 위치를 어긋낸 화상을 나타내고 있다.

도 17의 A에는, 이미지 센서(21)가, 피치각의 마이너스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 도 17의 A에 도시하는 바와 같이, 화상상의 화소 위치에 따라 다른 영향이 주어진다. 예를 들면, 화상의 상단 부근에서는, 수직 방향에 관해 중앙 부근보다 크게 이동하고, 또한 수평 방향으로 넓어져 있다. 한편, 화상의 하단 부근에서는, 수직 방향의 이동량이 상단 부근 및 중앙 부근과 달리 수평 방향으로는 좁아지는 변형을 하고 있다. 즉, 각 화소의 위치에 따라, Y방향의 이동량은 다르고, 또한, X방향으로 다른 이동을 하고 있다.

도 17의 B에는, 이미지 센서(21)가, 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 도 17의 B에 도시하는 바와 같이, 화상상의 화소 위치에 따라 다른 영향이 주어진다. 예를 들면, 화상의 좌단 부근에서는, 수평 방향에 관해 중앙 부근보다 크게 이동하고, 또한 수직 방향으로 넓어져 있다. 한편, 화상의 우단 부근에서는, 수평 방향의 이동량이 좌단 부근 및 중앙 부근과 달리 수직 방향으로는 좁아지는 변형을 하고 있다. 즉, 각 화소의 위치에 따라, X방향의 이동량은 다르고, 또한, Y방향으로 다른 이동을 하고 있다.

도 17의 C에는, 이미지 센서(21)가, 피치각의 마이너스 방향 및 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 도 17의 C에 도시하는 바와 같이, 2개의 방향에의 흔들림의 영향이 중첩함에 의해, 도 17의 A 및 도 17의 B보다도 복잡하게 화상이 변형을 하고 있다.

또한, 도시하지 않지만, 롤각의 흔들림이 더하여짐에 의해, 화상은, 더욱 복잡한 변형을 한다. 또한, 일반적인 손떨림에서, 롤각의 영향은 적고 보정 처리를 행하지 않는 일이 많기 때문에, 이하에서는, 주로 피치각 및 요각의 흔들림에 관해 설명을 행한다.

이하, 글로벌 셔터 방식에서의 손떨림 보정 처리의 순서에 관해 설명한다.

여기서, 설명을 간략화하기 위해, 이미지 센서(21)의 출력 화상의 각 화소의 위치를 좌하의 화소의 중앙을 (0, 0)로 하고, 왼쪽부터 x화소째, 또한, 아래로부터 y화소째의 화소의 중앙을 좌표(A(x, y))로 나타내는 것으로 한다.

우선, 출력 화상의 좌표(A)(x, y)에 관해, 도 1의 광학계(12)의 렌즈의 광축 중심이 이미지 센서(21)의 촬상 소자에 상(像)을 잇는 점의 좌표(O(x0, y0))로부터의 상대 위치(X, X)를 구하면 좌표(A(X=x-x0, Y=y-y0))가 된다. 또한, 좌표(O(x0, y0))에 관해서는, 이미지 센서(21)의 촬상 소자의 화상의 중앙으로 대용하여도 좋다.

이 화상의 촬상시의 손떨림량이, 피치각(θp), 요각(θy), 및 롤각(θr)인 때, 좌표(A)를, 피치각(-θp), 요각(-θy), 및 롤각(-θr)으로 흔들리게 한 좌표(A')로 하면, 입력 화상 중의 좌표(A')의 화소치를, 출력 화상의 좌표(A)의 화소치로 하면 손떨림을 보정한 화소의 값이 된다. 따라서, 이 화소치를 좌표(A)의 값으로 하여, 이미지 센서(21)의 모든 화소에 관해 구한 화상을 출력 화상으로 함으로써, 손떨림이 보정된 화상이 출력된다.

입력 화상 중의 좌표(A')를 구함에 있어서, 이미지 센서(21)의 유효 화소에 관해, 수평 방향의 화소수를 W로 하고, 수직 방향의 화소수를 H로 하고, 광학계(12)의 렌즈 중심부터 이미지 센서(21)의 촬상 소자까지의 거리를 L(화소수 상당)로 하고, 수평 방향의 화각의 1/2를 각도(β)로 한다. 그리고, 가령, 좌표(O(x0, y0))를, 이미지 센서(21)의 유효 화소의 중앙으로 하면, 수평 방향의 화각의 1/2인 각도(β)는, 다음의 식(12)으로 구하여진다.

[수식 12]

따라서 광학계(12)의 렌즈 중심부터 이미지 센서(21)의 촬상 소자까지의 거리(L)(화소수 상당)는, 다음의 식(13)으로 구하여진다.

[수식 13]

또한, 수평 방향의 화각의 1/2인 각도(β) 및 거리(L)(화소수 상당)는, 촬상 장치(11)의 촬상 모드(예를 들면, 모든 화소에서 출력하는 촬상 모드, 화소를 솎아 내여서 출력하는 촬상 모드, 화소의 일부를 잘라내어서 출력하는 촬상 모드 등)와, 이미지 센서(21)의 촬상 소자, 및, 광학계(12)의 렌즈에 따라 고유한 값이다.

이때, 좌표(A)의 위치에서의 피치 방향의 각도(αp), 및, 좌표(A)의 위치에서의 요 방향의 각도(αy)는, 다음의 식(14)으로 된다.

[수식 14]

따라서 피치각(θp)으로 손떨린 때, 화상의 중심 위치에서는, L·tan(-θp)화소만큼 화소 위치가 Y방향으로 이동한다. 그리고, 좌표(A)의 위치에서는, 다음의 식(15)으로 표시되는 Y방향 이동량(ΔYp)만큼 화소 위치가 Y방향으로 이동한다.

[수식 15]

이때, 도 6 및 도 7을 참조하여 상술한 바와 같이, Y방향뿐만 아니라 X방향으로도 이동한다. 그 이동처(移動先)의 X좌표는, 다음의 식(16)으로 표시하는 관계가 있다고 하면, X방향으로 L2/L1배(倍)한 좌표가 되고, 다음의 식(17)으로 표시된다.

[수식 16]

[수식 17]

따라서 X좌표는, 다음의 식(18)으로 표시되는 위치로 이동하고, X좌표 이동량(ΔXp)은, 다음의 식(19)으로 구하여진다.

[수식 18]

[수식 19]

이와 같은 피치각(θp)으로 손떨린 때와 마찬가지로, 요각(θy)으로 손떨린 때, 화상의 중심 위치에서는, L·tan(-θy)화소만큼 화소 위치가 X방향으로 이동한다. 그리고, 좌표(A)의 위치에서는, 다음의 식(20)으로 표시되는 X방향 이동량(ΔXy)만큼 화소 위치가 X방향으로 이동한다.

[수식 20]

또한, 마찬가지로, X방향뿐만 아니라 Y방향으로도 이동한다. 그 이동처의 Y좌표는, 다음의 식(21)으로 표시하는 관계가 있다고 하면, Y방향으로 L4/L3배한 좌표가 되고, 다음의 식(22)으로 표시된다.

[수식 21]

[수식 22]

따라서 Y좌표는, 다음의 식(23)으로 표시되는 위치로 이동하고, Y좌표 이동량(ΔYy)은, 다음의 식(24)으로 구하여진다.

[수식 23]

[수식 24]

또한, 롤각(θr)으로 손떨린 때, 회전중심이 화상 중앙인 경우는, 다음의 식(25)으로 표시되는 위치로 이동하고, X방향 이동량(ΔXr) 및 Y좌표 이동량(ΔYr)은, 다음의 식(26)으로 구하여진다.

[수식 25]

[수식 26]

이와 같이, 피치각(θp), 요각(θy), 및 롤각(θr) 각각 3방향의 각도에 관해 손떨림의 영향을 개별적으로 산출할 수 있다. 그런데, 그들은 서로에 마주 영향을 주기 때문에, 본래는, 피치각(θp), 요각(θy), 및 롤각(θr)의 손떨림의 영향을 동시에 구할 필요가 있지만, 다음과 같이 간략화하여 구하여도 실용상 문제없는 레벨로 보정할 수 있다. 예를 들면, 순번대로, 피치각(θp)의 영향에 의한 이동량에 의거하여 요각(θy)의 영향에 의한 이동량을 구하고, 또한, 그 구하여진 이동량에 의거하여 롤각(θr)의 영향에 의한 이동량을 구하여도 좋다. 또한, 이동량을 구할 때, 피치각(θp), 요각(θy), 및 롤각(θr)의 순번은 달라도 좋다. 또한, 피치각(θp), 요각(θy), 및 롤각(θr) 각각 3방향의 각도에 관해 손떨림의 영향을 개별적으로 산출한 결과를 서로 더하여도 좋다.

그런데, 손떨림에 의한 피치각(θp), 요각(θy), 및 롤각(θr)은, 플러스 마이너스 1도(度) 이내의 정도의 작은 각도이기 때문에, 이들의 계산 결과의 차이는 상당 미소한 값이고, 무시할 수 있는 정도의 것이다.

여기서는, 가장 간단한 방법인, 피치각(θp), 요각(θy), 및 롤각(θr) 각각 3방향의 각도에 관해 손떨림의 영향을 개별적으로 산출한 결과를 서로 더하여, 다음의 식(27)으로 종합적인 X방향 이동량(ΔX) 및 Y방향 이동량(ΔY)을 구하는 것으로 한다.

[수식 27]

따라서 구하여야 할 좌표(A')의 X좌표(X')는, 다음의 식(28)에 의해 구할 수 있고, 구하여야 할 좌표(A')의 Y좌표(Y')는, 다음의 식(29)에 의해 구할 수 있다.

[수식 28]

[수식 29]

또한, 좌표(A(X, Y))는, 다음의 식(30)의 관계가 있음에 의해, 좌표(A')의 X좌표(X') 및 Y좌표(Y')는, 다음의 식(31)으로 된다.

[수식 30]

[수식 31]

여기서, 좌표(A'(X', Y'))는, 좌표(O(x0, y0))로부터의 상대 위치이기 때문에, 다음의 식(32)에 의거하여, 출력 화상의 좌표(A'(x', y'))의 값을 읽어넣을 수 있다.

[수식 32]

그리고, 모든 화소에 대해, 출력 화상의 좌표(A'(x', y'))를 구하는 처리를 행함으로써, 손떨림이 보정된 보정 화상을 취득할 수 있다. 이와 같이, 글로벌 셔터 방식을 채용한 촬상 소자에 의해 촬상된 화상에 대해, 본 실시의 형태의 손떨림 보정 처리를 적용함으로써, 1장의 화상에 대해 1조의 보정각을 이용하여 손떨림 보정 처리를 행할 수가 있고, 적은 처리 부담으로 효과적으로 손떨림 보정을 행할 수가 있다.

다음에, 손떨림 보정 처리의 제2의 처리례로서, 이미지 센서(21)에서 사용되는 촬상 소자가, 롤링 셔터 방식을 채용하고 있는 구성에서의 손떨림 보정 처리에 관해 설명한다.

롤링 셔터 방식의 촬상 소자에서는, 촬상 화상 내에서 수평 라인마다 촬상 타이밍이 다르기 때문에, 글로벌 셔터의 것보다 화상의 변형이 복잡하게 된다. 이것은, 흔들림각에 의한 화상의 왜곡에 더하여, 시간 변화에 따라 흔들림각이 변하는 것에 영향받고 있다.

예를 들면, 도 18 및 도 19는, 롤링 셔터 방식의 이미지 센서(21)에서 흔들림각이 화상에 주는 영향을 도시하고 있다.

도 18의 A에는, 이미지 센서(21)가 정지하고 있는 경우에 있어서의 화상의 위치가 도시되어 있고, 이 경우에는, 이미지 센서(21)의 중앙에 화상이 위치하고 있다.

도 18의 B에는, 이미지 센서(21)가 피치각의 마이너스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있고, 도 18의 C에는, 이미지 센서(21)가 피치각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 또한, 도 19의 A에는, 이미지 센서(21)가 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있고, 도 19의 B에는, 이미지 센서(21)가 요각의 마이너스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 또한, 도 19의 C에는, 이미지 센서(21)가 피치각의 플러스 방향 및 요각의 마이너스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다.

도 18 및 도 19에 도시되어 있는 바와 같이, 롤링 셔터 방식에서는, 글로벌 셔터 방식과 비교하여, 피치각의 마이너스 방향으로 흔들릴 때는, 화상이 Y방향으로 줄어드는 변화가 더하여지고, 피치각의 플러스 방향으로 흔들릴 때는, 화상이 Y방향으로 늘어나는 변형이 더하여진다. 또한, 요각으로 흔들린 경우는, 화상의 하방을 향함에 따라, 흔들림과 반대측으로, 보다 크게 흔들려 가는 변형이 더하여진다.

도 20의 A에는, 이미지 센서(21)가, 피치각의 마이너스 방향 및 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 도 20의 A에서는, 실선이 얻어지는 화상을 나타내고 있고, 점선이 원래의 화상의 위치를 비켜놓은 화상을 나타내고 있다. 이와 같이, 2개의 흔들림이 동시에 발생한 경우, 또한 복잡한 변형이 된다.

또한, 도 20의 B에는, 화소 위치 의존성을 고려하지 않고 포컬 플레인 영향만을 보정한 경우에 있어서, 이미지 센서(21)가, 피치각의 마이너스 방향 및 요각의 플러스 방향으로 흔들린 경우에 흔들림각이 화상에 주는 영향이 도시되어 있다. 도 20의 B에서는, 실선이 얻어지는 화상을 나타내고 있고, 점선이 원래의 화상의 위치를 비켜놓은 화상을 나타내고 있다. 이와 같은 보정을 한 경우에도, 도시하는 바와 같이, 화상의 왜곡을 완전하게 보정할 수는 없다. 또한, 도 20의 B에 도시하는 화상의 왜곡은 작게 보이지만, 화상의 주변이 되면 왜곡이 커지고, 손떨림의 조건에 의해서는, 도 17에 도시한 바와 같은 영향이 나타나게 된다.

이하, 롤링 셔터 방식에서의 손떨림 보정 처리의 순서에 관해 설명한다.

롤링 셔터의 영향을 보정하기 위해서는, 라인마다, 그 라인의 촬상시의 흔들림각을 이용하여 손떨림 보정 처리를 행할 필요가 있다. 따라서, 신호 동기부(23)에서는, 손떨림량 정보를 1화상에 대해 라인마다 동기시키는 것이 바람직하다. 그러나 현재 상태의 자이로 센서(22)에서는, 복수 라인에서 1회 정도의 손떨림량 정보를 검출할 수밖에 없다.

따라서 복수 라인에서 동일한 손떨림량 정보를 사용하거나, 라인마다 보간한 손떨림량 정보를 사용하거나, 복수 라인에서 동일한 손떨림량 정보를 사용하는 것이지만, 보정 각도를 계산할 때에 시간 어긋남분을 고려하여 보정 각도를 산출하거나 하는 방법을 채용할 수 있다. 또한, 이들의 방법의 어느 한하나 또는, 그 밖의 방법으로 라인마다의 보정각을 구하고, 그 각도를 이용하여, 상술한 입력 화상 중의 좌표(A')를 구하는 방법과 같은 계산을 하여, 구하는 좌표 위치를 취득하여 보정 후의 화상을 구축할 수 있다. 이 경우, 피치각(θp), 요각(θy), 및 롤각(θr)은, 그 라인에 동기한 것을 이용한다.

다음에, 손떨림 보정 처리의 제3의 처리례로서, 배럴 시프트 방식의 광학 손떨림 보정과 병용하는 처리에 관해 설명한다. 상술한 바와 같은 손떨림 보정 처리와, 배럴 시프트 방식과 병용함에 의해, 배럴 시프트 방식에서 화상의 주변의 왜곡(주변의 보정 나머지)을 보정할 수 있다.

도 21에는, 배럴 시프트 방식의 광학 손떨림 보정을 구비하는 촬상 장치(11A)가 도시되어 있다. 또한, 도 21의 촬상 장치(11A)에서, 도 1의 촬상 장치(11)와 공통되는 구성에 관해서는 동일한 부호를 붙이고, 그 상세한 설명은 생략한다.

도 21에 도시하는 바와 같이, 촬상 장치(11A)는, 도 1의 촬상 장치(11)의 구성에 더하여 구동부(26)를 구비한다. 구동부(26)는, 자이로 센서(22)로부터의 손떨림량 정보에 의거하여, 촬상 소자상의 화상이 움직이지 않는 방향으로, 광학계(12)의 렌즈를 이미지 센서(21)의 촬상 소자의 센서면과 평행하게 구동함에 의해 손떨림을 광학적으로 보정한다.

그런데, 배럴 시프트 방식의 광학 손떨림 보정에서는, 광학계(12)의 렌즈를 손 흔들림량에 응하여 정하여진 양으로 움직이기 때문에, 화소 위치의 의존성은 고려되어 있지 않다. 이 때문에, 화상 중앙의 위치 어긋남분을 화상 전체에 일양하게 보정하고 있는 것과 개략 동일한 화상이 된다. 따라서, 배럴 시프트의 제어에 이용하고 있는 손떨림 정보를 이용하여 손떨림시의 각 화소의 이동량으로부터, 화상 중앙의 위치 어긋남분을 뺀 나머지분(화소 위치 의존분)의 이동량을 각 화소에 대해 보정함에 의해, 배럴 시프트의 보정 화상의 주변의 왜곡을 보정할 수 있다.

입력 화상 중의 좌표(A')를 구함에 있어서, 이미지 센서(21)의 유효 화소에 관해, 수평 방향의 화소수를 W로 하여, 수직 방향의 화소수를 H로 하고, 광학계(12)의 렌즈 중심부터 이미지 센서(21)의 촬상 소자까지의 거리를 L(화소수 상당)로 하고, 수평 방향의 화각의 1/2를 β로 한다. 그리고, 가령, 좌표(O(x0, y0))를, 이미지 센서(21)의 유효 화소의 중앙이라고 하면, 수평 방향의 화각의 1/2인 각도(β)는, 상술한 식(12)으로 구하여진다.

따라서 광학계(12)의 렌즈 중심부터 이미지 센서(21)의 촬상 소자까지의 거리(L)(화소수 상당)는, 상술한 식(13)으로 구하여진다.

또한, 수평 방향의 화각의 1/2인 각도(β) 및 거리(L)(화소수 상당)는, 촬상 장치(11)의 촬상 모드(예를 들면, 모든 화소를 출력하는 촬상 모드, 화소를 솎아내어 출력하는 촬상 모드, 화소의 일부를 잘라내어 출력하는 촬상 모드 등)와, 이미지 센서(21)의 촬상 소자, 및, 광학계(12)의 렌즈에 따라 고유한 값이다.

이때, 좌표(A)의 위치에서의 피치 방향의 각도(αp), 및, 좌표(A)의 위치에서의 요 방향의 각도(αy)는, 상술한 식(14)으로 된다.

따라서 피치각(θp)으로 손떨린 때, 화상의 중심 위치에서는, L·tan(-θp)화소만큼 화소 위치가 Y방향으로 이동한다. 그리고, 좌표(A)의 위치에서는, 상술한 식(15)으로 표시되는 Y방향 이동량(ΔYp)만큼 화소 위치가 Y방향으로 이동한다.

이때, 도 6 및 도 7을 참조하여 상술한 바와 같이, Y방향뿐만 아니라 X방향으로도 이동한다. 그 이동처의 X좌표는, 상술한 식(16)으로 표시하는 관계가 있다고 하면, X방향으로 L2/L1배가 된 좌표가 되고, 상술한 식(17)으로 표시된다.

따라서 X좌표는, 상술한 식(18)으로 표시되는 위치로 이동하고, X좌표 이동량(ΔXp)은, 상술한 식(19)으로 구하여진다.

여기서, 배럴 시프트 방식에서는, 광학계(12)의 렌즈를 구동함에 의해 중앙의 흔들림분은 화상 전체에 대해 보정하고 있기 때문에, Y방향 이동량(ΔYp)은, 다음의 식(33)으로 구하여진다.

[수식 33]

또한, X방향의 어긋남에 관해 배럴 시프트 방식은 고려하고 있지 않기 때문에, X방향 이동량(ΔXp)은 그대로, 상술한 식(19)으로 된다.

이와 같은 피치각(θp)으로 손떨린 때와 마찬가지로, 요각(θy)으로 손떨린 때, 화상의 중심 위치에서는, L·tan(-θy)화소만큼 화소 위치가 X방향으로 이동한다. 그리고, 좌표(A)의 위치에서는, 상술한 식(20)으로 표시된 X방향 이동량(ΔXy)만큼 화소 위치가 X방향으로 이동한다.

또한, 마찬가지로, X방향뿐만 아니라 Y방향으로도 이동한다. 그 이동처의 Y좌표는, 상술한 식(21)으로 표시하는 관계가 있다고 하면, Y방향으로 L4/L3배가 된 좌표가 되고, 상술한 식(22)으로 표시된다.

따라서 Y좌표는, 상술한 식(23)으로 표시되는 위치로 이동하고, Y좌표 이동량(ΔYy)은, 상술한 식(24)으로 구하여진다.

여기서, 배럴 시프트 방식에서는, 광학계(12)의 렌즈를 구동함에 의해 중앙의 흔들림분은 화상 전체에 대해 보정하고 있기 때문에, Y방향 이동량(ΔYy)은, 다음의 식(34)으로 구하여진다.

[수식 34]

또한, X방향의 어긋남에 관해 배럴 시프트 방식은 고려하여 있지 않기 때문에, X방향 이동량(ΔXy)은 그대로, 상술한 식(20)으로 된다.

또한, 배럴 시프트 방식에서는, 롤각(θr)의 보정을 행할 수가 없기 때문에, 롤각(θr)의 보정은 행하여지지 않는다.

따라서 가장 간단한 방법이다, 피치각(θp) 및 요각(θy) 각각 2방향의 각도에 관해 손떨림의 영향을 개별적으로 산출한 결과를 서로 더하고, 다음의 식(35)으로 종합적인 X방향 이동량(ΔX) 및 Y방향 이동량(ΔY)을 구하는 것으로 한다.

[수식 35]

따라서 구하여야 할 좌표(A')의 X좌표(X')는, 다음의 식(36)에 의해 구할 수 있고, 구하여야 할 좌표(A')의 Y좌표(Y')는, 다음의 식(37)에 의해 구할 수 있다.

[수식 36]

[수식 37]

또한, 좌표(A(X, Y))는, 다음의 식(38)의 관계가 있음에 의해, 좌표(A')의 X좌표(X') 및 Y좌표(Y')는, 다음의 식(39)으로 된다.

[수식 38]

[수식 39]

여기서, 좌표(A'(X', Y'))는, 좌표(O(x0, y0))로부터의 상대 위치이기 때문에, 상술한 식(32)에 의거하여, 출력 화상의 좌표(A'(x', y'))의 값을 읽어들일 수 있다.

그리고, 모든 화소에 대해, 출력 화상의 좌표(A'(x', y'))를 구하는 처리를 행함으로써, 손떨림이 보정된 보정 화상을 취득할 수 있다. 또한, 여기서는, 배럴 시프트 방식의 피치 방향 및 요 방향의 보정에 관해 기술하였지만, 롤 방향의 보정을 가하는 것도 가능하다.

그런데, 상술한 손떨림 보정 처리의 제1 내지 제3의 처리례에서, 출력 화상의 좌표(A'(x', y'))는, 입력 화상상의 화소의 중앙 위치에 일치한다고는 한하지 않기 때문에, 주변의 화소에서 보간하여 화소치를 구할 필요가 있다. 즉, 보정된 후의 화상(출력 화상)을 구성하는 각 화소의 화소 위치가, 보정 전의 화상(입력 화상)을 구성하는 각 화소의 화소 위치에 일치한다고는 한하지 않기 때문에, 보정의 전후에서 화소 위치가 일치하도록, 보정 후의 화상을 구성하는 소정의 화소의 주변에 있는 복수의 화소에서 보간하여, 소정의 화소의 화소치를 구한다.

이 보간 방법에는, 최근방법(最近傍法), 바이리니어법, 바이큐빅법 등 다양한 보간 기술을 이용할 수 있다. 또한, 입력 화상 및 출력 화상의 형식(예를 들면, 화소 위치에 따라 색이 정하여져 있는 베이어 화상이나, 각 화소 모두 같은 색(RGB 3색 또는 단색)의 화상, YUV 화상 등)에 의해 보간에 이용하는 부근의 화소나 구하는 방법이 다른 것으로 되지만, 각각의 형식으로 계산된 화소의 값을 구하는 것은 다르지 않다.

또한, 상술한 손떨림 보정 처리의 제1 내지 제3의 처리례에서, 구하여야 할 화소의 위치가 화상 밖 등으로 되는 경우에는, 화소치로서 제로 등을 돌려주거나, 화상 밖이 되지 않도록 보정량에 제한을 가하거나 하는 등의 처리가 필요해진다. 여기서, 화소치로서 제로 등을 돌려주는 경우에는, 출력 화상의 주변에 본래의 화상과 다른 것이 기록되는 것으로 되지만, 최종적인 출력 화상을, 본래의 화상이 있는 범위로부터 잘라내거나, 잘라낸 후에 확대하거나 하는 처리를 시행할 수 있다. 일반적으로는, 입력 화상으로서, 보정하고 싶은 각도를 보충할 수 있는 범위에서, 최종 출력 화상보다 한결 큼직한 것을 준비함으로써, 이와 같은 영향이 최종 출력 결과에 주어지지 않도록 할 수 있다.

또한, 본 실시의 형태에서는, 설명을 알기 쉽게 하기 위해, 전 화소에 관해 보정 위치를 계산하여 보정한 예를 설명하였지만, 화상 전체를 복수의 블록으로 분할하고, 분할된 블록마다 대표점의 보정 위치를 구하고, 그 대표점의 보정 위치의 값으로부터 보간하여 각 화소의 보정 위치를 구하는 등의 방법을 이용하여도 좋다. 또한, 수치 계산에 관해서는, 근사계산 등을 이용하여 간략화하여도 좋다.

또한, 배럴 시프트 방식(제3의 처리례)의 경우에는, 화상의 센터의 흔들림분은 렌즈의 이동으로 보정되어 있기 때문에 손떨림 보정 처리의 제1 및 제2의 처리례와 비교하여, 같은 각도의 흔들림량에 대해 구하여야 할 화소의 위치가, 화상 밖으로 되는 양은 적어진다.

또한, 특히 동화 촬영시에 있어서, 종래, 화상의 주변 부근에서 왜곡이 크게 나타나기 때문에, 그와 같은 왜곡의 영향이 적은 화상의 중앙만을 잘라내거나, 이미지 센서 유닛의 화각을 좁게 하거나 하는 처리가 행하여지고 있다. 이에 대해, 본 기술을 적용한 촬상 장치(11)에 의한 손떨림 보정 처리에서는, 화상의 주변 부근에서의 왜곡을 보정할 수 있기 때문에, 촬상 장치(11)의 화각을 넓게 할 수 있다.

다음에, 도 22는, 도 1의 촬상 장치(11)에 의한 촬상 방법을 설명하는 플로 차트이다.

예를 들면, 촬상 장치(11)의 전원이 투입되어 손떨림 보정 처리가 유효해지도록 설정되면 처리가 시작된다. 스텝 S11B에서, 자이로 센서(22)는 일정한 타이밍에서 손떨림량 신호(자이로 데이터)의 출력을 시작하고, 신호 동기부(23)는, 순차적으로, 자이로 센서(22)로부터 손떨림량 신호를 취득한다.

스텝 S12에서, 이미지 센서(21)는, 수평 동기 신호에 따른 타이밍에서, 화상 신호를 출력하고, 신호 동기부(23)는, 순차적으로, 이미지 센서(21)로부터 화상 신호를 취득한다.

스텝 S13에서, 신호 동기부(23)는, 손떨림량 신호와 화상 신호와의 동기를 취하여 손떨림 보정 처리부(25)에 공급한다.

스텝 S14에서, 손떨림 보정 처리부(25)는, 화소 위치마다 어긋남량을 산출한다. 예를 들면, 손떨림 보정 처리부(25)는, 상술한 식(15), 식(19), 식(20), 식(24), 및 식(26)을 연산하여, 그들의 연산 결과에 의거하여 식(27)으로 구하여지는 종합적인 X방향 이동량(ΔX) 및 Y방향 이동량(ΔY)을, 화소 위치마다 산출한다.

스텝 S15B에서, 손떨림 보정 처리부(25)는, 스텝 S14에서 산출한 화소 위치마다의 어긋남량에 의거하여, 화상을 보정한다. 예를 들면, 손떨림 보정 처리부(25)는, 좌표(A(X, Y))마다, 상술한 식(31)을 연산하여 좌표(A'(X', Y'))를 구함에 의해 화상을 보정한다. 스텝 S15의 처리 후, 처리는 스텝 S11로 되돌아와, 다음의 프레임을 처리의 대상으로 하여, 이하, 같은 처리가 반복된다.

그런데, 도 5를 참조하여 상술한 바와 같이, 오차거리(δ)(θ, α, D)가 2화소 미만의 범위라면, 피사체면상의 점(A) 및 점(A')의 거리차가 눈에 띄는 일은 없다. 따라서, 상술한 식(6)의 보정량(Δy) 및 식(8)의 보정량(Δx)에 의한 손떨림 보정 처리를 행함으로써, 손떨림의 발생을 충분히 억제한 화상을 얻을 수 있다. 그러나 예를 들면, 피사체거리(D)가 가까운 피사체에 대해서는, 오차거리(δ)(θ, α, D)가 2화소 이상이 되는 일이 있고, 손떨림 보정 처리를 행하여도, 손떨림이 눈에 띄는 화상이 되는 일이 있다.

그래서, 예를 들면, 상술한 식(6)의 보정량(Δy) 및 식(8)의 보정량(Δx)에, 피사체거리(D)를 이용한 추가적인 보정량을 추가한 손떨림 보정 처리를 행함으로써, 피사체거리(D)가 가까운 피사체에 대한 손떨림을 억제할 수 있다. 예를 들면, AF(Auto Focus) 기능을 이용하여 포커스를 맞추는 피사체까지의 피사체거리(D)를 추정하고, 그 피사체에서의 손떨림이 가장 억제되도록, 피사체거리(D)에 응한 손떨림 보정 처리가 행하여진다.

다음에, 도 23은, 본 기술을 적용한 촬상 장치의 다른 실시의 형태의 구성례를 도시하는 블록도이다.

도 23에는, 포커스를 맞추는 피사체까지의 피사체거리(D)에 응한 손떨림 보정 처리를 행하는 촬상 장치(11B)가 도시되어 있다. 또한, 도 23의 촬상 장치(11B)에서, 도 1의 촬상 장치(11)와 공통되는 구성에 관해서는 동일한 부호를 붙이고, 그 상세한 설명은 생략한다.

도 23에 도시하는 바와 같이, 촬상 장치(11B)는, 도 1의 촬상 장치(11)의 구성에 더하여, AF 센서(31), AF 제어부(32), AF 구동부(33), 및 거리 추정부(34)를 구비하여 구성된다.

AF 센서(31)는, 예를 들면, 이미지 센서(21)의 센서면에 매입된 복수의 위상차 검출 화소를 갖고서 구성된다. 위상차 검출 화소는, 우측 반분이 차광된 화소와 좌측 반분이 차광된 화소가 조합되어 구성되고, 센서면의 소정 개소에 배치된다. 그리고, 우측 반분이 차광된 화소로부터 출력되는 화소 신호로 구축되는 화상과, 좌측 반분이 차광된 화소로부터 출력되는 화소 신호로 구축된 화상이, AF 센서(31)로부터 AF 제어부(32)에 공급된다.

AF 제어부(32)는, AF 센서(31)로부터 공급되는 2장의 화상상에서의 피사체의 위치의 어긋남에 의거하여, 포커스를 맞추는 피사체까지의 거리를 산출한다. 그리고, AF 제어부(32)는, 그 거리에 포커스가 맞도록, 광학계(12)가 갖는 포커스 조정용의 렌즈의 렌즈 위치를 결정하고, 결정한 렌즈 위치에 대응하는 전류치의 AF 제어 신호를 AF 구동부(33)에 공급한다.

AF 구동부(33)는, 광학계(12)가 갖는 포커스 조정용의 렌즈를 구동하기 위한 액추에이터를 갖고서 구성되고, AF 제어부(32)로부터 공급되는 AF 제어 신호의 전류치에 따라 포커스 조정용의 렌즈를 구동하여, 피사체에 포커스를 맞춘다.

거리 추정부(34)에는, AF 제어부(32)로부터 AF 구동부(33)에 출력되는 AF 제어 신호가 공급되고, 거리 추정부(34)는, AF 제어 신호의 전류치로부터, 포커스를 맞추는 피사체까지의 피사체거리(D)를 추정한다. 그리고, 거리 추정부(34)는, AF 제어 신호의 전류치로부터 추정한 피사체거리(D)를, 손떨림 보정 처리부(25)에 공급한다.

여기서, 도 24를 참조하여, AF 제어 신호의 전류치와 피사체거리(D)와의 관계에 관해 설명한다.

도 24의 A에 도시하는 바와 같이, 렌즈로부터 피사체까지의 거리를 물측 거리(a)로 하고, 렌즈로부터 센서면까지의 거리를 상측 거리(b)로 하였을 때, 물측 거리(a) 및 상측 거리(b)의 관계는, 렌즈의 초점 거리(f)에 따른 것으로 된다.

즉, 물측 거리(a) 및 상측 거리(b)의 관계는, 도 24의 B에 도시하는 바와 같이, 가우스의 결상 공식(1/f=1/a+1/b)에 의해 구하여진다. 도 24의 B에서는, 횡축이 물측 거리(a)를 나타내고, 종축이 상측 거리(b)를 나타내고 있고, 물측 거리(a)가 짧아지는데 수반하여 상측 거리(b)가 길어진다. 특히, 포커스를 맞추는 피사체가 근거리에 있을 때, 즉, 물측 거리(a)가 극단적으로 짧은 때에는, 상측 거리(b)는 급격하게 길어진다.

또한, AF 구동부(33)는, 광학계(12)가 갖는 포커스 조정용의 렌즈를, AF 제어부(32)로부터 공급되는 AF 제어 신호의 전류치에 응하여 리니어하게 구동한다. 도 24의 C에서는, 횡축이 AF 제어 신호의 전류치를 나타내고, 종축이 포커스 조정용의 렌즈의 렌즈 위치를 나타내고 있고, 포커스 조정용의 렌즈의 렌즈 위치는, AF 제어 신호의 전류치에 대해 개략 선형으로 변화한다.

따라서 거리 추정부(34)는, 개략 선형적인 관계에 의거하여, AF 구동부(33)에 공급되는 AF 제어 신호의 전류치로부터, AF 구동부(33)에 의해 구동되는 포커스 조정용의 렌즈의 렌즈 위치를 구할 수 있다. 그리고, 포커스 조정용의 렌즈의 렌즈 위치에 따라 물측 거리(a)가 결정됨에 의해, 거리 추정부(34)는, 도 24의 B에 도시한 가우스의 결상 공식으로부터 상측 거리(b)를 구함으로써, 포커스를 맞추는 피사체까지의 피사체거리(D)를 추정할 수 있다.

거리 추정부(34)는, 이와 같이 하여 추정한 피사체거리(D)를 손떨림 보정 처리부(25)에 공급하고, 손떨림 보정 처리부(25)는, 피사체거리(D)에 응한 손떨림 보정 처리를 행할 수가 있다. 예를 들면, 상술한 바와 같이, 오차거리(δ)(θ, α, D)가 2화소 이상이 될 정도로, 포커스를 맞추는 피사체까지의 피사체거리(D)가 가까운 경우, 손떨림 보정 처리부(25)는, 상술한 식(6)의 보정량(Δy) 및 식(8)의 보정량(Δx)에 추가하는 추가 보정량을, 피사체거리(D)를 이용하여 구하고, 그 추가 보정량을 추가한 보정량으로 손떨림 보정 처리를 행하도록 할 수 있다. 이에 의해, 포커스를 맞추는 피사체에서의 오차거리(δ)(θ, α, D)를 2화소 이하로 억제할 수 있다.

도 25에는, 촬상 장치(11B)가 롤 방향으로 손떨림한 때에 구하여지는, 소정의 피사체거리(D)와 X방향의 오차거리(δx)와의 관계의 한 예가 도시되어 있다.

도 25에 도시하는 바와 같이, 예를 들면, 촬상 장치(11B)의 롤 방향의 회전중심까지의 거리(r)를 100㎜로 하고, 흔들림각(θ)을 0.5°로 하였을 때, X방향의 이동량(r·sinθ)은 872.7㎛로 구하여지고, Y방향의 이동량(r·(1-cosθ))은 3.8㎛로 구하여진다.

그리고, 피사체거리(D)가 2.4m인 때, X방향으로 촬상 가능한 범위(=2·D·TANβ)은 2.47m로서 구하여지고, 상술한 식(5)에서 X방향의 오차거리(δx)는 1.5로 구하여진다. 마찬가지로, 피사체거리(D)가 1.4m인 때, X방향으로 촬상 가능한 범위는 1.44m로서 구하여지고, X방향의 오차거리(δx)는 2.5로 구하여진다. 또한, 피사체거리(D)가 0.35m인 때, X방향으로 촬상 가능한 범위는 0.36m로서 구하여지고, X방향의 오차거리(δx)는 10.1로서 구하여진다.

이와 같이, 포커스를 맞추는 피사체까지의 피사체거리(D)가 가깝고, X방향의 오차거리(δx)가 2화소 이상이 될 때, 피사체에는 X방향의 오차거리(δx)로 손떨림이 발생하게 된다. 따라서, 그 X방향의 오차거리(δx)를 보정치에 가산하여 손떨림 보정 처리를 행함으로써, 포커스를 맞추는 피사체에서의 손떨림을 억제할 수 있다. 즉, 손떨림 보정 처리부(25)는, 이 X방향의 오차거리(δx)를, 상술한 식(8)의 보정량(Δx)에 대해 추가하는 추가 보정량(추가적으로 수정하는 화소수)로서 추가한 손떨림 보정 처리를 행한다.

여기서는, X방향의 보정에 관해 설명하였지만, 손떨림 보정 처리부(25)는, Y방향의 보정에 대해서도 마찬가지로, 상술한 식(6)의 보정량(Δy)에 대해, Y방향의 오차거리(δy)를 추가 보정량으로서 추가한 손떨림 보정 처리를 행한다.

즉, 포커스를 맞추는 피사체까지의 피사체거리(D)에 응한 손떨림 보정 처리를 행할 때의 Y방향의 보정량(Δy)은, 상술한 식(6)에, Y방향의 오차거리(δy)를 가산한 다음의 식(40)으로 구하여진다.

[수식 40]

단, 식(40)에서, d는, 센서면(S)의 중심점부터 동공위치(I)까지의 광학적인 동공거리를 나타내고, α는, 동공위치(I)로부터 피사체면상의 점(A)에의 앙각을 나타내고, θ는, 회전중심(O)을 중심으로 한 흔들림각을 나타내고 있다. 또한, r은, 회전중심(O)부터 센서면(S)의 중심점까지의 거리인 회전 반경을 나타내고, D는, 포커스를 맞추는 피사체까지의 피사체거리를 나타내고, Ny는, 이미지 센서(21)의 Y축방향의 1변의 화소수를 나타내고, β는, 이미지 센서(21)의 Y축방향의 최대 화각을 나타내고 있다.

마찬가지로, 포커스를 맞추는 피사체까지의 피사체거리(D)에 응한 손떨림 보정 처리를 행할 때의 X방향의 보정량(Δx)은, 상술한 식(8)에, X방향의 오차거리(δx)를 가산한 다음의 식(41)으로 구하여진다.

[수식 41]

단, 식(41)에서, d는, 센서면(S)의 중심점부터 동공위치(I)까지의 광학적인 동공거리를 나타내고, α는, 동공위치(I)로부터 피사체면상의 점(A)에의 앙각을 나타내고, θ는, 회전중심(O)을 중심으로 한 흔들림각을 나타내고 있다. 또한, r은, 회전중심(O)부터 센서면(S)의 중심점까지의 거리인 회전 반경을 나타내고, D는, 포커스를 맞추는 피사체까지의 피사체거리를 나타내고, Nx는, 이미지 센서(21)의 X축방향의 1변의 화소수를 나타내고, γ는, 이미지 센서(21)의 X축방향의 최대 화각을 나타내고 있다.

예를 들면, 손떨림 보정 처리부(25)에는, 오차거리(δ)(θ, α, D)가 2화소 이상이 되는 피사체거리가 미리 구하여져서 임계치로서 설정할 수 있다. 그리고, 손떨림 보정 처리부(25)는, 거리 추정부(34)에 의해 추정된 피사체거리(D)가, 그 임계치 미만인 경우, 포커스를 맞추는 피사체까지의 피사체거리(D)에 응한 손떨림 보정 처리를 행하도록 할 수 있다.

이에 의해, 촬상 장치(11B)는, 포커스를 맞추는 피사체에 있어서, 손떨림이 가장 억제되도록 손떨림 보정 처리를 행하도록 할 수 있다. 따라서, 피사체가 근거리라도 손떨림의 발생을 보다 확실하게 억제할 수 있고, 화질의 향상을 도모할 수 있다. 또한, 촬상 장치(11B)에서는, 오차거리(δ)(θ, α, D)가 2화소 이상이 되는 피사체거리가 미리 구하여져서 임계치 미만인 경우에만, 피사체거리(D)에 응한 손떨림 보정 처리를 행하면 좋아, 처리 부하를 절감할 수 있다.

도 26은, 피사체거리(D)에 응한 손떨림 보정 처리의 효과를 비교하여 설명하는 도면이다.

도 26에는, 자(定規)를 앞측(手前側)에 배치하고, 격자 패턴의 패널을 속측(奧側)에 배치하여 촬상된 화상이 도시되어 있다. 도 26의 A에는, 손떨림 보정 처리가 행하여지지 않은 화상이 도시되어 있고, 도 26의 B에는, 자가 배치되어 있는 위치에 피사체거리(D)를 설정하여 손떨림 보정 처리가 시행된 화상이 도시되어 있고, 도 26의 C에는, 격자 패턴이 배치되어 있는 위치에 피사체거리(D)를 설정하여 손떨림 보정 처리가 시행된 화상이 도시되어 있다.

도 26의 A에 도시하는 화상과 같이, 손떨림 보정 처리가 행하여지지 않은 경우에는, 자 및 격자 패턴의 양쪽에 손떨림이 발생하고 있다. 또한, 도 26의 B에 도시하는 화상과 같이, 자가 배치되어 있는 위치에 피사체거리(D)를 설정하여 손떨림 보정 처리를 시행한 경우에는, 자에 대한 손떨림이 억제되고, 속측에 있는 격자 패턴에 손떨림이 발생하고 있다. 또한, 도 26의 C에 도시하는 화상과 같이, 격자 패턴이 배치되어 있는 위치에 피사체거리(D)를 설정하여 손떨림 보정 처리를 시행한 경우에는, 격자 패턴에 대한 손떨림이 억제되고, 앞측에 있는 자에 손떨림이 발생하고 있다.

이와 같이, 피사체거리(D)에 응한 손떨림 보정 처리를 행함에 의해, 포커스를 맞추는 피사체에 대한 손떨림을, 보다 효과적으로 억제할 수 있다.

또한, 도 24의 C를 참조하여 설명한 바와 같이, 포커스 조정용의 렌즈의 렌즈 위치는, AF 제어 신호의 전류치에 대해 개략 선형으로 변화하는 관계를 갖지만, 예를 들면, 촬상 장치(11)의 자세에 따라, 그 관계가 개략 선형이 되지 않는 일이 있다. 즉, 예를 들면, 촬상 장치(11)가 위를 향하고 있는 때와, 촬상 장치(11)가 아래를 향하고 있는 때에서, 포커스 조정용의 렌즈에 작용하는 중력에 의해, 포커스 조정용의 렌즈의 렌즈 위치는 다른 것으로 된다.

그래서, 촬상 장치(11B)에서는, 촬상 장치(11)의 자세에 의거하여, 피사체거리(D)를 보정함으로써, 보다 정확한 보정량을 구할 수 있다.

즉, 예를 들면, 촬상 장치(11)에서는, 자이로 센서(22)에 의해 중력 방향(즉, 촬상 장치(11)의 자세)를 측정하고, 자이로 센서(22)가, 그 중력 방향을 거리 추정부(34)에 공급하도록 구성할 수 있다. 그리고, 거리 추정부(34)는, 미리 구하여진 중력 방향과 피사체거리(D)의 보정량과의 대응 관계를 유지하고 있고, 자이로 센서(22)로부터 공급되는 중력 방향에 따라, 피사체거리(D)를 보정할 수 있다. 이에 의해, 촬상 장치(11)가 어떤 자세라도, 보다 정확하게 손떨림 보정 처리를 행할 수가 있다.

또한, 촬상 장치(11B)에서, AF 센서(31)는, 위상차 검출 화소를 이미지 센서(21)의 센서면에 매입하는 구성으로 한정되는 것은 아니다. 예를 들면, 촬상 장치(11B)에서는, 이미지 센서(21)를 향하는 광의 일부를 분할하여 피사체까지의 거리를 구하는 구성이나, 이미지 센서(21)로부터 출력되는 화상의 콘트라스트에 의거하여 피사체까지의 거리를 구하는 구성 등을 채용할 수 있다.

또한, 촬상 장치(11B)에서, 거리 추정부(34)를 마련하지 않고, AF 제어부(32)가, 피사체까지의 거리를 나타내는 신호를 손떨림 보정 처리부(25)에 직접적으로 공급하도록 구성하여도 좋다. 또한, AF 구동부(33)가, 펄스 신호에 따라 포커스 조정용의 렌즈를 구동하는 구성으로 하여도 좋고, 이 경우, AF 제어부(32)가, AF 제어 신호로서 펄스 신호를 출력하고, 거리 추정부(34)는, 그 펄스를 카운트함에 의해 피사체까지의 거리를 추정할 수 있다.

다음에, 도 27은, 본 기술을 적용한 고체 촬상 소자의 한 실시의 형태의 구성례를 도시하는 블록도이다.

도 27에 도시하는 바와 같이, 고체 촬상 소자(51)는, 화소 어레이부(52), 행주사부(53), 칼럼 처리부(54), 열주사부(55), 출력부(56), 제어부(57), 및 로직 회로(58)를 구비하여 구성된다.

화소 어레이부(52)는, 복수의 화소(61)가 어레이형상으로 배치되어 있고, 화소(61)는, 행주사부(53)로부터의 제어에 따라 행마다 구동하고, 광전 변환에 의해 발생한 전하에 응한 화소 신호를 열마다 병렬적으로 칼럼 처리부(54)에 출력한다.

행주사부(53)는, 화소 어레이부(52)의 화소(61)를 행마다 구동하기 위한 구동 신호(예를 들면, 전송 신호, 선택 신호, 리셋 신호)를 공급한다.

칼럼 처리부(54)는, 화소 어레이부(52)의 화소(61)로부터 공급된 화소 신호를, 화소(61)의 열마다 병렬적으로 A/D(Analog/Digital) 변환하고, 열주사부(55)로부터의 제어에 따라 순번대로 출력부(56)에 공급한다.

열주사부(55)는, 칼럼 처리부(54)에 대해 소정의 타이밍에서 순차적으로, 화소 신호를 출력하도록 제어한다.

출력부(56)는, 칼럼 처리부(54)로부터 공급되는 화소 신호를, 예를 들면, 소정의 게인으로 증폭하여 출력한다.

제어부(57)는, 행주사부(53), 칼럼 처리부(54), 열주사부(55), 및 출력부(56)의 구동의 기준이 되는 클록 신호나, 구동을 제어하기 위한 제어 신호를 공급한다.

로직 회로(58)는, 자이로 센서(22), 신호 동기부(23), 파라미터 유지부(24), 및, 손떨림 보정 처리부(25)를 갖도록 구성된다. 자이로 센서(22), 신호 동기부(23), 파라미터 유지부(24), 및, 손떨림 보정 처리부(25)의 구성에 관해서는, 도 1과 마찬가지이고, 그 상세한 설명은 생략한다.

즉, 고체 촬상 소자(51)는, 도 1의 카메라 모듈(15)과 같은 손떨림 보정 처리를, 그 내부에서 행할 수 있도록 구성되어 있다. 또한, 로직 회로(58)는, 예를 들면, 화소 어레이부(52)와 동일한 기판에서 화소 어레이부(52)의 주변 회로로서 마련된다. 또는, 로직 회로(58)는, 화소 어레이부(52)의 기판과는 다른 기판에 마련되고, 그들의 기판이 적층된 구성으로 할 수 있다.

이와 같이, 고체 촬상 소자(51)는, 손떨림 보정 처리를 시행한 화상을 출력할 수 있다.

또한, 본 기술은, 촬상 장치 외에, 예를 들면, 퍼스널 컴퓨터와 같이, 촬상이 끝난 화상 데이터와 화상 데이터에 동기한 자이로 데이터를 취득하여, 사후적으로 손떨림 보정 처리를 제공하는 장치에 적용하여도 좋다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

피사체를 촬상하여 화상을 출력하는 촬상부와,

상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와,

상기 촬상부가 출력하는 화상을 구성하는 화소의 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 촬상 장치.

(2)

상기 보정 처리부는, 상기 화상의 개략 중심부터의 종방향과 횡방향의 거리에 의존하여 다른 보정량을 이용하는 상기 (1)에 기재된 촬상 장치.

(3)

상기 보정 처리부는, 상기 촬상부의 센서면에 피사체의 상을 결상하는 광학계의 동공위치부터 상기 촬상부의 센서면까지의 광학적인 거리인 동공거리와, 상기 촬상부로부터 공급되는 화상의 소정의 화소의 배치 위치와, 이 배치 위치에 대응하는 상기 센서면상의 점에 대한 상기 동공위치부터의 앙각과, 상기 흔들림각을 이용하여, 상기 화소마다, 기하광학적인 계산식에 따른 연산을 행하여 상기 보정량을 산출하는 상기 (1) 또는 (2)에 기재된 촬상 장치.

(4)

상기 보정량은, 상술한 식(6) 및 식(8)으로 표시되는 상기 (3)에 기재된 촬상 장치.

단, 상기 식(6) 및 식(8)에서, Δx는, 상기 화상의 횡방향의 보정량을 나타내고, Δy는, 상기 화상의 종방향의 보정량을 나타내고, d는, 상기 동공거리를 나타내고, α는, 상기 앙각을 나타내고, θ는, 상기 흔들림각을 나타내고, X는, 보정의 대상이 되는 화소의 상기 화상의 개략 중심부터 횡방향으로의 거리를 나타낸다

(5)

상기 보정 처리부는, 상기 보정량에 따라 보정된 보정 후의 화상을 구성하는 각 화소의 화소 위치가, 보정 전의 화상을 구성하는 각 화소의 화소 위치에 일치하도록, 보정 후의 화상을 구성하는 소정의 상기 화소의 주변에 있는 소정수의 상기 화소에서 보간하여, 소정의 상기 화소의 화소치를 구하는 상기 (1)부터 (4)까지의 어느 하나에 기재된 촬상 장치.

(6)

상기 촬상부로부터 출력되는 화상과, 상기 검출부로부터 출력되는 상기 흔들림각과의 동기를 취하여 상기 보정 처리부에 공급하는 동기부를 또한 구비하는 상기 (1)부터 (5)까지의 어느 하나에 기재된 촬상 장치.

(7)

상기 동기부는, 상기 촬상부로부터 출력되는 화상의 수평 라인마다, 상기 검출부로부터 출력되는 상기 흔들림각과의 동기를 취하는 상기 (1)부터 (6)까지의 어느 하나에 기재된 촬상 장치.

(8)

상기 보정 처리부는, 상기 촬상부가 떨림에 의해,

상기 화상이 상하 방향으로 이동하는 흔들림각이 상기 화상의 상하 방향으로 주는 영향을 보정하는 보정량에 더하여, 상기 화상이 상하 방향으로 이동하는 흔들림각이 상기 화상의 좌우 방향으로 주는 영향을 보정하는 보정량을 산출하고,

상기 화상이 좌우 방향으로 이동하는 흔들림각이 상기 화상의 좌우 방향으로 주는 영향을 보정하는 보정량에 더하여, 상기 화상이 좌우 방향으로 이동하는 흔들림각이 상기 화상의 상하 방향으로 주는 영향을 보정하는 보정량을 산출하는 상기 (1)부터 (7)까지의 어느 하나에 기재된 촬상 장치.

(9)

상기 촬상부는, 상기 화상의 전체가 거의 동시에 기록되는 글로벌 셔터 방식으로 촬상을 행하는 상기 (1)부터 (7)까지의 어느 하나에 기재된 촬상 장치.

(10)

상기 촬상부는, 상기 화상 내에서 수평 라인마다 촬상 타이밍이 다른 롤링 셔터 방식으로 촬상을 행하는 상기 (1)부터 (7)까지의 어느 하나에 기재된 촬상 장치.

(11)

상기 검출부에 의해 검출된 흔들림각에 의거하여, 상기 촬상부상의 화상이 움직이지 않는 방향에, 상기 촬상부의 센서면에 피사체의 상을 결상하는 광학계가 갖는 렌즈를 상기 촬상부의 센서면과 거의 평행하게 구동한 구동부를 또한 구비하고,

상기 화상면상에서의 상기 화소의 배치 위치에 의존하지 않는 부분을 평행 구동에 의해 보정하는 상기 (1)부터 (10)까지의 어느 하나에 기재된 촬상 장치.

(12)

상기 보정 처리부는, 상기 동공위치부터 포커스를 맞추는 피사체까지의 광학적인 거리인 피사체거리를 또한 이용하여, 상기 보정량에 대해 추가적인 보정을 행하는 추가 보정량을 산출하고, 상기 피사체거리에 응한 손떨림 보정 처리를 행하는 상기 (3)에 기재된 촬상 장치.

(13)

상기 피사체거리에 응한 손떨림 보정 처리를 행할 때의 보정량은, 상술한 식(40) 및 식(41)으로 표시되는 상기 (12)에 기재된 촬상 장치.

단, 상기 식(40) 또는 식(41)에서, Δx는, 상기 화상의 횡방향의 보정량을 나타내고, Δy는, 상기 화상의 종방향의 보정량을 나타내고, d는, 상기 동공거리를 나타내고, α는, 상기 앙각을 나타내고, θ는, 상기 흔들림각을 나타내고, X는, 보정의 대상이 되는 화소의 상기 화상의 개략 중심부터 횡방향으로의 거리를 나타내고, r은, 상기 촬상부가 떨린 때의 회전중심부터 상기 센서면의 중심점까지의 거리인 회전 반경을 나타내고, D는, 포커스를 맞추는 피사체까지의 피사체거리를 나타내고, Ny는, 상기 촬상부의 종방향의 1변의 화소수를 나타내고, β는, 상기 촬상부의 종방향의 최대 화각을 나타내고, Nx는, 상기 촬상부의 횡방향의 1변의 화소수를 나타내고, γ는, 상기 촬상부의 횡방향의 최대 화각을 나타낸다

(14)

상기 보정 처리부는, 포커스를 맞추는 피사체까지의 상기 피사체거리가, 미리 설정되어 있는 소정의 임계치 이하인 경우에, 상기 피사체거리에 응한 손떨림 보정 처리를 행하는 상기 (12) 또는 (13)에 기재된 촬상 장치.

(15)

상기 광학계가 갖는 포커스 조정용의 렌즈를 구동하고, 소망하는 피사체에 포커스를 맞추는 포커스 구동부와,

상기 포커스 구동부에 의한 상기 포커스 조정용의 렌즈의 구동을 제어하는 제어 신호에 의거하여, 포커스를 맞추는 피사체까지의 상기 피사체거리를 추정하는 피사체거리 추정부를 또한 구비하는 상기 (12)부터 (14)까지의 어느 하나에 기재된 촬상 장치.

(16)

상기 검출부는, 중력 가속도의 방향을 검출하여 상기 피사체거리 추정부에 공급하고,

상기 피사체거리 추정부는, 중력 가속도의 방향에 따라, 추정한 상기 피사체거리를 보정하는 상기 (15)에 기재된 촬상 장치.

(17)

피사체를 촬상하여 화상을 출력하는 촬상부와,

상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 고체 촬상 소자.

(18)

피사체를 촬상하여 화상을 출력하는 촬상부와,

상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 카메라 모듈.

(19)

피사체를 촬상하여 화상을 출력하는 촬상부와,

상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 전자 기기.

(20)

피사체를 촬상하여 화상을 출력하는 촬상부와, 상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부를 갖는 촬상 장치의 촬상 방법에 있어서,

상기 촬상부가 화상을 출력하고,

상기 검출부가 흔들림각을 출력하고,

상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 스텝을 포함하는 촬상 방법.

또한, 본 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.

11 : 촬상 장치
12 : 광학계
13 : 기록 매체
14 : 디스플레이
15 : 카메라 모듈
21 : 촬상 소자
22 : 자이로 센서
23 : 신호 동기부
24 : 파라미터 유지부
25 : 손떨림 보정 처리부
26 : 구동부
51 : 고체 촬상 소자
52 : 화소 어레이
53 : 행주사부
54 : 칼럼 처리부
55 : 열주사부
56 : 출력부
57 : 제어부
58 : 로직 회로

Claims

피사체를 촬상하여 화상을 출력하는 촬상부와,
상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와,
상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 보정 처리부는, 상기 화상의 개략 중심부터의 종방향과 횡방향의 거리에 의존하여 다른 보정량을 이용하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 보정 처리부는, 상기 촬상부의 센서면에 피사체의 상을 결상하는 광학계의 동공위치부터 상기 촬상부의 센서면까지의 광학적인 거리인 동공거리와, 상기 촬상부로부터 공급되는 화상의 소정의 화소의 배치 위치와, 이 배치 위치에 대응하는 상기 센서면상의 점에 대한 상기 동공위치부터의 앙각과, 상기 흔들림각을 이용하여, 상기 화소마다, 기하광학적인 계산식에 따른 연산을 행하여 상기 보정량을 산출하는 것을 특징으로 하는 촬상 장치.
제3항에 있어서,
상기 보정량은, 이하의 식(1) 및 식(2)으로 표시되는 것을 특징으로 하는 촬상 장치.
[수식 1]

[수식 2]

단, 상기 식(1) 또는 식(2)에서, Δx는, 상기 화상의 횡방향의 보정량을 나타내고, Δy는, 상기 화상의 종방향의 보정량을 나타내고, d는, 상기 동공거리를 나타내고, α는, 상기 앙각을 나타내고, θ는, 상기 흔들림각을 나타내고, X는, 보정의 대상이 되는 화소의 상기 화상의 개략 중심부터 횡방향으로의 거리를 나타낸다
제1항에 있어서,
상기 보정 처리부는, 상기 보정량에 따라 보정된 보정 후의 화상을 구성하는 각 화소의 화소 위치가, 보정 전의 화상을 구성하는 각 화소의 화소 위치에 일치하도록, 보정 후의 화상을 구성하는 소정의 상기 화소의 주변에 있는 소정수의 상기 화소에서 보간하여, 소정의 상기 화소의 화소치를 구하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 촬상부로부터 출력되는 화상과, 상기 검출부로부터 출력되는 상기 흔들림각과의 동기를 취하여 상기 보정 처리부에 공급하는 동기부를 또한 구비하는 것을 특징으로 하는 촬상 장치.
제6항에 있어서,
상기 동기부는, 상기 촬상부로부터 출력되는 화상의 수평 라인마다, 상기 검출부로부터 출력되는 상기 흔들림각과의 동기를 취하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 보정 처리부는, 상기 촬상부가 떨림에 의해,
상기 화상이 상하 방향으로 이동한 흔들림각이 상기 화상의 상하 방향으로 주는 영향을 보정하는 보정량에 더하여, 상기 화상이 상하 방향으로 이동한 흔들림각이 상기 화상의 좌우 방향으로 주는 영향을 보정하는 보정량을 산출하고,
상기 화상이 좌우 방향으로 이동하는 흔들림각이 상기 화상의 좌우 방향으로 주는 영향을 보정하는 보정량에 더하여, 상기 화상이 좌우 방향으로 이동하는 흔들림각이 상기 화상의 상하 방향으로 주는 영향을 보정하는 보정량을 산출하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 촬상부는, 상기 화상의 전체가 개략 동시에 기록되는 글로벌 셔터 방식으로 촬상을 행하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 촬상부는, 상기 화상 내에서 수평 라인마다 촬상 타이밍이 다른 롤링 셔터 방식으로 촬상을 행하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 검출부에 의해 검출되는 흔들림각에 의거하여, 상기 촬상부상의 화상이 움직이지 않는 방향으로, 상기 촬상부의 센서면에 피사체의 상을 결상하는 광학계가 갖는 렌즈를 상기 촬상부의 센서면과 거의 평행하게 구동한 구동부를 또한 구비하고,
상기 화상면상에서의 상기 화소의 배치 위치에 의존하지 않는 부분을 평행 구동에 의해 보정하는 것을 특징으로 하는 촬상 장치.
제3항에 있어서,
상기 보정 처리부는, 상기 동공위치부터 포커스를 맞추는 피사체까지의 광학적인 거리인 피사체거리를 또한 이용하여, 상기 보정량에 대해 추가적인 보정을 행하는 추가 보정량을 산출하고, 상기 피사체거리에 응한 손떨림 보정 처리를 행하는 것을 특징으로 하는 촬상 장치.
제12항에 있어서,
상기 피사체거리에 응한 손떨림 보정 처리를 행할 때의 보정량은, 이하의 식(3) 및 식(4)으로 표시되는 것을 특징으로 하는 촬상 장치.
[수식 3]

[수식 4]

단, 상기 식(3) 또는 식(4)에서, Δx는, 상기 화상의 횡방향의 보정량을 나타내고, Δy는, 상기 화상의 종방향의 보정량을 나타내고, d는, 상기 동공거리를 나타내고, α는, 상기 앙각을 나타내고, θ는, 상기 흔들림각을 나타내고, X는, 보정의 대상이 되는 화소의 상기 화상의 개략 중심부터 횡방향으로의 거리를 나타내고, r은, 상기 촬상부가 떨린 때의 회전중심부터 상기 센서면의 중심점까지의 거리인 회전 반경을 나타내고, D는, 포커스를 맞추는 피사체까지의 피사체거리를 나타내고, Ny는, 상기 촬상부의 종방향의 1변의 화소수를 나타내고, β는, 상기 촬상부의 종방향의 최대 화각을 나타내고, Nx는, 상기 촬상부의 횡방향의 1변의 화소수를 나타내고, γ는, 상기 촬상부의 횡방향의 최대 화각을 나타낸다
제12항에 있어서,
상기 보정 처리부는, 포커스를 맞추는 피사체까지의 상기 피사체거리가, 미리 설정되어 있는 소정의 임계치 이하인 경우에, 상기 피사체거리에 응한 손떨림 보정 처리를 행하는 것을 특징으로 하는 촬상 장치.
제12항에 있어서,
상기 광학계가 갖는 포커스 조정용의 렌즈를 구동하여, 소망하는 피사체에 포커스를 맞추는 포커스 구동부와,
상기 포커스 구동부에 의한 상기 포커스 조정용의 렌즈의 구동을 제어하는 제어 신호에 의거하여, 포커스를 맞추는 피사체까지의 상기 피사체거리를 추정하는 피사체거리 추정부를 또한 구비하는 것을 특징으로 하는 촬상 장치.
제15항에 있어서,
상기 검출부는, 중력 가속도의 방향을 검출하여 상기 피사체거리 추정부에 공급하고,
상기 피사체거리 추정부는, 중력 가속도의 방향에 따라, 추정한 상기 피사체거리를 보정하는 것을 특징으로 하는 촬상 장치.
피사체를 촬상하여 화상을 출력하는 촬상부와,
상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와,
상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 것을 특징으로 하는 고체 촬상 소자.
피사체를 촬상하여 화상을 출력하는 촬상부와,
상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와,
상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 것을 특징으로 하는 카메라 모듈.
피사체를 촬상하여 화상을 출력하는 촬상부와,
상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부와,
상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 보정 처리부를 구비하는 것을 특징으로 하는 전자 기기.
피사체를 촬상하여 화상을 출력하는 촬상부와, 상기 촬상부가 떨린 때의 흔들림각을 물리적으로 검출하는 검출부를 갖는 촬상 장치의 촬상 방법에 있어서,
상기 촬상부가 화상을 출력하고,
상기 검출부가 흔들림각을 출력하고,
상기 촬상부가 출력하는 화상을 구성하는 화소의 배치 위치와 상기 검출부에 의해 검출된 흔들림각에 의거한 보정량을 산출하고, 이 보정량에 따라 상기 화상을 보정하는 스텝을 포함하는 것을 특징으로 하는 촬상 방법.