KR20060118350A - 화상 처리 장치 및 방법과 프로그램 - Google Patents

Abstract

본 발명은 고배율 시에 가해진 진동에 의한 영향을 저감시키는 것을 목적으로 한다. 촬영 시에 진동이 가해진 경우, 그 진동에 의한 영향을 저감하기 위한 보정량이 산출된다. 그 촬영 시의 줌 배율이, 제1 임계값 이하인 경우, 저배율로 촬영되었다고 판단되어, 저배율 시의 처리가 실행된다. 그 촬영 시의 줌 배율이, 제1 임계값 이상인 경우, 고배율로 촬영되었다고 판단되어, 고배율 시의 처리가 실행된다. 고배율 시에서는, 산출된 보정량에, 배율에 대응하는 계수가 승산되며, 그 계수가 승산된 보정량을 이용한 보정 처리가 실행된다. 본 발명은, 비디오 카메라에 적용할 수 있다.

전자 줌, 보정량, 진동량, 줌 배율, 촬상 소자, 고배율, 저배율

Description

화상 처리 장치 및 방법과 프로그램{IMAGE PROCESSING DEVICE AND METHOD, AND PROGRAM}

도 1은 본 발명을 적용한 화상 처리 장치의 일 실시예의 구성을 도시하는 도면.

도 2는 진동량에 대하여 설명하기 위한 도면.

도 3은 화상 처리 장치의 동작에 대하여 설명하기 위한 플로우차트.

도 4는 저배율 시의 처리에 대하여 설명하기 위한 플로우차트.

도 5는 고배율 시의 처리에 대하여 설명하기 위한 플로우차트.

도 6은 임계값에 대하여 설명하기 위한 도면.

도 7은 보정량과 계수에 대하여 설명하기 위한 도면.

도 8은 보정량과 계수에 대하여 설명하기 위한 도면.

도 9는 화상 처리 장치의 다른 동작에 대하여 설명하기 위한 플로우차트.

도 10은 저배율 시의 다른 처리에 대하여 설명하기 위한 플로우차트.

도 11은 고배율 시의 다른 처리에 대하여 설명하기 위한 플로우차트.

도 12는 보정 점수에 대하여 설명하기 위한 도면.

도 13은 임계값에 대하여 설명하기 위한 도면.

도 14는 처리 구간에 대하여 설명하기 위한 도면.

도 15는 임계값에 대하여 설명하기 위한 도면.

도 16은 고배율 시의 또 다른 처리에 대하여 설명하기 위한 플로우차트.

도 17은 매체를 설명하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 화상 처리 장치

11 : 촬상 소자

12 : AFE

13 : 신호 처리부

14 : 화상 보간부

15 : TG

16 : 메모리 컨트롤러

17 : 메모리

18 : 진동 검출부

19 : 보정량 산출부

20 : 줌 배율 취득부

[특허 문헌 1] 일본 특개 2004-266322호 공보

본 발명은 화상 처리 장치 및 방법과 프로그램에 관한 것으로, 특히, 휴대 가능한 촬상 장치로 촬상할 때, 진동에 의한 영향을 경감시키는 화상 처리 장치 및 방법과 프로그램에 관한 것이다.

휴대 가능한 비디오 카메라나 디지털 스틸 카메라(이하, 비디오 카메라를 예로 들어 설명을 계속함)는, 일반적으로 사용되도록 되고 있다. 이러한 비디오 카메라에 이용되는 개체 촬상 소자로서는, 예를 들면, CCD(Charge Coupled Device) 센서로 대표되는 전하 전송형의 개체 촬상 소자나, CMOS(Complementary Metal Oxide Semiconductor) 센서로 대표되는 X-Y 어드레스형의 개체 촬상 소자가 있다.

CMOS 센서는, CCD 센서에 비하여 소비 전력이 작고, 단일의 저전압으로 구동되며, 주변 회로와의 일체화도 용이하기 때문에, 비디오 카메라 등의 화상 처리 장치에 이용되는 경우가 있다.

그러나, 비디오 카메라 등의 화상 처리 장치의 촬상 소자로서 CMOS 센서를 이용하여 고화질의 동화상이나 정지 화상을 기록하는 것은 곤란하였다. 그 이유의 하나로서, 손 떨림에 의해 촬상되는 화상에 왜곡이 발생하게 되는 것을 들 수 있다. 화상 처리 장치의 촬상 소자로서 이미 이용되고 있는 CCD 센서의 경우, 손 떨림에 의한 영향을 저감시키기 위한 처리를 실행하는 데에 있어서 필요로 되는 보정량은, 1필드 또는 1프레임 내에서 얻어진 손 떨림 정보에 기초하여 산출된 단일의 값이 이용된다. 이것은, 모든 화소의 노광 기간이 동일하여, 화상의 왜곡이 발생하지 않기 때문에, 단일의 값으로 손 떨림의 보정을 할 수 있다.

CCD 센서에 대하여, CMOS 센서는, 이하와 같은 구조에 의해, 피사체의 화상 을 촬상하고, 처리하기 때문에, 그 화상에는, 손 떨림에 의한 왜곡이 발생한다. 그 왜곡은, 이하와 같이 하여 발생한다고 생각된다.

CCD 센서와 같은 전하 전송형의 고체 촬상 소자는, 전체 화소를 동일 시기에 노광하여, 화소 데이터를 판독하는 것이 가능하지만, CMOS 센서와 같은 X-Y 어드레스형의 고체 촬상 소자는, 1화소 단위 혹은 1라인 단위로 순서대로 판독된다. 1라인 단위로 순차적으로 화소 데이터가 판독되는 경우, 예를 들면, 1화상이 1 내지 N 라인으로 구성되며, 1라인의 판독에 t초 걸릴 때, 1화상의 데이터를 판독하기 위해서는, N×t초의 시간이 필요로 된다.

이것을 바꾸어 말하면, 1라인째가 판독되고 나서, 약 N×t초 경과한 후에, N라인째가 판독되게 된다. 이 시간차 때문에, 화상이 촬상되고 있을 때(라인마다의 데이터의 판독이 행해지고 있을 때)에, 손 떨림 등의 진동이 가해진 경우, 1라인째와 N라인째에서, 화상이 존재하는 위치가 어긋나게 되어, 그 촬상되어 있는 화상에 왜곡이 발생하게 되는 경우가 있었다.

이러한 화상의 왜곡을 저감하기 위해, 손 떨림 등의 진동이 가해졌을 때에, 그 진동을 상쇄시키는 보정을 행하는 것이 제안되어 있다(예를 들면, 특허 문헌 1 참조).

그런데, 손 떨림 보정 이외의 처리도, 비디오 카메라 등의 장치에서는 물론 행해지고 있다. 최근의 비디오 카메라는, 화소수의 증가, 고정밀화 등에 의해, 취급하는 데이터량, 처리량이 많아지고 있다. 그 때문에, 필요로 되는 메모리의 용 량이 증대되어, 처리 능력을 향상시켜야만 한다.

특히 동화상을 취급하는 경우, 정지 화상을 취급하는 경우와 달리, 리얼타임성이 중요하게 되고, 그 때문에, 보다 큰 메모리 용량이 필요로 되어, 고도의 처리 능력이 필요로 된다. 행해지는 신호 처리가 방대한 규모로 되면, 코스트가 높아지며, 소비 전력이 증가하게 된다. 그러나, 코스트는 낮은 쪽이 좋고, 소비 전력도 낮은 쪽이 구동 시간을 길게 할 수 있기 때문에 좋다. 따라서, 코스트를 저감시키고, 소비 전력을 저감시키는 것, 또한 그와 같은 저감시키는 것에 영향을 주는 처리를 효율화하는 것이, 요망되고 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 처리의 효율화를 도모하여, 코스트의 저감이나 소비 전력을 저감시키도록 한다.

본 발명의 제1 화상 처리 장치는, 촬상 소자에 의해 화상을 촬상하는 촬상 수단과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단과, 진동량 출력 수단에 의해 출력된 진동량으로부터, 진동에 의한 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 수단과, 촬상 수단에 의해 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 수단과, 판단 수단에 의해 줌 배율이, 임계값 이상이라고 판단된 경우, 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 수단과, 제1 보정량 또는 제2 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 보정하는 보정 수단을 구비하는 것을 특징으로 한다.

상기 생성 수단은, 줌 배율에 대응하는 계수를 설정하고, 그 계수를 제1 보정량에 승산하여, 제2 보정량을 생성하도록 할 수 있다.

상기 산출 수단은, 화상으로부터, 보정량을 복수 산출하고, 생성 수단은, 복수의 제1 보정량 중, 적어도 1개의 제1 보정량을 제외한 제1 보정량에 대하여 계수를 설정하도록 할 수 있다.

상기 계수는, 0 내지 1까지의 수치를 취하도록 할 수 있다.

상기 판단 수단은, 줌 배율이, 소정의 임계값보다 큰 제2 임계값 이상이었던 경우, 계수를 0으로 설정하도록 할 수 있다.

본 발명의 제1 화상 처리 방법은, 촬상 소자를 제어하여 화상을 촬상하는 촬상 스텝과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과, 진동량 출력 스텝의 처리에서 출력된 진동량으로부터, 진동에 의한 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 스텝과, 촬상 스텝의 처리에서 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 스텝과, 판단 스텝의 처리에서 줌 배율이, 임계값 이상이라고 판단된 경우, 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 스텝과, 제1 보정량 또는 제2 보정량에 기초하여 촬상 스텝의 처리에 의해 촬상된 화상을 보정하는 보정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 촬상 소자를 제어하여 화상을 촬상하는 촬상 스텝과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과, 진동량 출력 스텝의 처리에서 출력된 진동량으로부터, 진동에 의한 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 스텝과, 촬상 스텝의 처리에서 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 스텝과, 판단 스텝의 처리에서 줌 배율이, 임계값 이상이라고 판단된 경우, 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 스텝과, 제1 보정량 또는 제2 보정량에 기초하여 촬상 스텝의 처리에 의해 촬상된 화상을 보정하는 보정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제1 화상 처리 장치 및 방법과 프로그램에서는, 가해진 진동에 의한 영향을 경감시키기 위한 보정량이 산출된다. 그 보정량이 산출될 때, 줌 배율이 소정의 임계값 이상인 경우, 이미 산출되어 있는 보정량보다도 작은 보정량으로 변환되고, 그 작은 값으로 된 보정량이 이용되어, 가해진 진동에 의한 영향을 저감시키기 위한 처리가 실행된다.

본 발명의 제2 화상 처리 장치는, 촬상 소자에 의해 화상을 촬상하는 촬상 수단과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단과, 진동에 의한 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 수단과, 설정 수단에 의해 설정된 점수만큼, 보정량을 산출하는 산출 수단과, 산출 수단에 의해 산출된 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 보정하는 보정 수단을 구비하는 것을 특징으로 한다.

상기 촬상 수단에 의해 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인 경우, 설정 수단은 점수를 설정하도록 할 수 있다.

본 발명의 제2 화상 처리 방법은, 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과, 진동에 의한 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 스텝과, 설정 스텝의 처리에서 설정된 점수만큼, 보정량을 산출하는 산출 스텝과, 산출 스텝의 처리에서 산출된 보정량에 기초하여 촬상 스텝에 의해 촬상된 화상을 보정하는 보정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과, 진동에 의한 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 스텝과, 설정 스텝의 처리에서 설정된 점수만큼, 보정량을 산출하는 산출 스텝과, 산출 스텝의 처리에서 산출된 보정량에 기초하여 촬상 스텝에 의해 촬상된 화상을 보정하는 보정 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제2 화상 처리 장치 및 방법과 프로그램에서는, 가해진 진동에 의한 영향을 경감시키기 위한 보정량이 산출된다. 그 보정량이 산출될 때, 줌 배율이 소정의 임계값 이상인 경우, 소정의 임계값 이하일 때보다도 적은 점수의 보정량이 산출되며, 그 보정량이 이용되어, 가해진 진동에 의한 영향을 저감시키기 위한 처리가 실행된다.

본 발명의 제3 화상 처리 장치는, 촬상 소자에 의해 화상을 촬상하는 촬상 수단과, 촬상 수단에 의해 촬상된 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 수단과, 설정 수단에 의해 설정된 영역 내만 처리하는 처리 수단을 구비하는 것을 특징으로 한다.

상기 촬상 수단에 의해 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인 경우, 설정 수단은 처리할 영역을 설정하도록 할 수 있다.

가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단과, 진동량 출력 수단에 의해 출력된 진동량으로부터, 진동에 의한 화상에의 영향을 저감하기 위한 보정량을 산출하는 산출 수단을 더 구비하고, 상기 처리 수단은, 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 보정하도록 할 수 있다.

본 발명의 제3 화상 처리 방법은, 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과, 촬상 스텝의 처리에서 촬상된 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 스텝과, 설정 스텝의 처리에서 설정된 영역 내만 처리하는 처리 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제3 프로그램은, 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과, 촬상 스텝의 처리에서 촬상된 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 스텝과, 설정 스텝의 처리에서 설정된 영역 내만 처리하는 처리 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제3 화상 처리 장치 및 방법과 프로그램에서는, 촬상된 화상 중, 처리할 영역이, 줌 배율에 의해 설정되며, 그 설정된 영역 내의 화상만이 처리 대 상으로 된다.

<실시예>

이하에 본 발명의 최량의 형태를 설명하지만, 개시되는 발명과 실시예와의 대응 관계를 예시하면, 다음과 같다. 명세서 내에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시예가 있다고 해도, 그것은, 그 실시예가, 그 발명에 대응하는 것이 아니라는 것을 의미하는 것은 아니다. 반대로, 실시예가 발명에 대응하는 것으로서 여기에 기재되어 있다고 해도, 그것은, 그 실시예가, 그 발명 이외의 발명에는 대응하지 않는 것이라는 것을 의미하는 것도 아니다.

또한, 이 기재는, 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 바꾸어 말하면, 이 기재는, 명세서에 기재되어 있는 발명으로서, 이 출원에서는 청구되어 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나, 보정에 의해 출현하여, 추가되거나 하는 발명의 존재를 부정하는 것은 아니다.

본 발명의 제1 화상 처리 장치는, 촬상 소자에 의해 화상을 촬상하는 촬상 수단(예를 들면, 도 1의 촬상 소자(11))과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단(예를 들면, 도 1의 진동 검출부(18))과, 진동량 출력 수단에 의해 출력된 진동량으로부터, 진동에 의한 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 수단(예를 들면, 도 1의 보정량 산출부(19))과, 촬상 수단에 의해 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 수단(예를 들면, 도 1의 보정량 산출 부(19))과, 판단 수단에 의해 줌 배율이, 임계값 이상이라고 판단된 경우, 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 수단(예를 들면, 도 1의 보정량 산출부(19))과, 제1 보정량 또는 제2 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 보정하는 보정 수단(예를 들면, 도 1의 화상 보간부(14))을 구비하는 것을 특징으로 한다.

본 발명의 제2 화상 처리 장치는, 촬상 소자에 의해 화상을 촬상하는 촬상 수단(예를 들면, 도 1의 촬상 소자(11))과, 가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단(예를 들면, 도 1의 진동 검출부(18))과, 진동에 의한 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 수단(예를 들면, 도 1의 보정량 산출부(19))과, 설정 수단에 의해 설정된 점수만큼, 보정량을 산출하는 산출 수단(예를 들면, 도 1의 보정량 산출부(19))과, 산출 수단에 의해 산출된 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 보정하는 보정 수단(예를 들면, 도 1의 화상 보간부(14))을 구비하는 것을 특징으로 한다.

본 발명의 제3 화상 처리 장치는, 촬상 소자에 의해 화상을 촬상하는 촬상 수단(예를 들면, 도 1의 촬상 소자(11))과, 촬상 수단에 의해 촬상된 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 수단(예를 들면, 도 1의 보정량 산출부(19))과, 설정 수단에 의해 설정된 영역 내만 처리하는 처리 수단(예를 들면, 도 1의 화상 보간부(14))을 구비하는 것을 특징으로 한다.

가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진 동량 출력 수단(예를 들면, 도 1의 진동 검출부(18))과, 진동량 출력 수단에 의해 출력된 진동량으로부터, 진동에 의한 화상에의 영향을 저감하기 위한 보정량을 산출하는 산출 수단(예를 들면, 도 1의 보정량 산출부(19))을 더 구비하고, 상기 처리 수단은, 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 보정하도록 할 수 있다.

이하에, 본 발명의 실시예에 대하여 도면을 참조하여 설명하다.

[화상 처리 장치의 구성예]

도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시예의 구성을 도시하는 도면이다. 화상 처리 장치(10)의 촬상 소자(11)는, 예를 들면, X-Y 어드레스형의 고체 촬상 소자(CMOS 등)에 의해 구성된다. 촬상 소자(11)에 의해 촬상된 피사체의 화상의 데이터는, AFE(Analog Front End)(12)에 공급된다.

AFE(12)는, 공급된 화상 데이터를 디지털 신호의 화상 데이터로 변환하여, 신호 처리부(13)에 공급한다. 신호 처리부(13)는, 공급된 화상 데이터로부터, 휘도 신호와 색차 신호를 산출하고, 그 산출한 각각의 신호를, 화상 보간부(14)에 공급한다.

화상 보간부(14)에 공급되는 화상 데이터는, 촬상 소자(11)에 의해 촬상된 피사체의 화상의 데이터이지만, 촬상 소자(11)에 의해 촬상된 화상의 모든 데이터가, 화상 보간부(14)에 공급되는 것이 아니라, TG(Timing Generator)(15)로부터의 타이밍에 따라서 판독된 데이터만이, 화상 보간부(14)에 공급된다.

화상 보간부(14)에 공급된 데이터는, 일단, 메모리 컨트롤러(16)의 제어에 기초하여, 메모리(17)에 공급된다. 반대로 메모리(17)에 기억된 데이터는, 메모리 컨트롤러(16)의 지시에 의해 판독되어, 화상 보간부(14)에 공급된다. 화상 보간부(14)는, 공급된 데이터에 대하여, 진동에 의한 악영향을 저감하기 위한 보간 처리 등(상세 내용은 후술함)을 실시하여, 도시되어 있지 않은 기록 매체에 출력하여, 기록시키거나, 도시되어 있지 않은 디스플레이 등에 출력하여, 표시시키거나 한다. 또한, 화상 처리 장치(10)에 가해지는 진동으로서는, 유저의 손 떨림 등이 있다.

화상 보간부(14), TG(15), 및 메모리 컨트롤러(16)는, 진동 검출부(18)에 의해 검출된 진동량에 따라, 보정량 산출부(19)에 의해 산출된 보정량에 기초한 제어를 행한다.

진동 검출부(18)는, 예를 들면, 각속도 센서 등의 센서를 이용한 방법이나, 화상 처리 등에 의한 센서레스의 진동 검출 방법 등이 이용되어, 촬영 중에 화상 처리 장치(10)에 가해진 진동을 검출한다. 예를 들면, 진동 검출부(18)가, 각속도 센서에 의해 구성되어 있었던 경우, 그 각속도 센서는, 피칭 방향, 요잉 방향, 각각의 방향에 가해진 각속도의 데이터를 보정량 산출부(19)에 공급한다.

그 검출된 진동량에 기초하여, 보정량 산출부(19)는, 진동에 수반하는 움직임을 보정하기 위한 보정량의 데이터를 산출한다. 보정량 산출부(19)는, 보정량을 산출할 때, 줌 배율 취득부(20)에 의해 취득되는 줌 배율에 관한 정보를 참조하여 행한다.

또한, 줌이란, 피사체를 확대 촬영하는 것을 의미하며, 줌 배율이란, 어느 정도 확대하여 촬영할지를 나타내는 값을 의미한다. 화상 처리 장치(10)가, 예를 들면, 디지털 카메라 등으로 칭해지며, 디지털 데이터로서 촬영되는 피사체의 화상의 데이터를 취급하는 경우, 줌에는, 광학적인 줌(광학 줌)과 전자적인 줌(전자 줌)이, 일반적으로 있다.

광학 줌에서는, 촬상 소자(11)에 포함되는 렌즈를 구동시킴으로써, 촬영되는 피사체의 화상을 확대하기 위한 처리가 행하여진다. 전자 줌에서는, 촬영된 피사체의 화상을, 전자적으로 처리함으로써, 확대 처리하기 위한 처리가 행하여진다. 줌 배율이란, 특별히 설명이 없는 한, 전자 줌일 때의 배율을 의미하는 것으로서 설명을 계속한다.

도 1의 화상 처리 장치(10)의 구성의 설명으로 되돌아가서, 보정량 산출부(19)는, 공급된 데이터를 이용하여, 몇 픽셀 이동시키면 가해진 진동에 의한 영향을 저감할 수 있는지와 같은 보정량을, 1라인마다 산출한다. 여기서, 1라인마다라고 하는 것은, CMOS 등의 개체 촬상 소자에서는, 1라인 단위로 화상 데이터가 순차적으로 판독된다. 그 때문에, 1라인마다 보정량이 기본적으로 산출된다. 여기서, "기본적으로 산출된다"로 기재한 것은, 후술하는 바와 같이, 줌 배율에 의해, 1라인마다 보정량이 산출되지 않도록 설정할 수 있기 때문이다.

여기서, 도 2를 참조하여, 전자 줌에서의 줌 배율과, 보정량에 대하여 설명한다. 도 2는, X-Y 어드레스형의 고체 소자로 촬영했을 때에, 그 촬영 시에 가해진 진동을 상쇄시키기 위한 보정량과, 줌 배율마다, 처리되는 영역과의 관계를 도시한 도면이다.

도 2에서, "×0"이라는 표기는, 전자 줌의 배율이 "0∼1"배인 것을 나타낸다(단, 도 2에 도시한 상태는, 1배일 때이다). 마찬가지로, "×2"라는 표기는, 전자 줌의 배율이 "2"배인 것을 나타내며, "×4"라는 표기는, 전자 줌의 배율이 "4"배인 것을 나타내고, "×8"이라는 표기는, 전자 줌의 배율이 "8"배인 것을 나타내며, "×16"이라는 표기는, 전자 줌의 배율이 "16"배인 것을 나타낸다.

또한, 도 2에 도시한 0배의 도면은, 실질적으로는 1배일 때의 도면이다. 전자 줌의 배율이 0∼1배일 때에는, 축소 촬영인 것을 의미한다(1배일 때에는 등배 촬영이다). 이하에 설명하는 실시예에서는, 확대 시의 처리에 관계되기 때문에, ×0(0배)로 표기했을 때에는, 0∼1배를 의미하는 것으로 설명을 계속한다.

배율이 0배일 때에는, 줌에 관하여, 전자 줌에 관계되는 처리는 행하여지고 있지 않은 상태이며, 광학 줌에 의한 처리만이 행하여지고 있는 상태이다. 광학 줌에 의한 처리만이 행하여지고 있는 상태(전자 줌의 배율이 0일 때에 행해지는 처리)일 때에 1화면을 구성하는 라인수를 N개로 한다. 전자 줌의 배율이 0일 때에는, 1화면을 구성하는 라인수는 N개이며, 광학 줌의 배율에 의해, 그 개수가 변화되지는 않는다.

광학 줌 시의 처리에 대하여, 전자 줌 시의 처리는, 1화면을 구성하는 라인수는 배율에 의해 변화된다. 전자 줌 시에는, 광학 줌 시에 1화면을 구성하는 라인수가 감소되며, 배율에 따른 소정의 라인수가 이용되어, 1화면이 구성된다. 즉, 배율에 따라, 1화면은, N개 이하의 라인수로 구성된다.

도 2에서, 사선을 그은 부분은, 각각의 배율에서의 1화면을 나타내고 있다. X-Y 어드레스형의 고체 소자에서는, 라인마다(또는 화소 단위)로 판독이 행해지기 때문에, 각 라인의 판독 개시의 타이밍이 서로 다르다. 따라서, 도 2에 도시하는 바와 같이, 1화면의 판독을 라인마다, 시간 경과와 함께 도시하면, 1화면분의 데이터가 판독되는 부분은, 평행 사변형으로 된다.

전자 줌의 배율이 "×0"일 때의 1화면의 라인수(N개)를 기준으로 하면, 전자 줌의 배율이 "×2"일 때의 1화면은, 기준의 라인수의 절반의 라인수(1/2N개)로 구성된다. 또한, 전자 줌의 배율이 "×4"일 때의 1화면은, 기준의 라인수의 1/4의 라인수(1/4N개)로 구성된다.

또한, 전자 줌의 배율이 "×8"일 때의 1화면은, 기준의 라인수의 1/8의 라인수(1/8N개)로 구성되며, 전자 줌의 배율이 "×16"일 때의 1화면은, 기준의 라인수의 1/16의 라인수(1/16N개)로 구성된다.

이와 같이, 전자 줌의 처리가 행하여지고 있는 경우, 그 전자 줌의 배율에 따라서, 1화면을 구성하는 라인수는 서로 다른 수로 된다.

화상 처리 장치(10)에는, 여러 가지의 진동이 가해질 가능성이 있지만, 유저가 유지하고 있을 때의 손에 의한 진동, 즉, 손 떨림이, 가해지는 진동의 가장 큰 요인이다. 주로 손 떨림에 의해 발생하는 진동으로, 화상에 공급되는 악영향을 경감시키기 위한 처리를 행하기 때문에, 그 진동에 관한 정보(진동량)가 취득된다. 그 진동량에 대하여 설명을 부가한다.

도 2의 하측 도면에 도시한 진동량에 관한 정보는, 진동 검출부(18)(도 1)에 의해 검출되어, 보정량 산출부(19)에 공급된다. 도 2에 도시한 예에서는, 진동 검 출부(18)에 의해, 1화면에서 3개의 진동량이 취득되는 경우를 나타내고 있다. 도 2의 하측 도면에서는, 1화면의 최초의 라인, 중앙의 라인, 최후의 라인의, 3개의 라인에서, 각각 진동량이 취득되는 경우를 나타내고 있다. 또한, 도 2의 하측 도면에서의 곡선은, 가해진 진동량의 변화를 나타내고 있다.

배율이 "×0"일 때에 취득되는 진동량은, 진동량 P0-1, P0-2, P0-3이다. "진동량 P0-1"이라는 표기에서, 하이픈(-) 앞의 숫자는, 줌 시의 배율을 나타내며(이 경우, 0), 하이픈 뒤의 숫자는, 설명을 위한 식별자를 나타내는(이 경우, 1) 것으로 한다. 다른 표기도 마찬가지의 의미인 것으로 한다.

배율 "×2"일 때에 취득되는 진동량은, 진동량 P2-1, P2-2, P2-3이다. 배율 "×4"일 때에 취득되는 진동량은, 진동량 P4-1, P4-2, P4-3이다. 배율 "×8"일 때에 취득되는 진동량은, 진동량 P8-1, P8-2, P8-3이다. 배율 "×16"일 때에 취득되는 진동량은, 진동량 P16-1, P16-2, P16-3이다.

또한, 여기서는, 설명의 형편상, 3점의 진동량이 1화면으로부터 취득되는 것으로서 설명하지만, 실제로는 3점 이상의 진동량이 취득된다.

[화상 처리 장치의 동작에 대하여]

도 3 내지 도 5의 플로우차트를 참조하여, 도 1에 도시한 구성을 갖는 화상 처리 장치(10)의 동작에 대하여 설명한다. 화상 처리 장치(10)는, 상기한 바와 같이, 가해진 진동에 의한 영향을 경감시키기 위한 처리를 실행하며, 특히, 전자 줌의 처리가 실행될 때에 가해진 진동의 영향을 경감시키기 위한 처리에 특징이 있다.

이하의 설명에서는, 고배율 시의 처리로서, 3개의 실시예를 설명한다. 우선, 제1 실시예에 대하여 이하에 설명을 부가한다.

[배율에 따른 계수를 승산하는 형태]

스텝 S11에서, 보정량 산출부(19)는, 진동 검출부(18)로부터 검출된 진동량의 데이터를 취득한다. 예를 들면, 도 2의 하측 도면에 도시한 바와 같은 정보가, 진동 검출부(18)에 의해 검출되어, 보정량 산출부(19)에 공급된다.

이와 같이, 소정의 라인에서 진동량이 취득되면, 보정량 산출부(19)는, 스텝 S12에서, 보정량의 산출을 행한다. 보정량이란, 진동량을, 진동이 없는 상태(진동에 의한 영향이 저감된 상태)로 하기 위해서, 어느 정도의 보정을 행하면 되는지를 나타내는 픽셀 단위의 값이다.

예를 들면, 도 2의 하측 도면에 도시한 바와 같이, 최초의 라인에 관한 진동량 P0-1이, (P0-1) 픽셀이었던 경우, 그 진동량이 (P0-1) 픽셀인 상태를, 진동이 없는 상태로 하기 위해서는, 부호가 서로 다른 절대값, 즉 이 경우, -(P0-1) 픽셀이 보정량으로서 산출되도록 하면 된다. 다른 라인에 관해서도 마찬가지로, 각각의 라인에 관한 진동량으로부터 보정량이 산출된다.

또한, 보정량은 라인마다 산출된다. 여기서는, 상기한 바와 같이, 최초, 중앙, 및, 최후의 3개의 라인으로부터 진동량이 취득되는 것으로 하고 있지만, 이들의 라인 이외의 진동량이 취득되지 않는 라인에 관한 보정량은, 이들 3개의 라인으로부터 취득된 진동량으로부터 산출된다.

그 산출 방법은, 어떠한 방법이어도 된다. 또한, 여기서는, 3개의 진동량이 취득되는 것으로 하고 있지만, 1화면을 구성하는 모든 라인으로부터 진동량이 취득되도록 하고, 취득된 진동량으로부터, 모든 라인에 대하여 보정량이 산출되도록 해도 된다.

이와 같이, 보정량이 산출되면, 스텝 S13(도 3)에서, 줌 배율이 취득된다. 줌 배율에 관한 정보는, 줌 배율 취득부(20)에 의해 취득되어, 보정량 산출부(19)에 공급된다. 보정량 산출부(19)는, 스텝 S14에서, 공급된 줌 배율이, 제1 임계값 이상인지의 여부(줌 배율>제1 임계값이라는 조건이 만족되는지의 여부)를 판단한다.

본 실시예에서는, 줌 배율을, 저배율과 고배율로 나눈다. 그리고, 저배율일 때와 고배율일 때에서는, 진동에 대한 영향을 저감시키기 위한 처리(보정)를 서로 다른 처리로 한다. 따라서, 스텝 S14에서, 그 시점(스텝 S14의 처리가 실행되는 시점)에서는, 저배율인지 고배율인지를 판단하기 위한 처리가 실행된다.

스텝 S14의 처리에서 이용되는 제1 임계값이란, 여기서는, 저배율과 고배율을 나누기 위해서 설정된 값이다. 스텝 S14에서, 줌 배율은, 제1 임계값보다 작다고 판단된 경우, 바꾸어 말하면, 저배율이라고 판단된 경우, 스텝 S15로 처리가 진행되어, 저배율 시의 처리가 실행된다. 한편, 스텝 S14에서, 줌 배율은, 제1 임계값보다 크다고 판단된 경우, 바꾸어 말하면, 고배율이라고 판단된 경우, 스텝 S16으로 처리가 진행되어, 고배율 시의 처리가 실행된다.

스텝 S15에서 실행되는 저배율 시의 처리와, 스텝 S16에서 실행되는 고배율 시의 처리에 대하여, 각각 설명한다. 우선, 도 4의 플로우차트를 참조하여, 스텝 S15에서 실행되는 저배율 시의 처리에 대하여 설명한다.

스텝 S31에서, 판독 개시 위치의 결정이 행하여진다. 판독 개시 위치의 결정은, 스텝 S12에서 산출된 보정량에 기초하여 결정된다. 보정량은, 1라인마다 산출되어 있지만, 그 1라인마다의 보정량에 기초하여, 즉, 몇 픽셀분, 판독할 위치를 어긋나게 할지의 데이터에 기초하여, 각각의 라인의 판독 개시 위치가 결정된다.

판독 개시 위치가 결정되면, 스텝 S32에서, 그 결정된 판독 개시 위치로부터 데이터의 판독이 행하여진다. 이와 같이 라인마다, 보정량을 산출하고, 그 산출된 보정량에 기초하여, 데이터의 판독을 개시하는 라인 상의 위치를 결정함으로써, 라인마다, 진동에 의한 영향을 보정할 수 있다. 따라서, 유저측에 제공되는 화상은, 진동에 의한 악영향이 저감된 화상으로 하는 것이 가능하게 된다.

또한, 상기한 보정에 관한 처리에는, 본 출원인이 앞서 출원한 특허 문헌 1에 기재되어 있는 발명을 적용하는 것이 가능하다.

다음으로, 도 5의 플로우차트를 참조하여, 스텝 S16(도 3)에서 실행되는 고배율 시의 처리에 대하여 설명한다. 스텝 S51에서, 대표량의 선택이 행하여진다. 도 2의 하측 도면을 참조하면, 소정의 라인의 진동량이 취득되고, 라인마다 보정량이 산출되는 것이지만, 그 중의, 적어도 1라인분의 보정량이, 대표량으로서 선택된다.

또한, 이하에 설명하는 바와 같이, 고배율일 때에는, 라인마다 산출되는 보정량을, 라인마다 이용하는 것이 아니라, 적어도 1개의 라인의 보정량이 대표량으로서 이용되도록 한다. 즉, 예를 들면, 1화면이 10라인으로 구성되어 있는 경우, 10개의 보정량이 산출되는 것이지만, 그 10개 중의 적어도 1개의 보정량이 이용되어, 후술하는 보정 처리가 실행된다.

대표량으로서는, 예를 들면, 1화면 내에서, 가장 처음에 보정량이 산출되는 라인의 보정량을 대표량으로 한다. 예를 들면, 도 2에서, 배율이 ×2일 때, 진동량 P2-1로부터 산출되는 보정량(이하, 간단하게, 보정량 P2-1로 기재함. 다른 보정량도 마찬가지로 기재함)을 대표량으로 한다. 이 경우, 1개의 라인의 보정량이 이용되게 된다.

또는, 1화면 내에서, 가장 처음에 보정량이 산출되는 라인의 보정량(도 2에서는, 보정량 P2-1)과, 가장 나중에 보정량이 산출되는 라인의 보정량(도 2에서는, 보정량 P2-3)의 평균값을 산출하고, 그 평균값을 대표량으로 해도 된다. 이 경우, 2개의 라인의 보정량이 이용되게 된다.

또는, 화상의 중앙에 위치하는 라인에서 취득되는 보정량(예를 들면, 도 2의 배율 ×2에서는, 진동량 P2-2로부터 산출되는 보정량 P2-2)이, 대표량으로 설정되도록 해도 된다.

대표량의 선택 방법에 관해서는, 상기한 바와 같은 방법이 고려되며, 어떤 방법을 이용해도 되고, 상기한 것 이외의 방법을 이용하도록 해도 된다.

여기서는, 가장 처음에 산출되는 보정량을 대표량으로 하는 경우를 예로 들어 설명을 계속한다. 가장 처음에 산출되는 보정량을 대표량으로 함으로써, 이하와 같은 이점이 있다. 만약, 대표량으로서, 가장 나중의 보정량을 이용(가장 나중의 보정량도 이용)하도록 한 경우, 대표량을 결정하기 위해서는, 최후의 라인의 진 동량의 데이터가 취득되어야 한다. 따라서, 대표량을 결정하기 위해, 최초의 라인의 진동량의 데이터로부터 최후의 라인의 데이터까지를 기억할 수 있는 용량을 갖는 메모리, 즉, 1화면분의 데이터를 기억할 수 있는 용량을 갖는 메모리가 필요로 된다.

그러나, 가장 처음에 산출되는 보정량을 대표량으로서 이용함으로써, 적어도, 대표량을 결정하는 처리에서는, 1화면분의 데이터를 기억할 수 있는 용량을 갖는 메모리는 필요 없고, 1화면 내의 1라인분의 데이터를 기억할 수 있는 용량을 갖는 메모리가 있으면 된다. 즉, 메모리의 용량을 삭감할 수 있다.

도 5의 플로우차트의 설명으로 되돌아가서, 스텝 S51에서, 대표량이 결정되면, 스텝 S52에서, 계수의 산출이 행하여진다. 여기서, 이 계수에 대하여 설명을 부가한다. 대표량 이외의 보정량에 관해서는, 각 라인으로부터 산출된 보정량에, 소정의 계수를 승산한 값을, 새로운 보정량으로 하고, 그 라인에서의 보정량으로서 이용하도록 한다.

바꾸어 말하면, 저배율 시의 처리에서는, 라인마다, 또는 소정의 라인에서 취득되는 진동량으로부터, 라인마다 보정량을 산출하고, 그 보정량이 이용되어 보정이 행하여졌지만, 고배율 시의 처리에서는, 라인마다 보정량을 산출하고, 대표량 이외의 보정량에 관해서는, 또한, 계수가 승산되며, 그 계수가 승산된 보정량이 이용되어 보정이 행하여진다.

계수는, 줌 배율에 의존하여 결정된다. 도 6을 참조하여 설명한다. 도 6은, 줌 배율과, 계수와의 관계를 도시하는 도면이다. 제1 임계값은, 상기한 바와 같이, 스텝 S14(도 3)에서, 저배율과 고배율을 식별하기 위해 설정된 임계값이다. 줌 배율이 제1 임계값 이상으로 되면, 고배율로서 처리되어, 보정량에 승산되는 계수가 설정된다. 예를 들면, 제1 임계값을, ×2로 설정할 수 있다.

줌 배율이, 제1 임계값 이하의 시간일 때에는, 즉, 저배율일 때에는, 계수로서 1이 설정되어 있다. 계수가 1이기 때문에, 계산상은 승산해도 값은 변하지 않기 때문에, 저배율일 때에는, 도 4를 참조하여 설명한 바와 같이, 계수를 산출하여, 보정량에 승산한다고 하는 처리는 행해지지 않는다.

줌 배율이, 제1 임계값 내지 제2 임계값 사이의 배율일 때에는, 도 6에 도시한 예에서는, 1차 함수적으로 줌 배율에 비례하여 계수가 결정(산출)된다.

줌 배율이 제2 임계값 이상으로 되면, 계수는 0으로 설정된다. 계수가 0이라는 것은, 결과적으로는, 보정량은 0이라는 것으로 처리되는 것을 의미한다. 이것은, 대표량 이외의 보정량에 관한 보정은 행하여지지 않는 것을 의미하고 있다.

도 6에 도시한 줌 배율과 계수와의 관계는 일례이며, 본 발명이, 이러한 계수의 결정에 한정되는 것을 의미하는 것은 아니다. 계수의 다른 산출 방법으로서, 줌 배율이, 제1 임계값을 초과한 시점에서, 계수를 0으로 해도 된다. 즉, 이러한 경우, 제1 임계값을 경계로, 계수가 1이나 0으로 되기 때문에, 보정을 행하거나, 행하지 않는 것으로 된다. 또는, 줌 배율이, 제1 임계값 이상일 때에는, 짝수의 라인은 계수를 1(또는 1 이하)로 하고, 홀수의 라인은 계수를 0으로 하는 등, 라인마다 서로 다른 계수를 설정하도록 해도 된다.

또한, 줌 배율이 제2 임계값보다 커진 경우, 계수는 0으로 하는 예를 들었지 만, 0 이외의 값, 예를 들면, 0.5 등으로 설정되도록 해도 된다. 바꾸어 말하면, 줌 배율이 제2 임계값 이상일 때에는, 전혀 보정을 행하지 않는 것이 아니라, 통상(저배율 시)일 때보다도 약한 보정이 실행되도록 설정해도 된다.

이와 같이, 계수의 산출 방법은, 어떠한 방법이어도 되지만, 고배율일 때에는, 라인마다 산출되는 보정량을, 그대로 이용하여 보정이 행하여지는 것이 아니라, 계수가 승산됨으로써 행하여진다. 여기서는, 우선 도 6에 도시한 바와 같이, 계수가, 줌 배율에 따라서 설정(산출)되는 것으로 하여 설명을 계속하며, 다른 보정량에 관계되는 처리에 대해서는 후술한다.

스텝 S52에서, 계수가 산출되면, 스텝 S53에서, 보정량의 산출이 행하여진다. 보정량은, 스텝 S12(도 3)에서 이미 산출되어 있지만, 이 스텝 S52에서의 처리에서, 이미 산출되어 있는 보정량에, 설정된 계수를 승산함으로써, 새로운 보정량이 산출된다.

예를 들면, 소정의 배율이며, 그 배율일 때의 1화상은, 10라인으로 구성되는 경우, 10개의 보정량이 산출되지만, 그 중, 가장 처음에 산출되는 보정량, 예를 들면, 도 2의 배율이 ×2일 때의 진동량 P2-1로부터 산출되는 보정량 P2-1이 대표량으로 되며, 그 이외의 라인의 보정량에 대하여, 스텝 S52에서 산출된 계수가 승산된다. 그 계수가 승산된 보정량이, 새로운 보정량으로서 설정된다.

본 실시예에서는, 대표량으로서 설정된 보정량은, 그대로 보정에 이용되며, 대표량 이외의 보정량은, 계수가 승산되어 보정에 이용된다.

계수가 승산될 때, 이미 산출되어 있는 보정량 자체에 승산되도록 해도 되 고, 보정량이 어떠한 방식으로 가공된 후에 승산되도록 해도 된다. 예를 들면, 각 라인의 보정량과 대표량과의 차분이 산출되고, 그 차분에 대하여 계수가 승산되도록 해도 된다. 이와 같이 한 경우, 대표량은 그 값 그대로이지만, 다른 라인의 보정량은, 대표량과의 차에 계수가 승산된 값으로 된다.

또한, 대표량 자체도, 다른 보정량과 마찬가지로 계수가 승산되도록 해도 된다.

스텝 S54에서, 설정된 보정량에 기초하여 판독 개시 위치의 결정이 행하여진다. 그리고, 그 결정된 판독 개시 위치로부터의 데이터의 판독이, 스텝 S55에서 실행된다.

상기한 바와 같이, 계수로서는, 0 내지 1의 범위의 값이 할당된다. 따라서, 계수가 승산된 보정량(스텝 S53의 처리에서 산출되는 보정량)은, 계수가 승산되기 전의 보정량(스텝 S12에서 산출되는 보정량)과 비교하여 작은 값으로 된다.

즉, 스텝 S12에서 산출되는 보정량은, 저배율일 때에는, 그대로 보정에 이용되지만, 고배율일 때에는, 계수가 승산됨으로써, 작은 보정량으로 변환되어 보정에 이용된다. 따라서, 만약 동일한 크기의 진동이 가해졌다고 해도, 저배율일 때와 비교하여, 고배율일 때에는, 보정량이 작은 것으로 된다.

그러나, 일반적으로는, 저배율일 때와 비교하여, 고배율일 때 쪽이, 손 떨림(진동)이 가해지고 있는 시간이 짧으며, 그 결과, 진동량이 축적되기 어렵다. 도 2를 재차 참조하면, 진동량 P16-1이 취득되고 나서, 진동량 P16-3이 취득될 때까지의 시간은, 진동량 P0-1이 취득되고 나서, 진동량 P0-3이 취득될 때까지의 시 간에 비해서 짧다. 따라서, 고배율일 때 쪽이, 저배율일 때에 비하여, 진동량이 축적되기 어렵게 된다.

진동량이 축적되기 어렵다는 것은, 진동에 의한 영향을 받기 어려운 것을 의미하고 있다고 생각된다. 만약 배율이 ×0일 때와, 배율이 ×16일 때에서, 동일한 크기의 진동이 가해졌다고 해도, 배율이 ×16일 때에 진동량이 취득되는 시간 쪽이, 배율이 ×0일 때에 진동량이 취득되는 시간보다도 짧기 때문에, 손 떨림에 의한 영향을 받고 있는 시간이 짧다. 손 떨림에 의한 영향을 받고 있는 시간이 짧기 때문에, 손 떨림에 의한 영향이 적다고 생각된다.

따라서, 상기한 바와 같이, 고배율일 때에, 저배율일 때와 비교하여 약한 보정을 행하였다고 해도, 고배율 시에 보정의 성능이 저하되거나 하지 않아, 적절한 손 떨림 보정을 행하는 것이 가능하다.

고배율일 때에는 보정량이 저배율 시보다도 작아지도록, 보정량에 계수가 승산된다고 하는 것에 대하여, 또한 도면을 참조하여 설명을 부가한다. 도 7은, 도 2에 도시한 바와 같은 진동량이 취득되었을 때에 산출되는 보정량을 도시하고 있다.

또한, 보정량은, 진동량의 영향을 상쇄시키는 방향으로 가해지는 양이기 때문에, 도 7이, 도 2에 대응하고 있는 것으로 하면, 진동량의 방향과 보정량의 방향은, 각각 역방향으로 되기 때문에, 도 7의 보정량은, 역방향으로 도시하여야 한다. 또한, 라인마다의 보정량의 방향도, 진동량의 방향에 의존하고 있기 때문에, 라인마다 서로 다른 방향으로 될 가능성도 있다. 그러나, 여기서는, 설명의 형편상, 동일한 방향으로 도시하고 있다. 다른 도면에서도, 마찬가지인 것으로 한다.

또한, 상기한 바와 같이, 전자 줌 시에는, 배율에 의해, 1화면을 구성하는 라인수가 변화되지만, 여기서는, 설명의 형편상, 서로 다른 배율이어도(이하의 설명에서 필요로 되는 것은, 제1 임계값 이하의 배율, 제1 임계값과 제2 임계값 사이의 배율, 및, 제2 임계값 이상의 배율의 3개의 서로 다른 배율이어도), 1화면을 구성하는 라인은, 라인 0 내지 8의 9라인인 것으로 하여 설명을 계속한다. 또한, 최초의 라인(도 2에서, 예를 들면, 진동량 P0-1이 취득되는 라인)은, 라인 8인 것으로 한다.

도 7에서, 라인 8의 보정량은 보정량 C8이다. 이 보정량 C8을 대표량으로 한다. 도 7과 같은 보정량이 산출되었을 때의 줌 배율은, 제1 임계값보다 작을 때이다. 즉 저배율일 때에 산출된 보정량을 나타내고 있다. 이 경우, 대표량 이외의 보정량 C7 내지 C0에 대해서는, 계수로서 "1"이 승산된다(또는, 계수가 승산된다고 하는 처리가 생략되어, 산출된 보정량이 그대로 이용된다).

도 8의 (A)와 도 8의 (B)는, 도 7과 마찬가지의 보정량이 산출되었을 때이지만, 줌 배율이 제1 임계값보다 클 때, 즉, 고배율일 때에 산출되었을 때의 보정량을 나타내고 있다. 또한, 도 8의 (A)는, 배율이 제1 임계값 내지 제2 임계값 사이의 값일 때의 보정량을 나타내며, 도 8의 (B)는, 배율이 제2 임계값 이상일 때의 보정량을 나타내고 있다.

이러한 고배율일 때에는, 상기한 바와 같이, 일단 산출된 보정량(제1 보정량으로 함)에, 다시 계수가 승산됨으로써, 실제로 보정에 이용되는 보정량(제2 보정 량으로 함)이 산출된다. 도 8의 (A)와 도 8의 (B)에서, 흰색 동그라미(원 내가 전혀 칠해져 있지 않은 원)는 제1 보정량을 나타내며, 검은색 동그라미(원 내가 빈틈없이 칠해져 있는 원)는 제2 보정량을 나타낸다.

도 8의 (A)에 도시한 제2 보정량은, 계수로서 0.5가 승산되었을 때를 나타내며, 도 8의 (B)에 도시한 제2 보정량은, 계수로서 0이 승산되었을 때를 나타낸다. 도면에서, 제1 보정량을 나타내는 흰색 동그라미와, 제2 보정량을 나타내는 검은색 동그라미를 비교함으로써, 고배율일 때에는, 저배율 시보다도 보정량이 작게 되어 있는 것을 알 수 있다. 즉, 고배율일 때의 보정에 이용되는 제2 보정량(검은색 동그라미)은, 저배율일 때의 보정에 이용되는 제1 보정량(흰색 동그라미)과 비교하여, 작은 값으로 되어 있는 것이, 도 8의 (A)나 도 8의 (B)를 참조함으로써 알 수 있다.

또한, 도 8의 (B)와 같이, 계수로서 "0"을 승산하는 경우, 제1 보정량에 0을 승산하여, 제2 보정량을 산출하게 되지만, 0을 승산함으로써, 그 산출되는 값은, 0으로 된다. 따라서, 계수로서 0이 승산되는 줌 배율이라고 판단된 시점에서, 제1 보정량이나 제2 보정량을 산출한다고 하는 처리를 생략하도록 해도 된다.

예를 들면, 도 3에서, 스텝 S12, 스텝 S13, 스텝 S14의 처리를 치환하여, 먼저, 줌 배율 정보를 취득하고, 계수로서 0이 승산되는 줌 배율이라고 판단된 경우(즉, 줌 배율이 제2 줌 배율 이상이라고 판단된 경우), 그 후의 처리(제1 보정량이나 제2 보정량을 산출하는 처리)를 생략하도록 해도 된다. 단, 이 경우, 대표량을 산출할 필요는 있기 때문에, 대표량만은 산출할 필요는 있다.

이러한 것은, 계수로서 "0"을 승산할 때에는 적용할 수 있기 때문에, 적절하게, 도 3에 도시한 플로우차트의 처리의 순서를 치환하여, 효율적으로 보정을 행할 수 있도록 하는 것은 본 발명의 적용 범위 내에서의 변경이다.

또한, 도시는 하지 않지만, 대표량과 제1 보정량과의 차분을 산출하고, 그 차분에 대하여 계수를 승산하여, 제2 보정량을 산출하는 등, 제2 보정량의 산출의 방법은, 적절하게 변경 가능하다.

또한 전자 줌일 때에는, 도 2의 상측 도면에 도시한 바와 같이, 배율에 의해 1화면을 구성하는 라인수가 감소한다. 배율이 고배율 쪽으로 변화되면, 실제로 유저에게 제공되는 1화면을 구성하기 위한 라인수는, 그 배율에 따라서 감소한다. 따라서, 고배율일 때에는, 유저에게 제공되는 1화면을 구성하기 위한 라인수만이, 처리되도록 해도 된다. 이와 같이 하면, 고배율 시에, 1화면을 구성하는 화상 데이터에 의해 점유되는 메모리의 용량을 삭감하는 것이 가능하게 된다.

또한, 메모리에 기억시키지 않아도 되는 데이터는, 즉, 처리하지 않아도 되는 데이터이다. 따라서, 메모리에 기억시키지 않음과 함께, 그와 같은 데이터에 관해서는 처리를 행하지 않도록 하는 것도 가능하다. 예를 들면, 도 2의 하측 도면의 배율이 "×16"인 도면을 참조하면, 사선을 긋지 않은 부분은, 필요가 없는 데이터이기 때문에, 그 부분에 관한 처리를 행할 필요는 없다. 따라서, 고배율 시에서의 처리를 경감시키는 것이 가능하게 된다.

[배율에 따라서 보정량의 점수를 변경하는 형태]

다음으로, 전자 줌 시의 배율에 따라, 보정량의 수를 변경하는 형태에 대하 여 설명한다. 도 9 내지 도 11의 플로우차트를 참조하여, 보정량의 점수를 변경하는 경우에서의 보정 처리에 대하여 설명한다. 또한, 도 9 내지 도 11의 플로우차트에서, 도 3 내지 도 6의 플로우차트와 마찬가지의 처리에 관한 설명은, 적절하게 생략한다.

스텝 S71에서, 전자 줌의 배율에 관한 정보가 취득된다. 스텝 S72에서, 취득된 정보가 나타내는 전자 줌의 배율이, 제1 임계값 이상인지의 여부가 판단된다. 스텝 S72에서, 배율은 제1 임계값 이상이 아니라고 판단된 경우, 스텝 S73으로 처리가 진행되어, 전자 줌 저배율 시의 처리가 실행된다. 한편, 스텝 S72에서, 배율은, 제1 임계값 이상이라고 판단된 경우, 스텝 S74로 처리가 진행되어, 전자 줌 고배율 시의 처리가 실행된다.

스텝 S71 내지 S74의 처리는, 도 3의 스텝 S13 내지 S16의 처리와, 기본적으로 마찬가지로 행하여진다.

스텝 S73에서 실행되는 전자 줌 저배율 시의 처리 2에 대하여, 도 10의 플로우차트를 참조하여 설명한다. 스텝 S81에서, 진동량이 취득되고, 스텝 S82에서, 그 진동량으로부터 보정량이 산출된다. 스텝 S83에서, 산출된 보정량에 기초하여, 판독 위치가 결정되고, 그 결정된 판독 위치로부터의 판독이, 스텝 S84에서 실행된다.

스텝 S81과 스텝 S82의 처리는, 도 3의 스텝 S11과 스텝 S12의 처리와 마찬가지로 행하여진다. 스텝 S83과 스텝 S84의 처리는, 도 4의 스텝 S31과 스텝 S32의 처리와 마찬가지로 행하여진다. 즉, 저배율일 때에는, 취득된 진동량으로부터, 1화면을 구성하는 라인마다, 보정량이 산출되며, 그 보정량에 기초하는 데이터의 판독이 실행된다고 하는 처리이며, 이 처리는, 광학 줌일 때의 처리와 마찬가지로 행할 수 있다.

다음으로, 스텝 S74(도 9)에서 실행되는 전자 줌 고배율 시의 처리 2에 대하여, 도 11의 플로우차트를 참조하여 설명한다. 스텝 S91에서, 보정량 산출부(19)에 의해 보정 점수의 설정이 행하여진다. 예를 들면, 저배율일 때에는, 상기한 바와 같이 1화면이 10라인으로 구성되는 경우, 이들 라인마다 보정량이 산출되어, 10개의 보정량이 산출되게 되지만, 고배율일 때에는, 1화면을 구성하는 모든 라인마다 보정량이 산출되는 것이 아니라, 이들보다 적은 수의 보정량으로, 1화면의 보정이 행해지도록 한다. 이것에 대하여, 도 12를 참조하여 설명한다.

배율이 ×0일 때에는, 도 12의 상측 도면과 하측 도면에 도시하는 바와 같이 8점(여기서는, 보정 점수 a로 함)에서 보정량이 산출된다. 배율이 ×2일 때에는, 도 12의 상측 도면과 하측 도면에 도시하는 바와 같이 6점에서 보정량이 산출된다. 배율이 ×4일 때에는, 도 12의 상측 도면과 하측 도면에 도시하는 바와 같이 3점에서 보정량이 산출된다. 배율이 ×8일 때에는, 도 12의 상측 도면과 하측 도면에 도시하는 바와 같이 3점에서 보정량이 산출된다. 배율이 ×16일 때에는, 도 12의 상측 도면과 하측 도면에 도시하는 바와 같이 1점에서 보정량(여기서는, 보정 점수 b로 함)이 산출된다.

여기서는, 보정 점수 a>보정 점수 b의 관계가 만족되는 것으로서 설명을 진행시킨다. 또한, 보정 점수 a보다 적고, 보정 점수 b보다 큰 값을 보정 점수 t로 한다(즉, 보정 점수 a>보정 점수 t>보정 점수 b라는 관계가 만족된다).

보정 점수로서, 예를 들면, 3점으로 표기했을 때에는, 1화면 내에서, 보정량이 3개 산출되는 것을 의미한다. 이것은, 1화면을 구성하는 복수의 라인 중, 소정의 3개의 라인으로부터 취득되는 진동량으로부터 산출되는 보정량이 이용되어 보정이 행하여지는 것을 의미한다. 또는, 1화면을 구성하는 복수의 라인으로부터, 복수의 진동량이 취득되고, 그 복수의 진동량으로부터, 3개의 보정량이 산출되는 것을 의미한다.

또한, 1화면으로부터 보정 점수로서 설정된 점수분만큼, 보정량이 산출되지만, 그 산출되는 보정량의 간격은, 가능한 한 등간격으로 산출되도록 한다. 예를 들면, 보정 점수가 3점으로 설정된 경우에는, 1개째의 보정량이 산출되는 라인과 2개째의 보정량이 산출되는 라인 사이에 위치하는 라인의 수와, 2개째의 보정량이 산출되는 라인과 3개째의 보정량이 산출되는 라인 사이에 위치하는 라인의 수는, 거의 동일한 수로 되도록 설정된다. 즉, 등간격으로 보정량이 산출되도록, 보정 점수는 설정된다.

이와 같이, 전자 줌의 배율에 따라서, 산출하는 보정량의 점수가 설정된다. 보정 점수의 설정 처리가, 스텝 S91(도 11)에서 실행된다. 이 보정 점수의 설정에 대하여, 또한, 도 13을 참조하여 설명한다. 보정 점수는, 전자 줌 시의 배율에 의존하여 결정된다. 도 13은, 배율과, 보정 점수와의 관계를 도시하는 도면이다. 제1 임계값은, 상기한 바와 같이, 스텝 S14(도 3)에서, 저배율과 고배율을 식별하기 위해 설정된 임계값이다. 줌 배율이 제1 임계값 이상으로 되면, 고배율로서 처 리되어, 보정 점수가 설정된다. 예를 들면, 제1 임계값을, ×2로 설정할 수 있다.

줌 배율이, 제1 임계값 이하의 배율일 때에는, 즉, 저배율일 때에는, 보정 점수는, 보정 점수 a개로 설정되어 있다. 이 보정 점수 a는, 전자 줌의 배율이 ×0일 때의 보정 점수와 동일한 수로 설정할 수 있다. 즉, 광학 줌만의 처리일 때의 보정 점수와 동일한 수이며, 1화면을 구성하는 라인수와 동등한 수로 할 수 있다.

또한, 전자 줌의 배율이, 제1 임계값 이하이면, 저배율의 처리(도 10의 플로우차트에 기초하는 처리)가 실행되기 때문에, 기본적으로, 광학 줌 시의 처리와 동등한 처리가 실행된다. 따라서, 보정 점수 a는, 광학 줌 시의 처리일 때에 이용되는 보정량의 점수와 동등한 수로 설정된다.

전자 줌의 배율이, 제1 임계값 내지 제2 임계값 사이의 배율일 때에는, 도 13에 도시한 예에서는, 1차 함수적으로 줌 배율에 비례하여 보정 점수 t가 결정(산출)된다.

줌 배율이 제2 임계값 이상으로 되면, 보정 점수는, 보정 점수 b로 설정된다. 만약, 보정 점수 b가 0으로 설정되어 있는 경우, 보정량이 산출되는 점이 없는 것으로 되기 때문에, 보정은 행해지지 않게 된다. 이러한 경우에는, 보정에 관계되는 처리를 생략하도록 해도 된다(배율이 제2 임계값 이상이라고 판단된 시점에서, 그 후의 보정에 관계되는 처리를 생략하도록 해도 된다).

도 13에 도시한 줌 배율과 보정 점수와의 관계는 일례이며, 본 발명이, 이러한 관계에 한정되는 것을 의미하는 것은 아니다. 보정 점수의 다른 산출 방법으로서, 줌 배율이, 제1 임계값을 초과한 시점에서, 보정 점수가 보정 점수 b로 설정되 도록 해도 된다. 즉, 이러한 경우, 제1 임계값을 경계로, 보정 점수가 보정 점수 a나 보정 점수 b로 된다.

또한, 보정 점수와 배율이 관련지어진 테이블을 준비하고, 그 테이블이 참조됨으로써, 보정 점수가 결정되도록 해도 된다. 도 13을 참조한 설명에서는, 제1 임계값 내지 제2 임계값 사이의 배율일 때에는, 1차 함수적으로 줌 배율에 비례하여 보정 점수 t가 결정(산출)되는 것으로 했지만, 배율과 보정 점수가 관련지어진 테이블을 보유하도록 하여, 보정 점수를 설정하기 위한 연산을 생략할 수 있도록 구성해도 된다.

도 11의 플로우차트의 설명으로 되돌아가서, 스텝 S91에서, 보정 점수가 설정되면, 스텝 S92에서, 진동량이 취득된다. 이 진동량은, 보정 점수에 따른 수(설정된 점수의 보정량을 산출하기 위해 필요로 되는 수)만큼, 취득되도록 해도 된다. 이러한 설정은, 진동량을 취득하는 타이밍을 나타내는 샘플링 주파수를, 보정 점수에 따라서 변경할 수 있는 경우에 적용할 수 있다.

또는, 진동량은, 보정 점수에 관계없이 취득되도록 해 두고, 취득된 진동량으로부터, 필요로 되는 진동량만큼이 선택되도록 해도 된다. 이러한 설정은, 진동량을 취득하는 타이밍을 나타내는 샘플링 주파수가 일정하게 설정되어 있는 경우(배율에 의해 샘플링 주파수가 변화되지 않는 경우)에 적용할 수 있다.

스텝 S92에서의 진동량의 취득 처리는, 취득되는 보정량의 수가, 보정 점수와 관계가 있는 경우에는, 보정 점수의 설정 처리(스텝 S91)가 종료된 후에 행해지지만, 보정 점수에 관계가 없는 경우에는, 반드시, 스텝 S91 후에, 진동량의 취득 처리가 행해질 필요는 없어, 적절하게, 처리의 흐름을 치환하는 것은 가능하다. 스텝 S92의 처리에 한하지 않고, 복수의 스텝의 처리가 병렬적으로 행해지거나, 처리의 순서가 치환되거나 하는 것은 적절하게 가능하다.

스텝 S92에서, 진동량이 취득되면, 스텝 S93에서, 보정량의 산출이 행하여진다. 스텝 S93에서는, 스텝 S91에서 설정된 보정 점수분만큼, 보정량이 산출된다. 그리고, 그 산출된 보정량을 이용한 데이터의 판독이, 스텝 S94 이후에서 행하여진다. 스텝 S94, S95의 처리는, 도 5의 스텝 S54, S55의 처리와 기본적으로 마찬가지로 행하여진다.

고배율 시에는, 도 2나 도 12를 참조하여 설명한 바와 같이, 1화면을 구성하는 데이터를 취득하는 시간이 저배율 시보다 짧기 때문에, 진동량이 축적되기 어려워, 진동에 의한 영향을 받기 어렵다고 생각된다. 따라서, 고배율 시에 보정량의 점수를 적게 하여도, 보정은 적절하게 행할 수 있다고 생각된다.

또한, 보정 점수를 적게 함으로써, 보정에 관계되는 처리를 경감시킬 수 있다. 또한, 보정에 관계되는 데이터를 삭감할 수 있으므로, 보정을 위해 필요로 되는 메모리의 용량을 삭감하는 것이 가능하게 된다.

또한, 고배율 시에는, 1화면을 구성하는 라인수가, 저배율 시에 비하여 적게 되기 때문에, 그대로의 라인수로 유저측에 화상을 제공하면, 저배율 시의 화상에 비하여 작아지게 된다(도 2 참조). 고배율 시에서도, 저배율 시에 유저에게 제공되는 화상과 동일한 크기의 화상을, 유저에게 제공하기 위해, 고배율 시에는, 화상의 확대 처리도 행하여진다. 그 처리에 대한 상세한 설명은 여기서는 생략하지만, 1라인을 복수의 라인분의 데이터에 가공함으로써, 적은 라인수의 화상이, 저배율 시의 화상과 동일한 정도의 크기로 되어, 유저측에 제공된다.

이러한 저배율 시에는 행해지지 않는 처리가, 고배율 시에는 행해지기 때문에, 고배율 시의 처리는, 저배율 시의 처리와 비교하여 처리 부담이 커진다. 그러나, 상기한 바와 같이, 고배율 시에는 보정 점수를 적게 하여, 보정에 관계되는 처리를 경감시킴으로써, 고배율 시에 행하여지는 처리 부담을, 저배율 시와 동일한 정도, 또는, 그 이하로 경감시키는 것이 가능하게 된다.

[배율에 따라서 처리 구간을 변경하는 형태]

상술한 바와 같이, 전자 줌이 고배율일 때에는, 1화면을 구성하는 라인수가 적다. 따라서, 고배율일 때에는, 처리 구간 자체를, 배율에 따라서 변화시키도록 하는 것도 가능하다. 처리 구간에 대하여, 도 14를 참조하여 설명한다.

촬상 소자(11)(도 1)에서는, 도 14의 (A)에 도시하는 바와 같은 유효 영역(31)에서 피사체를 촬상(촬영)하고 있다. 유효 영역(31) 중, 출력 영역(32) 내의 화상이 유저에게 제공된다. 출력 영역(32)은, 상기한 바와 같은 보정이 실시된 후의 영역으로서, 진동량에 의한 영향이 경감된 화상이 존재하는 영역이다.

이와 같이, 유효 영역(31) 내에 존재하는 화상 중의 일부의 출력 영역(32) 내에 존재하는 화상이, 유저측에 제공된다. 도 14의 (A)에서, 사선을 그은 보정 전 영역(33)은, 보정 전의 화상이 존재하고 있는 영역을 표시하고 있다. 출력 영역(32) 내의 화상을 생성하기 위해, 그 보정 전 영역(33)보다 큰 영역이 처리 대상으로 된다. 즉, 도 14의 (A)에서는, 상하 방향의 왜곡(진동에 의한 영향)을 보정 하기 위한 잉여의 영역으로서, 왜곡 보정 잉여 영역(34)이 형성되어 있다.

상하 방향뿐만 아니라, 좌우 방향으로도 그와 같은 왜곡 보정 잉여 영역은 형성되어 있다. 따라서, 왜곡 등(진동 등에 의해 악영향)을 보정하기 위한 잉여 영역(출력 영역(32)에 대하여 잉여 영역)은, 도 14의 (A)에 도시하는 바와 같이, 보정 잉여 영역(35)으로 된다.

이러한 것을, 전자 줌의 저배율일 때와 고배율일 때에 적용시켜 설명한다. 저배율일 때의 출력 영역(32)(보정 전 영역(33))(도 14의 (A))과, 고배율일 때의 출력 영역(32)(보정 전 영역(33))(도 14의 (C))을 비교하면, 고배율일 때의 출력 영역(32) 쪽이, 저배율일 때의 출력 영역(32)보다 작은 영역으로 된다. 이것은, 상술하고 있는 바와 같이, 전자 줌 시에는, 고배율로 되면, 1화면을 구성하는 라인수가 적어지기 때문이다.

처리 구간이란, 여기서는, 출력 영역(32)(보정 전 영역(33))과 보정 잉여 영역(35)까지를 포함시킨 영역을 의미하는 것으로 한다. 또한, 도 14의 (A)(저배율)에서의 처리 구간의 세로 방향(도면에서 세로 방향)의 크기(길이)를, 구간 폭 A로 한다. 도시는 하지 않지만(정의는 하지 않지만), 구간 폭 A에 대응하는 가로 폭의 구간 폭도, 물론 설정되어 있다.

여기서는, 전자 줌 시의 배율에 따라서, 구간 폭(처리 구간)을 변경한다. 구체적으로는, 도 15에 도시하는 바와 같이, 배율이 제1 임계값 이하일 때(도 14의 (A)와 같은 상태일 때)에는, 처리 구간이 구간 폭 A로 설정되며, 그 구간 내가 처리 대상으로 된다. 배율이 제1 임계값 이상이며, 제2 임계값 이하일 때(도 14의 (B)와 같은 상태일 때)에는, 처리 구간이 구간 폭 T로 설정되며, 그 구간 내가 처리 대상으로 된다.

배율이 제2 임계값 이상일 때(도 14의 (C)와 같은 상태일 때)에는, 처리 구간이 구간 폭 B로 설정되며, 그 구간 내가 처리 대상으로 된다. 구간 폭 A, 구간 폭 T, 구간 폭 B는, 구간 폭 A>구간 폭 T>구간 폭 B라는 관계를 만족시킨다. 또한, 각각의 구간 폭은, 라인 단위(픽셀 단위)로 설정된다.

이와 같이, 배율에 의해 처리 구간을 변경하도록 한 경우, 보정에 관계되는 처리 중, 전체의 처리는, 도 9에 도시한 플로우차트의 처리와, 기본적으로 동일한 처리의 흐름으로 행하여진다. 또한, 저배율 시에서의 처리는, 도 10에 도시한 플로우차트의 처리와, 기본적으로 동일한 처리의 흐름으로 행하여진다. 따라서, 여기서는, 그 설명을 생략하고, 서로 다른 처리인, 고배율 시의 처리에 대하여, 도 16의 플로우차트를 참조하여 설명한다. 또한 여기서는, 전자 줌 고배율 시의 처리 3으로서 설명을 계속한다.

스텝 S101에서, 구간 폭의 설정이 행하여진다. 이 구간 폭의 설정에 관해서는, 도 14와 도 15를 참조하여 설명한 바와 같이 행하여진다. 구간 폭이 설정되면, 그 구간 폭의 범위 내에서의 처리가 실행된다. 즉, 스텝 S102에서, 진동량이 취득된다. 이 진동량의 취득에 관해서는, 도 11의 스텝 S92의 경우와 마찬가지로, 설정된 구간 폭에 의존하여 행해지는 경우(설정된 구간 폭 내의 영역만으로부터 진동량을 취득하는 경우)에는, 스텝 S101의 처리 후에 행해지지만, 설정되는 구간 폭에 의존하지 않고 행해지는 경우에는, 반드시 스텝 S101의 처리 후에 행해지지 않 아도 된다.

스텝 S103에서, 보정량의 산출이 행하여진다. 스텝 S103에서는, 설정된 구간 폭 내에서 필요로 되는 보정량만이 산출된다. 이와 같이 하여 산출된 보정량이 이용되어, 스텝 S104에서, 데이터의 판독 위치가 결정되며, 스텝 S105에서, 결정된 판독 위치로부터 데이터의 판독이 행하여진다.

또한, 여기서는 보정량의 산출 등, 보정에 관계되는 처리를 예로 들어 설명했지만, 보정에 관계되는 처리뿐만 아니라, 다른 처리도, 설정된 처리 구간 내(영역 내)만을, 처리하면 된다. 따라서, 배율에 의해 처리 구간을 설정함으로써, 처리 부담을 경감시키는 것이 가능하게 된다.

이와 같이, 배율에 따라서 처리하는 영역(처리 구간)을 설정함으로써, 이하와 같은 효과를 기대할 수 있다. 즉, 처리 구간을 한정함으로써, 처리에 필요없는 여분의 데이터를, 메모리 등의 기억부에 보유시킬 필요가 없어지기 때문에, 메모리의 용량을 삭감하는 것이 가능하게 된다. 또한, 처리 구간을 한정하고, 그 구간 내만을 처리함으로써, 그 처리, 예를 들면, 상기한 보정량의 산출에 관계되는 처리에 필요로 되는 리소스(예를 들면, 전력이나, 그 처리에 필요한 데이터를 일단 기억시키기 위한 기억부의 용량(메모리(17)(도 1)) 등)을 삭감하는 것이 가능하게 된다.

또한, 처리 구간을 한정함으로써, 처리할 데이터량이 삭감되게 되기 때문에, 그 처리에 관계되는 구동 주파수의 저감이나 처리 리소스의 삭감이 가능하게 된다.

상기한 실시예에서는, 전자 줌 시의 배율에 따른 처리를 예로 들어 설명했지 만, 전자 줌 시 이외의, 예를 들면, 광학 줌 시에서도, 상술한 실시예를 적용하는 것은 물론 가능하다.

또한, 상기한 실시예에서는, 줌 배율에 따라, 계수를 설정하거나, 보정 점수를 설정하거나, 처리 구간을 설정하거나 하는 예를, 각각 개별로 설명했다. 그러나, 이들을 조합하여 적용하는 것도 가능하다. 예를 들면, 줌 배율에 따라서, 보정 점수를 설정하고, 그 설정된 보정 점수분의 보정량을 산출하며, 또한, 그 산출된 보정량에, 줌 배율에 따른 계수를 승산한다고 하는 등의 실시예이어도 된다.

[기록 매체에 대하여]

상술한 일련의 처리, 예를 들면, 보정에 관계되는 처리는, 각각의 기능을 갖는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨된다.

도 17은, 범용의 퍼스널 컴퓨터의 내부 구성예를 도시하는 도면이다. 퍼스널 컴퓨터의 CPU(Central Processing Unit)(101)는, ROM(Read Only Memory)(102)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행한다. RAM(Random Access Memory)(103)에는, CPU(101)가 각종 처리를 실행하는 데 있어서 필요한 데이터나 프로그램 등이 적절하게 기억된다. 입출력 인터페이스(105)는, 키보드나 마우스로 구성되는 입력부(106)가 접속되며, 입력부(106)에 입력된 신호를 CPU(101)에 출력 한다. 또한, 입출력 인터페이스(105)에는, 디스플레이나 스피커 등으로 구성되는 출력부(107)도 접속되어 있다.

또한, 입출력 인터페이스(105)에는, 하드디스크 등으로 구성되는 기억부(108), 및, 인터넷 등의 네트워크를 통하여 다른 장치와 데이터의 수수를 행하는 통신부(109)도 접속되어 있다. 드라이브(110)는, 자기 디스크(121), 광 디스크(122), 광 자기 디스크(123), 반도체 메모리(124) 등의 기록 매체로부터 데이터를 판독하거나, 데이터를 기입할 때에 이용된다.

기록 매체는, 도 17에 도시하는 바와 같이, 퍼스널 컴퓨터와는 별도로, 유저에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(121)(플렉시블 디스크를 포함함), 광 디스크(122)(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(123)(MD(Mini-Disc)(등록상표)를 포함함), 혹은 반도체 메모리(124) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 내장된 상태로 유저에게 제공되는, 프로그램이 기억되어 있는 ROM(102)이나 기억부(108)가 포함되는 하드디스크 등으로 구성된다.

또한, 본 명세서에서, 매체에 의해 제공되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라서, 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

또한, 본 명세서에서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.

본 발명에 따르면, 상황에 따른 손 떨림 보정(진동에 의한 영향을 저감시키는 보정)을 행할 수 있다.

본 발명에 따르면, 줌의 배율에 따른 적절한 손 떨림 보정을 행할 수 있다. 또한 본 발명에 따르면, 줌 시의 손 떨림 보정에 관계되는 처리를 저감시킬 수 있다.

Claims (16)

1. 촬상 소자에 의해 화상을 촬상하는 촬상 수단과,

   가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단과,

   상기 진동량 출력 수단에 의해 출력된 상기 진동량으로부터, 상기 진동에 의한 상기 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 수단과,

   상기 촬상 수단에 의해 상기 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 수단과,

   상기 판단 수단에 의해 상기 줌 배율이, 상기 임계값 이상이라고 판단된 경우, 상기 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 수단과,

   상기 제1 보정량 또는 상기 제2 보정량에 기초하여 상기 촬상 수단에 의해 촬상된 상기 화상을 보정하는 보정 수단

   을 구비하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 생성 수단은, 상기 줌 배율에 대응하는 계수를 설정하고, 그 계수를 상기 제1 보정량에 승산하여, 상기 제2 보정량을 생성하는 것을 특징으로 하는 화상 처리 장치.
3. 제1항에 있어서,

   상기 산출 수단은, 상기 화상으로부터, 상기 제1 보정량을 복수 산출하고,

   상기 생성 수단은, 복수의 상기 제1 보정량 중, 적어도 1개의 제1 보정량을 제외한 제1 보정량에 대하여 상기 계수를 설정하는 것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,

   상기 계수는, 0 내지 1까지의 수치를 취하는 것을 특징으로 하는 화상 처리 장치.
5. 제1항에 있어서,

   상기 판단 수단은, 상기 줌 배율이, 상기 소정의 임계값보다 큰 제2 임계값 이상이었던 경우, 계수를 0으로 설정하는 것을 특징으로 하는 화상 처리 장치.
6. 촬상 소자를 제어하여 화상을 촬상하는 촬상 스텝과,

   가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과,

   상기 진동량 출력 스텝의 처리에서 출력된 상기 진동량으로부터, 상기 진동에 의한 상기 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 스텝과,

   상기 촬상 스텝의 처리에서 상기 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 스텝과,

   상기 판단 스텝의 처리에서 상기 줌 배율이, 상기 임계값 이상이라고 판단된 경우, 상기 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 스텝과,

   상기 제1 보정량 또는 상기 제2 보정량에 기초하여 상기 촬상 스텝의 처리에 의해 촬상된 상기 화상을 보정하는 보정 스텝

   을 포함하는 것을 특징으로 하는 화상 처리 방법.
7. 촬상 소자를 제어하여 화상을 촬상하는 촬상 스텝과,

   가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과,

   상기 진동량 출력 스텝의 처리에서 출력된 상기 진동량으로부터, 상기 진동에 의한 상기 화상에의 영향을 저감하기 위한 제1 보정량을 산출하는 산출 스텝과,

   상기 촬상 스텝의 처리에서 상기 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인지의 여부를 판단하는 판단 스텝과,

   상기 판단 스텝의 처리에서 상기 줌 배율이, 상기 임계값 이상이라고 판단된 경우,

   상기 제1 보정량에 기초하여 제2 보정량을 생성하는 생성 스텝과,

   상기 제1 보정량 또는 상기 제2 보정량에 기초하여 상기 촬상 스텝의 처리에 의해 촬상된 상기 화상을 보정하는 보정 스텝

   을 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램.
8. 촬상 소자에 의해 화상을 촬상하는 촬상 수단과,

   가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단과,

   진동에 의한 상기 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 수단과,

   상기 설정 수단에 의해 설정된 상기 점수만큼, 보정량을 산출하는 산출 수단과,

   상기 산출 수단에 의해 산출된 상기 보정량에 기초하여 상기 촬상 수단에 의해 촬상된 상기 화상을 보정하는 보정 수단

   을 구비하는 것을 특징으로 하는 화상 처리 장치.
9. 제8항에 있어서,

   상기 촬상 수단에 의해 상기 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인 경우, 상기 설정 수단은 상기 점수를 설정하는 것을 특징으로 하는 화상 처리 장치.
10. 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과,

    가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과,

    진동에 의한 상기 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 스텝과,

    상기 설정 스텝의 처리에서 설정된 상기 점수만큼, 보정량을 산출하는 산출 스텝과,

    상기 산출 스텝의 처리에서 산출된 상기 보정량에 기초하여 상기 촬상 스텝에 의해 촬상된 상기 화상을 보정하는 보정 스텝

    을 포함하는 것을 특징으로 하는 화상 처리 방법.
11. 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과,

    가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 스텝과,

    진동에 의한 상기 화상에의 영향을 저감하기 위한 보정량의 1화면에서의 점수를, 줌 배율에 대응하여 설정하는 설정 스텝과,

    상기 설정 스텝의 처리에서 설정된 상기 점수만큼, 보정량을 산출하는 산출 스텝과,

    상기 산출 스텝의 처리에서 산출된 상기 보정량에 기초하여 상기 촬상 스텝에 의해 촬상된 상기 화상을 보정하는 보정 스텝

    을 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램.
12. 촬상 소자에 의해 화상을 촬상하는 촬상 수단과,

    상기 촬상 수단에 의해 촬상된 상기 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 수단과,

    상기 설정 수단에 의해 설정된 영역 내만 처리하는 처리 수단

    을 구비하는 것을 특징으로 하는 화상 처리 장치.
13. 제12항에 있어서,

    상기 촬상 수단에 의해 상기 화상이 촬상되었을 때의 줌 배율이, 소정의 임계값 이상인 경우, 상기 설정 수단은 상기 처리할 영역을 설정하는 것을 특징으로 하는 화상 처리 장치.
14. 제12항에 있어서,

    가해진 진동을 검출하고, 그 진동의 크기를 나타내는 진동량을 출력하는 진동량 출력 수단과,

    상기 진동량 출력 수단에 의해 출력된 상기 진동량으로부터, 상기 진동에 의한 상기 화상에의 영향을 저감하기 위한 보정량을 산출하는 산출 수단

    을 더 구비하며,

    상기 처리 수단은, 보정량에 기초하여 상기 촬상 수단에 의해 촬상된 상기 화상을 보정하는 것을 특징으로 하는 화상 처리 장치.
15. 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과,

    상기 촬상 스텝의 처리에서 촬상된 상기 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 스텝과,

    상기 설정 스텝의 처리에서 설정된 영역 내만 처리하는 처리 스텝

    을 포함하는 것을 특징으로 하는 화상 처리 방법.
16. 촬상 소자에 의해 화상을 촬상하는 촬상 스텝과,

    상기 촬상 스텝의 처리에서 촬상된 상기 화상 중, 처리할 영역을, 줌 배율에 따라서 설정하는 설정 스텝과,

    상기 설정 스텝의 처리에서 설정된 영역 내만 처리하는 처리 스텝

    을 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램.

Images