KR20050091787A - 화상 처리 장치 및 방법, 기록 매체, 그리고 프로그램 - Google Patents

Abstract

본 발명은 촬상시에 가해진 손떨림을 보정할 수 있도록 하는 화상 처리 장치 및 방법, 기록 매체, 그리고 프로그램에 관한 것이다. 이산적인 손떨림량의 데이터가 취득되고, 그 이산적인 손떨림량의 데이터로부터, 라인마다 손떨림량의 데이터가 보간된다. 보간됨으로써, 라인마다 준비된 손떨림량으로부터, 라인마다의 손떨림 보정량이 산출된다. 그 손떨림 보정량에 기초하여, 화소 데이터의 판독 위치가 결정되고, 그 결정된 판독 위치에 기초하여, 화소 데이터의 판독이 행해진다. 판독될 위치의 화소가, 2개의 화소에 걸치는 위치에 위치하는 화소일 경우, 복수의 화소 데이터로부터, 그 판독될 위치에 위치하는 화소의 화소 데이터가 생성(보간)된다. 이와 같이 하여, 손떨림에 의한 영향이 보정된다. 본 발명은 비디오 카메라에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 기록 매체, 그리고 프로그램{IMAGE PROCESSING DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM}

본 발명은 화상 처리 장치 및 방법, 기록 매체, 그리고 프로그램에 관한 것으로, 특히, 휴대 가능한 촬상 장치로 촬상할 때, 손떨림에 의한 영향을 경감시키는 화상 처리 장치 및 방법, 기록 매체, 그리고 프로그램에 관한 것이다.

휴대 가능한 비디오 카메라는, 일반적으로 사용되도록 되어 오고 있다. 이와 같은 비디오 카메라에 이용되는 고체 촬상 소자로서는, 예를 들면, CCD(Charge Coupled Device) 센서로 대표되는 전하 전송형의 고체 촬상 소자나, CMOS(Complementary Metal Oxide Semiconductor) 센서로 대표되는 X-Y 어드레스형의 고체 촬상 소자가 있다.

CMOS 센서는 CCD 센서에 비해 소비 전력이 작고, 단일의 저전압으로 구동되며, 주변 회로와의 일체화도 용이하기 때문에, 비디오 카메라 등의 화상 처리 장치에 이용될 것이 검토되고 있다.

그러나, 비디오 카메라 등의 화상 처리 장치의 촬상 소자로서 CMOS 센서를 이용하여 고화질의 동화상이나 정지 화상을 기록하는 것은 곤란하였다. 그 이유의 하나로서, 손떨림에 의해 촬상되는 화상에 일그러짐이 발생해 버리는 것을 들 수 있다. 화상 처리 장치의 촬상 소자로서 이미 이용되고 있는 CCD 센서의 경우, 손떨림에 의한 영향을 저감시키기 위한 처리를 실행하는데 있어서 필요하게 되는 손떨림 보정량은, 1필드 또는 1프레임 내에서 얻어진 손떨림 정보에 기초하여 산출된 단일한 값이 이용된다. 이는 모든 화소의 노광 기간이 동일하고, 화상의 일그러짐이 발생하지 않기 때문에, 단일한 값으로 손떨림의 보정을 행할 수 있다.

CCD 센서에 비해, CMOS 센서는, 이하와 같은 구조에 의해, 피사체의 화상을 촬상하고 처리하기 때문에, 그 화상에는 손떨림에 의한 일그러짐이 발생한다. 그 일그러짐은, 이하와 같이 하여 발생한다고 생각된다.

CCD 센서와 같은 전하 전송형의 고체 촬상 소자는, 전체 화소를 같은 시기에 노광하여, 화소 데이터를 판독하는 것이 가능하지만, CMOS 센서와 같은 X-Y 어드레스형의 고체 촬상 소자는, 1화소 단위 혹은 1라인 단위로 차례로 판독된다. 1화소 단위로 순차적으로 판독하는 타입의 고체 촬상 소자일지라도, 라인간의 판독 시간차에 비해, 1라인 중의 화소간의 판독 시간차는 무시할 수 있을 정도로 작다. 따라서, 이하의 논의에서는, 도 1에 나타내는 바와 같이, 라인간의 시간차 만을 생각한다.

예를 들면, 도 1에 나타내는 바와 같이, 전체 화소의 판독 주기가 1/60초이고, 1화상이 제1 라인 내지 제N 라인으로 구성되는 CMOS 센서의 경우를 예로 들어 설명한다. 도 2를 참조하면, 제1 라인의 노광 기간은 개시 시각이 시각 t1이며, 종료 시각이 시각 t2이다. 제2 라인의 노광 기간의 종료 시간은 시각 t3이며, 제3 라인의 노광 기간의 종료 시간은 시각 t4이다.

시각 t2와 시각 t3의 시간차는 시간차 Δt이며, 시각 t3과 시각 t4의 시간차는 시간차 Δt이다. 즉, 노광 기간은 1라인마다 시간차가 시간차 Δt만큼 발생하게 된다. 따라서, 화면의 가장 위의 제1 라인과 가장 밑의 제N 라인에서는, 이 경우, 노광 기간의 1/60초에 가까운 시간차가 발생하게 된다. 이와 같이, 1화상을 판독할 때, 가장 위의 제1 라인과 가장 밑의 제N 라인에서, 노광 기간에 차이가 생기는 상황하에서, 손떨림이 생겼을 경우, 이 라인마다에 따른 노광 기간의 시간차에 의해, 피사체인 물체의 화상이 변형해 버린다고 하는 문제가 있었다.

도 3과 도 4를 참조하여, 촬상된 피사체의 화상이 변형한다고 하는 문제에 대해 설명한다. 도 3과 도 4는, 각각, 화상의 중앙에 피사체로서 정지한 사각형이 촬상되는 경우를 예로 들어 도시하고 있다. 도 3의 중앙의 도면은 화상 처리 장치에서 피사체가 촬상되었을 때, 손떨림이 없고, 그 결과, 일그러짐이 없는 정상적인 화상이 촬상된 상태를 나타내고 있고, 촬상된 피사체는 사각형으로서 촬상되어 있는 것을 나타내는 도면이다.

도 3의 우측의 도면은 피사체가 촬상되었을 때, 화상 처리 장치에 우측 방향의 손떨림이 있었기 때문에, 일그러짐이 생긴 피사체의 화상이 촬상되어 버리는 것을 나타내는 도면이다. 마찬가지로, 도 3의 좌측의 도면은, 피사체가 촬상되었을 때, 화상 처리 장치에 좌측 방향의 손떨림이 있었기 때문에, 일그러짐이 생긴 피사체의 화상이 촬상되어 버리는 것을 나타내는 도면이다.

도 4의 중앙의 도면은 화상 처리 장치에서 피사체가 촬상되었을 때, 손떨림이 없고, 그 결과, 일그러짐이 없는 정상적인 화상이 촬상된 상태를 나타내고 있고, 촬상된 피사체는 사각형으로서 촬상되어 있는 것을 나타내는 도면이다. 도 4의 상측의 도면은 피사체가 촬상되었을 때, 화상 처리 장치에 상측 방향의 손떨림이 있었기 때문에, 상하 방향으로 신장된 피사체의 화상이 촬상되어 버리는 것을 나타내는 도면이다. 도 4의 하측의 도면은 피사체가 촬상되었을 때, 화상 처리 장치에 하측 방향의 손떨림이 있었기 때문에, 상하 방향으로 수축된 피사체의 화상이 촬상되어 버리는 것을 나타내는 도면이다.

이와 같이, CMOS 센서에서는, 각 라인마다 노광 기간의 어긋남(촬상 타이밍의 어긋남)가 생기기 때문에, 1필드 또는 1프레임 내에서 얻어진 손떨림 정보에 기초하여 산출된 단일한 값으로 손떨림의 보정을 행하면, 손떨림의 영향을 완전하게 잡지 못하여, 결과적으로, 사용자에게 제공되는 화상이 일그러진 화상이 되어 버리는 것을 생각할 수 있다.

이와 같은 손떨림에 의한 화상의 일그러짐을 보정하기 위해, 수평 방향의 손떨림을 보정하기 위해, 라인마다 판독 위치를 변경하고, 수직 방향의 손떨림을 보정하기 위해, 판독하는 라인의 위치를 수직 방향으로 변경한다고 하는 화상 처리 장치가 제안되어 있다.(예를 들면, 일본 특허공개 2001-358999호 공보 참조)

그러나, 일본 특허공개 2001-358999호 공보에서 제안되어 있는 방법에서는, 손떨림 정보가, 화상을 구성하는 라인마다 모두 취득되는 것을 전제로 하고 있지만, 라인마다 손떨림 정보를 취득하는 것은, 손떨림을 검출하는 센서의 샘플링 주파수 등의 관계 때문에 곤란하다고 하는 등의 과제가 있었다.

또한, 전술한 일본 특허공개 2001-358999호 공보에서는, 화소 단위로 밖에 손떨림 보정을 할 수 없다는 과제가 있었다.

종래의 화상 처리 장치에서는, 촬상된 화상의 화상 데이터를 일단 기억할 필요가 있었기 때문에, 적어도 1화면분을 기억할 수 있는 용량의 메모리가 필요하였다. 그 때문에, 메모리의 용량을 삭감할 수가 없다고 하는 과제가 있었다.

도 1은 X-Y 어드레스형의 촬상 소자로부터의 화상 데이터의 판독에 대해 설명하기 위한 도면.

도 2는 라인마다의 판독의 차이에 대해 설명하기 위한 도면.

도 3은 손떨림에 의해, 피사체의 화상이 일그러지는 것에 대해 설명하기 위한 도면.

도 4는 손떨림에 의해, 피사체의 화상이 일그러지는 것에 대해 설명하기 위한 도면.

도 5는 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 도시하는 도면.

도 6은 손떨림량에 대해 설명하기 위한 도면.

도 7은 손떨림에 의해, 피사체의 화상이 일그러지는 것에 대해 설명하기 위한 도면.

도 8은 화상 처리 장치의 동작에 대해 설명하기 위한 플로우차트.

도 9A는 손떨림량의 보간에 대해 설명하기 위한 도면.

도 9B는 손떨림량의 보간에 대해 설명하기 위한 도면.

도 9C는 손떨림량의 보간에 대해 설명하기 위한 도면.

도 10A는 손떨림 보정량에 대해 설명하기 위한 도면.

도 10B는 손떨림 보정량에 대해 설명하기 위한 도면.

도 10C는 손떨림 보정량에 대해 설명하기 위한 도면.

도 11은 판독 위치에 대해 설명하기 위한 도면.

도 12는 판독에 대해 설명하기 위한 도면.

도 13A는 화소의 보간에 대해 설명하기 위한 도면.

도 13B는 화소의 보간에 대해 설명하기 위한 도면.

도 14는 판독에 대해 설명하기 위한 도면.

도 15A는 화소의 보간에 대해 설명하기 위한 도면.

도 15B는 화소의 보간에 대해 설명하기 위한 도면.

도 16은 보간된 화소에 의한 화상에 대해 설명하기 위한 도면.

도 17은 화상 처리 장치의 다른 동작에 대해 설명하기 위한 플로우차트.

도 18A는 화소의 판독에 대해 설명하기 위한 도면.

도 18B는 화소의 판독에 대해 설명하기 위한 도면.

도 18C는 화소의 판독에 대해 설명하기 위한 도면.

도 18D는 화소의 판독에 대해 설명하기 위한 도면.

도 19는 손떨림량의 산출에 필요한 정보에 대해 설명하기 위한 도면.

도 20은 손떨림량의 산출에 필요한 정보에 대해 설명하기 위한 도면.

도 21은 손떨림량의 예측에 대해 설명하기 위한 도면.

도 22는 매체를 설명하는 도면.

본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 1필드 또는 1프레임의 동안에 얻어진 손떨림 정보로부터, 라인마다의 손떨림 보정량을 생성하여, 정밀도가 높은 손떨림의 보정을 행하는 것을 목적으로 한다. 또한, 손떨림 정보로부터 화소를 보간하기 위한 계수를 결정하고 보간하기 위한 화소 데이터를 생성함으로써, 손떨림의 보정을 더욱 높은 정밀도로 행할 수 있도록 하는 것을 목적으로 한다. 또한, 손떨림 검출을 단시간에 행함으로써 화상 데이터를 기억하기 위한 메모리의 용량을 삭감할 수 있도록 하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는, X-Y 어드레스형의 고체 촬상 소자에 의해 화상을 촬상하는 촬상 수단과, 가해진 진동을 검출하여 진동 검출 정보를 출력하는 출력 수단과, 출력 수단으로부터 출력된 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 수단과, 변환 수단에 의해 변환된 진동량으로부터 가해진 진동에 의한 화상에 대한 영향을 저감하기 위한 보정량을 산출하는 산출 수단과, 진동량 또는 보정량을 보간하는 보간 수단과, 보정량에 기초하여 촬상 수단에 의해 촬상된 화상을 구성하는 화소를 보정하고, 보정 후의 화소로 구성되는 화상을 출력하는 보정 수단을 구비하고, 변환 수단은, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 보간 수단은, 제1 진동량과 제2 진동량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고, 산출 수단은, 보간 수단에 의해 보간된 진동량으로부터 라인마다의 보정량을 산출하거나, 또는, 변환 수단은, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 산출 수단은, 제1 진동량으로부터 제1 보정량을, 제2 진동량으로부터 제2 보정량을, 각각 산출하고, 보간 수단은, 제1 보정량과 제2 보정량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간한다.

상기 보정 수단은 보정량에 기초하여, 보정 후의 화소의 위치에 위치하는 촬상 수단에 의해 촬상된 화상 내의 화소의 화소 데이터를 이용하여, 보정 후의 화소를 생성하도록 할 수 있다.

상기 변환 수단은 소정 기간 내에 출력 수단으로부터 출력된 진동 검출 정보 중, 시간적으로 중앙과 그 전후에 위치하는 복수의 진동 검출 정보로부터, 진동량을 생성하도록 할 수 있다.

변환 수단은 과거의 진동 정보로부터 미래의 진동 정보를 예측하는 능력을 갖도록 할 수 있다.

상기 산출 수단은 1매의 화상 촬상 중에, 상기 변환 수단으로부터 상기 진동량을 1회 이상 생성하거나, 또는 상기 보정 수단으로부터 상기 보정량을 1회 이상 산출하도록 할 수 있다.

상기 변환 수단으로부터의 진동량과 산출 수단으로부터의 보정량은, 1픽셀 단위 이하의 수치도 포함하도록 할 수 있다.

상기 보정 수단은 1픽셀 단위 이하의 정밀도로, 화소 보간을 행하도록 할 수 있다.

상기 보정 수단이 화상의 수직 방향의 보정을 행할 때 필요하게 되는 촬상 수단에 의해 촬상된 화상의 데이터만을 기억하는 기억 수단을 더 구비하도록 할 수 있다.

화상 1매분이 아니라, 화상 중의 손떨림 보정에 필요한 영역만을 저장하도록 할 수 있다.

본 발명의 화상 처리 방법은, X-Y 어드레스형의 고체 촬상 소자에 의한 화상의 촬상을 제어하는 촬상 제어 단계와, 가해진 진동을 검출하는 검출 단계와, 검출 단계의 처리에서 검출된 진동에 관한 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 단계와, 변환 단계의 처리에서 변환된 진동량으로부터 가해진 진동에 의한 화상에 대한 영향을 저감하기 위한 보정량을, 픽셀 단위로 산출하는 산출 단계와, 진동량 또는 보정량을 보간하는 보간 단계와, 보정량에 기초하여 촬상 제어 단계의 처리에서 촬상이 제어된 화상을 보정하고, 보정 후의 화상을 출력하는 보정 단계를 포함하고, 변환 단계의 처리에서, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 보간 단계의 처리에서, 제1 진동량과 제2 진동량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고, 산출 단계의 처리에서, 보간 단계의 처리에서 보간된 진동량으로부터 라인마다의 보정량을 산출하거나, 또는 변환 단계의 처리에서, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 산출 단계의 처리에서, 제1 진동량으로부터 제1 보정량을, 제2 진동량으로부터 제2 보정량을, 각각 산출하고, 보간 단계의 처리에서, 제1 보정량과 제2 보정량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간한다.

본 발명의 기록 매체의 프로그램은, X-Y 어드레스형의 고체 촬상 소자에 의해 화상을 촬상할 때, 가해진 진동에 의한 화상에 대한 영향을 저감하기 위한 보정을 행하는 화상 처리 장치의 프로그램으로서, 촬상 소자에 의한 화상의 촬상을 제어하는 촬상 제어 단계와, 가해진 진동을 검출하는 검출 단계와, 검출 단계의 처리에서 검출된 진동에 관한 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 단계와, 변환 단계의 처리에서 변환된 진동량으로부터 가해진 진동에 의한 화상에 대한 영향을 저감하기 위한 보정량을, 픽셀 단위로 산출하는 산출 단계와, 진동량 또는 보정량을 보간하는 보간 단계와, 보정량에 기초하여 촬상 제어 단계의 처리에서 촬상이 제어된 화상을 보정하고, 보정 후의 화상을 출력하는 보정 단계를 포함하고, 변환 단계의 처리에서, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 보간 단계의 처리에서, 제1 진동량과 제2 진동량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고, 산출 단계의 처리에서, 보간 단계의 처리에서 보간된 진동량으로부터 라인마다의 보정량을 산출하거나, 또는, 변환 단계의 처리에서, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 산출 단계의 처리에서, 제1 진동량으로부터 제1 보정량을, 제2 진동량으로부터 제2 보정량을, 각각 산출하고, 보간 단계의 처리에서, 제1 보정량과 제2 보정량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간한다.

본 발명의 프로그램은, X-Y 어드레스형의 고체 촬상 소자에 의한 화상의 촬상을 제어하는 촬상 제어 단계와, 가해진 진동을 검출하는 검출 단계와, 검출 단계의 처리에서 검출된 진동에 관한 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 단계와, 변환 단계의 처리에서 변환된 진동량으로부터 가해진 진동에 의한 화상에 대한 영향을 저감하기 위한 보정량을, 픽셀 단위로 산출하는 산출 단계와, 진동량 또는 보정량을 보간하는 보간 단계와, 보정량에 기초하여 촬상 제어 단계의 처리에서 촬상이 제어된 화상을 보정하고, 보정 후의 화상을 출력하는 보정 단계를 포함하고, 변환 단계의 처리에서, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 보간 단계의 처리에서, 제1 진동량과 제2 진동량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고, 산출 단계의 처리에서, 보간 단계의 처리에서 보간된 진동량으로부터 라인마다의 보정량을 산출하거나, 또는, 변환 단계의 처리에서, 진동 검출 정보를 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고, 산출 단계의 처리에서, 제1 진동량으로부터 제1 보정량을, 제2 진동량으로부터 제2 보정량을, 각각 산출하고, 보간 단계의 처리에서, 제1 보정량과 제2 보정량을 이용하여 제1 라인과 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간하는 것을 특징으로 한다.

본 발명에 있어서는, 가해진 진동에 관한 정보로부터 그 진동을 캔슬하기 위한 보정에 필요한 보정량이, 화상을 구성하는 라인마다, 산출, 보간된다.

이하에, 본 발명의 실시의 형태에 대해 도면을 참조하여 설명한다. 도 5는 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 도시하는 도면이다. 화상 처리 장치(10)의 촬상 소자(11)는, 예를 들면, X-Y 어드레스형의 고체 촬상 소자(CMOS 등)에 의해 구성된다. 촬상 소자(11)에 의해 촬상된 피사체의 화상 데이터는, AFE(Analog Front End; 12)에 공급된다.

AFE(12)는 공급된 화상 데이터를 디지털 신호의 화상 데이터로 변환하여, 신호 처리부(13)에 공급한다. 신호 처리부(13)는 공급된 화상 데이터로부터, 휘도 신호와 색차 신호를 산출하고, 그 산출한 각각의 신호를 화상 보간부(14)에 공급한다.

화상 보간부(14)에 공급되는 화상 데이터는, 촬상 소자(11)에 의해 촬상된 피사체의 화상 데이터이지만, 촬상 소자(11)에 의해 촬상된 화상의 모든 데이터가 화상 보간부(14)에 공급되는 것은 아니고, TG(Timing Generator; 15)로부터의 타이밍에 따라 판독된 데이터만이, 화상 보간부(14)에 공급된다.

화상 보간부(14)에 공급된 데이터는, 일단, 메모리 콘트롤러(16)의 제어하에, 메모리(17)에 공급된다. 반대로 메모리(17)에 기억된 데이터는, 메모리 콘트롤러(16)의 지시에 의해 판독되어, 화상 보간부(14)에 공급된다. 화상 보간부(14)는 공급된 데이터에 대해, 손떨림의 보정을 행하기 위한 보간 처리 등(상세는 후술한다)을 실시하고, 미도시의 기록 매체에 출력하여 기록시키거나, 미도시의 디스플레이 등에 출력하여 표시시키거나 한다.

또, 여기에서는, 화상 처리 장치(10)에 가해지는 진동으로서, 사용자의 손떨림을 예로 들어 설명하지만, 손떨림 이외의 진동이라도 본 발명을 적용할 수 있다.

화상 보간부(14), TG(15) 및 메모리 콘트롤러(16)는 손떨림 검출부(18)에 의해 검출된 손떨림량에 부합하여, 손떨림 보정량 산출부(19)에 의해 산출된 손떨림 보정량에 기초한 제어를 행한다.

손떨림 검출부(18)는, 예를 들면, 각속도 센서 등의 센서를 이용한 방법이나, 화상 처리 등에 의한 센서리스의 손떨림 검출 방법 등이 이용되며, 촬영중에 화상 처리 장치(10)에 가해진 손떨림을 검출한다. 예를 들면, 손떨림 검출부(18)가, 각속도 센서에 의해 구성되어 있는 경우, 그 각속도 센서는 피칭 방향, 요잉 방향, 각각의 방향에 가해진 각속도의 데이터를 손떨림 보정량 산출부(19)에 공급한다.

그 검출된 손떨림량에 기초하여, 손떨림 보정량 산출부(19)는 손떨림에 수반하는 움직임을 보정하기 위한 손떨림 보정량의 데이터를 산출한다. 즉, 손떨림 보정량 산출부(19)는 공급된 데이터를 이용하여, 몇 픽셀 이동시키면 가해진 손떨림에 의한 영향을 저감시킬 수 있는지를 나타내는 보정량을, 1라인마다 산출한다.

여기에서, 1라인마다라고 하는 것은, 도 1과 도 2를 참조하여 설명한 바와 같이, CMOS 등의 고체 촬상 소자에 있어서는, 1라인 단위로 화상 데이터가 순차적으로 판독된다. 때문에, 1라인마다 손떨림 보정량이 산출된다.

1라인마다 손떨림 보정량을 산출할 필요가 있지만, 손떨림량의 데이터가 취득되는 타이밍은, 손떨림 검출부(18)의 샘플링 주파수에 의존하여, 반드시, 1라인마다 손떨림 보정량을 산출할 만큼의 손떨림량의 데이터가 공급된다고는 할 수 없다.

손떨림 검출부(18)의 샘플링 주파수가, 촬상 소자(11)에 의해 촬상된 화상의 1라인마다의 데이터 판독의 주파수와 상이한 경우, 1라인마다의 손떨림 보정량을 구하려면, 손떨림 검출부(18)의 샘플링간에 있어서의 손떨림 보정량의 데이터, 즉, 손떨림 검출부(18)로부터의 손떨림량의 데이터에 기초한 산출을 행할 수 없을 때의 손떨림 보정량의 데이터를, 무엇인가의 방법에 의해 보간할 필요가 있다.

또한, 손떨림 검출부(18)의 샘플링 주파수가, 촬상 소자(11)에 의해 촬상된 화상의 1라인마다의 데이터 판독의 주파수와 같지만, 위상이 상이한 경우, 1라인마다의 손떨림 보정량을 구하려면, 손떨림 검출부(18)의 샘플링 사이에 있어서의 손떨림 보정량의 데이터를 보간할 필요가 있다.

손떨림 보정량의 데이터의 보간에 대해 설명하는데, 여기에서는, 손떨림 검출(손떨림량의 데이터가 손떨림 검출부(18)로부터 손떨림 보정량 산출부(19)에 공급되는 타이밍)이, 100개의 라인이 판독되는 동안에 3점인 경우를 예로 들어 설명한다. 도 6에 나타내는 바와 같이, 여기에서는 설명의 형편상, 제1′라인, 제50′라인 및 제100′라인일 때에, 손떨림 검출부(18)로부터의 손떨림량을 취득할 수 있는 것으로 하여 설명한다. 이 제1′라인은 설명상의 기준이 되는 라인이며, 촬상된 화상을 구성하는 라인 내의 1개의 라인으로서 설명한다.

도 6에 나타낸 상태는, 제1′라인을 판독할 때의 손떨림량은 P1 픽셀이며, 제50′라인을 판독한 때의 손떨림량은 P2 픽셀이며, 제100′라인을 판독할 때의 손떨림량은 P3 픽셀인 것을 나타내고 있다.

이 손떨림량이란, 손떨림 검출부(18)로부터 출력되어, 손떨림 보정량 산출부(19)에 입력된 정보를, 손떨림 보정량 산출부(19)가 픽셀 단위의 값으로 변환한 값이다. 또, 손떨림 보정량 산출부(19)가 변환한 후의 픽셀 단위의 손떨림량은, 소수점 이하를 포함하는 픽셀 단위로 되어, 그 후의 처리에 있어서 1픽셀 이하의 양에서의 보정을 가능하게 하고 있다.

손떨림량 P1 내지 P3은, 소정의 타이밍에 취득된 손떨림량을 기준으로 했을 때의 차분이다. 소정의 타이밍이란, 예를 들면, 화상의 촬상이 개시된 직후이다. 도 6에 나타낸 상태에서는, 기준으로부터, 제1′라인일 때에 우측의 손떨림이 발생하고, 그 후 제50′라인까지 우측의 손떨림이 발생하고, 그리고, 제100′라인까지는 좌측의 손떨림이 발생한 상황이다.

예를 들면, 피사체로서 정지하고 있는 사각형을 촬상했을 때에, 도 6에 나타낸 바와 같은 손떨림량이 취득되는 손떨림이, 화상 처리 장치(10)에 가해지면, 그대로 보정을 하지 않으면, 도 7에 나타낸 바와 같은 화상이 촬상되게(사용자에게 제공되게) 된다. 이와 같은 일그러진 화상을 보정하고, 사각형이 사각형의 화상으로서 최종적으로 사용자에게 제공되도록 손떨림에 관한 보정이 행해진다.

본 실시의 형태에 있어서는, CMOS 등의 X-Y 어드레스형의 고체 촬상 소자를 촬상 소자(11)(도 5)로서 이용하는 경우를 예로 들어 설명하고 있지만, 만일, CCD 등의 전하 전송형의 고체 촬상 소자를, 촬상 소자(11)로서 이용했을 경우, 손떨림에 의한 화상의 떨림을 보정하는 방식으로서는, 라인마다의 손떨림을 화면 내에서 단일한 값으로 대용함으로써 본 발명의 시스템을 적용하는 것은 가능하다(1화상 내에서는, 동일한 값이 이용됨으로써 행해진다).

라인마다의 손떨림량을 보정하기 위해서는, 라인마다의 손떨림량을 취득할 필요가 있다. 그러나, 도 6을 재차 참조하여 설명하는데, 도 6에 나타낸 예에서는, 제1′라인, 제50′라인 및 제100′라인의 라인일 때의 손떨림량밖에 취득되지 않는다. 이와 같은 이산적인 데이터만을 취득할 수 있는 것은, 손떨림 검출부(18)가 손떨림을 검출하는 타이밍(샘플링 주파수)에 의존하고 있기 때문이다. 이와 같은 경우에는, 제2′라인 내지 제49′라인과, 제51′라인 내지 제99′라인에 관한 손떨림량은 취득되지 않기 때문에, 그들 라인마다의 손떨림량을 보간하여 처리를 실행할 필요가 있다.

손떨림 보정량 산출부(19)가 행하는 보간의 처리(손떨림 보정량의 산출 처리)에 관하여, 도 8의 플로우차트를 참조하여 설명한다. 단계 S11에서, 손떨림 보정량 산출부(19)는 손떨림 검출부(18)로부터 검출된 손떨림량의 데이터(손떨림량을 산출하기 위한 손떨림 정보)를 취득한다.

손떨림 보정량 산출부(19)는, 전술한 바와 같이, 제1′라인 내지 제100′라인 사이에 3개의 손떨림량을 취득한다. 이 3개의 손떨림량으로부터, 제2′라인 내지 제99′라인(제50′라인을 제외한다)에 관한 손떨림량을, 단계 S12에서 산출한다. 그 산출의 방법을 도 9A 내지 도 9C를 참조하여 설명한다. 도 9A에 나타낸 바와 같이, 예를 들면, 제1′라인에 관한 손떨림량을 제2′라인 내지 제40′라인에도 이용하고, 제50′라인에 관한 손떨림량을 제41′라인 내지 제60′라인에도 이용하고, 제100′라인에 관한 손떨림량을 제61′라인 내지 제99′라인에도 이용하는 방식으로, 1개의 라인에 관한 손떨림량을 전후의 라인에 적용하는 방법으로, 보간을 행하도록 하여도 된다.

또한, 도 9B에 나타내는 바와 같이, 1차 함수를 이용하여 산출하도록 하여도 된다. 도 9B에 나타낸 예에서는, 제1′라인과 제50′라인에 관한 각각의 손떨림량을 2점으로 하는 1차 함수로부터, 제2′라인 내지 제49′라인에 관한 손떨림량이 각각 산출되고, 제50′라인과 제100′라인에 관한 각각의 손떨림량을 2점으로 하는 1차 함수로부터, 제51′라인 내지 제99′라인에 관한 손떨림량이 각각 산출된다.

또한, 도 9C에 나타내는 바와 같이, 1차 함수가 아닌 다른 함수를 이용하여 산출되도록 하여도 된다. 도 9C에 나타낸 예는, 기본적으로 도 9B에 나타낸 예와 마찬가지이지만, 1차 함수가 아닌 다른 함수를 이용하는 점이 상이하다. 통상, 손떨림은, 동일 방향으로, 동일한 속도로, 동일한 크기로 변화하는 것은 아니라고 생각된다. 따라서, 직선적으로 변화하는 1차 함수를 이용하여 보간하는 것은 오차가 발생할 가능성이 있어, 보다 적절히 높은 정밀도로 보간(보정)을 행하는 것을 생각하면, 도 9C에 나타낸 것 같은 곡선적으로 변화하는 함수를 이용하는 것이 좋다.

도 9A 내지 도 9C 중의 어느 방법을 이용하여 보정량을 산출할지는 손떨림 보정량 산출부(19)의 처리 능력에 의존한다. 손떨림 보정량 산출부(19)가 마이크로컴퓨터 등으로 구성되는 경우, 그 마이크로컴퓨터의 처리 능력에 맞추어, 도 9A 내지 도 9C에 나타낸 것 중 1개의 방법으로, 보정량이 산출(보간)되도록 하면 된다.

구체적으로는, 손떨림 보정량 산출부(19)의 처리 능력이 낮은 경우, 연산량이 적은 도 9A에 나타낸 방법으로, 보정량의 산출(보간)이 행해지도록 하고, 손떨림 보정량 산출부(19)의 처리 능력이 비교적 높은 경우, 연산량이 비교적 많은 도 9C에 나타낸 방법으로, 보정량의 산출(보간)이 행해지도록 하면 된다.

이와 같이, 이산적인 손떨림량으로부터, 라인마다의 손떨림량이 구해지면, 단계 S13에 있어서, 손떨림 보정량의 산출이 행해진다. 손떨림 보정량이란, 손떨림량을 손떨림이 없는 상태(손떨림의 영향이 저감된 상태)로 하기 위해, 어느 정도의 보정을 행하면 좋을지를 나타내는 픽셀 단위의 값이다.

예를 들면, 도 6에 나타낸 바와 같이, 제1′라인에 관한 손떨림량이, P1 픽셀이었을 경우, 그 손떨림량이 P1 픽셀인 상태를, 손떨림이 없는 상태로 하기 위해서는, 절대치가 상이하고 부호가 상이한 양, 즉 이 경우, -P1 픽셀이 보정량으로서 산출되도록 하면 된다.

도 10A 내지 도 10C는, 손떨림 보정량 산출부(19)에 의해 산출된 손떨림 보정량을 그래프로서 나타낸 도면이다. 도 10A는 손떨림 보정량 산출부(19)가, 도 9A를 참조하여 설명한 방식에 의해 손떨림량을 보간했을 때에 산출되는 손떨림 보정량을 나타내고 있다. 도 10B는 손떨림 보정량 산출부(19)가, 도 9B를 참조하여 설명한 방식에 의해 손떨림량을 보간했을 때에 산출되는 손떨림 보정량을 나타내고 있다. 도 10C는 손떨림 보정량 산출부(19)가, 도 9C를 참조하여 설명한 방식에 의해 손떨림량을 보간했을 때에 산출되는 손떨림 보정량을 나타내고 있다.

이와 같이, 손떨림 보정량이 산출되면, 단계 S14(도 6)에 있어서, 판독 위치의 결정이 행해진다. 판독 위치가 결정되면, 그 위치에 위치하는 화소가 2화소인 경우, 새로운 화소를 보간하는 처리가 단계 S15에서 행해진다. 이 단계 S14의 판독 위치의 결정의 처리와, 단계 S15의 화소의 보간에 대해 설명한다. 또, 설명의 형편상, 단계 S14의 처리와 단계 S15의 처리를 함께 이하에 설명하는데, 단계 S14까지의 처리는 손떨림 보정량 산출부(19)(도 5)에서 행해지고, 단계 S15의 처리는 화상 보간부(14)에서 행해진다.

도 11의 좌측의 도면은 손떨림 보정량 산출부(19)에 의해 산출된 수평 방향의 손떨림 보정량을 그래프화한 도면이고, 도 11의 우측의 도면은 사각형의 피사체를 촬상했을 때에 가해진 손떨림을 보정하지 않은 경우에 촬상되는 화상 A의 일례를 나타내는 도면이고, 도 11의 중앙의 도면은 우측의 도면에 나타낸 화상 내의 부분 a을 확대했을 때의 도면이다.

화상 A내의 부분 a은 제20′라인 내지 제29′라인의 10개의 라인을 포함한다. 그 중, 판독할 화소 b는 제23′라인 상에 위치한다. 산출된 손떨림 보정량은, 1라인마다 산출되고 있지만, 그 1라인마다의 보정량, 즉, 몇 픽셀분, 판독할 위치를 옮길지의 데이터에 기초하여, 각각의 라인의 판독 개시 위치가 결정된다.

그 판독 개시 위치를 선으로 연결하면, 도 11의 중앙의 도면에 나타낸 바와 같은 판독 개시 라인 b이 작성된다. 도 11의 중앙의 도면에 나타낸 판독 개시 라인 b은, 직선적으로 도시하고 있지만, 직선적으로 된다고 만은 할 수 없고, 소정의 라인이 다른 라인보다, 그 판독 개시 위치가 어긋나 있는 경우도 있다. 또한, 이 판독 개시 라인 b은 설명을 위해 도시한 선으로, 손떨림 보정량 산출부(19)에 의한 처리의 결과로서 생성되는 라인, 또는, 처리를 실행하는데 있어서 필요로 하는 라인은 아니다.

도 12에 나타내는 바와 같이, 판독 개시 라인 b으로부터 판독을 개시하면, 도 12의 하측에 나타낸 도면과 같이, 사각형의 한 변의 일부분을 구성하는 부분 a의 화상이, 일그러짐이 없는 화상으로 보정된 것을 알 수 있다.

본 실시의 형태에 있어서는, 1픽셀 이하의 보정도 가능하기 때문에, 수평 방향 또는 수직 방향의 어느 한쪽에 착안한 경우, 판독할 화소 b가 1개의 화소상에 위치할 때와, 2개의 화소상에 위치할 때를 생각할 수 있다. 우선, 수평 방향으로 착안했을 경우에 대해 설명한다. 도 13A에 나타낸 예는, 화소 b가 1개의 화소상에 위치하는 경우를 나타내고 있다. 도 13A에 나타낸 바와 같은 경우에는, 화소 b의 화소 데이터로서 화소 G3의 화소 데이터가 판독된다.

도 13B에 나타낸 예는, 화소 b가 2개의 화소상에 위치하는 경우를 나타내고 있다. 도 13B에 나타낸 예에서는, 화소 b는 화소 G2와 화소 G3상에 걸쳐 위치하고 있다. 이와 같은 경우에는, 인접하는 복수의 화소로부터 화소 b의 데이터가 작성되고, 그 작성된 데이터가 화소 b의 화소 데이터로서 판독된다.

도 13B에 나타낸 예를 참조하여, 인접하는 복수의 화소로부터 화소 b의 데이터를 생성하는 경우를 설명한다. 우선, 화소 b가 화소 G2와 화소 G3에 걸쳐 있는 경우, 화소 G2와 화소 G3의 화소 데이터만을 이용하여 화소 b의 화소 데이터를 생성한다. 이와 같이 한 경우, 화소 b가 화소 G2와 화소 G3에 걸쳐 있는 각각의 비율을 곱함으로써 화소 b의 화소 데이터를 생성한다.

예를 들면, 화소 G2의 화소 데이터를 데이터 D2라 하고, 화소 G3의 화소 데이터를 데이터 D3이라 하고, 화소 b가 화소 G2에 걸리는 비율을 Kb(0＜Kb＜1)라 하면, 이하의 식에 기초하여 산출된다.

화소 b의 화소 데이터=D2×Kb+D3×(1-Kb)

이와 같은 단순히, 화소 b가 걸려 있는 화소의 데이터와 그 걸려 있는 비율을 곱함으로써, 판독할 화소 b의 화소 데이터를 생성하도록 하여도 되고, 화소 b가 걸려있지 않은 화소의 데이터도 포함하여 화소 b의 화소 데이터를 생성하도록 하여도 된다.

예를 들면, 도 13B에 나타낸 예에서는, 화소 G1 내지 화소 G4를 이용하여 화소 b의 화소 데이터를 생성하도록 한다. 이와 같이 했을 경우, 화소 G2에 걸려 있는 화소 b의 비율로부터 일의적으로 도출되는 계수(K1 내지 K4라 한다)를, 화소 G1 내지 G4의 각각의 화소 데이터(D1 내지 D4이라 한다)에 곱하고, 그 곱하여진 값을 가산한다. 즉, 이하의 식에 기초하여 산출된다.

화소 b의 데이터=D1×K1+D2×K2+D3×K3+D4×K4

이들 계수 K1 내지 K4는, 화소 G2에 걸려 있는 화소 b의 비율(즉, 손떨림 보정량이 소수점 이하의 픽셀을 포함하는 경우, 그 소수점 이하의 수치(예를 들면, 손떨림 보정량이 1.5픽셀로 산출되었을 때에는 0.5))와 관련지워진 테이블로서, 화상 보간부(14) 또는 손떨림 보정량 산출부(19)에 기억되고, 그 기억되어 있는 테이블로부터 계수가 판독되도록 하여도 된다.

이와 같이 복수의 화소로부터, 화소 b의 화소 데이터를 생성하는 편이, 보다 높은 정밀도로 손떨림의 보정을 행하는 것이 가능해진다. 또, 화소 b가 1개의 화소상에 위치하고 있는 것 같은 경우에도, 인접하는 복수의 화소 데이터로부터 화소 데이터가, 전술한 바와 같이 하여 생성되도록 하여도 된다.

이와 같이 하여, 수평 방향의 판독 위치와, 그 판독되는 화소 데이터를 필요에 따라 보간(생성)하는 처리가 행해진다. 다음으로, 수직 방향의 판독 위치와, 그 판독되는 화소를 필요에 따라 보간(생성)하는 처리에 대해 설명한다. 수직 방향에 관해서도, 전술한 수평 방향의 처리와 기본적으로 마찬가지의 처리이다.

도 14의 좌측의 도면은, 손떨림 보정량 산출부(19)에 의해 산출된 수직 방향의 손떨림 보정량을 그래프화한 도면이다. 도 14의 우측의 도면은, 사각형의 피사체를 촬상했을 때에, 상측 방향으로 가해진 손떨림에 의한 영향을 보정하지 않은 경우에 촬상되는 화상 A의 일례를 나타내는 도면으로, 사각형이 신장되어 버린 상태를 나타내고 있다. 도 14의 중앙의 도면은, 우측의 도면에 나타낸 화상 내의 부분 a을 확대했을 때의 도면이다.

화상 A내의 부분 a은 제20′라인 내지 제26′라인의 7개의 라인을 포함한다. 그 중, 판독할 화소 b는 제23′라인 상에 위치한다. 도 14의 중앙에 나타낸 도면에서는, 손떨림이 없는 상태에서 촬상되었을 때에 위치할 라인(이하, 적당히, 본래의 라인이라 기술한다)에 부호를 할당하고, 설명의 편의상, 각 라인간에 간극을 두고 도시하고 있다. 도 14에 나타낸 예에서는, 본래의 라인과 촬상된 화상의 라인이 일치하고 있지 않기 때문에, 라인의 간극에 화상이 존재해 버리는 상태를 나타내고 있다.

전술한 수평 방향의 손떨림의 보정에서는, 1라인내에서의 판독의 개시 위치를 변화시킴으로써 보정이 행해지도록 하였지만, 수직 방향의 손떨림의 보정에서는, 라인 자신을 선택함으로써 보정이 행해지도록 한다. 바꾸어 말하면, 수직 방향의 손떨림의 보정은, 몇 픽셀만큼, 위 또는 아래로 촬상된 라인을 이동시키면, 본래의 손떨림이 없는 상태로 촬상된 화상이 될지를 보정량으로서 산출하고, 그 보정량에 기초하여 판독을 행함으로써 행해진다.

수평 방향의 보정의 경우와 마찬가지로, 수직 방향의 보정에 있어서도, 판독할 화소 b가, 도 15A에 나타내는 바와 같이 1개의 화소(라인)상에 위치할 때와, 도 15B에 나타내는 바와 같이 복수의 화소(라인)상에 위치할 때를 생각할 수 있다. 복수의 화소상에 화소 b가 위치할 때의 화소 b의 화소 데이터의 생성 방법은, 도 13B를 참조하여 설명한 수평 방향의 보정의 경우와 마찬가지로, 계수를 이용하여 산출하는 등의 방법에 의해 행하는 것이 가능하므로, 여기에서는, 그 설명을 생략한다.

이와 같은 보간(보정)이 행해지면, 도 16의 좌측의 도면과 같이, 본래의 라인 상에, 촬상된 화상의 라인이 올라온다. 그 결과, 도 16의 우측의 도면과 같이, 이 경우, 사각형의 한 변을 구성하는 부분이, 본래의 라인 상에 위치하도록 촬상된 화상이 된다. 이와 같이, 수직 방향에 관해서도, 촬상시에 손떨림이 가해진 화상이라도, 손떨림의 영향을 저감시킨 화상을 사용자에게 제공하는 것이 가능해진다.

이와 같이, 본 실시의 형태에 있어서는, 수평 방향과 수직 방향의 보정(도 8의 단계 S14와 단계 S15의 처리)이, 각각 행해진다.

그런데, 전술한 실시의 형태에 있어서는, 단계 S12에 있어서 손떨림량의 보간을 행하고, 단계 S13에 있어서 손떨림 보정량을 산출하도록 하였다. 즉, 손떨림 검출부(18)로부터 취득되는 이산적인 데이터를, 보간하여 라인마다의 손떨림량을 생성한 후에, 라인마다의 보정량을 산출하도록 하였다.

그러나, 도 17에 나타내는 플로우차트에 따라, 손떨림에 의한 영향의 보정이 행해지도록 하여도 된다. 단계 S21에 있어서, 손떨림 검출부(18)로부터 손떨림량이 취득되면, 단계 S22에 있어서, 그 취득된 손떨림량에 대한 손떨림 보정량이, 손떨림 보정량 산출부(19)에 의해 산출된다. 그리고, 단계 S23에 있어서, 그 산출된 손떨림 보정량을 이용하여, 라인마다 손떨림 보정량이 준비되도록, 손떨림 보정량의 보간(생성) 처리가 행해진다.

즉 이 경우, 손떨림 검출부(18)로부터 취득되는 이산적인 데이터로부터, 이산적인 손떨림 보정량을 산출하고, 그 손떨림 보정량을 보간하여 라인마다의 손떨림 보정량이 준비되도록 하였다. 이와 같이, 손떨림 보정량을 산출한 후에, 그 손떨림 보정량을 보간하도록 하여도, 전술한 바와 같은, 손떨림량을 보간한 후에, 그 보간된 손떨림량을 이용하여 손떨림 보정량의 산출을 행하는 경우와 동등한 효과를 얻을 수 있다.

단계 S24 이하의 처리는, 전술한 단계 S14 이하의 처리와 마찬가지의 처리이므로, 그 설명은 생략한다. 또한, 단계 S22나 단계 S23에서의 처리도, 기본적인 처리, 예를 들면, 손떨림 보정량을 산출할 때, 1차 함수를 이용하여 산출한다, 곡선적인 함수를 이용하여 산출하는 등은, 도 8의 플로우차트의 설명을 하는데 있어서 설명한 것과 마찬가지로 행하는 것이 가능하므로, 그 설명은 생략한다.

전술한 바와 같이, 손떨림 보정량 산출부(19)에 있어서는 손떨림 보정량이 산출되는데, 그 손떨림 보정량은, 도 5에 도시한 바와 같이, 화상 보간부(14), TG(15) 및 메모리 콘트롤러(16)에 공급된다. 이 각 부에서 행하는 손떨림 보정량에 기초하는 화소의 판독에 대해 설명한다. 도 18A에 나타내는 바와 같이, 여기에서는, 화소 G1의 소정의 위치가 판독 개시 위치 R0로서 설정되었을 경우를 예로 들어 설명한다.

이와 같은 경우, 우선, TG(15)에 의해, 촬상 소자(11)로부터 AFE(12)에 공급되는 화소 데이터의 판독이 제어된다. TG(15)에 의한 화소 데이터의 판독의 제어는, 정수배에서의 픽셀 단위로 행해진다. 그 때문에, 그 판독은, 도 18B에 나타내는 바와 같이 판독 개시 위치 R1으로부터 개시된다. 이 판독 개시 위치 R1는, 이 경우, 화소 G1의 선두의 위치로 되어 있기 때문에, AFE(12) 이후의 각부에는, 도 18C에 나타내는 바와 같이, 화소 G1 이후의 화소 데이터만이 공급된다.

즉, TG(15)의 제어에 의해, 대략적인 손떨림의 보정이 행해지게 된다.

다음으로, 화상 보간부(14)와 메모리 콘트롤러(16)에 의해, 1픽셀에 못미치는 소수점 이하의 보정이 행해진다. 우선, 화상 보간부(14)를 통해, 메모리 콘트롤러(16)에 의한 제어에 의해, 메모리(17)에는, 도 18C에 나타낸 화소 데이터가 순차적으로 기억된다. 메모리 콘트롤러(16)는 그 메모리(17)에 기억된 화소 데이터를 필요에 따라 판독하여, 화상 보간부(14)에 공급한다.

이 메모리 콘트롤러(16)에 의한 판독과 화상 보간부(14)에서의 처리에 대해 설명하는데, 이 경우, 도 18D의 상단에 나타낸 도면과 같이, 화소 G1의 도중의 위치에 있는 판독 개시 위치 R2로부터 화소 데이터의 판독이 행해지는 것이지만, 화소의 도중부터 판독할 수 없기 때문에, 판독이 아니라, 도 18D의 하단에 나타낸 바와 같이 화소 G1′, 화소 G2′, …, 과 같은 화소 데이터가 생성(보간)되어 출력되는 처리가 행해진다.

이 보간의 처리는, 도 13이나 도 15를 참조하여 이미 설명하였지만, 계수 등을 화소 데이터에 곱하는 처리에 의해 행해진다. 수평 방향 및 수직 방향에 관하여, 각각 화소의 생성(화소의 보간)과 같은 처리가 행해진다. 이와 같은 처리에 의해, 섬세한 손떨림의 보정이 행해진다. 이와 같은 처리가 행해지기 위해서는, 화소 데이터를 기억하기 위한 메모리(17)가 필요하고, 또한, 그 메모리(17)에의 기입과 판독을 제어하기 위한 메모리 콘트롤러(16)가 필요하기 때문에, 도 5에 도시하는 바와 같은 구성으로 되어 있다.

또, 도 5에 도시한 구성예에서는, 신호 처리부(13)로부터 출력되는 화소 데이터(화상 데이터)는 화상 보간부(14)를 통해, 메모리 콘트롤러(16)의 제어하에, 메모리(17)에 기억되도록 되어 있다. 이와 같은 구성으로 함으로써, 전술한 화상 보간부(14)에 의한 화소의 보간과 같은 처리가 행해지기 전(신호 처리부(13)로부터의 데이터를 메모리 콘트롤러(16)에 공급할 때)에, 화상의 해상도의 변환을 행하고, 그 해상도의 변환이 행해진 화상에 대해, 손떨림의 보정과 같은 처리가 행해지도록 하는 것이 가능해진다.

즉, 화상 보간부(14)에 있어서는, 입력된 데이터에 대해 해상도의 변환과 같은 처리를 행하는 것도 가능하며, 출력되는 데이터에 대해 화소의 보간과 같은 처리를 행하는 것도 가능하다. 이와 같이, 메모리(17)에 기억되는 화소 데이터(화상 데이터)와 기억된 그들 데이터를, 화상 보간부(14)를 통하도록 함으로써, 처리에 베리에이션을 갖게 할 수 있다.

전술한 실시의 형태에 있어서는, 화상 처리 장치(10)가 TG(15)를 구비하고 있는 경우를 예로 들어 설명하였지만, TG(15)는 손떨림 보정을 위한 처리에 관해서는, 반드시 필요한 부분은 아니고, 화상 처리 장치(10)가 TG(15)를 구비하지 않는 구성이라 하여도, 본 발명을 적용할 수 있다.

화상 처리 장치(10)가 TG(15)를 구비하지 않은 경우, 화상 보간부(14)와 메모리 콘트롤러(16)에서 전술한 화소의 보간(판독과 생성)이 행해지도록 하면 된다. 손떨림 보정량 산출부(19)가 산출한 손떨림 보정량에 의한 판독 개시 위치가, 도 18A에 나타내는 바와 같은 판독 개시 위치 R0인 경우, TG(15)에 의해 행해진 대략적인 보정을 행하는 일 없이, 도 18D에 나타내는 바와 같은 화소 데이터의 생성이 화소 G1로부터 개시되도록 하면 된다. 바꾸어 말하면, 화상 보간부(14)와 메모리 콘트롤러(16)에 의해, 대략적인 보정과 섬세한 보정을, 일괄하여 행하도록 하면 된다.

전술한 실시의 형태에 있어서, 메모리(17)의 용량에 관한 설명은 하고 있지 않지만, 메모리(17)의 용량은, 예를 들면, 1화상분의 데이터를 기억할 수 있는 용량이면 된다. 그러나, 이하에 설명하는 바와 같이, 손떨림 보정량 등을 처리함으로써, 1화상분의 데이터를 기억할 수 있는 용량 이하라도, 처리를 행하는 것이 가능하다. 즉, 메모리(17)의 용량이 작아도, 전술한 높은 정밀도의 손떨림 보정을 행하는 것이 가능하다.

우선, 수평 방향의 손떨림 보정을 행하는 경우에 대해 설명한다. 도 19에 나타내는 바와 같이, 1필드 또는 1프레임 내에, 손떨림 검출부(18)(도 5)가, 8회의 손떨림 정보를 검출하는 화상 처리 장치(10)인 것으로 하여 설명을 한다. 노광 기간을 도 19에 나타낸 바와 같이 설정하면, 제1 라인의 손떨림 정보는 정보 a1 내지 정보 a6까지의 데이터로부터 산출할 수 있고, 여기에서는, 그와 같이 설정되어 있는 것으로 한다.

전술한 바와 같이, 본 실시의 형태에 있어서는, 가해진 손떨림을 보정하기 위한 손떨림 보정량은, 소정의 라인에 관한 데이터를 이용하여 보간(산출)함으로써, 라인마다의 손떨림 보정량을 준비하도록 하였다. 이 손떨림량 또는 손떨림 보정량의 보간시에는, 도 9B를 재차 참조하는데, 예를 들면, 제1′라인과 제50′라인의 2개 라인의 손떨림 정보가 없으면, 그 사이의 제2′라인 내지 제49′라인의 손떨림량 및 손떨림 보정량을 취득할 수 없다.

그러나, 도 18에 나타낸 바와 같이, 제1 라인(예를 들면, 제1′라인)의 손떨림 정보로서 정보 a1 내지 a6을 이용하도록 한 경우, 바꾸어 말하면, 그 라인의 노광 기간 내에 취득하는 것이 가능한 손떨림 정보(이 경우 6개)를 이용하도록 한 경우, 다음 정보 a7이 취득될 때까지, 다음의 손떨림량을 산출할 수 없다. 이 경우, 정보 a7이 취득되는 것은, 제i 라인(예를 들면, 제50′라인)일 때이다.

따라서, 6개의 손떨림 정보를 이용하여 손떨림량을 산출하도록 한 경우, 제1 라인 내지 제i 라인의 사이에 있는 제2 라인 내지 제(i-1) 라인(예를 들면, 제2′라인 내지 제49′라인)은, 제i 라인에서의 정보 a7이 취득될 때까지, 보간 처리를 행할 수 없게 된다. 즉, 이와 같은 손떨림 검출에서는, 소정 위치의 라인을 판독할 때에, 그 라인에서의 손떨림 정보가 취득되지 않아, 손떨림 보정에 의해 화소 데이터를 판독할 위치를 결정할 수 없게 된다. 이 때문에, 일단 화상 데이터를 메모리(17)에 저장하고, 손떨림 보정량을 산출한 후에, 판독(및 보간 등의 처리)을 실행할 필요가 있다.

그러나, 여기에서, 제1 라인의 손떨림량을, 정보 a2 내지 a5로부터 산출하도록 한다. 즉, 노광 기간에 취득할 수 있는 손떨림 정보 중, 양단의 정보를 제외하고, 중앙에 위치하는 4개의 정보로부터 손떨림량을 산출하도록 한다.

이와 같이, 중앙 부분의 정보(시간적으로 중앙에 위치하는 정보와 그 전후의 정보)를 이용하여 손떨림량을 산출하도록 하면, 제1 라인의 노광 기간이 종료한 시점에서, 제i 라인에 관한 손떨림량을 산출할 때에 필요하게 되는 정보 a3 내지 a6까지의 정보가, 이미 검출(취득)되어 있게 된다. 따라서, 제1 라인의 시점에서, 제i 라인에 관한 손떨림량을 산출할 수 있으므로, 제1 라인의 손떨림량과 제i 라인의 손떨림량으로부터 제2 라인 내지 제(i-1) 라인에 관한 손떨림량을, 라인마다, 제1 라인의 시점에서 취득(산출)할 수 있다.

따라서, 화상 데이터를 일단 메모리(17)에, 손떨림량을 산출하기 위해 저장하도록 하지 않아도, 손떨림량 및 손떨림 보정량을 산출할 수 있고, 따라서, 메모리(17)에 화상 데이터를 기억하지 않아도, 수평 방향에 관해서는, 손떨림 보정을 행하는 것이 가능해진다.

만일, 제1 라인의 손떨림량을, 중앙 부분의 정보 a3과 정보 a4를 이용하여 산출하도록 했을 경우, 즉 중앙 부분의 2개의 정보만으로 제1 라인의 손떨림량을 산출하도록 했을 경우, 제1 라인의 손떨림량을 산출하는 시점에서(1라인째의 노광 기간이 종료한 시점에서), 제i 라인과 또한 더 앞의 제j 라인의 손떨림량까지 산출하는 것이 가능해진다.

이와 같이 했을 경우, 1라인에 관한 손떨림량은, 적은 정보로부터 생성되게 되지만, 다른 라인(예를 들면, 제1 라인에 대해서는, 제i 라인이나 제j 라인)의 손떨림량도 이용하여, 즉 복수 라인의 손떨림량을 이용하여, 1라인의 손떨림량을 보정하도록 처리를 행함으로써, 정밀도가 높은 손떨림량을 산출하도록 하는 것도 가능하며, 그 결과, 보다 정밀도가 높은 손떨림 보정량을 산출하도록 하는 것도 가능하다.

다음으로, 수직 방향의 손떨림 보정을 행하는 경우에 대해 설명한다. 수직 방향의 손떨림의 보정에 관해서도, 전술한 수평 방향의 손떨림의 보정의 경우와 기본적으로 마찬가지이므로, 차이가 있는 부분에 대해 설명한다. 도 19를 재차 참조하여 설명한다. 수직 방향에 관해서도, 전술한 수평 방향의 경우와 마찬가지로, 1라인째(제1 라인)의 손떨림량을 산출하는데, 예를 들면, 정보 a2 내지 a5의 정보로부터 산출하도록 하면, 1라인째의 노광 기간이 종료한 시점에서, 제i 라인의 손떨림량을 산출하는데 필요한 정보 a3 내지 a6이 이미 검출(취득)되어 있게 된다.

이 때문에, 전술한 수평 방향의 경우와 같이, 1화면분의 화상 데이터를 기억하는 용량을 구비하는 메모리(17)를, 화상 처리 장치(10)가 구비할 필요가 없고, 메모리(17)의 용량이 작아도, 본 발명을 적용한 높은 정밀도의 손떨림의 보정을 행할 수 있다.

그러나, 수평 방향의 손떨림 보정과 달리, 수직 방향의 손떨림 보정에서는, 도 14나 도 15를 참조하여 설명한 바와 같이, 복수의 라인에 걸쳐 처리를 행할 필요가 있기 때문에, 손떨림량과 화소를 보간할 때에 필요한 화소수분(예를 들면, 10라인분)의 화소(화상) 데이터를 기억할 만큼의 용량을 갖는 메모리(17)를, 화상 처리 장치(10)는 구비할 필요가 있다.

이와 같이, 화상 처리 장치(10)는 메모리(17)를 구비할 필요는 있지만, 그 용량은, 1화상을 기억할 수 있는 용량 이하이어도 무방하여, 메모리(17)의 용량의 삭감을 행할 수 있다. 따라서, 메모리(17)의 손떨림 보정을 위한 화상 데이터의 기억을 위해 필요한 용량 이외의 용량을, 다른 처리를 위해 사용하는 것이나, 용량을 삭감함으로써 메모리(17)에 드는 코스트 자체를 저감시키는 것이 가능해진다.

이상과 같이, 손떨림 검출부(18)(도 5)에 있어서, 짧은 기간에 취득되는 정보로, 손떨림량(손떨림 보정량)의 산출을 행하면, 메모리(17)의 용량의 삭감을 행할 수 있다. 전술한 실시의 형태에 있어서는, 설명의 간략화를 위해, 1필드 또는 1프레임 내에 8회의 손떨림 정보를 검출하는 것으로 했지만, 본 발명을 적용하는데, 손떨림의 검출 회수에 제한은 없고, 어떤 회수라도 본 발명을 적용할 수 있다.

그런데, X-Y 어드레스형의 고체 촬상 소자를 이용한 촬상 장치의 촬상 과정에 있어서는, 각 화소의 화상 정보는, 노광 기간이 종료한 직후에 판독된다. 전술한 바와 같이 메모리(17)의 용량을 삭감할 수 있는 방법을 적용했을 경우, 문제가 발생할 것으로 생각된다. 그 문제란, 노광 기간이 짧아지면(셔터 스피드가 빨라지면, 바꾸어 말하면, 손떨림 검출 간격＞노광 시간의 절반의 관계가 만족되면), 화소 정보를 판독하는 타이밍일 때, 아직 다음 시각의 손떨림량이 검출되지 않은 상태가 되는 경우가 있는 것이다.

그 문제에 대해, 도 20을 참조하여 설명한다. 제1 영역에 있어서, 각 라인의 노광 중심은 손떨림 검출에 관한 정보 a4와 정보 a5의 사이에 존재한다. 이 때, 손떨림량은 정보 a4와 정보 a5의 정보로부터 보간될 필요가 있지만, 제1 영역내의 각 라인이 판독되는 시각에는, 정보 a5의 손떨림 검출은 아직 행해지고 있지 않은 상태이다. 그 때문에, 제1 영역에 있어서, 손떨림량을 보간에 의해 구할 수 없다.

제2 영역에서, 각 라인의 판독 시각이 정보 a5의 검출 시각을 초과한다. 각 라인의 노광 중심이, 손떨림 검출에 관한 정보 a4와 정보 a5의 사이에 존재하고, 또한 정보 a4와 정보 a5의 손떨림이 검출되고 있기 때문에, 각 라인의 손떨림량은 정보 a4와 정보 a5의 손떨림 정보로부터 보간으로 구할 수 있다.

제3 영역에서, 각 라인의 노광 중심이 정보 a5의 검출 시각을 초과하고, 손떨림 검출 정보 a5와 정보 a6의 사이에 존재한다. 이 때 손떨림량은, 정보 a5와 정보 a6의 정보로부터 보간할 필요가 있지만, 제3 영역내의 각 라인의 판독되는 시각에, 아직 정보 a6의 손떨림 검출이 행해지지 않았다. 그 때문에, 제3 영역에서는 손떨림량을 보간에 의해 구할 수 없다.

이와 같이, (손떨림 검출 간격)＞(노광 시간의 절반)이라고 하는 조건이 만족될 때, 손떨림량을 보간할 수 없는 영역이 존재하게 되는 것으로 생각할 수 있다.

손떨림 검출의 샘플링 주파수를 증가시킴으로써, 손떨림 검출 간격을 짧게 하여 전술한 문제를 회피하는 것은 가능하지만, 계산량이나 통신량의 증가에 의해 시스템 부담이 증대한다.

따라서, 시스템 부담을 억제하면서, 동시에 전술한 문제를 해결하는 방법으로서, 손떨림량의 예측을 행하도록 한다. 과거의 손떨림 정보로부터, 다음 시각의 손떨림량을 예측하는 것이다. 예를 들면, 도 21에 나타내는 바와 같이, 예측한 손떨림량 F1을 산출하는데, 과거의 손떨림량 P1과 P2를 이용하고, 그 손떨림량 P1과 P2로부터 선형적으로 제1 직선을 취득하여, 그 제1 직선의 연장상의 1점인 손떨림량 F1을 산출한다.

이 방법은, 일례에 불과하며, 예측에 이용하는 과거의 손떨림 데이터수나, 예측 알고리즘 등에 제한은 없다.

전술한 실시의 형태에 있어서는, 화면의 상단 또는 하단의 근방에서의 손떨림량(손떨림 보정량)의 보간 처리를 실행하는 경우, 시간적으로 전후의 필드 또는 프레임에서의 손떨림 데이터를 이용하여, 보간을 위한 연산을 행하도록 하여도 된다. 그와 같이 했을 경우, 보다, 정밀도 높게 손떨림을 보정하기 위한 보정량 등을 산출할 수 있고, 따라서, 보다 정밀도 높게 손떨림을 보정하는 것이 가능하게 된다.

또, 전술한 실시의 형태에 있어서는, 촬상되는 화상에 대한 설명은 특별히 하지 않았지만, 촬상되는 화상은 정지 화상, 동화상의 어느 것이라도 된다. 즉, 본 발명은 정지 화상을 촬상하는 카메라 등에도 적용할 수 있고, 동화상을 촬상하는 카메라 등에도 적용할 수 있다.

이상과 같이, 본 발명에 따르면, 검출되는 적은 손떨림에 관한 데이터로부터, 보간에 의해, 화상을 구성하는 1라인마다의 손떨림을 보정하기 위한 데이터를 구하는 것이 가능해진다. 또한, 1픽셀 이하의 손떨림량을 보정하기 위해, 화소 데이터의 보간을 행하도록 함으로써, CMOS 등의 X-Y 어드레스형의 고체 촬상 소자를 이용한 비디오 카메라 등의 화상 처리 장치에서의 손떨림에 의한 화상의 일그러짐을, 라인마다 1픽셀 단위 이하의 정밀도로 보정할 수 있다.

또한, 본 발명에 따르면, 촬상된 화상의 화상 데이터를 기억하기 위한 메모리(17)의 용량을 삭감하는 것이 가능해진다. 물론, 본 발명은 CMOS 등의 X-Y 어드레스형의 고체 촬상 소자가 아니라, CCD 등의 전하 전송형의 고체 촬상 소자를 이용한 비디오 카메라 등에 적용하는 것도 가능하다.

전술한 손떨림을 보정하기 위한 처리는, 각각의 기능을 갖는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨된다.

기록 매체에 대해 설명하기 위해, 간단하게 기록 매체를 취급하는 퍼스널 컴퓨터에 대해 설명한다. 도 22는 범용의 퍼스널 컴퓨터의 내부 구성예를 도시하는 도면이다. 퍼스널 컴퓨터의 CPU(Central Processing Unit; 201)는 ROM(Read Only Memory)(202)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. RAM(Random Access Memory; 203)에는 CPU(201)가 각종의 처리를 실행하는데 있어서 필요한 데이터나 프로그램 등이 적절히 기억된다. 입출력 인터페이스(205)는 키보드나 마우스로 구성되는 입력부(206)가 접속되어, 입력부(206)에 입력된 신호를 CPU(201)에 출력한다. 또한, 입출력 인터페이스(205)에는 디스플레이나 스피커 등으로 구성되는 출력부(207)도 접속되어 있다.

또한, 입출력 인터페이스(205)에는 하드디스크 등으로 구성되는 기억부(208) 및 인터넷 등의 네트워크를 통해 다른 장치와 데이터의 수수를 행하는 통신부(209)도 접속되어 있다. 드라이브(210)는 자기 디스크(231), 광디스크(232), 광자기 디스크(233), 반도체 메모리(234) 등의 기록 매체로부터 데이터를 판독하거나 데이터를 기입할 때에 이용된다.

기록 매체는, 도 22에 도시하는 바와 같이, 퍼스널 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(231)(플렉시블 디스크를 포함한다), 광디스크(232)(CD-ROM; Compact Disc-Read Only Memory), DVD(Digital Versatile Disc), 광자기 디스크(233)(MD(Mini-Disc)(등록상표)를 포함한다), 또는 반도체 메모리(234) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 내장된 상태로 사용자에게 제공되는, 프로그램이 기억되어 있는 ROM(202)이나 기억부(208)가 포함되는 하드디스크 등으로 구성된다.

또, 본 명세서에 있어서, 매체에 의해 제공되는 프로그램을 기술하는 단계는, 기재된 순서에 따라, 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

본 발명에 따르면, 촬상시에 가해진 손떨림을 보정할 수 있다.

본 발명에 따르면, 더욱 정밀도 높게 손떨림을 보정할 수 있다.

본 발명에 따르면, 1픽셀 이하의 손떨림을 보정할 수 있다.

본 발명에 따르면, 손떨림의 보정에 필요한 화상 데이터를 기억하기 위한 메모리 용량을 삭감할 수 있다.

본 발명에 따르면, 노광 시간을 짧게 했을 경우에도, 손떨림의 보정에 필요한 화상 데이터를 기억하기 위한 메모리의 용량을 삭감할 수 있다.

Claims (12)

1. X-Y 어드레스형의 고체 촬상 소자에 의해 화상을 촬상하는 촬상 수단과,

   가해진 진동을 검출하고, 진동 검출 정보를 출력하는 출력 수단과,

   상기 출력 수단으로부터 출력된 상기 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 수단과,

   상기 변환 수단에 의해 변환된 상기 진동량으로부터 가해진 상기 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정량을 산출하는 산출 수단과,

   상기 진동량 또는 상기 보정량을 보간하는 보간 수단과,

   상기 보정량에 기초하여 상기 촬상 수단에 의해 촬상된 상기 화상을 보정하고, 보정 후의 화상을 출력하는 보정 수단을 구비하고,

   상기 변환 수단은, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

   상기 보간 수단은, 상기 제1 진동량과 상기 제2 진동량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고,

   상기 산출 수단은, 상기 보간 수단에 의해 보간된 진동량으로부터, 라인마다의 상기 보정량을 산출하거나,

   또는,

   상기 변환 수단은, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

   상기 산출 수단은, 상기 제1 진동량으로부터 제1 보정량을, 상기 제2 진동량으로부터 제2 보정량을, 각각 산출하고,

   상기 보간 수단은, 상기 제1 보정량과 상기 제2 보정량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 보정 수단은, 상기 보정량에 기초하여, 보정 후의 화소의 위치에 위치하는 상기 촬상 수단에 의해 촬상된 상기 화상 내의 화소의 화소 데이터를 이용하여, 상기 보정 후의 화소를 생성하는 것을 특징으로 하는 화상 처리 장치.
3. 제1항에 있어서,

   상기 변환 수단은, 소정 기간 내에 상기 출력 수단으로부터 출력된 상기 진동 검출 정보 중, 시간적으로 중앙과, 그 전후에 위치하는 복수의 상기 진동 검출 정보로부터, 상기 진동량을 생성하는 것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,

   상기 변환 수단은, 과거의 진동 정보로부터 미래의 진동 정보를 예측하는 능력을 갖는 것을 특징으로 하는 화상 처리 장치.
5. 제1항에 있어서,

   상기 산출 수단은, 1매의 화상 촬상 중에, 상기 변환 수단으로부터 상기 진동량을 1회 이상 생성하거나, 또는 상기 보정 수단으로부터 상기 보정량을 1회 이상 산출하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항에 있어서,

   상기 변환 수단으로부터의 상기 진동량과, 상기 산출 수단으로부터의 상기 보정량은, 1픽셀 단위 이하의 수치도 포함하는 것을 특징으로 하는 화상 처리 장치.
7. 제1항에 있어서,

   상기 보정 수단은, 1픽셀 단위 이하의 정밀도로 화소 보간을 행하는 것을 특징으로 하는 화상 처리 장치.
8. 제1항에 있어서,

   상기 보정 수단이 상기 화상의 수직 방향의 보정을 행할 때에 필요하게 되는 상기 촬상 수단에 의해 촬상된 상기 화상의 데이터만을 기억하는 기억 수단을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
9. 제1항에 있어서,

   화상 1매분이 아니라, 화상 내의 손떨림 보정에 필요한 영역만을 저장하는 것을 특징으로 하는 화상 처리 장치.
10. X-Y 어드레스형의 고체 촬상 소자에 의해 화상을 촬상할 때, 가해진 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정을 행하는 화상 처리 장치의 화상 처리 방법에 있어서,

    촬상 소자에 의한 화상의 촬상을 제어하는 촬상 제어 단계와,

    가해진 진동을 검출하는 검출 단계와,

    상기 검출 단계의 처리에서 검출된 상기 진동에 관한 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 단계와,

    상기 변환 단계의 처리에서 변환된 상기 진동량으로부터 가해진 상기 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정량을 산출하는 산출 단계와,

    상기 진동량 또는 상기 보정량을 보간하는 보간 단계와,

    상기 보정량에 기초하여 상기 촬상 제어 단계의 처리에서 촬상이 제어된 상기 화상을 보정하고, 보정 후의 화상을 출력하는 보정 단계

    를 포함하고,

    상기 변환 단계의 처리에서, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

    상기 보간 단계의 처리에서, 상기 제1 진동량과 상기 제2 진동량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고,

    상기 산출 단계의 처리에서, 상기 보간 단계의 처리에서 보간된 진동량으로부터, 라인마다의 상기 보정량을 산출하거나,

    또는,

    상기 변환 단계의 처리에서, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

    상기 산출 단계의 처리에서, 상기 제1 진동량으로부터 제1 보정량을, 상기 제2 진동량으로부터 제2 보정량을, 각각 산출하고,

    상기 보간 단계의 처리에서, 상기 제1 보정량과 상기 제2 보정량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간하는 것을 특징으로 하는 화상 처리 방법.
11. X-Y 어드레스형의 고체 촬상 소자에 의해 화상을 촬상할 때, 가해진 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정을 행하는 화상 처리 장치의 프로그램으로서,

    촬상 소자에 의한 화상의 촬상을 제어하는 촬상 제어 단계와,

    가해진 진동을 검출하는 검출 단계와,

    상기 검출 단계의 처리에서 검출된 상기 진동에 관한 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 단계와,

    상기 변환 단계의 처리에서 변환된 상기 진동량으로부터 가해진 상기 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정량을, 픽셀 단위로 산출하는 산출 단계와,

    상기 진동량 또는 상기 보정량을 보간하는 보간 단계와,

    상기 보정량에 기초하여 상기 촬상 제어 단계의 처리에서 촬상이 제어된 상기 화상을 보정하고, 보정 후의 화상을 출력하는 보정 단계

    를 포함하고,

    상기 변환 단계의 처리에서, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

    상기 보간 단계의 처리에서, 상기 제1 진동량과 상기 제2 진동량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고,

    상기 산출 단계의 처리에서, 상기 보간 단계의 처리에서 보간된 진동량으로부터, 라인마다의 상기 보정량을 산출하거나,

    또는,

    상기 변환 단계의 처리에서, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

    상기 산출 단계의 처리에서, 상기 제1 진동량으로부터 제1 보정량을, 상기 제2 진동량으로부터 제2 보정량을, 각각 산출하고,

    상기 보간 단계의 처리에서, 상기 제1 보정량과 상기 제2 보정량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
12. 촬상 소자에 의해 화상을 촬상할 때, 가해진 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정을 행하는 화상 처리 장치를 제어하는 컴퓨터에 실행시킬 프로그램에 있어서,

    라인마다 촬상하는 촬상 소자에 의한 화상의 촬상을 제어하는 촬상 제어 단계와,

    가해진 진동을 검출하는 검출 단계와,

    상기 검출 단계의 처리에서 검출된 상기 진동에 관한 진동 검출 정보를, 가해진 진동의 크기를 나타내는 진동량으로 변환하는 변환 단계와,

    상기 변환 단계의 처리에서 변환된 상기 진동량으로부터 가해진 상기 진동에 의한 상기 화상에 대한 영향을 저감하기 위한 보정량을, 픽셀 단위로 산출하는 산출 단계와,

    상기 진동량 또는 상기 보정량을 보간하는 보간 단계와,

    상기 보정량에 기초하여 상기 촬상 제어 단계의 처리에서 촬상이 제어된 상기 화상을 구성하는 화소를 보정하고, 보정 후의 화소로 구성되는 화상을 출력하는 보정 단계

    를 포함하고,

    상기 변환 단계의 처리에서, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

    상기 보간 단계의 처리에서, 상기 제1 진동량과 상기 제2 진동량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 진동량을 보간하고,

    상기 산출 단계의 처리에서, 상기 보간 단계의 처리에서 보간된 진동량으로부터, 라인마다의 상기 보정량을 산출하거나,

    또는,

    상기 변환 단계의 처리에서, 상기 진동 검출 정보를, 제1 라인이 촬상되었을 때의 제1 진동량과 제2 라인이 촬상되었을 때의 제2 진동량으로 변환하고,

    상기 산출 단계의 처리에서, 상기 제1 진동량으로부터 제1 보정량을, 상기 제2 진동량으로부터 제2 보정량을, 각각 산출하고,

    상기 보간 단계의 처리에서, 상기 제1 보정량과 상기 제2 보정량을 이용하여, 상기 제1 라인과 상기 제2 라인 사이의 라인이 촬상되었을 때의 라인마다의 보정량을 보간하는 것을 특징으로 하는 프로그램.