KR20050094414A - 화상 처리 장치 - Google Patents

Abstract

손떨림 등에 의해 발생하는 촬영 화상의 흔들림을 고속도로 보정하는 화상 처리 장치 및 그 방법. 우선, 화상 센서로 취입된 2개의 화상의 각각에 대하여 움직임 검출 영역을 선택한다. 이 움직임 검출 영역의 화소값을 소정 방향으로 연산하여, 사영 데이터를 산출하면, 이 사영 데이터에 근거하여 2개의 화상 사이의 움직임 벡터가 구해진다. 다음에 2개의 화상의 화상 상관을 움직임 벡터가 지정하는 방향으로 계산하고, 그 계산에 의해 얻어지는 상관값에 근거하여 이 2개의 화상 사이의 화소 편차량을 산출한다. 또한 2개째의 화상에 지정되어 있는 손떨림 보정 영역으로부터 화상 출력 영역을 변위 산출부에 의해 산출된 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2개째의 화상 출력 영역의 화상으로서 출력한다.

Description

화상 처리 장치{IMAGE PROCESSOR}

본 발명은 손떨림 등에 의해 발생하는 촬영 화상의 흔들림을 취급하는 화상 처리 장치 및 그 처리 방법에 관한 것으로, 특히, 흔들림의 보정에 요하는 화상 처리 시간의 단축화에 관한 것이다.

최근, CCD(Charge Coupled Device) 센서나 CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 화상 센서를 탑재한 디지털 카메라나 무비카메라가 많이 발매되어, 초보자라도 손쉽게 정지 화상 또는 동화상을 촬영할 수 있게 되었다. 그런데, 카메라를 삼각대 등으로 고정하지 않는 한, 일반 사용자가 화상을 촬영하면, 필연적으로 화상의 흔들림이 발생하기 때문에, 이것을 보정하기 위해 여러 가지의 방식이 고안되어 왔다.

그 방법은 크게 두 가지로 나누어진다. 하나는, 가속도 센서 등을 이용하여 카메라 자신의 움직임을 검출하고, 렌즈나 프리즘의 방향을 기계적으로 제어하는 것이며, 또 하나는 촬영한 화상의 디지털 데이터에 화상 처리를 실시하고, 화상의 흔들림량을 계산하여 화상의 흔들림을 보정하는 것이다.

전자는, 흔들림 보정 정밀도가 높은 반면, 가속도 센서나 렌즈 제어의 부품이 필요하여, 장치 자체의 경량화나 저비용화에 문제가 있다. 이것에 비하여, 후자는 해상도가 떨어진다고 하는 결점은 있지만, 신호 처리만으로 손떨림 보정이 가능하고, 또한 저비용으로 실현할 수 있기 때문에, 널리 이용되고 있다.

일본 특허 공개 평성 제5-75913호 공보에 개시된 움직임 벡터 검출 회로 및 손떨림 보정 회로는, 이러한 화상 처리를 이용한 손떨림 보정에 관한 종래 기술의 예이다. 여기서는, 입력 화상을 복수 영역으로 분할하고, 그 중에서 선택된 몇 개의 영역에서 움직임 벡터를 계산하고 있다. 이 움직임 벡터의 정밀도를 향상시키기 위해서, 선택하는 영역 수를 늘리면, 움직임 벡터의 계산량이 증가하기 때문에, 각 영역에서 상관성 계산의 신뢰성을 판정하는 회로가 마련되고, 움직임 벡터의 계산은 이 판정 회로에 의해 신뢰성이 있다고 판단된 영역에만 한정되어 있다. 그런데 각 영역 모두에 신뢰성이 있는 경우 역시 모든 영역에서 움직임 벡터를 계산해야 하여, 처리 속도에 과제가 남겨져 있었다.

도 1은 본 발명의 실시예 1에 따른 화상 처리 장치의 구성을 나타내는 블럭도,

도 2는 본 발명의 실시예 1에 따른 처리 순서를 나타내는 흐름도,

도 3은 움직임 산출부의 동작을 설명하기 위한 도면,

도 4는 변위 산출부의 동작을 설명하기 위한 도면,

도 5는 기본 화상 영역과 직사각형 영역군의 관계를 설명하기 위한 도면,

도 6은 본 발명의 실시예 2에 따른 화상 처리 장치의 구성을 나타내는 블럭도,

도 7은 본 발명의 실시예 2에 따른 처리 순서를 나타내는 흐름도,

도 8은 변환 보정부의 동작을 설명하기 위한 도면이다.

본 발명에서는, 화상 센서에 의해 취입된 이차원 화상에, 움직임 검출 영역, 화상 출력 영역 및 손떨림 보정 영역을 설정한다. 우선, 화상 센서로 취입된 2개의 화상에 대하여, 움직임 검출 영역의 화소값을 소정 방향으로 연산하여, 사영 데이터를 산출하면, 이 사영 데이터(projective data)에 근거하여 2개의 화상 사이의 움직임 벡터가 구해진다. 이어서, 1개째의 화상 출력 영역의 화상과, 2개째의 손떨림 보정 영역에 포함되는 화상에 대하여, 화상 상관을 움직임 벡터가 지정하는 방향으로 계산하고, 그 계산에 의해 얻어지는 상관값에 근거하여, 이 2개의 화상 사이의 화소 편차량을 산출한다. 또한, 2개째의 손떨림 보정 영역으로부터, 화상 출력 영역을 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2개째의 화상 출력 영역의 화상으로서 출력한다. 이에 따라 손떨림 보정 기능을 정밀하고 또한 고속으로 실현할 수 있다.

(실시예 1)

이하, 본 발명의 실시예 1에 대하여, 도면을 참조하면서 설명한다. 도 1은 본 발명의 실시예 1에 따른 화상 처리 장치의 구성을 나타내는 블럭도이며, 화상 입력부(1), 움직임 산출부(2), 변위 산출부(3), 화상 출력부(4)의 4요소가 도시되어 있다. 또한, 도 2는 화상 보정의 순서를 나타내는 흐름도이다.

우선, 화상 입력부(1)는 CCD 센서나 CMOS 센서 등의 화상 센서에 의해 이차원의 프레임 화상을 취득한다(ST101). 움직임 산출부(2)는, 화상 입력부(1)에 의해 취득된, 전후하는 2개의 프레임 화상에 대하여, 지정된 움직임 검출 영역을 이용하여 움직임 벡터를 산출한다(ST102). 변위 산출부(3)는, 움직임 산출부(2)에 의해 산출된 움직임 벡터가 지시하는 방향에만 한정하여 2개의 프레임 화상의 화상 상관을 계산하고, 이 2개의 프레임 화상 사이의 화소 편차량을 산출한다(ST104). 화상 출력부(4)는, 2개째의 프레임 화상의 손떨림 보정 영역으로부터 화상 출력 영역을 먼저 구해진 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2개째의 화상 출력 영역의 보정 화상으로서 출력한다(ST105).

보다 구체적인 움직임 산출부(2)의 동작을 도 3(a)∼(d)를 이용하여 설명한다. 도 3(a)에 사선으로 표시된 4개의 직사각형 영역이 움직임 검출 영역(6)을 나타낸다. 각각의 움직임 검출 영역(6)에서, 화소가 나열되는 세로 방향 또는 가로 방향으로 화소값을 가산하여, 사영 데이터를 취득한다. 또, 여기서는 움직임 검출 영역(6)의 수가 4개인 예를 설명하고 있지만, 움직임 검출 영역(6)은 5개 이상 마련하더라도 좋고, 또는 1∼3개 마련하는 것만이라도 좋다.

도 3(b)에, 세로 방향으로 화소값을 가산하여 얻어지는 세로 방향 사영 데이터(7)의 예와, 가로 방향으로 화소값을 가산하여 얻어지는 가로 방향 사영 데이터(8)의 예를 나타낸다. 여기서는, 화소의 수는 세로·가로 모두 10개이다. 이 세로 방향 사영 데이터(7)와 가로 방향 사영 데이터(8)를 이용하여, 2개의 프레임 화상 사이의 상관 관계를 계산함으로써, 움직임 검출 영역(6)에 포함되는 화상의 움직임 벡터를 구할 수 있다.

구체적으로, 움직임 벡터의 수평 성분의 구하는 방법을 2 프레임분의 세로 방향 사영 데이터를 이용하여 이하에 설명한다. 우선, 1 프레임째의 세로 방향 사영 데이터(7)를 도 3(c)에 나타내고, 2 프레임째의 세로 방향 사영 데이터(11)를 도 3(d)에 나타낸다. 도 3(c)에 있어서, 범위 w1은 상관 계산의 대상으로 되는 1 프레임째의 사영 데이터를 나타내고, 또한 범위 w2는 1 프레임째에서는 상관 계산의 제외인 사영 데이터를 나타내고 있다. 또한, 도 3(d)에 있어서, 범위(9)는 상관 계산의 대상으로 되는 2 프레임째의 사영 데이터 중, 가장 좌단에 위치하는 사영 데이터를, 또한 범위(10)는 가장 우단에 위치하는 사영 데이터를 나타내고 있다. 범위(9, 10)의 폭은 모두 w1이다.

2 프레임째의 화상에는 1 프레임째의 화상의 직후의 것을 통상 선택하지만, 소정의 프레임수를 비워 선택할 수도 있다. 1 프레임째의 사영 데이터(w1)와 2 프레임째의 사영 데이터의 상관 계산은, 범위(9)로부터 범위(10)까지의 사이를, 어느 쪽의 사영 데이터를 1 화소씩 비키어 놓으면서 실행한다.

보다 구체적으로는, 범위 w1에 포함되는 1 프레임째의 사영 데이터와 2 프레임째의 사영 데이터에 대하여, 대응하는 각각의 사영 데이터의 차의 절대값을 가산하여, 구해진 총합 값을 상관값으로 한다. 사영 데이터를 1 화소씩 비키어 놓으면서 상관 계산을 하고, 세로 방향 사영 데이터의 각 위치에서 계산되는 상관값에 대하여, 최소값을 부여하는 장소가 움직임 벡터의 수평 성분으로 된다. 예컨대, 1 프레임째의 사영 데이터에 대하여, 2 프레임째의 사영 데이터 중에서 범위(9)의 위치에서 최소라고 하면, 얻어지는 움직임 벡터의 수평 성분은 -w2, 마찬가지로 범위(10)이라면 +w2로 된다. 가로 방향 사영 데이터(8)에 대해서도 동일한 계산을 적용함으로써, 움직임 벡터의 수직 성분을 얻을 수 있다.

상기한 바와 같이 하여, 4개의 움직임 검출 영역(6)의 각각으로부터, 각 영역에 대해 1개의 움직임 벡터를 얻을 수 있다. 이렇게 해서 얻어진 4개의 움직임 벡터로부터, 화상 센서를 탑재한 카메라 전체가 움직인 방향을 대표하는 움직임 벡터를 계산한다. 그것을 위해서는, 이들 4개의 평균 벡터를 대표 움직임 벡터로 해도 좋고, 그 이외의 방법, 예컨대 4개의 움직임 벡터의 방향각을 비교하여, 특히 각도 또는 크기가 어긋난 n개(단 n<3)의 움직임 벡터는 노이즈로서 제외하고, 그 이외의 (4-n)개의 움직임 벡터의 평균을 대표 움직임 벡터로 해도 좋다.

다음에, 변위 산출부(3)의 동작을 도 4(a)∼(e)를 이용하여 설명한다. 도 4(a)에는, 촬상 소자 전체를 나타내는 센서 화소 영역(16)과, 손떨림 보정을 실시하는 대상으로 되는 화상 출력 영역(12)이 도시되어 있다. 사용자에는 화상 출력 영역(12)이 도시되어 있다. 손떨림 보정 영역(13)은 화상 출력 영역(12)과 그 외측에 그려진 사선 영역을 포함하고, 여기에서, 화상 출력 영역(12)과 동일한 사이즈의 직사각형 영역을 잘라낸다.

손떨림 보정을 실시하는 경우, 2 프레임분의 화상을 이용하여, 양 화상의 화상 상관을 구한다. 단, 1 프레임째의 화상에는 화상 출력 영역(12)의 화상, 2 프레임째의 화상에는 손떨림 보정 영역(13)으로부터 잘라낸 화상을 이용한다. 즉, 손떨림 보정 영역(13)으로부터, 화상 출력 영역(12)과 동일한 사이즈의 영역에서, 또한 가장 상관이 높은 화상 영역을 추출하면, 시계열 화상으로서 본 경우, 손떨림이 보정된 동화상을 얻는 것으로 된다.

화상 출력 영역(12)의 화상과 손떨림 보정 영역(13)의 화상의 상관을 계산하기 위해서는, 선택적으로 화소를 솎아내고, 그 계산량을 삭감한다. 도 4(b)∼(e)는, 이 선택 방식의 구체예이며, 도 4(b)는 수개 위치에 화소를 솎아내고, 또한 화상 출력 영역(12)의 전체에 걸쳐 균일하게 화소를 선택하는 방식, 도 4(c)는 도 4(b)의 솎아내는 간격을 더 확대한 방식, 도 4(d)는 선택하는 화소를 솎아내고, 또한, 선택 범위를 네 코너에 한정한 방식, 도 4(e)는 네 코너 이외의 영역에 한정한 방식이다.

화상 상관을 구하는 경우에는, 상기한 바와 같이 대상으로 하는 화소를 솎아내고 선택하는 것에 부가하여, 움직임 산출부(2)에서 계산한 움직임 벡터를 이용하여, 화상 상관을 취하는 방향을 한 방향에 한정하는 것으로, 계산량을 더 삭감한다. 즉, 도 5에 도시하는 바와 같이 1 프레임째의 기본 화상 영역(12)의 위치를 기준으로 하여, 2 프레임째의 손떨림 영역(13)의 내부에서 가장 상관이 강한 영역을 선택할 때에, 움직임 산출부(2)에서 계산한 움직임 벡터의 방향(14)을 따라 나열하는, 화상 출력 영역(12)과 동일한 사이즈의 직사각형 영역군(15)을 대상으로 하여 화상 상관을 계산하고, 이 중에서 가장 상관이 강한 영역을 선택한다.

화상 상관의 구체적 계산 방법으로서, 대응하는 화소값의 차분 절대값을 계산하여, 총합을 상관값으로서 구하면, 상관이 가장 강한 개소에서 상관값은 최소가 된다. 따라서 움직임 벡터(14)의 방향을 따라 상관값을 계산하여, 그 중에서 최소값을 부여하는 영역을 선택하면 가장 상관이 강한 영역을 선택할 수 있다.

화상 출력부(4)는, 변위 산출부(3)에서 계산된 1 프레임째의 화상 출력 영역(12)의 화상과 상관이 가장 강한 직사각형 영역을, 2 프레임째의 화상 출력 영역(12)의 화상으로서 출력하기 때문에, 도 3(a)의 화상 출력 영역(12)에 대하여 손떨림 보정을 실시한 화상을 얻을 수 있다.

이상에 설명한 촬영 화상의 화상 처리 방법은, 화상 보정 프로그램에 의해 실현되고, 해당 프로그램은 컴퓨터 등으로 판독 가능한 기록 매체에 기록하여 제공된다.

또, 움직임 산출부(2)에 있어서는, 움직임 벡터의 계산에 필요한 사영 데이터의 취득을, 촬상 소자 전체를 나타내는 센서 화소 영역(16)을 대상으로 하는 예를 나타내었지만, 화상 입력부(1)에 의해 촬영된 입력 화상으로부터 부분 화상 영역을 잘라내고, 그 화상으로부터 취득하도록 하더라도 좋다. 또는, 사영 데이터의 계산을 ASIC(Application Specific IC) 등으로 하드웨어화하고, 이렇게 해서 취득한 사영 데이터를 이용하여 움직임 벡터를 계산하더라도 좋다.

또한, 움직임 산출부(2)에서는, 움직임 벡터의 계산을 위한 사영 데이터를, 해상도, 즉 사영 데이터의 개수를 증가시키지 않고 움직임 벡터를 상관 계산으로 구했지만, 이 사영 데이터를 내삽 등으로 해상도를 올려 마찬가지로 움직임 벡터의 계산을 하면, 계산되는 움직임 벡터의 정밀도는 일반적으로 향상하기 때문에, 변위 산출부(3)에 있어서의 화상 상관 계산의 조합 범위를 삭감할 수 있다.

이와 같이, 실시예 1에 따르면, 화상 입력부(1)에 의해 촬영된 화상으로부터, 움직임 산출부(2)에 의해 움직임 벡터를 산출하고, 변위 산출부(3)에 의해 움직임 벡터의 방향에 한정하여 화상 상관 계산을 삭감하면서 두 프레임 화상 사이의 화소 편차량을 산출하고, 화상 출력부(4)에 의해 화소 편차량을 상쇄한 부분의 영역을 잘라내어 출력 화상으로 하기 때문에, 손떨림에 의한 화소 어긋남을 보정한 화상을 고속으로 얻을 수 있다.

(실시예 2)

이하, 본 발명의 실시예 2에 대하여 도면을 참조하면서 설명한다. 도 6은 본 발명의 실시예 2에 따른 화상 처리 장치의 구성을 나타내는 블럭도이며, 본 화상 처리 장치는 실시예 1의 구성에 부가하여, 변환 보정부(5)를 갖는 5 부분으로 이루어진다. 또한 도 7은 화상 보정의 순서를 나타내는 흐름도이다.

화상 입력부(1), 움직임 산출부(2), 변위 산출부(3), 화상 출력부(4)의 동작은 실시예 1과 마찬가지다. 변환 보정부(5)는, 움직임 산출부(2)에서 계산된 복수의 움직임 벡터로부터 화상 전체의 회전·줌 성분을 검출하고, 이들 움직임 성분을 이용하여 입력 화상에 회전 변환 및 줌 변환을 실시한다.

변환 보정부(5)의 동작을 구체적으로 이하에 설명한다. 도 8은, 움직임 산출부(2)에 의해 계산된 4개의 움직임 벡터로부터, 촬상축 주위의 카메라의 회전, 및 촬상축을 따른 카메라의 전진 또는 후퇴에 따르는 화상의 확대·축소(zoom)의 움직임을 검출하는 방식을 설명하기 위한 도면이다. 실시예 1에서 설명한 손떨림은, 카메라 촬상면에 평행한 병진 성분으로서의 움직임이며, 본 실시예에서는, 병진 성분 이외의 카메라의 움직임으로서, 회전 성분 및 줌 성분을 검출하는 것이 목적이다. 이하, 카메라 자신의 움직임으로서, 회전 성분 및 줌 성분만을 포함하는 경우에 대하여 설명한다.

도 8(a)는 카메라의 움직임이 회전 성분에만 의하는 경우의 4개의 움직임 벡터의 패턴을 나타내고, 도 8(b)은 줌 성분만의 경우의 패턴을 나타낸다. 이들이 혼합하는 일 없이 독립하여 나타나는 경우는, 각각의 움직임 벡터의 강도로 회전 성분 또는 줌 성분을 정량적으로 산출한다.

도 8(c)와 같이 회전 성분과 줌 성분이 혼합하는 경우는, 각각의 움직임 벡터를 회전 성분 및 줌 성분으로 분리하여 각각의 움직임 성분을 계산한다. 도 8(d)는, 도 8(c)에 나타낸 회전 성분과 줌 성분이 혼합하는 움직임 벡터에 대하여, 회전 성분 및 줌 성분의 계산 방법을 도시하는 도면이며, 실선은 회전 성분, 점선은 줌 성분을 계산하기 위한 보조선이다. 즉, 4개의 움직임 벡터를, 각각 서로 직교하는 보조선의 방향에 투사하고, 그 투사 벡터를 각 움직임 벡터의 회전 성분 및 줌 성분으로서 구하면, 각 성분이 독립하여 나타나는 경우와 마찬가지로 계산할 수 있다.

상기의 수속에 의해, 정량적으로 산출된 회전 성분 및 줌 성분을 이용하여, 각각의 카메라의 움직임 성분을 상쇄하기 위해서는, 취득한 2 프레임째의 화상 데이터에, 검출된 회전 성분 및 줌 성분으로 역의 변환을 실시한다. 또한 각 성분 각각에 대하여, 임의의 일정한 진행폭, 예컨대 회전의 경우는 1도씩, 줌의 경우는 0.1배씩 변화시키면서 2 프레임째의 화상을 변환시켜, 1 프레임째의 화상과 상관을 취한다. 이 중에서 가장 상관이 높은 2 프레임째의 화상을 선택하면, 회전 및 줌 성분을 상쇄한 화상을 복원할 수 있었던 것으로 된다(ST103a).

실제의 움직임 벡터는 회전 성분과 줌 성분을 포함하고 있는지 등, 상기의 수법에 의해 구해진 회전 성분과 줌 성분을 움직임 벡터로부터 빼면, 카메라 촬상면에 평행한 병진 성분만이 남는다. 이렇게 해서 구해진 움직임 벡터를 보정완료된 움직임 벡터라고 부른다. 이 보정완료된 움직임 벡터를 이용하여, 실시예 1과 마찬가지의 수법으로, 화상 센서를 탑재한 카메라 전체가 움직인 방향을 나타내는 대표 움직임 벡터를 계산한다(ST103b).

다음에, 변위 산출부(3)에서는, 이 대표 움직임 벡터를 이용하여, 도 5에 나타낸 바와 같이 1 프레임째의 기본 화상 영역(12)의 위치를 기준으로 하여, 2 프레임째의 손떨림 영역(13)의 내부에서 가장 상관이 강한 직사각형 영역을 선택한다. 또, 회전 및 줌 성분이 상쇄된 2 프레임째의 복원 화상과 1 프레임째의 기본 화상 영역의 화상을 이용하여, 다시, 움직임 벡터를 구할 수도 있다.

화상 출력부(4)는, 변위 산출부(3)에서 계산된 1 프레임째의 화상 출력 영역(12)의 화상과 상관이 가장 강한 직사각형 영역을, 2 프레임째의 화상 출력 영역(12)의 화상으로서 출력하기 때문에, 화상 출력 영역(12)에 대하여 손떨림 보정을 실시한 화상을 얻을 수 있다.

이상에 설명한 촬영 화상으로부터의 화상 처리 방법은 화상 보정 프로그램에 의해 실현되고, 해당 프로그램은 컴퓨터 등으로 판독 가능한 기록 매체에 기록하여 제공된다.

본 발명은 카메라 촬영 시에 발생하는 손떨림 등에 의한 이차원 화상의 열화를 방지하기 위해, 화상 처리에 의해 촬영 화상의 흔들림을 보정하는 기술에 관한 것으로, 초보자라도 손쉽게 흔들림이 눈에 띄지 않는 정지 화상 또는 동화상을 즐길 수 있는 디지털 카메라나 무비카메라 등에 적용할 수 있다.

Claims (6)

1. 이차원 화상을 취입하는 화상 입력부와,

   상기 화상 입력부에 의해 취입된 2개의 화상의 각각에 대하여 움직임 검출 영역을 선택하고, 이 움직임 검출 영역의 화소값을 소정 방향으로 연산하여 얻어지는 사영 데이터(projective data)에 근거하여 상기 2개의 화상 사이의 움직임 벡터를 산출하는 움직임 산출부와,

   상기 2개의 화상의 화상 상관을 상기 움직임 산출부에 의해 산출된 움직임 벡터가 지정하는 방향으로 계산하고, 그 계산값에 근거하여 이 2개의 화상 사이의 화소 편차량을 산출하는 변위 산출부와,

   2번째의 화상에 지정되어 있는 손떨림 보정 영역으로부터 화상 출력 영역을 상기 변위 산출부에 의해 산출된 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2번째의 화상 출력 영역의 화상으로서 출력하는 화상 출력부를 구비하여 이루어지는

   화상 처리 장치.
2. 이차원 화상을 취입하는 화상 입력부와,

   상기 화상 입력부에 의해 취입된 2개의 화상의 각각에 대하여 복수개의 움직임 검출 영역을 선택하고, 이 움직임 검출 영역의 화소값을 소정 방향으로 연산하여 얻어지는 사영 데이터에 근거하여 상기 2개의 화상 사이의 움직임 벡터를 상기 복수개의 움직임 검출 영역에 대하여 각각 산출하는 움직임 산출부와,

   상기 움직임 산출부에 의해 산출된 복수개의 움직임 벡터를 이용하여 회전 성분 및 줌 성분을 산출하고, 이 회전 성분 및 줌 성분에 근거하여 2번째의 화상에 회전 및 확대 변환을 실시하고, 또한, 상기 복수개의 움직임 벡터로부터 회전 성분 및 줌 성분을 줄여 보정완료된 움직임 벡터를 구하는 변환 보정부와,

   상기 2개의 화상의 화상 상관을 상기 보정완료된 움직임 벡터가 지정하는 방향으로 계산하고, 그 계산값에 근거하여 이 2개의 화상 사이의 화소 편차량을 산출하는 변위 산출부와,

   2번째의 화상에 지정되어 있는 손떨림 보정 영역으로부터 화상 출력 영역을 상기 변위 산출부에 의해 산출된 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2번째의 화상 출력 영역의 보정 화상으로서 출력하는 화상 출력부

   를 구비하여 이루어지는 화상 처리 장치.
3. 이차원 화상을 취입하는 화상 입력 단계와,

   상기 화상 입력 단계에 의해 취입된 2개의 화상의 각각에 대하여 움직임 검출 영역을 선택하고, 이 움직임 검출 영역의 화소값을 소정 방향으로 연산하여 얻어지는 사영 데이터에 근거하여 상기 2개의 화상 사이의 움직임 벡터를 산출하는 움직임 산출 단계와,

   상기 2개의 화상의 화상 상관을 상기 움직임 산출 단계에 의해 산출된 움직임 벡터가 지정하는 방향으로 계산하고, 그 계산값에 근거하여 이 2개의 화상 사이의 화소 편차량을 산출하는 변위 산출 단계와,

   2번째의 화상에 지정되어 있는 손떨림 보정 영역으로부터 화상 출력 영역을 상기 변위 산출 단계에 의해 산출된 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2번째의 화상 출력 영역의 화상으로서 출력하는 화상 출력 단계

   를 구비하여 이루어지는 화상 처리 방법.
4. 이차원 화상을 취입하는 화상 입력 단계와,

   상기 화상 입력 단계에 의해 취입된 2개의 화상의 각각에 대하여 복수개의 움직임 검출 영역을 선택하고, 이 움직임 검출 영역의 화소값을 소정 방향으로 연산하여 얻어지는 사영 데이터에 근거하여 상기 2개의 화상 사이의 움직임 벡터를 상기 복수개의 움직임 검출 영역에 대하여 각각 산출하는 움직임 산출 단계와,

   상기 움직임 산출 단계에 의해 산출된 복수개의 움직임 벡터를 이용하여 회전 성분 및 줌 성분을 산출하고, 이 회전 성분 및 줌 성분에 근거하여 2번째의 화상에 회전 및 확대 변환을 실시하는 제 1 변환 보정 단계와,

   상기 복수개의 움직임 벡터로부터 회전 성분 및 줌 성분을 줄여 보정완료된 움직임 벡터를 구하는 제 2 변환 보정 단계와,

   상기 2개의 화상의 화상 상관을 상기 보정완료된 움직임 벡터가 지정하는 방향으로 계산하고, 그 계산값에 근거하여 이 2개의 화상 사이의 화소 편차량을 산출하는 변위 산출 단계와,

   2번째의 화상에 지정되어 있는 손떨림 보정 영역으로부터 화상 출력 영역을 상기 변위 산출부에 의해 산출된 화소 편차량만큼 비키어 놓은 영역을 잘라내어, 2번째의 화상 출력 영역의 보정 화상으로서 출력하는 화상 출력 단계

   를 구비하여 이루어지는 화상 처리 방법.
5. 청구항 3에 기재된 단계를 실행하는 프로그램이 기록된 기록 매체.
6. 청구항 4에 기재된 단계를 실행하는 프로그램이 기록된 기록 매체.