JP4541335B2

JP4541335B2 - Image processing device

Info

Publication number: JP4541335B2
Application number: JP2006255888A
Authority: JP
Inventors: 偉雄藤田; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-09-21
Filing date: 2006-09-21
Publication date: 2010-09-08
Anticipated expiration: 2026-09-21
Also published as: JP2008079007A

Description

この発明は、２枚の画像間の画素ずれ量を検出して、画素ずれのない安定した画像の出力を可能にする画像処理装置に関するものである。 The present invention relates to an image processing apparatus that detects a pixel shift amount between two images and enables stable image output without pixel shift.

従来の画像処理装置は、次のような手法を用いて、２枚の画像間の画素ずれ量を検出するようにしている。
即ち、画像処理装置は、画像センサにより撮影された２枚の画像の射影データを入力すると、２つの射影データの相関値を演算して、２枚のフレーム画像間の動きベクトルを算出し、その動きベクトルを画素ずれ量として検出する（例えば、特許文献１を参照）。 A conventional image processing apparatus detects a pixel shift amount between two images by using the following method.
That is, when the image processing apparatus inputs projection data of two images taken by the image sensor, it calculates a correlation value between the two projection data, calculates a motion vector between the two frame images, and A motion vector is detected as a pixel shift amount (see, for example, Patent Document 1).

最近では、上記の画像処理装置の他に、相関値を演算する際の演算量を削減することができる画像処理装置が開発されている。
当該画像処理装置は、２枚のフレーム画像間の相関値を演算する際、射影データの傾き情報（例えば、画像の傾斜部の重心座標、傾斜開始座標、傾斜終了座標など）を抽出し、複数の傾き情報を時系列的に比較して、その比較結果から画素ずれ量を検出するようにしている（例えば、特許文献２を参照）。 Recently, in addition to the above-described image processing apparatus, an image processing apparatus that can reduce the amount of calculation when calculating a correlation value has been developed.
When calculating the correlation value between two frame images, the image processing apparatus extracts inclination information of projection data (for example, the gravity center coordinates, inclination start coordinates, inclination end coordinates, etc. of the inclined portion of the image) Are compared in time series, and a pixel shift amount is detected from the comparison result (see, for example, Patent Document 2).

特許３７７０２７１号公報（第２図）Japanese Patent No. 3770271 (FIG. 2) 特開平６−３８０９１号公報（段落番号［００１６］から［００３８］、図１）JP-A-6-38091 (paragraph numbers [0016] to [0038], FIG. 1)

従来の画像処理装置は以上のように構成されているので、射影データの傾き情報を抽出することができれば、その傾き情報から画素ずれ量を検出することができる。しかし、射影データの傾き情報を抽出する度に、その傾き情報として、画像の傾斜部の重心座標、傾斜開始座標、傾斜終了座標などのデータをメモリに格納する必要があり、そのメモリに格納するデータ量は常に一定ではないため、画素値変動が激しい被写体においては、傾き情報が狭いエリアのデータとなってしまって、十分な画素ずれ量の検出精度が得られないことがある課題があった。
また、コントラストが低く、画像の傾斜部として認識することが困難な微小傾斜が含まれている画像に関しては、画素ずれ量を検出することができない課題があった。 Since the conventional image processing apparatus is configured as described above, if the inclination information of the projection data can be extracted, the pixel shift amount can be detected from the inclination information. However, every time the inclination information of the projection data is extracted, it is necessary to store data such as the gravity center coordinates, the inclination start coordinates, and the inclination end coordinates of the inclined portion of the image in the memory as the inclination information. Since the amount of data is not always constant, there is a problem that for a subject whose pixel value fluctuates greatly, the tilt information becomes data in a narrow area, and sufficient detection accuracy of the pixel shift amount may not be obtained. .
In addition, there is a problem that the amount of pixel shift cannot be detected for an image that has a low contrast and includes a minute inclination that is difficult to recognize as an inclined portion of the image.

この発明は上記のような課題を解決するためになされたもので、画素値の変動が激しい画像や、コントラストが低い画像であっても、精度よく画素ずれ量を検出することができる画像処理装置を得ることを目的とする。 The present invention has been made in order to solve the above-described problems, and is an image processing apparatus capable of accurately detecting a pixel shift amount even for an image having a large variation in pixel value or an image having a low contrast. The purpose is to obtain.

この発明に係る画像処理装置は、画像信号入力手段により入力された画像信号のうち、水平方向の座標が一致する画像信号同士の画素値を積算して、その画素値の積算結果である水平積算値を出力するとともに、垂直方向の座標が一致する画像信号同士の画素値を積算して、その画素値の積算結果である垂直積算値を出力する画素値積算手段と、画素値積算手段から出力された複数の水平積算値を比較して、水平積算値の変位量及び曲率量を検出するとともに、画素値積算手段から出力された複数の垂直積算値を比較して、垂直積算値の変位量及び曲率量を検出する検出処理手段とを設け、画素ずれ量検出手段が検出処理手段により検出された変位量及び曲率量から２枚の画像間の相関値を演算し、その相関値から２枚の画像間の画素ずれ量を検出するようにしたものである。 The image processing apparatus according to the present invention integrates pixel values of image signals having the same horizontal coordinate among the image signals input by the image signal input means, and performs horizontal integration as a result of integration of the pixel values. A pixel value integrating means for outputting the values, integrating the pixel values of the image signals having the same coordinates in the vertical direction, and outputting a vertical integrated value as an integration result of the pixel values; and outputting from the pixel value integrating means A plurality of horizontal integrated values are compared to detect a displacement amount and a curvature amount of the horizontal integrated value, and a plurality of vertical integrated values output from the pixel value integrating means are compared to determine a vertical integrated value displacement amount. And a detection processing means for detecting the curvature amount, and the pixel shift amount detection means calculates a correlation value between the two images from the displacement amount and the curvature amount detected by the detection processing means, and two images are obtained from the correlation value. Pixel displacement between images It is obtained so as to detect.

この発明によれば、画像信号入力手段により入力された画像信号のうち、水平方向の座標が一致する画像信号同士の画素値を積算して、その画素値の積算結果である水平積算値を出力するとともに、垂直方向の座標が一致する画像信号同士の画素値を積算して、その画素値の積算結果である垂直積算値を出力する画素値積算手段と、画素値積算手段から出力された複数の水平積算値を比較して、水平積算値の変位量及び曲率量を検出するとともに、画素値積算手段から出力された複数の垂直積算値を比較して、垂直積算値の変位量及び曲率量を検出する検出処理手段とを設け、画素ずれ量検出手段が検出処理手段により検出された変位量及び曲率量から２枚の画像間の相関値を演算し、その相関値から２枚の画像間の画素ずれ量を検出するように構成したので、画素値の変動が激しい画像や、コントラストが低い画像であっても、精度よく画素ずれ量を検出することができる効果がある。 According to the present invention, the pixel values of the image signals having the same horizontal coordinate among the image signals input by the image signal input means are integrated, and a horizontal integrated value that is an integration result of the pixel values is output. In addition, pixel value integration means for integrating the pixel values of the image signals having the same coordinates in the vertical direction and outputting a vertical integration value as an integration result of the pixel values, and a plurality of pixel values output from the pixel value integration means The horizontal integrated value is compared to detect the displacement amount and the curvature amount of the horizontal integrated value, and the plurality of vertical integrated values output from the pixel value integrating means are compared to determine the displacement amount and the curvature amount of the vertical integrated value. Detection processing means for detecting the difference between the two images, the pixel shift amount detection means calculates a correlation value between the two images from the displacement amount and the curvature amount detected by the detection processing means. Detect the amount of pixel shift Since it is configured to, or variation is intense image pixel values, even a low contrast image, there is an effect that it is possible to accurately detect the pixel shift amount.

実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図において、画像入力部１は画像センサにより撮影された画像の射影データ（画像の輝度値（画素値）を示す画像信号）を入力する処理を実施する。なお、画像入力部１は画像信号入力手段を構成している。
水平データ積算処理部２は画像入力部１により入力された射影データのうち、水平方向の座標ｘが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値Ｐ（ｘ，ｙ）の積算結果である水平積算値Ｓ_h（ｘ）を出力する処理を実施する。
垂直データ積算処理部３は画像入力部１により入力された射影データのうち、垂直方向の座標ｙが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値Ｐ（ｘ，ｙ）の積算結果である垂直積算値Ｓ_v（ｙ）を出力する処理を実施する。
なお、水平データ積算処理部２及び垂直データ積算処理部３から画素値積算手段が構成されている。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing an image processing apparatus according to Embodiment 1 of the present invention. In FIG. 1, an image input unit 1 shows projection data (image luminance value (pixel value) of an image taken by an image sensor). (Image signal) is input. The image input unit 1 constitutes an image signal input unit.
The horizontal data integration processing unit 2 integrates the luminance values P (x, y) of the projection data having the same horizontal coordinate x out of the projection data input by the image input unit 1, and the luminance value P ( A process of outputting a horizontal integrated value S _h (x) that is an integration result of x, y) is performed.
The vertical data integration processing unit 3 integrates the luminance values P (x, y) of the projection data having the same vertical coordinate y out of the projection data input by the image input unit 1, and the luminance value P ( A process of outputting the vertical integration value S _v (y), which is the integration result of x, y), is performed.
The horizontal data integration processing unit 2 and the vertical data integration processing unit 3 constitute pixel value integration means.

変位検出処理部４は水平データ積算処理部２から出力された複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある２つの水平積算値の大小関係（例えば、Ｓ_h（ｘ）とＳ_h（ｘ＋ａ）の大小関係）を比較し、大小関係の比較結果から水平積算値の変位量Ｋ_h（ｘ）を検出する処理を実施する。なお、変位検出処理部４は第１の変位量検出手段を構成している。
曲率検出処理部５は水平データ積算処理部２から出力された複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある３つの水平積算値の大小関係（例えば、Ｓ_h（ｘ）×２と、Ｓ_h（ｘ−ｂ）＋Ｓ_h（ｘ＋ｂ）の大小関係）を比較し、大小関係の比較結果から中央の位置にある水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h（ｘ）を検出する処理を実施する。なお、曲率検出処理部５は第１の曲率量検出手段を構成している。 The displacement detection processing unit 4 is a magnitude relationship between two horizontal integration values (for example, a plurality of horizontal integration values S _h (x) output from the horizontal data integration processing unit 2). S _h (x) and S _h (x + a)) are compared, and a process of detecting the displacement K _h (x) of the horizontal integrated value from the comparison result of the magnitude relationship is performed. The displacement detection processing unit 4 constitutes first displacement amount detection means.
The curvature detection processing unit 5 is a magnitude relationship between three horizontal integration values (for example, a plurality of horizontal integration values S _h (x) output from the horizontal data integration processing unit 2). S _h (x) × 2 and the magnitude relationship of S _h (x−b) + S _h (x + b)), and the curvature of the horizontal integrated value S _h (x) at the center position from the comparison result of the magnitude relationship A process for detecting the quantity L _h (x) is performed. The curvature detection processing unit 5 constitutes first curvature amount detection means.

変位検出処理部６は垂直データ積算処理部３から出力された複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある２つの垂直積算値の大小関係（例えば、Ｓ_v（ｙ）とＳ_v（ｙ＋ｃ）の大小関係）を比較し、大小関係の比較結果から垂直積算値の変位量Ｋ_v（ｙ）を検出する処理を実施する。なお、変位検出処理部６は第２の変位量検出手段を構成している。
曲率検出処理部７は垂直データ積算処理部３から出力された複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある３つの垂直積算値の大小関係（例えば、Ｓ_v（ｙ）×２と、Ｓ_v（ｙ−ｄ）＋Ｓ_v（ｙ＋ｄ）の大小関係）を比較し、大小関係の比較結果から中央の位置にある垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v（ｙ）を検出する処理を実施する。なお、曲率検出処理部７は第２の曲率量検出手段を構成しており、変位検出処理部４、曲率検出処理部５、変位検出処理部６及び曲率検出処理部７から検出処理手段が構成されている。 Of the plurality of vertical integration values S _v (y) output from the vertical data integration processing unit 3, the displacement detection processing unit 6 is a magnitude relationship between two vertical integration values having a fixed vertical interval (for example, S _v (y) and S _v (y + c) are compared), and a process of detecting the displacement K _v (y) of the vertical integrated value from the comparison result of the magnitude relationship is performed. The displacement detection processing unit 6 constitutes second displacement amount detection means.
The curvature detection processing unit 7 is a magnitude relationship between three vertical integration values (for example, a plurality of vertical integration values S _v (y) output from the vertical data integration processing unit 3). S _v (y) × 2 and the magnitude relationship of S _v (y−d) + S _v (y + d)), and the curvature of the vertical integrated value S _v (y) at the center position from the comparison result of the magnitude relationship. A process of detecting the quantity L _v (y) is performed. The curvature detection processing unit 7 constitutes a second curvature amount detection unit, and the detection processing unit is configured by the displacement detection processing unit 4, the curvature detection processing unit 5, the displacement detection processing unit 6, and the curvature detection processing unit 7. Has been.

特徴量バッファ８は変位検出処理部４，６により検出された変位量Ｋ_h（ｘ），Ｋ_v（ｙ）を記録するとともに、曲率検出処理部５，７により検出された曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）を記録するメモリである。
相関値演算処理部９は変位検出処理部４，６により今回の処理で検出された変位量Ｋ_h（ｘ），Ｋ_v（ｙ）と、曲率検出処理部５，７により今回の処理で検出された曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）と、特徴量バッファ８に記録されている変位量Ｋ’_h（ｘ），Ｋ’_v（ｙ）（変位検出処理部４，６により前回の処理で検出された変位量Ｋ_h（ｘ），Ｋ_v（ｙ））と、特徴量バッファ８に記録されている曲率量Ｌ’_h（ｘ），Ｌ’_v（ｙ）（曲率検出処理部５，７により前回の処理で検出された曲率量Ｌ_h（ｘ），Ｌ_v（ｙ））とを用いて、２枚の画像間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算し、相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）が最小になる画素ずれ量ｘ_d，ｙ_dを２枚の画像間の画素ずれ量として出力する処理を実施する。
なお、特徴量バッファ８及び相関値演算処理部９から画素ずれ量検出手段が構成されている。 The feature amount buffer 8 records the displacement amounts K _h (x), K _v (y) detected by the displacement detection processing units 4, 6 and the curvature amount L _h (detected by the curvature detection processing units 5, 7. x) is a memory for recording L _v (y).
The correlation value calculation processing unit 9 detects the displacements K _h (x) and K _v (y) detected by the displacement detection processing units 4 and 6 in the current process and the curvature detection processing units 5 and 7 in the current process. The curvature amounts L _h (x) and L _v (y) that have been recorded and the displacement amounts K ′ _h (x) and K ′ _v (y) recorded in the feature amount buffer 8 (by the displacement detection processing units 4 and 6). Displacement amounts K _h (x), K _v (y)) detected in the previous processing and curvature amounts L ′ _h (x), L ′ _v (y) (curvature detection) recorded in the feature amount buffer 8 Using the curvature amounts L _h (x), L _v (y)) detected in the previous processing by the processing units 5, 7, correlation values R _h (x _d ), R _v ( y _d ) is calculated, and pixel shift amounts x _d and y _d that minimize the correlation values R _h (x _d ) and R _v (y _d ) are output as pixel shift amounts between the two images. To do.
The feature amount buffer 8 and the correlation value calculation processing unit 9 constitute pixel deviation amount detection means.

画像出力部１０は画像入力部１から画像の射影データを受けると、相関値演算処理部９から出力された２枚の画像間の画素ずれ量を打ち消す方向に画像の切り出し位置を変更して、画素ずれのない安定した画像を出力する処理を実施する。 When the image output unit 10 receives the projection data of the image from the image input unit 1, the image output unit 10 changes the cutout position of the image in a direction to cancel out the pixel shift amount between the two images output from the correlation value calculation processing unit 9, A process of outputting a stable image without pixel shift is performed.

次に動作について説明する。
画像入力部１は、画像センサにより撮影された画像の射影データを入力する毎に、その射影データを水平データ積算処理部２、垂直データ積算処理部３及び画像出力部１０に出力する。 Next, the operation will be described.
The image input unit 1 outputs the projection data to the horizontal data integration processing unit 2, the vertical data integration processing unit 3, and the image output unit 10 each time projection data of an image captured by the image sensor is input.

水平データ積算処理部２は、画像入力部１から画像の射影データを受けると、画像の射影データのうち、水平方向の座標ｘが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値Ｐ（ｘ，ｙ）の積算結果である水平積算値Ｓ_h（ｘ）を変位検出処理部４及び曲率検出処理部５に出力する。
即ち、水平データ積算処理部２は、下記の式（１）に示すような積算演算を実施して、水平積算値Ｓ_h（ｘ）を出力する。

ただし、ｘは水平方向の座標、ｙは垂直方向の座標、ｙ_maxは射影データにおける垂直方向の座標の最大値、Ｐ（ｘ，ｙ）は座標（ｘ，ｙ）に位置する画素の輝度値、Ｓ_h（ｘ）は輝度値Ｐ（ｘ，ｙ）の積算結果である。 When the horizontal data integration processing unit 2 receives the projection data of the image from the image input unit 1, the horizontal data integration processing unit 2 integrates the luminance values P (x, y) of the projection data having the same horizontal coordinate x in the projection data of the image. Then, the horizontal integrated value S _h (x), which is the integrated result of the luminance values P (x, y), is output to the displacement detection processing unit 4 and the curvature detection processing unit 5.
That is, the horizontal data integration processing unit 2 performs integration calculation as shown in the following equation (1), and outputs a horizontal integration value S _h (x).

Where x is a coordinate in the horizontal direction, y is a coordinate in the vertical direction, y _max is a maximum value of the coordinate in the vertical direction in the projection data, and P (x, y) is a luminance value of the pixel located at the coordinate (x, y). , S _h (x) is an integration result of the luminance values P (x, y).

垂直データ積算処理部３は、画像入力部１から画像の射影データを受けると、画像の射影データのうち、垂直方向の座標ｙが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値Ｐ（ｘ，ｙ）の積算結果である垂直積算値Ｓ_v（ｙ）を変位検出処理部６及び曲率検出処理部７に出力する。
即ち、垂直データ積算処理部３は、下記の式（２）に示すような積算演算を実施して、水平積算値Ｓ_v（ｙ）を出力する。

ただし、ｘ_maxは射影データにおける水平方向の座標の最大値、Ｓ_v（ｙ）は輝度値Ｐ（ｘ，ｙ）の積算結果である。 When the vertical data integration processing unit 3 receives the projection data of the image from the image input unit 1, the vertical data integration processing unit 3 integrates the luminance values P (x, y) of the projection data having the same coordinate y in the vertical direction among the projection data of the image. Then, the vertical integration value S _v (y), which is the integration result of the luminance values P (x, y), is output to the displacement detection processing unit 6 and the curvature detection processing unit 7.
That is, the vertical data integration processing unit 3 performs integration calculation as shown in the following equation (2), and outputs a horizontal integration value S _v (y).

Here, x _max is the maximum value of the horizontal coordinate in the projection data, and S _v (y) is the result of integrating the luminance value P (x, y).

変位検出処理部４は、水平データ積算処理部２が複数の水平積算値Ｓ_h（ｘ）を出力すると、複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある２つの水平積算値の大小関係を比較する。
即ち、変位検出処理部４は、水平積算値Ｓ_h（ｘ）と水平積算値Ｓ_h（ｘ＋ａ）の大小関係を比較する。
そして、変位検出処理部４は、下記の式（３）に示すように、水平積算値Ｓ_h（ｘ）が水平積算値Ｓ_h（ｘ＋ａ）以上であれば、水平積算値の変位量Ｋ_h（ｘ）として“１”を出力する。
一方、水平積算値Ｓ_h（ｘ）が水平積算値Ｓ_h（ｘ＋ａ）より小さければ、水平積算値の変位量Ｋ_h（ｘ）として“０”を出力する。 Displacement detection processing unit 4, when the horizontal data integration processing unit 2 outputs a plurality of horizontal integration value S _h (x), out of the plurality of horizontal integration value S _h (x), a constant relationship is horizontal spacing The magnitude relationship between two horizontal integrated values is compared.
That is, the displacement detection processing unit 4 compares the magnitude relationship between the horizontal integrated value S _h (x) and the horizontal integrated value S _h (x + a).
Then, as shown in the following equation (3), the displacement detection processing unit 4 determines that the horizontal integrated value displacement amount K _h if the horizontal integrated value S _h (x) is equal to or greater than the horizontal integrated value S _h (x + a). “1” is output as (x).
On the other hand, if the horizontal integrated value S _h (x) is smaller than the horizontal integrated value S _h (x + a), “0” is output as the displacement amount K _h (x) of the horizontal integrated value.

ただし、ａは水平積算値Ｓ_h（ｘ）と水平積算値Ｓ_h（ｘ＋ａ）の水平方向の間隔を示す定数である。
なお、式（３）の演算においては、対象座標値の水平積算値Ｓ_h（ｘ）と一定の距離がある座標値の水平積算値Ｓ_h（ｘ＋ａ）を参照するため、対象座標値によっては、参照する水平積算値Ｓ_h（ｘ＋ａ）が存在しない場合がある。そのような場合には、存在する最も近い座標値の水平積算値を参照するようにしてもよいし、水平積算値の変位量Ｋ_h（ｘ）を“０”の固定値としてもよい。

Here, a is a constant indicating the horizontal interval between the horizontal integrated value S _h (x) and the horizontal integrated value S _h (x + a).
Note that, in the calculation of the expression (3), the horizontal integrated value S _h (x) of the target coordinate value and the horizontal integrated value S _h (x + a) of the coordinate value having a certain distance are referred to, and therefore depending on the target coordinate value. In some cases, the horizontal integrated value S _h (x + a) to be referred to does not exist. In such a case, the horizontal integrated value of the closest coordinate value that exists may be referred to, or the displacement K _h (x) of the horizontal integrated value may be a fixed value of “0”.

ここで、図２は定数ａが“１”である場合の変位検出処理部４の動作例を示す説明図である。
例えば、Ｓ_h（０）→Ｓ_h（１）や、Ｓ_h（３）→Ｓ_h（４）の局面では、水平積算値の変位量Ｋ_h（０），Ｋ_h（３）として“０”が出力され、Ｓ_h（１）→Ｓ_h（２）や、Ｓ_h（２）→Ｓ_h（３）の局面では、水平積算値の変位量Ｋ_h（１），Ｋ_h（２）として“１”が出力されている。
これにより、変位検出処理部４から垂直画像サイズ分のデータ列として、水平積算値の変位量Ｋ_h（ｘ）が出力されることになる。 Here, FIG. 2 is an explanatory diagram showing an operation example of the displacement detection processing unit 4 when the constant a is “1”.
For example, in the situation of S _h (0) → S _h (1) or S _h (3) → S _h (4), the displacement amounts K _h (0), K _h (3) of the horizontal integrated value are “0”. ”Is output, and in the situation of S _h (1) → S _h (2) or S _h (2) → S _h (3), the displacement amount K _h (1), K _h (2) of the horizontal integrated value “1” is output.
Thereby, the displacement amount K _h (x) of the horizontal integrated value is output from the displacement detection processing unit 4 as a data string corresponding to the vertical image size.

曲率検出処理部５は、水平データ積算処理部２が複数の水平積算値Ｓ_h（ｘ）を出力すると、複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある３つの水平積算値の大小関係を比較する。
即ち、曲率検出処理部５は、Ｓ_h（ｘ）×２と、Ｓ_h（ｘ−ｂ）＋Ｓ_h（ｘ＋ｂ）の大小関係を比較する。
そして、曲率検出処理部５は、下記の式（４）に示すように、中央の位置にある水平積算値の２倍であるＳ_h（ｘ）×２が、水平積算値Ｓ_h（ｘ−ｂ）と水平積算値Ｓ_h（ｘ＋ｂ）の和であるＳ_h（ｘ−ｂ）＋Ｓ_h（ｘ＋ｂ）以上であれば、水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h（ｘ）として“１”を出力する。
一方、Ｓ_h（ｘ）×２が、Ｓ_h（ｘ−ｂ）＋Ｓ_h（ｘ＋ｂ）より小さければ、水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h（ｘ）として“０”を出力する。 Curvature detection processing unit 5, when the horizontal data integration processing unit 2 outputs a plurality of horizontal integration value S _h (x), out of the plurality of horizontal integration value S _h (x), a constant relationship is horizontal spacing The magnitude relationship between three horizontal integrated values is compared.
That is, the curvature detection processing unit 5 compares the magnitude relationship between S _h (x) × 2 and S _h (x−b) + S _h (x + b).
And, the curvature detection processing unit 5, as shown in the following formula _{(4), S h (x} ) × 2 is twice the horizontal accumulated value in the middle of the position, horizontal accumulated value S _h (x- if b) and horizontal integration value S _h (x is the sum of _{+ b) S h (x-} b) + S h (x + b) above, as the curvature of the horizontal accumulated value _{_{S h (x) L h (}} x) " 1 "is output.
On the other hand, if S _h (x) × 2 is smaller than S _h (x−b) + S _h (x + b), “0” is output as the curvature amount L _h (x) of the horizontal integrated value S _h (x). .

ただし、ｂは水平積算値Ｓ_h（ｘ）と水平積算値Ｓ_h（ｘ−ｂ），Ｓ_h（ｘ＋ｂ）の水平方向の間隔を示す定数である。
なお、式（４）の演算においては、対象座標値の水平積算値Ｓ_h（ｘ）と一定の距離がある座標値の水平積算値Ｓ_h（ｘ−ｂ），Ｓ_h（ｘ＋ｂ）を参照するため、対象座標値によっては、参照する水平積算値Ｓ_h（ｘ−ｂ），Ｓ_h（ｘ＋ｂ）が存在しない場合がある。そのような場合には、存在する最も近い座標値の水平積算値を参照するようにしてもよいし、水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h（ｘ）を“０”の固定値としてもよい。

Here, b is a constant indicating the horizontal interval between the horizontal integrated value S _h (x) and the horizontal integrated values S _h (x−b), S _h (x + b).
In the calculation of the equation (4), the horizontal integrated value S _h (x) of the target coordinate value and the horizontal integrated values S _h (x−b) and S _h (x + b) of coordinate values having a certain distance are referred to. Therefore, depending on the target coordinate value, there are cases where the horizontal integrated values S _h (x−b) and S _h (x + b) to be referred to do not exist. In such a case, the horizontal integrated value of the nearest existing coordinate value may be referred to, or the curvature amount L _h (x) of the horizontal integrated value S _h (x) is a fixed value of “0”. It is good.

変位検出処理部６は、垂直データ積算処理部３が複数の垂直積算値Ｓ_v（ｙ）を出力すると、複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある２つの垂直積算値の大小関係を比較する。
即ち、変位検出処理部６は、垂直積算値Ｓ_v（ｙ）と垂直積算値Ｓ_v（ｙ＋ｃ）の大小関係を比較する。
そして、変位検出処理部６は、下記の式（５）に示すように、垂直積算値Ｓ_v（ｙ）が垂直積算値Ｓ_v（ｙ＋ｃ）以上であれば、垂直積算値の変位量Ｋ_v（ｙ）として“１”を出力する。
一方、垂直積算値Ｓ_v（ｙ）が垂直積算値Ｓ_v（ｙ＋ｃ）より小さければ、垂直積算値の変位量Ｋ_v（ｙ）として“０”を出力する。 Displacement detection processing unit 6, the vertical data integration processing unit 3 outputs a plurality of vertical integrated value S _v (y), of the plurality of vertical integrated value S _v (y), vertical spacing is a constant relationship The magnitude relationship between two vertical integrated values is compared.
That is, the displacement detection processing unit 6 compares the magnitude relationship between the vertical integrated value S _v (y) and the vertical integrated value S _v (y + c).
Then, as shown in the following equation (5), the displacement detection processing unit 6 determines that the vertical integrated value displacement amount K _v if the vertical integrated value S _v (y) is equal to or greater than the vertical integrated value S _v (y + c). “1” is output as (y).
On the other hand, if the vertical integrated value S _v (y) is smaller than the vertical integrated value S _v (y + c), “0” is output as the displacement amount K _v (y) of the vertical integrated value.

ただし、ｃは垂直積算値Ｓ_v（ｙ）と垂直積算値Ｓ_v（ｙ＋ｃ）の垂直方向の間隔を示す定数である。
なお、式（５）の演算においては、対象座標値の垂直積算値Ｓ_v（ｙ）と一定の距離がある座標値の垂直積算値Ｓ_v（ｙ＋ｃ）を参照するため、対象座標値によっては、参照する垂直積算値Ｓ_v（ｙ＋ｃ）が存在しない場合がある。そのような場合には、存在する最も近い座標値の垂直積算値を参照するようにしてもよいし、垂直積算値の変位量Ｋ_v（ｙ）を“０”の固定値としてもよい。

Here, c is a constant indicating the vertical interval between the vertical integrated value S _v (y) and the vertical integrated value S _v (y + c).
In the calculation of equation (5), since the vertical integrated value S _v (y) of the target coordinate value and the vertical integrated value S _v (y + c) of the coordinate value having a certain distance are referred to, depending on the target coordinate value, In some cases, the vertical integrated value S _v (y + c) to be referred to does not exist. In such a case, the vertical integrated value of the nearest existing coordinate value may be referred to, or the displacement amount K _v (y) of the vertical integrated value may be a fixed value of “0”.

曲率検出処理部７は、垂直データ積算処理部３が複数の垂直積算値Ｓ_v（ｙ）を出力すると、複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある３つの垂直積算値の大小関係を比較する。
即ち、曲率検出処理部７は、Ｓ_v（ｙ）×２と、Ｓ_v（ｙ−ｄ）＋Ｓ_v（ｙ＋ｄ）の大小関係を比較する。
そして、曲率検出処理部７は、下記の式（６）に示すように、中央の位置にある垂直積算値の２倍であるＳ_v（ｙ）×２が、垂直積算値Ｓ_v（ｙ−ｄ）と垂直積算値Ｓ_v（ｙ＋ｄ）の和であるＳ_v（ｙ−ｄ）＋Ｓ_v（ｙ＋ｄ）以上であれば、垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v（ｙ）として“１”を出力する。
一方、Ｓ_v（ｙ）×２が、Ｓ_v（ｙ−ｄ）＋Ｓ_v（ｙ＋ｄ）より小さければ、垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v（ｙ）として“０”を出力する。 Curvature detecting unit 7, the vertical data integration processing unit 3 outputs a plurality of vertical integrated value S _v (y), of the plurality of vertical integrated value S _v (y), vertical spacing is a constant relationship The magnitude relationship of three vertical integrated values is compared.
That is, the curvature detection processing unit 7 compares the magnitude relationship between S _v (y) × 2 and S _v (y−d) + S _v (y + d).
Then, curvature detection processing unit 7, as shown in the following formula (6), is twice the vertical integrated value at the center position S _v (y) × 2 is a vertical integrated value S _v (y- if _{S v (y-d) +} S v (y + d) or the sum of d) and the vertical integrated value S _v (y + d), the curvature of the vertical integrated value _{_{S v (y) L v (}} y) as " 1 "is output.
On the other hand, if S _v (y) × 2 is smaller than S _v (y−d) + S _v (y + d), “0” is output as the curvature amount L _v (y) of the vertical integrated value S _v (y). .

ただし、ｄは垂直積算値Ｓ_v（ｙ）と垂直積算値Ｓ_v（ｙ−ｄ），Ｓ_v（ｙ＋ｄ）の垂直方向の間隔を示す定数である。
なお、式（６）の演算においては、対象座標値の垂直積算値Ｓ_v（ｙ）と一定の距離がある座標値の垂直積算値Ｓ_v（ｙ−ｄ），Ｓ_v（ｙ＋ｄ）を参照するため、対象座標値によっては、参照する垂直積算値Ｓ_v（ｙ−ｄ），Ｓ_v（ｙ＋ｄ）が存在しない場合がある。そのような場合には、存在する最も近い座標値の垂直積算値を参照するようにしてもよいし、垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v（ｙ）を“０”の固定値としてもよい。

Here, d is a constant indicating the vertical interval between the vertical integrated value S _v (y) and the vertical integrated values S _v (y−d), S _v (y + d).
In the calculation of equation (6), refer to the vertical integrated values S _v (y−d) and S _v (y + d) of the coordinate values having a certain distance from the vertical integrated value S _v (y) of the target coordinate value. Therefore, depending on the target coordinate value, there are cases where the vertical integrated values S _v (y−d) and S _v (y + d) to be referred to do not exist. In such a case, the vertical integrated value of the closest coordinate value that exists may be referred to, or the curvature amount L _v (y) of the vertical integrated value S _v (y) is a fixed value of “0”. It is good.

上記のようにして、変位検出処理部４，６及び曲率検出処理部５，７により検出された変位量Ｋ_h（ｘ），Ｋ_v（ｙ）と曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）は、相関値演算処理部９に出力されるほか、特徴量バッファ８に出力されて、変位量Ｋ_h（ｘ），Ｋ_v（ｙ）と曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）が特徴量バッファ８に記録される。
なお、特徴量バッファ８に記録される変位量Ｋ_h（ｘ），Ｋ_v（ｙ）と曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）は、相関値演算処理部９における次回の相関演算処理に備えるものである。 The displacement amounts K _h (x), K _v (y) and the curvature amounts L _h (x), L _v (detected by the displacement detection processing units 4, 6 and the curvature detection processing units 5, 7 as described above. y) is output to the feature value buffer 8 in addition to being output to the correlation value calculation processing unit 9, and the displacement amounts K _h (x), K _v (y) and the curvature amounts L _h (x), L _v ( y) is recorded in the feature amount buffer 8.
The displacement amounts K _h (x), K _v (y) and the curvature amounts L _h (x), L _v (y) recorded in the feature amount buffer 8 are the next correlation calculation in the correlation value calculation processing unit 9. It prepares for processing.

相関値演算処理部９は、変位検出処理部４，６から今回の処理で検出された変位量Ｋ_h（ｘ），Ｋ_v（ｙ）を受け、曲率検出処理部５，７から今回の処理で検出された曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）を受けると、特徴量バッファ８から変位検出処理部４，６により前回の処理で検出された変位量Ｋ_h（ｘ），Ｋ_v（ｙ）を一つ前のフレームの画像に基づく変位量Ｋ’_h（ｘ），Ｋ’_v（ｙ）として読み込み、また、特徴量バッファ８から曲率検出処理部５，７により前回の処理で検出された曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）を一つ前のフレームの画像に基づく曲率量Ｌ’_h（ｘ），Ｌ’_v（ｙ）として読み込みを行う。
そして、相関値演算処理部９は、変位量Ｋ_h（ｘ），Ｋ_v（ｙ），Ｋ’_h（ｘ），Ｋ’_v（ｙ）と、曲率量Ｌ_h（ｘ），Ｌ_v（ｙ），Ｌ’_h（ｘ），Ｌ’_v（ｙ）とを用いて、２枚の画像間（フレーム間）の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算する。 The correlation value calculation processing unit 9 receives the displacements K _h (x) and K _v (y) detected in the current processing from the displacement detection processing units 4 and 6, and receives the current processing from the curvature detection processing units 5 and 7. When the curvature amounts L _h (x) and L _v (y) detected in step S3 are received, the displacement amounts K _h (x) and K detected in the previous process by the displacement detection processing units 4 and 6 from the feature amount buffer 8. _v (y) is read as displacement amounts K ′ _h (x), K ′ _v (y) based on the image of the previous frame, and the previous processing is performed by the curvature detection processing units 5 and 7 from the feature amount buffer 8. The curvature amounts L _h (x) and L _v (y) detected in (1) are read as curvature amounts L ′ _h (x) and L ′ _v (y) based on the previous frame image.
Then, the correlation value calculation processing unit 9 calculates the displacement amounts K _h (x), K _v (y), K ′ _h (x), K ′ _v (y) and the curvature amounts L _h (x), L _v ( Using y), L ′ _h (x), and L ′ _v (y), correlation values R _h (x _d ) and R _v (y _d ) between two images (between frames) are calculated.

即ち、相関値演算処理部９は、下記の式（７）に示すような相関値演算を実施することにより、比較対象の画素を１画素ずつずらしながら、水平方向の画素ずれ量がｘ_dであるとする場合のフレーム間の相関値Ｒ_h（ｘ_d）を演算する。

ただし、ｅは画素ずれ量の最大検出値を示す定数である。 That is, the correlation value calculation processing unit 9 performs the correlation value calculation as shown in the following equation (7), thereby shifting the pixel to be compared one pixel at a time and the horizontal pixel shift amount is x _d . A correlation value R _h (x _d ) between frames when there is a certain frame is calculated.

Here, e is a constant indicating the maximum detected value of the pixel shift amount.

また、相関値演算処理部９は、下記の式（８）に示すような相関値演算を実施することにより、比較対象の画素を１画素ずつずらしながら、垂直方向の画素ずれ量がｙ_dであるとする場合のフレーム間の相関値Ｒ_v（ｙ_d）を演算する。

ただし、ｆは画素ずれ量の最大検出値を示す定数である。 Further, the correlation value calculation processing unit 9 performs the correlation value calculation as shown in the following equation (8), so that the pixel shift amount in the vertical direction is y _d while shifting the pixels to be compared one by one. A correlation value R _v (y _d ) between frames when there is a certain frame is calculated.

Here, f is a constant indicating the maximum detected value of the pixel shift amount.

相関値演算処理部９は、上記の相関演算を−ｅ≦ｘ_d≦ｅ、−ｆ≦ｙ_d≦ｆのそれぞれの範囲で実施して、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算すると、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）が最小になる画素ずれ量ｘ_d，ｙ_dをフレーム間の画素ずれ量として出力する。
ここで、図３はｘ_dの値を−１、０、１とする場合の相関値演算処理部１２の動作例を示す説明図である。
図３の例では、ｘ_d＝−１ → Ｒ_h（ｘ_d）＝１０、ｘ_d＝０ → Ｒ_h（ｘ_d）＝９、ｘ_d＝１ → Ｒ_h（ｘ_d）＝２であり、ｘ_dの値が１のとき、フレーム間の相関値Ｒ_h（ｘ_d）が最小になるので、水平方向の画素ずれ量ｘ_dとして“１”が出力される。 The correlation value calculation processing unit 9 performs the above correlation calculation in each of the ranges of −e ≦ x _d ≦ e and −f ≦ y _d ≦ f, and the correlation values R _h (x _d ), R between frames. _{When v} (y _d ) is calculated, pixel shift amounts x _d and y _d that minimize the correlation values R _h (x _d ) and R _v (y _d ) between frames are output as pixel shift amounts between frames.
Here, FIG. 3 is an explanatory diagram illustrating an operation example of the correlation value calculation processing unit 12 when the value of x _d is set to −1, 0, and 1.
In the example of FIG. 3, x _d = −1 → R _h (x _d ) = 10, x _d = 0 → R _h (x _d ) = 9, x _d = 1 → R _h (x _d ) = 2 When the value of x _d is 1, the correlation value R _h (x _d ) between frames is minimized, so that “1” is output as the pixel shift amount x _{d in the} horizontal direction.

画像出力部１０は、画像入力部１から画像の射影データを受け、相関値演算処理部９からフレーム間の画素ずれ量を受けると、その画素ずれ量を打ち消す方向に画像の切り出し位置を変更して、画素ずれのない安定した画像を出力する。
例えば、水平方向の画素ずれ量ｘ_dが“１”であれば、画像の切り出し位置を前のフレームより１画素だけ左の位置に変更する。
また、垂直方向の画素ずれ量ｙ_dが“−２”であれば、画像の切り出し位置を前のフレームより２画素だけ下の位置に変更する。 When the image output unit 10 receives the projection data of the image from the image input unit 1 and receives the pixel shift amount between frames from the correlation value calculation processing unit 9, the image output unit 10 changes the cutout position of the image in a direction to cancel the pixel shift amount. Thus, a stable image with no pixel shift is output.
For example, if the pixel shift amount _xd in the horizontal direction is “1”, the cutout position of the image is changed to a position left by one pixel from the previous frame.
The pixel shift amount y _d in the vertical direction if "-2", changing the extraction position of the image in the down position by two pixels from the previous frame.

以上で明らかなように、この実施の形態１によれば、画像入力部１により入力された射影データのうち、水平方向の座標ｘが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値の積算結果である水平積算値Ｓ_h（ｘ）を出力する水平データ積算処理部２と、垂直方向の座標ｙが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値の積算結果である垂直積算値Ｓ_v（ｙ）を出力する垂直データ積算処理部３と、水平データ積算処理部２又は垂直データ積算処理部３から出力された複数の水平積算値Ｓ_h（ｘ）又は複数の垂直積算値Ｓ_v（ｙ）を比較して、水平積算値の変位量Ｋ_h（ｘ）又は垂直積算値の変位量Ｋ_v（ｙ）を検出する変位検出処理部４，６と、水平データ積算処理部２又は垂直データ積算処理部３から出力された複数の水平積算値Ｓ_h（ｘ）又は複数の垂直積算値Ｓ_v（ｙ）を比較して、水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h（ｘ）又は垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v（ｙ）を検出する曲率検出処理部５，７とを設け、相関値演算処理部９が当該フレームの変位量Ｋ_h（ｘ），Ｋ_v（ｙ）及び曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）と、１フレーム前の変位量Ｋ’_h（ｘ），Ｋ’_v（ｙ）及び曲率量Ｌ’_h（ｘ），Ｌ’_v（ｙ）とを用いて、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算し、その相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）からフレーム間の画素ずれ量を検出するように構成したので、画素値の変動が激しい画像や、コントラストが低い画像であっても、精度よく画素ずれ量を検出することができる効果を奏する。 As apparent from the above, according to the first embodiment, the luminance value P (x, y) between the projection data input by the image input unit 1 and having the same coordinate x in the horizontal direction is obtained. The luminance value P (x, y) between the horizontal data integration processing unit 2 that performs integration and outputs the horizontal integration value S _h (x) that is the integration result of the luminance values, and projection data that coincides with the coordinate y in the vertical direction. ) And outputs a vertical integrated value S _v (y) that is an integrated result of the luminance values, and is output from the horizontal data integrating processor 2 or the vertical data integrating processor 3. By comparing a plurality of horizontal integrated values S _h (x) or a plurality of vertical integrated values S _v (y), a horizontal integrated value displacement amount K _h (x) or a vertical integrated value displacement amount K _v (y) is obtained. Displacement detection processing units 4 and 6 to detect and horizontal data integration processing unit 2 or vertical data integration Comparing the plurality of horizontal accumulated value output from the processing section 3 S _h (x) or a plurality of vertical integrated value S _v (y), the curvature of the horizontal accumulated value _{_{S h (x) L h (}} x) or Curvature detection processing units 5 and 7 for detecting the curvature amount L _v (y) of the vertical integrated value S _v (y) are provided, and the correlation value calculation processing unit 9 provides the displacement amounts K _h (x), K _{v of the} frame. (Y), curvature amounts L _h (x), L _v (y), displacement amounts K ′ _h (x), K ′ _v (y) and curvature amounts L ′ _h (x), L ′ one frame before _v (y) is used to calculate inter-frame correlation values R _h (x _d ) and R _v (y _d ), and from the correlation values R _h (x _d ) and R _v (y _d ) The pixel shift amount is detected, so that the pixel shift amount can be accurately detected even for an image having a large pixel value variation or an image having a low contrast.

即ち、この実施の形態１では、水平積算値Ｓ_h（ｘ）及び垂直積算値Ｓ_v（ｙ）から変位量Ｋ_h（ｘ），Ｋ_v（ｙ）と曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）を検出し、射影データの各ライン当り１ビットの情報として、その変位量Ｋ_h（ｘ），Ｋ_v（ｙ）と曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）を特徴量バッファ８に記録するようにしているので、特徴量として保持するデータ量を大きく削減することが可能である。
また、フレーム間で比較するデータ量が削減されることによって、相関値演算処理部９の相関値演算処理では、各ライン毎に１ビット値の一致もしくは不一致を判定するだけでよくなり、相関値演算の演算量自体も大きく削減することができる。
また、特徴量として互いに性質の異なる２種類の値を検出し、その組み合わせによって相関値の演算を行うことにより、個々の値のみで相関値を算出する場合よりも高精度に画素ずれ量を算出することが可能となる。 That is, in the first embodiment, the displacement amounts K _h (x), K _v (y) and the curvature amounts L _h (x), L from the horizontal integration value S _h (x) and the vertical integration value S _v (y). _v (y) is detected, and displacement amounts K _h (x), K _v (y) and curvature amounts L _h (x), L _v (y) are characterized as 1-bit information for each line of projection data. Since the data is recorded in the quantity buffer 8, the amount of data held as the feature quantity can be greatly reduced.
Further, since the amount of data to be compared between frames is reduced, the correlation value calculation processing of the correlation value calculation processing unit 9 only needs to determine whether the 1-bit value matches or does not match for each line. The amount of calculation itself can be greatly reduced.
In addition, by detecting two types of values that are different from each other as feature quantities and calculating the correlation value based on the combination of these values, the amount of pixel shift can be calculated with higher accuracy than when calculating correlation values using only individual values. It becomes possible to do.

実施の形態２．
図４はこの発明の実施の形態２による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
変位検出処理部４ａは水平データ積算処理部２から出力された複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある２つの水平積算値の大小関係（例えば、Ｓ_h（ｘ）とＳ_h（ｘ＋ａ₁）の大小関係）を比較し、大小関係の比較結果から水平積算値の変位量Ｋ_h1（ｘ）を検出する処理を実施する。
変位検出処理部４ｂは水平データ積算処理部２から出力された複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある２つの水平積算値の大小関係（例えば、Ｓ_h（ｘ）とＳ_h（ｘ＋ａ₂）の大小関係）を比較し、大小関係の比較結果から水平積算値の変位量Ｋ_h2（ｘ）を検出する処理を実施する。
なお、変位検出処理部４ａ，４ｂは第１の変位量検出手段を構成している。 Embodiment 2. FIG.
FIG. 4 is a block diagram showing an image processing apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG.
The displacement detection processing unit 4a has a magnitude relationship between two horizontal integration values (for example, a plurality of horizontal integration values S _h (x) output from the horizontal data integration processing unit 2). S _h (x) and S _h (x + a ₁ ) are compared, and a process of detecting the displacement K _h1 (x) of the horizontal integrated value from the comparison result of the magnitude relationship is performed.
The displacement detection processing unit 4b is a magnitude relationship between two horizontal integration values (for example, a plurality of horizontal integration values S _h (x) output from the horizontal data integration processing unit 2). S _h (x) and S _h (x + a ₂ )) are compared, and a process of detecting the displacement K _h2 (x) of the horizontal integrated value from the comparison result of the magnitude relationship is performed.
The displacement detection processing units 4a and 4b constitute first displacement amount detection means.

曲率検出処理部５ａは水平データ積算処理部２から出力された複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある３つの水平積算値の大小関係（例えば、Ｓ_h（ｘ）×２と、Ｓ_h（ｘ−ｂ₁）＋Ｓ_h（ｘ＋ｂ₁）の大小関係）を比較し、大小関係の比較結果から中央の位置にある水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h1（ｘ）を検出する処理を実施する。
曲率検出処理部５ｂは水平データ積算処理部２から出力された複数の水平積算値Ｓ_h（ｘ）のうち、水平方向の間隔が一定の関係にある３つの水平積算値の大小関係（例えば、Ｓ_h（ｘ）×２と、Ｓ_h（ｘ−ｂ₂）＋Ｓ_h（ｘ＋ｂ₂）の大小関係）を比較し、大小関係の比較結果から中央の位置にある水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h2（ｘ）を検出する処理を実施する。
なお、曲率検出処理部５ａ，５ｂは第１の曲率量検出手段を構成している。 The curvature detection processing unit 5a has a magnitude relationship between three horizontal integration values (for example, a plurality of horizontal integration values S _h (x) output from the horizontal data integration processing unit 2). S _h (x) × 2 and S _h (x−b ₁ ) + S _h (x + b ₁ )) are compared, and the horizontal integrated value S _h (x) at the center position is determined from the comparison result of the magnitude relationship. The process of detecting the curvature amount L _h1 (x) of is performed.
The curvature detection processing unit 5b is a magnitude relationship between three horizontal integration values (for example, a plurality of horizontal integration values S _h (x) output from the horizontal data integration processing unit 2). S _h (x) × 2 and S _h (x−b ₂ ) + S _h (x + b ₂ )) are compared, and the horizontal integrated value S _h (x) at the center position is determined from the comparison result of the magnitude relationship. The process of detecting the curvature amount L _h2 (x) of is performed.
The curvature detection processing units 5a and 5b constitute first curvature amount detection means.

変位検出処理部６ａは垂直データ積算処理部３から出力された複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある２つの垂直積算値の大小関係（例えば、Ｓ_v（ｙ）とＳ_v（ｙ＋ｃ₁）の大小関係）を比較し、大小関係の比較結果から垂直積算値の変位量Ｋ_v1（ｙ）を検出する処理を実施する。
変位検出処理部６ｂは垂直データ積算処理部３から出力された複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある２つの垂直積算値の大小関係（例えば、Ｓ_v（ｙ）とＳ_v（ｙ＋ｃ₂）の大小関係）を比較し、大小関係の比較結果から垂直積算値の変位量Ｋ_v2（ｙ）を検出する処理を実施する。
なお、変位検出処理部６ａ，６ｂは第２の変位量検出手段を構成している。 The displacement detection processing unit 6a has a magnitude relationship between two vertical integration values (for example, a plurality of vertical integration values S _v (y) output from the vertical data integration processing unit 3). S _v (y) and S _v (y + c ₁ )) are compared, and the vertical integrated value displacement amount K _v1 (y) is detected from the comparison result of the magnitude relationship.
The displacement detection processing unit 6b is a magnitude relationship between two vertical integration values (for example, a plurality of vertical integration values S _v (y) output from the vertical data integration processing unit 3). S _v (y) and S _v (y + c ₂ ) are compared, and a process of detecting the displacement K _v2 (y) of the vertical integrated value from the comparison result of the magnitude relationship is performed.
The displacement detection processing units 6a and 6b constitute second displacement amount detection means.

曲率検出処理部７ａは垂直データ積算処理部３から出力された複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある３つの垂直積算値の大小関係（例えば、Ｓ_v（ｙ）×２と、Ｓ_v（ｙ−ｄ₁）＋Ｓ_v（ｙ＋ｄ₁）の大小関係）を比較し、大小関係の比較結果から中央の位置にある垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v1（ｙ）を検出する処理を実施する。
曲率検出処理部７ｂは垂直データ積算処理部３から出力された複数の垂直積算値Ｓ_v（ｙ）のうち、垂直方向の間隔が一定の関係にある３つの垂直積算値の大小関係（例えば、Ｓ_v（ｙ）×２と、Ｓ_v（ｙ−ｄ₂）＋Ｓ_v（ｙ＋ｄ₂）の大小関係）を比較し、大小関係の比較結果から中央の位置にある垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v2（ｙ）を検出する処理を実施する。
なお、曲率検出処理部７ａ，７ｂは第２の曲率量検出手段を構成しており、変位検出処理部４ａ，４ｂ、曲率検出処理部５ａ，５ｂ、変位検出処理部６ａ，６ｂ及び曲率検出処理部７ａ，７ｂから検出処理手段が構成されている。 The curvature detection processing unit 7a is a magnitude relationship (for example, three vertical integration values having a constant vertical interval among the plurality of vertical integration values S _v (y) output from the vertical data integration processing unit 3 (for example, S _v (y) × 2 and S _v (y−d ₁ ) + S _v (y + d ₁ )) are compared, and the vertical integrated value S _v (y) at the center position is determined from the comparison result of the magnitude relationship. The process of detecting the curvature amount L _v1 (y) of is performed.
The curvature detection processing unit 7b is a magnitude relationship between three vertical integration values (for example, a plurality of vertical integration values S _v (y) output from the vertical data integration processing unit 3). S _v (y) × 2 and S _v (y−d ₂ ) + S _v (y + d ₂ )) are compared, and the vertical integrated value S _v (y) at the center position is determined from the comparison result of the magnitude relationship. The process of detecting the curvature amount L _v2 (y) of is performed.
The curvature detection processing units 7a and 7b constitute second curvature amount detection means, such as displacement detection processing units 4a and 4b, curvature detection processing units 5a and 5b, displacement detection processing units 6a and 6b, and curvature detection processing. The detection processing means is composed of the sections 7a and 7b.

特徴量バッファ１１は変位検出処理部４ａ，４ｂ，６ａ，６ｂにより検出された変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）を記録するとともに、曲率検出処理部５ａ，５ｂ，７ａ，７ｂにより検出された曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）を記録するメモリである。
相関値演算処理部１２は変位検出処理部４ａ，４ｂ，６ａ，６ｂにより今回の処理で検出された変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）と、曲率検出処理部５ａ，５ｂ，７ａ，７ｂにより今回の処理で検出された曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）と、特徴量バッファ８に記録されている変位量Ｋ’_h1（ｘ），Ｋ’_h2（ｘ），Ｋ’_v1（ｙ），Ｋ’_v2（ｙ）（変位検出処理部４ａ，４ｂ，６ａ，６ｂにより前回の処理で検出された変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ））と、特徴量バッファ８に記録されている曲率量Ｌ’_h1（ｘ），Ｌ’_h2（ｘ），Ｌ’_v1（ｙ），Ｌ’_v2（ｙ）（曲率検出処理部５ａ，５ｂ，７ａ，７ｂにより前回の処理で検出された曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ））とを用いて、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算し、相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）が最小になる画素ずれ量ｘ_d，ｙ_dをフレーム間の画素ずれ量として出力する処理を実施する。
なお、特徴量バッファ１１及び相関値演算処理部１２から画素ずれ量検出手段が構成されている。 The feature amount buffer 11 records the displacement amounts K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (y) detected by the displacement detection processing units 4a, 4b, 6a, 6b, This is a memory for recording the curvature amounts L _h1 (x), L _h2 (x), L _v1 (y), L _v2 (y) detected by the curvature detection processing units 5a, 5b, 7a, 7b.
Correlation value calculation processing unit 12 has displacement amounts K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (y) detected by displacement detection processing units 4a, 4b, 6a, 6b in this process. ), Curvature amounts L _h1 (x), L _h2 (x), L _v1 (y), L _v2 (y) detected by the curvature detection processing units 5a, 5b, 7a, 7b in the current process, Displacements K ′ _h1 (x), K ′ _h2 (x), K ′ _v1 (y), K ′ _v2 (y) recorded in the quantity buffer 8 (by the displacement detection processing units 4a, 4b, 6a, 6b) The displacements K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (y)) detected in the previous process and the curvature L ′ _h1 ( x), L ′ _h2 (x), L ′ _v1 (y), L ′ _v2 (y) (curvature amount L _h1 (x) detected in the previous process by the curvature detection processing units 5a, 5b, 7a, 7b) , L _h2 (x , L _v1 (y), by using the L _v2 (y)), the correlation value R _h (x _d between frames), calculates the R _v (y _d), the correlation value R _h (x _d), R A process of outputting the pixel shift amount x _d , y _d that minimizes _v (y _d ) as the pixel shift amount between frames is performed.
The feature amount buffer 11 and the correlation value calculation processing unit 12 constitute a pixel shift amount detection unit.

次に動作について説明する。
この実施の形態２では、図１の変位検出処理部４，６に相当する検出処理部と、曲率検出処理部５，７に相当する検出処理部をそれぞれ２組ずつ用意している点で上記実施の形態１と相違している。
即ち、この実施の形態２では、図１の変位検出処理部４に相当する検出処理部として変位検出処理部４ａ，４ｂ、図１の曲率検出処理部５に相当する検出処理部として曲率検出処理部５ａ，５ｂ、図１の変位検出処理部６に相当する検出処理部として変位検出処理部６ａ，６ｂ、図１の曲率検出処理部７に相当する検出処理部として曲率検出処理部７ａ，７ｂを用意している。 Next, the operation will be described.
In the second embodiment, two sets of detection processing units corresponding to the displacement detection processing units 4 and 6 in FIG. 1 and two detection processing units corresponding to the curvature detection processing units 5 and 7 are prepared. This is different from the first embodiment.
That is, in the second embodiment, the displacement detection processing units 4a and 4b as detection processing units corresponding to the displacement detection processing unit 4 in FIG. 1, and the curvature detection processing as detection processing units corresponding to the curvature detection processing unit 5 in FIG. 5a and 5b, displacement detection processing units 6a and 6b as detection processing units corresponding to the displacement detection processing unit 6 in FIG. 1, and curvature detection processing units 7a and 7b as detection processing units corresponding to the curvature detection processing unit 7 in FIG. Is prepared.

画像入力部１は、上記実施の形態１と同様に、画像センサにより撮影された画像の射影データを入力する毎に、その射影データを水平データ積算処理部２、垂直データ積算処理部３及び画像出力部１０に出力する。
水平データ積算処理部２は、画像入力部１から画像の射影データを受けると、上記実施の形態１と同様に、画像の射影データのうち、水平方向の座標ｘが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値Ｐ（ｘ，ｙ）の積算結果である水平積算値Ｓ_h（ｘ）を変位検出処理部４ａ，４ｂ及び曲率検出処理部５ａ，５ｂに出力する。
垂直データ積算処理部３は、画像入力部１から画像の射影データを受けると、上記実施の形態１と同様に、画像の射影データのうち、垂直方向の座標ｙが一致する射影データ同士の輝度値Ｐ（ｘ，ｙ）を積算して、その輝度値Ｐ（ｘ，ｙ）の積算結果である垂直積算値Ｓ_v（ｙ）を変位検出処理部６ａ，６ｂ及び曲率検出処理部７ａ，７ｂに出力する。 Similar to the first embodiment, the image input unit 1 inputs the projection data of the image captured by the image sensor, the horizontal data integration processing unit 2, the vertical data integration processing unit 3, and the image every time the projection data of the image captured by the image sensor is input. Output to the output unit 10.
When the horizontal data integration processing unit 2 receives the projection data of the image from the image input unit 1, the luminance of the projection data having the same horizontal coordinate x among the projection data of the image as in the first embodiment. The values P (x, y) are integrated, and the horizontal integrated value S _h (x), which is the integration result of the luminance values P (x, y), is used as the displacement detection processing units 4a and 4b and the curvature detection processing units 5a and 5b. Output to.
When the vertical data integration processing unit 3 receives the projection data of the image from the image input unit 1, the brightness of the projection data having the same coordinate y in the vertical direction among the projection data of the image, as in the first embodiment. The values P (x, y) are integrated, and the vertical integrated value S _v (y), which is the integration result of the luminance values P (x, y), is obtained as the displacement detection processing units 6a, 6b and curvature detection processing units 7a, 7b. Output to.

変位検出処理部４ａ，４ｂは、水平データ積算処理部２から複数の水平積算値Ｓ_h（ｘ）を受けると、図１の変位検出処理部４と同様にして、水平積算値の変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ）を検出する。
ただし、変位検出処理部４ａ，４ｂは、大小関係を比較する２つの水平積算値Ｓ_h（ｘ）の水平方向の間隔が相互に異なっている。
即ち、変位検出処理部４ａでは間隔がａ₁であり、変位検出処理部４ｂでは間隔がａ₂である。 When the displacement detection processing units 4a and 4b receive a plurality of horizontal integration values S _h (x) from the horizontal data integration processing unit 2, the displacement detection processing unit 4 in FIG. _h1 (x) and K _h2 (x) are detected.
However, in the displacement detection processing units 4a and 4b, the horizontal intervals of the two horizontal integrated values S _h (x) for comparing the magnitude relation are different from each other.
That is, the interval in the displacement detection processing unit 4a is a _1, the interval in the displacement detection processing unit 4b is a _2.

曲率検出処理部５ａ，５ｂは、水平データ積算処理部２から複数の水平積算値Ｓ_h（ｘ）を受けると、図１の曲率検出処理部５と同様にして、水平積算値Ｓ_h（ｘ）の曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ）を検出する。
ただし、曲率検出処理部５ａ，５ｂは、大小関係を比較する３つの水平積算値Ｓ_h（ｘ）の水平方向の間隔が相互に異なっている。
即ち、曲率検出処理部５ａでは間隔がｂ₁であり、曲率検出処理部５ｂでは間隔がｂ₂である。 When the curvature detection processing units 5a and 5b receive a plurality of horizontal integration values S _h (x) from the horizontal data integration processing unit 2, the horizontal integration values S _h (x ) Curvature amounts L _h1 (x) and L _h2 (x) are detected.
However, in the curvature detection processing units 5a and 5b, the horizontal intervals of the three horizontal integrated values S _h (x) for comparing the magnitude relationships are different from each other.
That is, the interval is b ₁ in the curvature detection processing unit 5a, and the interval is b ₂ in the curvature detection processing unit 5b.

変位検出処理部６ａ，６ｂは、垂直データ積算処理部３から複数の垂直積算値Ｓ_v（ｙ）を受けると、図１の変位検出処理部６と同様にして、垂直積算値の変位量Ｋ_v1（ｙ），Ｋ_v2（ｙ）を検出する。
ただし、変位検出処理部６ａ，６ｂは、大小関係を比較する２つの垂直積算値Ｓ_v（ｙ）の垂直方向の間隔が相互に異なっている。
即ち、変位検出処理部６ａでは間隔がｃ₁であり、変位検出処理部６ｂでは間隔がｃ₂である。 When the displacement detection processing units 6a and 6b receive a plurality of vertical integration values S _v (y) from the vertical data integration processing unit 3, the displacement detection processing unit 6 shown in FIG. _v1 (y) and _Kv2 (y) are detected.
However, in the displacement detection processing units 6a and 6b, the vertical intervals between the two vertical integrated values S _v (y) that are compared in magnitude are different from each other.
That is, the interval is c ₁ in the displacement detection processing unit 6a, and the interval is c ₂ in the displacement detection processing unit 6b.

曲率検出処理部７ａ，７ｂは、垂直データ積算処理部３から複数の垂直積算値Ｓ_v（ｙ）を受けると、図１の曲率検出処理部７と同様にして、垂直積算値Ｓ_v（ｙ）の曲率量Ｌ_v1（ｙ），Ｌ_v2（ｙ）を検出する。
ただし、曲率検出処理部７ａ，７ｂは、大小関係を比較する３つの垂直積算値Ｓ_v（ｙ）の垂直方向の間隔が相互に異なっている。
即ち、曲率検出処理部７ａでは間隔がｄ₁であり、曲率検出処理部７ｂでは間隔がｄ₂である。 Curvature detection processing unit 7a, 7b, upon receiving a plurality of vertically integrated value S _v (y) from the vertical data integration processing unit 3, in the same manner as the curvature detection processing unit 7 of FIG. 1, the vertical integrated value S _v (y ) Curvature amounts L _v1 (y) and L _v2 (y) are detected.
However, in the curvature detection processing units 7a and 7b, the vertical intervals of the three vertical integrated values S _v (y) for comparing the magnitude relationships are different from each other.
That is, the interval is d ₁ in the curvature detection processing unit 7a, and the interval is d ₂ in the curvature detection processing unit 7b.

上記のようにして、変位検出処理部４ａ，４ｂ，６ａ，６ｂ及び曲率検出処理部５ａ，５ｂ，７ａ，７ｂにより検出された変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）と曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）は、相関値演算処理部１２に出力されるほか、特徴量バッファ１１に出力されて、変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）と曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）が特徴量バッファ１１に記録される。
なお、特徴量バッファ１１に記録される変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）と曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）は、相関値演算処理部１２における次回の相関演算処理に備えるものである。 Displacement amounts K _h1 (x), K _h2 (x), K _v1 (detected by the displacement detection processing units 4a, 4b, 6a, 6b and the curvature detection processing units 5a, 5b, 7a, 7b as described above. y), K _v2 (y) and curvature quantities L _h1 (x), L _h2 (x), L _v1 (y), and L _v2 (y) are output to the correlation value calculation processing unit 12 and are also feature quantities. The displacements K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (y) and the curvatures L _h1 (x), L _h2 (x), L _v1 ( y) and L _v2 (y) are recorded in the feature amount buffer 11.
The displacement amounts K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (y) and the curvature amounts L _h1 (x), L _h2 (x), recorded in the feature amount buffer 11 are recorded. L _v1 (y) and L _v2 (y) are prepared for the next correlation calculation processing in the correlation value calculation processing unit 12.

相関値演算処理部１２は、変位検出処理部４ａ，４ｂ，６ａ，６ｂから今回の処理で検出された変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）を受け、曲率検出処理部５ａ，５ｂ，７ａ，７ｂから今回の処理で検出された曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）を受けると、特徴量バッファ１１から変位検出処理部４ａ，４ｂ，６ａ，６ｂにより前回の処理で検出された変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ）を一つ前のフレームの画像に基づく変位量Ｋ’_h1（ｘ），Ｋ’_h2（ｘ），Ｋ’_v1（ｙ），Ｋ’_v2（ｙ）として読み込み、また、特徴量バッファ１１から曲率検出処理部５ａ，５ｂ，７ａ，７ｂにより前回の処理で検出された曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ）を一つ前のフレームの画像に基づく曲率量Ｌ’_h1（ｘ），Ｌ’_h2（ｘ），Ｌ’_v1（ｙ），Ｌ’_v2（ｙ）として読み込みを行う。
そして、相関値演算処理部１２は、変位量Ｋ_h1（ｘ），Ｋ_h2（ｘ），Ｋ_v1（ｙ），Ｋ_v2（ｙ），Ｋ’_h1（ｘ），Ｋ’_h2（ｘ），Ｋ’_v1（ｙ），Ｋ’_v2（ｙ）と、曲率量Ｌ_h1（ｘ），Ｌ_h2（ｘ），Ｌ_v1（ｙ），Ｌ_v2（ｙ），Ｌ’_h1（ｘ），Ｌ’_h2（ｘ），Ｌ’_v1（ｙ），Ｌ’_v2（ｙ）とを用いて、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算する。 The correlation value calculation processing unit 12 includes displacement amounts K _h1 (x), K _h2 (x), K _v1 (y), K _v2 () detected by the current processing from the displacement detection processing units 4a, 4b, 6a, 6b. y), the curvature amounts L _h1 (x), L _h2 (x), L _v1 (y), L _v2 (y) detected in the current process from the curvature detection processing units 5a, 5b, 7a, 7b are received. Then, the displacement amounts K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (detected by the displacement detection processing units 4a, 4b, 6a, 6b from the feature amount buffer 11 in the previous processing. y) is read as displacement amounts K ′ _h1 (x), K ′ _h2 (x), K ′ _v1 (y), K ′ _v2 (y) based on the image of the previous frame, and the feature amount buffer 11 curvature amount detected in the previous process curvature detection processing section 5a, 5b, 7a, by 7b from _{_{L h1 (x), L h2}} (x), L v1 (y), L v2 ( Curvature amount L) based on the image of the previous frame _{'h1 (x), L'} h2 (x), L 'v1 (y), L' reads as _v2 (y).
Then, the correlation value calculation processing unit 12 outputs the displacements K _h1 (x), K _h2 (x), K _v1 (y), K _v2 (y), K ′ _h1 (x), K ′ _h2 (x), K ′ _v1 (y), K ′ _v2 (y) and curvature amounts L _h1 (x), L _h2 (x), L _v1 (y), L _v2 (y), L ′ _h1 (x), L ′ The correlation values R _h (x _d ) and R _v (y _d ) between frames are calculated using _{h 2} (x), L ′ _v1 (y), and L ′ _v2 (y).

即ち、相関値演算処理部１２は、下記の式（９）に示すような相関値演算を実施することにより、比較対象の画素を１画素ずつずらしながら、水平方向の画素ずれ量がｘ_dであるとする場合のフレーム間の相関値Ｒ_h（ｘ_d）を演算する。

That is, the correlation value calculation processing unit 12 performs the correlation value calculation as shown in the following formula (9), thereby shifting the pixel to be compared one pixel at a time and the horizontal pixel shift amount is x _d . A correlation value R _h (x _d ) between frames when there is a certain frame is calculated.

また、相関値演算処理部１２は、下記の式（１０）に示すような相関値演算を実施することにより、比較対象の画素を１画素ずつずらしながら、垂直方向の画素ずれ量がｙ_dであるとする場合のフレーム間の相関値Ｒ_v（ｙ_d）を演算する。

Further, the correlation value calculation processing unit 12 performs the correlation value calculation as shown in the following equation (10), thereby shifting the pixel to be compared one pixel at a time and the vertical pixel shift amount is y _d . A correlation value R _v (y _d ) between frames when there is a certain frame is calculated.

画像出力部１０は、画像入力部１から画像の射影データを受け、相関値演算処理部１２からフレーム間の画素ずれ量を受けると、上記実施の形態１と同様に、その画素ずれ量を打ち消す方向に画像の切り出し位置を変更して、画素ずれのない安定した画像を出力する。 When the image output unit 10 receives the projection data of the image from the image input unit 1 and receives the pixel shift amount between frames from the correlation value calculation processing unit 12, the image output unit 10 cancels the pixel shift amount as in the first embodiment. Change the cutout position of the image in the direction, and output a stable image without pixel shift.

以上で明らかなように、この実施の形態２によれば、大小関係を比較する２つの水平積算値の水平方向の間隔が相互に異なる変位検出処理部４を２組備え、大小関係を比較する３つの水平積算値の水平方向の間隔が相互に異なる曲率検出処理部６を２組備え、大小関係を比較する２つの垂直積算値の垂直方向の間隔が相互に異なる変位検出処理部５を２組備え、大小関係を比較する３つの垂直積算値の垂直方向の間隔が相互に異なる曲率検出処理部７を２組備えるように構成したので、異なる特徴量（変位量、曲率量）の抽出が可能になり、これらの特徴量を組み合わせて使用することで、単独の特徴量では検出精度の低い画像に対しても検出精度を高めることができる効果を奏する。 As is apparent from the above, according to the second embodiment, two sets of displacement detection processing units 4 having different horizontal intervals between two horizontal integrated values for comparing the magnitude relation are provided, and the magnitude relation is compared. Two sets of curvature detection processing units 6 having three horizontal integration values with mutually different horizontal intervals, and two displacement detection processing units 5 with two vertical integration values having different vertical intervals are compared. Since two sets of curvature detection processing units 7 with different vertical intervals of three vertical integrated values for comparing magnitude relations are provided, extraction of different feature values (displacement amount, curvature amount) is possible. It becomes possible, and by using these feature amounts in combination, there is an effect that the detection accuracy can be increased even for an image with low detection accuracy with a single feature amount.

なお、この実施の形態２では、変位検出処理部及び曲率検出処理部を２組ずつ備えるものについて示したが、要求される検出の精度に応じて、変位検出処理部又は曲率検出処理部のいずれか一方は１組のみ、もしくは、３組以上備えるようにしてもよい。 In the second embodiment, two displacement detection processing units and curvature detection processing units are provided. However, depending on the required detection accuracy, either the displacement detection processing unit or the curvature detection processing unit is used. Only one set or three or more sets may be provided.

実施の形態３．
上記実施の形態１では、相関値演算処理部９が当該フレームの変位量Ｋ_h（ｘ），Ｋ_v（ｙ）及び曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）と、１フレーム前の変位量Ｋ’_h（ｘ），Ｋ’_v（ｙ）及び曲率量Ｌ’_h（ｘ），Ｌ’_v（ｙ）とを用いて、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算するものについて示したが、相関値演算処理部９がフレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算する際、当該フレームの変位量Ｋ_h（ｘ），Ｋ_v（ｙ）及び曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）と、１フレーム前の変位量Ｋ’_h（ｘ），Ｋ’_v（ｙ）及び曲率量Ｌ’_h（ｘ），Ｌ’_v（ｙ）との間に重み付けを行うようにしてもよい。 Embodiment 3 FIG.
In the first embodiment, the correlation value calculation processing unit 9 calculates the displacement amounts K _h (x) and K _v (y) and the curvature amounts L _h (x) and L _v (y) of the frame one frame before. Using the displacements K ′ _h (x), K ′ _v (y) and the curvatures L ′ _h (x), L ′ _v (y), correlation values R _h (x _d ), R _v between the frames. Although the calculation of (y _d ) is shown, when the correlation value calculation processing unit 9 calculates the correlation values R _h (x _d ) and R _v (y _d ) between frames, the displacement amount K _{h of the} frame is calculated. (X), K _v (y), curvature amounts L _h (x), L _v (y), displacement amounts K ′ _h (x), K ′ _v (y) and curvature amounts L ′ _h one frame before. Weighting may be performed between (x) and L ′ _v (y).

具体的には、次のようにして、フレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算する。
即ち、相関値演算処理部９は、下記の式（１１）に示すように、加重倍率係数α，βを乗算することによって重み付けを実施して水平方向の画素ずれ量がｘ_dであるとする場合のフレーム間の相関値Ｒ_h（ｘ_d）を演算する。

Specifically, correlation values R _h (x _d ) and R _v (y _d ) between frames are calculated as follows.
That is, as shown in the following equation (11), the correlation value calculation processing unit 9 performs weighting by multiplying weighting magnification coefficients α and β, and assumes that the horizontal pixel shift amount is x _d. The correlation value R _h (x _d ) between the frames is calculated.

また、相関値演算処理部９は、下記の式（１２）に示すように、加重倍率係数γ，δを乗算することによって重み付けを実施して垂直方向の画素ずれ量がｙ_dであるとする場合のフレーム間のＲ_v（ｙ_d）を演算する。

Further, the correlation value calculation processing unit 9, as shown in equation (12) below, the weighted scaling factor gamma, pixel shift amount in the vertical direction by performing weighted by multiplying the δ is assumed to be y _d R _v (y _d ) between frames in the case is calculated.

以上で明らかなように、この実施の形態３によれば、相関値演算処理部９がフレーム間の相関値Ｒ_h（ｘ_d），Ｒ_v（ｙ_d）を演算する際、当該フレームの変位量Ｋ_h（ｘ），Ｋ_v（ｙ）及び曲率量Ｌ_h（ｘ），Ｌ_v（ｙ）と、１フレーム前の変位量Ｋ’_h（ｘ），Ｋ’_v（ｙ）及び曲率量Ｌ’_h（ｘ），Ｌ’_v（ｙ）との間に重み付けを行うように構成したので、変位検出処理部４，６及び曲率検出処理部５，７における検出精度の違いを加味して、全体の検出精度を高めることができる効果を奏する。
即ち、より検出精度の高い検出処理部の比重を高くして、検出精度の低い検出処理部の比重を低くすることにより、各検出処理部の優先度を設定し、処理精度の向上を図りつつ、より細かく検出精度の調整を行うことが可能になる。 As apparent from the above, according to the third embodiment, when the correlation value calculation processing unit 9 calculates the correlation values R _h (x _d ) and R _v (y _d ) between the frames, the displacement of the frame Quantity K _h (x), K _v (y), curvature quantity L _h (x), L _v (y), displacement quantity K ′ _h (x), K ′ _v (y) and curvature quantity one frame before Since weighting is performed between L ′ _h (x) and L ′ _v (y), the difference in detection accuracy between the displacement detection processing units 4 and 6 and the curvature detection processing units 5 and 7 is taken into account. The overall detection accuracy can be improved.
That is, by increasing the specific gravity of the detection processing unit with higher detection accuracy and lowering the specific gravity of the detection processing unit with low detection accuracy, the priority of each detection processing unit is set and the processing accuracy is improved. Therefore, it is possible to finely adjust the detection accuracy.

なお、この実施の形態３では、上記実施の形態１における式（７）（８）に適用して、重み付けを実施するものについて示したが、上記実施の形態２における式（９）（１０）に適用して、重み付けを実施するようにしてもよく、同様の効果を奏することができる。 In the third embodiment, weighting is performed by applying the equations (7) and (8) in the first embodiment, but the equations (9) and (10) in the second embodiment are shown. The weighting may be performed by applying to the above, and the same effect can be obtained.

この発明の実施の形態１による画像処理装置を示す構成図である。1 is a configuration diagram illustrating an image processing apparatus according to Embodiment 1 of the present invention; 定数ａが“１”である場合の変位検出処理部４の動作例を示す説明図である。It is explanatory drawing which shows the operation example of the displacement detection process part 4 in case the constant a is "1". ｘ_dの値を−１、０、１とする場合の相関値演算処理部１２の動作例を示す説明図である。It is explanatory drawing which shows the operation example of the correlation value calculation process part 12 in case the value of _xd is set to -1, 0, 1. この発明の実施の形態２による画像処理装置を示す構成図である。It is a block diagram which shows the image processing apparatus by Embodiment 2 of this invention.

Explanation of symbols

１画像入力部（画像信号入力手段）、２水平データ積算処理部（画素値積算手段）、３垂直データ積算処理部（画素値積算手段）、４，４ａ，４ｂ変位検出処理部（第１の変位量検出手段、検出処理手段）、５，５ａ，５ｂ曲率検出処理部（第１の曲率量検出手段、検出処理手段）、６，６ａ，６ｂ変位検出処理部（第２の変位量検出手段、検出処理手段）、７，７ａ，７ｂ曲率検出処理部（第２の曲率量検出手段、検出処理手段）、８，１１特徴量バッファ（画素ずれ量検出手段）、９，１２相関値演算処理部（画素ずれ量検出手段）、１０画像出力部。 DESCRIPTION OF SYMBOLS 1 Image input part (image signal input means), 2 Horizontal data integration process part (Pixel value integration means), 3 Vertical data integration process part (Pixel value integration means), 4, 4a, 4b Displacement detection process part (1st Displacement amount detection means, detection processing means), 5, 5a, 5b Curvature detection processing section (first curvature amount detection means, detection processing means), 6, 6a, 6b Displacement detection processing section (second displacement amount detection means) , Detection processing means), 7, 7a, 7b curvature detection processing section (second curvature amount detection means, detection processing means), 8, 11 feature amount buffer (pixel shift amount detection means), 9, 12 correlation value calculation processing Part (pixel shift amount detection means), 10 image output part.

Claims

The image signal input means for inputting an image signal indicating the pixel value of the image, and the image signals input by the image signal input means are integrated with the pixel values of the image signals having the same horizontal coordinate, Pixel value integration that outputs the horizontal integration value that is the integration result of pixel values, integrates the pixel values of the image signals whose vertical coordinates match, and outputs the vertical integration value that is the integration result of the pixel values And a plurality of horizontal integrated values output from the pixel value integrating means to detect a displacement amount and a curvature amount of the horizontal integrated value, and a plurality of vertical integrated values output from the pixel value integrating means , The detection processing means for detecting the displacement amount and the curvature amount of the vertical integrated value, the correlation value between the two images is calculated from the displacement amount and the curvature amount detected by the detection processing means, and the correlation 2 pictures from the value The image processing apparatus that includes a pixel shift amount detection means for detecting the amount of pixel shift between.

The detection processing unit compares the magnitude relationship between two horizontal integration values having a constant horizontal interval among the plurality of horizontal integration values output from the pixel value integration unit, and calculates the horizontal relationship from the comparison result of the magnitude relationship. Of the plurality of horizontal integrated values output from the first displacement amount detecting means for detecting the displacement amount of the integrated value and the pixel value integrating means, three horizontal integrated values having a constant horizontal interval are used. A first curvature amount detection unit that compares the magnitude relationship and detects the curvature amount of the horizontal integration value from the comparison result of the magnitude relationship, and among the plurality of vertical integration values output from the pixel value integration unit, A second displacement amount detecting means for comparing a magnitude relationship between two vertical accumulated values having a constant interval and detecting a displacement amount of the vertical accumulated value from a comparison result of the magnitude relationship; and an output from the pixel value integrating means Out of multiple vertical integrated values And a second curvature amount detection means for comparing the magnitude relation of three vertical integration values having a fixed direction interval and detecting the curvature amount of the vertical integration value from the comparison result of the magnitude relation. The image processing apparatus according to claim 1.

The detection processing means includes a plurality of first displacement amount detection means in which the horizontal interval between two horizontal integrated values for comparing magnitude relations is different from each other, and in the horizontal direction of three horizontal integrated values for comparing magnitude relations. A plurality of first curvature amount detecting means having different intervals, and a plurality of second displacement amount detecting means having different vertical intervals between two vertical integrated values for comparing the magnitude relations. 3. The image processing apparatus according to claim 2, further comprising a plurality of second curvature amount detecting means having different vertical intervals between the three vertical integrated values for comparing each other.

The pixel shift amount detection means uses the displacement amount and curvature amount detected in the current detection process by the detection processing means, and the displacement amount and curvature amount detected in the previous detection process by the detection processing means. The correlation value between the two images is calculated, and the pixel shift amount that minimizes the correlation value is output as the pixel shift amount between the two images. An image processing apparatus according to claim 1.

When calculating the correlation value between two images, the pixel shift amount detection means detects the displacement amount and curvature amount detected in the current detection process by the detection processing means and the previous detection process by the detection processing means. 5. The image processing apparatus according to claim 4, wherein weighting is performed between the displacement amount and the curvature amount.