JP3886769B2

JP3886769B2 - 補正画像生成装置および補正画像生成プログラム

Info

Publication number: JP3886769B2
Application number: JP2001328905A
Authority: JP
Inventors: 勝敏清水; 弘樹下前
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-10-26
Filing date: 2001-10-26
Publication date: 2007-02-28
Anticipated expiration: 2021-10-26
Also published as: US7333132B2; US20040201706A1; JP2003134388A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の受光センサが一次元的に配列された一次元撮像素子を用い、その一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより、複数フレームの原画像を順次取得するカメラにより得られた原画像の、カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置、およびコンピュータをそのような補正画像生成装置として動作させる補正画像生成プログラムに関する。
【０００２】
【従来の技術】
例えば航空機やヘリコプタ等から赤外線カメラを用いて地上の撮影を行なう場合、鮮明な画像を得るために上記のような一次元撮像素子を用い被写界を繰り返し走査することにより複数フレームの画像を順次撮影する方式のものがある。
【０００３】
この方式の赤外線カメラを用いて航空機やヘリコプタ等から地上の撮影を行なう場合に、航空機やヘリコプタの振動で赤外線カメラが振動し、この赤外線カメラは一次元撮像素子の走査により二次元画像を取得しているため同一画面であっても走査の間にブレが発生し、そのブレは一般の二次元ＣＣＤ撮像素子を用いた一般のカメラにより得られる二次元画像のブレとは異なり、このような一般のカメラにより得られる二次元画像のブレ補正方法ではブレを補正することはできない。
【０００４】
このため、従来は、赤外線カメラの振動を抑制するためにダンパ機構が設けられている。
【０００５】
【発明が解決しようとする課題】
しかし、ダンパ機構を設けると装置が大型化し、この赤外線カメラを搭載することのできる航空機やヘリコプタの機種が限定されてしまうという問題がある。ダンパ機構を設置することができない機種では、画像のブレのために監視要員に疲労が蓄積し、長時間の監視に耐えられないという問題がある。
【０００６】
本発明は、上記事情に鑑み、ダンパ機構を設置することなく、あるいは簡易的なダンパ機構であってカメラが振動しても、ブレが補正された画像を生成することのできる補正画像生成装置、およびコンピュータをそのような補正画像生成装置として動作させる補正画像生成プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成する本発明の補正画像生成装置は、複数の受光センサが一次元的に配列された一次元撮像素子を用いその一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより複数フレームの原画像を順次取得するカメラにより得られた原画像の、カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置において、
原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理を行うパターンマッチング部と、
パターンマッチング部により得られたパターンマッチング処理結果に基づいて、原画像の、パターンマッチング上の特徴点を抽出する特徴点抽出部と、
特徴点抽出部により抽出された特徴点に関する、パターンマッチング部により得られたパターンマッチング処理結果に基づいて、特徴点の動きベクトルを求める動きベクトル演算部と、
特徴点抽出部により抽出された特徴点の、動きベクトル演算部により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像を求める画像補正部とを備えたことを特徴とする。
【０００８】
本発明の補正画像生成装置は、パターンマッチング処理により特徴点を求め特徴点の動きベクトルを求めてその動きベクトルに基づいて補正画像を求めるものであり、カメラの振動の影響のある原画像からその原画像の乱れを補正した補正画像が求められる。
【０００９】
ここで、上記本発明の補正画像生成装置において、
原画像の画素を間引いて間引画像を生成する画像間引部を備え、
特徴点抽出部は、パターンマッチング部に、画像間引部により生成された間引画像についてパターンマッチング処理を行なわせ、この間引画像についてのパターンマッチング処理結果に基づいて特徴点を抽出するものであって、
動きベクトル演算部は、パターンマッチング部に、間引き前の原画像の、特徴点抽出部で抽出された特徴点のブロックについてパターンマッチング処理を行なわせ、この原画像についてのパターンマッチング処理結果に基づいて特徴点の動きベクトルを求めるものであることが好ましい。
【００１０】
特徴点を求めるにあたっては、原画像の全面にわたってパターンマッチング処理を行なう必要があり、かなりの演算時間を要する。そこで、上記のように間引画像を生成して間引画像上で特徴点を求めることにより演算時間の短縮化が図られる。
【００１１】
動きベクトルは間引く前の原画像について再度パターンマッチング処理を行なって求めるため精度は低下せず、また動きベクトルは特徴点についてのみ求めればよいため、演算は短時間で済む。
【００１２】
また、上記本発明の補正画像生成装置において、動きベクトル演算部は、原画像が格子状に分割された複数のブロックのうちの上記配列方向に並ぶ複数のブロックからなる短冊内の特徴点の動きベクトルに基づいて短冊ごとの動きベクトルを求めるものであり、画像補正部は、動きベクトル演算部により求められた短冊ごとの動きベクトルに基づいて短冊どうしの位置を補正することにより補正画像を求めるものであることが好ましい。
【００１３】
一次元撮像素子を構成する複数の受光センサが並ぶ配列方向についてはブレは全画素について同時に同じ量だけ生じる。そこで、上記のブロックが配列方向に並んだ短冊を単位として位置を補正することにより、ブロックごとに補正するよりも簡単な演算で、しかも高精度の補正が可能となる。
【００１４】
ここで、上記の短冊ごとに位置補正を行なう態様において、さらに、動きベクトル演算部は、短冊内の特徴点の動きベクトル中の最頻値ベクトルをその短冊の動きベクトルとして求めるものであることが好ましい。
【００１５】
航空機やヘリコプタにカメラを搭載して地上の撮影を行なうことを考えた場合、例えば地上を走行している自動車等、被写体の中には航空機あるいはヘリコプタの振動によるブレとは別の動きをする被写体が存在する。そこで、上記のように短冊ごとに、典型的には複数存在する特徴点の動きベクトルの中の頻度が最も高い最頻値ベクトルをその短冊の動きベクトルとして採用することにより、航空機あるいはヘリコプタ等の振動によるブレとは異なる動きのある被写体の存在による補正の精度低下を避け、高精度の補正を行なうことができる。
【００１６】
また、本発明の補正画像生成装置において、ブロックごとに補正を行なうか短冊ごとに補正を行なうかを問わず、動きベクトル演算部は、一旦求めた動きベクトルに複数フレームに渡るフィルタリング処理を含む処理を施すことにより、カメラの振動に起因する新たな動きベクトルを求めるものであり、画像補正部は、動きベクトル演算部により求められた新たな動きベクトルに基づいて補正画像を求めるものであることが好ましい。
【００１７】
航空機あるいはヘリコプタにカメラを搭載して地上の撮影を行なうことを考えた場合、その航空機あるいはヘリコプタの飛行に伴って撮影範囲はゆっくりと移動する。動きベクトルのうち、この移動に伴う成分はカメラの振動とは無関係な成分である。そこで上記のように複数フレームに渡るフィルタリング処理を含む処理により、撮影範囲がゆっくりと移動することに伴う成分を除去することができ、カメラの振動に起因する動きベクトルを高精度に抽出することができ、一層高精度な補正を行なうことができる。
【００１８】
さらに、上記本発明の補正画像生成装置において、短冊ごとの補正を行なう方式を採用した場合に、画像補正部は、１つの短冊内の走査方向に並ぶ画素を配列方向にずらすことにより隣接する短冊どうしの配列方向のずれを解消した補正画像を求めるものであることが好ましい。
【００１９】
こうすることにより、短冊どうしの繋ぎ目で画像の連続性が損なわれるのを防止し連続性のある自然な補正画像を生成することができる。
【００２０】
さらに、上記本発明の補正画像生成装置において、動きベクトル演算部により求められた動きベクトルに基づいて、ズーム中であるか否かを判定するズーム中判定部を備え、画像補正部は、ズーム中判定部によりズーム中であることが判定された場合に補正画像の生成を中断するものであることが好ましい。
【００２１】
ズーム中は、補正画像を生成しても無意味であり、不正確な補正画像が生成される可能性もあるからである。
【００２２】
また、上記目的を達成する本発明の補正画像生成プログラムは、コンピュータ内で実行され、そのコンピュータを、複数の受光センサが一次元的に配列された一次元撮像素子を用いその一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより、複数フレームの原画像を順次取得するカメラにより得られた原画像の、カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置として動作させる補正画像生成プログラムにおいて、
原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理を行うパターンマッチング部と、
パターンマッチング部により得られたパターンマッチング処理結果に基づいて、原画像の、パターンマッチング上の特徴点を抽出する特徴点抽出部と、
特徴点抽出部により抽出された特徴点に関する、パターンマッチング部により得られた、パターンマッチング処理結果に基づいて、特徴点の動きベクトルを求める動きベクトル演算部と、
特徴点抽出部により抽出された特徴点の、動きベクトル演算部により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像を求める画像補正部とを有することを特徴とする。
【００２３】
ここで、本発明の補正画像生成プログラムには、上述の本発明の補正画像生成装置の各種態様に相当する態様全てが含まれる。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００２５】
図１は、本発明の補正画像生成装置の一実施形態を含む撮影システムの模式図である。
【００２６】
この撮影システム１０は、航空機１に搭載されて地上の撮影を行なう撮影システムである。
【００２７】
この撮影システム１０は、赤外線カメラ１１と、本発明の一実施形態としての補正画像生成装置１２と、画像を表示するモニタ装置１３とから構成されている。
【００２８】
赤外線カメラ１１には、多数の赤外線受光センサが所定の配列方向に一次元的に配列された一次元撮像素子１１１が備えられており、回転多面鏡１１２が回転して、その一次元撮像素子１１１上に地上のターゲット２０の像が繰り返し走査され、複数フレームの画像が撮像されるようになっている。この撮影により得られた画像（ここではこれを「原画像」と称する）は、一旦画像メモリ１１３に格納された後、補正画像生成装置１２に入力される。この補正画像生成装置１２では、後述するようにして、航空機１の振動に伴う赤外線カメラ１１の振動に起因する原画像のブレが補正された補正画像は生成される。この生成された補正画像は各フレームごとに順次にモニタ装置１３に送られ、そのモニタ装置１３の表示画面上に地上の画像が写し出されて監視要員による監視に供される。
【００２９】
図２は、図１に１つのブロックで示す補正画像生成装置１２のハードウェア構成図である。
【００３０】
この補正画像生成装置１２は、ハードウェア上は一種のコンピュータの形態を有しており、赤外線カメラ１１からの原画像の入力を受け付けるデータインタフェース１２１、各種プログラムを実行するＣＰＵ１２２、各種プログラムが記憶されたＲＯＭ１２３、補正の開始やリセット等を指示するための操作子が配置された操作部１２４、ＣＰＵ１２２で実行されるプログラムの作業領域や各種のデータ格納領域として使用されるＲＡＭ１２５、および補正画像をモニタ装置１３に送るモニタインタフェース１２６から構成され、これらはバス１２７で相互に接続されている。
【００３１】
この図２の補正画像生成装置１２は、この図２に示すハードウェアとＲＯＭ１２３に記憶されＣＰＵ１２２によって読み出されて実行される補正画像生成プログラムとの複合により、補正画像生成装置としての機能を果たすものである。
【００３２】
図３は、ＲＯＭ１２３に記憶された本発明の一実施形態としての補正画像生成プログラムの模式図である。
【００３３】
このＲＯＭ１２３に記憶された補正画像生成プログラム１３０は、パターンマッチング部１３１、特徴点抽出部１３２、動きベクトル演算部１３３、画像補正部１３４、画像間引部１３５、およびズーム中判定部１３６から構成されている。これら各部の作用については後述する。
【００３４】
図４は、本発明の補正画像生成装置の機能ブロック図である。この図４の補正画像生成装置１４０は、図２に示す補正画像生成装置１２のハードウェアと、ＲＯＭに記憶された補正画像生成プログラムとの複合により構成される。
【００３５】
この図４の補正画像生成装置１４０は、パターンマッチング１４１、特徴点抽出部１４２、動きベクトル演算部１４３、画像補正部１４４、画像間引部１４５、およびズーム中判定部１４６から構成されている。この図４の補正画像生成装置１４の各部１４１〜１４６は、図３の補正画像生成プログラム１３０の各部１３１〜１３６にそれぞれ対応するが、図４の補正画像生成装置１４０の各部１４１〜１４６は、コンピュータのハードウェアとソフトウェアとの組合せで構成されるのに対し、図３の補正画像生成プログラム１３０の各部１３１〜１３６はそれらのうちのソフトウェアの部分のみで構成されている。
【００３６】
図３の補正画像生成プログラム１３０の各部１３１〜１３６の作用は、その補正画像生成プログラム１３０が、図２のＣＰＵ１２２で実行されたときの、図４の補正画像生成装置の各部１４１〜１４６の作用と同一であり、以下、図４の補正画像生成装置１４０の各部１４１〜１４６の作用の説明を行なうことで、図３の補正画像生成プログラム１３０の各部１３１〜１３６の作用の説明を兼ねるものとする。
【００３７】
図４の補正画像生成装置１４０は、複数の受光センサが一次元的に配列された一次元撮像素子を用いその一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより複数フレームの原画像を順次取得するカメラにより得られた原画像の、カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置である。
【００３８】
ここで、この補正画像生成装置１４０のパターンマッチング部１４１では、原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理が行なわれる。
【００３９】
また、特徴抽出部１４２では、パターンマッチング部１４１により得られたパターンマッチング処理結果に基づいて、原画像の、パターンマッチング上の特徴点としてのブロックが抽出される。
【００４０】
また、動きベクトル演算部１４３では、特徴点抽出部１４２により抽出された特徴点（ブロック）に関する、パターンマッチング部１４１により得られたパターンマッチング処理結果に基づいて、特徴点の動きベクトルが求めるられ、さらに画像補正部１４４では、特徴点抽出部１４２により抽出された特徴点の、動きベクトル演算部１４３により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像が求められる。
【００４１】
さらに、この図４の補正画像生成装置１４０には、画像間引部１４５が備えられており、この画像間引部１４５では、原画像の画素が間引かれて間引画像が生成される。
【００４２】
この画像間引部１４５を作用させたときは、特徴点抽出部１４２では、パターンマッチング部１４１に、画像間引部１４５により生成された間引画像についてパターンマッチング処理を行なわせ、この間引画像についてのパターンマッチング処理結果に基づいて特徴点が抽出される。
【００４３】
このとき、動きベクトル演算部１４３では、パターンマッチング部１４１に、間引き前の原画像の、特徴点抽出部１４２で抽出された特徴点のブロックについてパターンマッチング処理を行なわせ、この原画像についてのパターンマッチング処理結果に基づいて特徴点の動きベクトルがを求められる。
【００４４】
さらに、本実施形態では、動きベクトル演算部１４３は、原画像が格子状に分割された複数のブロックのうちの一次元撮像素子の受光センサが配列された配列方向に並ぶ複数のブロックからなる短冊内の特徴点の動きベクトルに基づいて短冊ごとの動きベクトルが求められ、画像補正部１４４では、動きベクトル演算部１４３により求められた短冊ごとの動きベクトルに基づいて短冊どうしの位置が補正され、これにより補正画像が求められる。
【００４５】
このとき、動きベクトル演算部１４３では、短冊内の特徴点の動きベクトル中の最頻値ベクトルがその短冊の動きベクトルとして求められる。
【００４６】
本実施形態では、さらに、動きベクトル演算部１４３において、一旦求めた動きベクトルに複数フレームに渡るフィルタリング処理を含む処理を施すことにより、カメラの振動に起因する新たな動きベクトルが求められ、画像補正部では、動きベクトル演算部１４３により求められた新たな動きベクトルに基づいて補正画像が求められる。
【００４７】
さらに、本実施形態では、画像補正部１４４において、１つの短冊内の一次元撮像素子の受光センサが並ぶ配列方向に交わる走査方向に並ぶ画素を配列方向にずらすことにより、隣接する短冊の配列方向のずれを解消した補正画像が求められる。
【００４８】
さらに、本実施形態では、動きベクトル演算部１４３により求められた動きベクトルに基づいて、ズーム中であるか否かを判定するズーム中判定部１４６が備えられており、画像補正部１４４では、ズーム中判定部１４６によりズーム中であることが判定された場合に補正画像の生成が中断される。
【００４９】
以下、本発明についてさらに具体的に説明する。
【００５０】
図５は、パターンマッチング処理の説明図である。
【００５１】
ここでは参照画像（図５（Ａ））と探索画像（図５（Ｂ））とが用意され、参照画像の一部が参照テンプレートとして切り出される。
【００５２】
次に、この切り出した参照テンプレートを探索画像の任意の位置に重ねて、以下の演算を行なう。すなわち、参照テンプレートの各画素の画素値をＲ（ｘ，ｙ）、探索画像の、参照テンプレートが重ねられた領域の、参照テンプレートの画素（ｘ，ｙ）と重なった画素の画素値をＴ（ｘ，ｙ）、参照テンプレートの全域の和を、
【００５３】
【数１】

【００５４】
絶対値を｜…｜で表わしたとき、
【００５５】
【数２】

【００５６】
が求められる。
【００５７】
この（１）式は、探索画像の、参照テンプレートが重ね合わされた領域の各画素の画素値Ｔ（ｘ，ｙ）が、その重ね合わされた領域全域にわたって参照テンプレートの対応する各画素の画素値Ｒ（ｘ，ｙ）と等しければ、Ｓ＝０となり、探索画像の参照テンプレートが重ね合わされた領域が参照テンプレートと異なっているほど、Ｓは大きな値となる。
【００５８】
この（１）式の演算を、参照テンプレートで、探索画像を走査しながら各走査点について行なう。
【００５９】
図６は、上記のようにして行なったパターンマッチング処理結果を表わす図である。
【００６０】
図１でのパターンマッチング処理では、参照テンプレートで探索画像上を二次元的に走査しながら（１）式の演算が行なわれるが、図２では、簡単のため、参照テンプレートを一次元的に走査しながら（１）式の演算を行なったものとして、その結果を示してある。
【００６１】
ここでは、走査範囲内での（１）式の演算結果の下向きの最大のピークの値（最小値）をｍｉｎｄｓｔと称し、下向きの２番目のピークの値を２ｎｄｄｓｔと称する。
【００６２】
ここでは、
２ｎｄｄｓｔ−ｍｉｎｄｓｔ＞閾値 …（２）
かつ
ｍｉｎｄｓｔ＜閾値 …（３）
のときに、有効な動きが検出されたものとする。但し、（２）式の閾値と（３）式の閾値は同一である必要はない。この有効な動きが検出された点をここでは特徴点と称する。このとき、動きベクトルは、図６に示すように、探索画像上の、参照テンプレートを参照画像から切り出した位置と同一の位置から、参照テンプレートで探索画像上を走査していってｍｉｎｄｓｔが求められた走査点までの参照テンプレートの移動量として求められる。この動きベクトルは、参照画像から探索画像に移ったときの、参照画像上の参照テンプレートの領域の動きの方向およびその方向への動き量を示している。
【００６３】
尚、（１）式に代えて、数学的な意味での相関演算を採用してもよく、その他、動きベクトルを求めることのできる演算であればどのような演算を採用してもよい、ここでは、参照テンプレートで探索画像上を走査しながらこの（１）式に基づく演算を行なうことを「相関演算」と称する。
【００６４】
図７は、図１の赤外線カメラ１１で得られた原画像を複数のブロックおよび短冊に区切った状態を示した構成図である。
【００６５】
ここでは、原画像全面が縦ｎ行横ｍ列の「ブロック」に分割される。各ブロックは縦３２画素×横３２画素の大きさを有する。
【００６６】
ここでは、縦方向に並ぶｎ個のブロックの集合を「短冊」と称する。
【００６７】
ここで、この図７の縦方向は、図１の赤外線カメラ１１を構成する一次元撮像素子１１１を構成する多数の受光センサが配列された配列方向、横方向は、図１の回転多面鏡１１２の回転によりその一次元撮像素子１１１上に被写界の像が走査される走査方向である。以下、配列方向、走査方向をそれぞれ縦方向、横方向と称することがある。縦方向は、カメラに振動があっても、一次元撮像素子１１１が一体的に振動し、したがって縦方向の画素の間隔は高精度に保証されたものである。これに対し横方向は、カメラの振動により画素どうしの間隔が変化したり、上下方向にも動く可能性がある。
【００６８】
図８は、特徴点の説明図である。
【００６９】
本実施形態では、順次に、ある１つのフレームの原画像を図５を参照して説明した参照画像とするとともに、そのフレームに続く次のフレームの原画像を探索画像とし、参照画像を図７に示すｎ行×ｍ列のブロックに分割したときの各ブロック１つ１つを図５に示した参照テンプレートとし、その参照テンプレートを探索画像に重ね、図５、図６を参照して説明したパターンマッチング処理が行われる。ある１つのブロックを参照テンプレートとしてそのパターンマッチング処理を行なうときは、探索画像上の、その参照テンプレートとしての１つのブロックと同じ位置にあるブロックとそのブロックに隣接した８個のブロック、合計９個のブロックの領域が参照テンプレートで走査され、その走査の間、参照テンプレートを一画素移動するごとに（１）式の演算が行なわれ、その結果、図６のようなパターンマッチング処理結果（相関演算結果）が得られる。ただし前述したように、パターンマッチング処理（相関演算）では参照テンプレートは探索画像上を二次元的に走査することになるが、図示の簡単のため、図６では一次元的な走査として示してある。
【００７０】
このようなパターンマッチング処理（相関演算）を行ない、あるブロック（参照テンプレート）に関し、前述の（２）式と（３）式を満足する場合に、そのブロックを「特徴点」と称し、その特徴点について動きベクトルが求められる。
【００７１】
図８は、このようにして求めた特徴点（斜線を施したブロック）と各特徴点の動きベクトルを概念的に示したものである。
【００７２】
図９は、本実施形態の補正画像生成装置における処理の第１例を示すフローチャートである。
【００７３】
ここでは、原画像の、隣接する２つのフレームどうしで相関演算が行なわれ、（ステップａ１）、前述の、（２）式と（３）式を満足するか否かが判定され（ステップａ２）、満足する場合は、そのブロックが特徴点として有効なブロックとされ（ステップａ３）、満足しない場合はそのブロックは特徴点としては無効なブロックとされる（ステップａ４）。
【００７４】
ステップａ５では、全てのブロックについて上記の処理（ステップａ１〜ａ４）が終了したか否かが判定され、未処理のブロックが残っているときは、次のブロックについて（ステップａ６）、同じ処理が繰り返される。
【００７５】
全てのブロックについて相関演算および特徴点としての有効／無効の判定が行なわれると（ステップａ５）、もう１度最初のブロックから順に全てのブロックについて（ステップａ７，ａ１３，ａ１４）、以下の処理が行なわれる。すなわち、そのブロックが特徴点として有効なブロックであるか否かが判定され（ステップａ８）、有効であるときは、そのブロックについての演算結果、すなわちそのブロックについて求められた動きベクトルがそのブロックの「補正値」とされる（ステップａ９）。また、ステップａ８においてそのブロックが特徴点として有効なブロックではないと判定されたとき、次に、そのブロックの左右のブロック双方が有効なブロックであるか否かが判定される（ステップａ１０）。左右のいずれか一方でも無効なブロックのときは、このブロックについては補正値＝０に設定される（ステップａ１１）。
【００７６】
また、左右双方が有効なブロックであったときは、それら左右の補正値（動きベクトル）の平均値がそのブロックの補正値とされる（ステップａ１２）。
【００７７】
以上の処理が全てのブロックについて終了すると（ステップａ１３）、各ブロックが各ブロックの補正値（動きベクトル）に基づいた位置に移動され、これにより補正画像が生成される（ステップａ１５）。ここで、補正値＝０のブロックは移動しないことを意味するのではなく、その周囲の有効ブロックの移動位置から補間された位置に移動される。
【００７８】
図１０、図１１は、本実施形態の補正画像生成装置１２における処理の第２例を示すフローチャートである。
【００７９】
ここでは、先ず、原画像の画像を間引いて間引き画像が生成され、その間引き画像について、前述の相関演算が行なわれる（ステップｂ１）。ここでは、一例として、３２画素×３２画素のブロックが８画素×８画素となるように１／４に間引きされる。ステップｂ２〜ｂ６は、間引き画像であるか、元の原画像であるかの相違を除き、図９のステップａ２〜ａ６と同様であり、重複説明は省略する。
【００８０】
次に、もう１度最初のブロックから順に全てのブロックについて（ステップｂ７，ｂ１０，ｂ１１）、そのブロックが特徴点として有効なブロックであるか否かが判定され（ステップｂ８）、有効なブロックであったときは、今度はそのブロックについて間引き前の元の原画像について相関演算が行なわれて（ステップｂ９）、そのブロックの正確な補正値（動きベクトル）が求められる。
【００８１】
次に図１１のステップｂ１２以降の処理が行なわれるが、図１１のステップｂ１２以降の各ステップｂ１２〜ｂ２０の処理は、図９のステップａ７〜ａ１５の処理とそれぞれ同一であり、重複説明は省略する。
【００８２】
図１０、図１１に示す第２例では、先ずは間引き画像について相関演算を行なっているため、演算量が少なくて済み、演算時間が短縮化される。尚、特徴点としてのブロックに関しては、元の原画像について再度相関演算が行なわれるが、特徴点としてのブロックについてのみ行なわれるため、図９の第１例と比べ、やはり全体として演算量の低減が図られている。
【００８３】
以上の第１例（図９）および第２例（図１０、図１１）は、各ブロック（図７参照）ごとに位置を移動して補正画像を生成する例であるが、前述したように、縦方向については一体的にのみブレることを利用し、縦方向に配列されたブロックからなる短冊を移動の単位としてもよい。
【００８４】
図１２は、短冊を補正画像生成のための移動（補正）の単位として取り扱った場合を示した概念図である。
【００８５】
参照画像（Ａ）に対し、次のフレームの探索画像（Ｂ）が乱れており、相関演算により短冊ごとに補正値を取得し、短冊画像を切り取って各短冊ごとに位置を調整する。原画像の輪部は乱れているため原画像よりも少し小さいサイズに切り取って補正画像が生成される。
【００８６】
各短冊ごとに位置を調整すると、隣接する短冊どうしの間に隙間が空いたり、短冊どうしが一部重なったりする。隙間が空いたときは、その隙間に隣接する画像部分がコピーされてその隙間が埋められ、一部が重なったときは重なった部分の一方が削除される。
【００８７】
図１３は、本実施形態の補正画像生成装置１２の処理の第３例を示すフローチャートである。
【００８８】
ここでは先ず、図１０、図１１のステップｂ１〜ｂ１９と同じ処理が実行される。すなわち、各ブロックについて間引き画像上で相関演算が行なわれて特徴点が抽出され、各特徴点について原画像上で相関演算が行なわれ、各ブロックについて補正値（動きベクトル）が求められる。
【００８９】
図１３の処理では、次に、各短冊について（ステップｃ７，ｃ８）以下の処理が行なわれる。すなわち、ある短冊について着目したとき、その短冊を構成する複数（ｎ個（図７参照））の各ブロックを順に見ていき（ステップｃ４，ｃ５）、現在見ているブロックが特徴点として有効なブロックであるか否かが判定され（ステップｃ２）、有効なブロックに関する補正値がその短冊内で加算され（ステップｃ３）、その短冊の全てのブロックについてステップｃ２，ｃ３の処理を行なった後に加算結果の平均値が求められて、その平均値がその短冊の補正値とされる。この平均値を求める処理を全ての短冊について行なった後（ステップｃ７）、その補正値に基づいて各短冊の位置が調整され（図１２参照）、補正画像が生成される（ステップｃ９）。
【００９０】
図１４は、移動物体除去の概念図である。
【００９１】
ある１つの短冊に着目し、その短冊を構成する複数のブロックのうちの特徴点（斜線を施したブロック）の補正値（動きベクトル）を見たとき、カメラの振動のみに起因する補正値（動きベクトル）だけでなく、例えば地上を走行している自動車など、被写体の動きにの影響を受けた動きベクトルもある。そこで、ここでは、１つの短冊を構成する複数のブロックの補正値（動きベクトル）の平均値を求めることに代わり、最頻値ベクトルが求められる。こうすることにより、移動物体の動きベクトルやノイズを排除し、カメラの振動による動きベクトルを求めることができる。
【００９２】
図１５は、本実施形態の補正画像生成装置１２の処理の第４例を示すフローチャートである。
【００９３】
ここでは先ず、図１３の第３例の場合と同様、図１０、図１１のステップｂ１〜ステップｂ１９と同じ処理が実行され（ステップｄ１）、次いで各短冊について（ステップｄ７，ｄ８）、以下の処理が行なわれる。すなわち、ある短冊について着目したとき、その短冊を構成する複数の各ブロックを順に見ていき（ステップｄ４，ｄ５）、現在見ているブロックが特徴点として有効なブロックであるか否かが判定され（ステップｄ２）、有効なブロックについて補正値（動きベクトル）が記録され（ステップｄ３）、その短冊の全てのブロックについてステップｄ２，ｄ３の処理を行なった後に、その短冊の記録された全ての補正値（動きベクトル）のうちの出現頻度が最も高い最頻値ベクトルが求められて、その最頻値ベクトルがその短冊の補正値（動きベクトル）とされる（ステップｄ６）。
【００９４】
各短冊ごとの最頻値ベクトルを求める処理を全ての短冊について行なった後（ステップｄ７）、各短冊ごとの補正値（動きベクトル）に基づいて補正画像が生成される（ステップｄ９）。
【００９５】
図１６は、本実施形態の補正画像生成装置１２の処理の第５例を示すフローチャートである。
【００９６】
ここでは、先ず図１５に示す第４例のステップｄ１の処理と同じ処理、すなわち、図１０、図１１に示す第２例のステップｂ１〜ｂ１９の処理と同じ処理が行なわれ、特徴点としての各ブロックについて補正値（動きベクトル）が求められる（ステップｅ１）。
【００９７】
次いで、図１６の第５例では、原画像の左、右、上、下それぞれの補正値が求められ（ステップｃ２）、ズーム中であるか否かが判定される（ステップｅ３）。
【００９８】
図１７は、ズームアップ中の左、右、上、下の補正値（動きベクトル）を示す図である。
【００９９】
左、右の補正値を求めるには、原画像を中央から左右に二分したときの左側にある特徴点としてのブロックの補正値（動きベクトル）の平均値と左側にある特徴点としてのブロックの補正値（動きベクトル）の平均値が求められ、これにより、左、右それぞれの平均値からなる各補正値（動きベクトル）が求められる。
【０１００】
また、上、下の補正値についても同様であり、原画像を中央から上下に二分したときの、上側にある特徴点としてのブロックの補正値（動きベクトル）の平均値と下側にある特徴点としてのブロックの補正値（動きベクトル）の平均値が求められ、これにより、上、下それぞれの平均値としての補正値（動きベクトル）が求められる。
【０１０１】
ステップｅ３では、このようにして求めた左、右、上、下の動きベクトルが図１７に示すように原画像の外側を向いていたとき（ズームアップ中）、あるいは原画像の内側を向いていたとき（ズームダウン中）は、ズーム中であると判定する。
【０１０２】
ステップｅ３でズーム中であると判定されると、ズーム中に補正画像を求めても無意味であるため、原画像がそのまま図１のモニタ装置１３への表示用として使われる（ステップｅ１５）。
【０１０３】
またステップｅ３でズーム中ではないと判定されると、ステップｅ４に進み、図１５に示す第４例のステップｄ２〜ｄ８の処理と同一の処理が行なわれ、各短冊ごとの補正値（動きベクトル）として各短冊ごとに最頻値ベクトルが求められる。
【０１０４】
次に、各短冊毎に、動きベクトルに複数のフレームにわたってＩＩＲフィルタ処理が施され、背景ベクトルが求められる。このＩＩＲフィルタ処理は、ここでは、
Ｖ_t′＝０．３５×Ｖ_t＋０．６５×Ｖ_t-1 …（４）
の演算式に基づいて行なわれる。こおで、ｔ，ｔ−１は、それぞれ時刻ｔのフレーム、１フレーム前の時刻ｔ−１のフレームを意味し、Ｖ_t，Ｖ_t-1は、着目している短冊の、それぞれ時刻ｔのフレームにおける動きベクトル、１フレーム前の時刻ｔ−１の動きベクトルを意味し、Ｖ_t′は、着目している短冊の、時刻ｔのフレームの、ＩＩＲフィルタ処理後の動きベクトルを意味する。（４）式は、低域通過フィルタリング処理を意味する。背景ベクトルは、カメラの振動等に起因する成分を除き、図１の航空機１が飛行していることに起因し、被写体が静止していても原画像全体がゆっくりと変化することに起因する動きベクトルである。
【０１０５】
ステップｅ６では、各短冊の動きベクトルから背景ベクトルを差し引き、この差し引いた値が新たな補正値（動きベクトル）とされる。この新たな補正値（動きベクトル）は、原画像全体のゆっくりとした動きの成分（背景ベクトル）が差し引かれた、カメラの振動等に起因する補正値（動きベクトル）である。
【０１０６】
次に、全ての短冊について順次に（ステップｅ１２，ｅ１３）、着目している短冊とそれに隣接する短冊について、それら２つの短冊の中心間距離から横方向のずれ量が求められる（ステップｅ９）。
【０１０７】
図１８は、図１６のステップｅ９〜ｅ１１の処理の説明図である。
【０１０８】
ここには、隣接する２つの短冊の位置をそれら２つの短冊の補正値（動きベクトル）に従って補正したときの２つの短冊の位置関係が示されている。
【０１０９】
ここでは、隣接する２つの短冊が上下方向にずれるとともに左右方向についてもずれて一部が重なっている。
【０１１０】
ステップｅ９では、隣接する２つの短冊の中心間の距離ｄが求められる。
【０１１１】
補正画像生成時には、距離ｄが正しい距離よりも大きく、２つの短冊の間に隙間が生じているときは、それら２つの短冊のうちの左側の短冊の縦方向のラインをコピーして隙間を埋め、あるいは、距離ｄが正しい距離よりも小さく、２つの短冊の一部が重なっているときは、縦方向のラインを間引くことにより２つの短冊の重なりが解消される。
【０１１２】
次に、ステップｅ１０において、隣接する２つの短冊について、左側の短冊の原点（ｃｘ１，ｃｙ１）と右側の短冊の原点（ｃｘ２，ｃｙ２）を結ぶ直線上の座標が求められる。
【０１１３】
図１８（Ａ）には、２つの短冊の原点の座標（ｃｘ１，ｃｙ１）、（ｃｘ２，ｃｙ２）が示されており、図１８（Ｂ）には、それら２つの座標を結ぶ直線が示されている。
【０１１４】
ステップｅ１０では、１つの短冊の縦方向に画素が並ぶ１ラインごとにその直線上の座標（ｘ１，ｙ１）が求められ、ステップｅ１１では、その座標（ｘ１，ｙ１）から各ラインごとにｙ方向の補正量が求められる。
【０１１５】
図１８（ｃ）は各ラインを各ラインごとに求めた補正量に従ってｙ方向に移動した状態を示した図である。補正画像作成時には、ステップｅ９で求められた距離ｄに基づいて２つの短冊の重なり部分のラインが削除され、あるいは２つの短冊の間に隙間があるときはラインがコピーされてその隙間が埋められ、これとともに、各ラインのｙ方向の位置が補正され、図１８（ｃ）のような部分画像が求められる。
【０１１６】
図１６のステップｅ９〜ｅ１１の処理が順次隣接する２つの短冊について行なわれた後（ステップｅ１２，ｅ１３）、各短冊ごとの補正値（動きベクトル）、隣接する２つの短冊の中心間距離ｄ（図１８（Ａ）参照）、および隣接する２つの短冊の中心どうしを結ぶ直線上の座標（ｘ１，ｙ１）（図１８（Ｂ）参照）に従って、補正画像が作成される（ステップｅ１４）。
【０１１７】
このようにして作成された補正画像は、図１に示すモニタ装置１３に送られ、モニタ装置１３にはその補正画像が表示される。
【０１１８】
ここで、上記の補正画像作成は、順次取り込まれる複数フレームの原画像について順次行なわれ、モニタ装置１３には、地上の画像が動画像として表示される。このモニタ装置１３には、図１に示す赤外線カメラ１１の振動の影響が除去され安定した見易い動画像が表示される。
【０１１９】
以下、本発明の各実施態様を付記する。
【０１２０】
（付記１）複数の受光センサが一次元的に配列された一次元撮像素子を用い該一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより複数フレームの原画像を順次取得するカメラにより得られた該原画像の、該カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置において、
原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理を行うパターンマッチング部と、
前記パターンマッチング部により得られたパターンマッチング処理結果に基づいて、原画像の、パターンマッチング上の特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に関する、前記パターンマッチング部により得られたパターンマッチング処理結果に基づいて、該特徴点の動きベクトルを求める動きベクトル演算部と、
前記特徴点抽出部により抽出された特徴点の、前記動きベクトル演算部により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像を求める画像補正部とを備えたことを特徴とする補正画像生成装置。
【０１２１】
（付記２）原画像の画素を間引いて間引画像を生成する画像間引部を備え、
前記特徴点抽出部は、前記パターンマッチング部に、前記画像間引部により生成された間引画像についてパターンマッチング処理を行なわせ、この間引画像についてのパターンマッチング処理結果に基づいて特徴点を抽出するものであって、
前記動きベクトル演算部は、前記パターンマッチング部に、間引き前の原画像の、前記特徴点抽出部で抽出された特徴点のブロックについてパターンマッチング処理を行なわせ、この原画像についてのパターンマッチング処理結果に基づいて該特徴点の動きベクトルを求めるものであることを特徴とする付記１記載の補正画像生成装置。
【０１２２】
（付記３）前記動きベクトル演算部は、原画像が格子状に分割された複数のブロックのうちの前記配列方向に並ぶ複数のブロックからなる短冊内の特徴点の動きベクトルに基づいて該短冊ごとの動きベクトルを求めるものであり、
前記画像補正部は、前記動きベクトル演算部により求められた短冊ごとの動きベクトルに基づいて短冊どうしの位置を補正することにより補正画像を求めるものであることを特徴とする付記１記載の補正画像生成装置。
【０１２３】
（付記４）前記前記動きベクトル演算部は、前記短冊内の特徴点の動きベクトル中の最頻値ベクトルを該短冊の動きベクトルとして求めるものであることを特徴とする付記３記載の補正画像生成装置。
【０１２４】
（付記５）前記動きベクトル演算部は、一旦求めた動きベクトルに複数フレームに渡るフィルタリング処理を含む処理を施すことにより、前記カメラの振動に起因する新たな動きベクトルを求めるものであり、
前記画像補正部は、前記動きベクトル演算部により求められた前記新たな動きベクトルに基づいて前記補正画像を求めるものであることを特徴とする付記１又は３記載の補正画像生成装置。
【０１２５】
（付記６）前記画像補正部は、１つの短冊内の前記走査方向に並ぶ画素を前記配列方向にずらすことにより隣接する短冊どうしの前記配列方向のずれを解消した補正画像を求めるものであることを特徴とする付記３記載の補正画像生成装置。
【０１２６】
（付記７）前記動きベクトル演算部により求められた動きベクトルに基づいて、ズーム中であるか否かを判定するズーム中判定部を備え、
前記画像補正部は、前記ズーム中判定部によりズーム中であることが判定された場合に補正画像の生成を中断するものであることを特徴とする付記１記載の補正画像生成装置。
【０１２７】
（付記８）コンピュータ内で実行され、該コンピュータを、複数の受光センサが一次元的に配列された一次元撮像素子を用い該一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより、複数フレームの原画像を順次取得するカメラにより得られた該原画像の、該カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置として動作させる補正画像生成プログラムにおいて、
原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理を行うパターンマッチング部と、
該パターンマッチング部により得られたパターンマッチング処理結果に基づいて、原画像の、パターンマッチング上の特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に関する、前記パターンマッチング部により得られたパターンマッチング処理結果に基づいて、該特徴点の動きベクトルを求める動きベクトル演算部と、
前記特徴点抽出部により抽出された特徴点の、前記動きベクトル演算部により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像を求める画像補正部とを有することを特徴とする補正画像生成プログラム。
【０１２８】
（付記９）原画像の画素を間引いて間引画像を生成する画像間引部を有し、
前記特徴点抽出部は、前記パターンマッチング部に、前記画像間引部により生成された間引画像についてパターンマッチング処理を行なわせ、この間引画像についてのパターンマッチング処理結果に基づいて特徴点を抽出するものであって、
前記動きベクトル演算部は、前記パターンマッチング部に、間引き前の原画像の、前記特徴点抽出部で抽出された特徴点のブロックについてパターンマッチング処理を行なわせ、この原画像についてのパターンマッチング処理結果に基づいて該特徴点の動きベクトルを求めるものであることを特徴とする付記８記載の補正画像生成プログラム。
【０１２９】
（付記１０）前記動きベクトル演算部は、原画像が格子状に分割された複数のブロックのうちの前記配列方向に並ぶ複数のブロックからなる短冊内の特徴点の動きベクトルに基づいて該短冊ごとの動きベクトルを求めるものであり、
前記画像補正部は、前記動きベクトル演算部により求められた短冊ごとの動きベクトルに基づいて短冊どうしの位置を補正することにより補正画像を求めるものであることを特徴とする付記８記載の補正画像生成プログラム。
【０１３０】
（付記１１）前記動きベクトル演算部は、前記短冊内の特徴点の動きベクトル中の最頻値ベクトルを該短冊の動きベクトルとして求めるものである
ことを特徴とする付記１０記載の補正画像生成プログラム。
【０１３１】
（付記１２）前記動きベクトル演算部は、一旦求めた動きベクトルに複数フレームに渡るフィルタリング処理を含む処理を施すことにより、前記カメラの振動に起因する新たな動きベクトルを求めるものであり、
前記画像補正部は、前記動きベクトル演算部により求められた前記新たな動きベクトルに基づいて前記補正画像を求めるものであることを特徴とする付記８又は１０記載の補正画像生成プログラム。
【０１３２】
（付記１３）前記画像補正部は、１つの短冊内の前記走査方向に並ぶ画素を前記配列方向にずらすことにより隣接する短冊どうしの前記配列方向のずれを解消した補正画像を求めるものであることを特徴とする付記１０記載の補正画像生成プログラム。
【０１３３】
（付記１４）前記動きベクトル演算部により求められた動きベクトルに基づいて、ズーム中であるか否かを判定するズーム中判定部を有し、
前記画像補正部は、前記ズーム中判定部によりズーム中であることが判定された場合に補正画像の生成を中断するものであることを特徴とする付記８記載の補正画像生成プログラム。
【０１３４】
【発明の効果】
以上説明したように、本発明によれば、カメラの振動の影響が取り除かれた見易い補正画像が作成される。
【図面の簡単な説明】
【図１】本発明の補正画像生成装置の一実施形態を含む撮影システムの模式図である。
【図２】図１に１つのブロックで示す補正画像生成装置のハードウェア構成図である。
【図３】本発明の一実施形態としての補正画像生成プログラムの模式図である。
【図４】本発明の補正画像生成装置の機能ブロック図である。
【図５】パターンマッチング処理の説明図である。
【図６】パターンマッチング処理結果を表わす図である。
【図７】原画像を複数のブロックおよび短冊に区切った状態を示した構成図である。
【図８】特徴点の説明図である。
【図９】本実施形態の補正画像生成装置における処理の第１例を示すフローチャートである。
【図１０】本実施形態の補正画像生成装置における処理の第２例を示すフローチャートである。
【図１１】本実施形態の補正画像生成装置における処理の第２例を示すフローチャートである。
【図１２】短冊を補正画像生成のための移動（補正）の単位として取り扱った場合を示した概念図である。
【図１３】本実施形態の補正画像生成装置の処理の第３例を示すフローチャートである。
【図１４】移動物体除去の概念図である。
【図１５】本実施形態の補正画像生成装置の処理の第４例を示すフローチャートである。
【図１６】本実施形態の補正画像生成装置の処理の第５例を示すフローチャートである。
【図１７】ズームアップ中の左、右、上、下の補正値（動きベクトル）を示す図である。
【図１８】図１６のステップｅ９〜ｅ１１の処理の説明図である。
【符号の説明】
１航空機
１０撮影システム
１１赤外線カメラ
１１１一次元撮像素子
１１２回転多面鏡
１１３画像メモリ
１２補正画像生成装置
１２１データインタフェース
１２２ＣＰＵ
１２３ＲＯＭ
１２４操作部
１２５ＲＡＭ
１２６モニタインタフェース
１２７バス
１３モニタ装置
２０ターゲット
１３０補正画像生成プログラム
１３１パターンマッチング部
１３２特徴点抽出部
１３３動きベクトル演算部
１３４画像補正部
１３５画像間引部
１３６ズーム中判定部
１４０補正画像生成装置
１４１パターンマッチング
１４２特徴点抽出部
１４３動きベクトル演算部
１４４画像補正部
１４５画像間引部
１４６ズーム中判定部

Claims

複数の受光センサが一次元的に配列された一次元撮像素子を用い該一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより複数フレームの原画像を順次取得するカメラにより得られた該原画像の、該カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置において、
原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理を行うパターンマッチング部と、
原画像の画素を画素を間引いて間引画像を生成する画像間引部と、
前記パターンマッチング部に、前記画像間引部により生成された間引画像についてパターンマッチング処理を行なわせ、この間引画像についてのパターンマッチング処理結果に基づいて、原画像の、パターンマッチング上の特徴点を抽出する特徴点抽出部と、
前記パターンマッチング部に、間引き前の原画像の、前記特徴点抽出部で抽出された特徴点のブロックについてパターンマッチング処理を行なわせ、この原画像についてのパターンマッチング処理結果に基づいて、該特徴点の動きベクトルを求める動きベクトル演算部と、
前記特徴点抽出部により抽出された特徴点の、前記動きベクトル演算部により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像を求める画像補正部とを備えたことを特徴とする補正画像生成装置。
前記動きベクトル演算部は、原画像が格子状に分割された複数のブロックのうちの前記配列方向に並ぶ複数のブロックからなる短冊内の特徴点の動きベクトルに基づいて該短冊ごとの動きベクトルを求めるものであり、
前記画像補正部は、前記動きベクトル演算部により求められた短冊ごとの動きベクトルに基づいて短冊どうしの位置を補正することにより補正画像を求めるものであることを特徴とする請求項１記載の補正画像生成装置。
前記動きベクトル演算部は、一旦求めた動きベクトルに複数フレームに渡るフィルタリング処理を含む処理を施すことにより、前記カメラの振動に起因する新たな動きベクトルを求めるものであり、
前記画像補正部は、前記動きベクトル演算部により求められた前記新たな動きベクトルに基づいて前記補正画像を求めるものであることを特徴とする請求項１又は２記載の補正画像生成装置。
コンピュータ内で実行され、該コンピュータを、複数の受光センサが一次元的に配列された一次元撮像素子を用い該一次元撮像素子を構成する複数の受光センサの配列方向に交わる走査方向に被写界を繰り返し走査することにより、複数フレームの原画像を順次取得するカメラにより得られた該原画像の、該カメラの振動による乱れを補正して補正画像を生成する補正画像生成装置として動作させる補正画像生成プログラムにおいて、
原画像を格子状に分割した各ブロックについて、隣接するフレームどうしでパターンマッチング処理を行うパターンマッチング部と、
原画像の画素を画素を間引いて間引画像を生成する画像間引部と、
前記パターンマッチング部に、前記画像間引部により生成された間引画像についてパターンマッチング処理を行なわせ、この間引画像についてのパターンマッチング処理結果に基づいて特徴点を抽出する特徴点抽出部と、
前記パターンマッチング部に、間引き前の原画像の、前記特徴点抽出部で抽出された特徴点のブロックについてパターンマッチング処理を行なわせ、この原画像についてのパターンマッチング処理結果に基づいて、該特徴点の動きベクトルを求める動きベクトル演算部と、
前記特徴点抽出部により抽出された特徴点の、前記動きベクトル演算部により求められた動きベクトルに基づいて、原画像の乱れを補正した補正画像を求める画像補正部とを有することを特徴とする補正画像生成プログラム。