JP5514131B2 - 画像処理方法、画像処理装置およびそれを搭載した水中検査装置 - Google Patents

Description

本発明は、水中移動体に搭載した撮影装置で撮影した画像を処理する画像処理方法，画像処理装置およびそれを搭載した水中検査装置に関する。特に、原子炉内のシュラウドや圧力容器の他、ジェットポンプ等の炉内機器を目視点検する遊泳型の水中検査装置に用いるのに好適な画像処理方法、画像処理装置およびそれを搭載した水中検査装置に関する。

移動体に搭載したカメラの撮影画像処理に関する従来技術として、第１に、特許文献１のように人間が頭部に装着するカメラの視認性を安定させるものが知られている。

また、第２に、特許文献２のように撮影画像から動きベクトルを検出し、撮影画像のみを用いて画像の振れを抑止するものが知られている。

一方、水中検査装置に動き検出センサを搭載し、任意の方向に操舵するものとして特許文献３が知られている。

特開２０００−９７６３７号公報 特開平５−２１９４２０号公報 特開２００６−２２４８６３号公報

特許文献１に記載のものでは、人間が頭部に装着するカメラの視認性を安定させる装置に関するものであり、搭載したジャイロセンサを用いて、動きを検出するものである。また、特許文献２に記載のものでは、画像の相関処理により、動きを検出している。このように、特許文献１及び特許文献２記載のものは、画像の安定化を図るために、画像の振れを検出し、振れの分だけ補正するものである。

しかしながら、本発明で対象としている水中検査装置は、装置が振れるだけでなく、装置の姿勢を故意に変換させる場合もあるため、正対する向きに画像を追従させる必要があるため、特許文献１，特許文献２記載の技術では、水中検査装置には適用できないものである。

また、特許文献３に記載されたものは、ジャイロ等の姿勢検知センサを用いて姿勢を検出し、フィードバック制御することで、水中検査装置の姿勢を制御する装置であり、画像のみを安定化させるものではない。

本発明の目的は、画像情報のみを用いて、画像の振れを修正し、画像を安定化でき、水中検査装置の操作性が向上する画像処理方法，画像処理装置およびそれを搭載した水中検査装置を提供することにある。

上記目的を達成するために本発明の画像処理方法は、移動体に搭載した撮影手段により被写体を連続的に撮影して撮影画像を取得し、連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定め、連続して得られた２つの画像に対して画像相関処理を行って特徴量の一致度を判断し、所定以上の一致度が得られない場合には新たな被写体の要素を特徴量に定め、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定し、二次元の撮影画像の他方向の変化量を前記撮影手段の移動量とする。

また、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するときの一方方向として、撮影手段の操作方向に直交する方向とする。

また、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するために、特徴量を用いて、連続して得られた撮影画像間の画像振れ量を算出し、予め設定した撮影時間分の画像振れ量の移動平均により画像振れ量平均を算出し、当該時刻の取得画像を画像振れ量平均に相当する画素分移動させた補正画像を算出する。

また、連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定めるために、撮影手段により得られた画像を白と黒の２階調に変換する２値化処理と、白と黒の何れかの集合体に分類するクラスタリング処理と、集合体の面積を計算する領域面積算出処理を備え、領域面積がもっとも大きい部分を特徴量とする。

上記目的を達成するために本発明の画像処理装置は、移動体に搭載した撮影手段により被写体を連続的に撮影して撮影画像を取得し前記撮影手段の移動量を求めるための画像処理装置であって、連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定める第１の手段、連続して得られた２つの画像に対して画像相関処理を行って特徴量の一致度を判断する第２の手段、第２のステップにおいて所定以上の一致度が得られない場合には新たな被写体の要素を特徴量に定める第３の手段、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定し、二次元の撮影画像の他方向の変化量を前記撮影手段の移動量とする第４の手段を備える。

また、第４の手段における前記一方方向として、撮影手段の操作方向に直交する方向とする。

また、第４の手段において連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するために、第４の手段は特徴量を用いて、連続して得られた撮影画像間の画像振れ量を算出する第５の手段、予め設定した撮影時間分の前記画像振れ量の移動平均により画像振れ量平均を算出する第６の手段、当該時刻の取得画像を前記画像振れ量平均に相当する画素分移動させた補正画像を算出する第７の手段を含む。

また、第１の手段において、連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定めるために、第１の手段は撮影手段により得られた画像を白と黒の２階調に変換する２値化処理手段と、白と黒の何れかの集合体に分類するクラスタリング処理手段と、集合体の面積を計算する領域面積算出処理手段とを備え、領域面積がもっとも大きい部分を特徴量とする。

上記目的を達成するために本発明の画像処理装置は、移動体に搭載した撮影手段により撮影された取得画像に対し、画像振れを抑制した加工画像を得る画像処理装置であって、取得画像内から特徴量を抽出する特徴量算出手段と、特徴量算出手段で登録した特徴量を用いて表示する時刻の取得画像と直前の時刻の取得画像の画像振れ量を算出する画像相関手段と、予め設定した時間分の画像振れ量の移動平均により画像振れ量平均を算出する手段と、当該時刻の取得画像を画像振れ量平均に相当する画素分移動させて補正画像を算出する手段と、補正画像を表示する手段と、を有する。

上記目的を達成するために本発明の水中検査装置は、三次元に遊泳可能な駆動機構と水中において構造物を視認できる撮影手段を有する検査用ビークルと、撮影手段での撮影画像から予め設定した画像表示サイズの画像を切出す画像処理手段と、画像処理手段により振れを補正した画像を表示する画像表示手段とを有する水中検査装置であって、画像処理手段は、取得画像内から特徴量を抽出する特徴量算出手段と、特徴量算出手段で登録した特徴量を用いて表示する時刻の取得画像と直前の時刻の取得画像の画像振れ量を算出する画像相関手段と、予め設定した時間分の画像振れ量の移動平均により画像振れ量平均を算出する手段と、当該時刻の取得画像を画像振れ量平均に相当する画素分移動させて補正画像を算出する手段とを有する。

本発明によれば、画像情報のみを用いて、画像の振れを修正し、画像を安定化でき、水中検査装置の操作性を向上させることができる。

水中検査装置による画像表示方法の処理内容を示すフロー図。 水中検査装置を用いた水中検査作業時の機器配置を示す図。 水中検査装置に用いる検査用ビークル８の鳥瞰図。 水中検査装置における画像振れ量の定義を示した図。 画像の振れを時間軸上に表した図。 表示画像範囲のイメージを示す図。 初期特徴量の抽出方法を説明する図。 水中検査装置として水中カメラを示す図。 サブルーチン処理の概念説明に使用する被写体を示す図。 各タイミングでカメラに捕らえられた画像を示す図。 図１０の画像の画像振れ量を修正した画像を示す図。

以下、図を用いて、本発明の一実施形態による水中検査装置の構成及び動作について説明する。本実施形態の水中検査装置は、原子炉内の欠陥検査、特に構造物を目視検査する際に用いる例で説明するが、原子炉に限らず水中であれば広く適用することが可能である。

最初に、図２を用いて、本実施形態による水中検査装置を用いた水中検査作業時の機器配置について説明する。

原子炉１内には、シュラウド２，上部格子板３，炉心支持板４，シュラウドサポート５等の構造物がある。これら構造物は水中にある。また、原子炉１の上部には、作業スペースであるオペレーションフロア６があり、また同じく上方には、燃料交換装置７がある。

原子炉１内の水中に配置される構造物は、適宜の機会に検査される必要があるが、作業員が近づける環境ではないので、検査用ビークル８を水中に下ろして遠隔操作による各種の作業を実行する。

具体的には、原子炉１内の水中に進入させた検査用ビークル８は、ビークル用ケーブル９を介して、オペレーションフロア６上の制御装置１０に接続される。制御装置１０は、検査用ビークル８を水中で泳動させて航行させるための電力を供給するとともに、検査対象箇所において目視検査を実施するために、映像の通信を行う。また、制御装置１０には表示装置１１が接続され、検査用ビークル８に搭載した撮像手段からの画像を表示する。さらに、制御装置１０にはコントローラ１２を接続し、ビークル操作員１３ａが操作する。なお、燃料交換装置７の上では、操作補助員１３ｂがビークル用ケーブル９を捌く。

制御装置１０は、その内部に、検査用ビークル８の位置移動を制御する位置制御手段と、検査用ビークル８に搭載された撮像手段により撮像された画像を、表示装置１１に表示するための表示画像を生成する画像表示処理手段とを備えている。

次に、図３を用いて、本実施形態による水中検査装置に用いる検査用ビークル８の構成について説明する。図３は、検査用ビークル８の構成を示す鳥瞰図である。

検査用ビークル８には、前部に撮像手段としてカメラユニット２０を搭載している。なお、カメラユニット２０内部には、カメラおよび照明が収納されている。図２に示したビークル操作員１３ａは、カメラユニット２０からの映像を確認しながら、検査用ビークル８の移動等を操作できる構成となっている。

また、検査用ビークル８には上下に移動するための昇降用スラスタ２１と、前後に進行するための推進用スラスタ２２と、左右に移動及び旋回するための並進旋回用スラスタ２３ａ，２３ｂを搭載している。ここで、並進旋回用スラスタ２３ａ，２３ｂは、左右に移動させる場合には同一方向に回転させ、旋回させる場合には逆方向に回転させる。

次に、図４から図６を用いて、本実施形態による水中検査装置による画像表示方法の概念について説明する。

図４は、水中検査装置における画像振れ量の定義を示したものである。図４は、カメラユニット２０で撮影した画像を制御装置１０に取り込んだイメージである。取り込み画像３０において、時刻Ｔ_ｉ−１における１つの特徴点３１が、次の時刻Ｔ_ｉには特徴点３２の位置に移動したとする。この時のＸ方向にａ、Ｙ方向にｂの移動量（ａ，ｂ）を、画像振れ量３３として定義する。この画像振れ量３３は、後述する画像相関処理により算出するものであり、（ａ，ｂ）は、画像のＸ方向、Ｙ方向の振れ量を示している。

図４は、時系列上の２つの画像間での特徴点の変化を説明したものであるが、連続する複数の画像の集合である映像で考えると、特徴点は連続した振れとなる。この特徴点の振れの要因としては、操作員が意図した方向変化と、意図しない振れに分けられる。操作員が意図した方向変化とは、例えばＸ軸方向を監視しようとしてカメラあるいは水中検査装置の視点をＸ軸方向に移動させた場合などがこれにあたる。意図しない振れとしては、水中環境による振れとして、例えば原子炉内構造物との衝突による振れ、構造物の振動が水中に伝播されたことによる水の波動などが想定しえる。

図５は、画像の振れを時間軸上に表した図である。図５において、横軸は時間、縦軸は初期画像からの振れ量の合計を示しているが、ここで縦軸の振れ量の合計は、例えば図４のＸ方向の振れ量を時間経過と共に示したものである。従って、実際にはＹ方向の振れ量を時間経過と共に示したもう一つの座標軸も存在するが、ここではＸ方向の振れ量を代表例として説明することにする。

Ｘ方向の振れ量を時間的にトレースしたものが４０であり、これが観測された特徴点のＸ方向の移動軌跡である。移動軌跡は、適宜増減を繰り返すことから何らかの周波数成分を有すると考えられる。これに対し、操作員がＸ軸方向を監視しようとしてカメラあるいは水中検査装置の視点をＸ軸方向に移動させた場合には、単位時間当たりのＸ軸方向移動量はほぼ同一量になると考えられる。つまり、図５の図示上では直線状の変化として見えてくるはずである。このため、時間軸上の動きとして捕らえると、操作員が意図した方向変化は周波数が低く、意図しない振れは周波数が高いと考えられる。

本発明では、操作員が意図した方向変化のみを把握するために、意図しない振れを除外する。このために、図５の移動軌跡に着目すると、画像振れ量の変化４０は、実線で示したように振動が大きい。ここで、予め設定した時間、例えば３サンプルの画像振れ量の移動平均４１を算出する。この処理の結果、高周波成分は除去され、操作員が意図した変化のみが残ることになる。移動平均を実施しない場合の時刻Ｔ_１からＴ_２への変化量４２と比べ、移動平均を実施した場合の変化量４３は小さくなる。この量を、時刻Ｔ_２における画像補正量４３として用いる。なお、画像補正量４３は、図３のａ，ｂすなわち、Ｘ方向、Ｙ方向独立に算出し、その値をＡ，Ｂとする。

図６は、表示画像範囲のイメージを示す図である。時刻Ｔ_ｉ−１における表示画像５０に対し、次の時刻Ｔ_ｉにおける表示画像５１は、Ｘ方向の画像シフト量５２、Ｙ方向の画像シフト量５３の分だけ、ずらして表示する。なお、時刻Ｔ_ｉ−１、時刻Ｔ_ｉいずれの場合でも、表示サイズに変化は無いので、シフトさせた分だけ、画像情報が無いことになるため、時刻Ｔ_ｉにおいて、ブランク領域５４を挿入する。

次に、図１を用いて、本実施形態による水中検査装置による画像表示方法の処理内容について説明する。これらの処理は、図２に示した制御装置１０の画像表示処理手段により実行され、図４から図６までの方法を具現化するフローチャートである。

このフローでは、ステップＳ００で処理開始後、ステップＳ０１において時定数Ｎを入力する。この時定数は、図５で示した移動平均の幅を示すもので、具体的には移動平均サンプル数である。

次に、ステップＳ０２において、時刻Ｔ_０における初期画像処理を行う。ステップＳ０３で初期撮影画像を読み込み、ステップＳ０４でカメラのレンズによる歪みを補正し、ステップＳ０５で初期画像を保存する。次に、ステップＳ０６で、時刻Ｔ_０において読込んだ画像内で次ステップに用いる初期特徴量を抽出し、登録する。

ここで、図７を用いて、初期特徴量の抽出方法を説明する。まず、図７の初期画像５５には、例えば被写体の要素としてａ，ｂ，ｃが撮影されている。要素ａ，ｂ，ｃは、濃淡が均一ではないので、時刻Ｔ_０に取得した画像５５対して２値化を行い均一濃淡の画像５６を得、クラスタリング処理を施した画像５７により、各要素の領域ごとに要素番号を付与する。そして、各要素を構成する面積（ピクセル数）を算出し、最も面積の大きいものを特徴量５８とする。特徴量として登録する範囲は、要素を包含する矩形領域Ｈとする。

次に、ステップＳ０７で、時定数Ｎにより定められる範囲の初期画像相関を算出する。初期画像相関算出処理は、具体的には、ステップＳ０８においてステップＳ０９の画像振れ量算出のサブルーチンを呼び出し、この繰返し演算を実行することである。ステップＳ０９のサブルーチンは、ステップＳ１０からステップＳ２２までの一連の処理で構成される。

本発明は、このサブルーチンでの処理に特徴を有するので、この概念の理解を助けるために図９の被写体を撮影することを例にとって説明する。図９は、撮影対象となる壁面であり、これがカメラの被写体である。但し、カメラの視野角の範囲（撮影範囲）はＧであり、あくまでも撮影対象となる壁面の一部をカメラに捉えることができるにすぎない。

撮影対象となる壁面には、文字Ａ，Ｂ，Ｃが図示の位置に描かれており、操作員は横方向（Ｘ方向）にカメラを動かして、撮影をしたとする。このときの連続する時刻がＴ_ｉ−１、Ｔ、Ｔ_ｉ＋１であり、それぞれのときに撮影時刻された画像Ｇが、Ｇ_ｉ−１、Ｇ_ｉ、Ｇ_ｉ＋１であったとする。このときに操作員の意図としては、あくまでも横方向（Ｘ方向）にカメラを動かして撮影をしたいのであるが、画像の揺れにより縦方向の変化（Ｙ方向）を含む撮影範囲となってしまっている。

ステップＳ０９のサブルーチンでは、まず、ステップＳ１０で現時刻Ｔ_ｉの画像を取得する。詳細には、ステップＳ１１で現時刻の画像を取り込み、ステップＳ１２で歪みを補正し、ステップＳ１３で原画像Ｇ_ｉとして保存する。この画像が図１０の中央のＧ_ｉであり、ほぼ中央にＡの文字が、右下にＢの一部が写ったものとなっている。

次に、ステップＳ１４で前時刻Ｔ_ｉ−１の画像を取り出す。この画像が図１０の中央のＧ_ｉ−１であり、ほぼ中央下にＡの文字が移っているが、Ｂは未だ写っていない。さらにステップＳ１５でステップＳ０６において登録した特徴量５８を読み込み、ステップＳ１６で現時刻Ｔ_ｉの原画像Ｇ_ｉと前時刻Ｔ_ｉ−１の画像Ｇ_ｉ−１の間の画像相関演算をする。但し、この画像の間で認識されている特徴量５８は、文字Ａであるとする。

ここで画像相関演算とは、予め定めた特徴量（図７の５８、文字Ａ）が時系列的な２つの画像に共に存在していることを判定したものである。２つの画像が、予め定めた同じ特徴量を有しているのであれば、画像間での特徴量の移動を追跡することができる。同じ特徴量を有していないのであれば、新たに特徴量を設定して２つの画像を接続する為の新たな基準とする必要がある。

そのために、画像相関演算で算出される現時刻Ｔ_ｉと前時刻Ｔ_ｉ−１の画像Ｇ_ｉとＧ_ｉ−１間の特徴量一致率を用いて、ステップＳ１７において特徴量切替判定を行う。判定には、予め設定した０〜１までの範囲内の閾値を用い、その閾値以下の場合、予め定めた特徴量が失われたと考えられるのでステップＳ１９において特徴量の更新を行い、ステップＳ２０において次の新たな予め定めた特徴量として、これを保存する。ここで、新たな特徴量の抽出は、先に記述した図７の方法と同様である。なお、特徴量一致率が閾値以上の場合、予め定めた特徴量が継続して観測されているので、引き続きこの特徴量による移動追跡が可能であるので、ステップＳ１８において特徴量の更新を実施しない。

ここで、特徴量一致率を求めるに当り、図７の画像処理では５７の画面において特徴量を５８に定めると共に、特徴量５８の要素を包含する矩形領域Ｈを定義した。図１０の画像Ｇ_ｉとＧ_ｉ−１間の特徴量一致率の算出に当っては、矩形領域Ｈ_ｉとＨ_ｉ−１が、ほぼ全領域含まれているので、一致率がほぼ１００％になることが理解できる。この点、次のタイミングでの画像Ｇ_ｉとＧ_ｉ＋１間の特徴量一致率の算出に当っては、矩形領域Ｈ_ｉとＨ_ｉ＋１が、一部領域欠けているので、一致率は１００％にならないが、予め設定した０〜１までの範囲内の閾値と比較することで引き続きこの特徴量による移動追跡が可能である。

なお、図９、図１０の例では連続する３タイミングでの画像のみを示しているが、このまま右方向にカメラを移動すると、いずれ特徴量Ａが視野角から外れてくることが予想される。このときには、文字Ａでの特徴量一致率が閾値以下になってくる。この場合、新たにＢの文字が視野角に入ってくるので、このときには、文字Ｂを新たな特徴量として、上記と同じ処理を実行することで連続した監視が可能である。

最後に、ステップＳ２１で、図３で示したＸ軸方向とＹ軸方向の移動量（ａ，ｂ）から、画像振れ量を決定し、ステップＳ２２で保存する。

ステップＳ２３では、時刻をインクリメントして上記の処理を繰り返し、その終了後に、ステップＳ２４で画像補正処理を行う。

具体的には、まず、ステップ２５で、現時刻の画像振れ量を算出するために、サブルーチンステップＳ０９を呼び出し、ステップＳ０９からステップＳ２２の処理を実施する。

次に、ステップＳ２６において、ステップＳ２２で保存した過去の画像振れ量を読み込む。ここで読み込むのは、現時刻ｉに対し、ｉ−Ｎからｉ−１までのＮ回の連続する時間での画像振れ量の結果である。その結果を用い、ステップＳ２７で、図６の画像振れ量平均（Ａ，Ｂ）を算出し、画像振れ量平均（Ａ，Ｂ）の画素数をステップＳ２８において、シフトさせる。このステップは、図６で示した方式による。

図１１は、図１０の画像の画像振れ量を修正した画像を示している。図１０では、画像振れ量を修正していないので、特徴量とした文字Ａの高さ方向位置が定まっていないが、画像振れ量を修正した図１１では、特徴量とした文字Ａの高さ方向位置がほぼおなじである。従って、この画像から、特徴量とした文字Ａの横方向（Ｘ方向）の位置変化分を算出すれば、これがカメラの移動量とすることができる。

図１１と図10とを比較して明らかなように、ここでは連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定し、二次元の撮影画像の他方向の変化量を前記撮影手段の移動量としたものである。本実施例では、この実現のために振れ量の移動平均という考え方を用いている。また、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するときの一方方向として、撮影手段の操作方向に直交する方向としている。

その結果を、補正画像としてステップＳ２９において表示する。この時、図６で示した通り、ブランク領域を画面の端に挿入して表示する。最後に、次のステップＳ３０においてループ判定を行う。ステップＳ３１において、操作員から終了の入力が無ければ、ステップＳ３２から、ステップＳ３３にジャンプし、ステップＳ２３からステップＳ２９までの処理を繰り返す。操作員から終了の入力があれば、ステップＳ３４において終了処理を行う。

以上説明したように、本実施形態によれば、画像情報のみを用いて、画像の振れを修正し、なおかつ、意図した姿勢の変化にも追従することが可能になる。その結果、移動体に搭載した撮影画像を安定化させることが可能になり、移動時における操作性を向上する。

また、水中検査装置に搭載したカメラの画像を安定化させることが可能になり、目視点検における検査効率を向上できる。

次に、図８を用いて、本発明の他の実施形態による水中検査装置の構成及び動作について説明する。本実施形態による水中検査装置を用いた水中検査作業時の機器配置は、図１において、検査用ビークル８の代わりに、水中カメラ５９を用い、ビークル用ケーブルの代わりにケーブルを内包した保持治具６０を用いている点が異なり、他の構成、画像処理方法、表示方法は同一である。水中カメラ５９には、カメラユニット６１とランプユニット６２ａ，６２ｂを搭載しており、カメラユニット６１で撮影した映像を、制御装置１０において画像処理を行い、表示装置１１にて表示をする。

本実施形態は、第一の実施形態と同一目的を達成しようとするものであるが、カメラを搭載する機器が、遊泳型である検査用ビークル８と異なり、上下方法の振れの少ない保持治具を用いているため、操作員が所望しない振れは主に水平方向の振れとなる。この場合、第一の実施形態の説明において、図４を用いて詳述した画像振れ量を算出する時に、画像の水平方向すなわちＸ方向のみについて補正をすることでも、同様の効果が得られるため、画像処理に掛かる演算時間を短縮し応答性を向上することも可能になる。

１…原子炉
２…シュラウド
３…上部格子板
４…炉心支持板
５…シュラウドサポート
６…オペレーションフロア
７…燃料交換装置
８…検査用ビークル
９…ビークル用ケーブル
１０…制御装置
１１…表示装置
１２…コントローラ
２０…カメラユニット
２１…昇降用スラスタ
２２…推進用スラスタ
２３ａ，２３ｂ…並進旋回用スラスタ
３０…取り込み画像
３１…時刻Ｔｉ−１における特徴点
３２…時刻Ｔｉにおける特徴点
３３…画像振れ量
４０…画像振れ量の変化
４１…画像振れ量の移動平均
４２…時刻Ｔ１−Ｔ２間の画像振れ量
４３…時刻Ｔ２における画像補正量
５０…時刻Ｔｉ−１における表示画像
５１…時刻Ｔｉにおける表示画像
５２…Ｘ方向の画像のシフト量
５３…Ｙ方向の画像のシフト量
５４…時刻Ｔｉにおけるブランク領域
５５…時刻Ｔ_０に取得した画像
５６…２値化画像
５７…クラスタリング画像
５８…特徴量
５９…水中カメラ本体
６０…保持治具
６１…カメラユニット
６２ａ，６２ｂ…ランプユニット

Claims (8)

1. 移動体に搭載した撮影手段により被写体を連続的に撮影して撮影画像を取得し、連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定め、連続して得られた２つの画像に対して画像相関処理を行って前記特徴量の一致度を判断し、所定以上の一致度が得られない場合には新たな被写体の要素を特徴量に定め、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定し、二次元の撮影画像の他方向の変化量を前記撮影手段の移動量とすることを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法において、
   前記連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するときの前記一方方向として、撮影手段の操作方向に直交する方向とすることを特徴とする画像処理方法。
3. 請求項１または請求項２に記載の画像処理方法において、
   連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するために、前記特徴量を用いて、連続して得られた撮影画像間の画像振れ量を算出し、予め設定した撮影時間分の前記画像振れ量の移動平均により画像振れ量平均を算出し、当該時刻の取得画像を前記画像振れ量平均に相当する画素分移動させた補正画像を算出することを特徴とする画像処理方法。
4. 請求項１乃至請求項３のいずれかに記載の画像処理方法において、
   連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定めるために、撮影手段により得られた画像を白と黒の２階調に変換する２値化処理と、白と黒の何れかの集合体に分類するクラスタリング処理と、前記集合体の面積を計算する領域面積算出処理とを備え、領域面積がもっとも大きい部分を特徴量とすることを特徴とする画像処理方法。
5. 移動体に搭載した撮影手段により被写体を連続的に撮影して撮影画像を取得し前記撮影手段の移動量を求めるための画像処理装置において、
   連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定める第１の手段、連続して得られた２つの画像に対して画像相関処理を行って前記特徴量の一致度を判断する第２の手段、第２のステップにおいて所定以上の一致度が得られない場合には新たな被写体の要素を特徴量に定める第３の手段、連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定し、二次元の撮影画像の他方向の変化量を前記撮影手段の移動量とする第４の手段を備えることを特徴とする画像処理装置。
6. 請求項５記載の画像処理装置において、
   前記第４の手段における前記一方方向として、撮影手段の操作方向に直交する方向とすることを特徴とする画像処理装置。
7. 請求項５または請求項６に記載の画像処理装置において、
   前記第４の手段において連続して得られた撮影画像における特徴量の位置を、二次元の撮影画像の一方方向の所定位置に固定するために、前記第４の手段は前記特徴量を用いて、連続して得られた撮影画像間の画像振れ量を算出する第５の手段、予め設定した撮影時間分の前記画像振れ量の移動平均により画像振れ量平均を算出する第６の手段、当該時刻の取得画像を前記画像振れ量平均に相当する画素分移動させた補正画像を算出する第７の手段を含むことを特徴とする画像処理装置。
8. 請求項５乃至請求項７のいずれかに記載の画像処理装置において、
   前記第１の手段において、連続して得られた２つの画像に共通に撮影されている被写体の要素を特徴量に定めるために、前記第１の手段は撮影手段により得られた画像を白と黒の２階調に変換する２値化処理手段と、白と黒の何れかの集合体に分類するクラスタリング処理手段と、前記集合体の面積を計算する領域面積算出処理手段とを備え、領域面積がもっとも大きい部分を特徴量とすることを特徴とする画像処理装置。

Images