JP3295577B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、たとえば自動車
等に搭載された撮像手段によって得られた画像に基づい
て、画像内の物体の追跡等に用いられる画像処理装置に
関し、特に撮像された画像を投影データに変換する投影
手段を設け、今回撮像された画像に対して前回画像との
相関演算を行うことにより、短時間の演算処理を可能に
した画像処理装置に関するものである。

【０００２】

【従来の技術】従来より、車載の撮像手段により撮像さ
れた画像内において、移動する対象物体を高精度に投影
して追跡するために、画像の揺れ量を検出する機能を有
する画像処理装置は、種々提案されている。また、この
種の画像処理装置においては、一般に、前回の画像と現
在の画像との相関演算に基づいて対象物体および揺れ量
を検出している。

【０００３】図１６はたとえば特公昭６２−３８６６３
号公報に記載された従来の画像処理装置の相関演算処理
を示す説明図であり、図において、３１は水平方向の被
相関画面、３２は垂直方向の被相関画面、３３は縦×横
の画素サイズがｍ×ｎの水平方向の参照画面、３４は縦
×横の画素サイズがｎ×ｍの垂直方向の参照画面、Ｃ
（ｘ）は水平方向の相関係数、Ｃ（ｙ）は垂直方向の相
関係数である。

【０００４】従来の画像処理装置の相関演算処理は、図
１６に示すように、幅がｍ画素で長さがｎ画素の小領域
からなる各参照画面３３および３４を、各被相関画面３
１および３２上でずらせることにより、各相関係数Ｃ
（ｘ）およびＣ（ｙ）を求めている。

【０００５】このとき、各相関係数Ｃ（ｘ）およびＣ
（ｙ）を求めるためには、各参照画面３３および３４を
ずらす毎に、各参照画面３３および３４の面積に相当す
る全画素分のｍ×ｎの積和演算が行われる。したがっ
て、もし、各参照画面３３および３４をｋ回ずらした場
合、ｍ×ｎ×ｋ回の演算を必要とする。

【０００６】

【発明が解決しようとする課題】従来の画像処理装置は
以上のように、各参照画面３３および３４をずらす毎に
ｍ×ｎの演算が行われるため、計算量が多くなるという
問題点があった。

【０００７】この発明は、上記のような問題点を解決す
るためになされたもので、撮像手段から得られた撮像信
号（画像）から、速度センサ等を用いることなく少ない
計算量で効果的に画像の移動量を求めることのできる画
像処理装置を得ることを目的とする。

【０００８】また、この発明は、画像の移動量から求め
られた揺れ量をキャンセルするように補正された画像を
蓄積し、効果的に防振機能を実現した画像処理装置を得
ることを目的とする。

【０００９】

【課題を解決するための手段】この発明の請求項１に係
る画像処理装置は、風景を撮影する撮像手段と、撮像手
段により得られた画像を、所定方向成分に関して計数し
た投影データに変換する投影手段と、投影データを蓄積
する投影データ蓄積手段と、蓄積された前回の投影デー
タから現在の投影データまでのフレーム間移動量を各投
影データの相関から求める相関器と、投影データの投影
範囲を決定するためのウィンドウを設定するウィンドウ
設定手段とを備え、画像内の投影対象は、ウィンドウの
範囲内で選択され、フレーム間移動量を画像の移動速度
とするものである。

【００１０】

【００１１】

【００１２】

【００１３】また、この発明の請求項２に係る画像処理
装置は、請求項１において、ウィンドウは、投影対象の
移動方向に延長された形状を有するものである。

【００１４】また、この発明の請求項３に係る画像処理
装置は、請求項１または請求項２において、投影データ
の一部をテンプレートとして決定するテンプレート決定
手段を備え、テンプレートは、投影データのうちのダイ
ナミックレンジが最大となる部分がほぼ中央となるよう
に設定され、投影データ蓄積手段は、テンプレートを前
回の投影データとして蓄積し、相関器は、テンプレート
と今回の投影データとの相関をとってフレーム間移動量
を求めるものである。

【００１５】また、この発明の請求項４に係る画像処理
装置は、請求項１から請求項３までのいずれかにおい
て、相関器は、フレーム間移動量を１画素以下の精度で
求めるための補間演算手段を含むものである。

【００１６】

【００１７】また、この発明の請求項５に係る画像処理
装置は、請求項１から請求項４までのいずれかにおい
て、フレーム間移動量を時間方向に積分して得られた積
分値を画像の移動量として出力する積分手段を備えたも
のである。

【００１８】また、この発明の請求項６に係る画像処理
装置は、請求項５において、積分値により求められた移
動量のうちの比較的小さい移動成分を除去するためのハ
イパスフィルタを備え、ハイパスフィルタは、移動量の
誤差をキャンセルするとともに、移動量に含まれる撮像
手段の揺れに起因した画像の揺れ量を求めるものであ
る。

【００１９】また、この発明の請求項７に係る画像処理
装置は、請求項６において、撮像手段は自動車に搭載さ
れ、投影対象は道路上の白線であり、揺れ量をキャンセ
ルするための走査線位置指令を出力する走査線位置設定
手段と、走査線位置指令に応じて画像内の走査線読み込
み位置を設定する走査線読み込み位置設定手段と、走査
線読み込み位置に対応した画像から白線を検出する白線
検出手段とを備え、白線の画像読み出し位置は、揺れ量
をキャンセルするように補正されるものである。

【００２０】また、この発明の請求項８に係る画像処理
装置は、請求項６において、揺れ量をキャンセルするよ
うに撮像手段の同期信号をずらすための同期信号ずらし
手段と、撮像手段により得られた画像を１フレーム分だ
け遅延させる１フレーム遅延手段と、１フレーム遅延さ
れた画像を、同期信号ずらし手段により決定されたアド
レスに蓄積するフレームメモリとを備えたものである。

【００２１】

【発明の実施の形態】この発明の請求項１においては、
画面毎に一次元の投影データの相関をとることにより、
画像の移動速度（蓄えられた投影データから新しい投影
データまでのフレーム間移動量）を求める。また、投影
データの投影範囲を任意の位置、大きさおよび形状のウ
ィンドウで設定することにより、移動対象を選択する。

【００２２】

【００２３】

【００２４】

【００２５】また、この発明の請求項２においては、ウ
ィンドウを、求める移動方向に長い形に設定することに
より、投影データのダイナミックレンジを大きくすると
ともに相関をとる領域を小さくして、投影データを求め
るための計算量を減らす。

【００２６】また、この発明の請求項３においては、投
影データの相関をとるためのテンプレートは、投影デー
タの配列値のダイナミックレンジが最大となる位置を探
索して、この位置がテンプレートのほぼ中央となるよう
に設定する。これにより、テンプレートを小さくして、
相関をとるための計算量を小さくするとともに、フレー
ム間移動量の精度を上げる。

【００２７】また、この発明の請求項４においては、相
関をとるときに補間演算を用いて１画素以下のフレーム
間移動量をも検出することにより、フレーム間移動量の
演算精度を向上させる。

【００２８】

【００２９】また、この発明の請求項５においては、移
動速度を時間方向に積分することにより、画像の移動量
を得る。

【００３０】また、この発明の請求項６においては、積
分値として得られた移動量をハイパスフィルタに通し、
移動量の誤差（小さい移動量）をキャンセルするととも
に、画像の揺れ量（大きい移動量）を抽出する。

【００３１】また、この発明の請求項７においては、抽
出された揺れ量に相当する分だけ画像の読み出し位置を
補正することにより、正しい白線位置を検出する。

【００３２】また、この発明の請求項８においては、抽
出された揺れ量に相当する分だけ画像の同期信号をずら
すことにより、画像の揺れをとり除く。

【００３３】実施の形態１．以下、この発明の実施の形
態１を図について説明する。図１はこの発明の実施の形
態１を示すブロック図であり、たとえば画面の縦揺れを
検出する車載用の画像処理装置を示す。図１において、
１は撮像手段としてのビデオカメラ、２はビデオカメラ
１からの撮像信号Ａをデジタル信号に変換するＡＤコン
バータ、３はＡＤ変換された撮像信号から２値画像のエ
ッジＥを抽出するエッジ抽出手段である。

【００３４】２４はエッジ抽出手段から出力されるエッ
ジＥから横長成分Ｈを抽出する横長成分抽出手段、１３
は投影用のウィンドウＷを設定するウィンドウ設定手
段、１５は横長成分ＨおよびウィンドウＷの論理積をと
るアンドゲート、４はアンドゲート１５の出力信号に基
づいて横方向の投影データＤＨを生成する横方向の投影
手段である。

【００３５】５は横方向の投影データＤＨをとり込んで
縦方向の揺れ量Ｆを検出するマイコンであり、以下の構
成要素６〜１０を含んでいる。６は横方向の投影データ
ＤＨのうちの相関性のとり易い一部をテンプレートＴと
して決定するテンプレート決定手段、７はテンプレート
Ｔを格納して１フレーム分だけ遅延させた（前回の）テ
ンプレートとして出力するメモリである。

【００３６】８は横方向の投影手段４およびメモリ７の
各出力端子に接続された相関器であり、投影データＤＨ
と遅延されたテンプレートＴとの相関をとって、１フレ
ーム間のフレーム間移動量ΔＳを移動速度として出力す
る。９はフレーム間移動量ΔＳを時間方向に積分する積
分手段であり、積分値Ｓｔを画像の最終的な移動量とし
て出力する。

【００３７】１０は積分値（移動量）Ｓｔのうちの低周
波数成分（小さい移動量）をカットするハイパスフィル
タ（以下、ＨＰＦとも記す）であり、大きい移動量を縦
方向の揺れ量Ｆとして出力する。このとき、ＨＰＦ１０
は、積分値Ｓｔに含まれる小さい移動量である誤差成分
を除去する。また、図示しないが、マイコン５は、ウィ
ンドウ設定手段１３に対する初期設定手段を含んでい
る。

【００３８】図２は相関器８の動作を示す説明図であ
り、横方向の投影手段４から得られる横方向の投影デー
タＤＨに基づいて、フレーム間移動量ΔＳを求める場合
を示す。図２において、ＤＨ１は１フレーム（１画面）
前の投影データ、ＤＨ２は現在（現フレーム）の投影デ
ータ、ΔＳは１フレーム前の投影データＤＨ１から現フ
レームの投影データＤＨ２までのフレーム間移動量であ
る。

【００３９】図３はエッジ抽出手段３および横長成分抽
出手段２４で抽出されたエッジＥおよび横長成分Ｈに基
づく画像例を示す説明図であり、図３（ａ）はエッジＥ
に基づく元のエッジ画像ＧＥおよびその投影データＤＨ
３を示し、図３（ｂ）は横長成分Ｈに基づく横長エッジ
画像ＧＨおよびその投影データＤＨ４を示す。

【００４０】また、図３において、Ｒ３は投影データＤ
Ｈ３のダイナミックレンジ、Ｒ４は投影データＤＨ４の
ダイナミックレンジであり、横長エッジ画像ＧＨにおけ
る投影データＤＨ４のダイナミックレンジＲ４の方が、
エッジ画像ＧＥにおける投影データＤＨ３のダイナミッ
クレンジＲ３よりも大きくなっている。

【００４１】図４は図３（ａ）内のエッジ画像ＧＥにウ
ィンドウＷを投影した状態を示す説明図であり、ウィン
ドウＷは縦方向に長く設定されている。図５はウィンド
ウＷの幅を変えた場合の投影データＤＨの違いを示す説
明図であり、図５（ａ）はウィンドウＷの幅を大きく設
定した場合、図５（ｂ）はウィンドウＷの幅を小さく設
定した場合をそれぞれ示す。図５から明らかなように、
ウィンドウＷを（ｂ）のように縦に長くすることによ
り、小さい領域で大きいダイナミックレンジが得られる
ことが分かる。

【００４２】図６は投影データＤＨに対する相関用のテ
ンプレートＴの設定位置を示す説明図であり、破線Ｍは
投影データＤＨのうちの変化量が最大となる部分、ＴＷ
はテンプレートの抽出範囲である。図６のように、投影
データＤＨの数画素分の範囲内で最大ダイナミックレン
ジを示す部分Ｍは、テンプレートＴの抽出範囲ＴＷ内の
ほぼ中央になるように設定される。

【００４３】図７はテンプレートＴを用いた相関器８に
よる現投影データＤＨ２との比較動作を示す説明図であ
り、テンプレートＴを現投影データＤＨ２と比較してい
く様子を示している。相関器８は、図７内のテンプレー
トＴを１画素分ずつずらしながら、テンプレートＴと現
投影データＤＨ２との差ΔＤを求め、フレーム間移動量
ΔＳが何画素分に相当するかを求める。

【００４４】図８は１画素毎に求められたデータ差ΔＤ
を点Ｐ１、Ｐ２、Ｐ３、…で示す説明図であり、横軸は
ずらし量（画素）、縦軸はデータ差ΔＤである。また、
ΔＳｃは各点Ｐ１〜Ｐ３により設定される直線Ｌ１およ
びＬ２によって補間されたフレーム間移動量である。

【００４５】図９はフレーム間移動量ΔＳの積分値Ｓｔ
（最終的な移動量）を通過させて揺れ量Ｆを抽出するＨ
ＰＦ１０の動作を示す説明図である。図９においては、
移動量すなわち積分値Ｓｔのうちの速い移動成分を抽出
することにより、積分値Ｓｔの出力誤差による累積誤差
をキャンセルし、且つ、車両の縦方向の揺れ量Ｆが高精
度に抽出される状態を示す。

【００４６】次に、図２〜図９を参照しながら、図１に
示したこの発明の実施の形態１の動作について説明す
る。一般に、車載の画像処理装置においては、車両のピ
ッチング（ビデオカメラ１の上下方向の揺れ）により、
安定した処理が妨げられることがある。そこで、画面の
縦方向の揺れを検出し、縦揺れに合わせて白線検出用の
２値画像の読み出し位置を上下させることにより正しく
処理を行う。

【００４７】まず、図１内の信号の概略的な流れについ
て説明すると、ビデオカメラ１より得られた撮像信号Ａ
は、ＡＤコンバータ２によりデジタル値に変換され、さ
らにエッジ抽出手段３を通してエッジＥを示す２値画像
に変換される。

【００４８】続いて、エッジＥを示す２値画像すなわち
エッジ画像ＧＥ（図３（ａ）参照）は、フィルタからな
る横長成分抽出手段２４を通して横長成分Ｈのみが抽出
され、ダイナミックレンジを大きくした２値画像すなわ
ち横長エッジ画像ＧＨ（図３（ｂ）参照）となる。

【００４９】横長エッジ画像ＧＨに対応した横長成分Ｈ
は、アンドゲート１５を介して横方向の投影手段４に入
力され、横方向の投影データＤＨとなる。このとき、あ
らかじめウィンドウ設定手段１３で設定されたウィンド
ウＷ内についてのみ投影され、この投影データＤＨの上
下移動から、後述するように、マイコン５によって画面
の揺れ量Ｆが求められることになる。

【００５０】このように、ビデオカメラ１で撮像された
多値画像を、エッジ抽出手段３によりエッジＥの２値画
像（エッジ画像ＧＥ）に変換し、さらに横長成分抽出手
段２４により横長成分Ｈの２値画像（横長エッジ画像Ｇ
Ｈ）に変換することで、揺れ量Ｆを検出するための情報
を損なうことなく、投影データＤＨを求めるための計算
量ならびに相関をとるための計算量を著しく低減するこ
とができる。

【００５１】ここで、２値画像から横方向の投影データ
ＤＨを得るための動作ならびに投影データＤＨの相関比
較動作について説明する。まず、横方向の投影手段４
は、横長成分Ｈからなる横長エッジ画像ＧＨから、横方
向の一線上に「１」が何個あるかを数える。

【００５２】たとえば、アンドゲート１５を介して順次
送られてくる２値画像（ウィンドウＷ内のエッジＥの横
長成分Ｈ）の画素値が「１」ならカウントアップし、
「０」ならばカウントアップしないという動作を繰り返
し行う。すなわち、横方向の投影手段４は、画素値
「１」の計数を画面の左端からウィンドウＷ内について
行い、この結果を画面の右端でバッファに蓄えという動
作を画面の上から下まで繰り返し行い、各計数結果を投
影データＤＨとして得る。

【００５３】こうして得られる投影データＤＨは、時系
列的に送られてくる撮像信号Ａの１画面（１フレーム）
毎に更新される。そこで、マイコン５内の相関器８は、
図２に示すように、１画面前の投影データＤＨ１から現
画面の投影データＤＨ２までのフレーム間移動量ΔＳ
（前投影データＤＨ１から現投影データＤＨ２への移動
速度）を求め、積分手段９は、フレーム間移動量ΔＳを
フレーム毎に時間的に積分し、最終的な移動量Ｓｔを求
める。

【００５４】このとき、相関器８は、１画面の前後の各
投影データＤＨ１およびＤＨ２を１画素分づつずらしな
がら比較して、両者のデータ差ΔＤが最も少なくなると
きの画素ずらし量をフレーム間移動量ΔＳとする。した
がって、比較演算する画素数が少ない方が計算量が少な
くて済むことが分かる。また、比較演算に先立って、テ
ンプレート決定手段６は、投影データＤＨのうちで最も
相関のとり易い一部分をテンプレートＴとしてメモリ７
に記憶させる。相関器８は、上記比較演算時において、
メモリ７内のテンプレートＴを読み出し、これを１画面
前のテンプレートとして用いる。

【００５５】なお、投影データＤＨのうちで最も相関が
とり易い部分は、短い区間で値の大小が大きい部分、つ
まり、ダイナミックレンジの大きい部分である。そこ
で、あらかじめ、横長成分抽出手段２４において、元の
エッジＥの２値画像ＧＥ（図３（ａ）参照）から、横長
成分Ｈのみの２値画像ＧＨ（図３（ｂ）参照）を抽出
し、ダイナミックレンジの大きい横長エッジ画像ＧＨを
取得しておく。

【００５６】図３（ａ）に示した元のエッジ画像ＧＥの
投影データＤＨ３と、図３（ｂ）に示した横長エッジ画
像ＧＨの投影データＤＨ４とを比較すれば、エッジＥに
よる投影データＤＨ３のダイナミックレンジＲ３より
も、横長成分Ｈによる投影データＤＨ４のダイナミック
レンジＲ４の方が、短い区間で大きい値となることが分
かる。

【００５７】ここでは、エッジ抽出手段３によりエッジ
Ｅの２値画像ＧＥを生成した後、この２値画像ＧＥを横
長成分抽出手段４に通して横長成分Ｈの２値画像ＧＨを
抜き出しているが、エッジＥの抽出の際に横長成分Ｈの
エッジのみを抽出し、エッジ抽出手段３が横長成分抽出
手段２４の機能を含むようにしてもよい。

【００５８】このように、エッジ画像ＧＥから横長成分
Ｈを抜き出すことにより、図３（ｂ）のように、小さな
領域でダイナミックレンジＲ４を著しく大きくすること
ができる。また、ウィンドウ設定手段１３は、図４に示
すように、ウィンドウＷを縦に長く設定することによ
り、小さな領域でダイナミックレンジＲ４を大きくした
効果を損なわないようにする。

【００５９】さらに、撮像画面内でのウィンドウＷの設
定位置は、投影データＤＨのダイナミックレンジを大き
くするのに効果的な位置に選択される。また、図４のよ
うにウィンドウＷを縦に長くするのみならず、図５
（ｂ）のように、ウィンドウＷの幅を狭く設定すること
により、図５（ａ）のようにウィンドウＷの幅を広く設
定した場合よりも、小さい領域で大きいダイナミックレ
ンジをとることができる。ここでは、投影対象が路上の
白線の場合を示している。

【００６０】アンドゲート１５は、横長成分抽出手段２
４からの横長成分Ｈすなわち横長エッジ画像ＧＨと、ウ
ィンドウ設定手段１３からのウィンドウＷとの論理積を
とることにより、ウィンドウＷ内だけの投影を行い、こ
れを横方向の投影手段４に入力する。横方向の投影手段
４は、各フレーム毎のウィンドウＷ内の画像に基づい
て、一次元のデータ列からなる投影データＤＨを各フレ
ーム毎に求め、これをマイコン５に入力する。

【００６１】マイコン５内のテンプレート決定手段６
は、図６に示すように、全ての投影データＤＨのうち、
数画素分の範囲内で大きく値が変化する部分Ｍ（最大変
化率を示しダイナミックレンジが最大となる部分）を探
索し、この部分Ｍがテンプレート抽出領域ＴＷのほぼ中
央に位置するように、テンプレートＴを決定する。な
お、テンプレート抽出領域ＴＷ（テンプレートＴの大き
さ）は、投影データＤＨのダイナミックレンジが大きく
とれる最少の大きさにあらかじめ設定されている。

【００６２】相関器８は、図７のように、メモリ７から
読み出した前回のテンプレートＴを現投影データＤＨ２
と比較し、テンプレートＴを１画素分づつずらしなが
ら、両者のデータ差ΔＤを求める。すなわち、図８のよ
うに、各ずらし量毎に得られたデータ差ΔＤを、二次元
座標空間内の点Ｐ１、Ｐ２、Ｐ３、…として表わす。こ
こで、ずらし量は、元のテンプレートＴの位置から、現
投影データＤＨ２と一致するまでずらした画素数に相当
する。

【００６３】このとき、テンプレートＴを１画素分ずつ
ずらして現投影データＤＨ２と比較していき、最もデー
タ差ΔＤが小さくなるずらし量をそのままフレーム間移
動量ΔＳとして決定すると、このフレーム間移動量ΔＳ
と実際のフレーム間移動量との間には、１画素（分解
能）以下の誤差が生じることになる。

【００６４】したがって、相関器８は、フレーム間移動
量ΔＳを１画素以下の精度で求めるための補間演算手段
を含んでおり、図８のように各画素間の補間演算を行う
ことにより、実際に最もデータ差ΔＤが小さくなるずら
し量を、補間後のフレーム間移動量ΔＳｃとして推測に
より求める。

【００６５】このときの補間演算は、たとえば３点補間
について説明すると、以下のように行われる。まず、最
もデータ差ΔＤの小さい３点Ｐ１〜Ｐ３（図８参照）を
選び、これらを小さい順にＰ１、Ｐ２、Ｐ３とする。続
いて、点Ｐ１およびＰ３とを結ぶ直線Ｌ１と、この直線
Ｌ１の傾きの正負を逆にした傾きで点Ｐ２を通る直線Ｌ
２との交点に対応するずらし量を、実際にデータ差ΔＤ
が最少となる点、すなわち補間されたフレーム間移動量
ΔＳｃとする。

【００６６】こうして補間演算されたフレーム間移動量
ΔＳｃは、フレーム間移動量ΔＳとして積分手段９に入
力される。このとき、フレーム間移動量ΔＳは、１画面
毎の移動速度を示しているので、積分手段９は、フレー
ム間移動量ΔＳを積分した積分値Ｓｔを最終的な移動量
としてＨＰＦ１０に入力する。

【００６７】ＨＰＦ１０は、図９のように、実際の移動
量を示す積分値Ｓｔのうち、誤差等を含む小さい移動量
成分を除去し、高周波成分すなわち速い移動成分のみを
縦方向の揺れ量Ｆとして抽出する。これにより、移動量
の出力誤差による累積誤差をキャンセルするとともに、
車両の縦方向の揺れ量Ｆを抽出することができる。

【００６８】実施の形態２．なお、上記実施の形態１で
は、横方向の投影データＤＨに基づいて縦方向の揺れ量
Ｆを求めるようにしたが、横方向の投影データＤＨに代
えて縦方向の投影データを用いれば、横方向の揺れ量を
求めることができる。また、マイコン５により縦方向の
揺れ量Ｆのみを求めるようにしたが、揺れ量Ｆに応じた
走査線設定を行うことにより、車両に搭載した場合に路
上の白線を有効に検出するようにしてもよい。

【００６９】図１０は車載用の白線検出装置に適用した
この発明の実施の形態２を示すブロック図であり、５Ａ
はマイコン５に対応しており、１〜４、１３、１５およ
び２４は前述と同様のものである。１４はマイコン５Ａ
からの走査線位置指令ＤＬに基づいて走査線読み込み位
置Ｌを設定する走査線読み込み位置設定手段、１５ａは
走査線読み込み位置ＬおよびエッジＥの論理積をとるア
ンドゲートである。

【００７０】アンドゲート１５ａは、エッジ画像ＧＥ
（図３（ａ））内の白線走査部分を２値画像ＧＬとして
マイコン５Ａに入力する。この場合、マイコン５Ａは、
前述に縦方向の揺れ量Ｆを求める機能のみならず、白線
を検出する機能が付加されており、２値画像ＧＬに基づ
いて白線位置ＰＬを出力するようになっている。

【００７１】図１１はマイコン５Ａの機能構成を示すブ
ロック図であり、６〜１０は前述と同様のものである。
１１は白線検出用の走査線位置を設定する走査線位置設
定手段であり、ＨＰＦ１０から得られた揺れ量Ｆに基づ
いて、白線検出に最適な走査線読み込み開始位置を示す
走査線位置指令ＤＳを出力する。１２はアンドゲート１
５ａからの２値画像ＧＬに基づいて白線位置ＰＬを検出
する白線検出手段である。

【００７２】走査線位置設定手段１１には、走査線位置
の基準値が初期設定されており、白線検出用の走査線位
置指令ＤＬは、基準値に対する揺れ量Ｆの加減算により
決定されるものとする。図１２は走査線読み込み位置設
定手段１４における白線検出用の走査線読み込み位置Ｌ
の設定動作を示す説明図であり、図１２（ａ）は画像が
上方向にずれた状態、図１２（ｂ）は画像が下方向にず
れた状態をそれぞれ示す。

【００７３】この場合、たとえば、図１２（ｂ）におい
ては、図１２（ａ）よりも揺れ量Ｆに相当する分だけ減
算した走査線位置から下方部分（横線部分）が走査線読
み込み位置Ｌとなる。これにより、揺れ量Ｆの大小によ
らず、白線に対応した位置のみが有効に走査されること
になる。

【００７４】次に、図１０〜図１２を参照しながら、こ
の発明の実施の形態２によるマイコン５Ａの動作につい
て説明する。まず、マイコン５Ａ内の走査線位置設定手
段１１は、ＨＰＦ１０で求められた画面の上下（縦方
向）の揺れ量Ｆに合わせて走査線位置指令ＤＬを出力す
る。

【００７５】走査線読み込み位置設定手段１４は、走査
線位置指令ＤＬに応答して、揺れ量Ｆに合わせた走査線
読み込み位置Ｌを上下方向に移動させて設定する。した
がって、アンドゲート１５ａは、図１２のように白線位
置に対応した２値画像ＧＬを、マイコン５Ａ内の白線検
出手段１２に入力する。

【００７６】こうして設定された走査線読み込み位置Ｌ
内の２値画像ＧＬは、路面が平坦であるとすれば、常に
自車両から前方の一定距離部分に相当する走査線内の画
像となる。これにより、白線検出手段１２は、白線部分
のみを確実に含む適切な２値画像ＧＬに基づいて、３次
元的な白線位置ＰＬを常に安定に出力することができ
る。

【００７７】実施の形態３．なお、上記実施の形態１で
は、横長エッジ画像ＧＨの投影データＤＨのみに基づい
て縦方向のフレーム間移動量ΔＳ（移動速度）を求めた
が、縦長エッジ画像の投影データに基づいて横方向のフ
レーム間移動量（移動速度）をも求め、最終的な移動速
度をさらに正確に求めてもよい。

【００７８】図１３は横方向のフレーム間移動量（移動
速度）をも考慮したこの発明の実施の形態３を示すブロ
ック図であり、５Ｂはマイコン５に対応しており、１、
４、６〜８、１３および１５は前述と同様のものであ
る。この場合、横方向の投影データＤＨを求めるための
ブロック構成と同様に、縦方向の投影データＤＶを求め
るためのブロック構成が並設されている。

【００７９】また、マイコン５Ｂは、縦方向のフレーム
間移動量ΔＳ（移動速度Ｖｙ）を求めるブロック構成と
同様に、横方向のフレーム間移動量ΔＳｂ（移動速度Ｖ
ｘ）を求めるブロック構成が並設されている。なお、マ
イコン５Ｂ内において、積分手段９およびＨＰＦ１０等
は、図示を省略されている。

【００８０】２１はビデオカメラ１からの撮像信号Ａか
ら横長成分Ｈを抽出する横長エッジ抽出フィルタ、２１
ｂは撮像信号Ａから縦長成分Ｖを抽出する縦長エッジ抽
出フィルタである。横長エッジ抽出フィルタ２１および
縦長エッジ抽出フィルタ２１ｂは、それぞれ、前述のＡ
Ｄコンバータ２、エッジ抽出手段３および横長成分抽出
手段２４と同等の機能を有しており、これらと同様の構
成に置き代えてもよい。

【００８１】１３ｂは縦長成分Ｖに対する投影用のウィ
ンドウＷｂを設定するウィンドウ設定手段、１５ｂは縦
長成分ＶとウィンドウＷｂとの論理積をとるアンドゲー
ト、４ｂは縦方向の投影データＤＶを生成する縦方向の
投影手段である。この場合、ウィンドウＷｂは横方向に
延長された形状を有する。また、縦方向の投影データＤ
Ｖは、横方向に１画素ずつずらしながら、各画素位置毎
に縦長成分Ｖを計数した値として得られる。

【００８２】６ｂは縦方向の投影データＤＶからテンプ
レートＴｂを決定するテンプレート決定手段、７ｂはテ
ンプレートＴｂを格納するメモリである。８ｂは画像の
横方向のフレーム間移動量ΔＳｂを求める相関器であ
り、メモリ７ｂ内のテンプレートＴｂ（前回のテンプレ
ート）と今回の投影データＤＶとの相関をとって、横方
向のフレーム間移動量ΔＳｂすなわち移動速度Ｖｘを出
力する。

【００８３】図１３に示したこの発明の実施の形態３の
構成によれば、ビデオカメラ１から得られた撮像信号Ａ
の縦方向の移動速度Ｖｙおよび横方向の移動速度Ｖｘが
それぞれ個別に得られるので、角速度センサの機能とし
て使用することもできる。なお、縦方向の投影データＤ
Ｖの信号処理は、前述の横方向の投影データＤＨに関す
る信号処理と同様である。

【００８４】この場合、縦方向のフレーム間移動量ΔＳ
（移動速度Ｖｙ）は、前述のように横長エッジ画像ＧＨ
（図３参照）に基づいて求められ、横方向のフレーム間
移動量ΔＳｂ（移動速度Ｖｘ）は、縦長成分Ｖからなる
縦長エッジ画像（図示せず）に基づいて求められる。こ
れにより、投影対象が縦方向および横方向の両方に同時
（つまり、斜め方向）に動いた場合でも、正しく移動速
度を求めることができる。

【００８５】実施の形態４．なお、上記実施の形態２で
は、画像の揺れ量Ｆをキャンセルするように白線検出用
の画像の走査線読み込み位置Ｌを補正したが、揺れ量Ｆ
をキャンセルするように１フレームの画像を補正しても
よい。図１４は画像の防振機能を設けたこの発明の実施
の形態４を示す機能ブロック図であり、５Ｃはマイコン
５Ａまたは５Ｂに対応しており、１、９および１０は前
述と同様のものである。また、２ｃはＡＤコンバータ２
に対応している。

【００８６】ここでは、縦方向および横方向の各揺れ量
をキャンセルした１フレーム画像を得る場合を示してい
る。したがって、マイコン５Ｃ内の積分手段９ｃおよび
ＨＰＦ１０ｃは、横方向の揺れ量Ｆｃを求めるための構
成要素であり、それぞれ、縦方向の揺れ量Ｆを求める積
分手段９およびＨＰＦ１０に対応して並設されている。

【００８７】１６は縦方向の揺れ量Ｆをキャンセルする
ようにビデオカメラ１の同期信号をずらす同期信号ずら
し手段、１７は同期信号ずらし手段１６からの同期信号
ずらし量に応じた垂直アドレスを発生する垂直アドレス
発生手段である。

【００８８】１６ｃは横方向の揺れ量Ｆｃをキャンセル
するようにビデオカメラ１の同期信号をずらす同期信号
ずらし手段、１７ｃは同期信号ずらし手段１６ｃからの
同期信号ずらし量に応じた水平アドレスを発生する水平
アドレス発生手段であり、それぞれ、同期信号ずらし手
段１６および垂直アドレス発生手段１７に対応して並設
されている。

【００８９】２０は各アドレス発生手段１７および１７
ｃからの垂直アドレスおよび水平アドレスにしたがって
１画面分の画像を蓄積するフレームメモリである。２３
はＡＤコンバータ２によりＡＤ変換された撮像信号Ａを
１画面相当分だけ遅延させる１フレーム遅延手段であ
り、遅延された画像をフレームメモリ２０に入力してい
る。

【００９０】３０はビデオカメラ１からの撮像信号Ａに
基づいて縦方向の移動速度Ｖｙおよび横方向の移動速度
Ｖｘを検出する画像移動速度センサであり、同期信号ず
らし手段１６、１６ｃ、垂直アドレス発生手段１７およ
び１７ｃとともにマイコン５Ｃ内に構成されている。画
像移動速度センサ３０で検出された移動速度Ｖｙおよび
Ｖｘは、各積分手段９および９ｃに個別に入力される。
なお、画像移動速度センサ３０は、図１３に示したもの
と同様の構成要素により構成され得る。

【００９１】この場合、画像移動速度センサ３０からの
縦方向の移動速度Ｖｙおよび横方向の移動速度Ｖｘは、
それぞれ、積分手段９およびＨＰＦ１０ならびに積分手
段９ｃおよびＨＰＦ１０ｃを介して、縦方向の揺れ量Ｆ
および横方向の揺れ量Ｆｃに変換される。

【００９２】同期信号ずらし手段１６は、縦方向の揺れ
量Ｆの相当する分だけ垂直同期信号をずらし、同様に、
同期信号ずらし手段１６ｃは、横方向の揺れ量Ｆｃだけ
水平同期信号をずらす。こうして、ずらした後の各同期
信号に基づいて、垂直アドレス発生手段１７および水平
アドレス発生手段１７ｃは、フレームメモリ２０に対す
る画像蓄積用のアドレスを発生する。

【００９３】一方、ＡＤコンバータ２ｃは、ビデオカメ
ラ１からの撮像信号Ａをデジタル値に変換し、１フレー
ム遅延手段２３は、デジタル値からなる画像を１画面相
当分だけ遅延させて、フレームメモリ２０に入力される
画像データとする。したがって、マイコン５Ｃにおい
て、今回の撮像信号Ａに対して各揺れ量ＦおよびＦｃを
キャンセルするように各アドレスを発生する間に、１フ
レーム遅延手段２３により遅延された今回の画像は、同
期信号ずらし量に応じたアドレスにタイミングを合わせ
て、フレームメモリ２０に入力される。

【００９４】図１５は同期信号ずらし手段１６および垂
直アドレス発生手段１７の動作を示す説明図であり、縦
方向の揺れ量Ｆに相当する分だけ垂直同期信号Ｑをずら
した場合の１フレーム画像を示している。図１５（ａ）
は揺れ量Ｆが０（揺れ成分なし）の場合を示し、垂直同
期信号Ｑのずらし量は０である。また、図１５（ｂ）は
縦揺れにより画像が上方向にシフトした場合を示し、垂
直同期信号Ｑのずらし量は、シフト量（揺れ量Ｆ）をキ
ャンセルするように下方向に設定される。

【００９５】図１５の場合と同様に、横方向の揺れ量Ｆ
ｃに対しても、同期信号ずらし手段１６ｃおよび水平ア
ドレス発生手段１７ｃにより、揺れ量Ｆｃをキャンセル
した画像をフレームメモリ２０内に蓄積することができ
る。こうして、揺れ量ＦおよびＦｃをキャンセルした揺
れのない画像をフレームメモリ２０に格納することがで
きる。したがって、ビデオカメラ１を自動車等の搭載し
ても安定した画像を得ることができる。

【００９６】

【発明の効果】以上のようにこの発明の請求項１によれ
ば、風景を撮影する撮像手段と、撮像手段により得られ
た画像を、所定方向成分に関して計数した投影データに
変換する投影手段と、投影データを蓄積する投影データ
蓄積手段と、蓄積された前回の投影データから現在の投
影データまでのフレーム間移動量を各投影データの相関
から求める相関器と、投影データの投影範囲を決定する
ためのウィンドウを設定するウィンドウ設定手段とを備
え、画像内の投影対象は、ウィンドウの範囲内で選択さ
れ、画面毎に一次元の投影データの相関をとることによ
りフレーム間移動量を画像の移動速度として求めるよう
にしたので、撮像手段の他に速度センサ等を用いること
なく、少ない計算量で効果的に画像の移動量（移動速
度）を求めることのできる画像処理装置が得られる効果
がある。

【００９７】

【００９８】

【００９９】

【０１００】また、この発明の請求項２によれば、請求
項１において、ウィンドウは、投影対象の移動方向に延
長された形状を有するようにしたので、投影データのダ
イナミックレンジを大きくするとともに相関をとる領域
を小さくして、投影データを求めるための計算量をさら
に減らすことのできる画像処理装置が得られる効果があ
る。

【０１０１】また、この発明の請求項３によれば、請求
項１または請求項２において、投影データの一部をテン
プレートとして決定するテンプレート決定手段を備え、
テンプレートは、投影データのうちのダイナミックレン
ジが最大となる部分がほぼ中央となるように設定され、
投影データ蓄積手段は、テンプレートを前回の投影デー
タとして蓄積し、相関器は、テンプレートと今回の投影
データとの相関をとってフレーム間移動量を求めるよう
にしたので、テンプレートを小さくして、相関をとるた
めの計算量を小さくするとともに、フレーム間移動量の
検出精度を向上させた画像処理装置が得られる効果があ
る。

【０１０２】また、この発明の請求項４によれば、請求
項１から請求項３までのいずれかにおいて、相関器は、
フレーム間移動量を１画素以下の精度で求めるための補
間演算手段を含むようにしたので、フレーム間移動量の
演算精度を向上させた画像処理装置が得られる効果があ
る。

【０１０３】

【０１０４】また、この発明の請求項５によれば、請求
項１から請求項４までのいずれかにおいて、フレーム間
移動量を時間方向に積分して得られた積分値を画像の移
動量として出力する積分手段を備えたので、少ない計算
量で効果的に画像の移動量を求めることのできる画像処
理装置が得られる効果がある。

【０１０５】また、この発明の請求項６によれば、請求
項５において、積分値により求められた移動量のうちの
比較的小さい移動成分を除去するためのハイパスフィル
タを備え、ハイパスフィルタは、移動量の誤差をキャン
セルするとともに、移動量に含まれる撮像手段の揺れに
起因した画像の揺れ量を求めるようにしたので、少ない
計算量で効果的に画像の揺れ量を求めることのできる画
像処理装置が得られる効果がある。

【０１０６】また、この発明の請求項７によれば、請求
項６において、撮像手段は自動車に搭載され、投影対象
は道路上の白線であり、揺れ量をキャンセルするための
走査線位置指令を出力する走査線位置設定手段と、走査
線位置指令に応じて画像内の走査線読み込み位置を設定
する走査線読み込み位置設定手段と、走査線読み込み位
置に対応した画像から白線を検出する白線検出手段とを
備え、揺れ量をキャンセルするように白線の画像読み出
し位置を補正するようにしたので、常に正しい白線位置
を高精度に検出することのできる画像処理装置が得られ
る効果がある。

【０１０７】また、この発明の請求項８によれば、請求
項６において、揺れ量をキャンセルするように撮像手段
の同期信号をずらすための同期信号ずらし手段と、撮像
手段により得られた画像を１フレーム分だけ遅延させる
１フレーム遅延手段と、１フレーム遅延された画像を、
同期信号ずらし手段により決定されたアドレスに蓄積す
るフレームメモリとを備え、画像の揺れをとり除くよう
にしたので、効果的に防振機能を実現した画像処理装置
が得られる効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１を示す機能ブロック
図である。

【図２】 この発明の実施の形態１により求められる１
画面（１フレーム）間の画像の移動量を示す説明図であ
る。

【図３】 この発明の実施の形態１による画像例を示す
説明図であり、（ａ）はエッジに基づくエッジ画像およ
びその投影データを示し、（ｂ）は横長成分に基づく横
長エッジ画像およびその投影データを示す。

【図４】 この発明の実施の形態１による画像例と投影
用のウィンドウとの関係を示す説明図である。

【図５】 この発明の実施の形態１によるウィンドウと
投影データとの関係を示す説明図である。

【図６】 この発明の実施の形態１によるテンプレート
の決定動作を示す説明図である。

【図７】 この発明の実施の形態１によるテンプレート
と投影データとの相関動作を示す説明図である。

【図８】 この発明の実施の形態１による相関器の補間
演算動作を示す説明図である。

【図９】 この発明の実施の形態１によるハイパスフィ
ルタの作用を示す説明図である。

【図１０】 この発明の実施の形態２（白線検出用の画
像を得る）を示す機能ブロック図である。

【図１１】 この発明の実施の形態２の要部（図１０内
のマイコン）を示す機能ブロック図である。

【図１２】 この発明の実施の形態２による走査線読み
込み位置設定動作を示す説明図である。

【図１３】 この発明の実施の形態３（縦方向および横
方向の移動速度を得る）を示す機能ブロック図である。

【図１４】 この発明の実施の形態４（防振画像を得
る）を示す機能ブロック図である。

【図１５】 この発明の実施の形態４による防振用の同
期信号ずらし動作を示す説明図である。

【図１６】 従来の画像処理装置の相関演算動作を示す
説明図である。

【符号の説明】

１ ビデオカメラ（撮像手段）、２、２ｃ ＡＤコンバ
ータ、３ エッジ抽出手段、４ 横方向の投影手段、４
ｂ 縦方向の投影手段、５、５Ａ、５Ｂ、５Ｃマイコ
ン、６、６ｂ テンプレート決定手段、７、７ｂ メモ
リ（投影データ蓄積手段）、８、８ｂ 相関器、９、９
ｃ 積分手段、１０、１０ｃ ＨＰＦ（ハイパスフィル
タ）、１１ 走査線位置設定手段、１２ 白線検出手
段、１３、１３ｂ ウィンドウ設定手段、１４ 走査線
読み込み位置設定手段、１５、１５ａ、１５ｂ アンド
ゲート、１６、１６ｃ 同期信号ずらし手段、１７ 垂
直アドレス発生手段、１７ｃ 水平アドレス発生手段、
２０ フレームメモリ、２１横長エッジ抽出フィルタ、
２１ｂ 縦長エッジ抽出フィルタ、２３ １フレーム遅
延手段、２４ 横長成分抽出手段（長手方向成分抽出手
段）、３０ 画像移動速度センサ、Ａ 撮像信号（画
像）、ＤＨ、ＤＶ 投影データ、ＤＨ１ １フレーム前
の投影データ、ＤＨ２ 現フレームの投影データ、ＤＨ
３ エッジ画像の投影データ、ＤＨ４ 横長エッジ画像
の投影データ、ＤＬ 走査線位置指令、Ｅ エッジ、
Ｆ、Ｆｃ 揺れ量、Ｈ 横長成分、ＧＥ エッジ画像、
ＧＨ 横長エッジ画像、ＧＬ ２値画像、Ｌ 走査線読
み込み位置、Ｍ 最大変化量を示す部分、ＰＬ 白線位
置、Ｑ 垂直同期信号、Ｒ３、Ｒ４ ダイナミックレン
ジ、Ｓｔ、Ｓｔｃ 移動量、Ｔ テンプレート、Ｖ 縦
長成分、Ｖｙ、Ｖｘ 移動速度、Ｗ、Ｗｂ ウィンド
ウ、ΔＳ、ΔＳｂ フレーム間移動量、ΔＳｃ 補間さ
れたフレーム間移動量。

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 風景を撮影する撮像手段と、 前記撮像手段により得られた画像を、所定方向成分に関
   して計数した投影データに変換する投影手段と、 前記投影データを蓄積する投影データ蓄積手段と、 蓄積された前回の投影データから現在の投影データまで
   のフレーム間移動量を前記各投影データの相関から求め
   る相関器と、 前記投影データの投影範囲を決定するためのウィンドウ
   を設定するウィンドウ設定手段と を備え、前記画像内の投影対象は、前記ウィンドウの範囲内で選
   択され、 前記フレーム間移動量を前記画像の移動速度とすること
   を特徴とする画像処理装置。
2. 【請求項２】 前記ウィンドウは、前記投影対象の移動
   方向に延長された形状を有することを特徴とする請求項
   １に記載の画像処理装置。
3. 【請求項３】 前記投影データの一部をテンプレートと
   して決定するテンプレート決定手段を備え、 前記テンプレートは、前記投影データのうちのダイナミ
   ックレンジが最大となる部分がほぼ中央となるように設
   定され、 前記投影データ蓄積手段は、前記テンプレートを前回の
   投影データとして蓄積し、 前記相関器は、前記テンプレートと今回の投影データと
   の相関をとって前記フレーム間移動量を求める ことを特
   徴とする請求項１または請求項２に記載の画像処理装
   置。
4. 【請求項４】 前記相関器は、前記フレーム間移動量を
   １画素以下の精度で求めるための補間演算手段を含むこ
   とを特徴とする請求項１から請求項３までのいずれかに
   記載の画像処理装置。
5. 【請求項５】 前記フレーム間移動量を時間方向に積分
   して得られた積分値を前記画像の移動量として出力する
   積分手段を備えたことを特徴とする請求項１から請求項
   ４までのいずれかに記載の画像処理装置。
6. 【請求項６】 前記積分値により求められた移動量のう
   ちの比較的小さい移動成分を除去するためのハイパスフ
   ィルタを備え、 前記ハイパスフィルタは、前記移動量の誤差をキャンセ
   ルするとともに、前記移動量に含まれる前記撮像手段の
   揺れに起因した前記画像の揺れ量を求める ことを特徴と
   する請求項５に記載の画像処理装置。
7. 【請求項７】 前記撮像手段は自動車に搭載され、前記
   投影対象は道路上の白線であり、 前記揺れ量をキャンセルするための走査線位置指令を出
   力する走査線位置設定手段と、 前記走査線位置指令に応じて前記画像内の走査線読み込
   み位置を設定する走査線読み込み位置設定手段と、 前記走査線読み込み位置に対応した画像から前記白線を
   検出する白線検出手段とを備え、 前記白線の画像読み出し位置は、前記揺れ量をキャンセ
   ルするように補正される ことを特徴とする請求項６に記
   載の画像処理装置。
8. 【請求項８】 前記揺れ量をキャンセルするように前記
   撮像手段の同期信号をずらすための同期信号ずらし手段
   と、 前記撮像手段により得られた画像を１フレーム分だけ遅
   延させる１フレーム遅延手段と、 前記１フレーム遅延された画像を、前記同期信号ずらし
   手段により決定されたアドレスに蓄積するフレームメモ
   リと を備えた ことを特徴とする請求項６に記載の画像処
   理装置。