JP2725446B2 - 振動成分検出画像処理装置 - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 この発明は、ビデオカメラで撮像した画像信号の処理
装置に関し、特に、車両やヘリコプタ等に搭載されたビ
デオカメラのように振動するビデオカメラで撮像した画
像信号から振動成分を検出する技術に関する。

〔従来技術〕

ビデオカメラが振動する物体に設置されている場合、
例えば車両やヘリコプタ等に搭載されている場合には、
撮像した画像信号に振動が重畳されるので、検出した画
像をそのまま表示すると画像がブレて非常に見にくい画
面となる。そのため振動するビデオカメラで撮像した画
像信号は適当な画像処理を行なって振動成分を除去する
必要がある。

従来のビデオカメラの上下振動成分の補正法として
は、例えば第10図に示すようなものがある。第10図にお
いて、レンズ11を介して入力された光は、ミラー12に反
射した後、CCD13上に結像され、画像信号生成部14を介
して画像信号として出力される。また、ミラー12はモー
タ15等で回転角を変化できるようになっている。また、
上記のごとき構成のビデオカメラ内には、Ｇセンサ16が
設置されている。このＧセンサ16はビデオカメラのピッ
チ変動（画面の上下振動に対応）を検出し、その検出結
果に応じてミラー制御部17によってミラー12をピッチ変
動に応じて回転させる。すなわち、Ｇセンサ16によって
ビデオカメラが下向きに動いたと判断された時は、第10
図においてミラー12は時計回り方向に動くように制御さ
れ、その結果、出力される画像はブレのない映像とな
る。

上記のようなビデオカメラの上下振動は、車載された
ビデオカメラにおいては、その影響はかなり大きく、例
えば、マラソン中継のような場合にはかなり見にくい映
像になる。

また、道路上の車線認識のような画像処理システムに
おいては、車線の映像が上下に動くため、車線の検出処
理が難しくなるという問題があり、そのための解決法の
一つが前記のＧセンサとミラーによる方法である。

〔発明が解決しようとする課題〕

しかし、上記のような従来の方法においては、機械的
に可動するミラーとＧセンサを用いた構成となってお
り、機械的な可動部を含むため耐久性に問題がある。ま
た、Ｇセンサの出力とミラーとの動きを対応させるため
の比例定数の調整が必要であり、調整工数が多くなると
いう問題がある。

また、上下方向の振動成分（縦振れ）は検出すること
が出来るが、左右方向の振動成分（横振れ）は検出でき
なかったので、車線変更時や急操舵時等に生じる横振れ
を補正することが出来なかった。

また、車両前方にビデオカメラを設置した場合、例え
ば前方に上り坂が見えてきた時は、やや上方を撮像する
ことが望ましいが、車両が坂に到達する前はビデオカメ
ラが水平方向を映すため、前方風景との対応がとれない
という問題がある。

本発明は、上記のごとき従来技術における種々の問題
を解決することを目的とするものである。

〔課題を解決するための手段〕

上記の目的を達成するため、本発明においては、特許
請求の範囲に記載するように構成している。

第１図は、本発明の機能を示すブロック図であり、
（ａ）は第１請求項、（ｂ）は第２請求項に相当する。

まず、第１図（ａ）において、100は通常のビデオカ
メラであり、車両やヘリコプタ等の移動物体に搭載され
ている。

また、演算部101はビデオカメラ100で撮像した画像信
号を入力し、演算処理を行なって入力画像の振動成分を
検出するものであり、例えば、後記第２図の高速画像処
理装置２の部分に相当する。この演算部101は、前処理
手段102と、ヒストグラム作成手段103と、振動成分検出
手段104とからなる。

まず、前処理手段102は、上記画像信号からエッジ点
画像Ｅ（x,y）を求めるものである。

また、ヒストグラム作成手段103は、エッジの時間的
な連続量を表わす領域Ｐ（x,y）と上記エッジ点画像Ｅ
（x,y）との相関を求め、そのヒストグラムＲ（ｖ）を
作成するものであり、上記ヒストグラムＲ（ｖ）は、Ｅ
（x,y＋y_k-1）がエッジ点であり、かつＰ（x,y−ｖ）が
所定の闘値以上のときに、ヒストグラムがインクリメン
トされ、さらにＰ（x,y）はＥ（x,y＋y_k）がエッジ点の
ときに大きくなるように、エッジ点でないときは小さく
なるように増減されるものである。なお、y_kは現時刻ｋ
における振動速度v_kの積分値、y_k-1は前時刻ｋ−１にお
ける振動速度v_kの積分値である。

また、振動成分検出手段104は、上下方向の振動成分
として上下振動速度と画像シフト量とを検出するもので
ある。すなわち、上記ヒストグラムの最大値を与えるシ
フト量ｖを現時刻ｋにおける画像の上下振動速度v_kとし
て検出し、かつ、上記v_kの時間積算値y_k＝y_k+1＋v_kを現
時刻ｋにおける画像シフト量または基準座標として検出
する。

上記のように、第１図（ａ）の構成においては、撮像
した画像における上下方向の振動成分を検出することが
出来る。

上記のようにして検出した振動成分は、後続手段また
は後続機器に送られる。後続手段および後続機器として
は、例えば、後記第２図に示すごとく、表示装置、走行
路検出手段、姿勢制御装置等がある。このような後続装
置等においては、上記の振動成分を入力し、それぞれの
目的に応じて利用する。例えば、後続装置が表示装置で
あれば上記の振動成分に対応した量だけ、その振動と反
対方向に画像をずらせて表示することにより、ビデオカ
メラが振動した場合でも表示画面のぶれを有効に低減
し、鮮明な画像を表示することが出来る。

次に、第１図（ｂ）において、100は通常のビデオカ
メラであり、車両やヘリコプタ等の移動物体に搭載され
ている。また、演算部105はビデオカメラ100で撮像した
画像信号を入力し、演算処理を行なって入力画像の振動
成分を検出するものであり、例えば、後記第２図の高速
画像処理装置２の部分に相当する。

この演算部105は、前処理手段106と、ヒストグラム作
成手段107と、振動成分検出手段108とからなる。

まず、前処理手段106は、上記画像信号からエッジ点
画像Ｅ（x,y）と該エッジ点におけるエッジ方向画像α
（x,y）＝Δｙ（x,y）／Δｘ（x,y）とを求めるもので
ある。

また、ヒストグラム作成手段107は、エッジの時間的
な連続量を表わす領域Ｐ（x,y）と上記エッジ点画像Ｅ
（x,y）とエッジ方向画像α（x,y）との相関を求め、そ
のヒストグラムＲ（u,v）を作成するものであり、上記
ヒストグラムＲ（u,v）は、Ｅ（ｘ＋x_k-1,y＋y_k-1）が
エッジ点であり、かつＰ〔x,y−α（ｘ＋x_k-1,y＋
y_k-1）・ｕ＋ｖ〕が大きな値を持つとき、ヒストグラム
がインクリメントされ、Ｐ（x,y）はＥ（ｘ＋x_k,y＋
y_k）がエッジ点のとき大きくなるように、エッジ点でな
いとき小さくなるように増減されるものである。

また、振動成分検出手段108は、上下方向及び左右方
向の振動成分として、上下振動速度と左右振動速度およ
び画像シフト量を検出するものである。すなわち、上記
ヒストグラムの最大値を与えるシフト量ｖおよびｕを、
それぞれ現時刻ｋにおける画像の上下振動速度v_kおよび
左右振動速度u_kとして検出し、かつ、上記v_kの時間積算
値y_k＋y_k-1＋v_kおよび上記u_kの時間積算値x_k＝x_k-1＋u_k
を現時刻ｋにおける画像シフト量または基準座標として
検出する。

上記のように第１図（ｂ）の構成においては、撮像し
た画像の上下方向及び左右方向の振動成分を検出するこ
とが出来る。このようにして検出した振動成分は、後続
手段または後続機器に送られ、それぞれの目的に応じて
利用される。

〔発明の実施例〕

第２図は、この発明の一実施例のブロック図である。
第２図において、ビデオカメラ１は通常のビデオカメラ
であり、例えば車両に搭載され、進行方向に向かって前
方の風景を撮像するように設置されている。ビデオカメ
ラ１で撮像した画像信号は、高速画像処理装置２に入力
される。高速画像処理装置２は、例えばコンピュータで
構成され、画面の上下方向、或いは上下左右方向の振動
成分を検出して出力する（この内容の詳細は後述）。

上記の振動成分の信号は、後続手段または機器に与え
られる。後続の機器が、例えは表示装置３である場合
は、振動成分の量に応じて振動成分を除去するように画
像を上下方向若しくは上下左右方向にシフトし、その結
果をCRT等の表示装置で表示すれば、振動のない明瞭な
画像を表示することが出来る。なお、この場合、振動成
分除去の処理までを高速画像処理装置２で行なえば、表
示装置３としては通常のCRT表示装置等を用いることが
出来る。

また、後続の機器が、例えば自動走行車両等に用いら
れる走行路検出手段４である場合は、レーンマーカ（道
路端やセンタラインなどを示す白線等）の検出とそれを
用いた道路形状の計測などにおいて、計測結果から振動
成分を除去することにより、正確な計測を行なうことが
出来る。なお、この場合には高速画像処理装置２と走行
路検出手段４を一つのコンピュータを用いて構成するこ
とが出来る。

また、後続の機器が姿勢制御装置５等の制御装置であ
る場合は、上記の振動成分の信号を用いて姿勢制御等の
各種の制御を行なうことが出来る。

以下、高速画像処理装置２における処理演算について
説明する。

まず、基本原理を説明する。車両が停止し、カメラが
上下・左右方向に振動しているものとする。この時、入
力画像は上下方向、左右方向にそれぞれシフトした画像
となる。そして或る時刻ｋにおける画像Ａ（x,y,k）
と、所定の単位時間（例えば33ms）前の時刻ｋ−１にお
ける画像Ａ（x,y,k−１）は、 Ａ（x,y,k）＝Ａ（ｘ−u_k,y−v_k,k−１） で表わされる。なお、上式において、u_k、v_kは時刻ｋに
おける画面上での移動速度である。また、第３図は上記
の関係を示す図である。

画像上で傾きαを持つ画像（ｙ＝α・ｘ＋β）が、ｘ
方向にu_k、ｙ方向にv_k移動すると、直線上の点の見かけ
上の移動は なる関係式を満足する。

上式において、Δｘはｘ座標の移動量、Δｙはｙ座標
の移動量である。

α＝Δy/Δｘ（単位時間は短いので、この間αは不変
とする）であるから、 となる。すなわち、 α・u_k＋v_k＝−Δｙ である。これは、同一ｘ座標上でのｙ軸方向への移動量
Δｙと、その点の傾きα＝Δy/Δｘが判っていれば、移
動速度u_kとv_kの関係を与えることを意味する。

上式においては、変数が２つあるので、１点のαとΔ
ｙからでは解が求められない。しかし、画面全体が同じ
u_k、v_kを持つとすれば、画面上の何点かのαとΔｙを用
いて、方程式を解けばよい。

車両が走行中は、画像は車両速度によって変化する。
しかしながら、レーンマーカは道路端のエッジのよう
に、車両の進行方向と平行な方向に延びる線は、車両の
速度に関して、その画像上の位置は（u_k＝０、v_k＝０な
ら）変化しないものと考えられる（なお、道路が直線か
らカーブに変わるような場面ではゆっくり変化する）。
したがって、レーンマーカなどの点に対して、何点かで
αとΔｙを求めて方程式を解けばu_k、v_kを求めることが
できる。しかし、レーンマーカ以外の点、例えば路面上
の文字や汚れの部分におけるαとΔｙは、車両の進行速
度で移動するため誤差の要因となるので、最小自乗法の
ような平均化手法は誤差が大きくなる。そのため本実施
例においては、u_k、v_kを仮定した時の、仮定量とマッチ
するαとΔｙを持つエッジ点数をヒストグラム作成を通
じて求めるように構成している。

第４図は本実施例の全体の演算処理を示すメインフロ
ーチャートである。第４図において、まず、P1では、イ
ニシャライズ処理を行なう。次に、P2ではビデオカメラ
の出力から画像入力を行ない、P3では前処理を行なう。
なお、画像入力はビデオカメラの出力を一旦メモリに記
憶させ、その値を読み出してもよい。次に、P4では移動
速度のヒストグラムを作成し、P5ではヒストグラムの最
大値を探索してそれをその時刻における振動成分とし、
また連続数テーブルを更新する。次に、P6では上記の振
動成分を出力し、或いは振動成分を補正した画像を表示
する。

次に、上記第４図の各パートP1〜P6について詳細に説
明する。

第５図は、第４図のP1に示したイニシャライズ処理の
フローチャートである。イニシャライズ処理としては、
エッジ画像Ｅ（x,y）の時間的な連続量を表す連続数領
域Ｐ（x,y）をクリアし、またx_k（u_kの積分値）とy_k（v
_kの積分値）を０にクリアする。

上記の連続数領域Ｐ（x,y）は、エッジが時間的に連
続して現われるときに大きな値をとり、連続しないとき
に小さな値をとるものである。そしてレーンマーカや道
路端のように車両の進行方向と平行な部分については、
エッジが連続的に現われるので、大きな値をとる。ま
た、連続数領域Ｐ（x,y）は、ｘ方向（横方向）には画
面全体を、ｙ方向は、およそ消失点に対応する座標（y
_min）から下の部分、すなわち路面が存在しそうな領域
のみとする。

なお、ｘについては、すべてのｘ（１〜Ｎ）について
行なってもよいし、高速化のため、例えば４ライン毎や
８ライン毎といった飛び飛びに処理してもよい。

次に、第６図は、前記第４図のP3に示した前処理のフ
ローチャートである。第６図において、P2で入力した入
力画像をＡ（x,y）とすると、全画面について、 Δｘ（x,y）＝Ａ（ｘ＋1,y−１）＋２・Ａ（ｘ＋1,y）＋Ａ（ｘ＋1,y＋１ −Ａ（ｘ−1,y−１）−２・Ａ（ｘ−1,y）−Ａ（ｘ−1,y＋１） Δｙ（x,y）＝Ａ（ｘ−1,y＋１）＋２・Ａ（x,y＋１）＋Ａ（ｘ＋1,y＋１ −Ａ（ｘ−1,y−１）−２・Ａ（x,y−１）−Ａ（ｘ＋1,y−１） を求め、さらにエッジ点画像Ｅ（x,y）とエッジ方向画
像α（x,y）を、 から求め、それらを共に前処理の結果とする。

次に、第７図は、前記第４図のP4に示した移動速度ヒ
ストグラムのフローチャートである。

第７図において、まずP10では、ヒストグラム領域Ｒ
（u,v）をクリアする。領域サイズは５×５程度でよ
い。すなわち、33ms毎に連続的に処理を行なえば、33ms
間の移動速度は±２画素程度となるからである。u_p、v_P
を共に２程度に設定する。

次に、P11では、ｘ＝１に設定する。また、P12でNx＝
０に設定し、P13でｙ＝y_max（画像の下端近辺）に設定
する。なお、Nxはｘ（一定の１ライン上で処理したエッ
ジ点数）をカウントするものである。

次に、P14では、前処理した画像Ｅ（x,y）について、
Ｅ（ｘ＋x_k,y＋y_k）の値を調べ、エッジ点か否かを判断
する。なお、Ｅ（ｘ＋x_k,y＋y_k）≠０の場合がエッジ点
である。またx_k、y_kは、それぞれ速度u_kとv_kを積分した
ものであり、したがって前時刻（ｋ−１）における基準
位置（前回の結果）を与えるものである。

上記判定の結果、Ｅ（ｘ＋x_k,y＋y_k）がエッジ点でな
ければ（P14で“no"の場合）、何の処理も行なわず次の
ｙ座標に移る。すなわち、P15でｙ＝ｙ−１とし、P16で
ｙ＜y_minか否かを判定し、ｙがy_min以上の間はP14へ戻
って同様の処理を繰り返す。

一方、P14で“yes"、すなわちエッジ点であった場合
は、以下の処理を行なう。

まず、P19で、N_xを＋１にする。次に、P20で、N_xが所
定の闘値T_Nより大きいか否かを判定し、“yes"の場合
は、同じｘライン上での処理は行なわず、次のｘ座標に
移る。すなわち、P17で、ｘ＝ｘ＋１とし、P18で、ｘ＜
Ｎか否かを判定し、ｘがＮ以下の間はP12へ戻って同様
の処理を繰り返す。

なお、画像は下から上に走査するので、通常は、まず
レーンマーカや道路端のエッジが見つかり、さらに上方
に走査を続けると、ガードレールや背景のエッジ点が見
つかる。本処理では、主に道路端やレーンマーカのみで
処理した方が望ましいため、エッジ点数が所定の闘値T_N
以上になると、それ以後は道路端以外のエッジと見なし
て、処理を行わなない。一方、N_xがT_Nより小さい場合、
すなわち、P20で“no"の場合は、ヒストグラム作成処理
に移る。

ヒストグラムの作成は、ｖとｕをヒストグラム領域内
で走査する。すなわち、ｖ＝−v_P〜v_P、ｕ＝−u_p〜u_pの
範囲において、次の処理を行なう。

まず、P21でｖ＝−v_Pとし、P22でｕ＝−u_pとする。そ
して、P23では、 y_s＝α（ｘ＋x_k,y＋y_k）・ｕ＋ｖ によってy_sを求める。

上式において、α（ｘ＋x_k,y＋y_k）はエッジの方向、
すなわちΔy/Δｘを表わしており、ｕとｖを仮定するこ
とにより、ｙ軸方向の移動量が求まる。つまり、移動速
度がｕ、ｖであれば、傾きΔy/Δｘなるエッジまたは直
線は、ｙ軸方向にy_sだけ移動したように観測される。

次に、P24では、連続数を表わす領域Ｐ（x,y）のｙ軸
をy_sだけシフトした点で、連続数Ｐ（x,y−y_s）が所定
値T_Pより大きいか否かを判定する。もし、仮定したｕ、
ｖが正しければ、また、エッジ点がレーンマーカであれ
ば、ｙ−y_sの点からｙへ移動したことになるので、連続
数Ｐ（x,y−y_s）は大きな値を持つはずである。したが
って、Ｐ（x,y−y_s）≧T_pなら、P25で、移動速度ヒスト
グラムＲ（u,v）を＋１にし、また連続数が所定値T_pよ
り小さければ（P24で“no"の場合）そのまま次のｕに移
る。すなわち、P26で、ｕ＝ｕ＋１とし、P27で、ｕがu_p
より大になったか否かを判定し、ｕがu_pに達しない場合
はP23に戻る。また、P28では、ｖ＝ｖ＋１とし、P29で
は、ｖがv_P以上になったか否かを判定し、ｖがv_Pに達し
ない場合はP22に戻る。

このようにして、ｕ、ｖをそれぞれ−u_P〜u_P、−v_P〜
v_P間で変化しながら同様の処理を行なう。

以上の処理を、ｙ座標についてはy_max〜y_minの範囲、
ｘについては画面全体にわたって行なえば、移動速度ヒ
ストグラムが完成する。

次に、第８図は、前記第４図のP5に示した最大値探索
と連続数テーブル更新の処理を示すフローチャートであ
る。

まず、最大値の探索は、移動速度ヒストグラム中の最
大値を探索し、その時のｕ、ｖを求め、それをu_k、v_kと
おく。u_k、v_kは単位時間当たりの移動量、すなわち速度
を表わすので、前時刻の基準位置をu_k、v_kで更新すれば
新たなx_k、y_kが求められる。すなわち x_k＝x_k＋u_k y_k＝y_k＋v_k である。ただし上式において右辺のx_k、y_kは前時刻の基
準位置である。

次に連続数テーブルの更新を行なう。

領域ｘ＝１〜Ｎ、ｙ＝y_max〜y_minにおいて、連続数テ
ープルＰ（x,y）は とし、上限と下限を設定して 上記Ｐ（x,y）は、画像の座標から基準位置を補正し
た座標である。時刻ｋの基準位置がx_k、y_kの時、Ｐ（x,
y）とＥ（ｘ＋x_k,y＋y_k）が対応する。時刻ｋ−１（前
回）では、Ｐ（x,y）とＥ（ｘ＋x_k-1,y＋y_k-1）が対応
している。これは、Ｅ（ｘ＋x_k,y＋y_k）はＥ（ｘ＋
x_k-1,y＋y_k-1）がu_k、v_kだけ移動したことと一致する。
したがって、Ｐ（x,y）は、エッジの連続数を表わす
が、各時刻において、基準位置を補正したときに同一座
標に現われるエッジ数とも言える。瞬間的にエッジが途
切れても連続数Ｐ（x,y）は０にせず、−１するのみで
あるから、センターラインのような途切れ線についても
大きな連続数を与えることができる。なお、この場合、
エッジ点がある場合は、＋１でなく、＋２や＋３しても
よい。

以上の処理により、画像の振動成分、すなわち画像の
移動速度および現時刻の基準位置が求められる。そして
上記の処理を各時刻毎に繰り返すことにより、連続的に
x_k、y_kを求めることができる。

なお、連続数テープルを用いることにより、量子化誤
差を軽減する効果が得られる。仮りに、前回のエッジ点
と今回のエッジ点のみで同様の処理を行なった場合に
は、u_k、v_kは整数で得られるため、切り捨てや切り上げ
の誤差が基準位置x_k、y_kに累積されてくることになる
が、本実施例によれば、そのようなおそれがない。

また、連続数Ｐ（x,y）では、u_k-1、v_k-1だけ移動し
たと仮定したエッジ点と現在入力された画像のエッジ点
とを比較するので、u_k-1、v_k-1が仮に誤差を含んでいた
としても、u_k、v_kにおいてその誤差を吸収することが出
来る。つまり、x_k-1,y_k-1には誤差を含むが、x_k、y_kに
は誤差を含まない、という処理が可能となる。

次に、上記のようにして求めた画像の振動成分の利用
方法について説明する。一例として、前記第２図の実施
例において後続機器が表示装置３の場合の処理を説明す
る。

第９図は、画像の振動成分を除去して画像表示する場
合の処理を示すフローチャートである。

画像表示する場合には、図示のごとく、ｘが１〜Ｎの
範囲、ｙが１〜Ｍの範囲において、Ｃ（x,y）＝Ａ（ｘ
＋x_k,y＋y_k）なる画像の平行移動を行なってＣ（x,y）
を表示すれば、ブレのない画像表示を行なうことができ
る。すなわち、振動分を相殺するようにずらした画像を
表示してやればよい。

第10図は前記のごとき演算処理のタイムチャートであ
る。第10図において、まず第１フィールドで画像入力と
前処理を行ない、それぞれ格納する。次に、第１フィー
ルドから第２フィールドに移る垂直帰線期間内にピッチ
成分の検出処理を行なう。そして、第２フィールド期間
に、格納された画像をx_k、y_kだけシフトさせて、すなわ
ちｘアドレスをｘ＋x_kとし、ｙアドレスをｙ＋y_kとして
原画像を読み出して表示すればよい。なお、上下方向の
振動のみを補正する場合にはｙアドレスのみをｙ＋y_kと
すればよい。

上記のように、一連の処理を第10図のような時間スケ
ジュールで実行すれば、ノイズのない自然な連続画像出
力を得ることが出来る。

また、前記の作用から判るように、車両前方の道路に
勾配がある場合、例えば上り坂がある場合には、画面を
下方にずらして表示する、すなわち撮像された画像の上
の部分が表示画面の中心に近づくように補正されるの
で、結果としてビデオカメラがやや上向きに修正された
のと同じ効果が生じる。そのため実際に車両が上り坂を
上り始める前から本来撮像したい画面を表示することが
出来る。

次に、ビデオカメラを車両等に固定した場合には、
x_k、y_kはそれぞれ車両等のヨー角、ピッチ角に相当する
量であり、姿勢制御に応用することが出来る。

また、自動走行車両等における走行路検出手段のよう
にレーンマーカの位置を画像から検出する処理を行なう
場合には、本発明の手法でx_k、y_kを予め求め、座標補正
をしておけば、レーンマーカの画像上での動きが小さく
なるため、処理が容易になると共に検出精度も向上す
る。

なお、これまでの説明においては、上下方向と左右方
向との両方向の振動成分を検出する場合を例示したが、
これまでの説明でｙ方向のみを検出すれば、上下方向の
振動成分（縦振れ）のみを検出することも出来る。この
場合には、第１図（ａ）に示すごとく、エッジの時間的
な連続量を表わす領域Ｐ（x,y）とエッジ点画像Ｅ（x,
y）との相関を求め、そのヒストグラムＲ（ｖ）を作成
すればよい。

〔発明の効果〕

以上説明してきたように、この発明によれば、通常の
ビデオカメラの画像信号から画像処理によって所定方向
の振動成分を求め、その振動成分を相殺するようにずら
した画像を表示するように構成したことにより、ビデオ
カメラが振動した場合にもぶれのない鮮明な画像を表示
することが出来る。また、全ての処理を電子的に行な
い、従来のような可動機構を含まないので耐久性に優れ
ている。また、振動成分が画素を単位として求められ、
シフト量と一対一に対応がとれるため、ゲイン調整が不
要になる。また、車載時には、前方道路の勾配に応じ
て、勾配に入る以前から予めシフト量が調整されるた
め、本来撮影したい個所の画像が得られる。さらに移動
物体の振動のピッチ成分を求めることが出来るので、種
々の制御に応用することが出来る、等の優れた効果が得
られる。

さらに、本発明においては、画面全体の縦振れと横振
れを、エッジ方向とｙ軸方向の移動距離を用い、移動速
度ヒストグラムによって求め、さらに過去のエッジ情報
に基づく連続数を用いるように構成している。そして一
般に、レーンマーカのような全体的に移動するエッジ点
数の方が、路面上の文字や汚れなどの車両の速度に起因
して移動するエッジ点数よりも多いと考えられるため、
路面の文字や汚れなどのいわゆるノイズに強い計測を行
なうことが出来、精度のよい画像振動成分が得られる。
また、連続数を用いることにより、瞬間的なエッジの途
切れにも対応することが出きるので、センタラインのよ
うな途切れ線でも正確に検出することが出来る。したが
って本発明を車両用に適用した場合には、車線変更時や
急操舵を行なった場合においても走行路情報を正しく計
測することが出来、かつ、路面の文字や汚れなどの影響
を受けにくい計測を行なうことが可能になる、という優
れた効果が得られる。

【図面の簡単な説明】

第１図は本発明の機能を示すブロック図、第２図は本発
明の一実施例のブロック図、第３図は速度成分u_kとv_kの
関係を示す図、第４図は本発明の全体の演算処理を示す
メインフローチャートの一実施例図、第５図はイニシャ
ライズ処理を示すフローチャートの一実施例図、第６図
は前処理を示すフローチャートの一実施例図、第７図は
移動速度ヒストグラム作成処理を示すフローチャートの
一実施例図、第８図は最大値探索と連続数テーブル更新
処理を示すフローチャートの一実施例図、第９図は画像
表示処理を示すフローチャートの一実施例、第10図は演
算処理のタイムチャートの一実施例図、第11図は従来装
置の一例図である。 ＜符号の説明＞ １……ビデオカメラ ２……高速画像処理装置 ３……表示装置、４……走行路検出手段 ５……姿勢制御装置、11……レンズ 12……ミラー、13……CCD 14……画像信号生成部、15……モータ 16……Ｇセンサ、17……ミラー制御部 100……ビデオカメラ 101、105……演算部 102、106……前処理手段 103、107……ヒストグラム作成手段 104、108……振動成分検出手段

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】ビデオカメラ100と、演算部101とを備え、 ビデオカメラ100は、撮影した光学画像を電気的な画像
   信号として出力するものであり、 演算部101は、前処理手段102と、ヒストグラム作成手段
   103と、振動成分検出手段104とからなり、 前処理手段102は、上記画像信号からエッジ点画像Ｅ
   （x,y）を求めるものであり、 ヒストグラム作成手段103は、エッジの時間的な連続量
   を表わす領域Ｐ（x,y）と上記エッジ点画像Ｅ（x,y）と
   の相関を求め、そのヒストグラムＲ（ｖ）を作成するも
   のであり、上記ヒストグラムＲ（ｖ）は、Ｅ（x,y＋y
   _k-1）がエッジ点であり、かつＰ（x,y−ｖ）が所定の闘
   値以上のときに、ヒストグラムがインクリメントされ、
   さらにＰ（x,y）はＥ（x,y＋y_k）がエッジ点のときに大
   きくなるように、エッジ点でないときは小さくなるよう
   に増減されるものであり、 振動成分検出手段104は、上下方向の振動成分として、
   上記ヒストグラムの最大値を与えるシフト量ｖを現時刻
   ｋにおける画像の上下振動速度v_kとして検出し、かつ、
   上記v_kの時間積算値y_k＝y_k-1＋v_kを現時刻ｋにおける画
   像シフト量または基準座標として検出するものであり、 ビデオカメラ100の出力が演算部101に与えられ、演算部
   101で算出した上下方向の振動成分を後続手段または後
   続機器に出力するものである、ことを特徴とする振動成
   分検出画像処理装置。
2. 【請求項２】ビデオカメラ100と、演算部105とを備え、 ビデオカメラ100は、撮影した光学画像を電気的な画像
   信号として出力するものであり、 演算部105は、前処理手段106と、ヒストグラム作成手段
   107と、振動成分検出手段108とからなり、 前処理手段106は、上記画像信号からエッジ点画像Ｅ
   （x,y）と該エッジ点におけるエッジ方向画像α（x,y）
   ＝Δｙ（x,y）／Δｘ（x,y）とを求めるものであり、 ヒストグラム作成手段107は、エッジの時間的な連続量
   を表わす領域Ｐ（x,y）と上記エッジ点画像Ｅ（x,y）と
   上記エッジ方向画像α（x,y）との相関を求め、そのヒ
   ストグラムＲ（u,v）を作成するものであり、上記ヒス
   トグラムＲ（u,v）は、Ｅ（ｘ＋x_k-1,y＋y_k-1）がエッ
   ジ点であり、かつＰ〔x,y−α（ｘ＋x_k-1,y＋y_k-1）・
   ｕ＋ｖ〕が大きな値を持つとき、ヒストグラムがインク
   リメントされ、Ｐ（x,y）はＥ（ｘ＋x_k,y＋y_k）がエッ
   ジ点のときに大きくなるように、エッジ点でないとき小
   さくなるように増減されるものであり、 振動成分検出手段108は、上下方向及び左右方向の振動
   成分として、上記ヒストグラムの最大値を与えるシフト
   量ｖおよびｕを、それぞれ現時刻ｋにおける画像の上下
   振動速度v_kおよび左右振動速度u_kとして検出し、かつ、
   上記v_kの時間積算値y_k＝y_k-1＋v_kおよび上記u_kの時間積
   算値x_k＝x_k-1＋u_kを現時刻ｋにおける画像シフト量また
   は基準座標として検出するものであり、 ビデオカメラ100の出力が演算部105に与えられ、演算部
   105で算出した上下方向および左右方向の振動成分を後
   続手段または後続機器に出力するものである、ことを特
   徴とする振動成分検出画像処理装置。