JPH0620052A

JPH0620052A - 画像処理方法

Info

Publication number: JPH0620052A
Application number: JP4178415A
Authority: JP
Inventors: Yuji Hamai; 祐治濱井; Kuuneruto Kurausuudeieteru; クーネルトクラウス−ディエテル
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1992-07-06
Filing date: 1992-07-06
Publication date: 1994-01-28

Abstract

(57)【要約】【目的】画素サイズ以下の情報を演算して、精度よく画
素位置を求める。【構成】観測者が移動しながら所定の時間間隔で連続的
に外界の画像を撮影し、その中の時間的に連続する２つ
の画像内の対応する画素の移動速度、及びその移動速度
の信頼性を求め、画素の移動速度とこの画素の信頼性の
度合いを加重平均して、信頼性の低い情報を排除するこ
とで、観測者の移動速度を正確に算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、外界を撮影した画像内
の画素の状態により、写体と被写体との間の相対的な動
きを計測する画像処理方法に関するものである。

【０００２】

【従来の技術】従来より、カメラ等の撮影手段にてとら
えた画像情報に処理を加え、その処理結果に基づいて走
行路上の障害物を検出する装置が知られている（例え
ば、特開昭６４−２６９１３号公報）。また、従来より
外界の観測用にＣＣＤカメラが使用され、このカメラに
よる画像処理方法として、画像を構成するある１つの画
素（ピクセル）にて捕えられた対象物が、隣接する他の
ピクセルに移動したとき、観測対象が移動していると判
定するという方法をとっている。そして、このときのピ
クセルの移動速度を求め、それを観測者の移動速度とし
ている。

【０００３】例えば、図８（ａ）に示すように、真っ白
な背景の中を黒点Ｂが移動しており、その点を画素数Ｐ
_N ×Ｐ_N のＣＣＤカメラにて観測している場合、完全に
ノイズがないとしても、同図（ｂ）に示すように、ある
１つのピクセル上の黒点Ｂ₁が隣のピクセルに移動して
Ｂ₂ となるまでは、観測者から見て黒点Ｂは静止してい
ると同じである。

【０００４】さらに、詳しく説明すると、図８（ｃ）に
示すように、ＣＣＤカメラ１００の焦点距離をＦｌ、視
角をθｆ、ピクセル間距離をＰｌ、ピクセル数をＰ_N と
すると、このカメラで計測可能な最小変動角度は、Ｆｌ／Ｐｌ＝θｆ／Ｐ_N …（１）の関係から求めることができる。

【０００５】また、従来の画像処理方法による物体の測
定技術では、物体の動きそのものを測定することを目的
として観測対象全体を測定するという手法をとってい
る。

【０００６】

【発明が解決しようとしている課題】しかしながら、上
記従来の画像処理方法では、ＣＣＤカメラの画像を構成
する最小単位であるピクセル以下の情報を計測できない
という問題がある。つまり、上記の式（１）において、
θｆ＝２０°，Ｐ_N ＝５００とすれば、最小変動角度は
１／２５［ｄｅｇ］となり、ピクセル間距離以下の対象
物の計測はできないということになる。

【０００７】また、、従来のように、物体の動きを見る
のに観測対象全体の測定を行なうという手法をとると、
処理に要する演算時間が膨大になるという問題がある。
本発明は、かかる問題点に鑑みて成されたもので、その
目的とするところは、観測者から離れた場所に位置する
対象物体をカメラにて観測し、それを画像情報として取
り込んで画像処理を施し、観測者自体の挙動を算出する
画像処理方法を提供することである。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
め、請求項１に記載の発明は、画像内の画素の状態によ
って写体と被写体の相対的な動きを求める画像処理方法
であって、時間的に連続する複数の画像内の画素をもと
に該画素の移動速度を演算する工程と、前記移動速度の
信頼性の度合いを演算する工程と、前記移動速度を、前
記信頼性の度合いにて加重平均して、前記画素の位置を
演算する工程とを備える。

【０００９】また、請求項３に記載の発明は、画像内の
画素の状態によって写体と被写体の相対的な動きを求め
る画像処理方法であって、時間的に連続する複数の画像
内から、処理の対象とする画像を限定する工程と、前記
限定された画像内の画素をもとに該画素の移動速度を演
算する工程と、前記移動速度の信頼性の度合いを演算す
る工程と、前記移動速度を、前記信頼性の度合いにて加
重平均して、前記画素の位置を演算する工程とを備え
る。

【００１０】

【作用】以上の構成において、画素サイズ以下の情報を
演算して、精度よく画素位置を求めるよう機能する。

【００１１】

【実施例】以下、添付図面を参照して本発明に係る好適
な実施例を詳細に説明する。図１は、本発明に係る画像
処理方法を説明するための図である。同図（ａ）は、Ｃ
ＣＤカメラにてとらえた外界の画像であり、道路１及び
道路端に直立する固定物（静止物）として街路灯２が撮
影されている様子を示している。また、同図（ｂ）は、
（ａ）に示す街路灯２の一部分３を取り出した画像であ
り、（ｃ）は、この街路灯２の一部分３の部分４が、画
像情報として画素数Ｐ_N ×Ｐ_N 上に展開された様子を示
す図である。

【００１２】このように外形が直線的な物体をカメラに
てとらえ、それを画素単位で観測すると、図１（ｃ）に
示すように、その物体に対応する画素の配列は直線的に
はならず、通常、個々の画素による誤差を含んでいるた
めに乱れた配列となる。今、観測者側が移動していると
すると、図１（ｂ）に示す部分４の画像は、同図（ｃ）
に示す画素単位に観測すると、物体をとらえた個々の画
素は、上述の誤差に起因して左右に揺れながらも、全体
としては、観測者の移動方向に対応して移動することに
なる。具体的には、観測者のカメラが道路１に沿って直
進した場合、部分４の画像に対応する画素は、図中、右
方向から左方向へと移動することになる。

【００１３】ここでは、観測者が移動しながら所定の時
間間隔で連続的に外界の画像を撮影し、その中の時間的
に連続する２つの画像内の対応する画素の移動速度、及
びその移動速度の信頼性を求める。そこで、例えば、図
１（ｃ）に示す画素の中から任意の３画素を選び、その
移動を時間的に追うと、図２に示すような特性図が得ら
れる。すなわち、図２（ａ）は、時間軸を横にとったと
きの画素（選び出した３つの画素の時間的推移は、図中
の符号〇，×，△にそれぞれ対応する）の移動量ｘの特
性であり、同図（ｂ）は、この移動量ｘをもとに各時間
に対応する画素の移動速度（Ｑにて示す）を求めた結果
を示すものである。なお、図２（ａ）では、移動量を各
画素について初期値を減じて補正をしてある。

【００１４】次に、このようにして求められた画素移動
速度の信頼性の度合いを演算する方法を説明する。ここ
では、ＣＣＤカメラにてとらえられた画像について、対
象とする部分での白から黒への画像濃度変化（画素の輝
度変化）を求め、その値をもとに画素移動速度の信頼性
の度合いを図る。対象とする画像が、例えば、図３
（ａ）に示すような濃度変化をする場合、その変化部分
（図中のＴ部）の傾きの程度を、｜ｄΦ／ｄｘ｜を演算
することで知る（同図（ｂ）参照）。つまり、｜ｄΦ／
ｄｘ｜の値が大きい程、濃度変化が大きいことになり、
その値をもとに対象とする物体が動いたか否かを論じる
ことができる。

【００１５】対象とする画像すべてについて、このよう
な濃度変化を求め、これらの濃度変化に対する信頼性フ
ァクタを演算して画素の信頼性の度合いを求める。そし
て、上述の画素の移動速度とこの画素の信頼性の度合い
を加重平均して、信頼性の低い情報を排除することで、
観測者の移動速度を正確に算出する。次に、本実施例に
係る画像処理方法では、図１（ｃ）に示す、カメラでと
らえた外界の静止物の一部分３を取り出した画像を構成
する画素（例えば、２０×２０）を、それ以上の画素数
（例えば、５００×５００）に投影し、図４に示すよう
に画素（図中、□にて示す）間の補間（インタポレーシ
ヨン）を行なう。ここでの補間とは、投影後の画素につ
いて、図中の符号４１にて示されるような連続するスプ
ラインを引いて仮想ピクセルを求めることである。

【００１６】ここでは、外界の対象物の画像を構成する
複数の画素に着目し、それらの画素が各々独立に動くの
ではなく、観測者の動きに合致して相互にある関連を持
って動くという仮定のもとに、画素の補間処理をする。
つまり、外界画像としてとらえた静止物を絶対静止と仮
定し、その静止物に対応する複数の画素が、観測者側の
物理的な揺れや上述の誤差により、時系列的に撮影した
複数画面中の個々の画面上では左右に振れながらも、全
体として、ある一定方向に動くとみなす。これは、複数
枚の画像を撮影する間に、観測者が左右に多少振れなが
ら、ある一定方向に進行しても、画像の撮影枚数が多け
れば、その振れを無視することが可能となり、結果とし
て観測者が一定方向に進んでいるとみなせるからであ
る。

【００１７】また、画素の投影という手法をとること
で、撮影した画像を構成する画素数よりも演算に使用す
る画素数を多くして、画素の位置計測の精度を上げてい
る。そして、このような補間処理を行なった画素につい
ても、上述と同様の移動速度、及びその移動速度の信頼
性を求め、両者の加重平均を演算することで、単に、撮
影画像から得られた画素のみに基づいて観測者の位置演
算をするのではなく、補間された仮想ピクセルについて
も位置演算をする。

【００１８】このように、本画像処理方法では、最終的
にはカメラの画素サイズ以下の情報を得ることができ、
画素の位置演算の結果をもとに観測者の移動速度等、観
測者の挙動を算出できる。［本画像処理方法の適用例］次に、上述した画像処理方
法を適用した例について説明する。

【００１９】図５は、本画像処理方法を適用した車両全
体の概略構成を示す図であり、ここでは、車両制御ある
いは表示制御にこの画像処理方法を適用している。図５
において、車両５１上にはＣＣＤカメラ５２が固定さ
れ、車両前方の外界を撮影するようになっている。ＣＣ
Ｄカメラ５２にて撮られた画像情報（同図の符号６０に
て示す）は画像処理部５３に送られ、そこで、入力され
た画像情報をもとに、以下に示す処理手順にて車両位置
を演算する。そして、車両制御／表示システム５４で
は、画像処理部５３にて演算された車両位置等に従っ
て、所定の車両制御あるいは表示制御を行なう。

【００２０】図６は、本適用例に係る車両の画像処理部
５３での画像処理手順を示すフローチャートである。同
図のステップＳ１では、カメラによる外界画像の入力を
行ない、ステップＳ２で、画像処理の対象とする領域を
決定する。この処理領域の決定とは、例えば、図１
（ｂ）に示すように、撮影した画像内において特定の対
象物を含む領域を特定することである。

【００２１】ステップＳ３では、上述のように、特定し
た画像領域での画素の移動速度を求め、その値と画素の
信頼性の度合いとを加重平均する処理、つまり、オプテ
ィカルフロー処理を行なう。また、ステップＳ４では、
上述した画素の補間処理を行ない、続くステップＳ５
で、全画素について、上記ステップＳ３，Ｓ４の処理が
終了したかどうかの判定を行なう。

【００２２】ステップＳ５での判定結果がＹＥＳであれ
ば、ステップＳ６で、ステップＳ３，Ｓ４の処理結果を
もとに、画素の移動量を算出する。そして、ステップＳ
７で、画素の移動量から車両の角度、すなわち、ヨーや
ピッチを算出する。ステップＳ８では、ステップＳ７で
の算出結果を車両制御（例えば、アクティブサスペンシ
ョン制御）のパラメータにしたり、あるいは、表示制
御、つまり、運転者５５に対して、不図示の表示部への
車両位置等の表示をする。

【００２３】また、図７は、本画像処理方法を地震観測
装置あるいは火山活動観測装置に適用した場合の全体構
成図である。同図に示すように、観測地の大地、あるい
は火山上の適当な位置に位置表示用の標識７２を固定
し、この標識を固定点として、標識から十分な距離をお
いて設置した監視用のカメラ７１にて標識を撮影し続け
る。

【００２４】地震あるいは火山活動が発生した場合、カ
メラ７１及び標識７２は、ともにある周期で相対的に揺
れることになるが、両者が同じ周期で、同一方向に揺れ
る確率は非常に低い。そこで、監視装置７３にて、カメ
ラからの入力画像に対して上述の画像処理を施して標識
７２の揺れ具合を観察することで大地等の揺れを検知
し、その結果をもとに地震や火山活動の発生を知るとと
もに、それらの継続的な観測を行なう。

【００２５】以上説明したように、本実施例によれば、
得られた画像を構成する画素の移動速度、及び画素の濃
度変化からその移動速度の信頼性を求めて両者の加重平
均を演算し、さらに、画素の補間処理を行ない、補間後
の画素についても、その移動速度、及び濃度変化からそ
の移動速度の信頼性を求めて両者の加重平均を演算して
画素の位置演算を行なうことで、画素サイズ以下の情報
を得、画素の位置演算結果をもとに観測者の移動速度を
精度よく算出することができる。

【００２６】また、画像処理上の観測対象を画像の一部
分に限定することで、画素位置の演算の簡素化を図るこ
とができるという効果がある。

【００２７】

【発明の効果】以上説明したように、本発明によれば、
画素サイズ以下の演算情報を用いることで、画素位置を
精度よく求めることができるという効果がある。また、
観測対象の限定により、演算の高速化を図ることができ
るという効果がある。

【図面の簡単な説明】

【図１】本発明に係る画像処理方法を説明するための図
である。

【図２】実施例に係る画素の時間的な移動特性及び移動
量の特性を示す図である。

【図３】実施例に係る画像濃度変化を説明するための図
である。

【図４】実施例に係る画素間の補間を説明するための図
である。

【図５】実施例に係る画像処理方法を適用した車両全体
の概略構成を示す図である。

【図６】車両の画像処理部５３での画像処理手順を示す
フローチャートである。

【図７】実施例に係る画像処理方法を地震観測装置ある
いは火山活動観測装置に適用した場合の全体構成図であ
る。

【図８】従来のＣＣＤカメラを使用した画像処理方法を
説明するための図である。

【符号の説明】

１道路５１車両５２ＣＣＤカメラ５３画像処理部５４車両制御／表示システム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０８Ｇ 1/09 Ｓ 2105−3Ｈ

Claims

【特許請求の範囲】

【請求項１】画像内の画素の状態によって写体と被写
体の相対的な動きを求める画像処理方法であって、時間的に連続する複数の画像内の画素をもとに該画素の
移動速度を演算する工程と、前記移動速度の信頼性の度合いを演算する工程と、前記移動速度を、前記信頼性の度合いにて加重平均し
て、前記画素の位置を演算する工程とを備えることを特
徴とする画像処理方法。
【請求項２】さらに、時間的に連続する複数の画像内
の画素に補間処理を施す工程を備え、前記補間後の画素に対しても、移動速度の演算、該移動
速度の信頼性の度合いの演算、及び該画素の位置演算を
行なうことを特徴とする画像処理方法。
【請求項３】画像内の画素の状態によって写体と被写
体の相対的な動きを求める画像処理方法であって、時間的に連続する複数の画像内から、処理の対象とする
画像を限定する工程と、前記限定された画像内の画素をもとに該画素の移動速度
を演算する工程と、前記移動速度の信頼性の度合いを演算する工程と、前記移動速度を、前記信頼性の度合いにて加重平均し
て、前記画素の位置を演算する工程とを備えることを特
徴とする画像処理方法。