JPH10222665A - 画像認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 誤検出等の少ない、検出能力の高い、自動車
等の周囲の状況を把握するための画像処理装置を提供す
ること。 【解決手段】 撮影時間に時間差のある第１画像と第２
画像との画像データを比較し、その差から物体の移動状
態を検出するオプティカルフロー手段と、撮影位置の異
なる第３画像と第４画像との画像データを比較し、その
差から物体の距離を検出するステレオ測距手段とを備え
た画像認識装置であって、前記オプティカルフロー手段
と前記ステレオ測距手段との検出結果から、移動物体の
状態を検出する移動物体状態検出手段を備えた画像認識
装置とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車等の移動体
に搭載され、カメラで取り込んだ画像を処理することに
より移動体周囲の状況を把握し、移動体の自動運転等に
利用することのできる画像認識装置に関する。

【０００２】

【従来の技術】自動車の運転を楽にすると共に、安全性
向上のために自動運転の技術の開発が進められている
が、この自動運転を実現するためには、自動車の周囲の
状況を把握する必要がある。その自動車の周囲の状況を
把握する技術の１つとして、カメラにより自動車周囲の
画像を取り込み、マイクロコンピュータ（マイコン）を
用いて画像情報を処理する技術がある。その画像処理技
術の代表的なものとして、オプティカルフローと言われ
る技術と、ステレオ測距と言われる技術がある。

【０００３】オプティカルフローは、「時間的に連続し
た画像において、ある時点における入力画像中の小領域
が、次の時点における入力画像中に存在する位置を求め
ることにより、小領域の移動方向と移動量を求める技
術」であり、この技術により自動車周囲の他の自動車の
移動状態や人、自転車等の物体の移動状態を把握するこ
とが可能になる。

【０００４】またステレオ測距は、「ある視点における
画像の小領域が、別の視点における入力画像中に存在す
る位置を求めることにより、三角測量の原理を用いて撮
像位置から小領域までの距離を求める技術」であり、こ
の技術により自動車から自動車周囲の他の自動車、人や
建築物等の距離を把握することが可能となる。

【０００５】

【発明が解決しようとする課題】しかし、オプティカル
フローを自動車の周囲状況の把握のために用いた場合、 １）影の移動や光の反射率の違い等による誤検出、２）
カメラ（自動車）の移動に伴う背景の移動による誤検出
（背景を自動車周囲の物体として誤検出）、３）光軸方
向の動きに対する検出性能の低さ、４）マイコンの演算
負荷が高い、等の課題がある。

【０００６】また、ステレオ測距を自動車の周囲状況の
把握のために用いた場合、１）カメラの配置により測距
できない死角が生じる、２）背景と検出対象物の区別が
困難、３）対象物の見えかたや光の反射率の違いにより
測距結果にバラツキが生じる、４）マイコンの演算負荷
が高い、等の課題がある。

【０００７】本発明は上記課題に鑑み成されたものであ
って、誤検出等の少ない、検出能力の高い、自動車等の
周囲の状況を把握するための画像処理装置を提供するこ
とを目的としている。

【０００８】

【課題を解決するための手段及びその効果】上記目的を
達成するため、本発明に係る画像処理装置（１）は、撮
影時間に時間差のある第１画像と第２画像との画像デー
タを比較し、その差から物体の移動状態を検出するオプ
ティカルフロー手段を備えた画像認識装置において、前
記オプティカルフロー手段が、前記第１画像の比較を行
う画像領域を制限する領域制限手段と、前記領域制限手
段により制限された前記第１画像の領域を複数の小領域
に分割する手段と、前記小領域を前記第２画像の各部と
比較し、該小領域と実質的に一致する前記第２画像の領
域を検出する画像移動状態検出手段とを備えていること
を特徴としている。

【０００９】上記画像処理装置（１）によれば、前記領
域制限手段、前記分割手段、及び前記画像移動状態検出
手段の相互作用によりオプティカルフロー処理のための
演算量が削減され、処理速度が速くなる。このためより
リアルタイムで各種制御を行え、また比較的処理速度の
遅いマイコンを用いても実用化できるので低価格で画像
処理装置を実現することができる。

【００１０】また、本発明に係る画像処理装置（２）
は、上記画像処理装置（１）において、前記画像移動状
態検出手段の比較する前記第２画像の範囲を限定する比
較範囲限定手段を備えていることを特徴としている。

【００１１】上記画像処理装置（２）によれば、オプテ
ィカルフロー処理のための演算量がさらに削減されるの
で、処理速度が速くなり、よりリアルタイムで各種制御
を行え、また比較的処理速度の遅いマイコンを用いても
実用化できるので低価格で画像処理装置を実現すること
ができる。

【００１２】また、本発明に係る画像処理装置（３）
は、上記画像処理装置（２）において、前記比較範囲限
定手段は、画像認識装置が搭載された自動車の車速に応
じて前記第２画像の比較範囲を変化させるものであるこ
とを特徴としている。

【００１３】上記画像処理装置（３）によれば、車速に
応じて変化する演算処理の必要な領域に応じて演算処理
を削減できるので、データの品質を低下させることな
く、マイコンの演算量を低減できる。

【００１４】また、本発明に係る画像処理装置（４）
は、撮影位置の異なる第１画像と第２画像との画像デー
タを比較し、その差から物体の距離を検出するステレオ
測距手段を備えた画像認識装置において、前記ステレオ
測距手段が、前記第１画像の比較を行う画像領域を制限
する領域制限手段と、該領域制限手段により制限された
前記第１画像の領域を複数の小領域に分割する分割手段
と、該小領域を前記第２画像の各部と比較し、該小領域
と実質的に一致する前記第２画像の領域を検出する画像
移動状態検出手段とを備えていることを特徴としてい
る。

【００１５】上記画像処理装置（４）によれば、前記領
域制限手段、前記分割手段、及び前記画像移動状態検出
手段の相互作用によりステレオ測距処理のための演算量
が削減され、処理速度が速くなる。このためよりリアル
タイムで各種制御を行え、また比較的処理速度の遅いマ
イコンを用いても実用化できるので低価格で画像処理装
置を実現することができる。

【００１６】また、本発明に係る画像処理装置（５）
は、上記画像処理装置（４）において、前記画像移動状
態検出手段が比較する前記第２画像の範囲を限定する比
較範囲限定手段を備えていることを特徴としている。

【００１７】上記画像処理装置（５）によれば、ステレ
オ測距処理のための演算量がさらに削減される。

【００１８】また、本発明に係る画像処理装置（６）
は、上記画像処理装置（５）において、前記比較範囲限
定手段が、画像を撮影するカメラの設置状態に応じて前
記第２画像の比較範囲を変化させるものであることを特
徴としている。

【００１９】上記画像処理装置（６）によれば、必要な
領域に対しての処理のみを行うので、演算処理を削減で
き、またデータの品質を低下させることもない。

【００２０】また、本発明に係る画像処理装置（７）
は、上記画像処理装置（５）において、前記第１画像と
前記第２画像は地面からの高さが同じ位置に設置された
カメラから撮影された画像であって、前記比較範囲限定
手段が、前記第２画像における前記小領域に対応する領
域の水平方向に延びる領域を比較範囲とするものである
ことを特徴としている。

【００２１】上記画像処理装置（７）によれば、原理的
に一致画像が存在する限られた領域に対しての処理のみ
を行うので、演算処理を削減でき、またデータの品質を
低下させることもない。

【００２２】また、本発明に係る画像処理装置（８）
は、撮影時間に時間差のある第１画像と第２画像との画
像データを比較し、その差から物体の移動状態を検出す
るオプティカルフロー手段と、撮影位置の異なる第３画
像と第４画像との画像データを比較し、その差から物体
の距離を検出するステレオ測距手段とを備えた画像認識
装置であって、前記オプティカルフロー手段と前記ステ
レオ測距手段との検出結果から、移動物体の状態を検出
する移動物体状態検出手段を備えていることを特徴とし
ている。

【００２３】上記画像処理装置（８）によれば、オプテ
ィカルフロー処理とステレオ測距処理とを相互に補完し
ながら処理を行うので、より適切なデータを取得でき、
また相互補完により総演算量の削減も図ることができ
る。

【００２４】また、本発明に係る画像処理装置（９）
は、上記画像処理装置（８）において、前記第１画像と
前記第３画像と前記第４画像は同一のカメラにより撮影
された画像であることを特徴としている。

【００２５】上記画像処理装置（９）によれば、カメラ
を共用できるので、装置の構成が簡単になり、低価格化
を図ることができる。

【００２６】また、本発明に係る画像処理装置（１０）
は、上記画像処理装置（９）において、画像認識装置が
搭載された自動車の走行状態を検出する走行状態検出手
段と、前記走行状態検出手段の検出した走行状態と、前
記ステレオ測距手段により検出した物体までの距離とか
ら、静止物の理論的オプティカルフローを演算する理論
オプティカルフロー演算手段と、前記オプティカルフロ
ー手段により検出されたオプティカルフローと、前記理
論オプティカルフロー演算手段により算出されたオプテ
ィカルフローとを比較し、静止物を判定する静止物判定
手段とを備えていることを特徴としている。

【００２７】上記画像処理装置（１０）によれば、静止
物と移動体とを区別して検出できるので、この検出結果
を利用して、自動車の制御等をより適切に行うことが可
能となる。

【００２８】また、本発明に係る画像処理装置（１１）
は、上記画像処理装置（１０）において、前記走行状態
が、前記自動車の走行速度であることを特徴としてい
る。

【００２９】また、本発明に係る画像処理装置（１２）
は、上記画像処理装置（１０）において、前記走行状態
が、前記自動車の旋回状態であることを特徴としてい
る。

【００３０】また、本発明に係る画像処理装置（１３）
は、上記画像処理装置（１２）において、前記旋回状態
が、ステアリングの操作角度により検出されるものであ
ることを特徴としている。

【００３１】また、本発明に係る画像処理装置（１４）
は、上記画像処理装置（１２）において、前記旋回状態
が、自動車の横方向の加速度を検出するヨーレートセン
サにより検出されるものであることを特徴としている。

【００３２】また、本発明に係る画像処理装置（１５）
は、上記画像処理装置（１０）において、前記走行状態
が、前記自動車のピッチング状態であることを特徴とし
ている。

【００３３】上記画像処理装置（１０）〜（１５）によ
れば、自動車の各種走行状態において、静止物と移動体
とを区別して検出できるので、この検出結果を利用し
て、自動車の制御等をより適切に行うことが可能とな
る。

【００３４】また、本発明に係る画像処理装置（１６）
は、上記画像処理装置（１５）において、前記ステレオ
測距手段により検出された路面上の所定物体までのステ
レオ測距距離と、カメラの取付状態と前記所定物体の画
像位置とから算出される該所定物体までの距離を算出す
る単一カメラ測距距離に基づき、ピッチング角度を演算
するピッチング角度演算手段とを備えていることを特徴
としている。

【００３５】上記画像処理装置（１６）によれば、専用
のピッチングセンサを省くことができ、また専用のピッ
チングセンサを併用する場合には専用のピッチングセン
サを異常検出等に利用することもできる。

【００３６】また、本発明に係る画像処理装置（１７）
は、上記画像処理装置（８）または画像処理装置（１
０）において、前記ステレオ測距ができない部分を検出
する死角検出手段と、該死角検出手段により検出された
死角部分については、カメラの取付状態と前記所定物体
の画像位置とから算出される該所定物体までの距離を算
出する単一カメラ測距手段による距離測定を行う距離測
定補足手段とを備えていることを特徴としている。

【００３７】上記画像処理装置（１７）によれば、ステ
レオ測距における死角に対しても距離を補足でき、この
結果を用いてより適切に画像処理を行うことができる。

【００３８】また、本発明に係る画像処理装置（１８）
は、上記画像処理装置（８）または画像処理装置（１
０）において、前記オプティカルフロー手段の検出結果
により、前記ステレオ測距手段の動作を変更するステレ
オ測距制御手段を備えていることを特徴としている。

【００３９】上記画像処理装置（１８）によれば、ステ
レオ測距手段の処理を効率的に行えるので、演算量の低
減を図ることができる。

【００４０】また、本発明に係る画像処理装置（１９）
は、上記画像処理装置（１８）において、前記ステレオ
測距制御手段が、前記ステレオ測距手段が処理を行う画
像の領域を、前記オプティカルフロー手段の検出結果に
より移動物体が検出された画像の領域に限定するもので
あることを特徴としている。

【００４１】上記画像処理装置（１９）によれば、距離
検出の必要な移動物体の距離のみを検出できるので、必
要なデータを漏らすことなく、演算量を低減することが
可能となる。

【００４２】また、本発明に係る画像処理装置（２０）
は、上記画像処理装置（１８）において、前記ステレオ
測距制御手段が、前記ステレオ測距手段が画像処理を行
う単位領域である小領域を、前記オプティカルフロー手
段の検出結果に応じた大きさとするものであることを特
徴としている。

【００４３】上記画像処理装置（２０）によれば、処理
を行う小領域を同一の移動物体が含まれる大きさの領域
とできるので、一致判定等を確実に行え、画像処理の精
度を向上できる。

【００４４】また、本発明に係る画像処理装置（２１）
は、上記画像処理装置（１８）において、前記ステレオ
測距制御手段が、前記ステレオ測距手段が画像処理を行
う単位領域である小領域を、前記オプティカルフロー手
段の行った画像処理の単位領域と同じ大きさとするもの
であることを特徴としている。

【００４５】上記画像処理装置（２１）によれば、処理
領域の単位を、オプティカルフロー処理とステレオ測距
処理で同一としているので、処理領域の分割処理を共通
化でき、演算量を低減できる。

【００４６】また、本発明に係る画像処理装置（２２）
は、上記画像処理装置（８）または画像処理装置（１
０）において、前記ステレオ測距手段が処理する画像
が、前記オプティカルフロー手段が処理する画像の内、
時間的に後に撮影された画像であることを特徴としてい
る。

【００４７】上記画像処理装置（２２）によれば、最新
の画像データによりステレオ測距処理が行えるので、よ
りリアルタイムな画像処理データを得ることができる。

【００４８】本発明に係る画像処理装置（２３）は、上
記画像処理装置（８）または画像処理装置（１０）にお
いて、前記ステレオ測距手段の検出結果に基づいて算出
される物体の地面からの高さから、立体物を検出する立
体物検出手段と、該立体物検出手段により検出された立
体物が存在する画像の領域を、前記オプティカルフロー
手段の画像処理領域とするオプティカルフロー制御手段
とを備えていることを特徴としている。

【００４９】上記画像処理装置（２３）によれば、算出
の必要のない高さのない物体（道路に描かれた車線等）
に対しては、オプティカルフロー処理を行わないので、
演算量を低減できる。

【００５０】また、本発明に係る画像処理装置（２４）
は、上記画像処理装置（２３）において、前記オプティ
カルフロー制御手段が、前記立体物検出手段の検出結果
に応じて、前記オプティカルフロー手段が画像処理を行
う単位領域である小領域の大きさを制御するものである
ことを特徴としている。

【００５１】上記画像処理装置（２４）によれば、処理
を行う小領域を同一の立体物が含まれる大きさの領域と
できるので、一致判定等を確実に行え、画像処理の精度
を向上できる。

【００５２】また、本発明に係る画像処理装置（２５）
は、上記画像処理装置（８）または画像処理装置（１
０）において、ステレオ測距を行う画像領域を自車の走
行する車線内の領域とし、オプティカルフロー処理を行
う画像領域を自車の走行する車線外の領域とする画像処
理領域設定手段を備えていることを特徴としている。

【００５３】上記画像処理装置（２５）によれば、距離
測定が重要な自車車線内の物体に対してステレオ測距が
行われ、移動状態の検出が重要な自車車線外の物体に対
してはオプティカルフロー処理が行われるので、必要な
データを漏らすことなく演算量を低減できる。

【００５４】また、本発明に係る画像処理装置（２６）
は、上記画像処理装置（２５）において、前記画像処理
領域設定手段が、オプティカルフロー処理により自車の
走行する車線内への侵入が予想される移動物体が存在す
る画像の領域をステレオ測距を行う画像領域に加えるも
のであることを特徴としている。

【００５５】上記画像処理装置（２６）によれば、自車
車線外であっても距離検出が必要な自車車線内に侵入し
ようとする移動物体を検出することができる。

【００５６】また、本発明に係る画像処理装置（２７）
は、上記画像処理装置（８）または画像処理装置（１
０）において、ステレオ測距を行う画像領域を自車が進
行する領域とし、オプティカルフロー処理を行う画像領
域を自車が進行する領域外の領域とする画像処理領域設
定手段を備えていることを特徴としている。

【００５７】上記画像処理装置（２７）によれば、距離
測定が重要な自車が進行する領域内の物体に対してステ
レオ測距が行われ、移動状態の検出が重要な自車が進行
する領域外の物体に対してはオプティカルフロー処理が
行われるので、必要なデータを漏らすことなく演算量を
低減できる。

【００５８】また、本発明に係る画像処理装置（２８）
は、上記画像処理装置（２７）において、前記画像処理
領域設定手段が、オプティカルフロー処理により自車の
進行する領域内への侵入が予想される移動物体が存在す
る画像の領域をステレオ測距を行う画像領域に加えるも
のであることを特徴としている。

【００５９】上記画像処理装置（２８）によれば、自車
が進行する領域外であっても距離検出が必要な自車が進
行する領域内に侵入しようとする移動物体を検出するこ
とができる。

【００６０】また、本発明に係る画像処理装置（２９）
は、上記画像処理装置（２７）において、前記自車が進
行する領域が、自車の車幅と旋回状態により算出される
ものであることを特徴としている。

【００６１】上記画像処理装置（２９）によれば、カー
ブ走行中であっても適切に必要なデータを取得すること
ができる。

【００６２】また、本発明に係る画像処理装置（３０）
は、上記画像処理装置（８）または画像処理装置（１
０）において、画像領域を分割する画像分割手段と、該
画像分割手段により分割された画像を時分割でオプティ
カルフロー手段による画像処理領域とする時分割制御手
段を備えていることを特徴としている。

【００６３】上記画像処理装置（３０）によれば、一度
の画像処理において取り扱われる画像のデータ量が低減
するので、画像処理を行うためのメモリの容量を小さく
することが可能となる。

【００６４】また、本発明に係る画像処理装置（３１）
は、上記画像処理装置（３０）において、次にオプティ
カルフロー手段による処理領域となる領域の画像を記憶
する記憶手段を備えていることを特徴としている。

【００６５】上記画像処理装置（３１）によれば、画面
の全領域ではなく、分割された領域のうち次にオプティ
カルフロー手段による処理領域となる領域の画像を記憶
する容量の記憶手段により、オプティカルフロー処理を
行うことができるので、記憶手段の容量を低減できる。

【００６６】また、本発明に係る画像処理装置（３２）
は、上記画像処理装置（３０）において、ステレオ測距
に用いる２画像を交互にオプティカルフロー手段による
処理画像とする画像選択手段を備えていることを特徴と
している。

【００６７】上記画像処理装置（３２）によれば、画面
の分割された各領域について交互に処理が行われるの
で、あまり偏りがなく、そしてあまり時間遅れがない画
像処理データを得ることができる。

【００６８】

【発明の実施の形態】以下、本発明に係る画像認識装置
の実施の形態を図面に基づいて説明する。図１は本発明
の実施の形態に係る画像認識装置を用いた車両制御シス
テムを示すブロック構成図である。

【００６９】カメラＬ１、カメラＲ２は自動車の前方の
画像を取り込むように車体に設置されたカメラで、カメ
ラＬ１は車両左側、カメラＲ２は車両右側に互いに距離
（カメラ間隔ｂ）をおいて設置されている。画像メモリ
３、４は、それぞれカメラＬ１、カメラＲ２の取り込ん
だ画像を記憶するメモリで、ＲＡＭにより構成されてい
る。そして、画像メモリ３、４における画像の記憶タイ
ミング等の制御はマイクロコンピュータ（マイコン）５
により制御されている。マイコン５は画像メモリ３、４
に記憶された画像データの処理、車両の状態を検出する
各センサからの信号の処理、スロットルバルブの制御等
の車両の動作制御を行うもので、マイコン５の動作プロ
グラムが記憶されたＲＯＭや演算処理に用いるＲＡＭ等
からなるメモリ６が接続されている。

【００７０】ステアリングセンサ７はハンドル（ステア
リング）の回転角を検出するもので、ステアリング軸と
連動して回転し抵抗値が変化するポテンショメータ（回
転式ボリウム）や光学式の角検出センサ等から構成され
ている。車速センサ８は車両の走行速度を検出するもの
で、車輪の回転に同期した信号を出力するセンサ、例え
ば車軸に同期して回転する磁石とこの磁石に近接して設
けられて磁石の位置により接断動作するリードスイッチ
からなるセンサ等により構成されている。ピッチングセ
ンサ９は、車両のピッチング動作（前後方向の揺動）を
検出するもので、前後車輪に設けられたサスペンション
の動作状況（サスペンションコイル長の差や変化）の検
出（スライド式ボリウム、光学式距離計や圧電素子を用
いた歪センサ等により検出）等により車両のピッチング
を検出する。ヨーレートセンサ１０は車両のヨー方向の
動きを検出するセンサで、質量体と歪センサ等からなる
加速度センサにより構成されている。そして、これらス
テアリングセンサ７、車速センサ８、ピッチングセンサ
９、ヨーレートセンサ１０の出力信号は、入力インター
フェイス１１を介して、マイコン５に与えられるように
なっている。

【００７１】ブレーキアクチュエータ１２は、車両のブ
レーキを制御するもので油圧駆動装置等により構成され
ている。そして、マイコン５からの信号によりブレーキ
アクチュエータ１２における油圧系のバルブ等が制御さ
れ、車両の制動力が制御されるようになっている。スロ
ットルアクチュエータ１３は、車両のスロットルバルブ
を駆動しエンジンの吸入空気量を変化させるもので、ス
テッピングモータ等を含んで構成されている。変速機ア
クチュエータ１４は車両の変速機の変速比を変えるもの
で、油圧駆動装置等により構成されている。そして、マ
イコン５からの信号により変速機アクチュエータ１４に
おける油圧系のバルブ等が制御され、車両の変速機の変
速比が制御されるようになっている。警報器１５は動作
異常等、画像認識不能等を報知するもので、ブザー、警
告ランプ等により構成されている。そして、これら、ブ
レーキアクチュエータ１２、スロットルアクチュエータ
１３、変速機アクチュエータ１４、警報器１５は出力イ
ンターフェイス１６を介して、マイコン５に接続されて
おり、マイコン５によりその動作が制御されるように構
成されている。

【００７２】つまり、図１に示した車両制御システムに
よれば、カメラＬ１、カメラＲ２から取り込まれた画像
により認識された車両周囲の状況（前方車両の状況）や
入力インターフェイス１１を介して入力された各種セン
サからの信号に応じて、スロットルバルブやブレーキを
制御して、自動運転や運転補助をなすように動作する。

【００７３】次に本実施の形態における画像認識技術の
オプティカルフローについて説明する。図２はオプティ
カルフローの動作概要を説明するための説明図、図３、
４はマイコン５の行うオプティカルフロー計算処理を示
すフローチャートである。

【００７４】本実施の形態によるオプティカルフローの
算出は、先ず時刻ｔにおける画像全体を画素数がｍ×ｎ
の小領域に分割し、そしてオプティカルフローを計算す
る範囲〔（ａ，ｂ）〜（Ａ，Ｂ）〕を決定する。そし
て、各領域について時刻ｔ＋１（時刻ｔの次の画像取り
込み時刻）の画像における同一画像と推測される画像の
位置を検出し（時刻ｔの画像と時刻ｔ＋１の画像の対応
する各画素の明度差の総和が最小となる画像の位置を検
出する）、それら画像の位置の差を算出してオプティカ
ルフロー値とする。尚、本実施の形態においては、時刻
ｔ＋１の画像における同一画像の検出処理範囲（画素の
明度を比較する画像領域）を、検出対象となる移動物体
の各方向における考え得る速度範囲から定まる画像の移
動可能範囲により決定して演算量を削減し、処理の高速
化およびマイコン５の負担の減少を図っている。そし
て、このような処理を、決定した全計算範囲の小領域に
ついて行い、各小領域におけるオプティカルフロー値を
求める。尚、使用する画像はカメラＬ１、カメラＲ２の
どちらの画像を用いてもよい。

【００７５】次にマイコン５の行う処理について説明す
る。ステップＯＦ１では、オプティカルフローの算出単
位である小領域の大きさ（画素数 縦ｍ，横ｎ）を決定
し、ステップＯＦ２に移る。ステップＯＦ２では、画像
（時刻ｔの画像）を小領域に分割し（ｗ行ｈ列に分
割）、ステップＯＦ３に移る。ステップＯＦ３ではオプ
ティカルフローの計算範囲を決定し（ｗ行ｈ列に分割し
た部分の、ａ〜Ａ行，ｂ〜Ｂ列部分）、ステップＯＦ４
に移る。ステップＯＦ４では、変数ｉ，ｊにａ，ｂを設
定し、ステップＯＦ５に移る。

【００７６】ステップＯＦ５では、時刻ｔの画像（以後
ｔ画像、同様のｔ＋１画像と称する）におけるｉ行ｊ列
の小領域の画像データを読み込み、ステップＯＦ６で
は、比較するｔ＋１画像の基準位置を設定し、ステップ
ＯＦ７に移る。基準位置は、Ｘ座標が ｍ×（ｉ−１）
−ｖ で、Ｙ座標が ｎ×（ｊ−１）−ｕ で、ｕ、ｖ
は検出対象となる移動物体の各方向における考え得る速
度範囲から定まる画像の移動可能範囲により決定され
る。ステップＯＦ７では、変数α、βを０に設定し、ま
た変数ｍｉｎを値ＭＡＸ（ｔ画像とｔ＋１画像の各画素
の明度差の総和における理論的最大値）に設定し、ステ
ップＯＦ８に移る。

【００７７】ステップＯＦ８では、基準位置からα画素
下、ベータ画素右の点を原点とする小領域の画像データ
を読込み、ステップＯＦ９に移る。ステップＯＦ９で
は、各画像における小領域の各点（ｐ，ｑ）の明度〔ｔ
画像：ｆt(p,q)，ｔ＋１画像：ｆt-1(p,q)〕の差を算出
し、そしてその差の総和（総和差Ｓ）を演算してステッ
プＯＦ１０に移る。つまり、本処理では明度差の総和が
最小の領域を同一画像がある領域と判断して、画像の移
動量、つまりオプティカルフローを検出する。ステップ
ＯＦ１０では、総和差Ｓがこれまでの総和差Ｓの最小値
ｍｉｎより小さいかどうか判断し、小さければステップ
ＯＦ１１に移り、小さくなければステップＯＦ１２に移
る。ステップＯＦ１１では、変数ｍｉｎを総和差Ｓに設
定し、変数Ｘ、Ｙを各々α、βに設定し、ステップＯＦ
１２に移る。つまり、比較した中で最小の総和差Ｓが検
出されれば、その位置を示すα、βを記憶し、またその
総和差Ｓを新たな比較基準としてｍｉｎに設定する。

【００７８】ステップＯＦ１２では、αに１を加算して
ステップＯＦ１３に移る。つまり、次に比較する画像の
原点を右に１画素移動させるための処理をおこなう。ス
テップＯＦ１３では、αが計算範囲の画像領域外に対応
する値（ｕ、Ｕは検出対象となる移動物体の各方向にお
ける考えうる速度範囲から定まる画像の移動可能範囲に
より決定される値で、Ｕは右側に移動可能な最大画素数
で、ｕは左側に移動可能な最大画素数）に達したかどう
か判断し、達していればステップＯＦ１４に移り、達し
ていなければステップＯＦ８に戻る。ステップＯＦ１４
では、αを０とすると共にβに１を加算してステップＯ
Ｆ１５に移る。つまり、次に比較する画像の原点を下に
１画素移動させるとともに、水平方向については元の位
置に戻すための処理をおこなう。ステップＯＦ１５で
は、βが計算範囲の画像領域外に対応する値（ｖ、Ｖは
検出対象となる移動物体の各方向における考えうる速度
範囲から定まる画像の移動可能範囲により決定される値
で、Ｖは下側に移動可能な最大画素数で、ｖは上側に移
動可能な最大画素数）に達したかどうか判断し、達して
いればステップＯＦ１６に移り、達していなければステ
ップＯＦ８に戻る。つまり、これらの処理により所定範
囲におけるｔ画像とｔ＋１画像の明度比較が行われるこ
とになる。ステップＯＦ１６では、当該小領域のオプテ
ィカルフロー値Ｆとして、Ｘ方向値をＸ−ｕ、Ｙ方向値
をＹ−ｖとして記憶し、ステップＯＦ１７に移る（ｔ画
像の比較小領域の原点位置から右方向にｕ、上方向にｖ
ずれた位置を０として、ｔ＋１画像における総和差Ｓが
最小となる小領域の原点位置の座標が（Ｘ，Ｙ）となる
ので、移動量（オプティカルフロー値）としては、（Ｘ
−ｕ，Ｙ−ｖ）となる）。

【００７９】ステップＯＦ１７では、ｉに１を加算して
ステップＯＦ１８に移る。つまり、次に比較する画像の
小領域を右に１移動させるための処理をおこなう。ステ
ップＯＦ１８では、ｉがオプティカルフローを計算する
範囲の最大値Ａに達したかどうか判断し、達していれば
ステップＯＦ１９に移り、達していなければステップＯ
Ｆ５戻る。ステップＯＦ１９では、ｉをａ（オプティカ
ルフローを計算する範囲の最小値）にすると共に、ｊに
１を加算してステップＯＦ２０に移る。つまり、次に比
較する画像の小領域を下に１移動させるとともに水平方
向については元の位置に戻すための処理をおこなう。ス
テップＯＦ２０では、ｊがオプティカルフローを計算す
る範囲の最大値Ｂに達したかどうか判断し、達していれ
ば処理を終え、達していなければステップＯＦ５に戻
る。

【００８０】上記処理により、ｔ画像の各小領域と同一
の画像がｔ＋１画像のどの位置に存在するかにより、各
小領域のオプティカルフローを演算算出することができ
る。

【００８１】次に本実施の形態における画像認識技術の
ステレオ測距について説明する。図５はステレオ測距の
動作概要を説明するための説明図、図６、７はマイコン
５の行うステレオ測距計算処理を示すフローチャートで
ある。

【００８２】本実施の形態に係るステレオ測距は、先ず
右カメラＲ２から取り込んだ右画像全体を画素数がｍ×
ｎの小領域に分割し、そしてステレオ測距計算を行う範
囲〔（ａ，ｂ）〜（Ａ，Ｂ）〕を決定する。そして、各
領域について左画像（同時刻に左カメラＬ１が取り込ん
だ画像）における同一画像と推測される画像の位置を検
出し（右画像と左画像の対応する各画素の明度差の総和
が最小となる左画像の位置を検出する）、それら画像の
位置差を算出して、左右カメラの取付位置との関係から
検出対象（当該画像の物体）までの距離を演算する。そ
して、左画像における同一画像の検出処理範囲（画素の
明度を比較する画像領域）を、各カメラの設置状態によ
り定まる同一画像が理論的に存在する可能性のある領域
とし、また右画像の比較対象画像の位置に対して左画像
の水平（左右）方向の画像（比較対象画像と高さは同
じ）だけを検出処理範囲として、演算量を削減し、処理
の高速化およびマイコン５の負担の減少を図っている。
そして、このような処理を、決定した全計算範囲の小領
域について行い、各小領域におけるステレオ測距を行
う。

【００８３】次にマイコン５の行う処理について説明す
る。ステップＳＴ１では、ステレオ測距の算出単位であ
る小領域の大きさ（画素数 縦ｍ，横ｎ）を決定し、ス
テップＳＴ２に移る。ステップＳＴ２では、右画像を小
領域に分割し（ｗ行ｈ列に分割）、ステップＳＴ３に移
る。ステップＳＴ３ではステレオ測距の計算範囲を決定
し（ｗ行ｈ列に分割した部分の、ａ〜Ａ行，ｂ〜Ｂ列部
分）、ステップＳＴ４に移る。ステップＳＴ４では、変
数ｉ、ｊをａ、ｂに設定し、ステップＳＴ５に移る。

【００８４】ステップＳＴ５では、右画像におけるｉ行
ｊ列の小領域の画像データを読み込み、ステップＳＴ６
に移る。ステップＳＴ６では、比較する左画像の基準位
置を設定し、ステップＯＦ７に移る。基準位置は、Ｘ座
標が ｍ×（ｉ−１）＋１で、Ｙ座標が ｎ×（ｊ−
１）＋１ であり、左画像ではそのカメラの設置位置関
係により、同一物体は右画像より右側にあることから、
基準位置を右画像の対象物体の画像位置と同一位置と
し、そこから右方向に同一画像を検出する処理を行う。
ステップＳＴ７では、変数ｋを０に設定し、また変数ｍ
ｉｎを値ＭＡＸ（右画像と左画像の各画素の明度差の総
和における理論的最大値）に設定し、ステップＳＴ８に
移る。

【００８５】ステップＳＴ８では、左画像における基準
位置からｋ画素右の点を原点とする小領域の画像データ
を読込み、ステップＳＴ９に移る。ステップＳＴ９で
は、各画像における小領域の各点（ｐ，ｑ）の明度〔左
画像：ｆl(p,q)，右画像：ｆr(p,q)〕の差を算出し、そ
してその差の総和（総和差Ｓ）を演算してステップＳＴ
１０に移る。つまり、本処理では明度差の総和が最小の
領域を同一画像がある領域と判断して、画像の移動量、
つまりステレオ測距のパラメータを検出する。ステップ
ＳＴ１０では、総和差Ｓがこれまでの総和差Ｓの最小値
ｍｉｎより小さいかどうか判断し、小さければステップ
ＳＴ１１に移り、小さくなければステップＳＴ１２に移
る。ステップＳＴ１１では、変数ｍｉｎを総和差Ｓに設
定し、変数ｄをｋに設定し、ステップＳＴ１２に移る。
つまり、比較した中で最小の総和差Ｓが検出されれば、
その位置を示すｋを記憶し、またその総和差Ｓを新たな
比較基準としてｍｉｎに設定する。

【００８６】ステップＳＴ１２では、ｋに１を加算して
ステップＳＴ１３に移る。つまり、次に比較する画像の
原点を右に１画素移動させるための処理をおこなう。ス
テップＳＴ１３では、ｋが計算範囲の画像領域外に対応
する値（Ｋｍａｘ：検出対象となる移動物体の検出距離
範囲から定まる左右画像の同一画像の画像位置差）に達
したかどうか判断し、達していればステップＳＴ１４に
移り、達していなければステップＳＴ８戻る。ステップ
ＳＴ１４では、対象物（当該小領域の画像に対応する物
体）までの距離Ｄを Ｄ＝ｂ・ｆ／（ｄ／ｕ） ｂ：左右カメラ間距離 ｆ：カメラの焦点距離 ｕ：カメラの画素の横サイズ に基づき演算する。

【００８７】ステップＳＴ１５では、ｉに１を加算して
ステップＳＴ１６に移る。つまり、次に比較する画像の
小領域を右に１移動させるための処理をおこなう。ステ
ップＳＴ１６では、ｉがステレオ測距の計算をする範囲
の最大値Ａに達したかどうか判断し、達していればステ
ップＳＴ１７に移り、達していなければステップＳＴ５
に戻る。ステップＳＴ１７では、ｉをａ（ステレオ測距
の計算をする範囲の最小値）にすると共に、ｊに１を算
してステップＳＴ１８に移る。つまり、次に比較する画
像の小領域を下に１移動させるとともに水平方向につい
ては元の位置に戻すための処理をおこなう。ステップＳ
Ｔ１８では、ｊがステレオ測距の計算をする範囲の最大
値Ｂに達したかどうか判断し、達していれば処理を終
え、達していなければステップＯＦ５に戻る。

【００８８】上記処理により処理により、右画像の各小
領域と同一の画像が左画像のどの位置に存在するかによ
り、各小領域のステレオ測距を行うことができる。

【００８９】次にオプティカルフロー、ステレオ測距の
データを用いた立体移動物と背景との識別処理について
説明する。図８はマイコン５の行う立体移動物の識別処
理を示すフローチャートである。

【００９０】ステップＢＫ１、ステップＢＫ２ではそれ
ぞれ前述の処理により、ステレオ測距計算、オプティカ
ルフロー計算を行いステップＢＫ３に移る（計算値はメ
モリ６に記憶される）。ステップＢＫ３では、車両に設
けられた各種センサから、各種車両状況データ、車速、
ヨーレート、ピッチング等を取り込み、ステップＢＫ４
に移る。ステップＢＫ４では処理用のカウンタｉを０に
初期化し、ステップＢＫ５に移る。ステップＢＫ５で
は、画像のｉ番目の小領域（ｉ領域）について、その小
領域の画像の物体が静止物である場合のオプティカルフ
ローを、小領域の位置、車速等の車両状態、ステレオ測
距で得られた該当物体までの距離等のデータにより理論
的に計算で求め（理論オプティカルフロー）、ステップ
ＢＫ６に移る。

【００９１】ステップＢＫ６では、ｉ領域における画像
データにより得られたオプティカルフロー（計測オプテ
ィカルフロー）をメモリ６から読込み、ステップＢＫ７
に移る。ステップＢＫ７では、理論オプティカルフロー
と、計測オプティカルフローとを比較し、一致していれ
ばステップＢＫ８に移り、一致していなければステップ
ＢＫ９に移る。尚、理論オプティカルフローと計測オプ
ティカルフローの一致条件は、例えばオプティカルフロ
ー（ベクトル）の絶対値（大きさ）と方向（角度）の差
が、共に所定割合未満および所定差未満（測定オプティ
カルフローにおける絶対値の９０〜１１０％の範囲に理
論オプティカルフローの絶対値が入り、かつ測定オプテ
ィカルフローにおける方向の＋−５度の範囲に理論オプ
ティカルフローの方向が入れば一致の判定）のように設
定し、ある程度の幅を持たせる。

【００９２】ステップＢＫ８では、測定オプティカルフ
ローが静止物の理論オプティカルフローと一致している
ため、ｉ領域の画像は静止物（背景）として判断し、そ
の結果を車両の制御等に用いるためにメモリ６に記憶
し、ステップＢＫ１０に移る。またステップＢＫ９で
は、ステップＢＫ８とは逆に、ｉ領域の画像は立体移動
物として判断し、その結果を車両の制御等に用いるため
にメモリ６に記憶し、ステップＢＫ１０に移る。ステッ
プＢＫ１０では、次の小領域に対する処理を行うため
に、カウンタｉに１を加算して、ステップＢＫ１１に移
る。ステップＢＫ１１では、カウンタｉの値から、処理
すべき全小領域について処理を終えたかどうか判断し、
処理を終えていれば本処理を終え、処理を終えていなけ
ればステップＢＫ５に戻り、次の小領域に対する処理を
行う。

【００９３】次に理論オプティカルフローの算出方法に
ついて説明する。図９は理論オプティカルフローを算出
する方法を示す説明図である。図 9（Ａ）に示したよう
に、ＸＺ平面を道路面、自動車の進行方向をＺ軸方向と
すると、点Ｐ０（Ｘ０，Ｙ０，Ｚ０）、Ｐ（Ｘ，Ｙ，
Ｚ）の像は、各々カメラのイメージプレーン（カメラで
捕らえた画像が形成される画像平面（画素面））のｐ
（ｘ０，ｙ０），ｐ（ｘ，ｙ）に形成される。ここで、
自動車が直線走行している場合における、イメージプレ
ーンのｘ軸方向に関する画像の動きについて説明する。
図９（Ｂ）に示したように、自動車がＺ軸方向に速度
Ｖ（ここでは、説明を分かりやすくするためオプティカ
ルフローの計算周期に進む距離を速度Ｖとする）で直進
すると、自動車から見る静止立体物Ａは、Ｚ軸方向に自
動車に距離Ｙだけ近づいたことになる。この時、カメラ
の光学系の焦点距離をｆ、移動後の立体物ＡまでのＺ軸
方向の距離をＺ、光軸（Ｚ軸）と静止物体までのＸ方向
の距離をＸ、イメージプレーン上における立体物Ａの画
像のｘ軸方向の位置を移動前ｘそして移動量をｕとする
と、各点の座標および光学系（レンズ）の焦点により形
成される三角形の相似関係により、次の関係が成り立
つ。

【００９４】・移動前： （Ｚ＋Ｖ）／ｆ ＝ Ｘ／ｘ ・移動後： Ｚ／ｆ ＝ Ｘ／（ｘ＋ｕ） これらの式から、次の関係が成立する。

【００９５】ｕ ＝ ｘ・Ｖ／Ｚ 同様に、イメージプレーン上における立体物Ａの画像の
ｙ軸方向の位置を移動前ｙそして移動量をｖとすると、
次の関係が成立する。

【００９６】ｖ ＝ ｙ・Ｖ／Ｚ つまり、自動車が直進している場合の静止物の理論オプ
ティカルフロー（ｕ，ｖ）は、画像データ（物体の位
置）、車速センサにより計測される車速Ｖおよびステレ
オ測距により計測されるＺ軸方向の立体物までの距離Ｚ
に基づき、上記計算式により求めることができる。

【００９７】次にカーブ走行中における理論オプティカ
ルフローの算出方法について説明する。図１０はカーブ
走行中における理論オプティカルフローを算出する方法
を示す説明図である。図１０に示したように、自動車が
カーブを速度Ｖ（ここでは、説明を分かりやすくするた
めオプティカルフローの計算周期に進む距離を速度Ｖと
する）で走行すると、カーブの曲率半径Ｒは一般的に距
離Ｖに対して大きいので（計算周期は短く、距離Ｖの値
は曲率半径Ｒに比べて非常に小さい）、自動車から見る
静止立体物Ａは、カーブの曲線（円弧）の接線方向に距
離Ｖ移動したと近似できる（方向は自動車の進行方向と
逆）。この時、カメラの光学系の焦点距離をｆ、移動後
の立体物Ａまでの各Ｚ軸方向（進行方向が変化している
ので、移動前はＺｔ０軸、移動後はＺｔ１軸）の距離を
Ｚ１，Ｚ、各光軸（Ｚ軸）と静止物体までのＸ方向の距
離をＸ１，Ｘ、イメージプレーン上における立体物Ａの
画像のｘ軸方向の位置を移動前ｘそして移動量をｕ、自
動車の進行角変化をθとすると、各点の座標および光学
系（レンズ）の焦点により形成される三角形の相似関係
により、次の関係が成り立つ。

【００９８】 ・移動前： （Ｚ１＋Ｖ・ｃｏｓθ）／ｆ ＝ Ｘ／ｘ Ｚ１ ＝ Ｚ／ｃｏｓθ＋（Ｘ＋Ｖ・ｓｉｎθ）・ｔａｎθ ・移動後： Ｚ／ｆ ＝ Ｘ１／（ｘ＋ｕ） Ｘ１ ＝ Ｚ・ｔａｎθ＋（Ｘ＋Ｖ・ｓｉｎθ）／ｃｏｓθ これらの式を、ｕおよびＸについて解くと、次のように
なる。

【００９９】u = (f・Z ・ sinθ + f・X + f ・ V ・ sin
θ）/( Z ・ cosθ)-x X= x・(Z+V ・ sinθ ・ sinθ + V ・ cosθ ・ cosθ)/(f
・ cosθ-x ・ sinθ) この式で求まるＸを上記オプティカルフローｕを求める
式に代入することにより、理論オプティカルフローｕが
求まる。

【０１００】また、ｙ方向については、進行方向の変化
に伴うＹの変化がないので、次の関係が設立する。

【０１０１】 ・移動前： （Ｚ１＋Ｖ・ｃｏｓθ）／ｆ ＝ Ｙ／ｙ Ｚ１ ＝ Ｚ／ｃｏｓθ＋（Ｘ＋Ｖ・ｓｉｎθ）・ｔａｎθ ・移動後： Ｚ／ｆ ＝ Ｙ／（ｙ＋ｖ） そして同様にこれらの式から、理論オプテカルフローｖ
が求まる。

【０１０２】つまり、自動車がカーブを走行している場
合の静止物の理論オプティカルフロー（ｕ，ｖ）は、画
像データ（物体の位置）、車速センサにより計測される
車速Ｖおよびステレオ測距により計測されるＺ軸方向の
立体物までの距離Ｚ、およびヨーレートセンサやステア
リングセンサにより検出される進行方向変化角θに基づ
き、上記計算式により求めることができる。

【０１０３】次に自動車にピッチング動作が発生してい
る状態における理論オプティカルフローの算出方法につ
いて説明する。図１１はピッチング発生中における理論
オプティカルフローを算出する方法を示す説明図であ
る。

【０１０４】図１１に示したように、自動車にピッチン
グが発生している場合には、画像のｘ軸方向の位置につ
いては基本的に影響が無く、直線走行中と同様の計算に
よりオプティカルフローｕが求まる。一方、画像のｙ軸
方向の位置については影響がある。カメラの光学系の焦
点距離をｆ、移動後の立体物Ａまでの各Ｚ軸方向（進行
方向が変化しているので、移動前はＺｔ０軸、移動後は
Ｚｔ軸）の距離をＺ１，Ｚ、各光軸（Ｚ軸）と静止物体
までのＹ方向の距離をＹ１，Ｙ、イメージプレーン上に
おける立体物Ａの画像のｙ軸方向の位置を移動前ｙそし
て移動量をｖ、ピッチング角をθとすると、各点の座標
および光学系（レンズ）の焦点により形成される三角形
の相似関係により、次の関係が成り立つ。

【０１０５】 これらの式を、ｖおよびＹについて解くと、次のように
なる。

【０１０６】ｖ＝（ｆ・Ｚ・ｓｉｎθ＋ｆ・Ｙ）／Ｚ・
ｃｏｓθ − ｙ Ｙ＝ｙ・（Ｚ＋Ｖ・ｃｏｓθ）／（ｆ・ｃｏｓθ−ｙ・
ｓｉｎθ） この式で求まるＹを上記オプティカルフローｖを求める
式に代入することにより、理論オプティカルフローｖが
求まる。

【０１０７】つまり、自動車にピッチングが発生してい
る場合の静止物の理論オプティカルフロー（ｕ，ｖ）
は、画像データ（物体の位置）、車速センサにより計測
される車速Ｖおよびステレオ測距により計測されるＺ軸
方向の立体物までの距離Ｚ、およびピッチングセンサに
より検出されるピッチング角θに基づき、上記計算式に
より求めることができる。

【０１０８】そして、これら、直進走行中、カーブ走行
中またピッチング発生中における理論オプティカルフロ
ーの算出方法を組み合わせることにより、各種走行中に
おける理論オプティカルフロー（ｕ，ｖ）を算出するこ
とができる。

【０１０９】次に自動車のピッチング角をピッチングセ
ンサを用いずに、画像認識用のカメラを用いて検出する
方法について説明する。図１２は、ピッチング角検出方
法を示す原理図、図１３はマイコンが行うピッチング角
検出処理を示すフローチャートである。

【０１１０】画像認識用のカメラを用いたピッチング角
検出方法は、路面に描かれた図形、例えば車線を区別す
る白線の所定部分までの距離を、前述のステレオ測距お
よび単一カメラ測距により測定する。尚、単一カメラ測
距は、カメラの取付状態と道路上の物体（道路上の所定
点）の画像の位置とから、その物体までの距離を測定す
る方法で、地面を底辺とし、地面からカメラの設置位置
までの距離を高さ、そして画像中の物体の位置およびカ
メラの光軸（カメラの取付角によって決まる）から求ま
る前記高さとカメラおよび物体とを結んだ線がなす角度
によって決まる三角形から、自動車と物体との距離を求
めるものである。そして、これらステレオ測距および単
一カメラ測距により算出された距離Ｄ０，Ｄ１は、ピッ
チング角度が０の時は同じ値となるが、ピッチングが発
生するとステレオ測距は変化しないが、単一カメラ測距
ではカメラの地面に対する角度が算出値に影響するので
変化する。その変化の状態は、図１２に示すようにピッ
チング角がθの時、距離がＤ０からＤ１となる。そし
て、この距離Ｄ０はステレオ測距での検出値であり、ま
た距離Ｄ１は単一カメラ測距での検出値である。従っ
て、ピッチング角は、ステレオ測距での検出値Ｄ０およ
び単一カメラ測距での検出値Ｄ１から、次式で算出する
ことができる。

【０１１１】θ ＝ ｔａｎ-1（Ｈｃ／Ｄ０） − ｔ
ａｎ-1（Ｈｃ／Ｄ１） 次にマイコン５の行う処理について図１３を用いて説明
する。ステップＳ１では、カメラＬ１、Ｒ２により撮影
された画像を入力し、ステップＳ２に移る。ステップＳ
２では、画像データにおける色および形状データ等に基
づき車線間の白線認識を行い、ステップＳ３に移る。ス
テップＳ３では認識した白線の最も遠い部分（白線の先
端部）を測距を行う部分として選択し、ステップＳ４に
移る。ステップＳ４では、選択した白線先端部のステレ
オ測距処理を行って距離Ｄ０を算出し、ステップＳ５に
移る。ステップＳ５では、選択した白線先端部の単一カ
メラ測距処理を行って距離Ｄ１を算出し、ステップＳ６
に移る。ステップＳ６では、算出した距離Ｄ０，Ｄ１そ
して単一カメラ測距に用いた画像を撮影したカメラの地
面からの高さＨｃを用いてピッチング角度θを算出し、
処理を終える。

【０１１２】以上のような処理により、ピッチング角検
出用の特別なセンサを用いることなく、画像認識用の構
成を用いてピッチング角を検出することができる。

【０１１３】次に、ステレオ測距における死角の部分、
つまり左右のカメラの取付位置の違いにより生じる片方
のカメラではその画像が撮影されない物体に関する処理
について説明する。図１４は、マイコン５が行うこの死
角処理を示すフローチャートである。

【０１１４】ステップＳ１１では、カメラＬ１、Ｒ２に
より撮影された画像を入力し、ステップＳ２に移る。ス
テップＳ１２では、死角でない部分についてステレオ測
距処理を行い、ステップＳ１３に移る。ステップＳ１３
では、左右のカメラにより撮影された画像に基づきオプ
ティカルフロー処理を行い、ステップＳ１４に移る。ス
テップＳ１４では、ステレオ測距結果、オプティカルフ
ロー結果および車速等から求まる理論オプティカルフロ
ー等に基づき、背景処理（空等の検出でオプティカルフ
ローが０である部分から検出できる）、静止物検出、移
動物検出等を行い、ステップＳ１５に移る。ステップＳ
１５では、ステレオ測距における死角があるかどうか判
断し、死角があればステップＳ１６に移り、死角がなけ
れば処理を終える。この死角の判断は、オプティカルフ
ロー処理を行った結果、オプティカルフローが０でない
部分において、ステレオ測距ができなかった部分（死
角）があるかどうかにより判断する。ステップＳ１６で
は、ステレオ測距における死角部分について単一カメラ
測距による測距を行い、その検出値を用いて静止物検
出、移動物検出等を行い、処理を終える。

【０１１５】以上のような処理により、ステレオ測距に
おける死角部分でも、測距が可能となり静止物検出、移
動物検出等が可能となる。

【０１１６】次に、オプティカルフローおよびステレオ
測距の算出方法の一例について説明する。図１５はオプ
ティカルフローおよびステレオ測距の算出方法の一例を
示すフローチャートであり、必要な画像データ等の入力
処理等は省略し、オプティカルフローおよびステレオ測
距の処理部分のみを示している。

【０１１７】ステップＳ２１では、オプティカルフロー
の計算を行い、ステップＳ２２に移る。ステップＳ２２
では、オプティカルフローの計算結果から車速データ等
を用いた背景処理等を行って、画像中の移動物体を検出
し（α個あったとする）、ステップＳ２３に移る。この
移動物体の検出処理においては、移動物体の個数および
大きさ（画像上の領域）等を記憶する。ステップＳ２３
ではカウンタｒを１とし、ステップＳ２４に移る。

【０１１８】ステップＳ２４では、ステレオ測距計算を
行い、その結果を記憶し、ステップＳ２５に移る。この
ステレオ測距処理においては次のように処理を行う。

【０１１９】１）ステレオ測距を行う際の、左右画像の
比較を行う画像領域を、全領域でなくステップＳ２２で
求めた移動物体の存在する画像領域に限定し、比較処理
を行う。

【０１２０】この処理条件により、比較処理演算量が減
少し、マイコン５の負荷が低減され、処理の高速化等が
可能となる。

【０１２１】２）ステレオ測距を行う際の、左右画像の
比較を行う画像領域の大きさを、ステップＳ２２で求め
た移動物体の画像の大きさの画像領域とし、比較処理を
行う。 この処理条件により、同一物体の検出精度が高
くなり、性能の向上が図れ、また比較処理の演算量の低
減も図れる。

【０１２２】３）ステレオ測距の算出を行う画像を、オ
プティカルフローを算出するのに用いた画像の内の新し
い方の画像（移動後の画像）とする。

【０１２３】この処理条件により、より新しい時点で
の、つまり時間遅れの少ないステレオ測距データが得ら
れることになる。

【０１２４】ステップＳ２５では、カウンタｒに１を加
算し、ステップＳ２６に移る。ステップＳ２６では、カ
ウンタｒが移動物体の個数αを超えたか否か、つまり全
移動物体について処理を終えたかどうか判断し、αを超
えていれば処理を終え、αを超えていなければステップ
Ｓ２４に戻り、各ステップの処理を繰り返す。

【０１２５】このような処理により、オプティカルフロ
ーの結果に応じてステレオ測距の処理方法を変更し、処
理効率および処理精度を向上させることができる。

【０１２６】次に道路上における立体物と非立体物の判
定処理について説明する。図１６はマイコン５の行う立
体物判定処理を示すフローチャートであり、図１７は物
体の高さの検出方法を示す原理図である。

【０１２７】ステップＳ３１では物体の高さＨ０を算出
し、ステップＳ３２に移る。物体の高さＨ０の算出方法
は、図１７に示したような方法で行う。物体までの距離
をＤ、レンズと画像検出用の画素間の距離をｆ、カメラ
設置高さ（地面からの）をＨｃ、画像における物体上端
位置とカメラと同じ高さの物体の画像位置（画像形成面
の指定位置となる）との間の距離をδとすると、相似関
係により次の式が成り立つ。

【０１２８】Ｈ０ ＝ Ｈｃ − Ｄ・δ／ｆ そして、物体までの距離Ｄはステレオ測距等により検出
され、距離δは画像処理により検出され、またカメラ設
置高さＨｃ、距離ｆは装置特有の所定値であるので、こ
れらの値を上記式に代入することにより、物体の高さＨ
０が算出される。

【０１２９】ステップＳ３２では、算出された物体の高
さが所定値、例えば２０ｃｍを超えたかどうか判断し、
超えていればステップＳ３３に移り、超えていなければ
ステップＳ３４に移る。ステップＳ３３では立体物であ
ると判断して、その結果を記憶し、処理を終える。また
ステップＳ３４では非立体物であると判断して、その結
果を記憶し、処理を終える。

【０１３０】このような処理により、物体が立体物か、
非立体物かを判断できるので、例えば正面に立体物があ
ると判断されれば警報を発する、ブレーキをかける等の
自動車の制御を適切に行うことが可能となる。

【０１３１】次にステレオ測距・オプティカルフロー処
理の別の処理例について説明する。本処理では、ステレ
オ測距を用いた立体物検出結果に応じて、オプティカル
フロー処理条件を変更する。図１８は、マイコン５の行
う本ステレオ測距・オプティカルフロー処理を示すフロ
ーチャートである。

【０１３２】ステップＳ４１では，図１６に示した前述
の方法によりステレオ測距結果を用いて立体物判定を行
い、その判定結果を記憶してステップＳ４２に移る。
尚、この判定結果の記憶は、立体物の大きさ（立体物の
画像の領域）、個数等を記憶する。ステップＳ４２では
カウンタｒを１とし、ステップＳ４３に移る。

【０１３３】ステップＳ４３では、オプティカルフロー
計算を行い、その結果を記憶し、ステップＳ４４に移
る。このステレオ測距処理においては次のように処理を
行う。 １）オプティカルフローを算出する際の、画像の比較を
行う画像領域を、全領域でなくステップＳ４１で求めた
立体物の存在する画像領域に限定し、比較処理を行う。

【０１３４】この処理条件により、比較処理演算量が減
少し、マイコン５の負荷が低減され、処理の高速化等が
可能となる。

【０１３５】２）オプティカルフローを算出する際の、
画像の比較を行う画像領域の大きさを、ステップＳ４１
で求めた立体物の画像の大きさに応じた画像領域とし、
比較処理を行う。この処理条件により、同一物体の検出
精度が高くなり、性能の向上が図れ、また比較処理の演
算量の低減も図れる。

【０１３６】ステップＳ４４では、カウンタｒに１を加
算し、ステップＳ４５に移る。ステップＳ４５では、カ
ウンタｒが立体物の個数αを超えたか否か、つまり全立
体物について処理を終えたかどうか判断し、αを超えて
いれば処理を終え、αを超えていなければステップＳ４
３に戻り、各ステップの処理を繰り返す。

【０１３７】このような処理により、ステレオ測距に基
づく立体物検出結果に応じてオプティカルフローの処理
方法を変更し、無駄な非立体物に対するオプティカルフ
ローの計算の削除等を行え、処理効率および処理精度を
向上させることができる。

【０１３８】次にマイコン５の演算負荷をより低下させ
るための画像処理方法について説明する。図１９は、マ
イコン５の行う画像処理における画像処理領域決定処理
の一例を示すフローチャートである。

【０１３９】ステップＳ５１では、画像における今後自
動車が進行する領域であろう進行領域を検出し、ステッ
プＳ５２に移る。この進行領域は、自動車の進行方向
（ステアリングセンサ等により検出）と自動車の幅によ
り定まる領域（画像上の領域）、あるいは道路上の車線
区分用の白線を認識し、その白線に基づく車線の領域
（画像上の領域）を算出することにより、検出される。

【０１４０】ステップＳ５２では、進行領域に侵入して
くる移動体である侵入移動体の検出を行い、ステップＳ
５３に移る。この侵入移動体の検出は、オプティカルフ
ローを算出し、このオプティカルフローからステップＳ
５１で検出した進行領域方向に向かって移動している移
動体の存在する領域（画像上の領域）を算出することに
より、検出される。

【０１４１】ステップＳ５３では、ステレオ測距を行う
ステレオ測距領域を、ステップＳ５１で求めた進行領域
とステップＳ５２で求めた侵入移動体の存在する領域と
して、ステップＳ５４に移る。ステップＳ５４では、オ
プティカルフロー処理を行うオプティカルフロー領域
を、ステップＳ５１で求めた進行領域以外の領域として
処理を終える。

【０１４２】以上のような処理により、ステレオ測距の
必要性が非常に低い進行領域以外の領域のステレオ測距
処理を省けるので、マイコン５の演算負荷が低下し、処
理の高速化等が図れる。また、進行領域以外の領域であ
っても、ステレオ測距の必要性の高い進行領域への侵入
が予想される移動体に対してはステレオ測距が行われる
ので、必要な画像データの入手が遅れるといったことを
防ぐことができる。

【０１４３】次にマイコン５の演算処理に用いられるメ
モリの容量を低下させるための画像処理方法について説
明する。図２０および図２１は、マイコン５の行うオプ
ティカルフロー処理におけるメモリの使用方法を示す説
明図、およびマイコン５の行う処理を示すフローチャー
トである。

【０１４４】画像処理（比較用）のメモリには、左側カ
メラが撮影した画像用の左画像用メモリ、過去の画像デ
ータを記憶するための比較画像メモリ、右側カメラが撮
影した画像用の右画像用のメモリがあり、左画像用メモ
リおよび右画像用のメモリは全画面データ記憶分の容量
があり、また比較画像メモリは半分の画面データが記憶
できる容量がある。図２０に示したように、各時刻（ｔ
＋ｎ：ｎ＝０，１，・・）ではその時刻に各カメラで撮
影された画像データが対応する画像メモリに記憶され
る。時刻ｔの右画像データの右半分が比較画像メモリに
記憶される。そして、この比較画像メモリに記憶された
時刻ｔの右画像データの右半分が、時刻ｔ＋１で右側カ
メラで撮影された右画像メモリの右半分の画像データと
比較され、オプティカルフローが算出される。

【０１４５】次に、時刻ｔ＋１の左画像データの左半分
が比較画像メモリに記憶される。そして、この比較画像
メモリに記憶された時刻ｔ＋１の左画像データの左半分
が、時刻ｔ＋２で左側カメラで撮影された左画像メモリ
の左半分の画像データと比較され、オプティカルフロー
が算出される。

【０１４６】そして、再び時刻ｔ＋２の右画像データの
右半分が比較画像メモリに記憶され、以後このような処
理が交互に繰り返される。つまり、画像の左右半分に対
して交互にオプティカルフロー処理が行われるので、比
較用のメモリが全画面を処理するのに対して半分で済
み、また画面の左右半分について交互に処理が行われる
のであまり時間遅れがなく処理が行われる。

【０１４７】次にこのような処理を行うための、マイコ
ン５の処理について図２１を用いて説明する。ステップ
Ｓ６１ではカウンタＣＮＴに１を加算してステップＳ６
２に移る。ステップＳ６２ではカウンタＣＮＴが偶数か
どうか判断し、偶数であればステップＳ６３に移り、偶
数でなければステップＳ６５に移る。ステップＳ６３で
は左画像（左側カメラの撮影した画像）の左半分のデー
タと比較画像メモリの画像データとを用いてオプティカ
ルフロー処理を行い、左画像の左半分のオプティカルフ
ローを求め、ステップＳ６４に移る。ステップＳ６４で
は、右画像（右側カメラの撮影した画像）の右半分のデ
ータを比較画像メモリに記憶し、本処理を終える。

【０１４８】ステップＳ６５では右画像の右半分のデー
タと比較画像メモリの画像データとを用いてオプティカ
ルフロー処理を行い、右画像の右半分のオプティカルフ
ローを求め、ステップＳ６６に移る。ステップＳ６６で
は、左画像の左半分のデータを比較画像メモリに記憶
し、本処理を終える。

【０１４９】このような処理により、図２０で示したよ
うなメモリの使用方法により、オプティカルフロー処理
を行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る自動車制御装置の構
成を示した構成図である。

【図２】オプティカルフローの動作概要を示す説明図で
ある。

【図３】オプティカルフロー計算処理を示すフローチャ
ートである。

【図４】オプティカルフロー計算処理を示すフローチャ
ートである。

【図５】ステレオ測距の動作概要を示す説明図である。

【図６】ステレオ測距計算処理を示すフローチャートで
ある。

【図７】ステレオ測距計算処理を示すフローチャートで
ある。

【図８】立体移動物識別処理を示すフローチャートであ
る。

【図９】（Ａ）（Ｂ）は理論オプティカルフロー算出方
法を示す説明図である。

【図１０】理論オプティカルフロー算出方法を示す説明
図である。

【図１１】理論オプティカルフロー算出方法を示す説明
図である。

【図１２】ピッチング角検出方法の原理を示す説明図で
ある。

【図１３】ピッチング角検出処理を示すフローチャート
である。

【図１４】死角処理を示すフローチャートである。

【図１５】オプティカルフローおよびステレオ測距の算
出方法の一例を示すフローチャートである。

【図１６】立体物判定処理を示すフローチャートであ
る。

【図１７】立体物判定方法の原理を示す説明図である。

【図１８】オプティカルフローおよびステレオ測距の算
出方法の一例を示すフローチャートである。

【図１９】画像処理領域決定処理の一例を示すフローチ
ャートである。

【図２０】オプティカルフロー処理におけるメモリ使用
方法を示す説明図である。

【図２１】オプティカルフロー処理におけるメモリ使用
方法を示すフローチャートである。

【符号の説明】

１，２・・・フロントガラス ３，４・・・画像メモリ ５・・・マイクロコンピュータ ６・・・メモリ ７・・・ステアリングセンサ ８・・・車速センサ ９・・・ピッチングセンサ １０・・・ヨーレートセンサ

Claims (32)

【特許請求の範囲】
1. 【請求項１】 撮影時間に時間差のある第１画像と第２
   画像との画像データを比較し、その差から物体の移動状
   態を検出するオプティカルフロー手段を備えた画像認識
   装置において、 前記オプティカルフロー手段が、 前記第１画像の比較を行う画像領域を制限する領域制限
   手段と、 前記領域制限手段により制限された前記第１画像の領域
   を複数の小領域に分割する分割手段と、 前記小領域を前記第２画像の各部と比較し、該小領域と
   実質的に一致する前記第２画像の領域を検出する画像移
   動状態検出手段とを備えていることを特徴とする画像認
   識装置。
2. 【請求項２】 前記画像移動状態検出手段が比較する前
   記第２画像の範囲を限定する比較範囲限定手段を備えて
   いることを特徴とする請求項１記載の画像認識装置。
3. 【請求項３】 前記比較範囲限定手段が、画像認識装置
   が搭載された自動車の車速に応じて前記第２画像の比較
   範囲を変化させるものであることを特徴とする請求項２
   記載の画像認識装置。
4. 【請求項４】 撮影位置の異なる第１画像と第２画像と
   の画像データを比較し、その差から物体の距離を検出す
   るステレオ測距手段を備えた画像認識装置において、 前記ステレオ測距手段が、 前記第１画像の比較を行う画像領域を制限する領域制限
   手段と、 該領域制限手段により制限された前記第１画像の領域を
   複数の小領域に分割する分割手段と、 該小領域を前記第２画像の各部と比較し、該小領域と実
   質的に一致する前記第２画像の領域を検出する画像移動
   状態検出手段とを備えていることを特徴とする画像認識
   装置。
5. 【請求項５】 前記画像移動状態検出手段が比較する前
   記第２画像の範囲を限定する比較範囲限定手段を備えて
   いることを特徴とする請求項４記載の画像認識装置。
6. 【請求項６】 前記比較範囲限定手段が、画像を撮影す
   るカメラの設置状態に応じて前記第２画像の比較範囲を
   変化させるものであることを特徴とする請求項５記載の
   画像認識装置。
7. 【請求項７】 前記第１画像と前記第２画像は地面から
   の高さが同じ位置に設置されたカメラから撮影された画
   像であって、 前記比較範囲限定手段が、前記第２画像における前記小
   領域に対応する領域の水平方向に延びる領域を比較範囲
   とするものであることを特徴とする請求項５記載の画像
   認識装置。
8. 【請求項８】 撮影時間に時間差のある第１画像と第２
   画像との画像データを比較し、その差から物体の移動状
   態を検出するオプティカルフロー手段と、 撮影位置の異なる第３画像と第４画像との画像データを
   比較し、その差から物体の距離を検出するステレオ測距
   手段とを備えた画像認識装置であって、 前記オプティカルフロー手段と前記ステレオ測距手段と
   の検出結果から、移動物体の状態を検出する移動物体状
   態検出手段を備えていることを特徴とする画像認識装
   置。
9. 【請求項９】 前記第１画像と前記第３画像と前記第４
   画像とは同一のカメラにより撮影された画像であること
   を特徴とする請求項８記載の画像認識装置。
10. 【請求項１０】 画像認識装置が搭載された自動車の走
    行状態を検出する走行状態検出手段と、 前記走行状態検出手段の検出した走行状態と、前記ステ
    レオ測距手段により検出した物体までの距離とから、静
    止物の理論的オプティカルフローを演算する理論オプテ
    ィカルフロー演算手段と、 前記オプティカルフロー手段により検出されたオプティ
    カルフローと、前記理論オプティカルフロー演算手段に
    より算出されたオプティカルフローとを比較し、静止物
    を判定する静止物判定手段とを備えていることを特徴と
    する請求項９記載の画像認識装置。
11. 【請求項１１】 前記走行状態が、前記自動車の走行速
    度であることを特徴とする請求項１０記載の画像認識装
    置。
12. 【請求項１２】 前記走行状態が、前記自動車の旋回状
    態であることを特徴とする請求項１０記載の画像認識装
    置。
13. 【請求項１３】 前記旋回状態が、ステアリングの操作
    角度により検出されるものであることを特徴とする請求
    項１２記載の画像認識装置。
14. 【請求項１４】 前記旋回状態が、自動車の横方向の加
    速度を検出するヨーレートセンサにより検出されるもの
    であることを特徴とする請求項１２記載の画像認識装
    置。
15. 【請求項１５】 前記走行状態が、前記自動車のピッチ
    ング状態であることを特徴とする請求項１０記載の画像
    認識装置。
16. 【請求項１６】 前記ステレオ測距手段により検出され
    た路面上の所定物体までのステレオ測距距離と、カメラ
    の取付状態と前記所定物体の画像位置とから算出される
    該所定物体までの距離を算出する単一カメラ測距距離に
    基づき、ピッチング角度を演算するピッチング角度演算
    手段とを備えていることを特徴とする請求項１５記載の
    画像認識装置。
17. 【請求項１７】 前記ステレオ測距ができない部分を検
    出する死角検出手段と、 該死角検出手段により検出された死角部分については、
    カメラの取付状態と前記所定物体の画像位置とから算出
    される該所定物体までの距離を算出する単一カメラ測距
    手段による距離測定を行う距離測定補足手段とを備えて
    いることを特徴とする請求項８または請求項１０記載の
    画像認識装置。
18. 【請求項１８】 前記オプティカルフロー手段の検出結
    果により、前記ステレオ測距手段の動作を変更するステ
    レオ測距制御手段を備えていることを特徴とする請求項
    ８または請求項１０記載の画像認識装置。
19. 【請求項１９】 前記ステレオ測距制御手段が、前記ス
    テレオ測距手段が処理を行う画像の領域を、前記オプテ
    ィカルフロー手段の検出結果により移動物体が検出され
    た画像の領域に限定するものであることを特徴とする請
    求項１８記載の画像認識装置。
20. 【請求項２０】 前記ステレオ測距制御手段が、前記ス
    テレオ測距手段が画像処理を行う単位領域である小領域
    を、前記オプティカルフロー手段の検出結果に応じた大
    きさとするものであることを特徴とする請求項１８記載
    の画像認識装置。
21. 【請求項２１】 前記ステレオ測距制御手段が、前記ス
    テレオ測距手段が画像処理を行う単位領域である小領域
    を、前記オプティカルフロー手段の行った画像処理の単
    位領域と同じ大きさとするものであることを特徴とする
    請求項１８記載の画像認識装置。
22. 【請求項２２】 前記ステレオ測距手段が処理する画像
    が、前記オプティカルフロー手段が処理する画像の内、
    時間的に後に撮影された画像であることを特徴とする請
    求項８または請求項１０記載の画像認識装置。
23. 【請求項２３】 前記ステレオ測距手段の検出結果に基
    づいて算出される物体の地面からの高さから、立体物を
    検出する立体物検出手段と、 該立体物検出手段により検出された立体物が存在する画
    像の領域を、前記オプティカルフロー手段の画像処理領
    域とするオプティカルフロー制御手段とを備えているこ
    とを特徴とする請求項８または請求項１０記載の画像認
    識装置。
24. 【請求項２４】 前記オプティカルフロー制御手段が、
    前記立体物検出手段の検出結果に応じて、前記オプティ
    カルフロー手段が画像処理を行う単位領域である小領域
    の大きさを制御するものであることを特徴とする請求項
    ２３記載の画像認識装置。
25. 【請求項２５】 ステレオ測距を行う画像領域を自車の
    走行する車線内の領域とし、オプティカルフロー処理を
    行う画像領域を自車の走行する車線外の領域とする画像
    処理領域設定手段を備えていることを特徴とする請求項
    ８または請求項１０記載の画像認識装置。
26. 【請求項２６】 前記画像処理領域設定手段が、オプテ
    ィカルフロー処理により自車の走行する車線内への侵入
    が予想される移動物体が存在する画像の領域をステレオ
    測距を行う画像領域に加えるものであることを特徴とす
    る請求項２５記載の画像認識装置。
27. 【請求項２７】 ステレオ測距を行う画像領域を自車が
    進行する領域とし、オプティカルフロー処理を行う画像
    領域を自車が進行する領域外の領域とする画像処理領域
    設定手段を備えていることを特徴とする請求項８または
    請求項１０記載の画像認識装置。
28. 【請求項２８】 前記画像処理領域設定手段が、オプテ
    ィカルフロー処理により自車の進行する領域内への侵入
    が予想される移動物体が存在する画像の領域をステレオ
    測距を行う画像領域に加えるものであることを特徴とす
    る請求項２７記載の画像認識装置。
29. 【請求項２９】 前記自車が進行する領域が、自車の車
    幅と旋回状態により算出されるものであることを特徴と
    する請求項２７記載の画像認識装置。
30. 【請求項３０】 画像領域を分割する画像分割手段と、 該画像分割手段により分割された画像を時分割でオプテ
    ィカルフロー手段による画像処理領域とする時分割制御
    手段とを備えていることを特徴とする請求項８または請
    求項１０記載の画像認識装置。
31. 【請求項３１】 次にオプティカルフロー手段による処
    理領域となる領域の画像を記憶する記憶手段を備えてい
    ることを特徴とする請求項３０記載の画像認識装置。
32. 【請求項３２】 ステレオ測距に用いる２画像を交互に
    オプティカルフロー手段による処理画像とする画像選択
    手段を備えていることを特徴とする請求項３０記載の画
    像認識装置。