JPH07271978A

JPH07271978A - 画像処理装置

Info

Publication number: JPH07271978A
Application number: JP8415194A
Authority: JP
Inventors: Kazunori Onoguchi; 一則小野口; Mutsumi Watanabe; 睦渡辺
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-03-29
Filing date: 1994-03-29
Publication date: 1995-10-20

Abstract

(57)【要約】【目的】３次元空間中の直線式を投票することによ
り、平面の方程式を求めるため、３次元空間中の点の座
標値を投票する通常のHough 変換手法に比べ、メモリ容
量及び処理時間を大幅に軽減できる画像処理装置を提供
する。【構成】データ入力部１は、３次元空間中の直線のデ
ータを入力し、直線投票部２は、入力された３次元空間
中の直線を含む平面の法線ベクトル及び原点からの距離
を特徴空間へ投票し、平面抽出部３は、特徴空間から平
面のパラメータを抽出し、平面輪郭抽出部４は、抽出さ
れた平面を囲む直線群を求め、平面の輪郭を求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像中の直線を検出し
て画像処理を行う画像処理装置に関する。

【０００２】

【従来の技術】従来、３次元空間中での平面抽出は、３
次元空間中の点の（ｘ，ｙ，ｚ）座標値を、平面式を示
すパラメータを軸として３次元特徴空間へ投票し、その
投票結果のピークを求めて平面式を得るHough 変換手法
を用いて行われていた。

【０００３】そして、このHough 変換手法は、２次元画
像中で直線を検出する際、良く用いられている。

【０００４】例えば、２次元画像中の点（ｘ，ｙ）を通
る直線式をｙ＝ａｘ＋ｂとする。この直線式をｂ＝ｘａ
＋ｙと書き換えると、直線の傾きａ及びｙ切片ｂを軸と
するＡＢ空間において、傾きｘ、切片ｙの直線として表
される。つまり、ｙ＝ａｘ＋ｂなる直線が２次元画像中
に存在するならば、この直線上の各点（ｘ，ｙ）が生成
するＡＢ空間中の直線は、１点（ａ，ｂ）を通る。

【０００５】このため、記憶領域としてＡＢ空間を表す
２次元配列Ａを準備し、画像中の全点（ｘ，ｙ）に対し
て生成する直線群をＡＢ空間上に生成していく。そし
て、各直線が通る度にそれぞれの配列要素を１づつ加算
していくと、（ｘ，ｙ）空間中で直線ｙ＝ａｘ＋ｂが存
在する場合、ＡＢ空間中の点（ａ，ｂ）に対応する配列
Ａの要素値が大きくなる。

【０００６】これにより、ＡＢ空間中でピークを持つ配
列要素を検出することで画像中の直線を検出することが
できる。

【０００７】以上は、２次元空間における直線検出の例
であるが、３次元空間における平面検出の場合には、平
面：ｘ＋ｓｙ＋ｔｚ＋ｕ＝０上にある１点（ｘ，ｙ，
ｚ）に対して、（ｓ，ｔ，ｕ）空間に１つの平面を生成
し、ピークを求めることになる。

【０００８】しかし、この方法であると点情報を配列に
投票していくため、データを格納するためのメモリが膨
大となった。また、アクセスするデータ数も多いため多
大な処理時間を必要とした。

【０００９】また、近年、集積化技術の進歩に因るＴＶ
カメラ等の画像センサや処理プロセッサの小型化、高機
能化に伴い、ＴＶカメラをセンサとして利用する自律移
動車、移動作業ロボットの研究が活発に行われており実
用化が強く望まれている。

【００１０】自律移動車、移動作業ロボット等を構築す
る場合、移動可能領域を常時検知し、ステアリング、ス
ロットル等の制御を行う移動体制御装置が不可欠であ
る。

【００１１】ＴＶカメラをセンサとしてこれを実現する
際、従来の方式（例えば、屋外を走行する自律移動車で
利用されているもの）では、撮像系より得られた画像か
ら上記したHough 変換の手法を用いて道路領域の境界や
走行レーンを示す白線等の直線部を検出し、コンピュー
タビジョンにおける単眼カメラからの姿勢検出技術の利
用により移動体の走行レーンに対する相対的な傾き、路
肩からの距離を計算し、これを用いてステアリング、ス
ロットル等の制御を行う方式が提案されている。この処
理を高速に行うため、前時点での白線検出位置の近傍の
みを探索することにより、処理計算量を減らす手法が一
般的である。

【００１２】しかし、この従来方式では、隣接するレー
ンを走行する車両を誤って走行レーン境界として検出し
た場合、移動体の位置、姿勢の検出精度が大幅に低下す
るため、移動体制御が不確実になるという状況を引き起
こし易く、実用上多大な問題があった。

【００１３】

【発明が解決しようとする課題】上記したように従来の
Hough 変換手法は点情報を配列に投票していくため、デ
ータを格納するためのメモリが膨大となった。また、ア
クセスするデータ数も多いため多大な処理時間を必要と
した。

【００１４】そのため、第１の発明においては、３次元
空間中の点の座標値を投票する通常のHough 変換手法に
比べ、メモリ容量及び処理時間を大幅に軽減することが
できる画像処理装置を提供する。

【００１５】また、上記したように従来では、隣接する
レーンを走行する車両を誤って走行レーン境界として検
出した場合、移動体の位置、姿勢の検出精度が大幅に低
下するため、移動体制御が不確実になるという状況を引
き起こし易いという問題があった。

【００１６】そこで、第２の発明は、この問題点を解決
し、更に道路領域左端に駐車している車両の存在検知等
の情報抽出も行うことのできる実用的価値の高い画像処
理装置を提供する。

【００１７】

【課題を解決するための手段】第１の発明の画像処理装
置は、３次元空間中の直線のデータを入力するデータ入
力手段と、このデータ入力手段により入力された３次元
空間中の直線を特徴空間へ投票する直線投票手段と、こ
の直線投票手段により投票された特徴空間から平面のパ
ラメータを抽出する平面抽出手段と、この平面抽出手段
により抽出された平面のパラメータで形成される平面を
囲む直線群を求め、その直線群を平面の輪郭とする平面
輪郭抽出手段とを具備するものである。

【００１８】第２の発明の画像処理装置は、画像処理対
象となる移動面を移動する撮像系より画像を収集する画
像入力手段と、この画像入力手段により収集された画像
より前記移動面の領域を識別する直線部分を検出し、移
動領域境界候補領域を設定する直線検出手段と、この直
線検出手段より得られた移動領域境界候補領域にしたが
って探索領域を設定し、上記撮像された画像内の領域を
解析する解析手段とを有する。

【００１９】

【作用】第１の発明の画像処理装置について説明す
る。

【００２０】データ入力部は、３次元空間中の直線のデ
ータを入力する。

【００２１】直線投票部は、このデータ入力部により入
力された３次元空間中の直線を特徴空間へ投票する。

【００２２】平面抽出部は、この直線投票部により投票
された特徴空間から平面のパラメータを抽出する。

【００２３】平面輪郭抽出部は、この平面抽出部により
抽出された平面のパラメータで形成される平面を囲む直
線群を求め、その直線群を平面の輪郭とする。

【００２４】これにより、３次元空間中の点のデータで
はなく、その点列から得られる直線を投票するため、従
来のHough 変換手法に比べ、少ないメモリ容量と処理時
間で平面が抽出される。

【００２５】第２の発明の画像処理装置について説明す
る。

【００２６】画像入力手段は、移動体に付随したＴＶカ
メラ等から得られる画像処理対象となる移動面（例え
ば、道路）を移動する撮像系より画像を随時入力する。

【００２７】直線検出手段は、入力された画像より、走
行レーン等の前記移動面の領域を識別する直線部分を検
出する。

【００２８】解析手段は、この直線検出手段より得られ
た移動領域境界候補領域にしたがって探索領域を設定
し、上記撮像された画像内の領域を解析する。

【００２９】これにより、直線部分検出結果の近傍の画
像を解析することにより、これが走行レーン等の移動可
能領域の境界かどうかの検証を行い誤検出部分を取り除
くことができ、検出精度が向上する。この結果、移動体
の位置、姿勢計算精度が向上する。

【００３０】更に、近傍画像領域の解析の結果、駐車車
両の存在検知という、従来では得られない情報が簡便に
獲得でき、予測進路変更等の高度な移動体制御が実現で
きる。

【００３１】

【実施例】第１の発明第１の発明の一実施例を図１〜図１８に従い説明する。

【００３２】

【数１】図１は，本実施例における画像処理装置の概略構成を示
すもので、データ入力部１、直線投票部２、平面抽出部
３、平面輪郭抽出部４から構成されている。以下、各構
成を説明していく。［データ入力部１］データ入力部１は、ステレオ画像か
ら直線のエッジセグメントを抽出する。そして、左右画
像中のセグメントを形状を用いて対応づけし、直線セグ
メントの端点の３次元位置を計測して３次元の直線式を
求める。図２に示す通り、３次元空間中の各直線Ｌ
_iは、予め設定しておいた座標系ＸＹＺを基準とする両
端点Ａ_i、Ｂ_iの座標値の組（ｘ_ai，ｙ_ai，ｚ_ai）、
（ｘ_bi，ｙ_bi，ｚ_bi）として入力される。［直線投票部２］直線投票部２は、図１４に示すよう
に、平面式生成部５，パラメータ正規化部６，法線ベク
トル空間投票部７とよりなる。そして、データ入力部１
により入力される各直線Ｌ_iを、図３に示す処理手順に
従って処理し、法線ベクトル空間ＡＢＣに書き込んでい
く。以下、図３に基づいて説明する。

【００３３】ステップ１１において、全ての直線が入力
されたか否かを判断して、全ての直線が入力されていれ
ば終了し、そうでなければステップ１２に進む。

【００３４】ステップ１２において、平面式生成部５
は、図４に示すように直線Ｌ_iを含む平面Ｐ_i：ａ_iｘ＋ｂ_iｙ＋ｃ_iｚ＋ｄ_i＝０を求め
る。

【００３５】ステップ１３〜１７において、パラメータ
正規化部６は、Ｐ_iの法線ベクトルｎ_i＝（ａ_i，
ｂ_i，ｃ_i）を正規化する。

【００３６】つまり、

【００３７】

【数２】が成り立つ。

【００３８】ステップ１８において、法線ベクトル空間
投票部７は、各ベクトルｎ_ijに対し、法線ベクトル空間
ＡＢＣの座標位置（ａ_ij，ｂ_ij，ｃ_ij）に、直線番号Ｌ
_iとｄ_ijを登録して、ステップ１１に戻る。これは、平
面は、その法線ベクトルと、法線ベクトルと原点からの
距離によって決定されることに着目している。

【００３９】すなわち，平面Ｐ_iは、直線Ｌ_iを軸とし
て回転できる。つまり、Ｐ_iの法線ベクトルｎ_iは、図
５に示すように直線Ｌ_iを中心とし、直線Ｌ_iに垂直な
平面上に描かれた半径１の円周上の各点を結ぶベクトル
群ｎ_ij＝（ａ_ij，ｂ_ij，ｃ_ij）として求まるため、各ベ
クトルｎ_ijに対し、図６に示す法線ベクトル空間ＡＢＣ
の座標位置（ａ_ij，ｂ_ij，ｃ_ij）に、直線番号Ｌ_iとｄ
_ijを登録していく。以下、同様に（ａ_ik，ｂ_ik，ｃ_ik）
に、直線番号Ｌ_iとｄ_ikを登録し、（ａ_ih，ｂ_ih，
ｃ_ih）に、直線番号Ｌ_iとｄ_ihを登録していく。

【００４０】ここで、ｄ_ijは、ＸＹＺ座標系において、
直線Ｌ_iを通る法線ベクトルがベクトルｎ_ijであるとし
た際に設定される平面と座標原点との間の距離である。
法線ベクトル空間ＡＢＣの各座標位置は、図７に示すデ
ータ構造のメモリにアクセスすることができる。

【００４１】このデータ構造は、距離、エッジの本数、
エッジ番号の領域からなる。そして、現在登録しようと
している距離ｄ_ijに近い距離、つまり、予め設定してお
いた閾値Ｔｄに対して、｜ｄ_ij−ｄ_i｜＜Ｔｄを満たす
距離が、既に登録されている距離ｄ₁，ｄ₂，……の中
に存在する場合には、その距離のエッジ本数を１だけ増
やし、エッジ番号の領域の最後にＬ_iを付け加える。

【００４２】もし、距離ｄ_ijに近い距離が、存在しない
場合には、距離の領域にｄ_ijを新たに付加し、エッジ本
数の領域に１及びエッジ番号の領域の先頭にＬ_iを付加
する。

【００４３】データ入力部１により入力されたすべての
直線Ｌ_iに対し、上記の処理を行い法線ベクトル空間Ａ
ＢＣに登録していく。［平面抽出部３］平面抽出部３は、直線投票部２により
得られた法線ベクトル空間ＡＢＣを参照し、平面を抽出
する。まず、法線ベクトル空間ＡＢＣ中で、

【００４４】

【数３】の範囲で走査する。

【００４５】そして、各点（ａ，ｂ，ｃ）からアクセス
できる図７に示すデータを参照し、予め設定しておいた
エッジの本数Ｅ_n以上のエッジ本数を持つ距離ｄ_nが存
在するか否かを調べる。

【００４６】もし、存在するならば、ａｘ＋ｂｙ＋ｃｚ
＋ｄ_n＝０なる平面式を持つ平面が、ＸＹＺ空間中に存
在するとして、平面集合ＰＬにａ，ｂ，ｃ，ｄ_n及びエ
ッジ番号Ｌ_nを代入する。この処理により、Ｅ_n本以上
の直線を含んでいる３次元空間ＸＹＺ中の平面の集合Ｐ
Ｌが得られる。［平面輪郭抽出部４］平面輪郭抽出部４は、図１５に示
すように、近接直線抽出部８，平面存在領域検出部９，
輪郭線分算出部１０とよりなる。

【００４７】そして、平面抽出部３で得られた

【００４８】

【数４】に対し、平面の輪郭を求める。

【００４９】Ｐ_iが法線ベクトル（ａ_i，ｂ_i，
ｃ_i）、原点からの距離ｄ_iの平面であるとする。

【００５０】近接直線抽出部８は、図８に示すように、
Ｐ_iに含まれる各直線Ｌ_iにおいて、それぞれの端点間
の距離を算出し、距離の近い直線同士の集合を求める。
図８の例では、Ｓi ＝｛Ｌ₁，Ｌ₂，Ｌ₃，Ｌ₄｝，Ｓ
₂＝｛Ｌ₅，Ｌ₆，Ｌ₇｝なる２つの集合が求まる。

【００５１】平面存在領域検出部９は、この集合Ｓ_iの
中で、直線が３本以上含まれるものに対し、直線群のど
ちらに平面が存在しているかを以下の手順で決定する。（１）Ｓ_iに含まれる直線の中から任意に１本の直線
Ｌ_iを選び、その中点Ｍ_iとＳ_iに含まれる他の直線の
端点との間のベクトルｖ_iを求める（図９参照）。（２）Ｌ_iに垂直な平面上のベクトルＬＶ_iを求め、
各ベクトルｖ_iとの間の成す角度θ_iを求める（図９参
照）。（３）すべてのθ_iが、π／２＜θ_i＜π、または、
−π／２＜θ_i＜−πを満足する場合、直線Ｌ_iに対し
てベクトルＬＶ_iの方向と反対方向に平面を設定する
（図１０の斜線部分参照）。（４）すべてのθ_iが、−π／２＜θ_i＜π／２を満
足する場合、直線Ｌ_iに対してベクトルＬＶ_iの方向に
平面を設定する（図１１の斜線部分参照）。（５）（３）（４）を満足しない場合、Ｌ_iの両側に
平面を設定する（図１２の斜線部分参照）。

【００５２】輪郭線分算出部１０は、直線のどちら側に
面が存在するかを決定した後、各直線Ｌ_iを延長してそ
の交点を求め、平面を囲む輪郭線分を求める。図１３の
例では、直線Ｌ₁〜Ｌ₇を延長して、交点Ａ，Ｂ，Ｃ，
Ｄ，Ｅ，Ｆを求め、それぞれの交点を結ぶ線分、又は半
直線を求める。

【００５３】そして，平面の法線ベクトル（ａ_i，
ｂ_i，ｃ_i）及び原点からの距離ｄ_iに加え、これらの
平面を囲む輪郭線分（又は半直線）の集合を平面抽出結
果として出力する。

【００５４】本実施例では、平面輪郭抽出部４におい
て、直線Ｌ_iのどちらに面があるかを、直線Ｌ_iの中点
と各直線の端点を結んだベクトルに対する直線Ｌ_iの法
線ベクトルとの間のなす角度で判断しているが、この手
法に捕われる必要はなく、直線Ｌ_iの１端点と各直線の
端点とを結んだベクトルと直線Ｌ_iの法線ベクトルとの
なす角度を用いて判定する等他の手法も適用できる。

【００５５】図１６〜１８に本実施例を用いて平面を抽
出した実験結果を示す。

【００５６】図１６に示す部屋の風景を撮影したステレ
オ画像から、図１７に示す３次元空間中の直線群を抽出
し、図１８に示す平面群が得られる。

【００５７】第２の発明次に、第２の発明により自律自動車１００の制御装置を
作成した場合の一実施例について図１９〜３２に基づい
て説明する。

【００５８】図１９は、本実施例の自律自動車１００の
ブロック図であり、図２０は、この処理の流れを示すフ
ローチャートである。

【００５９】ＴＶカメラ１０１は、車の進行方向の道路
領域が入力されるように車の天井に下方に傾けて取り付
けられ、移動中の道路領域の撮像を行う（図２０におけ
るステップ２０１参照）。

【００６０】画像入力部１０２は、ＴＶカメラ１０１か
ら送信される画像をデジタル化し、直線検出部１０３及
び通路画像解析部１０４に送信する（図２０におけるス
テップ２０１参照）。

【００６１】直線検出部１０３は、このデジタル画像に
直線検出処理を施すことにより、走行レーンを示す白線
部の候補領域を検出する（図２０におけるステップ２０
２参照）。

【００６２】通路画像解析部１０４は、このデジタル画
像を用いて検出された直線部候補領域の近傍領域内部を
解析することにより、これが真の走行レーンかどうかの
検証及び駐車車両の存在判定を行う（図２０におけるス
テップ２０３参照）。

【００６３】制御指令生成部１０５は、走行レーンと判
定された直線部の位置情報及び駐車車両の存在判定情報
を用いて、車のステアリング、スロットルの制御指令を
作成する（図２０におけるステップ２０４，２０５参
照）。

【００６４】自律自動車１００の走行手段であるステア
リングアクチュエータ１０６及びスロットルアクチュエ
ータ１０７は、これらの制御信号に基づき、走行中のス
テアリング、スロットルの自動制御を行う（図２０にお
けるステップ２０６参照）。

【００６５】次に、図１９の各部の詳細な構成例を示
す。

【００６６】図２１に、画像入力部１０２、直線検出部
１０３、通路画像解析部１０４を１つの画像処理装置と
して実現した場合の構成例を示す。

【００６７】画像入力部１０２において、ＴＶカメラ１
０１により撮影された画像はＡ／Ｄ変換器１０８により
デジタル化された後、ＴＶインターフェイス１０９を介
して画像バス１１０に供給される。

【００６８】画像バス１１０からのデータ取り込みタイ
ミング制御及び処理データ送受信は、画像バス１１０と
独立に設けられた制御バス１１１を介して行われる。

【００６９】直線検出部１０３では、画像バス１１０上
に供給された原画像に対し、空間微分回路１１２により
輪郭エッジ部強調処理を行う。

【００７０】これは、例えば、

【００７１】

【数５】の係数を持つデジタル空間フィルタを各々施した後、こ
の出力の絶対値和を求めることにより実現され、結果を
画像バス１１０上に出力する。

【００７２】閾値回路１１３では、この出力結果に対
し、予め与えられた閾値以上の部分を走行レーン境界の
初期候補領域として抽出し、Hough 変換回路１１４にこ
の画像中の位置（Ｘｎ，Ｙｎ）を送信する。

【００７３】Hough 変換回路１１４では、送信された各
点Ｐｎ（Ｘｎ，Ｙｎ）に対し、 ρ＝Ｘｎ・ｓｉｎθ＋Ｙｎ・ｃｏｓθ ……（１）の変換を施し、（ρ，θ）空間メモリ１１５に、（１）
式で表される曲線の軌跡を累積する。

【００７４】（１）式の変換を行うことにより、画像平
面中で同一直線上の点における軌跡は同一の（ρ，θ）
点を通るため、例えば図２２(a) に示す中央分離線のよ
うに途切れた境界も安全に検出することができる。

【００７５】境界候補領域検出回路１１６では、この累
積値が予め与えられた閾値より大きいものを検出し、こ
の（ρ，θ）値に対応する座標値を走行レーン境界の候
補領域として求め、境界候補領域メモリ１１７に格納す
る。検出結果の例を図２２(b) に示す。

【００７６】通路画像解析部１０４では、境界候補領域
検出回路１１６で検出された個々の領域に対し、近傍領
域設定回路１１８によりこの近傍に探索のための矩形領
域を設定する。この探索領域は、検出された領域を１辺
とし、予め設定された長さを他辺として持つ矩形を、画
像左半分については右方向に、右半分に対しては左方向
に設定する。例えば、図２２(c) に示すように、路側帯
を表す線分に対しては右側ハッチ部分、中央分離線を
表す線分に対しては左側ハッチ部分のように、道路領
域に包含されるよう設定する。

【００７７】この設定された各近傍領域に対して、道路
領域検出回路１１９により、この領域内の画像濃度を解
析し、標準道路領域データメモリ１２０に格納された標
準値と比較することにより、候補領域に含まれる道路領
域部分の検出を行う。

【００７８】濃度の解析手法として例えば、ＴＶカメラ
１０１としてカラーカメラを用い、この出力からＲ，
Ｇ，Ｂの３信号を得る。走行前に予め、道路領域の平均
（Ｒ，Ｇ，Ｂ）値：（Ｒｅ，Ｇｅ，Ｂｅ）及び分散値：
（ρＲ，ρＧ，ρＢ）を求め、標準道路領域データメモ
リ１２０に格納しておく。走行中は、探索領域内の各点
の（Ｒ，Ｇ，Ｂ）値に対し、以下の条件（２）が満足さ
れれば、道路領域に属すると判定する。

【００７９】（Ｒ−Ｒｅ）²＜ρＲ、且つ、（Ｇ−Ｇｅ）²＜ρＧ、且つ、（Ｂ−Ｂｅ）²＜ρＢ ……（２）走行レーン判定回路１２１では、この検出結果に基づ
き、得られた候補領域が走行レーン境界かどうかの検証
を行う。

【００８０】例えば、図２３(a) に示すように、隣接す
る走行レーンを走る車両の輪郭部分を候補領域として
誤って検出した場合、この近傍領域の道路領域検出結果
は図２３(b) のようになり、領域中央部の中央分離帯の
部分が非道路領域となるため、は走行レーン境界では
ないと判定される。

【００８１】駐車車両有無判定回路１２２では、画像の
左半分から得られた境界候補の近傍領域に対する道路領
域検出結果を用いて、駐車車両の有無の判定を行う。

【００８２】例えば、図２４(a) に示すように駐車車両
が存在する場合、この近傍領域の道路領域検出結果は図
２４(b) のようになり、駐車車両の部分は非道路領域と
なる。この全面積に対する道路領域検出結果の比率を計
算し、予め与えられた閾値と比較し、この閾値より小さ
い場合は駐車車両が存在すると判定する。

【００８３】図２５に、制御指令生成部１０５の実現例
を示す。

【００８４】制御指令生成部１０５は前記制御バス１１
１に接続されており、前記走行レーン境界判定回路１２
１及び駐車車両有無判定回路１２２の出力を受取り、こ
れに基づきステアリング１０６、スロットルアクチュエ
ータ１０７を制御する信号を生成する。

【００８５】移動体姿勢計算回路１２３では、走行レー
ン境界（路側帯、中央分離帯）と判定された領域の位置
情報を用いて、車両の走行レーンに対する角度Θ、路側
帯境界からの距離ｘ及び中央分離帯境界からの距離ｙ
（図２６参照）を計算する。

【００８６】カメラの視線方向が道路面に平行な場合、
図２７に模式的に示すように、走行レーン方向と移動体
の視線方向のなす角度は、 Θ＝ｔａｎ^-1（ｒ／ｆ） ……（３）で与えられる。

【００８７】（３）式で、ｆは焦点距離、ｒは光軸中心
Ｏの撮像面への投影点Ｐと、撮像面に撮影された路側帯
境界の直線ｌと中央分離帯境界を結ぶ直線ｍの交点Ｑの
間の距離である。路側帯境界と中央分離帯境界は道路面
内で平行のため、Ｑは走行レーン方向の投影位置（消失
点）となる。図２８に、撮像面の投影結果を模式的に示
す。

【００８８】路側帯境界と光軸中心Ｏの間の距離ｘは、
カメラの取り付け高さをｚ、路側帯境界の投影直線ｌの
傾きをｌｈとして、ｘ＝ｚｃｏｓΘ／ｌｈ ……（４）で与えられる。

【００８９】同様に、中央分離帯境界の投影位置を結ぶ
直線ｍの傾きをｍｈとすれば、ｙ＝ｚｃｏｓΘ／ｍｈ ……（５）となる。

【００９０】図１９に示すようにＴＶカメラ１０１が道
路面に平行でなく傾いて取り付けられた場合は、得られ
た画像を逐次、視線方向が道路面に平行な状態の画像に
変換した後、（３）、（４）、（５）式を適用すること
により、車姿勢情報を得ることができる。

【００９１】ステアリング制御量計算回路１２４では、
この計算されたΘ、ｘ、ｙと現時点でのステアリング量
を用いて、次時点のステアリング制御量を計算し、ステ
アリングアクチュエータ１０６に送信する。次時点のス
テアリング制御量の計算は、例えば、Θが予め与えられ
た閾値より大きい場合（車両が斜行している場合）に、
この逆方向に現時点でのステアリング量を変化させる。
ｘが予め与えられた閾値よりも小さい場合（路側帯に近
付き過ぎている場合）に、ステアリングを右に切る。ｙ
が予め与えられた閾値よりも小さい場合（中央分離帯に
近付き過ぎている場合）に、ステアリングを左に切る等
の処理を行う。

【００９２】スロットル制御量計算回路１２５では、こ
の計算された、ｘ、ｙ及び駐車車両有無判定回路１２２
の出力と、現時点でのスロットル量を用いて、次時点の
スロットル制御量を計算し、スロットルアクチュエータ
１０７に送信する。次時点のスロットル制御量の計算は
例えば、駐車車両が存在し、ｘが予め与えられた閾値よ
りも小さい場合（路側帯に近付き過ぎている場合）、ｙ
が予め与えられた閾値よりも小さい場合（中央分離帯に
近付き過ぎている場合）に、衝突回避のためスロットル
を緩める等の処理を行う。

【００９３】以上述べた実施例に基づき本発明を構成す
ることにより、実用的価値の高い移動体制御装置が実現
できる。

【００９４】なお、本発明は前記の実施例に限定される
ものではない。

【００９５】例えば、図１９に示す構成例において、Ｔ
Ｖカメラ１０１を車１００の天井に下方に傾けて取り付
けたが、この代りに、車前方の左右ヘッドライトの中央
部付近に取り付けることにより、車１００の進行方向の
道路領域が入力されるように設定することが可能であ
る。

【００９６】また、図１９に示す例では車両内部に画像
入力部１０２、直線検出部１０３、通路画像解析部１０
４及び制御指令生成部１０５を格納する構成としたが、
この代りに、入力された画像を無線で送信することによ
り、これらの一部、または全部を車外の中継局に設置
し、車両の小形・軽量化を図ることも可能である。

【００９７】また、図２０に示す画像入力部１０２、直
線検出部１０３、通路画像解析部１０４の実施例におい
て、画像、制御信号を共通のバスに供給する構成とした
が、この代りに各部間にローカルな送受信線を設け、画
像、制御信号の交信を行うことも可能である。

【００９８】また、前記実施例では入力された画像をデ
ジタル化した後、画像バス１１０に供給する構成とした
が、この代りに複数枚の画像メモリを設け、複数時点の
原画像、または中間処理結果を蓄積することにより、処
理結果の信頼性を向上することも可能である。

【００９９】また、本発明を自動車の運転支援装置とし
て実施した場合、図２１に示す実施例に画像モニタ等の
外部表示装置を付加することにより、運転者にステアリ
ング、スロットル制御の指示を与えることも可能であ
る。

【０１００】また、音声出力装置を付加することによ
り、駐車車両の有無、ステアリング、スロットル制御の
指示を音声で運転者に伝達することも可能である。

【０１０１】また、直線検出部１０３において、Hough
変換回路１１４における（ρ、θ）空間メモリ１１５に
蓄積された累積値の大きいものを走行レーン境界の候補
として抽出したが、遮蔽されていない場合、図２２(b)
に示すように白線の左端、右端が一対となって検出され
るため、候補領域のうち白線の幅に対応する間隔を有す
る平行直線を選択することにより、道路領域解析の処理
量を減らし高速化することも可能である。

【０１０２】また、通路画像解析部１０４において、カ
ラーカメラから得られる（Ｒ，Ｇ，Ｂ）値を用いて道路
領域の検出を行う方式を用いたが、この代りに色合い、
色差を表す量である（Ｙ，Ｉ，Ｑ）値等、別種のカラー
情報を用いて同様の処理を行うことも可能である。

【０１０３】また、通路画像解析部１０４において、カ
ラーカメラから得られる（Ｒ，Ｇ，Ｂ）値を用いて道路
領域の検出を行う方式を用いたが、この代りに白黒カメ
ラから得られる明度情報を用いて同様の処理を行うこと
も可能である。

【０１０４】また、通路画像解析部１０４で得られた路
側帯境界と中央分離帯境界の中間部に探索領域を設け、
この領域内の画像を解析することにより、停止線、横断
歩道等通路上に書かれた標識の検出を行い、高度な移動
制御に利用することも可能である。

【０１０５】図２９に、解析処理例を模式的に示す。図
３０に、この道路上標識解析回路の構成例を示す。

【０１０６】道路上標識探索領域設定回路１２６では、
前記通路画像解析部１０４で得られた路側帯境界と中央
分離帯境界の位置情報を用いて、画像中に探索領域を設
定する。

【０１０７】白線部検出回路１２７、黄線部検出回路１
２８では、この領域内で白色、黄色を有する部分を各々
検出する。

【０１０８】停止線検出回路１２９では、この白線部検
出回路１２７の出力において路側帯境界、中央分離帯境
界両方に交差する長い白線の存在を検知することによ
り、停止線の検出を行う。

【０１０９】横断歩道検出回路１３０では、この白線部
検出回路１２７、または黄線部検出回路１２８の出力に
おいて、路側帯境界、中央分離帯境界双方とも交差せず
周期的な領域を検知することにより、横断歩道の検出を
行う。

【０１１０】これら停止線検出回路１２９及び横断歩道
検出回路１３０の出力は、前記制御指令生成部１０５に
送信され、左方への進路変更、停止のための減速等のス
テアリング、スロットル制御に用いられる。

【０１１１】また、図３１に示すように、路側帯上に駐
車車両が存在した場合、路側帯境界の画像上への投影直
線は、中央分離帯境界同様、途切れて検出される。この
場合も、前記直線検出部１０３におけるHough 変換回路
１１４により、安定に路側帯境界検出が実現できるが、
前記実施例で述べたように検索領域を、検出された領域
を１辺とし、予め設定された長さを他辺として持つ矩形
を右方向に設定すると、探索領域に対し駐車車両の占め
る比率が小さくなり、安定に検出が行えない。このよう
に、路側帯境界が途切れて検出された場合は、前記近傍
領域設定回路１１８において、図３２に示すように、探
索領域を検出された領域を中央部に含む矩形として設定
することにより、駐車車両の占める比率が大きくなり、
安定に駐車車両の検出が行える。

【０１１２】以上のように、本発明はその趣旨を逸脱し
ない範囲で、種々変形して実施することが可能である。

【０１１３】

【発明の効果】第１の発明によれば、３次元空間中の直
線式を投票することにより、平面の方程式を求めている
ため、３次元空間中の点の座標値を投票する通常のHoug
h 変換手段に比べ、メモリ容量及び処理時間を大幅に軽
減することができる。また、直線のどちら側が平面か
を、直線間のベクトルの角度により抽出しており、抽出
された平面の輪郭設定が容易である。

【０１１４】第２の発明によれば、走行レーン等の移動
可能領域の境界を示す直線部を検出するのみならず、検
出結果の近傍の画像を解析することにより直線部が領域
境界かどうかの検証を行い誤検出部分を取り除くことに
より、検出精度を向上できる。これは直接、移動体の位
置、姿勢計算精度の向上という多大な効果をもたらす。

【図面の簡単な説明】

【図１】第１の発明の一実施例の概略構成を示すブロッ
ク図である。

【図２】直線を説明する図である。

【図３】直線投票部２の処理フローを示す図である。

【図４】平面の方程式を説明する図である。

【図５】平面の法線ベクトルの回転方向を説明する図で
ある。

【図６】ＡＢＣ空間を説明する図である。

【図７】ＡＢＣ空間の各点のデータ構造を説明する図で
ある。

【図８】近接直線を説明する図である。

【図９】設定ベクトルを説明する図である。

【図１０】直線に対する面の位置を説明する図である。

【図１１】直線に対する面の位置を説明する図である。

【図１２】直線に対する面の位置を説明する図である。

【図１３】平面輪郭を説明する図である。

【図１４】直線投票部の詳細構成図である。

【図１５】平面輪郭抽出部の詳細構成図である。

【図１６】実験結果における入力ステレオ画像である。

【図１７】実験結果における入力３次元空間中の直線で
ある。

【図１８】実験結果における抽出平面である。

【図１９】第２の発明の一実施例を示すブロック図であ
る。

【図２０】本実施例の処理の流れを示すフローチャート
である。

【図２１】画像入力部、直線検出部、通路領域解析部を
１つの画像処理装置として実現した場合の構成例であ
る。

【図２２】処理結果例の図である。

【図２３】走行レーン境界判定回路の処理結果例の図で
ある。

【図２４】駐車車両有無判定回路の処理結果例の図であ
る。

【図２５】制御指令生成部の実現例のブロック図であ
る。

【図２６】走行幅の車両の姿勢を示す説明図である。

【図２７】カメラと路側帯の配置を示す説明図である。

【図２８】撮像面に投影された路側帯、中央分離帯境界
の図である。

【図２９】道路と標識の解析処理例の図である。

【図３０】道路標識解析回路のブロック図である。

【図３１】路側帯上の駐車車両の存在を示す説明図であ
る。

【図３２】図３１における探索領域設定法の図である。

【符号の説明】

１データ入力部２直線投票部３平面抽出部４平面輪郭抽出部５平面式生成部６パラメータ正規化部７法線ベクトル空間投票部８近接直線抽出部９平面存在領域検出部１０輪郭線分算出部１００自律自動車１０２画像入力部１０３直線検出部１０４通路領域解析部

Claims

【特許請求の範囲】

【請求項１】３次元空間中の直線のデータを入力するデ
ータ入力手段と、このデータ入力手段により入力された３次元空間中の直
線を特徴空間へ投票する直線投票手段と、この直線投票手段により投票された特徴空間から平面の
パラメータを抽出する平面抽出手段と、この平面抽出手段により抽出された平面のパラメータで
形成される平面を囲む直線群を求め、その直線群を平面
の輪郭とする平面輪郭抽出手段とを具備することを特徴
とする画像処理装置。
【請求項２】前記直線投票手段の特徴空間が、平面の法
線ベクトルをそれぞれ３つの軸とする３次元特徴空間で
あり、その投票された直線を含む平面群の各法線ベクトルを求
め、それぞれの各法線ベクトルが示す特徴空間中の各位
置に、その法線ベクトルが表す平面と入力時の３次元座
標空間における原点との間の距離を投票することを特徴
とする請求項１記載の画像処理装置。
【請求項３】前記平面輪郭抽出手段は、前記平面抽出手段により得られた平面上の直線のどちら
側が平面かを、直線間のベクトルの角度により判定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】前記データ入力手段は、ステレオ画像から直線のエッジセグメントを抽出し、前
記ステレオ画像中のセグメントを形状を用いて対応づけ
し、直線セグメントの端点の３次元位置を計測して３次
元の直線式を求めることを特徴とする請求項１記載の画
像処理装置。
【請求項５】画像処理対象となる移動面を移動する撮像
系より画像を収集する画像入力手段と、この画像入力手段により収集された画像より前記移動面
の領域を識別する直線部分を検出し、移動領域境界候補
領域を設定する直線検出手段と、この直線検出手段より得られた移動領域境界候補領域に
したがって探索領域を設定し、上記画像内の当該領域を
解析する解析手段とを有することを特徴とする画像処理
装置。
【請求項６】前記解析手段は、移動領域境界候補領域の近傍に設定された探索領域をカ
ラー情報を用いて解析することにより、前記移動領域境
界候補領域の検証を行うことを特徴とする請求項５記載
の画像処理装置。
【請求項７】前記解析手段は、移動領域境界候補領域の近傍に設定された探索領域をカ
ラー情報を用いて解析することにより、前記移動面に存
在する物体の有無を判定することを特徴とする請求項５
記載の画像処理装置。
【請求項８】前記解析手段は、前記移動面における走行レーン境界を判定し、この走行レーン境界と判定された領域の近傍に設定され
た探索領域をカラー情報を用いて解析することにより、
前記移動面における停止線の有無を判定することを特徴
とする請求項５記載の画像処理装置。
【請求項９】前記解析手段は、前記移動面における走行レーン境界を判定し、この走行レーン境界と判定された領域の近傍に設定され
た探索領域をカラー情報を用いて解析することにより、
前記移動面における横断歩道の有無を判定することを特
徴とする請求項５記載の画像処理装置。