JPH04305709A - 移動車の環境認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理により移動車前
方の環境を認識する移動車の環境認識装置に関するもの
である。

【０００２】

【従来の技術】従来、移動車前方の環境認識として前方
車両の位置や速度を知るためにレーダやカメラ等の視覚
装置を用いたり、車車間通信を利用している。また、カ
メラ等にて捉えた画像間の相関をとつたり、得られた画
像に対して所定の演算を施すことで道路構造を認識して
いる。

【０００３】

【発明が解決しようとしている課題】しかしながら、上
記従来のレーダやカメラ等の視覚装置を用いる方法では
、自車両前方に位置するものが車両か、あるいは車両以
外の他の物体かの判別が困難であつたり、道路面の位置
が判別できないと前方車両との距離を算出できないとい
う問題がある。

【０００４】また、複数のカメラ等を用いてステレオ視
（立体視）にて前方車両や道路の立体構造を認識する方
法では、各画像間の対応点を出すための処理が複雑で時
間がかかるという問題がある。さらに、車車間通信を利
用して前方車両を認識する方法では、通信の利用が車車
間通信を行なえる車両同志に限定されるため、汎用性に
欠けるという問題がある。

【０００５】

【課題を解決するための手段】本発明は上述の課題を解
決することを目的としてなされたもので、上述の課題を
解決するための手段として、以下の構成を備える。即ち
、画像を入力する画像入力手段と、入力画像の特定部分
を抽出する手段と、抽出された特定部分が画像上にて所
定の大きさで、かつ所定の位置に得られるよう前記画像
入力手段を制御する手段と、焦点距離、及び焦点位置に
基づいて、該特定部分までの距離を検出する手段と、前
記画像入力手段の方向を検出する手段と、該距離と該方
向とに基づいて車両前方の環境を認識する手段とを備え
る。

【０００６】

【作用】以上の構成において、画像情報をもとに車両前
方の環境認識を容易に行なえる。

【０００７】

【実施例】以下、添付図面を参照して本発明に係る好適
な実施例を詳細に説明する。 ＜第１実施例＞本発明に係る第１の実施例における前方
車両の認識方法について説明する。図１は、本発明の実
施例に係る移動車の環境認識装置（以下、装置という）
全体の構成を示すブロツク図である。同図において、カ
メラ１は、例えば、広角レンズを備え、車両前方の環境
を画像として捉え、それを画像情報として環境認識装置
２に送る。環境認識装置２は入力した画像情報をもとに
環境認識を行なつて前方車両を抽出し、さらに、その前
方車両の特徴点を抽出して抽出結果をＣＰＵ３に送る。

【０００８】ＣＰＵ３は、環境認識装置２からの特徴点
抽出結果をもとに雲台コントロ−ラ８に制御信号を送り
、環境認識装置２にて抽出された特徴点にカメラ４が向
くよう雲台６を上下左右に駆動する。カメラ４にて捉え
られた画像は特徴点追尾装置７に入力され、ＣＰＵ３は
特徴点追尾装置７の出力画像をもとにカメラ４が特徴点
を向いていることを確認するとレンズコントロ−ラ９に
信号を送る。この信号によりカメラ４のレンズ機構５の
ズームが制御され、環境認識装置２にて抽出された特徴
点が拡大されて画面所定の位置に来る。この特徴点の拡
大終了後、ＣＰＵ３は再度レンズコントロ−ラ９を制御
して、特徴点までの距離を算出するためにレンズ機構５
の焦点を調整する。

【０００９】ＣＰＵ３は、後述するように特徴点に対す
るカメラ４の上下左右の向き、及びレンズ機構５による
焦点距離をもとに前方車両の動きとして、その位置変化
、速度を算出する。次に、本実施例の装置における前方
車両の認識制御について説明する。図２は、本実施例に
係る装置における前方車両の認識制御手順を示すフロー
チヤートである。同図において、ステツプＳ１で、環境
認識装置２はカメラ１から入力した画像情報をもとに自
車両前方の環境認識を行い、例えば、路上に落とされた
影の動きや画像上の温度分布等により画像情報の中から
前方車両を抽出する。ステツプＳ２では、ステツプＳ１
で抽出された前方車両の一部を特徴点として抽出する。 ここでは、その特徴点として車両のナンバープレートを
抽出する。尚、ナンバープレートの抽出は、例えば、抽
出された前方車両の画像における色や位置等をもとに行
なう。そして、環境認識装置２は、ステツプＳ３で、画
面上における特徴点として抽出されたナンバープレート
の位置を求める。

【００１０】図３は、カメラ１にて入力した自車両前方
の環境画像であり、画面１１内に前方車両１２が画像と
して捉えられている様子を示す。上述の如く、環境認識
装置２は、前方車両１２の画像の破線１３内に位置する
ナンバープレート１４を抽出し、画面１１上でのナンバ
ープレート１４の位置をＣＰＵ３に通知する。ＣＰＵ３
は、ステツプＳ４で、環境認識装置２からの特徴点抽出
結果、即ち、ナンバープレートの位置をもとに、雲台コ
ントロ−ラ８に制御信号を送り、カメラ４がナンバープ
レート１４に向くよう雲台６を上下左右に駆動する。そ
の結果、カメラ４にて捉えられたナンバープレート１４
は、特徴点追尾装置７を介してＣＰＵ３に入力されるの
で、ＣＰＵ３は特徴点追尾装置７の出力画像をもとに、
カメラ４が特徴点であるナンバープレート１４の方向を
正確に捉えていることを確認する。

【００１１】次のステツプＳ５では、ＣＰＵ３はレンズ
コントロ−ラ９に信号を送り、カメラ４のレンズ機構５
のズームを制御して環境認識装置２にて抽出されたナン
バープレート１４を拡大し、その拡大画像が画面所定の
位置に来るようにする。つまり、図４に示すように、図
３の破線部１３を、ナンバープレート１４が画面１６上
でその幅がｌに等しく、かつその中心が画面１６に設け
たスキヤンライン１５に一致するように拡大し、その後
、焦点調整をする。

【００１２】尚、ナンバープレートについては、その大
きさは車両の種類によらず略一定であるため、一定の距
離だけ離れた位置にあるナンバープレートに対しては、
一定のズームを施すことにより画面上での大きさを常に
一定にすることができる。また、カメラ１とカメラ４と
は、相互に視差はないものとする。また、レンズ機構の
焦点を調整することで特徴点までの距離を算出する方法
は公知であるため、その説明は省略する。

【００１３】ステツプＳ６では、特徴点であるナンバー
プレートを捉えたときのカメラの向き、及び特徴点まで
の距離をもとに前方車両の動きを算出する。具体的に説
明すると、図５、図６、及び図７に示すようにカメラ４
の基準方向、即ち、水平、垂直方向の振れが零であると
きのカメラの向きを一点鎖線にて示すと、図５に示すよ
うにナンバープレート１４が水平方向に角度にしてθ右
方向にずれ、かつ図６に示すように垂直方向に角度ψ下
がる位置にある場合、その焦点調整にて得た距離をｄと
したときのナンバープレート１４の相対位置（ｘ，ｙ，
ｚ）は、以下の式にて求めることができる。

【００１４】 　　ｘ＝ｄｃｏｓθ・ｓｉｎψ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
…（１）　　ｙ＝ｄｃｏｓθ・ｃｏｓψ　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　…（２）　　ｚ＝ｄｃｏｓθ　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　…（３）このように、ナン
バープレート１４を画面上の所定位置に保つための雲台
駆動制御を所定時間間隔で実施し、画像毎のカメラ角度
とナンバープレートまでの位置を逐一追跡することで、
前方車両の位置と速度を算出する。

【００１５】ステツプＳ７で、ナンバープレート１４の
追尾終了か否かを判定し、追尾が終了していなければ、
再度ステツプＳ４に戻つて雲台制御を行なう。しかし、
ステツプＳ７で追尾制御が終了していると判定されれば
、ステツプＳ８で次の目標検出を行なうか否かの判定を
し、検出目標がなければ本処理は終了となるが、検出目
標があればステツプＳ１に戻つて環境認識をする。

【００１６】以上説明したように、上記第１の実施例に
よれば、画像処理にて前方車両、及びその車両の特徴点
としてナンバープレートを認識し、画像上でのナンバー
プレートの位置、及び大きさが固定されるようカメラの
ズーム制御や焦点調整を行なうことで、容易かつ高速に
前方車両の位置変化や速度を検出できるという効果があ
る。

【００１７】尚、上記実施例では、カメラ１にて前方車
両を画像として捉え、カメラ４にて前方車両の特徴点追
尾を行なつているが、スイツチ切換えにてカメラ４のみ
にて環境認識、及び特徴点追尾を行なうようにしてもよ
い。また、前方車両の特徴点としては、ナンバープレー
ト以外に車両の特徴を表わすものとしてストツプランプ
を用いてもよい。 ＜第２実施例＞次に、本発明に係る第２の実施例につい
て説明する。

【００１８】図８は、第２の実施例に係る移動車の環境
認識装置（以下、装置という）全体の構成を示すブロツ
ク図である。本装置では、移動車での環境認識として道
路構造を認識する。図８において、雲台６に搭載された
カメラ４は、レンズ機構５として、例えば、ズームレン
ズや焦点調整機能を備えており、レンズ機構５を介して
捉えた車両前方の環境を画像情報として画像処理装置２
に送る。画像処理装置２は入力した画像情報をもとに道
路上の白線検出や後述する走査を行なつて道路構造を抽
出し、その結果をＣＰＵ３に送る。

【００１９】ＣＰＵ３は、画像処理装置２での画像処理
結果をもとに雲台コントロ−ラ８に制御信号を送ること
で、道路構造を認識するために所定方向にカメラ４が向
くよう雲台６を上下左右方向に駆動する。このときの雲
台６の上下方向の角度、及び左右の回転角度は傾き検出
センサー２２にて検出され、検出結果はＣＰＵ３に送ら
れる。さらに、ＣＰＵ３は、画像処理装置２からの画像
をもとに、カメラ４が所定の道路環境を捉えていると判
断したときは焦点制御装置２１に信号を送る。その結果
、レンズ機構５にて焦点距離調整、及び焦点調整が行な
われる。

【００２０】また、ＣＰＵ３は、後述するようにカメラ
４の上下左右の回転角度、及びレンズ機構５による焦点
距離をもとに道路構造を認識する。次に、本実施例の装
置における道路構造の認識制御について説明する。図９
は、本実施例に係る装置における道路構造の認識制御手
順を示すフローチヤートである。同図において、ステツ
プＳ１１で、画像処理装置２は画像処理としてカメラ４
にて捉えた車両前方の道路画像から白線抽出を行ない、
車道の外側の路側帯、及び隣り車線との境界線を認識す
る。次のステツプＳ１２では、ＣＰＵ３は雲台コントロ
−ラ８に信号を送り、ステツプＳ１１で認識された路側
帯、及び車線境界線の両方が一画面内に入るようカメラ
４の向きを調整する。図１０に、路側帯２５、及び車線
境界線２６の両方が一画面内に入つたときの様子を示す
。

【００２１】ステツプＳ１３では、後述する画面上の所
定水平走査ライン上における、これらの路側帯、及び車
線境界線の両方の存在を判定する。高速道路を例にとる
と、通常、路側帯は連続する線であるが車線境界線は不
連続であるため、路側帯、及び車線境界線の両方が水平
走査ライン上に常に存在するとは言えない。そこで、ス
テツプＳ１３での判定結果がＮＯであれば、次の走査ラ
インに移行するためにステツプＳ１４で走査順序を示す
値ｎを１だけインクリメントしてステツプＳ１３に戻る
。

【００２２】しかし、ステツプＳ１３での判定がＹＥＳ
であればステツプＳ１５に進み、ＣＰＵ３は焦点制御装
置２１に信号を送つて、図１１に示すように、走査時の
路側帯、車線境界線間隔ｌが画面上でＬに等しくなるよ
うレンズ機構５の焦点距離、及び焦点を調整する。そし
て、続くステツプＳ１６で、Ｌ／２の位置と路側帯、車
線境界線の中心とが一致するよう雲台コントロ−ラ８に
制御信号を送り、雲台６の上下左右の角度を調整する。

【００２３】ステツプＳ１７では、そのときの雲台６の
上下左右の角度（後述するθ，ψ）、及び焦点距離をデ
ータとして取り込み、ステツプＳ１８で、次の走査を行
なうためにｎを１だけインクリメントする。そして、ス
テツプＳ１９では、ｎ＝Ｎ、つまり、走査が最終走査に
至つたか否かの判定を行なう。これらの処理を具体的に
説明すると、図１１に示すように画面下方ｎ＝１から走
査を開始し、無限遠点近辺ｎ＝Ｎまで走査を行なう場合
、ｎ＝１に対応する最初の走査時におけるレンズ機構５
は、図１０に示した道路画像を抽出したときの焦点距離
、及び焦点調整に等しくする。そして、以降、ｎ＝２，
３，…Ｎのように走査がカメラ遠方になるに従つて、そ
の走査に対応する路側帯、車線境界線間隔ｌについては
、常にｌ＝Ｌの関係を保ちながら焦点距離の変化を次第
に大きくする。つまり、焦点距離に関しては、ｆ１＜ｆ
２＜…＜ｆＮの関係が成立する。

【００２４】ステツプＳ１９での判定で、走査が終了し
ていなければ再度ステツプＳ１１に戻るが、走査が終了
したと判定されればステツプＳ２０に進んで、データと
して取り込んだ雲台６の上下左右の角度やレンズ機構５
の焦点距離をもとに、後述する方法にて道路構造を算出
する。このとき、走査ライン上に路側帯、及び車線境界
線の両方が存在しないということで、ステツプＳ１３で
飛び越した走査に対応する道路構造については、その走
査の前後で正規に得られた道路構造にて補間する。

【００２５】尚、画面下方はカメラ４の手前側になり、
道路面までの距離が正確に算出できるので走査を画面下
方から開始する。また、最初の走査ラインであるｎ＝１
に対応する路側帯、車線境界線間隔ｌは、あらかじめ、
その走査ラインに対するカメラ４の傾き角度、及び焦点
距離を測定することで、容易に知ることができ、特に高
速道路においては、ｌは略一定の値をとるので、本実施
例ではこのｌを基準値として用いている。

【００２６】次に、道路構造の認識方法を具体的に説明
する。今、図１２に示すように一点鎖線３２を水平線と
し、ある走査時に得られた垂直方向のカメラの傾き角度
がψ、及び焦点距離がＤであり、また、図１３に示すよ
うにカメラ４の水平方向への振れ角がθであるとき、カ
メラ４から、そのときの走査線に対応する点Ａまでの水
平距離ｔは、 　　ｔ＝Ｄｃｏｓθ・ｃｏｓψ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
…（４）にて求めることができる。また、図１２に示し
た、そのときの走査線に対応する道路面の高さｈは、道
路平坦面の延長線（図１２の破線）と点Ａとの垂直距離
であるから、 　　ｈ＝Ｈ−Ｄｓｉｎψ　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　…（５）にて求まる。

【００２７】さらに、道路のカーブ状況（本実施例では
、右カーブ）は、カメラの水平方向への振れ角と焦点距
離にて求めることができるので、図１２、及び図１３を
参照して点Ａの水平方向のずれｋは、　　ｋ＝Ｄｃｏｓ
ψ・ｃｏｓθ　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　…（６）となる。

【００２８】これらの式（４），（５），及び（６）を
用いてｎ＝１からｎ＝Ｎまでの各走査に対応するｔ，ｈ
，ｋを算出し、それらをもとに道路構造としての道路面
の高さやカーブの状況を立体的に認識する。以上説明し
たように、第２の実施例によれば、車両前方の近端から
遠端までの路側帯と車線境界線との間隔が画面上で所定
の幅となるようにカメラの焦点距離を調整し、近端から
遠端までの走査に対応するカメラの水平垂直角度、及び
焦点距離をもとに逐一カメラから道路面までの距離を算
出することで、道路構造を容易に認識できるという効果
がある。

【００２９】

【発明の効果】以上説明したように、本発明によれば、
複数のカメラでステレオ視することなく、入力した画像
情報から道路構造等の車両前方の環境を容易、かつ高速
に認識することができるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る移動車の環境認識
装置全体の構成を示すブロツク図、

【図２】第１実施例に係る装置における前方車両の認識
制御手順を示すフローチヤート、

【図３】カメラ１にて入力した自車両前方の環境画像を
示す図、

【図４】図３の破線部１３を拡大した図、

【図５】カメ
ラ４の基準方向に対する水平方向の振れを示す図、

【図６】カメラ４の基準方向に対する垂直方向の振れを
示す図、

【図７】カメラ４の基準方向に対する水平垂直方向の振
れを示す立体図、

【図８】第２の実施例に係る移動車の環境認識装置全体
の構成を示すブロツク図、

【図９】第２の実施例に係る装置における道路構造の認
識制御手順を示すフローチヤート、

【図１０】路側帯、及び車線境界線の両方が一画面内に
入つたときの様子を示す図、

【図１１】路側帯、車線境界線間隔が画面上で所定間隔
に等しくなるようにレンズの焦点距離、及び焦点を調整
したときの様子を示す図、

【図１２】カメラの垂直方向の傾き角度と焦点距離との
関係を示す図、

【図１３】カメラの水平方向への振れ角を示す図である
。

【符号の説明】

１，４　　カメラ ２　　　　　　環境認識装置 ３　　　　　　ＣＰＵ ５　　　　　　レンズ機構 ６　　　　　　雲台 １０　　　　画像処理装置 １４　　　　ナンバープレート ２５　　　　路側帯 ２６　　　　車線境界線

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　画像を入力する画像入力手段と、入力
   画像の特定部分を抽出する手段と、抽出された特定部分
   が画像上にて所定の大きさで、かつ所定の位置に得られ
   るよう前記画像入力手段を制御する手段と、焦点距離、
   及び焦点位置に基づいて、該特定部分までの距離を検出
   する手段と、前記画像入力手段の方向を検出する手段と
   、該距離と該方向とに基づいて車両前方の環境を認識す
   る手段とを備えたことを特徴とする移動車の環境認識装
   置。