JP3020634B2 - 移動車の環境認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理により移動車前
方の環境を認識する移動車の環境認識装置に関するもの
である。

【０００２】

【従来の技術】従来、移動車前方の環境認識として前方
車両の位置や速度を知るためにレーダやカメラ等の視覚
装置を用いたり、車車間通信を利用している。また、カ
メラ等にて捉えた画像間の相関をとつたり、得られた画
像に対して所定の演算を施すことで道路構造を認識して
いる。

【０００３】

【発明が解決しようとしている課題】しかしながら、上
記従来のレーダやカメラ等の視覚装置を用いる方法で
は、自車両前方に位置するものが車両か、あるいは車両
以外の他の物体かの判別が困難であつたり、道路面の位
置が判別できないと前方車両との距離を算出できないと
いう問題がある。

【０００４】また、複数のカメラ等を用いてステレオ視
（立体視）にて前方車両や道路の立体構造を認識する方
法では、各画像間の対応点を出すための処理が複雑で時
間がかかるという問題がある。さらに、車車間通信を利
用して前方車両を認識する方法では、通信の利用が車車
間通信を行なえる車両同志に限定されるため、汎用性に
欠けるという問題がある。

【０００５】

【課題を解決するための手段】上述の課題を解決し目的
を達成するため、本発明は以下の構成を備える。即ち、
画像を撮像する撮像手段と、撮像画像の特定部分を抽出
する抽出手段と、抽出された特定部分に向くように前記
撮像手段を上下左右に駆動すると共に、該特定部分が拡
大されて画像上にて所定の大きさで、かつ所定の位置に
得られるよう前記撮像手段のズームを制御する制御手段
と、焦点距離と、前記撮像手段の撮像方向に対する該特
定部分の存在位置のずれ量とに基づいて、該特定部分ま
での距離を検出する距離検出手段と、前記撮像手段の方
向を検出する方向検出手段と、前記距離と方向とに基づ
いて、車両前方の環境を認識する認識手段とを備える。

【０００６】

【作用】以上の構成において、画像情報をもとに車両前
方の環境認識を容易に行なえる。

【０００７】

【実施例】以下、添付図面を参照して本発明に係る好適
な実施例を詳細に説明する。 ＜第１実施例＞本発明に係る第１の実施例における前方
車両の認識方法について説明する。図１は、本発明の実
施例に係る移動車の環境認識装置（以下、装置という）
全体の構成を示すブロツク図である。同図において、カ
メラ１は、例えば、広角レンズを備え、車両前方の環境
を画像として捉え、それを画像情報として環境認識装置
２に送る。環境認識装置２は入力した画像情報をもとに
環境認識を行なつて前方車両を抽出し、さらに、その前
方車両の特徴点を抽出して抽出結果をＣＰＵ３に送る。

【０００８】ＣＰＵ３は、環境認識装置２からの特徴点
抽出結果をもとに雲台コントロ−ラ８に制御信号を送
り、環境認識装置２にて抽出された特徴点にカメラ４が
向くよう雲台６を上下左右に駆動する。カメラ４にて捉
えられた画像は特徴点追尾装置７に入力され、ＣＰＵ３
は特徴点追尾装置７の出力画像をもとにカメラ４が特徴
点を向いていることを確認するとレンズコントロ−ラ９
に信号を送る。この信号によりカメラ４のレンズ機構５
のズームが制御され、環境認識装置２にて抽出された特
徴点が拡大されて画面所定の位置に来る。この特徴点の
拡大終了後、ＣＰＵ３は再度レンズコントロ−ラ９を制
御して、特徴点までの距離を算出するためにレンズ機構
５の焦点を調整する。

【０００９】ＣＰＵ３は、後述するように特徴点に対す
るカメラ４の上下左右の向き、及びレンズ機構５による
焦点距離をもとに前方車両の動きとして、その位置変
化、速度を算出する。次に、本実施例の装置における前
方車両の認識制御について説明する。図２は、本実施例
に係る装置における前方車両の認識制御手順を示すフロ
ーチヤートである。同図において、ステツプＳ１で、環
境認識装置２はカメラ１から入力した画像情報をもとに
自車両前方の環境認識を行い、例えば、路上に落とされ
た影の動きや画像上の温度分布等により画像情報の中か
ら前方車両を抽出する。ステツプＳ２では、ステツプＳ
１で抽出された前方車両の一部を特徴点として抽出す
る。ここでは、その特徴点として車両のナンバープレー
トを抽出する。尚、ナンバープレートの抽出は、例え
ば、抽出された前方車両の画像における色や位置等をも
とに行なう。そして、環境認識装置２は、ステツプＳ３
で、画面上における特徴点として抽出されたナンバープ
レートの位置を求める。

【００１０】図３は、カメラ１にて入力した自車両前方
の環境画像であり、画面１１内に前方車両１２が画像と
して捉えられている様子を示す。上述の如く、環境認識
装置２は、前方車両１２の画像の破線１３内に位置する
ナンバープレート１４を抽出し、画面１１上でのナンバ
ープレート１４の位置をＣＰＵ３に通知する。ＣＰＵ３
は、ステツプＳ４で、環境認識装置２からの特徴点抽出
結果、即ち、ナンバープレートの位置をもとに、雲台コ
ントロ−ラ８に制御信号を送り、カメラ４がナンバープ
レート１４に向くよう雲台６を上下左右に駆動する。そ
の結果、カメラ４にて捉えられたナンバープレート１４
は、特徴点追尾装置７を介してＣＰＵ３に入力されるの
で、ＣＰＵ３は特徴点追尾装置７の出力画像をもとに、
カメラ４が特徴点であるナンバープレート１４の方向を
正確に捉えていることを確認する。

【００１１】次のステツプＳ５では、ＣＰＵ３はレンズ
コントロ−ラ９に信号を送り、カメラ４のレンズ機構５
のズームを制御して環境認識装置２にて抽出されたナン
バープレート１４を拡大し、その拡大画像が画面所定の
位置に来るようにする。つまり、図４に示すように、図
３の破線部１３を、ナンバープレート１４が画面１６上
でその幅がｌに等しく、かつその中心が画面１６に設け
たスキヤンライン１５に一致するように拡大し、その
後、焦点調整をする。

【００１２】尚、ナンバープレートについては、その大
きさは車両の種類によらず略一定であるため、一定の距
離だけ離れた位置にあるナンバープレートに対しては、
一定のズームを施すことにより画面上での大きさを常に
一定にすることができる。また、カメラ１とカメラ４と
は、相互に視差はないものとする。また、レンズ機構の
焦点を調整することで特徴点までの距離を算出する方法
は公知であるため、その説明は省略する。

【００１３】ステツプＳ６では、特徴点であるナンバー
プレートを捉えたときのカメラの向き、及び特徴点まで
の距離をもとに前方車両の動きを算出する。具体的に説
明すると、図５、図６、及び図７に示すようにカメラ４
の基準方向、即ち、水平、垂直方向の振れが零であると
きのカメラの向きを一点鎖線にて示すと、図５に示すよ
うにナンバープレート１４が水平方向に角度にしてθ右
方向にずれ、かつ図６に示すように垂直方向に角度ψ下
がる位置にある場合、その焦点調整にて得た距離をｄと
したときのナンバープレート１４の相対位置（ｘ，ｙ，
ｚ）は、以下の式にて求めることができる。

【００１４】 ｘ＝ｄｃｏｓθ・ｓｉｎψ …（１） ｙ＝ｄｃｏｓθ・ｃｏｓψ …（２） ｚ＝ｄｃｏｓθ …（３） このように、ナンバープレート１４を画面上の所定位置
に保つための雲台駆動制御を所定時間間隔で実施し、画
像毎のカメラ角度とナンバープレートまでの位置を逐一
追跡することで、前方車両の位置と速度を算出する。

【００１５】ステツプＳ７で、ナンバープレート１４の
追尾終了か否かを判定し、追尾が終了していなければ、
再度ステツプＳ４に戻つて雲台制御を行なう。しかし、
ステツプＳ７で追尾制御が終了していると判定されれ
ば、ステツプＳ８で次の目標検出を行なうか否かの判定
をし、検出目標がなければ本処理は終了となるが、検出
目標があればステツプＳ１に戻つて環境認識をする。

【００１６】以上説明したように、上記第１の実施例に
よれば、画像処理にて前方車両、及びその車両の特徴点
としてナンバープレートを認識し、画像上でのナンバー
プレートの位置、及び大きさが固定されるようカメラの
ズーム制御や焦点調整を行なうことで、容易かつ高速に
前方車両の位置変化や速度を検出できるという効果があ
る。

【００１７】尚、上記実施例では、カメラ１にて前方車
両を画像として捉え、カメラ４にて前方車両の特徴点追
尾を行なつているが、スイツチ切換えにてカメラ４のみ
にて環境認識、及び特徴点追尾を行なうようにしてもよ
い。また、前方車両の特徴点としては、ナンバープレー
ト以外に車両の特徴を表わすものとしてストツプランプ
を用いてもよい。 ＜第２実施例＞次に、本発明に係る第２の実施例につい
て説明する。

【００１８】図８は、第２の実施例に係る移動車の環境
認識装置（以下、装置という）全体の構成を示すブロツ
ク図である。本装置では、移動車での環境認識として道
路構造を認識する。図８において、雲台６に搭載された
カメラ４は、レンズ機構５として、例えば、ズームレン
ズや焦点調整機能を備えており、レンズ機構５を介して
捉えた車両前方の環境を画像情報として画像処理装置２
に送る。画像処理装置２は入力した画像情報をもとに道
路上の白線検出や後述する走査を行なつて道路構造を抽
出し、その結果をＣＰＵ３に送る。

【００１９】ＣＰＵ３は、画像処理装置２での画像処理
結果をもとに雲台コントロ−ラ８に制御信号を送ること
で、道路構造を認識するために所定方向にカメラ４が向
くよう雲台６を上下左右方向に駆動する。このときの雲
台６の上下方向の角度、及び左右の回転角度は傾き検出
センサー２２にて検出され、検出結果はＣＰＵ３に送ら
れる。さらに、ＣＰＵ３は、画像処理装置２からの画像
をもとに、カメラ４が所定の道路環境を捉えていると判
断したときは焦点制御装置２１に信号を送る。その結
果、レンズ機構５にて焦点距離調整、及び焦点調整が行
なわれる。

【００２０】また、ＣＰＵ３は、後述するようにカメラ
４の上下左右の回転角度、及びレンズ機構５による焦点
距離をもとに道路構造を認識する。次に、本実施例の装
置における道路構造の認識制御について説明する。図９
は、本実施例に係る装置における道路構造の認識制御手
順を示すフローチヤートである。同図において、ステツ
プＳ１１で、画像処理装置２は画像処理としてカメラ４
にて捉えた車両前方の道路画像から白線抽出を行ない、
車道の外側の路側帯、及び隣り車線との境界線を認識す
る。次のステツプＳ１２では、ＣＰＵ３は雲台コントロ
−ラ８に信号を送り、ステツプＳ１１で認識された路側
帯、及び車線境界線の両方が一画面内に入るようカメラ
４の向きを調整する。図１０に、路側帯２５、及び車線
境界線２６の両方が一画面内に入つたときの様子を示
す。

【００２１】ステツプＳ１３では、後述する画面上の所
定水平走査ライン上における、これらの路側帯、及び車
線境界線の両方の存在を判定する。高速道路を例にとる
と、通常、路側帯は連続する線であるが車線境界線は不
連続であるため、路側帯、及び車線境界線の両方が水平
走査ライン上に常に存在するとは言えない。そこで、ス
テツプＳ１３での判定結果がＮＯであれば、次の走査ラ
インに移行するためにステツプＳ１４で走査順序を示す
値ｎを１だけインクリメントしてステツプＳ１３に戻
る。

【００２２】しかし、ステツプＳ１３での判定がＹＥＳ
であればステツプＳ１５に進み、ＣＰＵ３は焦点制御装
置２１に信号を送つて、図１１に示すように、走査時の
路側帯、車線境界線間隔ｌが画面上でＬに等しくなるよ
うレンズ機構５の焦点距離、及び焦点を調整する。そし
て、続くステツプＳ１６で、Ｌ／２の位置と路側帯、車
線境界線の中心とが一致するよう雲台コントロ−ラ８に
制御信号を送り、雲台６の上下左右の角度を調整する。

【００２３】ステツプＳ１７では、そのときの雲台６の
上下左右の角度（後述するθ，ψ）、及び焦点距離をデ
ータとして取り込み、ステツプＳ１８で、次の走査を行
なうためにｎを１だけインクリメントする。そして、ス
テツプＳ１９では、ｎ＝Ｎ、つまり、走査が最終走査に
至つたか否かの判定を行なう。これらの処理を具体的に
説明すると、図１１に示すように画面下方ｎ＝１から走
査を開始し、無限遠点近辺ｎ＝Ｎまで走査を行なう場
合、ｎ＝１に対応する最初の走査時におけるレンズ機構
５は、図１０に示した道路画像を抽出したときの焦点距
離、及び焦点調整に等しくする。そして、以降、ｎ＝
２，３，…Ｎのように走査がカメラ遠方になるに従つ
て、その走査に対応する路側帯、車線境界線間隔ｌにつ
いては、常にｌ＝Ｌの関係を保ちながら焦点距離の変化
を次第に大きくする。つまり、焦点距離に関しては、ｆ
１＜ｆ２＜…＜ｆＮの関係が成立する。

【００２４】ステツプＳ１９での判定で、走査が終了し
ていなければ再度ステツプＳ１１に戻るが、走査が終了
したと判定されればステツプＳ２０に進んで、データと
して取り込んだ雲台６の上下左右の角度やレンズ機構５
の焦点距離をもとに、後述する方法にて道路構造を算出
する。このとき、走査ライン上に路側帯、及び車線境界
線の両方が存在しないということで、ステツプＳ１３で
飛び越した走査に対応する道路構造については、その走
査の前後で正規に得られた道路構造にて補間する。

【００２５】尚、画面下方はカメラ４の手前側になり、
道路面までの距離が正確に算出できるので走査を画面下
方から開始する。また、最初の走査ラインであるｎ＝１
に対応する路側帯、車線境界線間隔ｌは、あらかじめ、
その走査ラインに対するカメラ４の傾き角度、及び焦点
距離を測定することで、容易に知ることができ、特に高
速道路においては、ｌは略一定の値をとるので、本実施
例ではこのｌを基準値として用いている。

【００２６】次に、道路構造の認識方法を具体的に説明
する。今、図１２に示すように一点鎖線３２を水平線と
し、ある走査時に得られた垂直方向のカメラの傾き角度
がψ、及び焦点距離がＤであり、また、図１３に示すよ
うにカメラ４の水平方向への振れ角がθであるとき、カ
メラ４から、そのときの走査線に対応する点Ａまでの水
平距離ｔは、 ｔ＝Ｄｃｏｓθ・ｃｏｓψ …（４） にて求めることができる。また、図１２に示した、その
ときの走査線に対応する道路面の高さｈは、道路平坦面
の延長線（図１２の破線）と点Ａとの垂直距離であるか
ら、 ｈ＝Ｈ−Ｄｓｉｎψ …（５） にて求まる。

【００２７】さらに、道路のカーブ状況（本実施例で
は、右カーブ）は、カメラの水平方向への振れ角と焦点
距離にて求めることができるので、図１２、及び図１３
を参照して点Ａの水平方向のずれｋは、 ｋ＝Ｄsinθ・cosψ …（６） となる。

【００２８】これらの式（４），（５），及び（６）を
用いてｎ＝１からｎ＝Ｎまでの各走査に対応するｔ，
ｈ，ｋを算出し、それらをもとに道路構造としての道路
面の高さやカーブの状況を立体的に認識する。以上説明
したように、第２の実施例によれば、車両前方の近端か
ら遠端までの路側帯と車線境界線との間隔が画面上で所
定の幅となるようにカメラの焦点距離を調整し、近端か
ら遠端までの走査に対応するカメラの水平垂直角度、及
び焦点距離をもとに逐一カメラから道路面までの距離を
算出することで、道路構造を容易に認識できるという効
果がある。

【００２９】

【発明の効果】以上説明したように、本発明によれば、
複数のカメラでステレオ視することなく、入力した画像
情報から道路構造等の車両前方の環境を容易、かつ高速
に認識することができるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る移動車の環境認識
装置全体の構成を示すブロツク図、

【図２】第１実施例に係る装置における前方車両の認識
制御手順を示すフローチヤート、

【図３】カメラ１にて入力した自車両前方の環境画像を
示す図、

【図４】図３の破線部１３を拡大した図、

【図５】カメラ４の基準方向に対する水平方向の振れを
示す図、

【図６】カメラ４の基準方向に対する垂直方向の振れを
示す図、

【図７】カメラ４の基準方向に対する水平垂直方向の振
れを示す立体図、

【図８】第２の実施例に係る移動車の環境認識装置全体
の構成を示すブロツク図、

【図９】第２の実施例に係る装置における道路構造の認
識制御手順を示すフローチヤート、

【図１０】路側帯、及び車線境界線の両方が一画面内に
入つたときの様子を示す図、

【図１１】路側帯、車線境界線間隔が画面上で所定間隔
に等しくなるようにレンズの焦点距離、及び焦点を調整
したときの様子を示す図、

【図１２】カメラの垂直方向の傾き角度と焦点距離との
関係を示す図、

【図１３】カメラの水平方向への振れ角を示す図であ
る。

【符号の説明】

１，４ カメラ ２ 環境認識装置 ３ ＣＰＵ ５ レンズ機構 ６ 雲台 １０ 画像処理装置 １４ ナンバープレート ２５ 路側帯 ２６ 車線境界線

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−47400（ＪＰ，Ａ) 特開 平３−271905（ＪＰ，Ａ) 特開 平３−225513（ＪＰ，Ａ) 特開 昭64−7109（ＪＰ，Ａ) 特開 昭63−271508（ＪＰ，Ａ) 特開 昭63−79005（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 画像を撮像する撮像手段と、撮像 画像の特定部分を抽出する抽出手段と、 抽出された特定部分に向くように前記撮像手段を上下左
   右に駆動すると共に、該特定部分が拡大されて画像上に
   て所定の大きさで、かつ所定の位置に得られるよう前記
   撮像手段のズームを制御する制御手段と、 焦点距離と、前記撮像手段の撮像方向に対する該特定部
   分の存在位置のずれ量とに基づいて、該特定部分までの
   距離を検出する距離検出手段と、 前記撮像手段の方向を検出する方向検出手段と、 前記距離と方向とに基づいて、車両前方の環境を認識す
   る認識手段とを備えることを特徴とする移動車の環境認
   識装置。
2. 【請求項２】 前記抽出手段は、前記撮像画像から前方
   車両のナンバープレート部分を抽出することを特徴とす
   る請求項１に記載の移動車の環境認識装置。
3. 【請求項３】 前記ナンバープレートの、前記撮像手段
   の撮像方向に対する相対位置（ｘ、ｙ、ｚ）は、該ナン
   バープレートが前記撮像手段を移動車の進行方向に関し
   て上下方向から見た時の撮像方向に対して直交する方向
   に対して角度θずれ、前記撮像手段を移動車の進行方向
   に関して側方から見た時の撮像方向に対して直交する方
   向に角度ψ下がる位置にあり、焦点距離をｄとすると、
   下記式により算出される、 ｘ＝ｄcosθ・sinψ ｙ＝ｄcosθ・cosψ ｚ＝ｄcosθ ことを特徴とする請求項２に記載の移動車の環境認識装
   置。
4. 【請求項４】 前記抽出手段は、前記撮像画像から路側
   帯及び車線境界線を抽出することを特徴とする請求項１
   に記載の移動車の環境認識装置。
5. 【請求項５】 前記抽出手段は、前記撮像画像の所定位
   置を所定方向に走査する時の、該所定位置に対応する所
   定の撮像対象点までの水平距離と、道路面を前記撮像手
   段の撮像方向側方から見た時の道路面を表す線の延長線
   上と該撮像対象点との垂直距離と、該撮像対象点の前記
   撮像手段を移動車の進行方向に関して 上下方向から見た
   時の撮像方向に対して直交する方向のずれとから前記路
   側帯及び車線境界線を抽出することを特徴とする請求項
   ４に記載の移動車の環境認識装置。
6. 【請求項６】 前記撮像画像の所定位置を所定方向に走
   査する時の、該所定位置に対応する所定の撮像対称点ま
   での水平距離ｔは、前記撮像手段の垂直方向の傾き角度
   をψ、焦点距離をＤ、水平方向への振れ角度をθとする
   と、下記式により算出される、 ｔ＝Ｄcosθ・cosψ ことを特徴とする請求項５に記載の移動車の環境認識装
   置。
7. 【請求項７】 前記道路面を前記撮像手段の撮像方向側
   方から見た時の道路面を表す線の延長線上と該撮像対象
   点との垂直距離ｈは、前記撮像手段の垂直方向の傾き角
   度をψ、焦点距離をＤ、道路平坦面の延長線との垂直距
   離Ｈとすると、下記式により算出される、 ｈ＝Ｈ−Ｄsinψ ことを特徴とする請求項５に記載の移動車の環境認識装
   置。
8. 【請求項８】 前記撮像対象点の前記撮像手段を移動車
   の進行方向に関して上下方向から見た時の撮像方向に対
   して直交する方向のずれｋは、前記撮像手段の垂直方向
   の傾き角度をψ、焦点距離をＤ、水平方向への振れ角度
   をθとすると、下記式により算出される、 ｋ＝Ｄsinθ・cosψ ことを特徴とする請求項５に記載の移動車の環境認識装
   置。