JPH06295329A

JPH06295329A - 移動体の画像処理装置

Info

Publication number: JPH06295329A
Application number: JP5105144A
Authority: JP
Inventors: Katsunori Yamada; 勝規山田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-04-07
Filing date: 1993-04-07
Publication date: 1994-10-21
Anticipated expiration: 2015-08-28
Also published as: JP3082507B2

Abstract

(57)【要約】【目的】複数の走行状況に応じて必要な画像処理ので
きるシステムを簡単に構成してコストを下げる。【構成】走行状況検出装置５６は速度検出装置５５の
出力を基に、高速モードや低速モードなど走行モードを
決定する。選択順位付与部５４は、各々の走行モードに
必要な画像処理を選択し、選択した画像処理に優先順位
をつけて記憶装置５７から処理プログラムを読み出し、
画像処理部５３へ送る。画像処理部では、入力画像選択
装置５２で選択したＴＶカメラ５１からの画像を処理プ
ログラムに従って画像処理する。警報装置５８は、画像
処理の結果、例えば標識が検出されたら検出ブザーを鳴
らし、レーンからの逸脱を検出したら警報ブザーを鳴ら
す。これにより、画像処理部５３が複数の処理に有効に
使用され、システムの冗長をなくすことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、たとえば車両など移
動体の画像処理装置に関する。

【０００２】

【従来の技術】従来の移動体の画像処理装置としては、
たとえば、特開平３−１９４６６９号公報に開示された
ものがある（以下、第１従来例という）。これは、車両
に取り付けられた撮像手段で撮像された画像情報のうち
車線端が含まれるべき所定の領域を決定し、その領域に
おける明度分布をフイルタで強調して、この強調された
明度分布に基づき車線端を検出することにより、処理効
率を向上させようとするものである。

【０００３】この目的を達成するために、車両に取り付
けられたカメラによって進行方向前方の画像を入力し画
像上に設定された所定領域内に車線端が存在する場合に
は、フイルタ出力がその車線端が存在する部分で突出値
を示し、車線端がない場合にはフイルタ出力は小さい値
を出力するようにして、フイルタ出力を適切なしきい値
でスライスし、前記領域内の車線端の有無を判定する。
この判定の結果、車線端がないと判定された場合には、
車両と車線端との相対関係に通報すべき変化が生じたも
のと判断して、警報出力部から警報を出し、運転者に注
意を促すようにしている。

【０００４】また、特開平３−２６０８１３号公報（以
下、第２従来例という）には、所定時間を挟んだ入力画
像間で対象物体の重心位置変化と面積変化とに基づい
て、対象物体の相対移動を認識することにより、識別対
象の移動量をコストの低減と処理時間の短縮とを両立さ
せた上で認識可能にすることを目的とした環境認識装置
が開示されている。

【０００５】この環境認識装置は、入力画像内で認識対
象の物体の面積を算出し、所定時間を挟んだ入力画像間
で面積の変化を算出する手段と、対象物体の重心位置を
算出し、所定時間挟んだ入力画像間で重心位置の変化を
算出する手段とを備えている。また、これらの重心位置
変化と、面積変化とに基づいて対象物体の相対移動を認
識する手段を備えている。つまり、移動体と自車とを結
ぶ方向の変位は面積変化により直交する方向の変位は重
心位置の変化により計算できるようにする。移動体の画
像の面積および重心位置は簡単かつ高速に得られるか
ら、これにより、移動体の変位をある程度の精度で高速
かつ簡単に得ることができる。

【０００６】さらに、特開平２−１５７９９８号公報
（以下、第３従来例という）には、主要交差点の地名標
識を読み取って絶対位置を直接現地で把握することによ
り、運転者が常に現在位置を高精度に把握できるように
することを目的としたナビゲ−ション装置が開示されて
いる。

【０００７】この第３従来例のナビゲ−ション装置の場
合では、移動体に搭載したテレビカメラにより、交差点
にさしかかった移動体上から地名標識を撮像し、その画
像情報を画像処理情報装置に入力し、それにより画像情
報処理装置が信号機のパタ−ンを抽出し、次に、その周
辺の地名照合装置に入力して、地名情報記憶装置に記憶
されている主要交差点の地名情報と照合される。地名照
合装置では、まず、相対位置認識装置から得られる現在
位置周辺の地名を優先して、地名情報記憶装置に記憶さ
れた地名と照合する。その照合を行った後、その地名に
対応する絶対位置を同じく地名情報記憶装置から出力し
て、相対位置認識装置から得られる現在位置周辺の地名
を校正する。これにより、運転者が道路経路などの情報
を正確に知ることができるようにしている。

【０００８】

【発明が解決しょうとする課題】しかしながら、上記第
１の従来例の場合、車両制御のためには入力された車線
端画像に対する画像処理については高速演算が必要であ
るが、車線端、例えば道路白線の検出それ自体は前方１
０ｍ位まで一度に検出できるので、演算すべき画像の周
期は必ずしもビデオレ−トである必要はない。しかし、
画像処理装置が空いている時間には、他の処理に切り換
えてその画像処理装置を利用することは行われておら
ず、他の画像処理を行う場合、別の画像処理装置を搭載
する等の手段を講じなければならない。したがって、シ
ステムが冗長になり、また、コストも高くなるという問
題点があった。

【０００９】そして第２従来例および第３従来例の場合
も同様に、画像処理の処理手段を他の画像処理を行うた
めの兼用としていないため、他の画像処理を行う場合に
は、別の画像処理装置を搭載する必要があり、システム
の冗長とコスト高が免れない。

【００１０】このように、従来の移動体の画像処理装置
にあっては、処理に優先順位を設定することができない
ため、走行時に必要な処理が多くなると、全ての処理を
行うためには、高速処理の可能な画像処理装置でないと
処理が間に合わないという問題点があった。また、対策
として事前に処理の順序を設定することが考えられる
が、走行状況が変わると設定しておいた処理だけでは不
十分な状況が発生することがあるという問題点がある。
したがって本発明は、このような従来の問題点に着目
し、同一の装置を用いて移動体の走行状況に応じた優先
順位にしたがって、必要な画像処理を順次行えるように
して、システムの冗長をなくするとともに、コストの低
減化を期することができる、移動体の画像処理装置を提
供することを目的とする。

【００１１】

【課題を解決するための手段】前記目的を達成するため
に、この発明は図１に示すように、移動体に搭載され走
行路の画像を入力する入力手段３１と、この入力手段で
入力された画像を処理するための複数の処理プログラム
を記憶しておく記憶装置３２と、移動体の走行状況を検
出する状況検出手段３３と、この状況検出手段の検出結
果をもとに、必要な画像処理を選択し、選択した画像処
理に優先順位をつけて、記憶装置３２に記憶されている
処理プログラムを読み出し、また画像処理に必要な画像
を選択する選択順位付与手段３４と、前記の入力手段３
１で入力された画像を画像選択順位付与手段３４で選択
された処理プログラムで処理する画像処理手段３５と、
この画像処理手段３５による画像処理結果を基に制御さ
れ作動する制御作動装置３６とを有するものとした。

【００１２】

【作用】この発明によれば、走行状況に応じて必要な画
像処理が選択され、選択した画像処理に優先順位が付け
られるので、記憶装置にあらかじめ記憶された処理プロ
グラムは、画像処理の優先順に読み出され、画像処理手
段では、優先順位の順番に画像処理が行われる。

【００１３】

【実施例】以下、本発明を図面に基づいて説明する。図
２および図３は、本発明の第一の実施例を示す図であ
る。まず構成を図２のブロック図により説明する。予
防安全車両５０には、画像を入力する入力手段としての
テレビカメラ（以下、ＴＶカメラと呼ぶ）５１が搭載さ
れている。ＴＶカメラは予防安全車両５０の走行路を撮
像し、画像情報を入力画像選択装置５２に出力する。

【００１４】入力画像選択装置５２は、選択順位付与部
５４からの指令によりＴＶカメラ５１で撮像した画像情
報から画像処理する画像情報を選択して画像処理部５３
に出力する。なお、選択順位付与部５４と入力画像選択
装置５２とで発明の選択順位付与手段３４が構成され
る。画像処理部５３では後述するように選択順位付与部
５４から送信された処理プログラムに基づいて画像の処
理を行う。

【００１５】次に、処理プログラムに関係する構成部分
を説明する。速度検出装置５５は、例えばロータリエン
コーダを使用して、左右後輪タイヤの回転数を測定し、
単位時間内の移動距離を測定することにより走行速度を
検出する。そして、速度検出装置５５からの走行速度信
号を基に、走行状況検出装置５６において、現在の走行
状況が例えば６０Ｋｍ／ｈより速い高速走行か、６０Ｋ
ｍ／ｈより遅い中低速走行であるかを判断し、走行モー
ドを高速走行であれば高速モードとし中低速走行であれ
ば低速モードと決めて選択順位付与部５４に出力する。
なお、速度検出装置５５および走行状況検出装置５６
により発明の走行状況を検出する状況検出手段３３が構
成されている。

【００１６】選択順位付与部５４は、走行状況検出装置
５６からの走行モード信号に基づいて、必要な画像処理
を選択し、選択した画像処理に優先順位をつける。そし
て、画像処理部５３での画像処理に必要な処理プログラ
ムを記憶装置５７から読み出し、画像処理部５３へ出力
する。記憶装置５７には、画像処理部５３での画像情報
の画像処理に必要な各種の処理プログラムが記憶されて
おり、選択順位付与部５４からの指令で選択順位付与部
５４へ記憶した処理プログラムを出力する。

【００１７】画像処理部５３は、前述のように、入力画
像選択装置５２で選択したＴＶカメラ５１からの画像情
報を、選択順位付与部５４から送られた処理プログラム
に基づいて処理し、警報装置５８に出力する。警報装置
５８には、状況に対応した装置が備えられており、画像
処理部５３から送られた処理結果を基に、例えば標識が
検出されたときは検出ブザーを鳴らし、また走行レーン
からの逸脱を検出したときには警報ブザーを鳴らす。

【００１８】次に、上記構成における作動の流れを図３
のフローチャートにより説明する。作動のステップは、
大きく、速度検出装置５５における速度検出のステップ
群２０１、走行状況検出装置５６における走行状況検出
のステップ群２０２、選択順位付与部５４における走行
状況に応じて必要な画像処理を選択し、選択した画像処
理に優先順位を付与するステップ群２０３、画像処理部
５３における画像処理のステップ群２０４、および警報
装置５７における警報判断のステップ２０５に分けられ
る。

【００１９】次に、これらステップ群中の各ステップを
順を追って説明する。本装置がスタートすると、まず
ステップ３０１で両後輪に取り付けられたロータリエン
コーダによって左右後輪タイヤの回転数の測定が行なわ
れ、ステップ３０２で、走行速度が算出される。速度検
出装置５５での走行速度の算出は、単位時間ｄｔ（例え
ば１００ｍｓ）内の右タイヤの回転数ｒｏｕｎｄ＿Ｒと
左タイヤの回転数ｒｏｕｎｄ＿Ｌから次式で算出され
る。Ｖ＝｛（ｒｏｕｎｄ＿Ｒ＋ｒｏｕｎｄ＿Ｌ）×ｔｉｒｅ
＿Ｌ｝／（２×ｄｔ）ただし、ｔｉｒｅ＿Ｌはタイヤの外周長である。

【００２０】走行状況検出装置５６では、速度検出装置
５５で検出された走行速度を基に、現在の走行状態を決
定する。すなわち、ステップ３０３では、ステップ３０
２で算出された車速が６０Ｋｍ／ｈより大きいか否かが
判断され、大きければステップ３０４へ進み、走行モー
ドを高速モードとする。車速が６０Ｋｍ／ｈより小さけ
ればステップ３０５へ進み走行モードを低速モードとす
る。

【００２１】選択順位付与部５４では、走行状況検出装
置５６でのステップ３０４またはステップ３０５で決定
されたモードに基づいて、必要な画像処理と、その画像
処理の優先順位が決定される。すなわち、ステップ３０
６において、走行モードが高速モードか低速モードかが
チェックされ、高速モードであれば、ステップ３０７へ
進み、低速モードであればステップ３０８へ進む。ステ
ップ３０７では、高速モードに必要な画像処理を選択
し、選択した画像処理に優先順位をつけて、その優先順
位の順番に記憶装置５７から高速モード時の画像処理に
必要な処理プログラムが読み出され、画像処理部へ送出
される。高速モードに必要な画像処理およびその優先順
位は、車両が６０Ｋｍ／ｈより速い高速で走行している
ことを勘案し、１）レーン検出、２）障害物認識、３）
案内標識認識とされている。

【００２２】ステップ３０８では、低速モードの画像処
理に必要な画像処理を選択し、画像処理に優先順位をつ
けて、記憶装置５７から低速モード時の画像処理に必要
な処理プログラムが読み出され、画像処理部へ送出され
る。低速モードに必要な画像処理とその優先順位は、
１）規制標識認識、２）障害物認識、３）案内標識認
識、４）レーン検出となっている。なお、記憶装置５７
には、画像処理に必要な処理プログラムが、例えばレー
ン検出処理にはレーン検出処理プログラムの如く、各画
像処理毎に記憶されている。

【００２３】ステップ３０７および３０８のあと、ステ
ップ３０９へ進む。ステップ３０９では、画像処理部
５３において、ＴＶカメラ５１で撮影され入力画像選択
装置５２で選択された車両前方の道路画像が入力され、
ステップ３１０において、この道路画像を対象として、
選択順位付与部５４から送られた処理プログラムに従っ
て、画像処理が行なわれる。警報装置５８では、ステッ
プ２０５において、ステップ３１０から送られた処理結
果を判断して、例えば標識が検出されたら検出ブザーを
鳴らし、レーンからの逸脱を検出したら警報ブザーを鳴
らす。

【００２４】以上本実施例によれば、走行状況に応じて
必要な画像処理を選択し、かつ選択した画像処理に優先
順位を付け、その優先順位に従って画像処理を行うの
で、安価にシステムを構築することができる。なお、上
記実施例においては、速度検出装置５５で検出した車速
を基に走行モードを決めているが、速度検出装置の代り
にナビゲーション装置を用いて、現在の走行位置が高速
道路上か否かを判断するようにして、高速道路上と判断
されるときは高速モードと決定し、それ以外の場合を低
速モードとしてもよい。

【００２５】図４には、本発明の第２の実施例を示す。
この実施例は、第１の実施例の構成に加え、さらに図
示省略した雨滴検出センサと照度検出センサとを設け、
走行モードを高速モード、低速モードおよび雨天・夜間
モードの３モードとしたものである。図４はとくに図３
におけるステップ群２０２、２０３に代えてその特徴部
分となるフローチャート上の走行状況検出ステップ群４
０２および処理選択ステップ群４０３を示す。

【００２６】まずステップ５０３では、雨滴検出センサ
で雨滴が検出されるか否か、あるいは照度検出センサに
より夜間と検出されるか否かが判断される。ここで、雨
滴が検出されあるいは夜間と判断されれば、ステップ５
０４へ進み、走行モードが雨天・夜間モードと決定され
る。また、雨滴が検出されずまた夜間でもなければ、ス
テップ５０５に進んで、走行平均速度が６０Ｋｍ／ｈよ
り大きいか否かがチェックされる。速度が６０Ｋｍ／ｈ
より大きいときにはステップ５０６で高速モードと決定
され、低速ならばステップ５０７で低速モードと決定さ
れて、走行状況検出ステップ群４０２としての出力とさ
れる。

【００２７】次の処理選択ステップ群４０３では、まず
ステップ５０８において、上に決定された走行モードが
雨天・夜間モードか否かがチェックされる。雨天・夜間
モードであればステップ５０９へ進み、選択順位付与部
５４から記憶装置５７に走行モードが雨天・夜間モード
である旨の指令を出すことにより、雨天・夜間モード用
の処理プログラムが読み出される。雨天・夜間モードに
必要な画像処理およびその画像処理の優先順位は、１）
障害物認識、２）レーン検出、３）規制標識認識、４）
案内標識認識となっている。

【００２８】ステップ５０８でのチェック結果が雨天・
夜間モードでないときには、ステップ５１０へ進んで高
速モードであるかどうかがチェックされる。高速モード
にあれば、ステップ５１１に進んで、高速モードの画像
処理に必要な処理プログラムが記憶装置５７から読み出
され、高速モードでなければステップ５１２に進んで低
速モードの画像処理に必要な処理プログラムが記憶装置
５７から読み出される。高速モードおよび低速モードに
必要な処理および処理の優先順位は第１の実施例と同じ
である。各走行モードに対応して読み出された処理プロ
グラムは画像処理部へ送出される。なお、速度検出の作
動ステップ、画像処理の作動ステップおよび警報判断の
作動ステップは、図３に示された前記第１実施例と同じ
である。

【００２９】本実施例によれば、前記第１の実施例の走
行モードに、雨が降っているか否か、あるいは夜間であ
るか否かの雨天・夜間モードを加え、これら３モードで
画像の処理およびその優先順位を切り替えるようにした
ので、より一層走行状況に応じた細かい制御が行なわ
れ、安全性も向上するという利点がある。

【００３０】次に図５は、第３の実施例を示すブロック
図である。この実施例は、走行路に沿って自律走行す
る自律走行車両に適用されたもので、ある時点において
画像処理部で実行されている画像処理からその画像処理
状況に応じて低順位の画像処理に切り換えるようにした
ものである。自律走行車両２０には、運転制御装置４が
設けられ、ステアリングアクチュエ−タ１、ブレ−キア
クチュエ−タ２、そしてスロットルアクチュエ−タ３が
運転制御装置４からの指令値にしたがってそれぞれ図示
しないステアリング、ブレ−キ、およびスロットルを制
御するようになっている。そしてこれらの制御により、
自律走行車両２０は走行路に沿って自律走行する。

【００３１】運転制御装置４には、画像処理部５と、切
り換え装置８と、位置検出装置１０からの各出力信号が
入力されるようになっている。運転制御装置４はこれら
の各出力信号を基に、ステアリングアクチュエ−タ１、
ブレ−キアクチュエ−タ２、スロットルアクチュエ−タ
３の各制御目標指令値を算出して、ステアリングアクチ
ュエ−タ１、ブレ−キアクチュエ−タ２、スロットルア
クチュエ−タ３にそれぞれの制御目標指令値を出力して
運転制御を行う。

【００３２】自律走行車両２０には、ＴＶカメラ１２、
１３が搭載されている。ＴＶカメラ１２は、自律走行車
両２０の前方走行路を撮像し、走行路の識別情報として
走行路に描かれた白線情報を含む画像情報を入力画像選
択装置６に出力する。ＴＶカメラ１３は、障害物検出用
として、自律走行車両２０の前方走行路上を撮像し、そ
の画像情報を同じく入力画像選択装置６に出力するもの
である。

【００３３】入力画像選択装置６は、ＴＶカメラ１２で
撮像された画像情報と、ＴＶカメラ１３で撮像された画
像情報とを切り換え装置８からの指令により選択して、
その選択した画像情報を画像処理部５に出力するように
なっている。これらのＴＶカメラ１２、１３および入力
画像選択装置６とにより、入力手段が構成される。

【００３４】また、記憶装置９が設けられ、画像処理部
５における画像処理に必要な処理プログラムが複数あら
かじめ格納されている。この処理プログラムとして、た
とえば、走行路の白線を検出して走行路の形状を算出す
るプログラム、走行路上の障害物を検出するプログラム
などが含まれている。この記憶装置９に記憶されている
処理プログラムは切り換え装置８からの指令により処理
選択装置７で選択されて、画像処理部５に転送されるよ
うになっている。デ−タ記憶装置１１には、切り換え装
置８を介して画像処理部５での処理結果が入力されて格
納されているとともに、切り換え装置８からの指令によ
りそのデータが読み出される。

【００３５】切り換え装置８は、画像処理部５からの算
出結果と後述する位置検出装置１０の算出結果と、デ−
タ記憶装置１１に記憶されているデ−タとから、白線検
出の要否を判断し、入力画像選択装置６に対して、画像
処理部５で処理するため、ＴＶカメラ１２で撮像された
画像情報とＴＶカメラ１３で撮像された画像情報のいず
れかを選択して画像処理部５に出力するよう指令を出力
するようになっている。また、切り換え装置８は上記指
令にあわせて、上述のように画像処理部５で処理する処
理プログラムの選択指令を処理選択部７に対して出力
し、記憶装置９から必要な処理プログラムを画像処理部
５に転送させる。

【００３６】さらに、画像処理部５において画像処理の
切り換えが行なわれることは、切り換え装置８からの切
り換え情報として運転制御装置４にも伝達され、所定の
処理プログラムによる場合の画像処理部５の出力に基づ
いてのみステアリングアクチュエ−タ１、ブレ−キアク
チュエ−タ２、スロットルアクチュエ−タ３の制御が行
なわれることが確保されるようになっている。

【００３７】位置検出装置１０は、車両位置に関する各
種情報を得る。たとえば、単位時間内の自律走行車両２
０の左右の後輪タイヤの回転数から左右後輪タイヤの移
動距離を求め、その平均値を算出することにより、単位
時間内の自律走行車両２０の走行距離を算出し、その
差、すなわち、（左右後輪タイヤの移動距離）−（単位
時間内の自律走行車両２０の走行距離）の差から単位時
間内の自律走行車両の旋回量を算出し、それらを積分し
ていくことにより、初期設定された座標（ｇｘ，ｇｙ）
からの相対位置座標を算出するようにしている。

【００３８】このタイヤの回転数の測定は、左右の後輪
タイヤに図示しないロ−タリエンコ−ダを取り付け、単
位時間内でのタイヤの回転数を測定するようにしてい
る。また、位置検出装置１０は、単位時間内の移動距離
から走行速度を算出する。その算出した走行距離、車量
位置座標を切り換え装置８に出力するとともに、この算
出した走行速度を運転走行装置４に出力するようになっ
ている。

【００３９】上記構成において、ＴＶカメラ１２、１３
で撮像された画像情報を入力画像選択装置６で切り換え
て画像処理部５に入力する画像情報の画像処理の切り換
えには、位置検出装置１０で得られる車両位置情報のう
ち、走行距離が用いられる。位置検出装置１０は、左右
後輪タイヤに取り付けられたロ−タリエンコ−ダで単位
時間内のタイヤの回転数を測定し、その回転数にタイヤ
の外周長を乗じて各タイヤの単位時間内の移動距離を測
定し、その平均値から車両の移動距離ΔＳを以下に記す
（１）式のように算出する。

【００４０】そして、その差から単位時間内の車両の旋
回量Δθを（２）式のように算出し、それらを積分して
いくことによって、初期設定された座標（ｇｘ，ｇｙ，
ｇｔ）からの相対位置座標を算出する。また、単位時間
内の移動距離から走行速度ｖを算出する。 ΔＳ＝（ΔＳL ＋ΔＳR ）／２・・・・・・・・・・・・・・・（１） Δθ＝（ΔＳL −ΔＳR ）／Ｔ・・・・・・・・・・・・・・・（２）ただし、 ΔＳL は左タイヤの単位時間内の移動距離、
ΔＳR は右タイヤの単位時間内の移動距離、Ｔは後輪タ
イヤのトレッド幅、である。

【００４１】また、車両の新しい位置座標（ｇｘｎ，ｇ
ｙｎ，ｇｔｎ）は、古い位置座標（ｇｘｏ，ｇｙｏ，ｇ
ｔｏ）から、ｇｘｎ＝ｇｘｏ＋ΔＳ×ｓｉｎ（ｇｔｏ＋Δθ／２）・・・・・（３）ｇｙｎ＝ｇｙｏ＋ΔＳ×ｃｏｓ（ｇｔｏ＋Δθ／２）・・・・・（４）ｇｔｎ＝ｇｔｏ＋Δθ ・・・・・・・・・・・・・・・・・・（５）ｖ＝ΔＳ／ｄｔ・・・・・・・・・・・・・・・・・・・・・・（６）となる。この（６）式におけるｄｔは単位時間（たとえ
ば、０．２秒）である。

【００４２】画像処理部５は、白線検出用の画像処理を
行う場合には、入力画像選択装置６で選択されたＴＶカ
メラ１２で撮像した白線を含む走行路の画像情報を取り
入れ、その入力画像を２値化して、白線の領域を識別
し、車両軸線との偏差として算出する処理をする。した
がって、算出結果は自律走行車両２０からの距離とその
地点での白線までの横方向の偏差からなる白線情報とさ
れる。

【００４３】この白線情報について図６により説明す
る。走行路１６の表面に白線１４、１５が所定の幅を
もって描かれており、両白線１４、１５に挟まれた間を
自律走行車両２０が走行するものとする。図６の例で
は、カ−ブのために白線１４、１５は角度θをもって傾
いている。自律走行車両２０に搭載されたＴＶカメラ１
２で進行方向の車両前方を撮像するものとして、ＴＶカ
メラ１２の位置を（Ｘ，Ｙ）座標の原点としたとき、Ｔ
Ｖカメラ１２前方の注視点Ｌにおける白線１４までの距
離ｗｘが白線１４の偏差である。白線検出処理において
は、注視点Ｌをたとえば車両前方５ｍから２５ｍまでの
範囲を１ｍ刻みで複数設定して各注視点での偏差ｗｘが
検出される。

【００４４】このようにして、画像処理部５から車両前
方注視点での偏差を内容とする白線情報が運転制御装置
４に送出される。運転制御装置４は、この白線情報を
受けてたとえば前方５ｍでの偏差を設定値に近付けるよ
うに操舵角を算出し、その算出した操舵角の指令角をス
テアリングアクチュエ−タ１に出力する。

【００４５】また、自律走行車両２０の走行速度ｖは、
白線追従時において設定された速度での定速走行となる
ように、、運転制御装置４は、設定速度と位置検出装置
１０で求められた現在の走行速度をもとに、スロットル
開度とブレ−キ圧を算出して、その開度指令値をスロッ
トルアクチュエ−タ１に出力するとともに、必要に応じ
て圧力指令値をブレ−キアクチュエ−タ２に出力する。

【００４６】切り換え装置８では、画像処理部５で算出
された白線情報から、その白線情報が検出されている範
囲を推定して、その推定結果に基づき次に白線情報を検
出する必要のある位置を算出し、その位置に自律走行車
両２０が到達するまでは、画像処理部５で他の処理を行
うように入力画像選択装置６および処理選択装置７へ指
令を出力する。すなわち、位置検出装置１０の検出結果
と、画像処理部５からの処理情報をもとに白線検出の処
理を行うか否かを判断し、この処理を行わないときに
は、白線情報の検出処理を実行していた画像処理部５を
別処理に用いることができるようにする。

【００４７】次に、上記構成における作動の流れを図７
のフロ−チャ−トにより説明する。まず、ステップ１０
１において、切り換え装置８では、制御値の初期値が設
定される。すなわちここでは初期値として自律走行車両
２０のゴ−ル位置までの距離が０とされ、自律走行車両
２０の総走行距離が０以上に設定される。これにより、
始動時には、必ずステップ１０５以降のゴ−ル位置設定
処理に進むことになる。

【００４８】ステップ１０１での設定が行われると、ス
テップ１０２の車両位置情報入力の処理に進む。このス
テップでは、位置検出装置１０で算出された（１）式で
示した走行距離ΔＳが切り換え装置８に入力され、総走
行距離に積算される。次いで、ステップ１０３におい
て、切り換え装置８で積算した総走行距離とステップ１
０１で設定されたゴ−ル位置とが比較される。

【００４９】この比較の結果、ゴ−ル位置が総走行距離
より小さい場合には、自律走行車両２０がゴ−ル位置に
到達したものとして、ステップ１０５に進み、ゴ−ル位
置設定処理に入る。ここではまず、ステップ１０５で総
走行距離がクリアされるとともに、ステップ１０６で、
白線情報検出の指令が出力される。すなわち、切り換え
装置８から処理選択装置７に対して、記憶装置９から白
線検出処理を行う処理プログラムを読み出して画像処理
部５に転送させるとともに、入力画像選択装置６にはＴ
Ｖカメラ１２の画像情報を画像処理部５に入力させる。
これにより、画像処理部５は、記憶装置９から読み出さ
れた処理アルゴリズムにしたがつて白線検出処理を実行
する。

【００５０】ステップ１０７において、切り換え装置８
に画像処理部５で検出された白線情報として各注視点で
の偏差ｗｘ［ｉ］が入力される。注視点が５ｍ〜２５ｍ
の間１ｍ毎であると、ｉは１〜２１の２１データとな
る。このデ−タは、車両位置の座標（ｇｘ，ｇｙ，ｇ
ｔ）を用いて、次の（７）式、（８）式により地図座標
（ｍｘ，ｍｙ）に変換される。ｍｘ＝ｗｘ×ｃｏｓ（ｇｔ）＋Ｌ×ｓｉｎ（ｇｔ）＋ｇｘ・・・・・（７）ｍｙ＝−ｗｘ×ｓｉｎ（ｇｔ）＋Ｌ×ｃｏｓ（ｇｔ）＋ｇｙ・・・・（８）ここで、（ｇｘ，ｇｙ）は車両の位置座標、ｇｔは車両
姿勢、Ｌは注視点位置（５ｍ〜２５ｍ）、であり、ｗ
ｘが注視点での白線の偏差である。

【００５１】このようにして、地図座標（ｍｘ，ｍｙ）
が算出された後、ステップ１０８で、過去白線情報の整
理が行なわれる。ここでは、切り換え装置８が画像処
理部５から前回までに受け取った白線情報のうちで、自
律走行車両２０がすでに通過した範囲に対応するデータ
が削除され、まだ通過していない範囲に対応するデ−タ
のみが残される。

【００５２】過去デ−タの中で、削除するか否かの判断
は、新しく検出された白線情報の最近点（５ｍ注視点）
のデ−タ（ｇｘ５，ｇｙ５）と次の６ｍ注視点のデ−タ
（ｇｘ６，ｇｙ６）を用いて次のように行なわれる。ｇｘ６−ｇｘ５＞０の場合、ｘ＝ｇｘ５以下の過去デ−
タを削除する。ｇｘ６−ｇｘ５＜０の場合、ｘ＝ｇｘ５
以上の過去デ−タを削除する。ｇｙ６−ｇｙ５＞０の場
合、ｙ＝ｇｙ５以下の過去デ−タを削除する。ｇｙ６−
ｇｙ５＜０の場合、ｙ＝ｇｙ５以上の過去デ−タを削除
する。

【００５３】そして、ステップ１０９で、ステップ１０
８の処理で残された過去の白線情報と、新しく入力され
た白線情報とが並べ替えられ結合される。すなわち、自
律走行車両２０の位置から各白線情報の位置までの距離
で並べ替えられ、計算に利用しやすい形式にして、この
あとステップ１１０に進む。

【００５４】ステップ１１０では、走行可能範囲算出処
理が行なわれる。ステップ１０９で並べ替えられた白線
情報のうち、図８に示すように、自律走行車両２０から
最も遠い白線情報（ｍｘｆ，ｍｙｆ）から自律走行車両
２０までの距離ｒｃｓを走行可能範囲として、次の
（９）式により算出される。ｒｃｓ²＝（ｍｘｆ−ｇｘ）²＋（ｍｙｆ−ｇｙ）²・・・・・・（９）

【００５５】そして次のステップ１１１において、ゴ−
ル位置がそのゴ−ル位置までの距離として決定される。
すなわち、ここでは上記走行可能範囲ｒｃｓから５ｍを
減算したものが新しいゴ−ル位置として設定される。

【００５６】ゴ−ル位置が設定されると、このあとステ
ップ１１２に進んで、制御用偏差算出が行なわれる。図
８を用いてこの制御用偏差算出の処理について説明す
る。まず、白線情報（ｍｘ［ｉ］、ｍｙ［ｉ］）を用い
て、線分Ａを２次関数Ｙ＝ａ＊Ｘ²＋ｂ＊Ｘ＋ｃで算出する。上記白線情報はステップ１０８，ステップ
１０９の処理で整合、結合されたものであり、デ−タの
数ｉは白線情報の検出状況で異なる。

【００５７】自律走行車両２０の前方５ｍの注視点（ｃ
ｘ，ｃｙ）を通り、自律走行車両２０の進行方向に垂直
な直線を線分ＢとしてこれをＹ＝ｄ＊Ｘ＋ｅで表わし、線分Ｂと線分Ａとの交点（ｘｘ，ｘｙ）と注
視点（ｃｘ，ｃｙ）との距離ｗｘが前方５ｍ地点での偏
差となる。

【００５８】ステップ１１３で、ステップ１１２で算出
された５ｍ地点での偏差が切り換え装置８から運転制御
装置４へ出力されて、ステアリングアクチュエ−タ１な
どの制御に用いられる。このあと、ステップ１０２に戻
る。

【００５９】先のステップ１０３において、（ゴ−ル位
置）＞（総走行距離）の場合には、自律走行車両２０が
設定されたゴ−ル位置に到達していないものとして、ス
テップ１０４に進む。ここでは、先に画像処理部５で求
められた白線情報がまだ利用可能であり、まだ白線検出
処理を行う必要がないため、他の画像処理を行う指令が
切り換え装置８から処理選択装置７、入力画像選択装置
６に出力されて、ステップ１１２へ進む。

【００６０】なお、本実施例では、位置検出装置１０が
発明の状況検出手段を構成し、また、画像処理部による
処理の結果と位置検出装置の検出結果とを基に処理プロ
グラムの切り換え判断を行なう切り換え装置８と、この
切り換え装置からの制御により記憶装置から処理プログ
ラムを読み出す処理選択部７と、切り換え装置からの制
御により画像を切り換える入力画像選択装置６とで選択
順位付与手段が構成されている。

【００６１】以上のように、この第３の実施例では、車
両前方を撮像した入力画像から走行路の白線を検出して
車両軸線と白線との偏差を算出し、これに基づいて走行
制御が行なわれる自律走行車両において、画像処理部５
で算出された白線情報と位置検出装置１０で算出された
走行距離を基に、自律走行車両２０が白線情報がすでに
得られている範囲に設定されたゴール位置に達している
かどうかを判断する。そして、次に白線の偏差情報を算
出する必要のある位置、すなわちゴール位置に自律走行
車両２０が到達するまでの間、画像処理部５に他の画像
処理を行なわせるよう切り換え装置８から入力画像選択
装置６および処理選択装置７に切り換え指令するように
構成しているから、画像処理部５が白線情報の検出処理
を行う必要のない間、画像処理部５が他の処理に有効に
使用される。これにより、システムの冗長をなくするこ
とができ、それに伴ってコストの低減化が可能となる効
果を奏する。

【００６２】次に、画像処理切り換えを他の条件で行な
うようにした第４の実施例について説明する。ここで
は、図８に示された最遠方の白線情報の位置（ｍｘｆ，
ｍｙｆ）と最近の白線情報の位置（ｍｘｎ，ｍｙｎ）と
注視点位置（ｃｘ，ｃｙ）における白線との交点（ｘ
ｘ，ｘｙ）を用いて、下記の２条件が満足されていると
き、白線検出用の画像処理を行う必要がないものとし
て、切り換え装置による画像処理切り換えの指令が出力
される。（条件１）：ｘｘがｍｘｎとｍｘｆの間にある。（条件２）：ｘｙがｍｙｎとｍｙｆの間にある。

【００６３】この第４の実施例においても、前実施例と
同様の効果が得られるとともに、（条件１）、（条件
２）による限定により、走行路の形状の変化に対応して
白線検出の画像処理の必要性の有無の判断の精度が一層
向上するという利点がある。

【００６４】なお、上記第３および第４の実施例では画
像を入力するＴＶカメラ２台を搭載した例を示したが、
複数の画像処理を行なうのに必ずしも複数のＴＶカメラ
を備える必要はなく、目的に応じて画像の入力手段とし
て１台のＴＶカメラを共用することができる。例え
ば、車両前方の障害物検出や標識検出などのためには白
線情報検出に用いるのと同一の画像を使用することがで
き、この場合には、入力画像選択装置６を省いて、処理
プログラムの選択のみを記憶装置９から行うだけでよ
い。これにより、構成が簡略化され、さらにコストが低
減される。

【００６５】なおまた、第３および第４の実施例では走
行路の識別情報としていわゆるレ−ンマ−カとしての白
線を利用したが、他の色や、蛍光塗料などの入った線で
もよく、色が限定されるものではない。また画像処理の
目的として走行路の形状を求めるほか、路肩の検出など
にも応用できる。さらに、画像処理はモノクロ画像処理
だけでなく、カラ−画像処理を行なう画像処理装置にも
適用できることはいうまでもない。

【００６６】

【発明の効果】以上説明してきたように、本発明によれ
ば、走行状況に応じて、必要な画像処理を選択し、選択
した画像処理に優先順位をつけて、その優先順位に従っ
て処理を行うようにしたので、画像処理部の処理能力を
低く設定することが可能となる。したがってシステム
の冗長をなくすことができ、コストが低減されるという
効果が得られる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の第１の実施例の構成を示すブロック図
である。

【図３】第１の実施例における処理手順を示すフローチ
ャートである。

【図４】本発明の第２の実施例における処理手順の主要
部を示すフローチャートである。

【図５】本発明の第３の実施例の構成を示すブロック図
である。

【図６】走行路に描かれた白線の定義を説明するための
説明図である。

【図７】第３の実施例における処理手順を示すフローチ
ャートである。

【図８】白線の偏差の算出の処理を説明するための説明
図である。

【符号の説明】

１ステアリングアクチュエ−タ２ブレ−キアクチュエ−タ３スロットルアクチュエ−タ４運転制御装置５画像処理部６入力画像選択装置７処理選択装置８切り換え装置９記憶装置１０位置検出装置１１デ−タ記憶装置１２、１３ＴＶカメラ１４、１５白線１６走行路２０自律走行車両３１入力手段３２記憶装置３３状況検出装置３４選択順位付与手段３５画像処理手段５１ＴＶカメラ５２入力画像選択装置５３画像処理部５４選択順位付与部５５速度検出装置５６走行状況検出装置５７記憶装置５８警報装置

Claims

【特許請求の範囲】

【請求項１】移動体に搭載され走行路の画像を入力す
る入力手段と、該入力手段で入力された画像を処理する
ための複数の処理プログラムを記憶しておく記憶装置
と、前記移動体の走行状況を検出する状況検出手段と、
該状況検出手段の検出結果をもとに、必要な画像処理を
選択し、選択した画像処理に優先順位をつけて前記記憶
装置に記憶されている処理プログラムを読み出し、また
画像処理に必要な画像を選択する選択順位付与手段と、
前記入力手段で入力された画像を前記選択順位付与手段
で読み出した処理プログラムで処理する画像処理手段
と、該画像処理手段の画像処理結果を基に制御され作動
する制御作動装置とを有することを特徴とする移動体の
画像処理装置。
【請求項２】前記選択順位付与手段が、前記記憶装置
に記憶されている処理プログラムを選択する処理選択部
と、画像処理手段による処理結果と状況検出手段の結果
を基に前記処理選択部に処理プログラムを選択切り換え
させる切り換え装置とを有することを特徴とする請求項
１記載の移動体の画像処理装置。
【請求項３】前記制御作動装置は、前記画像処理手段
による画像処理の結果を基に警報を発する警報装置であ
ることを特徴とする請求項１または２記載の移動体の画
像処理装置。
【請求項４】前記制御作動装置は、前記画像処理手段
による画像処理の結果を基に自律走行する車両の運転制
御装置であることを特徴とする請求項１または２記載の
移動体の画像処理装置。
【請求項５】前記状況検出手段は、移動体の走行速度
を用いて移動体の走行状況を検出するものであることを
特徴とする請求項１、２、３または４記載の移動体の画
像処理装置。
【請求項６】前記状況検出手段は、移動体の走行距離
または位置座標を出力とし、前記切り換え装置は前記出
力と前記画像処理手段により検出された走行路の範囲を
基に選択切り換えをさせるものであることを特徴とする
請求項１、２、３または４記載の移動体の画像処理装
置。