JPS62140113A - 画像式無人車の画像良否判別装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の目的 （産業上の利用分野） この発明は画像式無人車の画像良否判別装置に係り、詳
しくは無人車の走行経路を指示する走行ラインを無人車
に備えた撮像装置にて撮り、その躍った走行ラインの画
素データが正しい走行ラインを示す画素データか否かを
判別して無人車を同走行ラインに沿って走行させる画像
良否判別装置に関するものである。

（従来技術） 近年、無人車の走行経路を指示する走行ラインを無人車
に備えた撮像装置で蹟り、その比＠装置で日った走行ラ
インの画像を画像処理して決定した走行経路に沿って走
行させる画像式無人車が提案されている。そして、この
種の画像式無人車においては単に前方の走行ラインを撮
像してその画像を画像処理して画像中の走行ラインの偏
位からステアリング角を決定しようとするものであった
。

（発明が解決しようとする問題点） しかし、画像式無人車においては走行ラインの近傍に汚
れ等が必ると、撮像装置が撮った画像にはそれがノイズ
となり、その場合にも画像入力したものとして通常の画
像処理を行ないその処理結果に基づいて操舵機構を作動
させることになる。

従って、画像式無人車においてはなんらかの安全対策が
必要であった。

この発明の目的は前記のように画像にノイズが混入した
場合でも無人車を安全に走行させることができる画像式
無人車の画像良否判別装置を提供するにある。

発明の構成 （問題点を解決するための手段） この発明の画像式無人車の画像良否判別装置は無人車に
搭載され走行しながら同無人車の走行経路を指示する走
行ラインをｉｔする撮像装置と、前記＠像装置が撮像し
た画像の各画素信号を符号化して画素データとする第一
の判別手段と、その符号化された画像の各画素を画素デ
ータとして記憶する記憶手段と、前記記憶手段に記憶さ
れた画像の各画素データに基づいてその画像中に搬られ
た幅のある線の重心位置を演算する演算手段と、その重
心位置が走行ライン上に必るか否かを判別する第二の判
別手段と、前記第二の判別手段の判別結果に基づいて重
心の位置が走行ライン上にあると判断したときにのみそ
の手心位置に基づいて操舵機構を制御する制御手段とか
ら構成したことをその要旨とするものである。

（作用） 前記構成により、＠像装置が走行ラインを＠像すると、
第一の判別手段が前記撮像装置が＠像した画像の各画素
信号を符号化して画素データとする。すると、記憶手段
がその符号化された画像の各画素を画素データとして記
憶し、前記記憶手段に記憶された画像の各画素データに
基づいて演算手段がその画像中に穎られた幅のある線の
重心位置を演算する。

そして、第二の判別手段はその重心位置が走行ライン上
にあるか否かを判別し、制御手段は前記第二の判別手段
の判別結果に基づいて重心の位置が走行ライン上にある
と判断したときにのみその重心位置に基づいて操舵機構
を制御する。

（実施例） 以下、この発明を具体化した無人車の画像良否判別装置
の実施例を図面に従って説明する。

第１図において、無人車１の前側上部中央位置には支持
フレーム２が立設されていて、そのフレーム２の上部中
央位置には瞳像装置としてのＣＣＤ（ｃｈａｒｇｅ　　
ｃｏｕｐｌｅｄ　　ｄｅｖｉｃｅ）カメラ３が設けられ
ている。ＣＣＤカメラ３は無人車１の前方の路面４上の
エリア４ａを撮るように支持フレーム２にセットされて
いる。そして、本実施例では前記ＣＣＤカメラ３が第４
図に示すエリア４ａの画像９は２５６Ｘ２５６個の画素
データで構成されている。

なお、本実施例はＣＣＤカメラ３の両側下方位置に同カ
メラ３の＠像を容易にするために前記路面４を照らすよ
うに照明ランプ５が設置されているが、照明ランプ５を
使用しなくてもよい。

前記路面４には第２図に示すように無人車１の走行経路
を指示する走行ライン６が一定の線幅りにて描かれてい
て、本実施例では路面４の色と異なる白色の塗料にて描
かれている。そして、この一定の線幅りを有した走行ラ
イン６を前記ＣＣＤカメラ３が搬ることになる。

なお、白色の走行ライン６を搬ったＣＣＤカメラ３から
の信号（以下、画素信号という）のレベルは高く、反対
に暗い路面４を躍ったＣＣＤカメラ３からの画素信号の
レベルは低くなる。

次に、無人車１に搭載された画像良否判別装置の電気的
構成を第３図に従って説明する。

マイクロコンピュータ１０は第二の判別手段及び制御手
段としての中央処理装置（以下、単にＣＰＵという）１
１と制御プログラムを記憶した読み出し専用のメモリ（
ＲＯＭ＞よりなる記憶手段としてのプログラムメモリ１
２とＣＰＵ１１の演算処理結果等が一時記憶される読み
出し及び書き替え可能なメモリ（ＲＡＭ）よりなる作業
用メモリ１３及びタイマ１４等から構成され、ＣＰＵ　
１１はプログラムメモリ１２に記憶された制御プログラ
ムにて走行ライン６の軌跡を割り出すとともに操舵制御
のための各種の演算処理動作を実行するようになってい
る。

前記ＣＰＵ１１は前記タイマ１４が計時する時間に基づ
いて一定時間ごとに入出力インタフェース１５及び第一
の判別手段としてのＡ／Ｄ変換器１６を介して前記ＣＣ
Ｄカメラ３を走査制御するとともに、そのＣＣＤカメラ
３からの画素信号をＡ／Ｄ変換器１６、バスコントロー
ラ１７を介して画素データにして作業用メモリ１３に記
憶する。

Ａ／Ｄ変換器１６はＣＣＤカメラ３からの画素信号をア
ナログ値からデジタル値に変換する際、各画素信号が予
め定めた設定値以上か否かを判別し、設定値以上の画素
信号の場合には白色の走行ライン６の部分の画素として
「１」、反対に未満の画素信号の場合には暗い色の路面
４の部分の画素としてｒＯＪとするようにして順次入力
されてくる各画素信号を２値化し画素データとしてバス
コントローラ１７を介して作業用メモリ１３に記憶する
。

従って、作業メモリ１３にはＣＣＤカメラ３が穎った画
像を２５６ｘ２５６個の画素データにして記憶されてい
ることになる。

なお、前記したように本実施例では前記ＣＣＤカメラ３
は予め定めた時間ごとに間をおいて＠像動作が行なわれ
るように制御されていて、その時々の画像の画素データ
が作業用メモリ１３に記′ｌされるが、新たな画像の画
像データ群が入力されると、先の画像データ群が消去さ
れて、その領域に新たな画像の画素データ群が記憶され
るようになっている。

又、本実施例では、説明の便宜上ＣＣＤカメラ３の走査
制御は横方向（Ｘ軸方向）に走査し、その走査が画面９
の上から下方向（ｙ軸方向）に移る走査方式を採用する
がその他の走査方式で実施してもよいことは勿論で必る
。

前記２値化レベルコントローラ１Ｂは前記ＣＰＵ１１か
らの制御信号に基づいて前記へ／Ｄ変換器１６が２値化
するための設定値のデータを同Ａ／Ｄ変換器１６に出力
するようになっている。

ドライブコントローラ２０は図示しない走行用の走行用
モータ及び操舵機構１９を同じ＜ｃｐｕｌｌからの制御
信号に基づいて制御する。そして、操舵機４ｆｔ＋１９
はその制御信号に基づいてステアリング角を制御する。

次に、前記ＣＰＵ１１の処理動作について説明する。

今、ＣＰＵ１１からの制御信号に基づいてＣＣＤカメラ
３が走査制御されると、ＣＣＤカメラ３は路面４に対し
て垂直ではなく一定の角度傾いて瞳像されていることか
ら第４図に示す前方のエリア４ａを第５図に示すような
画像９に瞳像する。

このＣＣＤカメラ３が瞳像した画像９は画素信号として
Ａ／Ｄ変換器１６に出力され、そのＡ／Ｄ変換器１６に
て各画素信号が走行ライン６の部分の画素信号か路面４
の部分の画素信号かが判別されて画素データとして作業
用メモリ１３の所定の記憶順１ｊ３．１３ａに記憶する
（ステップ１）。ＣＰＵ１１はその画素データに基づい
て走行ライン６の画像認識を行なう。ＣＰＵＩＩはこの
画素９において上側から順に走査方向（Ｘ軸方向〉の各
画素データを読み出し、走行ライン６として判別した画
素データに基づいてその各走査列におけるその走行ライ
ン６と判別した部分の重心位置Ｑｎがどの位置におるか
を求め作業用メモリ１３に記憶する〈ステップ２）、。

この算出は第８図に示すように画像９を構成する各画素
において左から数えて１２８番目にある縦一列の画素列
をｙ軸とし、最上側から数えて１２８番目にある横一列
の画素列をＸ軸と規定して画像９の各画素をＸ、ｙ座標
で表わすようにして、走行ライン６の位置及び重心位置
Ｑｎをｘ、ｙ座標で求めている。そして、画＠９の最下
側までの各走査列の重心位置Ｇｏ−０２５５を求める。

次に、ＣＰＵ１１はその求めた重心位置Ｇｏ〜Ｇ２５５
から複数例の重心位置を選定点として選定する。本実施
例では予め選定する走査列は決められていて、後記する
画像９を射影変換した時において隣接する選定点が全て
進行方向（ｙ＠力方向に対して等距離となるように４個
の走査列１−ａ〜１−ｄが決められている。

すなわら、走査列１−ａ〜ｌ−ｄが後記する画像９を射
影変換した時においてエリア４ａをｙ軸方向において４
個に分割してなる分割領域Ａ１〜Ａ４のそれぞれの中央
線となるように決められ、その分割領域Ａ１〜△４にお
ける走行ライン６の有無判断を前記走査列しａ−１ｄに
て行うようになっている。そして、各走査列Ｌａ−Ｌｄ
における求めた重心位ｆｆｆｉＧａ、Ｇｂ、Ｇｃ、Ｇｄ
を第８図に示すように選定点７１〜Ｚ４として規定して
いる。

次にＣＰＵ１１は前記選定する走査列Ｌａ−Ｌｄにおい
て前記選定点７１〜Ｚ４の座標位置における最も近い座
標の画素データを前記作業用メモリ１３から読出し、そ
の画素データが「１Ｊ　（すなわち走行ライン６の白色
）か「Ｏ」　（すなわち路面４の黒色）かを判別し、そ
の判別結果が「１」の場合には正しい画素データすなわ
ち重心位置であると判断して前記選定点７１〜Ｚ４がそ
の走査列における走行ライン６の重心と判断する。

又、反対に第１３図に示すように路面４上に白等の汚れ
４ｂ、電気的ノイズ、光の乱反射等を含む画素データに
基づいて演算した結果、Ｚｌが路面４上に位置するよう
な場合、前記判別結果がｒＯＪとなるためこのような場
合には前記選定点７１〜Ｚ４は前記電気的ノイズ等によ
り影響を受けた不良データと判断し、ステップ１に戻っ
て新しく作業用メモリ１３に古き替えられた最新の画素
データを読み込み、以下前記と同様に動作する。

前記のように画素データが正しい画素データと判別した
場合には、次にＣＰＵ１１はこの選定点７１〜ｚ４を射
影変換、すなわち、下記に示すように画像９で求めた選
定点７１〜Ｚ４が第９図に示す実際のエリア４ａ上のど
の位置（以下、基点という）Ｑｌ〜Ｑ４にあるかを割り
出プ演算処理を行なう（ステップ４）。

Ｚｌ　（ｘ　１．　ｙ　１）　→Ｑ１　（Ｘ　１．　Ｙ
　１）Ｚ２　（ｘ　２．　ｙ　２）　−＝Ｑ２　（Ｘ　
２．　Ｙ　２）Ｚ３　（ｘ　３．　ｙ　３）　→Ｑ３　
（Ｘ　３．　Ｙ　３）Ｚ４　（ｘ　４．　ｙ　／ｌ）　
−Ｑ４　（Ｘ　４．　Ｙ　４）これは前記したようにＣ
ＣＤカメラ３が路面４を垂直に撮像していないことから
画像９中の走行ライン６と実際のエリア４ａにおける走
行ライン６と相違するのを一致させる処理である。

なあ、この射影変換処理動作は予め設定されているＣＣ
Ｄカメラ３の焦点距離、倍率等の規格及び傾き、高さ等
の設置条件に基づいて射影変換、すなわち、座標変換が
行なわれる。そして、この射影変換の一般式は以下の通
りである。

選定点の位置座標をｘ、ｙ、基点の位置座標をＸ、Ｙと
し、カメラ３の高さをＨ、カメラ３の１頃きをθ、対応
する倍率を決める定数をＦとする。

ｘ−ｓｅｃｅ　　　　　　　Ｈ ｙ−Ｆ−ｔａｎｅ　　　　　Ｈ Ｙ＝　　　　　　　　　　　　　　　　・□（１＋　（
ｙ／Ｆ）ｔａｎｅ）　　　　Ｆ前記のように射影変換を
行なった後、ＣＰＵ　１１は隣接づる基点間の距離りの
演算を行なう（ステップ５）。なお、距離りの算出は以
下の式にて次にＣＰＵ１１は演算した距＠Ｌと予めプロ
グラムメモリ１２に記憶した基準距離εとの比較を行う
（ステップ６）。なお、この基準距離εは予め走行コー
ス６にて実験して求められたものであって、例えば第１
４図に示すように前記ステップ３において選定点Ｚ３が
汚れ４ｂの上に位置するような場合ステップ３では除く
ことができない不良データを割り出すため、基点間の距
離としておりえないものを除くように設定された設定値
である。

この基準距離εとの比較により距＠Ｌが基準距離εより
も大きい場合には画素データが前記電気的ノイズ等によ
り影響をうけた不良データと判断し、ステップ１に戻っ
て新しく作業用メモリ１３に皇き替えられた最新の画素
データを読み込み、以下前記と同様に動作する。

反対にこの基準距離εとの比較により距離りが基準距離
εよりも小さいか又は等しい場合には画素データが正し
いデータと判断し、次に、ＣＰＵ１１はこの４個の基点
０１〜Ｑ４が第９図に示すようにエリア４ａをＸ軸方向
に８個に分割してなる分割領域８１〜Ｂ８のどの領域に
属するか割り出す。

このいずれに属するかの判断は本実施例では予め各領域
８１〜Ｂ８を仕切る仕切り線及び前記各走査列しａ−１
−ｄに対応する分割領域Ａ１〜Ａ４のラインミーｄ上の
各領域の中心の位置も予め設定し分っているので、例え
ば第１０図に示すようにその基点Ｑ３についてその両側
におる各領域Ｂ３、Ｂ４の重心位置Ｐ３．Ｐ４までの距
＠Ｄ３゜Ｄ４をそれぞれ求め、近い距＠Ｄ４にある重心
位置Ｐ４側の領１ｉｌｉ８４を当該基点Ｑ３の属する領
域と判断するようになっている。

このようにエリア４ａは分割領域Ａ１〜Ａ４及び前記分
割領１ｔＪ、８１〜Ｂ８との組合わせによる複数の撮像
領域（Ａｎ　、　Ｂｎ　）に分割され、ＣＰＵ１１は前
記のように各基点０１〜Ｑ４がそれぞれどの撮像領域（
Ａｎ　、　Ｂｎ　）に属するかを割り出す（ステップ７
）。

なお、基点Ｑ１〜Ｑ４が存在しない場合にはその穎像領
１ｊ！（Ａｎ　、　Ｂｎ　）は（Ａ　Ｏ，Ｂ　Ｏ）とし
てＣＰｔＪｌｌは判別し、この場合も含めて４個の基点
Ｑ１〜Ｑ４の＠像領域（Ａｎ　、　Ｂｎ　）に属する組
合せく走行パターン数）は９の４乗（＝６５６１）通り
あり、その６５６１通りの走行パターンは予めプログラ
ムメモリ１２の所定の記憶＠域１２ａに記憶されている
。

そして、その走行パターンに対応する６５６１個のテー
ブル群が同じく第１２図に示すようにプログラムメモリ
１２の所定の記憶領域１２ｂに予め記憶されていて、Ｃ
ＰＵ１１はその割り出した基点０１〜Ｑ４の配列と一致
する走行パターンを検索しくステップ８）、その一致す
る走行パターンのテーブルを読み出すとともに、ＣＰＵ
１１はそのテーブルに備えられた走行制御データを読み
出しする（ステップ９）。

なお、各テーブルの走行制御データはその走行パターン
、すなわち、各基点０１〜Ｑ４の配列に基づく走行ライ
ン６に対して原位置からその撮像したエリア４ａまで合
理的かつ効率よく走行させるためのその走行の時々のス
テアリング角のデータで予め実験して求められたもので
あって、このデータに基づいて操舵機構１９は作動され
る（ステップ１０）。

今、ＣＰＵＩＩがＣＣＤカメラ３が＠像した最新の画像
９に基づく各基点０１〜Ｑ４の配列と一致する走行パタ
ーンを検索し、その走行パターンに対するテーブルをプ
ログラムメモリ１２から読み出すとともにそのテーブル
の走行制御データを作業用メモリ１３の所定の記憶領１
ｆｃ１３ｂに記憶する。すると、同ＣＰＵＩＩはこの作
業用メモリ１３に記憶した最新の走行制御データに基づ
いて操舵機構１９を作動させる。すなわち、無人車１は
この時点で最新のエリア４ａまでの走行経路がこの走行
制御データにて決定されたことになる。

ＣＰＵ１１は無人車１をその最新の走行制御データに基
づいてステアリング角を制御しながらそのエリア４ａに
向って走行させる。。

そして、この走行途中において、所定の時間が経過して
ＣＰＵ１１がＣＣＤカメラ３を制御して先の＠像エリア
４ａより前方の新たなエリア４ａの画像９の画素データ
群を作業用メモリ１３に記憶すると、同ＣＰＵ１１はこ
の最新の画素データ群に基づいて前記と同様に基点０１
〜Ｑ４を求め一致する走行パターンを検索し、その一致
した走行パターンに対応する走行制御データを読み出す
。

そして、ＣＰＵ１１は作業用メモリ１３の内容を先の走
行制御データからこの新たな走行制御データに書き替え
、この最新の走行制御データにて。

操舵機構１９を作動させる。すなわら、先の走行制御デ
ータに基づく無人車１の走行はその走行途中で最新のエ
リア４ａに対する走行制御データに基づく走行に変更す
る。

以後、これを繰り返すことによってＣＰＵ１１はＣＣＤ
カメラ３が新たなエリア４ａを撮像するたびごとにその
エリア４ａの画像に基づく新たな走行制御データを読み
出し操舵機構１９を作動させ、無人車１を走行ライン６
に沿って走行させる。

このように電気的ノイズ等より画素データが悪影響を受
けた場合にはＣＰｔＪ”１１の処理動作におけるステッ
プ３においてその画素データを不良データとして判断し
て無視し、正しい画素データとして判断したときのみ走
行制御される。そして、この実施例ではざらにＣＰＵ１
１の処理動作におけるステップ５及びステップ６にて画
素データの良否を判断することにより前記ステップ３の
処理動作とともに２重チェックを行なうことになるため
、無人車の走行制御を確実に行なうことができる。

なお、本発明は前記実施例に限定されるものではなく、
前記実施例では選定点７１〜Ｚ４を４個としたが、その
数を適宜変更して実施してもよい。

又、前記実施例では選定点７１〜Ｚ４の選定をｙ軸方向
に対して等間隔に選定したが、これを例えば上側はどそ
の間隔を狭くする等、等間隔に限定されることなく適宜
変更して選定点を選定したりして実施してもよい。

さらに、前記実施例では選定点７１〜Ｚ４を所定の走査
列方向の走行ライン６を示す画素群の重心位置Ｑｎとし
たが、要は、画像９中に撮像されている走行ライン６か
ら選定されればよく、その選定方法はどんな方法でもよ
い。さらに、前記実施例では重心位置（３ｎを全ての走
査列について求めた後、所定の重心位置を選定点とした
が、全ての重心位置を求めることなく選定点となる所定
の走査列の重心位置のみを求めるだけにして実施しても
よい。この場合、走行経路決定処理時間を短縮させるこ
とができる。

又、前記実施例では撮像装置としてＣＣＤカメラを用い
たが、それ以外の撮像装置を用いて実施してもよく、又
、前記実施例ではＣＣＤカメラ３における画像のの画素
構成（分解能）を２５６×２５６画素としたが、これに
限定されるものではなく、例えば５１２Ｘ５１２画素、
１０２４Ｘ１０２４画素等、適宜変更して実施してもよ
い。

発明の効果 以上詳述したように、この発明によれば走行ラインの近
傍の汚れ、電気的ノイズ、光の乱反射等により悪影響を
受けた不良の画素データを除くことができ、正しいデー
タと判断した画素データに基づいて正確な走行経路を決
定することができる優れた効果を有する。

【図面の簡単な説明】

第１図はこの発明を具体化した無人車の側面図、第２図
は同じく平面図、第３図は制御装置の電気ブロック回路
図、第４図はＣＣＤカメラが撮像するエリアを示す図、
第５図はＣＣＤカメラが撮らえた画像を説明するための
説明図、第６図はＣＣＤカメラの撮像回数とそのエリア
との関係を説明するための図、第７図は作業メモリの内
容を説明するための図、第８図は画像の座標を説明する
ための図、第９図は選定点を実際のエリアに射影変換し
た時の各基点を示す図、第１０図は基点の属する領域を
説明するための図、第１１図及び第１２図はプログラム
メモリの内容を説明するための図、第１３図は選定点が
路面上に位置したときの画像の座標を示すための図、第
１４図は選定点が汚れ上に位置したときの画像の座標を
示すための図、第１５図はフローチャートである。 図中、１は無人車、３はＣＣＤカメラ、４は路面、４ａ
はエリア、５は照明ランプ、６は走行ライン、９は画像
、１０はマイクロコンピュータ、１１は中央処理装置（
ＣＰＵ）、１２はプログラムメモリ、１３は作業用メモ
リ、１４はタイマ、１６はＡ／Ｄ変換器、１８は２値化
レベルコントローラ、１９は操舵機構、２０はドライブ
コントローラである。 特許出願人　　株式会社　豊田自動織機製作折代　理　
人　　弁理士　　恩１）博宣 第１３図 福１４図

Claims (1)

【特許請求の範囲】
1. １．　無人車に搭載され走行しながら同無人車の走行経
   路を指示する走行ラインを撮像する撮像装置と、 前記撮像装置が撮像した画像の各画素信号を符号化して
   画素データとする第一の判別手段と、その符号化された
   画像の各画素を画素データとして記憶する記憶手段と、 前記記憶手段に記憶された画像の各画素データに基づい
   てその画像中に撮られた幅のある線の重心位置を演算す
   る演算手段と、 その重心位置が走行ライン上にあるか否かを判別する第
   二の判別手段と、 前記第二の判別手段の判別結果に基づいて重心の位置が
   走行ライン上にあると判断したときにのみその重心位置
   に基づいて操舵機構を制御する制御手段と から構成した画像式無人車の画像良否判別装置。