JPS62222308A - 無人車の画像式障害物検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の目的 （産業上の利用分野） この発明は無人車の障害物検出方法に係り、詳しくは無
人車に搭載したＲ＠装置を用いて走行経路上の障害物の
有無を検出する障害物検出方法に関するものである。

（従来技術） 近年、撮像装置を無人車に搭載しその撮ａ装置にて走行
経路を指示する走行ラインを撮り、画像認識してその走
行方向を判断して、操舵機構を制御するようにした無人
車が提案されている。一方、これと並行してこれら無人
車において走行経路上に障害物がある場合にはそれを回
避するための障害物検出手法が急がれている。

（発明が解決しようとする問題点） そして、一般には路面に敷設された軌導線をピックアッ
プコイルにて検出してその軌道線上を走行するタイプの
無人車では超音波センサを用いて障害物を検出していた
。ところが、超音波センサの場合には物体の位置や大き
さを正確に判断することはぐきなかった。しかも、撮像
装置を搭載した無人車においてそのｌｉｔ　像装置を利
用しないで超音波センサを用いることは装備が増えるだ
けで撮像装置を効率よく使用する上で問題があった。

又、視覚による物体計測を計測する方法として、例えば
２台の撮像装置からの画像に基づいて両眼立体視を作り
物体を判別する手法や、スリット光を物体に照射し、そ
の反射光を撮像装置が撮り物体を判別する手法がある。

しかし、前者の方法は障害物の形状及び配置によって大
きな制約を設ける必要があり、複雑な環境のもとて障害
物を認識することは処理が膨大なものとなり実際に使用
するには問題があった。又、後者の方法では装置が非常
に複雑となり、実際の無人車に適用するのは困難であっ
た。

この発明の目的は１台の踊＠装置を用い比較的簡単な処
理で正確に障害物を検出することができ、無人車を安全
に運行させることができる無人車の画像式障害物検出方
法を提供することにある。

発明の構成 （問題点を解決するための手段） この発明は上記目的を達成するために、まず、無人車に
搭載した撮像装置にて障害物検出のために無人車の平坦
走行通路を躍ｆｌＪＩし、そのＩｆｆＪＩして得られた
画像を平面画像とする。そして、その平面画Ｏと、無人
車が姿勢角を変えて平坦走行通路を走行し前記ｍｓ装置
が障害物検出のための画像動作を行う次の新たな地点と
、その新たな地点での前記無人車の姿勢角とに基づいて
その新たな地点における予測される予測画像を求める。

次に、その新たな地点でＲ＠装置にて障害物検出のため
に無人車の走行通路を撮像する。そして、その新たな地
点での画像と前記予測画像とで視差の有無を判別して障
害物の有無を割り出すものである。

（作用） 無人車に搭載した撮像装置にて障害物検出のために無人
車の走行通路をＲ像して得られた平面画像から無人車が
姿勢角を変えて走行し次の新たな地点で撮像装置が撮像
したならば得られるであろう予測画像は′＠画像動作行
う次の新たな地点の位置とその新たな地点での無人車の
姿勢角が分れば求めることができる。

そして、走行通路上に三次元の障害物がある場合には予
測画像と新たな地点で撮像した実際の画像との間に視差
が生じる。反対に、無人車の走行経路を指示する走行ラ
イン等の障害物でない平面的なものは予測画像と新たな
地点でｗｉｔ、た実際のｉｉ！ｊｍとの間に視差が生じ
ない。

従って、この視差がある場合には前方に障害物が、視差
がない場合には障害物がないことが判断できる。

（実施例） 以下、この発明を画像式無人車に具体化した一実施例を
図面に従って説明する。

第１図において、無人車１の前側上部中央位置には支持
フレーム２が立設されていて、そのフレーム２の上部中
央位置には撮像装置としてのＣＯＤ（ｃｈａｒｇｅ　　
ｃｏｕｐｌｅｄ　　ｄｅｖｉｃｅ）カメラ３が設けられ
ている。ＣＣＤカメラ３は無人車の前方平坦な走行路面
４上の画像を擾るようにセットされている。そして、本
実施例ではＣＣＤカメラ３が撮像したエリア（実平面）
Ｚの画ａ５は実平面に対して第３図に示す関係で示され
、その画素構成は２５６Ｘ２５６個の画素で構成されて
いる。

尚、ＣＣＤカメラ３からの信号（以下、画素信号という
）のレベルは明るい部分はど高く、暗い部分はど低くな
る。

次に、無人車１に搭載された制御装置の電気的構成を第
４図に従って説明する。

マイクロコンピュータ１０は中央処理装置（以下、単に
ＣＰＵという）１１と制御プログラムを記憶した読み出
し専用のメモリ（ＲＯＭ）よりなるプログラムメモリ１
２とＣＰＵ１１の演算処理結果及び画素データ等が一時
記憶される読み出し及び書き替え可能なメモリ（ＲＡＭ
）よりなる作業用メモリ１３及びタイマ１４等から構成
されている。そして、ＣＰＵ１１はプログラムメモリ１
２に記憶された制御プログラムにて障害物検出及び操舵
制御のための各種の演算処理動作を実行する。

前記ＣＰＵ１１はタイマ１４が計時する時間に基づいて
一定の時間毎に入出力インターフェイス１５及びＡ／Ｄ
変換器１６を介して前記ＣＯＤカメラ３を走査制御する
とともに、そのＣＣＤカメラ３からの画素信号をＡ／Ｄ
変換器１６及びバスコントローラ１７を介して画素デー
タにして作業用メモリ１３に記憶させる。

Ａ／Ｄ変換器１６はＣＣＤカメラ３からの画素信号をア
ナログ値からデジタル値に変換するものであって、予め
設定した２５６段階に区分したレベル中どのレベルにあ
るか判別（明度判定）し、１画素毎にそのレベルを８ビ
ツトで符号化している。そして、本実施例では最も暗い
部分（最も低いレベル）の画素信号はｒｏ、ｏ、ｏ、ｏ
、ｏ。

０、Ｏ，ＯＪと、反対に最も明るい部分（最も高いレベ
ル）の画素信号はＭ、１，１．１，１゜１．１．１Ｊと
し、順次入力されてくる画素信号をその２５６段階に区
分された範囲内で符号化し画素データとしてバスコント
ローラ１７を介して作業用メモリ１３に記憶する。

従って、ＣＣＤカメラ３が撮像した画像５は２５６Ｘ２
５６個の画素信号に区分され、その各画素信号が８ビツ
トに符号化された画素データに変換されて作業用メモリ
１３に記憶されることになる。

レベルコントローラ１８は前記ＣＰＵ１１からの制御信
号に基づいてＡ／Ｄ変換器１６が前記画素信号を符号化
するための設定値を決めるデータを同△／Ｄ変換器１６
に出力するようになっている。ドライブコントローラ１
９は図示しない走行用モータ及び操舵機構２０を同じ＜
ＣＰＵ１１からの制御信号に基づいて制御する。

無人車１に搭載された車速検出装ｅ１２１は無人車１の
駆動系の回転数を検出し車速Ｖを検出し、その検出信号
を入出力インターフェイス１５を介してＣＰＵ１１に出
力する。操舵角検出装置２２は第５図に示すように操舵
輪２３の操舵角ｅを検出し、同じく入出力インターフェ
イス１５を介してｃｐｕｉｉに出力する。

次に、前記ＣＰｔＪ１１の処理動作について説明する。

今、ＣＰＩＪｌｌが走行モータ及び操舵機構２０を制御
して予め定めた走行軌跡に沿って無人＠１が走行する状
態において、無人車１が第６図に示す実線位置（以下、
Ａ地点という）に達すると同時にＣＰＵ１１は入出力イ
ンターフェイス１５、Ａ／Ｄ変換器１６を介してＣＣＤ
カメラ３を＠像動作させると、ＣＣＤカメラ３は２点鎖
線で示すエリアｚ１を１ｌｉｌｆ’Ａし、そのエリアＺ
１の画像信号をＡ／Ｄ変換器１６に出力する。又、ＣＰ
Ｕ１１は車速検出装置２１及び操舵角検出装置２２から
の検出信号を入力しその時々の無人車１の車速■及び操
舵角ｅを検出している。

前記Ａ／Ｄ変換器１６はこの画像信号を各画素毎に区分
し、その区分毎にレベルを判定して画素データに変換し
てバスコントローラ１７を介して作業用メモリ１３に記
憶させる。

ｃｐｕｉ’＋はこの画像５（以下、これを説明の便宜上
入力画像５ａという）を実平面に変換させるべく射影変
換、即ち、画（１５の各画素が第６図に示す実際のエリ
アＺ１のどの位置に対応するか演算する。これは前記し
たように、ＣＣＤカメラ３が路面４を垂直にｍ＠Ｌ、て
いないことから入力画像５ａと実際のエリアＺ１とが相
違するため、入力画像５ａに基づく各画素を実際のエリ
アｚ１に変換させる処理である。

尚、この射影変換処理動作は予め設定されているＣＣＤ
カメラ３の焦点距離、傾き、高さ等に基づいて射影変換
、即ち、座標変換が行われる。そして、このひ１彰変換
の一般式は以下の通りとなる。

ＣＣＤカメラ３の入力画像５ａを第３図に示すように×
、ｙ座標とし、実際のエリアＺ１に変換させる座標をＣ
ＣＤカメラ３の中心位置を原点としたＸ、Ｙ座標とする
。

Ｘφｓｅｃω　　　　　　　　Ｈ ｙ−（Ｋ−Ｆ）−ｔａｎω　　　　Ｈ ω：　ＣＣＤカメラ３の傾斜角度 Ｈ：　ＣＣＤカメラ３の高さ Ｆ：レンズの焦点距離 に：係数 そして、ＣＰＵ１１は入力画＠５ａにおける各画素（ｘ
ｎ　、　ｙｎ　）に対応する画素データをその変換され
た各画素（Ｘｎ　、　Ｙｎ　’）に対応させるようにし
て作業用メモリ１３に記憶させる。

やがて、無人中１が１点鎖線で示す走行軌跡上の地点く
以下、Ｂ地点という）に到達すると、ＣＰＵ１１は入出
ツノインターフェイス１５、Ａ／Ｄ変換器１６を介して
ＣＣＤカメラ３をＲ像動作させる。この時、ＣＣＤカメ
ラ３は２点鎖線で示すエリアＺ２を撮像し、そのエリア
Ｚ２の画像１８号をＡ／Ｄ変換器１６に出力する。そし
て、前記と同様にこの画像５（以下、これを前記入力画
像５ａに対して前方入力画像５ｂという）の各画素毎に
画素データが作成され作業用メモリ１３に記憶させる。

一方、ＣＰＵ１１は前記Ａ地点で撮像した入力画像５ａ
の画素データに基づいて、Ｂ地点で撮像したならば得ら
れるであろう予測側＠５ｃを作成する。即ち、エリアＺ
１の画素データを用いて、エリアＺ２における予測画像
の予測画素データを作成する。

まず、エリアｚ１とエリアＺ２と重複する部分において
前記変換した実際のエリアｚ１の各画素が基準となった
（Ｘ、Ｙ）座標を前記Ｂ地点における（η、ζ）座標に
座標変換させる演算をする。

この演算は車速検出装置２１にて車速Ｖ、操舵角検出装
置２２にて操舵角ｅが検出でき、Ａ地点及びＢ地点の位
ごと無人！ＩＸ１の姿勢角Φの変化量が求まることから
、以下の式を用いて座標変換を行なうことができる。

（ｔ）（ｔ）＝　（Ｖ／Ｌ）ｓ　ｉ　ｎｅ　（ｔ）ｄ　
を十Φ０７７　（ｔ）　＝Ｖｃｏｓ　（ｅ　（ｔ＞　＋
（［）　（ｔ）　）　ｄ　ｔ＋Ｘ　Ｏ ζ（ｔ）　＝Ｖｓ　ｉ　ｎ　（ｅ　（ｔ）＋Φ（ｔ））
ｄｔ＋ＹＯ Ｌ二ホイルベース そして、ＣＰＵ１１は各画素（Ｘｎ　、　Ｙｎ　）に対
応する画素データを各画素（η０．ζｎ）に対応させた
予測画素データとして作業用メモリ１３に記憶させる。

次に、エリアｚ２に座標変換された画素データを実際に
ＣＣＤカメラ３が撮像したならば得られるはずの画像（
予測側＊５Ｇ）に変換する。即ち、前記射影変換とは反
対の逆射影変換を行なう。この逆変換は前記ｒＡ影変換
と逆の変換を行なうものであるので、その詳細は省略す
る。

予測側＃５ｃにおける各画素（ｘｎ　、　ｙｎ　）の予
測画素データが作成され作業用メモリ１３に記憶される
と、ＣＰＵ１１は前記Ｂ地点で実際に撮像して得た前方
入力画像５ｂの各画素（ｘｎ、ｙｎ）と画素データと対
応する予測画像５Ｃの各予測画素（ｘｎ　、　ｙｎ　）
の予測画素データとを比較する。

この比較は対応する位置にある画素、例えば画素（ｘｉ
　、　ｙｋ　）の画素データ（便宜上、この画素データ
値をＤｉｋとする）と予測画素データ（この画素データ
値をＰＤｉｋとする）との差Δ（Δｉｋ＝　Ｄ　ｉｋ　
−Ｐ　Ｄ　ｉｋ）を、即ち明度の差を求める。

そして、この差ΔｉｋがＯのとぎはその対応する画素同
志間のデータ値が同じであって、この一点の画素におい
て明度差がないことを意味する。即ち、Ａ地点で撮像し
た入力画像５ａに基づいて作成した予測側＠５ＣとＢ地
点で実際にｍ像した前方入力画像５ｂとはその対応する
位置において視差がないことになる。

反対に、差Δｉｋの絶対値（−１Ｄｉｋ−ＰＤｉｋｌ　
）が正のとぎにはその対応する画素同志間のデータ値が
相違し、明度差が生じているということを意味する。即
ち、Ａ地点でｍ像した入力画像５ａに基づいて作成した
予測画像５Ｃと８地点で実際に撮像した前方入力画像５
ｂとはその対応する画素（ｘｉ　、　ｙｋ　）において
視差が生じていることになる。

この視差の有無はエリアＺ１．Ｚ２に高さを持った障害
物２４があるか否かに関係する。これは、エリアＺｌ、
Ｚ２に障害物２４がある場合には予測画像５Ｃと前方入
力画１ｆＤ５ｂとが第７図に示すように一致せず視差Ｐ
となって現われる。即ち、入力画像５Ｃの座標変換処理
において入力画像の画素データを平面的なものとしてそ
のまま射影変換、座標変換、逆射影変換するため、平面
側１争として捕えている予測側（１５ｃと立体画像とし
て捕えている前方入力画像５ｂとの間には第８図に示す
ようにｙ軸成分だけ考えると視差Ｐ　（＝Ｙｒ　−Ｙｒ
）が生じることになる。そのｔ１ｉ！ｌ果、それが予測
側ｆ１５ｃと前方入力画像５ｂを重ね合せると明度の差
となって現われる。

従って、障害物２４がなく路面４上に例えば四角の白い
マーク２５が描かれている場合に予測画像５Ｃと前方入
力画１５ｂは共に平面画像であるから視差Ｐがなく、第
９図に示すようにその予測画像５Ｃと前方入力画像５ｂ
とが一致することになる。そして、ＣＰＵ１１は各画素
（ｘｎ　、　ｙｎ　）毎に求めた冬着Δｎ、ｎを差分画
（Ｉｔ５ｄの差分データとして作業用メモリ１３に記憶
する。

次に、ＣＰＩＪＩＩはこの差分側条５ｄの各画素（ｘｎ
　、　ｙｎ　）の差分データに基づいて第１０図に示す
ように視差領域２６を求める。この視差領域２６は各画
素（ｘｎ　、　ｙｎ　）の差分データである差Δｎ、ｎ
がＯでない画素（ｘｎ　、　ｙｎ　）の部分を求めその
範囲を視差領域２６としてｃｐｕｌｉは決定している。

この時、ＣＰＬＪｌｌは視差領域２６が存在した場合、
その領域が障害物の存在に基づくものかノイズのものか
を判別しノイズによって、例えば異常な位置に孤立した
視差領域がある場合にはその領域をノイズによるものと
して除去する。従って、この時点で無人車１の前方に障
害物２４が存在するか否かが視差領域２６の有無によっ
て判別が可能となる。

視差領域２６が求まると、ＣＰＵ１１はその障害物の高
さＨＯと位置ＹＯを算出する。この場合、前記Ｙ軸成分
だけ考えた場合における？！差Ｐ（＝ＹＩ　−Ｙｒ　）
が障害物の高さ情報に対応しているものとみなすことに
よって、障害物２４の各点の高さ情報を近似的に下記の
式で求めることができる。（以下余白） Ｙｒ　　−Ｙｒ ＨＯ＝Ｈ・　□ ΔＹ十Ｙｆ　−Ｙｒ 又、Ｙ軸方向の位置ＹＯは下記の式で求めることができ
る。

Ｙｆ　・１」０ ＹＯ＝Ｙｆ−□ このように、本実施例においてはＡ地点でＣＯＤカメラ
３にてその路面４をＩｉ＊Ｌ、次に無人車１が姿勢角Φ
を変えて到達するＢ地点で同ＣＣＤカメラ３でｍ像した
ならば得らるれるはずの予測画像５ＣｅＡ地点で撮像し
た入力画像５ａを平面画像して考え、かつＢ地点の位置
とその無人車１の姿勢角Φとに基づいて作成し、その予
測側ｅ５ＣとＢ地点で実際に撮像した前方入力画像５ｂ
の各画素の画素データ値を比較して視差領域２６を求め
ることによって、障害物２４の有無を判別することがで
きる。従って、この判別結果に基づいて障害物２４があ
る場合には無人車１を停止させたり、障害物を迂回して
走行させるといった走行制御に応用することができる。

又、本実施例では障害物検出のための撮像装置がＣＯＤ
カメラ３を１台だけで障害物の有無判別を可能したので
、障害物検出のための装置のコス１へを低く押えること
ができる。

さらに、本実施例では予測画像５ｃと前方入力画像５ｂ
の各画素の画素データ値を比較して視差領域を求め障害
物２４の有無を判別するようにしたので、膨大かつ複雑
な障害物の有無判断処理が非常に簡単な演口処理で行え
ることになる。

尚、この発明は舶記実施例に限定されるものではなく、
前記実１ｉＸＡ例では無人車１が予めプログラムメモリ
１２又は作業用メモリ１３に記憶された走行データに基
づいて走行用モータ及び操舵機構２０を制御して所定の
軌道を走行させるようにしたタイプの無人車１に実施し
たが、これを平坦な路面に軌道線が敷設された軌道線を
ピックアップコイルにて検出してその軌道線上を走行す
るタイプの無人車に応用したり、平坦路面に走行経路を
指示する走行ラインが描かれ、その走行ラインを撮像装
置が搬像し画像処理して走行経路を求め走行する画像式
無人車に応用してもよい。尚、この画１９式無人車にお
いて１台の搬像装置にて障害物検出のための搬像と走行
ライン検出のためのｍ像を行うようにして実施してもよ
い。

又、前記実施例では新たな地点（Ｂ地点）に￥１１達し
た時に予測画像を作成するように実施したが、これを予
め走行経路が分っていて、ぞの８地点の位置とその姿勢
角Φが８地点に到達する前に分るタイプの無人車の場合
には予測画像を８地点に到達する“前に予測画像作成の
ための処理動作を実行してもよい。この場合、障害物の
有無判断の処理結果が早くなり、障害物がある場合の対
応が早くなる。又、この場合には車速検出装置２１及び
操舵角検出装置２２が不要となる。

発明の効果 以上詳述したように、この発明によれば、無人車が姿勢
角を変えて走行している場合においても１台の撮像装置
を用い比較的簡単な処理で正確に障害物を検出すること
ができる優れた効果を有する。

【図面の簡単な説明】

第１図はこの発明を具体化した無人車の側面図、第２図
は同じく平面図、第３図は画像と実平面との関係を説明
するための説明図、第４図は障害物検出装置の電気的ブ
ロック回路図、第５図は姿勢角と操舵角の関係を示す説
明図、第６図はＣＯＤカメラが搬像するエリアと座標変
換を説明するための説明図、第７図は視差を説明するた
めの説明図、第８図は同じく視差を説明するための説明
図、第９図は障害物がない場合の各画像の関係を説明す
る説明図、第１０図は障害物がある場合の各画像の関係
を説明する説明図、第１１図は障害物検出装置の処理動
作を説明するためのフローチャート図である。 図中、１は無人車、３はＣＯＤカメラ、４は走行路面、
５ａは入力画像、５ｂは前方入力画像、５Ｃは予測画像
、５ｄは差分画像、１０はマイクＣ１：］：］／ｌ：’
１−’ｊ１１は中央９ａ　１１装＠　（ＣＰＵ）、１２
はプログラムメモリ、１３は作業用メモリ、１６はＡ／
Ｄ変換器、１７はバスコントローラ、１８はレベルコン
１〜ローラ、２０は操舵機構、２１は車速検出装置、２
２は操舵角検出装置、２４は障害物、２６は差分領域で
ある。 特許出願人　　株式会社　豊田自動織機製作所式　理　
人　　弁理士　　恩１）博宣 図面その８

Claims (1)

1. 【特許請求の範囲】 １、無人車に搭載した撮像装置が障害物検出のために無
   人車の平坦走行通路を撮像した画像を平面画像とし、そ
   の平面画像と、 前記無人車が姿勢角を変えて平坦走行通路を走行し前記
   撮像装置が障害物検出のための撮像動作を行う次の新た
   な地点と、 その新たな地点での前記無人車の姿勢角と に基づいてその新たな地点における予測される予測画像
   を求め、 その予測画像とその新たな地点で前記撮像装置が実際に
   撮像した時の画像とで視差の有無を判別して障害物の有
   無を割り出す無人車の画像式障害物検出方法。 ２、予測画像を求めるための新たな地点及びその新たな
   地点での無人車の姿勢角は予め求められた無人車の走行
   軌道に基づいて割り出され、新たな地点に到達する前に
   予測画像の作成処理を開始するものである特許請求の範
   囲第１項記載の無人車の画像式障害物検出方法。 ３、予測画像を求めるための新たな地点及びその新たな
   地点での無人車の姿勢角はホイルベース、実際の車速及
   び実際の操舵角にて割り出され、新たな地点に到達した
   時予測画像を作成するものである特許請求の範囲第１項
   記載の無人車の画像式障害物検出方法。