JP3394287B2

JP3394287B2 - 自立走行車

Info

Publication number: JP3394287B2
Application number: JP17247693A
Authority: JP
Inventors: 政典杉坂
Original assignee: 政典杉坂
Priority date: 1993-06-18
Filing date: 1993-06-18
Publication date: 2003-04-07
Anticipated expiration: 2018-04-07
Also published as: JPH0778028A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自立走行車に係り、さ
らに詳しくは、ニューラルネットワークを用いて、自動
走行できる自立走行車に関する。

【０００２】

【従来の技術】従来、工場内で荷物を搬送する自立走行
車として、例えば床面に走行ラインとなるアルミテープ
を貼着し、このアルミテープを車体の下部に取付けられ
たホトセンサにより検出しながら走行するものや、超音
波や電磁波などにより進行方向あるいは側部にある特定
対象物との距離あるいはその有無を検知しながら走行す
るものが知られている。また、ＣＣＤカメラにより前記
アルミテープ等の画像を取込み、画像処理を行って、ア
ルミテープの位置を算出し、該アルミテープの位置が常
時カメラの一定位置になるように車体の進行方向を制御
するものは知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、前記従
来のホトセンサーや、ＣＣＤカメラを用いた自立走行車
においては、アルミテープ等の検知対象物を走行路に沿
って配置する必要があるという問題点があった。また、
超音波や電磁波などを用いて走行する自立走行車は、進
行方向前面あるいは側部に特定の検知できる物を配置す
る必要があり、不特定の場所を一定の規則に基づいて走
行させることは難しいという問題点があった。また、例
えば自立走行車が目的地に到達して、走行車に搭載され
た荷物を別の搬送装置に移載する際などに、どの搬送装
置に移載すればよいのか、あるいはその搬送装置に故障
などの異常があっても何ら検出する手段はなかった。本
発明はこのような事情に鑑みなされたもので、ニューラ
ルネットワークにより学習された走行路のデータに基づ
いて、搭載されたテレビカメラの画像を判断して適性に
走行し、場合によっては周囲の対象物の異常、故障等を
判断できる自立走行車を提供することを目的とする。

【０００４】

【課題を解決するための手段】前記目的に沿う請求項１
記載の自立走行車は、モータ、エンジン等からなる駆動
手段と、該駆動手段の制御部と、これらが搭載された車
体とを備えた自立走行車において、前記車体にテレビカ
メラを取付け、該テレビカメラによって入力される画像
の２値化画像をモーメント不変量に数値処理し、該モー
メント不変量を予め学習させたニューラルネットワーク
に入力し演算して分類信号を出力させ、該分類信号を基
にし、集音マイク及びこれに接続される音声識別回路を
介して入力される命令信号から前記駆動手段を制御する
手段を前記制御部に備え、走行環境に応じて走行を行う
ようにして構成されている。また、請求項２記載の自立
走行車は、請求項１記載の自立走行車において、走行路
にある特定対象物の画像入力を数値化して、予め学習さ
せたニューラルネットワークを通して、特定対象物の異
常あるいは故障を判断する識別手段が設けられて構成さ
れている。

【０００５】

【作用】請求項１及び２記載の自立走行車においては、
予め走行手段のニューラルネットワークにより、車体に
搭載されたテレビカメラによって、進行方向前面の画像
を取込み、これを学習させ、分類を行う。なお、この画
像は必ずしも、実際に走行する道路ではなく、仮想化さ
れた道路であっても良い。そして、実際に走行したとき
の進行方向前面の画像をテレビカメラによって取込み、
これを数値化して、走行制御を行う手段を有する制御部
に入力し、前記学習されたニューラルネットワークに入
力して、その状況を判断して分類信号を出力させる。こ
の分類信号を基にして、駆動手段を制御して、車体を特
定の方向に進行、あるいは停止させるようにする。特
に、請求項２記載の自立走行車においては、走行路にあ
る特定対象物の画像入力を数値化して、予め学習させた
ニューラルネットワークを通して、特定対象物や、その
異常あるいは故障を判断する識別手段が設けられて構成
されているので、例えば、前記特定対象物の形状、色等
から特定対象物、あるいはその異常、故障等を認識で
き、これによって特定対象物の選択、あるいはその状況
を判断でき、その後の該自立走行車あるいはその他の装
置等の動作の信号とすることができる。

【０００６】

【実施例】続いて、添付した図面を参照しつつ、本発明
を具体化した実施例につき説明し、本発明の理解に供す
る。ここに、図１は本発明の一実施例に係る自立走行車
の概略構成図、図２は同自立走行車の制御系統ブロック
図、図３〜図５は同自立走行車の動作説明図である。

【０００７】図１に示すように、本発明の一実施例に係
る自立走行車１０は、例えば、半割卵形の車体パネル１
１を上部に組み付けた車体１２の前後端の下部には従動
車輪であるキャスタ１３、１４が配設されている。車体
１２の前後方向の中間部両側にゴムタイヤを装着された
一対の駆動車輪１５が設けられ、それぞれの駆動車輪１
５は、車体１２の中央部上に配備された図２に示すよう
な右モータ１６及び左モータ１７によって独立に回転駆
動されるようになっている。

【０００８】また、車体１２上には左モータ駆動回路１
８及び右モータ駆動回路１９からなるサーボパック２０
と、内部にコンピュータを含む該自立走行車１０の制御
部２１と、電池からなる電源２２と、テレビカメラの一
例である照明付きのＣＣＤカメラ２３と、該ＣＣＤカメ
ラ２３の信号を処理する画像処理装置２４とが搭載され
ている。前記ＣＣＤカメラ２３は、首振り及び上下動移
動可能な駆動装置に搭載されて、その下部に集音マイク
２５を備えている。

【０００９】図２に該自立走行車１０の電気系統の制御
系統ブロック図を示す。ＣＣＤカメラ２３の画像信号を
処理する画像処理装置２４は、映像信号の画像処理、画
像圧縮、２値化を行うが、まずＣＣＤカメラから取り込
んだ２５６×２５６の画素からなる赤、緑、青の３つの
映像信号を、輝度を６４段階に分けてそれぞれ記憶す
る。そして、必要な場合は図形移動を行うが、自立走行
車１０の走行制御の場合にはテレビカメラは固定し、図
形の全体位置から判断するので、必ずしも必要でない。
前記テレビカメラの情報をそのまま処理すると、通常の
パーソナルコンピュータはメモリ容量が不足するので、
必要な場合には画像圧縮（例えば、３２×３２画素）を
行い、更に赤、緑、青の３つの映像信号の閾値を選択し
て処理信号とする。

【００１０】次に、前記処理信号を制御部２１に入力し
て、まず特徴量を演算する。この特徴量は、例えば２値
化された画像そのものあるいはその画像のモーメント不
変量（慣性モーメント、重心の位置、画面を２、４また
は９以上の複数に分割した場合の各々の慣性モーメント
あるいは重心の位置等）をコンピュータで演算し、これ
らをニューラルネットワーク２６に入力する。このニュ
ーラルネットワーク２６については、先に本発明者が出
願した特開平４−３５２０７８号公報及び特願平４−２
４４２１０号（モーメント不変量を用いた天然産物また
はその加工品の形状識別方法）に記載されているよう
に、入力層、中間層及び出力層を有するニューラルネッ
トワークを用い、予め、逆誤差伝播法（バックプロパゲ
ーション法）によって学習させておき、画像あるいはそ
の特徴量を入力して識別する。前記ニューラルネットワ
ークの出力信号の識別を行って、これを基準データと比
較して分類を行い、その出力をファジィコントローラ２
７に入力する。

【００１１】一方、該自立走行車１０には集音マイク２
５が設けられ、音声信号を音声識別回路２８によって、
所定の命令信号に変換され、前記制御部２１のメモリに
入力され、これによって該自立走行車１０が停止、右旋
回、左旋回、加速、減速等が行えるようになっている。
前記ファジィコントローラ２７は、予めプログラムされ
たＲＯＭを有し、ニューラルネットワークの処理信号
（２値化された信号、画像信号等を含む）を入力して、
各出力に応じた出力を演算し、左モータ駆動回路１８、
及び右モータ駆動回路１９に与えるようになっている。
なお、ファジィコントローラについては１９９２年６月
３から５日に Istanbul,TURKIYEで発表された『 “Fuzz
y Control of Mobil Vehicle " IFAC WORKSHOP ON AUTO
MATIC CONTROL FOR QUALITY AND PRODUCTIVITY, ACQP'9
2, Preprints,Vol. 2 』に詳細に実例が記載されてい
る。

【００１２】ここで、前記ファジィコントローラ２７の
代わりに通常のＰＩＤコントローラによって出力を左モ
ータ駆動回路１８、及び右モータ駆動回路１９に信号を
与えるようにすることも可能である。この場合は、前記
ニューラルネットワーク２６の処理信号を、予め設定さ
れたプログラムによって左右のモータの駆動信号に変
え、これを左モータ駆動回路１８、及び右モータ駆動回
路１９に与え、右モータ１６及び左モータ１７の何れか
一方、双方あるいは交互に正転あるいは逆転する制御を
行い、自立走行車１０の制御を行うことになる。なお、
前記右モータ１６及び左モータ１７にはそれぞれロータ
リエンコーダ２９、３０が設けられて、基準回転角度と
比較しながら左右の駆動車輪１５の回転状況（回転数、
回転速度）をフィードバックできるようになっている。

【００１３】また、前記画像処理装置の出力は、異常及
び故障の識別回路３１に出力されている。該識別回路３
１は内部にニューラルネットワークを有し、前記画像処
理装置の２値化された信号から、特徴量を演算し、これ
を入力層、中間層及び出力層を有し、予め学習されたニ
ューラルネットワークによって判断し、例えば、その形
状、色彩から特定物の異常や、故障を診断するようにな
っている。なお、ここで、搬送装置等の特定物の形状に
ついても、予めニューラルネットワークによって識別
し、該自立走行車１０が荷物等を運搬する場合には、受
け継ぎをさせるようにすることも可能である。そして、
この特定物の形状、異常や、故障の状況の診断は、予め
プログラムされた命令、あるいは集音マイク２５を通じ
て入力される命令によって行われている。この場合、対
象物の形状、異常あるいは故障を診断する場合には、Ｃ
ＣＤカメラ２３は診断対象物に向けられる必要があるの
で、ＣＣＤカメラ２３には昇降及び旋回の駆動装置３２
が設けられ、予めプログラムされた命令によって対象物
を追尾するようになっている。なお、前記対象物の追尾
にあっても、例えば、ニューラルネットワークを使用し
て該対象物の形状、模様、色彩等について学習し、該学
習されたニューラルネットワークを用いて対象物の異
常、故障の程度を判断するようにしても良い。そして、
対象物の追尾にあっても、通常のＰＩＤ制御であっても
良く、ニューラルネットワークとファジィ制御（例え
ば、本出願人が先に出願した特願平４−７５１４１号
『移動物体識別追尾システム』）を用いても良い。以上
のようにして、該自立走行車１０に搭載された特定物の
形状、異常及び故障の識別手段が構成されている。

【００１４】次に、本発明の実施例を更に具体化して実
際走行の場合について、図３及び図４を参照しながら説
明する。自立走行車１０が、例えば、道路を走行する場
合には、車体１２の中央に前方方向を向いて固定配置さ
れたＣＣＤカメラ２３によって撮像される画像は、図３
（Ａ）〜（Ｇ）に示すようになる。ここで、３３は道路
を、３４は路肩線を示す。（Ａ）の場合には道路が直線
状であり、（Ｂ）の場合には、前方に交差点があると認
識されるので、この状況を予めニューラルネットワーク
によって学習させておく。そして、例えば、交差点があ
る場合には予め入力されたプログラムあるいは集音マイ
クからの命令信号によって、走行方法の決定を行い、そ
のまま直進、減速して左折あるいは右折を行うことにな
る。ここで、直線走行を行う場合には、カメラの中心位
置Ｐが道路３３の決められた位置になるように、左右の
車輪の回転数を計算し、それを駆動機構に出力する。そ
のとき用いる制御はファジィ制御、ＰＩＤ制御のいずれ
でも良い。

【００１５】右折走行及び左折走行の場合には、
（Ｃ）、（Ｄ）の如くなり、徐々に路肩線の様子が変わ
ることになる。そして、（Ｅ）に示すように右折走行が
終了しようとしている場合、（Ｆ）に示すように左折走
行が終了しようとしている場合には、これを認識し、直
線走行の準備を始める。この場合であってもカメラの中
心位置を道路の所定の位置（この所定の位置は学習され
た画像によって変化させても良い）にあるように、左右
の車輪を制御することによって円滑に、左折あるいは右
折が完了することになる。即ち、画像処理されて得られ
たパターン（Ａ）の間は直進走行をし、パターン（Ｂ）
では交差点前であるので、速度を下げて右折あるいは左
折の準備を行い、パターン（Ｃ）、（Ｄ）では右折また
は左折走行を続け、パターン（Ｅ）、（Ｆ）になった
ら、右折あるいは左折が終了するので、直進走行の準備
を行うことになる。各パターンはニューラルネットワー
クで学習済みなので、このようなパターンに似た交叉点
での走行が可能になる。なお、更に三叉路、五叉路等の
場合、路上に障害物等がある場合には予め学習させてお
くことによって、対応する処置を取ることができる。ま
た、曲線走行を行う場合には、（Ｇ）に示すような画面
となるが、これを学習済のニューラルネットワークによ
って判断し、曲線走行画面と判断すれば、カメラの中心
位置Ｐが道路３３の画面の決められた位置（例えば、中
央）にくるように左右の車輪の回転数をファジィ制御ま
たはＰＩＤ制御を用いて計算し、それを左モータ及び右
モータの駆動回路１８、１９に出力する。以下、同様の
手順を繰り返すことになる。この場合にニューラルネッ
トワークに学習させる対象物としては、カメラ前面に
見える道路全体の形状及びその特徴量、道路上の白線
や黄線の形状、その他（例えば、交通信号マーク、道
路の色、カメラによって見える道路の幅等）となる。

【００１６】該自立走行車１０を掃除機や草刈り機に応
用した場合について説明すると、図４（Ａ）に示すよう
に、壁からなる目標物３５を現在停止している位置から
ＣＣＤカメラによって撮影し、該撮影した画像データを
処理しながら直線走行によって目標物に到達するように
制御を行い、次に予め学習されたニューラルネットワー
クのＵターンのデータによって判断しながら、Ｕターン
を行い更に予め学習された目標物に向かって直線走行を
行う。また、図４（Ｂ）に示すように、目標物３６がゴ
ルフボール等の場合には、予め目標物３６の画像をニュ
ーラルネットワークによって学習しておき、これに近づ
くように走行することになる。そして、図５に示すよう
に、自立走行車１０が道路３８上を走行し、目標物３７
が見えない場合には、予めＣＣＤカメラによって見える
地点を順次学習しておき、あるいは白線、黄線等のガイ
ドラインをニューラルネットワークに学習させておき、
常時ＣＣＤカメラがこれを撮影し、その画像データを学
習されたニューラルネットワークに取り込んで、その出
力から自立走行車の走行を制御して、目標物３７に近づ
けることになる。

【００１７】また、他の使用方法として、自立走行車１
０の前に他の自動車を走行させ、この自動車をＣＣＤカ
メラによって撮像し、前の自動車が右折、左折しようと
する場合の画像データ、及び前の自動車との距離を示す
自動車の大きさ等の画像を予めニューラルネットワーク
に学習させておき、該学習されたニューラルネットワー
クを用いて、自立走行車１０を前の自動車に一定の距離
を設けて追尾することが可能となる。

【００１８】

【発明の効果】請求項１、２記載の自立走行車において
は、車体にテレビカメラを取付け、該テレビカメラによ
って入力される画像を数値処理し、予め学習させたニュ
ーラルネットワークによって演算して、駆動手段を制御
するようにしているので、目標対象物を逐次判断しなが
ら、走行が行える。従って、農業、工業、病院、福祉あ
るいはレジャー施設等において使用される自走車に、本
発明を適用することによって、周囲の環境が多少変わっ
ても、正確な走行ができる。特に、請求項２記載の自立
走行車においては、走行路にある特定対象物の画像入力
を数値化して、予め学習させたニューラルネットワーク
を通して、特定対象物の形状、その異常あるいは故障を
判断する識別手段が設けられているので、対象物の選
択、故障あるいは異常箇所の識別を高速で行え、これに
よって、特定物との連繋作業あるいは不慮の事故等に対
処できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る自立走行車の概略構成
図である。

【図２】同自立走行車の制御系統ブロック図である。

【図３】自立走行車の動作説明図である。

【図４】自立走行車の動作説明図である。

【図５】自立走行車の動作説明図である。

【符号の説明】

１０：自立走行車、１１：車体パネル、１２：車体、１
３：キャスタ、１４：キャスタ、１５：駆動車輪、１
６：右モータ、１７：左モータ、１８：左モータ駆動回
路、１９：右モータ駆動回路、２０：サーボパック、２
１：制御部、２２：電池、２３：ＣＣＤカメラ、２４：
画像処理装置、２５：集音マイク、２６：ニューラルネ
ットワーク、２７：ファジィコントローラ、２８：音声
識別回路、２９：ロータリエンコーダ、３０：ロータリ
エンコーダ、３１：識別回路、３２：駆動装置、３３：
道路、３４：路肩線、３５：目標物、３６：目標物、３
７：目標物、３８：道路

フロントページの続き (56)参考文献特開平４−8639（ＪＰ，Ａ) 特開平４−293404（ＪＰ，Ａ) 特開平５−149756（ＪＰ，Ａ) 特開平４−252308（ＪＰ，Ａ) 特開平４−270402（ＪＰ，Ａ) 特開平４−330576（ＪＰ，Ａ) 特開平４−352078（ＪＰ，Ａ) 特開平５−233062（ＪＰ，Ａ) 特開平６−131444（ＪＰ，Ａ) 特開昭60−218121（ＪＰ，Ａ) 特開昭60−140405（ＪＰ，Ａ) 実開平３−13563（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims

(57)【特許請求の範囲】

【請求項１】モータ、エンジン等からなる駆動手段
と、該駆動手段の制御部と、これらが搭載された車体と
を備えた自立走行車において、前記車体にテレビカメラを取付け、該テレビカメラによ
って入力される画像の２値化画像をモーメント不変量に
数値処理し、該モーメント不変量を予め学習させたニュ
ーラルネットワークに入力し演算して分類信号を出力さ
せ、該分類信号を基にし、集音マイク及びこれに接続さ
れる音声識別回路を介して入力される命令信号から前記
駆動手段を制御する手段を前記制御部に備え、走行環境
に応じて走行を行うことを特徴とする自立走行車。
【請求項２】前記制御部には、走行路にある特定対象
物の画像入力を数値化して、予め学習させたニューラル
ネットワークを通して、特定対象物、及びその異常ある
いは故障を判断する識別手段が設けられている請求項１
記載の自立走行車。