JP2989617B2 - 移動車の環境認識装置 - Google Patents
移動車の環境認識装置Info
- Publication number
- JP2989617B2 JP2989617B2 JP1256062A JP25606289A JP2989617B2 JP 2989617 B2 JP2989617 B2 JP 2989617B2 JP 1256062 A JP1256062 A JP 1256062A JP 25606289 A JP25606289 A JP 25606289A JP 2989617 B2 JP2989617 B2 JP 2989617B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- vehicle
- predetermined time
- recognizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015654 memory Effects 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は自律的に走行を制御する移動車のための環境
認識装置に関し、詳しくは、移動車前方の画像を入力
し、この画像から移動車前方に移動体を認識する環境認
識装置に関する。
認識装置に関し、詳しくは、移動車前方の画像を入力
し、この画像から移動車前方に移動体を認識する環境認
識装置に関する。
（従来の技術） 近年において、障害物を自律的に回避して走行する移
動車が種々提案されている。
動車が種々提案されている。
このような自律走行制御においては、例えば、特開昭
64−26913号のように、環境から道路の路端認識のため
に、カメラ等の画像入力手段により外界の画像を入力
し、この画像に対し画像処理を行なって、外界環境を認
識するのが一般的である。
64−26913号のように、環境から道路の路端認識のため
に、カメラ等の画像入力手段により外界の画像を入力
し、この画像に対し画像処理を行なって、外界環境を認
識するのが一般的である。
また、追従走行等を行なうために前方車を認識する場
合にも、カメラから得た画像内に移動体を認識する手法
が採られている。即ち、連続した２枚の画像内にエッジ
抽出や領域抽出処理を施して、２枚の画像の対応点を求
め、この対応点間の移動量を求めるようにしている。そ
して、この移動量から移動体を認識する。
合にも、カメラから得た画像内に移動体を認識する手法
が採られている。即ち、連続した２枚の画像内にエッジ
抽出や領域抽出処理を施して、２枚の画像の対応点を求
め、この対応点間の移動量を求めるようにしている。そ
して、この移動量から移動体を認識する。
（発明が解決しようとする課題） しかし、上記の移動体認識の手法においてエッジ抽出
を行なうに際して、ノイズにより不要なエッジが発生
し、対応点が見付からない場合があることがある。
を行なうに際して、ノイズにより不要なエッジが発生
し、対応点が見付からない場合があることがある。
本発明はかかる従来技術の問題点に鑑みてなされたも
のであり、その目的は、ノイズにも強く正確に、移動体
を環境内に認識することのできる移動車の環境認識装置
を提供するものである。
のであり、その目的は、ノイズにも強く正確に、移動体
を環境内に認識することのできる移動車の環境認識装置
を提供するものである。
（課題を達成するための手段及び作用） 上記課題を達成するための、外界環境の画像を入力
し、この画像から環境内に移動体を認識するための移動
車の環境認識装置は、第１図に示すように、 移動車前方の画像を入力し、この画像から移動車前方
に移動体を認識するための前方移動する移動車の環境認
識装置において、 第１所定時刻及び該第１所定時刻から所定時間経過し
た第２所定時刻において、移動車前方の画像を入力し
て、その画像を各々第１画像及び第２画像として記憶す
る入力手段と、 上記第２所定時刻における移動車の位置から見た画像
と対応させるべく、上記第１画像を、前記入力手段の前
記所定時刻間における移動距離に対応した倍率にて拡大
させることにより、上記第２の画像の仮想画像を生成す
る画像生成手段と、 この仮想画像と前記第２画像とを比較する比較手段
と、 前記比較手段による比較結果に基づいて、上記画像間
で所定量以上の大きな変化があった部分を、移動してい
る移動体として認識する認識手段とを具備したことを特
徴とする。
し、この画像から環境内に移動体を認識するための移動
車の環境認識装置は、第１図に示すように、 移動車前方の画像を入力し、この画像から移動車前方
に移動体を認識するための前方移動する移動車の環境認
識装置において、 第１所定時刻及び該第１所定時刻から所定時間経過し
た第２所定時刻において、移動車前方の画像を入力し
て、その画像を各々第１画像及び第２画像として記憶す
る入力手段と、 上記第２所定時刻における移動車の位置から見た画像
と対応させるべく、上記第１画像を、前記入力手段の前
記所定時刻間における移動距離に対応した倍率にて拡大
させることにより、上記第２の画像の仮想画像を生成す
る画像生成手段と、 この仮想画像と前記第２画像とを比較する比較手段
と、 前記比較手段による比較結果に基づいて、上記画像間
で所定量以上の大きな変化があった部分を、移動してい
る移動体として認識する認識手段とを具備したことを特
徴とする。
即ち、自車が進行方向に移動すれば、移動体はその自
車に対して近接することとなる。移動体が自車に近接す
ることの想定に基づいて上記画像生成手段によって画像
拡大によって得られた仮想画像と、前記第２の所定時刻
に実際に入力した画像とで不一致部分があれば、その不
一致部分は移動体を含むはずのものである。
車に対して近接することとなる。移動体が自車に近接す
ることの想定に基づいて上記画像生成手段によって画像
拡大によって得られた仮想画像と、前記第２の所定時刻
に実際に入力した画像とで不一致部分があれば、その不
一致部分は移動体を含むはずのものである。
（実施例） 以下添付図面を参照して、本発明の環境認識装置を、
追従走行における前方車の認識に適用した実施例を説明
する。
追従走行における前方車の認識に適用した実施例を説明
する。
第２図により本実施例の構成を説明する。この環境認
識装置は、カメラ１とメモリ３と画像処理装置４と計算
機９、そして、距離センサ5,ジヤイロ6,カメラの角度セ
ンサ７、さらに、アドレス生成装置８とからなる。
識装置は、カメラ１とメモリ３と画像処理装置４と計算
機９、そして、距離センサ5,ジヤイロ6,カメラの角度セ
ンサ７、さらに、アドレス生成装置８とからなる。
距離センサ5,ジヤイロ６とにより、自車の通過経過を
知ることができる。即ち、走行距離、走行方向である。
知ることができる。即ち、走行距離、走行方向である。
外界の画像はカメラ１により△ｔ時間毎に撮られ、メ
モリ３に記憶される。メモリ３には、第２図に示すよう
に、〜の３つのフレームメモリが備えられている。
２は切換スイツチである。切換スイツチ２は、最初はカ
メラ１とフレームメモリとを接続している。カメラ１
からの画像データは、時刻t1に、先ずフレームメモリ
に記憶される。そして、△ｔ後の時刻t2に、スイツチ２
は切り換わり、△ｔ後の画像は今度はフレームメモリ
に記憶される。
モリ３に記憶される。メモリ３には、第２図に示すよう
に、〜の３つのフレームメモリが備えられている。
２は切換スイツチである。切換スイツチ２は、最初はカ
メラ１とフレームメモリとを接続している。カメラ１
からの画像データは、時刻t1に、先ずフレームメモリ
に記憶される。そして、△ｔ後の時刻t2に、スイツチ２
は切り換わり、△ｔ後の画像は今度はフレームメモリ
に記憶される。
第３図は本実施例の移動体認識の原理を説明する。図
中の（ａ）は、時刻t1からt2に経過したときのカメラ１
の位置の変化を示す。時刻t1におけるカメラの位置ｌ
（t1）は座標（x1,y1,θ1,φ１）で表わされ、時刻t2の
カメラの位置は（x2,y2,θ2,φ２）で表わされる。ここ
で（x,y）はカメラの重心位置であり、θはパン角、φ
はチルト角である。
中の（ａ）は、時刻t1からt2に経過したときのカメラ１
の位置の変化を示す。時刻t1におけるカメラの位置ｌ
（t1）は座標（x1,y1,θ1,φ１）で表わされ、時刻t2の
カメラの位置は（x2,y2,θ2,φ２）で表わされる。ここ
で（x,y）はカメラの重心位置であり、θはパン角、φ
はチルト角である。
フレームメモリは仮想画像を記憶するものであり、
この仮想画像とは、フレームメモリに記憶された時刻
t1の画像（第３図の10）から、距離センサ5,ジヤイロ６
により検出された自車の移動経過に基づいて画像処理に
より構成されたもの（第３図の12）である。
この仮想画像とは、フレームメモリに記憶された時刻
t1の画像（第３図の10）から、距離センサ5,ジヤイロ６
により検出された自車の移動経過に基づいて画像処理に
より構成されたもの（第３図の12）である。
この仮想画像は、自車のカメラが時刻t1の位置ｌ
（t1）から時刻t2のｌ（t2）に移動したときに、時刻t1
の画像がどのように変化したかを表わしている。画像変
換はアドレス変換により行なわれる。即ち、このアドレ
ス変換は、自車の移動距離、方向、そして、カメラの設
置角度（θ，φ）によりアドレス生成装置８により行な
われる。この変換は写像Ｔで表わされる。即ち、フレー
ムメモリの画像空間のアドレスをＡとすれば、フレー
ムメモリの画像空間のアドレスはＴ（Ａ）で表わされ
る。
（t1）から時刻t2のｌ（t2）に移動したときに、時刻t1
の画像がどのように変化したかを表わしている。画像変
換はアドレス変換により行なわれる。即ち、このアドレ
ス変換は、自車の移動距離、方向、そして、カメラの設
置角度（θ，φ）によりアドレス生成装置８により行な
われる。この変換は写像Ｔで表わされる。即ち、フレー
ムメモリの画像空間のアドレスをＡとすれば、フレー
ムメモリの画像空間のアドレスはＴ（Ａ）で表わされ
る。
ＡＴ（Ａ） そして、フレームメモリ内のアドレスＡの画像デー
タＩ（Ａ）はフレームメモリのアドレスＴ（Ａ）位置
に移される。即ち、 Ｉ（Ａ）Ｉ｛Ｔ（Ａ）｝ となる。この変換画像が第３図の13に表わされる。この
画像変換は、カメラが前方に移動したことを想定しての
画像変換であるから、画像10内の各像は拡大されて画像
13に現われる。即ち、前方車の像20は拡大された像21と
なる。しかしながら、道路の像については、道路が平行
な路端を有していることから、△ｔが小さければ、道路
の幅や方向が大きく変化することはないから、画像10と
画像13とでは変化は少ない。従って、この画像13と、時
刻t2に実際にカメラで得た画像とを比較し、変化があっ
た部分があれば、それは、前方にあるものが移動体であ
り、それが移動したためであると判断することができ
る。
タＩ（Ａ）はフレームメモリのアドレスＴ（Ａ）位置
に移される。即ち、 Ｉ（Ａ）Ｉ｛Ｔ（Ａ）｝ となる。この変換画像が第３図の13に表わされる。この
画像変換は、カメラが前方に移動したことを想定しての
画像変換であるから、画像10内の各像は拡大されて画像
13に現われる。即ち、前方車の像20は拡大された像21と
なる。しかしながら、道路の像については、道路が平行
な路端を有していることから、△ｔが小さければ、道路
の幅や方向が大きく変化することはないから、画像10と
画像13とでは変化は少ない。従って、この画像13と、時
刻t2に実際にカメラで得た画像とを比較し、変化があっ
た部分があれば、それは、前方にあるものが移動体であ
り、それが移動したためであると判断することができ
る。
第３図の11に時刻t2に実際にカメラで得た画像を示
す。第３図の14に、計算機５によって行なわれる、フレ
ームメモリの時刻t2の仮想画像とフレームメモリの
時刻t2の実際の画像との比較処理による、移動体の検出
処理を示す。即ち、フレームメモリの仮想画像とフレ
ームメモリの実際の画像とで不一致部分のみが残る。
計算機４は画像14に対してマツチング処理を行なって、
移動体の認識を行なう。
す。第３図の14に、計算機５によって行なわれる、フレ
ームメモリの時刻t2の仮想画像とフレームメモリの
時刻t2の実際の画像との比較処理による、移動体の検出
処理を示す。即ち、フレームメモリの仮想画像とフレ
ームメモリの実際の画像とで不一致部分のみが残る。
計算機４は画像14に対してマツチング処理を行なって、
移動体の認識を行なう。
尚、マツチング処理は、カメラの視界範囲内だけを行
なえばよいから、アドレス生成装置８によるアドレス変
換は第３図の12の部分だけを対象とする。
なえばよいから、アドレス生成装置８によるアドレス変
換は第３図の12の部分だけを対象とする。
かくして、この実施例の環境認識装置によれば、３つ
のフレームメモリの夫々に、時刻t1の画像、時刻t2の画
像、仮想画像を記憶し、この時刻t2の画像と仮想画像と
を比較することにより、ノイズに強い移動体の認識を行
なうことができる。
のフレームメモリの夫々に、時刻t1の画像、時刻t2の画
像、仮想画像を記憶し、この時刻t2の画像と仮想画像と
を比較することにより、ノイズに強い移動体の認識を行
なうことができる。
本発明はその趣旨を逸脱しない範囲で種々変形改良が
可能である。
可能である。
例えば、上記実施例では、フレームメモリは３つ使用
していた。そのために、画像変換及び移動体検出のため
のマツチング処理は２△ｔ毎にしかできなかった。もし
△ｔ毎にこの処理を行なうには、フレームメモリが４つ
必要になる。
していた。そのために、画像変換及び移動体検出のため
のマツチング処理は２△ｔ毎にしかできなかった。もし
△ｔ毎にこの処理を行なうには、フレームメモリが４つ
必要になる。
また、上記実施例ではカメラ１台を用いていた。しか
し、カメラ２台を用い、立体的なアドレス変換を行なう
ようにすれば、より正確な移動体認識が可能となる。
し、カメラ２台を用い、立体的なアドレス変換を行なう
ようにすれば、より正確な移動体認識が可能となる。
また、本発明は画像入力手段の種類には限定されな
い。
い。
（発明の効果） 以上説明したように本発明の移動車の環境認識装置に
よれば、ノイズに強い移動体の認識が可能となる。
よれば、ノイズに強い移動体の認識が可能となる。
第１図は本発明の構成を示す図、 第２図は本発明を適用した１実施例の構成を示す図、 第３図はこの実施例の動作原理を説明する図である。 図中、 １……CCDカメラ、２……切換スイツチ、３……画像メ
モリ、４……画像処理装置、５……距離センサ、６……
ジヤイロ、７……カメラ角度センサ、８……アドレス生
成装置、９……計算機、10……時刻t1の画像、11……時
刻t2の画像、12,13……仮想画像、14……マツチング画
像、20,21,22……前方車、〜フレームメモリであ
る。
モリ、４……画像処理装置、５……距離センサ、６……
ジヤイロ、７……カメラ角度センサ、８……アドレス生
成装置、９……計算機、10……時刻t1の画像、11……時
刻t2の画像、12,13……仮想画像、14……マツチング画
像、20,21,22……前方車、〜フレームメモリであ
る。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−222308（ＪＰ，Ａ) 特開 昭61−165106（ＪＰ，Ａ) 特開 昭63−316107（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G05D 1/02 G06T 1/00
Claims (1)
- 【請求項１】移動車前方の画像を入力し、この画像から
移動車前方に移動体を認識するための前方移動する移動
車の環境認識装置において、 第１所定時刻及び該第１所定時刻から所定時間経過した
第２所定時刻において、移動車前方の画像を入力して、
その画像を各々第１画像及び第２画像として記憶する入
力手段と、 上記第２所定時刻における移動車の位置から見た画像と
対応させるべく、上記第１画像を、前記入力手段の前記
所定時刻間における移動距離に対応した倍率にて拡大さ
せることにより、上記第２の画像の仮想画像を生成する
画像生成手段と、 この仮想画像と前記第２画像とを比較する比較手段と、 前記比較手段による比較結果に基づいて、上記画像間で
所定量以上の大きな変化があった部分を、移動している
移動体として認識する認識手段とを具備したことを特徴
とする移動車の環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1256062A JP2989617B2 (ja) | 1989-09-29 | 1989-09-29 | 移動車の環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1256062A JP2989617B2 (ja) | 1989-09-29 | 1989-09-29 | 移動車の環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03118609A JPH03118609A (ja) | 1991-05-21 |
| JP2989617B2 true JP2989617B2 (ja) | 1999-12-13 |
Family
ID=17287371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1256062A Expired - Fee Related JP2989617B2 (ja) | 1989-09-29 | 1989-09-29 | 移動車の環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2989617B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2870372B2 (ja) * | 1993-09-08 | 1999-03-17 | 住友電気工業株式会社 | 物体認識装置 |
| JP3632563B2 (ja) * | 1999-10-19 | 2005-03-23 | 株式会社豊田自動織機 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| JP4779226B2 (ja) * | 2001-04-25 | 2011-09-28 | ソニー株式会社 | ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体 |
-
1989
- 1989-09-29 JP JP1256062A patent/JP2989617B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03118609A (ja) | 1991-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6878493B2 (ja) | 自動運転車両（ａｄｖ）に用いるピッチ角の補正方法 | |
| Smith et al. | Visual tracking for intelligent vehicle-highway systems | |
| KR101534742B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| CN113267199B (zh) | 行驶轨迹规划方法及装置 | |
| JP7036400B2 (ja) | 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム | |
| JP2019156174A (ja) | 車両制御装置、車両、車両制御方法およびプログラム | |
| EP2757527B1 (en) | System and method for distorted camera image correction | |
| JPH0370803B2 (ja) | ||
| JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| JP2004048295A (ja) | 画像処理装置、駐車支援装置、及び画像処理方法 | |
| EP4068205A1 (en) | Method for tracking object within video frame sequence, automatic parking method, and apparatus therefor | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| JPH03113513A (ja) | 自律走行車両の車速感応操舵制御装置 | |
| JP2017167720A (ja) | 物体検出装置、物体検出方法、及びプログラム | |
| JP2019014381A (ja) | 駐車支援方法及び駐車制御装置 | |
| JP2989617B2 (ja) | 移動車の環境認識装置 | |
| JP2002104113A (ja) | 後方監視装置 | |
| CN115123291B (zh) | 一种基于障碍物识别的行为预测方法及装置 | |
| CN111242118B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| WO2021246170A1 (ja) | 情報処理装置、情報処理システム、および方法、並びにプログラム | |
| JP2022042386A (ja) | 画像処理装置 | |
| Yamada et al. | Vision based obstacle avoidance and target tracking for autonomous mobile robots | |
| Fleischer et al. | Machine-vision-based detection and tracking of stationary infrastructural objects beside inner-city roads | |
| JP2003237509A (ja) | 車両用外界認識装置 | |
| JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |