JP3447461B2 - 移動障害物検出装置及びその方法 - Google Patents
移動障害物検出装置及びその方法Info
- Publication number
- JP3447461B2 JP3447461B2 JP06957996A JP6957996A JP3447461B2 JP 3447461 B2 JP3447461 B2 JP 3447461B2 JP 06957996 A JP06957996 A JP 06957996A JP 6957996 A JP6957996 A JP 6957996A JP 3447461 B2 JP3447461 B2 JP 3447461B2
- Authority
- JP
- Japan
- Prior art keywords
- moving obstacle
- obstacle
- moving
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する利用分野】本発明は、移動している障害
物の位置及び移動方向を算出する移動障害物検出装置及
びその方法に関する。
物の位置及び移動方向を算出する移動障害物検出装置及
びその方法に関する。
【０００２】
【従来の技術】従来は、自律走行車の障害物検出装置と
して超音波センサやレーザレーダーが用いられていた
が、走行車自体が移動するため、出力結果である前方の
距離データから背景に存在している物体と移動障害物と
を切り分けることが容易ではなく、移動障害物の位置や
移動方向を算出することが困難であった。また、ＴＶカ
メラの画像を用いて、背景との動きの違いから移動障害
物を検出する手法も検討されているが、画像上の動き情
報（オプティカルフロー）を精度良く求めることが困難
であり、かつ移動障害物の重心位置を正確に求めること
が難しいため、モーションステレオや複数台のカメラを
用いたステレオ視により移動障害物の位置及び移動方向
を正しく求めることが困難であった。
して超音波センサやレーザレーダーが用いられていた
が、走行車自体が移動するため、出力結果である前方の
距離データから背景に存在している物体と移動障害物と
を切り分けることが容易ではなく、移動障害物の位置や
移動方向を算出することが困難であった。また、ＴＶカ
メラの画像を用いて、背景との動きの違いから移動障害
物を検出する手法も検討されているが、画像上の動き情
報（オプティカルフロー）を精度良く求めることが困難
であり、かつ移動障害物の重心位置を正確に求めること
が難しいため、モーションステレオや複数台のカメラを
用いたステレオ視により移動障害物の位置及び移動方向
を正しく求めることが困難であった。
【０００３】
【発明が解決しようとする課題】上述したように従来、
超音波センサやレーザレーダーを用いた装置は、観測系
が移動している場合、背景に存在している物体と移動障
害物の切り分けが困難であり、ＴＶカメラを用いた装置
は、画像上で切り出された移動障害物の前方空間中の位
置及び移動方向を求めることが困難であるという問題が
あった。
超音波センサやレーザレーダーを用いた装置は、観測系
が移動している場合、背景に存在している物体と移動障
害物の切り分けが困難であり、ＴＶカメラを用いた装置
は、画像上で切り出された移動障害物の前方空間中の位
置及び移動方向を求めることが困難であるという問題が
あった。
【０００４】このため、本発明はＴＶカメラ等撮像手段
のセンサ情報を用いて画面上の移動障害物領域を切り出
し、その存在方向と、センサ情報により求めた前方の移
動可能領域の輪郭との交線を求めることにより、移動障
害物の前方空間中の位置及び移動方向を精度良く求める
移動障害物検出装置及びその方法を提供することを目的
とする。
のセンサ情報を用いて画面上の移動障害物領域を切り出
し、その存在方向と、センサ情報により求めた前方の移
動可能領域の輪郭との交線を求めることにより、移動障
害物の前方空間中の位置及び移動方向を精度良く求める
移動障害物検出装置及びその方法を提供することを目的
とする。
【０００５】
【課題を解決するための手段】以上の目的を達成するた
めの、本願発明においては、移動しながら撮像手段で撮
像した情報を用いて障害物の検出をする移動障害物検出
装置において、撮像手段で撮像した情報に基づいて、障
害物の存在しない移動可能な空間を抽出する移動可能空
間抽出部と、移動している障害物を抽出する移動障害物
抽出部と、移動障害物抽出部が出力する障害物の領域か
ら障害物の存在方向を求めて、移動可能空間抽出部が出
力する移動可能空間以外の領域と障害物の交差部分を求
めて障害物の位置及び方向を求める移動障害物位置・方
向算出部とを具備することを特徴とするものである。
めの、本願発明においては、移動しながら撮像手段で撮
像した情報を用いて障害物の検出をする移動障害物検出
装置において、撮像手段で撮像した情報に基づいて、障
害物の存在しない移動可能な空間を抽出する移動可能空
間抽出部と、移動している障害物を抽出する移動障害物
抽出部と、移動障害物抽出部が出力する障害物の領域か
ら障害物の存在方向を求めて、移動可能空間抽出部が出
力する移動可能空間以外の領域と障害物の交差部分を求
めて障害物の位置及び方向を求める移動障害物位置・方
向算出部とを具備することを特徴とするものである。
【０００６】また、移動障害物抽出部がＴＶカメラで撮
像した画像を用いて移動する障害物の領域を抽出し、移
動可能空間抽出部がセンサ情報を用いて移動可能空間を
抽出し、移動障害物位置・方向算出部が移動障害物抽出
部が求めた画像上の移動障害物領域の空間中の存在方向
と、移動可能空間抽出部が求めた移動可能領域の輪郭線
の交線、または交点を求めることで移動障害物の位置及
び移動方向を算出することを特徴とするものである。
像した画像を用いて移動する障害物の領域を抽出し、移
動可能空間抽出部がセンサ情報を用いて移動可能空間を
抽出し、移動障害物位置・方向算出部が移動障害物抽出
部が求めた画像上の移動障害物領域の空間中の存在方向
と、移動可能空間抽出部が求めた移動可能領域の輪郭線
の交線、または交点を求めることで移動障害物の位置及
び移動方向を算出することを特徴とするものである。
【０００７】更にもう一つは、複数台のＴＶカメラと、
これら複数のＴＶカメラからそれぞれ出力した複数の画
像を蓄積する複数枚の画像メモリと、これら画像メモリ
に蓄積された画像から移動する障害物の領域を抽出する
移動障害物抽出部と、複数の画像メモリに蓄えられた画
像を用いて障害物の存在しないＴＶカメラの撮像方向の
移動可能領域を抽出する移動可能空間抽出部と、移動障
害物抽出部により得られた障害物領域の画像中の位置か
ら３次元空間中の障害物の存在方向を算出し、前記移動
可能空間抽出部により得られた前方の移動可能領域の輪
郭線とこの移動障害物領域の存在方向との交線を求める
ことで、移動する障害物の前方空間中の位置及び移動方
向を求める移動障害物位置・方向算出部からなるとを特
徴とするものである。
これら複数のＴＶカメラからそれぞれ出力した複数の画
像を蓄積する複数枚の画像メモリと、これら画像メモリ
に蓄積された画像から移動する障害物の領域を抽出する
移動障害物抽出部と、複数の画像メモリに蓄えられた画
像を用いて障害物の存在しないＴＶカメラの撮像方向の
移動可能領域を抽出する移動可能空間抽出部と、移動障
害物抽出部により得られた障害物領域の画像中の位置か
ら３次元空間中の障害物の存在方向を算出し、前記移動
可能空間抽出部により得られた前方の移動可能領域の輪
郭線とこの移動障害物領域の存在方向との交線を求める
ことで、移動する障害物の前方空間中の位置及び移動方
向を求める移動障害物位置・方向算出部からなるとを特
徴とするものである。
【０００８】
【発明の実施の形態】以下、本発明の一実施形態を図面
を用いて説明する。本発明は移動障害物として、人、移
動、車及び自転車のような動路面または床面上に接触し
ている物を想定しているが、空中に浮遊している障害物
の場合でも、その高さが既知であれば適用可能である。
を用いて説明する。本発明は移動障害物として、人、移
動、車及び自転車のような動路面または床面上に接触し
ている物を想定しているが、空中に浮遊している障害物
の場合でも、その高さが既知であれば適用可能である。
【０００９】図１は本発明における移動障害物検出装置
の概略構成を示すもので、移動障害物領域を抽出する移
動障害物抽出部１と障害物の無い移動可能空間を抽出す
る移動可能空間抽出部２と移動障害物の存在方向と移動
可能空間以外の領域との交差部分を求めることで移動障
害物の位置及び方向を算出する移動障害物位置・方向算
出部３から構成されている。
の概略構成を示すもので、移動障害物領域を抽出する移
動障害物抽出部１と障害物の無い移動可能空間を抽出す
る移動可能空間抽出部２と移動障害物の存在方向と移動
可能空間以外の領域との交差部分を求めることで移動障
害物の位置及び方向を算出する移動障害物位置・方向算
出部３から構成されている。
【００１０】図２は本発明における移動障害物検出装置
の移動障害物検出部１及び移動可能空間抽出部２の入力
系にＴＶカメラを用いた構成例を示すもので、ＴＶカメ
ラ４ａ、ＴＶカメラ４ｂ、各ＴＶカメラ４ａ、４ｂに対
応して設けられた画像メモリ５ａ、画像メモリ５ｂ、移
動障害物抽出部６、移動可能空間抽出部７、移動障害物
位置・方向算出部８から構成されている。また、ＴＶカ
メラ４ａ、ＴＶカメラ４ｂは、ステレオ視を実現するた
め各カメラの光軸がそれぞれ平行になるよう設定されて
いる。
の移動障害物検出部１及び移動可能空間抽出部２の入力
系にＴＶカメラを用いた構成例を示すもので、ＴＶカメ
ラ４ａ、ＴＶカメラ４ｂ、各ＴＶカメラ４ａ、４ｂに対
応して設けられた画像メモリ５ａ、画像メモリ５ｂ、移
動障害物抽出部６、移動可能空間抽出部７、移動障害物
位置・方向算出部８から構成されている。また、ＴＶカ
メラ４ａ、ＴＶカメラ４ｂは、ステレオ視を実現するた
め各カメラの光軸がそれぞれ平行になるよう設定されて
いる。
【００１１】次に、これらの各構成の動作を説明する。
ＴＶカメラ４ａ、４ｂより入力された画像はそれぞれ画
像メモリ５ａ、５ｂに蓄積される。移動障害物抽出部６
では例えば画像メモリ５ａに随時蓄積される連続画像か
ら画像中の各部分のオプティカルフローを抽出し、背景
とは異なるオプティカルフローを有する領域を移動障害
物領域として抽出する。移動可能空間抽出部７では、画
像メモリ５ａ、５ｂに蓄積されている画像を、予め設定
しておいた３次元空間中の面上にそれぞれ投影した投影
画像を作成する。そして、これら２枚の投影画像間の差
分画像を作成し、差分値の小さい領域を移動可能領域と
して求める。移動障害物位置・方向算出部８は、移動障
害物抽出部６部で求めた画像中の移動障害物領域位置か
ら、ＴＶカメラ４ａのカメラパラメータを用いてＴＶカ
メラ４ａ、４ｂが構成するステレオカメラ座標系におけ
る移動障害物領域の存在方向を算出する。そして、移動
可能空間抽出部７により得られた移動可能領域の輪郭部
分と移動障害物領域の存在方向との交線を求め、移動障
害物の前方空間中の位置及び移動方向を求める。
ＴＶカメラ４ａ、４ｂより入力された画像はそれぞれ画
像メモリ５ａ、５ｂに蓄積される。移動障害物抽出部６
では例えば画像メモリ５ａに随時蓄積される連続画像か
ら画像中の各部分のオプティカルフローを抽出し、背景
とは異なるオプティカルフローを有する領域を移動障害
物領域として抽出する。移動可能空間抽出部７では、画
像メモリ５ａ、５ｂに蓄積されている画像を、予め設定
しておいた３次元空間中の面上にそれぞれ投影した投影
画像を作成する。そして、これら２枚の投影画像間の差
分画像を作成し、差分値の小さい領域を移動可能領域と
して求める。移動障害物位置・方向算出部８は、移動障
害物抽出部６部で求めた画像中の移動障害物領域位置か
ら、ＴＶカメラ４ａのカメラパラメータを用いてＴＶカ
メラ４ａ、４ｂが構成するステレオカメラ座標系におけ
る移動障害物領域の存在方向を算出する。そして、移動
可能空間抽出部７により得られた移動可能領域の輪郭部
分と移動障害物領域の存在方向との交線を求め、移動障
害物の前方空間中の位置及び移動方向を求める。
【００１２】移動障害物抽出部６の処理フローを図３に
示す。まず、画像中の各部分に対して勾配法を用いてオ
プティカルフローを抽出する。オプティカルフローの抽
出に関しては、勾配法の代わりに相関法、または時空間
フィルタ法を用いることも可能である（ステップｅ
１）。次いで、画像中で小領域を設定し（ステップｅ
２）、小領域内に含まれるオプティカルフローの方向を
算出し、動きの消失点を求める（ステップｅ３）。同一
の動きをする対象物上のオプティカルフローは、観測系
であるＴＶカメラが平行移動する場合、その延長線が動
きの消失点と呼ばれる１点に収束する。例えば、図４
（ａ）に示すシーンの場合、背景上のオプティカルフロ
ーはその延長線が点Ｖ1 に、また、道路を横切ろうとし
ている歩行者上のオプティカルフローはその延長線がＶ
2 に収束する。小領域に含まれる個々のオプティカルフ
ローの延長線の方程式を求め、最小２乗法により動きの
消失点位置を推定する。この際、図４（ｂ）に示すよう
に小領域内に背景領域と移動体領域が同時に含まれると
最小２乗法で求めた交点位置の持つ残差が大きくなる。
逆に、小領域内に背景領域しか含まれない場合には、図
４（ｃ）に示すように交点位置の持つ残差が小さくな
る。このため、小領域を画像中でラスター方向にスライ
ドし、その小領域内部で推定した消失点位置の残差を加
算することにより総合推定残差を算出する（ステップｅ
４）。画像中の全ての小領域において総合推定残差を計
算した後（ステップｅ５）、予め設定しておいた閾値以
上の総合推定残差値をもつ画像中の領域を移動体領域と
して分離する（ステップｅ６）。
示す。まず、画像中の各部分に対して勾配法を用いてオ
プティカルフローを抽出する。オプティカルフローの抽
出に関しては、勾配法の代わりに相関法、または時空間
フィルタ法を用いることも可能である（ステップｅ
１）。次いで、画像中で小領域を設定し（ステップｅ
２）、小領域内に含まれるオプティカルフローの方向を
算出し、動きの消失点を求める（ステップｅ３）。同一
の動きをする対象物上のオプティカルフローは、観測系
であるＴＶカメラが平行移動する場合、その延長線が動
きの消失点と呼ばれる１点に収束する。例えば、図４
（ａ）に示すシーンの場合、背景上のオプティカルフロ
ーはその延長線が点Ｖ1 に、また、道路を横切ろうとし
ている歩行者上のオプティカルフローはその延長線がＶ
2 に収束する。小領域に含まれる個々のオプティカルフ
ローの延長線の方程式を求め、最小２乗法により動きの
消失点位置を推定する。この際、図４（ｂ）に示すよう
に小領域内に背景領域と移動体領域が同時に含まれると
最小２乗法で求めた交点位置の持つ残差が大きくなる。
逆に、小領域内に背景領域しか含まれない場合には、図
４（ｃ）に示すように交点位置の持つ残差が小さくな
る。このため、小領域を画像中でラスター方向にスライ
ドし、その小領域内部で推定した消失点位置の残差を加
算することにより総合推定残差を算出する（ステップｅ
４）。画像中の全ての小領域において総合推定残差を計
算した後（ステップｅ５）、予め設定しておいた閾値以
上の総合推定残差値をもつ画像中の領域を移動体領域と
して分離する（ステップｅ６）。
【００１３】移動可能空間抽出部７の処理フローを図５
に示す。ＴＶカメラ４ａ、４ｂに対して予めキャリブレ
ーションを施し、設定したステレオカメラ座標系におけ
る、ＴＶカメラ４ａ、４ｂの焦点位置Ｃ1 ，Ｃr 、画像
中心位置Ｏl ，Ｏr 等の内部パラメータを算出しておく
（図６参照）。まず、前方の道路面等を近似する平面の
方程式を設定する（ステップａ１）。次いで、内部パラ
メータを用いて、ＴＶカメラ４ａ、４ｂより獲得された
画像メモリ５ａ、５ｂに蓄積されている画像を設定した
平面上に投影する（ステップａ２）。この際、図６に示
すように、平面上に真に存在する点は、対応する左画像
（ＴＶカメラ４ａ）上の点ｐl と画像（ＴＶカメラ４
ｂ）上の点ｐr が平面上の同一点Ｐに投影される。これ
に対し、図７に示すような高さを持つ障害物は、左カメ
ラからの投影位置と右カメラからの投影位置が異なる。
このため、左カメラの投影画像と右カメラの投影画像を
作成すると、平面に対して高さを持つ障害物領域のみ投
影される位置が異なるため、これら投影画像間の差分画
像を求めると、障害物領域のみ高い輝度値となる画像が
得られる（ステップａ３）。この差分画像から予め設定
しておいた閾値以下の値を持つ領域のみを抽出し、移動
可能領域とする（ステップａ４）。
に示す。ＴＶカメラ４ａ、４ｂに対して予めキャリブレ
ーションを施し、設定したステレオカメラ座標系におけ
る、ＴＶカメラ４ａ、４ｂの焦点位置Ｃ1 ，Ｃr 、画像
中心位置Ｏl ，Ｏr 等の内部パラメータを算出しておく
（図６参照）。まず、前方の道路面等を近似する平面の
方程式を設定する（ステップａ１）。次いで、内部パラ
メータを用いて、ＴＶカメラ４ａ、４ｂより獲得された
画像メモリ５ａ、５ｂに蓄積されている画像を設定した
平面上に投影する（ステップａ２）。この際、図６に示
すように、平面上に真に存在する点は、対応する左画像
（ＴＶカメラ４ａ）上の点ｐl と画像（ＴＶカメラ４
ｂ）上の点ｐr が平面上の同一点Ｐに投影される。これ
に対し、図７に示すような高さを持つ障害物は、左カメ
ラからの投影位置と右カメラからの投影位置が異なる。
このため、左カメラの投影画像と右カメラの投影画像を
作成すると、平面に対して高さを持つ障害物領域のみ投
影される位置が異なるため、これら投影画像間の差分画
像を求めると、障害物領域のみ高い輝度値となる画像が
得られる（ステップａ３）。この差分画像から予め設定
しておいた閾値以下の値を持つ領域のみを抽出し、移動
可能領域とする（ステップａ４）。
【００１４】移動障害物位置・方向算出部８では、移動
障害物抽出部６で抽出した障害物領域の画像中の位置か
ら、前方空間中の障害物の存在方向を算出する。図８
（ａ）に画像中の移動障害物領域の抽出例を示す。ま
ず、抽出された移動障害物領域の左端及び右端の画像中
のｘ軸方向位置の ｘl ，ｘr を求める。次いで、キャ
リブレーションにより求めておいたステレオカメラ座標
系におけるＴＶカメラ４ａの焦点位置 Ｃl 、画像中心
位置 Ｏl 等を用い、移動障害物領域の左右両端のステ
レオカメラ座標系における方向 ｘl Ｃl ，ｘr Ｃ l
を算出する。移動可能空間抽出部７で求めた移動可能領
域の輪郭線（図９における斜線領域の輪郭線）と移動障
害物領域の左端及び右端の存在方向との交点Ａ、Ｂ（図
９）を求め、この２点を結ぶ移動可能領域の輪郭線分Ｌ
を前方空間中の移動障害物の存在位置として出力する。
さらに、この処理を繰り返すことにより求めた交線Ｌの
軌跡より移動障害物領域の移動方向を算出する。軌跡の
算出法としては、点Ａと点Ｂの現在の位置と、１時点前
の位置を用いて、点Ａと点Ｂの移動方向をそれぞれ算出
し、これらの移動方向の平均をとることにより算出す
る。また、交線Ｌ上の中点を移動障害物の代表点とし、
この中点位置を移動障害物位置、また、中点の移動方向
を移動障害物の移動方向として出力しても良い。
障害物抽出部６で抽出した障害物領域の画像中の位置か
ら、前方空間中の障害物の存在方向を算出する。図８
（ａ）に画像中の移動障害物領域の抽出例を示す。ま
ず、抽出された移動障害物領域の左端及び右端の画像中
のｘ軸方向位置の ｘl ，ｘr を求める。次いで、キャ
リブレーションにより求めておいたステレオカメラ座標
系におけるＴＶカメラ４ａの焦点位置 Ｃl 、画像中心
位置 Ｏl 等を用い、移動障害物領域の左右両端のステ
レオカメラ座標系における方向 ｘl Ｃl ，ｘr Ｃ l
を算出する。移動可能空間抽出部７で求めた移動可能領
域の輪郭線（図９における斜線領域の輪郭線）と移動障
害物領域の左端及び右端の存在方向との交点Ａ、Ｂ（図
９）を求め、この２点を結ぶ移動可能領域の輪郭線分Ｌ
を前方空間中の移動障害物の存在位置として出力する。
さらに、この処理を繰り返すことにより求めた交線Ｌの
軌跡より移動障害物領域の移動方向を算出する。軌跡の
算出法としては、点Ａと点Ｂの現在の位置と、１時点前
の位置を用いて、点Ａと点Ｂの移動方向をそれぞれ算出
し、これらの移動方向の平均をとることにより算出す
る。また、交線Ｌ上の中点を移動障害物の代表点とし、
この中点位置を移動障害物位置、また、中点の移動方向
を移動障害物の移動方向として出力しても良い。
【００１５】移動障害物抽出部６において、移動障害物
領域が画像中で複数個抽出された場合は、移動障害物位
置・方向算出部８が個々の移動障害物領域に対してその
空間中の存在方向を求め、移動可能空間抽出部７で求め
た移動可能空間の輪郭線との交線または交点をそれぞれ
求めることで、複数の移動障害物の位置・方向を算出す
る。
領域が画像中で複数個抽出された場合は、移動障害物位
置・方向算出部８が個々の移動障害物領域に対してその
空間中の存在方向を求め、移動可能空間抽出部７で求め
た移動可能空間の輪郭線との交線または交点をそれぞれ
求めることで、複数の移動障害物の位置・方向を算出す
る。
【００１６】また移動障害物位置・方向算出部８には、
移動障害物抽出部６において出力された移動障害物領域
の存在方向に移動可能空間以外の領域が存在しない場
合、すなわち交差する移動可能空間の輪郭線が無い場
合、移動障害物抽出部６の抽出結果が誤りであるという
ノイズ判定の機能も付加されている。
移動障害物抽出部６において出力された移動障害物領域
の存在方向に移動可能空間以外の領域が存在しない場
合、すなわち交差する移動可能空間の輪郭線が無い場
合、移動障害物抽出部６の抽出結果が誤りであるという
ノイズ判定の機能も付加されている。
【００１７】以上の実施例では、移動可能空間抽出部に
ステレオ視を用いて手法を適用したが、超音波センサや
レーザーレーダーを用いて前方空間の移動可能領域を求
める手法を適用しても本発明は実現できる。また、移動
障害物位置・方向算出部８において、移動障害物の左端
及び右端の存在方向を求め、移動障害物の位置を算出し
たが、移動障害物領域の画像中の重心位置を求め、その
存在方向を用いて移動障害物の位置を求めることも可能
である。
ステレオ視を用いて手法を適用したが、超音波センサや
レーザーレーダーを用いて前方空間の移動可能領域を求
める手法を適用しても本発明は実現できる。また、移動
障害物位置・方向算出部８において、移動障害物の左端
及び右端の存在方向を求め、移動障害物の位置を算出し
たが、移動障害物領域の画像中の重心位置を求め、その
存在方向を用いて移動障害物の位置を求めることも可能
である。
【００１８】
【発明の効果】以上述べてきたとおり、本願発明は、撮
像手段で撮像した情報を用いて移動する障害物の領域を
抽出するため、超音波センサやレーザーレーダを用いて
装置に比べ、背景に存在する対象物と移動障害物領域と
の切り分けが容易であり、画像中で抽出した移動する障
害物の領域の３次元空間中の存在方向と移動可能領域の
輪郭との交線を求めることにより、前方空間の移動する
障害物の位置及び移動方向を求めるため、ステレオ視で
直接、移動障害物領域の画像中の位置から３次元空間中
の位置及び移動方向を算出する場合に比べ精度が高いと
いう効果を奏する。
像手段で撮像した情報を用いて移動する障害物の領域を
抽出するため、超音波センサやレーザーレーダを用いて
装置に比べ、背景に存在する対象物と移動障害物領域と
の切り分けが容易であり、画像中で抽出した移動する障
害物の領域の３次元空間中の存在方向と移動可能領域の
輪郭との交線を求めることにより、前方空間の移動する
障害物の位置及び移動方向を求めるため、ステレオ視で
直接、移動障害物領域の画像中の位置から３次元空間中
の位置及び移動方向を算出する場合に比べ精度が高いと
いう効果を奏する。
【図１】 本発明の概略構成を示すブロック図。
【図２】 本発明の移動障害物抽出部の処理フロー。
【図３】 本発明の移動障害物領域を抽出する手段を説
明する図。
明する図。
【図４】 本発明の移動可能空間抽出部の処理フロー。
【図５】 本発明の移動可能領域を抽出する手法を説明
する図。
する図。
【図６】 本発明の移動可能領域を抽出する手法を説明
する図。
する図。
【図７】 本発明の移動障害物の存在方向を算出する手
法を説明する図。
法を説明する図。
【図８】 本発明の移動障害物位置及び移動方向を抽出
する手法を説明する図。
する手法を説明する図。
【図９】 本発明の移動可能領域を示した図。
１…移動障害検出部
２…移動可能空間抽出部
３…移動障害物位置・方向算出部
フロントページの続き
(56)参考文献 特開 平５−143156（ＪＰ，Ａ)
特開 平５−314243（ＪＰ，Ａ)
特開 平５−312819（ＪＰ，Ａ)
特開 平５−141919（ＪＰ，Ａ)
特開 昭63−124114（ＪＰ，Ａ)
特開 昭63−314622（ＪＰ，Ａ)
小野田一則ほか，平面投影ステレオ法
を用いた道路領域検出，情報処理学会研
究報告（95−ＣＶ−93），日本，情報処
理学会，1995年 ３月23日，Ｖｏｌ.
95，Ｎｏ．34（ＣＶ93−７），61−68
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00 330
G06T 7/60
G08G 1/16
H04N 7/18
ＪＳＴＰＬＵＳファイル（ＪＯＩＳ)
Claims (3)
- 【請求項１】２台のカメラで撮像された２枚の画像を３
次元空間中の平面に投影して、前記平面上において障害
物の存在しない移動可能領域を抽出する移動可能空間抽
出部と、前記カメラのうちの一つで撮像された１枚の画像のオプ
ティカルフローを抽出して、前記１枚の画像中において
移動している障害物が存在する移動障害物領域を抽出す
る 移動障害物抽出部と、前記移動障害物領域から、移動している 障害物の存在方
向を求めるとともに、前記移動可能領域以外の領域と前
記存在方向との交差部分を求めて、 前記移動している 障害物の前記平面上における位置及び
方向を求める移動障害物位置・方向算出部とを備える移
動障害物検出装置。 - 【請求項２】第１の撮像部と、 第２の撮像部と、 前記第１及び第２の撮像部で撮像した第１、第２の画像
をそれぞれ３次元空間中の平面に投影して、前記平面上
において障害物の存在しない移動可能領域を抽出する 移
動可能空間抽出部と、前記第１の画像のオプティカルフローを抽出して、前記
第１の画像中において移動している障害物が存在する移
動障害物領域を抽出する 移動障害物抽出部と、前記移動障害物領域から、移動している 障害物の存在方
向を求めるとともに、前記移動可能領域以外の領域と前
記存在方向との交差部分を求めて、 前記移動している 障害物の前記平面上における位置及び
方向を求める移動障害物位置・方向算出部とを備える移
動障害物検出装置。 - 【請求項３】２台の撮像装置で撮像して得られる画像を
３次元空間中の平面に投影し、前記平面上において障害
物の存在しない移動可能領域を抽出し、 前記撮像装置のうちの一方で撮像した画像のオプティカ
ルフローを抽出して、前記画像中において移動している
障害物が存在する移動障害物領域を抽出し、 前記移動障害物領域から、移動している障害物の存在方
向を求め、 前記移動可能領域以外の領域と、前記存在方向との交差
部分を求め、 前記移動している障害物の、前記平面上における位置及
び方向を求める移動障害物検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06957996A JP3447461B2 (ja) | 1996-03-26 | 1996-03-26 | 移動障害物検出装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06957996A JP3447461B2 (ja) | 1996-03-26 | 1996-03-26 | 移動障害物検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09259282A JPH09259282A (ja) | 1997-10-03 |
| JP3447461B2 true JP3447461B2 (ja) | 2003-09-16 |
Family
ID=13406865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06957996A Expired - Fee Related JP3447461B2 (ja) | 1996-03-26 | 1996-03-26 | 移動障害物検出装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3447461B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4267171B2 (ja) * | 1999-05-10 | 2009-05-27 | 本田技研工業株式会社 | 歩行者検知装置 |
| JP3790680B2 (ja) | 2001-05-25 | 2006-06-28 | 株式会社東芝 | 画像処理システム及びこれを用いた運転支援システム |
| JP2004046875A (ja) * | 2002-07-03 | 2004-02-12 | Iwane Kenkyusho:Kk | 交通機関自動案内装置 |
| JP3846494B2 (ja) | 2004-07-13 | 2006-11-15 | 日産自動車株式会社 | 移動障害物検出装置 |
| JP4069919B2 (ja) * | 2004-09-28 | 2008-04-02 | 日産自動車株式会社 | 衝突判定装置、および方法 |
| JP4940767B2 (ja) * | 2006-06-05 | 2012-05-30 | マツダ株式会社 | 車両周辺情報報知装置 |
-
1996
- 1996-03-26 JP JP06957996A patent/JP3447461B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 小野田一則ほか，平面投影ステレオ法を用いた道路領域検出，情報処理学会研究報告（９５−ＣＶ−９３），日本，情報処理学会，１９９５年 ３月２３日，Ｖｏｌ．９５，Ｎｏ．３４（ＣＶ９３−７），６１−６８ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09259282A (ja) | 1997-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP3719095B2 (ja) | 挙動検出装置および勾配検出方法 | |
| US10937181B2 (en) | Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium | |
| US5937079A (en) | Method for stereo image object detection | |
| US5020114A (en) | Object discriminating apparatus and method therefor | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| US10909395B2 (en) | Object detection apparatus | |
| US10776637B2 (en) | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium | |
| EP1394761A2 (en) | Obstacle detection device and method therefor | |
| US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
| JPH08294143A (ja) | 画像間対応付け方法および画像間視差計測方法 | |
| US10832431B2 (en) | Image processing apparatus, object recognition apparatus, equipment control system, image processing method, and computer-readable recording medium | |
| US10546383B2 (en) | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium | |
| DE102005008131A1 (de) | Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen | |
| EP3545464A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| CN110088801A (zh) | 可行驶区域检测装置以及行驶辅助系统 | |
| JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
| JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
| JP2018073275A (ja) | 画像認識装置 | |
| JP2004034946A (ja) | 画像処理装置、駐車支援装置、及び画像処理方法 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
| JP3237705B2 (ja) | 障害物検出装置および障害物検出装置を搭載した移動体 | |
| JPH1141521A (ja) | 撮像装置および車間距離計測装置ならびに車間距離計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100704 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |