JP4233723B2 - 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 - Google Patents
障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4233723B2 JP4233723B2 JP2000052557A JP2000052557A JP4233723B2 JP 4233723 B2 JP4233723 B2 JP 4233723B2 JP 2000052557 A JP2000052557 A JP 2000052557A JP 2000052557 A JP2000052557 A JP 2000052557A JP 4233723 B2 JP4233723 B2 JP 4233723B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- distance
- histogram
- horizontal plane
- obstacle detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001514 detection method Methods 0.000 title claims description 22
- 238000000034 method Methods 0.000 claims description 39
- 238000005259 measurement Methods 0.000 claims description 28
- 230000001186 cumulative effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Description
【０００１】
【発明の属する技術分野】
本発明は、距離画像を用いてロボットや自動車が移動する際に必要な障害物の検出を行う障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来の障害物検出は、検出対象の障害物の形状に対して幾つかの制約条件を設定し、その制約条件の下における濃度画像あるいは距離画像を用いて障害物を検出していた。
しかしながら、実際にロボットが走行する屋内環境や、自動車の走行する一般道路には様々な形状を持った障害物が存在しており、形状に関する制約条件を設定して障害物を検出するのは現実的でないという問題がある。
またエレベーションマップと呼ばれる障害物マップのように、２次元グリッドの各セル毎に物体の高さや存在確率などの情報を載せているものがあるが、障害物回避などの経路設定にはポテンシャルフィールドの手法を用いるなど複雑になるという問題もある。
【０００３】
本発明は、このような事情に鑑みてなされたもので、ロボットや自動車が自律移動する際、安全に移動するために必要な障害物検出を行うことができる障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得手段（例えば、実施形態における距離画像取得部１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成手段（例えば、実施形態におけるヒストグラム記憶部４及び画像処理部３）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化手段と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成手段（例えば、実施形態における障害物マップ記憶部６及び画像処理部３）とを備えたことを特徴とする。
【０００５】
請求項１に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【０００６】
請求項２に記載の発明は、前記障害物検出装置は、前記ヒストグラム作成手段によって得られた累積値に対して距離に応じた補正を行う補正手段（例えば、実施形態におけるルックアップテーブル及び画像処理部３）をさらに備えたことを特徴とする。
【０００７】
請求項２に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【０００８】
請求項３に記載の発明は、請求項１または２のいずれかに記載の障害物検出装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段（例えば、実施形態における移動制御部７）を備えたことを特徴とする。
【０００９】
請求項３に記載の発明によれば、障害物マップを参照しながら車両の移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よく車両の位置の制御を行うことができるという効果が得られる。
【００１０】
請求項４に記載の発明は、請求項１または２のいずれかに記載の障害物検出装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段（例えば、実施形態における移動制御部７）を備えたことを特徴とする。
【００１１】
請求項４に記載の発明によれば、障害物マップを参照しながらロボットの移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よくロボットの位置の制御を行うことができるという効果が得られる。
【００１２】
請求項５に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得過程（例えば、実施形態におけるステップＳ１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成過程（例えば、実施形態におけるステップＳ２〜Ｓ５）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化過程（例えば、実施形態におけるステップＳ７〜Ｓ１０）と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成過程（例えば、実施形態におけるステップＳ１１）とを有することを特徴とする。
【００１３】
請求項５に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００１４】
請求項６に記載の発明は、前記障害物検出方法は、前記ヒストグラム作成過程によって得られた累積値に対して距離に応じた補正を行う補正過程（例えば、実施形態におけるステップＳ６）をさらに有することを特徴とする。
【００１５】
請求項６に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００１６】
請求項７に記載の発明は、前方視野内の障害物を検出する障害物検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記障害物検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得処理（例えば、実施形態におけるステップＳ１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成処理（例えば、実施形態におけるステップＳ２〜Ｓ５）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化処理（例えば、実施形態におけるステップＳ７〜Ｓ１０）と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成処理（例えば、実施形態におけるステップＳ１１）とをコンピュータに行わせることを特徴とする。
【００１７】
請求項７に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００１８】
請求項８に記載の発明は、前記障害物検出プログラムは、前記ヒストグラム作成処理によって得られた累積値に対して距離に応じた補正を行う補正処理（例えば、実施形態におけるステップＳ６）をさらにコンピュータに行わせることを特徴とする。
【００１９】
請求項８に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施形態による障害物検出装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ロボットや自動車が移動する際の移動方向の視野内に存在する物体の距離画像を取得する距離画像取得部である。この距離画像取得部１の距離センサは、２台のＣＣＤカメラや電磁波を用いたレーダ等で構成される。符号２は、距離画像取得部１において得られた距離画像の１フレーム分を記憶する画像記憶部である。符号３は、画像記憶部２に記憶された距離画像を処理して障害物マップを生成する画像処理部である。符号４は、距離画像を２値化する場合に用いられるヒストグラムを記憶するヒストグラム記憶部である。符号５は、ヒストグラムの補正を行うためのデータが定義されたルックアップテーブルである。符号６は、画像記憶部２に記憶された距離画像に基づいて生成された障害物マップを記憶する障害物マップ記憶部である。符号７は、障害物マップ記憶部６に記憶された障害物マップを参照してロボットや自動車等の移動を制御する移動制御部である。
ここでは、図１に示す障害物検出装置は屋内を移動する自律走行のロボットに備えられているものとして説明する。
【００２１】
ここで、以下の説明において用いる座標系を定義する。ロボットの前方の距離方向をＸ軸、ロボットの左右方向をＹ軸、鉛直方向をＺ軸とし、これらの３軸は互いに直交している。また、以下でいう距離とは、距離取得部１から各物体までの直線距離である。したがって、距離画像データは、距離画像取得部１の視野における物体表面の測定点の３次元座標値の集合である。
【００２２】
次に、図２を参照して、図１に示す障害物検出装置の動作を説明する。図２は、画像処理部３が距離画像から障害物マップを生成する動作を示すフローチャートである。
まず、画像処理部３は、距離画像取得部１に対して現時点における前方の距離画像の取得を指示する（ステップＳ１）。これを受けて、距離画像取得部１は、距離画像を取得し、そのデータをＡ／Ｄ変換して各測定点毎に画像記憶部２へ格納する。図３に距離画像の一例を示す。ここでは、一例として各測定点の距離を８ビット（２５６階調）で表現するものとする。通常の画像の画素は、センサの視野内における物体表面の輝度を表現したものであるが、距離画像の画素は、センサの視野内における物体表面までの距離を２５６階調で表現したものである。したがって、距離画像中の画素の位置によって、ＹＺ平面上の１点を特定することができ、さらにこの画素がもつ距離の情報によってＸ軸方向の位置を特定することができるため、３次元空間に存在する物体の表面上の１点を特定することができる。なお、より精度が必要な場合には、レーダを併用するなどして精度を向上させることもできる。さらに、距離データを２５６階調で表現せずに、距離センサの出力値をそのまま使用するようにしてもよい。
【００２３】
次に、画像記憶部２に距離画像が格納された後に画像処理部３は、画素毎に距離データを読み出す（ステップＳ２）。そして、読み出した距離データからこの画素に該当する測定点の座標値（Ｘ１，Ｙ１，Ｚ１）を求める。続いて画像処理部３は、この測定点をＸＹ平面に投影する（ステップＳ３）。この投影処理は、座標値Ｚ１を「０」に置き換えることによって行う。またこのとき、測定点を投影するＸＹ平面には、距離センサの測定分解能より粗いグリッドセル（例えば５ｃｍ×５ｃｍの正方形領域）が定義されており、投影された測定点がどのグリッドセルに含まれるかを求める。画像処理部３は、求めたグリッドセル毎に投影された測定点の数を累積し、その結果をヒストグラム記憶部４に記憶する。また、画像処理部３は、この測定点（Ｘ１，Ｙ１，Ｚ１）をＸＺ平面に投影する（ステップＳ４）。この投影処理は、座標値Ｙ１を「０」に置き換えることによって行い、ＸＹ平面と同様にＸＺ平面上のグリッドセル毎の測定点の数を累積し、その結果をヒストグラム記憶部４に記憶する。なお、環境条件により、ＸＹ平面のみ、ＸＺ平面のみでも本発明の実施が可能となる。
【００２４】
そして、全ての画素についてステップＳ３、Ｓ４の処理を行ったか否かを判定し、処理していない画素があればステップＳ２へ戻り処理を繰り返す（ステップＳ５）。全ての画素について処理が終了した時点で、ヒストグラム記憶部４には、ＸＹ平面上に測定点を投影した場合の測定点の累積度数と、ＸＺ平面上に測定点を投影した場合の測定点の累積度数とが記憶されていることになる。図４にヒストグラム記憶部４に記憶されるＸＹ平面のヒストグラムの一例を示す。
【００２５】
次に、画像処理部３は、ルックアップテーブル５を参照して、先に得られた２つのヒストグラムの累積度数を補正する（ステップＳ６）。距離センサにＣＣＤカメラを用いる場合、その遠近法則の性質上、視点から遠方にある物体ほど、ヒストグラムの累積が小さくなる傾向がある（例えば、同じ大きさの物体でも遠方にあるほど累積は小さい）。従って、カメラの視野画角や処理範囲などパラメータから予め設定したヒストグラム補正用のルックアップテーブル５を参照し、各グリッドセル毎の補正値から累積値の補正を行うことによって、遠方の物体も近傍の物体と同じレベルで累積が行わるようになり、ノイズ成分を除去することが容易となる。ルックアップテーブル５の一例を図５に示す。画像処理部３は、ルックアップテーブル５を参照して、該当するグリッドセルの補正値を取得し、この補正値を累積値に乗算することによって累積値の補正を行う。この補正は、全てのグリッドセルの累積値に対して行われる。ルックアップテーブル５の作成方法は後述する。
【００２６】
次に、画像処理部３は、ヒストグラム記憶部４に記憶されているヒストグラムの累積値と予め決められたしきい値とを先に定義したグリッドセル毎に比較をして（ステップＳ７）、累積値がしきい値より大きい場合は該当するグリッドセルの値を「１」にして障害物マップ記憶部６へ記録する（ステップＳ８）。一方、しきい値より小さい場合は、該当するグリッドセルの値を「０」にして障害物マップ記憶部６へ記憶する（ステップＳ９）。このステップＳ７〜Ｓ９の処理を全てのグリッドセルの累積値に対して行う（ステップＳ１０）。これによって、障害物マップ６には、累積値がしきい値より大きいグリッドセルが「１」であり、累積値がしきい値より小さいグリッドセルが「０」となる２値データが生成される。この処理は、ＸＹ平面上のグリッドセル及びＸＺ平面上のグリッドセルに対して行う。
なお、ステップＳ７において、使用するしきい値は、距離画像取得部１による計測データの誤差を考慮して、ノイズ成分が除去できる値を設定すればよい。
【００２７】
次に、画像処理部３は、障害物マップ６に対して、クラスタリングの処理を施す（ステップＳ１１）。ここでいうクラスタリング処理は、周知の技術であり、各グリッドセルの値が「１」であり、かつ隣り合っているグリッドセルを１つの塊とする処理である。この処理によって得られたそれぞれの塊が障害物となる。このクラスタリング処理は、ＸＹ平面上及びＸＺ平面上のグリッドセルについて行い、２つの平面から得られた結果から障害物を抽出する。障害物を抽出した結果である障害物マップの一例を図６に示す。距離画像取得部１と障害物との相対的な位置関係は、グリッドセルの領域サイズと位置とから算出する。
【００２８】
クラスタリング処理が終了した時点で、ステップＳ１において得られた距離画像から障害物マップ６を生成する処理が終了する。そして、画像処理部３は再びステップＳ１〜Ｓ１１の処理を繰り返し、その都度に障害物マップ６を更新する。
一方、移動制御部７は、時々刻々更新される障害物マップ６を参照しながら、移動経路の設定をすることによって、ロボットの移動の制御を行う。
【００２９】
ここで、ルックアップテーブル５の作成方法について、図７を参照して説明する。距離に応じた補正値は、図７に示すように、同じ高さの物体を水平に取り付けたカメラで撮影し、物体の占める角度（θ）の比とする。
図７の場合、高さｈ［ｍ］の物体を想定した場合、視点より１［ｍ］先に置いた場合の撮像面に占める垂直角度をθ１とし、これを基準とする。次に同じ高さｈ［ｍ］の物体を視点よりｋ［ｍ］の地点に置いた場合の撮像面に占める垂直角度をθｋとすると、視点からの距離に応じてθ１／θｋを計算し、グリッドセルに合わせて離散化すればよい。このようにして図５のようなルックアップテーブルを設定することができる。
【００３０】
このように、距離画像から２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができる。また、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができる。さらに、障害物マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができる。
【００３１】
なお、前述した説明においては、累積値をルックアップテーブル５によって補正するようにしたが、累積値に乗ずる補正値を距離の値そのものにしてもよい。このようにすることによって、処理を簡単にできるとともに、ルックアップテーブル５を備える必要がなくなる。また、ルックアップテーブル５を用いずに、ステップＳ７において用いるしきい値を距離に応じて変化させるように処理してもよい。すなわち、距離が大きくなるほど、しきい値を小さくすればよい。
【００３２】
【発明の効果】
以上説明したように、請求項１、５、７に記載の発明によれば、距離画像から２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００３３】
また、請求項２、６、８に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００３４】
また、請求項３に記載の発明によれば、障害物マップを参照しながら車両の移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よく車両の位置の制御を行うことができるという効果が得られる。
【００３５】
また、請求項４に記載の発明によれば、障害物マップを参照しながらロボットの移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よくロボットの位置の制御を行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１に示す画像処理部３の動作を示すフローチャートである。
【図３】 図１に示す距離画像取得部１において得た距離画像の一例を示す説明図である。
【図４】 図１に示すヒストグラム記憶部４に記憶されるヒストグラムの一例を示す説明図である。
【図５】 図１に示すルックアップテーブル５の一例を示す説明図である。
【図６】 図１に示す障害物マップ記憶部６に記憶される障害物マップの一例を示す説明図である。
【図７】 図５に示すルックアップテーブル５の作成方法を示す説明図である。
【符号の説明】
１・・・距離画像取得部、
２・・・画像記憶部、
３・・・画像処理部、
４・・・ヒストグラム記憶部、
５・・・ルックアップテーブル、
６・・・障害物マップ記憶部、
７・・・移動制御部。
【発明の属する技術分野】
本発明は、距離画像を用いてロボットや自動車が移動する際に必要な障害物の検出を行う障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来の障害物検出は、検出対象の障害物の形状に対して幾つかの制約条件を設定し、その制約条件の下における濃度画像あるいは距離画像を用いて障害物を検出していた。
しかしながら、実際にロボットが走行する屋内環境や、自動車の走行する一般道路には様々な形状を持った障害物が存在しており、形状に関する制約条件を設定して障害物を検出するのは現実的でないという問題がある。
またエレベーションマップと呼ばれる障害物マップのように、２次元グリッドの各セル毎に物体の高さや存在確率などの情報を載せているものがあるが、障害物回避などの経路設定にはポテンシャルフィールドの手法を用いるなど複雑になるという問題もある。
【０００３】
本発明は、このような事情に鑑みてなされたもので、ロボットや自動車が自律移動する際、安全に移動するために必要な障害物検出を行うことができる障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得手段（例えば、実施形態における距離画像取得部１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成手段（例えば、実施形態におけるヒストグラム記憶部４及び画像処理部３）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化手段と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成手段（例えば、実施形態における障害物マップ記憶部６及び画像処理部３）とを備えたことを特徴とする。
【０００５】
請求項１に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【０００６】
請求項２に記載の発明は、前記障害物検出装置は、前記ヒストグラム作成手段によって得られた累積値に対して距離に応じた補正を行う補正手段（例えば、実施形態におけるルックアップテーブル及び画像処理部３）をさらに備えたことを特徴とする。
【０００７】
請求項２に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【０００８】
請求項３に記載の発明は、請求項１または２のいずれかに記載の障害物検出装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段（例えば、実施形態における移動制御部７）を備えたことを特徴とする。
【０００９】
請求項３に記載の発明によれば、障害物マップを参照しながら車両の移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よく車両の位置の制御を行うことができるという効果が得られる。
【００１０】
請求項４に記載の発明は、請求項１または２のいずれかに記載の障害物検出装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段（例えば、実施形態における移動制御部７）を備えたことを特徴とする。
【００１１】
請求項４に記載の発明によれば、障害物マップを参照しながらロボットの移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よくロボットの位置の制御を行うことができるという効果が得られる。
【００１２】
請求項５に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得過程（例えば、実施形態におけるステップＳ１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成過程（例えば、実施形態におけるステップＳ２〜Ｓ５）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化過程（例えば、実施形態におけるステップＳ７〜Ｓ１０）と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成過程（例えば、実施形態におけるステップＳ１１）とを有することを特徴とする。
【００１３】
請求項５に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００１４】
請求項６に記載の発明は、前記障害物検出方法は、前記ヒストグラム作成過程によって得られた累積値に対して距離に応じた補正を行う補正過程（例えば、実施形態におけるステップＳ６）をさらに有することを特徴とする。
【００１５】
請求項６に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００１６】
請求項７に記載の発明は、前方視野内の障害物を検出する障害物検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記障害物検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得処理（例えば、実施形態におけるステップＳ１）と、前記物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、前記水平平面または前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、３次元ヒストグラムを作成するヒストグラム作成処理（例えば、実施形態におけるステップＳ２〜Ｓ５）と、前記ヒストグラム作成手段において作成されたヒストグラムと所定のしきい値を用いてこのヒストグラムを２値化する２値化処理（例えば、実施形態におけるステップＳ７〜Ｓ１０）と、前記２値化手段によって得られた２値データに対してクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成処理（例えば、実施形態におけるステップＳ１１）とをコンピュータに行わせることを特徴とする。
【００１７】
請求項７に記載の発明によれば、距離画像から１つないし２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００１８】
請求項８に記載の発明は、前記障害物検出プログラムは、前記ヒストグラム作成処理によって得られた累積値に対して距離に応じた補正を行う補正処理（例えば、実施形態におけるステップＳ６）をさらにコンピュータに行わせることを特徴とする。
【００１９】
請求項８に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施形態による障害物検出装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ロボットや自動車が移動する際の移動方向の視野内に存在する物体の距離画像を取得する距離画像取得部である。この距離画像取得部１の距離センサは、２台のＣＣＤカメラや電磁波を用いたレーダ等で構成される。符号２は、距離画像取得部１において得られた距離画像の１フレーム分を記憶する画像記憶部である。符号３は、画像記憶部２に記憶された距離画像を処理して障害物マップを生成する画像処理部である。符号４は、距離画像を２値化する場合に用いられるヒストグラムを記憶するヒストグラム記憶部である。符号５は、ヒストグラムの補正を行うためのデータが定義されたルックアップテーブルである。符号６は、画像記憶部２に記憶された距離画像に基づいて生成された障害物マップを記憶する障害物マップ記憶部である。符号７は、障害物マップ記憶部６に記憶された障害物マップを参照してロボットや自動車等の移動を制御する移動制御部である。
ここでは、図１に示す障害物検出装置は屋内を移動する自律走行のロボットに備えられているものとして説明する。
【００２１】
ここで、以下の説明において用いる座標系を定義する。ロボットの前方の距離方向をＸ軸、ロボットの左右方向をＹ軸、鉛直方向をＺ軸とし、これらの３軸は互いに直交している。また、以下でいう距離とは、距離取得部１から各物体までの直線距離である。したがって、距離画像データは、距離画像取得部１の視野における物体表面の測定点の３次元座標値の集合である。
【００２２】
次に、図２を参照して、図１に示す障害物検出装置の動作を説明する。図２は、画像処理部３が距離画像から障害物マップを生成する動作を示すフローチャートである。
まず、画像処理部３は、距離画像取得部１に対して現時点における前方の距離画像の取得を指示する（ステップＳ１）。これを受けて、距離画像取得部１は、距離画像を取得し、そのデータをＡ／Ｄ変換して各測定点毎に画像記憶部２へ格納する。図３に距離画像の一例を示す。ここでは、一例として各測定点の距離を８ビット（２５６階調）で表現するものとする。通常の画像の画素は、センサの視野内における物体表面の輝度を表現したものであるが、距離画像の画素は、センサの視野内における物体表面までの距離を２５６階調で表現したものである。したがって、距離画像中の画素の位置によって、ＹＺ平面上の１点を特定することができ、さらにこの画素がもつ距離の情報によってＸ軸方向の位置を特定することができるため、３次元空間に存在する物体の表面上の１点を特定することができる。なお、より精度が必要な場合には、レーダを併用するなどして精度を向上させることもできる。さらに、距離データを２５６階調で表現せずに、距離センサの出力値をそのまま使用するようにしてもよい。
【００２３】
次に、画像記憶部２に距離画像が格納された後に画像処理部３は、画素毎に距離データを読み出す（ステップＳ２）。そして、読み出した距離データからこの画素に該当する測定点の座標値（Ｘ１，Ｙ１，Ｚ１）を求める。続いて画像処理部３は、この測定点をＸＹ平面に投影する（ステップＳ３）。この投影処理は、座標値Ｚ１を「０」に置き換えることによって行う。またこのとき、測定点を投影するＸＹ平面には、距離センサの測定分解能より粗いグリッドセル（例えば５ｃｍ×５ｃｍの正方形領域）が定義されており、投影された測定点がどのグリッドセルに含まれるかを求める。画像処理部３は、求めたグリッドセル毎に投影された測定点の数を累積し、その結果をヒストグラム記憶部４に記憶する。また、画像処理部３は、この測定点（Ｘ１，Ｙ１，Ｚ１）をＸＺ平面に投影する（ステップＳ４）。この投影処理は、座標値Ｙ１を「０」に置き換えることによって行い、ＸＹ平面と同様にＸＺ平面上のグリッドセル毎の測定点の数を累積し、その結果をヒストグラム記憶部４に記憶する。なお、環境条件により、ＸＹ平面のみ、ＸＺ平面のみでも本発明の実施が可能となる。
【００２４】
そして、全ての画素についてステップＳ３、Ｓ４の処理を行ったか否かを判定し、処理していない画素があればステップＳ２へ戻り処理を繰り返す（ステップＳ５）。全ての画素について処理が終了した時点で、ヒストグラム記憶部４には、ＸＹ平面上に測定点を投影した場合の測定点の累積度数と、ＸＺ平面上に測定点を投影した場合の測定点の累積度数とが記憶されていることになる。図４にヒストグラム記憶部４に記憶されるＸＹ平面のヒストグラムの一例を示す。
【００２５】
次に、画像処理部３は、ルックアップテーブル５を参照して、先に得られた２つのヒストグラムの累積度数を補正する（ステップＳ６）。距離センサにＣＣＤカメラを用いる場合、その遠近法則の性質上、視点から遠方にある物体ほど、ヒストグラムの累積が小さくなる傾向がある（例えば、同じ大きさの物体でも遠方にあるほど累積は小さい）。従って、カメラの視野画角や処理範囲などパラメータから予め設定したヒストグラム補正用のルックアップテーブル５を参照し、各グリッドセル毎の補正値から累積値の補正を行うことによって、遠方の物体も近傍の物体と同じレベルで累積が行わるようになり、ノイズ成分を除去することが容易となる。ルックアップテーブル５の一例を図５に示す。画像処理部３は、ルックアップテーブル５を参照して、該当するグリッドセルの補正値を取得し、この補正値を累積値に乗算することによって累積値の補正を行う。この補正は、全てのグリッドセルの累積値に対して行われる。ルックアップテーブル５の作成方法は後述する。
【００２６】
次に、画像処理部３は、ヒストグラム記憶部４に記憶されているヒストグラムの累積値と予め決められたしきい値とを先に定義したグリッドセル毎に比較をして（ステップＳ７）、累積値がしきい値より大きい場合は該当するグリッドセルの値を「１」にして障害物マップ記憶部６へ記録する（ステップＳ８）。一方、しきい値より小さい場合は、該当するグリッドセルの値を「０」にして障害物マップ記憶部６へ記憶する（ステップＳ９）。このステップＳ７〜Ｓ９の処理を全てのグリッドセルの累積値に対して行う（ステップＳ１０）。これによって、障害物マップ６には、累積値がしきい値より大きいグリッドセルが「１」であり、累積値がしきい値より小さいグリッドセルが「０」となる２値データが生成される。この処理は、ＸＹ平面上のグリッドセル及びＸＺ平面上のグリッドセルに対して行う。
なお、ステップＳ７において、使用するしきい値は、距離画像取得部１による計測データの誤差を考慮して、ノイズ成分が除去できる値を設定すればよい。
【００２７】
次に、画像処理部３は、障害物マップ６に対して、クラスタリングの処理を施す（ステップＳ１１）。ここでいうクラスタリング処理は、周知の技術であり、各グリッドセルの値が「１」であり、かつ隣り合っているグリッドセルを１つの塊とする処理である。この処理によって得られたそれぞれの塊が障害物となる。このクラスタリング処理は、ＸＹ平面上及びＸＺ平面上のグリッドセルについて行い、２つの平面から得られた結果から障害物を抽出する。障害物を抽出した結果である障害物マップの一例を図６に示す。距離画像取得部１と障害物との相対的な位置関係は、グリッドセルの領域サイズと位置とから算出する。
【００２８】
クラスタリング処理が終了した時点で、ステップＳ１において得られた距離画像から障害物マップ６を生成する処理が終了する。そして、画像処理部３は再びステップＳ１〜Ｓ１１の処理を繰り返し、その都度に障害物マップ６を更新する。
一方、移動制御部７は、時々刻々更新される障害物マップ６を参照しながら、移動経路の設定をすることによって、ロボットの移動の制御を行う。
【００２９】
ここで、ルックアップテーブル５の作成方法について、図７を参照して説明する。距離に応じた補正値は、図７に示すように、同じ高さの物体を水平に取り付けたカメラで撮影し、物体の占める角度（θ）の比とする。
図７の場合、高さｈ［ｍ］の物体を想定した場合、視点より１［ｍ］先に置いた場合の撮像面に占める垂直角度をθ１とし、これを基準とする。次に同じ高さｈ［ｍ］の物体を視点よりｋ［ｍ］の地点に置いた場合の撮像面に占める垂直角度をθｋとすると、視点からの距離に応じてθ１／θｋを計算し、グリッドセルに合わせて離散化すればよい。このようにして図５のようなルックアップテーブルを設定することができる。
【００３０】
このように、距離画像から２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができる。また、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができる。さらに、障害物マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができる。
【００３１】
なお、前述した説明においては、累積値をルックアップテーブル５によって補正するようにしたが、累積値に乗ずる補正値を距離の値そのものにしてもよい。このようにすることによって、処理を簡単にできるとともに、ルックアップテーブル５を備える必要がなくなる。また、ルックアップテーブル５を用いずに、ステップＳ７において用いるしきい値を距離に応じて変化させるように処理してもよい。すなわち、距離が大きくなるほど、しきい値を小さくすればよい。
【００３２】
【発明の効果】
以上説明したように、請求項１、５、７に記載の発明によれば、距離画像から２つの平面上に投影したヒストグラムを作成し、このヒストグラムから障害物マップを生成するようにしたため、容易に障害物の検出を行うことができ、自己の周囲の環境認識を容易に行うことができるという効果が得られる。
【００３３】
また、請求項２、６、８に記載の発明によれば、物体までの距離に応じてデータの補正を行うようにしたため、障害物マップの精度を向上させることができるという効果が得られる。
【００３４】
また、請求項３に記載の発明によれば、障害物マップを参照しながら車両の移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よく車両の位置の制御を行うことができるという効果が得られる。
【００３５】
また、請求項４に記載の発明によれば、障害物マップを参照しながらロボットの移動を制御する移動制御部を備えたため、自己の周囲の環境認識を容易に行うことができ、精度よくロボットの位置の制御を行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１に示す画像処理部３の動作を示すフローチャートである。
【図３】 図１に示す距離画像取得部１において得た距離画像の一例を示す説明図である。
【図４】 図１に示すヒストグラム記憶部４に記憶されるヒストグラムの一例を示す説明図である。
【図５】 図１に示すルックアップテーブル５の一例を示す説明図である。
【図６】 図１に示す障害物マップ記憶部６に記憶される障害物マップの一例を示す説明図である。
【図７】 図５に示すルックアップテーブル５の作成方法を示す説明図である。
【符号の説明】
１・・・距離画像取得部、
２・・・画像記憶部、
３・・・画像処理部、
４・・・ヒストグラム記憶部、
５・・・ルックアップテーブル、
６・・・障害物マップ記憶部、
７・・・移動制御部。
Claims (9)
- 距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得手段と、
前記物体表面上の測定点を所定の水平平面及び鉛直平面にそれぞれ投影し、前記水平平面、前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、前記水平平面、前記鉛直平面それぞれのヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段において作成された前記水平平面、前記鉛直平面それぞれのヒストグラムと所定のしきい値を用いて、前記水平平面、前記鉛直平面それぞれのヒストグラムを２値化する２値化手段と、
前記２値化手段によって得られた２値データに対して、前記水平平面、前記鉛直平面それぞれにおいてクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成手段と、
を備えたことを特徴とする障害物検出装置。 - 前記障害物検出装置は、前記ヒストグラム作成手段によって得られた累積値に対して距離に応じた補正を行う補正手段をさらに備えたことを特徴とする請求項１に記載の障害物検出装置。
- 前記距離画像取得手段の距離と、当該距離に対応して前記累積値に対して乗算する補正値とが設定されたルックアップテーブルを有し、
前記補正値が、基準となる前記距離における前記物体の撮像面に占める垂直角度と、補正する距離における前記物体の撮像面に占める垂直角度との比から求められていることを特徴とする請求項２に記載の障害物検出装置。 - 請求項１から３のいずれかに記載の障害物検出装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段を備えたことを特徴とする車両走行制御装置。
- 請求項１から３のいずれかに記載の障害物検出装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記障害物マップを参照して、該障害物マップに定義されている障害物を避けて走行の制御を行う移動制御手段を備えたことを特徴とする自律走行ロボット。
- 距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得過程と、
前記物体表面上の測定点を所定の水平平面及び鉛直平面にそれぞれ投影し、前記水平平面、前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、前記水平平面、前記鉛直平面それぞれのヒストグラムを作成するヒストグラム作成過程と、
前記ヒストグラム作成手段において作成された前記水平平面、前記鉛直平面それぞれのヒストグラムと所定のしきい値を用いて、前記水平平面、前記鉛直平面それぞれのヒストグラムを２値化する２値化過程と、
前記２値化手段によって得られた２値データに対して、前記水平平面、前記鉛直平面それぞれにおいてクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成過程と、
を有することを特徴とする障害物検出方法。 - 前記障害物検出方法は、前記ヒストグラム作成過程によって得られた累積値に対して距離に応じた補正を行う補正過程をさらに有することを特徴とする請求項６に記載の障害物検出方法。
- 前方視野内の障害物を検出する障害物検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記障害物検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に基づいて距離画像を得る距離画像取得処理と、
前記物体表面上の測定点を所定の水平平面及び鉛直平面にそれぞれ投影し、前記水平平面、前記鉛直平面内のそれぞれに予め定義された前記センサの測定分解能より粗いグリッドセル内の前記測定点の数を累積することによって、前記水平平面、前記鉛直平面それぞれのヒストグラムを作成するヒストグラム作成処理と、
前記ヒストグラム作成手段において作成された前記水平平面、前記鉛直平面それぞれのヒストグラムと所定のしきい値を用いて、前記水平平面、前記鉛直平面それぞれのヒストグラムを２値化する２値化処理と、
前記２値化手段によって得られた２値データに対して、前記水平平面、前記鉛直平面それぞれにおいてクラスタリング処理を施すことによって障害物を抽出し、前記距離センサと障害物の位置関係を定義した障害物マップを生成する障害物マップ生成処理と、
をコンピュータに行わせることを特徴とする障害物検出プログラムを記録した記録媒体。 - 前記障害物検出プログラムは、
前記ヒストグラム作成処理によって得られた累積値に対して距離に応じた補正を行う補正処理をさらにコンピュータに行わせることを特徴とする請求項８に記載の障害物検出プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000052557A JP4233723B2 (ja) | 2000-02-28 | 2000-02-28 | 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 |
| US09/741,021 US6470271B2 (en) | 2000-02-28 | 2000-12-21 | Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000052557A JP4233723B2 (ja) | 2000-02-28 | 2000-02-28 | 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001242934A JP2001242934A (ja) | 2001-09-07 |
| JP4233723B2 true JP4233723B2 (ja) | 2009-03-04 |
Family
ID=18574056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000052557A Expired - Lifetime JP4233723B2 (ja) | 2000-02-28 | 2000-02-28 | 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6470271B2 (ja) |
| JP (1) | JP4233723B2 (ja) |
Families Citing this family (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1126409A4 (en) * | 1999-05-10 | 2003-09-10 | Sony Corp | IMAGE PROCESSING APPARATUS AND METHOD, AND ROBOT THEREOF |
| JP2004536387A (ja) * | 2001-05-25 | 2004-12-02 | シーメンス アクチエンゲゼルシヤフト | 画像データを処理する装置及び方法 |
| US6728608B2 (en) * | 2002-08-23 | 2004-04-27 | Applied Perception, Inc. | System and method for the creation of a terrain density model |
| WO2004059341A1 (de) * | 2002-12-20 | 2004-07-15 | Daimlerchrysler Ag | Verfahren zum erfassen von umgebungsinformationen und zum bestimmen der lage einer parklücke |
| FR2854256B1 (fr) * | 2003-04-28 | 2005-07-15 | Univ Compiegne Tech | Procede pour la cartographie d'une zone a traiter et son dispositif de mise en oeuvre |
| JP3925488B2 (ja) * | 2003-11-11 | 2007-06-06 | 日産自動車株式会社 | 車両用画像処理装置 |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| JP4061596B2 (ja) * | 2004-05-20 | 2008-03-19 | 学校法人早稲田大学 | 移動制御装置、環境認識装置及び移動体制御用プログラム |
| DE102004032118B4 (de) * | 2004-07-01 | 2006-09-21 | Daimlerchrysler Ag | Objekterkennungsverfahren für Fahrzeuge |
| JP4328692B2 (ja) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
| JP3937414B2 (ja) | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | 平面検出装置及び検出方法 |
| JP4297501B2 (ja) | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
| US8862379B2 (en) * | 2004-09-20 | 2014-10-14 | The Boeing Company | Vehicle collision shield |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP2006239844A (ja) * | 2005-03-04 | 2006-09-14 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
| JP4455417B2 (ja) * | 2005-06-13 | 2010-04-21 | 株式会社東芝 | 移動ロボット、プログラム及びロボット制御方法 |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| WO2007048029A2 (en) * | 2005-10-21 | 2007-04-26 | Deere & Company | Systems and methods for obstacle avoidance |
| AU2011239328B2 (en) * | 2005-10-21 | 2014-07-10 | Deere & Company | Systems and methods for obstacle avoidance |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US8050863B2 (en) | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
| JP4675811B2 (ja) * | 2006-03-29 | 2011-04-27 | 株式会社東芝 | 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム |
| US7974460B2 (en) * | 2007-02-06 | 2011-07-05 | Honeywell International Inc. | Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles |
| JP4645601B2 (ja) * | 2007-02-13 | 2011-03-09 | トヨタ自動車株式会社 | 環境地図の生成方法及び移動ロボット |
| JP5162962B2 (ja) * | 2007-05-24 | 2013-03-13 | トヨタ自動車株式会社 | 物体検出装置 |
| KR100844015B1 (ko) | 2007-05-31 | 2008-07-04 | 포항공과대학교 산학협력단 | 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법 |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| JP2009168751A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 障害物検出システム及び障害物検出方法 |
| JP4788722B2 (ja) | 2008-02-26 | 2011-10-05 | トヨタ自動車株式会社 | 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造 |
| US8739492B2 (en) | 2008-07-09 | 2014-06-03 | Skyfuel, Inc. | Space frame connector |
| WO2010006056A1 (en) | 2008-07-09 | 2010-01-14 | Skyfuel, Inc. | Solar collectors having slidably removable reflective panels for use in solar thermal applications |
| US8904774B2 (en) | 2008-08-22 | 2014-12-09 | Skyfuel, Inc. | Hydraulic-based rotational system for solar concentrators that resists high wind loads without a mechanical lock |
| US8385599B2 (en) * | 2008-10-10 | 2013-02-26 | Sri International | System and method of detecting objects |
| US9672736B2 (en) * | 2008-10-22 | 2017-06-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Site map interface for vehicular application |
| EP2348279B1 (en) * | 2008-10-28 | 2017-05-03 | PASCO Corporation | Road measurement device and method for measuring road |
| US8237389B2 (en) * | 2008-11-12 | 2012-08-07 | Irobot Corporation | Multi mode safety control module |
| US8140239B2 (en) | 2008-12-17 | 2012-03-20 | Caterpillar Inc. | Slippage condition response system |
| US8073609B2 (en) * | 2008-12-17 | 2011-12-06 | Caterpillar Inc. | Slippage condition response system |
| GB2467932A (en) * | 2009-02-19 | 2010-08-25 | Sony Corp | Image processing device and method |
| US8108148B2 (en) | 2009-02-27 | 2012-01-31 | Toyota Motor Engineering & Manufacturing, North America, Inc. | Method and system for mapping environments containing dynamic obstacles |
| CN102803991B (zh) * | 2009-06-03 | 2014-06-04 | 学校法人中部大学 | 物体检测设备 |
| US20110310088A1 (en) * | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Personalized navigation through virtual 3d environments |
| KR101330811B1 (ko) * | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
| KR20120043446A (ko) * | 2010-10-26 | 2012-05-04 | 한국전자통신연구원 | 차량 및 장애물의 위치 검출 장치 및 그 방법 |
| US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
| JP5863105B2 (ja) * | 2011-12-13 | 2016-02-16 | アルパイン株式会社 | 車両移動量推定装置および障害物検出装置 |
| WO2013141922A2 (en) * | 2011-12-20 | 2013-09-26 | Sadar 3D, Inc. | Systems, apparatus, and methods for data acquisiton and imaging |
| JP5993597B2 (ja) * | 2012-03-29 | 2016-09-14 | 株式会社デンソーウェーブ | 目標移動体検知方法 |
| US9097520B2 (en) | 2013-06-12 | 2015-08-04 | Caterpillar Inc. | System and method for mapping a raised contour |
| CN104442552B (zh) * | 2013-09-13 | 2018-03-09 | 富泰华工业（深圳）有限公司 | 车辆装置及其防撞系统 |
| EP2894600B1 (en) * | 2014-01-14 | 2018-03-14 | HENSOLDT Sensors GmbH | Method of processing 3D sensor data to provide terrain segmentation |
| CN104035444B (zh) * | 2014-06-27 | 2016-08-24 | 东南大学 | 机器人地图构建存储方法 |
| DE102014110527A1 (de) * | 2014-07-25 | 2016-01-28 | Connaught Electronics Ltd. | Verfahren zum Bestimmen von charakteristischen Bildpunkten für ein Kamerasystem eines Kraftfahrzeugs, Kamerasystem, Fahrassistenzsystem und Kraftfahrzeug |
| DE102014113174A1 (de) * | 2014-09-12 | 2016-03-17 | Connaught Electronics Ltd. | Verfahren zum Bestimmen von charakteristischen Bildpunkten, Fahrerassistenzsystem und Kraftfahrzeug |
| KR101629649B1 (ko) * | 2014-09-30 | 2016-06-13 | 엘지전자 주식회사 | 로봇 청소기 및 로봇 청소기의 제어방법 |
| CN104331884B (zh) * | 2014-10-29 | 2017-03-29 | 上海大学 | 四触角履带机器人的爬楼梯参数获取系统 |
| CN104713530B (zh) * | 2015-02-06 | 2016-11-23 | 南京理工大学 | 运动物体空间坐标信息探测方法 |
| US9435635B1 (en) * | 2015-02-27 | 2016-09-06 | Ge Aviation Systems Llc | System and methods of detecting an intruding object in a relative navigation system |
| US20170102704A1 (en) * | 2015-10-13 | 2017-04-13 | Delphi Technologies, Inc. | Automated Vehicle Object Detection Device With Level Detection |
| JP6705636B2 (ja) * | 2015-10-14 | 2020-06-03 | 東芝ライフスタイル株式会社 | 電気掃除機 |
| CN106598039B (zh) * | 2015-10-14 | 2019-07-26 | 山东鲁能智能技术有限公司 | 一种基于激光雷达的变电站巡检机器人避障方法 |
| KR102203434B1 (ko) * | 2016-04-22 | 2021-01-14 | 엘지전자 주식회사 | 로봇 청소기 및 로봇 청소기의 제어방법 |
| US10486742B2 (en) | 2016-08-01 | 2019-11-26 | Magna Electronics Inc. | Parking assist system using light projections |
| CN106444780B (zh) * | 2016-11-10 | 2019-06-28 | 速感科技（北京）有限公司 | 一种基于视觉定位算法的机器人的自主导航方法及系统 |
| JP6801566B2 (ja) * | 2017-04-25 | 2020-12-16 | トヨタ自動車株式会社 | 移動ロボット |
| US20190004544A1 (en) * | 2017-06-29 | 2019-01-03 | Ge Aviation Systems, Llc | Method for flying at least two aircraft |
| CN110377015B (zh) * | 2018-04-13 | 2021-04-27 | 北京三快在线科技有限公司 | 机器人定位方法和机器人定位装置 |
| JP7182895B2 (ja) * | 2018-04-13 | 2022-12-05 | 株式会社東芝 | 情報処理装置、プログラム、および情報処理方法 |
| WO2019224162A1 (en) * | 2018-05-22 | 2019-11-28 | Starship Technologies Oü | Method and system for analyzing robot surroundings |
| US10766487B2 (en) | 2018-08-13 | 2020-09-08 | Denso International America, Inc. | Vehicle driving system |
| CN111860295B (zh) * | 2018-09-07 | 2023-08-25 | 百度在线网络技术（北京）有限公司 | 基于无人车的障碍物检测方法、装置、设备以及存储介质 |
| DE102018217268A1 (de) * | 2018-10-10 | 2020-04-16 | Zf Friedrichshafen Ag | Vorrichtung und Verfahren zum Ermitteln von Höheninformationen eines Objekts in einer Umgebung eines Fahrzeugs |
| KR102255273B1 (ko) * | 2019-01-04 | 2021-05-24 | 삼성전자주식회사 | 청소 공간의 지도 데이터를 생성하는 장치 및 방법 |
| CN110135278B (zh) * | 2019-04-23 | 2023-05-12 | 腾讯科技（上海）有限公司 | 一种障碍物检测方法、装置及电子设备 |
| CN112241662B (zh) * | 2019-07-17 | 2024-03-19 | 杭州海康威视数字技术股份有限公司 | 一种检测可行驶区域的方法及装置 |
| CN110936383B (zh) * | 2019-12-20 | 2022-11-18 | 上海有个机器人有限公司 | 一种机器人的障碍物避让方法、介质、终端和装置 |
| CN111958590B (zh) * | 2020-07-20 | 2021-09-28 | 佛山科学技术学院 | 一种复杂三维环境中机械臂防碰撞方法及系统 |
| CN112163446B (zh) * | 2020-08-12 | 2023-04-28 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN116796210B (zh) * | 2023-08-25 | 2023-11-28 | 山东莱恩光电科技股份有限公司 | 基于激光雷达的障碍物检测方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0644363A (ja) | 1992-07-24 | 1994-02-18 | Canon Inc | 距離画像処理方法及び装置 |
| JPH0546739A (ja) | 1991-08-19 | 1993-02-26 | Mitsubishi Heavy Ind Ltd | 視覚システム |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| US5515448A (en) * | 1992-07-28 | 1996-05-07 | Yazaki Corporation | Distance measuring apparatus of a target tracking type |
| DE59305180D1 (de) * | 1992-11-10 | 1997-02-27 | Siemens Ag | Verfahren zur detektion und abspaltung des schattens sich bewegender objekte in einer digitalen bildsequenz |
| JPH06213660A (ja) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | 像の近似直線の検出方法 |
| JP3468428B2 (ja) * | 1993-03-24 | 2003-11-17 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JP3169483B2 (ja) * | 1993-06-25 | 2001-05-28 | 富士通株式会社 | 道路環境認識装置 |
| JP3452076B2 (ja) | 1993-10-27 | 2003-09-29 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
| JPH09142236A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Electric Corp | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 |
| JP3459950B2 (ja) | 1997-04-30 | 2003-10-27 | 学校法人立命館 | 顔検出及び顔追跡方法並びにその装置 |
-
2000
- 2000-02-28 JP JP2000052557A patent/JP4233723B2/ja not_active Expired - Lifetime
- 2000-12-21 US US09/741,021 patent/US6470271B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6470271B2 (en) | 2002-10-22 |
| JP2001242934A (ja) | 2001-09-07 |
| US20010018640A1 (en) | 2001-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4233723B2 (ja) | 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 | |
| JP3868876B2 (ja) | 障害物検出装置及び方法 | |
| JP6825569B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
| JP6760114B2 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| KR101551026B1 (ko) | 차량 검출 방법 | |
| US11189042B2 (en) | Information processing device, information processing method, and computer program | |
| WO2009142841A2 (en) | Rectangular table detection using hybrid rgb and depth camera sensors | |
| CN109003326B (zh) | 一种基于虚拟世界的虚拟激光雷达数据生成方法 | |
| JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| CN110717445B (zh) | 一种用于自动驾驶的前车距离跟踪系统与方法 | |
| CN109074653B (zh) | 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆 | |
| KR102569437B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 | |
| CN109886064A (zh) | 确定可驾驶空间的边界的方法 | |
| JP2007011994A (ja) | 道路認識装置 | |
| CN116160458B (zh) | 一种移动机器人多传感器融合快速定位方法、设备及系统 | |
| US20210397857A1 (en) | Perception system for autonomous vehicles | |
| JP2006050451A (ja) | 障害物警告システム及び画像処理装置 | |
| KR101784584B1 (ko) | 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법 | |
| JP2007263725A (ja) | 物体判定装置、方法及びプログラム | |
| CN112598736A (zh) | 一种基于地图构建的视觉定位方法及装置 | |
| JP2003237509A (ja) | 車両用外界認識装置 | |
| WO2023068034A1 (ja) | 画像処理装置 | |
| KR102424664B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4233723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |