JP4046835B2 - 可動ロボットに対する距離データの高速面区分化方法 - Google Patents
可動ロボットに対する距離データの高速面区分化方法 Download PDFInfo
- Publication number
- JP4046835B2 JP4046835B2 JP05124198A JP5124198A JP4046835B2 JP 4046835 B2 JP4046835 B2 JP 4046835B2 JP 05124198 A JP05124198 A JP 05124198A JP 5124198 A JP5124198 A JP 5124198A JP 4046835 B2 JP4046835 B2 JP 4046835B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- error
- threshold
- merged
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明はロボット視覚システムに関し、また、一層詳細には、走査される一次元の距離センサを使用して得られるデータのなかの面の検出に関する。
【0002】
【従来の技術】
視覚データまたは環境に関する同等の情報が得られるようにロボットを設計するさまざまな方策が知られている。テレビジョンカメラ、レーダー、ソナー、およびレーザー撮像システムがすべて使用されている。多くの異なる形式のセンサおよび像認識技術が使用されてきた。たいていの技術は膨大な計算を必要とするので、処理に時間がかかり、対象物に関して迅速に得られる情報は通常わずかである。これらの欠点は、センサが自動車車両のような可動のプラットホームの上に取付けられる時、不都合さを増す。
【0003】
しばしば、センサが可動のプラットホームの上に取付けられる用途では、多くのレーダーシステムの場合のように、センサデータが検出される各対象物に対して単一の点に減ぜられる。一層詳細な情報が望まれる時、対象物に関する情報が検出される間、プラットホームは可能なかぎり固定に保たれ得る。一例として1994年3月3日付けのヨーロッパ特許出願第 617,296号明細書に記載されている検出システムでは、検出される点はほぼヘッドライトの高さの車両の床にほぼ平行な単一の面に制限されている。このようなシステムは障害物回避のような用途には適しているが、センサの目的が他の車両のような対象物の三次元測定を行うことである時には不十分である。建設機械に取付けられるセンサのような多くの実世界の用途では、測定実施中にプラットホームを安定に保つことは実際的でない。
【0004】
【発明が解決しようとする課題】
本発明の課題は、三次元の像データから迅速に平面的特徴を取り出す方法を提供することである。
【0005】
本発明の他の課題は、データ取得中に運動するプラットホームのようなノイズのある環境のなかの三次元の像データから平面的特徴を取り出すことである。
【0006】
本発明の別の課題は、多重の走査線から得られた距離データを、走査線間の結合なしに、走査線が張る面のなかに結合することである。
【0007】
【課題を解決するための手段】
上記の課題は、走査線からの距離データを解析するための計算機‐読取り可能な媒体上で実行される計算機プログラムにおいて、もし第1の面しきい値以内の併合面誤差が得られるならば、最良適合面と各走査線のなかの各線区分を併合する線区分併合コードと、もし第2の面しきい値以内の結合面誤差が得られるならば、面の対を併合する面併合コードとを含んでいることを特徴とする計算機‐読取り可能な媒体上で実行される計算機プログラムにより解決される。計算機プログラムは掘削機または他の建設機械のような可動の機械に取付けられているスキャナに接続されている計算機システム上で実行され得る。スキャナは関心のあるフィールドのなかの三次元の点を得るべく関心のある空間内の複数の走査線を発生するレーダーまたはレーザー装置であり得る。
【0008】
最良適合面に併合する線区分を得るべく、各走査線のなかでスキャナにより検出される隣接する点が線区分を形成するべく結合される。もし併合の結果として得られる線区分がしきい値以内の誤差を有するならば、各走査線のなかの線区分は併合される。誤差は最小二乗法または他の回帰法を使用して計算され得る。このプロセスは、すべての線区分が、しきい値の超過なしに、他の線区分に併合され終わるまで継続する。
【0009】
いったん面が形成され終わると、その後の走査線のなかの各線区分は、もししきい値が併合された面により超過されないならば、最良適合面に併合される。面に併合され得ない走査線のなかのすべての線区分は、以前の走査線からの併合されていない線区分と比較され、もし併合の結果として得られる面がしきい値以内の誤差を有するならば、新しい面を形成するべく最良可能な併合が行われる。
【0010】
法線が面の各々に対して計算される。類似の法線を有する面の可能な併合は、走査線のすべてが処理され終わった後に計算される。もし結合された面がしきい値以内の誤差を有するならば、類似の法線を有するこれらの面との各面に対する最良可能な併合が行われる。上記のすべての可能な併合が完了された後、その結果としての面が、たとえば仮説発生および検証を行うべく、伝統的な対象物認識ソフトウェアに与えられる。
【0011】
【実施例】
これらの課題は、後で明らかになる他の課題および利点と一緒に、以下の添付図面による詳細な説明および特許請求の範囲から明らかになる構造および作動の詳細に帰する。図面を通じて同じ部分には同じ参照符号が付されている。
【0012】
図1に示されているように、本発明による方法は、走査線のなかの距離データを取得する過程10で開始する。本発明による方法を実施するのに使用され得るシステムの簡単化されたブロック図が、図2に示されている。走査線はミシガン州、ファーミントンヒルの「PERCEPTRON」の部品番号0009‐0064の5000LASARのようなスキャナ12から取得され得る。本方法は、ウィスコンシン州、マジソンのHEURIKONまたはSILICON GRAPHICS INDIGOまたはSUN ULTRASPARCのBAJA4700のなかのVMEボード上のMIPS R4700、または特定の形式のロボットに対する他の適当なデータ処理装置のようなプロセッサ14を有する計算機システム上で実行され得る。
【0013】
たとえば、たいていの任意の種類のマイクロプロセッサシステムはフルサイズの掘削機に搭載することができるが、より小さい可動プラットホームにおいては、電池駆動のシステム、またはスキャナ12から離れた計算機システムの使用を別途必要とすることもある。このような点により、計算機システム内の構成要素は図2中に示されているようなバス16により、または無線、赤外線、有線などのような代替的な伝送システムにより接続することができる。プロセッサ14には、作業領域データ記憶のためのRAMおよびハードディスクまたは他のバブルメモリのような不揮発性メモリのような1つまたはそれ以上の記憶ユニット18も接続される。最後に、入力/出力インタフェース20が、本発明による処理の結果を、対象物認識を行うための他のプロセッサのような構成要素に与える。代替的に、同一のプロセッサ14が本発明による距離データを処理するのに、および伝統的な技術を使用して行われ得る対象物認識を行うのに使用され得る。
【0014】
距離データがスキャナ12から受信されるにつれて、過程22で線区分が距離データのなかの隣接する点から形成される。線区分は次いで過程24でより長い線区分および面の最初の組に併合される。より長い線区分を形成するべく走査線のなかの線区分を結合するための擬似コードの一例は下に示されている。
【0015】
上の擬似コードのなかに示されているように、走査線のなかのデータ点は、それらが受信されるにつれて、データ点を接続する線区分のリストを定めるのに使用される。線区分の各隣接対の直線性が計算され、もし誤差がしきい値よりも小さいならば、可能な併合が優先キューのなかに入れられる。最初の線区分のすべての可能な併合が計算され終わった後に、優先キューのなかの最良併合が実行され、併合された線区分が線のリストから削除され、新しい線が追加される。優先キューのなかの最良併合を実行するプロセスは、優先キューが空になるまで実行される。
【0016】
線のリストLのなかに残留する線区分は面に併合される。最初に、面は極めて近接している線区分から形成される。続いて、下記のように、線区分は最良適合面と併合される。好ましい実施例では、線区分および面の近接性は、対象物の検出のために関心のある空間をセルに分け、また残留する線区分の各々が通過するセルを識別することにより決定される。処理を簡単化するべく、擬似コードにあげられている実施例では、三次元の距離データの2つの次元のみが使用される。たとえば、水平面の座標がセルの所属関係を決定するのに使用され得る。この目的の擬似コードは下に示されている。
線のグリッドセル所属関係に対する擬似コード
【0017】
最も新たに処理された走査線のなかの各線区分に対して上に示されているように、残留する線区分の開始および終了点が、それらが同一のセルのなかに置かれているかどうかを見るべくチェックされる。もしそうであれば、線区分はセルに加えられ、最も新たに処理された走査線のなかの残留する線区分のすべてが処理され終わるまで、次の線区分に関して処理が継続される。もし線区分の開始および終了点が同一のセルのなかに位置しないならば、線区分の中心点が見い出され、
所属関係を計算するプロセスが線区分の各半分に対して実行される。線区分は、含まれている線区分の部分が単一のセルのなかに置かれるまで、ますます小さい断片に分けられる。セルの各々のなかの線区分に対して使用される識別子は線区分のすべての部分に対して同一である。さらに、各線区分に対するデータ構造は線区分が通過するセルを表す。
【0018】
セルのサイズは、アルゴリズムの速度を最適化するべく、関心のある空間のサイズ、認識されるべき対象物のサイズ、走査装置の分解能などのような多数の因子に基づいて選ばれる。たとえば、7メートル幅および14メートル深さの空間に対しては水平面内に10×10のセルの配列が使用され得よう。
【0019】
本発明の最後の目的は面を生成することである。最初に、同一のセルのなかの線が、いくつの線区分がしきい値以内の誤差を有する面を形成するべく併合され得るかを見るべく検査される。それらの線区分は異なる走査線からのものでなければならず、またたとえば15E以下の角度を成して近似的に平行であり、またかなり密である。好ましい実施例では、線区分の質量中心の間のベクトルが各線区分の法線の上に投影され、投影の少なくとも1つの長さが1.5メートル以内である時、線区分は併合するのに十分に密であるとみなされる。
【0020】
面が形成されるにつれて、線区分の位置を識別するセルの配列が、面を形成するべく併合された線区分がそれを通して置かれた同一のセルのなかに置かれつつある面を識別するべく更新される。面に対する誤差の計算は、たとえセルの所属関係がただ2つの時限に基づいて決定されるとしても、各線のすべての3つの時限を使用する。
【0021】
最初の面の形成後に処理される走査線に対しては、線区分の併合と残留する線区分が通過するセルの識別との完了時に、各線区分が過程26で、もし誤差がしきい値よりも小さいならば、最小の誤差を有する近くの面と併合される。このような併合を実行するための擬似コードは下に示されている。
面区分化のための擬似コード
for each scanline s
for each line segment l in s
C = cells through which l passes
P = planes passing through C
M = empty list of merges
compute merges of l and each plane in P
if there are any merges then
perform the best merge
try to merge each plane in P with the new plane
else
L = lines passing through C
if best merge of l and l' in L has low error then
merge l and l'
else
place l into table of objects
endif
endif
endfor
endfor
T = empty n x n table of plane lists
for each plane p in world
add p to cell of T based on x and y components of normal
endfor
【0022】
上に示されているように、走査線のなかの各線区分に対して、その線区分と、その線区分が通過する同一のセルを通過する面の各々とに対して、併合が計算される。もし誤差がしきい値よりも小さいならば、最良可能な併合が実行される。もし新しい面が線区分との(また場合によっては他の面との)併合により作られるならば、その新しい面が対象物の表(テ−ブル)のなかに置かれ、またその線区分および古い面が除去される。もしその線区分とその線区分と同一のセルを通過する面との間の最良併合がしきい値よりも大きい誤差を有するならば、過程32で、その線区分を同一のセルを通過する他の線区分と併合する試みがなされる。
面への線区分の最良可能な併合は、もし新しい面がしきい値以内の誤差を有するならば、実行される。その新しい面が対象物の表のなかに置かれ、また既存の線区分は対象物の表から除去される。さもなければ、どの面または既存の線区分とも併合され得なかった走査線のなかの線区分は、対象物の表のなかに置かれる。
【0023】
もし過程34で、さらに多くの走査線が処理されるべきことが示されるならば、処理が上記のように継続する。走査線のすべてが処理され終わった後、過程36で、もし結合された面がしきい値よりも小さい誤差を有するならば、類似の法線を有する面を併合する試みがなされる。類似の面を併合するための擬似コードは下に示されている。
類似の面を併合するための擬似コード
function mergeSimilarPlanes
/* ntab は2次元の配列である。配列中の各セルは特定の値に近い法線 を有する面のリストを含む(各セルに対して異なる)。この値はテ−ブル 中のセルの位置に関係する。*/
ntab = nx by ny array of lists
/* まず,面のすべてをntabに置く */
for each plane p in world
n = normal of p
/* iおよびj,pが置かれるべきntab中の位置を計算 */
i = abs(x component of n) * (nx - 1)
j = abs(y component of n) * (ny - 1)
add p to list of planes in ntab[j][i]
endfor
/* すべての面にわたってル−プし、現在の面と類似する方向性を有する 他の面を見つけるためにntabを使用する。低い併合誤差を有すると わかった面の対を併合する。 */
for each plane p in world
/* iおよびj,pが置かれるべきntab中の位置を計算 */
i = abs(x component of n) * (nx - 1)
j = abs(y component of n) * (ny - 1)
/* セル[i][j]に隣接するテ−ブル内のすべてのセルを見る。すなわち p'の法線に近い法線を有するすべての面を見る。 */
for jj = j-1 to j+1
for ii = i-1 to i+1
planeList = all planes in ntab[jj][ii]
for each plane p' in planeList
newp = p merged with p'
if newp has small error
/* テ−ブルを更新 */
remove p from list of planes in world
remove p' from list of planes in world
remove p from ntab
remove p' from ntab
add newp to list of planes in world
add newp to ntab
skip to next plane p in world
endif
endfor
endfor
endfor
endfor
end function
【0024】
上に示されているように、類似の面を併合するための擬似コードは線および面を併合するための擬似コードに似ている。二次元の配列は、併合のための候補でありそうな面を識別するプロセスを簡単化するべく、面で満たされている。二次元の配列は記憶ユニット18により用意される作業領域のなかで定められる。配列のなかのセルの数は、面のどのような類似が可能な併合のために検査されるべきかに関係する。これは順番に、誤差に対して使用されているしきい、面の数、距離データのなかのノイズの大きさ、速度に対する最適化などに関係する。本質的に二次元の配列は、面の各々に対する法線と、線区分および面が通過するセルを識別するのに使用される水平面のような参照面のなかの軸線とにより作られる角度を表す。たとえば、セルは法線のXおよびY成分の絶対値に0.1の変動を表し得る。
【0025】
配列が満たされた後、セルは一度に一つ通り抜けられ、またセルのなかの各面に対してそのセルおよび隣のセルのなかの他の面との可能な併合が計算される。上の擬似コード中に示されているように、9つのセルの全体がチェックされる。なぜならば、もし他の面と比較されているその面の法線が距離の境の1つに近いならば、それは同一のセルのなかの面のどれよりも隣のセルのなかの面の法線に近いことがあり得る。
【0026】
好ましい実施例では、最良可能な併合を行う試みはなされない。いったんしきい値よりも小さい誤差を有する結合された面が見い出されると、その2つの併合された面が面のリストから、また法線の配列から削除され、またその結合された面がそのリストに追加され、またその結合された面のその法線が法線の配列に追加される。次いで、面のリストのなかの次の面が処理される。新しい面がリストの端に追加されるので、リストの端が到達される時、(新しい面を含めて)面のすべては処理され終わっている。面の可能な併合がもはや存在しないことを確かめるべく、最後の過程で、下の擬似コードのなかに示されているように、近くの面を併合しようと試みる。この処理は、密に近接しており、また測定誤差に起因して十分に異なる法線を有し、使用される離散化のレベルに起因して隣のセルのなかにはないが、結果としての併合された面が受容可能なしきい値よりも小さい誤差を有する面、特に小さい面を検出する。
【0027】
線を面に併合するために使用されるセルの配列は、類似の法線を有する面が併合され終わった後に近くの面を併合するのに再び使用される。上に示されているように、近くの面を併合するプロセスは類似の法線を有する面を併合するプロセスに似ている。相違点は、隣のセルが、法線の成分の代わりに、線および面を併合するのに使用される同一の地理的セルを表すことである。プロセスは、もはや併合が生起しなくなるまで、継続する。
【0028】
一例は、距離データから得られたデータ点の組とトラックの床の抽象的表現58とを示す図3に与えられている。大きいほうの点は、上記の擬似コードから発生される計算機コードを実行することにより面に併合されるデータ点を表す。データ点60および62の群により形成される面の部分は、トラック運転台の頂後縁および左後縁に相当し、従ってまたトラックの識別に有用であり得る面に相当する。しかし、群64のなかのデータ点は大地の部分であり、好ましくは他の面の部分として結合されるべきではない。
【0029】
ダンプトラックの距離スキャンが図4に示されている。上記の擬似コードから発生される計算機コードは示されているような面を発生する。これらの面は、認識されるべき対象物が似て見えるべきモデルを有する伝統的なソフトウェアであり得る対象物認識ソフトウェア38に与えられる。従来通常のように、このような対象物認識ソフトウェアは、面または面の部分が何を表すかの仮説を発生し、また検証手順が仮説を検証するべく実行される。このプロセスは、対象物が認識されるまで、またはその面がそのソフトウェアが認識可能などの対象物とも合致しないことが決定されるまで、繰り返される。
【0030】
本発明の多くの特徴および利点が詳細な説明から明らかであり、またこうして本発明の一般的な原理およびスコ−プに属するシステムおよび方法のすべてのこのような特徴および利点は、特許請求の範囲によりカバーされている。さらに、さまざまな変更が本発明の開示を参考にして当業者により行われ得るので、以上に図示かつ説明した厳密な構造および動作に本発明の範囲を限定することは望まれない。他の適当な変更および均等なものは本発明の趣旨に属するものとして主張され得る。
【図面の簡単な説明】
【図1】本発明による方法のフロ−チャート。
【図2】本発明による方法を実施するのに使用され得るシステムのブロック図。
【図3】誤った面の検出に終わり得る距離データの一例。
【図4】上からとられたダンプトラックの距離スキャンの一例。
【符号の説明】
58 トラックの床の抽象的表現
60、62 データ点
64 データ点の群
Claims (26)
- 複数の走査線のなかの距離データから少なくとも1つの対象物を検出する方法において、
スキャナにより複数の走査線のなかの距離データを取得する過程と、
プロセッサにより距離データの点のすべての対の間の線区分を定めるべく各走査線を処理する過程と、
異なる走査線のなかの線区分を結合することにより面を形成する過程と、
もし第1の面しきい値以内の併合面誤差が得られるならば、各走査線のなかの各線区分を最良適合面に併合する過程と、
もし第2の面しきい値以内の結合面誤差が得られるならば、結合面を生ぜしめるべく面の対を併合する過程と、
面に併合され得ない走査線のなかのすべての線区分は、以前の走査線からの併合されていない線区分と比較され、もし併合の結果として得られる面がしきい値以内の誤差を有するならば、新しい面を形成するべく最良可能な併合を行う過程と、を備え
前記の面の併合が完了される時、プロセッサを経て、仮説発生と、前記結合面から形成される少なくとも1つの対象物の検証とを行うことを特徴とする対象物の検出方法。 - さらに、各線区分を最良適合面に併合する以前に、もし線しきい値以内の併合線区分誤差が各線区分に対して得られるならば、各走査線のなかの線区分の対を併合する過程を含んでいることを特徴とする請求項1記載の方法。
- 前記の線区分の対の併合が、線区分の対の最良適合のために、最良適合の併合線区分誤差が線しきい値を越えるまで、繰り返して行われることを特徴とする請求項2記載の方法。
- 前記の面の対の併合が、
面の各々に対する法線を計算し、
面の識別子を、面の各々に対する法線の成分に基づいて二次元の配列のなかに、
各面を配列のただ1つのセルに対応させて記憶し、
第2の面しきい値以内の結合面誤差を見い出すべく1つのセルおよびそれに隣接するセルのなかの各面とすべての他の面との結合に対する結合面誤差を計算する過程を含んでいることを特徴とする請求項2記載の方法。 - 前記の面の対の併合がさらに、第1の面しきい値以内のすべての走査線のなかの線区分および隣接するセルのなかの面の対のすべての可能な併合の後に、もし各々の結合面誤差が第3の面しきい値以内であれば、追加的な結合面を形成するべく、予め定められた距離内の面の対を併合する過程を含んでいることを特徴とする請求項4記載の方法。
- さらに、線区分の1つを最良適合面に併合することにより生ぜしめられる併合面誤差が第1のしきい値よりも大きい時、もし最低可能な併合面誤差が第4の面しきい値以内であれば、この線区分の1つを最低可能な併合面誤差を生ぜしめるべく以前の走査線のなかの他の線区分と併合することを特徴とする請求項5記載の方法。
- さらに、各線区分が通過するすべてのセルを識別するべく関心のある空間をセルに分割する過程を含んでおり、
前記面との前記線区分の併合が、各線区分を線区分が通過するセルを通過する面のみと比較することにより最良適合面を決定することを特徴とする請求項6記載の方法。 - 前記面との前記線区分の併合が、各面が通過するセルを、面を形成するべく併合される線が通過するセルとして識別することを特徴とする請求項7記載の方法。
- 最初に面を形成するべく行われる線区分の前記併合が、他の走査線に対する距離データを取得しながら、1つの走査線のなかの距離データに対して実行されることを特徴とする請求項8記載の方法。
- 面との線区分の前記併合が、他の走査線に対する距離データを取得しながら、1つの走査線のなかの距離データに対して実行されることを特徴とする請求項8記載の方法。
- ロボットのロボット視覚装置において、
複数の走査線のなかの距離データを取得するスキャナ‐サブシステムと、
距離データおよび距離データを解析するための計算機プログラムを記憶し、距離データを解析するための作業領域を用意するべく、前記スキャナ‐サブシステムに接続されている少なくとも1つの記憶ユニットと、
各走査線のなかの距離データの点の隣接する対の間の線区分を定めるべく前記記憶ユニットのなかに記憶されている計算機プログラムを実行することにより距離データを解析するため、それぞれ第1の面しきい値以内の第1の面誤差を有する面を形成するべく線区分を結合するため、それぞれ第2の面しきい値以内の第2の面誤差を有する結合された面を形成するべく面の対を併合するため、および対象物情報を生ずるため、前記記憶ユニットおよび前記スキャナ‐サブシステムに接続されているプロセッサと、
距離データの解析の結果としての対象物情報をロボットに与えるべく前記プロセッサ、前記記憶ユニットおよびロボットに接続されている入力/出力インタフェースとを含んでいることを特徴とするロボット視覚装置。 - 前記プロセッサが、面を形成するべく線区分を結合しようと試みる以前に、もし併合線誤差が線しきい値以内であれば、それぞれ併合線誤差を有する併合された線区分を形成するべく各走査線のなかの線区分の対を併合することを特徴とする請求項11記載のロボット視覚装置。
- 前記プロセッサが、線区分の対の併合により新しい面を形成する以前に、もし併合された面が第3の面しきい値以内の第3の面誤差を有するならば、併合された面を形成するべく、併合されていない線区分の各々および各走査線のなかの併合された線区分を以前の走査線の処理中に形成された最良適合面と併合することを特徴とする請求項12記載のロボット視覚装置。
- 併合されていない線区分の1つおよび現在の走査線のなかの併合された線区分を最良適合面に併合することにより発生される第3の面誤差が、第3の面しきい値よりも大きい時、前記プロセッサが、もし最小の併合面誤差が第1の面しきい値以内であれば、線区分のすべてのなかで最小の併合面誤差を生ぜしめるべく、併合されていない線区分の1つおよび現在の走査線のなかの併合された線区分を以前の走査線のなかの線区分の1つと併合することを特徴とする請求項13記載のロボット視覚装置。
- 前記プロセッサが、面の各々に対する法線を計算し、面の識別子を面の各々に対する法線の成分に基づいて前記記憶ユニットの作業領域のなかの二次元の配列のなかに、各面を配列のただ1つのセルに対応させて記憶し、1つのセルおよびそれに隣接するセルのなかのすべての他の面との各面の各結合に対する第2の面誤差を計算し、結合された面の1つとして第2の面しきい値以内の最小の第2の面誤差を有する面の結合を記憶することを特徴とする請求項14記載のロボット視覚装置。
- 第3の面しきい値以内の第3の面誤差を生ぜしめる最良適合面への、併合されていない線区分および併合された線区分のすべての可能な併合が行われ、第1の面しきい値以内の第1の面誤差を有する新しい面を形成するべく線区分のすべての可能な併合が行われ、かつ第2の面しきい値以内の第2の面誤差を生ぜしめる隣接するセルのなかの面の結合がすべて行われた後に、もし各々の追加的な結合された面が第4の面しきい値以内の第4の面誤差を有するならば、前記プロセッサが追加的な結合された面を形成するべく予め定められた距離内の面の対を併合することを特徴とする請求項15記載のロボット視覚装置。
- 車両に対する対象物識別システムにおいて、関心のある領域の複数の走査線のなかの距離データを取得するべく車両に取付けられているスキャナと、前記スキャナに接続されており、各走査線のなかの距離データの隣接する点のすべての対の間の線区分を定め、それぞれ第1の面しきい値以内の第1の面誤差を有する面を形成するべく線区分を結合し、それぞれ第2の面しきい値以内の第2の面誤差を有する結合された面を形成するべく面の対を併合し、また結合された面から関心のある領域のなかの対象物を識別するデータ処理システムとを含んでいることを特徴とする車両に対する対象物識別システム。
- 前記データ処理システムが、もし最小の併合線誤差が線しきい値以内であれば、それぞれ対のなかの線区分の少なくとも1つに対して最小の併合線誤差を有する併合された線区分を形成するべく、各走査線のなかの線区分の対を併合し、次いで、もし併合された面が第3の面しきい値以内の第3の面誤差を有するならば、併合された面を形成するべく、併合されていない線区分の各々および各走査線のなかの併合された線区分を以前の走査線の処理中に形成された最良適合面に併合することを特徴とする請求項17記載の車両に対する対象物識別システム。
- 前記データ処理システムが、面の各々に対する法線を計算し、面の識別子を面の各々に対する法線の成分に基づいて二次元の配列のなかに記憶し、1つのセルおよびそれに隣接するセルのなかのすべての他の面との各面の各結合に対する第2の面誤差を計算し、また結合された面の1つとして第2の面しきい値以内の最小の第2の面誤差を有する面の結合を記憶することを特徴とする請求項18記載の車両に対する対象物識別システム。
- 線区分と線しきい値以内の併合線誤差を生ぜしめる併合された線区分とのすべての可能な併合が行われ、第1の面しきい値以内の第1の面誤差を生ぜしめる最良適合面への併合されていない線区分および併合された線区分のすべての可能な併合が行われ、第2の面しきい値以内の第2の面誤差を生ぜしめる隣接するセルのなかの面の結合がすべて行われた後に、もし各々の追加的な結合された面が第4の面しきい値以内の第4の面誤差を有するならば、前記プロセッサが追加的な結合された面を形成するべく予め定められた距離内の面の対を併合することを特徴とする請求項19記載の車両に対する対象物識別システム。
- 関心のある空間内の像を認識するべく計算機システムを作動させる方法において、
スキャナから複数の走査線のなかの距離データを受信する過程と、
前記距離データを分析するための少なくとも1つの記憶ユニット内に前記距離データ及びコンピュータプログラムを蓄積する過程と、
各走査線のなかの距離データの点の隣接する対の間の線区分を定めるため、それぞれ第1の面しきい値以内の第1の面誤差を有する面を形成するべく線区分を結合するため、それぞれ第2の面しきい値以内の第2の面誤差を有する結合された面を形成するべく面の対を併合するため、面に併合され得ない走査線のなかのすべての線区分は、以前の走査線からの併合されていない線区分と比較され、もし併合の結果として得られる面がしきい値以内の誤差を有するならば、新しい面を形成するべく最良可能な併合を行うため、及び、結合された面から関心のある空間内の対象物を認識するため、プロセッサにより距離データを処理する過程と、
前記プロセッサ内の関心のある空間内の認識された対象物を表すデータを出力インタフ ェースを経て出力する過程とを含んでいることを特徴とする方法。 - さらに、スキャナから受信された距離データを記憶する過程と、関心のある空間に対応し、また関心のある空間の対応する部分を通過する各線区分に対する線区分データと面データとを、面データにより表される面を形成するべく併合された線区分に対する線区分データを以前に記憶する二次元のセルのなかに記憶する二次元のセルに分けられた記憶領域を定める過程と、
前記処理過程がさらに、もし第3の面しきい値以内の併合面誤差が得られるならば、各線区分を線区分が通過するセルの少なくとも1つを通過する最良適合面に併合する過程を含んでいることを特徴とする請求項21記載の方法。 - 結合された面を形成するべく面の対を併合する前記処理過程が、
面の識別子を面の各々に対する法線の成分に基づいて二次元の配列のなかに記憶し、
1つのセルのなかの各面および1つのセルおよびそれに隣接するセルのなかのすべての他の面に対する第2の面誤差を計算し、
結合された面の1つとして、第2の面しきい値以内の最小の第2の面誤差を有する面の結合を記憶し、
もし各々の追加的な結合された面が第4の面しきい値以内の結合面誤差を有するならば、追加的な結合された面を形成するべく、予め定められた距離内の面の対を併合する過程を含んでいることを特徴とする請求項22記載の方法。 - スキャナにより与えられる距離データから関心のある空間内の対象物を認識するための計算機システムにおいて、
スキャナから複数の走査線のなかの距離データを受信するための手段と、
各走査線のなかの距離データの点の隣接する対の間の線区分を定めるため、それぞれ第1の面しきい値以内の第1の面誤差を有する面を形成するべく線区分を結合するため、それぞれ第2の面しきい値以内の第2の面誤差を有する結合された面を形成するべく面の対を併合するため、結合された面から関心のある空間内の像を認識するため、距離データを処理する手段と、
関心のある空間内の認識された対象物を表すデータを出力する手段とを含んでいることを特徴とする計算機システム。 - さらに、スキャナから受信された距離データを記憶するため、および、関心のある空間に対応し、関心のある空間の対応する部分を通過する各線区分に対する線区分データと面データとを、面データにより表される面を形成するべく併合された線区分に対する線区分データを以前に記憶する二次元のセルのなかに記憶する二次元のセルに分けられた記憶領域を定めるための手段を含んでおり、
処理のための前記手段が、もし第3の面しきい値以内の併合面誤差が得られるならば、各線区分を線区分が通過するセルの少なくとも1つを通過する最良適合面に併合するための手段を含んでいることを特徴とする請求項24記載の計算機システム。 - 処理のための前記手段が、結合された面を形成するべく面の対を併合するための手段を含んでおり、この手段が、
面の識別子を面の各々に対する法線の成分に基づいて二次元の配列のなかに記憶するための手段と、
1つのセルのなかの各面および1つのセルおよびそれに隣接するセルのなかのすべての他の面に対する第2の面誤差を計算するための手段と、
結合された面の1つとして、第2の面しきい値以内の最小の第2の面誤差を有する面の結合を記憶するための手段と、
もし各々の追加的な結合された面が第4の面しきい値以内の結合面誤差を有するならば、追加的な結合された面を形成するべく、予め定められた距離内の面の対を併合するための手段とを含んでいることを特徴とする請求項25記載の計算機システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/801974 | 1997-02-19 | ||
US08/801,974 US5978504A (en) | 1997-02-19 | 1997-02-19 | Fast planar segmentation of range data for mobile robots |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10240944A JPH10240944A (ja) | 1998-09-11 |
JP4046835B2 true JP4046835B2 (ja) | 2008-02-13 |
Family
ID=25182500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05124198A Expired - Fee Related JP4046835B2 (ja) | 1997-02-19 | 1998-02-18 | 可動ロボットに対する距離データの高速面区分化方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5978504A (ja) |
JP (1) | JP4046835B2 (ja) |
DE (1) | DE19805794A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10148060A1 (de) * | 2001-09-28 | 2003-04-10 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und Verfolgung von Objekten |
JP4636016B2 (ja) * | 2004-03-17 | 2011-02-23 | ソニー株式会社 | 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置 |
US6990390B2 (en) * | 2004-05-19 | 2006-01-24 | Caterpillar Inc. | Method and apparatus to detect change in work tool |
EP1840507B1 (en) * | 2006-03-28 | 2013-07-17 | Riccardo Clarici | Method and integrated system for the digital survey of three-dimensional environments. |
JP4645601B2 (ja) * | 2007-02-13 | 2011-03-09 | トヨタ自動車株式会社 | 環境地図の生成方法及び移動ロボット |
DE102008020579B4 (de) * | 2008-04-24 | 2014-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt |
DE102009009569B4 (de) * | 2009-02-19 | 2019-12-19 | Daimler Ag | Verfahren zum Ermitteln einer Teilfläche eines Bauteils |
US8340400B2 (en) * | 2009-05-06 | 2012-12-25 | Honeywell International Inc. | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features |
US20110232719A1 (en) * | 2010-02-17 | 2011-09-29 | Freda Robert M | Solar power system |
JP5493105B2 (ja) * | 2010-03-19 | 2014-05-14 | オプテックス株式会社 | 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置 |
US8199977B2 (en) | 2010-05-07 | 2012-06-12 | Honeywell International Inc. | System and method for extraction of features from a 3-D point cloud |
US8660365B2 (en) | 2010-07-29 | 2014-02-25 | Honeywell International Inc. | Systems and methods for processing extracted plane features |
CL2012000933A1 (es) | 2011-04-14 | 2014-07-25 | Harnischfeger Tech Inc | Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal. |
US8620533B2 (en) | 2011-08-30 | 2013-12-31 | Harnischfeger Technologies, Inc. | Systems, methods, and devices for controlling a movement of a dipper |
US8521418B2 (en) | 2011-09-26 | 2013-08-27 | Honeywell International Inc. | Generic surface feature extraction from a set of range data |
KR101909544B1 (ko) * | 2012-01-19 | 2018-10-18 | 삼성전자주식회사 | 평면 검출 장치 및 방법 |
US9206587B2 (en) | 2012-03-16 | 2015-12-08 | Harnischfeger Technologies, Inc. | Automated control of dipper swing for a shovel |
US9153067B2 (en) | 2013-01-21 | 2015-10-06 | Honeywell International Inc. | Systems and methods for 3D data based navigation using descriptor vectors |
US9123165B2 (en) | 2013-01-21 | 2015-09-01 | Honeywell International Inc. | Systems and methods for 3D data based navigation using a watershed method |
US20140363073A1 (en) * | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
US9406138B1 (en) | 2013-09-17 | 2016-08-02 | Bentley Systems, Incorporated | Semi-automatic polyline extraction from point cloud |
US9412040B2 (en) * | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
US9233469B2 (en) | 2014-02-13 | 2016-01-12 | GM Global Technology Operations LLC | Robotic system with 3D box location functionality |
CA2978389A1 (en) | 2016-09-08 | 2018-03-08 | Harnischfeger Technologies, Inc. | System and method for semi-autonomous control of an industrial machine |
US10515319B2 (en) * | 2016-12-16 | 2019-12-24 | Fetch Robotics, Inc. | System and method for computing a probability that an object comprises a target |
DE102017201169A1 (de) | 2017-01-25 | 2018-07-26 | Siemens Aktiengesellschaft | Rechnergestütztes Bildverarbeitungsverfahren |
CN110930411B (zh) * | 2019-11-20 | 2023-04-28 | 浙江光珀智能科技有限公司 | 一种基于深度相机的人体分割方法及系统 |
CN112171668A (zh) * | 2020-09-21 | 2021-01-05 | 河南颂达信息技术有限公司 | 一种基于人工智能的轨道式机器人防卡死检测方法及装置 |
DE102021210903A1 (de) | 2021-09-29 | 2023-03-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Aufnehmen eines Objekts mittels einer Robotervorrichtung |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR617296A (fr) * | 1925-10-24 | 1927-02-16 | Instrument de musique producteur de sons continus | |
US5093869A (en) * | 1990-12-26 | 1992-03-03 | Hughes Aircraft Company | Pattern recognition apparatus utilizing area linking and region growth techniques |
US5302997A (en) * | 1992-12-28 | 1994-04-12 | Eastman Kodak Company | Composite photometric and range finding element array |
JP3466661B2 (ja) * | 1993-06-29 | 2003-11-17 | キヤノン株式会社 | 画像処理装置及びその方法 |
JP2501010B2 (ja) * | 1993-10-25 | 1996-05-29 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 移動ロボットの誘導装置 |
US5471541A (en) * | 1993-11-16 | 1995-11-28 | National Research Council Of Canada | System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model |
-
1997
- 1997-02-19 US US08/801,974 patent/US5978504A/en not_active Expired - Lifetime
-
1998
- 1998-02-12 DE DE19805794A patent/DE19805794A1/de not_active Ceased
- 1998-02-18 JP JP05124198A patent/JP4046835B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10240944A (ja) | 1998-09-11 |
DE19805794A1 (de) | 1998-08-20 |
US5978504A (en) | 1999-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4046835B2 (ja) | 可動ロボットに対する距離データの高速面区分化方法 | |
EP2430588B1 (en) | Object recognition method, object recognition apparatus, and autonomous mobile robot | |
US8180100B2 (en) | Plane detector and detecting method | |
US8792726B2 (en) | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus | |
JP4480083B2 (ja) | 物体認識装置 | |
US8331653B2 (en) | Object detector | |
CN109635816B (zh) | 车道线生成方法、装置、设备以及存储介质 | |
JP6328327B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2018124787A (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
CN112432647B (zh) | 车厢的定位方法、装置、系统及计算机可读存储介质 | |
JPH07129898A (ja) | 障害物検出装置 | |
CN111142514B (zh) | 一种机器人及其避障方法和装置 | |
CN114663526A (zh) | 障碍物检测方法、装置、机器人及计算机可读存储介质 | |
EP3029602A1 (en) | Method and apparatus for detecting a free driving space | |
KR101074277B1 (ko) | 구조물 윤곽선 추출장치 및 방법 | |
JP5715784B2 (ja) | 画像の輪郭点検出方法 | |
JP3465531B2 (ja) | 物体認識方法およびその装置 | |
JP4462533B2 (ja) | 路面走行レーン検出装置 | |
JP2022074331A (ja) | 状態判定装置、状態判定システム及び状態判定方法 | |
JP3808727B2 (ja) | 物体検出装置及びその方法 | |
CN112068547A (zh) | 一种基于amcl的机器人定位方法、装置和机器人 | |
JPH11259658A (ja) | 物体認識方法およびその方法を用いた物体認識装置,車輌認識方法,車輌認識装置 | |
JP2004030453A (ja) | ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4876676B2 (ja) | 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム | |
JP7318469B2 (ja) | 配筋評価システム、配筋評価方法及び配筋評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070620 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070720 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070725 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070821 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |