JPH11325880A - 三次元対象物の増分的決定方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 物体の比較的小さな部分のデータに基づく走
査センサからのレンジ・データを使用して、物体の位
置、向きおよび寸法を決定する方法および装置を提供す
る。 【解決手段】 ダンプ・トラックなどの、土工環境にお
いて通常積載物を受ける物体の幾何学的特性と共に、走
査センサの特性を使用する。走査センサ・システムによ
って提供される単一走査線からのデータは、走査線に不
連続点があるかどうかを決定するために処理される。ダ
ンプ・トラックの荷台などの物体の最も上と下の端を、
単一の走査線における不連続点として見いだすことがで
きる。このような不連続点を利用して、物体の位置と向
きの可能な解釈が形成される。より多くの走査線を受け
取ると、接近した不連続点が同じ解釈の部分を形成す
る。また、線が不連続点と合わせられ、物体のモデルに
おける縁または直線状特徴と比較される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般に、物体の位
置と向きの決定に関し、より詳細には、土工環境におい
て物質の積載を受け取るための平面物体の位置と向きの
増分的決定方法に関する。

【０００２】この特許明細書での使用に際し、「土工機
械」およびそのさまざまな類似の語句は、（１）作業現
場における機動性、および（２）バケット、ショベル、
ブレード、リッパ、圧縮ホイールなどの機械の工具また
は可動部分によって作業現場の形態または地形を変化さ
せる機能の両方を示す、掘削機、ホイール・ローダ、ト
ラック型トラクタ、突き固め機、モータ・グレーダ、農
業用機械、舗装機械、アスファルト舗装機械などを指
す。

【０００３】

【従来の技術】掘削機、ホイール・ローダ、クレーンな
どの土工機械を操作して、物質をある場所から別の場所
に移すとき、オペレータは、積載物を受け、それに応じ
てその運搬を制御する位置と向きを視覚的に決定する。
たとえば、土工環境では、ダンプ・トラックの荷台に物
質を運搬するために掘削機が使用される。掘削機のオペ
レータは、積み込むトラックの荷台の位置と向きを視覚
的に決定し、バケットの中の物質を所望の位置に運ぶ。

【０００４】いくつの用途では、自律的な積込み動作と
荷降ろし作業が行われる。特に積込み地点の位置が変化
する状況にある自律的積込みシステムに、オペレータの
支援なしに積載物を受け取る物体の位置と向きを決定す
ることができるシステムが必要とされることが多い。こ
の例には、ダンプ・トラック、フラットベッド・トラッ
ク、列車の車両、ホッパー、はしけ、貨物船用の積込み
システムがある。土工環境において、ダンプ・トラック
のような、積載物を受け取る物体の位置と向きは、トラ
ックの荷台が満杯になって空のトラックが到着してそれ
に替わると、トラックによって変化する。土工機械が自
律的に動作している場合は、積み込むそれぞれのトラッ
クの位置と向きの情報が土工機械の制御システムに提供
されなければならない。

【０００５】従来技術において、物体を認識し識別する
ためのシステムが開発されている。バーツニク（Burtny
k ）他の１９９５年１１月２８日に発行された米国特許
第５，４７１，５４１号に開示されているようなシステ
ムは、通常、イメージ・データを正確な寸法を有する対
象物のモデルと突き合わせる。バーツニクらの特許は、
モデルから得られたレンジ・プロファイルと合成プロフ
ァイルを利用する。また、この方法は、対象物の近似的
姿勢が分かっていると仮定する。いくつかの対象物認識
手法においては、モデルの姿勢（位置と向き）は、モデ
ルの特徴がデータと突き合わされるときに連続的に更新
される。フージェラ（Faugeras）とエベール（Hebert）
による「The Representation, Recognition, and Locat
ing of 3-D Objects」、The International Journal of
Robotics Research、Vol.5 、No.3、ページ27〜52、19
86年秋を参照されたい。厳密なモデルの姿勢を計算する
もう１つの手法は、IEEE Transactions On Pattern Ana
lysis and Machine Intelligence、Vol.14(2) 、pp. 23
9 〜256 、1992に発表された「A method for registrat
ion of 3-D shapes 」と題する論文において、ポール
Ｊ．ベスル（Paul J. Besl）とニール Ｄ．マッケイ
（Neil D. McKay ）によって提示された反復的最近点
（Ｉ．Ｃ．Ｐ：Iterative Closest Point ）法として知
られる。この方法では、モデル内の点と元のデータ・セ
ットにおける点との距離を反復的に最小化することによ
ってモデルと適合するようにデータが変換され、対象物
の初期の近似的姿勢が正確に求められる。この方法は、
対象物に関連した点がシーンにおける他の点から分離さ
れていると仮定する。

【０００６】ホン（Hong）他の１９９３年５月４日に発
行された米国特許第５，２０８，７６３号は、ユークリ
ッド変換を利用して対象物をモデルと突き合わせる処理
を含む、機械的対象物の位置と向きを決定する方法を開
示している。バリー（Verly）他の１９９２年６月１６
日に発行された米国特許第５，１２３，０５７号は、再
帰的手法を利用して、検出したデータを所定のモデルと
突き合わせ、モデルの部分のサブセットとデータのサブ
セットとの間の「一致度」を決定する方法を開示してい
る。対象物を識別するために、モデルとの最も高い「一
致度」を利用する。

【０００７】ボール（Bolles）とハロード（Horaud）
は、３ＤＰＯ（３次元部品向決めシステム：three dime
nsional part orientation system ）として知られる物
体認識システムを開発したが、そのシステムにおいて
は、ごちゃごちゃした部品の三次元イメージの中から最
も見込みのある特徴を探し、その特徴を利用して、仮定
を確認しその仮定を物体の姿勢を完全に制約することが
できる他の特徴に導くことができる他の特徴を提示する
戦略を使用している。このシステムにおいて、彼らは、
単一の走査線中に不連続点を見つけ、そのような不連続
点をエッジ連鎖（Edge chainging) として知られる方法
を利用して関連付けて物体の探索を導くために使用され
る直線状特徴を構成した。この研究は、Ｒ．Ｃ．ボール
とＰ．ハロードにより「3DPO：Three Dimensional Part
Orientation System 」と題される技術論文に発表され
た（The International Journal of Robotics Researc
h、Vol.5 、No.3、1986年秋、pp.3〜26）。

【０００８】状況によっては、寸法が変化することが分
かっているある一定のタイプの物体を認識して探すこと
が望ましいことがある。したがって、そのような物体の
位置、サイズおよび向きを決定する方法が必要である。
さらに、いくつかの機械がある環境において協動および
／または自律的に動作しなければならない状況では、物
質を積み込む、あるいは運搬するために使用される物体
の位置、サイズおよび向きを認識し決定することが重要
である。自動化された土工機械の生産力を最大にするに
は、時間遅延なしに機械を制御するのに必要なデータを
すべて処理するために計算効率が重要である。したがっ
て、物体とその周囲の区域の全体的な走査を必要としな
いシステムが望ましい。また、一旦認識した後で物体の
動きを追跡する機能を有することが望ましい。また、制
限された分解能と精度のデータを供給することができる
センサ・システムにより、厳しい環境に配備することが
できる方法および装置が必要である。

【０００９】

【発明が解決しようとする課題】従って本発明は、上述
の１つまたは複数の問題を克服することを目的とするも
のである。

【００１０】

【課題を解決するための手段】本発明は、走査センサか
らの増分的レンジ・データを使用して物体の位置と向き
を認識し決定するための方法および装置である。この認
識方法は、ダンプ・トラックなどの土工環境において通
常積載物を受け取る物体の幾何学的特性と共に、センサ
を走査することによって提供されるデータの特性を利用
する。走査センサ・システムによって提供される単一の
走査線からのデータを処理して、走査線に不連続点があ
るかどうかを決定する。単一の走査線が比較的短時間に
獲得されるため、測定されていないセンサ運動が提供さ
れた場合でも、走査線における特徴の幾何学的関係が保
持される。この方法はまた、隣り合った走査線における
不連続点が互いに近接しており、物体のモデルにおける
支配的特徴に対応するはずであるという事実を利用す
る。ダンプ・トラックの荷台や地形の大きな変化など、
物体の上と下のエッジを、単一の走査線における不連続
点として探すことができる。このような不連続点は、対
象物の位置と向きの可能な解釈を形成するために使用さ
れる。より多くの走査線を受け取ると、近接している不
連続点には類似したラベルが提供される。また、走査線
は、不連続点に適合され、対象物の可能な解釈である１
つまたは複数のモデルにおけるエッジと比較される。モ
デルから得られた幾何学的制約を使用して、実現不可能
な解釈を除去し、実現可能な解釈を確認する。実現可能
な解釈を形成できると、問題の対象物が認識されたと仮
定される。使用した走査線の数と見つけた最多のモデル
特徴に基づいて最良の解釈を処理して、物体の最良の位
置と向きを決定する。走査線を受けるとき、物体の位置
と向きが、引き続き更新され、他の機械を制御するため
の他のサブシステムに提供される。また、積込み機械に
対する積載物を受け取る物体の概略的な向きに関する仮
定を使用することもできる。この認識方法は、対象物全
体とそのまわりの区域の走査を必要とし、かつ走査の完
了を待ってから始めてデータを処理して対象物の位置と
向きを決定する方法に比べて、時間遅延を短縮する。

【００１１】本方法は、当技術分野では周知な方法を使
用して、不連続点を探し、直線状の特徴を作成し、物体
モデルから得られた幾何学的制約を使用する。一部のシ
ーン・データだけで対象物の部分的解釈を形成すること
と、このプロセスを導くために状態テーブルを使用する
ことは、本方法の特徴である。

【００１２】

【発明の実施の形態】次に、図面を参照すると、図１
は、本発明と関連したデータ処理方法に含まれるステッ
プのフローチャート２０を示し、（ａ）まばらなレンジ
・データまたは積込み機械の動きによって不連続点が隠
されないという事実を利用して、単一走査線における不
連続点を見つけるステップ２２と、（ｂ）近接的制約と
幾何学的制約を利用して、アクティブ解釈リストのそれ
ぞれの解釈により現行走査線における不連続点のマージ
を試みるステップ２４、（ｃ）最良の解釈を利用して対
象物の位置と向きを計算するステップ２６とを含む。こ
れらのステップを、以下にさらに詳しく説明する。

【００１３】フローチャート２０の第１のステップ２２
において、走査センサの垂直な１回転 （つまり走査
線）のデータ中の不連続点が決定される。不連続点は、
走査線におけるレンジ・ポイントの急激な方向の変化で
ある。図２において、単一の走査線２７が、ダンプ・ト
ラック２８を横切って示されている。３つの異なる方法
を単独または組み合わせで使用して、以下のようにして
走査線における不連続点を見つけることができる。

【００１４】（１）単一の走査線におけるレンジ・デー
タに対して線分を適合させてみる。適合させる線分から
の誤差がしきい値よりも大きくなったとき、その点に不
連続点としてラベルを付け、新しい線分を始める。

【００１５】（２）走査線における連続点の間の距離を
調べる。この距離がしきい値を超えたとき、それらの点
に不連続としてラベルを付ける。

【００１６】（３）走査線における点の高さ値（ｚ座
標）の急増を探す。

【００１７】図３は、本発明を実施するために使用でき
る処理システム２９の簡略化したブロック図を示す。イ
メージ・データまたはレンジ・データは、たとえば、レ
ーダー、レーザ、赤外線、ソナー・センサに基づくシス
テムを含む走査センサ・システム３０から得られる。本
発明に関連する方法は、マイクロプロセッサなどのデー
タ処理装置３２上で実行されるコンピュータ・ソフトウ
ェアで実現することができる。処理システム２９におけ
る構成要素は、無線、人工衛星、赤外線、ケーブルなど
のデータ・バスや代替送受信システムなどのデータ転送
手段３４に接続することができ、これらは、１つまたは
複数のセンサ・システム３０、データ記憶装置３６、デ
ータ入出力装置３８およびデータ処理装置３２の間のデ
ータ転送を可能にする。

【００１８】シーンのレンジ・データから物体の位置と
向きを決定するために、本発明は、シーンで見い出した
特徴をデータベースに記憶した対象物のモデルと比較す
る。データ記憶装置３６は、センサ・システム３０から
のレンジ・データと、処理システム２９が必要とするそ
の他の情報を記憶する。また、記憶装置３６は、シーン
における対象物とモデルとの間に相関関係があるかどう
かを決定するために、シーンのレンジ・データと比較す
ることができる物体のモデルに関する情報のデータベー
スを含む。このモデルのデータベースは、モデルの平均
の幅と長さと高さを含む幾何学的特徴だけでなく、それ
ぞれのモデルが表わす物体のタイプに関する情報を含
む。また、モデル・データベースは、物体の垂直方向の
走査線における不連続点に対応する直線状特徴に関する
情報を含む。直線状特徴は、三次元空間における線の原
理軸の方向を示すベクトルと２つの終点によって表わさ
れる。

【００１９】掘削機やホイール・ローダなどの機械を移
動させる際に、１つまたは複数の走査センサ・システム
が配置されることがある。レンジ・スキャナのサンプリ
ング周波数（たとえば、５〜１５キロヘルツ）が、機械
の動きの周波数（たとえば、１〜１０ヘルツ）よりもか
なり大きい場合は、機械の移動や振動に関係なく、走査
線における不連続点の正確な決定を達成することができ
る。周波数の差によって、機械が掘削し、放出し、また
はある場所から別の場所に移動されるときでも、各走査
線の幾何学的特性が保存される。

【００２０】図１に示したアルゴリズム２０における次
のステップは、幾何学的制約と近接的制約２４を利用し
てダンプ・トラックの荷台の可能性のある位置に関する
解釈によって走査線における不連続点をマージすること
である。近接的制約は、隣り合った走査線における、対
象物の同じ幾何学的特徴に対応する不連続点が、類似し
た位置（すなわち、互いに接近した）にあるはずである
と仮定することによって実現される。解釈は、シーンの
特徴に対応する一致を有する一組の対象物モデルの特徴
である。本発明は、部分的なシーン・データを利用し、
以下の変数を使って物体の位置と向きの解釈を行なう。

【００２１】（１）状態−現在物体のどの特徴を走査し
ているかの仮説を示す識別子。

【００２２】（２）特徴点−物体の特定の特徴と関連し
た不連続点。

【００２３】（３）特徴線−向きの単位ベクトルとその
単位ベクトルの２つの終点からなる、特徴点を通る最適
線。

【００２４】（４）特徴固有情報−たとえばダンプ・ト
ラックなどの対象物と、成し遂げるべきタスクに依存
し、これは、直線状特徴がトラックの荷台の縁であるた
めに高さのオフセット距離からなり、したがって、線は
土工機械のバケットがダンプ・トラックの縁の上を通る
ことを保証するように重心を通る線から最大オフセット
だけ上方にずらされる。

【００２５】（５）重心−レンジ・データ点からそれぞ
れの直線状特徴に関して重心が計算される。

【００２６】（６）削除−特定の解釈を可能な新しい全
ての解釈を形成するために使用した後で、削除すべきか
どうかを示すブール値。

【００２７】土工現場での作業に関する仮定を利用し
て、解釈の展開を簡略化することができる。最初に、対
象物の機首方位が所与の範囲内にあると仮定することが
できる。たとえば、図４と図５に示したように、掘削機
３９またはホイール・ローダ（図示せず）のオペレータ
は、通常、ダンプ・トラック４０が図４に示したような
横付け積込み位置として知られる状態と、図５に示した
ような後方積込み位置として知られる状態のどちらで駐
車すべきか指示する。もう１つの仮定は、ダンプ・トラ
ック４０を後ろから前方に走査するということである。
状況によって、その他の仮定を使用することができる。

【００２８】これらの仮定を利用して、次に、図７に示
したような状態テーブルを作成して、物体が土工機械３
９上の１つまたは複数の走査センサ・システム４１によ
って走査されたときに解釈を生成するプロセスを導くこ
とができる。この状態テーブルはメモリに予めプログラ
ムされてもよいし、オフ・ライン処理手段でテーブルを
生成してそれをメモリに記憶させてもよい。突き合わせ
すべき特徴を制限すると、計算要件が減少する。図６に
示したようなダンプ・トラックの荷台モデル４２の場
合、トラックの荷台の位置と向きは、トラックの荷台４
２の側面の上の縁４３、４４、４６、４８を使用して決
定することができる。図７に示した状態テーブルにおい
て、列の見出しは、それぞれの走査線において検討され
る可能な状態である。行の見出しは、入力することがで
きる可能な状態である。セルに可能と示されている場合
は、列の見出しの状態からその行に示された状態に移行
することができる。ＩＮＩＴＩＡＬの状態は、トラック
側面の最上部の高さレンジに２つ以上の不連続点を有す
る走査線が生じなかったことを意味する。図８は、ダン
プ・トラック５０が横付け位置にあるときの、土工機械
上にある走査センサ・システム５２とダンプ・トラック
５０の可能な位置を示す。図７においてＩＮＩＴＩＡＬ
状態にあるとき、状態は、トラックの左側と後部を横切
るＬＥＦＴ−ＲＥＡＲ、トラックの右側と後部を横切る
ＲＩＧＨＴ−ＲＥＡＲ、または左側と右側を横切るＬＥ
ＦＴ−ＲＩＧＨＴが可能である。処理方法は、図７の状
態テーブルにしたがって構成される。テーブルのエント
リは、所与の解釈の可能性を調べて可能な場合に新しい
解釈を生成する関数へのポインタである。それぞれの新
しい走査線からのデータ点が不連続性に関して処理さ
れ、次に、現行の解釈リストを利用して、新しい走査線
からのデータを組み合わせて新しい解釈を形成できるか
どうか調べる。

【００２９】走査線は受け取られると、不連続点を見つ
けるために処理される。機械に対する不連続点の位置を
調べて、トラックの縁部分ではありえない不連続点を削
除する。現在、これは、ホイール・ローダーや掘削機な
どの積込み機械への最低高さと最小距離に基づく。次
に、不連続点が積込み機械からの距離にしたがってソー
トされる。

【００３０】最初の走査線における不連続点を利用し
て、ダンプ・トラックの荷台の可能な位置に関する解釈
を生成する。たとえば、図９に示したように、トラック
５８と最初に交差するとき、走査線の２つの不連続点
が、新しい２つの解釈ＬＥＦＴ−ＲＥＡＲ６０、６２
と、ＲＥＡＲ−ＲＩＧＨＴ６２、６４を発生させる。Ｌ
ＥＦＴ−ＲＩＧＨＴ６０、６４の解釈は、角の近くの不
連続点間の距離が最小幅６５よりも小さくなるため、削
除することができる。この最小幅６５は、トラック・モ
デルからの情報の一部と見なされる。ＲＥＡＲ−ＲＩＧ
ＨＴ６２、６４の解釈の削除に役立つ前のデータがない
ため、ＬＥＦＴ−ＲＥＡＲとＲＥＡＲ−ＲＩＧＨＴの両
方を生成する必要がある。複数の不連続点に遭遇する第
１の走査線である、２つの不連続点を有する走査線６
８、７０からの解釈のリストは、次の通りである。

【００３１】１．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝１、（第１の走査線６８の不連続点６０、６２を使
用する）

【００３２】２．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝１、（第１の走査線７０の不連続点６２、６４を
使用する）

【００３３】３．状態：ＩＮＩＴＩＡＬ、初期走査線の
数＝０（不連続点なし）

【００３４】走査センサ・システムから提供されるデー
タにノイズがある場合、データ処理システムは、走査線
における３つ以上の不連続点にフラグを立てることがあ
る。この状況では、追加されたそれぞれの不連続点に、
追加の２つの解釈が生成される。処理システムが、連続
する走査線において２つの不連続点しか検出しなかった
場合は、ノイズによって生成された解釈は適切な解釈と
は見なされず、アクティブ解釈リストから除去される。

【００３５】ノイズによる不連続点のない走査線はない
と仮定し、第２の走査線が２つの不連続点を含む場合
は、前に挙げた３つの解釈を２つの不連続点と組み合わ
せてみる。この時点で、不連続点間の距離だけが調べら
れる。３つ以上の走査線を処理するまで、向きは調べな
い。したがって、それぞれの解釈は、２つの状態を生成
するＩＮＩＴＩＡＬ状態を除いて、１組の追加解釈を生
成する。第２の走査線を処理した後の解釈のリストは、
次の７つの解釈からなる。

【００３６】１．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝２、（第２と第１の走査線からの不連続点を使用す
る）

【００３７】２．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝２、（第２と第１の走査線からの不連続点を使用
する）

【００３８】３．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝１、（第２の走査線からの不連続点を使用する）

【００３９】４．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝１、（第２の走査線からの不連続点を使用する）

【００４０】５．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝１、（第１の走査線からの不連続点を使用する

【００４１】６．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝１、（第１の走査線からの不連続点を使用する）

【００４２】７．状態：ＩＮＩＴＩＡＬ、走査線の数＝
０、（不連続点なし）

【００４３】図１０は、ＬＥＦＴ−ＲＥＡＲ状態がその
幾何学的制約と方向的制約を満たすことを決定するため
に３つの走査線７７、７８，７９から使用されるデータ
点（すなわち不連続点）７１、７２、７３、７４、７
５、７６を示す。第３の有効な走査線７９を受け取る
と、現行リストの７つの解釈を使用して、新しい解釈を
生成する。しかしながら、この時点で、上部の左側の縁
と関連したデータ点７１、７２、７３のような、それぞ
れの適切な直線状特徴と関連したデータ点に線を合わ
せ、モデルの特徴間の角度が調べられる。特徴が３つ以
上のデータ点を有するときは、１組の点を通る原理軸を
使って制約を調べ、無効な解釈を削除する。線を合せる
方法については、後で説明する。２つの不連続点を有す
る第３の走査線により、以下の解釈リストが生成されよ
う。

【００４４】１．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝３、（３つすべての走査線からの不連続点を使用す
る）

【００４５】２．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝２、（第３と第２の走査線からの不連続点を使用す
る）

【００４６】３．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝２、（第３と第２の走査線からの不連続点を使用
する）

【００４７】４．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝２、（第３と第１の走査線からの不連続点を使用す
る）

【００４８】５．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝２、（第３と第１の走査線からの不連続点を使用
する）

【００４９】６．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝２、（第２と第１の走査線からの不連続点を使用す
る）

【００５０】７．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝２、（第２と第１の走査線からの不連続点を使用
する）

【００５１】８．状態：ＬＥＦＴ−ＲＥＡＲ、走査線の
数＝１、（第２の走査線からの不連続点を使用する）

【００５２】９．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査線
の数＝１、（第２の走査線からの不連続点を使用する）

【００５３】１０．状態：ＬＥＦＴ−ＲＥＡＲ、走査線
＝１、（第１の走査線からの不連続点を使用する）

【００５４】１１．状態：ＲＥＡＲ−ＲＩＧＨＴ、走査
線の数＝１、（第１の走査線からの不連続点を使用す
る）、

【００５５】１２．状態：ＩＮＩＴＩＡＬ、走査線の数
＝０、（不連続点なし）

【００５６】ダンプ・トラック５０が、図８に示したよ
うに積込み機械とスキャナ５２に対して横付け方向にあ
ると仮定した場合、この時点までに受け取った３つの走
査線すべてからの情報を使用するときＬＥＦＴ−ＲＥＡ
Ｒ状態だけが幾何学的制約を満たすことに注意された
い。

【００５７】それぞれの新しい走査線が受け取られる
と、アクティブ・リスト上の解釈の状態に基づいて新し
い解釈が生成される。それぞれの走査線を処理し、新し
い解釈を生成した後、新しい解釈がリストの前に加えら
れ、昔の解釈はリストの終わりに維持される。特に、１
走査線あたり３つ以上の有効な不連続点があるときは、
このプロセスによって解釈リストが非常に大きくなるこ
とは明らかである。そのため、状態の数が、制限値２０
などの所望の数の解釈を含むように設定された最大数よ
りも大きくなるときに、リストは制限されることがあ
る。リストを更新した後で、解釈に使用される走査線の
数と突き合わせたモデル特徴の数とに基づいて、最良の
ダンプ・トラック明細が探索される。最良の特徴は、必
ずリストの始めに入れられる。現在のところ、最良の特
徴を探すために使用される方法は、以下の通りである。

【００５８】リストのそれぞれの解釈に関して、 （１）３つ以上の点を有する特徴の数を数える。

【００５９】（２）解決に使用した不連続点の数を数え
る。これが、ヒット数である。

【００６０】（３）特徴の数が、前の最良トラック明細
よりも大きく、ヒット数が前の最良トラック明細よりも
大きい場合は、その解釈を最良解釈にしてリスト内の繰
り返しをやめる。

【００６１】上記の規準と一致する解釈が見つからなか
った場合は、リスト内のそれぞれの解釈に関して、 （１）特徴の数を数える。 （２）ヒットを数える。 （３）特徴の数が前の最良トラック明細と等しく、ヒッ
ト数が前の最良トラック明細よりも大きい場合は、その
解釈を最良の解釈にしてリスト内の繰り返しをやめる。

【００６２】上記の例において示していない１つの措置
は、さらに多くの状態を生成するために状態を利用した
後でその状態を削除できることである。状態が、同一の
状態を生成する場合は、最も多い情報を有する状態だけ
が維持される。これにより、普通ならばアクティブ・リ
ストに維持されることになる余分の状態のいくつかが削
除される。これにより、実際にはトラックの荷台の縁に
ない点が特徴に含まれた場合に問題が発生することがあ
る。たとえば、土砂の山がトラックの荷台の縁からあふ
れ出た場合、解決に、土砂の山から外れた点が含まれる
可能性があり、これによって、直線状特徴の線の平均ノ
イズが大きくなったり、ノイズ点の方向に線が移動され
ることになる。しかしながら、トラックの荷台の縁が完
全に隠されない限り、トラックの荷台の縁上の点は、よ
り良好な線形適合を有するはずである。

【００６３】トラックの荷台のモデルを構成する直線状
特徴は、モデルの特徴、第１の点および最新の点のうち
の２つを利用して形成された線によって表わすことがで
きる。この方法は効率が良いが、あまり正確な特徴の表
現ではない。特徴を正確に表わすために、線は三次元の
点を通らなければならない。これを行う１つの方法は、
特定の特徴と関連した１組の点の原理軸を見いだすこと
である。そのような軸は、原理的な成分解析を利用して
見いだされる。１組の点の３ｘ３共分散行列が見いださ
れる。新しい走査線からの不連続点を検討するときの計
算速度を速くするために、共分散行列を構成するために
使用される部分和が記憶される。特徴と関連付けられた
点の共分散行列の固有ベクトルは、空間における原理軸
の方向を示す。三次元線の方向は、最大の固有値を有す
る固有ベクトルによって示される。これが、本明細書に
おいて直線状特徴を表すベクトルである。この演算は、
解釈リストのそれぞれの状態が状態テーブルにしたがっ
て新しい状態を生成し、それぞれの状態が新しい線適合
を必要とする１つまたは２つの特徴を含むことがあるた
め、しばしば実行される。一旦求めた固有ベクトルは、
それぞれの新しい点が追加されたときにそのほんの少し
しか変化しないため、固有ベクトルと固有値の初期の推
測を可能にする方法は、この用途における計算時間を短
縮することができる。

【００６４】データベース内のモデルは、物体のレンジ
・スキャンからの垂直走査線を処理してそれぞれの走査
線における不連続点を見つけることによって構成された
特徴からなる。そのモデルには、物体の垂直走査線にお
ける不連続点に対応する特徴だけが使用される。これら
の特徴の例は、図６の縁４３、４４、４６、４８の太い
線で示される。直線状特徴は、三次元空間における線の
原理軸の向きを示すベクトルと２つの終点とによって表
わされる。図１１は、データベースに表された下の縁８
２、８４、８６、８８、９０や、図６に示したモデルと
異なる角度関係を有する側面９２、９４のような他の直
線状特徴を備えたダンプ・トラックの荷台８０のモデル
を示す。長さ、幅および高さなどのモデルの一般的な寸
法も、モデル情報により提供される。モデルは、モデル
中心座標系で記憶され、特徴は、状態テーブルから呼び
出された機能に使用するためにその他の座標系に変換さ
れる。図６と図１１に示したダンプ・トラックの荷台の
他に、直線状特徴を有するその他の物体のモデルがデー
タベースに記憶されることもある。

【００６５】前述のように、状態テーブルは、オフライ
ン・プロセスによって生成することができる。本発明に
より、状態テーブルは手作業で生成され、状態テーブル
によって呼び出されるソフトウェア関数も手作業で生成
され、状態テーブルによって呼び出されるソフトウェア
関数も手作業で記述される。モデルの説明に基づいて状
態テーブルを生成し、その状態テーブルによって呼び出
されるソフトウェア関数を生成する方法によって、この
増分的物体認識方法を許容可能なモデル明細を有する任
意の物体に適用することができる。

【００６６】本発明のもう１つの実施形態は、物体モデ
ルの走査をシミュレートし、所与の状態との間で移行す
ることができる状態を決定することによって、状態テー
ブルとソフトウェアを自動的に構成できるようにする。
現行の状態との間で移行することができる状態を決定す
る幾何学的制約は、物体モデルからの情報を使用して自
動的に符号化される。このプロセスは、センサのモデル
と物体の平面モデルを使用してオフラインで実行するこ
とができる。シミュレートしたいくつかの物体モデルの
走査は、掘削機などの積込み機械に対する物体の可能な
位置と向きの範囲で実行される。状態テーブルは、シミ
ュレートした物体モデルの走査から生成された状態セッ
トを結合することによって生成される。状態の移行を決
定する機能に必要な情報には、通常、特徴間の角度、特
徴の長さ、特定の特徴の近接距離、および２つの直線状
特徴のクロス積の方向が含まれる。走査線における不連
続点によりシステムが同じ状態に留まるかまたは新しい
状態の移行するかを決定する一般的な機能は、特定のモ
デル情報によって呼び出される。オフライン・システム
によって、この方法を、複数のタイプのモデルにより使
用し、様々な走査速度、サンプリング分解能およびビー
ム幅のセンサで使用するように調整することができる。

【００６７】本発明は、走査中に物体を認識することを
可能にし、それにより、認識プロセスからデータを収集
する時間を省くことができる。この手法は、自動積込み
機械にある走査センサ・システムの誤差の影響を受けな
い。また、厳しい環境条件において働くことができる低
分解能センサからのまばらなデータも処理する。スキャ
ナの後のパスで、この方法を利用して、物体が前と同じ
場所にあることを追跡し検証することができる。それぞ
れのトラックの寸法は変化することがあり、したがっ
て、新しいトラックごとにトラックの荷台の寸法を復元
しなければならない。

【００６８】物体の部分的明細は、ダンプ・トラック、
鉄道車両、フラットベッド・トラック、ホッパーなどの
容器に積載するための水力掘削機（ＨＥＸ）またはホイ
ール型ローダーの動きの予定を立てるソフトウェア計画
機能によって使用される。自動化された大量掘削用途に
おいて、ＨＥＸ動作プランナーは、土壌面からバケット
一杯の物質を移動し、それをトラックの荷台に放出する
ために必要な機械の動きの計画を立てる。もう１つの計
画モジュール、ダンプ・プランナーは、ＨＥＸが物質を
放出するトラックの荷台の内部の目標位置を選択する。
これらのモジュールは両方とも、トラックの位置の知識
を必要とする。本発明は、物体のかどの点（左の前、左
の後ろ、右の前、右の後ろ、および深さの点）、トラッ
クの荷台の寸法（荷台の長さ、幅、深さ）、トラック位
置情報（ワールド座標系における高さ、機首方位）、な
らびに前述の解決点および寸法に対して有効データが存
在するかどうかを示すデータ・フラグを含む、他のシス
テムが利用することができる物体に関する情報を提供す
る。

【００６９】本発明のその他の態様、目的および利点
は、図面、説明および特許請求の範囲の検討により理解
することができる。

【図面の簡単な説明】

【図１】本発明と関連した方法のステップを表すフロー
チャートである。

【図２】不連続点を有する走査線を示すダンプ・トラッ
クの斜視図である。

【図３】本発明による方法を実現するために使用できる
システムのブロック図である。

【図４】掘削機に対して横付け方向に配置されたダンプ
・トラックの上面図である。

【図５】掘削機に対して後方積込方向に配置されたダン
プ・トラックの上面図である。

【図６】ダンプ・トラックの荷台の斜視図である。

【図７】解釈の生成を導く状態テーブルの図である。

【図８】所与の状態に関してダンプ・トラックの荷台に
対する機械と走査センサの位置を示す図である。

【図９】ダンプ・トラックの荷台の走査から本発明によ
って生成された初期の状態を示す図である。

【図１０】多数の走査線を使用した解釈の評価を示す図
である。

【図１１】ダンプ・トラックの荷台の斜視図である。

【符号の説明】

２７ 走査線 ２８ ダンプ・トラック ２９ 処理システム ３０ 走査センサ・システム ３２ データ処理装置 ３４ データ転送手段 ３６ データ記憶装置 ３８ データ入出力装置 ３９ 土工機械 ４０ ダンプ・トラック ４１ 走査センサ・システム ４２ 荷台 ４３ 縁 ４４ 縁 ４６ 縁 ４８ 縁 ５０ ダンプ・トラック ５２ 走査センサ・システム ５８ トラック

Claims (27)

【特許請求の範囲】
1. 【請求項１】 物体を走査するセンサ・システムによっ
   て提供される複数の走査線のレンジ・データに基づき、
   少なくとも１つの直線状特徴を有する少なくとも１つの
   モデルに対応する数値データのデータベースを含むデー
   タ処理システムを利用して、少なくとも１つの直線状特
   徴を有する物体の位置、サイズおよび向きを決定する方
   法であって（ａ）走査線を受けるときに、走査線におけ
   る不連続点を見つけるステップと、（ｂ）予期される特
   徴の状態テーブルを利用して、モデル情報と物体の部分
   的レンジ・データだけからの不連続点の位置とを使用し
   て物体のアクティブ解釈リストを生成するステップと、
   （ｃ）解釈を評価して、現行走査線までの最小量のデー
   タを有する最も一致した特徴を有する解釈である最も有
   効な解釈を決定するステップと、（ｄ）物体と最も厳密
   に一致する解釈を利用して、物体の位置と向きを計算す
   るステップとを含む方法。
2. 【請求項２】 ステップ（ａ）が、さらに、走査線のレ
   ンジ・データにおける線分の適合を試み、適合する線分
   からの誤差がしきい値を超えたときに不連続点としてレ
   ンジ点に印を付けることによって、走査線における不連
   続性を探すことを含むことを特徴とする請求項１記載の
   方法。
3. 【請求項３】 ステップ（ａ）が、さらに、走査線にお
   ける連続するレンジ・データ点間の距離を調べ、距離が
   しきい値を超えるときに不連続点として点に印を付ける
   ことによって、走査線における不連続点を探すステップ
   を含むことを特徴とする請求項１記載の方法。
4. 【請求項４】 ステップ（ａ）が、さらに、しきい値を
   超える走査線におけるレンジ・データ点の高さ値の違い
   を検出することによって、走査線における不連続点を探
   すことを含むことを特徴とする請求項１記載の方法。
5. 【請求項５】 ステップ（ｂ）のアクティブ解釈リスト
   を生成するステップが、さらに、単位ベクトルと２つの
   終点からなる物体の少なくとも１つの直線状特徴と関連
   したレンジ・データ点を通る少なくとも１つの最適線を
   含むことを特徴とする請求項１記載の方法。
6. 【請求項６】 ステップ（ｂ）のアクティブ解釈リスト
   を生成するステップが、さらに、物体の少なくとも１つ
   の直線状特徴と関連付けられた平面領域の重心を計算す
   ることをさらに含むことを特徴とする請求項１記載の方
   法。
7. 【請求項７】 ステップ（ｃ）が、さらに、近接的制約
   を使用して、比較する解釈の数を制限することを含み、
   近接的制約は、物体の同じ直線状特徴に対応する隣り合
   った走査線における不連続点に基づくことを特徴とする
   請求項１記載の方法。
8. 【請求項８】 ステップ（ｃ）が、さらに、幾何学的制
   約を利用して、比較する解釈の数を制限することを含む
   ことを特徴とする請求項１記載の方法。
9. 【請求項９】 少なくとも１つの直線状特徴を有する物
   体の位置、サイズおよび向きを決定する装置であって、 データ記憶装置とデータ処理装置とを含むデータ処理シ
   ステムとを備え、データ記憶装置は、物体の走査線のレ
   ンジ・データと、少なくとも１つの直線状特徴を有する
   少なくとも１つのモデルに対応するデータとを含み、デ
   ータ処理装置は、走査線における不連続点を探し、モデ
   ル・データベースと不連続点の位置とを利用して物体の
   アクティブ解釈リストを生成し、不連続点を走査線上の
   アクティブな解釈と走査線ベースで比較し、物体と最も
   厳密に一致する解釈を探し、使用可能なデータに基づい
   て最も厳密に一致する解釈を利用して物体の位置と向き
   を計算するように動作可能であることを特徴とする装
   置。
10. 【請求項１０】 データ処理装置が、線分を走査線にお
    けるレンジ・データに適合させ、適合させる線分からの
    誤差がしきい値を超えるときに不連続点としてレンジ点
    に印をつけることによって、走査線における不連続性を
    探すように動作可能なことを特徴とする請求項９記載の
    方法。
11. 【請求項１１】 データ処理装置が、走査線における連
    続したレンジ・データ点間の距離を調べ、距離がしきい
    値を超えたときに不連続点として点にラベルを付けるこ
    とによって、走査線における不連続点を探すように動作
    可能なことを特徴とする請求項９記載の装置。
12. 【請求項１２】 データ処理装置が、しきい値を超える
    走査線におけるレンジ・データ点の高さ値の違いを検出
    することによって、走査線における不連続点を探すよう
    に動作可能なことを特徴とする請求項９記載の装置。
13. 【請求項１３】 解釈が、単位ベクトルと２つの終点か
    らなる物体の少なくとも１つの直線状特徴を通る少なく
    とも１つの最適線を含むことを特徴とする請求項９記載
    の装置。
14. 【請求項１４】 解釈が、物体の少なくとも１つの直線
    状特徴と関連したレンジ点の重心を含むことを特徴とす
    る請求項９記載の装置。
15. 【請求項１５】 データ処理装置が、近接的制約を利用
    して、比較する解釈の数を制限するように動作可能であ
    り、近接的制約が、物体の少なくとも１つの直線状特徴
    に対応する隣接した走査線における不連続点に基づくこ
    とを特徴とする請求項９記載の装置。
16. 【請求項１６】 データ処理装置が、幾何学的制約を使
    用して比較する解釈の数を制限するように動作可能であ
    ることを特徴とする請求項９記載の装置。
17. 【請求項１７】 土工環境において、少なくとも１つの
    直線状特徴を有する物体の位置、サイズおよび向きを決
    定する装置であって、 データ記憶装置およびデータ処理装置を含むデータ処理
    システムを備え、データ記憶装置は、走査センサ・シス
    テムによって提供される物体の走査線のレンジ・データ
    と、少なくとも１つの直線状特徴を有する少なくとも１
    つのモデルに対応するデータとを含み、データ処理装置
    は、走査線における不連続点を探し、モデル・データベ
    ースと不連続点の位置を利用して物体のアクティブ解釈
    リストを生成し、不連続点を走査線上の解釈と走査線・
    ベースで比較して、物体と最も厳密に一致する解釈を探
    し、使用可能なデータに基づいて物体と最も厳密に一致
    する解釈を利用して物体の位置と向きを計算するように
    動作可能であることを特徴とする装置。
18. 【請求項１８】 物体がダンプ・トラックの荷台である
    ことを特徴とする請求項１７記載の方法。
19. 【請求項１９】 走査センサ・システムが、ダンプ・ト
    ラックの荷台の近くに配置された土工機械に搭載されて
    おり、走査センサ・システムが、ダンプ・トラックの荷
    台の実質上垂直方向の走査線を生成するように動作可能
    であり、走査線が、ダンプ・トラックの荷台の後ろから
    前に互いに隣り合っていることを特徴とする請求項１８
    記載の装置。
20. 【請求項２０】 土工環境のシーンにある、少なくとも
    １つの直線状特徴を有する物体の位置、サイズおよび向
    きを決定するための装置であって、 データ記憶装置およびデータ処理装置を含むデータ処理
    システムとを備え、データ記憶装置は、走査センサ・シ
    ステムによって提供される物体の走査線のレンジ・デー
    タと、少なくとも１つの直線状特徴を有する少なくとも
    １つのモデルに対応するデータとを含み、データ処理装
    置は、物体のモデルを使用して物体の走査をシミュレー
    トし、シミュレートした走査からのデータを使用して土
    工環境における物体の可能な向きを示す状態テーブルを
    生成し、レンジ・データの走査線における不連続点を探
    し、モデル・データベースと不連続点の位置を使用して
    物体のアクティブ解釈リストを生成し、不連続点をアク
    ティブな解釈と比較して最も厳密に物体と一致する解釈
    を見つけ、最も厳密に物体と一致する解釈を利用して物
    体の位置と向きを計算するように動作可能であることを
    特徴とする装置。
21. 【請求項２１】 状態テーブルが、所与の状態から遷移
    されうる状態を決定する物体モデルの幾何学的制約を使
    用して生成されることを特徴とする請求項２０記載の装
    置。
22. 【請求項２２】 物体モデルの複数のシミュレートした
    走査が、積込み機械に対する物体の可能な位置と向きの
    範囲で実行されることを特徴とする請求項２０記載の装
    置。
23. 【請求項２３】 状態の遷移が、物体モデルの特徴間の
    角度、特徴の長さ、特定の特徴の接近距離、および２つ
    の直線状特徴のクロス積の方向を利用して決定されるこ
    とを特徴とする請求項２０記載の装置。
24. 【請求項２４】 新しい状態に遷移すべきかどうかの決
    定が、前の状態における共通の特徴に対する走査線にお
    ける特徴の接近距離と、シーン特徴間の角度およびシー
    ン特徴と一致した可能なモデル特徴間の角度と、増分的
    シーン特徴の方向とそのようなシーン特徴と突き合わさ
    れた可能なモデル特徴の向きとを含む物体モデル情報を
    利用して行われることを特徴とする請求項２０記載の装
    置。
25. 【請求項２５】 物体モデルが、可変の走査レートを有
    するシミュレートしたセンサ・モデルを使用して走査さ
    れることを特徴とする請求項２０記載の装置。
26. 【請求項２６】 物体モデルが、可変のサンプリング分
    解能を有するシミュレートしたセンサ・モデルを使用し
    て走査されることを特徴とする請求項２０記載の装置。
27. 【請求項２７】 物体モデルが、可変のビーム幅を有す
    るシミュレートしたセンサ・モデルを使用して走査され
    ることを特徴とする請求項２０記載の装置。