JP7118382B2 - 物理的エッジ検出を実行または促進するための方法および計算システム - Google Patents

Description

関連出願の相互参照
本出願は、２０２０年６月４日に出願された、「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＶＩＳＩＯＮ ＭＥＣＨＡＮＩＳＭ」と題する、米国仮特許出願第第６３／０３４，４０３号の優先権を主張する、２０２１年５月２７日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＯＲ ＦＡＣＩＬＩＴＡＴＩＮＧ ＰＨＹＳＩＣＡＬ ＥＤＧＥ ＤＥＴＥＣＴＩＯＮ」と題する、米国特許出願第１７／３３１，８７８号の優先権を主張し、その全体の内容が参照により本明細書に組み込まれる。

本開示は、物理的エッジ検出を実行または促進するための計算システムおよび方法に関する。

自動化がより一般的になるに従い、倉庫保管および小売環境など、より多くの環境においてロボットが使用される。例えば、ロボットは、倉庫の中にある物体と相互作用するように使用され得る。ロボットの動作は、一定であってもよく、または倉庫の中のセンサーによって生成された情報などの、入力に基づいてもよい。

本開示の一態様は、計算システム、または計算システムによって行われる方法に関する。計算システムは、通信インターフェイスおよび少なくとも一つの処理回路を含み得る。通信インターフェイスは、ロボット、およびカメラ視野を有するカメラと通信するように構成され得る。少なくとも一つの処理回路は、物体のグループがカメラ視野の中にあるとき、カメラによって生成される、物体のグループを表す画像情報を受信することと、画像情報から、物体のグループに関連付けられる複数の候補エッジを識別することであって、複数の候補エッジが、物体のグループの物理的エッジを表すためのそれぞれの候補を形成する、画像位置または物理的位置のそれぞれのセットであるか、またはそれらを含むことと、複数の候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成される第一の候補エッジを含む場合、画像情報が、第一の候補エッジで定義された暗さ条件を満たすかどうかを判定することであって、第一の画像領域が、第二の画像領域よりも暗く、第一の画像領域および第二の画像領域が、画像情報によって記述されるそれぞれの領域であることと、複数の候補エッジのサブセットを選択して、物体のグループの物理的エッジを表すための候補エッジの選択されたサブセットを形成することであって、選択することが、画像情報が第一の候補エッジで定義された暗さ条件を満たすかどうかに基づいて、候補エッジの選択されたサブセット内に第一の候補エッジを含めることによって、物体のグループの物理的エッジの少なくとも一つを表す候補として、第一の候補エッジを保持するかどうかを判定することを含むことと、を実行するように構成され得る。

本明細書の実施形態と合致する、物理的エッジ検出を行うため、または促進するためのシステムを示す。 本明細書の実施形態と合致する、物理的エッジ検出を行うため、または促進するためのシステムを示す。 本明細書の実施形態と合致する、物理的エッジ検出を行うため、または促進するためのシステムを示す。 本明細書の実施形態と合致する、物理的エッジ検出を行うため、または促進するためのシステムを示す。

本明細書の実施形態と合致する、物理的エッジ検出を行うためまたは促進するために構成される、計算システムを示すブロック図を提供する。 本明細書の実施形態と合致する、物理的エッジ検出を行うためまたは促進するために構成される計算システムを示すブロック図を提供する。 本明細書の実施形態と合致する、物理的エッジ検出を行うためまたは促進するために構成される計算システムを示すブロック図を提供する。 本明細書の実施形態と合致する、物理的エッジ検出を行うためまたは促進するために構成される計算システムを示すブロック図を提供する。

本明細書の実施形態による、物理的エッジ検出が行われ得る環境を示す。 本明細書の実施形態による、物理的エッジ検出が行われ得る環境を示す。 本明細書の実施形態による、物理的エッジ検出が行われ得る環境を示す。

本明細書の実施形態による、候補エッジを処理する方法を示すフロー図を提供する。

本明細書の実施形態による、候補エッジが識別され得る例示の画像情報を示す。 本明細書の実施形態による、候補エッジが識別され得る例示の画像情報を示す。

本明細書の実施形態による、画像情報から識別された候補エッジを示す。 本明細書の実施形態による、画像情報から識別された候補エッジを示す。

本明細書の実施形態による、画像情報から識別された候補エッジを示す。 本明細書の実施形態による、画像情報から識別された候補エッジを示す。 本明細書の実施形態による、画像情報から識別された候補エッジを示す。

本明細書の実施形態による、入射光がカメラ視野内の物体を反射する拡散反射に基づいて画像が生成され得る環境を示す。

本明細書の実施形態による、候補エッジの周りの画像強度プロファイルを示す。 本明細書の実施形態による、候補エッジの周りの画像強度プロファイルを示す。 本明細書の実施形態による、候補エッジの周りの画像強度プロファイルを示す。 本明細書の実施形態による、候補エッジに対応する位置の周りの領域の奥行き値を示す。

本明細書の実施形態による、候補エッジの周りの画像強度プロファイルを示す。 本明細書の実施形態による、候補エッジの周りの画像強度プロファイルを示す。 本明細書の実施形態による、候補エッジの周りの画像強度プロファイルを示す。

本明細書の実施形態による、物理的エッジ部の周りの位置の奥行き値を示す一方、図１１Ｄは、物理的エッジを表す画像の画像強度プロファイルを示す。 本明細書の実施形態による、物理的エッジ部の周りの位置の奥行き値を示す。 本明細書の実施形態による、物理的エッジ部の周りの位置の奥行き値を示す。 本明細書の実施形態による、物理的エッジを表す画像の画像強度プロファイルを示す。

本明細書の実施形態による、隣接する画像領域よりも暗い画像領域を有する物体を表す、画像に対する画像強度プロファイルを示す。 本明細書の実施形態による、隣接する画像領域よりも暗い画像領域を有する物体を表す、画像に対する画像強度プロファイルを示す。 本明細書の実施形態による、隣接する画像領域よりも暗い画像領域を有する物体を表す、画像に対する画像強度プロファイルを示す。

本明細書の実施形態による、物理的ギャップによって分離され、一方の物体が他方の物体よりも暗い、二つの物体を表す、画像に対する画像強度プロファイルを示す。 本明細書の実施形態による、物理的ギャップによって分離され、一方の物体が他方の物体よりも暗い、二つの物体を表す、画像に対する画像強度プロファイルを示す。 本明細書の実施形態による、物理的ギャップによって分離され、一方の物体が他方の物体よりも暗い、二つの物体を表す、画像に対する画像強度プロファイルを示す。

本開示の一態様は、物体のグループを表す画像情報を使用して、物体のグループの物理的エッジを検出またはその他の方法で識別することに関する。例えば、２Ｄ画像は、箱のグループを表してもよく、箱のグループの物理的エッジを潜在的に表し得る候補エッジを含んでもよい。計算システムは、画像情報内の候補エッジを使用して、画像情報内に表される個々の物体を区別し得る。一部の実例では、計算システムは、個々の箱を識別する情報を使用して、個々の箱に関与するロボット相互作用を制御し得る。例えば、ロボット相互作用は、ロボットのエンドエフェクター装置が物体の一つに接近し、物体をピックアップし、物体を目的地の位置に動かす、パレットから降ろす動作を含み得る。

一部のシナリオでは、２Ｄ画像または他の画像情報は、カメラ視野内の物体の実際の物理的エッジに対応しない候補エッジであり得る、偽エッジである候補エッジを含んでもよい。従って、本開示の一態様は、候補エッジを評価して、候補エッジが、偽エッジであるのとは対照的に、実際の物理的エッジに対応する信頼レベルを決定することに関する。実施形態では、こうした決定は、特定の物理的エッジが画像にどのように現れる可能性が高いかに関する予期または予測に基づいてもよい。より具体的には、こうした決定は、物理的エッジが物体間の物理的ギャップと関連付けられる場合（例えば、物理的エッジが物理的ギャップの一方の側面を形成する）、こうした物理的ギャップが画像において非常に暗いように見えてもよく、および／または物理的ギャップに対応する画像領域の画像強度のスパイク減少を特徴とする画像強度プロファイルを有し得るという予期に基づいてもよい。従って、本開示の方法または計算システムは、物体間の物理的ギャップ、特に狭い物理的ギャップが、物理的ギャップが、画像の中でどのように暗いかに関連する特定の特性を有する画像によって表され得るとの予期に基づいて動作し得る。画像のこうした特徴または特徴は、ダークプライアと呼んでもよく、本開示は、ダークプライアを検出することに関連してもよく、ダークプライアの存在は、候補エッジが実際の物理的エッジに対応するかどうかに関する信頼レベルを増加させ得る。

実施形態では、本開示の方法またはシステムは、画像が、候補エッジで定義された暗さ条件を満たすかどうかを判定してもよく、定義された暗さ条件は、ダークプライアを検出することに関連し得る。より具体的には、定義された暗さ条件は、以下でより詳細に論じる、暗さ閾値基準、および／またはスパイク強度プロファイル基準によって定義され得る。本実施形態では、計算システムまたは方法が、画像が候補エッジで定義された暗さ条件を満たすと判定する場合、候補エッジが、二つの物体の間の物理的ギャップの一方の側面を形成する物理的エッジなど、実際の物理的エッジに対応する、より大きな信頼レベルがあり得る。一部の実例では、画像が候補エッジで定義された暗さ条件を満たさない場合、候補エッジが偽エッジである可能性がより高い場合がある。

本開示の一態様は、２Ｄ画像情報を使用して、３Ｄ画像情報の限定を補償することに関し、その逆も同様である。例えば、二つ以上の箱などの複数の物体が互いに密接に隣り合わせに置かれ、狭い物理的ギャップによって分離される場合、３Ｄ画像情報は、物理的ギャップを捕捉する、またはそうでなければそれを表すのに十分な高い解像度を有しなくてもよい。従って、３Ｄ画像情報は、特に、複数の物体が、３Ｄ画像情報を生成するカメラに対して同じ奥行きを有する場合、複数の物体の個々の物体を区別するために使用される能力に限界を有し得る。こうした実施例では、複数の物体間の物理的ギャップは、２Ｄ画像情報に表され得る。より具体的には、物理的ギャップは、定義された暗さ条件を満たす画像領域によって表され得る。従って、こうした画像領域に関連付けられる候補エッジは、高レベルの信頼性で、物体の物理的エッジを表し得る。こうした状況では、２Ｄ画像情報の中の候補エッジは、物体のグループの個々の物体を区別するのに有用であり得る。従って、２Ｄ画像情報は、特定の状況において、個々の物体を区別する能力を高めることができる。

特定の状況では、３Ｄ画像情報は、２Ｄ画像情報の制限を補償し得る。例えば、２Ｄ画像は、２Ｄ画像中の特定の候補エッジで定義された暗さ条件を満たさなくてもよい。こうした例では、候補エッジは、カメラ視野内の任意の実際の物理的エッジ物体に対応する低信頼レベルを有し得る。３Ｄ画像情報は、２Ｄ画像情報の中の候補エッジが３Ｄ画像情報の中の候補エッジに対応する場合、２Ｄ画像情報におけるこの制限を補償するために使用され得る。より具体的には、２Ｄ画像情報中の候補エッジは、奥行きの急激な変化がある３Ｄ画像情報中の位置または位置のセットにマッピングされ得る。こうした状況では、３Ｄ画像情報は、２Ｄ画像情報の中の候補エッジが実際の物理的エッジに対応する信頼レベルを増加させるために使用され得る。

実施形態では、３Ｄ画像情報は、物体の表面（例えば、上部表面）を識別するために使用されてもよく、候補エッジは、二つの表面間の遷移がある位置に基づいて識別され得る。例えば、表面は、定義された測定分散閾値を超えて互いに逸脱しない３Ｄ画像情報中のそれぞれの奥行き値を有する位置のセットに基づいて識別され得る。定義された測定分散閾値は、３Ｄ画像情報の奥行き測定値にランダムな変動をもたらし得る、撮像ノイズ、製造公差、またはその他の要因の影響を記述し得る。識別される表面は、それぞれの奥行き値の平均である奥行き値と関連付けられ得る。いくつかの実施では、候補エッジは、定義された奥行き差閾値を超える、３Ｄ画像情報で識別された二つの表面間の奥行きの遷移を識別することに基づいて、３Ｄ画像情報で検出され得る。

図１Ａは、一つまたは複数の物体の物理的エッジを検出またはその他の方法で識別するために、一つまたは複数の物体を表す画像情報を使用することを伴い得る、物理的エッジ検出を実行または促進するためのシステム１０００を示す。より詳細には、システム１０００は、計算システム１１００およびカメラ１２００を含み得る。この実施例では、カメラ１２００は、カメラ１２００が位置する環境を描写するか、もしくはそうでなければ表し、またはより具体的には、カメラ１２００の視野（カメラ視野とも呼ぶ）中の環境を表す、画像情報を生成するように構成され得る。環境は、例えば、倉庫、製造工場、小売空間、またはいくつかの他の施設であり得る。こうした実例では、画像情報が、箱、ビン、ケース、木枠または他の容器などの、こうした施設に位置する物体を表し得る。システム１０００は、以下でより詳細に論じるように、画像情報を使用して、カメラ視野内の個々の物体を区別すること、画像情報に基づいて物体認識または物体登録を行うこと、および／または画像情報に基づいてロボット運動計画を行うことなど、画像情報を生成、受信、および／または処理するよう構成され得る（用語「および／または」および「または」は、本開示では互換的に使用される）。ロボット運動計画作成は、例えば、ロボットと容器または他の物体との間のロボット相互作用を促進するように、施設でロボットを制御するために使用され得る。計算システム１１００およびカメラ１２００が、同じ施設に位置してもよく、または互いと遠隔に位置し得る。例えば、計算システム１１００は、倉庫または小売空間から遠隔のデータセンターでホストされる、クラウドコンピューティングプラットフォームの一部であってもよく、ネットワーク接続を介して、カメラ１２００と通信し得る。

実施形態では、カメラ１２００（画像感知装置とも呼ぶ）は、２Ｄカメラおよび／または３Ｄカメラであり得る。例えば、図１Ｂは、計算システム１１００、ならびにカメラ１２００Ａおよびカメラ１２００Ｂ（その両方がカメラ１２００の実施形態であり得る）を含む、システム１０００Ａ（システム１０００の実施形態であり得る）を示す。この実施例では、カメラ１２００Ａは、カメラの視野中にある環境の視覚的外観を記述する２Ｄ画像を含む、または形成する、２Ｄ画像情報を生成するように構成される、２Ｄカメラであり得る。カメラ１２００Ｂは、カメラの視野中の環境に関する空間構造情報を含む、または形成する３Ｄ画像情報を生成するように構成される、３Ｄカメラ（空間構造感知カメラまたは空間構造感知装置とも呼ばれる）であり得る。空間構造情報は、カメラ１２００の視野中にあるさまざまな物体の表面上の位置など、カメラ１２００Ｂに対するさまざまな位置のそれぞれの奥行き値を記述する、奥行き情報（例えば、奥行きマップ）を含んでもよい。カメラの視野または物体の表面のこれらの位置はまた、物理的位置と呼んでもよい。この実施例の奥行き情報は、物体が３次元（３Ｄ）空間の中で空間的にどのように配設されるかを推定するために使用され得る。一部の実例では、空間構造情報は、カメラ１２００Ｂの視野中にある物体の一つまたは複数の表面上の位置を記述する、点群を含んでもよく、またはそれを生成するために使用され得る。より具体的には、空間構造情報が、物体の構造（物体構造とも呼ぶ）上のさまざまな位置を記述し得る。

実施形態では、システム１０００が、カメラ１２００の環境でロボットとさまざまな物体との間のロボット相互作用を促進するための、ロボット操作システムであり得る。例えば、図１Ｃは、図１Ａおよび図１Ｂのシステム１０００／１０００Ａの実施形態であり得る、ロボット操作システム１０００Ｂを示す。ロボット操作システム１０００Ｂは、計算システム１１００、カメラ１２００、およびロボット１３００を含んでもよい。上述のように、ロボット１３００は、カメラ１２００の環境の中にある一つまたは複数の物体、例えば、箱、木枠、ビン、またはその他の容器と相互作用するために使用され得る。例えば、ロボット１３００は、一つの位置から容器を拾い上げ、それらを別の位置に移動するように構成され得る。一部の事例では、ロボット１３００は、容器または他の物体のグループが降ろされて、例えば、コンベヤーベルトに移動される、パレットから降ろす動作を実施するために使用され得る。一部の実装形態では、カメラ１２００は、ロボット１３００のロボットアームなど、ロボット１３００に取り付けられてもよい。一部の実装形態では、カメラ１２００は、ロボット１３００から分離し得る。例えば、カメラ１２００は、倉庫または他の構造の天井に装着されてもよく、構造に対して静止したままであり得る。

実施形態では、図１Ａ～図１Ｃの計算システム１１００は、ロボット操作システム１０００Ｂの一部である、ロボット制御システム（ロボットコントローラーとも呼ぶ）を形成しても、またはその一部であり得る。ロボット制御システムは、例えば、ロボット１３００と容器または他の物体との間のロボット相互作用を制御するためのロボット相互作用移動コマンドなどの、ロボット１３００用のコマンドを生成するように構成されるシステムであり得る。こうした実施形態では、計算システム１１００は、例えば、カメラ１２００／１２００Ａ／１２００Ｂによって生成された画像情報に基づいて、このようなコマンドを生成するように構成され得る。例えば、計算システム１１００は、画像情報に基づいて運動計画を決定するように構成されてもよく、運動計画は、例えば、物体を掴むか、または他の方法でピックアップすることを意図し得る。計算システム１１００は、運動計画を実行するために、一つまたは複数のロボット相互作用移動コマンドを生成し得る。

実施形態では、計算システム１１００は、視覚システムを形成しても、またはその一部であり得る。視覚システムは、例えば、ロボット１３００が位置する環境を記述する、すなわちより具体的には、カメラ１２００が位置する環境を記述する、視覚情報を生成するシステムであり得る。視覚情報が、上で考察された３Ｄ画像情報、および／または２Ｄ画像情報、またはいくつかの他の画像情報を含んでもよい。一部のシナリオでは、計算システム１１００が、視覚システムを形成する場合、視覚システムは、上で考察されたロボット制御システムの一部であってもよく、またはロボット制御システムから分離し得る。視覚システムは、ロボット制御システムから分離する場合、視覚システムは、ロボット１３００が位置する環境を記述する、情報を出力するように構成され得る。情報は、視覚システムからこうした情報を受信し、情報に基づいて、運動計画を実施し、および／またはロボット相互作用移動コマンドを生成することができる、ロボット制御システムに出力され得る。

実施形態では、計算システム１１００は、ＲＳ－２３２インターフェイス、ユニバーサルシリアルバス（ＵＳＢ）インターフェイスなどの専用有線通信インターフェイスを介して、および／もしくは周辺構成要素相互接続（ＰＣＩ）バスなどのローカルコンピューターバスを介して提供される接続など、直接接続によってカメラ１２００ならびに／またはロボット１３００と通信し得る。実施形態では、計算システム１１００が、ネットワークを介してカメラ１２００および／またはロボット１３００と通信し得る。ネットワークは、パーソナルエリアネットワーク（ＰＡＮ）、例えば、イントラネットといったローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはインターネットなど、いかなるタイプおよび／または形態のネットワークであり得る。ネットワークは、例えば、イーサネットプロトコル、インターネットプロトコル群（ＴＣＰ／ＩＰ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）技術、ＳＯＮＥＴ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋｉｎｇ）プロトコル、またはＳＤＨ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｉｇｉｔａｌ Ｈｉｅｒａｒｃｈｙ）プロトコルを含む、プロトコルの異なる技術、および層またはスタックを利用し得る。

実施形態では、計算システム１１００は、カメラ１２００および／もしくはロボット１３００と直接情報を伝達してもよく、または中間記憶装置、もしくはより広くは、中間の非一時的コンピューター可読媒体を介して通信し得る。例えば、図１Ｄは、計算システム１１００の外部にあり得る非一時的コンピューター可読媒体１４００を含む、システム１０００／１０００Ａ／１０００Ｂの実施形態であってもよく、例えば、カメラ１２００によって生成される画像情報を記憶するための外部バッファまたはリポジトリとして作用し得る、システム１０００Ｃを示す。こうした一実施例では、計算システム１１００は、非一時的コンピューター可読媒体１４００から、画像情報を検索するか、さもなければ受信することができる。非一時的コンピューター可読媒体１４００の例としては、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはそれらの任意の好適な組み合わせが挙げられる。非一時的コンピューター可読媒体は、例えば、コンピューターディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリー（ＥＰＲＯＭまたはフラッシュメモリー）、スタティックランダムアクセスメモリー（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリー（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、および／またはメモリースティックを形成し得る。

上述のように、カメラ１２００は、３Ｄカメラおよび／または２Ｄカメラであり得る。２Ｄカメラは、カラー画像またはグレースケール画像などの、２Ｄ画像を生成するように構成され得る。３Ｄカメラは、例えば、飛行時間（ＴＯＦ）カメラもしくは構造化光カメラなどの、奥行き感知カメラ、またはいかなる他のタイプの３Ｄカメラであり得る。一部の事例では、２Ｄカメラおよび／または３Ｄカメラは、電荷結合素子（ＣＣＤ）センサーおよび／または相補型金属酸化膜半導体（ＣＭＯＳ）センサーなど、イメージセンサーを含み得る。実施形態では、３Ｄカメラは、レーザー、ＬＩＤＡＲデバイス、赤外線デバイス、明／暗センサー、運動センサー、マイクロ波検出器、超音波検出器、レーダー検出器、または奥行き情報、または空間構造情報を取り込むように構成される任意の他のデバイスを含み得る。

上述のように、画像情報が、計算システム１１００によって処理され得る。実施形態では、計算システム１１００は、サーバー（例えば、一つまたは複数のサーバーブレード、プロセッサーなどを有する）、パーソナルコンピューター（例えば、デスクトップコンピューター、ラップトップコンピューターなど）、スマートフォン、タブレットコンピューター装置、および／もしくは他の任意の他の計算システムを含んでもよく、またはそれらとして構成され得る。実施形態では、計算システム１１００の機能性の全ては、クラウドコンピューティングプラットフォームの一部として行われてもよい。計算システム１１００は、単一のコンピューター装置（例えば、デスクトップコンピューター）であってもよく、または複数のコンピューター装置を含んでもよい。

図２Ａは、計算システム１１００の実施形態を示す、ブロック図を提供する。計算システム１１００は、少なくとも一つの処理回路１１１０、および非一時的コンピューター可読媒体（または複数の媒体）１１２０を含む。実施形態では、処理回路１１１０は、一つまたは複数のプロセッサー、一つまたは複数の処理コア、プログラマブルロジックコントローラー（「ＰＬＣ」）、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、それらの任意の組み合わせ、または任意の他の処理回路を含む。

実施形態では、計算システム１１００の一部である、非一時的コンピューター可読媒体１１２０が、上で考察された中間の非一時的コンピューター可読媒体１４００の代替または追加であり得る。非一時的コンピューター可読媒体１１２０は、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはそれらの任意の好適な組み合わせなどの記憶装置であってもよく、例えば、コンピューターディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリー（ＥＰＲＯＭまたはフラッシュメモリー）、スタティックランダムアクセスメモリー（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリー（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリースティック、それらの任意の組み合わせ、または任意の他の記憶装置などであり得る。一部の実例では、非一時的コンピューター可読媒体１１２０は、複数の記憶装置を含み得る。特定の実装形態では、非一時的コンピューター可読媒体１１２０が、カメラ１２００によって生成され、計算システム１１００によって受信される画像情報を記憶するように構成される。一部の実例では、非一時的コンピューター可読媒体１１２０は、物体認識操作を実施するために使用される一つまたは複数の物体認識テンプレートを記憶し得る。非一時的コンピューター可読媒体１１２０が、処理回路１１１０によって実行されるとき、処理回路１１１０に、図４に関して記載する操作など、本明細書に記載する一つまたは複数の手法を行わせるコンピューター可読プログラム命令を、代替的または追加的に記憶し得る。

図２Ｂは、計算システム１１００の実施形態であり、通信インターフェイス１１３０を含む、計算システム１１００Ａを描写する。通信インターフェイス１１３０は、例えば、図１Ａ～１Ｄのカメラ１２００によって生成された画像情報を受信するように構成され得る。画像情報は、上で考察された中間の非一時的コンピューター可読媒体１４００もしくはネットワークを介して、またはカメラ１２００と計算システム１１００／１１００Ａとの間のより直接的な接続を介して受信され得る。実施形態では、通信インターフェイス１１３０は、図１Ｃのロボット１３００と通信するように構成され得る。計算システム１１００が、ロボット制御システムの外部にある場合、計算システム１１００の通信インターフェイス１１３０が、ロボット制御システムと通信するように構成され得る。通信インターフェイス１１３０はまた、通信構成要素または通信回路と呼ばれる場合があり例えば、有線または無線プロトコルによって通信を行うように構成される通信回路を含んでもよい。実施例として、通信回路が、ＲＳ－２３２ポートコントローラー、ＵＳＢコントローラー、イーサネットコントローラー、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラー、ＰＣＩバスコントローラー、任意の他の通信回路、またはそれらの組み合わせを含んでもよい。

実施形態では、図２Ｃでは、非一時的コンピューター可読媒体１１２０は、カメラ１２００によって生成された画像情報から識別された複数の候補エッジを記述し得る、エッジ検出情報１１２６を記憶し得る。以下でより詳細に論じるように、画像情報が物体のグループを表す場合、候補エッジの各々は、物体のグループの複数の物理的エッジのうちの少なくとも一つを表すための候補であってもよく、または候補を形成し得る。一部の実例では、計算システム１１００／１１００Ａ／１１００Ｂは、エッジ検出情報１１２６内の特定の候補エッジを使用して、物体のグループの物理的エッジの少なくとも一つを表すべきかどうかを判定し得る。こうした判定は、候補エッジが、偽エッジであるのとは対照的に、物理的エッジを実際に表しているかどうかに関連する信頼レベルを評価することを伴い得る。一実施例では、こうした評価は、候補エッジが、物理的エッジを表すことから生じる画像特性と関連付けられるかどうかに基づいてもよい。こうした特徴は、以下でより詳細に論じる、ダークプライアと称される画像特徴と関連付けられてもよい。一部のシナリオでは、計算システム１１００は、複数の候補エッジから、物体のグループの物理的エッジを実際に表す、十分に高い信頼レベルを有する候補エッジのサブセットを選択してもよく、一方で、サブセットから除外される候補エッジは、物体のグループの物理的エッジを表す、十分に高い信頼レベルを有しなくてもよい。従って、計算システム１１００／１１００Ａ／１１００Ｂが、物理的エッジの少なくとも一つを表すために特定の候補エッジを使用することを決定した場合、計算システムは、そのサブセットに候補エッジを含み得る。計算システム１１００／１１００Ａ／１１００Ｂが、物理的エッジの少なくとも一つを表すために特定の候補エッジを使用しないと決定する場合、計算システムは、サブセット内に候補エッジを含まないと決定し得る。サブセットに含まれない候補エッジは、エッジ検出情報１１２６から除去されてもよく、またはより広くは、物体のグループの物理的エッジの少なくとも一つを表すための候補としてさらなる検討から除外され得る。

実施形態では、処理回路１１１０が、非一時的コンピューター可読媒体１１２０に記憶される、一つまたは複数のコンピューター可読プログラム命令によってプログラムされ得る。例えば、図２Ｄは、処理回路１１１０が、物理的エッジ検出モジュール１１２５、物体認識／登録モジュール１１２８、および／または運動計画モジュール１１２９を含む、一つまたは複数のモジュールによってプログラムされる、計算システム１１００／１１００Ａ／１１００Ｂの実施形態である、計算システム１１００Ｃを示す。

実施形態では、物理的エッジ検出モジュール１１２５は、物体のグループを表す画像情報に現れる複数の候補エッジの中から、物体のグループの物理的エッジを表すためにどの候補エッジを使用するべきかを決定するように構成され得る。いくつかの実施では、物理的エッジ検出モジュール１１２５は、以下でより詳細に論じるように、定義された暗さ条件が満たされるかどうか、および／または奥行き不連続状態が満たされるかどうかに基づいて、こうした決定を実行し得る。一部の実例では、物理的エッジ検出モジュール１１２５はまた、画像情報から複数の候補エッジを識別するように構成され得る。一部の実例では、物理的エッジ検出モジュール１１２５は、画像情報によって表される個々の物体を区別することを伴い得る、画像セグメンテーション（例えば、点群セグメンテーション）を行うように構成され得る。例えば、モジュール１１２５は、物体のグループの一つの物体を表す画像情報の画像セグメント（画像部分とも呼ぶ）を抽出するか、またはその他の方法で識別し得る。いくつかの実施では、画像セグメンテーションは、例えば、モジュール１１２５が物体のグループの物理的エッジを表すために使用すべきであると決定した候補エッジに基づいて行われてもよい。

実施形態では、物体認識／登録モジュール１１２８は、物理的エッジ検出モジュール１１２５からの結果に基づいて、物体認識操作または物体登録モジュールを実行するように構成され得る。例えば、物理的エッジ検出モジュール１１２５が、物体のグループの一つの物体を表す画像セグメントを識別する場合、物体認識／登録モジュール１１２８は、例えば、画像セグメントが物体認識テンプレートと十分に合致するかを判定し、および／または画像セグメントに基づいて新しい物体認識テンプレートを生成するように構成され得る。

実施形態では、運動計画モジュール１１２９は、物理的エッジ検出モジュール１１２５の結果に基づいて、および／または物体認識／登録モジュール１１２８の結果に基づいて、ロボット運動計画を実行するように構成され得る。上述のように、ロボット運動計画は、ロボット（例えば、１３００）と、物体のグループの少なくとも一つの物体との間のロボット相互作用のためのものであり得る。一部の実例では、ロボット運動計画は、例えば、物体をピックアップするためのロボットの構成要素（例えば、エンドエフェクター装置）による動き、および／または物体をピックアップした後に後続する構成要素の軌道の決定を伴い得る。

さまざまな実施形態では、「コンピューター可読命令」および「コンピューター可読プログラム命令」という用語は、さまざまなタスクおよび操作を遂行するように構成される、ソフトウェア命令またはコンピューターコードを記述するために使用される。さまざまな実施形態では、「モジュール」という用語は、処理回路１１１０に一つまたは複数の機能タスクを行わせるように構成される、ソフトウェア命令またはコードの集まりを広く指す。モジュールおよびコンピューター可読命令は、処理回路または他のハードウェアコンポーネントが、モジュールもしくはコンピューター可読命令を実行しているときに、さまざまな操作またはタスクを行うものとして説明され得る。

図３Ａ～３Ｃは、候補エッジの処理、すなわちより具体的には、物理的エッジ検出が実行され得る、例示的な環境を示す。より具体的には、図３Ａは、計算システム１１００、ロボット３３００、およびカメラ３２００を含む、システム３０００（図１Ａ～図１Ｄのシステム１０００／１０００Ａ／１０００Ｂ／１０００Ｃの実施形態であり得る）を描写する。カメラ３２００は、カメラ１２００の実施形態であってもよく、カメラ３２００のカメラ視野３２１０内の情景を表す、またはより具体的には、物体３５１０、３５２０、３５３０、３５４０、および３５５０などのカメラ視野３２１０内の物体を表す、画像情報を生成するように構成され得る。一実施例では、物体３５１０～３５４０のおのおのは、例えば、箱または木枠などの容器であってもよく、一方で、物体３５５０は、例えば、容器が配置されるパレットであり得る。

物体３５１０～３５４０が、より具体的には、物体の物理的エッジを示す図３Ｂに示される。より具体的には、図は、物体３５１０の上部表面の物理的エッジ部３５１０Ａ～３５１０Ｄ、物体３５２０の上部表面の物理的エッジ部３５２０Ａ～３５２０Ｄ、物体３５３０の上部表面の物理的エッジ部３５３０Ａ～３５３０Ｄ、および物体３５４０の上部表面の物理的エッジ部３５４０Ａ～３５４０Ｄを示す。図３Ｂの物理的エッジ（例えば、３５１０Ａ～３５１０Ｄ、３５２０Ａ～３５２０Ｄ、３５３０Ａ～３５３０Ｄ、および３５４０Ａ～３５４０Ｄ）は、物体３５１０～３５４０のそれぞれの上部表面の外縁であり得る。一部の実例では、物体の表面の物理的エッジ（例えば、３５１０Ａ～３５１０Ｄ）は、表面の輪郭を画定し得る。物体が、複数の非同一平面表面（複数の面とも呼ばれる）を有する多面体（例えば、立方体）を形成する場合、一つの表面の物理的エッジは、表面が物体の別の表面と交わる境界を形成し得る。

実施形態では、カメラ視野内の物体は、物体の外側表面上に、視覚的マーキングなどの視覚的詳細（可視詳細とも呼ぶ）を有し得る。例えば、図３Ａおよび３Ｂでは、物体３５１０、３５２０、３５３０、３５４０は、物体３５１０～３５４０のそれぞれの外側表面（例えば、上部表面）上に、それぞれ印刷されるか、またはそうでなければ配置される視覚的マーキング３５１２、３５２２、３５３２、３５４２を有し得る。実施例として、視覚的マーキングは、可視線（例えば、直線または曲線）、多角形、視覚的パターン、または他の視覚的マーキングなどの可視形状を含み得る。一部のシナリオでは、視覚的マーキング（例えば、可視線）は、物体の外側表面上に表示されるシンボルまたは図面を形成してもよく、またはその一部であり得る。記号は、例えば、ロゴまたは文字（例えば、英数字）を含み得る。一部のシナリオでは、容器の外側表面または他の物体上の視覚的詳細は、容器の外側表面上に配置される材料の層（例えば、包装テープのストリップまたは郵送用ラベルのシート）の輪郭によって形成され得る。

実施形態では、図３Ａのシステム３０００は、光源３６００などの一つまたは複数の光源を含み得る。光源３６００は、例えば、発光ダイオード（ＬＥＤ）、ハロゲンランプ、または任意の他の光源であってもよく、可視光、赤外線、または物体３５１０～３５５０の表面に向かって任意の他の形態の光を放射するように構成され得る。実施形態によっては、計算システム１１００は、光源３６００と通信して、光源３６００が起動されたときを制御するように構成され得る。他の実装では、光源３６００は、計算システム１１００とは独立して動作し得る。

実施形態では、図３Ｃに示すように、システム３０００は、カメラ視野３２１０Ａを有するカメラ３２００Ａ（カメラ１２００Ａの実施形態であり得る）を含み、カメラ視野３２１０Ｂを有するカメラ３２００Ｂ（カメラ１２００Ｂの実施形態であり得る）を含む、複数のカメラを含んでもよい。カメラ３２００Ａは、例えば、２Ｄ画像または他の２Ｄ画像情報を生成するように構成される、２Ｄカメラであってもよく、一方で、カメラ３２００Ｂは、例えば、３Ｄ画像情報を生成するように構成される、３Ｄカメラであり得る。２Ｄ画像（例えば、カラー画像またはグレースケール画像）は、カメラ視野３２１０／３２１０Ａにおける、物体３５１０～３５５０などの一つまたは複数の物体の外観を記述し得る。例えば、２Ｄ画像は、物体３５１０～３５４０の外側表面（例えば、上部表面）上に配置される視覚的マーキング３５１２～３５４２、および／またはそれらの外側表面の輪郭などの視覚的詳細を捕捉してもよく、または他の方法で、表し得る。実施形態では、３Ｄ画像情報は、物体３５１０～３５５０のうちの一つまたは複数の構造を記述してもよく、物体の構造は、物体の構造または物体の物理的構造とも呼ばれ得る。例えば、３Ｄ画像情報は、奥行きマップを含んでもよく、より一般的には、カメラ３２００Ｂに対する、またはいくつかの他の基準点に対する、カメラ視野３２１０／３２１０Ｂのさまざまな位置のそれぞれの奥行き値を記述し得る、奥行き情報を含んでもよい。それぞれの奥行き値に対応する位置は、物体３５１０～３５５０のそれぞれの上部表面上の位置などの、カメラ視野３２１０／３２１０Ｂのさまざまな表面上の位置（物理的位置とも称する）であり得る。一部の実例では、３Ｄ画像情報は、物体３５１０～３５５０、またはカメラ視野３２１０／３２１０Ｂ内のいくつかの他の物体の一つまたは複数の外側表面上のさまざまな位置を記述する、複数の３Ｄ座標を含み得る、点群を含み得る。

図３Ａおよび図３Ｂの実施例では、ロボット３３００（ロボット１３００の実施形態であり得る）は、ロボット基部３３１０に取り付けられる一端を有し、かつロボットグリッパなどのエンドエフェクター装置３３３０に取り付けられるか、またはそれらによって形成される別の端を有する、ロボットアーム３３２０を含み得る。ロボット基部３３１０は、ロボットアーム３３２０を装着するために使用され得るが、ロボットアーム３３２０、より具体的には、エンドエフェクター装置３３３０は、ロボット３３００の環境で一つまたは複数の物体（例えば、３５１０／３５２０／３５３０／３５４０）と相互作用するために使用され得る。相互作用（ロボット相互作用とも呼ぶ）は、例えば、物体３５１０～３５４０の少なくとも一つをつかむか、または他の方法でピックアップすることを含み得る。例えば、ロボット相互作用は、ロボット３３００が、物体３５５０（例えば、パレットまたは他のプラットフォーム）から物体３５１０～３５４０（例えば、箱）をピックアップし、および物体３５１０～３５４０を目的地の位置に動かすために使用される、パレットから降ろす動作の一部であり得る。

上で論じたように、本開示の一態様は、一つまたは複数の物体を表す画像情報に基づいて、箱のグループなど、物体のグループの一つまたは複数の物理的エッジの検出を実施することまたは促進することに関する。図４は、物理的エッジ検出を実施または促進するための、あるいはより具体的には、候補エッジを使用して、物体のグループの物理的エッジの少なくとも一つを表すべきかどうかを判定するための、例示的な方法４０００のフロー図を示す。より具体的には、本方法は、物理的エッジを表すことができる候補エッジを有するか、または偽エッジであり得る画像情報を受信することを伴い得る。偽エッジは、例えば、物体のグループのうちの一つの表面上に表示される可視線または他の視覚的マーキングを表す候補エッジであり得る。視覚的マーキングは、物理的エッジに似ているが、実際にはいかなる物理的エッジにも対応しない外観を有し得る。従って、方法４０００は、実施形態では、候補エッジが実際の物理的エッジに対応するかどうか、または候補エッジが偽エッジである可能性が高いかどうかについての信頼レベルまたは可能性を評価するために使用され得る。候補エッジが偽エッジである可能性が高い場合、および／または実際の物理的エッジに対応する十分な高い信頼レベルを持たない場合、方法４０００は、実施形態では、物体のグループの任意の物理的エッジを表すためのさらなる検討から候補エッジを除去するまたはより広くは除外し得る。

実施形態では、方法４０００は、例えば、図２Ａ～図２Ｄ、または図３Ａまたは３Ｃの計算システム１１００によって、またはより具体的には、計算システム１１００の少なくとも一つの処理回路１１１０によって行われてもよい。一部のシナリオでは、少なくとも一つの処理回路１１００が、非一時的コンピューター可読媒体（例えば、１１２０）上に記憶される命令を実行することによって、方法４０００を行ってもよい。例えば、命令によって、処理回路１１１０に、方法４０００を行い得る、図２Ｄに示されたモジュールのうちの一つまたは複数を実行させてもよい。実施例として、以下で論じるステップ４００２～４００８のうちの一つまたは複数は、物理的エッジ検出モジュール１１２５によって行われてもよい。方法４０００が、物体認識および／または物体登録を行うステップを含む場合、ステップは、例えば、物体認識／登録モジュール１１２８によって行われてもよい。方法４０００が、ロボット相互作用を計画すること、またはロボット相互作用移動コマンドを生成することを伴う場合、こうしたステップは、例えば、運動計画モジュール１１２９によって行われてもよい。実施形態では、方法４０００は、計算システム１１００が、図３Ａならびに図３Ｃのロボット３３００およびカメラ３２００／３２００Ａ／３２００Ｂなど、ロボットおよびカメラと、または本開示で論じる任意の他のカメラもしくはロボットと通信している環境で行われてもよい。図３Ａおよび図３Ｃに示されるような一部のシナリオでは、カメラ（例えば、３２００）は、静止構造（例えば、部屋の天井）に装着され得る。他のシナリオでは、カメラは、ロボットアーム（例えば、３３２０）、またはより具体的には、ロボット（例えば、３３００）のエンドエフェクター装置（例えば、３３３０）上に装着され得る。

実施形態では、方法４０００の一つまたは複数のステップは、物体のグループ（例えば、３５１０～３５５０）が、現在、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）のカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）にあるときに行われてもよい。例えば、方法４０００の一つまたは複数のステップは、物体のグループがカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）内に入った直後に、またはより一般的には、物体のグループがカメラ視野内にある間に、行われてもよい。一部のシナリオでは、方法４０００の一つまたは複数のステップは、物体のグループがカメラ視野内にあるときに行われてもよい。例えば、物体のグループがカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）にあるとき、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）は、物体のグループを表す画像情報を生成してもよく、画像情報を計算システム（例えば、１１００）に通信し得る。計算システムは、物体のグループがまだカメラ視野内にある間、または物体のグループがもはやカメラ視野内にないときでさえも、画像情報に基づいて方法４０００の一つまたは複数のステップを実施し得る。

実施形態では、方法４０００は、計算システム１１００が、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）のカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）内の物体のグループを表す画像情報を受信する、ステップ４００２から開始されてもよく、またはそうでなければ、ステップ４００２を含んでもよい。画像情報は、物体のグループがカメラ視野にある（またはあった）ときに、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）によって生成されてもよく、および、例えば、２Ｄ画像情報および／または３Ｄ画像情報を含み得る。例えば、図５Ａは、２Ｄ画像情報、またはより具体的には、カメラ３２００／３２００Ａによって生成され、図３Ａおよび図３Ｃの物体３５１０～３５５０を表す、２Ｄ画像５６００を示す。より具体的には、２Ｄ画像５６００（例えば、グレースケール、またはカラー画像）は、カメラ３２００／３２００Ａの視点からの物体３５１０～３５５０の外観を記述し得る。実施形態では、２Ｄ画像５６００は、カラー画像の単一色チャネル（例えば、赤、緑、または青のチャネル）に対応し得る。カメラ３２００／３２００Ａが物体３５１０～３５５０の上方に配置される場合、２Ｄ画像５６００は、物体３５１０～３５５０のそれぞれの上部表面の外観を表し得る。図５Ａの実施例では、２Ｄ画像５６００は、物体３５１０～３５５０のそれぞれの表面（例えば、上部表面）を表す、それぞれの部分５６１０、５６２０、５６３０、５６４０、および５６５０（画像部分とも呼ぶ）を含み得る。図５Ａでは、２Ｄ画像５６００の画像部分５６１０～５６５０の各画像部分は、画像領域、すなわちより具体的には、ピクセル領域（画像がピクセルによって形成される場合）であり得る。より具体的には、画像領域は、画像の領域であってもよく、ピクセル領域は、ピクセルの領域であり得る。一つまたは複数の画像部分５６１０～５５５０は、物体の表面上に目に見えるか、または現れる、視覚的マーキングまたは他の視覚的詳細を捕捉するか、または他の方法で表し得る。例えば、画像部分５６１０は、物体３６１０の上部表面上に印刷または他の方法で配置され得る図３Ｂの視覚的マーキング３６１２を表し得る。

図５Ｂは、ステップ４００２の画像情報が３Ｄ画像情報５７００を含む、実施例を示す。より具体的には、３Ｄ画像情報５７００は、物体３５１０～３５５０の一つまたは複数の表面（例えば、上部表面、または他の外側表面）上のさまざまな位置のそれぞれの奥行き値を示す、例えば、奥行きマップまたは点群を含み得る。例えば、３Ｄ画像情報５７００は、物体３５１０の表面上の一組の位置５７１０_１～５７１０_ｎ（物理的位置とも呼ぶ）のそれぞれの奥行き値を示す第一の部分５７１０（画像部分とも呼ぶ）と、物体３５２０の表面上の一組の位置５７２０_１～５７２０_ｎのそれぞれの奥行き値を示す第二の部分５７２０と、物体３５３０の表面上の一組の位置５７３０_１～５７３０_ｎのそれぞれの奥行き値を示す第三の部分５７３０と、物体３５４０の表面上の一組の位置５７４０_１～５７４０_ｎのそれぞれの奥行き値を示す第四の部分５７４０と、物体３５５０の表面上の一組の位置５７５０_１～５７５０_ｎのそれぞれの奥行き値を示す第五の部分５７５０とを含み得る。それぞれの奥行き値は、３Ｄ画像情報を生成するカメラ（例えば、３２００／３２００Ｂ）に対するものであってもよく、またはいくつかの他の基準点に対するものであり得る。一部の実装形態では、３Ｄ画像情報は、カメラ視野（例えば、３２１０／３２１０Ｂ）の中にある物体の構造上のさまざまな位置に対するそれぞれの座標を含む、点群を含み得る。図５Ｂの実施例では、点群は、物体３５１０～３５５０のそれぞれの表面上の位置を記述する、それぞれの座標セットを含み得る。座標は、［Ｘ Ｙ Ｚ］座標などの３Ｄ座標であってもよく、カメラ座標系、またはいくつかの他の座標系に対する値を有し得る。実施例として、カメラ座標系は、図３Ａ、３Ｃ、および５Ｂに示される、Ｘ、Ｙ、Ｚによって定義される。

実施形態では、ステップ４００２は、２Ｄ画像情報および３Ｄ画像情報の両方を受信することを伴い得る。一部の実例では、計算システム１１００は、２Ｄ画像情報を使用して、３Ｄ画像情報の限定を補償してもよく、その逆も可能である。例えば、カメラ視野の中の複数の物体が互いに近接して配置され、カメラ（例えば、３２００Ｂ）に対して実質的に等しい奥行きを有する場合、３Ｄ画像情報（例えば、５７００）は、実質的に等しい奥行き値を有する複数の位置を記述してもよく、特に、物体間の間隔が３Ｄ画像情報の解像度に対して狭すぎる場合、３Ｄ画像情報で表される個々の物体を区別するための詳細を欠いてもよい。一部の実例では、３Ｄ画像情報は、個々の物体を区別することの困難さをさらに増大させ得る、ノイズまたは他の誤差源のために、誤りまたは欠落した情報を有し得る。この実施例では、２Ｄ画像情報は、個々の物体間の物理的エッジを捕捉またはその他の方法で表すことによって、この詳細の欠如を補償し得る。しかしながら、一部の実例では、２Ｄ画像情報は、以下で論じるように、実際の物理的エッジに対応しない候補エッジであり得る、偽エッジを含み得る。いくつかの実装では、計算システム１１００は、ステップ４００６に関して以下で論じるように、２Ｄ画像情報が候補エッジで定義された暗さ条件を満たすかどうかを判定することによって、候補エッジが偽エッジである可能性を評価し得る。いくつかの実装では、計算システム１１００は、候補エッジが、３Ｄ画像情報が奥行きの急激な変化を記述する物理的位置に対応する時など、候補エッジが３Ｄ画像情報内の物理的エッジに対応するかどうかを判定し得る。こうしたシナリオでは、３Ｄ画像情報は、候補エッジが偽エッジであるかをチェックするために使用されてもよく、定義された暗さ条件の使用を補完または置換して、候補エッジが偽エッジであるか、または候補エッジが実際の物理的エッジに対応するかどうかを判定する、より堅牢な方法を提供し得る。

図４に戻ると、方法４０００は、一実施形態において、計算システム１１００が、ステップ４００２の画像情報から、物体のグループ（例えば、３５１０～３５５０）に関連付けられる複数の候補エッジを識別する、ステップ４００４を含み得る。実施形態では、候補エッジは、物体または物体のグループの物理的エッジを表すための候補を形成する、画像位置または物理的位置のセットであってもよく、またはそれを含んでもよい。一実施例では、画像情報が、一つまたは複数の物体を表すための２Ｄ画像を含む場合、候補エッジは、ピクセル位置（例えば、ピクセル位置［ｕ_１ ｖ_１］～［ｕ_ｋ ｖ_ｋ］）などの画像位置のセットを指し得る。ピクセル位置のセットは、物理的エッジに集合的に類似しているピクセルのセットに対応し得る。例えば、図６Ａは、計算システム１１００が、２Ｄ画像５６００から候補エッジ５６０１_１、５６０１_２、５６０１_３、５６０１_４、５６０１_５、５６０１_６、．．．５６０１_ｎを識別する実施例を示す。候補エッジ５６０１_１～５６０１_ｎの各候補エッジは、例えば、２Ｄ画像が画像強度の急激な変化を有する線または線分を画定する、ピクセル位置のそれぞれのセットを含んでもよく、またはそれらによって形成され得る。画像強度の急激な変化は、例えば、一方の画像領域が他方よりも暗い、互いに直に隣接する二つの画像領域の間で発生し得る。以下でより詳細に論じるように、候補エッジは、二つの画像領域の間の境界に基づいて形成され得る。こうした実施例では、境界は、上で論じた線または線分によって形成され得る。２Ｄ画像（例えば、５６００）から識別される候補エッジは、２Ｄ候補エッジまたは２Ｄエッジと呼んでもよい。

実施形態では、画像情報は、実際の物理的エッジに対応するいくつかの候補エッジを含んでもよく、偽エッジであるいくつかの候補エッジを含んでもよい。例えば、図６Ａの候補エッジ５６０１_１、５６０１_２、５６０１_５、５６０１_６は、物体のグループ３５１０～３５５０の実際の物理的エッジに対応するか、より具体的には、物理的物体３５１０に対応することができ、一方で、候補エッジ５６０１_３および５６０１_４は偽エッジであり得る。候補エッジ５６０１_３および５６０１_４は、例えば、物体３５１０の表面上に表示される可視線またはその他の視覚的マーキングを表し得る。これらの可視線は、物理的エッジに類似し得るが、物体３５１０～３５５０の実際の物理的エッジには対応しない。従って、ステップ４００８に関して以下で論じるように、方法４０００は、一実施形態では、物体のグループの物理的エッジのうちの少なくとも一つを表すために、特定の候補エッジを使用するべきかどうかを判定することを伴い得る。

一実施例では、画像情報が３Ｄ情報を含む場合、候補エッジは、画像位置のセットまたは物理的位置のセットを指し得る。実施例として、画像位置がピクセル位置である場合、それらは、物理的エッジのように見えるピクセルのセットに対応し得る。別の実施例では、３Ｄ画像情報が奥行きマップを含む場合、候補エッジは、奥行きマップに奥行きの急激な変化がある境界を形成し得る、例えば、線または線分を画定する、ピクセル位置のセットを含み得る。３Ｄ画像情報が、物体の表面上の（例えば、点群を介して）物理的位置の３Ｄ座標を記述する場合、候補エッジは、点群または他の３Ｄ画像情報の奥行きの急激な変化がある境界を形成し得る、例えば、仮想線または線分を画定する、物理的位置のセットを含み得る。例えば、図６Ｂは、計算システム１１００が、３Ｄ画像情報５７００から候補エッジ５７０１_１、５７０１_２、５７０１_３、５７０１_ｎを識別した実施例を示す。候補エッジ５７０１_１～５７０１_ｎの各候補エッジは、例えば、奥行きの急激な変化が生じる境界を画定する、物理的位置［Ｘ_１ Ｙ_１ Ｚ_１］～［Ｘ_ｐ Ｙ_ｐ Ｚ_１］のセットを含み得る。３Ｄ画像情報から識別される候補エッジは、３Ｄ候補エッジまたは３Ｄエッジと呼んでもよい。

実施形態では、計算システム１１００が２Ｄ候補エッジおよび３Ｄ候補エッジの両方を識別する場合、計算システム１１００は、２Ｄ候補エッジ（例えば、５６０１_５）のいずれかが、３Ｄ候補エッジ（例えば、５７０１_１）のうちの一つと共通の物理的エッジを表すか、またはその逆であるかを判定するように構成され得る。言い換えれば、計算システム１１００は、２Ｄ候補エッジのいずれかが３Ｄ候補エッジのうちの一つにマッピングするか、またはその逆であるかを判定し得る。マッピングは、例えば、２次元候補エッジの座標を、２Ｄ画像情報の座標系で表されることから３Ｄ画像情報の座標系で表されることまで変換すること、または３Ｄ次元候補エッジの座標を、３Ｄ画像情報の座標系で表されることから２Ｄ画像情報の座標系で表されることまで変換することに基づいてもよい。２Ｄ候補エッジから３Ｄ候補エッジまでのマッピングは、「ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＣＡＮＤＩＤＡＴＥ ＥＤＧＥＳ」と題する、米国特許出願第１６／７９１，０２４号（弁理士整理番号ＭＪ００４９－ＵＳ／００７７－０００９ＵＳ１）でより詳細に論じられ、その全体の内容が参照により本明細書に組み込まれる。

上述のように、計算システム１１００は、画像強度（例えば、ピクセル強度）の急激な変化がある２Ｄ画像情報内の画像位置（例えば、ピクセル位置）を識別することによって、２Ｄ画像または他の２Ｄ画像情報から候補エッジを識別し得る。いくつかの実施では、急激な変化は、一つの画像領域が他の画像領域よりも暗い、二つの画像領域の間の境界で生じ得る。例えば、二つの画像領域は、第一の画像領域および第二の画像領域を含み得る。第一の画像領域は、第二の画像領域を含み得る、一つまたは複数の直に隣接する領域よりも暗い２Ｄ画像の領域であり得る。画像領域の暗さは、画像情報（例えば、５６００）を生成するカメラ（例えば、３２００／３２００Ａ）によって、対応する物理的領域からどれだけの量の反射光が検出されたか、または他の方法で感知されたかを示し得る。より具体的には、暗い画像領域は、カメラが、対応する物理領域から比較的少量の反射光（または反射光なし）を感知したことを示し得る。実施形態によっては、画像領域の暗さは、画像領域の中の画像強度が、最小の可能な画像強度値（例えば、ゼロ）にどれほど近いかを示し得る。これらの実装では、暗い画像領域が、画像領域の画像強度値（複数可）がゼロに近いことを示してもよく、それよりも暗くない画像領域が、画像領域の画像強度値（複数可）が、最大の可能な画像強度値に近いことを示し得る。

実施形態では、第二の画像領域は、長方形バンドまたは線または線分などの細長い形状を有し得る。実施例として、図７Ａは、それぞれ、直に隣接する画像領域５６０５_１、５６０５_２、５６０５_３、５６０５_４、５６０５_５、５６０５_６よりも暗い、画像領域５６０３_１、５６０３_２、５６０３_３、５６０３_４、５６０３_５、５６０３_６の例を示す。画像５６００がピクセルを含む場合、図７Ａの画像領域は、ピクセル領域であり得る。画像領域５６０３_１～５６０３_４はそれぞれ、長方形バンドなどのピクセルのバンドであってもよく、および複数のピクセルの幅を有してもよく、画像領域５６０３_５および５６０３_６はそれぞれ、一つのピクセルの幅を有するピクセルの線であってもよく、または形成し得る。上述のように、候補エッジは、第一の画像領域（例えば、画像領域５６０３_１～５６０３_６のうちの一つ）と第二の画像領域（例えば、画像領域５６０５_１～５６０５_６のうちの一つ）との間よって形成されてもよく、またはそれらの境界に基づいて形成されてもよく、第一の画像領域は、第二の画像領域に直に隣接してもよく、第二の画像領域よりも暗くてもよく、画像強度における急激な変化が二つの画像領域の間の境界で生じてもよい。例えば、図７Ｂは、画像領域５６０３_１～５６０３_６と対応する直に隣接する画像領域５６０５_１～５６０５_６との間のそれぞれの境界によって画定または形成される、候補エッジ５６０１_１～５６０１_６を示す。実施例として、計算システム１１００は、候補エッジ５６０１_１を、一つの画像領域５６０５_１と別の暗い画像領域５６０３_１との間の境界を画定するピクセル位置のセットとして識別し得る。追加の実施例として、計算システム１１００は、候補エッジ５６０１_５を、一つの画像領域５６０５_５と暗い画像領域５６０３_５との間の境界を画定するピクセル位置のセットとして識別し得る。一部の実例では、候補エッジ５６０１_５のピクセル位置は、暗い画像領域５６０３_５に位置し得る。より具体的には、候補エッジ５６０１_５は、例えば、単一のピクセルの幅を有するピクセルの線であり得る画像領域５６０３_５であり得るか、または合致し得る。

実施形態では、計算システム１１００は、例えば、画像強度の急激な変化を検出し得る、画像エッジ検出技術に基づいて、候補エッジ５６０１_１～５６０１_６の一つなどの候補エッジを検出またはその他の方法で識別し得る。例えば、計算システム１１００は、ソベルオペレーター、プレウィットオペレーター、または２Ｄ画像内の強度勾配を決定するための他の技術を適用することによって、および／またはＣａｎｎｙエッジ検出器または他のエッジ検出技術を適用することによって２Ｄ画像内の候補エッジまたは他の画像情報を検出するように構成され得る。

実施形態では、計算システム１１００が、一つまたは複数の直に隣接する画像領域よりも暗いピクセルのバンドである２Ｄ画像内の画像領域を識別する場合、画像領域は、いくつかの環境では、候補エッジよりも多くを形成するのに十分な幅であり得る。例えば、図７Ｃは、画像領域５６０３_１～５６０３_４に基づいて、追加の候補エッジ５６０１_７～５６０１_１０を識別する計算システム１１００を示す。より具体的には、追加の候補エッジ５６０１_７～５６０１_１０は、画像領域５６０３_１～５６０３_４と、直に隣接する画像領域５６０７_１～５６０７_４との間のそれぞれの境界を画定する、ピクセル位置のそれぞれのセットであり得る。より具体的な例として、この実施例の画像領域５６０３_２は、画像エッジ検出技術が、図７Ｂに示されるように、画像領域５６０３_２の一方の側（例えば、右側）と直に隣接する領域５６０５_２との間の境界によって形成される候補エッジ５６０１_２を識別し、および図７Ｃに示されるように、画像領域５６０３_２の反対側（例えば、左側）と直に隣接する領域５６０７_２との間の境界によって形成される別の候補エッジ５６０１_８をさらに識別するように、十分に広くてもよい。実施形態では、画像領域は、画像エッジ検出技術が、画像領域から単一の候補エッジのみを識別し得るように非常に狭くてもよい。こうした実施形態では、画像領域は、単一のピクセル、または数ピクセルの幅を有し得る。例えば、上述のように、画像領域５６０３_５は、ピクセルの線を形成してもよく、一つのピクセルの幅を有し得る。この実施例では、計算システム１１００は、画像領域５６０３_５に基づいて単一の候補エッジ５６０１_５のみを識別してもよく、候補エッジ５６０１_５は、例えば、画像候補エッジ５６０１_５が、画像領域５６０３_５を形成するピクセルの線であり得るか、または重複し得るように、画像領域５６０３_５と合致し得る。

図４に戻ると、方法４０００は、実施形態で、ステップ４００４の複数の候補エッジが、第一の画像領域と第二の画像領域との間の境界によって形成される第一の候補エッジを含むときに行われてもよい、ステップ４００６を含み得、第一の画像領域は、画像強度において第二の画像領域よりも暗くてもよく、第二の画像領域に直に隣接し得る。この実施例では、第一の画像領域および第二の画像領域は、２Ｄ画像（例えば、５６００）または他の画像情報によって記述される領域であり得る。例えば、図７Ａ～７Ｃは、複数の候補エッジ５６０１_１～５６０１_ｎの例を提供し、ステップ４００６の第一の候補エッジは、複数の候補エッジ５６０１_１～５６０１_ｎのうちのいずれか一つであり得る。上述のように、第一の候補エッジは、第一の画像領域と第二の明るい画像領域との間の境界によって形成されてもよく、またはそれらに基づいて形成され得る。実施例として、第一の候補エッジが候補エッジ５６０１_１である場合、第一の画像領域は、画像領域５６０３_１であってもよく、第二の画像領域は、５６０５_１であり得る。別の例として、第一の候補エッジが候補エッジ５６０１_２である場合、第一の画像領域は画像領域５６０３_２であってもよく、第二の画像領域は画像領域５６０５_２であり得る。

ステップ４００６で、計算システム１１００は、画像情報（例えば、２Ｄ画像５６００）が、第一の候補エッジ（例えば、５６０１_２）で定義された暗さ条件を満たすかどうかを判定し得る。こうした決定は、より具体的には、例えば、第一の画像領域（例えば、５６０３_２）が定義された暗さ条件を満たすかどうかを判定することを含み得る。実施形態では、定義された暗さ条件を使用して、第一の候補エッジ（例えば、５６０１_２）が、カメラ視野（例えば、３２１０／３２１０Ａ）中の物体（例えば、３５１０）の実際の物理的エッジに対応するか、または第一の候補エッジが偽エッジであるかを判定することができる。

実施形態では、定義された暗さ条件は、画像プライア、またはより具体的には、ダークプライアを検出するために使用され得る。画像プライアは、特定の状況中に画像内に現れる可能性を有するか、または画像内に予期され得る、画像特徴を指し得る。より具体的には、画像プライアは、画像が、カメラ視野において互いに隣り合わせに置かれる箱または他の物体のグループを表すために生成される状況など、このような状況で生成される画像にどのような画像特徴（複数可）があるかの予期、期待、または予測に対応し得る。実例によっては、ダークプライアは、高レベルの暗さを有する、および／またはスパイク形状の画像強度プロファイル（例えば、ピクセル強度プロファイル）を有する画像特徴を指し得る。スパイク形状の画像強度プロファイルは、暗さのスパイク増加および／または画像強度のスパイク減少を伴い得る。ダークプライアは、物体の一部または全ての間に狭い、物理的ギャップのみが存在するように、カメラ視野内の箱または他の物体のグループが互いに十分に近接して配置される状況に対応し得る。より具体的には、ダークプライアは、物体のグループを表すためにそのような状況で画像が生成されるとき、物理的ギャップが画像内で非常に暗く見えるであろうという予期、期待、または予測に対応し得る。より具体的には、ダークプライアは、以下でより詳細に論じるように、物理的ギャップを表す画像中の画像領域が高レベルの暗さを有するとの予期または予測に対応してもよく、および／またはスパイク形状の画像強度プロファイルを有し得る。いくつかの実施では、候補エッジに関連付けられる画像領域が、二つの物体間の物理的ギャップに対応するかどうかを評価することによって、候補エッジが、物理的エッジに対応するかどうかを判定するために、ダークプライアを使用し得る。

実施形態では、一部のシナリオでは、ダークプライアを検出するための条件であり得る、定義された暗さ条件は、二つの物体間（例えば、図３Ａ～３Ｃの３５１０および３５２０）の物理的ギャップがどのようになっているのかというモデルに基づいてもよく、特に物理的ギャップが狭い場合（例えば、５ｍｍ未満または１０ｍｍ未満）、２Ｄ画像に表示される必要がある、または表示される可能性が高い。例えば、定義された暗さ条件は、拡散反射率のランバートモデルに基づいてもよい。反射率のこうしたモデルは、一つまたは複数の表面または領域、特に入射光の拡散反射を引き起こす表面または領域から光がどのように反射するかを推定し得る。従って、モデルは、表面または表面領域からの反射光の強度を推定してもよく、反射光を感知するカメラ（例えば、３２００／３２００Ａ）によって生成される画像において、表面または表面領域がどれほど明るく、またはどれほど暗いかを示し得る。

ランバートモデルが物体のグループ（例えば、図３Ａ～３Ｃの３５１０～３５５０）にどのように適用されるかの実施例として、図８は、物体３５１０、３５２０のさまざまな表面からくる反射光を感知することによって、少なくとも物体３５１０および３５２０を表す画像（例えば、５６００）を生成するように構成される、カメラ３２００Ａを描写する。一部のシナリオでは、反射光は、光源３６００からの放射光の反射であり得る。より具体的には、光源３６００は、物体３５１０、３５２０に向かって少なくともベクトルに沿って光を放射し得る。

この実施例では、物体３５１０および３５２０は、互いに隣接して配置されてもよく、物体３５１０の物理的エッジ部３５１０Ｂと物体３５２０の物理的エッジ部３５２０Ｄとの間の空間であり得る狭い物理的ギャップｇによって分離され得る。図８のシナリオでは、画像（例えば、５６００）中の物理的ギャップｇの画像強度は、物体３５１０の表面３５１０Ｅ（例えば、側面）などの物理的ギャップを形成するさまざまな表面から反射光の量に依存し得る。拡散反射率のランバートモデルの下で、特定の表面からの反射光の強度は、ｃｏｓαに比例するか、または他の方法でそれ基づいてもよく、ここで、αは、入射光のベクトル

と表面（例えば、３５１０Ｅ）の法線ベクトル

との間の角度である。図８Ａでは、ベクトル

と表面３５１０Ｅの法線ベクトル

との間の角度αは、実質的に９０度であってもよく、その結果、表面３５１０Ｅからの反射光の強度が極めて低くてもよく、または一部の状況ではゼロであり得る。従って、二つの物体間の物理的ギャップを表す画像領域は、極めて高いレベルの暗さを有し得る。従って、ステップ４００６の定義された暗さ条件は、いくつかの実装では、画像領域が、二つの物体間の物理的ギャップを表すことを示すために十分に暗いかどうかを評価するために使用され得る、定義された暗さ閾値基準を含んでもよい。

一部の状況では、物理的ギャップは、その周辺よりもその真ん中で暗いように見え得る。すなわち、何らかの反射光が物理的ギャップを離れる場合、より多くの反射光が、物理的ギャップの真ん中からよりも物理的ギャップの外周から来てもよい。周辺部は、例えば、物理的エッジ部３５２０Ｄまたは物理的エッジ部３５１０Ｂに近い、物理的ギャップ内の位置を指し得る。一部のシナリオでは、物理的ギャップの真ん中に暗さのピークレベルが生じ得る。従って、物理的ギャップを表す画像領域は、画像強度プロファイルが、暗さのスパイク増加または画像領域内の画像強度のスパイク減少を有する、スパイク形状の画像強度プロファイル（例えば、ピクセル強度プロファイル）を有し得る。従って、ステップ４００６で定義された暗さ条件は、一部の状況では、画像領域が、例えば、スパイク形状の画像強度プロファイル（例えば、ステップ形状の画像強度プロファイルとは対照的に）を有するかどうかを評価するために、定義されたスパイク強度プロファイル基準を含み得る。

実施形態では、定義された暗さ条件は、例えば、非一時的コンピューター可読媒体１１２０または他の場所に格納される一つまたは複数の規則、基準、または他の情報によって定義され得る。例えば、情報は、暗さ閾値基準を満たすことによってのみ、スパイク強度プロファイル基準を満たすことによってのみ、両方の基準を満たすことによってのみ、または暗さ閾値基準もしくはスパイク強度プロファイル基準のいずれかを満たすことによってのみ、暗さ条件が満たされるかどうかを定義し得る。一部の実例では、定義された暗さ条件が、事前に定義された暗さ条件であり得るように、情報は、手動でまたは他の方法で事前に定義されてもよく、非一時的コンピューター可読媒体１１２０に記憶され得る。実例によっては、暗さ条件についての情報が動的に定義され得る。

実施形態では、定義された暗さ閾値基準および／または定義されたスパイク強度プロファイル基準は、非一時的コンピューター可読媒体１１２０または他の場所に格納される情報によって定義され得る。情報は、定義された暗さ閾値基準および／または定義されたスパイク強度プロファイル基準が、所定の基準（単数または複数）であり得るように、事前に定義され得る。実施形態では、本開示のさまざまな所定の閾値または他の所定の値は、非一時的コンピューター可読媒体１１２０または他の場所に保存値として手動で定義され得る。例えば、以下で論じる定義された暗さ閾値または定義された奥行き差閾値は、コンピューター可読媒体１１２０上に記憶される値であり得る。これらは、所定の値であってもよく、または動的に定義され得る。

図９Ａ～９Ｃは、画像情報（例えば、５６００）が候補エッジ５６０１_２で定義された暗さ条件を満たすか、より具体的には、画像領域５６０３_２が定義された暗さ条件を満たすかどうかを評価するための実施形態を示す。画像領域５６０３_２は、図８の物体３５１０などの第一の物体と、物体３５２０などの第二の物体との間の物理的ギャップを表し得る。実施形態では、候補エッジ５６０１_２は、物体３５１０の物理的エッジ５６１０Ｂを表してもよく、画像領域５６０３_２と直に隣接する画像領域５６０５_２との間の境界によって、またはその境界に基づいて形成され得る。この実施例では、画像領域５６０３_２は、第一の画像領域であってもよく、画像領域５６０５_２は、第二の画像領域であり得る。より具体的には、画像領域５６０３_２は、ピクセルのバンドを形成する第一のピクセル領域であってもよく、一方、画像領域５６０５_２は、第二のピクセル領域であってもよく、故に候補エッジ５６０１_２は、例えば、第一のピクセル領域と第二のピクセル領域との間の境界を画定するピクセル位置のセットを含んでもよく、またはそれによって形成され得る。上で論じたように、計算システム１１００は、例えば、画像領域５６０３_２、５６０５_２の間の画像強度（例えば、ピクセル強度）の急激な変化を検出することによって、候補エッジ５６０１_２を識別し得る。

実施形態では、候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成され、第一の画像領域が第二の画像領域よりも暗い場合、計算システム１１００は、第一の画像領域が定義されたスパイク強度プロファイル基準を満たす場合、定義された暗さ条件を満たすと決定し得る。より具体的には、計算システムは、第一の画像領域が、画像強度が、第一の画像領域内の暗闇において、第一の画像領域内の位置での暗さのピークレベルに向かって増加し、そしてその後、暗闇の中で減少する、形などの、その画像強度プロファイル（例えば、ピクセル強度プロファイル）に対して特定の形状を持っている場合、第一の画像領域（例えば、５６０３_２）が、定義されたスパイク強度プロファイル基準を満たすと決定することができる。こうした基準は、画像強度プロファイルが、画像領域内の暗さのスパイク増加、または画像領域内の強度のスパイク減少を有する、スパイク形状の強度プロファイルと一致し得る。こうした基準は、画像に現れる任意の物理的ギャップが、ギャップの外周に対して、ギャップの真ん中でより暗く見えることが予期される、ダークプライアを検出することと関連付けられ得る。

図９Ｂは、定義されたスパイク強度プロファイル基準を満たすことができる、画像強度プロファイル９００１、またはより具体的には、ピクセル強度プロファイルを示す。より具体的には、画像強度プロファイルは、画像強度、すなわちより具体的には、ピクセル強度が、ピクセル位置などの画像位置の関数としてどのように変化するかを記述する情報を含み得る。実施形態によっては、画像強度プロファイルは、画像内の位置の関数として、画像強度の値を記述する曲線またはグラフによって表され得る。例えば、図９Ｂは、軸５６０９に沿った特定の方向におけるピクセル位置の関数として、画像強度の値、すなわちより具体的には、ピクセル強度値を記述する、曲線またはグラフを、画像強度プロファイル９００１として描写する。軸５６０９は、画像領域５６０３_２の幅寸法を横切って、それに沿って延在する軸であってもよく、軸５６０９に沿った方向は、軸５６０９に沿った特定の方向であり得る。図９Ｂの実施例では、幅寸法は、例えば、図５Ａの画像５６００の座標軸ｕと整列され得、軸５６０９に沿った方向は、その方向に沿ったピクセル座標［ｕ，ｖ］が、ｕの値が増加する、正の方向であり得る。

実施形態では、計算システム１１００は、画像領域５６０３_２が、（ｉ）画像強度（例えば、ピクセル強度）が第一の方向（例えば、軸５６０９に沿った正の方向）に沿った位置の関数としての第一の画像領域内の暗さにおいて増加し、第一の画像領域内の位置ｕ_１で暗さのピークレベル（例えば、９００２）に到達する、第一のプロファイル部分（例えば、９０１１）と、その後に（ｉｉ）画像強度が、同じ方向（例えば、正の方向）に沿った位置の関数として、暗さのピークレベルから離れて、第一の画像領域内の暗さにおいて減少する、第二のプロファイル部分（例えば、９０１２）とを含む、ピクセル強度プロファイル（例えば、９００１）を有するかどうかを判定することによって、画像領域５６０３_２が定義されたスパイク強度プロファイル基準を満たすかどうかを判定することができる。図９Ｂの画像強度プロファイル９００１は、より具体的には、画像領域９５０３_２内の画像強度のスパイク減少を有するスパイク形状の強度プロファイルであり得る。

いくつかの実施では、暗さが増大する画像強度プロファイルは、画像強度が減少している値を有する画像強度プロファイルに対応し得る。例えば、画像（例えば、５６００）は、最小の可能なピクセル強度値（例えば、ゼロ）から、最大の可能なピクセル強度値（例えば、８ビットでコードされたピクセル強度値に対して２５５）の範囲内にあるピクセル強度値を有し得る。この実施例では、ピクセル強度値が低いと、明るさのレベルが低いため、暗さのレベルが高くてもよい、一方で、ピクセル強度値が高いと、明るさのレベルが高いため、暗さのレベルが低くてもよい。さらにこの実施例では、画像強度プロファイルの暗さのピークレベル（例えば、９００２）は、画像強度プロファイル（例えば、９００１）の最小画像強度値に対応し得る。

上の実施例では、計算システム１１００は、画像強度プロファイルが、画像強度値（例えば、ピクセル強度値）が、最小画像強度値に向かって画像強度の減少を開始し、その後、最小画像強度値から離れて画像強度を増加させるように切り替わる形状を有するかどうかを判定することによって、画像領域が、定義されたスパイク強度プロファイル基準を満たすかどうかを判定し得る。例えば、図９Ｂの画像強度プロファイル９００１は、画像領域５６０３_２の幅寸法にわたって延在する一連のピクセルに対するそれぞれのピクセル強度値を記述し得る。計算システム１１００は、画像強度プロファイルが、それぞれのピクセル強度値が画像領域５６０３_２内の最小ピクセル強度値に向かって減少し、その後、最小ピクセル強度値から離れて画像領域５６０３_２内で増加するように切り替わる形状を有するかどうかを判定することによって、画像領域５６０３_２がスパイク強度プロファイル基準を満たすかどうかを判定することができる。この実施例では、最小ピクセル強度値は、画像強度プロファイル９００１における暗さのピークレベル９００２に対応し得る。

実施形態では、候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成され、第一の画像領域が第二の画像領域よりも暗い場合、定義された暗さ閾値基準を満たすことは、定義された暗さ閾値との比較を伴い得る。こうした基準は、画像中に存在する任意の物理的ギャップが、外観上非常に暗いと予想される、ダークプライアを検出することに対応し得る。図９Ｃは、画像領域５６０３_２および直に隣接する画像領域に対する別の画像強度プロファイル９００３を示す。この実施例では、第一の画像領域は、第二のより明るい画像領域（例えば、５６０５_２）に直に隣接する画像領域５６０３_２であってもよく、一方で暗い画像領域５６０３_２は、第一の画像領域であり得る。上述のように、画像領域５６０３_２は、ピクセルのバンドを形成し得る。図９Ｃで、計算システム１１００は、画像領域５６０３_２が、定義された暗さ閾値τ_{ｄａｒｋ＿ｐｒｉｏｒ}よりも画像強度が暗い少なくとも一つの部分を有するかどうかを判定することによって、画像領域５６０３_２が定義された暗さ閾値基準を満たすかどうかを判定し得る。上述のように、より高いレベルの暗さは、一部の例では、より低い画像強度値に対応し得る。こうした実例では、計算システム１１００は、画像領域５６０３_２が、定義された暗さ閾値のτ_{ｄａｒｋ＿ｐｒｉｏｒ}よりも小さい画像強度値（例えば、ピクセル強度値）を有する画像強度プロファイルを有するかどうかを判定し得る。一部の状況では、計算システム１１００は、より具体的には、画像強度プロファイル９００３の最小強度値が、定義された暗さ閾値であるτ_{ｄａｒｋ＿ｐｒｉｏｒ}以下であるかを判定してもよく、最小強度値は、強度プロファイル９００３の暗さのピークレベル９００４に対応し得る。実施形態では、画像領域５６０３_２が画像強度プロファイル９００３を有する場合、定義された暗さ閾値基準および定義されたスパイク強度プロファイル基準の両方を満たすことができる。

実施形態では、計算システム１１００は、定義された暗さ閾値基準または定義されたスパイク強度プロファイル基準のうちの少なくとも一つが、上記の基準のうちのいずれか一つが、定義された暗さ条件を満たすために使用され得るように、満たされた場合、候補エッジおよび／または画像領域に対して定義された暗さ条件が満たされると判定し得る。実施形態では、計算システム１１００は、定義されたスパイク強度プロファイル基準が、（定義された暗さ閾値基準が満たされるかどうかに関係なく）満たされるという判定に応答してのみ、定義された暗さ閾値基準が、（定義されたスパイク強度プロファイル基準が満たされるかどうかに関係なく）満たされるという判定に応答してのみ、または、定義された暗さ閾値基準と定義されたスパイク強度プロファイル基準の両方が満たされるという判定に応答してのみ、定義された暗さ条件が、満たされると判定することができる。

実施形態では、計算システム１１００は、２Ｄ画像５６００などの２Ｄ画像情報に基づいて、候補エッジ（例えば、５６０１_２）を識別し、候補エッジが定義された暗さ条件を満たすかどうかを判定し得る。上述のように、計算システム１１００が２Ｄ画像情報および３Ｄ画像情報の両方を受信する場合、計算システム１１００は、２Ｄ画像情報を使用して、３Ｄ画像情報の制限を補償するか、または３Ｄ画像情報の欠如を補償してもよく、その逆もまた可能である。例えば、カメラ（例えば、３２００Ｂ）が物体のグループを表すために３Ｄ画像情報を生成するとき、３Ｄ画像情報は、特に物体のグループがカメラに対して等しい奥行き値を有する場合、グループ内の個々の物体を区別するための情報を欠いてもよい。より具体的には、３Ｄ画像情報は、物体間の狭い物理的ギャップを検出するための情報を欠いてもよく、それゆえ、物理的ギャップに関連する物理的エッジを識別する際に限定的な有用性を有し得る。

実施例として、図９Ｄは、図５Ｂの３Ｄ画像情報５７００の部分５７１５に関連する奥行き値を示す。より具体的には、部分５７１５は、物体３５２０の上部表面上の物理的位置５７２０_ａ～５７２０_ａ＋５、および物体３５１０の上部表面上の位置５７１０_ｂ～５７１０_ｂ＋４に対するそれぞれの奥行き値を記述し得る。これらの物理的位置は、画像領域５６０３_２内またはその周りにある画像位置、または候補エッジ５６０１_２の周りにある画像位置に対してマッピングされてもよく、またはそうでなければそれに対応し得る。図８に示すように、画像領域５６０３_２は、物体３５１０、３５２０の間の物理的ギャップｇを表し得る。上述のように、計算システム１１００は、３Ｄ画像情報を使用して、奥行きの急激な変化がある一つまたは複数の位置を検出しようとし得る。しかし、図８の物理的ギャップは、３Ｄ画像情報５７００によって捕捉される３Ｄ画像情報の解像度に対して狭すぎるか、またはそうでなければ小さすぎてもよい。従って、図９Ｄの実施例では、計算システム１１００は、位置５７２０_ａ～５７２０_ａ＋５および５７１０_ｂ～５７１０_ｂ＋４に、奥行きの急激な変化がないと判定し、それゆえ、３Ｄ画像情報がそれらの位置でいずれの候補エッジも示さないと判定し得る。さらに、一部の状況では、３Ｄ画像情報は、位置５７２０_ａ～５７２０_ａ＋５および５７１０_ｂ～５７１０_ｂ＋４の一部について、またはより具体的には、候補エッジ５６０１_１に対応する一つまたは複数の位置について、奥行き情報を欠落し得る。一部の状況では、候補エッジ５６０１_１をマッピングするか、または他の方法で対応する３Ｄ画像情報の一部分は、非一時的コンピューター可読媒体１１２０に定義された値であり得る、定義されたノイズ許容閾値よりも大きい撮像ノイズのレベルによって影響され得る。上記の実施例では、２Ｄ画像情報は、物体３５１０の物理的エッジ３５１０Ｂを表す候補エッジ５６０１_１を含んでもよく、物体３５１０と物体３５２０との間の物理的ギャップを表さない画像領域５６０３_２を含んでもよいため、２Ｄ画像情報は、３Ｄ画像情報のこれらの制限を補償し得る。３Ｄ画像情報の限定を含む上記の実施例では、計算システム１１００は、物体のグループの物理的エッジ（例えば、３５１０Ｂ）のうちの一つを表すために、候補エッジ５６０１_２を使用するべきかどうかを判定するために、定義された暗さ条件をさらに使用し得る。

図１０Ａ～１０Ｃは、候補エッジ５６０１_４および／または画像領域５６０３_４が定義された暗さ条件を満たすかどうかを判定するための実施例を示す。画像領域５６０３_４は、物体３５１０の上部表面上に印刷された可視線などの、図３Ｂの視覚的マーキング３５１２を表し得る。この実施例では、画像領域５６０３_４は、画像領域５６０５_４および５６０７_４など、直に隣接している画像領域よりも暗くてもよい。候補エッジ５６０１_４は、暗い画像領域５６０３_４と直に隣接する領域５６０５_４との間の境界に基づいて形成され得る。

図１０Ｂは、画像強度プロファイル１０００１が、画像強度プロファイル１０００１が、暗さのピークレベルに向かって位置の関数として暗さが増大し、その後暗さのピークレベルから離れて暗さが減少する形で、画像領域５６０３_４内で変化しないため、定義されたスパイク強度プロファイル基準を満たさない画像強度プロファイル１０００１を有する画像領域５６０３_４を示す。この実施例の画像強度プロファイル１０００１は、画像領域５６０３_４の幅寸法と整列され得る、軸５６０８に沿ったピクセル位置の関数として、ピクセル強度値を記述し得る。上述のように、スパイク強度プロファイル基準は、物体の物理的エッジ間の物理的ギャップが、物理的ギャップの外周に対して、物理的ギャップの真ん中でより暗く見えてもよいという予期に対応し得る。従って、物理的ギャップを表す画像領域は、画像領域内の画像位置の関数として変化し、より具体的には、物理的ギャップの周辺に対応する画像位置から物理的ギャップの中央に対応する画像位置へ、特定の方向に沿った画像位置の関数として暗さが増加し、およびその後、同じ方向に沿った位置の関数として暗さが減少する、画像強度プロファイルを有し得る。より具体的には、画像強度プロファイルは、物理的ギャップを表す画像領域における暗さのスパイク増加または画像強度のスパイク減少を有し得る。実施形態では、代わりに視覚的線または他の視覚的マーキングを表す画像領域は、こうした画像強度プロファイルを欠いてもよく、代わりに、画像領域内により均一なレベルの暗さを有し得る。従って、図１０Ｂに示すように、視覚的マーキング３５１２の一部を表す画像領域５６０３_４は、プロファイル１０００１が、画像領域５６０３_４内で実質的に変化しないように、画像領域５６０３_４内でより均一である画像強度プロファイル１０００１を有し得る。さらに、画像強度プロファイル１０００１は、画像領域５６０３_４の境界で、より明るい隣接画像領域（例えば、５６０５_４）と関連付けられる画像強度から、画像領域５６０３_４内の一様な画像強度まで、画像強度の段差形状の変化を有し得る。従って、画像強度プロファイル１０００１は、画像領域５６０３_４を横断する特定の方向に沿って、暗さのピークレベルに向かって、暗さを増大させることによって始まり、その後、その方向に沿って暗さを減少することに切り替える形状を有しない。より具体的には、画像強度プロファイル１０００１は、画像強度のスパイク減少を示さない。従って、この実施例の計算システム１１００は、画像領域５６０３_４が、２Ｄ画像５６００が、候補エッジ５６０１_４および／または画像領域５６０３_４で定義された暗さ条件を満たさないとの判定をもたらし得る、定義されたスパイク強度プロファイル基準を満たさないと判定することができる。

図１０Ｃは、画像強度プロファイル１０００３が、画像領域５６０３_４が十分に暗くないことを示し得るため、定義された暗さ閾値基準を満たすことができない場合がある、画像強度プロファイル１０００３を有する、画像領域５６０３_４を描写する。より具体的には、計算システム１１００は、画像領域５６０３_４の画像強度プロファイル１０００３内のピクセル強度値のほとんどまたは全てが、定義された暗さ閾値のτ_{ｄａｒｋ＿ｐｒｉｏｒ}を超えると決定し得る。従って、図１０Ｃの計算システム１１００は、画像領域５６０３_４が、画像５６００が、候補エッジ５６０１_４および／または画像領域５６０３_４で定義された暗さ条件を満たさないとの判定をもたらし得る、定義された暗さ閾値基準を満たさないと判定し得る。画像強度プロファイル１０００３はまた、図１０Ｂについて上で論じたように、定義されたスパイク強度プロファイル基準を満たさなくてもよい。

実施形態では、画像領域は、画像領域が定義されたスパイク強度プロファイル基準を満たすかどうかの信頼できる評価を行うには小さすぎる幅を有し得る。例えば、画像領域は、単一のピクセルのみの幅、または数ピクセルのみの幅を有し得る。一部の実例では、計算システム１１００は、こうした画像領域が定義された暗さ条件を満たすものではないと判定し得る。他の例では、計算システム１１００は、画像領域が定義された暗さ閾値基準を満たすかどうかに基づいて、画像領域が定義された暗さ条件を満たすかどうかを判定し得る。一部の実例では、計算システム１１００は、定義された暗さ条件に関して、こうした画像領域または関連する候補エッジを評価しないことを決定し得る。

上述のように、本開示の一態様は、計算システム１１００が、２Ｄ画像５６００などの、少なくとも２Ｄ画像情報に基づいて、複数の候補エッジを識別する状況に関する。こうした実施形態では、複数の候補エッジは、２Ｄ画像に基づいて識別される少なくとも第一の候補エッジ（例えば、５６０１_１／５６０１_２／５６０１_３／５６０１_４）を含み得る。例えば、第一の候補エッジは、２Ｄ画像の二つの画像領域の間の境界に基づいて形成され得る。一部の実例では、計算システム１１００は、２Ｄ画像情報および３Ｄ画像情報に基づいて、複数の候補エッジを識別し得る。こうした例では、複数の候補エッジは、上述のように、２Ｄ画像情報からの第一の候補エッジを含んでもよく、３Ｄ画像情報に基づいて識別される、第二の候補エッジ（例えば、図６Ｂの５７０１_１）をさらに含んでもよい。

実施例として、図１１Ａ～１１Ｂは、３Ｄ画像情報５７００に基づいて、複数の候補エッジの第二の候補エッジとして、候補エッジ５７０１_１を識別する、計算システム１１００を示す。この実施例では、計算システム１１００は、３Ｄ画像情報５７００の第一の部分５７１０Ａと第二の部分５７５０Ａとの間の候補エッジ５７０１_１での奥行きの急激な変化を検出することに基づいて、候補エッジ５７０１_１を識別し得る。第一の部分５７１０Ａは、例えば、図３Ａ～３Ｃの物体３５１０の上部表面上の位置の領域を表し得る一方で、第二の部分５７５０Ａは、例えば、物体３５５０の上部表面上の位置の領域を表し得る。より具体的には、図１１Ｂに示すように、３Ｄ画像情報の第一の部分５７１０Ａは、物体３５１０の上部表面上にある位置５７１０_ｃ～５７１０_ｃ＋５に対するそれぞれの奥行き値を含んでもよく、一方で、第二の部分５７５０Ａは、物体３５５０の上部表面上にある位置５７５０_ｄ～５７５０_ｄ＋４に対するそれぞれの奥行き値を含んでもよい。この実施例では、位置５７１０_ｃ～５７１０_ｃ＋５および５７５０_ｄ～５７５０_ｄ＋４は、図１１ＡのＹ軸に沿って整列された一連の位置であり得る。

実施形態では、計算システム１１００は、３Ｄ画像情報５７００によって記述される一連の位置の二つの連続的な位置またはそうでなければ隣接する位置の間の奥行きの急激な変化を検出することに基づき、図１１Ｂの候補エッジ５７０１_１を識別し得る。こうした急激な変化は、奥行き不連続状態と呼んでもよい。急激な変化は、例えば、二つの位置のそれぞれの奥行き値間の差が、定義された奥行き差閾値を超えるときに検出され得る。例えば、計算システム１１００は、位置５７１０_ｃ＋５の奥行き値と位置５７５０_ｄの奥行き値との間の差が、定義された奥行き差閾値を超えると決定し得る。結果として、計算システム１１００は、これら二つの位置５７１０_ｃ＋５、５７５０_ｄに基づいて、候補エッジ５７０１_１を識別し得る。例えば、候補エッジ５７０１_１は、Ｙ軸上の位置５７１０_ｃ＋５、５７５０_ｄの間にある位置を含むように識別され得る。

実施形態では、計算システム１１００は、３Ｄ画像情報に基づいて、定義された奥行き差閾値を超える奥行き差を有する二つの表面を識別することによって、候補エッジを識別し得る。例えば、図１１Ｃに示すように、計算システム１１００は、３Ｄ画像情報５７００によって記述される位置の第一のセットに基づいて、物体のグループ３５１０～３５５０の第一の表面を識別してもよく、位置の第一のセットは、定義された測定分散閾値を超えて互いに逸脱しないそれぞれの奥行き値を有する。同様に、計算システム１１００は、３Ｄ画像情報５７００によって記述される位置の第二のセットに基づいて、物体のグループ３５１０～３５５０の第二の表面を識別してもよく、位置の第二のセットは、定義された測定分散閾値を超えて互いに逸脱しないそれぞれの奥行き値を有する。図１１Ｃの実施例では、位置の第一のセットは、物体５７１０の上部表面を表し得る位置５７１０_ｃ～５７１０_ｃ＋５を含んでもよく、一方で、位置の第二のセットは、物体５７５０の上部表面を表し得る位置５７５０_ｄ～５７５０_ｄ＋４を含んでもよい。

本実施形態では、定義された測定分散閾値は、撮像ノイズ、製造公差、またはカメラ（例えば、３２００Ｂ）によって計測された奥行き測定値にランダムな変動をもたらし得る他の要因の影響を記述し得る。ランダム変動のこうした源は、たとえさまざまな位置が共通表面の一部であり、実際にカメラに対して同じ奥行きを有するとしても、さまざまな位置の奥行き値に何らかの自然分散をもたらす。一部の実例では、定義された測定分散閾値は、奥行き測定値における予想されるランダム変動、またはより広くは、カメラがノイズまたは他の誤差源に対してどの程度感受性であるかを記述するために使用される、公称標準偏差に等しいか、またはそれに基づいてもよい。公称標準偏差は、カメラによって生成される奥行き値または他の奥行き情報に予想される、ベースライン標準偏差または他の形態の分散を記述し得る。公称標準偏差、またはより広くは、定義された測定分散閾値は、例えば、非一時的コンピューター可読媒体１１２０に格納される値であってもよく、所定の値または動的に定義された値であり得る。実施形態では、位置のセットが、定義された測定分散閾値を超えて互いに逸脱しないそれぞれの奥行き値を有する場合、計算システム１１００は、位置のセットが共通表面の一部であると決定し得る。より具体的な実施形態では、計算システム１１００は、それらのそれぞれの奥行き値の標準偏差（例えば、Ｓｔｄ_５７１０またはＳｔｄ_５７５０）が、定義された測定分散閾値よりも小さい場合、位置のセットが共通表面の一部であると決定し得る。

上の実施形態では、計算システム１１００は、十分な奥行き差を有する二つの表面に基づいて３Ｄ画像情報から候補エッジを識別し得る。例えば、物体５７１０の上部表面を記述する図１１Ｃの位置の第一のセットは、平均奥行き値Ａｖｇ_５７１０を有するか、または他の方法でそれに関連付けることができる。同様に、物体５７５０の上部表面を記述する位置の第二のセットは、平均奥行き値Ａｖｇ_５７５０を有するか、または他の方法でそれに関連付けることができる。計算システム１１００は、Ａｖｇ_５７１０とＡｖｇ_５７５０との間の差が、定義された奥行き差閾値以上であるかを判定し得る。一部の実例では、定義された奥行き差閾値は、定義された測定分散閾値の倍数（例えば、定義された測定分散閾値の２倍、または定義された測定分散閾値の５倍）として決定され得る。二つの表面に関連付けられるＡｖｇ_５７１０とＡｖｇ_５７５０との間の差が、定義された奥行き差閾値以上である場合、計算システム１１００は、奥行き不連続状態が満たされると判断し得る。より具体的には、計算システム１１００は、候補エッジ（例えば、５７０１_１）が、二つの表面の間の位置に存在していると判定してもよく、より具体的には、二つの表面間の遷移がある位置に基づいて、候補エッジを識別し得る。

上述のように、本開示の一態様は、３Ｄ画像情報が、２Ｄ画像情報の限定を補償し得る（およびその逆）ように、２Ｄ画像情報および３Ｄ画像情報を使用して互いを補償することに関する。実例によっては、３Ｄ画像情報から検出された物理的エッジは、２Ｄ画像情報からのみ検出された物理的エッジよりも高いレベルの信頼と関連付けられ得る。場合によっては、物理的エッジ（例えば、図３Ｂの３５１０Ａ）が２Ｄ画像情報および３Ｄ画像情報の両方で表される場合、計算システム１１００は、２Ｄ画像情報の物理的エッジを表す候補エッジ（例えば、５６０１_５）を識別し、３Ｄ画像情報の物理的エッジを表す対応する候補エッジ（例えば、５７０１_１）を識別することができる。上述のように、対応する候補エッジは、互いにマッピングし得る。例えば、３Ｄ画像情報（例えば、５７０１_１）中の候補エッジは、２Ｄ画像情報中の候補エッジ（例えば、５６０１_５）にマッピングされ得る。候補エッジ（例えば、５６０１_５）は、５６０５_５および５６５０などの二つの画像領域の間の境界に基づいて形成され得る。しかしながら、一部の状況では、計算システム１１００は、２Ｄ画像情報からの候補エッジ（例えば、５６０１_５）が実際の物理的エッジに対応するかどうかを、高い信頼レベルで決定することができなくてもよい。例えば、図１１Ｄでは、２Ｄ画像５６００は、候補エッジ５６０１_５で画像強度の段差形状の変化を有し得る。この実施例では、計算システム１１００は、２Ｄ画像５６００が、候補エッジ５６０１_５で、またはより具体的には、二つの画像領域５６０５_５および５６５０で、定義された暗さ条件を満たさないと決定し得る。従って、計算システム１１００は、物理的エッジを表す候補エッジ５６０１_５と関連付けられる十分に高い信頼レベルがないと決定し得る。

こうした状況では、計算システム１１００は、３Ｄ画像情報を使用して、追加の入力を提供し得る。より具体的には、計算システム１１００は、図１１Ａ～１１Ｃに関して上述されたように、３Ｄ画像情報に基づき、候補エッジ５７０１_１を識別してもよく、２Ｄ画像情報の中の候補エッジ５６０１_５が、３Ｄ画像情報の中の候補エッジ５７０１_１にマッピングされてもよく、または他の方法でそれに対応し得る。実例によっては、候補エッジ５７０１_１が奥行き情報に基づいて識別されるので、計算システム１１００は、物理的エッジ、すなわち、図３Ｂの物理的エッジ３５１０Ａを表す候補エッジ５７０１_１が存在する可能性が十分高いと判定し得る。従って、２Ｄ画像情報は、物理的エッジ３５１０Ａの検出につながらない、または物理的エッジ３５１０Ａの検出に低い信頼レベルでつながり得る一方、３Ｄ画像情報は、計算システム１１００によって、より高い信頼レベルで物理的エッジ３５１０Ａを検出するために使用され得る。

図４に戻ると、方法４０００は、一実施形態において、計算システム１１００が、複数の候補エッジ（例えば、複数の候補エッジ５６０１_１～５６０１_ｎのサブセット）のサブセットを選択して、物体のグループ（例えば、３５１０～３５４０）の物理的エッジを表すための候補エッジの選択されたサブセットを形成し得る、ステップ４００８を含み得る。実施形態では、このステップは、サブセットから、それぞれが偽エッジである可能性が高い一つまたは複数の候補エッジを除外することを伴い得る。偽エッジである可能性が高い一つまたは複数の候補エッジは、候補エッジのサブセットから除去されてもよく、またはより一般的には、物体のグループ（例えば、３５１０～３５４０）の物理的エッジを表すためのさらなる検討から無視され得る。一実施例では、計算システム１１００は、複数の候補エッジから除去する候補エッジ（複数可）を決定することによって、複数の候補エッジのサブセットを選択してもよく、複数の候補エッジは、除去された後、結果として生じるサブセットを形成する。一実施例では、複数の候補エッジが、図２Ｃのエッジ検出情報１１２６によって表される、または記述される場合、候補エッジを除去することは、その候補エッジに関する情報をエッジ検出情報１１２６から削除することを伴い得る。

上述のように、複数の候補エッジ（例えば、５６０１_１～５６０１_ｎ、または５６０１_１～５６０１_ｎおよび５７０１_１～５７０１_ｎ）は、第一の画像領域と第一の画像領域よりも暗い第二の画像領域との間の境界に基づいて形成される、少なくとも第一の候補エッジ（例えば、５６０１_１または５６０１_４）を含み得る。さらに、第一の候補エッジは、２Ｄ画像情報から識別され得る。実施形態では、ステップ４００８は、サブセット（候補エッジのサブセットとも呼ばれる）に第一の候補エッジを含むかどうかを決定することを伴い得る。サブセットに第一の候補エッジ（例えば、５６０１_１）を含むことで、第一の候補エッジを使用して、カメラ視野内の物体のグループの少なくとも一つの物理的エッジ（例えば、３５１０Ｂ）を表すことが可能になり得る。より具体的には、第一の候補エッジ（例えば、５６０１_１）がサブセットに含まれる場合、このような包含は、第一の候補エッジ（例えば、５６０１_１）が、物体のグループの物理的エッジの少なくとも一つを表すために考慮されたままである候補であるという表示であり得る。言い換えれば、計算システム１１００は、少なくとも一つの物理的エッジを表すための候補として第一の候補エッジを保持するかどうかを決定し得る。計算システム１１００が、そのような候補として第一の候補エッジを保持すると決定する場合、それは、サブセット（候補エッジの選択されたサブセットとも呼ぶことができる）内に第一の候補エッジを含み得る。この決定は、複数の候補エッジのサブセットを選択するステップの一部であってもよく、画像が第一の候補エッジで定義された暗さ条件を満たすかどうかに基づいて行われてもよい。実例によっては、サブセット内の第一の候補エッジの包含は、第一の候補エッジが偽エッジである可能性が充分に低いという表示であり得る。場合によっては、サブセットに第一の候補エッジを含めることは、計算システム１１００が、物体のグループの少なくとも一つの物理的エッジを表すために第一の候補エッジを使用するか、または物体のグループの少なくとも一つの物理的エッジを表すために少なくとも第一の候補エッジを考慮し続けるように、第一の候補エッジ（例えば、５６０１_１）が、物体のグループの実際の物理的エッジに対応する十分に高い信頼レベルを有することを示し得る。計算システム１１００が、第一の候補エッジ（例えば、５６０１_４）がフィルターリングされるか、またはそうでなければサブセットから除外されるように、第一の候補エッジ（例えば、５６０１_４）をサブセットに含めないと決定する場合、こうした除外は、第一の候補エッジ（例えば、５６０１_４）が、物体のグループの物理的エッジの少なくとも一つを表すための候補ではなくなったという表示であり得る。実例によっては、サブセットからの第一の候補エッジの除外は、第一の候補エッジ（例えば、５６０１_４）が偽エッジである可能性が高いという表示であり得る。

実施形態では、候補エッジの選択されたサブセットに第一の候補エッジを含むかどうかの判定は、上述のように、画像情報（例えば、５６００）が第一の候補エッジで定義された暗さ条件を満たすかどうかに基づいてもよい。いくつかの実施では、画像情報が第一の候補エッジで定義された暗さ条件を満たす場合、こうした結果は、第一の候補エッジが偽エッジである可能性が充分に低いことを示し得る。なぜなら、このような状況における第一の候補エッジは、二つの物体間の物理的ギャップを表す画像領域と関連付けられる可能性が高いからである。従って、第一の候補エッジは、物理的ギャップの一方の側面を形成する物理的エッジを表し得る。こうした状況では、計算システム１１００は、選択されたサブセットに第一の候補エッジを含むように決定し得る。一部の実例では、画像情報が第一の候補エッジで定義された暗さ条件を満たさない場合、計算システム１１００は、第一の候補エッジを選択されたサブセットに含めないように決定し得る。一部の実例では、計算システムが、２Ｄ画像情報が第一の候補エッジで定義された暗さ条件を満たさないと判断した場合、計算システム１１００は、３Ｄ画像情報を使用して第一の候補エッジをさらに評価し得る。例えば、計算システム１１００が、２Ｄ画像５６００が候補エッジ５６０１_５で定義された暗さ条件を満たさないと決定した場合、計算システム１１００は、その候補エッジ５６０１_５が３Ｄ画像情報によって記述された候補エッジ５７０１_１にマッピングされるかどうか、および３Ｄ画像情報の候補エッジ５７０１_１が、図１１Ａ～１１Ｄに関して上で論じたように、定義された奥行き差閾値よりも大きい奥行き変化を示すかどうかを決定することができる。

実施形態では、方法４０００は、ステップ４００６および／または４００８を複数回（例えば、複数の反復を介して）実行して、画像情報が複数の候補エッジで定義された暗さ条件を満たすかどうかを決定し、これらの決定に基づいて上で論じたサブセットを選択し得る。実施例として、複数の候補エッジが、少なくとも候補エッジ５６０１_１～５６０１_ｎを含む場合、計算システム１１００は、ステップ４００６を複数回実行して、２Ｄ画像５６００が、例えば、候補エッジ５６０１_１～５６０１_ｎで、定義された暗さ条件を満たすかどうかを判定し得る。計算システム１１００はさらに、ステップ４００８を複数回実行して、これらの候補エッジのうちどれがサブセットに含まれ、物理的エッジを表すための候補のままであるかを、およびこれらの候補エッジのうちどれがサブセットから除外され、従って物理的エッジを表すための候補ではなくなるかを決定し得る。例えば、計算システム１１００は、２Ｄ画像５６００がそれらの候補エッジで定義された暗さ条件を満たすため、サブセットが候補エッジ５６０１_１および５６０１_２を含むこと、および２Ｄ画像がそれらの候補エッジで定義された暗さ条件を満たさないため、サブセットが候補エッジ５６０１_３および５６０１_４を含まないことを決定し得る。一部の状況では、計算システム１１００は、２Ｄ画像５６００が候補エッジで定義された暗さ条件を満たすことができないため、候補エッジ５６０１_５をサブセットに含めないと判断し得る。一部の状況では、計算システム１１００は、候補エッジ５６０１_５が、奥行き差閾値を超える奥行き変化を示す３Ｄ画像情報の候補エッジ５７０１_１にマッピングされる場合、候補エッジ５６０１_５をサブセットに依然として含むように決定し得る。

実施形態では、方法４０００は、計算システム１１００がロボット相互作用移動コマンドを出力するステップを含み得る。ロボット相互作用移動コマンドは、ロボット（例えば、３３００）と、物体のグループ（例えば、３５１０～３５５０）の少なくとも一つの物体との間のロボット相互作用に使用され得る。ロボット相互作用は、例えば、ロボット（例えば、３３００）がパレットから物体（例えば、箱）をピックアップし、物体を目的地の位置に動かす、パレットから降ろす動作または他の動作を行うことを伴い得る。

実施形態では、ロボット相互作用移動コマンドは、ステップ４００８の候補エッジの選択されたサブセットに基づいて生成され得る。例えば、計算システム１１００は、候補エッジの選択されたサブセットを使用して、画像情報によって記述される物体のグループの中から個々の物体を区別し得る。一部の実例では、計算システム１１００は、選択されたサブセットを使用して、画像情報のセグメンテーションを実行し得る。例えば、画像情報が点群を含む場合、計算システムは、候補エッジの選択されたサブセットを使用して、物体のグループの中で個々の物体に対応する点群の一部分を識別することを伴い得る、点群セグメンテーションを行い得る。点群セグメンテーションは、米国特許出願第１６／７９１，０２４号（弁理士整理番号ＭＪ００４９－ＵＳ／００７７－０００９ＵＳ１）、その全体が参照により本明細書に組み込まれる。一実施例では、画像情報が２Ｄ画像情報を含む場合、計算システム１１００は、候補エッジの選択されたサブセットを使用して、物体のグループの中から個々の物体に対応する２Ｄ画像情報の一部分を分離し得る。分離された部分は、例えば、物体認識操作または物体登録操作（例えば、モジュール１１２８による）を実施するために使用される、ターゲット画像またはターゲット画像部分として使用され得る。物体登録および物体認識については、米国特許出願第１６／９９１，４６６号（弁理士整理番号ＭＪ００５４－ＵＳ／００７７－００１２ＵＳ１）、および米国特許出願第１７／１９３，２５３号（弁理士整理番号ＭＪ００６０－ＵＳ／００７７－００１７ＵＳ１）でより詳細に論じられ、それらの内容全体が参照により本明細書に組み込まれる。こうした実施例では、ロボット相互作用移動コマンドは、物体認識操作または物体登録操作の結果に基づいて生成され得る。例えば、物体認識操作は、画像情報によって、またはその一部によって、どの物体または物体タイプを表しているかの推定であり得る、検出仮説を生成し得る。一部の実例では、検出仮説は、例えば、物体３５１０～３５４０の一方の物理的構造を記述する情報を含み得る、物体認識テンプレートと関連付けられ得る。この情報は、計算システム１１００によって使用され、物体（例えば、モジュール１１２９を介して）を取り出して移動するためのロボット（例えば、３３００）の移動を計画し得る。

方法４０００の上記のステップが、図３Ａ～３Ｃの物体３５１０～３５５０に関し示される一方で、図１２Ａは、物体１２５１０に関する上記のステップを示す一方で、図１３Ａは、物体１３５１０～１３５２０に関する上記のステップを示す。実施形態では、図１２Ａの物体１２５１０は、第二の、直に隣接する物理的領域１２５１４よりも暗い第一の物理的領域１２５１２を有する上部表面を有する箱であり得る。例えば、第一の物理的領域１２５１２は、第二の物理的領域１２５１４と比較して、その上により多くのインクを印刷し得る。物体１２５１０は、箱が配置されるパレットであり得る、物体１２５２０上に配置され得る。図１２Ｂは、物体１２５１０を表すために生成され得る２Ｄ画像１２６００を示す。より具体的には、２Ｄ画像１２６００は、第一の物理的領域１２５１２を表す第一の画像領域１２６０３を含んでもよく、第二の物理的領域１２５１４を表す第二の画像領域１２６０５を含んでもよい。本実施形態の計算システム１１００は、第一の画像領域１２６０３と第二の画像領域１２６０５との間の境界に基づいて、第一の候補エッジ１２６０１_１を識別し得る。

実施形態では、計算システム１１００は、２Ｄ画像１２６００が、第一の候補エッジ１２６０１_１で定義された暗さ条件を満たさないと決定し得る。例えば、計算システム１１００は、２Ｄ画像１２６００が、第一の候補エッジ１２６０１_１で画像強度の段差形状の変化を有する画像強度プロファイル１２００１を有すると決定し得る。画像強度プロファイルは、画像のｕ軸に沿って延在する軸１２６０９に沿って測定され得る。いくつかの実施では、計算システム１１００は、画像強度プロファイル１２００１、またはより具体的には、画像領域１２６０３および１２６０５が、スパイク強度プロファイル基準を満たさないと決定し得る。計算システム１１００は、定義された暗さ条件が第一の候補エッジ１２６０１_１で満たされていないとさらに判断し得る。結果として、計算システム１１００は、エッジ検出情報１１２６から第一の候補エッジ１２６０１_１を除去し得る。

図１３Ａの実施形態において、物体１３５１０および１３５２０はそれぞれ箱であってもよく、パレットまたは他のプラットフォームであり得る物体１３５３０上に配置され得る。本実施形態では、物体１３５１０は、物体１３５２０よりも暗くてもよい（例えば、より暗い段ボールまたは他の材料で作製された結果として）。さらに、二つの物体は、狭い物理的ギャップｇによって分離され得る。図１３Ｂは、第一の物体１３５１０を表す第一の画像領域１３６０３と、第二の物体１３５３０を表す第二の画像領域１３６０５とを含む、２Ｄ画像１３６００を示す。本実施形態の計算システム１１００は、二つの画像領域１３６０５、１３６０５の間の境界に基づいて、候補エッジ１３６０１_１を識別し得る。

図１２Ｂおよび１３Ｂに示すように、画像１２６００および１３６００が類似の外観を有し得る。しかしながら、図１３Ｃに示すように、画像１３６００は、画像強度のスパイク減少を含む画像強度プロファイルを有し得る。より具体的には、画像１３６００の画像領域１３６０３は、より具体的には、物体１３５１０、１３５２０の間の物理的ギャップｇを表すための画像領域１３６０３_１を含んでもよく、物体１３５２０を表すための画像領域１３６０３_２を含んでもよい。本実施形態では、画像領域１３６０３_１は、画像強度のスパイク減少を含んでもよく、定義された暗さ閾値よりも小さい最小ピクセル強度値を有し得る。従って、計算システム１１００は、画像領域１３６０３_１が、定義されたスパイク強度プロファイル基準および／または定義された暗さ閾値基準を満たすと決定し得る。結果として、計算システム１１００は、画像１３６００が、第一の候補エッジ１３６０３_１で定義された暗さ条件を満たすと決定し得る。従って、計算システム１１００は、第一の候補エッジ１３６０３_１を使用して、物体１３５１０、１３５２０の物理的エッジのうちの一つを表すように決定し得る。

さまざまな実施形態に関する追加の考察：

実施形態１は、計算システム、または計算システムによって実施される方法を含む。計算システムは、通信インターフェイスおよび少なくとも一つの処理回路を含んでもよい。通信インターフェイスは、ロボット、およびカメラ視野を有するカメラと通信するように構成され得る。少なくとも一つの処理回路は、物体のグループがカメラ視野の中にあるとき、カメラによって生成される、物体のグループを表す画像情報を受信することと、画像情報から、物体のグループに関連付けられる複数の候補エッジを識別することであって、複数の候補エッジが、物体のグループの物理的エッジを表すためのそれぞれの候補を形成する、画像位置または物理的位置のそれぞれのセットであるか、またはそれらを含むことと、複数の候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成される第一の候補エッジを含む場合、画像情報が、第一の候補エッジで定義された暗さ条件を満たすかどうかを判定することであって、第一の画像領域が、第二の画像領域よりも暗く、第一の画像領域および第二の画像領域が、画像情報によって記述されるそれぞれの領域であることと、複数の候補エッジのサブセットを選択して、物体のグループの物理的エッジを表すための候補エッジの選択されたサブセットを形成することであって、選択することが、画像情報が第一の候補エッジで定義された暗さ条件を満たすかどうかに基づいて、候補エッジの選択されたサブセット内に第一の候補エッジを含めることによって、物体のグループの物理的エッジの少なくとも一つを表す候補として、第一の候補エッジを保持するかどうかを判定することを含むことと、ロボット相互作用移動コマンドを出力することであって、ロボット相互作用移動コマンドが、ロボットと物体のグループの少なくとも一つの物体との間のロボット相互作用のためであり、候補エッジの選択されたサブセットに基づいて生成されることと、を実行するように構成され得る。本実施形態では、少なくとも一つの処理回路は、第一の画像領域が、定義された暗さ閾値基準または定義されたスパイク強度プロファイル基準のうちの少なくとも一つを満たすという決定に応答して、画像情報が、第一の候補エッジで定義された暗さ条件を満たすと決定するように構成される。さらに本実施形態では、少なくとも一つの処理回路は、第一の画像領域が、定義された暗さ閾値よりも画像強度が暗い少なくとも一つの部分を有するかどうかを判定することによって、第一の画像領域が定義された暗さ閾値基準を満たすかどうかを判定するように構成される。さらに本実施形態では、少なくとも一つの処理回路は、第一の画像領域が、（ｉ）画像強度が、位置の関数として第一の画像領域内の暗さが増加し、第一の画像領域内の位置で暗さのピークレベルに到達する、第一のプロファイル部分と、続いて（ｉｉ）画像強度が、位置の関数として、暗さのピークレベルから離れて、第一の画像領域内の暗さが減少する、第二のプロファイル部分とを含む、画像強度プロファイルを有するかどうかを判定することによって、第一の画像領域がスパイク強度プロファイル基準を満たすかどうかを判定するように構成される。

実施形態２は、実施形態１に記載の計算システムを含み、第一の画像領域が、物体のグループの第一の物体と第二の物体との間の物理的ギャップを表すピクセルのバンドを形成する第一のピクセル領域であり、第二の画像領域が、第一の候補エッジを形成する境界が第一のピクセル領域と第二のピクセル領域との間にあるように、第一のピクセル領域に直に隣接する第二のピクセル領域である。

実施形態３は、実施形態２に記載の計算システムを含み、少なくとも一つの処理回路が、第一の画像領域が定義された暗さ閾値よりも小さいピクセル強度値を有するかどうかを判定することによって、第一の画像領域が、定義された暗さ閾値基準を満たすかどうかを判定するように構成される。

実施形態４は、実施形態２または３の計算システムを含み、第一の画像領域の画像強度プロファイルが、第一の画像領域の幅寸法にわたって延びる一連のピクセルのそれぞれのピクセル強度値を記述し、少なくとも一つの処理回路が、画像強度プロファイルが、それぞれのピクセル強度値が、第一の画像領域における最小ピクセル強度値に向かって減少し、そして次に、最小ピクセル強度値から離れて増加するように切り替わる、形状を有するかどうかを判定することによって、第一の画像領域がスパイク強度プロファイル基準を満たすかどうかを判定するように構成され、最小ピクセル強度値が、第一の画像領域における暗さのピークレベルに関連している。

実施形態５は、実施形態１～４のいずれか一つに記載の計算システムを含み、少なくとも一つの処理回路が、第一の画像領域がスパイク強度プロファイル基準を満たすという決定に応答してのみ、第一の画像領域が定義された暗さ条件を満たすと判定するように構成される。

実施形態６は、実施形態１～５のいずれか一つに記載の計算システムを含み、少なくとも一つの処理回路が、第一の画像領域が定義された暗さ閾値基準を満たすという決定に応答してのみ、第一の画像領域が定義された暗さ条件を満たすと判定するように構成される。

実施形態７は、実施形態１に記載の計算システムを含み、少なくとも一つの処理回路が、第一の画像領域が定義された暗さ閾値基準および定義されたスパイク強度プロファイル基準の両方を満たすという決定に応答してのみ、第一の画像領域が定義された暗さ条件を満たすと判定するように構成される。

実施形態８は、実施形態１～７のいずれか一つに記載の計算システムを含み、少なくとも一つの処理回路が、画像情報が２Ｄ画像情報および３Ｄ画像情報を含むとき、２Ｄ画像情報に基づいて、第一の画像領域と第二の画像領域との間の境界に基づいて形成される第一の候補エッジを識別するように構成され、３Ｄ画像情報が、カメラ視野内の位置の奥行き情報を含む。

実施形態９は、実施形態８の計算システムを含み、少なくとも一つの処理回路が、（ｉ）３Ｄ画像情報に、第一の候補エッジに対応する一つまたは複数の位置の奥行き情報が欠落し、（ｉｉ）第一の候補画像に対応する３Ｄ画像情報の一部が、定義されたノイズ許容閾値よりも大きい撮像ノイズのレベルの影響を受ける場合に、物体のグループの物理的エッジの少なくとも一つを表すための候補として第一の候補エッジを保持するかどうかの判定を行うように構成される。

実施形態１０は、実施形態８または９の計算システムを含み、少なくとも一つの処理回路が、３Ｄ画像情報が第一の候補エッジに対応する一つまたは複数の位置で、定義された奥行き不連続状態を満たさない時に、物体のグループの物理的エッジのうちの少なくとも一つを表すための候補として、第一の候補エッジを保持するかどうかの判定を行うように構成される。

実施形態１１は、実施形態１０の計算システムを含み、少なくとも一つの処理回路が、３Ｄ画像情報が、定義された奥行き差閾値を超える一つまたは複数の位置で奥行き変化を記述しないという決定に応答して、３Ｄ画像情報が、第一の候補エッジに対応する一つまたは複数の位置で、定義された奥行き不連続状態を満たさないと判定するように構成される。

実施形態１２は、実施形態８～１１のうちのいずれか一つの計算システムを含み、少なくとも一つの処理回路が、３Ｄ画像情報に基づいて、複数の候補エッジの第二の候補エッジを識別するように構成される。

実施形態１３は、請求項１２に記載の計算システムを含み、少なくとも一つの処理回路は、定義された測定分散閾値を超えて互いに逸脱しないそれぞれの奥行き値を有する、３Ｄ画像情報によって記述される位置の第一のセットに基づいて、物体のグループの第一の表面を識別することと、定義された測定分散閾値内にあるそれぞれの奥行き値を有する、３Ｄ画像情報によって記述される位置の第二のセットに基づいて、物体のグループの第二の表面を識別することと、第一の平均奥行き値として、第一の表面に関連付けられる平均奥行き値を決定することと、第二の平均奥行き値として、第二の表面に関連付けられる平均奥行き値を決定することと、第一の平均奥行き値と第二の平均奥行き値との間の差が、定義された奥行き差閾値を超えるという決定に応答して、第一の表面と第二の表面との間の遷移がある位置に基づいて、第二の候補エッジを識別することと、によって、３Ｄ画像情報に基づいて第二の候補エッジを識別するように構成される。

実施形態１４は、実施形態１２または１３の計算システムを含み、少なくとも一つの処理回路が、第二の候補エッジが、２Ｄ画像情報の中にあり、定義された暗さ条件を満たさない二つの画像領域の間の境界に基づいて形成される、候補エッジにマッピングされるときに、３Ｄ画像情報に基づいて第二の候補エッジを識別するように構成される。

実施形態１５は、実施形態１～１４の計算システムを含み、少なくとも一つの処理回路が、候補エッジの選択されたサブセットに基づいて、物体認識操作または物体登録操作を行うように構成される。

実施形態１６は、実施形態１～１５のいずれか一つに記載の計算システムを含み、少なくとも一つの処理回路が、複数の候補エッジからどの候補エッジをフィルターリングするかを決定することによって、複数の候補エッジのサブセットを選択するように構成され、複数の候補エッジが、フィルターリングされた後、候補エッジのサブセットを形成する。

関連分野の当業者にとって、本明細書に記載する方法および用途への、その他の好適な修正ならびに適応が、実施形態のうちのいずれの範囲から逸脱することなく成すことができることは明らかであろう。上に記載する実施形態は、説明に役立つ実施例であり、本発明がこれらの特定の実施形態に限定されると解釈されるべきではない。本明細書に開示するさまざまな実施形態は、記載および添付の図に具体的に提示する組み合わせとは異なる組み合わせで、組み合わせてもよいことが理解されるべきである。実施例によって、本明細書に記載するプロセスもしくは方法のいずれのある特定の行為または事象は、異なるシーケンスで行われてもよく、追加、統合、または完全に省略し得ることも理解されるべきである（例えば、記載した全ての行為または事象は、方法またはプロセスを実施するのに必要ではない場合がある）。一部の実例では、方法４０００は、ステップ４００２を省略するように修正され得る。上述のさまざまな実施形態は、方法４０００のステップ４００２～４００８に関連するが、本開示の別の方法は、図１１Ｂまたは１１Ｃに関して論じられるように、３Ｄ画像情報に基づいて候補エッジを特定することを含んでもよく、およびステップ４００２～４００８を省略し得る。加えて、本明細書の実施形態のある特定の特徴を、明確にするために、単一コンポーネント、モジュール、またはユニットにより行われていると記載しているものの、本明細書に記載する特徴および機能は、構成要素、モジュール、またはユニットのいかなる組み合わせによって行われてもよいことは理解されるべきである。従って、添付の特許請求の範囲で定義されるような、発明の趣旨または範囲から逸脱することなく、さまざまな変更および修正を当業者が及ぼし得る。

Claims (20)

1. 計算システムであって、
   ロボット、およびカメラ視野を有するカメラと通信するように構成される、通信インターフェイスと、
   少なくとも一つの処理回路と、を備え、
   前記少なくとも一つの処理回路は、物体のグループが前記カメラ視野の中にあるとき、
   前記カメラによって生成される、前記物体のグループを表す画像情報を受信することと、
   前記画像情報から、前記物体のグループに関連付けられる複数の候補エッジを識別することであって、前記複数の候補エッジが、前記物体のグループの物理的エッジを表すためのそれぞれの候補を形成する、画像位置または物理的位置のそれぞれのセットであるか、またはそれらを含むことと、
   前記複数の候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成される第一の候補エッジを含む場合、前記画像情報が、前記第一の候補エッジで定義された暗さ条件を満たすかどうかを判定することであって、前記第一の画像領域が、前記第二の画像領域よりも暗く、前記第一の画像領域および前記第二の画像領域が、前記画像情報によって記述されるそれぞれの領域であることと、
   前記複数の候補エッジのサブセットを選択して、前記物体のグループの前記物理的エッジを表すための候補エッジの選択されたサブセットを形成することであって、前記選択することが、前記画像情報が前記第一の候補エッジで前記定義された暗さ条件を満たすかどうかに基づいて、前記候補エッジの選択されたサブセット内に前記第一の候補エッジを含めることによって、前記物体のグループの前記物理的エッジの少なくとも一つを表す候補として、前記第一の候補エッジを保持するかどうかを決定することを含むことと、
   ロボット相互作用移動コマンドを出力することであって、前記ロボット相互作用移動コマンドが、前記ロボットと前記物体のグループの少なくとも一つの物体との間のロボット相互作用のためであり、前記候補エッジの選択されたサブセットに基づいて生成されることと、
   を実行するように構成され、
   前記少なくとも一つの処理回路は、前記第一の画像領域が、定義された暗さ閾値基準または定義されたスパイク強度プロファイル基準のうちの少なくとも一つを満たすという決定に応答して、前記画像情報が、前記第一の候補エッジで前記定義された暗さ条件を満たすと判定するように構成され、
   前記少なくとも一つの処理回路は、前記第一の画像領域が、定義された暗さ閾値よりも画像強度が暗い少なくとも一つの部分を有するかどうかを判定することによって、前記第一の画像領域が前記定義された暗さ閾値基準を満たすかどうかを判定するように構成され、
   前記少なくとも一つの処理回路は、前記第一の画像領域が、（ｉ）画像強度が、位置の関数として前記第一の画像領域内の暗さが増加し、前記第一の画像領域内の位置で暗さのピークレベルに到達する、第一のプロファイル部分と、続いて（ｉｉ）画像強度が、位置の関数として、前記暗さのピークレベルから離れて、前記第一の画像領域内の暗さが減少する、第二のプロファイル部分とを含む、画像強度プロファイルを有するかどうかを判定することによって、前記第一の画像領域が前記スパイク強度プロファイル基準を満たすかどうかを判定するように構成される、計算システム。
2. 前記第一の画像領域が、前記物体のグループの第一の物体と第二の物体との間の物理的ギャップを表すピクセルのバンドを形成する第一のピクセル領域であり、
   前記第二の画像領域が、前記第一の候補エッジを形成する前記境界が前記第一のピクセル領域と第二のピクセル領域との間にあるように、前記第一のピクセル領域に直に隣接する前記第二のピクセル領域である、請求項１に記載の計算システム。
3. 前記少なくとも一つの処理回路は、
   前記第一の画像領域が前記定義された暗さ閾値よりも小さいピクセル強度値を有するかどうかを判定することによって、
   前記第一の画像領域が、前記定義された暗さ閾値基準を満たすかどうかを判定するように構成される、請求項２に記載の計算システム。
4. 前記第一の画像領域の前記画像強度プロファイルが、前記第一の画像領域の幅寸法にわたって延びる一連のピクセルのそれぞれのピクセル強度値を記述し、前記少なくとも一つの処理回路が、前記画像強度プロファイルが、前記それぞれのピクセル強度値が、前記第一の画像領域における最小ピクセル強度値に向かって減少し、そして次に、前記最小ピクセル強度値から離れて増加するように切り替わる、形状を有するかどうかを判定することによって、前記第一の画像領域が前記スパイク強度プロファイル基準を満たすかどうかを判定するように構成され、前記最小ピクセル強度値が、前記第一の画像領域における前記暗さのピークレベルに関連している、請求項２に記載の計算システム。
5. 前記少なくとも一つの処理回路は、
   前記第一の画像領域が前記スパイク強度プロファイル基準を満たすという決定に応答してのみ、
   前記第一の画像領域が前記定義された暗さ条件を満たすと判定するように構成される、請求項１に記載の計算システム。
6. 前記少なくとも一つの処理回路は、
   前記第一の画像領域が前記定義された暗さ閾値基準を満たすという決定に応答してのみ、
   前記第一の画像領域が前記定義された暗さ条件を満たすと判定するように構成される、請求項１に記載の計算システム。
7. 前記少なくとも一つの処理回路は、
   前記第一の画像領域が前記定義された暗さ閾値基準および前記定義されたスパイク強度プロファイル基準の両方を満たすという決定に応答してのみ、
   前記第一の画像領域が前記定義された暗さ条件を満たすと判定するように構成される、請求項１に記載の計算システム。
8. 前記少なくとも一つの処理回路は、
   前記画像情報が２Ｄ画像情報および３Ｄ画像情報を含むとき、
   前記２Ｄ画像情報に基づいて、前記第一の画像領域と前記第二の画像領域との間の前記境界に基づいて形成される前記第一の候補エッジを識別するように構成され、
   前記３Ｄ画像情報が、前記カメラ視野内の位置の奥行き情報を含む、請求項１に記載の計算システム。
9. 前記少なくとも一つの処理回路は、
   （ｉ）前記３Ｄ画像情報に、前記第一の候補エッジに対応する一つまたは複数の位置の奥行き情報が欠落するか、または（ｉｉ）前記第一の候補画像に対応する前記３Ｄ画像情報の一部が、定義されたノイズ許容閾値よりも大きい撮像ノイズのレベルの影響を受ける場合に、
   前記物体のグループの前記物理的エッジの少なくとも一つを表すための候補として前記第一の候補エッジを保持するかどうかの前記判定を行うように構成される、請求項８に記載の計算システム。
10. 前記少なくとも一つの処理回路は、
    前記３Ｄ画像情報が前記第一の候補エッジに対応する一つまたは複数の位置で、定義された奥行き不連続状態を満たさないときに、
    前記物体のグループの前記物理的エッジのうちの少なくとも一つを表すための候補として、前記第一の候補エッジを保持するかどうかの前記判定を行うように構成される、請求項８に記載の計算システム。
11. 前記少なくとも一つの処理回路は、
    前記３Ｄ画像情報が、定義された奥行き差閾値を超える一つまたは複数の位置で奥行き変化を記述しないという決定に応答して、
    前記３Ｄ画像情報が、前記第一の候補エッジに対応する前記一つまたは複数の位置で、前記定義された奥行き不連続状態を満たさないと判定するように構成される、請求項１０に記載の計算システム。
12. 前記少なくとも一つの処理回路は、前記３Ｄ画像情報に基づいて、前記複数の候補エッジの第二の候補エッジを識別するように構成される、請求項８に記載の計算システム。
13. 前記少なくとも一つの処理回路は、
    定義された測定分散閾値を超えて互いに逸脱しないそれぞれの奥行き値を有する、前記３Ｄ画像情報によって記述される位置の第一のセットに基づいて、前記物体のグループの第一の表面を識別することと、
    前記定義された測定分散閾値内にあるそれぞれの奥行き値を有する、前記３Ｄ画像情報によって記述される位置の第二のセットに基づいて、前記物体のグループの第二の表面を識別することと、
    第一の平均奥行き値として、前記第一の表面に関連付けられる平均奥行き値を決定することと、
    第二の平均奥行き値として、前記第二の表面に関連付けられる平均奥行き値を決定することと、
    前記第一の平均奥行き値と前記第二の平均奥行き値との間の差が、定義された奥行き差閾値を超えるという決定に応答して、前記第一の表面と前記第二の表面との間の遷移がある位置に基づいて、前記第二の候補エッジを識別することと、
    によって、前記３Ｄ画像情報に基づいて前記第二の候補エッジを識別するように構成される、請求項１２に記載の計算システム。
14. 前記少なくとも一つの処理回路は、
    前記第二の候補エッジが、前記２Ｄ画像情報の中にあり、前記定義された暗さ条件を満たさない二つの画像領域の間の境界に基づいて形成される、候補エッジにマッピングされるときに、
    前記３Ｄ画像情報に基づいて前記第二の候補エッジを識別するように構成される、請求項１２に記載の計算システム。
15. 前記少なくとも一つの処理回路は、前記候補エッジの選択されたサブセットに基づいて、物体認識操作または物体登録操作を行うように構成される、請求項１に記載の計算システム。
16. 前記少なくとも一つの処理回路は、
    前記複数の候補エッジからどの候補エッジをフィルターリングするかを決定することによって、
    前記複数の候補エッジのサブセットを選択するように構成され、
    前記複数の候補エッジは、フィルターリングされた後、前記候補エッジのサブセットを形成する、請求項１に記載の計算システム。
17. 命令を有する非一時的コンピューター可読媒体であって、
    前記命令は、計算システムの少なくとも一つの処理回路によって実行されるとき、前記少なくとも一つの処理回路に、
    前記計算システムの前記少なくとも一つの処理回路によって画像情報を受信することであって、前記計算システムが、（ｉ）ロボット、および（ｉｉ）カメラ視野を有するカメラと通信するように構成され、前記画像情報が、前記カメラ視野内の物体のグループを表すためのものであることと、
    前記画像情報から、前記物体のグループに関連付けられる複数の候補エッジを識別することであって、前記複数の候補エッジが、前記物体のグループの物理的エッジを表すためのそれぞれの候補を形成する、画像位置または物理的位置のそれぞれのセットであるか、またはそれらを含むことと、
    前記複数の候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成される第一の候補エッジを含む場合、前記画像情報が、前記第一の候補エッジで定義された暗さ条件を満たすかどうかを判定することであって、前記第一の画像領域が、前記第二の画像領域よりも暗く、前記第一の画像領域および前記第二の画像領域が、前記画像情報によって記述されるそれぞれの領域であることと、
    前記複数の候補エッジのサブセットを選択して、前記物体のグループの前記物理的エッジを表すための候補エッジの選択されたサブセットを形成することであって、前記選択することが、前記画像情報が前記第一の候補エッジで前記定義された暗さ条件を満たすかどうかに基づいて、前記候補エッジの選択されたサブセット内に前記第一の候補エッジを含めることによって、前記物体のグループの前記物理的エッジの少なくとも一つを表す候補として、前記第一の候補エッジを保持するかどうかを決定することを含むことと、
    ロボット相互作用移動コマンドを出力することであって、前記ロボット相互作用移動コマンドが、前記ロボットと前記物体のグループの少なくとも一つの物体との間のロボット相互作用のためであり、前記候補エッジの選択されたサブセットに基づいて生成されることと、を実行させ、
    前記命令は、前記第一の画像領域が、定義された暗さ閾値基準または定義されたスパイク強度プロファイル基準のうちの少なくとも一つを満たすという決定に応答して、前記画像情報が、前記第一の候補エッジで前記定義された暗さ条件を満たすと判定することを前記少なくとも一つの処理回路に行わせ、
    前記命令は、前記第一の画像領域が、定義された暗さ閾値よりも画像強度が暗い少なくとも一つの部分を有するかどうかを判定することによって、前記第一の画像領域が前記定義された暗さ閾値基準を満たすかどうかを判定することを前記少なくとも一つの処理回路に行わせ、
    前記命令は、前記第一の画像領域が、（ｉ）画像強度が、位置の関数として前記第一の画像領域内の暗さが増加し、前記第一の画像領域内の位置で暗さのピークレベルに到達する、第一のプロファイル部分と、続いて（ｉｉ）画像強度が、位置の関数として、前記暗さのピークレベルから離れて、前記第一の画像領域内の暗さが減少する、第二のプロファイル部分とを含む、画像強度プロファイルを有するかどうかを判定することによって、前記第一の画像領域が前記スパイク強度プロファイル基準を満たすかどうかを判定することを前記少なくとも一つの処理回路に行わせる、非一時的コンピューター可読媒体。
18. 前記第一の画像領域が、前記物体のグループの第一の物体と第二の物体との間の物理的ギャップを表すピクセルのバンドを形成する第一のピクセル領域であり、
    前記第二の画像領域が、前記第一の候補エッジを形成する前記境界が前記第一のピクセル領域と第二のピクセル領域との間にあるように、前記第一のピクセル領域に直に隣接する前記第二のピクセル領域である、請求項１７に記載の非一時的コンピューター可読媒体。
19. 前記命令は、前記第一の画像領域が、前記定義された暗さ閾値よりも小さい一つまたは複数のピクセル強度値を有するかどうかを判定することによって、前記第一の画像領域が前記定義された暗さ閾値基準を満たすかどうかを判定することを前記少なくとも一つの処理回路に行わせる、請求項１８に記載の非一時的コンピューター可読媒体。
20. 計算システムによって行われる方法であって、
    前記計算システムによって画像情報を受信することであって、前記計算システムが、（ｉ）ロボット、および（ｉｉ）カメラ視野を有するカメラと通信するように構成され、前記画像情報が、前記カメラ視野内の物体のグループを表すためのものであり、前記カメラによって生成されることと、
    前記画像情報から、前記物体のグループに関連付けられる複数の候補エッジを識別することであって、前記複数の候補エッジが、前記物体のグループの物理的エッジを表すためのそれぞれの候補を形成する、画像位置または物理的位置のそれぞれのセットであるか、またはそれらを含むことと、
    前記複数の候補エッジが、第一の画像領域と第二の画像領域との間の境界に基づいて形成される第一の候補エッジを含む場合、前記画像情報が、前記第一の候補エッジで定義された暗さ条件を満たすかどうかを判定することであって、前記第一の画像領域が、前記第二の画像領域よりも暗く、前記第一の画像領域および前記第二の画像領域が、前記画像情報によって記述されるそれぞれの領域であることと、
    前記複数の候補エッジのサブセットを選択して、前記物体のグループの前記物理的エッジを表すための候補エッジの選択されたサブセットを形成することであって、前記選択することが、前記画像情報が前記第一の候補エッジで前記定義された暗さ条件を満たすかどうかに基づいて、前記候補エッジの選択されたサブセット内に前記第一の候補エッジを含めることによって、前記物体のグループの前記物理的エッジの少なくとも一つを表す候補として、前記第一の候補エッジを保持するかどうかを決定することを含むことと、
    ロボット相互作用移動コマンドを出力することであって、前記ロボット相互作用移動コマンドが、前記ロボットと前記物体のグループの少なくとも一つの物体との間のロボット相互作用のためであり、前記候補エッジの選択されたサブセットに基づいて生成されることと、を含み、
    前記画像情報が、前記第一の画像領域が、定義された暗さ閾値基準または定義されたスパイク強度プロファイル基準のうちの少なくとも一つを満たす時に、前記第一の候補エッジで、前記定義された暗さ条件を満たし、
    前記第一の画像領域が、前記定義された暗さ閾値基準を満たすかどうかの前記判定することが、前記第一の画像領域が、定義された暗さ閾値よりも画像強度が暗い少なくとも一つの部分を有するかどうかを判定することによって行われ、
    前記第一の画像領域が前記スパイク強度プロファイル基準を満たすかどうかの前記判定することが、前記第一の画像領域が、（ｉ）画像強度が、位置の関数として前記第一の画像領域内の暗さが増加し、前記第一の画像領域内の位置で暗さのピークレベルに到達する、第一のプロファイル部分と、続いて（ｉｉ）画像強度が、位置の関数として、前記暗さのピークレベルから離れて、前記第一の画像領域内の暗さが減少する、第二のプロファイル部分とを含む、画像強度プロファイルを有するかどうかを判定することによって行われる、方法。

Images