JP6211734B1 - ステレオ処理及び構造化光処理の組み合わせ - Google Patents

ステレオ処理及び構造化光処理の組み合わせ Download PDF

Info

Publication number
JP6211734B1
JP6211734B1 JP2017504391A JP2017504391A JP6211734B1 JP 6211734 B1 JP6211734 B1 JP 6211734B1 JP 2017504391 A JP2017504391 A JP 2017504391A JP 2017504391 A JP2017504391 A JP 2017504391A JP 6211734 B1 JP6211734 B1 JP 6211734B1
Authority
JP
Japan
Prior art keywords
image
environment
optical sensor
region
texture pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017504391A
Other languages
English (en)
Other versions
JP2017534836A (ja
Inventor
コノリジ，カート
ルブリー，イーサン
Original Assignee
エックス デベロップメント エルエルシー
エックス デベロップメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エックス デベロップメント エルエルシー, エックス デベロップメント エルエルシー filed Critical エックス デベロップメント エルエルシー
Application granted granted Critical
Publication of JP6211734B1 publication Critical patent/JP6211734B1/ja
Publication of JP2017534836A publication Critical patent/JP2017534836A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 ステレオ処理及び構造化光処理の組み合わせを使用した深さ情報判定方法及びシステムを提供する。【解決手段】 一例としての方法は、少なくとも２つの光学センサで取得した複数の画像を受信することと、第１の画像及び第２の画像の間で対応する特徴に基づき、少なくとも１つの表面についての第１の深さ推定値を判定することとを含む。さらに、この方法は、テクスチャプロジェクタに既知のテクスチャパターンを投影させることと、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う、複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定することとを含む。また、この方法は、少なくとも１つの領域内に既知のテクスチャパターンの特定部分に対応する地点を判定することと、既知のテクスチャパターンに対応するものとして判定された地点に基づき、少なくとも１つの表面についての第２の深さ推定値を判定することとを含む。【選択図】 図４

Description

関連出願の相互参照
[0001] 本出願は、２０１４年１２月２９日出願の米国特許出願シリアル番号１４／５８４，０１６号の優先権を主張するものであり、その内容は参照として本明細書に組み込まれる。米国特許出願シリアル番号１４／５８４，０１６号は、２０１４年８月２９日出願の米国仮出願第６２／０４３，４６３号の利益を主張するものであり、その内容は参照として本明細書に組み込まれる。
[0002] 把持要素を含むロボット操作部等のロボットシステムは、対象の持ち上げ又は移動を含む適用に使用されてもよい。例えば、ロボット装置を使用して、コンテナへの対象の充填、対象の積み上げ、又はトラック荷台からの荷降ろしを行ってもよい。場合によっては、対象全てが同一の種別であってもよい。また場合によっては、コンテナ又はトラックは、箱詰めされた物品、缶、タイヤ、又はその他の積み上げ可能な対象等、異なる種別の対象を混在させて含んでもよい。このようなロボットシステムは、対象が環境内のどこにあるかという所定の知識に基づいて、ロボット操作部に対象を持ち上げるように命令してもよい。
[0003] いくつかの例において、ロボットシステムは、コンピュータビジョン技術を使用して、３次元（３Ｄ）現場形状の表現を判定してもよい。例として、ロボットシステムは、現場から観察された情報を三角測量し、現場の１つ以上の表面までの深さを判定してもよい。深さ感知の１つのアプローチとして、ステレオ画像処理の使用がある。このアプローチによると、互いに既知の物理的関係を有する２つの光学センサを使用して、現場の２つの画像を取得する。演算装置は、２つの画像内に対応する画素値のマッピングを見出し、これらの共通領域が画素空間内でどの程度離れて存在するかを計算することにより、三角測量を使用した深さマップ又は画像を判定することができる。深さマップ又は深さ画像には、現場における対象の表面の距離に関連する情報が含まれてもよい。
[0004] 深さ感知の他のアプローチとして、構造化光処理がある。構造化光処理の本旨は、現場に既知の照明パターンを投影し、投影されたパターンを含む現場の画像を取得するというものである。例えば、図１に示す通り、プロジェクタ１０２が対象１０４に既知のテクスチャパターンを投影し、光学センサ１０６（例えば、カメラ）が対象１０４の画像１０８を取得してもよい。その後、演算装置が画像内の領域と投影されたパターンの特定部分との間の対応関係を判定してもよい。プロジェクタ１０２の位置、光学センサ１０６の位置、画像１０８内のパターンの特定部分に対応する領域の位置が与えられると、演算装置は、三角測量を使用して、対象１０４の表面までの深さを推定してもよい。
[0005] 通常、プロジェクタ１０２及び光学センサ１０６は、ベースラインに沿って水平方向に変位し、プロジェクタ１０２及び光学センサ１０６は較正される。較正プロセスは、光学センサ１０６内の画素をプロジェクタ１０２内の画素の１次元曲線にマップするものであってもよい。センサ画像とプロジェクタ画像が修正されると、この曲線は、水平線の形を採ってもよい。この場合、投影されたテクスチャパターンとの合致照合（ｍａｔｃｈ）のための検索は、この線に沿って進行することができ、このプロセスがより効率的となる。
[0006] 構造化光処理において、投影された部分の対応部分に画像領域を合致照合するプロセスは、パターン復号化として知られている。パターン復号化の間、演算装置は、投影されたパターンの独特な部分を含む、画像中の領域を水平に検索する。実際には、演算装置が検索を行う画像中の水平領域（すなわち、検索空間）のサイズには、画像の全ての部分について、パターンがその距離にわたって独特であることが必要であってもよい。例えば、投影されたパターンは、そのパターンが、１２８画素等、特定の水平合致照合範囲にわたる特定サイズのパッチ（例えば、１９×１９画素）について独特となるような反復部分から構成されてもよい。結局のところ、検索空間は、少なくとも１２８画素の領域であってもよい。
[0007] 構造化光処理では、演算装置が投影されたパターンの特定部分に対応する領域について、画像全体又は線形領域全体を検索しなくてもよい場合、パターン復号化はより容易になり得る。本明細書に記載の通り、演算装置は、ステレオ撮像結果を使用して、画像内の構造化光パターンの検出を行う検索空間を制限してもよい。例えば、演算装置は、ともにステレオ撮像システムとして機能する２つの光学センサで取得した画像を使用して、現場のある面の初期深さ推定値を判定してもよい。そして、演算装置は、その後、初期深さ推定値を使用して、深さ推定値周囲の小さな部分に線形検索を制限してもよい。さらに、演算装置は、その後、構造化光処理を使用して、その面の他の深さ推定値を判定してもよい。好都合なことに、演算装置は、パターン復号化の実施に先立ち、初期深さ推定値に基づいて、テクスチャパターンの特定部分の検索を行う、投影されたパターンの画像の領域を判定してもよい。いくつかの例において、ステレオ深さ推定値を使用してパターン復号化の検索空間を制限することにより、演算装置により小さな線形領域にわたって独特なテクスチャパターンを使用させることで、結果として得られる深さ推定値の空間解像度を増加してもよい。
[0008] 一例において、演算装置により、少なくとも２つの光学センサで取得した複数の画像を受信することを備えてもよい方法を提供する。複数の画像は、第１の光学センサの第１の視点から知覚した環境の第１の画像と第２の光学センサの第２の視点から知覚した環境の第２の画像とを含んでもよい。この方法は、さらに、演算装置により、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面について第１の深さ推定値を判定することを含んでもよい。さらに、この方法は、演算装置により、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させることを含んでもよい。また、この方法は、演算装置により、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う、複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定することを含んでもよい。この方法はまた、演算装置により、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応する地点を判定することを含んでもよい。そして、この方法は、演算装置により、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応するとして判定された地点に基づき、環境における少なくとも１つの表面について第２の深さ推定値を判定することを含んでもよい。
[0009] 他の一例において、演算装置の１つ以上のプロセッサによる実行時、演算装置に以下の機能を実施させる指示を記憶した持続性コンピュータ可読媒体を開示する。この機能とは、少なくとも２つの光学センサで取得した複数の画像を受信することを含んでもよい。複数の画像は、第１の光学センサの第１の視点から知覚した環境の第１の画像と第２の光学センサの第２の視点から知覚した環境の第２の画像とを含んでもよい。この機能は、さらに、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面について第１の深さ推定値を判定することを含んでもよい。この機能はまた、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させることを含んでもよい。さらに、この機能は、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う、複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定することを含んでもよい。この機能はまた、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応する地点を判定することを含んでもよい。そして、この機能は、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応するとして判定された地点に基づき、環境における少なくとも１つの表面について第２の深さ推定値を判定することを含んでもよい。
[0010] さらに他の一例において、少なくとも２つの光学センサと、テクスチャプロジェクタと、演算装置とを備えるシステムを提供する。このテクスチャプロジェクタは、環境に既知のテクスチャパターンを投影するように構成されてもよい。この演算装置は、少なくとも２つの光学センサで取得した複数の画像を受信するように構成されてもよい。複数の画像は、第１の光学センサの第１の視点から知覚した環境の第１の画像と第２の光学センサの第２の視点から知覚した環境の第２の画像とを含んでもよい。さらに、この演算装置は、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面について第１の深さ推定値を判定するように構成されてもよい。この演算装置はまた、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させるように構成されてもよい。さらに、この演算装置は、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う前記複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定するように構成されてもよい。この演算装置はさらに、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応する地点を判定するように構成されてもよい。そして、この演算装置は、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応するとして判定された地点に基づき、環境における少なくとも１つの表面について第２の深さ推定値を判定するように構成されてもよい。
[0011] さらに他の一例において、少なくとも２つの光学センサで取得した複数の画像を受信する手段を備えるシステムを提供する。複数の画像は、第１の光学センサの第１の視点から知覚した環境の第１の画像と第２の光学センサの第２の視点から知覚した環境の第２の画像とを含んでもよい。このシステムはまた、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面について第１の深さ推定値を判定する手段を含んでもよい。このシステムは、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させる手段を含んでもよい。さらに、このシステムは、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う、複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定する手段を含んでもよい。さらに、このシステムは、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応する地点を判定する手段を含んでもよい。そして、このシステムは、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応するとして判定された地点に基づき、環境における少なくとも１つの表面について第２の深さ推定値を判定する手段を含んでもよい。
[0012] 以上の概要は、単なる例示であり、いかなる方法によっても限定を意図するものでない。図面及び以下の詳細な説明と、添付の図を参照することにより、上述の例示としての態様、実施形態、及び特徴に加え、さらなる態様、実施形態、及び特徴が明らかとなるであろう。
[0013] 構造化光処理の一例としてのアプローチの概念図である。 [0014] 一例としての実施形態に係る可動カートに搭載されたロボットアームを示す。 [0015] 一例としての実施形態に係るロボット装置を示す機能ブロック図である。 [0016] 一例としての実施形態に係るロボットアーム及び積み上げた箱を示す。 [0017] 一例としての実施形態に係るロボットアームに搭載されたセンサにより、図３Ａの積み上げた箱を走査する様子を示す。 [0018] 一例としての実施形態に係る箱を移動する図３Ａのロボットアームを示す。 [0019] 一例としての実施形態に係る方法のブロック図である。 [0020] 一例としての撮像システムの概念図である。 [0021] 他の一例としての撮像システムの概念図である。 [0022] 既知のテクスチャパターンの特定部分の検索を行う画像の領域を判定する様子の概念図である。 [0022] 既知のテクスチャパターンの特定部分の検索を行う画像の領域を判定する様子の概念図である。 [0023] 一例としての実施形態に係る他の方法のブロック図である。 [0024] 一例としての実施形態に係る演算装置で実施されてもよい一例としての機能のブロック図である。
[0025] 本明細書中、一例としての方法及びシステムについて説明する。本明細書に記載のいずれの例としての実施形態又は特徴も、必ずしも、他の実施形態又は特徴より好適又は好都合であると解釈されなくてよい。本明細書に記載の一例としての実施形態は、限定を意味するものでない。開示のシステム及び方法の特定の態様は、種々の異なる構成で配置及び組み合わせ可能であることが容易に理解されるであろう。
[0026] さらに、図面に示す特定の配置は、限定とみなされてはならない。他の実施形態には、与えられた図面に示す各要素よりも多い又は少ない要素が含まれてもよいことを理解しなければならない。さらに、図示の要素の一部は、結合又は省略されてもよい。さらに、一例としての実施形態には、図面に示されていない要素が含まれてもよい。
[0027] 本明細書中、３Ｄ現場形状の解像度向上を補助してもよい方法及び装置を提供する。種々の実施形態によると、演算装置は、ステレオ撮像結果を使用して、画像内の構造化光パターンの部分を検出する検索空間を制限してもよい。一例において、演算装置は、少なくとも２つの光学センサで取得した複数の画像を受信してもよい。例えば、複数の画像には、第１の光学センサの第１の視点から取得した第１の画像と、第２の光学センサの第２の視点から取得した第２の画像とが含まれてもよい。そして、演算装置は、その後、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面についての第１の深さ推定値を判定してもよい。例として、演算装置は、２つの画像内の対応画素値のマッピングを判定してもよく、２つの光学センサ間の物理的関係に基づき、三角測量を使用した深さマップを判定することができる。
[0028] さらに、その後、演算装置は、構造化光プロセスへの入力として第１深さ推定値を使用してもよい。一例として、演算装置は、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影し、環境の少なくとも１つの画像と既知のテクスチャパターンとを受信してもよい。演算装置はまた、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う画像の領域を判定してもよい。換言すると、演算装置は、画像全体にパターン復号化を実施する代わりに、第１の深さ推定値を使用して、最も既知のテクスチャパターンの特定部分を含む可能性の高い画像の領域を判定してもよい。本明細書に記載の通り、演算装置は、第１の深さ推定値と、テクスチャプロジェクタ及び画像の取得に使用した光学センサの間の物理的関係とに基づき、この領域を判定してもよい。次いで、演算装置は、この領域内に既知のテクスチャパターンの特定部分に対応する地点を判定し、対応すると判定された地点を使用して第２の深さ推定値を計算してもよい。
[0029] 以下にさらに記載する通り、この一例としての方法には複数のバリエーションが考えられる。例えば、いくつかの例において、既知のテクスチャパターンは、ステレオ撮像に使用される画像の取得前に投影されてもよい。さらに、構造化光処理に使用される少なくとも１つの画像には、ステレオ画像処理に使用される画像のうちの１つ以上が含まれてもよく、或いは、第３の光学センサを使用して取得された１つ以上の画像が含まれてもよい。さらに、いくつかの例において、２つの異なる光学センサで取得した２つ（以上）の画像内に構造化光パターンを検索することにより、構造化光処理を使用して判定する深さ推定値の精度及び解像度を向上することができる。さらに、いくつかの例において、演算装置は、第１の深さ推定値（ステレオ深さ推定値）及び第２の深さ推定値（構造化光推定値）を組み合わせた第３の深さ推定値を判定してもよい。
[0030] いくつかの例において、ステレオ深さ推定値を使用してパターン復号化の検索空間を制限することにより、演算装置に、より小さな領域にわたって独特なテクスチャパターンを使用させることで、結果として得られる深さ推定値の空間解像度を増加させてもよい。例として、一実装において、パターンのブロック（例えば、１９×１９画素ブロック）がセンサの水平領域（例えば、１２８の異なる画素位置）にわたって合致照合され、合致があるか否かを判定してもよい。合致照合の位置は、投影されたパターンパッチの関連深さを示してもよい。従って、この画素ブロックは、独特であり、合致照合領域と同一長さであるパターンの任意の水平領域内における他の任意のブロックとは非常に異なることが望ましい。合致照合領域が長くなるほど、画素ブロックのサイズが大きくなり、独自性及び非類似性を保証することが多い。結果として、合致照合領域を低減することにより、合致照合ブロックをより小さくし、誤検出拒絶を改善し、演算された深さの空間解像度を改善する。従って、記載の方法及びシステムは、品質及び空間解像度の双方の点について、構造化光深さ推定値の改善を補助してもよい。
[0031] 追加の種々の例を以下に記載するが、以上の例は限定を意味するものでない。以下、種々の実施形態を詳細に参照し、これらの例を添付の図面に示す。以下の詳細な説明において、本開示及び記載の実施形態の完全な理解のため、多数の特定の詳細を記す。しかしながら、本開示は、これらの特定の詳細を伴うことなく実施されてもよい。他の例において、実施形態の態様を不要に曖昧にしてしまうことを避けるため、周知の方法、手順、構成要素、及び回路については詳細に記載していない。
[0032] さらに、本開示の一部は、箱及び／又はその他の対象の操作（例えば、荷積み及び／又は積み降ろし）を促進するために記載の方法及び装置を実施するものとして言及しているが、これらの方法及び装置は、他の環境においても実施されてよい。例えば、これらの方法及び装置は、環境における３Ｄ形状又は環境における対象の３Ｄ形状を判定するために、通常、任意の環境においても実施されてよい。例として、これらの方法及び装置は、邸宅内の部屋又は建物内のオフィスの３Ｄ形状、若しくは、恐らくはアリーナ、会議センタ、又はショッピングモールの一部の３Ｄ形状の判定を補助するために実施されてもよい。同様に、これらの方法及び装置は、屋外環境でも利用されてよい。
[0033] 種々の実施形態によると、貯蔵コンテナ内へ、又は、車両からの箱及び／又はその他の対象の自動荷積み及び／又は積み降ろしを行う方法及びシステムを本明細書に記載する。いくつかの例としての実施形態において、箱又は対象は、パレットに自動的に整列及び載置されてもよく（パレット搭載）、又はパレットから自動的に取り出されてもよい（パレット積み降ろし）。例において、トラックの荷積み／積み降ろしのプロセス及び／又は対象のパレット搭載／パレット積み降ろしのプロセスを自動化することにより、多数の工業的利点及び事業上の利点を提供してもよい。
[0034] 種々の実施形態によると、トラックの荷積み／積み降ろしのプロセス及び／又は対象のパレット搭載／パレット積み降ろしを行うプロセスを自動化することには、対象を移動するか、又はその他の機能を実施する１つ以上のロボット装置の組み込みが含まれてもよい。いくつかの実施形態において、ロボット装置は、ロボット装置をホイール付きベース、ホロノミックベース（例えば、任意の方向に移動可能なベース）、若しくは天井、壁部、又は床のレールに連結することによって携帯可能とすることができてもよい。いくつかの実施形態において、このベースは、昇降ベースとすることができる。
[0035] いくつかの例において、１つ以上のセンサ、１つ以上のコンピュータ、及び１つ以上のロボットアームを含むシステムを説明する。センサは、視覚データ及び／又は３Ｄ深さ情報を取得するために、１つ以上の対象を含む環境を走査してもよい。そして、走査で得られたデータは、デジタル環境再構築を提供するために、より大きな領域の表現に統合されてもよい。追加の例において、その後、持ち上げる対象を識別し、対象の持ち上げ位置を判定し、及び／又は１つ以上のロボットアーム及び／又は可動ベースの衝突回避軌道を計画するために再構築された環境が使用されてもよい。
[0036] 本明細書で使用される「箱」という用語は、パレットに載置され得るか、若しくはトラック又はコンテナに対して荷積み又は荷降ろしされ得る任意の対象又は物品をいうものである。例えば、矩形状の固形物に加え、「箱」は、缶、ドラム、タイヤ、又はその他任意の「簡易な」形状の物品をいうことができる。さらに、「荷積み」及び「荷降ろし」は各々、互いを暗示するものとして使用され得る。例えば、トラックの荷積みを行う方法を記載する例では、略同一の方法を使用してトラックの荷降ろしも行うことができると理解しなければならない。本明細書で使用される「パレット搭載」は、パレット上の箱がパレット上で貯蔵又は搬送できるような方法で、箱をパレット上に載せて積み上げること、又は配置することをいい、「パレット荷降ろし」は、パレットから箱を取り出すことをいう。また「パレット荷積み」及び「パレット荷降ろし」という用語は各々、互いを暗示するものとして使用され得る。
[0037] 種々の実施形態によると、ロボット操作部がホロノミックカート（例えば、任意の方向にカードを移動させるホイールの付いたカート）に搭載されてもよい。図２Ａは、ロボット操作部を含む一例としてのホロノミックカートを描いている。いくつかの実施形態において、可動カート２１２は、カート２１２に搭載されたロボットアーム２０２を含んでもよい。ロボットアーム２０２は、環境内の対象を把持する把持要素２０４を含んでもよい。カートは、２つの自由度で動作するホロノミックホイールであってもよい１つ以上のホイール２１４を含んでもよい。さらなる実施形態において、周辺を包囲するフロントコンベヤベルト２１０は、ホロノミックカート２１２に含まれてもよい。いくつかの例において、包囲フロントコンベヤベルト２１０は、ロボットがトラックコンテナ又はパレットに対して箱の荷降ろし又は荷積みを行う時にそのグリッパを左側又は右側に回転させる必要がないようにしてもよい。
[0038] 他の例において、ロボット操作部は、異なる種別の可動装置に搭載されてもよく、又は可動ベースに全く搭載されなくてもよい。例えば、ロボット操作部は、工場設定内の固定位置に搭載されてもよい。他の例としての実施形態において、１つ以上のロボット操作部は、トラック又はコンテナのレールに搭載されてもよい。このような例において、ロボット操作部を使用して、トラック又はコンテナの荷積み又は荷降ろしをしてもよい。
[0039] 図２Ｂは、一例としての実施形態に係るロボット装置２００を示す機能ブロック図である。ロボット装置２００は、機械的システム２２０、感知システム２３０、制御システム２４０、及び動力源２５０等の種々のサブシステムを含み得る。ロボット装置２００が含むサブシステムは、より多くても少なくてもよく、各サブシステムは、複数の要素を含み得る。さらに、ロボット装置２００のサブシステム及び要素は各々、相互接続可能である。従って、ロボット装置２００の記載の機能のうちの１つ以上は、追加の機能的要素又は物理的要素に分割されてもよく、又はより少ない数の機能的要素又は物理的要素に組み合わせられてもよい。いくつかの例において、追加の機能的要素及び／又は物理的要素が図２Ａ及び図２Ｂに示す例に追加されてもよい。
[0040] 機械的システム２２０は、ロボットアーム２０２、グリッパ２０４、コンベヤベルト２１０、（可動又はホロノミック）カート２１２、及び１つ以上のホイール２１４を含む、２Ａを参照して上述した要素を含んでもよい。機械的システム２２０は、追加で、電力供給を受けるか、又は気体ベース燃料又はソーラーパワー等、多数の異なるエネルギー源で動力供給を受けた電気モータであってもよいモータ２２２を含んでもよい。さらに、モータ２２２は、動力源２５０から動力を受けるように構成されてもよい。動力源２５０は、ロボット装置２００の種々の要素に電力供給を行ってもよく、例えば、再充電可能なリチウムイオン電池又は鉛電池を表すことができる。一例としての実施形態において、このような電池の１つ以上のバンクは、電力を供給するように構成することができる。その他の動力供給材料及び種別も可能である。
[0041] 感知システム２３０は、ロボットアーム２０２が移動する環境についての情報を感知する２Ｄセンサ及び／又は３Ｄ深さセンサであってもよい、センサ２０６及びセンサ２０８等、ロボットアーム２０２に取り付ける１つ以上のセンサを使用してもよい。感知システムは、箱を効率的に持ち上げて移動するために制御システム２４０（例えば、コンピュータ稼働の動き計画ソフトウェア）で使用可能な、環境についての情報を判定してもよい。制御システム２４０は、装置上に配置されるか、又は装置と遠隔通信可能である。さらなる例において、前方ナビゲーションセンサ２１６及び後方ナビゲーションセンサ２１８等、モバイルベースに搭載される１つ以上の２Ｄセンサ又は３Ｄセンサと、センサ２０６及びセンサ２０８等、ロボットアームに搭載される１つ以上のセンサとからの走査は、トラック又はその他のコンテナの側壁、床壁、天井壁、及び／又は前方壁を含む、環境のデジタルモデルを構築するように統合されてもよい。制御システム２４０は、この情報を使用して、モバイルベースに荷降ろし又は荷積みの位置まで案内させてもよい。
[0042] 追加の例において、３Ｄセンサから平面情報を抽出して、壁部、床／天井、及び／又は箱の面をモデル化してもよい。床のモデル化を行った後、床面に対象を投影することにより、障害物及び／又は箱等の目標対象のセグメント化を可能にしてもよい。床面投影を使用して、平面として正確にモデル化されなくてもよいコンテナ又はトラックの波形側面をモデル化することもできる。さらなる例において、側壁の角度、床面のロール及びピッチ、及び／又は側壁からの距離を使用して、モバイルベースを衝突させることなくコンテナ内に操作することができる。単一の線形走査でなく、拡張３Ｄ情報を使用することにより、ナビゲーション情報の抽出をロバストにすることを補助してもよい。例えば、側壁は、３Ｄセンサに取得される垂直方向の伸長を有してもよい。深さ情報の単一線を使用する走査システムは、垂直に操作可能であり、及び／又は、取得する情報が少ないためにロバスト性に劣る場合に、より低速であってもよい。追加の例において、前面モデル化により、トラック荷降ろしで持ち上げられる次の対象群までの距離を判定することができる。
[0043] さらなる例において、ロボットアーム２０２は、デジタル吸引格子グリッパ等のグリッパ２０４を備えてもよい。このような実施形態において、グリッパは、遠隔感知、又は単一地点距離測定、及び／又は吸引が達成されるか否かの検出のいずれかにより、オン又はオフされ得る１つ以上の吸引弁を含んでもよい。追加の例において、デジタル吸引格子グリッパは、関節式伸長部を含んでもよい。いくつかの実施形態において、レオロジー流体又は粉体で吸引グリッパを駆動する潜在能力により、高い曲率の対象の余剰の把持を可能にしてもよい。
[0044] いくつかの実施形態において、グリッパは、いくつかの箱又は対象を潜在的に回し、網羅された対象の一部又は全部の吸引をオンにすることができる。いくつかの実施形態において、吸引装置又は接着装置は、ロボット装置が掴む対象として感知された箱に合うように任意の数の吸引装置をオンすることができるように、「デジタル」格子であってもよい。いくつかの実装において、システムは、吸引装置が双方の箱を同時に持ち上げることでスループットを倍にするために継ぎ目の両側で駆動可能となるように、箱の継ぎ目（隣接する箱間の分離箇所）を認識してもよい。いくつかの実施形態において、吸引装置は、特定時間後、面の把持に成功可能であるか否かを感知することができ、その後、自動シャットオフしてもよい。さらなる実施形態において、吸引装置の区画を折り曲げ、箱の頂上部を掴むことができる。例えば、グリッパは、最初に完全伸長状態で始動した後、把持されている面に合わせることができる。
[0045] さらなる例において、ロボットアームは、吸引把持を向上するために小刻みな動きを実施することができる。追加の実施形態において、ロボットアームは、箱を左右に小刻みに動かすことで、その周囲からの箱のセグメント化を補助することができる。他の実施形態において、アームは、箱の持ち上げの際に小刻みに動くことにより、他の対象を押しのけてしまうことを回避できる。このような実施形態において、ロボットアームは、吸引を使用して持ち上げるために対象に接着しようとする時、対象に対する強固な封止を行うために、小刻みな動きを採用してもよい。さらなる例において、ロボットアームは、箱が他の物品との摩擦又は重なり合いからより優しく離れられるように、ロボットアームが対象を持ち上げる際に対象を小刻みに動かしてもよい。これにより、対象を過剰に直接的又は急速に引き上げて他の物品を空中に投げ上げてしまうという状況を回避する補助を行ってもよい。
[0046] 種々の実施形態によると、段ボール箱は、吸引装置による接着を困難にしてしまう凹凸、又は皺の入った面を有し得る。従って、吸引装置が吸引接触する際に、この装置を小刻みに動かすことにより、段ボール箱及びその他の非平坦な対象の把持の確実性をより高めることができてもよい。さらなる例において、まず箱を掴む時、中央部のいくつかの吸引装置をオンにし、アームが箱の引き出しを開始する際に、アームを前後に小刻みに動かすことができる。これにより、他の箱との面接着から離れ、箱の引き出しの開始を補助してもよい。この箱は、少なくとも部分的に一旦引き出されると、その後、他の箱からより容易にセグメント化されてもよい。いくつかの実施形態において、乱雑している中から対象を持ち上げつつ、小刻みに動くことにより、他の対象を持ち上げた対象から取り除くことで、望まない周囲の対象を持ち上げてしまうことを防止してもよい。
[0047] 種々の実施形態によると、把持を成功させるために、物品のセグメント化が必要であってもよい。いくつかの実施形態において、平滑面パッチが２つの別個の対象に属してもよい。このような例では、操作部による対象との相互作用を使用して、対象を互いからより良くセグメント化するように現場を摂動させてもよい。対象のセグメント化を改善するために、動き分離には、コンベヤ上の対象、スライド上の対象、荷物として移動中の対象、及び／又は荷物内で活発に押しのけられている対象の性質又は強いられる動きを、オプティカルフロー、視差、又は時間遅延ビューによって追跡し、ステレオ深さを計算してもよい。
[0048] 他の例において、感知システムに使用されるセンサのうちの１つ以上は、１つ又は複数のカメラと既知のオフセットパターンプロジェクタとの間で深さの三角測量を可能にするために、パターンを現場に投影するなどのアクティブビジョン技術を使用する深さ感知装置に登録されたＲＧＢａＤ（ＲＧＢ＋アクティブ深さ）カラー又はモノクロカメラであってもよい。この種のセンサデータは、ロバストなセグメント化を可能にする補助となってもよい。種々の実施形態によると、どこに及び／又はいかにして対象を載置するか（例えば、対象を固定レセプタクル内に嵌める）を把握するために、バーコード、テクスチャコヒーレンス、カラー、３Ｄ面特性、又は面に印刷されたテキスト等の手がかりを使用して、対象を識別し、及び／又は、そのポーズを見出してもよい。いくつかの実施形態において、対象をセグメント化するために、シャドウ又はテクスチャの差異を採用してもよい。
[0049] ロボット装置２００の機能の多く又は全ては、制御システム２４０によって制御可能である。制御システム２４０は、メモリ２４６等の持続性コンピュータ可読媒体に記憶された指示２４４を実行する少なくとも１つのプロセッサ２４２（少なくとも１つのマイクロプロセッサを含み得る）を含んでもよい。制御システム２４０はまた、分担してロボット装置２００の個々の構成要素又はサブシステムを制御するように機能してもよい複数の演算装置を表してもよい。
[0050] いくつかの実施形態において、メモリ２４６は、図２Ａ及び図２Ｂとの関連で上述したものを含む、ロボット装置２００の種々の機能を実行するために、プロセッサ２４２で実行可能な指示２４４（例えば、プログラム論理）を含んでもよい。メモリ２４６は、機械的システム２２０、センサシステム２３０、及び／又は制御システム２４０のうちの１つ以上に対するデータの送信、データの受信、相互作用、及び／又は制御を行う旨の指示を含む、追加の指示も含んでよい。
[0051] 種々の実施形態によると、知覚案内ロボットを説明する。例えば、ロボット装置は、箱を持ち上げ、必要な箇所にその箱を載置するようにロボットアームを案内する計画とともに知覚を組み合わせて利用してもよい。図３Ａは、一例としての実施形態に係る図２Ａのロボット装置の一部を積み上げた箱とともに示している。図示の通り、ロボット装置は、上述のように、把持要素２０４、センサ２０６及び２０８、及びコンベヤ２１０を備えたロボットアーム２０２を含んでもよい。いくつかの例において、ロボット装置は、図２Ａについて記載したホロノミックカートに搭載可能であり、異なる種別の可動装置に搭載可能であり、レール又は進路上に搭載可能であり、又は静置することもできる。ロボット装置は、箱の形状及びサイズが不均一に混在して積み上げられた箱３２０から箱を取り出すように制御されてもよい。
[0052] 例において、２Ｄ及び／又は３Ｄにおける対象のモデルを含む仮想環境を判定及び使用して、箱を持ち上げるための計画又はストラテジが展開されてもよい。いくつかの例において、ロボットは、図３Ｂに示す通り、１つ以上のセンサを使用して対象を含む環境を走査してもよい。ロボットアーム２０２が移動すると、アーム上のセンサ２０６は、個々の箱の形状及び／又は位置を判定するために、積み上げられた箱３２０についてのセンサデータを取得してもよい。追加の例において、個々の（例えば、３Ｄ）走査からの情報を統合することにより、３Ｄ環境のより大きな写真を構築してもよい。これらの走査を実施するセンサは、固定位置、ロボットアーム上、及び／又はその他の箇所に載置されてもよい。種々の実施形態によると、走査は、多数の異なる技術のいずれか又は全てに従って構成及び使用されてもよい。
[0053] いくつかの例において、１つ以上の３Ｄセンサが搭載されたロボットアームを移動させることにより、走査を実施することができる。アーム位置からのフィードバックは、センサが配置された箇所についてのポーズ情報を提供してもよく、統合の補助に使用されてもよい。代替又は追加として、走査は、１つ以上の２Ｄセンサを使用して、例えば、動きを活用し、環境内のキー地点を追跡することによって実施されてもよい。さらなる例において、走査は、与えられたフィールドを網羅する視野（ＦＯＶ）を有する固定搭載カメラからの者であってもよい。追加の例において、走査は、高精度のポーズ推定を補助するように視覚的に登録されることにより、潜在的により良い統合結果を与えるものであってもよい。
[0054] さらなる例において、仮想環境は、（例えば異なるセンサからの）情報を統合するために３Ｄ体積測定又は表面モデルを使用して構築されてもよい。これにより、１つのセンサがより大きな環境を網羅するのに不十分である場合等、より大きな環境内でシステムの動作を可能にしてもよい。このような技術により、取得された詳細の水準も上げ、ロボット装置が種々のタスクを実施する補助となってもよい。特に、統合情報は、単一の走査を行った場合に比べて、（例えば、ノイズレベルを下げることにより）より高精度な詳細を生じることができる。これにより、対象検出、表面選別、又はその他の適用を改善することができる。
[0055] さらなる例において、環境を感知し、その情報を簡易な数学的３Ｄ形状形態（例えば、平面、円筒、円錐、半球等）の簡易形状モデルに抽出することにより、広角度環境再構築が実施されてもよい。場合によっては、このような技術で動き計画をより容易にしてもよく、及び／又は、モデルの妨害（例えば、衝突）の検出をより容易にしてもよい。代替又は追加として、このような技術により、パラメータ記述で環境を拡張させてもよい。例えば、地面は、対象の後方に延びて対象に塞がれる面として扱われてもよい。
[0056] 追加の例において、環境における面又はその他の数学的表面が３Ｄで抽出されてもよい。これらの既知の「理想的」表面の検出は、環境のより正確なモデル内に組み合わせられてもよい。例えば、面を使用して、壁（又は、その数学的記述）及びその他の障害物の伸長全体を判定し、衝突回避及び関心対象の位置検出を行ってもよい。また対象の数学的表現を使用して、環境に侵入している人等の異常を見つけてもよい。このような事態は、理想的モデルを妨害してもよく、その検出をより容易にしてもよい。
[0057] 他の例において、箱等の特定の対象は簡易な平面形態を有してもよい。例えば、金属缶は円筒形状形態を有してもよく、タイヤは環状形態を有してもよい。一例としてのシステムは、これらをモデル化し、及び／又は、いかにして対象の動き計画を行うかを判定するために、特定対象のこの特質を利用してもよい。例えば、特定の形状の既知のテンプレートを使用して、特定形状に合致するように見受けられる環境内の対象の検出特徴を精査することができる。
[0058] いくつかの例において、２Ｄ及び３Ｄの情報は、少なくとも部分的に１つ以上のファサードで表されてもよい。ファサードは、深さマップ（例えば、３次元としての距離を有する２Ｄマップ）として表される、対象のセットを含んだ略平面状構築物と定義されてもよい。ファサードの例として、トラック内の箱の壁、箱又はその他の対象を含むパレットを積み上げた頂上部、又は対象を乱雑に入れたケースの頂上部が含まれてもよい。
[0059] さらなる例において、ファサードは、例えば、箱を持ち上げる順序を計画するために、箱から構築されてもよい。例えば、図３Ｃに示す通り、箱３２２は、次に持ち上げる箱として、ロボット装置により特定されてもよい。箱３２２は、センサ２０６及び２０８等、１つ以上のセンサで収集されたセンサデータに基づいて構築される、積み上げられた箱３２０の前面壁を表すファサード内に特定されてもよい。その後、制御システムは、恐らくはその形状及びサイズ、積み上げられた箱３２０の頂上部におけるその位置、及び／又は、目標コンテナ又は箱の箇所の特性に基づいて、箱３２２が次に持ち上げる箱であることを判定してもよい。その後、ロボットアーム２０２は、グリッパ２０４を使用して箱３２２を持ち上げ、（例えば、貯蔵領域内に箱３２２を搬送するために）コンベヤベルト２１０上に箱３２２を載置するように制御されてもよい。
[0060] 追加の例において、ファサードは、３Ｄ表面情報の垂直投影として表されてもよい。この表現により、特定の適用のために関心領域を判定すべく、ファサードの解析を可能にしてもよい。例えば、トラックの荷降ろしにおいて、次に持ち上げる箱の左上角部がファサード表現に基づいて判定されてもよい。他の例において、統合３Ｄ環境の垂直投影が、適用関連タスクを実施するための、広視野で解析の容易な表現を付与するものと判定されてもよい。このようなタスクの１つは、持ち上げる箱の１つ又は複数の角部（例えば、左上）を見つけることであってもよい。このようなタスクの他の１つには、ケースから対象を取り出すために、良好な表面（例えば、比較的平坦で大きい）を見つけることが含まれてもよい。
[0061] さらなる例において、積み上げられた箱の３Ｄモデルは、積み上げたもの又はパレットに対して箱を荷積み／積み降ろしするための計画及び追跡の進捗を補助するモデルとして構築及び使用されてもよい。ファサードのいずれか１つの実際のカメラビューは、視点閉塞及び射影歪みを引き起こしてしまうこともある。従って、ロボットアームの動きによる複数のＲＧＢＤビュー及び／又はカートベース又は固定箇所からの異なるビューが組み合わせられ、持ち上げられる箱の単一のファサードを作成してもよい。
[0062] 他の例において、３Ｄモデルを衝突回避のために使用してもよい。例において、無衝突軌道を計画することには、環境における対象及び表面の３Ｄ位置を判定することが含まれてもよい。軌道最適化装置は、環境再構築で提供された３Ｄ情報を使用して、障害物の存在する進路を最適化してもよい。さらなる例において、最適化装置は、リアルタイムで作動し、多くの種類の制約を受け入れてもよい。このような制約の一例として、最適化装置は、軌道全体にわたってエンドエフェクタレベルを保とうとしてもよい。
[0063] 追加の例において、環境は、メッシュ又は３Ｄ地点セットとして取得されてもよい。ロボットアームは、迅速な衝突確認のため、平面セグメントの凸状外殻として表されてもよい。環境を恒常的又は頻繁に更新することにより、ロボットアームが、迅速に変化に対応できるようにしてもよい。さらなる例において、最適化装置は、その進路全体にわたって、頻繁に連続衝突確認を実施してもよい。最適化装置は、対象から特定距離離れたままとするように、又は与えられた角度から目標位置に接近するように、任意の制約をコストの形で受け入れてもよい。さらに、最適化装置は、共同空間で作動し、ワインドアップの追跡を保ち、複数の逆運動ソリューションの中から目標位置を選択することにより、ロボットの傷害状況を回避してもよい。動き計画のための１つのストラテジには、選択した目標接合位置が次の動きに対して受け入れられるであろうか否かを見るために、先のいくつかの動きを見ることが含まれてもよい。
[0064] いくつかの実施形態において、ロボットアーム、カメラ、ケーブル、及び／又はその他の構成要素の衝突回避等の進路の制約は、制約ベースの計画ソルバに入れられ、知覚のためにアームを移動させるのに最良の進路を作成するために解かれてもよい。さらに、いくつかの実施形態において、このソルバは、対象を持ち上げ、移動し、載置するのに最良の進路を判定してもよい。
[0065] 種々の実施形態によると、３Ｄ及び／又は視覚センサを較正して、作業空間に対するそれらのポーズを判定してもよい。固定センサの場合、較正により、作業空間内におけるそれらの固定ポーズを判定してもよい。アーム上のセンサの場合、較正により、センサの取り付けられるアームリンクからのセンサのオフセットポーズを判定してもよい。
[0066] 例において、較正技術により、作業空間内の任意の数のセンサの較正を可能にしてもよい。較正には、種々のパラメータ及び係数のうちの一部又は全部を判定することが含まれてもよい。例えば、較正により、焦点距離及び画像中心等、１つ以上の内因性パラメータを解いてもよい。他の例として、較正により、径方向歪み及び正接歪みのモデル等、１つ以上の歪み係数を判定してもよい。さらに他の例として、較正により、パターン又は現場で同一のパターンを特定した他のセンサに対する、現場での対象の位置を規定する１つ以上の外因性パラメータを解いてもよい。
[0067] いくつかの例において、較正は、少なくとも部分的に、２Ｄ又は３Ｄにおいて既知の特徴セットであってもよい較正パターンを使用して実施されてもよい。例えば、各ドットと他のドットとの間の距離が既知である、既知のドットパターンを使用してもよい。較正は、少なくとも部分的に、対象についての複数の異なるビューを収集することによって実施されてもよい。さらなる例において、異なる位置において較正パターンの複数のビューを取得することにより、（１）カメラの１つ以上の係数の較正、及び／又は、（２）較正パターンが固定されたところによって成立される座標系に対してカメラがどこに存在するかということに関する知識を可能にしてもよい。特定の実施形態において、現場におけるカメラがロボットアーム上の較正パターンを特定し、アーム上のカメラが同時に現場における較正パターンを特定する。
[0068] 追加の例において、較正には、現場に固定されたカメラが含まれてもよい。この場合、較正パターンは、ロボットアーム上に載置されてもよい。ロボットアームは、ロボットアーム上の較正パターンの複数のビューが収集される際、現場を通って移動するように構成されてもよい。これにより、カメラの較正を補助してもよく、及び／又は、ロボットの座標系にカメラの座標系を関連付けるのに役立てられてもよい。さらに、各装置の他の装置に対する関係は、ロボットアームが移動する際に各装置によって判定することができる。
[0069] 特定の例において、較正には、ロボットアーム上に配置されたカメラが含まれてもよい。較正パターンは、壁又はテーブル上に搭載されてもよい。そして、カメラは、動きまわり、異なるロボット又はロボットアームの位置から較正パターンの複数のビューを収集してもよい。異なる３Ｄ又は２Ｄのビュー（例えば、２、２０、又は２００）が収集される時、これらのビューを使用して、較正関係を解くことができる。較正後、アーム上のカメラが移動する時、システムは、現場における較正パターンの位置に基づいて設定された座標システムに対してどこにあるのかを判定することができる。特定の実施形態において、較正パターン及びカメラの双方を可動としてもよい。例えば、較正パターンは、ロボットアームが箱を載置するように構成されてもよい箇所において、コンベヤベルト上に配置されてもよい。較正後、システムは、カメラがコンベヤベルト上のその場所に対してどこにあったかを判定してもよい。
[0070] さらなる例において、３Ｄセンサ較正のロバストな推定のための２段階プロセスにおいて、非線形最適化が実施されてもよい。１つの段階において、初期化は、目標及びセンサの相対的ポーズオフセットから導出されてもよい。他の段階において、初期化が与えられると、バッチバンドル調整を使用して、目標地点とともにカメラの最適なポーズを見出してもよい。較正は、接合長さ及び接合角度オフセット等のロボットパラメータの推定に拡張することができる。
[0071] 他の例において、較正パターン上のカメラの既知で正確なロボットの動き、又はカメラ上の較正パターンを使用して較正結果を改善してもよい。例えば、カメラが精密にはいかにして移動するかということについての情報を使用して、より正確なカメラ較正を得てもよい。すなわち、カメラを右側に５０ｍｍ移動させる場合、較正対象から対応する（透視投影）移動量が検出される。この情報を使用して、較正及び追跡のパラメータをともに、又は、別々に最適化してもよい。
[0072] 追加の例において、ロボットは、その継続中の較正を見て、より良好な較正のために情報を最大化するように移動することができる。例えば、いくつかのビュー領域が見られていないことを検出し、それらのビューのところまで行くことができる。
[0073] さらなる例において、通常、乱雑な収集領域から規定のケースまで、不均一な分類別の物品を実際に走査するためのシステムが表される。いくつかの実施形態において、物品を含む持ち上げ箇所が、正確な対象の向きについて敏感でないこともあり、物品がともに混在させられることもある。追加の例において、それらの物品の載置箇所は、対象の向きについて敏感であってもよく、又は敏感でなくてもよい。いくつかの例において、持ち上げ及び載置領域は、幾分の公差を伴う、対象の持ち上げ又は載置のために許容可能な３Ｄ領域として規定されてもよい。持ち上げ及び載置領域では、同様の対象及び／又は異種の対象が高度に散在してもよい。他の実施形態において、物品は、特定の向きに分類される物品を保持する金属又はプラスチックのスナップ等の固定物から来てもよく、又はこの固定物の中に入れられてもよい。
[0074] 追加の例において、知的把持箇所及び動き、並びに事象報告（例えば、載置領域がいっぱいで、持ち上げ領域が空である時）のために、持ち上げ及び載置箇所の双方の環境モデル化を使用してもよい。いくつかの実施形態において、対象境界体積を演算してもよく、及び／又は、対象の際立った特徴を見つけてもよい（テクスチャ、カラー、バーコード、又はＯＣＲ等）。いくつかの実施形態において、対象は、対象種別又は対象ＩＤによって索引される位置割り当てデータベースを合致照合することにより、割り当てられた目的地ごとに分類されてもよい。例えば、対象の位置は、対象のサイズを考慮し、及び／又は、特定種別の対象を認識することにより、バーコードを読み取って導出されてもよい。
[0075] いくつかの例において、対象の目標位置内において対象の特定構成を達成するために、ロボット装置のための計画を判定してもよい。例えば、荷積み／荷降ろし、又はパレット搭載／パレット荷降ろしの目標は、（１）箱の間を最小空隙にする高密度梱包、及び／又は、（２）容易に崩れない安定的な梱包を達成することであってもよい。いくつかの実施形態において、安定性には、通常、重い対象が底部にあり、軽い対象が頂上部にあることを要求してもよい。他の例において、組み合わさっていないコラムの積み重ね、コラムの傾き、又は良好でない積み重ねの他の特性を回避するために、パレットを作成してもよい。
[0076] さらなる例において、パレット又はトラック／コンテナは、次の積み降ろしプロセスにおける人のオペレータによる作業が最小化されるように、荷積みされてもよい。例えば、いくつかの実施形態において、物品は、開梱の際、最初に必要となる物品が頂上部にきて、２番目に必要となる物品が１層下にくるように、後入れ先出しの順に載置されてもよい。他の例において、パレットの荷積みと、物品が梱包セルに向かってどのように流れるかということとは、独立していてもよい。従って、いくつかの実施形態によると、システムは、ランダムな順、又は事前に既知の順に送られるパッケージを取り扱うことができる。また、いくつかの実施形態において、システムは、リアルテイムで物品の流れの変化に適合してもよい。さらなる例において、１つ以上の箱が記録され、それらの順が経路に沿って変更可能である一時的貯留領域に箱を保持することによって緩衝されてもよい。
[0077] 種々の実施形態によると、トラック又はコンテナの荷積み／荷降ろしのため、又はパレットの荷積み／荷降ろしのために、２Ｄシミュレータ及び／又は３Ｄシミュレータを利用してもよい。いくつかの例において、積み上げられた箱の状態を、物理的世界で取得し、シミュレータに入力してもよい。いくつかの実施形態において、次に持ち上げる箱を見つけるために、シミュレータにより、１つ〜全ての箱の可変サイズキューを使用してもよい。例えば、２個の箱、４個の箱、又は１０個の箱のキューをシミュレータで考慮してもよい。
[0078] さらなる例において、シミュレータは、ヒューリスティックアルゴリズムにより、及び／又は、総当たり的又は多重解像度の検索により、最良の箱配置を見つけるために、キュー内の箱を検索してもよい。いくつかの実施形態において、システムは、前回のより粗いレベルで見つけた最良の箇所の周囲で、徐々に精細な箱の配置をインクリメントしてもよい。いくつかの実施形態において、次の特定の箱の配置が一旦判定されると、判定された位置に箱を効率的に動かすため、動き計画に物理学プランナを使用してもよい。さらなる例において、積み上げの品質（例えば、密度、安定性、及び／又は順序載置）のために、物理的な積み上げ及びシミュレーション上の積み上げを連続的にモニタしてもよい。いくつかの例において、全ての箱が載置されるまで、又は目標コンテナをもはや他の箱に収めることができなくなるまで、このプロセスを反復してもよい。
[0079] 以下、図４を参照すると、図４は、環境の仮想表現を判定するための一例としての方法４００のブロック図である。図４に示す方法４００は、例えば、図２Ｂのロボット装置２００、より一般的には、任意の演算装置の１つ以上の構成要素によって使用又は実施可能な方法の一実施形態を表している。方法４００は、ブロック４０２〜４１２の１つ以上によって示される１つ以上の動作、機能、又は行為を含んでもよい。ブロックは連続順に示されているものの、これらのブロックは、並行して実施されてもよく、及び／又は、本明細書に記載のものとは異なる順に実施されてもよい。また、種々のブロックは、より少ない数のブロックに組み合わせられてもよく、追加ブロックに分割されてもよく、及び／又は、所望の実装に基づいて除外されてもよい。
[0080] また、方法４００並びに本明細書に開示のその他のプロセス及び方法に関して、ブロック図は、本実施形態の１つの可能な実装の機能及び動作を示している。この点に関して、各ブロックは、プロセスの特定の論理的機能又はステップを実装するためのプロセッサ又は演算装置によって実行可能な１つ以上の指示を含む、モジュール、セグメント、又はプログラムコードの一部を表してもよい。プログラムコードは、例えば、ディスク又はハードドライブを含む記憶装置等、任意の種別のコンピュータ可読媒体に記憶されてもよい。コンピュータ可読媒体には、例えば、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ（ＲＡＭ）のように短期間データを記憶するコンピュータ可読媒体等の持続性コンピュータ媒体が含まれてもよい。コンピュータ可読媒体にはまた、例えば、読取専用メモリ（ＲＯＭ）、光学又は磁気ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）のように二次的な、又は永続的長期記憶装置等の持続性媒体も含まれてよい。コンピュータ可読媒体はまた、その他の任意の揮発性又は不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体又は有形記憶装置と考えられてもよい。
[0081] また、方法４００並びに本明細書に開示のその他のプロセス及び方法に関して、図４の各ブロックは、プロセスにおける特定の論理的機能を実施するために有線接続された電気回路図を表してもよい。
[0082] 一実施形態において、方法４００の機能は、図２Ｂの制御システム２４０等の制御システムによって実施されてもよい。他の実施形態において、方法４００の機能は、構造化光処理のための検索空間を制限するためにステレオ画像処理の出力を使用するように構成された複数の制御システムで分担されてもよい。
[0083] まず、ブロック４０２において、方法４００は、少なくとも２つの光学センサで取得した複数の画像を受信することを含む。この複数の画像は、第１の光学センサの第１の視点から知覚した環境の第１の画像と、第２の光学センサの第２の視点から知覚した環境の第２の画像とを含んでもよい。この複数の画像は、任意で、２つを超える数の画像を含んでもよい。例えば、複数の画像は、第３の光学センサで取得した１つ以上の画像を含んでもよい。他の例として、この複数の画像は、第１光学センサで取得した複数の画像と、第２の光学センサで取得した複数の画像とを含んでもよい。
[0084] 第１の光学センサ、第２の光学センサ、及び第３の光学センサは、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、又は光学画像を電子信号に変換するように構成された、その他の種別のセンサ等、任意の種別の光学センサを含んでもよい。例として、第１の光学センサ、第２の光学センサ、又は第３の光学センサは、赤色／緑色／青色（ＲＧＢ）赤外線（ＩＲ）カメラであってもよい。さらに、第１の光学センサ、第２の光学センサ、又は第３の光学センサは、ＲＧＢカメラであってもよい。このＲＧＢ ＩＲカメラ又はＲＧＢカメラは、グローバルシャッタカメラであり、特定のカメラの画素が同時に情報を記憶するようにしてもよい。
[0085] 場合によっては、第１の光学センサ、第２の光学センサ、及び第３の光学センサのうちの１つ又は任意の組み合わせが、図２Ａのロボットアーム２０２等のロボット操作部に連結されてもよい。
[0086] ブロック４０４において、方法４００は、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面についての第１の深さ推定値を判定することを含む。一例において、演算装置は、ブロック合致照合アルゴリズムを使用して、第１の画像と第２の画像との間で対応する特徴を判定してもよい。ブロック合致照合アルゴリズムを使用することで、第１の画像の画素のセグメント（例えば、５×５、１１×１１、又は２１×２１の画素ウィンドウ）が第２の画像内の一定範囲のセグメントと合致照合され、第２の画像内で最も近い画素の合致照合セグメントを判定してもよい。例えば、最も近い画素の合致照合セグメントは、合致照合機能を最小化することによって判定されてもよい。次いで、一対の対応特徴の画素位置が与えられると、種々の三角測量法の１つを使用して、特定された特徴の３Ｄ位置を再構築することができる。三角測量のプロセスによると、地点Ｐの３Ｄ位置（ｘ、ｙ、ｚ）は、第１のセンサ及び第２のセンサの相対位置及び向きが与えられると、２つのセンサの画像平面状のＰの透視投影から再構築することができる。従って、対応する一対の特徴の画素位置が既知であり、２つのセンサの相対位置及び向きが既知である場合、特徴の３Ｄ位置が判定できる。
[0087] いくつかの例において、演算装置は、空間−時間ステレオ撮像を使用して、第１の深さ推定値を判定してもよい。空間−時間ステレオ撮像では、第１の光学センサで取得した単一の画像を第２の光学センサで取得した単一の画像と合致照合するのでなく、第１の光学センサで取得した第１の画像セット（例えば、第１のビデオストリーム）を、第２の光学センサで取得した第２の画像セット（例えば、第２のビデオストリーム）と照合合致してもよい。空間的及び時間的な外観の変動をともに使用することにより、曖昧さを低減し、正確さを増す補助を行ってもよい。
[0088] ブロック４０６において、方法４００は、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させることを含む。例として、演算装置は、テクスチャプロジェクタで、環境に既知の画素パターン（例えば、格子、ドット、ストライプ、スポット、水平バー、垂直バー等）を投影させてもよい。ある場合には、テクスチャプロジェクタは、赤外光射出機又は赤外線プロジェクタであってもよい。例えば、テクスチャプロジェクタは、光源、投影光学装置、及び液晶ディスプレイ（ＬＣＤ）又はパターンを伴う光を妨げる他の方法を含んでもよい。他の場合には、回折格子セットを使用して既知のパターンを生成してもよい。
[0089] いくつかの例において、ブロック４０２を参照して上述した第１の画像及び第２の画像が取得される前に、既知のテクスチャパターンが環境に投影され、ステレオ撮像に使用される第１の画像及び第２の画像が既知のテクスチャパターンを含むようにしてもよい。他の例において、第１の画像及び第２の画像が取得された後に、既知のテクスチャパターンが環境に投影されてもよい。例えば、ステレオ撮像は、環境の視覚的テクスチャを使用して実施されてもよい。代替として、テクスチャプロジェクタは、既知のテクスチャパターンの投影に先立って、ランダムテクスチャパターンを環境に投影することにより、ステレオ撮像を促進してもよい。この場合には、第１の画像及び第２の画像が取得された後、少なくとも１つの光学センサが既知のテクスチャパターンを含む少なくとも１つの画像を取得してもよい。
[0090] いくつかの実施形態において、テクスチャプロジェクタは、図２Ａのロボットアーム２０２等のロボット操作部に連結されてもよい。
[0091] ブロック４０８において、方法４００は、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う、複数の画像の少なくとも１つの画像の少なくとも１つの領域を判定することを含む。以上に検討した通り、演算装置は、ステレオ撮像を使用して判定された第１の深さ推定値を使用して、パターン復号化プロセスを通知してもよい。特に、演算装置は、既知のテクスチャパターンの少なくとも１つの画像について、第１の深さ推定値を使用して、既知のテクスチャパターンの特定部分の検索を行う少なくとも１つの画像の領域を判定してもよい。
[0092] テクスチャプロジェクタと既知のテクスチャパターンの画像を取得するのに使用する光学線ンサとが同一の高さ付近に水平に配列される例において、演算装置は、第１の深さ推定値と、テクスチャプロジェクタの位置及び光学センサの位置の間のベースライン距離とを使用して、既知のテクスチャパターンの画像の画像空間内において、既知のテクスチャパターンの特定部分が配置されるであろう箇所を推測してもよい。例えば、演算装置は、三角測量を使用して、既知のテクスチャパターンの特定部分が観察される可能性のある、光学センサの画像平面内の位置を判定してもよい。そして、演算装置は、パターン復号化の検索領域として、画像平面を伴う位置の周辺領域を判定してもよい。テクスチャプロジェクタ及び光学センサが同一の高さに水平に配列されない場合、演算装置は、ミスアラインメントの主要因である変換を判定してもよい。
[0093] いくつかの実施形態において、既知のテクスチャパターンの画像は、ブロック４０２を参照して上述した第１の画像又は第２の画像であってもよい。換言すると、演算装置は、ステレオ合致照合のために使用される同一の画像を使用して、続いて構造化光処理を実施してもよい。他の例において、演算装置は、第１の画像又は第２の画像とは異なる画像を使用して、構造化光処理を実施してもよい。例えば、ブロック４０２を参照して上述した複数の画像は、第１の光学センサ、第２の光学センサ、又は第３の光学センサを使用して取得した既知のテクスチャパターンの第３の画像を含んでもよい。他の場合には、複数の画像は、２つの異なる光学センサ（例えば、第１の光学センサ及び第２の光学センサ）を使用して取得した第３の画像及び第４の画像を含んでもよい。
[0094] いくつかの例において、既知のテクスチャパターンのサイズは、第１の深さ推定値と対応する検索領域のサイズとに基づいて判定されてもよい。例えば、投影されたテクスチャパターンのサイズは、第１の深さ推定値の誤差レベルに比例してもよい。換言すると、第１の深さ推定値が高レベルの誤差を含む場合、演算装置は、大きな検索領域を判定し、テクスチャプロジェクタで大きな領域（例えば、１５×１５画素）に独特なテクスチャパターンを投影させてもよい。第１の深さ推定値が低レベルの誤差を含む場合、演算装置は、より小さな検索領域を判定し、テクスチャプロジェクタでより小さな領域（例えば、５×５画素）に独特なテクスチャパターンを投影させてもよい。従って、場合によっては、演算装置は、テクスチャプロジェクタに既知のテクスチャパターンを投影させるのに先立って、検索領域の期待サイズを判定し、演算装置がテクスチャプロジェクタに適切なサイズの既知のテクスチャパターンを投影させることができるようにしてもよい。
[0095] ブロック４１０において、方法４００は、少なくとも１つの画像の少なくとも１つの領域内で、既知のテクスチャパターンの特定部分に対応する地点を判定することを含む。以上の議論に沿って、演算装置は、パターン復号化を実施して、既知のテクスチャパターンの特定部分に対応する領域（又は、複数の領域）内に地点を特定してもよい。場合によっては、演算装置は、ブロック照合合致アルゴリズムを使用して、既知のパターンの特定部分に最も近く合致する領域内に、画素ブロックを判定してもよい。
[0096] ブロック４１２において、方法４００は、少なくとも１つの画像の少なくとも１つの領域内に、既知のテクスチャパターンの特定部分に対応するものとして判定された地点に基づき、環境における少なくとも１つの表面についての第２の深さ推定値を判定することを含む。例として、演算装置は、テクスチャプロジェクタの位置、画像の取得に使用した光学センサの位置、対応する地点の位置を使用して、環境における少なくとも１つの表面までの距離を三角測量してもよい。
[0097] 場合によっては、演算装置は、方法４００の１つ以上のブロックを反復して、環境についての複数の深さ推定値を判定してもよい。例えば、演算装置は、方法４００を使用して、環境における１つ以上の表面までの深さを示す深さマップを判定してもよい。
[0098] 方法４００のさらなる例において、演算装置は、ブロック４０４で判定された第１の深さ推定値とブロック４１２で判定された第２の深さ推定値とからの情報を組み合わせた第３の深さ推定値を判定してもよい。一例として、第３の深さ推定値は、画素ごと又は画素群ごとに第１の深さ推定値と第２の深さ推定値を平均化することによって判定されてもよい。当業者が理解するであろう通り、深さ推定値の組み合わせには、他のアプローチも可能である。
[0099] 以下、図５を参照するが、図５は、一例としての撮像システム５００の概念図である。図５に示す通り、撮像システム５００は、テクスチャプロジェクタ５０２と、第１の光学センサ５０４と、第２の光学センサ５０６とを含む。第１の光学センサ５０４は、テクスチャプロジェクタ５０２から第１の距離Ｄ１離間して示されており、第２の光学センサ５０６は、テクストプロジェクタ５０２から第１の距離Ｄ１より長い第２の距離Ｄ２離間して示されている。従って、図５の配置において、第１の光学センサ５０４及び第２の光学センサ５０６は、異なる角度から環境を観察してもよい。他の例において、第１の光学センサ５０４及び第２の光学センサ５０６は、テクスチャプロジェクタ５０２から同一距離（図示せず）、離間してもよい。
[0100] 以上の議論に沿って、第１の光学センサ５０４及び第２の光学センサ５０６を使用して、第１の視点及び第２の視点から第１の画像を取得してもよい。第１の画像及び第２の画像は、対象５０８の画像であってもよい。場合によっては、第１の画像及び第２の画像は、テクスチャプロジェクタ５０２によって対象５０８上に投影されたパターンの画像を含んでもよい。しかしながら、他の場合には、テクスチャプロジェクタ５０２によってパターンを投影する前に、第１の画像及び第２の画像を取得してもよい。
[0101] 上述の通り、演算装置は、第１の画像及び第２の画像を使用して、第１の光学センサ５０４と第２の光学センサ５０６との間のベースライン距離に基づく対象５０８の少なくとも１つの表面までの距離を三角測量してもよい。図５に示す通り、第１の光学センサ５０４は、第２の光学センサ５０６から距離Ｄ１＋Ｄ２、離間してもよい。
[0102] さらに、演算装置は、第１の画像及び第２の画像を使用して判定した第１の深さ推定値を使用して、構造化光処理を促進してもよい。例えば、第１の画像及び第２の画像がテクスチャプロジェクタ５０２によって投影された既知のテクスチャパターンを含む場合、演算装置は、第１の画像及び／又は第２の画像を使用して、テクスチャプロジェクタ５０２と第１の光学センサ５０４及び第２の光学センサ５０６のうちの一方又は双方との間のベースライン距離に基づき、対象５０８の表面までの距離を三角測量してもよい。一例として、演算装置は、例えば、図４の方法４００を使用して、第１の光学センサ５０４で取得した既知のテクスチャパターンの第１の画像と既知のテクスチャパターンの特定部分との間で対応する地点を判定してもよい。演算装置は、第１の光学センサ５０４とテクスチャプロジェクタ５０２との間の距離Ｄ１に基づき、対象５０８の表面までの距離を三角測量してもよい。代替又は追加として、演算装置は、第２の光学センサ５０６で取得した既知のテクスチャパターンの第２画像と既知のテクスチャパターンの特定部分との間で対応する地点を判定してもよい。演算装置は、テクスチャプロジェクタ５０２と第２の光学センサ５０６との間の距離Ｄ２に基づき、対象５０８の表面までの距離を三角測量してもよい。
[0103] 演算装置が第１の光学センサ５０４で取得した画像を使用して第１の構造化光深さ推定値を判定し、第２の光学センサ５０６で取得した画像を使用して第２の構造化光深さを判定する例において、第１の構造化光深さ推定値及び第２の構造化光深さ推定値は、冗長な深さ推定値であってもよい。好都合なことに、距離Ｄ１及びＤ２は異なるため、第１の構造化光深さ推定値及び第２の構造化光深さ推定値は変動してもよい。場合によっては、演算装置は、環境の変動のために、第１の光学センサ５０４で取得した画像を使用した構造化光深さ推定値を判定することができないこともあるが、第２の光学センサ５０６を使用して構造化光深さ推定値を判定できることもある。従って、場合によっては、２つの画像を使用して構造化光処理を実施することが望ましいこともある。
[0104] 以上に議論した通り、演算装置は、ステレオ合致照合に使用した第１の画像及び第２の画像を使用する代わりに、第１の光学センサ５０４又は第２の光学センサ５０６で取得した既知のテクスチャパターンの第３の画像を代替使用して、構造化光処理を実施してもよい。
[0105] さらに、場合によっては、演算装置は、第３の光学センサで取得した既知のテクスチャパターンの画像を使用して、構造化光処理を実施してもよい。図６は、テクスチャプロジェクタ６０２と、第１の光学センサ６０４と、第２の光学センサ６０６と、第３の光学センサ６０８とを含む、他の一例としての撮像システム６００の概念図である。図６において、第１の光学センサ６０４は、テクスチャプロジェクタ６０２から距離Ｄ１、離間して示されており、第２の光学センサ６０６は、テクスチャプロジェクタ６０２から距離Ｄ２、離間して示されており、第３の光学センサ６０８は、テクスチャプロジェクタ６０２から距離Ｄ３、離間して示されている。場合によっては、テクスチャプロジェクタ６０２と３つの光学センサとの間の距離が変動するため、図６に示す配置により、演算装置が、第１の光学センサ６０４と、第２の光学センサ６０６と、第３の光学センサ６０８とで各々取得された画像を使用して、３つの異なる構造化光深さ推定値を判定できる。例えば、光学センサのうちの１つ以上は、テクスチャプロジェクタ６０２から遠く離れた対象について深さ推定値を判定するように構成されてもよく、光学センサのうちの１つ以上は、テクスチャプロジェクタ６０２により近い対象についての深さ推定値を判定するように構成されてもよい。
[0106] 一例において、演算装置は、第１の光学センサ６０４及び第２の光学センサ６０６で取得した画像を使用してステレオ合致照合を実施してもよく、第３の光学センサ６０８で取得した画像を使用して構造化光処理を実施してもよい。例えば、第１の光学センサ６０４及び第２の光学センサ６０６は、対象６１０の視覚テクスチャを観察するように構成されたＲＧＢカメラであってもよい。その間、第３の光学センサ６０８は、テクスチャプロジェクタ６０２で対象６１０上に投影された既知の赤外線パターンを観察するように構成されたＩＲセンサであってもよい。
[0107] その他の構成も可能であり、一例としてのシステム６００は限定を意味するものでない。例えば、互いに対するテクスチャプロジェクタ６０２、第１の光学センサ６０４、第２の光学第２の６０６、及び第３の光学センサ６０８の相対配置は、図６に描く一例としての配置から変動してもよい。例えば、第１の光学センサ６０４、第２の光学センサ６０６、及び第３の光学センサ６０８は各々、テクスチャプロジェクタ６０２の共有側に配置されてもよい。他の場合には、第３の光学センサ６０８は、第２の光学センサ６０６よりもテクスチャプロジェクタ６０２からさらに離れて配置されてもよい。さらに他の場合には、第２の光学センサ６０６及び第３の光学センサ６０８の一方又は双方は、テクスチャプロジェクタ６０２の上方又は下方に配置されてもよい。
[0108] 図７Ａ及び図７Ｂは、既知のテクスチャパターンの特定部分の検索を行う画像の領域を判定する様子を示す概念図である。図７Ａ及び図７Ｂは、撮像システムにおける照明フレーム７００及び取得フレーム７０２を描いている。照明フレーム７００は、既知のテクスチャパターンを環境に投影するテクスチャプロジェクタの画像平面を表す。照明フレーム７００は、垂直軸、焦点Ｆ１、及び原点Ｏ１を備えた軸システムを含む。同様に、取得フレーム７０２は、光学センサの画像平面を表す。撮像フレーム７０２は、垂直軸、焦点Ｆ２、及び原点Ｏ２を備えた軸システムを含む。簡易にするため、単一の取得フレーム７０２のみを描いている。他の例には、複数の各光学センサに対応する複数の取得フレームが含まれてもよい。
[0109] 図７Ａに示す通り、テクスチャプロジェクタは、照明フレーム７００内の位置Ｐ１から構造化光の一例としての光線を射出する。一例としての光線は、対象７０４Ａの表面状の地点ＰＡで反射し、取得フレーム７０２に向かって進行する。地点ＰＡの深さはステレオ深さ推定値から既知であり、照明フレーム７００と取得フレーム７０２との焦点間の距離が既知であるため、演算装置は、三角測量を使用して、構造化光の光線が取得される可能性のある領域７０６Ａを推定してもよい。図７Ａに示す通り、領域７０６Ａは、取得フレーム７０２のサブセットであってもよく、取得フレーム７０２の垂直軸に対して規定されてもよい。取得フレーム７０２のサイズに対する領域７０６Ａのサイズは、限定を意味するものでない。
[0110] 図７Ｂは、テクスチャプロジェクタが照明フレーム７００内の位置Ｐ１から構造化光の光線を射出する他の例を描いている。光線が照明フレーム７００からさらに離れて配置された対象７０４Ｂの地点ＰＢで反射されるため、図７Ｂに描いた例は、図７Ａに描いた例とは異なる。結果として、演算装置は、領域７０６Ａとは異なる取得フレーム７０２の部分に配置される領域７０６Ｂを判定してもよい。特に、領域７０６Ｂは、領域７０６Ａに比べて、取得フレーム７０２の原点により近くてもよい。
[0111] 図８は、一例としての実施形態に係る他の方法８００のブロック図である。図８に示す方法８００は、例えば、図２Ｂの制御システム２４０によって、より一般的には、任意の演算装置の１つ以上の構成要素によって使用又は実施可能な方法の一実施形態を表す。方法８００は、ブロック８０２〜８１６のうちの１つ以上として示される１つ以上の動作、機能、又は行為を含んでもよい。ブロックは連続順に示したが、これらのブロックは並行して実施されてもよく、及び／又は、本明細書に記載のものとは異なる順に実施されてもよい。また種々のブロックは、より少ない数のブロックに組み合わせられてもよく、追加ブロックに分割されてもよく、及び／又は、所望の実装に基づいて除外されてもよい。
[0112] また、方法８００については、各ブロックは、プロセスにおける特定の論理的機能又はステップを実施するためにプロセッサ又は演算装置によって実行可能な１つ以上の指示を含む、モジュール、セグメント、又はプログラムコードの一部を表してもよい。また、図８の各ブロックは、プロセスにおける特定の論理的機能を実施するように有線接続された電気回路図を表してもよい。
[0113] まず、ブロック８０２において、方法８００は、テクスチャプロジェクタで環境にランダムなテクスチャパターンを投影させることを含む。いくつかの例において、ランダムなテクスチャパターンは、ステレオ合致照合を促進するパターンであってもよい。例えば、ランダムなテクスチャパターンは、後に２つ以上の画像間の照合合致対応関係を判定するために使用することのできる容易に特定可能な特徴を構築するために、意図的に現場に投影される、可視光又は赤外光等の光のランダムなパターンであってもよい。例として、少なくとも１つのランダムなテクスチャパターンは、スポット又はドットがランダムなパターンで相関関係のないスポット又はドットの２Ｄパターンを含んでもよい。種々の実施形態において、ランダムなテクスチャパターンは、時間的に一定であってもよく、時間の関数として変動してもよい。
[0114] ブロック８０４において、方法８００は、環境の第１の画像及び第２の画像と、第１の視点及び第２の視点から知覚されるランダムなテクスチャパターンとを受信することを含む。ブロック８０６において、方法８００は、その後、第１の画像と第２の画像との間で対応する特徴に基づき、環境における少なくとも１つの表面についての第１の深さ推定値を判定することを含む。以上に議論した通り、演算装置は、ブロック合致照合アルゴリズムを使用して、第１の画像及び第２の画像の間の対応関係を見つけ、三角測量を使用して、環境における１つ以上の地点への深さを推定してもよい。
[0115] ブロック８０８おいて、方法８００は、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させることを含んでもよい。場合によっては、テクスチャプロジェクタは、先にランダムなテクスチャパターンを投影するのに使用したのと同一のテクスチャプロジェクタであってもよい。しかしながら、他の例において、２つの別個のプロジェクタが使用されてもよい。すなわち、１度目にランダムなテクスチャパターンを投影する第１のプロジェクタと、２度目に既知のテクスチャパターンを投影する第２のテクスチャパターンである。
[0116] ブロック８１０において、方法８００は、環境の少なくとも１つの画像と既知のテクスチャパターンとを受信することを含む。例えば、演算装置は、第１の画像の取得に使用した第１の光学センサから画像を受信し、及び／又は、第２の画像の取得に使用した第２の光学センサから画像を受信してもよい。或いは、演算装置は、第３の光学センサから第３の画像を受信してもよい。
[0117] ブロック８１２において、方法８００は、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う少なくとも１つの画像の少なくとも１つの領域を判定することを含む。以上の議論に沿って、演算装置は、第１の深さ推定値と、テクスチャプロジェクタ及び画像の取得に使用した光学センサの間の既知の関係とを使用して、既知のテクスチャパターンの特定部分の検索を行う画像の部分を判定してもよい。
[0118] ブロック８１４において、方法８００は、少なくとも１つの画像の少なくとも１つの領域内で、既知のテクスチャパターンの特定微分に対応する地点を判定することを含む。そして、ブロック８１６において、方法８００は、少なくとも１つの画像の少なくとも１つの領域内で既知のテクスチャパターンの特定部分に対応すると判定された地点に基づき、環境における少なくとも１つの表面についての第２の深さ推定値を判定することを含む。
[0119] 以上に簡単に述べた通り、いくつかの例において、演算装置は、２つの異なる光学センサから受信した既知のテクスチャパターンの画像を使用して、複数の構造化光推定値を判定してもよい。図９は、一例としての実施形態に係る演算装置によって実施されてもよい一例としての機能のブロック図である。いくつかの例において、一例としての機能は、図４に示す一例としての方法４００又は図８に示す一例としての方法８００との連携で実施されてもよい。例えば、図９に示す一例としての機能は、図のブロック４０８〜４１２又は図８のブロック８１２〜８１６の代わりに実施されてもよい。
[0120] 図９に示す通り、ブロック９０２における機能は、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う第１の画像の第１の領域を判定することを含む。例えば、演算装置は、ステレオ撮像を使用して判定した深さ推定値に基づき、第１の画像内のどの部分において既知のテクスチャパターンの特定部分の検索を行うかを判定してもよい。場合によっては、第１の画像は、第１の深さ推定値を判定するために使用される２つの画像のうちの一方であってもよい。他の場合には、第１の画像は、第１の深さ推定値を判定するために使用される画像のうちのいずれかとは異なる画像であってもよい。そして、ブロック９０４及び９０６における機能は、第１の画像で既知のテクスチャパターンの特定部分に対応する第１の地点セットを判定することと、第１の地点セットに基づき、第１の構造化光深さ推定値を判定することとを含む。
[0121] 図９は、第２の画像に対して実施されてもよい機能を示している。特に、ブロック９０８における機能は、第１の深さ推定値に基づき、既知のテクスチャパターンの特定部分の検索を行う第２画像の第２領域を判定することを含む。例えば、演算装置は、ステレオ撮像を使用して判定した深さ測定値に基づき、第２の画像内のどの部分において既知のテクスチャパターンの特定部分の検索を行うかを判定してもよい。場合によっては、第２の画像は、第１の深さ推定値を判定するために使用した２つの画像のうちの一方であってもよい。他の場合には、第２の画像は、第１の深さ推定値を判定するのに使用した画像のいずれかとは異なる画像であってもよい。そして、ブロック９１０及び９１２における機能は、第２の画像で既知のテクスチャパターンの特定部分に対応する第２の地点セットを判定することと、第２の地点セットに基づき、第２の構造化光深さ推定値を判定することとを含む。
[0122] そして、ブロック９１４における機能は、第１の構造化光深さ推定値と第２の構造化光深さ推定値とを組み合わせた第２の深さ推定値を判定することを含む。例として、演算装置は、第１の構造化光深さ推定値と第２の構造化光深さ推定値とを平均化してもよい。従って、第１の構造化光深さ推定値と第２の構造化光深さ推定値は、正確な深さ推定値を判定するために組み合わせられてもよい、冗長な深さ推定値であってもよい。
[0123] 本明細書に記載の配置は、例示のみを目的とするものであることを理解しなければならない。このように、当業者は、他の配置及び他の要素（例えば、機械、インタフェース、機能、命令、及び機能のグループ化等）が代わりに使用可能であること、所望の結果に合わせていくつかの要素がともに省略されてもよいことを理解するであろう。さらに、記載の要素の多くは、任意の好適な組み合わせ及び位置において、別々又は分散された構成要素として実装されてもよく、又は他の構成要素と連携して実装されてもよい機能的実体である。
[0124] 本明細書中、種々の態様及び実施形態を開示したが、当業者にとって、他の態様及び実施形態も明らかとなるであろう。本明細書に開示の種々の態様及び実施形態は、例示を目的とするものであり、限定を意図するものでなく、真の範囲は、以下の請求項と、その請求項の同等物の範囲全てにわたって示される。本明細書において使用した用語は、特定の実施形態について説明することのみを目的とするものであり、限定を意図するものでないことも理解されなければならない。
[0125] 記載の例には、詳細に多くの修正、変動、及び変化が加えられるため、以上の説明及び添付の図面に示した全てのことは例示と解釈されることを意図しており、限定を意味するものでない。また、以下が本開示の態様をさらに説明するものであると理解されることが意図されている。

Claims (20)

  1. 演算装置により、テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させることと、
    前記演算装置により、第１の光学センサの第１の視点から知覚した前記環境の第１の画像と第２の光学センサの第２の視点から知覚した前記環境の第２の画像とを含む、少なくとも２つの光学センサで取得した複数の画像を受信することと、
    前記演算装置により、前記第１の画像と前記第２の画像との間で対応する特徴に基づき、前記環境における少なくとも１つの表面について第１の深さ推定値を判定することと、
    前記演算装置により、前記第１の深さ推定値に基づき、前記既知のテクスチャパターンの特定部分の検索を行う前記複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定することであって、前記少なくとも１つの画像は、前記環境及び当該環境に投影された前記既知のテクスチャパターンを示す、少なくとも１つの領域を判定することと、
    前記演算装置により、前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応する地点を判定することと、
    前記演算装置により、前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応するとして判定された地点に基づき、前記環境における前記少なくとも１つの表面について第２の深さ推定値を判定することと、を含む方法。
  2. 前記第１の深さ推定値に基づき、前記既知のテクスチャパターンの前記特定部分の検索を行う前記少なくとも１つの画像の前記少なくとも１つの領域を判定することは、前記第１の深さ推定値の基づき、前記少なくとも１つの画像の取得に使用した光学センサの位置に対する前記テクスチャプロジェクタの位置に基づいた三角測量を使用して、前記少なくとも１つの領域を判定することを含み、
    前記光学センサは、前記第1の光学センサ、前記第２の光学センサ又は第３の光学センサである、請求項１に記載の方法。
  3. 前記少なくとも１つの画像は、前記第１の画像、前記第２の画像、又はその双方を含む、請求項１に記載の方法。
  4. 前記環境の前記第１の画像及び前記環境の前記第２の画像が、前記環境及び当該環境に投影されたランダムなテクスチャパターンを示すように、前記テクスチャプロジェクタで前記環境に前記ランダムなテクスチャパターンを投影させることをさらに含む、請求項１に記載の方法。
  5. 前記少なくとも１つの画像は、前記複数の画像のうちの第３の画像を含む、請求項４に記載の方法。
  6. 前記少なくとも２つの光学センサは、前記第1の光学センサ、前記第２の光学センサ及び第３の光学センサを含み、
    前記少なくとも１つの画像は、前記第３の光学センサで取得される、請求項１に記載の方法。
  7. 前記少なくとも１つの画像の前記少なくとも１つの領域のサイズに基づき、前記既知のテクスチャパターンのサイズを判定することをさらに含む、請求項１に記載の方法。
  8. 前記環境の前記第１の画像及び前記環境の前記第２の画像は、前記環境及び当該環境に投影された前記既知のテクスチャパターンを示し、
    前記少なくとも１つの画像は、前記第１の画像及び前記第２の画像を含み、
    前記少なくとも１つの画像の前記少なくとも１つの領域は、前記第１の画像の第１の領域及び前記第２の画像の第２の領域を含み、
    前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応する地点を判定することは、（１）前記第１の画像の前記第１の領域内に前記既知のテクスチャパターンの前記特定部分に対応する第１の地点セットを判定することと、（２）前記第２の画像の前記第２の領域内に前記既知のテクスチャパターンの前記特定部分に対応する第２の地点セットを判定することとを含む、請求項１に記載の方法。
  9. 前記環境における前記少なくとも１つの表面について前記第２の深さ推定値を判定することは、（１）前記第１の地点セットに基づき、第１の構造化光深さ推定値を判定することと、（２）前記第２の地点セットに基づき、第２の構造化光深さ推定値を判定することと、（３）前記第１の構造化光深さ推定値と前記第２の構造化光深さ推定値とを組み合わせた第２の深さ推定値を判定することとを含む、請求項８に記載の方法。
  10. 前記第１の光学センサ、前記第２の光学センサ、及び前記テクスチャプロジェクタは、ロボット操作部に連結される、請求項１に記載の方法。
  11. 前記第１の深さ推定値及び前記第２の深さ推定値を平均化することによって第３の深さ推定値を判定することをさらに含む、請求項１に記載の方法。
  12. 演算装置の１つ以上のプロセッサによる実行時、前記演算装置に以下の機能を実施させる指示を記憶した持続性コンピュータ可読媒体であって、
    前記機能は、
    テクスチャプロジェクタで環境に既知のテクスチャパターンを投影させることと、
    第１の光学センサの第１の視点から知覚した前記環境の第１の画像と第２の光学センサの第２の視点から知覚した前記環境の第２の画像とを含む、少なくとも２つの光学センサで取得した複数の画像を受信することと、
    前記第１の画像と前記第２の画像との間で対応する特徴に基づき、前記環境における少なくとも１つの表面について第１の深さ推定値を判定することと、
    前記第１の深さ推定値に基づき、前記既知のテクスチャパターンの特定部分の検索を行う前記複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定することであって、前記少なくとも１つの画像は、前記環境及び当該環境に投影された前記既知のテクスチャパターンを示す、少なくとも１つの領域を判定することと、
    前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応する地点を判定することと、
    前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応するとして判定された地点に基づき、前記環境における前記少なくとも１つの表面について第２の深さ推定値を判定することとを含む、持続性コンピュータ可読媒体。
  13. 前記第１の深さ推定値に基づき、前記既知のテクスチャパターンの前記特定部分の検索を行う前記少なくとも１つの画像の前記少なくとも１つの領域を判定することは、前記第１の深さ推定値の基づき、前記少なくとも１つの画像の取得に使用した光学センサの位置に対する前記テクスチャプロジェクタの位置に基づいた三角測量を使用して、前記少なくとも１つの領域を判定することを含み、
    前記光学センサは、前記第1の光学センサ、前記第２の光学センサ又は第３の光学センサである、請求項１２に記載の持続性コンピュータ可読媒体。
  14. 前記少なくとも１つの画像は、前記第１の画像、前記第２の画像、又はその双方を含む、請求項１２に記載の持続性コンピュータ可読媒体。
  15. 前記機能は、前記少なくとも１つの画像の前記少なくとも１つの領域のサイズに基づき、前記既知のテクスチャパターンのサイズを判定することをさらに含む、請求項１２に記載の持続性コンピュータ可読媒体。
  16. システムであって、
    少なくとも２つの光学センサと、
    環境に既知のテクスチャパターンを投影するように構成されたテクスチャプロジェクタと、
    演算装置と、を備え、
    前記演算装置は、
    前記テクスチャプロジェクタで前記環境に既知のテクスチャパターンを投影させることと、
    第１の光学センサの第１の視点から知覚した前記環境の第１の画像と第２の光学センサの第２の視点から知覚した前記環境の第２の画像とを含む、少なくとも２つの光学センサで取得した複数の画像を受信することと、
    前記第１の画像と前記第２の画像との間で対応する特徴に基づき、前記環境における少なくとも１つの表面について第１の深さ推定値を判定することと、
    前記第１の深さ推定値に基づき、前記既知のテクスチャパターンの特定部分の検索を行う前記複数の画像のうちの少なくとも１つの画像の少なくとも１つの領域を判定することであって、前記少なくとも１つの画像は、前記環境及び当該環境に投影された前記既知のテクスチャパターンを示す、少なくとも１つの領域を判定することと、
    前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応する地点を判定することと、
    前記少なくとも１つの画像の前記少なくとも１つの領域内に、前記既知のテクスチャパターンの前記特定部分に対応するとして判定された地点に基づき、前記環境における前記少なくとも１つの表面について第２の深さ推定値を判定することとを行うように構成される、システム。
  17. 前記少なくとも１つの画像は、前記第１の画像、前記第２の画像、又はその双方を含む、請求項１６に記載のシステム。
  18. ロボット操作部をさらに備え、前記テクスチャプロジェクタは、前記ロボット操作部に連結される、請求項１６に記載のシステム。
  19. 前記少なくとも２つの光学センサは、前記ロボット操作部に連結される、請求項１８に記載のシステム。
  20. 前記演算装置はさらに、前記少なくとも１つの画像の前記少なくとも１つの領域のサイズに基づき、前記既知のテクスチャパターンのサイズを判定するように構成される、請求項１６に記載のシステム。
JP2017504391A 2014-08-29 2015-06-18 ステレオ処理及び構造化光処理の組み合わせ Expired - Fee Related JP6211734B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462043463P 2014-08-29 2014-08-29
US62/043,463 2014-08-29
US14/584,016 2014-12-29
US14/584,016 US9507995B2 (en) 2014-08-29 2014-12-29 Combination of stereo and structured-light processing
PCT/US2015/036404 WO2016032600A1 (en) 2014-08-29 2015-06-18 Combination of stereo and structured-light processing

Publications (2)

Publication Number Publication Date
JP6211734B1 true JP6211734B1 (ja) 2017-10-11
JP2017534836A JP2017534836A (ja) 2017-11-24

Family

ID=53499104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504391A Expired - Fee Related JP6211734B1 (ja) 2014-08-29 2015-06-18 ステレオ処理及び構造化光処理の組み合わせ

Country Status (7)

Country Link
US (1) US9507995B2 (ja)
EP (1) EP3186777B1 (ja)
JP (1) JP6211734B1 (ja)
KR (1) KR101772367B1 (ja)
CN (1) CN106575438B (ja)
AU (1) AU2015307191B2 (ja)
WO (1) WO2016032600A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243180A1 (ja) * 2022-06-13 2023-12-21 東京ロボティクス株式会社 ロボット装置、ロボットシステム、並びにロボットの制御方法及び制御プログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP2014069251A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 作業部制御装置、作業ロボット、作業部制御方法、および作業部制御プログラム
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
TWD178887S (zh) 2014-09-01 2016-10-11 蘋果公司 顯示螢幕之圖形使用者介面之部分
MX359536B (es) * 2014-10-03 2018-10-01 Wynright Corp Sistema de manipulacion robotica basado en la percepcion y metodo para la descarga automatizada de camiones que descarga/desembala los productos de traileres y contenedores.
US10068338B2 (en) * 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
EP3295239B1 (en) * 2015-05-13 2021-06-30 Facebook Technologies, LLC Augmenting a depth map representation with a reflectivity map representation
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10257498B2 (en) * 2015-12-04 2019-04-09 Empire Technology Development Llc Coordination of multiple structured light-based 3D image detectors
US10475201B1 (en) * 2016-02-02 2019-11-12 Hunter Engineering Company Method and apparatus for determining wheel rim and tire dimensions on a moving vehicle
US10217225B2 (en) 2016-06-01 2019-02-26 International Business Machines Corporation Distributed processing for producing three-dimensional reconstructions
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
KR101853127B1 (ko) * 2017-05-19 2018-04-27 주식회사 랜도르아키텍쳐 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
EP3637045B1 (en) * 2017-06-07 2023-05-24 Sony Semiconductor Solutions Corporation Information processing device and method
EP3453646A1 (en) * 2017-09-11 2019-03-13 Nekos Oy System for storing storage units
JP6879168B2 (ja) * 2017-11-01 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及びプログラム
US10334232B2 (en) * 2017-11-13 2019-06-25 Himax Technologies Limited Depth-sensing device and depth-sensing method
CN109328456B (zh) * 2017-11-30 2020-10-16 深圳配天智能技术研究院有限公司 一种拍摄装置及拍摄位置寻优的方法
US10697757B2 (en) 2017-12-22 2020-06-30 Symbol Technologies, Llc Container auto-dimensioning
US10908612B2 (en) 2018-03-29 2021-02-02 Toyota Research Institute, Inc. Systems and methods for an autonomous cart robot
CN110612429B (zh) * 2018-04-10 2021-03-26 深圳市汇顶科技股份有限公司 三维影像测距系统及方法
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US11548159B1 (en) * 2018-05-31 2023-01-10 AI Incorporated Modular robot
CN109029257B (zh) * 2018-07-12 2020-11-06 中国科学院自动化研究所 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
US10696494B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system for processing packages arriving out of sequence
US10679379B1 (en) 2019-05-31 2020-06-09 Mujin, Inc. Robotic system with dynamic packing mechanism
US11077554B2 (en) 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
US10696493B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system with packing mechanism
US10618172B1 (en) 2019-05-31 2020-04-14 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism
US10647528B1 (en) 2019-05-31 2020-05-12 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US11688030B2 (en) * 2019-06-12 2023-06-27 Frito-Lay North America, Inc. Shading topography imaging for robotic unloading
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
US11103998B2 (en) * 2019-12-12 2021-08-31 Mujin, Inc. Method and computing system for performing motion planning based on image information generated by a camera
CN113219900B (zh) * 2019-12-12 2022-03-29 牧今科技 基于相机生成的图像信息执行运动规划的方法和计算系统
CN113043282B (zh) * 2019-12-12 2022-03-29 牧今科技 用于物体检测或机器人交互规划的方法和系统
US12080013B2 (en) * 2020-07-06 2024-09-03 Toyota Research Institute, Inc. Multi-view depth estimation leveraging offline structure-from-motion
FR3118014B1 (fr) * 2020-12-17 2023-05-05 Boubiela Moret Procédé pour désempiler des pneus empilés en rangées inclinées
CN113307042B (zh) * 2021-06-11 2023-01-03 梅卡曼德（北京）机器人科技有限公司 基于传送带的物体拆垛方法、装置、计算设备及存储介质
US20230025647A1 (en) * 2021-07-23 2023-01-26 Mujin, Inc. Robotic system with object update mechanism and methods for operating the same
CN113763472B (zh) * 2021-09-08 2024-03-29 未来科技（襄阳）有限公司 一种视点宽度的确定方法、装置及存储介质
US11759826B1 (en) * 2022-07-12 2023-09-19 Tompkins Robotics, Inc. Article loading system and method for multilevel sorter

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0908060A4 (en) * 1996-06-28 2004-04-28 Stanford Res Inst Int SMALL IMAGE MODULES FOR REAL-TIME STEREO AND MOTION ANALYSIS
DE10042723A1 (de) 2000-08-31 2002-03-28 Gf Mestechnik Gmbh Verfahren und Vorrichtung zur Messung eines Volumens, insbesondere des Brennraumvolumens von Zylinderköpfen
GB2395261A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
JP4380663B2 (ja) * 2006-06-08 2009-12-09 コニカミノルタセンシング株式会社 三次元形状測定方法、装置、及びフォーカス調整方法
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
KR101259835B1 (ko) 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
DE102010036852C5 (de) 2010-08-05 2018-03-22 Sick Ag Stereokamera
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US9047688B2 (en) * 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
EP2602588A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
CN103322937A (zh) * 2012-03-19 2013-09-25 联想(北京)有限公司 一种结构光法测量物体深度的方法及装置
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
KR101893771B1 (ko) * 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
DE202012102541U1 (de) 2012-07-10 2013-10-18 Sick Ag 3D-Kamera
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US9214025B2 (en) 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
TWI503618B (zh) * 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9483829B2 (en) * 2013-09-04 2016-11-01 International Business Machines Corporation Efficient visual surface finding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243180A1 (ja) * 2022-06-13 2023-12-21 東京ロボティクス株式会社 ロボット装置、ロボットシステム、並びにロボットの制御方法及び制御プログラム

Also Published As

Publication number Publication date
EP3186777B1 (en) 2020-04-22
US20160063309A1 (en) 2016-03-03
AU2015307191A1 (en) 2017-01-19
KR101772367B1 (ko) 2017-08-28
AU2015307191B2 (en) 2017-09-28
WO2016032600A1 (en) 2016-03-03
US9507995B2 (en) 2016-11-29
EP3186777A1 (en) 2017-07-05
CN106575438A (zh) 2017-04-19
JP2017534836A (ja) 2017-11-24
CN106575438B (zh) 2019-06-25
KR20170031252A (ko) 2017-03-20

Similar Documents

Publication Publication Date Title
JP6211734B1 (ja) ステレオ処理及び構造化光処理の組み合わせ
US20210187736A1 (en) Determining a Virtual Representation of an Environment By Projecting Texture Patterns
JP6461369B2 (ja) 視覚光、および、赤外の投射されるパターンを検出するためのイメージャ
US9659217B2 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
US9205562B1 (en) Integration of depth points into a height map
US9630316B2 (en) Real-time determination of object metrics for trajectory planning
US10455212B1 (en) Projected pattern motion/vibration for depth sensing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170913

R150 Certificate of patent or registration of utility model

Ref document number: 6211734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees