JP7492694B1 - ロボットシステム搬送ユニットセル及びその動作方法 - Google Patents

ロボットシステム搬送ユニットセル及びその動作方法 Download PDF

Info

Publication number
JP7492694B1
JP7492694B1 JP2023194480A JP2023194480A JP7492694B1 JP 7492694 B1 JP7492694 B1 JP 7492694B1 JP 2023194480 A JP2023194480 A JP 2023194480A JP 2023194480 A JP2023194480 A JP 2023194480A JP 7492694 B1 JP7492694 B1 JP 7492694B1
Authority
JP
Japan
Prior art keywords
transport unit
unit cell
base plate
cell
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023194480A
Other languages
English (en)
Other versions
JP2024077607A (ja
Inventor
コーツ,ブランドン
レイ,レイ
チェン,ジェンジア
シュ,イー
ガオ,リンピン
ファン,グオハオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Inc filed Critical Mujin Inc
Application granted granted Critical
Publication of JP7492694B1 publication Critical patent/JP7492694B1/ja
Publication of JP2024077607A publication Critical patent/JP2024077607A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J21/00Chambers provided with manipulation devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/08Programme-controlled manipulators characterised by modular constructions

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボットシステム及び迅速な配備の方法が提供される。【解決手段】ロボットシステムは、制御システムと、ソースから目的地への物体の搬送を容易にするために、制御システムと通信する搬送ユニットセルと、を含み得る。搬送ユニットセルは、物体を受容し、物体と相互作用するように構成される配備構成と、搬送ユニットセルがそれ自体に格納される格納構成と、輸送ユニットを介して搬送ユニットセルを移動させるための輸送構成との間で変換し得る。搬送ユニットセルは、セルベースプレートと、ロボットを支持するためのロボットアームマウントと、少なくとも一つの標的物体を受容又は提供するためのコンベアシステムと、センサーシステムを受けるためのセンサーマウントと、搬送ユニットセルのセルベースプレートに取り付けられ、搬送ユニットセルの輸送及び位置間の変換を容易にするユニットエンクロージャーと、を含み得る。【選択図】図5

Description

関連出願の相互参照
本出願は、「ROBOTIC SYSTEM AND METHOD OF OPERATION THEREOF」と題され、2022年11月16日に出願された米国仮出願第63/426,010号、及び 「ROBOTIC SYSTEM AND METHOD OF OPERATION THEREOF」と題され、2023年10月12日に出願された米国仮出願第63/589,735号の利益を主張し、その内容全体を参照により本明細書に組み込む。
本技術は、一般にロボットシステムを対象とし、より具体的には、その動作及び配備のためのシステム、プロセス、及び技術を対象とする。
現在、多くのロボット(例えば、物理的動作を自動的/自律的に実行するように構成される機械)は、性能向上及びコスト低減が常に進む中、さまざまな異なる分野で広範囲に使用される。ロボットは、例えば、製造及び/又は組立、包装及び/又は梱包、輸送及び/又は出荷などにおけるさまざまなタスク(例えば、空間を通した物体の操作又は搬送)を実行するために使用され得る。ロボットは、タスクを実行する際に、人間の動作を再現可能であり、それによって、危険又は反復的なタスクを実行するために、通常であれば必要とされる人間の関与を置き換え又は低減することができる。
しかしながら、ロボットは、技術の進歩にもかかわらず、より大規模及び/又はより複雑なタスクの実行を要する、人間の相互作用を再現するために必要な高度な機能が欠けている場合が多い。さらに、ロボットは、多くの場合、作業環境内の複数の位置に迅速に輸送及び配備する能力を欠く。従って、ロボット間の動作及び/又は相互作用を管理するための改善された技術及びシステムに対するニーズが依然として存在し、さらに、作業環境内の迅速な再配置を可能にするためのロボットシステムの改善されたモビリティに対するニーズが依然として存在する。
実施形態では、ロボットシステムの配備のための搬送ユニットセルが提供される。搬送ユニットセルは、物体の搬送のための搬送ユニットセルを含んでもよく、搬送ユニットセルは、制御システムと通信し、搬送ユニットセル内にパレットを受容するように構成される配備構成と搬送ユニットセルがそれ自体に格納される格納構成との間で変換可能であり、搬送ユニットセルは、セルベースプレートと、ロボットアームの取り付けのためのセルベースプレート上のロボットアームマウントと、標的物体を受容するために、ロボットアームマウントに隣接する、コンベアシステムと、センサーアレイを含むセンサーシステム用のセルベースプレートに取り付けられたセンサーマウントと、搬送ユニットセルのセルベースプレートに取り付けられ、搬送ユニットセルの輸送、及び配備構成と格納構成との間の搬送ユニットセルの変換を容易にするユニットエンクロージャーとを含む。
実施形態では、ロボットシステムの配備のための搬送ユニットセルが提供される。搬送ユニットセルは、物体の搬送のためのセルベースプレートであって、搬送ユニットセルが、パレットを受けて固定するように構成される配備構成と搬送ユニットセルがそれ自体に格納される格納構成の間で変換可能である、セルベースプレートと、ロボットアームを受容するためのロボットアームマウントと、標的物体を受容するためのコンベアシステムと、センサーアレイを含むセンサーシステムを受けるためのセンサーマウントと、搬送ユニットセルの輸送、及び配備構成と格納構成との間の搬送ユニットセルの変換とを容易にするために、セルベースプレートに取り付けられたユニットエンクロージャーと、を含み得る。
実施形態では、ロボットシステムの迅速な配備及び統合のための方法が提供される。方法は、セルベースプレートを有する搬送ユニットセルを、複数の物体を含むパレットを受容及び固定するように構成される配備構成に位置付け及び配備することと、搬送ユニットセルが搬送ユニットセルを支持するように安定化されるように、搬送ユニットセルを配備構成に固定することと、搬送ユニットセルのセンサーマウントに取り付けられたセンサーアレイを含むセンサーシステムを介して、パレット上に収容された複数の物体を検出することと、パレット上に収容された複数の物体の中から検出された標的物体と相互作用するように、搬送ユニットセルのロボットアームを制御することと、標的物体をパレットから搬送ユニットセルのコンベアシステムへと搬送することと、を含む。
本明細書の実施形態に係る、物体の検出、識別、及び検索を実施する、又は容易にするためのシステムを示す。
本明細書の実施形態に係る、物体の検出、識別、及び検索を実施する、又は容易にするためのシステムの実施形態を示す。
本明細書の実施形態に係る、物体の検出、識別、及び検索を実施する、又は容易にするためのシステムの別の実施形態を示す。
本明細書の実施形態に係る、物体の検出、識別、及び検索を実施する、又は容易にするためのシステムのさらに別の実施形態を示す。
本明細書の実施形態と一致する、物体の検出、識別、及び検索を実施する、又は容易にするように構成されるコンピューティングシステムを示すブロック図である。
本明細書の実施形態と一致する、物体の検出、識別、及び検索を実施する、又は容易にするように構成されるコンピューティングシステムの実施形態を示すブロック図である。
本明細書の実施形態と一致する、物体の検出、識別、及び検索を実施する、又は容易にするように構成されるコンピューティングシステムの別の実施形態を示すブロック図である。
本明細書の実施形態と一致する、物体の検出、識別、及び検索を実施する、又は容易にするように構成されるコンピューティングシステムのさらに別の実施形態を示すブロック図である。
システムによって処理され、本明細書の実施形態と一致する、画像情報の例である。
システムによって処理され、本明細書の実施形態と一致する、画像情報の別の例である。
本明細書の実施形態による、ロボットシステムを動作させるための例示的な環境を示す。
本明細書の実施形態と一致する、ロボットシステムによる物体の検出、識別、及び検索のための例示的な環境を図示する。
ロボットシステム及び搬送ユニットセルが、本明細書の実施形態に従って動作し得る例示的な環境を示す。
本技術の一つ又は複数の実施形態によるロボットシステムの実施形態を示すブロック図である。
本明細書の実施形態によるロボットシステムを実装する搬送ユニットセルの実施形態を示す。
図5の搬送ユニットセルのセルベースプレート及びロボットアームマウントの実施形態を示す。
図5の搬送ユニットセルのセンサーシステムの実施形態を図示する。
図5の搬送ユニットセルの正面図を示す。
本明細書の実施形態による、配備構成における図5の搬送ユニットセルの斜視図を示す。
本明細書の実施形態による、配備構成における図5の搬送ユニットセルの別の斜視図を示す。
本明細書の実施形態による、配備構成における図5の搬送ユニットセルの側面図を示す。
本明細書の実施形態による、格納構成における図5の搬送ユニットセルの側面図を示す。
本明細書の実施形態による、部分的に格納した構成における図5の搬送ユニットセルの側面図を示す。
本明細書の実施形態による、輸送構成及び対応する輸送ユニット又は車両の搬送ユニットセルの斜視図を示す。
図図11Aの輸送構成における搬送ユニットセルと、輸送ユニット又は車両との別の斜視図を示す。
本明細書の実施形態によるロボットシステムの迅速な配備及び統合のための方法及び動作の全体的な流れを示すフロー図を提供する。
協調搬送機構を有するロボットシステムのためのシステム及び方法が本明細書に説明される。いくつかの実施形態に従って構成されるロボットシステム(例えば、各々が一つ又は複数の指定されたタスクを実行するデバイスの統合システム)は、複数のユニット(例えば、ロボット)の動作を協調させることによって、統合されたタスクを自律的に実行する。デパレット化ロボットは、倉庫/作業環境インフラストラクチャへの調整を必要とせずに、倉庫又は他の作業環境に自動化を提供できる、輸送可能なボックス又はフレーム構造と統合するように構成される。輸送可能なフレーム構造は、一日以内に送達、配置、配備、及び動作可能にすることができ、過剰なコストの遅延又は配備までの時間を必要とせずに、作業環境の自動化を提供することができる。より具体的には、輸送可能なフレーム構造及び統合ロボットは、本明細書にさらに詳述されるように、この急速な送達、位置、配備、及び動作態様を達成するために、標準的な出荷容器内に適合するようにサイズ設定され得る。
以下では、現在の開示技術の完全な理解を提供するために、多くの具体的な詳細が説明される。他の実施形態では、ここで紹介される技術は、これらの特定の詳細なしで実施することができる。他の事例では、特定の機能又はルーチンなどの周知の特徴は、本開示を不必要に不明瞭化することを避けるために、詳細に説明されない。本明細書において「ある実施形態」、「一つの実施形態」などと言及すると、説明される特定の特徴、構造、材料、又は特性が、本開示の少なくとも一つの実施形態に含まれることを意味する。従って、本明細書にこのような語句が記載されても、必ずしも全てが、同一の実施形態を指すわけではない。一方で、そのような参照は、必ずしも相互に排他的なものではない。さらに、特定の特徴、構造、材料、又は特性は、一つ又は複数の実施形態で、任意の適切な様式で組み合わせられ得る。図に示されるさまざまな実施形態は、単に例示的な表現であり、必ずしも縮尺どおりに描かれるものではないことを理解されたい。
本出願は、システム及びロボットシステムを参照する。ロボットシステムは、本明細書に記載するように、ロボットアクチュエーター構成要素(例えば、ロボットアーム、ロボットグリッパーなど)、さまざまなセンサー(例えば、カメラなど)、及びさまざまな計算又は制御システムを含み得る。本明細書に記載するように、コンピューティングシステム又は制御システムは、ロボットアーム、ロボットグリッパー、カメラなどの「制御する」さまざまなロボット構成要素と称され得る。このような「制御」は、ロボット構成要素のさまざまなアクチュエーター、センサー、及びその他の機能的態様の直接的な制御及びそれらとの相互作用を指し得る。例えば、コンピューティングシステムは、さまざまなモーター、アクチュエーター、及びセンサーにロボット移動を生じさせるために必要な信号の全てを発行又は提供することによって、ロボットアームを制御し得る。このような「制御」はまた、このようなコマンドを、ロボット移動を生じるために必要な信号にその後変換する、さらなるロボット制御システムへの抽象的又は間接的なコマンドの発行を指し得る。例えば、コンピューティングシステムは、ロボットアームが移動すべき軌道又は目的地位置を記述するコマンドを発行することによってロボットアームを制御し得、ロボットアームに関連付けられるさらなるロボット制御システムは、このようなコマンドを受信及び解釈し、その後、ロボットアームのさまざまなアクチュエーター及びセンサーに必要な直接信号を提供して、必要な移動を生じ得る。
周知であり、かつ多くの場合にロボットシステム及びサブシステムと関連付けられるが、本開示の技術のいくつかの重要な態様を不必要に不明瞭し得る、構造又はプロセスを記載するいくつかの詳細は、明示目的で、以下の説明には記載されない。さらに、以下の開示が、本技術の異なる態様のいくつかの実施形態を説明しているものの、他のいくつかの実施形態は、本節に説明されるものとは異なる構成又は異なる構成要素を有し得る。従って、開示された技術は、追加の要素を有するか、又は以下に記載の要素のうちの一部を有しない、他の実施形態を有し得る。
以下に記載の本開示の多くの実施形態又は態様は、プログラム可能なコンピューター又はコントローラーによって実行されるルーチンを含む、コンピューター又はコントローラーによる実行可能命令の形態をとり得る。関連分野の当業者であれば、開示された技術は、以下に示され記載されるもの以外のコンピューター又はコントローラーシステム上で、もしくはそれらを用いて実践され得ることを理解するであろう。本明細書に記載される技術は、以下に記載のコンピューター実行可能命令のうちの一つ又は複数を実行するように、特別にプログラム、構成、又は構築される、専用コンピューター又はデータプロセッサーで具体化され得る。従って、本明細書において一般的に使用する用語「コンピューター」及び「コントローラー」は、任意のデータプロセッサーを指し、インターネット家電及び手持ち式デバイス(パームトップコンピューター、ウェアラブルコンピューター、セルラー又は携帯電話、マルチプロセッサーシステム、プロセッサーベース又はプログラム可能な家電、ネットワークコンピューター、ミニコンピューターなどを含む)を含み得る。これらのコンピューター及びコントローラーによって取り扱われる情報は、液晶ディスプレイ(LCD)を含む、任意の好適なディスプレイ媒体で提示され得る。コンピューター又はコントローラーによる実行可能タスクを実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアとの組み合わせを含む、任意の好適なコンピューター可読媒体内に、又はその上に記憶され得る。命令は、例えば、フラッシュドライブ、USBデバイス、及び/又は他の好適な媒体を含む、任意の適切なメモリーデバイスに含まれ得る。
用語「結合される」及び「接続される」は、それらの派生語とともに、本明細書では、構成要素間の構造的な関係を説明するために使用され得る。これらの用語が、互いの同義語として意図されないことは理解されるべきである。むしろ、特定の実施形態では、「接続される」は、二つ以上の要素が、互いに直接接触することを示すために使用され得る。文脈において別途明白にされない限り、用語「結合される」は、二つ以上の要素が、互いに直接的又は間接的(それらの間の他の介在要素との)接触にある、又は二つ以上の要素が互いに協働する、もしくは相互作用する(例えば、信号送信/受信のための、又は関数呼び出しのためのなどの、因果関係にあるような)、又はその両方を示すために使用され得る。
コンピューティングシステムによる画像分析に対する本明細書での任意の言及は、選択された点に対するさまざまな位置のそれぞれの奥行き値を記載する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して、実施され得る。奥行き情報は、物体を識別する、又は物体が空間的にどのように配置されるかを推定するために使用され得る。一部の事例では、空間構造情報は、物体の一つ又は複数の表面の位置を説明する点群を含んでもよく、又はこの点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者に周知の他の形態は、本明細書に記載される方法に従って使用され得る。
図1Aは、コンピューティングシステム又はコンピューターシステム1100及びカメラ1200を含み得るシステム1000を示す。この例では、カメラ1200は、カメラ1200が位置する環境を説明する、もしくはそうでなければ表し、又はより詳細には、カメラ1200の視野(カメラ視野とも呼ぶ)中の環境を表す、画像情報を生成するように構成され得る。環境は、例えば、倉庫、製造工場、小売空間、又は他の施設であり得る。こうした実例では、画像情報が、箱、ビン、ケース、木枠、パレット、又は他の容器などの、そのような施設に位置する物体を表し得る。システム1000は、以下でより詳細に論じるように、画像情報を使用して、カメラ視野内の個々の物体を区別すること、画像情報に基づき物体認識又は物体登録を実施すること、及び/又は画像情報に基づきロボット相互作用計画を実施することなど、画像情報を生成、受信、及び/又は処理するよう構成され得る(用語「及び/又は」並びに「又は」は、本開示では互換的に使用される)。ロボット相互作用計画は、例えば、ロボットと容器又は他の物体との間のロボット相互作用を容易にするために、ロボットを施設で制御するために使用され得る。コンピューティングシステム1100及びカメラ1200は、同一施設に位置し得、又は互いに遠隔に位置し得る。例えば、コンピューティングシステム1100は、倉庫又は小売空間から遠隔にあるデータセンタ内でホストされるクラウドコンピューティングプラットフォームの一部であってもよく、ネットワーク接続を介してカメラ1200と通信することができる。
実施形態では、カメラ1200(画像検出装置とも呼ばれ得る)は、2Dカメラ及び/又は3Dカメラであり得る。例えば、図1Bは、コンピューティングシステム1100、及びいずれもカメラ1200の実施形態であり得る、カメラ1200A並びにカメラ1200Bを含むシステム1500A(システム1000の実施形態であり得る)を図示する。本実施例では、カメラ1200Aは、カメラの視野中にある環境の視覚的外観を示す2D画像を含む、又はそれを形成する、2D画像情報を生成するように構成される、2Dカメラであり得る。カメラ1200Bは、カメラの視野中の環境に関する空間構造情報を含む、又はそれを形成する3D画像情報を生成するように構成される、3Dカメラ(空間構造検出カメラ又は空間構造検出装置とも称される)であり得る。空間構造情報は、カメラ1200の視野中にあるさまざまな物体の表面上の位置など、カメラ1200Bに対するさまざまな位置のそれぞれの奥行き値を説明する、奥行き情報(例えば、深度マップ)を含み得る。カメラの視野又は物体の表面上のこれらの位置を、物理的位置と称することもできる。この実施例の奥行き情報は、物体が三次元(3D)空間の中で空間的にどのように配置されるかを推定するために使用され得る。一部の事例では、空間構造情報は、カメラ1200Bの視野内の物体の一つ又は複数の表面上の位置を説明する点群を含むことができ、又はこの点群を生成するために使用することができる。より具体的には、空間構造情報は、物体の構造(物体構造とも呼ぶ)上のさまざまな位置を説明することができる。
実施形態では、システム1000は、カメラ1200の環境内でロボットとさまざまな物体との間のロボット相互作用を容易にするための、ロボット動作システムであり得る。例えば、図1Cは、図1A及び図1Bのシステム1000/1500Aの実施形態であり得る、ロボット動作システム1500Bを図示する。ロボット動作システム1500Bは、コンピューティングシステム1100、カメラ1200、及びロボット1300を含んでもよい。上述のように、ロボット1300は、カメラ1200の環境内の一つ又は複数の物体、例えば、箱、木枠、ビン、パレット、又はその他の容器と相互作用するために使用することができる。例えば、ロボット1300は、一つの位置から容器をピックアップし、それらを別の位置に移動するように構成することができる。一部の事例では、ロボット1300は、容器又は他の物体のグループが降ろされて、例えば、コンベアベルトに移動される、パレットから降ろす動作システムを実施するために使用することができる。一部の実装形態では、カメラ1200は、以下に記載する、ロボット1300又はロボット/ロボットアーム306に取り付けられ得る。これは、インハンドカメラ又はオンハンドカメラソリューションとしても公知である。カメラ1200はロボット1300/306に取り付けられてもよい。その後、ロボット1300/306は、さまざまなピッキング領域に移動して、それらの領域に関する画像情報を生成し得る。一部の実装形態では、カメラ1200は、ロボット1300/306から分離し得る。例えば、カメラ1200は、以下でさらに説明するように、倉庫の天井又は搬送ユニットセル104などの他の構造物に取り付けることができ、構造物に対して静止したままにすることができる。一部の実装形態では、ロボット1300/306とは別個の複数のカメラ1200及び/又は手持ちカメラ1200とともに使用されるロボット1300/306とは別個のカメラ1200を含む、複数のカメラ1200が使用され得る。一部の実装形態では、一つのカメラ1200又は複数のカメラ1200は、ロボットアーム、ガントリ、又はカメラ移動のために構成される他の自動化システムなどの物体操作に使用されるロボット1300/306とは別個に、専用のロボットシステムに装着され得、又はそれに固定され得る。本明細書全体を通して、カメラ1200を「制御する(control)」又は「制御している(controlling)」と記載することができる。インハンドカメラソリューションについては、カメラ1200の制御はまた、カメラ1200が装着される、又は取り付けられるロボット1300/306の制御を含む。
実施形態では、図1A~図1Cのコンピューティングシステム1100は、ロボットコントローラーとも呼ばれ得るロボット1300/306を形成してもよく、又はロボット1300/306に組み込まれてもよい。ロボット制御システムは、システム1500Bに含まれ得、例えば、ロボット1300/306と容器又は他の物体との間のロボット相互作用を制御するためのロボット相互作用移動コマンドなどの、ロボット1300/306用のコマンドを生成するように構成される。そのような実施形態では、コンピューティングシステム1100は、例えば、カメラ1200によって生成された画像情報に基づき、そのようなコマンドを生成するように構成され得る。例えば、コンピューティングシステム1100は、画像情報に基づき運動計画を判定するように構成されてもよく、運動計画は、例えば、物体をグリップするか、又は別様で把持することを意図し得る。コンピューティングシステム1100は、運動計画を実行するために、一つ又は複数のロボット相互作用移動コマンドを生成することができる。
実施形態では、コンピューティングシステム1100は、視覚システムを形成し得るか、又はその一部であり得る。視覚システムは、例えば、ロボット1300/306が位置する環境を説明する、又は代替的に、もしくは追加的に、カメラ1200が位置する環境を説明する、視覚情報を生成するシステムであり得る。視覚情報は、上述された3D画像情報及び/又は2D画像情報、あるいは他のいくつかの画像情報を含み得る。一部の状況では、コンピューティングシステム1100が、視覚システムを形成する場合、視覚システムは、上述されたロボット制御システムの一部であり得、又はロボット制御システムから分離し得る。視覚システムが、ロボット制御システムから分離する場合、視覚システムは、ロボット1300/306が位置する環境を説明する情報を出力するように構成され得る。該情報は、視覚システムからこのような情報を受信し得る、ロボット制御システムに出力され得、情報に基づき、運動計画を実施し、及び/又はロボット相互作用移動コマンドを生成する。視覚システムに関するさらなる情報は、以下に詳細に説明される。
ある実施形態では、コンピューティングシステム1100は、RS-232インターフェイス、ユニバーサルシリアルバス(USB)インターフェイスなどの専用有線通信インターフェイスを介して、及び/又は周辺構成要素相互接続(PCI)バスなどのローカルコンピューターバスを介して提供される接続部など、直接接続部によってカメラ1200及び/又はロボット1300/306と通信し得る。実施形態では、コンピューティングシステム1100は、ネットワークを介してカメラ1200と、かつ/又はロボット1300/306と通信し得る。該ネットワークは、パーソナルエリアネットワーク(PAN)、例えば、イントラネットなどのローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、又はインターネットなど、任意の種類及び/又は形態のネットワークであり得る。該ネットワークは、例えば、イーサネットプロトコル、インターネットプロトコル群(TCP/IP)、非同期搬送モード(ATM)技術、同期型光ネットワーク形成(SONET)プロトコル、又は同期デジタル階層(SDH)プロトコルを含む、プロトコルの異なる技術、及び層又はスタックを利用し得る。
実施形態では、コンピューティングシステム1100は、カメラ1200と、かつ/もしくはロボット1300/306と直接情報を通信してもよく、又は中間記憶装置、もしくはより一般的には、中間の非一時的コンピューター可読媒体を介して通信することができる。例えば、図1Dは、コンピューティングシステム1100の外部にあり得る、非一時的コンピューター可読媒体1400を含む、システム1000/1500A/1500Bの実施形態であり得、例えば、カメラ1200によって生成された画像情報を記憶するための外部バッファ又はリポジトリとして作用し得る、システム1500Cを示す。このような実施例では、コンピューティングシステム1100は、画像情報を検索し得、それ以外では非一時的コンピューター可読媒体1400から受信し得る。非一時的コンピューター可読媒体1400の実施例としては、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又はそれらの任意の好適な組み合わせが挙げられる。非一時的コンピューター可読媒体は、例えば、コンピューターディスケット、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SDD)、ランダムアクセスメモリー(RAM)、読み出し専用メモリー(ROM)、消却可能プログラム可能読み出し専用メモリー(EPROM又はフラッシュメモリー)、静的ランダムアクセスメモリー(SRAM)、携帯型コンパクトディスク読み出し専用メモリー(CD-ROM)、デジタル多目的ディスク(DVD)、及び/又はメモリースティックを形成し得る。
上述のように、カメラ1200は、3Dカメラ及び/又は2Dカメラであり得る。2Dカメラは、カラー画像又はグレースケール画像などの、2D画像を生成するように構成され得る。3Dカメラは、例えば、飛行時間(TOF)カメラ又は構造化光カメラなどの深度検出カメラ、又は他の任意の種類の3Dカメラであり得る。一部の事例では、2Dカメラ及び/又は3Dカメラは、電荷結合デバイス(CCD)センサー及び/又は相補型金属酸化膜半導体(CMOS)センサーなど、画像センサーを含み得る。実施形態では、3Dカメラは、レーザ、LIDARデバイス、赤外線デバイス、明/暗センサー、動きセンサー、マイクロ波検出器、超音波検出器、RADAR検出器、又は奥行き情報もしくは他の空間構造情報を捕捉するように構成される任意の他のデバイスを含み得る。
上述のように、画像情報が、コンピューティングシステム1100によって処理され得る。実施形態では、コンピューティングシステム1100は、(例えば、一つ又は複数のサーバーブレード、プロセッサーなどを有する)サーバー、パーソナルコンピューター(例えば、デスクトップコンピューター、ラップトップコンピューターなど)、スマートフォン、タブレットコンピューティングデバイス、及び/もしくは他の任意の他のコンピューティングシステムを含んでもよく、又はそれらとして構成され得る。実施形態では、コンピューティングシステム1100の機能のいずれか又は全ては、クラウドコンピューティングプラットフォームの一部として実施され得る。コンピューティングシステム1100は、単一のコンピューティングデバイス(例えば、デスクトップコンピューター)であってもよく、又は複数のコンピューティングデバイスを含んでもよい。
図2Aは、コンピューティングシステム1100の実施形態を示すブロック図を提供する。本実施形態におけるコンピューティングシステム1100は、少なくとも一つの処理回路1110、及び非一時的コンピューター可読媒体(又は複数の媒体)1120を含む。一部の事例では、処理回路1110は、非一時的コンピューター可読媒体1120(例えば、コンピューターメモリー)上に記憶された命令(例えば、ソフトウェア命令)を実行するように構成されるプロセッサー(例えば、中央処理装置(CPU)、専用コンピューター、及び/又は車載サーバー)を含み得る。一部の実施形態では、プロセッサーは、他の電子/電気装置に動作可能に結合される別個の/スタンドアローンのコントローラーに含まれ得る。プロセッサーは、プログラム命令を実装して、他のデバイスを制御/他のデバイスとインターフェイス接続し、それによって、コンピューティングシステム1100にアクション、タスク、及び/又は動作システムを実行させることができる。実施形態では、処理回路1110は、一つ又は複数のプロセッサー、一つ又は複数の処理コア、プログラマブルロジックコントローラー(「PLC」)、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)、それらの任意の組み合わせ、又は任意の他の処理回路を含む。
実施形態では、コンピューティングシステム1100の一部である、非一時的コンピューター可読媒体1120は、上で論じられた中間の非一時的コンピューター可読媒体1400の代替又は追加であり得る。非一時的コンピューター可読媒体1120は、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又は、例えば、コンピューターディスケット、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、ランダムアクセスメモリー(RAM)、読み出し専用メモリー(ROM)、消却可能プログラム可能読み出し専用メモリー(EPROM又はフラッシュメモリー)、静的ランダムアクセスメモリー(SRAM)、携帯型コンパクトディスク読み出し専用メモリー(CD-ROM)、デジタル多目的ディスク(DVD)、メモリースティック、それらの任意の組み合わせ、又は任意の他の記憶装置など、それらの任意の好適な組み合わせなどの記憶装置であり得る。一部の事例では、非一時的コンピューター可読媒体1120は、複数の記憶装置を含み得る。特定の実装形態では、非一時的コンピューター可読媒体1120は、カメラ1200によって生成され、コンピューティングシステム1100によって受信される画像情報を記憶するように構成される。一部の事例では、非一時的コンピューター可読媒体1120は、本明細書に記載する方法及び動作を実施するために使用される一つ又は複数の物体認識テンプレートを記憶し得る。非一時的コンピューター可読媒体1120は、処理回路1110によって実行される場合、処理回路1110に、本明細書に記載される一つ又は複数の方法論を実施させるコンピューター可読プログラム命令を、代替的又は追加的に記憶し得る。
図2Bは、コンピューティングシステム1100の実施形態であり、通信インターフェイス1130を含む、コンピューティングシステム1100Aを示す。通信インターフェイス1130は、例えば、図1A~図1Dのカメラ1200によって生成された画像情報を受信するように構成され得る。画像情報は、上述された中間の非一時的コンピューター可読媒体1400又はネットワークを介して、もしくはカメラ1200とコンピューティングシステム1100/1100Aとの間のより直接的な接続部を介して受信され得る。実施形態では、通信インターフェイス1130は、本明細書でさらに説明するように、図1Cのロボット1300又はロボット306と通信するように構成され得る。コンピューティングシステム1100が、ロボット制御システムの外部にある場合、コンピューティングシステム1100の通信インターフェイス1130は、ロボット制御システムと通信するように構成され得る。通信インターフェイス1130はまた、通信構成要素又は通信回路と称される場合があり例えば、有線又は無線プロトコルによって通信を実行するように構成される通信回路を含み得る。例として、通信回路は、RS-232ポートコントローラー、USBコントローラー、イーサネットコントローラー、Bluetooth(登録商標)コントローラー、PCIバスコントローラー、他の任意の通信回路、又はそれらの組み合わせを含み得る。
コンピューティングシステム1100Bのある実施形態では、図2Cに示すように、非一時的コンピューター可読媒体1120は、本明細書に記載される一つ又は複数のデータ物体を記憶するように構成される記憶空間1125を含み得る。例えば、記憶空間は、物体認識テンプレート、検出仮説、画像情報、物体画像情報、ロボットアーム移動コマンド、及び本明細書に記載したコンピューティングシステムがアクセスを必要とし得る任意の追加のデータ物体を記憶し得る。
ある実施形態では、処理回路1110は、非一時的コンピューター可読媒体1120に記憶される、一つ又は複数のコンピューター可読プログラム命令によってプログラムされ得る。例えば、図2Dは、コンピューティングシステム1100/1100A/1100Bの実施形態である、コンピューティングシステム1100Cを示し、処理回路1110は、物体認識モジュール1121、運動計画及び制御モジュール1129、及び物体操作計画及び制御モジュール1126を含む、一つ又は複数のモジュールによってプログラムされる。上記モジュールの各々は、本明細書に記載されるプロセッサー、処理回路、コンピューティングシステムなどのうちの一つ又は複数でインスタンス化される場合、特定のタスクを実行するように構成される、コンピューター可読プログラム命令を表し得る。上記のモジュールの各々は、本明細書に記載される機能を達成するために、互いに協働して動作し得る。本明細書に記載される機能性のさまざまな態様は、上述のソフトウェアモジュールのうちの一つ又は複数によって実行され得、ソフトウェアモジュール及びそれらの説明は、本明細書に開示されるシステムの計算構造を限定するものとして理解されない。例えば、特定のタスク又は機能が、特定のモジュールに関して記載され得るが、そのタスク又は機能はまた、必要に応じて異なるモジュールによって実施され得る。さらに、本明細書に記載のシステム機能は、機能の異なる内訳又は割り当てにより構成される異なる組のソフトウェアモジュールによって実行され得る。
ある実施形態では、物体認識モジュール1121は、本開示全体を通して記載するように、画像情報を取得及び分析するように構成され得る。画像情報に関して本明細書に記載する方法、システム、及び技術は、物体認識モジュール1121を使用し得る。物体認識モジュールは、本明細書に記載するように、物体識別に関連する物体認識タスクのためにさらに構成され得る。
運動計画及び制御モジュール1129は、ロボットの動作を計画及び実行するように構成され得る。例えば、運動計画及び制御モジュール1129は、本明細書に記載される他のモジュールと相互作用し得、物体検索動作及びカメラ配置動作のためのロボット3300の動作を計画する。ロボットアームの移動及び軌道に関して本明細書に記載する方法、システム、及び技術は、運動計画及び制御モジュール1129によって実行され得る。
実施形態では、運動計画及び制御モジュール1129は、軟質物体のキャリッジを考慮するために、ロボット運動及びロボット軌道を計画するように構成され得る。本明細書で論じるように、軟質の物体は、移動中に垂れ下がり、弛み、屈曲、屈曲する傾向があり得る。こうした傾向は、運動計画及び制御モジュール1129によって対処され得る。例えば、持ち上げ動作システム中、軟質の物体が弛むか又は屈曲し、ロボットアーム(及び以下に記載されるように、関連する把持装置)に力を引き起こし、予測不可能なやり方で変動、変更、又は変化することが予想され得る。従って、運動計画及び制御モジュール1129は、より大きな反応性を提供し、ロボットシステムが負荷の変化により迅速に調整することを可能にする、制御パラメーターを含むように構成され得る。別の実施例では、軟質の物体は、内部運動量による移動中に、スイング又は屈曲(例えば、予測される屈曲挙動)すると予想され得る。こうした移動は、物体の予測される屈曲挙動を計算することによって、運動計画及び制御モジュール1129によって調整され得る。さらに別の実施例では、運動計画及び制御モジュール1129は、物体が目的地に堆積されるときに、輸送された軟質の物体の変形又は変更された形状を予測するか、又はそうでなければ説明するように構成され得る。軟質の物体の屈曲又は変形(例えば、屈曲挙動)は、その同じ物体が、最初に持ち上げられたときに有していたのとは、異なる形状、フットプリントなどの物体をもたらし得る。従って、運動計画及び制御モジュール1129は、物体を下ろすときに、こうした変化を予測するか、又はそうでなければ説明するように構成され得る。
物体操作計画及び制御モジュール1126は、例えば、物体を掴んだり解放したり、そのような把持や解放を支援し促進するためのロボットアームコマンドを実行するなど、ロボットアーム又はエンドエフェクター装置の物体操作活動を計画及び実行するように構成され得る。以下で論じるように、二重グリッパー及び調整可能な複数点把持装置は、物体を把持、持ち上げ、及び輸送するために、一連の統合及び調整された動作システムを必要とし得る。こうした動作は、物体操作計画及び制御モジュール1126によって調整されて、二重グリッパー及び調整可能な複数点把持装置の滑らかな操作を確保し得る。
図2E、図2F、図3A及び図3Bを参照して、画像分析のために実施され得る物体認識モジュール1121に関連する方法を説明する。図2E及び図2Fは、画像分析方法と関連付けられる例示的な画像情報を図示するが、図3A及び図3Bは、画像分析方法と関連付けられる例示的なロボット環境を図示する。コンピューティングシステムによる画像分析に関連する本明細書での言及は、選択された点に対するさまざまな位置のそれぞれの奥行き値を説明する、奥行き情報を含み得る空間構造情報に従って、又はそれを使用して、実行され得る。奥行き情報は、物体を識別する、又は物体が空間的にどのように配置されるかを推定するために使用され得る。一部の事例では、空間構造情報は、物体の一つ又は複数の表面の位置を説明する点群を含んでもよく、又はこの点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者に周知の他の形態は、本明細書に記載される方法に従って使用され得る。
実施形態では、コンピューティングシステム1100は、カメラ1200のカメラ視野(例えば、視野3200)内の物体を表す画像情報を取得し得る。一部の事例では、物体は、以下で説明するように、カメラ1200の視野内の開始/ソース位置114の複数の物体からの少なくとも一つの標的物体112であり得る。画像情報を取得するための、以下に説明するステップ及び技術は、以下、画像情報捕捉動作5002と呼ぶことができる。一部の事例では、物体は、カメラ1200の視野3200内の複数の物体のうちの一つの物体であり得る。画像情報2600、2700は、物体がカメラの視野3200内にある(又は存在していた)ときにカメラ(例えば、カメラ1200)によって生成され得、カメラ1200の視野3200内の一つ又は複数の個々の物体を記述し得る。物体の外観とは、カメラ1200の視点からの物体の外観を示す。カメラ視野に複数の物体がある場合、カメラは、必要に応じて、複数の物体又は単一の物体を表す画像情報(単一の物体に関するこのような画像情報は、物体画像情報と呼ばれ得る)を生成し得る。画像情報は、一群の物体がカメラ視野にある(又はあった)場合、カメラ(例えば、カメラ1200)によって生成され得、例えば、2D画像情報及び/又は3D画像情報を含み得る。
一例として、図2Eは、画像情報の第一のセット、より具体的には、上述したようにカメラ1200によって生成され、例えば、物体3410A/3410B/3410C/3410Dが配置されるパレットであり得る、物体3550上に位置する図3の物体3410A/3410B/3410C/3410Dを表す2D画像情報2600を示す。より具体的には、2D画像情報2600は、グレースケール又はカラー画像であり得、カメラ1200の視点からの物体3410A/3410B/3410C/3410D/3550の外観を記述し得る。ある実施形態では、2D画像情報2600は、カラー画像の単一色チャネル(例えば、赤、緑、又は青のチャネル)に対応し得る。カメラ1200が物体3410A/3410B/3410C/3410D/3550の上方に配設される場合、2D画像情報2600は、物体3410A/3410B/3410C/3410D/3550のそれぞれの上部表面の外観を表し得る。図2Eの実施例では、2D画像情報2600は、物体3410A/3410B/3410C/3410D/3550のそれぞれの表面を表す、画像部分又は物体画像情報とも呼ばれる、それぞれの部分2000A/2000B/2000C/2000D/2550を含み得る。図2Eでは、2D画像情報2600の各画像部分2000A/2000B/2000C/2000D/2550は、画像領域、又は、より詳細には、画素領域(画像が画素によって形成されれば)であり得る。2D画像情報2600の画素領域内の各画素は、一組の座標[U、V]によって示される位置を有するものとして特徴付けられ得、図2E及び図2Fに示すように、カメラ座標系又は他の何らかの座標系に対する値を有し得る。画素の各々はまた、0~255又は0~1023の値などの、強度値を有し得る。さらなる実施形態では、画素の各々は、さまざまなフォーマット(例えば、色相、飽和、強度、CMYK、RGBなど)の画素に関連付けられる任意の追加情報を含み得る。
上述のように、画像情報は、一部の実施形態では、2D画像情報2600などの画像の全て又は一部分であり得る。実施例では、コンピューティングシステム1100は、対応する物体3410Aと関連付けられる画像情報のみを取得するために、2D画像情報2600から画像部分2000Aを抽出するように構成され得る。画像部分(画像部分2000Aなど)が単一の物体を対象とする場合、それは物体画像情報と呼ばれ得る。物体画像情報は、それが向けられる物体についての情報のみを含む必要はない。例えば、それが向けられる物体は、一つ又は複数の他の物体の近く、その下、その上、又はそれ以外では、その近傍に位置し得る。このような場合、物体画像情報は、それが向けられる物体、ならびに一つ又は複数の隣接する物体についての情報を含み得る。コンピューティングシステム1100は、図2Fに示す2D画像情報2600及び/又は3D画像情報2700に基づき、画像セグメンテーション又は他の分析又は処理動作を実行することによって、画像部分2000Aを抽出し得る。一部の実装形態では、画像セグメンテーション又は他の処理動作は、物体の物理的縁部が2D画像情報2600内の現れる(例えば、物体の縁部)画像位置を検出することと、そのような画像位置を使用して、カメラ視野(例えば、視野3200)内の個々の物体を表し、かつ他の物体を実質的に除外することに限定される、物体画像情報を識別することとを含み得る。「実質的に除外する」とは、画像セグメンテーション又はその他の処理技術が、非標的物体を物体画像情報から除外するように設計及び構成されるが、エラーが生じる可能性がありノイズが存在する可能性がありさまざまな他の要因が他の物体の部分の包含をもたらす可能性があることが理解されることを意味する。
図2Fは、画像情報が3D画像情報2700である、実施例を描写している。より具体的には、3D画像情報2700は、例えば、物体3410A/3410B/3410C/3410D/3550の一つ又は複数の表面(例えば、上部表面、又は他の外側表面)上のさまざまな位置のそれぞれの奥行き値を示す、深度マップ又は点群を含み得る。一部の実装形態では、画像情報を抽出するための画像セグメンテーション動作システムは、物体の物理的縁部(例えば、箱の縁部)が3D画像情報2700内に現れる画像位置を検出すること、及びそのような画像位置を使用して、カメラ視野(例えば、3410A)内の個々の物体を表すことに限定される画像部分(例えば、2730)を識別することを含み得る。
それぞれの奥行き値は、3D画像情報2700を生成するカメラ1200に対するものであってもよく、又はいくつかの他の基準点に対するものであり得る。一部の実施形態では、3D画像情報2700は、カメラ視野(例えば、視野3200)内にある物体の構造上のさまざまな位置についてのそれぞれの座標を含む、点群を含み得る。図2Fの実施例では、点群は、物体3410A/3410B/3410C/3410D/3550のそれぞれの表面の位置を描写する、それぞれの座標セットを含み得る。座標は、[XYZ]座標などの3D座標であってもよく、カメラ座標系、又は何らかの他の座標系に対する値を有し得る。例えば、3D画像情報2700は、物体3410Dの表面上の物理的位置とも呼ばれる、位置2710~2710のセットに対するそれぞれの奥行き値を示す、画像部分とも呼ばれる第一の画像部分2710を含み得る。さらに、3D画像情報2700は、第二の部分、第三の部分、第四の部分、及び第五の部分2720、2730、2740、及び2750をさらに含み得る。その後、これらの部分は、それぞれ、2720~2720、2730~2730、2740~2740、及び2750~2750によって表され得る、一組の位置に対するそれぞれの奥行き値をさらに示し得る。これらの図は、実施例に過ぎず、対応する画像部分を有する任意の数の物体が使用され得る。上述と同様に、取得された3D画像情報2700は、一部の事例では、カメラによって生成された第一の組の3D画像情報2700の一部分であり得る。図2Eの実施例では、取得された3D画像情報2700が図3Aの物体3410Aを表す場合、3D画像情報2700は、画像部分2710のみを参照するように狭められ得る。2D画像情報2600の考察と同様に、識別された画像部分2710は、個々の物体に関連してもよく、物体画像情報と呼ばれてもよい。従って、本明細書で使用する物体画像情報は、2D及び/又は3D画像情報を含み得る。
ある実施形態では、画像正規化動作は、画像情報を取得する一部として、コンピューティングシステム1100によって実行され得る。画像正規化動作は、カメラ1200によって生成された画像又は画像部分を変換することを含み得、その結果、変換された画像又は変換された画像部分を生成する。例えば、取得された、2D画像情報2600、3D画像情報2700、又はこれら二つの組み合わせを含み得る画像情報が、視点、物体位置、及び視覚的記述情報と関連付けられる照明条件において画像情報を変更させるよう試みるために、画像正規化動作を施され得る場合である。このような正規化操作は、画像情報及びモデル(例えば、テンプレート)情報との間でより正確な比較を容易にするために実行され得る。該視点は、カメラ1200に対する物体の姿勢、及び/又はカメラ1200が物体を表す画像を生成する場合、カメラ1200が物体を見ている角度を指し得る。本明細書で使用される場合、位置は、物体の位置及び/又は配向を指し得る。
例えば、画像情報は、標的物体がカメラ視野3200内にある、物体認識動作中に生成され得る。カメラ1200は、標的物体がカメラに対して特定の姿勢を有するときに、標的物体を表す画像情報を生成し得る。例えば、標的物体は、その上部表面をカメラ1200の光学軸に対して垂直にする姿勢を有し得る。このような実施例では、カメラ1200によって生成される画像情報は、標的物体の上面図などの特定の視点を表し得る。一部の事例では、カメラ1200が物体認識動作中に画像情報を生成している場合、画像情報は、照明強度などの特定の照明条件により生成され得る。このような事例では、画像情報は、特定の照明強度、照明色、又は他の照明条件を表し得る。
ある実施形態では、画像正規化動作は、カメラによって生成された状況の画像又は画像部分を調整することを含み得、その結果、画像又は画像部分を、物体認識テンプレートの情報と関連付けられる視点及び/又は照明条件により良く合致させる。該調整は、物体姿勢又は物体認識テンプレートの視覚的記述情報に関連付けられる照明条件のうちの少なくとも一方に合致する変換された画像を生成するために、画像又は画像部分を変換することを含み得る。
視点の調整は、画像が、物体認識テンプレート内に含まれ得る視覚的記述情報と同一の視点を表すように、状況の画像の処理、ワーピング、及び/又はシフトを含み得る。処理は、例えば、画像の色、コントラスト、又は照明を変更することを含み得、状況のワーピングは、画像のサイズ、寸法、又は比率を変更することを含み得、画像のシフトは、画像の位置、配向、又は回転を変更することを含み得る。例示的な実施形態では、処理、ワーピング、及び/又はシフトを使用して、状況の画像内の物体を、物体認識テンプレートの視覚的記述情報に合致する、又はそれにより良好に対応する配向及び/又はサイズを有するように変更し得る。物体認識テンプレートが、ある物体の正面図(例えば、上面図)を示す場合、状況の画像は、状況内の物体の正面図も表すようにワーピングされ得る。
本明細書で実施される物体認識及び画像正規化方法のさらなる態様は、2020年8月12日出願の米国特許出願第16/991,510号、及び2020年8月12日出願の米国特許出願第16/991,466号により詳細に説明されており、その各々が参照により本明細書に組み込まれる。
さまざまな実施形態では、用語「コンピューター可読命令」及び「コンピューター可読プログラム命令」は、さまざまなタスク及び動作を遂行するように構成されるソフトウェア命令又はコンピューターコードを記述するために使用される。さまざまな実施形態では、用語「モジュール」は、処理回路1110に一つ又は複数の機能タスクを実行させるように構成されるソフトウェア命令又はコードの集まりを広義に指す。モジュール及びコンピューター可読命令は、処理回路又は他のハードウェア構成要素が、モジュールもしくはコンピューター可読命令を実行しているときに、さまざまな認識動作又はタスクを実施するものとして説明され得る。
図3A及び図3Bは、非一時的コンピューター可読媒体1120上に記憶されたコンピューター可読プログラム命令を、コンピューティングシステム1100を介して利用して、物体識別、検出、並びに検索動作及び方法の効率を増大させる、例示的な環境を図示する。コンピューティングシステム1100によって取得され、図3Aにおいて例証される画像情報は、物体環境内に存在するロボット3300へのシステムの意思決定手順及びコマンド出力に影響を与える。
図3A~図3Bは、本明細書に説明されるプロセス及び方法が実施され得る例示的な環境を示す。図3Aは、少なくともコンピューティングシステム1100、ロボット3300、及びカメラ1200を含む、システム3000(図1A~図1Dのシステム1000/1500A/1500B/1500Cの実施形態であり得る)を有する環境を示す。カメラ1200は、カメラ1200の実施形態であってもよく、カメラ1200のカメラ視野3200内のシーン5013を表す、又は、より具体的には、物体3410A、3410B、3410C、及び3410Dなどの、カメラ視野3200内の物体(箱など)を表す、画像情報を生成するように構成され得る。一実施例では、物体3410A~3410Dの各々は、例えば、箱又は木枠などの容器であってもよく、一方で、物体3400は、例えば、上に容器が配設されるパレットであり得る。さらに、物体3410A~3410Dの各々は、さらに個々の物体5012を含む容器であり得る。各物体5012は、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリーであり得る。本開示の目的のために、物体3410A/3410B/3410C/3410D/3400及び/又は図3A~3Bに関して記載される個々の物体5012は、図3C~12に記載される少なくとも一つの標的物体112と同義であり得る。図3Aは、物体5012の複数の容器を含む実施形態を示すが、図3Bは、物体5012の単一の容器を含む実施形態を示す。
一実施形態では、図3Aのシステム3000は、一つ又は複数の光源を含み得る。光源は、例えば、発光ダイオード(LED)、ハロゲンランプ、又は任意の他の光源であってもよく、可視光、赤外線、又は物体3410A~3410Dの表面に向かって任意の他の形態の光を発するように構成され得る。一部の実装形態では、コンピューティングシステム1100は、光源と通信して、光源が起動されるときを制御するように構成され得る。他の実施態様では、光源は、コンピューティングシステム1100とは独立して動作し得る。
一実施形態では、システム3000は、カメラ1200、又は2D画像情報を生成するように構成される2Dカメラと、3D画像情報を生成するように構成される3Dカメラと、を含む、複数のカメラ1200を含み得る。カメラ1200又は複数のカメラ1200は、ロボット3300に装着されるか、又はロボット3300に取り付けられてもよく、環境内に静止していてもよく、及び/又はロボットアーム、ガントリ、又はカメラ移動のために構成される他の自動化システムなどの物体操作に使用されるロボット3300から分離された専用のロボットシステムに固定され得る。図3Aは、静止カメラ1200及び手持ちカメラ1200を有する例を示し、一方、図3Bは、静止カメラ1200のみを有する例を示す。2D画像情報(例えば、カラー画像又はグレースケール画像)は、カメラ視野3200における、物体3410A/3410B/3410C/3410D又は物体5012などの一つ又は複数の物体の外観を説明し得る。例えば、2D画像情報は、物体3410A/3410B/3410C/3410D及び5012のそれぞれの外側表面(例えば、上部表面)上に配設される視覚的詳細、及び/又はそれらの外部表面の輪郭を捕捉するか、又は別様に表し得る。一実施形態では、3D画像情報は、物体3410A/3410B/3410C/3410D及び5012のうちの一つ又は複数の構造を説明してもよく、物体に対する構造は、物体の構造又は物体の物理的構造とも呼ばれ得る。例えば、3D画像情報は、深度マップを含み得、より一般的には、カメラ1200に対する、又は他の何らかの基準点に対する、カメラ視野3200内のさまざまな位置のそれぞれの奥行き値を記述し得る、奥行き情報を含み得る。それぞれの奥行き値に対応する位置は、物体3410A/3410B/3410C/3410D/3400及び5012のそれぞれの上部表面上の位置などの、カメラ視野3200のさまざまな表面上の位置(物理的位置とも呼ばれる)であり得る。一部の事例では、3D画像情報は、物体3410A/3410B/3410C/3410D/3400及び5012、又はカメラ視野3200内のいくつかの他の物体の一つ又は複数の外側表面上のさまざまな位置を説明する、複数の3D座標を含み得る、点群を含み得る。
図3A及び図3Bの実施例では、(ロボット1300の実施形態であり得る)ロボット3300は、一端がロボット基部3310に取り付けられ、かつ他端がロボットグリッパーなどのエンドエフェクター装置3330に取り付けられるか、又はそれによって形成される、ロボットアーム3320を含み得る。ロボット基部3310は、ロボットアーム3320を装着するために使用され得るが、ロボットアーム3320、より具体的には、エンドエフェクター装置3330は、ロボット3300の環境で一つ又は複数の物体と相互作用するために使用され得る。相互作用(ロボット相互作用とも呼ぶ)は、例えば、物体3410A~3410D及び5012のうちの少なくとも一つを把持するか、又は他の方法でピックアップすることを含み得る。例えば、ロボット相互作用は、物体5012を容器から識別、検出、及び取り出すための物体ピッキング動作の一部であり得る。エンドエフェクター装置3330は、物体5012を把持するか、又は掴むための吸引カップ又は他の構成要素を有し得る。エンドエフェクター装置3330は、吸引カップ又は他の把持構成要素を使用して、例えば、上面を介して、物体の単一の面又は表面との接触を通して、物体を把持するか、又は掴むように構成され得る。
ロボット3300は、構造部材を操作するため、及び/又はロボットユニットを輸送するためになど、タスクを実装するために使用される情報を取得するように構成される追加のセンサーをさらに含み得る。該センサーは、ロボット3300及び/又は周囲環境の一つ又は複数の物理特性(例えば、その状態、条件、及び/又は一つ又は複数の構造部材/ジョイントの位置)を検出又は測定するよう構成される装置を含み得る。センサーの一部の実施例には、加速度計、ジャイロスコープ、力センサー、歪ゲージ、触覚センサー、トルクセンサー、位置符号器などが含まれ得る。
図3Cは、協調搬送機構を有するロボットシステム100が動作し得る例示的な環境の図である。ロボットシステム100の特徴は、上述のシステム1000、1500A、1500B、1500C及び3000の構成要素の例であり得る。環境は、ロボットシステム100との相互作用又はロボットシステム100を介した移動を必要とする物体、例えば、倉庫、製造工場、小売空間、又は他の施設との任意の位置であり得る。実施形態では、物体は、パレットとともに、又はパレットなしで提示される箱、ビン、木箱、又は任意の他の容器を含んでもよい。代替的に、物体は、箱、ビン、木箱、又は容器内に提示される個々のピースを含んでもよく、各個々のピースは、ロボットシステム100を介して相互作用し得る(ピースピッキング動作など)。ロボットシステム100は、一つ又は複数のタスクを実行するように構成される一つ又は複数のユニット(例えば、ロボットアームもしくはロボット306、輸送ユニット106、搬送ユニットセル104、又は搬送ユニットセル104の外部の任意の他のシステム)を含む、及び/又はそれらと通信し得る。協調搬送機構の態様は、さまざまなユニットによって実施又は実装され得る。図3Cは、例示のみの目的で、ロボット306及び一つの輸送ユニット106(フォークリフトとして表される)を含む一つの搬送ユニットセル104を例示する。実施形態では、ロボットアーム306は、図1A~3Bに関して前述した、ロボットアームの任意の例であり得る。
図3Cに示す実施例について、ロボットシステム100が動作する例示的な環境は、搬送ユニットセル104(例えば、パレット化/デパレット化及び/又はピースピッキング動作のために構成されるロボットを含み得るロボットセル又は閉鎖環境)と、輸送ユニット又は車両106(例えば、搬送ユニットセル104を環境内で移動させるための、コンベアと、自動誘導車両(AGV)と、自律型モバイルロボット(AMR)と、フォークリフトと、シェルフ輸送ロボット)と、ロボットシステム100によってアクセス可能であり、少なくとも一つの標的物体112を含む、開始/ソース位置114と、ロボットシステム100を介して少なくとも一つの標的物体112を配置するためのタスク/目的地位置116と、又はその組み合わせを含む。搬送ユニットセル104の詳細は、本明細書でさらに詳細に説明される。ロボットシステム100内のロボット306の各々は、一つ又は複数のタスクを実行するように構成され得る。タスクは、開始/ソース位置114から、物体をロード又はアンロードするなど、目的を達成する動作を実行するために順番に組み合わせることができる(列の物体を供給するコンベアシステム310から、トラック、バン、又は倉庫に保管するためのパレットなど、又は保管位置から物体をロード又はアンロードし、保管又は出荷の準備をするために)。一部の実施形態では、タスクは、ロボット306によって、少なくとも一つの標的物体112をタスク/目的地位置116上に配置すること(例えば、パレットの上部、ビン/ケージ/箱/ケースの内部、及び/又はコンベアユニット上)を含み得る。ロボットシステム100は、少なくとも一つの標的物体112を配置及び/又は積み重ねるための、個々の配置位置/配向を導き出し、対応する運動計画、又はそれらの組み合わせを計算し得る。ユニットの各々は、一連のアクション(例えば、その中の一つ又は複数の構成要素を操作する)を実行して、タスクを実行するように構成され得る。
一部の実施形態では、タスクは、少なくとも一つの標的物体112(例えば、実行タスクに対応するパッケージ、箱、ケース、ケージ、パレット、又は個々の物体などのうちの一つ)の操作(例えば、移動及び/又は再配向)を含み得る。例えば、タスクは、開始/ソース位置114からタスク/目的地位置116へ、少なくとも一つの標的物体112をパレット化又はデパレット化することであり得る。パレット化のタスクの実施例では、アンローディングユニット(図示せず、例えば、デバニングロボット)は、少なくとも一つの標的物体112を、キャリア(例えば、トラック)内の位置から、本明細書にさらに記載するように、搬送ユニットセル104と一体型であり得るコンベア110上の位置へと搬送するように構成され得る。さらに、搬送ユニットセル104は、少なくとも一つの標的物体112を一つの位置(例えば、コンベア、パレット、又はビン)から別の位置(例えば、パレット、ビンなど)に搬送するように構成することができる。搬送ユニットセル104は、少なくとも一つの標的物体112を、開始/ソース位置114からタスク/目的地位置116へと搬送するように構成され得る。
一部の実施形態では、タスクは、少なくとも一つの標的物体112を含むパレットをデパレット化することであり得る。例えば、輸送ユニット又は車両106は、少なくとも一つの標的物体112が積込まれたパレットを、少なくとも一つの標的物体112をパレットから別の位置(例えば、別のパレット、ビン、コンベアなど)に搬送するように構成され得る、搬送ユニットセル104に輸送することができる。さらなる実施形態では、タスクは、任意のタイプのロボットピッキング又は配置タスクを含み得る。
例示の目的で、ロボットシステム100は、梱包及び/又は出荷センターに関連して説明される。しかしながら、ロボットシステム100は、製造、組立、保管/保存、ヘルスケア、及び/又は他の種類のオートメーションなど、他の環境で/他の目的のためにタスクを実行するように構成できることが理解される。ロボットシステム100は、図3Cには示されていないマニピュレーター、サービスロボット、モジュール式ロボットなどの他のユニットを含むことができることも理解されたい。例えば、いくつかの実施形態では、ロボットシステム100は、ケージカート又はパレットからコンベア又は他のパレット上に物体を搬送するためのデパレット化ユニット、物体をある容器から別の容器に搬送するための容器切り替えユニット、物体をラッピング/収納するための梱包ユニット、その一つ又は複数の特性に従って物体をグループ分けするための選別ユニット、その一つ又は複数の特性に従って物体を異なって操作する(例えば、選別、グループ分け、及び/又は搬送)するピースピッキングユニット、又はそれらの組み合わせなどを含み得る。
図4は、本技術の一つ又は複数の実施形態による、搬送ユニットセル104に含まれ得るロボットシステム100の態様を示すブロック図である。一部の実施形態では、例えば、ロボットシステム100(例えば、上述のユニット及び/又はロボットのうちの一つ又は複数)は、一つ又は複数の制御ユニット/プロセッサー202、一つ又は複数の記憶ユニット204、一つ又は複数の通信ユニット206、一つ又は複数のシステムインターフェイス/入力-出力装置208、一つ又は複数の作動ユニット212、一つ又は複数の輸送モーター214、一つ又は複数のセンサーユニット/センサー216、又はそれらの組み合わせなどの電子/電気装置を含み得る。さまざまなデバイスは、図4の通信経路218として表される有線接続及び/又は無線接続を介して、互いに結合されるか、又は他の方法で通信することができる。例えば、ロボットシステム100は、システムバス、周辺構成要素相互接続(PCI)バスもしくはPCI-Expressバス、ハイパー輸送又は業界標準アーキテクチャー(ISA)バス、小型コンピューターシステムインターフェイス(SCSI)バス、ユニバーサルシリアルバス(USB)、IIC(I2C)バス、又は電気電子学会(IEEE)標準1394バス(Firewireとも呼ばれる)などのバスを含み得る。さらに、例えば、ロボットシステム100は、デバイス間に有線接続を提供するためのブリッジ、アダプター、プロセッサー、又は他の信号関連デバイスを含み得る。無線接続は、例えば、セルラー通信プロトコル(例えば、3G、4G、LTE、5Gなど)、無線ローカルエリアネットワーク(LAN)プロトコル(例えば、無線忠実度(Wi-Fi))、ピアツーピア又はデバイス間通信プロトコル(例えば、Bluetooth、ニアフィールド通信(NFC)など)、モノのインターネット(IoT)プロトコル(例えば、NB-IoT、LTE-Mなど)、及び/又は他の無線通信プロトコルに基づいてもよい。本出願の目的のために、前述のシステム1000/1500A/1500B/1500C/1100/1100A/1100B/3000/100(又はそれらの構成要素)のいずれかは、本明細書に記載されるように、搬送ユニットセル104に統合され得る。
制御ユニット又はプロセッサー202は、記憶ユニット204(例えば、コンピューターメモリー)に記憶された命令(例えば、ソフトウェア命令)を実行するように構成されるデータプロセッサー(例えば、中央処理装置(CPU)、専用コンピューター、及び/又はオンボードサーバー)を含み得る。制御ユニット又はプロセッサー202は、エンドユーザーを介した相互作用のための制御インターフェイス240を含み得る。いくつかの実施形態では、制御ユニット202は、図4に図示された他の電子/電気装置及び/又は図3A~3Cに図示されたロボットユニットに動作可能に結合された別個/スタンドアローンコントローラーに含まれ得る。制御ユニット202は、他のデバイスを制御/インターフェイスするためのプログラム命令を実装することができ、それによってロボットシステム100にアクション、タスク、及び/又は動作を実行させることができる。プログラム命令は、制御インターフェイス240とのユーザー相互作用を介してさらに実装され得る。制御ユニット202は、本明細書で論じるコンピューティングシステムのいずれかによって実装され得る。
記憶ユニット204は、プログラム命令(例えば、ソフトウェア)上に記憶された非一時的コンピューター可読媒体を含み得る。記憶ユニット204の一部の実施例は、揮発性メモリー(例えば、キャッシュ及び/又はランダムアクセスメモリー(RAM))及び/又は不揮発性メモリー(例えば、フラッシュメモリー及び/又は磁気ディスクドライブ)を含み得る。記憶ユニット204の他の実施例は、ポータブルメモリー及び/又はクラウド記憶装置を含み得る。記憶ユニット204は、本明細書で論じるコンピューター可読媒体のいずれかによって実装され得る。
いくつかの実施形態では、記憶ユニット204を使用して、処理結果及び/又は所定のデータ/閾値をさらに記憶し、かつそれらへのアクセスを提供することができる。例えば、記憶ユニット204は、ロボットシステム100によって操作され得る物体(例えば、箱、ケース、及び/又は製品)の説明を含むマスターデータ246を記憶し得る。一つ又は複数の実施形態では、マスターデータ246は、ロボットシステム100によって操作されることが予想される物体の寸法、形状(例えば、異なる姿勢で物体を認識するための潜在的な姿勢のテンプレート及び/又はコンピューター生成モデル)、カラースキーム、画像、識別情報(例えば、バーコード、クイック応答(QR)コード(登録商標)、ロゴなど、及び/又はその予想される位置)、予想される重み、他の物理的/視覚的特徴、又はそれらの組み合わせを含み得る。一部の実施形態では、マスターデータ246は、物体の各々上の質量中心(CoM)位置、一つ又は複数の動作/操作者に対応する予想されるセンサー測定値(例えば、力、トルク、圧力、及び/又は接触測定値)、又はそれらの組み合わせなどの、物体に関する操作関連情報を含み得る。
通信ユニット206は、ネットワークを介して外部又は遠隔装置と通信するように構成される回路を含み得る。例えば、通信ユニット206は、受信機、送信機、変調器/復調器(モデム)、信号検出器、信号符号器/復号器、コネクターポート、ネットワークカードなどを含み得る。通信ユニット206は、一つ又は複数の通信プロトコル(例えば、インターネットプロトコル(IP)、無線通信プロトコルなど)に従って、電気信号を送信、受信、及び/又は処理するように構成され得る。通信ユニット206は、一つ又は複数の通信プロトコルによる電気信号の送信、受信、及び/又は処理のために、エンドユーザーを介して相互作用するための通信インターフェイス248をさらに含み得る。一部の実施形態では、ロボットシステム100は、通信ユニット206を使用して、ロボットシステム100のユニット間で情報を交換し、及び/又はロボットシステム100の外部のシステムもしくはデバイスと情報を交換することができる(例えば、報告、データ収集、分析、及び/もしくはトラブルシューティングの目的で)。
システムインターフェイス208は、情報を人間のオペレーターに通信する、及び/又はオペレーターから情報を受信するように構成される表示インターフェイス250などのユーザーインターフェイス装置を含み得る。例えば、システムインターフェイス208は、情報を人間のオペレーターに通信するためのディスプレイ210及び/又は他の出力装置(例えば、スピーカー、触覚回路、又は触覚フィードバック装置など)を含み得る。さらに、システムインターフェイス208は、キーボード、マウス、タッチスクリーン、マイク、ユーザーインターフェイス(UI)センサー(例えば、動作コマンドを受信するためのカメラ)、ウェアラブル入力装置などの制御又は受信装置を含み得る。一部の実施形態では、ロボットシステム100は、システムインターフェイス208を使用して、アクション、タスク、動作、又はそれらの組み合わせを実行する際に、人間のオペレーターと相互作用することができる。
ロボットシステム100のロボット又はロボットアーム306(ロボット3300の例であり得る)は、運動(例えば、回転及び/又は直線運動の変位)のためにジョイントで接続される物理的又は構造的な部材(例えば、ロボットマニピュレーターアーム)を含み得る。構造部材及びジョイントは、ロボットシステム100の使用/動作に応じて、一つ又は複数のタスク(例えば、把持、回転、溶接など)を実行するように構成されるエンドエフェクター(例えば、グリッパー)を動作するように構成される運動連鎖を形成することができる。ロボット又はロボットアーム360は、アームツールの端部を有する遠位端306a又はその上に配置されたエンドエフェクター装置544を含み得る。エンドエフェクター装置544は、少なくとも一つの標的物体112と相互作用するように構成され得る。ロボットシステム100は、対応するジョイントの周囲又はその位置で構造部材を駆動又は操作(例えば、変位及び/又は再配向)するように構成される作動ユニット212(例えば、モーター、アクチュエーター、ワイヤ、人工筋肉、電気活性ポリマーなど)を含むことができる。一部の実施形態では、ロボットシステム100は、対応するユニット/シャーシを定位置から定位置に輸送するように構成される輸送モーター214を含み得る。
ロボットシステム100は、構造部材の操作及び/又はロボットユニットの輸送などのタスクを実行するために使用される情報を取得するように構成されるセンサーユニット216を含むことができる。センサーユニット216は、ロボットシステム100及び/又は周囲環境の一つ又は複数の物理特性(例えば、その一つ又は複数の構造部材/ジョイントの状態、条件、及び/又は位置)を検出又は測定するよう構成される装置を含み得る。センサーユニット216の一部の実施例には、加速度計、ジャイロスコープ、力センサー、歪ゲージ、触覚センサー、トルクセンサー、位置符号器などが含まれ得る。
いくつかの実施形態では、例えば、センサーユニット216は、周囲環境を検出するように構成される一つ又は複数の撮像装置222(例えば、視覚及び/又は赤外線カメラ、2D及び/又は3D撮像カメラ、ライダー又はレーダーなどの距離測定装置など)を含み得る。撮像装置222は、機械/コンピュータービジョン(例えば、自動検査、ロボットガイダンス、又は他のロボットアプリケーション)を介して処理され得る、デジタル画像及び/又は点群などの検出された環境の表現を生成することができる。上でさらに詳細に説明するように、ロボットシステム100(例えば、制御ユニット202を介して)は、デジタル画像及び/又は点群を処理して、図3Cの少なくとも一つの標的物体112、図3Cの開始/ソース位置114、図3Cのタスク/目的地位置116、少なくとも一つの標的物体112の姿勢、開始/ソース位置114及び/もしくは姿勢に関する信頼性の尺度、又はそれらの組み合わせを識別することができる。
少なくとも一つの標的物体112を操作するために、ロボットシステム100(例えば、上述のさまざまな回路/装置を介して)は、少なくとも一つの標的物体112及びその開始/ソース位置114を識別するために、指定された領域(例えば、トラックの内側又はコンベアベルト上のピックアップ位置)の画像データを捕捉及び分析することができる。同様に、ロボットシステム100は、別の指定された領域(例えば、コンベア上に物体を配置するためのドロップ位置、容器内に物体を配置するための位置、又は積み重ねの目的でパレット上の位置)の画像データを捕捉及び分析して、タスク/目的地位置116を識別することができる。例えば、撮像装置222は、ピックアップエリアの画像データを生成するように構成される一つ又は複数のカメラ、及び/又はタスクエリア(例えば、ドロップエリア)の画像データを生成するように構成される一つ又は複数のカメラを含み得る。画像データに基づき、以下に記載されるように、ロボットシステム100は、開始/ソース位置114、タスク/目的地位置116、関連する姿勢、包装/配置位置、及び/又は他の処理結果を決定し得る。
一部の実施形態では、例えば、センサーユニット216は、ロボットシステム100の構造部材(例えば、ロボットアーム及び/又はエンドエフェクター)及び/又は対応するジョイントの位置を検出するように構成される位置センサー224(例えば、位置符号器、電位差計など)を含み得る。ロボットシステム100は、位置センサー224を使用して、タスクの実行中に構造部材及び/又はジョイントの位置及び/又は配向を追跡することができる。ロボットシステム100は、搬送ユニットセル104を含み得る。以下の図5に示すように、搬送ユニットセル104は、図4に示すように、ロボットシステム100を統合させ得る物体を搬送するためのロボットセルである。
図5は、本明細書の実施形態と一致する搬送ユニットセルを示す。一部の実施形態では、搬送ユニットセル104は、物体を受容及び搬送するためのポータブル自己完結ロボットセルであり得る。搬送ユニットセル104は、制御システム308と通信可能であってもよく、搬送ユニットセル104内で、開始/ソース位置114(例えば、少なくとも一つの標的物体112を含むパレット)を受け取り、固定するように構成される、配備構成410(本明細書において図10Aに関してさらに説明される)と、搬送ユニットセル104がそれ自体に格納される格納構成412(本明細書において図10Bに関してさらに説明される)と、の間で変換可能であり得る。実施形態において、搬送ユニットセル104は、部分的に格納された構成412Aに変換可能であり(本明細書において図10Cに関してさらに説明されるように)、搬送ユニットセル104は、本明細書でさらに詳細に説明するように少なくとも部分的にそれ自体に格納される。図5~9Bにさらに示すように、搬送ユニットセル104は、セルベースプレート302と、エンドエフェクター装置544を有するロボット又はロボットアーム306を受容するように構成されるロボットアームマウント304と、制御システム308と、少なくとも一つの標的物体112を受ける(又は少なくとも一つの標的物体112を提供する)ように構成されるコンベアシステム310と、センサーアレイ542を含むセンサーシステム312を受容するように構成されるセンサーマウント540と、搬送ユニットセル104のセルベースプレート302(これは、以下に詳細に説明する)に取り付けられ、搬送ユニットセル104の輸送を容易にするユニットエンクロージャー320と、を含んでもよい。
セルベースプレート302は、平坦表面を有する実質的に水平(すなわち、セルベースプレート302の水平軸の又は最上面の5度の角度以内)な構造又はプラットフォームであり得る。平坦表面は、金属(例えば、鋼、アルミニウム、など)、他の材料(例えば、炭素繊維)、又は材料の組み合わせ、からなり、ロボット306、コンベアシステム310、センサーマウント540、制御システム308、ユニットエンクロージャー320及びその他の構成を支持し、また、配備構成410、格納構成412及び輸送構成414それぞれの間で搬送ユニットセル104の変換中に、並びに、ロボットシステム100の動作中に、その構造的完全性を維持するのに十分なものである。セルベースプレート302は、上面302cが、ロボットアームマウント304、ロボットもしくはロボットアーム306、制御システム308、コンベアシステム310、センサーマウント540、及び/又はユニットエンクロージャー320を収容又は取り付けるのに十分な面積を有する平坦表面を含む、任意の平行六面体形状で形成され得る。
セルベースプレート302の、鉛直に配向される側面又は縁部302aは、搬送ユニットセル104の持ち上げ及び輸送を可能にするために、フォークリフト又は他の輸送ユニット106の歯を受容するように構成される開口部/ポケット303を含み得る。開口部/ポケット303は、搬送ユニットセル104の重心の周りに位置付けられて、搬送ユニットセル104を輸送/移送する際の安定性を最大化し得る。開口部/ポケット303は、フォークリフトインサートの歯が挿入し、搬送ユニットセル104を持ち上げる間、完全性を維持するのに十分な任意の材料で形成される、セルベースプレート302の縁部302a上に配置されたスロットであり得る。代替的に、フォークリフトは、その歯をセルベースプレート302の下に摺動させることによって、搬送ユニットセル104を持ち上げて輸送し得る。
図6に示すように、実施形態では、セルベースプレート302は、ロボットシステム100の動作中に搬送ユニットセル104のバランスを容易にするのに十分な金属又は任意の他の材料から構成されるポストであり得る、ベース延長部432を含む。ベース延長部432は、セルベースプレート302の縁部302aから延在し得る。各ベース延長部432は、セルベースプレート302の追加の縁部302aに実質的に平行な(すなわち、5度の角度以内の)様式で延在し得る。実施形態では、ベース延長部432は、互いに実質的に平行であり得る。実施形態では、ベース延長部432は、ベース延長部432が、パレット、カート、ラックなどの物体のための容器を受容及び位置付けるための開始/ソース位置114として機能し得る、容器配置エリア430の境界を少なくとも部分的に画定するように、ベース延長部432の各ポストの間に容器配置エリア430を画定し得る。
ベース延長部432は、搬送ユニットセル104が配備構成410にある間に(図10Aに例示される)、及び/又はロボットもしくはロボットアーム306の動作もしくは動作中、搬送ユニットセル104を支持するための安定性及び/又はバランスを提供するように形成又は構成される。ベース延長部432は、輸送及び/又は保管のための格納構成412及び/又は輸送構成414にある一方で、搬送ユニットセル104のフットプリントを低減するために、セルベースプレート302の縁部302aから取り外し可能であってもよく、又はそうでなければ搬送可能であり得る。例えば、ベース延長部432は、セルベースプレート302の縁部302aにヒンジで接続され、セルベースプレート302に向かって折り畳まれて、格納構成412にある間に搬送ユニットセルのフットプリントを減少させるように構成され得る。代替的に、ベース延長部432は、手動の相互作用(例えば、ベース延長部432をセルベースプレート302内に押す)又は自動の相互作用(例えば、電動プーリーシステム又はトラックシステム)のいずれかによって、セルベースプレート302内に後退するように構成され得る。
セルベースプレート302は、図5及び8に示すように、少なくとも一つのレール318によって画定されるペイロードガイド319をさらに含み得る。ペイロードガイド319は、ペイロードガイド319がベースプレート302及び/又はベース延長部432と同じ材料(すなわち、金属、又は任意の他の十分な材料)から形成され得るように、ベース延長部432及び/又はベースプレート縁部302aから分離可能であるか、又はそれらと一体であり得る。ペイロードガイド319は、パレット、カート、ラックなどの任意の容器及び/又は物体を、容器配置エリア430内に移動させる際に、誘導、固定、及び/又はセンタリングするように構成され得る。ペイロードガイド319は、ペイロードを容器配置エリア430内に案内するのを支援する漏斗状のゾーンを提供するための角度付き部分を有する二つのレール318を含み得る。ペイロードガイド319は、セルベースプレート302の縁部302aに隣接して位置付けられる第三のレール318を有し得る。
実施形態では、セルベースプレート302及び/又はベース延長部432は、セルベースプレート302及び/又はベース延長部432の底面302bから延在する一つ又は複数の摩擦増加構成要素を含み得るアンカーレス支持機構316を含む。より具体的には、アンカーレス支持機構316は、ゴムパッド/脚、吸引カップ、磁石、接着ストリップ、又は粗い表面を含む任意の他の材料を含み得る。アンカーレス支持機構316を使用することによって、搬送ユニットセル104は、ボルト又はアンカー機構を介して施設床に固定する必要がない。従って、搬送ユニットセル104のアンカーレス支持機構316は、搬送ユニットセル104の即時配備を可能にすることができる。
ユニットエンクロージャー320は、その態様が図8~9Bに示されるように、搬送ユニットセル104を囲むフレームを含み得るものであり、かかるフレームは、セルベースプレート302から実質的に(すなわち、5度以内で)垂直に延在する複数のポスト320a、320b、320cなどから構成される。ポスト320a、320b、320cは、その上部でビーム322によって一緒に接合され得る(図5に示される)。いくつかの実施形態では、ポスト320a、320b、320cなどは、セルベースプレート302に対して角度をもって配置され得る。ユニットエンクロージャー320は、フェンス構造321をさらに含んでもよく、フェンス構造321は、図9Aに示すように、搬送ユニットセルの一部を露出又は覆うように移動可能な分離可能部分を含むように、鉛直ポスト320a、320b、320cなどのそれぞれに取り付けられ、かつ、それらの間に配置される。フェンス構造321は、コンベアシステム310などの搬送ユニットセル104の部分を露出及びカバーするために移送又は再配置され得る部分又はパネルを含み得る。フェンス構造321は、本明細書に記載の実施形態による、ロボットアームマウント304、ロボットもしくはロボットアーム306、及び/又は容器配置エリア430、開始/ソース位置114、又はタスク/目的地位置116内に位置する少なくとも一つの標的物体112を囲むように構成される複数の鉛直ポスト320a、320b、320cなどの間に嵌合するようにサイズ設定及び寸法設定される、メッシュ、プラスチック、ワイヤ、鎖リンク、又はシートパネル構造であり得る。実施形態では、コンベアシステム310のコンベア110に隣接するフェンス構造321部分の一部分は、以下でさらに論じるように、ユニットエンクロージャー320の周囲を通り過ぎて延在するコンベアを収容するためのスロット又は開口部を含み得る。
図3C、5及び8~9Bに示されるように、搬送ユニットセル104のコンベアシステム310は、セルベースプレート302に取り付けられてもよく、かつセルベースプレート302の縁部又は周囲の外側を越えて延在可能であるように構成され得る、コンベア110又は動的プラットフォーム(すなわち、閉ループベルトの移動を容易にするために二つ以上のプーリーに接続される閉ループコンベアベルトなどの閉ループ搬送システム)を含む。代替的に、コンベアシステム310は、重力供給プラットフォーム(すなわち、低摩擦表面、ローラー、又は半径方向構造を有する任意の他のタイプのスピン/ロール構造を含む角度付き/傾斜プラットフォーム)又は傾斜を含んでもよい。一般に、コンベアシステム310は、コンベアシステム310の一方の端からコンベアシステム310の反対側の端へとその上に配置された物体の並進移動のために構成される任意のシステムであり得る。
コンベアシステム310は、その上に受容された少なくとも一つの標的物体112を、搬送ユニットセル104のユニットエンクロージャー320の外側の位置又は場所に並進移動又は移動させるように構成され得る。コンベアシステム310のコンベア110又は動的プラットフォームは、ロボット又はロボットアーム306から受容された少なくとも一つの標的物体112の、その長さに沿った、例えば、二つ以上のプーリーによって促進される移動方向への移動のために構成される。コンベアシステム310は、本明細書でさらに説明する方法又は動作を採用しながら、ロボット306による少なくとも一つの標的物体112の配置のために構成されるタスク/目的地位置116としてさらに機能し得る。実施形態では、コンベアシステム310は、代わりに、その上に受容された少なくとも一つの標的物体112を搬送ユニットセル104のユニットエンクロージャー320の内側の位置又は場所に並進移動又は移動させるように構成され得る。コンベアシステム310のコンベア110又は動的プラットフォームは、例えば、二つ以上のプーリーによって促進される移動方向で、その長さに沿って外部ソースから受容された少なくとも一つの標的物体112の移動のために構成される。コンベアシステムは、本明細書にさらに説明される方法又は動作を採用しながら、ロボット306を介した相互作用のために、ロボットシステム100に少なくとも一つの標的物体112を提供するように構成される開始/ソース位置114としてさらに機能し得る。
ロボットアームマウント304は、例えば図5~6に図示されているように、セルベースプレート302の上面302cから延在する実質的に(すなわち、上面302cの平面の5度の角度以内)平坦な表面を有する、スツール様又は箱形の構造、フレーム、又は隆起したプラットフォームであってもよく、鋼又は他の構造金属などの、ロボット又はロボットアーム306の重量を支持するのに十分な任意の材料から構成され得る。ロボットアームマウント304の表面は、ベースプレートの上面302cの平坦表面に実質的に平行であり得る。ロボットアームマウント304は、ロボットアーム306の動きのためのクリアランスを収容するために、セルベースプレート302の上面302c上の側面又は中心から外れて位置付けられ得る。ロボットアームマウント304は、搬送ユニットセル104の内側体積(すなわち、セルベースプレート302にベース延長部432を加えた長さ、ベースプレート縁部302aに沿ったセルベースプレート302の幅、及びユニットエンクロージャー320の高さの積)によって画定される動作エリア内のロボット又はロボットアーム306の妨げられない移動を可能にするように位置付けられ得る。ロボット又はロボットアーム306自体は、ロボット基部からロボット遠位端306aまで、ロボット又はロボットアーム306の延在長さの半径によって画定される、その全長に変換し得る。従って、ロボット又はロボットアーム306は、ロボット306が搬送ユニットセル104の外側の物体と相互作用することが望まれるシナリオでは、搬送ユニットセル104の容積によって画定される動作エリアの外側に延在することができ得る。実施形態では、ロボットアームマウント304は、セルベースプレート302と一体であり得る(すなわち、それと成形、その上に溶接、又はその上に形成され得る)。代替的に、ロボットアームマウント304は、産業用接着剤、ボルト、ねじ、リベットなどを介してセルベースプレート302に固定され得る。実施形態では、ロボット又はロボットアーム306は、搬送ユニットセル104で供給されてもよく、又は代替的に、エンドユーザーによって供給され得る。従って、ロボットアームマウント304は、以下でさらに説明するように、ロボットもしくはロボットアーム306、又はセンサーシステム312のユニバーサルマウントとして構成され得る。
ロボットアーム306は、少なくとも一つの標的物体112を掴み、把持、ピッキング、又は別様に相互作用するように構成される付属物を有するエンドエフェクター装置544を含んでもよく、エンドエフェクター装置544は、ロボット又はロボットアーム306の遠位端に配置される。エンドエフェクター装置544は、物体を操作するように構成されるツールであり得る。例えば、エンドエフェクター装置544は、手もしくは爪ベースのグリッパー、又は真空もしくは吸引ベースのグリッパーなどの任意の形態のグリッパーであり得る。図7及び図8は、エンドエフェクター装置544を、単一の把持表面を有するものとして例示するが、エンドエフェクター装置544は、上面及び垂直表面(すなわち、側面)から物体を把持するように構成されるL字形状構成を有するなど、複数の把持表面を有し得ることが理解される。
搬送ユニットセル104は、センサーシステム312をさらに含む。図7は、図4に関して本明細書で先に説明したように、画像情報を生成し、及び/又はロボットシステム100にデータを通信するように構成された、さまざまなセンサーハードウェア、ソフトウェア、及び対応するコンポーネントの組み合わせであり得る、センサーシステム312の一例を示している。センサーシステム312は、センサーマウント540に取り付けられたセンサーアレイ542を含み得る。センサーアレイ542は、二次元カメラ、三次元カメラ、スキャナー、照明アレイなどの物体の検出のために構成されるセンサー及び/又は周辺装置の任意の組み合わせであり得る。センサーマウント540は、それらにセンサーアレイ542を固定するための取り付け構造を含む、固体ポストもしくは構造、又は一対の固体ポストもしくは構造、であってもよく、セルベースプレート302又はユニットエンクロージャー320にさらに取り付け可能であり得る。センサーマウント540は、高さを増加又は減少させるために、調整可能、すなわち、その鉛直軸に沿って変換可能であり得る。例えば、センサーマウント540は、格納構成412又は輸送構成414にある間に、搬送ユニットセル104の輸送を容易にするために、ユニットエンクロージャー320の上部の高さ(すなわち、ユニットエンクロージャー320の鉛直軸ピーク)より下までその高さを減少させるために格納され得る。それに応じて、センサーマウント540は、センサーアレイ542の所望のセンサー視野を可能にする位置までその高さを増加させるように延長され得る。随意に、センサーマウント540は、センサーアレイ542の水平位置を調整するように(すなわち、その水平軸に沿って)、機構を含んでもよく、又は構造化され得る。図5及び7に示すように、搬送ユニットセル104は、容器配置エリア430又は開始/ソース位置114(又は実施形態では、タスク/目的地位置116)上に位置付けられるセンサーシステム312を含んで示される。しかしながら、搬送ユニットセル104は、別の配置又は組み合わせのいずれかとして、コンベアシステム310(これは、実施形態では、同時に、開始/ソース位置114又はタスク/目的地位置116として機能する)上に位置付けられるセンサーシステム312を含むことができることが理解される。実施形態では、センサーシステム312は、搬送ユニットセル104で供給されてもよく、又は代替的に、エンドユーザーによって供給され得る。従って、センサーマウント540は、ロボットもしくはロボットアーム306、又はセンサーシステム312のユニバーサルマウントとして構成され得る。
いくつかの実施形態では、制御システム308は、コンベアシステム310、センサーシステム312(検出ユニット216及び相対構成要素、すなわち、図4に例示されるロボットシステム100について、本明細書に以前に記載されたように、撮像装置222と、システムセンサー224と、接触センサー226を含み得る)、及びロボット306などの、搬送ユニットセル104内の構成要素及びシステムの制御のための、上記の図4に記載のシステム又は要素(本明細書に記載の任意の他のコンピューティングシステム)を含み得る。また、制御システム308は、図3Cの輸送ユニット又は車両106と調整するように構成される倉庫管理システム(図示せず)、及びロボットシステム100(図示せず)を介した相互作用のために、環境内の物体を提供又は移動させるように構成される任意の他のユニットなどの、搬送ユニットセルの外部のシステムとの通信のための、システム又は要素を含み得る。制御システム308は、センサーシステム312を介して受信されたセンサー情報から検出結果を生成すること、及び/又は少なくとも一つの標的物体112を把持、輸送、及び配置するための運動計画を含む、搬送ユニットセル104に対するインテリジェンスを提供し得る。制御システム308は、搬送ユニットセル104内の構成要素のための電源及び回路などの物理的及び電気的な制御システム、空気/気体/真空/空気圧システム、ならびに自給自足動作を可能にするための他のシステムを含み得る。例えば、制御システム308は、空気源(例えば、エアコンプレッサー及び真空ブロア)、無線ネットワーク接続及びサポート、ならびに/又は制御ロジック及び構成要素統合を含み得る。制御システム308への物理的及び電気的な制御システムの統合は、配備施設への依存を除去するという利点を提供する。
図9A及び9Bは、配備構成又は配備構成410における搬送ユニットセル104の動作中の図を示す。搬送ユニットセル104(図4に例示されるようなロボットシステム100の特徴を組み込むことができる)は、開始/ソース位置114(例えば、実施形態によるコンベアシステム310の容器配置エリア430又はコンベア110)からタスク/目的地位置116(例えば、実施形態による容器配置エリア430又はコンベアシステム310のコンベア110の他方)まで、物体と相互作用し、物体を搬送する位置にある。配備構成410にあるとき、搬送ユニットセル104は、本明細書に前述したように、アンカーレス支持機構316を介して定位置に固定され得る。例えば、図9A及び9Bは、容器配置エリア430(開始/ソース位置114として機能する)に位置するパレットを描写し、パレット上に積み重ねられた物体がある。パレットが開始/ソース位置114に位置するデパレット化動作では、ロボット又はロボットアーム306は、少なくとも一つの標的物体112をパレット又は容器配置エリア430からコンベアシステム310のコンベア110(すなわち、タスク/目的地位置116)に搬送することができる。代替的に、パレット化動作では、ロボット又はロボットアーム306は、少なくとも一つの標的物体112を、コンベア110又はコンベアシステム310(すなわち、開始/ソース位置114)から、容器配置エリア430内又はタスク/目的地位置116内に位置するパレットに搬送することができる。
図10Aは、本明細書に前述した配備構成410における搬送ユニットセル104の別の例を示す一方、図10Bは、格納構成412における搬送ユニットセル104の例である。格納構成412では、搬送ユニットセル104の要素及び構造は、搬送ユニットセル104内に格納されてもよく、及び/又は搬送ユニットセル104は、それ自体内に格納され得る。「搬送ユニットセルに格納される」、又は「それ自体に格納される」ことは、搬送ユニットセル104が、要素又は機構がユニットエンクロージャー320のポスト320a、320b、320cよりも高く延在しないように、かつ搬送ユニットセル104の全体的なフットプリントが、セルベースプレート302の上面302cの面積によって画定されるセルベースプレート302のフットプリントの20%以内、10%以内、5%以内、又は2%以内まで低減されるように構成されることを指し得る。格納を達成するために、ベース延長部432は、搬送ユニットセル104の全体的なフットプリントが、セルベースプレート302の上面302cの面積によって画定されるように、セルベースプレート302のフットプリントの10%以内、5%以内、又は2%に低減されるように格納され得る。ベース延長部432は、搬送ユニットセル104のフットプリントを低減するために、セルベースプレート302の縁部302aに向かって折り畳まれるか、又は格納されるか、又はセルベースプレート302から完全に取り外される。さらに、格納構成412では、コンベアシステム310は、ユニットエンクロージャー320内に格納され、センサーシステム312は、センサーマウント540を介してユニットエンクロージャー320の上部の下方の位置(すなわち、本明細書で前述したように、そのピーク鉛直軸の下方)に格納され、ロボット306は、ユニットエンクロージャー320の上方に延在しないように位置付けられる。格納構成412では、ビーム322は、ベース延長部432の格納を可能にするために、取り外されてもよく、部分的に取り外されてもよく、又は再整列され得る。
実施形態では、格納構成412にある間、搬送ユニットセル104はさらに、搬送ユニットセル104を、輸送構成414に設定するために、輸送ユニット106を介して相互作用することができる。輸送構成414は、本明細書で前述され、図11A及び11Bに関してさらに記述されるように、搬送ユニットセル104が配備構成410に、及び/又は保管空間内に再構成され得る別の位置への、搬送ユニットセル104の可搬性及び迅速な配備、並びに当該環境周りの統合を可能にする。
実施形態では、搬送ユニットセル104は、図10Cに示すように、部分的に格納される構成412A内にあり得、コンベアシステム310がユニットエンクロージャー320内に格納され、それによって覆われる。ただし、センサーシステム312は依然としてユニットエンクロージャー320の上部を越えて延び、ベース延長部432は依然としてセルベースプレート302に取り付けられるか、又はそれから延びる。実施形態では、部分的格納構成412Aは、コンベアシステム310、センサーシステム312、及びベース延長部432の全て未満がユニットエンクロージャー320内に格納されるか、又はユニットエンクロージャー320から取り外されるように、任意の追加的な組み合わせ(図示せず)で搬送ユニットセル104の構成要素の一部のみの部分的格納を含み得る。図10Cに示される、部分的に格納された構成412Aは、搬送ユニットセル104がそれ自体に部分的に格納される一つの可能なシナリオの一例に過ぎず、部分的に格納された構成412Aの唯一の実施形態として解釈されることを意味しない。部分的に格納された構成412Aは、搬送ユニットセル104が環境内の一つの位置から別の位置への急速な輸送を必要とし、かつ、コンベアシステム310、センサーシステム312、及びベース延長部432の全てを格納するわけではないことで節約される時間が望ましいシナリオで有用であり得る。
図11A及び11Bは、搬送ユニットセル104が輸送ユニット106上(図11A及び11Bにおいてフォークリフトとして例示)に装填される、輸送構成414における搬送ユニットセル104を例示する。輸送構成414は、搬送ユニットセル104が、格納構成412又は部分的に格納された構成412Aにあり、搬送のために輸送ユニット106上に装填されることを指し得る。輸送構成414は、搬送ユニットセル104が、それ自体に少なくとも部分的に格納され、輸送ユニット106によって相互作用されるとき(例えば、フォークリフトは、セルベースプレート302の開口部303内にその歯を有し、搬送ユニットセル104を地面から持ち上げて、それを環境周辺で移動する)に達成され得る。搬送ユニットセル104の輸送のための最適な安全性及び安定性は、上述のように、また、図10Bに例示されるように、搬送ユニットセル104が、完全に格納した構成412にあるとき生じ得るが、一部の実施形態では、搬送ユニットセル104は、例えば、コンベアシステム310がユニットエンクロージャー320内に格納されていないか、又はユニットエンクロージャー320によって覆われていない状態で、センサーシステム312がユニットエンクロージャー320の上部の下方(すなわち、そのピーク鉛直軸の下方)の位置内に格納されていない状態で、及び/又はベース延長部がセルベースプレート302内に折り畳まれていない、又はセルベースプレート302から取り外されていない状態で、(図10Cに例示されるように)部分的に格納した構成412Aに搬送又は移動され得る。図11A及び11Bに示す例では、搬送ユニットセル104は、搬送ユニットセルが図10Cに示すような部分的に格納した構成412Aにある間に、輸送構成414にある。なぜなら、センサーシステム312及びベース延長部432は、搬送ユニットセル104内に完全には格納されていないからである。
図11A及び11Bはさらに、搬送ユニットセル104が、輸送構成414の環境の周りに搬送され得る複数の方法を描写する。例えば、図11Aは、(図6に示されているように)セルベースプレート302の縁部に位置する開口部303にフォークリフトの歯を挿入することによって、セルベースプレート302の外側で輸送ユニット106(この例では、フォークリフト)によって搬送ユニットセル104がピックアップされる様子を示す。代替的に、図11Bは、主に、ベース延長部432の間(図6に関して示され、説明されるように、容器配置エリア430内)に位置する開口部303にフォークリフトの歯を挿入することによって、セルベースプレート302の内側上の輸送ユニット106(この実施例では、フォークリフト)によってピックアップされる搬送ユニットセル104を示す。輸送ユニット106が、ベースプレート302の任意の利用可能な側面上のベースプレート302を介して搬送ユニットセル104をピックアップ及び搬送することができることから、図面には必ずしも図示されていないが、さらに他の輸送構成414が可能である。なおさらなる実施形態では、輸送ユニット106は、搬送ユニットセル104を移動させるように構成されるAGV又はAMRを含み得る。
図12は、ロボットシステム100の迅速な配備及び統合のための方法2000及び動作2010/2020/2030/2040/2050の全体的な流れを示すフロー図を提供する。ロボットシステムの迅速な配備及び統合の方法2000は、本明細書に記載のサブ方法及び動作の特徴の任意の組み合わせを含み得る。方法は、配備動作2010、検出動作2020、軌道生成動作2030、軌道実行動作2040、及び格納動作2050のうちのいずれか又は全てを含み得る。配備動作2010は、方法2000の第一のステップであり得る。検出動作2020、軌道生成動作2030、及び軌道実行動作2040は、さらなるステップを提供し、方法2000中に複数回実施され得る。格納動作2050は、検出動作2020、軌道生成動作2030、及び軌道実行動作2040が完了した後の方法2000の最後のステップであり得る。検出動作2020、軌道生成動作2030、及び軌道実行動作2040はそれぞれ、開始/ソース位置114から少なくとも一つの標的物体112を検出、識別、検索、及び輸送するためのロボット動作の文脈で実施され得る。実施形態では、方法2000は、以下でより詳細に説明される動作2010/2020/2030/2040/2050のいずれかの間に、搬送ユニットセル104の外部のシステム(例えば、倉庫管理システムなど)と通信することを含み得る。
配備動作2010では、方法2000は、最初に、ローディングステップ2012を開始するために、搬送ユニットセル104を環境内に位置付けするための発見/位置付けステップ2011と、セルベースプレート302を有する搬送ユニットセル104を配備構成410にする配備/固設ステップ2014とを含んでもよく、ここで、配備構成410にある間、搬送ユニットセル104及び/又はロボットシステム100は、複数の物体を含むパレットを受容及び固定するように構成される。
搬送ユニットセル104を位置付け又は発見することは、倉庫などの環境内の搬送ユニットセル104の位置を決定することを含み得る。搬送ユニットセル104は、例えば、通信ユニット206を介してロボットシステム100に通信される、遠隔追跡又は識別手順(GPSなど)によって位置付けし得る。搬送ユニットセル104を位置付けすることは、環境内の搬送ユニットセル104の位置が識別された後、搬送ユニットセル104の既知の位置に、輸送ユニット106を自動的に制御すること、又は手動で駆動することをさらに含み得る。ローディングステップ2012は、輸送構成414において所望の位置(すなわち、開始/ソース位置114)への輸送のために、搬送ユニットセル104を輸送車両又は輸送ユニット106上にローディングすることを含み得る。
実施形態では、搬送ユニットセル104を輸送ユニット106上に輸送構成414にローディングすることは、本明細書に前述するように、セルベースプレート302の開口部/ポケット内に受容されたフォークリフトの歯を介して、セルベースプレート302を受容又は持ち上げることを含み得る。代替的に、輸送ユニット106上に搬送ユニットセル104をローディングすることは、コンベア、自動誘導車両(AGV)、自律型モバイルロボット(AMR)、又は環境の周りで搬送ユニットセル104を開始/ソース位置114に移動させることができる任意の他のタイプの動的構造上に搬送ユニットセル104を受容することを含み得る。
配備動作2010の配備/固設ステップ2014は、ロボットシステム100の動作中に搬送ユニットセル104を支持するように搬送ユニットセル104が安定化されるように、配備構成410内の所望の場所に搬送ユニットセル104を位置付け、下降、及び/又は固定することを含み得る。実施形態では、搬送ユニットセル104を配備構成410に固定することが、本明細書に前述したアンカーレス支持機構316を使用して、搬送ユニットセル104を固定又は安定化することを含み得る。上述のように、アンカーレス支持機構316は、動作中の搬送ユニットセル104の摺動、シフト、又は一般的な変位を防止する摩擦誘発特性を有し得る。
検出動作2020では、方法2000は、図2D~3Cに関して本明細書に前述したように、センサーシステム312を介して、パレット又は開始/ソース位置114上に含まれる複数の物体の中から、少なくとも一つの標的物体112を検出又は検知することを含み得る。実施形態では、検出動作2020は、開始/ソース位置114(パレット、コンベア、倉庫上の指定された領域など)内の少なくとも一つの標的物体112を識別することを含み得る、標的識別ステップ2022を含み得る。標的識別ステップ2022は、システム1000/1500A/1500B/1500C/1100/1100A/1100B/3000/100に関して、本明細書で前述した画像情報手順を取得する任意の実施形態を利用し得る。検出動作2020の実施形態では、開始/ソース位置114内の少なくとも一つの標的物体112を検出することは、本明細書に前述したように、搬送ユニットセル104のセンサーマウント540に取り付けられたセンサーアレイ542を有するセンサーシステム312を含み得る。センサーマウント540は、その上に取り付けられた二次元カメラ、三次元カメラ、スキャナー、照明アレイ、又はこれに類するものなど、少なくとも一つの標的物体112を検出するためのセンサー及び/又は周辺装置の任意の組み合わせを有し得る。センサーマウント540は、本明細書で前述したように、その鉛直軸に沿って、開始/ソース位置114内の少なくとも一つの標的物体112の最適な検出のための位置にさらに調整され得る。
軌道生成動作2030では、方法2000は、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544の計画軌道を計算することを含み得る。計画軌道を計算することは、開始/ソース位置114及び/又は少なくとも一つの標的物体112に向かって、ロボットアーム又はロボット306及び/又はエンドエフェクター装置544の軌道経路を決定することを含み得る。例えば、ロボットシステム100は、開始/ソース位置114を、少なくとも一つの標的物体112を含むパレット、又は少なくとも一つの標的物体112の積み重ねもしくは積み上げ含み得る、容器配置エリア314として識別し得る。実施形態では、開始/ソース位置114は、ロボットシステム100によってコンベアシステム310として識別され得る。例えば、ロボットシステム100は、コンベアが、少なくとも一つの標的物体112を搬送ユニットセル104に向かって、又は搬送ユニットセル104内でその長さに沿って移動させる間、列の少なくとも一つの標的物体112を提示し得る、コンベアシステム310のコンベア110として、開始/ソース位置114を識別し得る。計画軌道を計算する際に、ロボットシステム100は、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544が開始/ソース位置114の近くにあると、少なくとも一つの標的物体112に向かってエンドエフェクター装置544の軌道をさらに計算し得る。ロボットシステム100は、相互作用のためにロボットシステム100によって識別された少なくとも一つの標的物体112に向かって、エンドエフェクター装置544の接近軌道をさらに計算し得る。接近軌道を計算することは、少なくとも一つの標的物体112をピックアップ、把持、又は別様に相互作用するためのエンドエフェクター装置544のグリップを計算することをさらに含み得る。
実施形態では、軌道生成動作2030は、少なくとも一つの標的物体112がエンドエフェクター装置544を介してピックアップ、把持、又は別様に相互作用されると、ロボットアーム又はロボット306及び/又はエンドエフェクター装置544の開始/ソース位置114からタスク/目的地位置116への戻り軌道を計算することを含み得る。例えば、ロボットアーム又はロボット306及び/又はエンドエフェクター装置544の戻り軌道を計算することは、開始/ソース位置114として機能する容器配置エリア430から、タスク/目的地位置116として機能するコンベアシステム310に向かって軌道を決定することを含み得る。計算された戻り軌道は、コンベアシステム310のコンベア110に隣接して終了する軌道経路を含んでもよい。戻り軌道を計算することは、ユニットエンクロージャー320、センサーシステム312、コンベアシステム310、セルベースプレート302、及び/又は本明細書に記載される任意の他の関連する構成要素などの、搬送ユニットセル104の他の構成要素との衝突を回避するロボットアーム又はロボット306の軌道を決定することをさらに含み得る。言い換えれば、戻り軌道を計算することは、搬送ユニットセル104の内側容積(すなわち、ベース延長部432を加えたセルベースプレート302の長さ、ベースプレート縁部302aに沿ったセルベースプレート302の幅、及びユニットエンクロージャー320の高さの積)によって画定される動作エリア内の軌道を決定することを含み得る。計算された戻り軌道は、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544がコンベア110に隣接すると、エンドエフェクター装置544を介して少なくとも一つの標的物体112を解放することをさらに含み得る。実施形態では、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544の戻り軌道を計算することは、開始/ソース位置114として機能するコンベアシステム310から、タスク/目的地位置116として機能する容器配置エリア430に向かって軌道を決定することを含み得る。計算された戻り軌道は、容器配置エリア430又は容器配置エリア430内に配置されたパレットに隣接して終了する軌道経路を含み得る。計算された戻り軌道は、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544が容器配置エリア430に隣接すると、エンドエフェクター装置544を介して少なくとも一つの標的物体112を解放することをさらに含み得る。さらに他の実施形態では、軌道生成動作2030は、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544の開始/ソース位置114に向かって計画軌道を計算すること、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544が開始/ソース位置114の近くにあると、少なくとも一つの標的物体112に向かってエンドエフェクター装置544の接近軌道を計算することと、タスク/目的地位置116に向かって、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544の戻り軌道を計算することと、少なくとも一つの標的物体112を保持するエンドエフェクター装置544がタスク/目的地位置116の近くにあるか、又はそれに隣接していると、少なくとも一つの標的物体112の解放を計算することと、を含んでもよい。
軌道実行動作2040では、方法2000は、軌道生成動作2030中に決定されるように、ロボットアームもしくはロボット306及び/又は搬送ユニットセル104のエンドエフェクター装置544を開始/ソース位置114に向かって制御して、開始/ソース位置114上に含有される複数の物体の中から検出された少なくとも一つの標的物体112と相互作用することを含み得る。方法2000は、少なくとも一つの標的物体112を含有するパレットを含み得る、開始/ソース位置114として機能する容器配置エリア314に向かって、搬送ユニットセル104内のロボットアームもしくはロボット306及び/又はエンドエフェクター装置544を制御することを含み得る。実施形態では、方法は、少なくとも一つの標的物体112を含む開始/ソース位置114として機能するコンベアシステム310に向かって、搬送ユニットセル104内のロボットアーム又はロボット306及び/又はエンドエフェクター装置544を制御することを含み得る。軌道実行動作2040は、開始/ソース位置114内のエンドエフェクター装置544を制御して、ソース/目的地位置116への搬送のためにロボットシステム100によって識別された少なくとも一つの標的物体112をピックアップ、把持、又は別様に相互作用することをさらに含み得る。軌道実行動作2040は、軌道生成動作2030によって決定される、開始/ソース位置114からソース/目的地位置116へ、ロボットアームもしくはロボット306及び/又はエンドエフェクター装置544を介して、少なくとも一つの標的物体112を搬送するための搬送ステップ2042をさらに含み得る。例えば、ロボットアーム又はロボット306及び/又はエンドエフェクター装置544は、少なくとも一つの標的物体112を、容器配置エリア314から、又は容器配置エリア314内に少なくとも一つの標的物体112を含むパレットから、搬送ユニットセル104のコンベアシステム310へと搬送し得る。
格納動作2050では、方法2000は、本明細書に前述したように、搬送ユニットセル104を格納構成412に格納されることを含んでもよく、搬送ユニットセル104はそれ自体に格納される。搬送ユニットセル104を格納構成412に格納することは、本明細書に前述したように、コンベアシステム310、セルベースプレート302、及び/又はセンサーマウント540を搬送ユニットセル104に格納することを含み得る。格納構成412にある間、搬送ユニットセル104は、搬送ユニットセル104の携帯性及び迅速な配備及び統合を可能にする輸送構成414にさらに構成可能であり得る。格納構成412では、コンベアシステム310は、ユニットエンクロージャー320内に格納され、ユニットエンクロージャー320によって覆われ、センサーシステム312は、ユニットエンクロージャー320の上部の下方の位置(すなわち、本明細書で前述したように、そのピーク鉛直軸の下方)に格納され、及び/又は、ベース延長部432は、セルベースプレート302の縁部302a内に折り畳まれるか、又はセルベースプレート302から完全に取り外される。格納動作2050は、搬送ユニットセル104を、格納構成412から輸送構成414へと変換させることを含むローディングステップ2052をさらに含んでもよく、格納された搬送ユニットセル104は、本明細書に前述したように、輸送ユニット106と相互作用するか、又は輸送ユニット106上にローディングされて、環境内で搬送ユニットセルを移動させる。より具体的には、輸送ユニット106は、本明細書に記載の方法2000のさらなる実行のために、搬送ユニットセル104を別の容器配置エリア314に移動させてもよい。代替的に、輸送ユニット106は、本明細書に記載の方法2000の全ての動作が完了すると、又はロボットシステム100を介した相互作用のために環境内にさらなる物体がないと、搬送ユニットセル104を保管エリア又は保管位置に移動させてもよい。
一般に、本明細書に記載の方法2000は、開始/ソース位置からタスク/目的地位置まで、標的物体(例えば、実行中のタスクに対応するパッケージ、箱、ケース、ケージ、パレットなどのうちの一つ)の操作(例えば、移動及び/又は方向変更)のためのロボットシステムの迅速な配備及び統合に使用することができる。例えば、輸送ユニット(例えば、フォークリフト)は、ロボットシステムを含む搬送ユニットセルを一つの位置から開始/ソース位置(例えば、倉庫内)に輸送するように構成され得る。次いで、搬送ユニットセルは、開始/ソース位置における標的物体とのロボットシステム相互作用のために構成される配備構成に拡張され得る。ロボットシステムは、標的物体を、開始/ソース位置(例えば、コンベア、パレット、容器配置エリア、又はビン)から、タスク/目的地位置(例えば、コンベア、パレット、容器配置エリア、又はビンなど)に搬送するように構成され得る。動作の完了時に、搬送ユニットセルは、輸送ユニットを介して別の開始/ソース位置、又は保管位置へのさらなる輸送のために準備された格納位置又は圧縮位置に格納され得る。タスク及び関連付けられるアクションに関する詳細は、上記に記載される。
開示技術の例の上記詳細な説明は、網羅的であること、又は開示技術を上記に開示された正確な形態に限定することを意図するものではない。開示技術の具体的な実施例は、例示の目的で上述されるが、関連技術の当業者が認識するであろうように、本開示の技術の範囲内でさまざまな同等の修正が可能である。例えば、プロセス又はブロックが所与の順序で提示される一方で、代替的な実装は、異なる順序で、ステップを有するルーチンを実施するか、又はブロックを有するシステムを採用してもよく、一部のプロセス又はブロックは、代替的又は部分的な組み合わせを提供するために、削除、移動、追加、細分、組み合わせ、及び/又は修正され得る。これらのプロセス又はブロックの各々は、さまざまな異なる方法で実装され得る。さらに、プロセス又はブロックは、直列に実施されるものとして時として示されるが、これらのプロセス又はブロックは、代わりに並列に実施もしくは実装されてもよく、又は異なる時間に実施され得る。さらに、本明細書に記述される任意の特定の数は、例にすぎず、代替的な実装は、異なる値又は範囲を採用し得る。
これら及びその他の変更は、上記発明を実施するための形態を考慮して、開示技術に対して行われてもよい。発明を実施するための形態は、開示技術の特定の実施例、ならびに企図される最良のモードを説明するが、開示技術は、上記の説明がテキストでどの程度詳細に現れるかにかかわらず、多くの方法で実践され得る。システムの詳細は、その特定の実装においてかなり変化し得るが、依然として本明細書に開示される技術によって包含される。上述のように、開示技術の特定の特徴又は態様を説明する際に使用される特定の用語は、その用語が関連付けられる開示技術の任意の特定の特性、特徴、又は態様に限定されるように用語が本明細書で再定義されることを意味するために解釈されるべきではない。従って、本発明は、添付の特許請求の範囲による場合を除き、限定されない。一般に、以下の特許請求の範囲で使用される用語は、上記の発明を実施するための形態のセクションがかかる用語を明示的に定義しない限り、開示技術を本明細書に開示された特定の実施例に限定すると解釈されるべきではない。
関連分野の当業者にとって、本明細書に記載する方法及び用途への、他の好適な修正ならびに適応が、実施形態のうちのいずれの範囲から逸脱することなく成され得ることは明らかであろう。上述の実施形態は、例示的な実施例であり、本開示がこれらの特定の実施形態に限定されると解釈されるべきではない。本明細書に開示するさまざまな実施形態が、明細書及び添付図面に具体的に提示する組み合わせとは異なる組み合わせで、組み合わせられ得ることは理解されるべきである。実施例に応じて、本明細書に記載するプロセス又は方法のいずれの特定の行為又は事象は、異なる順序で行われ得、追加、統合、又は完全に省略し得ることも理解されるべきである(例えば、記載した全ての行為又は事象は、方法又はプロセスを実行するのに必要でない場合がある)。加えて、本明細書の実施形態の特定の特徴を、明示目的に、単一の構成要素、モジュール、又はユニットにより行われていると記載するものの、本明細書に記載する特徴及び機能は、構成要素、ユニット、又はモジュールのいかなる組み合わせによって実行され得ることは理解されるべきである。従って、さまざまな変更及び修正は、添付の特許請求の範囲で定義されるような、発明の趣旨又は範囲から逸脱することなく、当業者により影響され得る。
さらなる実施形態は、以下の実施形態を含む。
実施形態1
制御システムと、物体の搬送のための搬送ユニットセルとを含み、搬送ユニットセルは、制御システムと通信すると共に、搬送ユニットセル内にパレットを受容するように構成される配備構成と搬送ユニットセルがそれ自体に格納される格納構成との間で変換可能であり、搬送ユニットセルは、セルベースプレートと、ロボットアームの取り付けのためのセルベースプレート上のロボットアームマウントと、ロボットアームマウントに隣接した、標的物体を受容するためのコンベアシステムと、セルベースプレートに取り付けられた、センサーアレイを含むセンサーシステム用のセンサーマウントと、搬送ユニットセルのセルベースプレートに取り付けられ、搬送ユニットセルの輸送、及び配備構成と格納構成との間の搬送ユニットセルの変換を容易にするユニットエンクロージャーとを含む、ロボットシステム。
実施形態2
搬送ユニットセルの格納構成は、コンベアシステム、セルベースプレート、及びセンサーマウントが搬送ユニットセル内に格納されることを含む、実施形態1に記載のロボットシステム。
実施形態3
セルベースプレートは、セルベースプレートの縁部から延在したベース延長部を含み、ベース延長部は、ベース延長部の間に容器配置エリアを形成し、ベース延長部は、配備構成にある間、搬送ユニットセルを支持するための安定性及び/又はバランスを提供するように形成される、実施形態1に記載のロボットシステム。
実施形態4
ベース延長部は、セルベースプレートの縁部から取り外し可能であり、格納構成にある間、搬送ユニットセルのフットプリントを低減する、実施形態3に記載のロボットシステム。
実施形態5
ベース延長部は、セルベースプレートの縁部にヒンジで接続され、格納構成にある間、ベース延長部をセルベースプレートに向かって折り畳んで、搬送ユニットセルのフットプリントを低減することを可能にする、実施形態3に記載のロボットシステム。
実施形態6
セルベースプレートは、セルベースプレートの底面から延在する一つ又は複数の摩擦増加構成要素を含むアンカーレス支持機構を含む、実施形態1に記載のロボットシステム。
実施形態7
ロボットアームは、その上に配置されたエンドエフェクター装置を有する遠位端をさらに含み、エンドエフェクター装置は、標的物体と相互作用するように構成される、実施形態1に記載のロボットシステム。
実施形態8
コンベアシステムは、セルベースプレートに取り付けられて、セルベースプレートの縁部を超えて延在可能であり、コンベアシステムは、ロボットアームから受容された標的物体の移動のための動的プラットフォームをさらに含む、実施形態1に記載のロボットシステム。
実施形態9
ユニットエンクロージャーは、搬送ユニットセルを囲むフレームであって、セルベースプレートから実質的に鉛直に延在する鉛直ポストを含む、フレームと、鉛直ポストの各々にかつそれらの間に取り付けられたフェンスであって、フェンスが搬送ユニットセルの部分を露出又は覆うように移動可能な分離可能部分を含むフェンスと、をさらに含む、実施形態1に記載のロボットシステム。
実施形態10
ロボットシステムの配備のための搬送ユニットセルであって、搬送ユニットセルが、パレットを受容及び固定するように構成される配備構成と、当該搬送ユニットセルがそれ自体に格納される格納構成との間で変換可能であり、搬送ユニットセルが、物体の搬送のためのセルベースプレートと、ロボットアームを受容するためのロボットアームマウントと、標的物体を受容するためのコンベアシステムと、センサーアレイを含むセンサーシステムを受けるためのセンサーマウントと、搬送ユニットセルの輸送、及び配備構成と格納構成との間の搬送ユニットセルの変換を容易にするために、セルベースプレートに取り付けられたユニットエンクロージャーと、を含む、搬送ユニットセル。
実施形態11
セルベースプレートは、セルベースプレートの縁部から延在したベース延長部をさらに有し、ベース延長部は、ベース延長部の間に容器配置エリアを形成し、ベース延長部は、配備構成にある間、ロボットアームの動作及び運動中に搬送ユニットセルを支持するために、安定性及び/又はバランスを提供するように構成される、実施形態10に記載の搬送ユニットセル。
実施形態12
ベース延長部は、セルベースプレートの縁部から取り外し可能であり、格納構成にある間、搬送ユニットセルのフットプリントを低減する、実施形態11に記載の搬送ユニットセル。
実施形態13
ベース延長部は、セルベースプレートの縁部にヒンジで接続され、ベース延長部がセルベースプレートに向かって折り畳まれ、格納構成にある間、搬送ユニットセルのフットプリントを減少させることを可能にする、実施形態11に記載の搬送ユニットセル。
実施形態14
セルベースプレートは、セルベースプレートの底面から延在する一つ又は複数の摩擦増加構成要素を含むアンカーレス支持機構をさらに提供する、実施形態10に記載の搬送ユニットセル。
実施形態15
コンベアシステムは、セルベースプレートに取り付けられて、セルベースプレートの縁部を越えて延在可能であり、コンベアシステムは、ロボットアームから受容された標的物体の搬送のための動的プラットフォームをさらに含む、実施形態10に記載の搬送ユニットセル。
実施形態16
センサーアレイは、二次元カメラ、三次元カメラ、スキャナー、及び/又は照明アレイの任意の組み合わせを含む、実施形態10に記載の搬送ユニットセル。
実施形態17
ユニットエンクロージャーは、搬送ユニットセルを囲むフレームを含み、フレームは、セルベースプレートから鉛直に延在する鉛直ポストを含み、ユニットエンクロージャーは、鉛直ポストの各々にかつそれらの間に取り付けられたフェンスをさらに含み、フェンスは、搬送ユニットセルの部分を露出又は覆うように移動可能な分離可能部分を含む、実施形態10に記載の搬送ユニットセル。
実施形態18
ロボットシステムの迅速な配備及び統合のための方法であって、セルベースプレートを有する搬送ユニットセルを、複数の物体を収容するパレットを受容及び固定するように構成される配備構成内に位置付け及び配備することと、搬送ユニットセルが搬送ユニットセルを支持するように安定化されるように、搬送ユニットセルを配備構成に固定することと、搬送ユニットセルのセンサーマウントに取り付けられたセンサーアレイを含むセンサーシステムを介して、パレット上に収容された複数の物体を検出することと、パレット上に収容された複数の物体の中から検出された標的物体と相互作用するように、搬送ユニットセルのロボットアームを制御することと、標的物体をパレットから搬送ユニットセルのコンベアシステムへと搬送することと、を含む、方法。
実施形態19
セルベースプレートを有する搬送ユニットセルを輸送構成で輸送車両上にローディングすることと、搬送ユニットセルを配備構成に配備することと、をさらに含む、実施形態18に記載の方法。
実施形態20
搬送ユニットセルを、搬送ユニットセルがそれ自体に収納される格納構成に収納することと、搬送ユニットセルを格納構成から輸送構成に変換することと、搬送ユニットセルを輸送車両を介して移動させることと、をさらに含む、実施形態18に記載の方法。
実施形態21
搬送ユニットセルのロボットアームを制御することと、搬送ユニットセルの外部のシステムと通信することと、をさらに含む、実施形態18に記載の方法。

Claims (20)

  1. 制御システムと、
    物体の搬送のための搬送ユニットセルと、を備え、
    前記搬送ユニットセルは、前記制御システムと通信すると共に、前記搬送ユニットセル内にパレットを受容するように構成される配備構成と、前記搬送ユニットセルがそれ自体に格納される格納構成との間で変換可能であり、
    前記搬送ユニットセルは、さらに、
    セルベースプレートと、
    前記セルベースプレート上に位置付けられた、ロボットアームの取り付けのためのロボットアームマウントと、
    前記セルベースプレート上に位置付けられ、かつ、前記ロボットアームマウントに隣接した、標的物体を受容するためのコンベアシステムと、
    前記セルベースプレートに取り付けられた、センサーアレイを含むセンサーシステム用のセンサーマウントと、
    前記搬送ユニットセルの前記セルベースプレートに取り付けられ、前記搬送ユニットセルの輸送、及び前記配備構成と前記格納構成との間の前記搬送ユニットセルの変換を容易にする、ユニットエンクロージャーと、
    を含む、ロボットシステム。
  2. 前記搬送ユニットセルの前記格納構成は、
    前記コンベアシステム、前記セルベースプレート及び前記センサーマウントが前記搬送ユニットセル内に格納されることを含む、請求項1に記載のロボットシステム。
  3. 前記セルベースプレートは、
    前記セルベースプレートの縁部から延在したベース延長部を有し、
    前記ベース延長部は、当該ベース延長部の間に容器配置エリアを形成し、
    前記ベース延長部は、前記配備構成にある間、前記搬送ユニットセルを支持するための安定性及び/又はバランスを提供するように形成される、請求項1に記載のロボットシステム。
  4. 前記ベース延長部は、前記セルベースプレートの前記縁部から取り外し可能であり、前記格納構成にある間、前記搬送ユニットセルのフットプリントを低減する、請求項3に記載のロボットシステム。
  5. 前記ベース延長部は、前記セルベースプレートの前記縁部にヒンジで接続され、前記格納構成にある間、当該ベース延長部を前記セルベースプレートに向かって折り畳んで、前記搬送ユニットセルのフットプリントを低減することを可能にする、請求項3に記載のロボットシステム。
  6. 前記セルベースプレートは、前記セルベースプレートの底面から延在する一つ又は複数の摩擦増加構成要素を含むアンカーレス支持機構を含む、請求項1に記載のロボットシステム。
  7. 前記ロボットアームは、遠位端をさらに含んでいて、当該遠位端上に配置されたエンドエフェクター装置を有し、
    前記エンドエフェクター装置は、前記標的物体と相互作用するように構成される、請求項1に記載のロボットシステム。
  8. 前記コンベアシステムは、前記セルベースプレートに取り付けられていると共に、前記セルベースプレートの縁部を超えて延在可能であり、
    前記コンベアシステムは、前記ロボットアームから受容された前記標的物体の移動のための動的プラットフォームをさらに含む、請求項1に記載のロボットシステム。
  9. 前記ユニットエンクロージャーは、
    前記搬送ユニットセルを囲むフレームであって、前記セルベースプレートから実質的に鉛直に延在する鉛直ポストを含むフレームと、
    前記搬送ユニットセルの部分を露出又は覆うように移動可能である分離可能部分を含むよう、前記鉛直ポストの各々にかつそれらの間に取り付けられたフェンスと、
    をさらに含む、請求項1に記載のロボットシステム。
  10. ロボットシステムを配備するための搬送ユニットセルであって、
    当該搬送ユニットセルが、パレットを受容及び固定するように構成される配備構成と、当該搬送ユニットセルがそれ自体に格納される格納構成との間で変換可能であり、
    物体の搬送のためのセルベースプレートと、
    前記セルベースプレート上に位置付けられた、ロボットアームの取り付けのためのロボットアームマウントと、
    前記セルベースプレート上に位置付けられ、かつ、前記ロボットアームマウントに隣接した、標的物体を受容するためのコンベアシステムと、
    前記セルベースプレートに取り付けられた、センサーアレイを含むセンサーシステムを受けるための、センサーマウントと、
    前記セルベースプレートに取り付けられ、前記搬送ユニットセルの輸送、及び前記配備構成と前記格納構成との間の前記搬送ユニットセルの変換を容易にするユニットエンクロージャーと、を含む、搬送ユニットセル。
  11. 前記セルベースプレートは、
    前記セルベースプレートの縁部から延在したベース延長部を有し、
    前記ベース延長部は、当該ベース延長部の間に容器配置エリアを形成し、
    前記ベース延長部は、前記配備構成にある間、前記ロボットアームの動作及び運動中に前記搬送ユニットセルを支持するための、安定性及び/又はバランスを提供するように構成される、請求項10に記載の搬送ユニットセル。
  12. 前記ベース延長部は、前記セルベースプレートの前記縁部から取り外し可能であり、前記格納構成にある間、前記搬送ユニットセルのフットプリントを低減する、請求項11に記載の搬送ユニットセル。
  13. 前記ベース延長部は、前記セルベースプレートの前記縁部にヒンジで接続され、
    前記ベース延長部は、前記セルベースプレートに向かって折り畳まれ、前記格納構成にある間、前記搬送ユニットセルのフットプリントを減少させることを可能にする、請求項11に記載の搬送ユニットセル。
  14. 前記セルベースプレートは、前記セルベースプレートの底面から延在する一つ又は複数の摩擦増加構成要素を含むアンカーレス支持機構をさらに提供する、請求項10に記載の搬送ユニットセル。
  15. 前記コンベアシステムは、前記セルベースプレートに取り付けられていると共に、前記セルベースプレートの縁部を越えて延在可能であり、
    前記コンベアシステムは、前記ロボットアームから受容された前記標的物体の移動のための動的プラットフォームをさらに含む、請求項10に記載の搬送ユニットセル。
  16. 前記センサーアレイは、二次元カメラ、三次元カメラ、スキャナー、及び/又は照明アレイの任意の組み合わせを含む、請求項10に記載の搬送ユニットセル。
  17. 前記ユニットエンクロージャーは、前記搬送ユニットセルを囲むフレームを含み、
    前記フレームは、前記セルベースプレートから鉛直に延在する鉛直ポストを含み、
    前記ユニットエンクロージャーは、前記鉛直ポストの各々にかつそれらの間に取り付けられたフェンスをさらに含み、前記フェンスが前記搬送ユニットセルの部分を露出又は覆うように移動可能である分離可能部分を含む、請求項10に記載の搬送ユニットセル。
  18. ロボットシステムの迅速な配備及び統合のための方法であって、
    複数の物体を収容するパレットを受容及び固定するように構成される配備構成に、セルベースプレートを有する搬送ユニットセルを配備することと、
    前記搬送ユニットセルが前記搬送ユニットセルを支持するように安定化されるように、前記搬送ユニットセルを前記配備構成に固定することと、
    前記搬送ユニットセルのセンサーマウントに取り付けられたセンサーアレイを含むセンサーシステムを介して、前記パレット上に収容された前記複数の物体を検出することと、
    前記パレット上に収容された前記複数の物体の中から検出された標的物体と相互作用するように、前記搬送ユニットセルのロボットアームを制御することと、
    前記標的物体を前記パレットから前記搬送ユニットセルのコンベアシステムへと搬送することと、
    を含む、方法。
  19. 輸送構成において、セルベースプレートを有する前記搬送ユニットセルを輸送車両上にローディングすることと、
    前記搬送ユニットセルを前記配備構成に配備することと、
    をさらに含む、請求項18に記載の方法。
  20. 前記搬送ユニットセルがそれ自体に格納される格納構成に前記搬送ユニットセルを格納することと、
    前記搬送ユニットセルを前記格納構成から輸送構成へと変換することと、
    前記搬送ユニットセルを輸送車両を介して移動させることと、
    をさらに含む、請求項18に記載の方法。
JP2023194480A 2022-11-16 2023-11-15 ロボットシステム搬送ユニットセル及びその動作方法 Active JP7492694B1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263426010P 2022-11-16 2022-11-16
US63/426,010 2022-11-16
US202363589735P 2023-10-12 2023-10-12
US63/589,735 2023-10-12

Publications (2)

Publication Number Publication Date
JP7492694B1 true JP7492694B1 (ja) 2024-05-30
JP2024077607A JP2024077607A (ja) 2024-06-07

Family

ID=88837313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023194480A Active JP7492694B1 (ja) 2022-11-16 2023-11-15 ロボットシステム搬送ユニットセル及びその動作方法

Country Status (3)

Country Link
US (1) US20240157565A1 (ja)
EP (1) EP4371711A1 (ja)
JP (1) JP7492694B1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007223002A (ja) 2006-02-24 2007-09-06 Honda Motor Co Ltd 作業装置及びロボットによる作業方法
US20120213625A1 (en) 2011-02-18 2012-08-23 Brian Thomas Roberts Robotic Palletizer Cell And Method Of Construction
JP2014046433A (ja) 2012-09-03 2014-03-17 Canon Inc 情報処理システム、方法及びプログラム
DE102013111570A1 (de) 2013-10-21 2015-04-23 Koch Industrieanlagen Gmbh Arbeitszellenanordnung und Roboterzellenanordnung mit einer solchen
US20150343638A1 (en) 2014-06-02 2015-12-03 Liebherr-Verzahntechnik Gmbh Robot module
US20150346708A1 (en) 2014-06-02 2015-12-03 Liebherr-Verzahntechnik Gmbh Apparatus for the automated removal of workpieces arranged in a container
US20160252893A1 (en) 2015-02-26 2016-09-01 Quantum Systems, Inc. Robotic Self-Service Device and Methods for Banking and Vending
GB2573621A (en) 2018-03-08 2019-11-13 Active8 Robots Ltd Palletiser
WO2021072545A1 (en) 2019-10-16 2021-04-22 Symbotic Canada, Ulc Vision-assisted robotized depalletizer
US20210346937A1 (en) 2018-10-18 2021-11-11 Starmatik Srl Uninominale Compact and preassembled automatic processing system
CN215430264U (zh) 2021-07-14 2022-01-07 牧今股份有限公司 一种货物分拣单元及系统
JP2022108262A (ja) 2021-01-12 2022-07-25 株式会社Mujin 把持機構を備えたロボットシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUA20164436A1 (it) * 2016-06-16 2017-12-16 Comau Spa "Cella di robot"
DE102020208939A1 (de) * 2020-07-16 2022-01-20 Demmeler Automatisierung Und Roboter Gmbh Kompakte Roboterzelle
WO2022049528A1 (en) * 2020-09-03 2022-03-10 Sidel Canada Inc. Foldable movable unit for treatment of products

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007223002A (ja) 2006-02-24 2007-09-06 Honda Motor Co Ltd 作業装置及びロボットによる作業方法
US20120213625A1 (en) 2011-02-18 2012-08-23 Brian Thomas Roberts Robotic Palletizer Cell And Method Of Construction
JP2014046433A (ja) 2012-09-03 2014-03-17 Canon Inc 情報処理システム、方法及びプログラム
DE102013111570A1 (de) 2013-10-21 2015-04-23 Koch Industrieanlagen Gmbh Arbeitszellenanordnung und Roboterzellenanordnung mit einer solchen
US20150343638A1 (en) 2014-06-02 2015-12-03 Liebherr-Verzahntechnik Gmbh Robot module
US20150346708A1 (en) 2014-06-02 2015-12-03 Liebherr-Verzahntechnik Gmbh Apparatus for the automated removal of workpieces arranged in a container
US20160252893A1 (en) 2015-02-26 2016-09-01 Quantum Systems, Inc. Robotic Self-Service Device and Methods for Banking and Vending
GB2573621A (en) 2018-03-08 2019-11-13 Active8 Robots Ltd Palletiser
US20210346937A1 (en) 2018-10-18 2021-11-11 Starmatik Srl Uninominale Compact and preassembled automatic processing system
WO2021072545A1 (en) 2019-10-16 2021-04-22 Symbotic Canada, Ulc Vision-assisted robotized depalletizer
JP2022108262A (ja) 2021-01-12 2022-07-25 株式会社Mujin 把持機構を備えたロボットシステム
CN215430264U (zh) 2021-07-14 2022-01-07 牧今股份有限公司 一种货物分拣单元及系统

Also Published As

Publication number Publication date
US20240157565A1 (en) 2024-05-16
JP2024077607A (ja) 2024-06-07
EP4371711A1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
JP6738112B2 (ja) ロボットシステムの制御装置及び制御方法
CN111730603B (zh) 机器人系统的控制装置以及控制方法
US11904468B2 (en) Robotic multi-gripper assemblies and methods for gripping and holding objects
US9457970B1 (en) Modular cross-docking system
US9688489B1 (en) Modular dock for facilities integration
CN110465960B (zh) 具有物件丢失管理机制的机器人系统
EP3169489B1 (en) Real-time determination of object metrics for trajectory planning
US20070140821A1 (en) Autonomous load/unload robot
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
JP7492694B1 (ja) ロボットシステム搬送ユニットセル及びその動作方法
US20230321846A1 (en) Robotic systems with object handling mechanism and associated systems and methods
US20230278208A1 (en) Robotic system with gripping mechanisms, and related systems and methods
JP7246602B2 (ja) 把持機構を備えたロボットシステム、及び関連するシステムと方法
JP6600026B2 (ja) 取出装置および方法
KR20240101940A (ko) 자동 제품 하역, 취급, 및 분배
CN118046418A (zh) 机器人系统传送单位单元及其操作方法
US20230070495A1 (en) Robotic gripper assemblies for openable object(s) and methods for picking objects
JP7302802B2 (ja) 多目的ラベリングシステム及び方法を備えたロボットシステム
US20240181657A1 (en) Systems and methods for object grasping
CN115703238A (zh) 用于机器人物体放置的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240209

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240509

R150 Certificate of patent or registration of utility model

Ref document number: 7492694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150