JP6526613B2 - Mobile robot system - Google Patents

Mobile robot system Download PDF

Info

Publication number
JP6526613B2
JP6526613B2 JP2016216568A JP2016216568A JP6526613B2 JP 6526613 B2 JP6526613 B2 JP 6526613B2 JP 2016216568 A JP2016216568 A JP 2016216568A JP 2016216568 A JP2016216568 A JP 2016216568A JP 6526613 B2 JP6526613 B2 JP 6526613B2
Authority
JP
Japan
Prior art keywords
robot
map
image
data
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016216568A
Other languages
Japanese (ja)
Other versions
JP2017050018A (en
Inventor
ロバート トッド パック
ロバート トッド パック
ティモシー エス ファーロウ
ティモシー エス ファーロウ
マイケル ティー ローゼンスタイン
マイケル ティー ローゼンスタイン
マイケル ハロラン
マイケル ハロラン
チーキュン ウォン
チーキュン ウォン
スティーヴン ヴィー シャムリアン
スティーヴン ヴィー シャムリアン
マーク チアペッタ
マーク チアペッタ
Original Assignee
アイロボット コーポレイション
アイロボット コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイロボット コーポレイション, アイロボット コーポレイション filed Critical アイロボット コーポレイション
Publication of JP2017050018A publication Critical patent/JP2017050018A/en
Application granted granted Critical
Publication of JP6526613B2 publication Critical patent/JP6526613B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

〔関連出願の相互参照〕
本米国特許出願は、2010年12月30日に出願された米国仮出願第61/428,717号、2010年12月30日に出願された米国仮出願第61/428,734号、2010年12月30日に出願された米国仮出願第61/428,759号、および2011年1月5日に出願された米国仮出願第61/429,863号に対する米国特許法第119条(e)の下の優先権を主張する。これらの先願の開示は、本願の開示の一部であると見なされ、それらの全体が参照することによって本明細書に組み込まれる。
[Cross-reference to related applications]
This application is based on US Provisional Application No. 61 / 428,717 filed Dec. 30, 2010, US Provisional Application No. 61 / 428,734 filed Dec. 30, 2010, 2010 U.S. Provisional Patent Application No. 61 / 428,759 filed on December 30, and US Patent Law Section 119 (e) to US Provisional Application No. 61 / 429,863 filed on January 5, 2011 Claim priority under The disclosures of these prior applications are considered to be part of the disclosure of the present application and are incorporated herein by reference in their entirety.

本開示は、クラウドコンピューティングを組み込む可動式ロボットシステムに関する。   The present disclosure relates to a mobile robotic system that incorporates cloud computing.

ロボットは、概して、コンピュータまたは電子プログラミングによって誘導される電気機械的機械である。可動式ロボットは、それらの環境内を動き回る能力を有し、1つの物理的位置に固定されていない。今日よく使用されている可動式ロボットの例は、無人搬送車両(automated guided vehicle)または自動誘導車両(automatic guided vehicle:AGV)である。AGVは、概して、床内のマーカーもしくはワイヤに追従する、またはナビゲーションに視覚システムもしくはレーザを使用する、可動式ロボットである。可動式ロボットは、産業、軍隊、およびセキュリティ環境において見ることができる。それらはまた、娯楽用または掃除機清掃および在宅支援のような特定の作業を実施する消費者製品としても登場している。   Robots are generally electromechanical machines that are guided by computer or electronic programming. Mobile robots have the ability to move around in their environment and are not fixed at one physical location. Examples of mobile robots commonly used today are automated guided vehicles or automatic guided vehicles (AGVs). AGVs are mobile robots that generally follow markers or wires in the floor or use a vision system or laser for navigation. Mobile robots can be found in the industrial, military and security environments. They also appear as consumer products that perform specific tasks such as entertainment or vacuum cleaner cleaning and home support.

本開示の一態様は、ロボットの動作を制御するための制御システムを実行するコントローラを有する可動式ロボットと、ロボットのコントローラと通信しているクラウドコンピューティングサービスと、クラウドコンピューティングサービスと通信している遠隔コンピューティングデバイスとを含む、ロボットシステムを提供する。遠隔コンピューティングデバイスは、クラウドコンピューティングサービスを通してロボットと通信する。   One aspect of the present disclosure is to communicate with a mobile robot having a controller that executes a control system for controlling the motion of the robot, a cloud computing service in communication with the controller of the robot, and a cloud computing service A robotic system is provided that includes a remote computing device. The remote computing device communicates with the robot through a cloud computing service.

本開示の実現形態は、以下の特徴のうちの1つ以上を含み得る。いくつかの実現形態では、遠隔コンピューティングデバイスは、ロボット動作環境のレイアウトマップを生成するためのアプリケーションを実行する。遠隔コンピューティングデバイスは、クラウドコンピューティングサービスを使用して、外部クラウド記憶装置の中にレイアウトマップを記憶してもよい。いくつかの実施例では、ロボットのコントローラは、ロボットの駆動システムに駆動コマンドを発行するためにクラウドコンピューティングサービスを通してレイアウトマップにアクセスする。   Implementations of the present disclosure may include one or more of the following features. In some implementations, the remote computing device executes an application for generating a layout map of a robot operating environment. The remote computing device may store the layout map in the external cloud storage using a cloud computing service. In some embodiments, the robot's controller accesses the layout map through the cloud computing service to issue drive commands to the robot's drive system.

遠隔コンピューティングデバイスは、ロボットの遠隔操作を提供するアプリケーション(例えば、ソフトウェアプログラムまたはルーチン)を実行してもよい。例えば、アプリケーションは、ロボットを駆動すること、ロボットの姿勢を変化させること、ロボットのカメラからビデオを視認すること、およびロボットのカメラを操作すること(例えば、カメラを移動させること、および/またはカメラを使用してスナップショットまたは写真を撮影すること)のうちの少なくとも1つのための制御を提供してもよい。   The remote computing device may execute an application (eg, a software program or routine) that provides remote control of the robot. For example, the application may drive the robot, change the pose of the robot, view the video from the camera of the robot, and manipulate the camera of the robot (eg, move the camera, and / or the camera And providing control for at least one of taking a snapshot or a picture using

いくつかの実現形態では、遠隔コンピューティングデバイスは、コンピューティングデバイスのユーザとロボットのカメラの視野内の第三者との間でテレビ会議を提供する、アプリケーションを実行する。遠隔コンピューティングデバイスは、ロボットの利用を予定に入れるためのアプリケーションを実行してもよい。また、遠隔コンピューティングデバイスは、ロボットの利用および動作を監視するためのアプリケーションを実行してもよい。遠隔コンピューティングデバイスは、随意に、タッチスクリーンを有するタブレットコンピュータを備えてもよい。   In some implementations, the remote computing device executes an application that provides a video conference between a user of the computing device and a third party within the field of view of the robot's camera. The remote computing device may execute an application to schedule use of the robot. Also, the remote computing device may execute an application to monitor the use and operation of the robot. The remote computing device may optionally comprise a tablet computer having a touch screen.

本開示の別の態様は、ロボットの動作を制御するための制御システムを実行するコントローラを有する、可動式ロボットと、コントローラと通信しているコンピューティングデバイスと、コンピューティングデバイスと通信しているクラウドコンピューティングサービスと、クラウドコンピューティングサービスと通信しているポータルとを含む、ロボットシステムを提供する。   Another aspect of the present disclosure is a mobile robot having a controller executing a control system for controlling the motion of the robot, a computing device in communication with the controller, and a cloud in communication with the computing device. A robotic system is provided that includes a computing service and a portal in communication with the cloud computing service.

本開示の実現形態は、以下の特徴のうちの1つ以上を含んでもよい。いくつかの実現形態では、ポータルは、コンテンツへのアクセスを提供するウェブベースのポータルを備える。ポータルは、クラウドコンピューティングサービスを通してロボットからロボット情報を受信してもよい。また、ロボットは、クラウドコンピューティングサービスを通してポータルからユーザ情報を受信してもよい。   Implementations of the present disclosure may include one or more of the following features. In some implementations, the portal comprises a web-based portal that provides access to content. The portal may receive robot information from the robot through the cloud computing service. Also, the robot may receive user information from the portal through the cloud computing service.

いくつかの実施例では、コンピューティングデバイスは、(タブレットコンピュータ等での)タッチスクリーンを含む。コンピューティングデバイスは、コントローラのオペレーティングシステムとは異なるオペレーティングシステムを実行してもよい。例えば、コントローラが、ロボット制御のためのオペレーティングシステムを実行してもよい一方で、コンピューティングデバイスは、企業オペレーティングシステムを実行してもよい。いくつかの実施例では、コンピューティングデバイスは、ロボットからロボット情報を収集し、ロボット情報をクラウドコンピューティングサービスに送信する、少なくとも1つのアプリケーションを実行する。   In some embodiments, the computing device includes a touch screen (eg, on a tablet computer). The computing device may run an operating system different from that of the controller. For example, the controller may execute an operating system for robot control while the computing device may execute an enterprise operating system. In some embodiments, the computing device executes at least one application that collects robot information from the robot and transmits the robot information to the cloud computing service.

ロボットは、垂直中心軸を画定し、かつコントローラを支持する、基部と、基部によって支持されるホロノミック駆動システムとを含んでもよい。駆動システムは、それぞれ垂直中心軸の周囲で三角形に離間され、かつそれぞれ垂直中心軸に対して放射軸と垂直な駆動方向を有する、第1、第2、および第3の駆動車輪を有する。ロボットはまた、基部から上向きに延在する、拡張可能な脚部と、脚部によって支持される胴部とを含んでもよい。脚部の作動は、胴部の高さの変化を引き起こす。コンピューティングデバイスは、胴部より上側で着脱可能に支持することができる。いくつかの実施例では、ロボットは、胴部によって支持される首部と、首部によって支持される頭部とを含む。首部は、胴部に対して頭部を回動および傾斜することができ得る。頭部は、コンピューティングデバイスを着脱可能に支持してもよい。   The robot may include a base defining a vertical central axis and supporting the controller, and a holonomic drive system supported by the base. The drive system comprises first, second and third drive wheels, each of which is triangularly spaced around the vertical central axis and has drive directions perpendicular to the radial axis with respect to the vertical central axis. The robot may also include an expandable leg extending upwardly from the base and a torso supported by the leg. Actuation of the legs causes a change in height of the torso. The computing device can be removably supported above the torso. In some embodiments, the robot includes a neck supported by the torso and a head supported by the neck. The neck may be able to pivot and tilt the head relative to the torso. The head may releasably support the computing device.

本開示の別の態様は、ロボットの動作を制御するための制御システムを実行するコントローラを有する、可動式ロボットと、コントローラと通信しているコンピューティングデバイスと、コントローラとコンピューティングデバイスとの間の通信を制御する仲介セキュリティデバイスと、コンピューティングデバイスと通信しているクラウドコンピューティングサービスと、クラウドコンピューティングサービスと通信しているポータルとを含む、ロボットシステムを提供する。   Another aspect of the present disclosure is a mobile robot having a controller executing a control system for controlling motion of the robot, a computing device in communication with the controller, and a controller and computing device. A robotic system is provided that includes an intermediary security device controlling communication, a cloud computing service in communication with the computing device, and a portal in communication with the cloud computing service.

いくつかの実施例では、仲介セキュリティデバイスは、コンピューティングデバイスのコンピューティングデバイス通信プロトコルとロボットのロボット通信プロトコルとの間で通信を変換する。さらに、仲介セキュリティデバイスは、ロボット内のコンピューティングデバイス間の通信トラフィックを承認するための承認チップを含んでもよい。   In some embodiments, the intermediary security device translates communication between the computing device communication protocol of the computing device and the robot communication protocol of the robot. Additionally, the intermediary security device may include an approval chip for approving communication traffic between computing devices in the robot.

コンピューティングデバイスは、ロボットコントローラと無線で通信してもよい。いくつかの実施例では、コンピューティングデバイスは、ロボットに解放可能に取り付け可能である。例となるコンピューティングデバイスは、タブレットコンピュータを含む。   The computing device may communicate with the robot controller wirelessly. In some embodiments, the computing device is releasably attachable to the robot. An exemplary computing device includes a tablet computer.

ポータルは、コンテンツ(例えば、ニュース、天気、ロボット情報、ユーザ情報等)へのアクセスを提供するウェブベースのポータルであってもよい。いくつかの実施例では、ポータルは、クラウドコンピューティングサービスを通してロボットからロボット情報を受信する。さらなる実施例では、ロボットは、クラウドコンピューティングサービスを通してポータルからユーザ情報を受信する。コンピューティングデバイスは、クラウドコンピューティングサービスを使用してクラウド記憶装置にアクセスしてもよい。コンピューティングデバイスは、ロボットからロボット情報を収集し、ロボット情報をクラウドコンピューティングサービスに送信する、少なくとも1つのアプリケーションを実行してもよい。   The portal may be a web-based portal that provides access to content (eg, news, weather, robot information, user information, etc.). In some embodiments, the portal receives robot information from the robot through a cloud computing service. In a further embodiment, the robot receives user information from the portal through a cloud computing service. The computing device may access the cloud storage using a cloud computing service. The computing device may execute at least one application that collects robot information from the robot and transmits the robot information to the cloud computing service.

本開示の一態様は、ロボットの環境に対応するレイアウトマップを受信することと、環境内のロボットを、レイアウトマップ上のレイアウトマップ位置まで移動させることと、環境に対応し、かつロボットによって生成されるロボットマップ上のロボットマップ位置を記録することと、記録されたロボットマップ位置および対応するレイアウトマップ位置を使用して、ロボットマップとレイアウトマップとの間の歪みを判定することと、対応する目標ロボットマップ位置を判定するように、判定された歪みを目標レイアウトマップ位置に適用することとを含む、可動式ロボットを動作させる方法を提供する。   One aspect of the present disclosure corresponds to receiving a layout map corresponding to the environment of the robot, moving the robot in the environment to a layout map position on the layout map, corresponding to the environment, and generated by the robot Recording the robot map position on the robot map, determining the distortion between the robot map and the layout map using the recorded robot map position and the corresponding layout map position, and a corresponding target A method is provided for operating a mobile robot, including applying the determined strain to a target layout map position to determine a robot map position.

本開示の実現形態は、以下の特徴のうちの1つ以上を含んでもよい。いくつかの実現形態では、本方法は、クラウドコンピューティングサービスからレイアウトマップを受信することを含む。本方法は、コンピューティングデバイス上で実行されるアプリケーション上でレイアウトマップを生成し、クラウドコンピューティングサービスを使用して、遠隔クラウド記憶装置デバイス上にレイアウトマップを記憶することを含んでもよい。   Implementations of the present disclosure may include one or more of the following features. In some implementations, the method includes receiving a layout map from a cloud computing service. The method may include generating a layout map on an application executed on the computing device and storing the layout map on the remote cloud storage device using a cloud computing service.

いくつかの実施例では、本方法は、既存のレイアウトマップ位置および記録されたロボットマップ位置を使用して、レイアウトマップとロボットマップとの間のスケーリングサイズ、始点マッピング、および回転を判定することと、目標レイアウトマップ位置に対応するロボットマップ位置を解決することとを含む。本方法はさらに、目標ロボットマップ位置を解決するように、アフィン変換を判定されたスケーリングサイズ、始点マッピング、および回転に適用することを含んでもよい。   In some embodiments, the method determines the scaling size, starting point mapping, and rotation between the layout map and the robot map using the existing layout map position and the recorded robot map position. Resolving the robot map position corresponding to the target layout map position. The method may further include applying an affine transformation to the determined scaling size, origin mapping, and rotation to resolve the target robot map position.

いくつかの実現形態では、本方法は、目標レイアウトマップ位置の境界を示すレイアウトマップ位置の間の三角測量を判定することを含む。本方法はさらに、レイアウトマップの中でマップされた三角形とロボットマップの中でマップされた対応する三角形との間のスケール、回転、平行移動、およびスキュー(skew)を判定し、対応する目標ロボットマップ位置を判定するように、判定されたスケール、回転、平行移動、およびスキューを目標レイアウトマップ位置に適用することを含んでもよい。   In some implementations, the method includes determining triangulation between layout map locations indicating boundaries of target layout map locations. The method further determines the scale, rotation, translation, and skew between the mapped triangle in the layout map and the corresponding triangle mapped in the robot map, and the corresponding target robot Applying the determined scale, rotation, translation, and skew to the target layout map position may be included to determine the map position.

本方法は、いくつかの実施例では、全てのレイアウトマップ位置と目標レイアウトマップ位置との間の距離を判定することと、レイアウトマップ位置の重心を判定することと、全ての記録されたロボットマップ位置の重心を判定することと、各レイアウトマップ位置について、レイアウトマップ重心から目標レイアウト位置まで及ぶベクターを、ロボットマップ重心から目標ロボットマップ位置まで及ぶベクターに変換するように、回転および長さスケーリングを判定することとを含む。   The method, in some embodiments, determines the distance between all layout map locations and the target layout map location, determines the center of gravity of the layout map locations, and all recorded robot maps. Rotation and length scaling to determine the center of gravity of the position, and convert the vectors that extend from the layout map center of gravity to the target layout position to vectors that extend from the robot map center of gravity to the target robot map position for each layout map position. And determining.

本方法は、ロボットのセンサシステムを使用して、ロボットマップを生成することを含んでもよい。いくつかの実現形態では、本方法は、環境の情景の上に光を放射すること、情景の表面から放射光の反射を受けることと、各反射面の距離を判定することと、情景の3次元深度マップを構築することとを含む。本方法は、情景の上に光のスペックルパターンを放射し、情景からスペックルパターンの反射を受けることを含んでもよい。いくつかの実施例では、本方法は、情景内の基準物体から反射されるようなスペックルパターンの基準画像を記憶することを含み、基準画像は、基準物体から様々な異なる距離で捕捉される。本方法はさらに、情景内の標的物体から反射されるようなスペックルパターンの少なくとも1つの標的画像を捕捉し、標的物体の反射面の距離を判定するために、その少なくとも1つの標的画像を基準画像と比較することを含んでもよい。いくつかの実施例では、本方法は、標的物体上の一次スペックルパターンを判定し、一次スペックルパターンと基準画像のスペックルパターンとの間のそれぞれの相互相関および非相関のうちの少なくとも1つを算出することを含む。本方法は、標的物体の反射面の判定された距離に基づいて、標的物体に対してロボットを機動させることを含んでもよい。   The method may include generating a robot map using a sensor system of the robot. In some implementations, the method comprises emitting light over the scene of the environment, receiving reflections of radiation from the surface of the scene, determining the distance of each reflective surface, and 3 of the scene. And (d) constructing a dimensional depth map. The method may include emitting a speckle pattern of light over the scene and receiving a reflection of the speckle pattern from the scene. In some embodiments, the method includes storing a reference image of a speckle pattern as reflected from a reference object in a scene, wherein the reference image is captured at various different distances from the reference object . The method further captures at least one target image of a speckle pattern as reflected from a target object in the scene and references the at least one target image to determine the distance of the reflective surface of the target object. It may include comparing with the image. In some embodiments, the method determines a first order speckle pattern on the target object, and at least one of cross-correlation and uncorrelation of each of the first order speckle pattern and the speckle pattern of the reference image. Calculating one. The method may include maneuvering the robot relative to the target object based on the determined distance of the reflective surface of the target object.

いくつかの実現形態では、本方法は、光の放射と反射光の受信との間の飛行時間を判定し、情景の反射面までの距離を判定することを含む。本方法は、間欠パルスで光を情景の上に放射することを含んでもよい。また、本方法は、放射光パルスの周波数を変化させることを含んでもよい。   In some implementations, the method includes determining a time of flight between the emission of light and the reception of the reflected light to determine the distance to the reflective surface of the scene. The method may include emitting light onto the scene in intermittent pulses. The method may also include changing the frequency of the emitted light pulse.

さらに別の態様では、ロボットシステムは、ロボットの動作を制御するための制御システムを実行するコントローラと、コントローラと通信しているセンサシステムとを有する、可動式ロボットを含む。ロボットシステムはまた、ロボットのコントローラと通信しているクラウドコンピューティングサービスも含む。クラウドコンピューティングサービスは、コントローラからデータを受信し、データを処理し、処理された結果をコントローラに返信する。   In yet another aspect, a robotic system includes a moveable robot having a controller that executes a control system for controlling the motion of the robot and a sensor system in communication with the controller. The robot system also includes cloud computing services in communication with the controller of the robot. The cloud computing service receives data from the controller, processes the data, and sends the processed result back to the controller.

いくつかの実現形態では、クラウドコンピューティングサービスは、クラウド記憶装置の中に受信したデータを少なくとも一時的に記憶し、随意に、データを処理した後に記憶したデータを破棄する。ロボットは、いくつかの実施例では、コントローラと通信しており、かつロボットの周囲の情景の画像を取得することが可能なカメラ、および/またはコントローラと通信しており、かつロボットの周囲の体積空間から点群を取得することが可能な体積点群撮像デバイスとを含む。体積空間は、ロボットの移動方向の床面を含んでもよい。コントローラは、画像データをクラウドコンピューティングサービスに伝達する。   In some implementations, the cloud computing service at least temporarily stores the received data in the cloud storage, and optionally discards the stored data after processing the data. The robot is, in some embodiments, in communication with the controller and with a camera capable of acquiring an image of a scene around the robot, and / or with the controller, and the volume around the robot And a volume point cloud imaging device capable of acquiring a point cloud from space. The volume may include a floor in the direction of movement of the robot. The controller communicates image data to the cloud computing service.

データは、未加工センサデータおよび/またはセンサシステムからの関連情報を有するデータを備えてもよい。いくつかの実施例では、データは、加速度計データ追跡、走行距離計測データ、およびタイムスタンプのうちの少なくとも1つを有する、画像データを含む。   The data may comprise data comprising raw sensor data and / or related information from a sensor system. In some embodiments, the data includes image data having at least one of accelerometer data tracking, distance measurement data, and a time stamp.

クラウドコンピューティングサービスは、ロボットの周囲の情景の画像データをコントローラから受信してもよく、画像データを処理して情景の3−Dマップおよび/またはモデルにする。さらに、クラウドコンピューティングサービスは、2−D高さマップおよび/またはモデルをコントローラに提供してもよく、そこでクラウドコンピューティングサービスは、3−Dマップから2−D高さマップを算出する。いくつかの実施例では、クラウドコンピューティングサービスは、画像データを定期的に受信し、しきい画像データセットまで蓄積した後に受信した画像データを処理する。   The cloud computing service may receive image data of a scene around the robot from the controller and process the image data into a 3-D map and / or model of the scene. Additionally, the cloud computing service may provide a 2-D height map and / or model to the controller, where the cloud computing service calculates the 2-D height map from the 3-D map. In some embodiments, the cloud computing service periodically receives image data and processes the received image data after accumulating up to a threshold image data set.

いくつかの実現形態では、コントローラは、コントローラと通信しており、随意に、ロボットに取り外し可能に取り付け可能である、携帯用コンピューティングデバイス(例えば、タブレットコンピュータ)を通して、無線でデータをクラウドコンピューティングサービスに伝達する。コントローラは、データをバッファリングしてもよく、定期的にデータをクラウドコンピューティングサービスに送信する。   In some implementations, the controller is in communication with the controller, and optionally, cloud computing data wirelessly through the portable computing device (eg, a tablet computer), which is removably attachable to the robot Communicate to service. The controller may buffer data and periodically transmit data to the cloud computing service.

センサシステムは、カメラ、3−D撮像センサ、ソナーセンサ、超音波センサ、LIDAR、LADAR、光学センサ、および赤外線センサのうちの少なくとも1つを含んでもよい。   The sensor system may include at least one of a camera, a 3-D imaging sensor, a sonar sensor, an ultrasonic sensor, a LIDAR, a LADAR, an optical sensor, and an infrared sensor.

本開示の別の態様では、可動式ロボットを操作する方法は、情景の周囲でロボットを動かすことと、情景を示すセンサデータを受信することと、受信したセンサデータを処理し、処理結果をロボットに伝達するクラウドコンピューティングサービスに、センサデータを伝達することとを含む。本方法はさらに、受信した処理結果に基づいて、情景内でロボットを動かすことを含む。   In another aspect of the disclosure, a method of operating a mobile robot includes moving a robot around a scene, receiving sensor data indicative of the scene, processing the received sensor data, and processing the processing result Communicating sensor data to a cloud computing service communicating with the The method further includes moving the robot within the scene based on the received processing results.

いくつかの実現形態では、本方法は、ロボットの周囲の情景上に光を放射することと、ロボットの駆動方向に沿った情景の画像を捕捉することとを含む。画像は、(a)3次元深度画像、(b)アクティブ照明画像、および(c)周囲照明画像のうちの少なくとも1つを含む。センサデータは、画像を含み、処理結果は、情景のマップまたはモデルを含む。   In some implementations, the method includes emitting light onto a scene around the robot and capturing an image of the scene along the driving direction of the robot. The image includes at least one of (a) a three-dimensional depth image, (b) an active illumination image, and (c) an ambient illumination image. The sensor data includes an image, and the processing result includes a map or model of a scene.

本方法は、情景上に光のスペックルパターンを放射することと、情景内の物体からスペックルパターンの反射を受けることと、情景内の基準物体から反射されるようなスペックルパターンの基準画像をクラウドコンピューティングサービスのクラウド記憶装置の中に記憶することとを含んでもよい。基準画像は、基準物体から様々な異なる距離で捕捉される。本方法はまた、情景内の標的物体から反射されるようなスペックルパターンの少なくとも1つの標的画像を捕捉し、少なくとも1つの標的画像をクラウドコンピューティングサービスに伝達することも含む。クラウドコンピューティングサービスは、標的物体の反射面の距離を判定するために、その少なくとも1つの標的画像を基準画像と比較する。いくつかの実施例では、本方法は、標的物体上の一次スペックルパターンを判定し、一次スペックルパターンと基準画像のスペックルパターンとの間のそれぞれの相互相関および非相関のうちの少なくとも1つを算出することを含む。   The method comprises emitting a speckle pattern of light onto a scene, receiving a reflection of the speckle pattern from an object in the scene, and a reference image of the speckle pattern as reflected from a reference object in the scene. Storing in a cloud storage of the cloud computing service. The reference image is captured at various different distances from the reference object. The method also includes capturing at least one target image of a speckle pattern as reflected from target objects in the scene and communicating the at least one target image to a cloud computing service. The cloud computing service compares the at least one target image to a reference image to determine the distance of the reflective surface of the target object. In some embodiments, the method determines a first order speckle pattern on the target object, and at least one of cross-correlation and uncorrelation of each of the first order speckle pattern and the speckle pattern of the reference image. Calculating one.

クラウドコンピューティングサービスは、クラウド記憶装置の中に受信したセンサデータを少なくとも一時的に記憶し、随意に、データを処理した後に記憶したセンサデータを破棄してもよい。センサデータは、加速度計データ追跡、走行距離計測データ、およびタイムスタンプのうちの少なくとも1つを含み得る、関連センサシステムデータを有する画像データを含んでもよい。   The cloud computing service may at least temporarily store received sensor data in the cloud storage, and optionally discard the stored sensor data after processing the data. The sensor data may include image data with associated sensor system data that may include at least one of accelerometer data tracking, mileage measurement data, and a time stamp.

いくつかの実現形態では、クラウドコンピューティングサービスは、ロボットから画像データを受信し、画像データを処理して情景の3−Dマップおよび/またはモデルにする。クラウドコンピューティングサービスは、2−D高さマップおよび/またはモデルをロボットに提供してもよい。クラウドコンピューティングサービスは、3−Dマップから2−D高さマップを算出する。   In some implementations, the cloud computing service receives image data from the robot and processes the image data into a 3-D map and / or model of the scene. The cloud computing service may provide a 2-D height map and / or model to the robot. The cloud computing service calculates a 2-D height map from the 3-D map.

本方法は、クラウドコンピューティングサービスに、センサデータを定期的に伝達することを含んでもよく、クラウドコンピューティングサービスは、しきいセンサデータセットを蓄積した後に受信した画像データを処理する。いくつかの実施例では、本方法は、ロボットと通信しており、随意に、ロボットに取り外し可能に取り付け可能である、携帯用コンピューティングデバイス(例えば、タブレットコンピュータ)を通して、無線でセンサデータをクラウドコンピューティングサービスに伝達することを含む。   The method may include regularly communicating sensor data to a cloud computing service, which processes image data received after accumulating a threshold sensor data set. In some embodiments, the method is wirelessly clouding sensor data wirelessly through a portable computing device (eg, a tablet computer) in communication with the robot and optionally, removably attachable to the robot. Including communicating to computing services.

別の態様では、可動式ロボットをナビゲートする方法は、リアルタイム捕捉速度で、ロボットの運動の軌跡に沿ったロボットの周囲の情景の高密度画像のストリーミングシーケンスを捕捉することと、注釈を高密度画像のうちの少なくともいくつかと関連付けることとを含む。本方法はまた、リアルタイム捕捉速度よりも遅い送信速度で、高密度画像および注釈を遠隔サーバに送信することと、処理時間間隔後に遠隔サーバからデータセットを受信することとを含む。データセットは、高密度画像シーケンスおよび対応する注釈の少なくとも一部分に由来し、かつそれを表すが、高密度画像のシーケンスの未加工画像データを除外する。本方法は、受信したデータセットに基づいて、情景に対してロボットを移動させることを含む。   In another aspect, a method of navigating a mobile robot comprises capturing a streaming sequence of a high density image of a scene around a robot along a robot's motion trajectory at a real time capture speed, and high density annotations. Associating with at least some of the images. The method also includes transmitting the high density images and annotations to the remote server at a transmission rate slower than the real time acquisition rate and receiving the data set from the remote server after the processing time interval. The data set originates from and represents at least a portion of the high density image sequence and the corresponding annotation, but excluding the raw image data of the high density image sequence. The method includes moving the robot relative to the scene based on the received data set.

本方法は、高密度画像および注釈をローカルサーバおよびバッファに送信し、次いで、リアルタイム捕捉速度よりも遅い送信速度で、高密度画像および注釈を遠隔サーバに送信することを含んでもよい。ローカルサーバおよびバッファは、ロボットの比較的短い範囲内(例えば、20〜100フィート(約6.1〜30.5m)または無線通信範囲内)にあってもよい。   The method may include transmitting the high density images and annotations to the local server and buffer, and then transmitting the high density images and annotations to the remote server at a transmission rate slower than the real time capture rate. The local server and buffer may be within a relatively short range (e.g., 20 to 100 feet or within wireless communication range) of the robot.

いくつかの実現形態では、注釈は、高密度画像のうちの少なくともいくつかに対応する絶対時間基準等のタイムスタンプと、走行距離計測データ、加速度計データ、傾斜データ、および角速度データのうちの少なくとも1つを含み得る、姿勢関連センサデータとを含む。注釈は、ロボットの危険応答(例えば、崖を回避する、閉じ込め状況から脱出する等)に対して時間間隔内に捕捉される、危険事象を反映する高密度画像と関連付けることができる。さらなる実施例では、注釈を関連付けることは、キーフレーム識別子を高密度画像のサブセットと関連付けることを含んでもよい。キーフレーム識別子は、キーフレーム識別子の特性(例えば、フラグ、タイプ、グループ等)に基づいて、高密度画像の識別を可能にし得る。   In some implementations, the annotations include at least one of: a time stamp, such as an absolute time reference, corresponding to at least some of the high density images; and travel distance measurement data, accelerometer data, tilt data, and angular velocity data. And attitude related sensor data, which may include one. The annotations can be associated with a high density image reflecting the hazard event captured within the time interval for the robot's hazard response (eg, avoiding a cliff, exiting a containment situation, etc.). In further embodiments, associating the annotation may include associating a key frame identifier with the subset of high density images. The key frame identifier may enable identification of high density images based on characteristics of the key frame identifier (eg, flag, type, group, etc.).

注釈は、高密度画像のストリーミングシーケンスの高密度画像の間で追跡される特徴の構造復元および運動復元に由来する、低密度の一式の3−D点を含んでもよい。低密度の一式の3−D点は、ロボット上の体積点撮像デバイスに由来し得る。さらに、注釈は、低密度の一式の3−D点のうちの個々の3−D点に対するカメラの姿勢等のカメラパラメータを含んでもよい。情景の横断可能および横断不可能領域の標識が、高密度画像に対する注釈であり得る。   The annotations may include a low density set of 3-D points derived from structural and motion restoration of features tracked between high density images in a high density image streaming sequence. The low density set of 3-D points may come from a volumetric point imaging device on the robot. Additionally, the annotations may include camera parameters such as camera pose relative to individual 3-D points of the low density set of 3-D points. The markers of the transmissible and non-crossable areas of the scene may be annotations to the high density image.

データセットは、高密度画像から抽出される、2−D高さマップ等の1つ以上の質感(texture)マップ、および/または情景の高密度画像内の特徴を表す地形(terrain)マップを含んでもよい。データセットは、情景の捕捉された新しい高密度画像内の特徴を分類するための訓練された分類子を含んでもよい。   The data set includes one or more texture maps, such as 2-D height maps, extracted from high density images, and / or terrain maps representing features in high density images of the scene. May be. The data set may include trained classifiers to classify features in the captured new dense image of the scene.

さらに別の態様では、可動式ロボット環境データを抽象化する方法は、ある受信速度で、可動式ロボットからロボット環境の高密度画像のシーケンスを受信することを含む。高密度画像は、リアルタイム捕捉速度で可動式ロボットの運動の軌跡に沿って捕捉される。受信速度は、リアルタイム捕捉速度よりも遅い。本方法はさらに、高密度画像のシーケンスの中の高密度画像のうちの少なくともいくつかと関連付けられる注釈を受信することと、高密度画像のうちの少なくともいくつかの中の高密度データを、高密度画像のシーケンスの少なくとも一部分を表すデータセットまで低減させるためのバッチ処理タスクをディスパッチすることとを含む。本方法はまた、データセットを可動式ロボットに伝送することも含む。データセットは、高密度画像のシーケンスの未加工画像データを除外する。   In yet another aspect, a method of abstracting mobile robot environment data includes receiving a sequence of high density images of a robot environment from a mobile robot at a receive rate. High density images are captured along the trajectory of the mobile robot's motion at real time capture speed. The reception rate is slower than the real time acquisition rate. The method further comprises receiving an annotation associated with at least some of the high density images in the sequence of high density images, high density data in at least some of the high density images, Dispatching a batch processing task to reduce to a data set that represents at least a portion of the sequence of images. The method also includes transmitting the data set to the mobile robot. The data set excludes raw image data of high density image sequences.

いくつかの実現形態では、バッチ処理タスクは、高密度画像のシーケンスを処理してロボット環境の高密度3−Dモデルにすることと、高密度3−Dモデルを処理して2−D位置および床面からの少なくとも1つの高さの座標系用の地形モデルにすることとを含む。いくつかの実施例では、地形モデルは、2−D位置および床面からの複数の占有および非占有高さ境界の座標系のためのものである。例えば、テーブルを有する部屋が、関連テーブル面の上限および下限高さを示すデータを提供する場合の、テーブルの下を通過することができるかどうかをロボットが判定することができるようにする地形モデルである。   In some implementations, batch processing tasks include processing sequences of high density images into high density 3-D models of a robotic environment, processing high density 3-D models into 2-D locations and Making a terrain model for the coordinate system at least one height above the floor surface. In some embodiments, the terrain model is for a coordinate system of 2-D locations and multiple occupied and unoccupied height boundaries from the floor surface. For example, a terrain model that allows the robot to determine if a room with a table can pass under the table, providing data indicating the upper and lower heights of the associated table surface It is.

バッチ処理タスクは、(例えば、クラウドが、任意の環境内の目的とする特徴を識別するための分類子を構築することができるように)複数のロボット環境に対応する高密度画像シーケンスを蓄積することを含んでもよい。したがって、バッチ処理タスクは、高密度画像のシーケンス上の複数の分類子および/または高密度画像のシーケンス上で1つ以上の分類子を訓練することを含んでもよい。例えば、バッチ処理タスクは、危険事象を反映する注釈を、可動式ロボットの危険応答に対して時間間隔内に捕捉される高密度画像と関連付けることと、例えば、分類子のモデルパラメータのデータセットを提供するように、関連危険事象注釈および対応する高密度画像を訓練データとして使用して、危険関連高密度画像の分類子を訓練することとを含んでもよい。分類子は、分類のための少なくとも1つの超平面を構築する、少なくとも1つのサポートベクターマシンを含んでもよく、モデルパラメータは、データセットを危険関連分類に分類することができる訓練された超平面を画定する。モデルパラメータは、サポートベクターマシンのカーネルを画定する十分なパラメータと、ソフトマージンパラメータとを含んでもよい。   Batch processing tasks accumulate high-density image sequences corresponding to multiple robot environments (eg, so that the cloud can build classifiers to identify desired features in any environment) May be included. Thus, batch processing tasks may include training one or more classifiers on a plurality of classifiers on a sequence of high density images and / or a sequence of high density images. For example, the batch processing task may associate an annotation reflecting a dangerous event with a high density image captured within a time interval for the mobile robot's dangerous response, for example, a data set of classifier model parameters Training the hazard related high density image classifier using the related risk event annotation and the corresponding high density image as training data, as provided. The classifier may include at least one support vector machine that builds at least one hyperplane for classification, and model parameters may be trained hyperplanes that can classify the data set into risk related classifications. Define. The model parameters may include sufficient parameters to define the kernel of the support vector machine and soft margin parameters.

いくつかの実施例では、バッチ処理タスクは、処理される高密度画像シーケンスのスケールに比例する、拡張性のある複数の仮想プロセスをインスタンス化することを含む。仮想プロセスのうちの少なくともいくつかは、ロボットへのデータセットの伝送後に解放される。同様に、バッチ処理タスクは、記憶される高密度画像シーケンスのスケールに比例する、拡張性のある複数の仮想記憶をインスタンス化することを含んでもよい。仮想記憶のうちの少なくともいくらかは、ロボットへのデータセットの伝送後に解放される。さらに、バッチ処理タスクは、可動式ロボットへの地理的近接性および/または複数の可動式ロボットからのネットワークトラフィックのうちの1つに従って、拡張性のある複数の仮想サーバを分散させることを含んでもよい。   In some embodiments, batch processing tasks include instantiating a plurality of scalable virtual processes that are proportional to the scale of the high density image sequence being processed. At least some of the virtual processes are released after transmission of the data set to the robot. Similarly, batch processing tasks may include instantiating a plurality of scalable virtual memories that are proportional to the scale of the stored high density image sequence. At least some of the virtual memory is released after transmission of the data set to the robot. In addition, the batch processing task may also include distributing scalable virtual servers according to one of geographic proximity to mobile robots and / or network traffic from mobile robots. Good.

本開示の1つ以上の実現形態の詳細が、添付の図面および以下の記載において説明される。他の態様、特徴、および利点は、本記載および図面、ならびに請求項から明らかになるであろう。   The details of one or more implementations of the disclosure are set forth in the accompanying drawings and the description below. Other aspects, features, and advantages will be apparent from the description and drawings, and from the claims.

例となる可動式ヒューマンインターフェースロボットの斜視図である。FIG. 1 is a perspective view of an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットの概略図である。FIG. 1 is a schematic view of an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットの立面斜視図である。FIG. 1 is an elevated perspective view of an example mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる基部の正面斜視図である。FIG. 1 is a front perspective view of an exemplary base of a mobile human interface robot. 図4Aに示される基部の背面斜視図である。FIG. 4B is a rear perspective view of the base shown in FIG. 4A. 図4Aに示される基部の上面図である。FIG. 4B is a top view of the base shown in FIG. 4A. 可動式ヒューマンインターフェースロボットの例となる基部の正面概略図である。FIG. 1 is a front schematic view of an exemplary base of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる基部の上面概略図である。FIG. 1 is a top schematic view of an example base of a mobile human interface robot. 可動式ヒューマンインターフェースロボット用の例となるホロノミック車輪の正面図である。FIG. 1 is a front view of an exemplary holonomic wheel for a mobile human interface robot. 図5Cに示される車輪の側面図である。FIG. 5C is a side view of the wheel shown in FIG. 5C. 可動式ヒューマンインターフェースロボットの例となる胴部の正面斜視図である。FIG. 1 is a front perspective view of an example trunk of a mobile human interface robot. 可動式ヒューマンインターフェースロボットのタッチ感知能力を有する例となる胴部の正面斜視図である。FIG. 1 is a front perspective view of an example barrel with touch sensing capabilities of a mobile human interface robot. 図6Bに示される胴部の底面斜視図である。It is a bottom perspective view of the trunk | drum shown by FIG. 6B. 可動式ヒューマンインターフェースロボットの例となる首部の正面斜視図である。FIG. 1 is a front perspective view of an exemplary neck of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの例となる回路の概略図である。FIG. 1 is a schematic diagram of an example circuit of a mobile human interface robot. 着脱可能なウェブパッドを有する、例となる可動式ヒューマンインターフェースロボットの斜視図である。FIG. 1 is a perspective view of an example mobile human interface robot having a removable web pad. 例となる可動式ヒューマンインターフェースロボットとやりとりする人の斜視図である。FIG. 1 is a perspective view of a person interacting with an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットとやりとりする人の斜視図である。FIG. 1 is a perspective view of a person interacting with an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットとやりとりする人の斜視図である。FIG. 1 is a perspective view of a person interacting with an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットとやりとりする人の斜視図である。FIG. 1 is a perspective view of a person interacting with an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットとやりとりする人の斜視図である。FIG. 1 is a perspective view of a person interacting with an example mobile human interface robot. 例となる可動式ヒューマンインターフェースロボットの概略図である。FIG. 1 is a schematic view of an example mobile human interface robot. 地面に向けられる複数のセンサを有する、例となる可動式ヒューマンインターフェースロボットの斜視図である。FIG. 1 is a perspective view of an example mobile human interface robot having a plurality of sensors directed to the ground. 情景内の物体を感知する、例となる撮像センサの概略図である。FIG. 1 is a schematic view of an example imaging sensor for sensing an object in a scene. 撮像センサを動作させるための動作の例となる配設の概略図である。FIG. 6 is a schematic view of an example arrangement of operations for operating an imaging sensor. 情景内の物体を感知する例となる3次元(3D)スペックルカメラの概略図である。FIG. 1 is a schematic diagram of an exemplary three-dimensional (3D) speckle camera sensing an object in a scene. 3Dスペックルカメラを動作させるための動作の例となる配設の概略図である。FIG. 7 is a schematic diagram of an example arrangement of operations for operating a 3D speckle camera. 情景内の物体を感知する例となる3D飛行時間(TOF)カメラの概略図である。FIG. 1 is a schematic view of an exemplary 3D time-of-flight (TOF) camera for sensing objects in a scene. 3D TOFカメラを動作させるための動作の例となる配設の概略図である。FIG. 1 is a schematic view of an example arrangement of operations for operating a 3D TOF camera. 可動式ヒューマンインターフェースロボットのコントローラによって実行される例となる制御システムの概略図である。FIG. 5 is a schematic diagram of an exemplary control system implemented by a controller of a mobile human interface robot. 人間のタッチコマンドを受ける、例となる可動式ヒューマンインターフェースロボットの斜視図である。FIG. 1 is a perspective view of an example mobile human interface robot that receives human touch commands. 可動式ヒューマンインターフェースロボットとの通信を開始して行うための例となる電話通信概略図を提供する。An exemplary telephony schematic is provided for initiating and communicating with a mobile human interface robot. 例となるロボットシステムアーキテクチャの概略図を提供する。1 provides a schematic of an example robotic system architecture. 例となるロボットシステムアーキテクチャの概略図を提供する。1 provides a schematic of an example robotic system architecture. 例となるロボットシステムアーキテクチャの概略図を提供する。1 provides a schematic of an example robotic system architecture. 例となるロボットシステムアーキテクチャの概略図を提供する。1 provides a schematic of an example robotic system architecture. 例となるロボットシステムアーキテクチャの概略図を提供する。1 provides a schematic of an example robotic system architecture. 可動式ロボットをナビゲートする方法のための動作の例となる配設を提供する。An example arrangement of operations for a method of navigating a mobile robot is provided. 可動式ロボット環境データを抽象化する方法のための動作の例となる配設を提供する。An example arrangement of operations for a method of abstracting mobile robot environmental data is provided. 例となるロボットシステムアーキテクチャの概略図を提供する。1 provides a schematic of an example robotic system architecture. 例となる占領マップの概略図である。FIG. 2 is a schematic diagram of an example occupancy map. 作業領域内の情景の視界を有する、可動式ロボットの概略図である。FIG. 1 is a schematic view of a mobile robot with a view of a scene in a work area. 例となるレイアウトマップの概略図である。FIG. 1 is a schematic diagram of an example layout map. 図18Aに示されるレイアウトマップに対応する例となるロボットマップの概略図である。FIG. 18B is a schematic view of an example robot map corresponding to the layout map shown in FIG. 18A. レイアウトマップおよびロボットマップを使用して、環境の周囲でナビゲートするように可動式ロボットを操作するための動作の例となる配設を提供する。The layout map and the robot map are used to provide an example arrangement of operations for operating the mobile robot to navigate around the environment. 三角測量型レイアウト点を伴う例となるレイアウトマップの概略図である。FIG. 7 is a schematic diagram of an exemplary layout map with triangulation-type layout points. 図19Aに示されるレイアウトマップに対応する例となるロボットマップの概略図である。FIG. 19B is a schematic view of an example robot map corresponding to the layout map shown in FIG. 19A. レイアウトマップおよびロボットマップを使用して、目標ロボットマップ位置を判定するための動作の例となる配設を提供する。The layout map and the robot map are used to provide an example arrangement of operations for determining a target robot map position. 緊密なレイアウト点の重心を伴う例となるレイアウトマップの概略図である。FIG. 5 is a schematic diagram of an example layout map with a tight layout point centroid. 図20Aに示されるレイアウトマップに対応する例となるロボットマップの概略図である。FIG. 20B is a schematic view of an example robot map corresponding to the layout map shown in FIG. 20A. レイアウトマップおよびロボットマップを使用して、目標ロボットマップ位置を判定するための動作の例となる配設を提供する。The layout map and the robot map are used to provide an example arrangement of operations for determining a target robot map position. 可動式ヒューマンインターフェースロボットの静止している間の局所知覚空間の例となる概略図を提供する。FIG. 6 provides an exemplary schematic of a local perceptual space while the mobile human interface robot is stationary. 可動式ヒューマンインターフェースロボットの移動している間の局所知覚空間の例となる概略図を提供する。FIG. 7 provides an exemplary schematic view of a local perceptual space during movement of a mobile human interface robot. 可動式ヒューマンインターフェースロボットの静止している間の局所知覚空間のとなる概略図を提供する。FIG. 2 provides a schematic representation of the local perceptual space while the mobile human interface robot is stationary. 可動式ヒューマンインターフェースロボットの移動している間の局所知覚空間の例となる概略図を提供する。FIG. 7 provides an exemplary schematic view of a local perceptual space during movement of a mobile human interface robot. 角の周囲で接近して移動する、対応するセンサ視界を伴う可動式ヒューマンインターフェースロボットの例となる概略図を提供する。An example schematic view of a mobile human interface robot with a corresponding sensor field of view moving closely around a corner is provided. 角の周囲で幅広く移動する、対応するセンサ視界を伴う可動式ヒューマンインターフェースロボットの例となる概略図を提供する。FIG. 7 provides an example schematic view of a mobile human interface robot with a corresponding sensor view that travels widely around a corner.

様々な図面中の同様の参照記号は、同様の要素を指す。   Like reference symbols in the various drawings indicate like elements.

可動式ロボットは、人と対話またはやりとりして、在宅支援から商業支援、およびその他に及ぶ多数のサービスを提供することができる。在宅支援の例では、可動式ロボットは、投薬計画の維持、移動支援、通信支援(例えば、テレビ会議、電話通信、インターネットアクセス等)、住居もしくは現場監視(屋内および/または屋外)、人監視、および/または個人用緊急対応システム(PERS)の提供を含むが、これらに限定されない、高齢者の日常生活を支援することができる。商業支援では、可動式ロボットは、テレビ会議(例えば、病院状況における)、売り場専用端末、対話型情報/マーケティング端末等を提供することができる。   Mobile robots can interact or interact with people to provide numerous services ranging from home support to commercial support and others. In the case of home support, the mobile robot may maintain a dosing plan, move support, communication support (e.g. teleconferencing, telephone communication, internet access etc), residence or site monitoring (indoor and / or outdoors), person monitoring, And / or support the daily life of the elderly, including but not limited to the provision of a personal emergency response system (PERS). In commercial support, the mobile robot can provide video conferencing (eg, in a hospital setting), a point of sale terminal, interactive information / marketing terminal, and the like.

図1〜図2を参照すると、いくつかの実現形態では、可動式ロボット100は、順駆動方向Fを画定するロボット本体110(またはシャーシ)を含む。また、ロボット100は、それぞれがロボット本体110によって支持され、かつロボット100の動作および移動を協調させるコントローラ500と通信している、駆動システム200と、インターフェースモジュール300と、センサシステム400とも含む。電源105(例えば、バッテリ(単数または複数))は、ロボット本体110によって運搬され、これらの構成要素のそれぞれと電気通信し、必要に応じてそれらに電力を送達することができる。例えば、コントローラ500は、1000MIPS(100万命令/秒)超の能力があるコンピュータを含み得、電源1058は、3時間より長くコンピュータに電力を供給するのに十分なバッテリを提供する。   Referring to FIGS. 1-2, in some implementations, mobile robot 100 includes a robot body 110 (or chassis) that defines a forward drive direction F. The robot 100 also includes a drive system 200, an interface module 300, and a sensor system 400, each supported by the robot body 110 and in communication with a controller 500 that coordinates the movement and movement of the robot 100. A power source 105 (eg, battery (s)) may be carried by the robot body 110, in electrical communication with each of these components, and deliver power thereto as needed. For example, controller 500 may include a computer capable of greater than 1000 MIPS (one million instructions per second), and power supply 1058 provides a sufficient battery to power the computer for more than three hours.

示される実施例では、ロボット本体110は、基部120と、基部120から上向きに延在する少なくとも1つの脚部130と、少なくとも1つの脚部130によって支持される胴部140とを含む。基部120は、駆動システム200の少なくとも部分を支持してもよい。また、ロボット本体110は、胴部140によって支持される首部150も含む。首部150は頭部160を支持し、頭部160はインターフェースモジュール300の少なくとも一部分を支持する。基部120は、機械的安定性を維持するために、基部120の低重心CGBおよびロボット100の低全体重心CGRを維持するのに十分な重りを含む(例えば、電源105(バッテリ)を支持することによって)。 In the illustrated embodiment, the robot body 110 includes a base 120, at least one leg 130 extending upwardly from the base 120, and a torso 140 supported by the at least one leg 130. Base 120 may support at least a portion of drive system 200. Robot body 110 also includes a neck 150 supported by torso 140. The neck 150 supports the head 160, and the head 160 supports at least a portion of the interface module 300. The base 120 is supported to maintain the mechanical stability, comprising a sufficient weight to maintain a low overall center of gravity CG R of low center of gravity CG B and robot 100 of the base 120 (e.g., power supply 105 (the battery) By).

図3および図4A〜図4Cを参照すると、いくつかの実現形態では、基部120は、三角対称形状(例えば、上面図で三角形状)を画定する。例えば、基部120は、三角形状の基部120(例えば、図4A参照)の各脚部に対応する第1、第2、および第3の基部本体部分124a、124b、124cを有する基部本体124を支持する、基部シャーシ122を含んでもよい。各基部本体部分124a、124b、124cは、物体と接触するのに応えて、基部シャーシ122に対して独立して移動することができるように、基部シャーシ122によって移動可能に支持することができる。基部120の三角対称形状は、ロボット100の周囲360°のぶつかり検出を可能にする。各基部本体部分124a、124b、124cは、基部シャーシ122に対する対応する基部本体部分124a、124b、124cの移動を検出する、関連接触センサ(例えば、容量センサ、リードスイッチ等)を有することができる。   With reference to FIGS. 3 and 4A-4C, in some implementations, the base 120 defines a trigonally symmetrical shape (e.g., a triangular shape in top view). For example, the base 120 supports a base body 124 having first, second and third base body portions 124a, 124b, 124c corresponding to each leg of a triangular base 120 (see, for example, FIG. 4A) The base chassis 122 may be included. Each base body portion 124a, 124b, 124c can be movably supported by the base chassis 122 such that it can move independently relative to the base chassis 122 in response to contacting an object. The triangular symmetry shape of the base 120 enables collision detection of 360 degrees around the robot 100. Each base body portion 124a, 124b, 124c can have an associated contact sensor (eg, a capacitive sensor, reed switch, etc.) that detects movement of the corresponding base body portion 124a, 124b, 124c relative to the base chassis 122.

いくつかの実現形態では、駆動システム200は、ロボット100の全方向性および/またはホロノミック運動制御を提供する。本明細書で使用される場合、「全方向性」という用語は、実質的に任意の平面方向に移動する能力、すなわち、左右(横方向)、前/後、および回転移動する能力を指す。これらの方向は、本明細書では、概して、それぞれx、y、およびθzとして参照される。さらに、「ホロノミック」という用語は、文献における用語の使用と実質的に一致し、3つの平面自由度を伴う、平面方向に移動する能力、すなわち、2つの平行移動および1つの回転を指す。したがって、ホロノミックロボットは、3つの平面速度(前/後、横方向、および回転)の実質的に任意の比率で構成される速度で平面方向に移動する能力、ならびに3つの比率を実質的に継続的に変化させる能力を有する。     In some implementations, drive system 200 provides omnidirectional and / or holonomic motion control of robot 100. As used herein, the term "omnidirectional" refers to the ability to move in virtually any planar direction, ie, the ability to move laterally (laterally), forward / backward, and rotationally. These directions are generally referred to herein as x, y, and θz, respectively. Furthermore, the term "holonomic" substantially corresponds to the use of the term in the literature and refers to the ability to move in a planar direction with three planar degrees of freedom, ie two translations and one rotation. Thus, the holonomic robot continues the ability to move in the planar direction at a velocity comprised of substantially any ratio of three planar velocities (front / rear, lateral, and rotational), as well as substantially three ratios. Have the ability to change

ロボット100は、車輪可動性を使用して、人間環境(例えば、典型的に二足歩行の歩行居住者向けに設計された環境)内で動作することができる。いくつかの実現形態では、駆動システム200は、垂直軸Zを中心に均等に離間した(例えば、120度離れている)第1、第2、および第3の駆動車輪210a、210b、210c(すなわち、三角対称)を含むが、しかしながら、他の配設も同様に可能である。図5Aおよび図5Bを参照すると、駆動車輪210a、210b、210cは、ホロノミック駆動システム200の機動性を助長し得る、横方向に弓状の転がり表面(すなわち、転がり方向DRを横断する、またはそれに対して直角な方向に湾曲した輪郭)を画定してもよい。各駆動車輪210a、210b、210cは、駆動車輪210a、210b、210cを他の駆動モータ220a、220b、220cから独立して順および/または逆方向に駆動することができる、それぞれの駆動モータ220a、220b、220cに連結される。各駆動モータ220a〜cは、コントローラ500に車輪回転フィードバックを提供する、それぞれのエンコーダ212(図8C)を有することができる。いくつかの実施例では、各駆動車輪210a、210b、210cは、正三角形の3つの点のうちの1つ上またはその付近に搭載され、それぞれの三角形端部の角の二等分線に対して直角な駆動方向(順および逆方向)を有する。順駆動方向Fを伴う三角対称ホロノミック基部120の駆動は、閉じ込めまたは散乱物から自律的に脱出し、脱出が解決された後に順駆動方向Fに沿って駆動するように次いで回転および/または平行移動するために、ロボット100が非順駆動方向に移行することを可能にする。 The robot 100 can operate within a human environment (e.g., an environment typically designed for a bipedal walking resident) using wheel mobility. In some implementations, drive system 200 includes first, second, and third drive wheels 210a, 210b, 210c (i.e., spaced 120 degrees apart) evenly spaced about vertical axis Z (i.e., (Triangular symmetry), however, other arrangements are possible as well. Referring to FIGS. 5A and 5B, drive wheels 210a, 210b, 210c can facilitate the maneuverability of holonomic drive system 200, laterally arched rolling surfaces (ie, across rolling direction D R , or It is also possible to define a contour (curved in a direction perpendicular to it). Each drive wheel 210a, 210b, 210c can drive the drive wheel 210a, 210b, 210c in a forward and / or reverse direction independently of the other drive motors 220a, 220b, 220c, respectively, drive motor 220a, 220b and 220c. Each drive motor 220a-c can have a respective encoder 212 (FIG. 8C) that provides controller 500 with wheel rotation feedback. In some embodiments, each drive wheel 210a, 210b, 210c is mounted on or near one of the three points of the equilateral triangle, relative to the bisector of the corner of the respective triangle end Drive directions (forward and reverse). The drive of the trigonal symmetrical holonomic base 120 with forward drive direction F autonomously escapes from confinement or scatter and then rotates and / or translates to drive along forward drive direction F after escape is resolved Enables the robot 100 to move in the non-forward drive direction.

図5Cおよび5Dを参照すると、いくつかの実現形態では、各駆動車輪210は、それぞれ、駆動車輪210の回転方向DRと垂直な回転方向Drを有する、ローラ230の内側および外側列232、234を含む。ローラ230の列232、234は、(例えば、内側列232の1つのローラ230が外側列234の2つの隣接ローラ230の間で同等に位置付けられるように)交互にすることができる。ローラ230は、駆動車輪210の駆動方向と垂直な無限滑動を提供する。ローラ230がともに、駆動車輪210の円形または略円形周囲を画定するように、ローラ230は、それらの回転方向Drと垂直な弓形(例えば、凸状)外面235を画定する。ローラ230の外形は、駆動車輪210の全体的な外形に影響を及ぼす。例えば、ローラ230は、ともに(例えば、静止摩擦のためのトレッドとして)駆動車輪210の波形回転表面を画定する、弓形の外側ローラ表面235を画定してもよい。しかしながら、駆動車輪210の円形の全体的回転表面を画定する輪郭を有するようにローラ230を構成することにより、ロボット100が、車輪のトレッドで垂直に振動する代わりに、平面上で平滑に移動することを可能にする。角度を成して物体に接近するときに、(半径rの)ローラ230の交互列232、234を、駆動車輪210の車輪半径Rと同じくらい高い、またはほぼ同じくらい高い物体を登るために、トレッドとして使用することができる。 Referring to FIG. 5C and 5D, in some implementations, each of the drive wheels 210 each have a rotational direction D R perpendicular rotational direction D r of the drive wheel 210, the inner and outer rows 232 of rollers 230, Including 234. The rows 232, 234 of the rollers 230 can be alternated (e.g., such that one roller 230 of the inner row 232 is equally positioned between two adjacent rollers 230 of the outer row 234). The roller 230 provides infinite sliding perpendicular to the drive direction of the drive wheel 210. The rollers 230 define an arcuate (e.g., convex) outer surface 235 perpendicular to their rotational direction D r such that the rollers 230 together define a circular or nearly circular perimeter of the drive wheel 210. The contour of the roller 230 influences the overall contour of the drive wheel 210. For example, the rollers 230 may define an arcuate outer roller surface 235 that together define the corrugated rotational surface of the drive wheel 210 (eg, as a tread for static friction). However, by configuring the roller 230 to have a contour that defines a circular generally rotating surface of the drive wheel 210, the robot 100 moves smoothly on a plane instead of vibrating vertically at the tread of the wheel Make it possible. In order to climb an object as high, or nearly as high, as the wheel radius R of the drive wheel 210, alternating rows 232, 234 of rollers 230 (of radius r) as it approaches the object at an angle It can be used as a tread.

図3〜図5Bに示される実施例では、第1の駆動車輪210aは、順駆動方向Fに沿った先端駆動車輪として配設され、残りの2つの駆動車輪210b、210cは、後方から追従する。この配設では、前進するために、コントローラ500は、第1の駆動車輪210aを順駆動方向Fに沿って滑らせる一方で、第2および第3の駆動車輪210b、210cを同等の速度で順転方向に駆動させる、駆動コマンドを発行してもよい。さらに、この駆動車輪配設は、ロボット100が急停止する(例えば、順駆動方向Fに対する急激な負の加速を発生させる)ことを可能にする。これは、3車輪設計の自然な動的不安定性によるものである。順駆動方向Fが2つの順駆動車輪の間の角の二等分線に沿ったものである場合、急停止は、ロボット100を転倒させ得るトルクを生じさせ、その2つの「前」車輪の上で枢動させる。代わりに、1つの駆動車輪210aを用いた前方への移動は、急速停止する必要がある場合に、必然的に、ロボット100が前方に倒れることから支持する、またはそれを防止する。しかしながら、停止から加速する際、コントローラ500は、ロボット100のその全体重心CGRからの慣性モーメントIを考慮してもよい。 In the embodiment shown in FIGS. 3 to 5B, the first drive wheel 210a is arranged as a tip drive wheel along the forward drive direction F and the remaining two drive wheels 210b, 210c follow from behind . In this arrangement, to move forward, the controller 500 slides the first drive wheel 210a along the forward drive direction F while advancing the second and third drive wheels 210b, 210c at an equal speed. A drive command may be issued to drive in the rolling direction. Furthermore, this drive wheel arrangement enables the robot 100 to stop suddenly (e.g. generate a sudden negative acceleration in the forward drive direction F). This is due to the natural dynamic instability of the three-wheel design. If the forward drive direction F is along the bisector of the angle between the two forward drive wheels, the sudden stop will produce a torque that can cause the robot 100 to tip over, of the two "front" wheels. Pivot up. Instead, forward movement with one drive wheel 210a necessarily supports or prevents the robot 100 from tipping forward, when it needs to stop quickly. However, when accelerating from a stop, the controller 500, the inertia moment I from the total center of gravity CG R of the robot 100 may be considered.

駆動システム200のいくつかの実現形態では、各駆動車輪210a、210b、210は、ロボット100のXおよびY軸に直交する垂直軸Zと半径方向に整合される転がり方向DRを有する。第1の駆動車輪210aは、順駆動方向Fに沿った先端駆動車輪として配設することができ、残りの2つの駆動車輪210b、210cは、後方に追従する。この配設では、前進させるために、コントローラ500は、第1の駆動車輪210aを順転方向に駆動させ、第2および第3の駆動車輪210b、210cを第1の駆動車輪210aと同等の速度で逆方向に駆動させる、駆動コマンドを発行してもよい。 In some implementations of the drive system 200, each of the drive wheels 210a, 210 b, 210 has a rolling direction D R is aligned to the vertical axis Z and the radial direction perpendicular to the X and Y axes of the robot 100. The first drive wheel 210a can be arranged as a tip drive wheel along the forward drive direction F, and the remaining two drive wheels 210b, 210c follow behind. In this arrangement, to move forward, the controller 500 drives the first drive wheel 210a in the forward direction, and the second and third drive wheels 210b and 210c have the same speed as the first drive wheel 210a. Drive commands may be issued to drive in the reverse direction.

他の実現形態では、駆動システム200は、2つの駆動車輪210a、210bの間の角度の角の二等分線が、ロボット100の順駆動方向Fと整合されるように位置付けられる、第1および第2の駆動車輪210a、210bを有するように配設することができる。この配設では、前進させるために、コントローラ500は、第1および第2の駆動車輪210a、210bを順転方向に同等の速度で駆動させ、一方、第3の駆動車輪210cを逆方向に駆動させる、または空転状態に保ち、第1および第2の駆動車輪210a、210bの後方に引きずられさせる、駆動コマンドを発行してもよい。前進しながら左または右に曲がるために、コントローラ500は、対応する第1または第2の駆動車輪210a、210bを相対的により速い/より遅い速度で駆動させるコマンドを発行してもよい。他の駆動システム200の配設も同様に使用することができる。駆動車輪210a、210b、210cは、円筒形、円形、楕円形、または多角形の輪郭を画定してもよい。   In another implementation, drive system 200 is positioned such that the bisector of the angle of the angle between the two drive wheels 210a, 210b is aligned with the forward drive direction F of robot 100. It can be arranged to have a second drive wheel 210a, 210b. In this arrangement, to move forward, the controller 500 drives the first and second drive wheels 210a, 210b in the forward direction at an equal speed, while driving the third drive wheel 210c in the reverse direction. A drive command may be issued that causes the vehicle to idle or to be kept idle and dragged behind the first and second drive wheels 210a, 210b. In order to turn left or right while advancing, the controller 500 may issue a command to drive the corresponding first or second drive wheel 210a, 210b at a relatively faster / slower speed. Other drive system 200 arrangements can be used as well. The drive wheels 210a, 210b, 210c may define a cylindrical, circular, oval or polygonal contour.

再び図1〜図3を参照すると、基部120は、基部120からZ方向に上向きに延在する、少なくとも1つの脚部130を支持する。脚部(単数または複数)130は、基部120に対して胴部140を上昇および降下させるために、可変高さを有するように構成されてもよい。いくつかの実現形態では、各脚部130は、相互に対して移動する(例えば、入れ子状伸縮、線形、および/または角移動)、第1および第2の脚部分132、134を含む。示される実施例では、第2の脚部分134は、相互の中および外へ、ならびに相対的により大きい基部押出部の外へ入れ子状に伸縮移動する、連続的により小さい直径の押出部を有するというよりはむしろ、第1の脚部分132の上に入れ子状に伸縮移動し、したがって、第2の脚部分134に沿って他の構成要素を定置すること、および潜在的に、第2の脚部分134と共に基部120の相対的近接に移動させることを可能にする。脚部130は、第1の脚部分132に対して第2の脚部分134を移動させるためのアクチュエータアセンブリ136(図8C)を含んでもよい。アクチュエータアセンブリ136は、コントローラ500に位置フィードバックを提供する、リフトモータ138bおよびエンコーダ138cと通信している、モータドライバ138aを含んでもよい。   Referring again to FIGS. 1-3, base 120 supports at least one leg 130 extending upwardly from base 120 in the Z direction. The leg (s) 130 may be configured to have a variable height to raise and lower the torso 140 relative to the base 120. In some implementations, each leg 130 includes first and second leg portions 132, 134 that move relative to one another (eg, telescoping, linear, and / or angular movement). In the illustrated embodiment, the second leg portions 134 have continuously smaller diameter extrusions that telescopically move in and out of each other and out of the relatively larger base extrusions. Rather, telescopically moving over the first leg portion 132 and thus placing other components along the second leg portion 134 and potentially the second leg portion Together with 134, it can be moved to the relative proximity of the base 120. The leg 130 may include an actuator assembly 136 (FIG. 8C) for moving the second leg portion 134 relative to the first leg portion 132. The actuator assembly 136 may include a motor driver 138a in communication with the lift motor 138b and the encoder 138c to provide position feedback to the controller 500.

一般的に、入れ子状伸縮配設は、脚部130全体の重心CGLを可能な限り低く保つために、基部120に、相対的により大きい押出部の外へ上に入れ子状に伸縮移動する、連続的により小さい直径の押出部を含む。さらに、脚部130が完全に延在される際に基部120が受ける、より大きいトルクに対処するために、より頑丈な、および/またはより大きい構成要素を底部に定置することができる。しかしながら、この手法は、2つの問題を提示する。第一に、相対的により小さい構成要素が脚部130の上部に定置される際、いずれの雨、粉塵、または他の微粒子も、押出部を流れる、または転がり落ちる傾向があり、押出部の間の空間に入り込み、したがって押出部の入れ子を詰まらせる。これは、依然として脚部130の完全な可動性/関節運動を維持することを試みる一方での、非常に困難な封止問題をもたらす。第二に、ロボット100上に搭載物またはアクセサリを搭載することが望まれる場合がある。アクセサリを搭載する1つの一般的な場所は、胴部140の上部である。第2の脚部分134が第1の脚部分の外に入れ子状に伸縮移動する場合、アクセサリおよび構成要素は、それらが胴部140と共に移動する必要がある場合、第2の脚部分134全体の上方にしか搭載することができない。そうでなければ、第2の脚部分134上に搭載されるいずれの構成要素も、脚部130の入れ子状伸縮移動を制限することとなる。 Generally, nested telescopic arranged in order to keep as low as possible the center of gravity CG L of the entire leg 130, the base 120, expands and contracts moved telescopically upward out of the relatively larger extrusion unit, Includes continuously smaller diameter extrusions. In addition, more robust and / or larger components can be placed at the bottom to account for the greater torque that the base 120 receives when the legs 130 are fully extended. However, this approach presents two problems. First, when relatively smaller components are placed on top of the legs 130, any rain, dust, or other particulates tend to flow or roll down the extrusion, and between the extrusions. Into the void space, thus plugging the extrusions. This results in a very difficult sealing problem while still trying to maintain full mobility / articulation of the leg 130. Second, it may be desirable to mount a load or accessory on the robot 100. One common place for mounting accessories is at the top of the torso 140. If the second leg portion 134 is telescoping out of the first leg portion, the accessories and components may be extended to the entire second leg portion 134 if they need to move with the barrel 140. It can only be mounted above. Otherwise, any component mounted on the second leg portion 134 will limit the telescoping movement of the leg 130.

第2の脚部分134を第1の脚部分132上で入れ子状に伸縮移動させることによって、第2の脚部分134は、基部120に対して垂直に移動することができる、追加の搭載物取り付け点を提供する。このタイプの配設は、水または浮遊微粒子が、脚部分132と脚部分134との間の空間に入ることなく、胴部140のそれぞれの脚部分132、134(例えば、押出部)の外側上を流れ落ちるようにする。これは、脚部130のいずれの接合部も封止することを大いに簡単にする。さらに、胴部140および/または第2の脚部分134の搭載物/アクセサリ搭載特徴は、脚部130がどれくらい延在されているかに関わらず、常に露出され、利用可能である。   By telescopically moving the second leg portion 134 on the first leg portion 132, the second leg portion 134 can be moved vertically relative to the base 120, an additional load attachment Provide points. This type of arrangement is such that water or airborne particulates do not enter the space between the leg portion 132 and the leg portion 134, and the outer side of each leg portion 132, 134 (e.g., an extruded portion) of the torso portion 140. Let it flow down. This makes it much easier to seal any joints of the legs 130. Furthermore, the load / accessory mounting features of the torso 140 and / or the second leg portion 134 are always exposed and available regardless of how far the leg 130 is extended.

図3および図6Aを参照すると、脚部(単数または複数)130は、基部120の上および上方に延在する、段部142を有してもよい、胴部140を支持する。示される実施例では、胴部140は、段部142の少なくとも一部を形成する、下を向く表面または底面144(例えば、基部を向く)と、反対の上を向く表面または上面146とを有し、その間に延在する側面148を伴う。胴部140は、脚部(単数または複数)130によって支持される中心部分141と、脚部(単数または複数)130の範囲を横方向に越えて横方向に延在する周辺遊離部分143とを有する、円形状もしくは楕円形状等の様々な形状または幾何学的形状を画定してもよく、このようにして、下を向く表面144を画定する張り出し部分を提供する。いくつかの実施例では、胴部140は、基部120上に脚部(単数または複数)130を越えて延在する張り出し部分を提供する、段部を画定する、多角形または他の複雑な形状を画定する。   Referring to FIGS. 3 and 6A, the leg (s) 130 support the torso 140, which may have a shoulder 142 extending above and above the base 120. In the illustrated embodiment, the barrel 140 has a downward facing surface or bottom surface 144 (e.g., toward the base) and an opposite upward facing surface or top surface 146 that form at least a portion of the shoulder 142. With a side 148 extending therebetween. The body 140 comprises a central portion 141 supported by the leg (s) 130 and a peripheral free portion 143 extending laterally beyond the extent of the leg (s) 130. It may define various shapes or geometric shapes, such as circular or oval shapes, thus providing an overhanging portion defining the downwardly facing surface 144. In some embodiments, the torso 140 defines a step that provides a flared portion that extends beyond the leg (s) 130 on the base 120, such as a polygon or other complex shape Define

ロボット100は、搭載物を受容するために、1つ以上のアクセサリポート170(例えば、機械的および/または電気的相互接続点)を含んでもよい。アクセサリポート170は、受容される搭載物が、センサシステム400のセンサ(例えば、胴部140の底面144および/または上面146上等の)を塞がない、または遮らないように、位置することができる。いくつかの実現形態では、図6Aに示されるように、胴部140は、例えば、バスケット360内に搭載物を受容して、胴部140の前方部分147またはロボット本体110の他の部分上のセンサを遮らないように、胴部140の後方部分149上に、1つ以上のアクセサリポート170を含む。   The robot 100 may include one or more accessory ports 170 (eg, mechanical and / or electrical interconnection points) to receive the load. The accessory port 170 may be positioned such that the received load does not block or obstruct the sensor of the sensor system 400 (eg, such as on the bottom 144 and / or the top 146 of the barrel 140). it can. In some implementations, as shown in FIG. 6A, the torso 140 may, for example, receive a load within the basket 360 and may be on the front portion 147 of the torso 140 or other portions of the robot body 110. One or more accessory ports 170 are included on the rear portion 149 of the barrel 140 so as not to obstruct the sensor.

胴部140の外面は、ユーザからタッチコマンドを受けとるように、ユーザによる接触またはタッチに敏感であってもよい。例えば、ユーザが胴部140の頂面146に触れるときに、ロボット100は、床に対して胴部の高さHTを下げることによって(例えば、胴部140を支持する脚部130の高さHLを減少させることによって)応答する。同様に、ユーザが胴部140の底部表面144に触れるときに、ロボット100は、床に対して胴部140を上昇させることによって(例えば、胴部140を支持する脚部130の高さHLを増加させることによって)応答する。さらに、胴部140の側面148の前方、後方、右、または左部分上でユーザタッチを受けとると、ロボット100は、受けとったタッチコマンドの対応する方向(例えば、それぞれ、後方、前方、左、および右)に移動することによって応答する。胴部140の外面は、ユーザ接触を検出する、コントローラ500と通信している容量センサを含んでもよい。 The outer surface of the torso 140 may be sensitive to touch or touch by the user to receive touch commands from the user. For example, when the user touches the top surface 146 of the body 140, the robot 100, by lowering the height H T of the body portion relative to the floor (e.g., the height of the leg portion 130 supporting the torso 140 Respond by decreasing H L ). Similarly, when the user touches the bottom surface 144 of the torso 140, the robot 100 raises the torso 140 relative to the floor (eg, the height H L of the legs 130 supporting the torso 140) Respond by increasing Further, upon receiving a user touch on the front, back, right, or left portions of the side surface 148 of the torso 140, the robot 100 receives the corresponding direction of the received touch command (eg, back, front, left, and Respond by moving to the right). The outer surface of the torso 140 may include a capacitive sensor in communication with the controller 500 to detect user touch.

図6Bおよび6Cを参照すると、いくつかの実現形態では、胴部140は、上部パネル145t、底部パネル145b、前面パネル145f、裏面パネル145b、右パネル145r、および左パネル145lを有する、胴部本体145を含む。各パネル145t、145b、145f、145r、145r、145lは、他のパネルに対して独立して移動してもよい。さらに、各パネル145t、145b、145f、145r、145r、145lは、運動、および/またはそれぞれのパネルとの接触を検出する、コントローラ500と通信している関連運動および/または接触センサ147t、147b、147f、147r、147r、147lを有してもよい。   Referring to FIGS. 6B and 6C, in some implementations, the torso body 140 has an upper panel 145t, a bottom panel 145b, a front panel 145f, a back panel 145b, a right panel 145r, and a left panel 145l. Including 145. Each panel 145t, 145b, 145f, 145r, 145r, 145l may move independently with respect to the other panels. Further, each panel 145t, 145b, 145f, 145r, 145r, 145l is associated with an associated movement and / or contact sensor 147t, 147b, in communication with the controller 500, which detects movement and / or contact with the respective panel. It may have 147f, 147r, 147r, 147l.

再び図1〜図3、および図7を参照すると、胴部140は、胴部140に対する頭部160の回動および傾斜を提供する、首部150を支持する。示される実施例では、首部150は、回転部152と、傾斜部154とを含む。回転部152は、約90°〜約360°の、ある範囲の角移動θR(例えば、Z軸を中心とした)を提供してもよい。他の範囲も同様に可能である。さらに、いくつかの実施例では、回転部152は、頭部160とロボット100の残りの部分との間の電気的通信を維持した状態で、無限回数の回転の、胴部140に対する頭部150の連続する360°の回転を可能にする、電気的コネクタまたは接触を含む。傾斜部154は、頭部160とロボット100の残りの部分との間の電気的通信を維持した状態で、胴部140に対する頭部160の回転を可能にする、同一もしくは同様の電気的コネクタまたは接触を含んでもよい。回転部152は、リング153(例えば、歯状リングラック)に連結される、またはそれと嵌合する、回転部モータ152mを含んでもよい。傾斜部154は、回転部152から独立して、頭部を胴部140に対して角度θTに移動させてもよい(例えば、Y軸を中心に)。いくつかの実施例では、傾斜部154は、頭部160をZ軸に対して±90°の角度θTに移動させる、傾斜部モータ155を含む。±45°等の他の範囲も同様に可能である。ロボット100は、脚部(単数または複数)130、胴部140、首部150、および頭部160が、ロボット100の安定した可動性を維持するために、基部120の周辺内に留まるように構成されてもよい。図8Fに示される例となる回路図では、首部150は、回転部152および傾斜部154を、対応するモータドライバ156a、156b、およびエンコーダ158a、158bと共に含む、回動−傾斜アセンブリ151を含む。 Referring again to FIGS. 1-3 and 7, the torso 140 supports a neck 150 that provides for pivoting and tilting of the head 160 relative to the torso 140. In the illustrated embodiment, the neck 150 includes a pivot 152 and a ramp 154. The rotating portion 152 may provide a range of angular movement θ R (eg, centered on the Z-axis) of about 90 ° to about 360 °. Other ranges are possible as well. Further, in some embodiments, the rotating portion 152 maintains the electrical communication between the head 160 and the remainder of the robot 100, and the head 150 relative to the barrel 140 for an infinite number of rotations. Includes electrical connectors or contacts that allow for a continuous 360 ° rotation of the Inclined portion 154 is the same or similar electrical connector or allowing electrical rotation of head 160 relative to barrel 140 while maintaining electrical communication between head 160 and the remainder of robot 100. It may include contact. The rotating portion 152 may include a rotating portion motor 152m coupled to or mated to a ring 153 (eg, a toothed ring rack). The inclined portion 154 may move the head at an angle θ T with respect to the trunk portion 140 independently of the rotating portion 152 (for example, around the Y axis). In some embodiments, the ramp 154 includes a ramp motor 155 that moves the head 160 at an angle θ T of ± 90 ° with respect to the Z-axis. Other ranges, such as ± 45 °, are likewise possible. The robot 100 is configured such that the leg (s) 130, the torso 140, the neck 150, and the head 160 remain within the perimeter of the base 120 to maintain stable movement of the robot 100. May be In the exemplary circuit diagram shown in FIG. 8F, the neck 150 includes a pivot and tilt assembly 151 that includes a pivot 152 and a ramp 154 along with corresponding motor drivers 156a, 156b and encoders 158a, 158b.

頭部160は、ユーザからタッチコマンドを受けとるように、ユーザによる接触またはタッチに敏感であってもよい。例えば、ユーザが頭部160を前方に引くときに、頭部160は、受動抵抗を伴って前方に傾斜し、次いで、位置を保持する。さらに、ユーザが頭部160を垂直に下方へ押した/引いた場合、胴部140が、頭部160を下げるように(脚部130の長さの縮小を介して)下がってもよい。頭部160および/または首部150は、ユーザ接触または操作を感知する、ひずみゲージおよび/または接触センサ165(図7)を含んでもよい。   The head 160 may be sensitive to touch or touch by the user to receive touch commands from the user. For example, when the user pulls the head 160 forward, the head 160 tilts forward with passive resistance and then holds position. In addition, if the user has pushed / pulled the head 160 vertically downward, the torso 140 may be lowered to lower the head 160 (via a reduction in the length of the leg 130). The head 160 and / or the neck 150 may include strain gauges and / or contact sensors 165 (FIG. 7) that sense user touch or manipulation.

図8A〜図8Gは、ロボット100の例となる回路図を提供する。図8A〜図8Cは、ソナー近接センサ410および段差近接センサ420等の近接センサと、接触センサ430と、レーザスキャナ440と、ソナースキャナ460と、駆動システム200とを収容してもよい、基部120の例となる回路図を提供する。また、基部120は、コントローラ500と、電源105と、脚部アクチュエータアセンブリ136とも収容してもよい。胴部140は、マイクロコントローラ140cと、マイクロフォン(単数または複数)330と、スピーカ(単数または複数)340と、走査3−D画像センサ450aと、コントローラ500がユーザの接触またはタッチを受けとり、それに応答する(例えば、胴部140を基部120に対して移動させる、首部150を回動および/もしくは傾斜させる、ならびに/またはこれらに応えて駆動システム200にコマンドを発行することによって)ことを可能にする、胴部タッチセンサシステム480とを収容してもよい。首部150は、対応するモータドライバ156aおよびエンコーダ158aを有する回動モータ152と、対応するモータドライバ156bおよびエンコーダ158bを有する傾斜モータ154とを含んでもよい、回動−傾斜アセンブリ151を収容してもよい。頭部160は、1つ以上のウェブパッド310と、カメラ320とを収容してもよい。   8A-8G provide exemplary circuit diagrams of the robot 100. FIG. 8A-8C may include a proximity sensor such as sonar proximity sensor 410 and step proximity sensor 420, contact sensor 430, laser scanner 440, sonar scanner 460, and drive system 200, base 120. Provides an example circuit diagram of The base 120 may also house the controller 500, the power supply 105, and the leg actuator assembly 136. The body 140 receives and responds to the user's touch or touch by the microcontroller 140c, the microphone (s) 330, the speaker (s) 340, the scanning 3-D image sensor 450a, and the controller 500. (Eg, by moving the barrel 140 relative to the base 120, pivoting and / or tilting the neck 150, and / or issuing commands to the drive system 200 in response thereto) , And the body touch sensor system 480. The neck 150 may also include a pivot-tilt assembly 151, which may include a pivot motor 152 with a corresponding motor driver 156a and encoder 158a and a tilt motor 154 with a corresponding motor driver 156b and encoder 158b. Good. The head 160 may house one or more web pads 310 and a camera 320.

図1〜3および9を参照すると、いくつかの実現形態では、頭部160は、インターフェースモジュール300の1つ以上の部分を支持する。頭部160は、それぞれタッチスクリーン312を持ち得る、ウェブパッドまたはタブレットPCとも呼ばれる、1つ以上のコンピューティングタブレット310を解放可能に受容するためのドック302を含んでもよい。ウェブパッド310は、前方、後方、または上方に配向されてもよい。いくつかの実現形態では、ウェブパッド310は、タッチスクリーン、随意の入出力(例えば、ボタンおよび/またはマイクロUSB等のコネクタ)、プロセッサ、およびプロセッサと通信しているメモリを含む。例となるウェブパッド310は、Apple, Inc.によるiPadを含む。いくつかの実施例では、ウェブパッドおよび10は、コントローラ500として機能するか、またはコントローラ500およびロボット100の制御を支援する。いくつかの実施例では、ドック302は、それに固定して取り付けられた第1のコンピューティングタブレット310a(例えば、ギガバイト速度等の比較的高い帯域幅でのデータ転送用の有線インターフェース)と、それに取り外し可能に取り付けられた第2のコンピューティングタブレット310bとを含む。第2のウェブパッド310bは、図9に示されるように、第1のウェブパッド310aを覆って受容されてもよく、または第2のウェブパッド310bは、第1のウェブパッド310aに対して頭部160の対向側または反対側で受容されてもよい。さらなる実施例では、頭部160は、それに固定されるか、または取り外し可能に取り付けられるかのいずれかであり得る、単一のウェブパッド310を支持する。タッチスクリーン312は、ユーザ入力を受けとり、タッチ対話型であるグラフィカルユーザインターフェースを提供するために、その上のユーザタッチの点を検出、監視、および/または再現してもよい。いくつかの実施例では、ウェブパッド310は、ロボット100から除去されたときをユーザが知ることを可能にする、タッチスクリーン呼び出しを含む。   Referring to FIGS. 1-3 and 9, in some implementations, the head 160 supports one or more portions of the interface module 300. The head 160 may include a dock 302 for releasably receiving one or more computing tablets 310, also called web pads or tablet PCs, which may each have a touch screen 312. Web pad 310 may be oriented forward, backward, or upward. In some implementations, the web pad 310 includes a touch screen, an optional input / output (eg, a button and / or a connector such as micro USB), a processor, and memory in communication with the processor. An exemplary web pad 310 is available from Apple, Inc. Includes iPad by. In some embodiments, the web pad and 10 function as controller 500 or assist in controlling controller 500 and robot 100. In some embodiments, the dock 302 may be detached from and attached to the first computing tablet 310a fixedly attached thereto (eg, a wired interface for data transfer at relatively high bandwidth such as gigabyte speeds) And a second computing tablet 310b possibly attached. The second web pad 310b may be received over the first web pad 310a, as shown in FIG. 9, or the second web pad 310b may be headed against the first web pad 310a. It may be received on the opposite side or the opposite side of the portion 160. In a further embodiment, the head 160 supports a single web pad 310 which may be either fixed thereto or removably attached. Touch screen 312 may receive user input and detect, monitor, and / or reproduce points of user touch thereon to provide a graphical user interface that is touch interactive. In some embodiments, web pad 310 includes a touch screen call that allows the user to know when it is removed from robot 100.

いくつかの実現形態では、ロボット100は、ロボット本体110の1つ以上の部分の上に複数のウェブパッドドック302を含む。図9に示される実施例では、ロボット100は、随意に、脚部130および/または胴部140上に配置される、ウェブパッドドック302を含む。これは、例えば、異なる身長のユーザに適応する、異なる視点でウェブパッド310のカメラを使用してビデオを捕捉する、および/またはロボット100上で複数のウェブパッド310を受容するように、ユーザが、ロボット100上の異なる高さでウェブパッド310をドッキングすることを可能にする。   In some implementations, the robot 100 includes a plurality of web pad docks 302 on one or more portions of the robot body 110. In the embodiment shown in FIG. 9, the robot 100 optionally includes a web pad dock 302 disposed on the legs 130 and / or the torso 140. This may, for example, adapt to users of different heights, capture a video using cameras of web pad 310 at different viewpoints, and / or receive a plurality of web pads 310 on robot 100. , Allow the web pad 310 to be docked at different heights on the robot 100.

インターフェースモジュール300は、(例えば、テレビ会議のために)頭部160の高い視点からビデオを捕捉するために使用することができる、頭部160上に配置されたカメラ320を含んでもよい(例えば、図2参照)。図3に示される実施例では、カメラ320は、首部150上に配置される。いくつかの実施例では、カメラ320は、ウェブパッド310、310aが頭部160から着脱された、またはドックから出されたときのみ動作させられる。ウェブパッド310、310aがドック302の中で(および随意にカメラ320を覆って)頭部160上に取り付けられた、またはドッキングされたときに、ロボット100は、ビデオを捕捉するためにウェブパッド310aのカメラを使用してもよい。そのような場合において、カメラ320は、ドッキングされたウェブパッド310の後ろに配置されてもよく、ウェブパッド310が頭部160から着脱された、またはドックから出されたときにアクティブ状態になり、ウェブパッド310が頭部160上に取り付けられた、またはドッキングされたときに非アクティブ状態になる。   The interface module 300 may include a camera 320 disposed on the head 160 that can be used to capture video from a high viewpoint of the head 160 (eg, for video conferencing) (eg, See Figure 2). In the embodiment shown in FIG. 3, the camera 320 is located on the neck 150. In some embodiments, the camera 320 is activated only when the web pad 310, 310a is removed from the head 160 or removed from the dock. When web pad 310, 310a is mounted or docked on head 160 in dock 302 (and optionally over camera 320), robot 100 captures web pad 310a to capture video. You may use the camera of. In such a case, the camera 320 may be placed behind the docked web pad 310 and becomes active when the web pad 310 is removed from or docked from the head 160, It becomes inactive when the web pad 310 is mounted or docked on the head 160.

ロボット100は、インターフェースモジュール300を通して(例えば、24fpsで)(例えば、ウェブパッド310、カメラ320、マイクロフォン320、および/またはスピーカ340を使用して)テレビ会議を提供することができる。テレビ会議は、多人数であり得る。ロボット100は、ユーザに対面するように頭部160を機動させることによって、テレビ会議の両当事者の間でアイコンタクトを提供することができる。また、ロボット100は、5度未満の凝視角(例えば、頭部160の前方面に垂直な軸から離れた角度)を有することができる。ロボット100上の少なくとも1つの3−D画像センサ450および/またはカメラ320は、ボディランゲージ等の実物大画像を捕捉することができる。コントローラ500は、(例えば、50ms未満の差で)オーディオおよびビデオを同期させることができる。   The robot 100 can provide video conferencing (e.g., at 24 fps) through the interface module 300 (e.g., using the web pad 310, the camera 320, the microphone 320, and / or the speaker 340). Video conferencing may be multi-person. The robot 100 can provide eye contact between both parties of the video conference by maneuvering the head 160 to face the user. Also, the robot 100 can have a gaze angle of less than 5 degrees (e.g., an angle away from an axis perpendicular to the anterior surface of the head 160). The at least one 3-D image sensor 450 and / or the camera 320 on the robot 100 can capture a full-size image, such as body language. Controller 500 may synchronize audio and video (e.g., by less than 50 ms).

図10A〜10Eに示される実施例では、ロボット100は、(胴部140を上昇または下降させることにより)頭部160および/またはカメラ320上のウェブパッド310の高さを調整すること、および/または頭部160を回動および/または傾斜することによって、立っている、または座っている人にテレビ会議を提供することができる。カメラ320は、ウェブパッド310とは独立して、少なくとも1つの自由度内で移動可能であり得る。いくつかの実施例では、カメラ320は、地面から3フィート(約91cm)超であるが、ウェブパッド310の表示領域の上端から、ウェブパッドの高さの10パーセントを超えずに位置付けられた、対物レンズを有する。さらに、ロボット100は、ロボット100の周囲の近接写真またはビデオを取得するようにカメラ320をズームすることができる。頭部160は、テレビ会議を表示するウェブパッド310の付近で頭部160から音を発するよう、1つ以上のスピーカ340を含んでもよい。   In the embodiment shown in FIGS. 10A-10E, the robot 100 adjusts the height of the web pad 310 above the head 160 and / or the camera 320 (by raising or lowering the torso 140); Alternatively, by turning and / or tilting the head 160, a teleconference can be provided to a standing or sitting person. Camera 320 may be movable within at least one degree of freedom independent of web pad 310. In some embodiments, the camera 320 is positioned more than 3 feet above ground but not more than 10 percent of the height of the web pad from the top edge of the display area of the web pad 310. It has an objective lens. Additionally, the robot 100 can zoom the camera 320 to capture close-up pictures or videos of the robot 100's surroundings. The head 160 may include one or more speakers 340 to emit sound from the head 160 in the vicinity of the web pad 310 displaying a video conference.

いくつかの実施例では、ロボット100は、図10Eに示されるように、(例えば、タッチスクリーンを介して)ウェブパッド310の中へユーザ入力を受けとることができる。いくつかの実現形態では、ウェブパッド310は、ディスプレイまたはモニタであるが、他の実現形態では、ウェブパッド310は、タブレットコンピュータである。ウェブパッド310は、高い双方向性を提供する、タッチスクリーン等の容易かつ直観的な制御を有することができる。ウェブパッド310は、少なくとも1つの自由度で移動可能な150平方インチ(約968平方cm)以上の表示領域を有する、モニタディスプレイ312(例えば、タッチスクリーン)を有してもよい。   In some embodiments, the robot 100 can receive user input into the web pad 310 (eg, via a touch screen), as shown in FIG. 10E. In some implementations, the web pad 310 is a display or monitor, but in other implementations the web pad 310 is a tablet computer. The web pad 310 can have easy and intuitive control, such as a touch screen, providing high interactivity. The web pad 310 may have a monitor display 312 (eg, a touch screen) having a display area of 150 square inches (about 968 square centimeters) or more movable in at least one degree of freedom.

ロボット100は、いくつかの実施例では、医師と患者および/または他の医師または看護師との間でテレビ会議を提供することによって、EMR統合を提供することができる。ロボット100は、通過診察器具を含んでもよい。例えば、ロボット100は、テレビ会議ユーザ(例えば、医師)に聴取を伝えるように構成される、聴診器を含んでもよい。他の実施例では、ロボットは、医療データを遠隔ユーザ(医師)に伝送するように、電子聴診器、耳鏡、および超音波等のクラスII医療デバイスへの直接接続を可能にする、コネクタ170を含む。   The robot 100 can provide EMR integration by providing video conferencing between a physician and a patient and / or other physicians or nurses, in some embodiments. The robot 100 may include a pass-through diagnostic tool. For example, the robot 100 may include a stethoscope that is configured to convey a hearing to a videoconference user (e.g., a physician). In another embodiment, the robot enables direct connection to class II medical devices such as electronic stethoscopes, otoscopes, and ultrasounds to transmit medical data to remote users (doctors). including.

図10Bに示される実施例では、ユーザは、ロボット100の遠隔操作、(例えば、ウェブパッド310のカメラおよびマイクロフォンを使用した)テレビ会議、および/またはウェブパッド310上のソフトウェアアプリケーションの利用のために、頭部160上のウェブパッドドック302からウェブパッド310を取り外してもよい。ロボット100は、ウェブパッド310がウェブパッドドック302から着脱されている間に、テレビ会議、ナビゲーション等のための異なる視点を取得するように、頭部160上に第1および第2のカメラ320a、320bを含んでもよい。   In the example shown in FIG. 10B, the user is for remote control of the robot 100, video conferencing (eg, using the camera and microphone of the web pad 310), and / or the use of software applications on the web pad 310. The web pad 310 may be removed from the web pad dock 302 on the head 160. The robot 100 is configured to receive the first and second cameras 320a on the head 160 to obtain different viewpoints for video conferencing, navigation, etc. while the web pad 310 is being removed from the web pad dock 302. 320b may be included.

コントローラ500上で実行可能である、および/またはコントローラ500と通信している対話型アプリケーションは、ロボット100上で1つよりも多くのディスプレイを必要とし得る。ロボット100と関連する複数のウェブパッド310は、(例えば、内蔵型カメラを有するウェブパッド310用の)「FaceTime」、Telestration、HD外観の異なる組み合わせを提供することができ、ロボット100を遠隔で制御するための遠隔オペレータ制御ユニット(OCU)の役割を果たす、および/またはローカルユーザインターフェースパッドを提供することができる。   Interactive applications that are executable on and / or in communication with controller 500 may require more than one display on robot 100. A plurality of web pads 310 associated with the robot 100 can provide different combinations of “FaceTime”, Telestration, HD appearance (eg, for web pads 310 with a built-in camera) to remotely control the robot 100 Can serve as a remote operator control unit (OCU) and / or provide a local user interface pad.

再び図6Aを参照すると、インターフェースモジュール300は、音声入力を受けとるためのマイクロフォン330(例えば、またはマイクロフォンアレイ)と、音声出力を送達するためのロボット本体110上に配置された1つ以上のスピーカ340とを含んでもよい。マイクロフォン330およびスピーカ340はそれぞれ、コントローラ500と通信してもよい。いくつかの実施例では、インターフェースモジュール300は、パンフレット、緊急情報、家庭用品具、および他のアイテムを保持するように構成され得る、バスケット360を含む。   Referring again to FIG. 6A, the interface module 300 includes a microphone 330 (eg, or a microphone array) for receiving audio input, and one or more speakers 340 disposed on the robot body 110 for delivering audio output. And may be included. Microphone 330 and speaker 340 may each be in communication with controller 500. In some embodiments, interface module 300 includes a basket 360 that may be configured to hold brochures, emergency information, household items, and other items.

図1〜図4C、図11Aおよび図11Bを参照すると、信頼性があり、かつ強固な自律的移動を達成するために、センサシステム400は、ロボット100が、その環境内でとる動作についての知性的決定を行うことを可能にするのに十分なロボットの環境の知覚を生じさせるように、相互と併用して使用することができる、いくつかの異なるタイプのセンサを含んでもよい。センサシステム400は、ロボット本体110によって支持される、障害物検出障害物回避(ODOA)センサ、通信センサ、ナビゲーションセンサ等を含んでもよい、1つ以上のタイプのセンサを含んでもよい。例えば、これらのセンサには、近接センサ、接触センサ、3次元(3D)撮像/深度マップセンサ、カメラ(例えば、可視光および/または赤外線カメラ)、ソナー、レーダ、LIDAR(Light Detection And Ranging、離れた標的の距離および/または他の情報を発見するために、散乱光の特性を計測する、光学遠隔感知を必要とする可能性がある)、LADAR(Laser Detection and Ranging)等が挙げられるが、これらに限定されない。いくつかの実現形態では、センサシステム400は、測距ソナーセンサ410(例えば、基部120の周辺に9つ)と、近接段差検出器420と、接触センサ430と、レーザスキャナ440と、1つ以上の3−D撮像/深度センサ450と、撮像ソナー460とを含む。   Referring to FIGS. 1 to 4C, and FIGS. 11A and 11B, in order to achieve reliable and robust autonomous movement, the sensor system 400 has intelligence on the actions taken by the robot 100 in its environment. It may include several different types of sensors that can be used in conjunction with each other to create a perception of the robot's environment that is sufficient to make it possible to make a strategic decision. Sensor system 400 may include one or more types of sensors, which may include obstacle detection obstacle avoidance (ODOA) sensors, communication sensors, navigation sensors, etc. supported by robot body 110. For example, these sensors include proximity sensors, contact sensors, three-dimensional (3D) imaging / depth map sensors, cameras (eg, visible and / or infrared cameras), sonars, radars, light detection and ranging (LIDAR) Measurement of the characteristics of the scattered light, which may require optical remote sensing), LADAR (Laser Detection and Ranging), etc., in order to find out the distance of the target and / or other information. It is not limited to these. In some implementations, the sensor system 400 includes a ranging sonar sensor 410 (e.g., nine around base 120), a proximity step detector 420, a contact sensor 430, a laser scanner 440, and one or more A 3-D imaging / depth sensor 450 and an imaging sonar 460 are included.

センサをロボットの基本骨格上に定置することに伴う、いくつかの課題が存在する。第一に、センサは、それらがロボット100の周囲の最大対応範囲関心領域を有するように定置する必要がある。第二に、センサは、ロボット100自体がセンサを絶対的に最小限しか塞がないように定置しなければならない場合がある、本質的に、センサを、それらがロボット自体によって「覆い隠される」ように定置することはできない。第三に、センサの定置および搭載は、基本骨格の工業設計の残りの部分に対して邪魔にならないべきである。審美性の観点から、センサが目立たないように搭載されたロボットは、そうではないものより「魅力的である」と見なすことができる。実用性の観点から、センサは、通常のロボット動作を妨げない(障害物上に引っかかる等)ように搭載されるべきである。   There are several issues associated with placing the sensor on the basic framework of the robot. First, the sensors need to be positioned such that they have a maximum coverage area of interest around the robot 100. Second, the sensors may have to position the robot 100 itself so that it only absolutely blocks the sensor, essentially the sensors are "covered and covered" by the robot itself Can not be fixed. Third, the placement and mounting of the sensor should be unobtrusive to the rest of the industrial design of the basic framework. From the aesthetic point of view, robots mounted so that the sensor is unobtrusive can be considered as "attractive" than others. From the practical point of view, the sensor should be mounted so as not to interfere with normal robot operation (such as getting caught on an obstacle).

いくつかの実現形態では、センサシステム400は、コントローラ500と通信しており、かついずれの近くの、または侵入する障害物も検出するために、ロボット100の1つ以上の域または部分内に配設される(例えば、ロボット本体110の基部本体部分124a、124b、124c上またはその付近に配置される)、一式の近接センサ410、420またはそのアレイを含む。近接センサ410、420は、物体がロボット100の所与の範囲内にある際に、コントローラ500に信号を提供する、収束赤外線(IR)放射部−センサ要素、ソナーセンサ、超音波センサ、および/または撮像センサ(例えば、3D深度マップ画像センサ)であってもよい。   In some implementations, sensor system 400 is in communication with controller 500 and disposed within one or more areas or portions of robot 100 to detect any nearby or intruding obstacles. A set of proximity sensors 410, 420 or an array thereof is provided (e.g., disposed on or near the base body portions 124a, 124b, 124c of the robot body 110). The proximity sensors 410, 420 provide signals to the controller 500 when the object is within a given range of the robot 100. Focused infrared (IR) emitter-sensor element, sonar sensor, ultrasound sensor, and / or ultrasonic sensor, and / or It may be an imaging sensor (for example, a 3D depth map image sensor).

図4A〜図4Cに示される実施例では、ロボット100は、基部本体120の周囲に配置され(例えば、実質的に等距離に)、かつ上向き視界を伴って配設される、ソナータイプの近接センサ410のアレイを含む。第1、第2、および第3のソナー近接センサ410a、410b、410cは、第1の(前方)基部本体部分124a上またはその付近に配置され、第1の基部本体124aの半径方向に最も外側の縁部125aに、ソナー近接センサのうちの少なくとも1つを有する。第4、第5、および第6のソナー近接センサ410d、410e、410fは、第2の(右側)基部本体部分124b上またはその付近に配置され、第2の基部本体124bの半径方向に最も外側の縁部125bの付近に、ソナー近接センサのうちの少なくとも1つを有する。第7、第8、および第9のソナー近接センサ410g、410h、410iは、第3の(右側)基部本体部分124c上またはその付近に配置され、第3の基部本体124cの半径方向に最も外側の縁部125cの付近に、ソナー近接センサのうちの少なくとも1つを有する。この構成は、少なくとも3つの検出域を提供する。   In the embodiment shown in FIGS. 4A-4C, the sonar-type proximity is a robot 100 disposed around (e.g., substantially equidistant) around the base body 120 and with an upward view. An array of sensors 410 is included. The first, second, and third sonar proximity sensors 410a, 410b, 410c are disposed on or near the first (front) base body portion 124a and are radially outermost of the first base body 124a. At the edge 125a of the sensor, at least one of the sonar proximity sensors. The fourth, fifth, and sixth sonar proximity sensors 410d, 410e, 410f are disposed on or near the second (right side) base body portion 124b, and are radially outermost of the second base body 124b. In the vicinity of the edge 125 b of the sensor, at least one of the sonar proximity sensors is provided. Seventh, eighth, and ninth sonar proximity sensors 410g, 410h, 410i are disposed on or near the third (right side) base body portion 124c and are radially outermost of the third base body 124c. There is at least one of the sonar proximity sensors near the edge 125 c of the sensor. This configuration provides at least three detection zones.

いくつかの実施例では、基部本体120の周囲に配置される一式のソナー近接センサ410(例えば、410a〜410i)は、上(例えば、実質的にZ方向)を向くように配設され、任意選択により、Z軸から離れるように外向きに角度付けられ、したがって、ロボット100の周囲に検出カーテン412を生じさせる。各ソナー近接センサ410a〜410iは、ソナー放出を上向きに、または少なくともロボット本体110の他の部分に向かわないように(例えば、ロボット本体110のそれ自体に対する移動を検出しないように)誘導する、シュラウドまたは放出ガイド414を有してもよい。放出ガイド414は、シェルまたは半シェル形状を画定してもよい。示される実施例では、基部本体120は、脚部130を越えて横方向に延在し、ソナー近接センサ410(例えば、410a〜410i)は、脚部130の周囲の基部本体120上に(例えば、実質的に基部本体120の周辺に沿って)配置される。さらに、上を向くソナー近接センサ410は、脚部130の周囲に連続する、または実質的に連続するソナー検出カーテン412を生じさせるように離間される。ソナー検出カーテン412は、テーブル上部、棚等の高くなった横方向突出部分を有する障害物を検出するために使用することができる。   In some embodiments, the set of sonar proximity sensors 410 (e.g., 410a-410i) disposed around the base body 120 are arranged to face upward (e.g., substantially in the Z direction), and are optional Optionally, it is angled outwardly away from the Z-axis, thus producing a detection curtain 412 around the robot 100. A shroud for each sonar proximity sensor 410a-410i to direct sonar emission upwards, or at least not towards other parts of the robot body 110 (e.g. not detecting movement of the robot body 110 relative to itself) Alternatively, it may have a release guide 414. The release guide 414 may define a shell or half shell shape. In the illustrated embodiment, the base body 120 extends laterally beyond the legs 130 and the sonar proximity sensor 410 (eg, 410a-410i) is mounted on the base body 120 (eg, around the legs 130). , Substantially along the periphery of the base body 120). In addition, the upward facing sonar proximity sensors 410 are spaced to create a continuous or substantially continuous sonar detection curtain 412 around the legs 130. The sonar detection curtain 412 can be used to detect obstacles having raised lateral projections such as table tops, shelves and the like.

上を見るソナー近接センサ410は、テーブル上部等の水平面内の近接にある物体を見る能力を提供する。これらの物体は、それらのアスペクト比のため、レーザスキャナ440または撮像センサ450等のセンサシステムの他のセンサによって見逃される場合があり、そのため、ロボット100に問題をもたらす可能性がある。基部120の周辺の周囲に配設される、上を見るソナー近接センサ410は、これらのタイプの物体/障害物を見る、または検出するための手段を提供する。さらに、ソナー近接センサ410は、ロボット100の胴部140または頭部160によって塞がれない、または遮られないように、基部周辺の最大幅点の周囲に、わずかに外向きに角度付けて定置することができ、したがって、ロボット100自体の部分を感知することによる誤検出をもたらさない。いくつかの実現形態では、ソナー近接センサ410は、ソナー近接センサ410の視界の外側の胴部140の周囲の体積を残すように配設され(上向きかつ外向きに)、したがって、バスケット360等の搭載される搭載物またはアクセサリを自由に受容する。ソナー近接センサ410は、視覚的隠蔽を提供し、障害物上に引っかかる、またはそれに衝突する外部特徴をなくすために、基部本体124に引っ込めることができる。   Looking up, the sonar proximity sensor 410 provides the ability to see close objects in a horizontal plane, such as the table top. These objects may be missed by the laser scanner 440 or other sensors of the sensor system, such as the imaging sensor 450, due to their aspect ratio, which may cause problems for the robot 100. An upward looking sonar proximity sensor 410 disposed around the periphery of the base 120 provides a means to view or detect these types of objects / obstacles. In addition, the sonar proximity sensor 410 is angled slightly outward around the maximum width point around the base so that it is not blocked or blocked by the torso 140 or head 160 of the robot 100. And thus does not result in false detections by sensing portions of the robot 100 itself. In some implementations, the sonar proximity sensor 410 is arranged to leave a volume around the barrel 140 outside of the field of view of the sonar proximity sensor 410 (upwardly and outwardly), and thus, such as the basket 360 Freely receive the mounted objects or accessories. The sonar proximity sensor 410 can be retracted into the base body 124 to provide visual concealment and eliminate external features that may catch on or collide with obstacles.

センサシステム400は、後退している間の障害物を検出するために、後ろ向き(例えば、順駆動方向Fと反対)に方向付けられる、1つ以上のソナー近接センサ410(例えば、後部近接センサ410j)を含んでもよい。後部ソナー近接センサ410jは、そのソナー検出界412を方向付ける、放出ガイド414を含んでもよい。さらに、後部ソナー近接センサ410jは、ロボット100と後部ソナー近接センサ4l0jの視界内の検出される物体との間の距離を判定するよう測距するために使用することができる(例えば、「後退警報」として)。いくつかの実施例では、後部ソナー近接センサ410jは、筐体形態にいかなる視覚的または機能的不規則性ももたらさないように、基部本体120内に引っ込んで搭載される。   Sensor system 400 may be directed backwards (eg, opposite to forward drive direction F) to detect obstacles during retraction, eg, one or more sonar proximity sensors 410 (eg, rear proximity sensors 410 j May be included. The rear sonar proximity sensor 410 j may include a discharge guide 414 that directs the sonar detection field 412. In addition, the rear sonar proximity sensor 410j can be used to range to determine the distance between the robot 100 and the detected object in the field of view of the rear sonar proximity sensor 4lOj (e.g. As "). In some embodiments, the rear sonar proximity sensor 410j is mounted recessed within the base body 120 so as not to introduce any visual or functional irregularities into the housing configuration.

図3および図4Bを参照すると、いくつかの実現形態では、ロボット100は、駆動車輪210a、210b、210cが段差(例えば、階段)に遭遇する前に段差を検出することを可能にするように、駆動車輪210a、210b、210cの付近または周囲に配設される、段差近接センサ420を含む。例えば、段差近接センサ420は、基部本体124a〜cの半径方向に最も外側の縁部125a〜cのそれぞれに、もしくはその付近に、またはその間の位置にあってもよい。場合によっては、段差感知は、床があることが予測されるべき位置で重なる放射および検出界、したがって検出域を有するように、相互に向かって角度付けられる赤外線放射部422および赤外線検出器424を使用する、赤外線(IR)近接または実距離感知を使用して実現される。IR近接感知は、比較的狭い視界を有する可能性があり、信頼性が表面アルベドに依存する場合があり、表面間で変化する距離精度を有する可能性がある。結果として、ロボット100上の複数の点から段差を適切に検出するために、複数の別個のセンサをロボット100の周辺の周囲に定置することができる。さらに、IR近接ベースのセンサは、典型的に、段差とロボット100が敷居を登った直後等の安全事象とを区別することができない。   Referring to FIGS. 3 and 4B, in some implementations, the robot 100 may detect a step before the drive wheels 210a, 210b, 210c encounter a step (eg, a step) , A step proximity sensor 420 disposed near or around the drive wheels 210a, 210b, 210c. For example, the step proximity sensor 420 may be located at or near each of, or between, the radially outermost edges 125a-c of the base bodies 124a-c. In some cases, step sensing may include an infrared emitter 422 and an infrared detector 424 that are angled towards one another so that the floor has overlapping radiation and detection fields at the location where the floor is to be expected, and thus the detection area. It is realized using infrared (IR) proximity or real range sensing. IR proximity sensing may have a relatively narrow field of view, reliability may depend on the surface albedo, and may have varying distance accuracy between surfaces. As a result, multiple separate sensors can be placed around the perimeter of the robot 100 to properly detect steps from multiple points on the robot 100. Furthermore, IR proximity based sensors can not typically distinguish between steps and safety events, such as immediately after the robot 100 climbs a threshold.

段差近接センサ420は、ロボット100が一式の階段に遭遇する際等の床の低くなっている縁部に遭遇した際を検出することができる。コントローラ500(制御システムを実行する)は、縁部が検出される際、ロボット100にその移動方向を変化させる等の動作をとらせる挙動を実行してもよい。いくつかの実現形態では、センサシステム400は、1つ以上の二次段差センサ(例えば、段差感知用および任意選択により他のタイプの感知用に構成される他のセンサ)を含む。段差検出近接センサ420は、段差の早期検出を提供するように、実際の段差と安全事象(敷居を乗り越える等)とを区別するためのデータを提供するように、およびそれらの視界が、ロボット本体110の少なくとも一部と、ロボット本体110から離れた領域とを含むように、外側低めに位置付けられるように配設することができる。いくつかの実現形態では、コントローラ500は、支持作業面(例えば、床)の縁部、作業面の縁部を通り過ぎた距離の増加、および/またはロボット本体110と作業面との間の距離の増加を識別し、検出する、段差検出ルーチンを実行する。本実現形態は、1)潜在的な段差の早期検出(未知の環境内でのより速い移動速度を可能にし得る)、2)段差事象が本当に安全ではないものであるか否か、または安全に横断すること(例えば、敷居を登って越える等)ができるものであるか否かを知るために、コントローラ500が段差検出近接センサ420からの段差撮像情報を受信することによる、自律的可動性の信頼性の増加、3)段差の誤検出の低減(例えば、縁部検出対複数の狭い視界を伴う別個のIR近接センサの使用による)を可能にする。冗長性のため、および距離感知カメラが特定のタイプの段差を確実に検出することができない状況を検出するために、「脱輪」センサとして配設される追加のセンサを使用することができる。   The step proximity sensor 420 can detect when the robot 100 encounters a low edge of the floor, such as when it encounters a set of stairs. The controller 500 (which executes the control system) may execute a behavior that causes the robot 100 to take action such as changing its moving direction when an edge is detected. In some implementations, sensor system 400 includes one or more secondary step sensors (e.g., other sensors configured for step sensing and optionally other types of sensing). The step detection proximity sensor 420 provides data to distinguish between actual steps and safety events (such as crossing a threshold) so as to provide early detection of steps, and their field of view, the robot body It may be arranged to be positioned at the outer lower side so as to include at least a part of 110 and an area away from the robot body 110. In some implementations, the controller 500 may include an edge of a support work surface (eg, a floor), an increase in distance past the edge of the work surface, and / or a distance between the robot body 110 and the work surface. Perform step detection routine to identify and detect increases. This implementation is 1) early detection of potential steps (which may allow for faster travel speeds in unknown environments), 2) whether step events are not really safe, or safely The autonomous mobility by the controller 500 receiving the step imaging information from the step detection proximity sensor 420 in order to know whether it is possible to cross (for example, climb up a threshold, etc.) 3) to enable increased reliability, 3) reduced step false detection (eg, by edge detection vs. use of a separate IR proximity sensor with multiple narrow views). For redundancy and to detect situations where the distance sensing camera can not reliably detect a particular type of step, additional sensors arranged as "derailing" sensors can be used.

敷居および段検出は、ロボット100が、登ることができる敷居を横断するか、または高過ぎる段を回避するかのいずれかを効率的に計画することを可能にする。これは、ロボット100が安全に横断し得る、または横断し得ない、作業面上の無差別な物体についても同じであることができる。ロボット100が、登ることができると判定する障害物または敷居について、それらの高さを知ることは、ロボット100が、円滑さを最大限にし、突然の加速によるいかなる不安定性も最小限にするために、円滑な移行を可能にするのに必要であると考えられる場合に、適切に減速することを可能にする。いくつかの実現形態では、敷居および段検出は、幾何学的形状認識(例えば、敷居または電気ケーブル対靴下等の小塊とを判別する)に加えて、作業面の上方の物体の高さに基づく。敷居は、縁部検出によって認識されてもよい。コントローラ500は、段差検出近接センサ420(またはロボット100上の別の撮像センサ)から撮像データを受信し、縁部検出ルーチンを実行し、縁部検出ルーチンの結果に基づき、駆動コマンドを発行してもよい。コントローラ500は、物体を識別するために、パターン認識も同様に使用してもよい。敷居検出は、ロボット100が、円滑に段を登る能力を最大限にするように、敷居に対するその配向を変化させることを可能にする。   The sill and stair detection allows the robot 100 to efficiently plan either crossing a sill that can be climbed or avoiding a stair that is too high. This can be the same for indiscriminate objects on the work surface that the robot 100 can or can not safely traverse. Knowing the height of the obstacles or sills that the robot 100 determines can climb is to maximize the smoothness and minimize any instability due to sudden acceleration. In addition, it is possible to decelerate appropriately, if it is considered necessary to enable a smooth transition. In some implementations, threshold and step detection may be performed at the height of the object above the work surface, in addition to geometric shape recognition (eg, to determine threshold or electric cable vs. blobs such as socks) Based on. The threshold may be recognized by edge detection. The controller 500 receives imaging data from the step detection proximity sensor 420 (or another imaging sensor on the robot 100), executes an edge detection routine, and issues a drive command based on the result of the edge detection routine. It is also good. The controller 500 may also use pattern recognition to identify objects. The threshold detection allows the robot 100 to change its orientation relative to the threshold so as to maximize the ability to smoothly climb the stairs.

近接センサ410、420は、単独で機能してもよく、または代替として、冗長性のために、1つ以上の接触センサ430(例えば、隆起スイッチ)との組み合わせで機能してもよい。例えば、ロボット本体110上の1つ以上の接触または隆起センサ430は、ロボット100が障害物に物理的に遭遇したか否かを検出することができる。そのようなセンサは、障害物に遭遇した際を判定するために、ロボット100内の静電容量または物理的移動等の物理的特性を使用してもよい。いくつかの実現形態では、基部120の各基部本体部分124a、124b、124cは、基部シャーシ122(例えば、図4A参照)に対する対応する基部本体部分124a、124b、124cの移動を検出する、関連接触センサ430(例えば、容量センサ、リードスイッチ等)を有する。例えば、各基部本体124a〜cは、3方向ぶつかり検出を提供するために、基部シャーシ122のZ軸に対して半径方向に移動してもよい。   Proximity sensors 410, 420 may function alone or, alternatively, may function in combination with one or more contact sensors 430 (eg, a raised switch) for redundancy. For example, one or more touch or bump sensors 430 on the robot body 110 can detect whether the robot 100 physically encounters an obstacle. Such sensors may use physical characteristics such as capacitance or physical movement within the robot 100 to determine when an obstacle is encountered. In some implementations, each base body portion 124a, 124b, 124c of base 120 detects an associated movement of the corresponding base body portion 124a, 124b, 124c relative to base chassis 122 (see, eg, FIG. 4A). It has a sensor 430 (for example, a capacitive sensor, a reed switch, etc.). For example, each base body 124a-c may move radially relative to the Z axis of base chassis 122 to provide three-way clash detection.

再び図1〜図4C、図11A、および図11Bを参照すると、いくつかの実現形態では、センサシステム400は、ロボット本体110の前方部分上に搭載され、かつコントローラ500と通信している、レーザスキャナ440を含む。示される実施例では、レーザスキャナ440は、第1の基部本体124a上またはその上方(例えば、ロボットの駆動方向Fに沿って最大撮像対応範囲を有するように)の前を向く基部本体120上に搭載される(例えば、順駆動方向Fに沿った視界を有する)。さらに、三角形の基部120の前先端上またはその付近へのレーザスキャナの定置は、ロボット基部の外角(例えば、300度)が、レーザスキャナ440の視界442(例えば、約285度)より大きいことを意味し、したがって、基部120が、レーザスキャナ440の検出視界442を塞ぐ、または遮るのを防止する。レーザスキャナ440は、レーザスキャナのいずれかの部分が、基部本体124を通り越して突き出すのを最小限にするように(例えば、審美性のため、および障害物上に引っかかるのを最小限にするため)、その視界を塞ぐことなく、基部本体124内に可能な限り引っ込めて搭載することができる。   Referring again to FIGS. 1-4C, FIGS. 11A and 11B, in some implementations, the sensor system 400 is mounted on the front portion of the robot body 110 and in communication with the controller 500. A scanner 440 is included. In the illustrated embodiment, the laser scanner 440 is on the base body 120 facing forward on or above the first base body 124a (e.g., to have maximum imaging coverage along the drive direction F of the robot). Mounted (e.g. with a field of view along the forward drive direction F). In addition, placement of the laser scanner on or near the front tip of the triangular base 120 ensures that the outer angle (eg, 300 degrees) of the robot base is greater than the field of view 442 (eg, about 285 degrees) of the laser scanner 440. This means that the base 120 prevents blocking or blocking of the detection field 442 of the laser scanner 440. The laser scanner 440 is configured to minimize any portion of the laser scanner sticking out past the base body 124 (eg, for aesthetics and to minimize snagging on obstacles) ), Without occluding the field of view, it can be retracted and mounted as much as possible in the base body 124.

レーザスキャナ440は、ロボット100の周囲領域を走査し、コントローラ500は、レーザスキャナ440から受信される信号を使用して、走査した領域の環境マップまたは物体マップを作成する。コントローラ500は、ナビゲーション、障害物検出、および障害物回避に、物体マップを使用してもよい。さらに、コントローラ500は、物体マップを作成するため、および/またはナビゲーションのために、センサシステム400の他のセンサからの感知入力を使用してもよい。   The laser scanner 440 scans the surrounding area of the robot 100, and the controller 500 uses the signals received from the laser scanner 440 to create an environmental map or an object map of the scanned area. Controller 500 may use object maps for navigation, obstacle detection, and obstacle avoidance. Further, controller 500 may use sensed input from other sensors of sensor system 400 to create an object map and / or for navigation.

いくつかの実施例では、レーザスキャナ440は、「主」走査線として1次元内の領域を素早く走査するレーザと、線内の生成される各ピクセルに深度を割り当てるのに位相差または同様の技法を使用する飛行時間撮像要素とを使用し得る、走査LIDARである(走査面内の2次元深度線を返す)。3次元マップを生成するために、LIDARは、第2の方向に「補助」走査を実施することができる(例えば、スキャナを「上下させる」ことによって)。この機械的走査技法は、補われていない場合、ピクセルの完全2−Dマトリックスのための飛行時間計算を可能にして、各ピクセルの深度、またはさらには各ピクセルの一連の深度を提供するために(コード化照明器または照明レーザを用いて)、半導体スタックを使用する技法、「Flash」LIDAR/LADARおよび「Swiss Ranger」タイプの焦点面撮像要素センサ等の技術によって補完することができる。   In some embodiments, the laser scanner 440 may rapidly scan the area in one dimension as the "main" scan line and a phase difference or similar technique for assigning depth to each pixel generated in the line. Is a scanning LIDAR (returns a two-dimensional depth line in the scan plane), which may use time-of-flight imaging elements using. To generate a three dimensional map, the LIDAR can perform an "auxiliary" scan in a second direction (e.g., by "raising and lowering the scanner"). This mechanical scanning technique allows time-of-flight calculations for the full 2-D matrix of pixels, if not compensated, to provide each pixel's depth, or even a series of depths of each pixel. It can be complemented by techniques (using coded illuminators or illumination lasers), techniques using semiconductor stacks, focal plane imaging element sensors of the "Flash" LIDAR / LADAR and "Swiss Ranger" type, etc.

センサシステム400は、コントローラ500と通信している、1つ以上の3次元(3−D)画像センサ450を含んでもよい。3−D画像センサ450が、限られた視界を有する場合、コントローラ500またはセンサシステム400は、強固なODOAを実施するために、相対的により広い視界を生じるよう、3−D画像センサ450aを、左右を走査するように作動させることができる。図1〜図3、および図10Bを参照すると、いくつかの実現形態では、ロボット100は、順駆動方向Fに沿った視界を伴う、ロボット本体110の前方部分上に搭載される(例えば、ロボットの駆動方向Fに沿った最大撮像対応範囲を有するように)、走査3−D画像センサ450aを含む。走査3−D画像センサ450aは、主に、障害物検出/障害物回避(ODOA)に使用することができる。示される実施例では、走査3−D画像センサ450aは、例えば、ユーザが走査3−D画像センサ450aと接触するのを防止するために、図3に示されるように、胴部140上の段部142の下部上、または底面144上に搭載され、胴部140内に引っ込められる(例えば、底面144と同一平面上またはそれを通り越して)。走査3−D画像センサ450は、障害物検出および障害物回避(ODOA)のために、ロボット100の正面内の下向き視界452を有するように(例えば、基部120またはロボット本体110の他の部分による遮りを伴う)、実質的に下向きかつロボット本体110から離れるよう照準を定めるように配設することができる。胴部140の前縁部上またはその付近への走査3−D画像センサ450aの定置は、3−D画像センサ450の視界(例えば、約285度)が、3−D画像センサ450に対する胴部140の外面角度(例えば、300度)より小さくなるようにすることができ、したがって、胴部140が走査3−D画像センサ450aの検出視界452を塞ぐ、または遮るのを防止する。さらに、走査3−D画像センサ450a(および関連アクチュエータ)は、可能な限りその視界を塞ぐことなく(例えば、また、審美性のため、および障害物に引っかかるのを最小限にするためにも)、胴部140内に埋め込んで搭載することができる。走査3−D画像センサ450aの気を散らす走査運動は、ユーザには見えず、それ程不快ではない対話経験をもたらす。突出するセンサまたは特徴とは異なり、引っ込んだ走査3−D画像センサ450aは、特に、移動または走査する際、事実上、胴部140の周辺を越えて延在する可動部分がないため、環境との意図されない相互作用(人、障害物等への引っかかり)を有さない傾向がある。   Sensor system 400 may include one or more three-dimensional (3-D) image sensors 450 in communication with controller 500. If the 3-D image sensor 450 has a limited field of view, the controller 500 or the sensor system 400 may generate a relatively wider field of view to perform a robust ODOA, the 3-D image sensor 450a, It can be operated to scan left and right. Referring to FIGS. 1-3 and 10B, in some implementations, the robot 100 is mounted on the forward portion of the robot body 110 with a view along the forward drive direction F (eg, the robot , The scan 3-D image sensor 450a). The scanning 3-D image sensor 450a can be mainly used for obstacle detection / obstacle avoidance (ODOA). In the illustrated embodiment, the scanning 3-D image sensor 450a is, for example, a step on the barrel 140, as shown in FIG. 3, to prevent the user from contacting the scanning 3-D image sensor 450a. It is mounted on the lower portion of the portion 142 or on the bottom surface 144 and is retracted into the barrel 140 (e.g., flush with or beyond the bottom surface 144). The scanning 3-D image sensor 450 has a downward view 452 in the front of the robot 100 (eg, by the base 120 or other portion of the robot body 110) for obstacle detection and obstacle avoidance (ODOA). It can be arranged to aim substantially downward and away from the robot body 110). The placement of the scanning 3-D image sensor 450a on or near the front edge of the barrel 140 allows the field of view of the 3-D image sensor 450 (e.g. approximately 285 degrees) to be the barrel relative to the 3-D image sensor 450. It can be made smaller than the outer surface angle of 140 (e.g. 300 degrees), thus preventing the barrel 140 from blocking or blocking the detection field 452 of the scanning 3-D image sensor 450a. In addition, the scanning 3-D image sensor 450a (and the associated actuator) as close as possible to its view (e.g. also for aesthetics and also to minimize getting stuck with obstacles) , Embedded in the body portion 140 can be mounted. The distracting scanning motion of the scanning 3-D image sensor 450a results in an interactive experience that is not visible to the user and is not as unpleasant. Unlike protruding sensors or features, the recessed scanning 3-D image sensor 450a is particularly effective in moving or scanning, since there are virtually no moving parts extending beyond the perimeter of the barrel 140. There is a tendency not to have the unintended interaction (person, obstacles etc.).

いくつかの実現形態では、センサシステム400は、基部本体120上に配置される追加の3−D画像センサ450と、脚部130と、首部150および/または頭部160とを含む。図1に示される実施例では、ロボット100は、基部本体120、胴部140、および頭部160上に3−D画像センサ450を含む。図2に示される実施例では、ロボット100は、基部本体120、胴部140、および頭部160上に3−D画像センサ450を含む。図11Aに示される実施例では、ロボット100は、脚部130、胴部140、および首部150上に3−D画像センサ450を含む。他の構成も同様に可能である。1つの3−D画像センサ450(例えば、首部150上かつ頭部160の上)を、人認識、ジェスチャ認識、および/またはテレビ会議に使用することができ、一方、別の3−D画像センサ450(例えば、基部120および/または脚部130上)を、ナビゲーションならびに/または障害物検出および障害物回避に使用することができる。   In some implementations, sensor system 400 includes an additional 3-D image sensor 450 disposed on base body 120, legs 130, and neck 150 and / or head 160. In the embodiment shown in FIG. 1, the robot 100 includes a 3-D image sensor 450 on the base body 120, the torso 140 and the head 160. In the embodiment shown in FIG. 2, the robot 100 includes a 3-D image sensor 450 on the base body 120, the torso 140 and the head 160. In the embodiment shown in FIG. 11A, the robot 100 includes a 3-D image sensor 450 on the legs 130, the torso 140 and the neck 150. Other configurations are possible as well. One 3-D image sensor 450 (eg, on the neck 150 and above the head 160) can be used for human recognition, gesture recognition, and / or video conferencing while another 3-D image sensor 450 (eg, on base 120 and / or legs 130) can be used for navigation and / or obstacle detection and obstacle avoidance.

首部150および/または頭部160上に配置される、前を向く3−D画像センサ450を、ロボット100の周囲の人々の人認識、顔認識、および/またはジェスチャ認識に使用することができる。例えば、頭部160上の3−D画像センサ450からの信号入力を使用して、コントローラ500は、見た/捕捉したユーザの顔の3次元マップを作成し、作成した3次元マップを人の顔の既知の3−D画像と比較し、既知の3−D顔画像のうちの1つとの合致を判定することによって、ユーザを認識してもよい。顔認識は、ユーザをロボット100の正当なユーザとして認証するために使用されてもよい。さらに、3−D画像センサ450のうちの1つ以上を、ロボット100が見る人のジェスチャを判定し、判定されるジェスチャ(単数または複数)(例えば、手差し、手振り、およびまたは手信号)に基づき、任意選択により反応するために使用することができる。例えば、コントローラ500は、認識される特定の方向への手差しに応えて、駆動コマンドを発行してもよい。   A front facing 3-D image sensor 450 disposed on the neck 150 and / or the head 160 can be used for human recognition, face recognition, and / or gesture recognition of people around the robot 100. For example, using the signal input from the 3-D image sensor 450 on the head 160, the controller 500 creates a three-dimensional map of the viewed / captured user's face and generates the created three-dimensional map The user may be recognized by comparing with a known 3-D image of the face and determining a match with one of the known 3-D face images. Face recognition may be used to authenticate the user as a valid user of the robot 100. Additionally, one or more of the 3-D image sensors 450 may be determined based on the gesture or gestures (e.g., hand, hand gestures, and / or hand signals) in which the robot 100 determines the gesture of the viewer. And can optionally be used to react. For example, controller 500 may issue a drive command in response to manual feeding in a particular direction to be recognized.

3−D画像センサ450は、以下のタイプのデータを生成することができる:(i)深度マップ、(ii)反射率ベースの強度画像、および/または(iii)標準強度画像。3−D画像センサ450は、画像パターン合致、源から放射され、標的から反射される光の飛行時間および/または位相遅延偏移計測によって、そのようなデータを取得してもよい。   The 3-D image sensor 450 can generate the following types of data: (i) depth map, (ii) reflectance based intensity image, and / or (iii) standard intensity image. The 3-D image sensor 450 may acquire such data by image pattern matching, time of flight and / or phase delay shift measurements of light emitted from the source and reflected from the target.

いくつかの実現形態では、プロセッサ(例えば、ロボットコントローラ500の)上で実行可能な推論または制御ソフトウェアは、センサシステム400によって生成される様々なデータ型を使用して実行されるアルゴリズムの組み合わせを使用する。推論ソフトウェアは、例えば、ロボット100が障害物と衝突することなく移動することができるかに関するナビゲーション決定を行うために、センサシステム400から収集されるデータを処理し、データを出力する。ロボットの包囲の経時的な撮像データを蓄積することによって、その結果、推論ソフトウェアは、3−D画像センサ450の深度計測を改善するために、感知される画像(単数または複数)の選択されるセグメントに効率的な方法を適用することができる。これには、適切な時間および空間平均技法を使用することが含まれてもよい。   In some implementations, the inference or control software executable on the processor (eg, of robot controller 500) uses a combination of algorithms executed using various data types generated by sensor system 400. Do. The inference software processes and outputs data collected from the sensor system 400, for example, to make navigation decisions as to whether the robot 100 can move without colliding with an obstacle. By accumulating imaging data over time of the robot's envelope, the result is that the inference software is selected for sensing the image (s) to improve depth measurement of the 3-D image sensor 450 Efficient methods can be applied to the segments. This may include using appropriate temporal and spatial averaging techniques.

衝突のないロボット移動を実行する信頼性は、(i)高レベルの経時的な推論によって構築される信頼レベル、および(ii)解析のために3つの主なタイプのデータ、(a)深度画像、(b)アクティブ照明画像、および(c)周囲照明画像を蓄積する、深度知覚センサに基づいてもよい。深度知覚撮像センサ450によって取得される画像のそれぞれに、異なるタイプのデータを認識するアルゴリズムを実行することができる。集約データは、1つの種類のデータのみを使用するシステムと比較して、信頼レベルを改善し得る。   Confidence in performing collision-free robot movement is (i) confidence levels built by high-level temporal reasoning, and (ii) three main types of data for analysis, (a) depth images , (B) active illumination image, and (c) ambient illumination image may be based on a depth perception sensor. For each of the images acquired by the depth perception imaging sensor 450, an algorithm can be implemented that recognizes different types of data. Aggregated data may improve confidence levels as compared to systems that use only one type of data.

3−D画像センサ450は、1つ以上の物体を含有するロボットの周囲の情景100から、深度および明度データを含有する画像(例えば、部屋または作業領域のセンサ視野部分)を取得してもよい。コントローラ500は、情景から捕捉される反射光に基づき、物体の占領データを判定するように構成されてもよい。さらに、いくつかの実施例では、コントローラ500は、少なくとも一部において占領データに基づき、障害物(すなわち、情景内の物体)を迂回するように、駆動システム200に駆動コマンドを発行する。3−D画像センサ450は、情景内のいかなる物体にも衝突することなく、情景の周囲でロボット100をナビゲートするよう、コントローラ500によってリアルタイム決定を行うために、情景深度画像を繰り返し捕捉してもよい。例えば、3−D画像センサ450によって深度画像データが取得される速度または頻度は、3−D画像センサ450のシャッター速度によって制御されてもよい。加えて、コントローラ500は、事象トリガを受信してもよい(例えば、コントローラ500に近隣の物体または危険を通知する、近接センサ410、420等のセンサシステム400の別のセンサ構成要素から)。コントローラ500は、事象トリガに応えて、3−D画像センサ450に、深度画像が捕捉される頻度を増加させることができ、占領情報が取得される。   The 3-D image sensor 450 may obtain an image containing depth and brightness data (eg, a sensor view portion of a room or work area) from a scene 100 around a robot containing one or more objects . The controller 500 may be configured to determine occupancy data of the object based on the reflected light captured from the scene. Further, in some embodiments, the controller 500 issues drive commands to the drive system 200 to bypass obstacles (ie, objects in the scene) based at least in part on occupancy data. The 3-D image sensor 450 repeatedly captures scene depth images to make real-time decisions by the controller 500 to navigate the robot 100 around the scene without colliding with any objects in the scene. It is also good. For example, the speed or frequency at which depth image data is acquired by the 3-D image sensor 450 may be controlled by the shutter speed of the 3-D image sensor 450. In addition, controller 500 may receive an event trigger (eg, from another sensor component of sensor system 400, such as proximity sensor 410, 420, to notify controller 500 of nearby objects or hazards). The controller 500 may, in response to an event trigger, cause the 3-D image sensor 450 to increase the frequency with which the depth image is captured, and occupancy information is obtained.

図12Aを参照すると、いくつかの実現形態では、3−D撮像センサ450は、ロボット100の周囲領域(例えば、部屋)等の情景10に光を放射する、光源1172を含む。また、撮像センサ450は、光源1172から発される光の反射光を含む、情景10からの反射光を捕捉する(例えば、情景深度画像として)、撮像部1174(例えば、光感知ピクセル1174pのアレイ)も含んでもよい。いくつかの実施例では、撮像センサ450は、放射される光および受信される反射光をそれぞれ操作する(例えば、スペックリングまたは集束させる)ために、光源レンズ1176および/または検出器レンズ1178を含む。ロボットコントローラ500またはロボットコントローラ500と通信しているセンサコントローラ(図示せず)は、撮像部1174によって捕捉される反射光の画像パターン合致および/または飛行時間特性に基づき、情景10内の物体12の深度情報を判定するために、撮像部1174(例えば、ピクセル1174p)から光信号を受信する。   Referring to FIG. 12A, in some implementations, the 3-D imaging sensor 450 includes a light source 1172 that emits light to a scene 10, such as a surrounding area (eg, a room) of the robot 100. In addition, the imaging sensor 450 captures reflected light from the scene 10 (for example, as a scene depth image) including reflected light of light emitted from the light source 1172 (for example, as an array of light sensing pixels 1174p) ) May also be included. In some embodiments, imaging sensor 450 includes source lens 1176 and / or detector lens 1178 to manipulate (eg, speckle or focus) the emitted light and the received reflected light, respectively. . A robot controller 500 or a sensor controller (not shown) in communication with the robot controller 500 may monitor the image 12 of the object 12 in the scene 10 based on the image pattern match and / or time of flight characteristics of the reflected light captured by the imaging unit 1174 A light signal is received from an imaging unit 1174 (eg, pixel 1174p) to determine depth information.

図12Bは、撮像センサ450を動作させるための動作の例となる配設1200を提供する。図12Aを追加参照すると、動作は、ロボット100の周囲の情景10に光を放射すること(1202)と、撮像部(例えば、光感知ピクセルのアレイ)上への情景10からの放射光の反射を受けること(1204)とを含む。動作は、コントローラ500が撮像部から光検出信号を受信すること(1206)と、光検出信号から得られる画像データを使用して、情景10内の物体12の1つ以上の特徴を検出すること(1208)と、光検出信号から得られる画像深度データを使用して、情景10内の物体12の検出される特徴(単数または複数)の位置を追跡すること(1210)とをさらに含む。動作は、画像データまたは画像深度データの解像度を増加させるため、および/または信頼レベルを提供するために、光を放射すること(1202)、光反射を受けること(1204)、光検出信号を受信すること(1206)、物体特徴(単数または複数)を検出すること(1208)、および物体特徴(単数または複数)の位置を追跡すること(12010)の動作を繰り返すこと(1212)を含んでもよい。   FIG. 12B provides an example arrangement 1200 of operations for operating imaging sensor 450. With additional reference to FIG. 12A, the action is to emit light to a scene 10 around the robot 100 (1202) and to reflect the radiation from the scene 10 onto the imaging portion (eg, an array of photosensitive pixels). And (1204). In operation, the controller 500 receives a light detection signal from the imaging unit (1206), and detects one or more features of the object 12 in the scene 10 using image data obtained from the light detection signal. And (1210) tracking (1210) the position of the detected feature or features of the object 12 within the scene 10 using (1208) and image depth data obtained from the light detection signal. The operation is to emit light (1202), to receive light reflection (1204), to receive light detection signals, to increase the resolution of the image data or image depth data and / or to provide a confidence level. And repeating (1212) the operations of: doing 1206; detecting the object feature (s) (1208); and tracking the position of the object feature (s) (12010) .

動作を繰り返すこと(1212)は、比較的高い解像度のために比較的遅い速度(例えば、遅いフレーム速度)で、中間速度で、または比較的低い解像度を伴って高速で実施することができる。動作を繰り返す(1212)頻度は、ロボットコントローラ500によって調節可能であり得る。いくつかの実現形態では、コントローラ500は、事象トリガを受信すると、動作を繰り返す(1212)頻度を高めてもよく、または低めてもよい。例えば、情景内の感知されるアイテムは、情景10内の高くなっている可能性のある物体12(例えば、戸口、敷居、または段差)を感知するために、動作を繰り返す(1212)頻度を増加させる事象をトリガし得る。追加の実施例では、検出された物体12間の経過時間事象が、動作を繰り返す(1212)頻度を低下させ得る、またはある期間停止させ得る(例えば、別の事象によって起こされるまで活動停止状態になる)。いくつかの実施例では、情景10内の物体12の1つ以上の特徴を検出する(1208)動作は、画像深度データが取得される速度を増加させるために、比較的大きい頻度の繰り返し動作(1212)をもたらす、特徴検出事象をトリガする。画像深度データの比較的大きい獲得速度は、情景内の相対的により信頼できる特徴追跡を可能にすることができる。   The repeating operation (1212) can be performed fast at a relatively slow speed (eg, slow frame rate), at a medium speed, or with a relatively low resolution, because of relatively high resolution. The frequency of repeating the action 1212 may be adjustable by the robot controller 500. In some implementations, controller 500 may increase or decrease the frequency of repeating 1212 operations upon receiving an event trigger. For example, a sensed item in the scene may increase 1212 the frequency at which it is repeated to sense potentially high objects 12 in the scene 10 (eg, doorways, sills, or steps). Triggering events. In an additional embodiment, an elapsed time event between detected objects 12 may reduce the frequency of repeating the action (1212), or may stop for a period of time (e.g., to become inactive until triggered by another event). Become). In some embodiments, detecting 1208 one or more features of the object 12 in the scene 10 may cause a relatively large number of repetitive operations to increase the speed at which the image depth data is acquired. Trigger a feature detection event that results in 1212). The relatively large acquisition speed of the image depth data can enable relatively more reliable feature tracking within the scene.

また、動作は、情景10内の物体12を迂回するために、ナビゲーションデータを出力すること(1214)も含む。いくつかの実現形態では、コントローラ500は、駆動システム200に駆動コマンドを発行して、物体12との衝突を回避するようにロボット100を移動させるために、出力されるナビゲーションデータを使用する。   The operation also includes outputting 1214 navigation data to bypass the object 12 in the scene 10. In some implementations, the controller 500 issues drive commands to the drive system 200 and uses the output navigation data to move the robot 100 to avoid collision with the object 12.

いくつかの実現形態では、センサシステム400は、ロボット100の周囲の情景10内の複数の物体12を検出し、コントローラ500は、検出される物体12のそれぞれの位置を追跡する。コントローラ500は、部屋の境界付けられた領域等のロボット100の周囲の領域内の物体12の占領マップを作成してもよい。コントローラ500は、情景10を占領マップの一部分と合致させ、占領マップを追跡される物体12の位置で更新するために、センサシステム400の画像深度データを使用してもよい。   In some implementations, sensor system 400 detects multiple objects 12 in scene 10 around robot 100, and controller 500 tracks the position of each of detected objects 12. The controller 500 may create an occupancy map of the object 12 in an area around the robot 100, such as a bounded area of a room. The controller 500 may use the image depth data of the sensor system 400 to match the scene 10 with a portion of the occupancy map and update the occupancy map with the location of the object 12 being tracked.

図12Cを参照すると、いくつかの実現形態では、3−D画像センサ450は、スペックル非相関を通した画像マッピングを可能にする、3次元(3D)スペックルカメラ1300を含む。スペックルカメラ1300は、情景10(標的領域としての)にスペックルパターンを放射する、スペックル放射部1310(例えば、赤外線、紫外線、および/または可視光の)と、情景10内の物体12の表面上のスペックルパターンの画像を捕捉する、撮像部1320とを含む。   Referring to FIG. 12C, in some implementations, the 3-D image sensor 450 includes a three-dimensional (3D) speckle camera 1300 that enables image mapping through speckle decorrelation. Speckle camera 1300 emits a speckle pattern to scene 10 (as a target area), speckle emitter 1310 (eg, of infrared, ultraviolet, and / or visible light) and object 12 of scene 10. And an imaging unit 1320 that captures an image of the speckle pattern on the surface.

スペックル放射部1310は、拡散器1314に、および反射、ひいては情景10へのスペックルパターンとしての投射のために反射器1316上に光ビームを放射する、レーザ等の光源1312を含んでもよい。撮像部1320は、CCDまたはCMOSベースの画像センサ等の光検出器1326のアレイを有する画像センサ1324上に画像を結像させる、対物光学素子1322を含んでもよい。スペックル放射部1310および撮像部1320の光学軸は、同一直線上であるように示されているが、非相関モードでは、例えば、スペックル放射部1310および撮像部1320の光学軸はまた、非同一直線上であってもよく、一方、相互相関モードでは、例えば、撮像軸が放射軸からずれるという具合であってもよい。   Speckle emitter 1310 may include a light source 1312, such as a laser, that emits a light beam onto diffuser 1314 and onto reflector 1316 for reflection and thus for projection as a speckle pattern onto scene 10. The imaging unit 1320 may include an objective optical element 1322 that forms an image on an image sensor 1324 having an array of light detectors 1326 such as a CCD or CMOS based image sensor. The optical axes of the speckle radiation unit 1310 and the imaging unit 1320 are shown to be on the same straight line, but in the uncorrelated mode, for example, the optical axes of the speckle radiation unit 1310 and the imaging unit 1320 are also non It may be co-linear, while in cross-correlation mode, for example, the imaging axis may be offset from the emission axis.

スペックル放射部1310は、情景10にスペックルパターンを放射し、撮像部1320は、スペックル放射部1310から広範の異なる物体距離Znでの、情景10内のスペックルパターンの基準画像を捕捉する(例えば、Z軸は、撮像部1320の光学軸によって画定することができる)。示される実施例では、Z1、Z2、Z3等と標識される基準位置等、原点から異なる、それぞれの距離の連続平面で、投射されるスペックルパターンの基準画像が捕捉される。基準画像間の距離ΔZは、閾値距離(例えば、5mm)に設定されてもよい、またはコントローラ500によって調節可能であってもよい(例えば、トリガされる事象に応えて)。スペックルカメラ1300は、スペックルパターンのスペックル放射部1310からの距離との非相関を可能にして、後続画像に捕捉される物体12の測距を実施するために、捕捉される基準画像を保管し、それぞれの放射距離にインデックスを付ける。例えば、ΔZが隣接する基準距離Z1、Z2、Z3、...、の間の距離とほぼ同等であると仮定すると、位置ZAの物体12上のスペックルパターンを、Z2で捕捉されるスペックルパターンの基準画像と相関させることができる。その一方で、例えば、ZBの物体12上のスペックルパターンは、Z3の基準画像と相関させることができる。これらの相関計測は、原点からの物体12の近似距離をもたらす。物体12を3次元にマップするために、スペックルカメラ1300またはスペックルカメラ1300から情報を受信するコントローラ500は、最も近い合致をもたらした基準画像との局所相互相関を使用することができる。 The speckle radiation unit 1310 emits a speckle pattern to the scene 10, and the imaging unit 1320 captures a reference image of the speckle pattern in the scene 10 at a wide range of different object distances Z n from the speckle radiation unit 1310. (For example, the Z-axis may be defined by the optical axis of the imaging unit 1320). In the illustrated embodiment, a reference image of the projected speckle pattern is captured at successive planes of different distances from the origin, such as reference positions labeled Z 1 , Z 2 , Z 3 etc. The distance ΔZ between reference images may be set to a threshold distance (eg, 5 mm) or may be adjustable by controller 500 (eg, in response to a triggered event). Speckle camera 1300 allows for decorrelation of the speckle pattern with the distance from speckle radiation 1310 to perform ranging of the object 12 captured in the subsequent image, the captured reference image Store and index each radial distance. For example, reference distances Z 1 , Z 2 , Z 3 ,. . . , The speckle pattern on the object 12 at position Z A can be correlated with the reference image of the speckle pattern captured at Z 2 . On the other hand, for example, the speckle pattern on the object 12 of the ZB can be correlated with the reference image of Z 3. These correlation measurements yield an approximate distance of the object 12 from the origin. In order to map object 12 in three dimensions, controller 500 receiving information from speckle camera 1300 or speckle camera 1300 can use local cross correlation with the reference image that resulted in the closest match.

例えば、本明細書に記載されるものと組み合わせることが可能であり得る、三角測量または非相関を使用するスペックル相互相関を介したスペックル測距を使用した3D画像マッピングにおける他の詳細および特徴は、内容全体が参照することによって本明細書に組み込まれる、PCT特許出願第PCT/IL2006/000335号に見ることができる。   For example, other details and features in 3D image mapping using speckle ranging via speckle cross-correlation using triangulation or decorrelation that may be combined with those described herein Can be found in PCT Patent Application No. PCT / IL2006 / 000335, the entire content of which is incorporated herein by reference.

図12Dは、スペックルカメラ1300を動作させるための動作の例となる配設1400を提供する。動作は、情景10にスペックルパターンを放射すること(1402)と、スペックル放射部1310から異なる距離での、基準画像(例えば、基準物体12の)を捕捉すること(1404)とを含む。動作は、情景10内の標的物体12にスペックルパターンを放射すること(1406)と、物体12上のスペックルパターンの標的画像を捕捉すること(1408)とをさらに含む。動作は、標的画像(スペックルされた物体の)を異なる基準画像と比較して、標的物体12上のスペックルパターンと最も強く相関する基準パターンを特定すること(1410)と、情景10内の標的物体12の推定される距離範囲を判定すること(1412)とをさらに含む。これは、物体12上の一次スペックルパターンを判定することと、物体12上の一次スペックルパターンと最も強く相関するスペックルパターンを有する基準画像を発見することとを含んでもよい。基準画像の対応する距離から、距離範囲を判定することができる。   FIG. 12D provides an example arrangement 1400 of operations for operating speckle camera 1300. The operations include emitting a speckle pattern to scene 10 (1402) and capturing a reference image (e.g., of reference object 12) at different distances from speckle emitting portion 1310 (1404). The operation further includes emitting a speckle pattern to the target object 12 in the scene 10 (1406) and capturing a target image of the speckle pattern on the object 12 (1408). The operation compares the target image (of the speckled object) with a different reference image to identify (1410) a reference pattern that most strongly correlates with the speckle pattern on the target object 12; And determining 1412 an estimated distance range of the target object 12. This may include determining a primary speckle pattern on the object 12 and finding a reference image having a speckle pattern that most strongly correlates with the primary speckle pattern on the object 12. A range of distances can be determined from the corresponding distance of the reference image.

動作は、任意選択により、例えば、情景内の物体12の位置を判定するために、物体12上のスペックルパターンと識別される基準パターンとの間の局所相互相関によって、物体12の表面の3Dマップを構築すること(1414)を含む。これは、物体の3次元(3D)マップを得るために、物体12上の一次スペックルパターンを判定することと、標的画像内の物体12の複数の領域上の一次スペックルパターンと特定された基準画像内の一次スペックルパターンとの間のそれぞれのオフセットを発見することとを含んでもよい。情景の3Dマッピングへの固体状態構成要素の使用は、ロボットナビゲーションシステムの比較的安価な解決策を提供する。   The motion is optionally 3D of the surface of object 12 by local cross-correlation between the speckle pattern on object 12 and a reference pattern identified, for example to determine the position of object 12 in the scene. Includes building 1414 maps. This is determined by determining a primary speckle pattern on the object 12 and obtaining a primary speckle pattern on multiple regions of the object 12 in the target image to obtain a three-dimensional (3D) map of the object. And V. finding each offset between the primary speckle pattern in the reference image. The use of solid state components for 3D mapping of scenes provides a relatively inexpensive solution for robotic navigation systems.

典型的に、異なる、それぞれの距離のうちの少なくともいくつかは、それぞれの距離での一次スペックルパターンの軸長さより長く軸方向に離れている。標的画像を基準画像と比較することは、標的画像と基準画像のうちの少なくともいくつかのそれぞれとの間のそれぞれの相互相関を算出することと、標的画像との最大のそれぞれの相互相関を有する基準画像を選択することとを含んでもよい。   Typically, at least some of the different respective distances are axially separated longer than the axial length of the primary speckle pattern at each respective distance. Comparing the target image with the reference image comprises calculating respective cross-correlations between the target image and at least some of each of the reference images and having a maximum respective cross-correlation with the target image Selecting a reference image.

動作は、(例えば、継続的に)情景10内の物体12の動きを追跡するために、動作1402〜1412または動作1406〜1412を繰り返すこと(1416)と、任意選択により動作1414とを含んでもよい。例えば、スペックルカメラ1300は、基準画像との比較のために、物体12が移動している間、連続標的画像を捕捉してもよい。   The actions may include repeating actions 1402-1412 or actions 1406-1412 (1416) to optionally track movement of object 12 in scene 10 (e.g., continuously), and optionally, action 1414. Good. For example, speckle camera 1300 may capture continuous target images while object 12 is moving for comparison with a reference image.

本明細書に記載されるものと組み合わせることが可能であり得る、スペックル測距を使用する3D画像マッピングにおける他の詳細および特徴は、内容全体が参照することによって本明細書に組み込まれる、米国特許第7,433,024号、名称が「Depth Mapping Using Projected Patterns」の米国特許出願公開第2008/0106746号、名称が「Depth Mapping Using Projected Patterns」の米国特許出願公開第2010/0118123号、名称が「Modeling Of Humanoid Forms From Depth Maps」の米国特許出願公開第2010/0034457号、名称が「Depth Mapping Using Multi−Beam Illumination」の米国特許出願公開第2010/0020078号、名称が「Optical Designs For Zero Order Reduction」の米国特許出願公開第2009/0185274号、名称が「Three−Dimensional Sensing Using Speckle Patterns」の米国特許出願公開第2009/0096783号、名称が「Depth Mapping Using Projected Patterns」の米国特許出願公開第2008/0240502号、および名称が「Depth−Varying Light Fields For Three Dimensional Sensing」の米国特許出願公開第2008/0106746号に見ることができる。   Other details and features in 3D image mapping using speckle ranging that may be combined with those described herein are incorporated herein by reference in their entirety. Patent No. 7,433,024, U.S. Patent Application Publication No. 2008/0106746 entitled "Depth Mapping Using Projected Patterns", U.S. Patent Application Publication No. 2010/0118123 No. "Depth Mapping Using Projected Patterns", Title US Patent Application Publication No. 2010/0034457 of “Modeling Of Humanoid Forms From Depth Maps”, entitled “Depth Mapping Using M US Patent Application Publication No. 2010/0020078 of ulti-Beam Illumination, US Patent Application Publication No. 2009/0185274 of “Optical Designs For Zero Order Reduction”, US of “Three-Dimensional Sensing Using Speckle Patterns” Patent Application Publication No. 2009/0096783, US Patent Application Publication No. 2008/0240502 entitled “Depth Mapping Using Projected Patterns”, and US Patent Application Publication No. 2008 entitled “Depth-Varying Light Fields For Three Dimensional Sensing” / 0 No. 106,746.

図12Eを参照すると、いくつかの実現形態では、3−D撮像センサ450は、深度画像データを取得するための3D飛行時間(TOF)カメラ1500を含む。3D TOFカメラ1500は、光源1510と、相補型金属酸化物半導体(CMOS)センサ1520(または電荷結合デバイス(CCD))と、レンズ1530と、光源1510およびCMOSセンサ1520と通信している、処理資源を有する制御論理またはカメラコントローラ1540(および/またはロボットコントローラ500)とを含む。光源1510は、周期的高周波信号によって変調される強度を伴う、レーザまたは発光ダイオード(LED)であってもよい。いくつかの実施例では、光源1510は、集束レンズ1512を含む。CMOSセンサ1520は、各ピクセル検出器1522が、その上に衝突する光子エネルギーの強度および位相を検出することができる、ピクセル検出器1522のアレイ、またはピクセル検出器1522の他の配設を含んでもよい。いくつかの実施例では、各ピクセル検出器1522は、関連ピクセル検出器1522の検出電荷出力を処理するための専用検出器回路1524を有する。レンズ1530は、1つ以上の関心物体12を含有する情景10から反射される光を、CMOSセンサ1520上に集束させる。カメラコントローラ1540は、CMOSセンサ1520によって取得されるピクセルデータを深度マップおよび明度画像に形式化する、一連の動作を提供する。いくつかの実施例では、また、3D TOFカメラ1500は、入力/出力(IO)1550(例えば、ロボットコントローラ500と通信している)、メモリ1560、ならびに/またはカメラコントローラ1540および/もしくはピクセル検出器1522(例えば、検出器回路1524)と通信しているクロック1570も含む。   Referring to FIG. 12E, in some implementations, the 3-D imaging sensor 450 includes a 3D time-of-flight (TOF) camera 1500 for acquiring depth image data. The 3D TOF camera 1500 communicates with a light source 1510, a complementary metal oxide semiconductor (CMOS) sensor 1520 (or charge coupled device (CCD)), a lens 1530, a light source 1510, and a CMOS sensor 1520. Control logic or camera controller 1540 (and / or robot controller 500). The light source 1510 may be a laser or a light emitting diode (LED) with an intensity modulated by a periodic high frequency signal. In some embodiments, light source 1510 includes focusing lens 1512. CMOS sensor 1520 may also include an array of pixel detectors 1522, or other arrangement of pixel detectors 1522, where each pixel detector 1522 can detect the intensity and phase of photon energy impinging thereon Good. In some embodiments, each pixel detector 1522 has a dedicated detector circuit 1524 for processing the detected charge output of the associated pixel detector 1522. Lens 1530 focuses light reflected from scene 10 containing one or more objects of interest 12 onto CMOS sensor 1520. Camera controller 1540 provides a series of operations that format pixel data acquired by CMOS sensor 1520 into depth maps and lightness images. In some embodiments, 3D TOF camera 1500 may also include input / output (IO) 1550 (eg, in communication with robot controller 500), memory 1560, and / or camera controller 1540 and / or pixel detector Also included is a clock 1570 in communication with 1522 (eg, detector circuit 1524).

図12Fは、3D TOFカメラ1500を動作させるための動作の例となる配設1600fを提供する。動作は、光パルス(例えば、赤外線、紫外線、および/または可視光)を情景10に放射すること(1602f)と、光パルスの飛行時間の時間計測を開始すること(例えば、クロック1570のクロックパルスをカウントすることによって)(1604f)とを含む。動作は、情景10内の物体12の1つ以上の表面から放射される光の反射を受けること(1606f)を含む。反射は、光源1510から異なる距離Znで、物体12の表面から反射されてもよい。反射は、レンズ1530を通してCMOSセンサ1520のピクセル検出器1522上に受けとられる。動作は、CMOSセンサ1520の各対応するピクセル検出器1522上に受けとられる、各光パルス反射の飛行時間を受信すること(1608f)を含む。光パルスの往復飛行時間(TOF)中、各それぞれのピクセル検出器1522の検出器回路1523のカウンタは、クロックパルスを蓄積する。より大きい数のクロックパルスの蓄積は、より長いTOF、およびしたがって、撮像される物体12上の光反射点と光源1510との間のより大きい距離を表す。動作は、それぞれの受けとられる光パルス反射の物体12の反射面の間の距離を判定すること(1610f)と、任意選択により、3次元物体表面を構築すること(1612f)とをさらに含む。いくつかの実現形態では、動作は、動作1602f〜1610fを繰り返すこと(1614f)と、任意選択により、情景10内の物体12の移動を追跡するための1612fとを含む。 FIG. 12F provides an example arrangement 1600f of operations for operating the 3D TOF camera 1500. The operation is to emit a light pulse (e.g. infrared, ultraviolet and / or visible light) to the scene 10 (1602f) and to start the time measurement of the time of flight of the light pulse (e.g. And (1604f). The operations include receiving a reflection of light emitted from one or more surfaces of object 12 in scene 10 (1606f). The reflections may be reflected from the surface of object 12 at different distances Z n from light source 1510. The reflection is received through lens 1530 onto pixel detector 1522 of CMOS sensor 1520. Operation includes receiving time of flight of each light pulse reflection received on each corresponding pixel detector 1522 of CMOS sensor 1520 (1608f). During the round-trip time-of-flight (TOF) of the light pulse, the counter of the detector circuit 1523 of each respective pixel detector 1522 accumulates clock pulses. The accumulation of a larger number of clock pulses represents a longer TOF, and thus a greater distance between the light reflection point on the object 12 to be imaged and the light source 1510. The operation further includes determining the distance between the reflective surfaces of the objects 12 of the received light pulse reflection (1610f) and optionally constructing the three-dimensional object surface (1612f). In some implementations, operations include repeating operations 1602f-1610f (1614f), and optionally 1612f to track movement of object 12 within scene 10.

本明細書に記載されるものと組み合わせることが可能であり得る、3D飛行時間撮像における他の詳細および特徴は、内容全体が参照することによって本明細書に組み込まれる、名称が「CMOS Compatible 3−D Image Sensor」の米国特許第6,323,942号、名称が「Methods for CMOS−Compatible Three−Dimensional Image Sensing Using Quantum Efficiency Modulation」の米国特許第6,515,740号、および名称が「Method and System to Enhance Dynamic Range Conversion Usable with CMOS Three−Dimensional Imaging」のPCT特許出願第PCT/US02/16621号に見ることができる。   Other details and features in 3D time-of-flight imaging, which may be combinable with those described herein, are referred to as “CMOS Compatible 3--3”, which is incorporated herein by reference in its entirety. U.S. Patent No. 6,323,942 of D Image Sensor, U.S. Patent No. 6,515,740 of Methods for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulation, and Name: System to Enhance Dynamic Range Conversion Usable with CMOS Three-Dimens It can be found in PCT Patent Application No. PCT / US02 / 16621 of onal Imaging ".

いくつかの実現形態では、3−D撮像センサ450は、3つのタイプの情報、すなわち(1)深度情報(例えば、CMOSセンサ1520の各ピクセル検出器1522から情景12上の対応する位置までの)、(2)各ピクセル検出器位置での周囲光強度、および(3)各ピクセル検出器位置でのアクティブ照明強度を提供する。深度情報は、特に物体の近接からロボット配備現場に関して、検出される物体12の位置が経時的に追跡されるようにすることを可能にする。アクティブ照明強度および周囲光強度は、異なるタイプの明度画像である。アクティブ照明強度は、標的物体12から反射されるアクティブ光(光源1510によって提供されるもの等)の反射から捕捉される。周囲光画像は、標的物体12から反射される周囲光のものである。2つの画像は、共に、特に照明条件が悪い際(例えば、暗すぎるか、または過度の周囲照明)に、追加の強固性を提供する。   In some implementations, the 3-D imaging sensor 450 provides three types of information: (1) depth information (eg, from each pixel detector 1522 of the CMOS sensor 1520 to the corresponding location on the scene 12) , (2) provide ambient light intensity at each pixel detector location, and (3) provide active illumination intensity at each pixel detector location. The depth information allows the position of the object 12 to be detected to be tracked over time, particularly with respect to the proximity of the object to the robot deployment site. Active illumination intensity and ambient light intensity are different types of lightness images. Active illumination intensity is captured from reflections of active light (such as that provided by light source 1510) reflected from target object 12. The ambient light image is that of the ambient light reflected from the target object 12. The two images together provide additional robustness, especially when the lighting conditions are poor (eg too dark or excessive ambient lighting).

情景10内の物体12の位置を分類し、検出するために、画像区分化および分類アルゴリズムが使用されてもよい。これらのアルゴリズムによって提供される情報、ならびに撮像センサ450から取得される距離計測情報は、ロボットコントローラ500または他の処理資源によって使用することができる。撮像センサ450は、周囲光をフィルタ処理するために、フォトダイオードの感度を変調するための技法を含む、飛行時間の原理に基づき、およびより具体的には、情景10から反射される、調節された光パターンにおける検出可能な位相遅延に基づき、動作することができる。   Image segmentation and classification algorithms may be used to classify and detect the position of the object 12 in the scene 10. The information provided by these algorithms, as well as the distance measurement information obtained from imaging sensor 450 may be used by robot controller 500 or other processing resources. The imaging sensor 450 is adjusted based on the time-of-flight principle, and more specifically, reflected from the scene 10, including techniques for modulating the sensitivity of the photodiode to filter ambient light. It can operate based on detectable phase delay in the light pattern.

ロボット100は、1)マッピング、位置特定&ナビゲーション、2)物体検出&物体回避(ODOA)、3)物体探索(例えば、人を発見するための)、4)ジェスチャ認識(例えば、コンパニオンロボットのための)、5)人&顔検出、6)人追跡、7)ロボット100による物体の操作の監視、およびロボット100の自律的動作のための他の好適な用途に、撮像センサ450を使用してもよい。   The robot 100 has 1) mapping, localization & navigation, 2) object detection & object avoidance (ODOA), 3) object search (e.g. for finding people), 4) gesture recognition (e.g. for companion robots) ), 5) human & face detection, 6) human tracking, 7) monitoring the manipulation of objects by the robot 100, and other suitable applications for autonomous operation of the robot 100, using the imaging sensor 450 It is also good.

いくつかの実現形態では、3−D画像センサ450のうちの少なくとも1つは、ロボット100上の地面の上方の1フィート(約30.5cm)または2フィート(約61cm)を超える高さに位置付けられ、かつロボットの移動方向の床面を含む空間体積から点群を取得することができる(全方向性駆動システム200を介して)ように方向付けられる、体積点群撮像デバイス(スペックルまたは飛行時間カメラ等)であってもよい。図1および図3に示される実施例では、第1の3−D画像センサ450aを、基部120上の地面の上方の1または2フィートを超える高さ(または地面の約1または2フィート上方の高さ)に位置付け、駆動している間、床を含む体積の画像(例えば、体積点群)を捕捉するように、順駆動方向Fに沿って照準を定める(例えば、障害物検出および障害物回避のために)ことができる。ロボット100に隣接する空間体積から骨格認識および画定点群を取得することができるように、頭部160上に搭載された(例えば、地面の上方の約3または4フィートを超える高さに)、第2の3−D画像センサ450bが示されている。コントローラ500は、捕捉される体積点群のデータを解析するために、骨格/デジタル認識ソフトウェアを実行してもよい。   In some implementations, at least one of the 3-D image sensors 450 is positioned at a height above one foot (about 30.5 cm) or two feet (about 61 cm) above the ground on the robot 100 Volume point cloud imaging device (speckle or flight, directed so that point clouds can be obtained (via omnidirectional drive system 200) from a space volume that includes the floor surface in the direction of movement of the robot It may be a time camera or the like. In the embodiment shown in FIGS. 1 and 3, the first 3-D image sensor 450a may be located at a height of more than one or two feet above the ground on the base 120 (or about one or two feet above the ground). Aiming along the forward drive direction F (eg obstacle detection and obstacles) so as to capture an image of the volume including the floor (eg volume point cloud) while positioning and driving at height) It can be done). Mounted on the head 160 (e.g., at a height of more than about 3 or 4 feet above the ground) so that skeleton recognition and definition points can be obtained from the space volume adjacent to the robot 100; A second 3-D image sensor 450b is shown. The controller 500 may execute skeletal / digital recognition software to analyze captured volumetric point cloud data.

周囲光条件に関わらず、撮像センサ450を使用して、物体12を適切に感知することは、重要であり得る。多くの環境では、照明条件は、直接日光から、明るい蛍光照明、ぼんやりとした影まで広い範囲におよび、物体12の表面質感および基本的な反射率に大きい変化をもたらす可能性がある。照明は、所与の位置内で、および情景10から情景10でも同様に変化する可能性がある。いくつかの実現形態では、全ての状況において、周囲光条件からの比較的小さい影響を伴って(例えば、周囲光排除)、人および物体12を識別し、解像するために、撮像センサ450を使用することができる。   Properly sensing the object 12 using the imaging sensor 450 may be important, regardless of ambient light conditions. In many circumstances, the lighting conditions can range from direct sunlight to bright fluorescent lighting, overshadowed shadows, and can result in large changes in the surface texture and basic reflectivity of the object 12. The illumination may vary as well within a given location and from scene 10 to scene 10 as well. In some implementations, in all situations, imaging sensor 450 may be used to identify and resolve person and object 12 with relatively minor effects from ambient light conditions (e.g., ambient light rejection). It can be used.

いくつかの実現形態では、撮像センサ450のVGA解像度は、水平640ピクセル×垂直480ピクセルであるが、しかしながら、320×240(例えば、短距離センサでは)のような他の解像度も同様に可能である。   In some implementations, the VGA resolution of imaging sensor 450 is 640 horizontal pixels by 480 vertical pixels, however, other resolutions such as 320 by 240 (eg, for short range sensors) are possible as well. is there.

撮像センサ450は、パルスレーザと、特定の範囲内のみの物体12を見るために、タイムドメインにおける帯域通過フィルタとしての機能を果たす、カメラアイリスとを含んでもよい。異なる距離の物体12aを検出するために、撮像センサ450の可変アイリスを使用することができる。さらに、屋外用途では、より高い電力のレーザパルスを発することができる。   The imaging sensor 450 may include a pulsed laser and a camera iris that acts as a band pass filter in the time domain to view the object 12 only within a certain range. The variable iris of the imaging sensor 450 can be used to detect objects 12a of different distances. Furthermore, in outdoor applications, higher power laser pulses can be emitted.

いくつかの実現形態では、ロボットは、ロボット100を包囲する領域の音響撮像のためのソナースキャナ460を含む。図1および図3に示される実施例では、ソナースキャナ460は、基部本体120の前方部分上に配置される。   In some implementations, the robot includes a sonar scanner 460 for acoustic imaging of the area surrounding the robot 100. In the embodiment shown in FIGS. 1 and 3, the sonar scanner 460 is disposed on the front portion of the base body 120.

図1、図3B、および図11Bを参照すると、いくつかの実現形態では、ロボット100は、冗長感知のためにレーザスキャナまたはレーザ距離計440を、ならびに安全のために後ろを向くソナー近接センサ410jを使用し、これらの両方は、地面Gに対して平行に配向される。ロボット100は、ロボット100の周囲の環境の強固な感知を提供するように、第1および第2の3−D画像センサ450a、450b(深度カメラ)を含んでもよい。第1の3−D画像センサ450aは、胴部140上に固定角度で下向きに地面Gを指すように搭載される。第1の3−D画像センサ450aを下向きに角度付けることによって、ロボット100は、ロボット100の前方向への短期移動に関連する、ロボット100の直前または隣接領域における高密度センサ対応範囲を受容する。後ろを向くソナー410jは、ロボットが後方移動するときに物体検出を提供する。ロボット100にとって、後方移動が典型的である場合、ロボット100は、ロボット100の直後または隣接領域における高密度センサ対応範囲を提供するように、下方および後方を向く第3の3D画像センサ450を含んでもよい。   With reference to FIGS. 1, 3B, and 11B, in some implementations, the robot 100 may use a laser scanner or laser rangefinder 440 for redundant sensing, and a sonar proximity sensor 410j that is directed backward for safety. , Both of which are oriented parallel to the ground G. The robot 100 may include first and second 3-D image sensors 450a, 450b (depth cameras) to provide robust sensing of the environment around the robot 100. The first 3-D image sensor 450 a is mounted on the torso 140 so as to point the ground G downward at a fixed angle. By angling the first 3-D image sensor 450a downwards, the robot 100 receives a high density sensor coverage in the area immediately before or adjacent to the robot 100 that is associated with short term travel of the robot 100 in the forward direction. . Backwards-facing sonar 410 j provides object detection as the robot moves backwards. For the robot 100, where backward movement is typical, the robot 100 includes a third 3D image sensor 450 pointing downward and backward so as to provide high density sensor coverage immediately following or adjacent to the robot 100. May be.

第2の3−D画像センサ450bは、首部150を介して回動および傾斜することができる頭部160上に搭載される。第2の3−D画像センサ450bは、人オペレータが、ロボット100が進行している場所を見ることを可能にするため、遠隔駆動に有用であり得る。首部150は、オペレータが、近い物体および離れた物体の両方を見るように、第2の3−D画像センサ450bを傾斜および/または回動させることを可能にする。第2の3−D画像センサ450bを回動させることは、関連水平視界を増加させる。高速移動中、ロボット100は、3−D画像センサ450a、450bの両方の総体的または複合視界を増加させるように、およびロボット100が障害物を回避するのに十分な時間を与えるように(より速い速度が、概して、障害物に反応する時間がより短いことを意味するため)、第2の3−D画像センサ450bをわずかに下向きに傾斜させてもよい。より低い速度では、ロボット100は、ロボット100が追従するように意図されている個人を追跡するように、第2の3−D画像センサ450bを上向きに、または地面Gに対して略平行に傾斜させてもよい。さらに、比較的低速で駆動している間、ロボット100は、ロボット100の周囲のその視界を増加させるように、第2の3−D画像センサ450bを回動させることができる。ロボットが、ロボットの知覚範囲を拡大するように駆動しているときに、第1の3−D画像センサ450aは、固定されたままとなることができる(例えば、基部120に対して移動させられない)。   The second 3-D image sensor 450 b is mounted on the head 160 which can be pivoted and tilted via the neck 150. The second 3-D image sensor 450b may be useful for remote actuation as it allows a human operator to see where the robot 100 is moving. The neck 150 allows the operator to tilt and / or pivot the second 3-D image sensor 450b to look at both near and far objects. Rotating the second 3-D image sensor 450b increases the associated horizontal visibility. During high speed movement, the robot 100 may increase the overall or combined view of both the 3-D image sensors 450a, 450b, and provide sufficient time for the robot 100 to avoid obstacles (more The second 3-D image sensor 450b may be tilted slightly downward because high speed generally means that the time to react to obstacles is shorter). At lower speeds, the robot 100 tilts the second 3-D image sensor 450 b upward, or approximately parallel to the ground G, so as to track the individual that the robot 100 is intended to follow You may Further, while driving at a relatively low speed, the robot 100 can pivot the second 3-D image sensor 450b to increase its field of view around the robot 100. The first 3-D image sensor 450a can remain fixed (eg, moved relative to the base 120) when the robot is driving to expand the robot's perceived range Absent).

いくつかの実現形態では、3−D画像センサ450のうちの少なくとも1つは、地面より上側の1フィート(約30.5cm)または2フィート(約61cm)以上の高さで(または地面より上側の約1または2フィートの高さで)ロボット100上に位置付けられ、かつ(全方向性駆動システム200を介して)ロボットの移動方向の床面を含む空間体積から点群を取得することができるように方向付けられる、体積点群撮像デバイス(スペックルまたは飛行時間カメラ等)であり得る。図1および図3に示される実施例では、第1の3−D画像センサ450aは、地面より上側の1または2フィート以上の高さで基部120上に位置付け、(例えば、障害物検出および障害物回避のために)駆動している間に、床を含む体積の画像(例えば、体積点群)を捕捉するように、順駆動方向Fに沿って照準を定めることができる。ロボット100に隣接する空間体積から骨格認識および画定点群を取得することが可能であるよう、(例えば、地面より上側の約3フィート(約91cmまたは4フィート(約122cm)より高い高さで)頭部160上に搭載された、第2の3−D画像センサ450bが示されている。コントローラ500は、捕捉された体積点群のデータを解析するように、骨格/デジタル認識ソフトウェアを実行してもよい。   In some implementations, at least one of the 3-D image sensors 450 is at a height greater than or equal to 1 foot or 2 feet above ground (or above ground) The point cloud can be obtained from a space volume that is located on the robot 100 at a height of about 1 or 2 feet and includes the floor surface in the direction of movement of the robot (via the omnidirectional drive system 200) It may be a volume point cloud imaging device (such as a speckle or time-of-flight camera) that is oriented as such. In the embodiment shown in FIGS. 1 and 3, the first 3-D image sensor 450a is positioned on the base 120 at a height of one or more feet above ground and (eg, obstacle detection and failure) While driving (for object avoidance), aiming along the forward driving direction F can be made to capture an image of the volume including the floor (e.g., a group of volume points). (E.g., to be about 3 feet above the ground (at a height greater than about 91 cm or 4 feet) so that it is possible to obtain skeletal recognition and definition points from the space volume adjacent to the robot 100 A second 3-D image sensor 450b is shown mounted on the head 160. The controller 500 executes skeletal / digital recognition software to analyze captured volume point cloud data May be

図2および4A〜4Cを再び参照すると、センサシステム400は、ロボット100の全体重心CGRに対するロボット100の慣性モーメントを測定および監視するように、コントローラ500と通信している慣性計測ユニット(IMU)470を含んでもよい。 2 and 4A~4C again, the sensor system 400, to measure and monitor the moment of inertia of the robot 100 for the total center of gravity CG R of the robot 100, an inertial measurement unit in communication with the controller 500 (IMU) And 470 may be included.

コントローラ500は、正常な妨害されていない動作に対応する閾値信号から、IMU470からのフィードバックにおけるいかなる逸脱も監視し得る。例えば、ロボットが直立位置から離れるように傾き始める場合、「タックルされた」、または別様に邪魔された、あるいは誰かが重い搭載物を突然追加した可能性がある。これらの状況では、ロボット100の安全な動作を保証するために、緊急動作(回避機動、再較正、および/または音声/視覚警告の発行を含むが、これらに限定されない)を講じる必要があり得る。   Controller 500 may monitor any deviation in feedback from IMU 470 from threshold signals corresponding to normal unhindered operation. For example, if the robot starts to tilt away from the upright position, it may be that it was "tackled", or otherwise disturbed or someone suddenly added a heavy load. In these situations, it may be necessary to take emergency action (including, but not limited to, avoidance maneuvers, recalibration, and / or the issue of audio / visual alerts) to ensure the safe operation of the robot 100. .

ロボット100は、人間環境内で動作し得るため、人とやりとりし、人向けに設計された(かつロボット制約が考慮されていない)空間内で動作してもよい。ロボット100は、カクテルパーティまたは混み合った病院等の混雑した、制約された、または極めて動的な環境内にあるときに、その駆動速度および加速を制限することができる。しかしながら、ロボット100は、誰もいない長い廊下のような比較的高速で駆動することが安全であるが、誰かがロボットの運動経路を横切る際に依然として突然減速することができる状況に遭遇し得る。   The robot 100 may operate in a human environment, so it may interact with humans and operate in a space designed for humans (and without consideration of robot constraints). The robot 100 can limit its drive speed and acceleration when in a crowded, constrained or extremely dynamic environment such as a cocktail party or a crowded hospital. However, while it is safe for the robot 100 to drive at relatively high speeds, such as long corridors without anyone, it may encounter situations where someone can still suddenly decelerate as it traverses the robot's motion path.

停止から加速するときに、コントローラ500は、ロボットが倒れるのを防止するように、その全体重心CGRからのロボット100の慣性モーメントを考慮してもよい。コントローラ500は、その現在の慣性モーメントを含む、その姿勢のモデルを使用してもよい。搭載物が支持されるときに、コントローラ500は、全体重心CGRへの負荷影響を計測し、ロボットの移動の慣性モーメントを監視してもよい。例えば、胴部140および/または首部150は、歪みを計測する歪みゲージを含んでもよい。これが可能ではない場合、コントローラ500は、安全限界を実験的に判定するために、駆動車輪210に試験トルクコマンドを適用し、IMU470を使用してロボットの実際の線形加速および角加速を計測してもよい。 When accelerating from a stop, the controller 500, so as to prevent the robot from falling down, it may be considered the moment of inertia of the robot 100 from the total center-of-gravity CG R. Controller 500 may use a model of its pose, including its current moment of inertia. When the payload is supported, the controller 500 measures the load impact on the overall center of gravity CG R, may monitor the moment of inertia of the movement of the robot. For example, the torso 140 and / or the neck 150 may include strain gauges that measure strain. If this is not possible, the controller 500 applies a test torque command to the drive wheel 210 to determine the safety limit experimentally, and measures the actual linear and angular acceleration of the robot using the IMU 470 It is also good.

突然の減速中、第2および第3の駆動車輪210b、210c(後輪)へのコマンドされた負荷が低減される一方で、第1の駆動車輪210a(前輪)は、順駆動方向に滑動し、ロボット100を支持する。第2および第3の駆動車輪210b、210c(後輪)の負荷が非対称である場合、ロボット100は、「偏揺れ」する場合があり、これは、動的安定性を低減させる。この偏揺れを検出し、第2および第3の駆動車輪210b、210cに、ロボット100を再配向するようコマンドするために、IMU470(例えば、ジャイロ)を使用することができる。   During sudden deceleration, commanded loads on the second and third drive wheels 210b, 210c (rear wheels) are reduced while the first drive wheels 210a (front wheels) slide in the forward drive direction , Supports the robot 100. If the loads on the second and third drive wheels 210b, 210c (rear wheels) are asymmetrical, the robot 100 may "yaw", which reduces dynamic stability. An IMU 470 (eg, a gyro) may be used to detect this yaw and command the second and third drive wheels 210b, 210c to reorient the robot 100.

図3〜4Cおよび6Aを参照すると、いくつかの実現形態では、ロボット100は、複数のアンテナを含む。示される実施例では、(アンテナは、脚部130、胴部140、首部150、および/または頭部160等のロボット100の任意の他の部分に配置されてもよいが)ロボット100は、両方とも基部120上に配置される、第1のアンテナ490aと、第2のアンテナ490bとを含む。複数のアンテナの使用は、堅調な信号受信および伝送を提供する。複数のアンテナの使用は、通信性能を向上させるための伝送機および/または受信機用の複数のアンテナの使用である、多重入力および多重出力またはMIMOを、ロボット100に提供する。MIMOは、さらなる帯域幅または伝送電力を伴わずに、データスループットおよびリンク範囲の有意な増加を提供する。それは、より高いスペクトル効率(帯域幅の1ヘルツにつき毎秒より多くのビット)およびリンク確実性または多様性(低減したフェーディング)によって、これを達成する。これらの特性により、MIMOは、IEEE 802.11n(Wifi)、4G、3GPPロングタームエボリューション、WiMAX、およびHSPA+等の現代の無線通信規格の重要な一部である。さらに、ロボット100は、近くに存在するの他の電子デバイス用のWi−Fiブリッジ、ハブ、またはホットスポットの役割を果たすことができる。ロボット100の可動性およびMIMOの使用は、ロボットが比較的非常に確実なWi−Fiブリッジになることを可能にすることができる。   Referring to FIGS. 3-4C and 6A, in some implementations, the robot 100 includes multiple antennas. In the illustrated embodiment (although the antenna may be disposed on any other part of the robot 100 such as the legs 130, the torso 140, the neck 150, and / or the head 160) both A first antenna 490a and a second antenna 490b both disposed on the base 120. The use of multiple antennas provides robust signal reception and transmission. The use of multiple antennas provides robot 100 with multiple inputs and multiple outputs or MIMO, which is the use of multiple antennas for transmitters and / or receivers to improve communication performance. MIMO provides a significant increase in data throughput and link range without additional bandwidth or transmit power. It achieves this with higher spectral efficiency (more bits per second of hertz of bandwidth) and link certainty or diversity (reduced fading). Because of these properties, MIMO is an important part of modern wireless communication standards such as IEEE 802.11n (Wifi), 4G, 3GPP Long Term Evolution, WiMAX, and HSPA +. In addition, the robot 100 can act as a Wi-Fi bridge, hub, or hotspot for other nearby electronic devices. The mobility of the robot 100 and the use of MIMO can allow the robot to become a relatively very secure Wi-Fi bridge.

MIMOは、プリコーディング、空間多重化またはSM、およびダイバーシティコーディングの、3つの主要なカテゴリに細分化することができる。プリコーディングは、一種のマルチストリームビーム形成であり、送信機で発生する全ての空間処理であると見なされる。(単層)ビーム形成では、信号電力が受信機入力において最大限化されるように、適切な位相(および時には利得)重み付けを伴って、同一の信号が、伝送アンテナのそれぞれから発信される。ビーム形成の利点は、異なるアンテナから発信された信号を建設的に加算させることによって、受信した信号利得を増大させること、およびマルチパスフェーディング効果を低減させることである。散乱がない場合、ビーム形成は、明確な指向性パターンをもたらすことができる。受信機が複数のアンテナを有するとき、伝送ビーム形成は、受信アンテナの全てにおいて信号レベルを同時に最大限化することができず、複数のストリームを伴うプリコーディングを使用することができる。プリコーディングは、伝送機においてチャネル状態情報(CSI)の知識を必要とし得る。   MIMO can be subdivided into three main categories: precoding, spatial multiplexing or SM, and diversity coding. Precoding is a type of multi-stream beamforming and is considered to be all spatial processing that occurs at the transmitter. In (single-layer) beamforming, the same signal is emitted from each of the transmit antennas with appropriate phase (and sometimes gain) weighting so that the signal power is maximized at the receiver input. The advantage of beamforming is to increase the received signal gain and reduce multipath fading effects by making the signals emitted from different antennas constructively add. If there is no scattering, beamforming can result in a clear directivity pattern. When the receiver has multiple antennas, transmit beamforming can not simultaneously maximize the signal level at all of the receive antennas and can use precoding with multiple streams. Precoding may require knowledge of channel state information (CSI) at the transmitter.

空間多重化は、MIMOアンテナ構成を必要とする。空間多重化では、高速信号が、複数の低速ストリームに分割され、各ストリームは、同一周波数チャネルで異なる伝送アンテナから伝送される。これらの信号が、十分に異なる空間形跡を伴う受信機アレイに着信する場合、受信機は、これらのストリームを(ほぼ)並列のチャネルに分離することができる。空間多重化は、より高い信号対雑音比(SNR)でチャネル容量を増加させるための非常に強力な技法である。空間ストリームの最大数は、伝送機または受信機におけるアンテナの数の少ないほうによって制限される。空間多重化は、伝送チャネルの知識を用いて、または用いることなく、使用することができる。空間多重化はまた、空間分割多元接続として知られている、同時伝送に使用することもできる。異なる空間形跡を伴う受信機を予定に入れることによって、良好な分離可能性を確保することができる。   Spatial multiplexing requires a MIMO antenna configuration. In spatial multiplexing, a high speed signal is split into multiple low speed streams, each stream being transmitted from different transmit antennas on the same frequency channel. If these signals arrive at a receiver array with sufficiently different spatial evidence, the receiver can separate the streams into (approximately) parallel channels. Spatial multiplexing is a very powerful technique to increase channel capacity with higher signal to noise ratio (SNR). The maximum number of spatial streams is limited by the smaller number of antennas at the transmitter or receiver. Spatial multiplexing can be used with or without knowledge of the transmission channel. Spatial multiplexing can also be used for simultaneous transmission, known as space division multiple access. By scheduling receivers with different spatial evidence, good separability can be ensured.

ダイバーシティコーディング技法は、伝送機にチャネルの知識がない時に使用することができる。ダイバーシティ方法では、(空間多重化における複数のストリームとは違って)単一のストリームが伝送されるが、信号は、時空間符号化と呼ばれる技法を使用して符号化される。信号は、完全または近直交符号化を用いて、伝送アンテナから発信される。ダイバーシティコーディングは、信号のダイバーシティを強化するために、複数のアンテナリンクで独立したフェーディングを利用する。チャネルの知識がないため、ダイバーシティコーディングからのビーム形成またはアレイ利得はない。空間多重化はまた、伝送機においてチャネルが把握されているときに、プリコーディングと組み合わせることもでき、または復号の確実性がトレードオフであるときに、ダイバーシティコーディングと組み合わせることもできる。   Diversity coding techniques can be used when the transmitter does not have knowledge of the channel. In the diversity method, a single stream is transmitted (as opposed to multiple streams in spatial multiplexing), but the signal is encoded using a technique called space-time coding. The signal is emitted from the transmit antenna using full or near orthogonal coding. Diversity coding utilizes independent fading on multiple antenna links to enhance signal diversity. Because there is no knowledge of the channel, there is no beamforming or array gain from diversity coding. Spatial multiplexing may also be combined with precoding when the channel is known at the transmitter, or with diversity coding when decoding certainty is a trade-off.

いくつかの実現形態では、ロボット100は、それぞれ、第3のアンテナ490cおよび/または第4のアンテナ490dと、胴部140および/または頭部160とを含む(例えば、図3参照)。そのような場合において、コントローラ500は、(例えば、胴部140を上昇または下降させること、および/または頭部160を回動および/または傾斜すること等によって、アンテナ490a−dを移動させることによって)堅調な通信のための閾値信号レベルを達成するアンテナ配設を決定することができる。例えば、コントローラ500は、胴部140の高さを上昇させることによって、第3および第4のアンテナ490c、490dを高めるようにコマンドを発行することができる。また、コントローラ500は、頭部160を回転させるように、および/または他のアンテナ490a〜cに対して第4のアンテナ490dをさらに配向するようにコマンドを発行することができる。   In some implementations, the robot 100 includes a third antenna 490c and / or a fourth antenna 490d and a torso 140 and / or a head 160, respectively (see, eg, FIG. 3). In such a case, controller 500 may move antennas 490a-d (eg, by raising or lowering barrel 140 and / or pivoting and / or tilting head 160, etc.) ) Antenna placement can be determined to achieve threshold signal levels for robust communication. For example, the controller 500 can issue a command to raise the third and fourth antennas 490c, 490d by raising the height of the body 140. Also, the controller 500 can issue commands to rotate the head 160 and / or to further orient the fourth antenna 490d with respect to the other antennas 490a-c.

図13を参照すると、いくつかの実現形態では、コントローラ500は、相互と通信している制御調停システム510aと、挙動システム510bとを含む、制御システム510を実行する。制御調停システム510aは、アプリケーション520を制御システム510に動的に追加すること、およびそれから削除することを可能にし、アプリケーション520が、いずれかの他のアプリケーション520について知る必要なく、それぞれにロボット100を制御することを可能にすることを促進する。換言すれば、制御調停システム510aは、ロボット100のアプリケーション520と資源530との間での簡単な優先制御機構を提供する。資源530には、駆動システム200、センサシステム400、および/またはコントローラ500と通信している任意の搭載物もしくは制御可能なデバイスが挙げられる。   Referring to FIG. 13, in some implementations, the controller 500 executes a control system 510 that includes a control arbitration system 510a and a behavior system 510b in communication with each other. Control arbitration system 510a allows applications 520 to be dynamically added to and removed from control system 510, each without requiring robot 520 to know about any other application 520. Promote to make it possible to control. In other words, the control arbitration system 510a provides a simple priority control mechanism between the application 520 of the robot 100 and the resource 530. Resources 530 may include drive system 200, sensor system 400, and / or any load or controllable device in communication with controller 500.

アプリケーション520は、ロボット100(例えば、プロセッサ)上で同時に実行し、ロボット100を同時に制御するように、ロボット100のメモリ内に記憶することができる、またはそれに通信することができる。アプリケーション520は、挙動システム510bの挙動600にアクセスしてもよい。独立して配備されるアプリケーション520は、実行時に動的に、かつロボット100のロボット資源530(例えば、駆動システム200、腕部(単数または複数)、頭部(単数または複数)等)を共有するように組み合わせられる。アプリケーション520の間で実行時にロボット資源530を動的に共有するために、低レベルポリシーが実装される。ポリシーは、どのアプリケーション520が、そのアプリケーション520によって要求されるロボット資源530の制御を有するか(例えば、アプリケーション520の間の優先順位階層)を判定する。アプリケーション520は、動的に開始および停止すること、ならびに相互から完全に独立して実行することができる。また、制御システム510は、相互を支援するように共に組み合わせることができる、複雑な挙動600も可能にする。   The application 520 may be simultaneously stored on or in communication with the memory of the robot 100 so as to simultaneously execute on the robot 100 (e.g., a processor) and to control the robot 100 simultaneously. Application 520 may access behavior 600 of behavior system 510b. The independently deployed applications 520 dynamically at runtime and share robot resources 530 of the robot 100 (eg, drive system 200, arm (s), head (s), etc.) Can be combined. Low-level policies are implemented to dynamically share robot resources 530 at runtime between applications 520. The policy determines which application 520 has control of the robot resource 530 required by that application 520 (e.g., a priority hierarchy among the applications 520). The applications 520 can be dynamically started and stopped, and run completely independently of each other. Control system 510 also enables complex behaviors 600 that can be combined together to support one another.

制御調停システム510aは、1つ以上の資源コントローラ540と、ロボットマネージャ550と、1つ以上の制御アービタ560とを含む。これらの構成要素は、共通プロセスまたはコンピュータ内にある必要はなく、いずれかの特定の順序で開始される必要はない。資源コントローラ540構成要素は、アプリケーション520に制御調停システム510aへのインターフェースを提供する。すべての各アプリケーション520のためのこの構成要素のインスタンスが存在する。資源コントローラ540は、認証、分散資源制御アービタ、コマンドバッファリング等の複雑性を取り除き、カプセル化する。ロボットマネージャ550は、任意の特定の時間にどのアプリケーション520がロボット資源530のいずれかの排他的制御を有するかを制御することによって、アプリケーション520の優先順位付けを協調させる。これは、情報の中枢コーディネータであるため、ロボット毎に1つのみ、ロボットマネージャ550のインスタンスが存在する。ロボットマネージャ550は、資源コントローラ540の線形に優先順位付けされた順序を有する、優先順位ポリシーを実装し、ハードウェア制御を提供する、資源制御アービタ560を追跡記録する。制御アービタ560は、すべての各アプリケーション520からコマンドを受信し、アプリケーションの優先順位に基づき、単一のコマンドを生成し、その関連資源530にそれを公開する。また、制御アービタ560は、その関連資源530から状態フィードバックも受信し、それをアプリケーション520まで返送する。ロボット資源530は、1つ以上のハードウェアコントローラを有する、機能モジュールのネットワーク(例えば、アクチュエータ、駆動システム、およびそれらのグループ)であってもよい。制御アービタ560のコマンドは、特定の動作を実施する資源530に特定的である。   Control arbitration system 510 a includes one or more resource controllers 540, a robot manager 550, and one or more control arbiters 560. These components need not be in a common process or computer, and need not be started in any particular order. The resource controller 540 component provides the application 520 with an interface to the control arbitration system 510a. There are instances of this component for all each application 520. The resource controller 540 removes and encapsulates the complexity of authentication, distributed resource control arbiters, command buffering, etc. Robot manager 550 coordinates application 520's prioritization by controlling which application 520 has any exclusive control of robot resource 530 at any particular time. Since this is a central coordinator of information, there is only one instance of robot manager 550 per robot. Robot manager 550 tracks resource control arbiter 560, which implements a priority policy and has hardware control, with a linearly prioritized order of resource controllers 540. Control arbiter 560 receives commands from all each application 520, generates a single command based on the application's priority, and publishes it to its associated resource 530. Control arbiter 560 also receives state feedback from its associated resources 530 and sends it back to application 520. Robot resources 530 may be a network of functional modules (eg, actuators, drive systems, and groups thereof) having one or more hardware controllers. The control arbiter 560 commands are specific to the resource 530 performing a particular operation.

現在のロボットの状態を評価するために、重心(CG)、慣性モーメント、およびロボット100の様々な部分の慣性の外積を算出するように、コントローラ500上で実行可能な動力学モデル570を構成することができる。また、動力学モデル570は、これらの構成要素の形状、重量、および/または慣性モーメントもモデル化してもよい。いくつかの実施例では、動力学モデル570は、ロボット100の様々な重心を計算するために、ロボット100上に配置され、かつコントローラ500と通信している、1つ(例えば、加速度計および/またはジャイロ)の慣性モーメントユニット470(IMU)またはその部分と通信する。コントローラ500は、ロボット100およびその構成要素の動作限界を判定するために、他のプログラム520または挙動600と共に、動力学モデル570を使用することができる。   A dynamic model 570 executable on controller 500 is configured to calculate the outer products of the center of gravity (CG), the moment of inertia, and the inertia of various parts of robot 100 to evaluate the current state of the robot. be able to. The kinetic model 570 may also model the shape, weight, and / or moment of inertia of these components. In some embodiments, the kinetic model 570 may be located on the robot 100 and in communication with the controller 500 (eg, an accelerometer and / or the like) to calculate various centroids of the robot 100. Or communicates with the moment of inertia unit 470 (IMU) or part thereof. The controller 500 can use the kinetic model 570, along with other programs 520 or behaviors 600, to determine the operating limits of the robot 100 and its components.

各アプリケーション520は、動作選択エンジン580と、資源コントローラ540と、動作選択エンジン580に接続される1つ以上の挙動600と、動作選択エンジン580に接続される1つ以上の動作モデル590とを有する。挙動システム510bは、予測モデル化を提供し、挙動600が、ロボット動作の見込まれる結果を評価することによって、ロボットの動作を協働して決定することを可能にする。いくつかの実施例では、挙動600は、複数の源からのセンサフィードバックを、先験的限界および情報と共に、ロボットの許容動作における評価フィードバックに連結する、階層的状態完全評価機能を提供する、プラグイン構成要素である。挙動600は、アプリケーション520にプラグイン可能である(例えば、アプリケーション520の中または外にある)ため、アプリケーション520または制御システム510のいずれかの他の部分を修正することなく、削除および追加することができる。各挙動600は、独立したポリシーである。挙動600をより強力にするために、複雑な組み合わせ機能を有することができるように、複数の挙動600の出力を共に別の入力に添付することが可能である。挙動600は、ロボット100の総合的認識の管理可能な部分を実現することが意図される。   Each application 520 has an operation selection engine 580, a resource controller 540, one or more behaviors 600 connected to the operation selection engine 580, and one or more behavior models 590 connected to the operation selection engine 580 . Behavioral system 510 b provides predictive modeling, allowing behavior 600 to jointly determine robot motion by evaluating the possible consequences of robot motion. In some embodiments, the behavior 600 provides a hierarchical state complete evaluation function that couples sensor feedback from multiple sources, along with a priori limits and information, to evaluation feedback on the robot's allowed motion. It is an in component. As behavior 600 is pluggable into application 520 (e.g., in or out of application 520), removing and adding without modifying application 520 or any other part of control system 510 Can. Each behavior 600 is an independent policy. In order to make the behavior 600 more powerful, it is possible to attach the outputs of multiple behaviors 600 together to another input so that they can have complex combinatorial functions. The behavior 600 is intended to realize a manageable part of the overall recognition of the robot 100.

動作選択エンジン580は、制御システム510の協調要素であり、全ての挙動600の入力を考慮して、最適な動作を検索する、高速最適動作選択サイクル(予測/修正サイクル)を実行する。動作選択エンジン580は、3つの段階、すなわち指名、動作選択検索、および完了を有する。指名段階では、各挙動600は、動作選択サイクルが開始されたことを通知され、サイクル開始時間、現在の状態、およびロボットアクチュエータ空間の限界を提供される。内部ポリシーまたは外部入力に基づき、各挙動600は、この動作選択サイクルに関与することを望むか否かを決定する。この段階中、能動的挙動プリミティブのリストが生成され、この入力は、ロボット100上で実行されるコマンドの選択に影響を及ぼす。   The operation selection engine 580 is a coordinated element of the control system 510 and executes a high speed optimum operation selection cycle (prediction / correction cycle) that searches for the optimum operation in consideration of the inputs of all the behaviors 600. The operation selection engine 580 has three phases: nomination, operation selection search, and completion. In the nominating phase, each behavior 600 is notified that a motion selection cycle has been initiated and is provided with cycle start time, current state, and robot actuator space limits. Based on internal policies or external inputs, each behavior 600 determines whether it wants to participate in this operation selection cycle. During this stage, a list of active behavior primitives is generated, this input affecting the choice of commands to be executed on the robot 100.

動作選択検索段階では、動作選択エンジン580は、また、動作空間とも称される、利用可能な動作の空間から、実現可能な結果を生成する。動作選択エンジン580は、実現可能なコマンド(限界内)のプール、および将来の対象期間の異なる時間ステップでの各コマンドの動作をシミュレーションした結果としての対応する結果を提供するために、動作モデル590を使用する。動作選択エンジン580は、挙動600の結果評価に基づき、好ましい結果を計算し、制御調停システム510aに対応するコマンドを送信し、フィードバックとして選択されるコマンドの動作モデル590を通知する。   In the motion selection search stage, the motion selection engine 580 also generates feasible results from the space of available motions, also referred to as motion space. The behavior selection engine 580 is operable to provide a pool of feasible commands (within limits) and corresponding results as a result of simulating the behavior of each command at different time steps of the future target period. Use The operation selection engine 580 calculates a preferable result based on the result evaluation of the behavior 600, transmits a command corresponding to the control arbitration system 510a, and notifies the operation model 590 of the command selected as feedback.

完了段階では、協働最高スコア結果に対応するコマンドが、ロボット資源530上での実行のために資源コントローラ540に提示される全般コマンドとして、共に組み合わせられる。将来の評価サイクルで使用されるフィードバックとして、能動的挙動600に最適結果が提供される。   At the completion stage, the commands corresponding to the collaborative highest score results are combined together as a general command presented to resource controller 540 for execution on robot resource 530. Optimal results are provided for the active behavior 600 as feedback to be used in future evaluation cycles.

センサシステム400から受信されるセンサ信号は、動作を実行するために、1つ以上の挙動600との対話を生じさせることができる。例えば、制御システム510を使用して、コントローラ500は、それ自体およびロボット100が認知しているロボット100の周囲のいずれかの物体との衝突を回避する、各ロボット構成要素の調整された移動を効率的に達成するように、各ロボット構成要素(例えば、モータまたはアクチュエータ)の動作(または移動コマンド)を、対応する動作空間(例えば、その特定の要素の構成要素の可能な動作または移動の集合)から選択する。内容全体が参照することによって本明細書に組み込まれる、2010年2月16日に出願された、米国特許出願第61/305,069号に記載されるように、コントローラ500は、イーサIOネットワーク等のロボットネットワーク上で、調整されたコマンドを発行することができる。   Sensor signals received from sensor system 400 can cause interaction with one or more behaviors 600 to perform an operation. For example, using control system 510, controller 500 controls the coordinated movement of each robot component to avoid collisions with itself and with any objects around robot 100 that robot 100 is aware of. In order to achieve efficiently, the movement (or movement command) of each robot component (eg motor or actuator), the set of possible movements or movements of the corresponding movement space (eg the component of that particular element) Choose from). As described in US patent application Ser. No. 61 / 305,069, filed Feb. 16, 2010, the entire contents of which are incorporated herein by reference, the controller 500 may be an Ethernet IO network or the like. Coordinated commands can be issued on the robot network of

制御システム510は、ロボット100が領域の周囲を機動する際、異なる構成/位置でのロボット100の安定性を最大限にするために、駆動システム200の適応速度/加速を提供してもよい(例えば、1つ以上の挙動600を介して)。   Control system 510 may provide adaptive speed / acceleration of drive system 200 to maximize stability of robot 100 at different configurations / positions as robot 100 maneuvers around the area ( For example, via one or more behaviors 600).

いくつかの実現形態では、コントローラ500は、進行方向設定および速度設定に従って、ロボット100を推進する駆動システム200にコマンドを発行する。1つ以上の挙動600は、障害物に対処するために、1つが実行するよう選択され得る(単独で、または全般ロボットコマンドとして他のコマンドとの組み合わせで)、実現可能なコマンドの予測結果を評価するために、センサシステム400から受信される信号を使用してもよい。例えば、近接センサ410からの信号は、制御システム510に、ロボット100のコマンドされる速度または進行方向を変更させてもよい。例えば、近隣の壁による近接センサ410からの信号は、制御システム510が減速させるコマンドを発行するという結果をもたらし得る。別の場合では、椅子との遭遇による接触センサ(単数または複数)からの衝突信号は、制御システム510に、進行方向を変更するコマンドを発行させてもよい。他の場合では、接触センサに応えて、ロボット100の速度設定が低減されなくてもよい、および/または近接センサ410に応えて、ロボット100の進行方向設定が変化されなくてもよい。   In some implementations, controller 500 issues commands to drive system 200 that propels robot 100 according to the heading and speed settings. One or more behaviors 600 may be selected to perform one (in isolation or in combination with other commands as a general robot command) to handle obstacles, and to predict the results of feasible commands The signals received from sensor system 400 may be used to evaluate. For example, a signal from proximity sensor 410 may cause control system 510 to change the commanded velocity or heading of robot 100. For example, a signal from the proximity sensor 410 by a nearby wall may result in the control system 510 issuing a command to decelerate. In another case, a collision signal from the touch sensor (s) due to encounter with a chair may cause the control system 510 to issue a command to change the heading. In other cases, the speed setting of the robot 100 may not be reduced in response to the contact sensor, and / or the travel direction setting of the robot 100 may not be changed in response to the proximity sensor 410.

挙動システム510bは、ロボット100の速度設定を調節するように構成される速度挙動600(例えば、プロセッサ上で実行可能な挙動ルーチン)と、ロボット100の進行方向設定を変化させるように構成される進行方向挙動600とを含んでもよい。速度および進行方向挙動600は、同時に、かつ互いに独立して実行するように構成されてもよい。例えば、速度挙動600は、センサ(例えば、一式(単数または複数)の近接センサ410、420)のうちの1つをポーリングするように構成されてもよく、進行方向挙動600は、別のセンサ(例えば、動態隆起センサ)をポーリングするように構成されてもよい。   Behavioral system 510 b is configured to change velocity orientation 600 (e.g., a behavior routine executable on a processor) configured to adjust the velocity settings of robot 100, and to change the orientation of robot 100. And directional behavior 600. The velocity and heading behavior 600 may be configured to execute simultaneously and independently of one another. For example, the velocity behavior 600 may be configured to poll one of the sensors (eg, one or more proximity sensors 410, 420), and the heading behavior 600 may be another sensor (eg, another sensor (eg, one). For example, the dynamic bump sensor may be configured to be polled.

図13および14を参照すると、挙動システム510bは、遠隔操作(例えば、ロボット100を誘導すること)のためにユーザ15が胴部140に触れることに反応するように構成される、胴部タッチ遠隔操作挙動600a(例えば、プロセッサ上で実行可能な挙動ルーチン)を含んでもよい。胴部タッチ遠隔操作挙動600aは、胴部が少なくとも閾値期間(例えば、0.25秒)にわたって接触(例えば、人間の接触)を受けたことをセンサシステム400が検出するときに、アクティブになることができる。例えば、コントローラ500と通信しており、胴部本体145の対応する上部パネル145t、底部パネル145b、前面パネル145f、裏面パネル145b、右パネル145r、および左パネル145lと関連付けられる、運動および/または接触センサ147t、147b、147f、147r、147r、147lが、図6Bおよび6Cに示されるように、運動および/またはそれぞれのパネルとの接触を検出することができる。いったんアクティブになると、胴部タッチ遠隔操作挙動600aは、(例えば、タッチの楕円位置から感知および算出されるような)接触力方向を受けとり、(ホロノミック可動性を利用して)局所X/Y座標において速度コマンドを駆動システム200に発行する。胴部タッチ遠隔操作挙動600aがアクティブである間に、障害物検出および障害物回避挙動がオフにされてもよい。感知したタッチ位置、力、または方向が変化した場合、胴部タッチ遠隔操作挙動600aは、感知した接触力方向と対応するように速度コマンドを変更する。胴部タッチ遠隔操作挙動600aは、センサシステム400が閾値期間(例えば、2秒)にわたってロボット100との接触をもはや感知しなくなるときに、停止ルーチンを実行してもよい。停止ルーチンは、センサシステム400がロボット100との(例えば、胴部140との)接触をもはや感知しなくなった場合に、約0.5秒後に駆動システム200に駆動を停止させてもよい。胴部タッチ遠隔操作挙動600aは、トリガ期間にわたって待機する必要なく、タッチ点の移動を可能にするように、ロボット100の停止における遅延を提供することができる。   Referring to FIGS. 13 and 14, behavior system 510b is configured to respond to a user 15 touching body 140 for remote control (eg, guiding robot 100). An operation behavior 600a (eg, a behavior routine executable on a processor) may be included. The torso touch teleoperation behavior 600a is activated when the sensor system 400 detects that the torso has received contact (eg, human contact) for at least a threshold period (eg, 0.25 seconds). Can. For example, motion and / or contact in communication with the controller 500 and associated with the corresponding top panel 145t, bottom panel 145b, front panel 145f, back panel 145b, right panel 145r, and left panel 145l of the torso body 145 Sensors 147t, 147b, 147f, 147r, 147r, 147l can detect movement and / or contact with the respective panels, as shown in FIGS. 6B and 6C. Once active, the torso touch teleoperation behavior 600a receives a touch force direction (e.g., as sensed and calculated from the elliptical position of the touch) and local X / Y coordinates (using holonomic mobility) Issue a speed command to the drive system 200. The obstacle detection and obstacle avoidance behavior may be turned off while the torso touch remote control behavior 600a is active. When the sensed touch position, force, or direction changes, the torso touch remote control behavior 600a changes the speed command to correspond to the sensed touch force direction. The torso touch teleoperation behavior 600a may perform a stop routine when the sensor system 400 no longer senses contact with the robot 100 for a threshold period (eg, 2 seconds). The stop routine may cause drive system 200 to stop driving after about 0.5 seconds when sensor system 400 no longer senses contact with robot 100 (e.g., with barrel 140). The torso touch teleoperation behavior 600a can provide a delay in stopping the robot 100 to allow movement of the touch point without having to wait for the trigger period.

胴部タッチ遠隔操作挙動600aは、駆動システム200から駆動支援を受けながら、ユーザがロボット100を押すことを可能にする、支援駆動コマンドを駆動システム200に発行してもよい(例えば、自力でロボット100を移動させることができないが、ユーザによるロボット100の移動を支援することができる、部分速度コマンド)。   The torso touch remote operation behavior 600a may issue an assistive drive command to the drive system 200 that allows the user to push the robot 100 while receiving drive assistance from the drive system 200 (e.g. 100 can not move, but can support the movement of the robot 100 by the user, partial velocity command).

胴部タッチ遠隔操作挙動600aは、その一部分が胴部140上に(および頭部160等のロボット100の上の他の場所に)配置され得る、タッチセンサシステム480(例えば、ボタン、容量センサ、接触センサ等)から、センサ信号を受けとってもよい。胴部タッチ遠隔操作挙動600aは、典型的なユーザにとってアクセス可能な高さでタッチセンサシステム480の少なくとも一部分を配置するよう、地面Gから3〜5フィート(約91cm〜152cm)の間の高さHTで胴部140を位置付けてもよい。 The torso touch remote control behavior 600a may be partially disposed on the torso 140 (and elsewhere on the robot 100 such as the head 160), a touch sensor system 480 (eg, a button, a capacitive sensor, A sensor signal may be received from a contact sensor or the like. The torso touch remote control behavior 600a is between 3 and 5 feet from the ground G to position at least a portion of the touch sensor system 480 at a height accessible to a typical user. The body 140 may be positioned by H T.

いくつかの実現形態では、胴部タッチ遠隔操作挙動600aは、ロボット100および特定の姿勢を配置するためのユーザタッチを認識する。例えば、ユーザ15が胴部140を押し下げたときに、センサシステム400は、胴部140への下向きの力を検出し、対応する信号をコントローラ500に送信する。胴部タッチ遠隔操作挙動600aは、胴部140への下向きの力の指示を受信し、制御システム510に、脚部130の高さHLを減少させ、それにより、胴部140の高さHTを減少させるようにコマンドを発行させる。同様に、ユーザ15が胴部140を押し/引き上げたときに、胴部タッチ遠隔操作挙動600aは、センサシステム400から胴部140への上向きの力の指示を受信し、制御システム510に、脚部130の長さHLを増加させ、それにより、胴部140の高さHTを増加させるようにコマンドを発行させる。 In some implementations, the torso touch remote control behavior 600a recognizes the robot 100 and a user touch to place a particular pose. For example, when the user 15 depresses the torso 140, the sensor system 400 detects a downward force on the torso 140 and sends a corresponding signal to the controller 500. The torso touch teleoperation behavior 600a receives an indication of a downward force on the torso 140 and causes the control system 510 to reduce the height H L of the legs 130, thereby causing the torso 140 height H Issue a command to decrease T. Similarly, when the user 15 pushes / pulls the torso 140, the torso touch remote control behavior 600 a receives an indication of an upward force from the sensor system 400 to the torso 140 and the control system 510 to the leg A command is issued to increase the length H L of the portion 130, thereby increasing the height H T of the barrel 140.

ユーザ15が頭部160を押した、引いた、および/または回転させたときに、胴部タッチ遠隔操作挙動600aは、ユーザ動作の指示をセンサシステム400から(例えば、首部150上のひずみゲージ/運動/接触センサ165から)受信し得、制御システム510に、それに従って頭部160を移動させ、その後に姿勢を保持するようにコマンドを発行させることによって、応答してもよい。   When the user 15 presses, pulls, and / or rotates the head 160, the torso touch remote control behavior 600a instructs the user operation from the sensor system 400 (e.g. And the control system 510 may respond by causing the head 160 to move accordingly and then issue a command to hold the pose.

いくつかの実現形態では、ロボット100は、ロボット100のユーザ操作への受動抵抗および/または能動支援を提供する。例えば、モータ138b、152、154が、操作のフィードバック、ならびに胴部140の上昇等の比較的重い構成要素を移動させるための支援をユーザに提供するように、ロボット100のユーザ操作への脚部130および首部150の受動抵抗および/または能動支援を作動させる。これは、対応する構成要素の重量全体を負担する必要なく、ユーザが種々のロボット構成要素を移動させることを可能にする。   In some implementations, robot 100 provides passive resistance and / or active support to user manipulation of robot 100. For example, the legs to the user's manipulation of the robot 100 such that the motors 138b, 152, 154 provide the user with feedback for manipulation as well as assistance for moving relatively heavy components, such as raising the torso 140. Activate passive resistance and / or active support of 130 and neck 150. This allows the user to move the various robot components without having to bear the entire weight of the corresponding component.

挙動システム510bは、ロボット100の注意をユーザに向かって集中させるように構成される、タップ注意挙動600b(例えば、プロセッサ上で実行可能な挙動ルーチン)を含んでもよい。タップ注意挙動600bは、胴部140(またはロボット100の何らかの他の部分)が少なくとも閾値期間(例えば、0.25秒)にわたって接触(例えば、人間の接触)を受けたことをセンサシステム400が検出するときに、アクティブになってもよい。さらに、タップ注意挙動600bは、胴部タッチ遠隔操作挙動600aが非アクティブであるときに、アクティブになるのみであってもよい。例えば、0.2秒間の胴部140上の感知されたタッチは、胴部タッチ遠隔操作挙動600aをトリガしないであろうが、タップ注意挙動600bをトリガするであろう。タップ注意挙動600bは、胴部140上の接触位置を使用し、ユーザを見るように(首部150の作動を介して)頭部160を傾斜および/または回動してもよい。頭部160が、タッチ位置の方向を見ている位置に達したときに、挙動600bの停止基準に達することができる。   Behavioral system 510b may include tap alert behavior 600b (e.g., a behavioral routine executable on a processor) configured to focus the attention of robot 100 towards the user. In the tap caution behavior 600b, the sensor system 400 detects that the body 140 (or some other part of the robot 100) has received contact (eg, human touch) for at least a threshold period (eg, 0.25 seconds). When you do, you may be active. Furthermore, the tap alert behavior 600b may only be active when the torso touch teleoperation behavior 600a is inactive. For example, a sensed touch on the torso 140 for 0.2 seconds will not trigger the torso touch teleoperation behavior 600a, but will trigger the tap attentional behavior 600b. The tap caution behavior 600b may use the contact position on the barrel 140 to tilt and / or pivot the head 160 (via actuation of the neck 150) to look at the user. When the head 160 reaches a position looking towards the touch position, the stopping criteria of the behavior 600b can be reached.

いくつかの実現形態では、挙動システム510bは、駆動システム200が駆動することを停止させる(例えば、ロボット100を停止させる)ように構成される、タップ停止挙動600c(例えば、プロセッサ上で実行可能な挙動ルーチン)を含む。タップ停止挙動600cは、胴部140が接触(例えば、人間の接触)を受けたことをセンサシステム400が検出し、ゼロ速度駆動コマンドを駆動システム200に発行して、あらゆる以前の駆動コマンドをキャンセルするときに、アクティブになってもよい。ロボットが駆動しており、ユーザがそれを停止させることを所望する場合、ユーザは、胴部140(またはロボット100の何らかの他の部分)またはタッチセンサをタップすることができる。いくつかの実施例では、タップ停止挙動600cは、胴部タッチ遠隔操作挙動600aおよびタップ注意挙動600b等のより高い優先順位の挙動がアクティブではない場合のみ、起動することができる。タップ停止挙動600cは、センサシステム400が胴部140(またはロボット100の上の他の場所)上のタッチをもはや検出しなくなると、終了してもよい。   In some implementations, behavior system 510b may be configured to stop drive system 200 from driving (eg, stop robot 100), tap stop behavior 600c (eg, executable on a processor) Behavior routine). The tap stop behavior 600 c causes the sensor system 400 to detect that the barrel 140 has received a touch (eg, a human touch) and issues a zero speed drive command to the drive system 200 to cancel any previous drive commands. When you do, you may be active. When the robot is driving and the user desires to stop it, the user can tap on the torso 140 (or some other part of the robot 100) or touch sensor. In some embodiments, the tap stop behavior 600c can be activated only if higher priority behaviors such as the torso touch teleoperation behavior 600a and the tap attention behavior 600b are not active. The tap stop behavior 600c may end when the sensor system 400 no longer detects a touch on the torso 140 (or elsewhere on the robot 100).

いくつかの実現形態では、ロボット100は、ウェブパッド310とコントローラ500(および/またはロボット100の他の構成要素)との間の通信を可能にするために、ブリッジとも呼ばれる仲介セキュリティデバイス350(図9)を含む。例えば、ブリッジ350は、ウェブパッド通信プロトコルからロボット通信プロトコル(例えば、ギガバイト容量を有するイーサネット(登録商標))へウェブパッド310の通信を変換してもよい。ブリッジ350は、ウェブパッド310を認証し、ウェブパッド310とコントローラ500との間の通信変換を提供してもよい。いくつかの実施例では、ブリッジ350は、ウェブパッド310とロボット100との間の任意の通信トラフィックを承認/立証する、承認チップ352を含む。ブリッジ350は、ロボット100と通信しようとして、承認されたウェブパッド310をチェックしたときに、コントローラ500に通知してもよい。また、承認後、ブリッジ350は、通信承認をウェブパッド310に通知してもよい。ブリッジ350は、首部150または頭部(図2および3に示されるように)上に、あるいはロボット100の上の他の場所に配置されてもよい。   In some implementations, the robot 100 is an intermediary security device 350 (also referred to as a bridge, to enable communication between the web pad 310 and the controller 500 (and / or other components of the robot 100) 9). For example, the bridge 350 may convert the communication of the web pad 310 from a web pad communication protocol to a robotic communication protocol (e.g., Ethernet with gigabyte capacity). The bridge 350 may authenticate the web pad 310 and provide communication conversion between the web pad 310 and the controller 500. In some embodiments, bridge 350 includes an approval chip 352 that approves / provides any communication traffic between web pad 310 and robot 100. The bridge 350 may notify the controller 500 when it checks the approved web pad 310 in an attempt to communicate with the robot 100. Also, after approval, the bridge 350 may notify the web pad 310 of communication approval. The bridge 350 may be placed on the neck 150 or head (as shown in FIGS. 2 and 3) or elsewhere on the robot 100.

セッション初期化プロトコル(SIP)は、インターネットプロトコル(IP)上の音声およびビデオ通話等のマルチメディア通信セッションを制御するために広く使用されている、IETFで定義された信号伝達プロトコルである。本プロトコルは、1つまたは複数のメディアストリームを含む、2者(ユニキャスト)または多数共同(マルチキャスト)セッションを生成し、修正し、および終了させるために使用することができる。修正は、アドレスまたはポートを変更すること、より多くの参加者を招待すること、およびメディアストリームを削除または追加することを伴うことができる。他の実行可能なアプリケーション例は、テレビ会議、ストリーミングマルチメディア配信、インスタントメッセージング、プレゼンス情報、ファイル転送等を含む。ボイスオーバーインターネットプロトコル(ボイスオーバーIP、VoIP)は、インターネット等のインターネットプロトコル(IP)上で音声通信およびマルチメディアセッションを送達するための一群の方法、通信プロトコル、および伝送技術の一部である。頻繁に遭遇し、しばしばVoIPと同意語として使用される他の用語は、IPテレフォニ、インターネットテレフォニ、ボイスオーバーブロードバンド(VoBB)、ブロードバンドテレフォニ、およびブロードバンド電話である。   Session Initialization Protocol (SIP) is an IETF-defined signaling protocol that is widely used to control multimedia communication sessions such as voice and video calls over the Internet Protocol (IP). The protocol can be used to create, modify, and terminate two-way (unicast) or multi-party (multicast) sessions, including one or more media streams. The modifications may involve changing the address or port, inviting more participants, and deleting or adding media streams. Other possible application examples include video conferencing, streaming multimedia delivery, instant messaging, presence information, file transfer, etc. Voice over Internet Protocol (Voice over IP, VoIP) is part of a group of methods, communication protocols, and transmission technologies for delivering voice communications and multimedia sessions over Internet Protocol (IP), such as the Internet. Other terms frequently encountered and often used as synonyms for VoIP are IP Telephony, Internet Telephony, Voice over Broadband (VoBB), Broadband Telephony, and Broadband Telephones.

図15は、ロボット100を通して通信を開始して行うためのブリッジ350との対話を含む、電話通信例を提供する。電話AのSIPが、SIPアプリケーションサーバに電話をかける。SIPが、VoIPのダイヤル機能を呼び出し、HTTP Post要求をVoIPウェブサーバに送信させる。HTTP Post要求は、コールバック機能のように挙動してもよい。SIPアプリケーションサーバは、呼出音を電話Aに送信し、通話が開始されたことを示す。VoIPサーバは、PSTNを介して、HTTP Post要求に含有されたコールバック番号への通話を開始する。コールバック番号は、SIPアプリケーションサーバへコールバックを送るように構成される、SIP DIDプロバイダ上で終了する。SIPアプリケーションサーバは、着信通話を電話Aの発信通話と合致させ、OK応答で両方の通話に応じる。メディアセッションが、電話AとSIP DIDプロバイダとの間で確立される。電話Aは、VoIPによって生成される人工的な呼出音を聞いてもよい。いったんコールバック行程が応答されたことをVoIPが検証すると、(ブリッジ350を介して)ロボット100等の宛先へのPSTN通話を開始する。ロボット100は、通話に応じ、VoIPサーバは、SIP DIDプロバイダからのメディアをロボット100からのメディアと橋渡しする。   FIG. 15 provides an example of telephone communication including interaction with the bridge 350 to initiate and conduct communication through the robot 100. The phone A's SIP calls the SIP application server. The SIP calls the VoIP dial function and sends an HTTP Post request to the VoIP web server. The HTTP Post request may behave like a callback function. The SIP application server sends a ringing tone to phone A to indicate that the call has been initiated. The VoIP server initiates a call to the callback number contained in the HTTP Post request via the PSTN. The callback number terminates on the SIP DID provider, which is configured to send the callback to the SIP application server. The SIP application server matches the incoming call with the outgoing call of phone A and answers both calls with an OK response. A media session is established between phone A and a SIP DID provider. Phone A may listen to the artificial ringing tone generated by VoIP. Once VoIP verifies that the callback process has been answered, it initiates a PSTN call to a destination such as robot 100 (via bridge 350). The robot 100 responds to the call, and the VoIP server bridges the media from the SIP DID provider with the media from the robot 100.

図16A〜16Dは、ロボット100(またはコントローラ500あるいは駆動システム200等のその一部分)と、コンピューティングデバイス310(着脱可能、または頭部160に固定して取り付け可能)と、クラウド1620(クラウドコンピューティング用)と、ポータル1630とを含み得る、例となるロボットシステムアーキテクチャ1600、1600a−dの概略図を提供する。   16A-16D illustrate the robot 100 (or a portion of the controller 500 or drive system 200, etc.), the computing device 310 (removable or fixedly attachable to the head 160), and the cloud 1620 (cloud computing) And provides a schematic of an example robotic system architecture 1600, 1600a-d, which may include a portal 1630 and a portal 1630.

ロボット100は、可動性(例えば、駆動システム200)と、コントローラ500上で実行される制御システム510(図13)等の確実で安全かつ安定したロボット知能システムと、電源105と、感知システム400と、コントローラ500と通信しているマニピュレータを用いた随意的な操作とを含み得る、種々のコアロボット特徴を提供することができる。制御システム510は、頭部および速度制御、本体姿勢制御、ナビゲーション、およびコアロボットアプリケーションを提供することができる。感知システム400は、(例えば、カメラ320を介した)視覚、(例えば、3−D撮像センサ450を介した)深度マップ撮像、衝突の検出、障害物の検出および障害物回避、および/または(例えば、慣性計測ユニット470を介した)慣性計測を提供することができる。   The robot 100 is movable (eg, drive system 200), a secure, safe and stable robot intelligence system such as control system 510 (FIG. 13) implemented on controller 500, power supply 105, sensing system 400 Various core robot features can be provided, which can include, optional manipulation with a manipulator in communication with controller 500. Control system 510 can provide head and speed control, body attitude control, navigation, and core robot applications. The sensing system 400 may include vision (eg, via the camera 320), depth map imaging (eg, via the 3-D imaging sensor 450), collision detection, obstacle detection and obstacle avoidance, and / or ( For example, inertial measurement can be provided via inertial measurement unit 470.

コンピューティングデバイス310は、タブレットコンピュータ、電話または携帯情報端末等の携帯用電子デバイス、あるいはデータ処理力のないタブレットまたはディスプレイ(例えば、ロボット本体110内の原子スケールPC用のモニタの役割を果たすタブレット)であってもよい。いくつかの実施例では、タブレットコンピュータは、ユーザインターフェースを表示し、ユーザ入力を受けとるためのタッチスクリーンを有することができる。コンピューティングデバイス310は、セキュリティ、薬剤コンプライアンス、テレプレゼンス、挙動の指導、ソーシャルネットワーキング、アクティブアラーム、住宅管理等のための(例えば、メモリの中に記憶され、プロセッサ上で実行可能な)ソフトウェアアプリケーションを含み得る、1つ以上のロボットアプリケーション1610を実行してもよい。コンピューティングデバイス310は、通信能力(例えば、安全な無線接続性および/またはセルラー通信)、精密アプリケーション開発ツール、音声認識、および個人または物体認識能力を提供してもよい。コンピューティングデバイス310は、いくつかの実施例では、Google, Inc.によって提供されているAndroid、Apple, Inc.によって提供されているiPad OS、他のスマートフォンオペレーティングシステム、またはRSS A2等の特殊ロボットオペレーティングシステム等の相互作用/COMS装備オペレーティングシステムを利用する。   The computing device 310 may be a tablet computer, a portable electronic device such as a telephone or a personal digital assistant, or a tablet or display without data processing capability (e.g. a tablet serving as a monitor for an atomic scale PC in the robot body 110) It may be In some embodiments, the tablet computer can have a touch screen for displaying a user interface and receiving user input. The computing device 310 may be a software application (eg, stored in memory and executable on a processor) for security, drug compliance, telepresence, behavior instruction, social networking, active alarms, home management, etc. One or more robotic applications 1610 may be executed, which may be included. Computing device 310 may provide communication capabilities (eg, secure wireless connectivity and / or cellular communications), precision application development tools, speech recognition, and personal or object recognition capabilities. The computing device 310 may, in some embodiments, be Google, Inc. Provided by Android, Apple, Inc. Use an interactive / COMS equipped operating system such as an iPad OS, other smart phone operating systems, or a special robot operating system such as RSS A2.

クラウド1620は、クラウドコンピューティングおよび/またはクラウド記憶装置能力を提供する。クラウドコンピューティングは、インターネットベースのコンピューティングを提供してもよく、それにより、共有サーバが、要求に応じて、資源、ソフトウェア、およびデータをコンピュータおよび他のデバイスに提供する。例えば、クラウド1620は、サービス抽象化層と、その上でインスタンス化されたサーバ仮想マシン上のハイパーテキスト転送プロトコルラッパとを含み得る、少なくとも1つのサーバコンピューティングデバイスを含むクラウドコンピューティングサービスであってもよい。サーバコンピューティングデバイスは、HTTP要求を解析し、HTTP応答を送信するように構成されてもよい。クラウドコンピューティングは、データおよびアプリケーションを維持するためにインターネットおよび中央遠隔サーバを使用する技術であってもよい。クラウドコンピューティングは、ユーザが、インストールを伴わずにアプリケーション1610にアクセスして使用し、インターネットアクセスを用いて任意のコンピュータにおける個人ファイルにアクセスすることを可能にすることができる。クラウドコンピューティングは、記憶、メモリ、処理、および帯域幅を集中させることによって、比較的効率的なコンピューティングを可能にする。クラウド1620は、(例えば、CPUおよびメモリ使用量を解放することによって)ロボットソフトウェア要件を低減させながら、拡張性のあるオンデマンド計算能力、記憶、および帯域幅を提供することができる。クラウド1620へのロボット接続性は、基地局に戻るようにロボット100に要求することなく、ロボット動作および利用履歴の自動データ収集を可能にする。さらに、経時的な連続データ収集が、マーケティング、製品開発、および支援のためにデータマイニングすることができる、豊富なデータをもたらすことができる。   Cloud 1620 provides cloud computing and / or cloud storage capabilities. Cloud computing may provide Internet-based computing, whereby a sharing server provides resources, software, and data to computers and other devices on demand. For example, cloud 1620 is a cloud computing service that includes at least one server computing device that may include a service abstraction layer and a hypertext transfer protocol wrapper on a server virtual machine instantiated thereon. It is also good. The server computing device may be configured to parse the HTTP request and send an HTTP response. Cloud computing may be a technology that uses the Internet and a central remote server to maintain data and applications. Cloud computing can allow a user to access and use the application 1610 without installation and to access personal files on any computer using Internet access. Cloud computing enables relatively efficient computing by concentrating storage, memory, processing, and bandwidth. Cloud 1620 can provide scalable on-demand computing power, storage, and bandwidth while reducing robot software requirements (eg, by releasing CPU and memory usage). Robot connectivity to the cloud 1620 enables automated data collection of robot motion and usage history without requiring the robot 100 to return to the base station. In addition, continuous data collection over time can yield a wealth of data that can be data mined for marketing, product development, and support.

クラウド記憶装置1622は、データが、概して第三者によってホストされる複数の仮想サーバ上に記憶される、ネットワークコンピュータデータ記憶装置のモデルであり得る。ロボット100とクラウド1620との間の通信を提供することによって、ロボット100によって収集される情報を、ウェブベースの情報ポータルを介して認定ユーザによって安全に閲覧することができる。   Cloud storage 1622 may be a model of network computer data storage in which data is stored on a plurality of virtual servers hosted generally by third parties. By providing communication between the robot 100 and the cloud 1620, the information collected by the robot 100 can be safely viewed by authorized users via a web-based information portal.

ポータル1630は、個人情報、住宅状態情報、およびロボット状態情報等の情報を収集および/または提供するためのウェブベースのユーザポータルであってもよい。情報は、さらなる機能および資源をユーザおよび/またはロボット100に提供するように、第三者情報と一体化することができる。ロボットシステムアーキテクチャ1600は、前向きなデータ収集を促進することができる。例えば、コンピューティングデバイス310上で実行されるアプリケーション1610は、ロボット100によって行われる動作および/または(感知システム400を使用して)ロボット100によって閲覧される個人または環境についてのデータおよびレポートを収集してもよい。このデータは、ロボット100の一意の特性であり得る。   Portal 1630 may be a web-based user portal for collecting and / or providing information such as personal information, housing status information, and robot status information. The information can be integrated with third party information to provide additional functionality and resources to the user and / or the robot 100. Robot system architecture 1600 can facilitate positive data collection. For example, application 1610 running on computing device 310 may collect data and reports about the operations performed by robot 100 and / or the individuals or environments viewed by robot 100 (using sensing system 400) May be This data may be a unique characteristic of the robot 100.

いくつかの実施例では、ポータル1630は、ワールドワイドウェブ上の個人用ポータルウェブサイトである。ポータル1630は、個人化能力および他のコンテンツへの経路を提供してもよい。ポータル1630は、いくつかの異なるソースからサービスを提供するために、分散アプリケーション、異なる数およびタイプのミドルウェアおよびハードウェアを使用してもよい。加えて、事業用ポータル1630は、職場で協調動作を共有し、パーソナルコンピュータ、携帯情報端末(PDA)、および携帯電話/移動式電話等の複数のプラットフォーム上で使用可能なコンテンツを提供してもよい。情報、ニュース、および更新が、ポータル1630を通して送達され得るコンテンツの実施例である。個人用ポータル1630は、ソーシャルネットワーク上で友達に情報を提供すること、または他者に役立ち得る外部コンテンツへのリンクを提供すること等の任意の特定のトピックに関係してもよい。   In some embodiments, portal 1630 is a personal portal website on the World Wide Web. Portal 1630 may provide a personalization ability and a path to other content. Portal 1630 may use distributed applications, different numbers and types of middleware and hardware to provide services from several different sources. In addition, the business portal 1630 can share collaborative activities at work and provide content that can be used on multiple platforms such as personal computers, personal digital assistants (PDAs), and mobile / mobile phones Good. Information, news, and updates are examples of content that may be delivered through portal 1630. The personal portal 1630 may relate to any particular topic, such as providing information to friends on social networks or providing links to external content that may be useful to others.

「高密度データ」対「低密度データ」および「高密度特徴」対「低密度特徴」は、本明細書では、空間データセットに関して言及される。当業者がそのような用語を意味するように解釈するであろうことから意味を制限または縮小することなく、「高密度」対「低密度」は、概して、空間表現あたりの多くのデータ点対少ないデータ点を意味し、特に、以下を意味してもよい。   "High density data" versus "low density data" and "high density features" versus "low density features" are referred to herein for spatial data sets. Without limiting or reducing the meaning as one skilled in the art would interpret to mean such terms, “high density” versus “low density” generally means many data point pairs per spatial representation It means fewer data points, and in particular it may mean:

(i)2−D画像データ、または2−Dデータおよび範囲を含む3−D「画像」との関連で、「高密度」画像データは、ピクセルがほぼ完全に投入された、あるいは損失および/または元の画像捕捉(略非圧縮、未加工、または無劣化圧縮画像を含む)からのアーチファクタを実質的に伴わずにピクセルにラスタライズされることが可能な画像データを含み一方、「低密度」画像は、画像が量子化され、サンプリングされ、劣化圧縮され、ベクター化され、(例えば、スーパーピクセル、ノード、縁、表面、関心点、ボクセルに)セグメント化され、または別様に元の捕捉からの忠実性がかなり低減させられる、あるいは画像を表すようにピクセルにラスタライズされる際に補間されなければならないものである。   (I) "Dense" image data, in the context of 2-D image data, or 3-D "image", including 2-D data and range, the pixels were almost completely populated, or Or “low density,” including image data that can be rasterized into pixels with substantially no arch factor from the original image capture (including nearly uncompressed, raw, or uncorrupted compressed images) The image is quantized, sampled, degraded compressed, vectorized, segmented (eg, into superpixels, nodes, edges, surfaces, points of interest, voxels) or otherwise original capture. The fidelity of the image is significantly reduced, or must be interpolated when rasterized into pixels to represent the image.

(ii)2−Dまたは3−D特徴との関連で、「高密度特徴」は、全て検出および記録することができる、検出アプローチの解決まで、ほぼ非制約的にデータ投入される特徴、および/またはサブ画像にわたって多くの特徴(HOG、ウェーブレット)を収集するように認識される検出器によって認識される特徴であり得、「低密度特徴」は、特徴入力、側方抑制、および/または特徴選択の数において、数が意図的に制約され得、および/または画像内の限定数の分離した点(Harrisコーナー、縁、Shi−Tomasi)を識別するように認識される検出器によって認識され得る。   (Ii) In the context of 2-D or 3-D features, "high density features" can all be detected and recorded, almost unconstrainedly populated features until resolution of the detection approach, and And / or may be features recognized by a detector that is recognized to collect many features (HOGs, wavelets) across sub-images, "low density features" being feature inputs, lateral suppression, and / or features In the number of choices, the number may be intentionally constrained and / or recognized by a detector that is recognized to identify a limited number of separated points (Harris corners, edges, Shi-Tomasi) in the image .

3−D環境構造に関して、ロボット100は、作業表面5の周囲で動きながら、ロボット100の周囲の情景10の高密度画像1611等の画像を獲得してもよい。いくつかの実現形態では、ロボット100は、高密度画像1611を取得するためにカメラ320および/または撮像センサ450(例えば、体積点群撮像デバイス)を使用する。カメラ320および/またはセンサ450と通信しているコントローラ500は、加速度計データ追跡、走行距離計測データおよび/またはタイムスタンプとともにセンサシステム400からの他のデータ等の情報1613を、高密度画像1611と関連付ける(例えば、高密度画像1611をデータで注釈またはタグを付ける)ことができる。いくつかの実施例では、ロボット100は、高密度画像1615のストリーミングシーケンス1615を捕捉し、高密度画像シーケンス1615を注釈データ1613で注釈を付け、注釈付き高密度画像シーケンス1615aを提供する。ロボット100は、作業時間にわたって潜在的に非常に大きい画像データセット1603を蓄積することができるクラウド記憶装置1622へ、(例えば、コントローラ500またはウェブパッド310を介して)定期的に画像データ1601を伝送してもよい。画像データ1601は、未加工センサデータ(例えば、点群または信号あるいは高密度画像シーケンス1615)または注釈付き高密度画像シーケンス1615a等のタグ付きデータ(例えば、Java Script Object Notation(JSON)オブジェクト等を用いた、特性または属性を有するデータオブジェクト)であってもよい。クラウドサービス1620は、受信した画像データ1601(例えば、高密度画像シーケンス1615または注釈付き高密度画像シーケンス1615a)を処理し、処理したデータセット1617をロボット100に、例えば、コントローラ500および/またはウェブパッド310に返信してもよい。ロボット100は、情景10の周囲で操作するために、受信した処理済みデータセット1617に基づいて、(例えば、コントローラ500またはウェブパッド310を介して)駆動コマンド1619を駆動システム200に発行してもよい。   With regard to the 3-D environment structure, the robot 100 may acquire images such as high density images 1611 of the scene 10 around the robot 100 while moving around the work surface 5. In some implementations, the robot 100 uses a camera 320 and / or an imaging sensor 450 (eg, a volume point cloud imaging device) to acquire high density images 1611. The controller 500 in communication with the camera 320 and / or the sensor 450 may include information 1613 such as accelerometer data tracking, distance measurement data and / or other data from the sensor system 400 along with the time stamp, with the high density image 1611 One may associate (eg, annotate or tag high density image 1611 with data). In some embodiments, the robot 100 captures a streaming sequence 1615 of high density images 1615, annotates the high density image sequences 1615 with annotation data 1613, and provides an annotated high density image sequence 1615a. The robot 100 periodically transmits image data 1601 (eg, via the controller 500 or the web pad 310) to a cloud storage device 1622 that can store potentially very large image data sets 1603 over working time You may Image data 1601 may be used as raw sensor data (eg, point cloud or signal or high density image sequence 1615) or tagged data such as annotated high density image sequence 1615a (eg, Java Script Object Notation (JSON) objects, etc. Data object having characteristics or attributes). Cloud service 1620 processes received image data 1601 (eg, high density image sequence 1615 or high density annotated image sequence 1615 a) and processes processed data set 1617 to robot 100, eg, controller 500 and / or web pad You may reply to 310. The robot 100 may also issue drive commands 1619 to the drive system 200 (eg, via the controller 500 or the web pad 310) based on the received processed data set 1617 to operate around the scene 10. Good.

閾値期間の後、または閾値量の画像データ1601、1603がクラウド記憶装置1622の中で蓄積された後に、クラウドサービス1620は、画像データセット1603を処理して情景10(環境)の高密度3−Dマップまたはモデル1605にし、次いで、この高密度3Dマップまたはモデル1605を単純化して、(例えば、2−D地形マップに類似する)各点における高さデータを伴う2−Dマップであり得る2−D高さマップ1607にする、種々のオフライン方法のうちの1つを実行してもよい。いくつかの実施例では、2−D高さマップ1607は、ZデータとともにXおよびY座標を有する地形マップである。各X、Y座標は、1つ以上のZ点(すなわち、高さデータ)を有してもよい。各X、Y座標に対する多数のZ点(例えば、何百または何千ものZ点)を有し得る、高密度3−Dマップと違って、2−D高さマップ1607は、2から20の間(例えば、10)の点等の各X、Y座標に対する閾値よりも少ない数のZ点を有してもよい。室内のテーブルの3−Dマップに由来する2−D高さマップ1607は、テーブルに沿った各X、Y座標に対するテーブル面の底面の第1のZ点、およびテーブル面の頂面の第2のZ点を示し得る。この情報は、ロボット100が、テーブル面の下を通過できるかどうかを判定することを可能にする。各X、Y座標に対するZ点の連続範囲の高密度データセットからのZ点を、検出された物体12を示す選択数のZ点の低密度データセットまで低減することによって、ロボット100は、クラウドサービス1620によって使用される3−Dマップよりも比較的小さいサイズを有する、2−D高さマップ1607を受信することができる。これは、ひいては、ロボット100が、クラウドサービス1620に利用可能な拡張性のあるメモリ空間と比較して、実用的かつ費用効率的なサイズを有するローカルメモリ上に2−D高さマップ1607を記憶することを可能にする。ロボット100は、情景10内での将来の作業のためのナビゲーションデータをロボット100および関連コントローラ500に提供する、2−D高さマップ1607をクラウド1620から受信する。   After a threshold period, or after a threshold amount of image data 1601, 1603 has been stored in the cloud storage 1622, the cloud service 1620 processes the image data set 1603 to obtain a high density of scene 10 (environment) 3- Make the D map or model 1605 and then simplify this high density 3D map or model 1605 to be a 2D map with height data at each point (eg similar to a 2D terrain map) 2 One of a variety of off-line methods may be implemented to make the D height map 1607. In some embodiments, the 2-D height map 1607 is a terrain map having X and Y coordinates with Z data. Each X, Y coordinate may have one or more Z points (i.e. height data). Unlike high density 3-D maps, which can have multiple Z points (eg, hundreds or thousands of Z points) for each X, Y coordinate, 2-D height map 1607 has 2 to 20 There may be fewer Z points than the threshold for each X, Y coordinate, such as between (eg, 10) points. The 2-D height map 1607 derived from the 3-D map of the table in the room is the first Z point of the bottom of the table surface for each X, Y coordinate along the table and the second of the top surface of the table surface Can indicate the Z point of This information allows the robot 100 to determine if it can pass under the table surface. By reducing the Z points from the high density data set of the continuous range of Z points for each X, Y coordinate to a selected number of low density data points of Z points indicative of the detected object 12, the robot 100 A 2-D height map 1607 can be received, which has a relatively smaller size than the 3-D map used by the service 1620. This, in turn, causes the robot 100 to store the 2-D height map 1607 on local memory having a practical and cost effective size compared to the scalable memory space available to the cloud service 1620. Make it possible to The robot 100 receives a 2-D height map 1607 from the cloud 1620, which provides the robot 100 and associated controller 500 with navigation data for future work in the scene 10.

3−Dマップデータ比較のさらなる方法および特徴は、その全体で参照することにより本明細書で組み込まれる、R. Triebel、P. Pfaff、およびW. Burgardによる“Multi−Level Surface Maps For Outdoor Terrain Mapping and Loop Closing”、IEEE/RSJ International Conference on Intelligent Robots and Systems, 2006で開示されている。   Additional methods and features of 3-D map data comparison are incorporated herein by reference in their entirety. Triebel, P .; Pfaff, and W. It is disclosed by Burgard in "Multi-Level Surface Maps for Outdoor Terrain Mapping and Loop Closing", IEEE / RSJ International Conference on Intelligent Robots and Systems, 2006.

クラウド1620は、そうでなければロボット100で実用的または費用効果的ではない場合がある、資源(例えば、計算、処理、メモリ等)のオンデマンド拡張をロボット100に提供する。例えば、クラウド1620は、短期間のみ使用され、次いで、破棄され、次いで、第2のサイズまで再び縮小され得る、比較的大量のデータ1601を記憶および/または処理するための第1のサイズまで拡張する、拡張性のあるクラウド記憶装置1622を提供することができる。さらに、クラウド1620は、そうでなければロボット上で可能ではない場合がある、比較的複雑な計算または「強引な」アルゴリズムを実行するためのコンピュータ処理能力を提供することができる。コンピュータ処理能力およびメモリを拡張性のあるクラウド1620に移すことによって、ロボット100は、比較的少ない計算能力およびメモリを有するコントローラ500を使用することができ、したがって、費用効率的な解決法を提供する。さらに、ロボット100は、処理および以降の回収のために非リアルタイムおよび非時間依存タスクをクラウド1620に渡しながら、障害物回避等のリアルタイムタスクを(コントローラ500またはウェブパッド310上で)実行してもよい。   The cloud 1620 provides the robot 100 with on-demand expansion of resources (eg, computations, processing, memory, etc.) that may not be practical or cost effective for the robot 100. For example, cloud 1620 is expanded to a first size for storing and / or processing relatively large amounts of data 1601 that may be used only for a short period of time and then discarded and then reduced again to a second size An extensible cloud storage device 1622 can be provided. In addition, the cloud 1620 can provide computing power to perform relatively complex calculations or "forceful" algorithms that may not otherwise be possible on the robot. By transferring computing power and memory to the scalable cloud 1620, the robot 100 can use the controller 500 with relatively little computing power and memory, thus providing a cost effective solution. . In addition, robot 100 may also perform real-time tasks (such as obstacle avoidance) (on controller 500 or web pad 310) while passing non-real-time and non-time-dependent tasks to cloud 1620 for processing and subsequent retrieval. Good.

クラウド1620は、画像データセット1603を3−D表現に処理するための1つ以上のフィルタ(例えば、バンドル調整、RANSAC、期待値最大限化、SAM、または他の3−D構造推定アルゴリズム)を実行してもよい。いったん処理され、高密度3−Dマップ1605が作成または更新されると、画像データセット1603をクラウド記憶装置1622から破棄し、資源を解放し、それに従ってクラウド1620が拡張することを可能にすることができる。結果として、ロボット100は、クラウドベースの資源の使用により、画像データセット1603の記憶および処理に対処するために、内蔵記憶装置も処理も必要としない。クラウド1620は、処理されたナビゲーションデータ1601またはマップ1607(例えば、圧縮2−D高さマップ)をロボット100に返信してもよく、次いで、それを比較的より単純な局所化およびナビゲーション処理に使用することができる。   Cloud 1620 may include one or more filters (eg, bundle adjustment, RANSAC, expectation maximization, SAM, or other 3-D structure estimation algorithms) to process image data set 1603 into a 3-D representation. It may be executed. Once processed and the high density 3-D map 1605 created or updated, discard the image data set 1603 from the cloud storage device 1622, free resources, and allow the cloud 1620 to expand accordingly Can. As a result, the robot 100 requires neither built-in storage nor processing to handle storage and processing of the image data set 1603 by use of cloud-based resources. Cloud 1620 may return processed navigation data 1601 or map 1607 (eg, a compressed 2-D height map) to robot 100, which is then used for relatively simpler localization and navigation processing can do.

3−D再構築のさらなる方法および特徴は、その全体で参照することにより本明細書に組み込まれる、“3D Models From Extended Uncalibrated Video Sequences: Addressing Key−frame selection and projective drift” by J. Repko and M. Pollefeys; Fifth International Conference on 3−D Digital Imaging and Modeling, 2005で開示されている。   Further methods and features of 3-D reconstruction are described in "3D Models From Extended Uncalibrated Video Sequences: Addressing Key-frame Selection and Projective Drift", which is incorporated herein by reference in its entirety. Repko and M. Pollefeys; Fifth International Conference on 3-D Digital Imaging and Modeling, 2005.

床の分類に関して、ロボット100は、情景10の周囲でその上で機動しながら、作業面5の画像を取得してもよい。コントローラ500は、画像を受信し、物体検出および障害物回避(ODOA)のための物体検出ルーチンを実行してもよい。いくつかの実現形態では、コントローラ500は、加速度計データ追跡、走行距離計測データ、および/またはタイムスタンプとともにセンサシステム400からの他のデータ等の情報を、画像と関連付ける(例えば、画像をデータでタグ付けする)。画像は、落下物、敷物の房、敷物の上の靴下等を捕捉し得る。前の実施例のように、ロボット100は、以降のバッチ処理のために稼働しながら、クラウド記憶装置1622まで画像データ1601をストリーム配信することができる。ロボットが望ましくない事象(すなわち、偶発的な衝突)に遭遇したとき、危険の前のデータ瞬間が、学習アルゴリズムのために識別されてもよいように、特別な「危険」タグがデータセットに挿入される。いったん注釈付き画像データセットおよび関連タグ1603が蓄積されると(可能性として多くの他のロボット100からのデータセットとともに)、並列クラウドホスト1620が、例えば、時間的に先行する危険タグである、実環境の多くの画像からの「危険画像」部類を算出する、監視された学習アルゴリズムを使用して、注釈付き画像データセット1603を処理するように起動されてもよい。いったん危険画像部類モデル1609の訓練が完了すると、そのモデル1609のパラメータ(少量のデータ)を、多くの異なるロボット100にダウンロードして戻すことができる。したがって、ロボット隊全体100が、オンラインで環境の要素を学習することができる。この方法に適用可能な学習方法は、遺伝的アルゴリズム、神経回路網、およびサポートベクターマシンを含む。これらの全ては、複雑すぎる場合があり得、非常に多くの記憶を占めるので低費用ロボット100ではオンラインで(すなわち、ローカルロボットプロセッサ上で)作動することができない場合があるが、クラウド1620は、「完全に訓練された」分類子1625へのアクセスをロボット隊に提供する。   With respect to floor classification, the robot 100 may acquire images of the work surface 5 while maneuvering around the scene 10 thereon. The controller 500 may receive images and perform object detection routines for object detection and obstacle avoidance (ODOA). In some implementations, the controller 500 associates information such as accelerometer data tracking, mileage measurement data, and / or other data from the sensor system 400 with time stamps with the image (e.g. Tag). The images may capture falling objects, tufts of rugs, socks on rugs, etc. As in the previous example, the robot 100 can stream image data 1601 to the cloud storage device 1622 while operating for subsequent batch processing. When the robot encounters an undesirable event (ie an accidental collision), a special "danger" tag is inserted into the data set so that data moments before the danger may be identified for the learning algorithm Be done. Once the annotated image data set and associated tags 1603 are stored (possibly with data sets from many other robots 100), the parallel cloud host 1620 is, for example, a temporally advanced danger tag, An annotated image data set 1603 may be invoked to process using a monitored learning algorithm that calculates a "dangerous image" class from many images of the real environment. Once training of the hazard image category model 1609 is complete, the parameters (small amounts of data) of the model 1609 can be downloaded back to many different robots 100. Therefore, the entire robot team 100 can learn the elements of the environment online. Learning methods applicable to this method include genetic algorithms, neural networks, and support vector machines. All of these can be too complex and may not be able to operate online (ie, on a local robot processor) with low cost robot 100 as it takes up too much memory, but cloud 1620 Provides access to the "fully trained" classifier 1625 to the robotics.

「分類子」1625は、例えば、誤差関数を最小限化し、費用関数を最適化/最大限化し、または訓練データを使用して性能を別様に向上させるために、通常は反復訓練アルゴリズムを採用する、マシン学習アルゴリズムである。典型的には、アルゴリズムは、値が訓練データから学習される、いくつかのパラメータを有する。3つのタイプとして、クラスタ化または次元退縮を介した、監視された回帰、監視された分類、および監視されていない分類を含む。分類子1625の実施例は、種々のタイプおよびカーネルの(勾配降下または他の費用関数最小限化技法を用いた)サポートベクターマシン(SVM)、単純ベイズ分類子、ロジスティック回路、アダブースト、K最近傍(「K−NN」)および/またはK−NN回帰、神経回路網、無作為な森林、および線形モデルである。「分類子」は、ベクター、マトリクス、「記述子」、または他のデータセットによって表され得る、種々のアルゴリズム、例えば、配向勾配のヒストグラム(HOG)、形状コンテキストヒストグラム(SCH)、カラーパッチ、質感パッチ、輝度パッチ、SIFT、SURF、または同等物からのスケール不変特徴記述子、MSERのようなアフィン不変記述子、画像内の標識されたスーパーピクセルまたはセグメント、ハフ変換、またはRANSAC線検出によって識別され得る「特徴」、およびこれと組み合わせ可能な他の特徴を分類する。   The “Classifier” 1625 typically employs an iterative training algorithm to, for example, minimize error functions, optimize / optimize cost functions, or otherwise improve performance using training data. Is a machine learning algorithm. Typically, the algorithm has several parameters whose values are learned from the training data. Three types include monitored regression, monitored classification, and unmonitored classification via clustering or dimensionality regression. Examples of classifiers 1625 include support vector machines (SVMs) (using gradient descent or other cost function minimization techniques), simple Bayesian classifiers, logistic circuits, AdaBoost, K-nearest neighbors, of various types and kernels. ("K-NN") and / or K-NN regression, neural networks, random forests, and linear models. A "classifier" may be represented by a vector, matrix, "descriptor" or other data set, and various algorithms such as orientation gradient histogram (HOG), shape context histogram (SCH), color patch, texture Scale, invariant feature descriptors from patches, intensity patches, SIFT, SURF, or equivalent, affine invariant descriptors like MSER, labeled superpixels or segments in an image, identified by Hough transform, or RANSAC line detection Classify the "features" to be obtained, and other features that can be combined with this.

分類子1625は、写真のみから、ロボットシステムがそれらの環境内の危険を回避するのに役立つように、オンラインで実行することができる。いったんモデルパラメータが決定されると、クラウド記憶装置1622の中に記憶された画像データセット1603を破棄することができる。この実施例は、前の実施例と組み合わせることができ、環境の3−D構造の判定が、分類アルゴリズムを訓練するための横断可能な領域の識別を可能にする。1つの学習技術例は、その全体で参照することにより本明細書に組み込まれる、“Long−Term Learning Using Multiple Models For Outdoor Autonomous Robot Navigation,” by Michael J. Procopio , Jane Mulligan , and Greg Grudic, 2007 IEEE International Conference on Intelligent Robots and Systemsで開示されている。   Classifiers 1625 can be implemented online from photos only, to help robot systems avoid hazards in their environment. Once the model parameters have been determined, the image data set 1603 stored in the cloud storage device 1622 can be discarded. This embodiment can be combined with the previous one, where the determination of the 3-D structure of the environment allows the identification of traversable areas to train the classification algorithm. One learning technique example is described in "Long-Term Learning Using Multiple Models For Outdoor Autonomous Robot Navigation," by Michael J., which is incorporated herein by reference in its entirety. Procopio, Jane Mulligan, and Greg Grudic, 2007 IEEE International Conference on Intelligent Robots and Systems.

ストリーミングは、概して、(非常に高いデータレートで起こることができる)バッチ処理タスクをディスパッチすること、または遅延した方式で画像を浸透させることと区別されるような、パケットが送信機と受信機との間で並べ替えられるか否かにかかわらず、バッファリングを伴って、または伴わずに、画像シーケンスがリアルタイムで捕捉された順序および速度にいくらか関係して、画像シーケンスを伝送することを意味する。「ストリーミング」という用語は、実世界の帯域幅、処理、および記憶制約に基づいて、異なるデータがロボットシステムのエンティティ内および間で移動させられる速度を区別するように、「バッチ処理タスクをディスパッチすること」と区別される。   Streaming is generally distinguished from dispatching batch processing tasks (which can occur at very high data rates) or penetrating images in a delayed fashion, with packets being sent to the transmitter and receiver. Means that the image sequence is transmitted, with or without buffering, with some relation to the order and rate at which the image sequence was captured in real time . The term "streaming" dispatches batch processing tasks to distinguish the speed at which different data are moved within and between robot system entities based on real-world bandwidth, processing, and storage constraints. It is distinguished from

図16Dおよび16Eを参照すると、実用的な費用レベルでのロボット100は、ロボットの帯域幅、計算、および記憶に制限を有し得る。ローカルで処理されたデータ1613(すなわち、ロボットセンサシステム400からのデータ)で画像1611に注釈を付けることによって、ロボット100は、極めて低頻度で(例えば、毎秒何回もの代わりに、数秒ごとに1回)画像1611、高密度画像シーケンス1615、1615a、または画像データ1601を送信し、データの連続ストリーミングと比較して、アップストリーム帯域幅を劇的に縮小することができる。加えて、コントローラ500および/またはウェブパッド310は、無線接続性がアクセス不可能であるときに、画像1611および注釈データ1613をロボット100上に記憶することができ、無線接続性がアクセス可能であるときに伝送することができる、ローカルキャッシュ(メモリ)を含むことができる。バッファリングは、ロボット100が、例えば、信号受信が良くない部屋の中で、部屋相当のデータを収集し、隣接する部屋の中等で、いったん無線接続性が再び利用可能になると、完全データセット1601、1603を依然として伝送することを可能にする。したがって、ロボット100上のデータ管理が、種々の通信環境に適応するために必要であり得る。   Referring to FIGS. 16D and 16E, the robot 100 at practical cost levels may have limitations in robot bandwidth, calculations, and storage. By annotating the image 1611 with locally processed data 1613 (ie, data from the robot sensor system 400), the robot 100 is very infrequent (eg, every few seconds instead of several times per second) Times) the upstream bandwidth can be dramatically reduced compared to continuous streaming of data by transmitting the image 1611, high density image sequence 1615, 1615a or image data 1601. Additionally, controller 500 and / or web pad 310 can store image 1611 and annotation data 1613 on robot 100 when wireless connectivity is inaccessible, and the wireless connectivity is accessible. It can include a local cache (memory), which can be transmitted. Buffering allows the robot 100, for example, to collect room equivalent data in a room where signal reception is poor, and once wireless connectivity is again available, such as in an adjacent room, complete data set 1601 , 1603 can still be transmitted. Thus, data management on the robot 100 may be necessary to adapt to different communication environments.

可動式ロボットが、情景10(例えば、家庭、オフィス等)の全体を通して導かれ、方向付けられ、または自動的にナビゲートするにつれて、1つ以上のカメラ320および/または撮像センサ450は、ロボット100の軌道に沿ったロボット100の姿勢(位置および配向)において取得される視界にそれぞれ対応する、画像1611の1つ以上のシーケンス1615を取得してもよい。(例えば、コントローラ500の)タイマーは、各画像1611の基準タイムスタンプを提供し、タイムスタンプは、位置、局所化、移動速度または加速、センサベースの配向等に対応する、注釈1613と関連付けられてもよい。少なくともいくつかの画像1611は、情報で注釈を付けられ、全ての画像1611は、タイムスタンプ、あるいはロボット状態、画像状態等を反映する他のメタデータで注釈を付けられてもよい。画像1611は、何らかのリアルタイム捕捉速度で捕捉することができ、それは定期的である必要がない(例えば、画像1611は、例えば、処理可用性、帯域幅可用性、時刻、タスク、現在の画像内の目的とする特徴の密度等に基づいて、適応的速度で捕捉されてもよい)。   One or more cameras 320 and / or imaging sensors 450 may be coupled to the robot 100 as the mobile robot is guided, directed or automatically navigates through the scene 10 (eg, home, office, etc.). One or more sequences 1615 of images 1611 may be acquired, each corresponding to a field of view acquired in the pose (position and orientation) of the robot 100 along the trajectory of A timer (e.g., of controller 500) provides a reference timestamp for each image 1611, which is associated with annotation 1613 corresponding to position, localization, velocity or acceleration, sensor based orientation, etc. It is also good. At least some images 1611 may be annotated with information, and all images 1611 may be annotated with timestamps or other metadata reflecting robotic state, image state, etc. The image 1611 can be captured at some real-time capture rate, which need not be periodic (eg, image 1611 can be, for example, processing availability, bandwidth availability, time of day, task, purpose within the current image, etc. May be captured at an adaptive rate based on the density of the features being

カメラ320および/または撮像センサ450は、ハードウェアエンコーダ、メモリに利用可能な高速バス、内蔵プロセッサ、および比較的高速で捕捉された画像1611を記憶および蓄積するための記憶装置(例えば、フラッシュメモリまたはハードディスクドライブ)と通信していてもよい。ロボット100上で支持可能であるよりも多くの資源をそれ自体が消費しない、画像分類子1625の一式のパラメータ等のモデルを作成するように、1つ以上のマシン視覚アルゴリズムを、記憶した画像1611に適用することができる。しかしながら、克服するべきいくつかの障害がある。   The camera 320 and / or the imaging sensor 450 may be a hardware encoder, a high-speed bus available to memory, a built-in processor, and a storage device for storing and storing the relatively fast captured image 1611 (eg, flash memory or It may be in communication with a hard disk drive). An image 1611 in which one or more machine vision algorithms are stored so as to create a model such as a set of parameters of the image classifier 1625 that does not itself consume more resources than can be supported on the robot 100 It can be applied to However, there are some obstacles to overcome.

(1)典型的には、モデル化される特徴を表す、少なくともいくつかの訓練データ(例えば、画像1611)または注釈1613の識別が、大幅な画像圧縮前に適用されるべきである。   (1) Typically, identification of at least some training data (e.g., image 1611) or annotations 1613 representing features to be modeled should be applied prior to significant image compression.

(2)短期間でモデル化を完了するように、クラウドサービスでインスタンス化される比較的大きい分散コンピュータインフラストラクチャに多くのアルゴリズムおよびヒューリスティックスを拡張および適合することができるが、これは、公衆インターネットにわたって標的コンピュータインフラストラクチャに画像1611を到達させることを必要とする。   (2) Many algorithms and heuristics can be extended and adapted to the relatively large distributed computing infrastructure instantiated in cloud services to complete modeling in a short period of time It is necessary to get the image 1611 to reach the target computer infrastructure.

(3)比較的大きいデータセットを輸送するために利用可能な帯域幅は、(i)典型的に他のトラフィックで占有される無線帯域幅を用いて可動式であるロボット100、および(ii)アップストリーム方向で帯域幅が制限され得るインターネットアクセスによって制限される。   (3) The bandwidth available to transport relatively large data sets may be (i) a robot 100 that is mobile using radio bandwidth typically occupied by other traffic, and (ii) It is limited by Internet access, which can limit bandwidth in the upstream direction.

少なくともこれらの障害を克服するために、高密度画像1611を、ロボット100からローカルサーバ1640へ(例えば、無線で)伝達することができ、それは、リアルタイム捕捉速度よりも比較的遅いローカル送信速度での記憶装置との有線ネットワークであってもよい。ローカルサーバ1640は、高密度画像1611をバッファリングし、注釈1613で注釈を付けることができる。さらに、ローカルサーバ1640は、クラウドサービス1620への以降の伝達のために注釈付き高密度画像シーケンス1615aを蓄積してもよい。ローカルサーバ1640は、リアルタイム捕捉速度よりも遅いクラウド送信速度で、または高速でクラウドコンピューティングインフラストラクチャによってサービス提供するために好適な速度で、画像データ1601(例えば、高密度画像1611、高密度画像シーケンス1615、および/または注釈付き高密度画像シーケンス1615a)をクラウドサービス1620に伝達することができる。   To overcome at least these obstacles, high density images 1611 can be transmitted (eg, wirelessly) from the robot 100 to the local server 1640, which may be at a local transmission rate that is relatively slower than the real time capture rate. It may be a wired network with a storage device. The local server 1640 can buffer the high density image 1611 and annotate it with the annotation 1613. Additionally, the local server 1640 may store the annotated high-density image sequence 1615a for subsequent transmission to the cloud service 1620. The local server 1640 may receive image data 1601 (e.g., high density images 1611, high density image sequences, etc.) at a cloud transmission rate slower than the real time capture rate, or at a rate suitable to service the cloud computing infrastructure at high speed 1615 and / or the annotated high density image sequence 1615a) can be communicated to the cloud service 1620.

クラウドサービス1620は、注釈付き高密度画像シーケンス1615aに由来し、それを表すが、例えば、いずれの未加工画像データも除外する、簡略化データセット1617を提供するように、例えば、画像データ1601上(例えば、高密度画像1611および関連注釈1613上)の分類子1625を訓練するようにインスタンスを処理する十分に高速、並列、および/または大きい画像セット分類子1625を弾性的にディスパッチすることによって、受信した画像データ1601を処理することができる。クラウドサービス1620は、例えば、処理間隔後に、簡略化したデータセット1617を、ロボット100と通信するローカルサーバ1640に、またはロボット100に直接伝送することができる。データセット1617の要素は、情景/環境10に対してロボット100を機動させるようにコマンドを駆動システム200に発行するために、ロボット100によって使用されてもよい。例えば、多くのロボットのうちの1つの画像データ1601上で訓練された「コード」または「靴下」または「摂取可能な破片」分類子1625が、画像パターンを識別し、ハザードから離れて、または目的とする領域に向かってのいずれかで、ロボット100を方向付けるように、ロボット100に返信されるパラメータとともに使用されてもよい。   The cloud service 1620 originates from and represents, for example, the annotated high-density image sequence 1615a, for example, to provide a simplified data set 1617 that excludes any raw image data, eg, on the image data 1601. By resiliently dispatching a sufficiently fast, parallel, and / or large image set classifier 1625 to process instances to train classifiers 1625 (eg, on high density image 1611 and related annotations 1613) The received image data 1601 can be processed. The cloud service 1620 may, for example, transmit the simplified data set 1617 to the local server 1640 in communication with the robot 100 or directly to the robot 100 after the processing interval. The elements of data set 1617 may be used by robot 100 to issue commands to drive system 200 to maneuver robot 100 relative to scene / environment 10. For example, a “code” or “sock” or “ingestible debris” classifier 1625 trained on the image data 1601 of one of many robots identifies the image pattern and is away from the hazard or Any direction towards the area may be used with the parameters sent back to the robot 100 to direct the robot 100.

無線接続または消費者/商業非対称ブロードバンドサービスが、伝送方向に帯域幅制限されるときに、高密度画像シーケンス1615を大型記憶装置デバイスの中にバッファリングし、パケット交換、並べ替え、補正、サービスの質等を利用して、収集時間(すなわち、高密度画像シーケンス1615を収集する期間)よりも比較的長い期間にわたってアップロードすることができる。例えば、アップロードは、一晩、ロボットの軌道が分単位であった数時間の期間にわたって、ロボットの軌道が時間単位であった数日の期間にわたって等で起こってもよい。   When the wireless connection or consumer / commercial asymmetric broadband service is bandwidth limited in the transmission direction, it buffers the high density image sequence 1615 into the large storage device, and performs packet switching, reordering, correction, service Quality and the like can be used to upload over a relatively longer period of time than the acquisition time (ie, the time period for acquiring the high density image sequence 1615). For example, the upload may occur overnight, over a period of several hours where the robot's trajectory was in minutes, over a period of several days where the robot's trajectory was in hours, etc.

ローカルサーバ1640またはクラウドサービス1620上で、リアルタイム捕捉速度で捕捉される、可動式ロボット100の軌道に沿った環境の視野のシーケンスを表す高密度画像1611を、ロボット100のロボットソフトウェアプラットフォームに関係するサービス1623によって受信することができる。クラウドゲートウェイとも呼ばれる、サービス1623は、ロボットソフトウェアプラットフォームのエージェントであってもよく、または第三者によって独立して制御されてもよい。クラウドゲートウェイ1623は、高密度画像シーケンス1615を、(例えば、注釈内容に応じて)クラウドサービス1620内の1つ以上の仮想サーバ1621としてインスタンス化/整備される、アルゴリズム、分類子1625、およびアプリケーションプラットフォームインスタンスと合致してもよく、高密度画像シーケンス1615および任意の注釈1613を、分類子1625に対する訓練データとしてパッケージ化する。代替として、クラウドゲートウェイ1623は、ロボット100、ローカル基地局等からの事前パッケージ化された情報と同じ情報を処理し、適応的および弾性クラウドサービスアプリケーションプログラミングインターフェース(API)(例えば、Amazon EC2)に準拠するような他のインスタンスを弾性的に追加する、十分な所定の仮想サーバインスタンス1621のディスパッチを単純に始めてもよい。ローカルサーバ1640、クラウドゲートウェイ1623、クラウドサービスマネージャ、または初期仮想プロセッサインスタンス1621は、受信した高密度画像シーケンス1615、1615aの中の高密度画像1611のうちの少なくともいくつかのそれぞれを、高密度画像シーケンス1615、1615aに由来し、かつそれを表すデータセット1617まで低減させるというバッチ処理タスクをディスパッチする。必要に応じて、新しい仮想プロセッサインスタンス1621を整備/インスタンス化することができる(一度に全て、または訓練タスクがより複雑になる際のいずれかで)。高密度画像1611および訓練されたモデル1609は、長期記憶インスタンスで保つことができる。訓練された分類子1625またはモデル1609のパラメータは、未加工画像1611のシーケンスを除外して、ロボット100に返信される(例えば、直接、またはロボット100のエージェントを介して)。   A service related to the robot software platform of the robot 100, representing a sequence of field views of the environment along the trajectory of the mobile robot 100 captured on the local server 1640 or cloud service 1620 at real time capture rate It can be received by 1623. The service 1623, also referred to as a cloud gateway, may be an agent of a robotic software platform or may be independently controlled by a third party. An algorithm, a classifier 1625, and an application platform in which the cloud gateway 1623 is instantiated / maintained as the high density image sequence 1615 as one or more virtual servers 1621 in the cloud service 1620 (e.g., depending on the annotation content) The high density image sequence 1615 and any annotations 1613 may be packaged as training data for the classifier 1625, which may be consistent with the instance. Alternatively, the cloud gateway 1623 processes the same information as pre-packaged information from the robot 100, local base station etc, and conforms to adaptive and elastic cloud service application programming interface (API) (eg Amazon EC2) The dispatch of a given virtual server instance 1621 may be initiated simply by resiliently adding such other instances. The local server 1640, the cloud gateway 1623, the cloud service manager, or the initial virtual processor instance 1621 each perform at least some of the high density images 1611 in the received high density image sequence 1615, 1615a in the high density image sequence Dispatch a batch processing task to reduce to the data set 1617 derived from and representing 1615, 1615a. As needed, new virtual processor instances 1621 can be serviced / instantiated (either all at once or as the training task becomes more complex). High density images 1611 and trained models 1609 can be kept in long-term memory instances. The trained classifier 1625 or model 1609 parameters are sent back to the robot 100 (e.g., directly or through the robot 100 agent), excluding the sequence of raw images 1611.

図16Fは、ロボット100をナビゲートする方法のための動作の例となる配設1600fを提供する。本方法は、リアルタイム捕捉速度で、ロボット100の運動の軌道に沿ったロボット100の周囲の情景10の高密度画像1611のストリーミングシーケンス1615を捕捉すること1602fと、注釈1613を高密度画像1611のうちの少なくともいくつかと関連付けること1604fとを含む。本方法はまた、リアルタイム捕捉速度よりも遅い送信速度で、高密度画像1611および注釈1613を遠隔サーバ1620に送信すること1606fと、処理時間間隔後に遠隔サーバ1620からデータセット1607、1617を受信すること1608fとを含む。データセット1607、1617は、高密度画像シーケンス1615、1615aおよび対応する注釈1613の少なくとも一部分に由来し、かつそれを表すが、高密度画像1611のシーケンス1615、1615aの未加工画像データを除外する。本方法は、受信したデータセット1607、1617に基づいて、情景10に対してロボット100を移動させること1610fを含む。   FIG. 16F provides an example arrangement 1600 f of operations for a method of navigating the robot 100. The method comprises capturing 1602 f a streaming sequence 1615 of a high density image 1611 of the scene 10 around the robot 100 along the trajectory of movement of the robot 100 at real time capture speed 1602 f and an annotation 1613 out of the high density image 1611. Associating with at least some of 1604f. The method also transmits 1606f the high density image 1611 and the annotation 1613 to the remote server 1620 at a transmission rate slower than the real time capture rate and receiving the data sets 1607, 1617 from the remote server 1620 after the processing time interval. And 1608f. Data set 1607, 1617 originates from and represents at least a portion of high density image sequence 1615, 1615a and corresponding annotation 1613, but excludes the raw image data of sequence 1615, 1615a of high density image 1611. The method includes moving 1610 f the robot 100 relative to the scene 10 based on the received data sets 1607, 1617.

本方法は、高密度画像1611および注釈1613をローカルサーバおよびバッファ1640(図16Dおよび16E)に送信し、次いで、リアルタイム捕捉速度よりも遅い送信速度で、高密度画像1611および注釈1613を遠隔サーバ1620に送信することを含んでもよい。ローカルサーバおよびバッファ1640は、ロボット100の比較的短い範囲内(例えば、20〜100フィートまたは無線通信範囲内)にあってもよい。例えば、ローカルおよびバッファ1640は、ロボット100を収容するユーザの家庭内のパーソナルコンピュータ、またはロボット100を収容するビルのローカルサーバであってもよい。   The method sends the high density image 1611 and the annotation 1613 to the local server and buffer 1640 (FIGS. 16D and 16E) and then sends the high density image 1611 and the annotation 1613 to the remote server 1620 at a transmission rate slower than the real time capture rate. May include sending to. The local server and buffer 1640 may be within a relatively short range of the robot 100 (e.g., 20 to 100 feet or within wireless communication range). For example, the local and buffer 1640 may be a personal computer in the home of the user housing the robot 100, or a local server of a building housing the robot 100.

いくつかの実現形態では、注釈1613は、高密度画像1611のうちの少なくともいくつかに対応する絶対時間基準等のタイムスタンプと、走行距離計測データ、加速度計データ、傾斜データ、および角速度データのうちの少なくとも1つを含み得る、姿勢関連センサデータとを含む。注釈1613は、ロボットの危険応答100(例えば、崖を回避する、閉じ込め状況から脱出する等)に対して時間間隔内に捕捉される、危険事象を反映する高密度画像1611に関連付けることができる。さらなる実施例では、注釈1613を関連付けること1604fは、キーフレーム識別子を高密度画像1611のサブセットと関連付けることを含んでもよい。キーフレーム識別子は、キーフレーム識別子の特性(例えば、フラグ、タイプ、グループ、動き、静止等)に基づいて、高密度画像1611の識別を可能にしてもよい。   In some implementations, the annotation 1613 may include a time stamp, such as an absolute time reference, corresponding to at least some of the high density images 1611 and travel distance measurement data, accelerometer data, tilt data, and angular velocity data. And attitude related sensor data, which may include at least one of The annotations 1613 can be associated with a high density image 1611 reflecting the hazard event captured within the time interval for the robot's hazard response 100 (e.g., avoiding a cliff, exiting a containment situation, etc.). In a further example, associating 1604 f the annotation 1613 may include associating a key frame identifier with a subset of the high density image 1611. The key frame identifier may enable identification of the high density image 1611 based on characteristics of the key frame identifier (eg, flag, type, group, motion, still, etc.).

注釈1613は、高密度画像1611のストリーミングシーケンス1615の高密度画像1611の間で追跡される特徴の構造復元および運動復元に由来する、低密度の一式の3−D点を含んでもよい。低密度の一式の3−D点は、ロボット100上の体積点撮像デバイス450に由来し得る。さらに、注釈1613は、低密度の一式の3−D点のうちの個々の3−D点に対するカメラの姿勢等のカメラパラメータを含んでもよい。情景10の横断可能および横断不可能領域の標識が、高密度画像1611に対する注釈1613であってもよい。   The annotations 1613 may include a low density set of 3-D points derived from structural and motion recovery of features tracked between the high density images 1611 of the streaming sequence 1615 of high density images 1611. The low density set of 3-D points may originate from the volume point imaging device 450 on the robot 100. In addition, annotations 1613 may include camera parameters such as the pose of the camera with respect to individual 3-D points of a low density set of 3-D points. The indicia of the translatable and non-traversable areas of the scene 10 may be annotations 1613 to the high density image 1611.

データセット1607、1617は、高密度画像1611から抽出される、2−D高さマップ1607等の1つ以上の質感マップ、および/または情景10の高密度画像1611内の特徴を表す地形マップ1607を含んでもよい。データセット1607、1617は、情景10の捕捉される新しい高密度画像1611内の特徴を分類するための訓練された分類子1625を含んでもよい。   Data set 1607, 1617 may be extracted from high density image 1611, one or more texture maps such as 2-D height map 1607, and / or terrain map 1607 representing features within high density image 1611 of scene 10. May be included. Data set 1607, 1617 may include a trained classifier 1625 for classifying features in captured new high-density image 1611 of scene 10.

図16Gは、可動式ロボット環境データを抽象化する方法のための動作の例となる配設1600gを提供する。本方法は、ある受信速度で、可動式ロボット100からロボット環境10の高密度画像1611のシーケンス1615を受信すること1602gを含む。高密度画像1611は、リアルタイム捕捉速度で可動式ロボット100の運動の軌跡に沿って捕捉される。受信速度は、リアルタイム捕捉速度よりも遅い。本方法はまた、高密度画像1611のシーケンス1615の中の高密度画像1611のうちの少なくともいくつかと関連付けられる注釈1613を受信すること1604gと、高密度画像1611のうちの少なくともいくつかの中の高密度データを、高密度画像1611のシーケンス1615の少なくとも一部分を表すデータセット1607、1617まで低減させるためのバッチ処理タスクをディスパッチすること1606gとを含む。本方法はまた、データセット1617を可動式ロボット100に伝送すること1608gも含む。データセット1607、1617は、高密度画像1611のシーケンス1615の未加工画像データを除外する。   FIG. 16G provides an example arrangement 1600g of operations for a method of abstracting mobile robot environment data. The method includes receiving 1602 g a sequence 1615 of high density images 1611 of the robotic environment 10 from the mobile robot 100 at a receiving speed. The high density image 1611 is captured along the motion trajectory of the mobile robot 100 at real time capture speed. The reception rate is slower than the real time acquisition rate. The method also includes receiving 1604 g an annotation 1613 associated with at least some of the high density images 1611 in the sequence 1615 of high density images 1611 and a high in at least some of the high density images 1611. Dispatching 1606 g a batch processing task to reduce density data to a data set 1607, 1617 representing at least a portion of the sequence 1615 of high density image 1611. The method also includes transmitting 1608 g the data set 1617 to the mobile robot 100. Data sets 1607, 1617 exclude the raw image data of the sequence 1615 of high density images 1611.

いくつかの実現形態では、バッチ処理タスクは、高密度画像1611のシーケンス1615を処理してロボット環境10の高密度3−Dモデル1609にすることと、高密度3−Dモデル1609を処理して2−D位置および床面Gからの少なくとも1つの高さの座標系用の地形モデル1607にすることとを含む。いくつかの実施例では、地形モデル1607は、2−D位置および床面Gからの複数の占有および非占有高さ境界の座標系のためのものである。例えば、テーブルの下を通過することができるかどうかをロボット100が判定することができるように、テーブルを有する部屋が、関連テーブル面の上限および下限高さを示すデータを提供する場合の地形モデル1607である。   In some implementations, the batch processing task processes the sequence 1615 of high density images 1611 into a high density 3-D model 1609 of the robot environment 10 and processes the high density 3-D model 1609. Making the terrain model 1607 for a coordinate system at 2-D positions and at least one height from the floor surface G. In some embodiments, terrain model 1607 is for a coordinate system of 2-D locations and multiple occupied and unoccupied height boundaries from floor G. For example, a terrain model where a room with a table provides data indicating the upper and lower heights of the associated table surface so that the robot 100 can determine whether it can pass under the table. It is 1607.

バッチ処理タスクは、(例えば、クラウド1620が、任意の環境内の目的とする特徴を識別するための分類子1625を構築することができるように)複数のロボット環境10に対応する高密度画像シーケンス1615、1615aを蓄積することを含んでもよい。したがって、バッチ処理タスクは、高密度画像1611のシーケンス1615上での複数の分類子1625および/または1つ以上の分類子1625を訓練することを含んでもよい。例えば、バッチ処理タスクは、危険事象を反映する注釈1613を、可動式ロボット100の危険応答に対して時間間隔内に捕捉される高密度画像1611と関連付けることと、例えば、分類子1625のモデルパラメータのデータセット603、1607、1617を提供するように、関連危険事象注釈1613および対応する高密度画像1611を訓練データとして使用して、危険関連高密度画像1611の分類子1625を訓練することとを含んでもよい。分類子1625は、分類のための少なくとも1つの超平面を構築する、少なくとも1つのサポートベクターマシンを含んでもよく、モデルパラメータは、データセット1603、1607、1617を危険関連分類に分類することが可能な訓練された超平面を画定する。モデルパラメータは、サポートベクターマシンのカーネルを画定する十分なパラメータと、ソフトマージンパラメータとを含んでもよい。   Batch processing tasks may correspond to high density image sequences corresponding to multiple robotic environments 10 (e.g., so that the cloud 1620 can build classifiers 1625 to identify desired features in any environment) 1615, 1615a may be included. Thus, batch processing tasks may include training multiple classifiers 1625 and / or one or more classifiers 1625 on a sequence 1615 of high density images 1611. For example, the batch processing task may associate an annotation 1613 reflecting the hazard event with the high density image 1611 captured within the time interval for the hazard response of the mobile robot 100, eg, model parameters of the classifier 1625. Training the classifier 1625 of the hazard related high density image 1611 using the relevant hazard event annotation 1613 and the corresponding high density image 1611 as training data to provide the data set 603, 1607, 1617 of May be included. The classifier 1625 may include at least one support vector machine that builds at least one hyperplane for classification, and model parameters may classify the data set 1603, 1607, 1617 into a risk related classification. Define a trained hyperplane. The model parameters may include sufficient parameters to define the kernel of the support vector machine and soft margin parameters.

いくつかの実施例では、バッチ処理タスクは、処理される高密度画像シーケンス1615、1615aのスケールに比例する、拡張性のある複数の仮想プロセス1621をインスタンス化することを含む。仮想プロセス1621のうちの少なくともいくつかは、ロボット100へのデータセット1607、1617の伝送後に解放される。同様に、バッチ処理タスクは、記憶される高密度画像シーケンス1615、1615aのスケールに比例する、拡張性のある複数の仮想記憶1622をインスタンス化することを含んでもよい。仮想記憶1622のうちの少なくともいくらかは、ロボット100へのデータセット1607、1617の伝送後に解放される。また、バッチ処理タスクは、可動式ロボット100への地理的近接性および/または複数の可動式ロボット100からのネットワークトラフィックのうちの1つに従って、拡張性のある複数の仮想サーバ1621を分散させることを含んでもよい。   In some embodiments, batch processing tasks include instantiating a plurality of scalable virtual processes 1621 that are proportional to the scale of the high-density image sequence 1615, 1615a to be processed. At least some of the virtual processes 1621 are released after transmission of the data sets 1607, 1617 to the robot 100. Similarly, batch processing tasks may include instantiating a plurality of scalable virtual memories 1622 that are proportional to the scale of the stored high density image sequences 1615, 1615a. At least some of virtual memory 1622 is released after transmission of data sets 1607, 1617 to robot 100. Also, the batch processing task distributes the scalable virtual servers 1621 according to one of the geographic proximity to the mobile robot 100 and / or the network traffic from the mobile robots 100. May be included.

2011年9月29日に公開された、Certainらの米国特許公開第2011/0238857号「Committed Processing Rates for Shared Resources」が、その全体で参照することにより本明細書に組み込まれる。Certainらの説明されたクラウド処理インフラストラクチャは、これと組み合わせ可能な1つの種、例えば、クラウドゲートウェイ1623の種または部分である管理システム202またはノードマネージャモジュール108、弾性処理サーバ1621の種または部分であるプログラム実行サービス(PES)および/または仮想マシン110、ならびに長期記憶インスタンス1622の種または部分であるアーカイブ記憶装置222またはブロックデータサービス(BDS)204またはアーカイブマネージャ224である。   US Patent Publication No. 2011/0238857 "Committed Processing Rates for Shared Resources", published on September 29, 2011, to Certain et al., Is incorporated herein by reference in its entirety. The described cloud processing infrastructure of Certain et al. Is one species that can be combined with it, such as the management system 202 or the node manager module 108, which is the seed or part of the cloud gateway 1623, the seed or part of the elastic processing server 1621. One program execution service (PES) and / or virtual machine 110, and archive storage 222 or block data service (BDS) 204 or archive manager 224, which is the seed or part of long-term storage instance 1622.

図16Hは、例となる可動式ヒューマンインターフェースロボットシステムアーキテクチャ1600dの概略図である。示される実施例では、アプリケーション開発者1602が、クラウド1620と通信しているウェブパッド310またはコンピューティングデバイス1604(例えば、デスクトップコンピュータ、タブレットコンピュータ、可動式デバイス等)上で実行可能なアプリケーション1610を生成するように、アプリケーション開発ツール1640にアクセスし、使用することができる。例となるアプリケーション開発ツール1640は、統合開発環境1642、ソフトウェア開発キット(SDK)ライブラリ1644、開発またはSDKツール1646(例えば、ソフトウェアコードのモジュール、シミュレータ、クラウド利用モニタおよびサービスコンフィギュレータ、およびクラウドサービス拡張アップローダ/ディベロッパ)、および/またはソースコード1648を含んでもよいが、それらに限定されない。SDKライブラリ1644は、企業開発者1602が、アプリケーション1610でロボット100のマッピング、ナビゲーション、スケジューリング、および会議技術を活用することを可能にしてもよい。例となるアプリケーション1610は、マップビルダ1610a、マッピングおよびナビゲーションアプリケーション1610b、テレビ会議アプリケーション1610c、スケジューリングアプリケーション1610d、および利用アプリケーション1610eを含んでもよいが、それらに限定されない。アプリケーション1610は、クラウド1620内の1つ以上のアプリケーションサーバ1650(例えば、クラウド記憶装置1622)上に記憶されてもよく、クラウドサービスアプリケーションプログラミングインターフェース(API)を通してアクセスすることができる。クラウド1620は、1つ以上のデータベース1660と、シミュレータ1670とを含んでもよい。ウェブサービスAPIは、ロボット100とクラウド1620と(例えば、アプリケーションサーバ1650、データベース1660、およびシミュレータ1670と)の間の通信を可能にする。外部システム1680も、例えば、アプリケーション1610にアクセスするように、クラウド1620と相互作用してもよい。   FIG. 16H is a schematic diagram of an example mobile human interface robot system architecture 1600d. In the illustrated example, application developer 1602 generates application 1610 executable on web pad 310 or computing device 1604 (eg, desktop computer, tablet computer, mobile device, etc.) in communication with cloud 1620 Application development tools 1640 can be accessed and used as desired. Example application development tools 1640 include integrated development environment 1642, software development kit (SDK) library 1644, development or SDK tools 1646 (eg, modules of software code, simulators, cloud usage monitor and service configurator, and cloud service extension uploader / Developer), and / or source code 1648, but is not limited thereto. The SDK library 1644 may allow enterprise developers 1602 to leverage the mapping, navigation, scheduling, and conferencing technologies of the robot 100 in the application 1610. Example applications 1610 may include, but are not limited to, map builder 1610a, mapping and navigation application 1610b, video conferencing application 1610c, scheduling application 1610d, and usage application 1610e. Applications 1610 may be stored on one or more application servers 1650 (eg, cloud storage 1622) in cloud 1620 and may be accessed through a cloud service application programming interface (API). Cloud 1620 may include one or more databases 1660 and a simulator 1670. The web services API enables communication between the robot 100 and the cloud 1620 (eg, with the application server 1650, the database 1660, and the simulator 1670). External system 1680 may also interact with cloud 1620 to access application 1610, for example.

いくつかの実施例では、マップビルダアプリケーション1610aは、走行距離計測、全地球測位システム、および/または中間地点ナビゲーションによって提供されるような基準座標を使用して、カメラ320または3−D撮像センサ450によって捕捉される写真またはビデオをともに連結することによって、ロボット100の周囲の環境のマップ1700(図17A)を構築することができる。マップは、環境の屋内または屋外の街路または経路表示を提供してもよい。モールおよびショッピングセンターについては、マップは、さらなるリンクした画像またはビデオおよび/または販促情報とともに基準位置として印付けられた各店を伴う、モールの全体を通した経路巡回を提供することができる。マップおよび/または構成画像あるいはビデオを、データベース1660の中に記憶することができる。   In some embodiments, map builder application 1610a may use camera 320 or 3-D imaging sensor 450 using reference coordinates as provided by odometry, global positioning system, and / or waypoint navigation. A map 1700 (FIG. 17A) of the environment around the robot 100 can be constructed by linking together the photos or videos captured by the. The map may provide an indoor or outdoor street or route indication of the environment. For malls and shopping centers, the map can provide a route tour through the mall with each store marked as a reference location with additional linked images or videos and / or promotional information. Maps and / or configuration images or videos can be stored in database 1660.

アプリケーション1610は、各ユーザエンティティの必要性に基づいてカスタマイズおよび拡張され得る、クラウドサービスとシームレスに通信してもよい。企業開発者1602は、アプリケーション1610によって使用するための外部専有システムからデータをフェッチするクラウド側拡張をクラウド1620にアップロードしてもよい。シミュレータ1670は、開発者1602が、ロボット100または関連ロボットハードウェア無しで企業規模アプリケーションを構築することを可能にする。ユーザは、クラウドサービスを追加する、または無効にするために、SDKツール1646(例えば、利用モニタおよびサービスコンフィギュレータ)を使用してもよい。   The application 1610 may communicate seamlessly with the cloud service, which may be customized and extended based on the needs of each user entity. Enterprise developer 1602 may upload to cloud 1620 a cloud-side extension that fetches data from an external proprietary system for use by application 1610. The simulator 1670 allows developers 1602 to build enterprise-wide applications without the robot 100 or associated robot hardware. Users may use the SDK tool 1646 (eg, usage monitor and service configurator) to add or disable cloud services.

図17Aおよび17Bを参照すると、いくつかの状況では、ロボット100が、情景10および/または作業領域5内の物体12の占領マップ1700を受信し、またはロボットコントローラ500が、経時的に撮像センサ450(例えば、第2の3−D画像センサ450b)から受信される画像データおよび/または画像深度データに基づいて占領マップ1700を生成する(および更新してもよい)。同時局所化およびマッピング(SLAM)は、(演繹的知識を用いることなく)未知の環境または情景10内でマップ1700を構築するために、または同時にその現在の位置を追跡しながら、(所与のマップからの演繹的知識を用いて)既知の環境内でマップ1700を更新するために、ロボット100によって使用され得る技法である。マップ1700は、環境内の位置を判定するために、計画およびナビゲーションのための環境を描写するために使用されてもよい。マップ1700は、ある形態の知覚から取得される情報を記録し、それを現在の一式の知覚と比較することによって、実際の位置の評価を支援する。位置の評価を補助する際のマップ1700の利益は、現在の知覚の精度および質が減少するにつれて増加する。マップ1700は、概して、マップ1700が提供または生成される時の状態を表す。これは、必ずしもマップ1700が使用される時の環境の状態とは一致しない。他の局所化技法は、単眼視覚SLAM(MonoSLAM)、およびMonoSLAM解決法に拡張カルマンフィルタ(EKF)を使用する実現形態を含む。   Referring to FIGS. 17A and 17B, in some situations, the robot 100 receives an occupancy map 1700 of the object 12 in the scene 10 and / or the work area 5, or the robot controller 500 sequentially captures the imaging sensor 450. An occupancy map 1700 is generated (and may be updated) based on image data and / or image depth data received from (eg, second 3-D image sensor 450b). Co-localization and mapping (SLAM) may be used to construct map 1700 in an unknown environment or scene 10 (without using a priori knowledge) or while tracking its current position (while A technique that may be used by the robot 100 to update the map 1700 in a known environment) using a priori knowledge from the map. Map 1700 may be used to delineate the environment for planning and navigation in order to determine its location in the environment. The map 1700 assists in the evaluation of the actual position by recording the information obtained from some form of perception and comparing it to the current set of perceptions. The benefit of map 1700 in aiding in the assessment of position increases as the accuracy and quality of the current perception decreases. Map 1700 generally represents the state when map 1700 is provided or generated. This does not necessarily match the state of the environment when the map 1700 is used. Other localization techniques include monocular visual SLAM (MonoSLAM), and implementations that use an extended Kalman filter (EKF) in the MonoSLAM solution.

コントローラ500は、捕捉された画像の中の局所特徴を検出して表すように、スケール不変特徴変換(SIFT)を実行してもよい。画像内の任意の物体12について、物体12の「特徴説明」を提供するように、物体12上の関心のある点を抽出することができる。次いで、訓練画像から抽出される、この説明は、多くの他の物体を含有する試験画像内で物体12の場所を特定しようとするときに、物体12を識別するために使用することができる。信頼性のある認識を行うために、訓練画像から抽出される特徴は、画像スケール、雑音、および照明の変化の下でさえも検出可能であることが重要である。そのような点は、通常、物体の縁等の画像の高コントラスト領域上に位置する。物体認識および検出については、ロボット100は、位置、スケール、および回転に不変であり、アフィン変換(スケール、回転、剪断、および位置の変化)および照明の変化にロバストである、際立った主要点を見出すために、SIFTを使用してもよい。いくつかの実現形態では、ロボット100は、(例えば、異なる条件下で、異なる角度から等)情景10または物体12の複数の画像を(カメラ320および/または撮像センサ450を使用して)捕捉し、マトリクスの中等に画像を記憶する。ロボット100は、比較、フィルタ等によって、新しい画像を識別するように、記憶された画像にアクセスすることができる。例えば、SIFT特徴を入力画像から取得し、(以前に捕捉された)訓練画像から取得されるSIFT特徴データベースに合致させることができる。特徴合致は、ユークリッド距離ベースの最近傍アプローチを通して行うことができる。同じ物体に属し、クラスタ化プロセスで除外された合致を拒絶する、これらの特徴をクラスタ化することによって、物体識別を増加させるために、ハフ変換が使用されてもよい。SURF(加速ロバスト特徴)が、ロバストな画像検出器および記述子であってもよい。   The controller 500 may perform scale invariant feature transform (SIFT) to detect and represent local features in the captured image. For any object 12 in the image, points of interest on the object 12 can be extracted to provide a "feature description" of the object 12. This description, which is then extracted from the training image, can be used to identify object 12 as it seeks to locate object 12 in a test image containing many other objects. For reliable recognition, it is important that features extracted from the training image be detectable even under changes in image scale, noise and illumination. Such points are usually located on high contrast areas of the image, such as the edge of the object. For object recognition and detection, the robot 100 is invariant to position, scale and rotation, and stands out for its key points that are robust to affine transformations (scale, rotation, shear and change of position) and illumination changes. You may use SIFT to find out. In some implementations, robot 100 captures (using camera 320 and / or imaging sensor 450) multiple images of scene 10 or object 12 (eg, under different conditions, from different angles, etc.) , Store the image in the matrix, etc. The robot 100 can access the stored images to identify new images by comparison, filters, etc. For example, SIFT features can be obtained from an input image and matched to a SIFT feature database obtained from training images (previously captured). Feature matching can be done through Euclidean distance based nearest neighbor approaches. The Hough transform may be used to increase object identification by clustering these features that belong to the same object and reject the excluded matches in the clustering process. SURF (Acceleration Robust Feature) may be a robust image detector and descriptor.

情景10(例えば、ロボット100の周囲の環境)内のロボット100の局所化に加えて、ロボット100は、センサシステム400を使用して、接続空間(例えば、作業領域5)内の他の点に移動してもよい。ロボット100は、ロボット110の周囲の近隣領域をマップし、比較的近い物体12を判別するための(例えば、図1および3に示されるように胴部140の裏面上に載置された)短距離型の撮像センサ450aと、ロボット100の周囲の比較的広い領域をマップし、比較的遠く離れた物体12を判別するための(例えば、図1および3に示されるように頭部160上に載置された)長距離型の撮像センサ450bとを含んでもよい。ロボット100は、情景10内の既知の物体12ならびに塞ぎ16(例えば、物体12が現在の視点から確認されるべきである、または確認されるべきではないが、確認することができない場所)を識別するために、占領マップ1700を使用することができる。ロボット100は、情景10内の塞ぎ16または新しい物体12を登録し、塞ぎ16の中の新しい物体12または任意の物体12の位置を検証するように、塞ぎ16または新しい物体12を迂回しようとすることができる。または、占領マップ1700を使用して、ロボット100は、情景10内の物体12の移動を判定して追跡することができる。例えば、撮像センサ450、450a、450bは、情景10内の物体12のマップされた位置を検出しない間に、情景10内の物体12の新しい位置12´を検出してもよい。ロボット100は、物体12の位置を検証するように、古い物体12の位置を塞ぎ16として登録し、塞ぎ16を迂回しようとすることができる。ロボット100は、新しい画像深度データを以前の画像深度データ(例えば、マップ1700)と比較し、情景10内の物体12の位置の信頼レベルを割り当ててもよい。情景10内の物体12の位置信頼レベルは、閾値期間後にタイムアウトすることができる。センサシステム400は、センサシステム400の各撮像サイクル後に、各物体12の位置信頼レベルを更新することができる。いくつかの実施例では、塞ぎ検出期間(例えば、10秒未満)内の検出される新しい塞ぎ16(例えば、占領マップ1700からの欠落した物体12)は、情景10内の「生きている」物体12の(例えば、移動物体12)を表してもよい。   In addition to the localization of the robot 100 in the scene 10 (e.g. the environment around the robot 100), the robot 100 uses the sensor system 400 to other points in the connection space (e.g. the work area 5) You may move. The robot 100 maps nearby areas around the robot 110 and shorts (eg, mounted on the back of the torso 140 as shown in FIGS. 1 and 3) to identify relatively close objects 12 A distance-type imaging sensor 450a and a relatively large area around the robot 100 are mapped to distinguish relatively distant objects 12 (eg, on the head 160 as shown in FIGS. 1 and 3) And the long-distance type imaging sensor 450b may be included. The robot 100 identifies the known object 12 in the scene 10 as well as the occlusion 16 (e.g. where the object 12 should or should not be identified from the current viewpoint). An occupation map 1700 can be used to do this. The robot 100 attempts to bypass the obstruction 16 or new object 12 so as to register the occlusion 16 or new object 12 in the scene 10 and to verify the position of the new object 12 or any object 12 in the occlusion 16 be able to. Alternatively, using the occupancy map 1700, the robot 100 can determine and track the movement of the object 12 in the scene 10. For example, the imaging sensors 450, 450a, 450b may detect the new position 12 'of the object 12 in the scene 10 while not detecting the mapped position of the object 12 in the scene 10. The robot 100 may attempt to detour the obstruction 16 by registering the position of the old object 12 as occlusion 16 so as to verify the position of the object 12. The robot 100 may compare the new image depth data to previous image depth data (eg, map 1700) and assign a confidence level of the position of the object 12 within the scene 10. The position confidence level of object 12 within scene 10 may time out after a threshold period. Sensor system 400 may update the position confidence level of each object 12 after each imaging cycle of sensor system 400. In some embodiments, detected new occlusions 16 (eg, missing objects 12 from the occupancy map 1700) within the occlusion detection period (eg, less than 10 seconds) are “live” objects in the scene 10. Twelve (for example, moving objects 12) may be represented.

いくつかの実現形態では、情景10内の検出された第1の物体12aの後ろに位置する、目的とする第2の物体12bが、情景10内の塞ぎ16として最初は未検出されない場合がある。塞ぎ16は、撮像センサ450、450a、450bによって容易に検出可能または視認可能ではない情景10内の領域であり得る。示される実施例では、ロボット100のセンサシステム400(例えば、または撮像センサ450、450a、450b等のその一部分)は、情景10を視認するように、視野角θV(0度から360度の間の任意の角度であり得る)を伴う視界452を有する。いくつかの実施例では、撮像センサ450が、360度の視野角θV用の全方向性光学素子を含む一方で、他の実施例では、撮像センサ450、450a、450bは、360度未満(例えば、約45度から180度の間)の視野角θVを有する。視野角θVが360度未満である実施例では、撮像センサ450、450a、450b(またはその構成要素)は、360度の視野角θVを達成するように、ロボット本体110に対して回転してもよい。いくつかの実現形態では、撮像センサ450、450a、450bまたはその部分は、ロボット本体110および/または駆動システム200に対して移動することができる。また、第2の物体12bを検出するために、ロボット100は、第2の物体10bの検出を可能にする、視点を取得するように、1つ以上の方向に情景10の周囲で駆動することによって(例えば、作業表面5上で平行移動および/または回転することによって)撮像センサ450、450a、450bを移動させてもよい。ロボット移動あるいは撮像センサ450、450a、450bまたはその部分の独立した移動は、単眼困難性も解決し得る。 In some implementations, the intended second object 12b located behind the detected first object 12a in the scene 10 may not initially be undetected as a block 16 in the scene 10 . The closure 16 may be an area in the scene 10 not easily detectable or visible by the imaging sensor 450, 450a, 450b. In the illustrated embodiment, the sensor system 400 of the robot 100 (e.g., or a portion thereof, such as the imaging sensors 450, 450a, 450b, etc.) views the viewing angle θ V (between 0 and 360 degrees) to view the scene 10. ) Can have any field of view 452). In some embodiments, imaging sensor 450 includes omnidirectional optics for a 360 degree viewing angle θ V , while in other embodiments imaging sensors 450, 450a, 450b have less than 360 degrees For example, it has a viewing angle θ V of between about 45 degrees and 180 degrees. In embodiments where the viewing angle θ V is less than 360 degrees, the imaging sensors 450, 450a, 450b (or components thereof) rotate relative to the robot body 110 to achieve a 360 degree viewing angle θ V May be In some implementations, the imaging sensor 450, 450a, 450b or portions thereof can move relative to the robot body 110 and / or the drive system 200. Also, to detect the second object 12b, the robot 100 drives around the scene 10 in one or more directions so as to obtain a viewpoint, which enables detection of the second object 10b. Imaging sensors 450, 450a, 450b (eg, by translating and / or rotating on work surface 5). Robot movement or independent movement of the imaging sensor 450, 450a, 450b or parts thereof may also solve monocular difficulty.

信頼レベルが、作業領域5内の物体12の検出された位置または追跡された移動に割り当てられてもよい。例えば、占領マップ1700を生成または更新すると、コントローラ500は、マップ1700上の各物体12の信頼レベルを割り当ててもよい。信頼レベルは、マップ1700上で示されるように、物体12が作業領域5内に実際に位置する確率に正比例することができる。信頼レベルは、物体12を検出するために使用されるセンサの数およびタイプ等のいくつかの要因によって判定され得る。例えば、接触センサ430は、接触センサ430がロボット100による物体12との実際の接触を感知すると、最高レベルの信頼を提供し得る。撮像センサ450は、近接センサ430より高くあり得る、異なるレベルの信頼を提供し得る。いずれか1つのセンサよりも相対的に高いレベルの信頼を提供するために、センサシステム400の1つよりも多くのセンサから受けとられるデータを集約または蓄積することができる。   A confidence level may be assigned to the detected position or tracked movement of the object 12 in the work area 5. For example, upon generating or updating the occupancy map 1700, the controller 500 may assign a confidence level for each object 12 on the map 1700. The confidence level can be directly proportional to the probability that the object 12 is actually located within the work area 5, as shown on the map 1700. The confidence level may be determined by several factors, such as the number and type of sensors used to detect the object 12. For example, touch sensor 430 may provide the highest level of confidence when touch sensor 430 senses actual contact by robot 100 with object 12. Imaging sensor 450 may provide different levels of confidence that may be higher than proximity sensor 430. Data received from more than one sensor of sensor system 400 can be aggregated or stored to provide a relatively higher level of confidence than any one sensor.

走行距離計測は、位置の経時的な変化(移動距離)を推定するために、アクチュエータの移動からのデータを使用するものである。いくつかの実施例では、車輪回転、したがってロボット100による移動距離を計測するように、駆動システム200上にエンコーダが配置される。コントローラ500は、物体位置の信頼レベルの評価に、走行距離計測を使用してもよい。いくつかの実現形態では、センサシステム400は、ロボット100による移動距離を感知するための走行距離計および/または角速度センサ(例えば、ジャイロスコープまたはIMU470)を含む。ジャイロスコープは、角運動量保存の原理に基づき、配向を計測または維持するためのデバイスである。コントローラ500は、作業領域5内および/または占領マップ1700上のロボット100の位置を判定するために、走行距離計および/または角速度センサからそれぞれ受信される走行距離計測および/またはジャイロ信号を使用してもよい。いくつかの実施例では、コントローラ500は、デッドレコニングを使用する。デッドレコニングとは、以前に判定された位置に基づいて現在の位置を推定し、既知または推定速度に基づいて、経過時間および経過にわたってその位置を前進させるプロセスである。(例えば、走行距離計測、ジャイロスコープ等を介して)作業領域5内のロボット位置、ならびに(センサシステム400を介して)作業領域5内の1つ以上の物体12の感知された位置を知ることによって、コントローラ500は、占領マップ1700上および作業領域5内の物体12の位置または移動の(走行距離計測またはジャイロスコープを使用しないものと対比した)相対的により高い信頼レベルを評価することができる。   The travel distance measurement uses data from the movement of the actuator to estimate the change in position (travel distance) over time. In some embodiments, an encoder is disposed on drive system 200 to measure wheel rotation and thus travel distance by robot 100. The controller 500 may use odometry to evaluate the confidence level of the object position. In some implementations, sensor system 400 includes an odometer and / or an angular velocity sensor (eg, a gyroscope or IMU 470) to sense the distance traveled by robot 100. A gyroscope is a device for measuring or maintaining orientation based on the principle of angular momentum conservation. The controller 500 uses odometry and / or gyro signals respectively received from the odometer and / or angular velocity sensor to determine the position of the robot 100 in the work area 5 and / or on the occupancy map 1700. May be In some embodiments, controller 500 uses dead reckoning. Dead reckoning is the process of estimating the current position based on a previously determined position and advancing that position over an elapsed time and course based on a known or estimated velocity. Knowing the robot position in the work area 5 (for example via odometry, gyroscope etc) as well as the sensed position of one or more objects 12 in the work area 5 (via the sensor system 400) Allows the controller 500 to evaluate a relatively higher confidence level (as opposed to without distance measurement or gyroscope) of the position or movement of the object 12 on the occupancy map 1700 and in the work area 5 .

車輪運動に基づく走行距離計測は、電気的にノイズが多くなり得る。コントローラ500は、駆動システム200の車輪ベースの走行距離計測から独立して、視覚走行距離計測を通してロボット運動を算出するために、撮像センサ450から、ロボット100の周囲の環境または情景10の画像データを受信してもよい。視覚走行距離計測は、撮像センサ450の運動を判定するために、オプティカルフローを使用することを必要としてもよい。コントローラ500は、車輪ベースの走行距離計測におけるいかなるエラーも修正するために、撮像センサ450の撮像データに基づいて計算された運動を使用することができ、したがって、改善されたマッピングおよび運動制御を可能にする。視覚走行距離計測は、撮像センサ450が捕捉された画像内の特徴を追跡することができない場合に、低質感または低光情景10による制限を有し得る。   Distance measurement based on wheel motion can be electrically noisy. The controller 500 independently of the wheel-based distance measurement of the drive system 200 calculates image data of the environment or scene 10 around the robot 100 from the imaging sensor 450 in order to calculate robot motion through visual distance measurement. It may be received. Visual mileage measurement may require the use of optical flow to determine the motion of the imaging sensor 450. The controller 500 can use the motion calculated based on the imaging data of the imaging sensor 450 to correct any errors in the wheel based odometry, thus enabling improved mapping and motion control Make it Visual odometry may have limitations due to poor texture or low light scene 10 when imaging sensor 450 can not track features in the captured image.

本明細書で説明されるものと組み合わせ可能であり得る、走行距離計測および撮像システムについての他の詳細および特徴は、内容がそれらの全体で参照することにより本明細書に組み込まれる、米国特許第7,158,317号(「被写界深度」撮像システムを説明する)、および米国特許第7,115,849号(波面コード化界面コントラスト撮像システムを説明する)で見出すことができる。   Other details and features of the odometry and imaging system, which may be combinable with those described herein, are incorporated herein by reference in their entirety. U.S. Pat. No. 7,158,317 (describing a "depth of field" imaging system), and U.S. Pat. No. 7,115,849 (describing a wavefront coded interface contrast imaging system).

ロボットが、それが稼働することになるビルが初めてであるときに、ロボットは、自律ナビゲーションのために、案内される、またはビルのマップ(例えば、部屋および廊下の位置)を提供される必要があり得る。例えば、病院で、ロボットは、各病室、看護ステーション等の位置を知る必要があり得る。いくつかの実現形態では、ロボット100は、図18Aに示されるもの等のレイアウトマップ1810を受け、レイアウトマップ1810を学習するように訓練を受けることができる。例えば、ビルをロボット100に案内しながら、ロボット100は、レイアウトマップ1810上の位置に対応する特定の位置を記録してもよい。ロボット100は、ウェブパッド310上にレイアウトマップ1810を表示してもよく、ユーザがロボット100を特定の位置に連れて行くときに、ユーザは(例えば、タッチスクリーンまたはウェブパッド310の他のポインティングデバイスを使用して)レイアウトマップ1810上のその位置をタグ付けすることができる。ユーザは、部屋の名前または部屋の番号のようなタグ付けされた位置の標識を入力することを選択してもよい。タグ付けするときに、ロボット100は、図18Bに示されるもの等の、レイアウトマップ1810上の点およびロボットマップ1820上の対応する点とともに、タグを記憶してもよい。   When a robot is the first building that it will operate, the robot needs to be guided or provided with a map of the building (for example, the location of rooms and corridors) for autonomous navigation. possible. For example, in a hospital, robots may need to know the location of each room, nursing station, etc. In some implementations, the robot 100 can be trained to receive the layout map 1810, such as that shown in FIG. 18A, to learn the layout map 1810. For example, while guiding the building to the robot 100, the robot 100 may record a particular position that corresponds to the position on the layout map 1810. The robot 100 may display a layout map 1810 on the web pad 310, and when the user takes the robot 100 to a particular position, the user may (eg, touch screen or other pointing device on the web pad 310) Can be tagged on the layout map 1810). The user may choose to enter an indicator of a tagged location, such as the name of the room or the number of the room. When tagging, the robot 100 may store the tag with points on the layout map 1810 and corresponding points on the robot map 1820, such as that shown in FIG. 18B.

センサシステム400を使用して、ロボット100は、それが動き回るにつれて、ロボットマップ1820を構築してもよい。例えば、センサシステム400は、どれだけ遠くにロボット100が移動したか、および移動方向についての情報を提供することができる。ロボットマップ1820は、レイアウトマップ1810内で提供される壁に加えて、固定障害物を含んでもよい。ロボット100は、自律ナビゲーションを実行するためにロボットマップ1820を使用してもよい。1820でのロボットマップでは、「壁」は、例えば、対応する廊下内の壁に沿って生成される検出されたパッキングおよび/または種々の小個室の内側で検出される家具により、完璧に真っ直ぐには見えない場合がある。さらに、回転および分解度の差が、レイアウトマップ1810とロボットマップ1820との間に存在し得る。   Using the sensor system 400, the robot 100 may construct a robot map 1820 as it moves around. For example, sensor system 400 can provide information as to how far robot 100 has moved and the direction of movement. The robot map 1820 may include fixed obstacles in addition to the walls provided in the layout map 1810. Robot 100 may use robot map 1820 to perform autonomous navigation. In the robot map at 1820, the "wall" is perfectly straightened, for example with the detected packing generated along the wall in the corresponding corridor and / or the furniture detected inside the various small rooms May not be visible. Additionally, differences in rotation and resolution may exist between the layout map 1810 and the robot map 1820.

マップ訓練後、ユーザがロボット100をある位置に送りたいときに、ユーザが、指標/タグを指すことができる(例えば、ウェブパッド310上で表示される位置テキストボックスの中へ標識またはタグを入力する)か、またはロボット100が、ウェブパッド310上でレイアウトマップ1810をユーザに表示することができるかのいずれかであり、ユーザが、レイアウトマップ1810上の位置を選択することができる。ユーザがタグ付けされたレイアウトマップ位置を選択した場合、ロボット100は、レイアウトマップ1810上の選択された位置に対応するロボットマップ1820上の位置を容易に判定することができ、かつ選択された位置へナビゲートするように進むことができる。   After map training, when the user wants to send the robot 100 to a position, the user can point to the indicator / tag (eg, enter the indicator or tag into the position text box displayed on the web pad 310 Or the robot 100 can display the layout map 1810 to the user on the web pad 310 and the user can select a position on the layout map 1810. If the user selects a tagged layout map position, the robot 100 can easily determine the position on the robot map 1820 that corresponds to the selected position on the layout map 1810, and the selected position You can proceed to navigate to.

レイアウトマップ1810上の選択された位置がタグ付けされた位置ではない場合、ロボット100はロボットマップ1820上の対応する位置を判定する。いくつかの実現形態では、ロボット100は、既存のタグ付けされた位置を使用して、レイアウトマップ1810とロボットマップ1820との間のスケーリングサイズ、始点マッピング、および回転を算出し、次いで、(例えば、アフィン変換または座標を使用して)ロボットマップ位置を判定するように、算出されたパラメータを適用する。   If the selected location on layout map 1810 is not a tagged location, robot 100 determines a corresponding location on robot map 1820. In some implementations, the robot 100 calculates scaling sizes, starting point mappings, and rotations between the layout map 1810 and the robot map 1820 using existing tagged locations, and then (eg, Apply the calculated parameters to determine the robot map position, using affine transformation or coordinates.

ロボットマップ1820は、レイアウトマップ1810と同じ配向およびスケールではなくてもよい。さらに、レイアウトマップは、原寸に比例していなくてもよく、マップ領域によって異なる歪みを有し得る。例えば、ホテル、オフィス、および病院で典型的に見られる火災時避難マップをスキャンすることによって作成されるレイアウトマップ1810は、通常、原寸に比例してで描かれておらず、マップの異なる領域で異なる縮尺さえも有し得る。ロボットマップ1820は、各自の歪みを有し得る。例えば、ロボットマップ1820上の位置は、距離の尺度として車輪の回転を数えることによって算出されてもよく、床がわずかに滑りやすかった、または角を曲がることが余分な回転を引き起こした場合、不正確な回転の計算が、ロボット100に、マップされた物体の不正確な位置を判定させ得る。   The robot map 1820 may not be the same orientation and scale as the layout map 1810. Furthermore, the layout map may not be to scale and may have different distortions depending on the map area. For example, layout maps 1810 created by scanning fire evacuation maps typically found in hotels, offices, and hospitals are not usually drawn to scale, but in different areas of the map It may even have different scales. The robot map 1820 may have its own distortion. For example, the position on the robot map 1820 may be calculated by counting the rotation of the wheels as a measure of distance, if the floor was slightly slippery, or cornering caused extra rotation. Accurate rotation calculations may cause the robot 100 to determine the incorrect position of the mapped object.

レイアウトマップ1810上の所与の点1814を、ロボットマップ1820上の対応する点1824にマップする方法は、レイアウトマップ点を含有する(例えば、閾値範囲内の)領域中で、レイアウトマップ1810とロボットマップ1820との間の局所的な歪みを算出するために、既存のタグ付けされた1812点を使用することを含んでもよい。本方法はさらに、対応するロボットマップ点1824を見出すために、歪み計算をレイアウトマップ点1814に適用することを含む。ロボットマップ1820上の所与の点から始め、例えば、ロボットにその現在の位置を求めるために、レイアウトマップ1810上の対応する位置を見出したい場合に、逆を行うことができる。   The method of mapping a given point 1814 on the layout map 1810 to the corresponding point 1824 on the robot map 1820 is to map the layout map 1810 and the robot in the area containing the layout map points (e.g. within the threshold range) It may involve using the existing tagged 1812 points to calculate the local distortion with the map 1820. The method further includes applying distortion calculations to layout map points 1814 to find corresponding robot map points 1824. Starting from a given point on the robot map 1820, the reverse can be done, for example, if one wants to find a corresponding position on the layout map 1810 to determine the robot's current position.

図18Cは、レイアウトマップ1810およびロボットマップ1820を使用して、環境の周囲でナビゲートするようにロボット100を動作させるための動作の例となる配設1800を提供する。図18Bおよび18Cを参照すると、動作は、ロボット100の環境に対応するレイアウトマップ1810を受信すること1802cと、環境内のロボット100を、レイアウトマップ1810上のレイアウトマップ位置1812まで移動させること1804cと、環境に対応し、かつロボット100によって生成されるロボットマップ1820上のロボットマップ位置1822を記録すること1806cと、記録されたロボットマップ位置1822および対応するレイアウトマップ位置1812を使用して、ロボットマップ1820とレイアウトマップ1810との間の歪みを判定すること1808cと、対応する目標ロボットマップ位置1824を判定し、それにより、ロボットがレイアウトマップ1810上の選択された位置1814へナビゲートすることを可能にするように、判定された歪みを目標レイアウトマップ位置1814に適用すること1810cとを含む。いくつかの実現形態では、その動作は、既存のタグ付けされた位置を使用して、レイアウトマップとロボットマップとの間のスケーリングサイズ、始点マッピング、および回転を判定することと、目標レイアウトマップ位置1814に対応する選択された目標ロボットマップ位置を解決することとを含む。動作は、ロボットマップ位置を解決するように、アフィン変換を判定されたスケーリングサイズ、始点マッピング、および回転に適用することを含んでもよい。   FIG. 18C provides an example arrangement 1800 of operations for operating the robot 100 to navigate around the environment using the layout map 1810 and the robot map 1820. 18B and 18C, operations include receiving 1802 c a layout map 1810 corresponding to the environment of the robot 100 and moving 1804 c the robot 100 within the environment to a layout map location 1812 on the layout map 1810. Using the robot map position 1822c, corresponding to the environment, and recording the robot map position 1822 on the robot map 1820 generated by the robot 100, using the recorded robot map position 1822 and the corresponding layout map position 1812 Determining 1808 c between the 1820 and the layout map 1810 and the corresponding target robot map location 1824 are determined, such that the robot is selected 1814 on the layout map 1810. To allow to navigate, and a 1810c applying is determined distortion to the target layout map location 1814. In some implementations, the operation uses an existing tagged position to determine scaling size, origin mapping, and rotation between the layout map and the robot map, and target layout map position. Resolving the selected target robot map position corresponding to 1814. The operations may include applying an affine transformation to the determined scaling size, origin mapping, and rotation to resolve robot map locations.

図19A〜19Cを参照すると、いくつかの実現形態では、本方法は、頂点がタグ付けされたレイアウトマップ点1912にある少なくとも1つの三角形1910によって、レイアウトマップ1810の全ての領域が覆われるように、タグ付けされたレイアウトマップ点1912を含有する境界形状の内側の領域の三角測量を導出するために、タグ付けされたレイアウトマップ点1912(記録されたレイアウトマップ位置とも呼ばれる)を使用することを含む。本方法はさらに、選択されたレイアウトマップ点1914を含有する三角形1910を見出すことと、レイアウトマップ1810の中でマップされた三角形1910とロボットマップ1820の中でマップされた対応する三角形1920(すなわち、同じタグ付けされた頂点を伴うロボットマップ三角形)との間のスケール、回転、平行移動、およびスキューを判定することとを含む。本方法は、対応する目標ロボットマップ点1924を見出すために、判定されたスケール、回転、平行移動、およびスキューを選択されたレイアウトマップ点1914に適用することを含む。   Referring to FIGS. 19A-19C, in some implementations, the method causes the entire area of the layout map 1810 to be covered by at least one triangle 1910 located at the layout map point 1912 tagged with the vertices. Using the tagged layout map point 1912 (also called the recorded layout map position) to derive the triangulation of the area inside the boundary shape containing the tagged layout map point 1912 Including. The method further finds a triangle 1910 containing the selected layout map point 1914, and maps the triangle 1910 mapped in the layout map 1810 and the corresponding triangle 1920 mapped in the robot map 1820 (ie, Determining scaling, rotation, translation, and skew between robot map triangles with same tagged vertices. The method includes applying the determined scale, rotation, translation, and skew to selected layout map points 1914 to find a corresponding target robot map point 1924.

図19Cは、目標ロボットマップ位置1924を判定するための動作の例となる配設1900を提供する。動作は、目標レイアウトマップ位置の境界を示すレイアウトマップ位置の間の三角測量を判定すること1902と、レイアウトマップの中でマップされた三角形とロボットマップの中でマップされた対応する三角形との間のスケール、回転、平行移動、およびスキューを判定すること1904と、対応する目標ロボットマップ点を判定するように、判定されたスケール、回転、平行移動、およびスキューを目標レイアウトマップ位置に適用すること1906とを含む。   FIG. 19C provides an example arrangement 1900 of operations for determining the target robot map position 1924. The operation determines triangulation between layout map locations indicating boundaries of target layout map locations 1902, and between mapped triangles in the layout map and corresponding triangles mapped in the robot map. Determining 1904 scale, rotation, translation, and skew, and applying the determined scale, rotation, translation, and skew to the target layout map position to determine a corresponding target robot map point And 1906.

図20Aおよび20Bを参照すると、別の実施例では、本方法は、選択されたレイアウトマップの点1914へのレイアウトマップ1810の中の全てのタグ付けされた点1912の距離を判定することと、レイアウトマップのタグ付けされた点1912の重心2012を判定することとを含む。本方法はまた、ロボットマップ1820上の全てのタグ付けされた点1922の重心2022を判定することも含む。各タグ付けされたレイアウトマップ点1912については、本方法は、レイアウトマップ重心2012から選択されたレイアウト点1914まで及ぶベクター2014を、ロボットマップ重心2022からロボットマップ点1924まで及ぶベクター2024に変換するために必要とされる、回転および長さスケーリングを判定することとを含む。このデータを使用して、本方法はさらに、平均回転およびスケールを判定することを含む。各タグ付けされたレイアウトマップ点1912については、本方法はさらに、重心の平行移動、平均回転、および平均スケールを選択されたレイアウトマップ点1914に適用することによって、「理想ロボットマップ座標」点1924iを判定することを含む。さらに、各タグ付けされたレイアウトマップ点1912については、本方法は、そのレイアウトマップ点1912から選択されたレイアウトマップ点1914までの距離を判定することと、最短距離から最長距離まで、これらの距離別にタグ付けされたレイアウトマップ点1912を分類することとを含む。本方法は、タグ付けされたレイアウトマップ点1912と選択されたレイアウトマップ点1914との間の距離の逆二乗のいずれかを使用して、タグ付けされたレイアウトマップ点1912の「影響要因」を判定することを含む。次いで、タグ付けされたレイアウトマップ点1912について、本方法は、タグ付けされたレイアウトマップ点1912の影響要因を使用することによって比例配分される、「理想ロボットマップ座標」点1924iとロボットマップ点1924との間の差である、ベクターを判定することを含む。本方法は、比例配分されたベクターを合計することと、それらを選択されたレイアウトマップ点1914に対する「理想ロボットマップ座標」点1924iに加算することを含む。結果は、ロボットマップ1820上の対応するロボットマップ点1924である。いくつかの実施例では、この方法/アルゴリズムは、全てのタグ付けされたレイアウトマップ点1912ではなく、最も近いN個のタグ付けされたレイアウトマップ点1912のみを含む。   Referring to FIGS. 20A and 20B, in another embodiment, the method determines the distance of all tagged points 1912 in the layout map 1810 to points 1914 in the selected layout map; Determining the centroid 2012 of the tagged point 1912 of the layout map. The method also includes determining the centroid 2022 of all tagged points 1922 on the robot map 1820. For each tagged layout map point 1912, the method converts vector 2014 ranging from layout map centroid 2012 to the selected layout point 1914 into vector 2024 ranging from robot map centroid 2022 to robot map point 1924 Determining the required rotation and length scaling. Using this data, the method further includes determining an average rotation and a scale. For each tagged layout map point 1912, the method further applies the "ideal robot map coordinate" point 1924i by applying the translation of the center of gravity, the average rotation, and the average scale to the selected layout map point 1914. Including determining Further, for each tagged layout map point 1912, the method determines the distance from that layout map point 1912 to the selected layout map point 1914, and from these shortest distances to the longest distances. And categorizing separately tagged layout map points 1912. The method uses the inverse square of the distance between the tagged layout map point 1912 and the selected layout map point 1914 to “tag” the tagged layout map point 1912. Including determining. The “ideal robot map coordinates” point 1924 i and robot map point 1924 are then prorated by using the influence factor of the tagged layout map point 1912 for the tagged layout map point 1912. Determining the vector, which is the difference between The method includes summing the prorated vectors and adding them to the "ideal robot map coordinates" point 1924i for the selected layout map point 1914. The result is the corresponding robot map point 1924 on robot map 1820. In some embodiments, the method / algorithm includes only the closest N tagged layout map points 1912, rather than all tagged layout map points 1912.

図20Cは、レイアウトマップ1810およびロボットマップ1820を使用して、目標ロボットマップ位置1924を判定するための動作の例となる配設2000を提供する。動作は、全てのレイアウトマップ位置と目標レイアウトマップ位置との間の距離を判定すること2002と、レイアウトマップ位置の重心を判定すること2004と、全ての記録されたロボットマップ位置の重心を判定すること2006と、各レイアウトマップ位置について、レイアウトマップ重心から目標レイアウト位置まで及ぶベクターを、ロボットマップ重心から目標ロボットマップ位置まで及ぶベクターに変換するように、回転および長さスケーリングを判定すること2006とを含む。   FIG. 20C provides an example arrangement 2000 of operations for determining a target robot map location 1924 using layout map 1810 and robot map 1820. The operation determines the distance between all layout map positions and the target layout map position 2002, determines the center of gravity of the layout map position 2004, and determines the center of gravity of all recorded robot map positions. Determining rotation and length scaling such that, for each layout map position, converting a vector ranging from the layout map centroid to the target layout location into a vector ranging from the robot map centroid to the target robot map location including.

再び図16Cを参照すると、ロボット100は自律的に動作してもよいが、ユーザがアプリケーション1610を通してロボット100を制御または管理することを所望し得る。例えば、ユーザは、マップ上でナビゲーション点を提供すること等によって、環境または情景10内のロボット100の移動を制御または画定することを所望してもよい。いくつかの実現形態では、マップビルダアプリケーション1610aは、ユーザが、情景10内の1つ以上のロボット100のセンサシステム400によって生成されるセンサデータに基づいて、情景10の占領マップ1700(図17A)またはレイアウトマップ1810(図18A)を作成することを可能にする。いくつかの実施例では、1つ以上のベクターベースのレイアウトマップ1810を生成するように、ロボットマップ1810を後処理することができる。マップビルダアプリケーション1610aは、ユーザがマップ1700、1810をカスタマイズすること(例えば、平行に見えるべきである壁を並べること等)を可能にしてもよい。また、ロボット100によって、およびアプリケーション1610a(および/または他のアプリケーション1610)によって認識可能な注釈を、マップ1700、1810に追加することができる。いくつかの実現形態では、マップビルダアプリケーション1610aは、クラウドサービスを使用して、クラウド1620上のクラウド記憶装置1622の中に、ロボットマップデータ、レイアウトマップデータ、ユーザ定義された物体、および注釈を確実に記憶してもよい。関連データセットが、クラウドサービスから適切なロボット100およびアプリケーション1610へプッシュ配信されてもよい。   Referring again to FIG. 16C, although the robot 100 may operate autonomously, it may be desirable for the user to control or manage the robot 100 through the application 1610. For example, the user may desire to control or define the movement of the robot 100 within the environment or scene 10, such as by providing navigation points on a map. In some implementations, the map builder application 1610a may allow the user to capture an occupancy map 1700 (FIG. 17A) of the scene 10 based on sensor data generated by the sensor system 400 of one or more robots 100 in the scene 10. Or allow the layout map 1810 (FIG. 18A) to be created. In some embodiments, robot map 1810 can be post-processed to generate one or more vector based layout maps 1810. The map builder application 1610a may allow the user to customize the maps 1700, 1810 (e.g., lining up walls that should appear parallel). Also, annotations that can be recognized by the robot 100 and by the application 1610a (and / or other applications 1610) can be added to the maps 1700, 1810. In some implementations, the map builder application 1610a uses cloud services to ensure robot map data, layout map data, user-defined objects, and annotations in the cloud storage 1622 on the cloud 1620. May be stored. Relevant data sets may be push delivered from the cloud service to the appropriate robot 100 and application 1610.

いくつかの実現形態では、マッピングおよびナビゲーションアプリケーション1610b(図16C)は、ユーザが、レイアウトマップ1810上の目的地位置を特定し、目的地位置へ駆動するようにロボット100に要求することを可能にする。例えば、ユーザが、クラウド1620と通信している、コンピュータ、タブレットコンピュータ、可動式デバイス等のコンピューティングデバイス上でマッピングおよびナビゲーションアプリケーション1610bを実行してもよい。ユーザは、ロボット100の周囲の環境のレイアウトマップ1810にアクセスし、レイアウトマップ1810上の目的地位置を印付け、または別様に設定し、目的地位置に移動するようにロボット100に要求することができる。次いで、ロボット100は、レイアウトマップ1810および/または対応するロボットマップ1820を使用して、目的地位置へ自律的にナビゲートしてもよい。目的地位置へナビゲートするために、ロボット100は、その局所知覚空間(すなわち、センサシステム400を通して知覚されるようなロボット100の周囲の空間)を判別し、物体検出障害物回避(ODOA)戦略を実行する、その能力に依存してもよい。   In some implementations, the mapping and navigation application 1610b (FIG. 16C) allows the user to locate the destination location on the layout map 1810 and request the robot 100 to drive to the destination location. Do. For example, the mapping and navigation application 1610b may be run on a computing device, such as a computer, tablet computer, mobile device, etc., wherein a user is in communication with the cloud 1620. The user accesses the layout map 1810 of the environment around the robot 100, marks or otherwise sets the destination location on the layout map 1810, and requests the robot 100 to move to the destination location. Can. The robot 100 may then navigate autonomously to the destination location using the layout map 1810 and / or the corresponding robot map 1820. In order to navigate to the destination location, the robot 100 determines its local perceptual space (i.e. the space around the robot 100 as perceived through the sensor system 400) and an object detection obstacle avoidance (ODOA) strategy Depending on its ability to perform.

図11Bおよび21A〜21Dを参照すると、いくつかの実現形態では、ロボット100(例えば、図13に示される制御システム510)は、その局所知覚空間を、障害物(黒)2102、未知(灰色)2104、および既知の空き領域(白)2106という、3つのカテゴリに分離する。障害物2102は、ロボット100の高さより下側にある地面Gより上側の観察された(すなわち、感知された)点、および地面より下側の観察された点(例えば、穴、段階的減少等)である。既知の空き領域2106は、3−D画像センサ450が地面Gを見ることができる領域に対応する。センサシステム400の中の全てのセンサからのデータを、離散化3−Dボクセルグリッドに組み込むことができる。次いで、3−Dグリッドを分析し、3つの局所知覚空間を用いて2−Dグリッド2100に変換することができる。図21Aは、ロボット100の静止している間の局所知覚空間の例となる概略図を提供する。3−Dボクセルグリッド内の情報は、持続性を有するが、補強されない場合、経時的に劣化する。ロボット100が移動しているときに、持続性のため、ナビゲートするより多くの既知の空き領域2106を有する。   Referring to FIGS. 11B and 21A-21D, in some implementations, the robot 100 (eg, control system 510 shown in FIG. 13) has its local perceptual space an obstacle (black) 2102, unknown (gray) It is divided into three categories 2104 and known free space (white) 2106. Obstacle 2102 is an observed (ie, sensed) point above ground G that is below the height of robot 100, and an observed point below ground (eg, a hole, gradual decrease, etc.) ). The known free area 2106 corresponds to the area where the 3-D image sensor 450 can see the ground G. Data from all sensors in sensor system 400 can be incorporated into a discretized 3-D voxel grid. The 3-D grid can then be analyzed and transformed into a 2-D grid 2100 using three local perceptual spaces. FIG. 21A provides an example schematic of a local perceptual space while the robot 100 is at rest. The information in the 3-D voxel grid is persistent but degrades over time if not augmented. When the robot 100 is moving, it has more known free space 2106 to navigate for durability.

制御システム510の物体検出障害物回避(ODOA)ナビゲーション戦略は、コマンドに起因し得る可能性のあるロボット位置を容認すること、または拒否することのいずれかを含んでもよい。異なるコマンドを用いて、多くのレベルの深さの可能性のあるロボット経路2110を生成することができ、各レベルでロボット位置をもたらす。図21Bは、ロボット100の移動している間の局所知覚空間の例となる概略図を提供する。ODOA挙動600b(図13)は、各予測ロボット経路2110を評価することができる。好ましい結果および対応するロボットコマンドを判定するために、動作選択エンジン580によって、これらの評価を使用することができる。例えば、ロボット経路2110内の各ロボット位置2120について、ODOA挙動600bは、ロボット100の対応する位置の周囲の境界ボックスの中にあるグリッド2100内の各セルを識別することと、各セルの分類を受信することとを含む、物体検出および障害物回避のための方法を実行することができる。障害物または未知に分類される各セルについて、セルに対応するグリッド点を取り出し、グリッド点がロボット100の位置の周囲の衝突円形内にあるかどうかを判定することによって、衝突チェックを実行する。グリッド点が衝衝突円形内にある場合、本方法はさらに、グリッド点が衝突三角形(例えば、ロボット100を三角形としてモデル化することができる)内にあるかどうかの3点比較試験を実行することを含む。グリッド点が衝突三角形内にある場合、本方法は、グリッド点を拒否することを含む。ロボット位置が、ロボット経路2110上の親グリッド点のセンサシステム視界の内側にある場合、「未知」グリッド点は、ロボット100がこれらのグリッド点に到達する時までに、それが把握されるであろうと想定されるため、無視される。   The object detection obstacle avoidance (ODOA) navigation strategy of control system 510 may include either accepting or rejecting robot positions that may be due to commands. Different commands can be used to generate potential robot paths 2110 of many levels of depth, resulting in robot position at each level. FIG. 21B provides an example schematic view of a local perceptual space while the robot 100 is moving. The ODOA behavior 600b (FIG. 13) can evaluate each predicted robot path 2110. These evaluations can be used by the motion selection engine 580 to determine the desired results and the corresponding robot commands. For example, for each robot position 2120 in robot path 2110, ODOA behavior 600b identifies each cell in grid 2100 that is in the bounding box around the corresponding position of robot 100, and classifies each cell. Methods for object detection and obstacle avoidance may be implemented, including receiving. For each cell classified as an obstacle or unknown, a collision check is performed by taking the grid points corresponding to the cell and determining if the grid point is within a collision circle around the position of the robot 100. If the grid points are in a collision circle, then the method further performs a three-point comparison test of whether the grid points are in a collision triangle (eg, the robot 100 can be modeled as a triangle). including. If the grid point is in a collision triangle, the method includes rejecting the grid point. If the robot position is inside the sensor system view of the parent grid point on robot path 2110, then the "unknown" grid point will be known by the time the robot 100 reaches those grid points It is ignored because it is assumed to

本方法は、あるロボット位置2120から次のロボット位置への移行中にロボットが衝突するのを防止するために、ロボット経路2110内の連続ロボット位置2120の間のロボット経路領域(例えば、長方形によってモデル化される)内に、いずれかの障害物衝突が存在するか否かを判定することを含んでもよい。   The method may include a robot path region (eg, a rectangular shape) between successive robot positions 2120 within robot path 2110 to prevent robots from colliding during a transition from one robot position 2120 to the next robot position. In other embodiments, it may include determining whether any obstacle collisions exist.

図21Cは、ロボット100の局所知覚空間およびセンサシステム視界405(制御システム510は、ロボット経路判定に、第1および第2の3−D画像センサ450a、450b等の特定のセンサのみを使用してもよい)の概略図を提供する。駆動システム200のホロノミック可動性を利用して、ロボット100は、センサシステム視界405が能動的に対応範囲としない方向に駆動することを可能にするために、既知の地面Gの持続性を使用することができる。例えば、ロボット100が、第1および第2の3−D画像センサ450a、450bが前方を指す状態で、静止して座っている場合、ロボット100は、側方向に駆動することができるが、ロボット100の側方に未知に分類される領域を示す図21Cに示される実施例に図示されるように、ロボット100がその側方に何があるかを知らないため、制御システム510は、提案される移動を拒否する。ロボット100が、第1および第2の3−D画像センサ450a、450bが前方を指す状態で、前方に駆動する場合、ロボット100が前方に駆動する際、第1および第2の3−D画像センサ450a、450bの両方が、地面Gを空きと見ることができ、分類の持続性は依然として劣化されていないため、ロボット100の隣の地面Gが、既知の空き2106に分類されてもよい(例えば、図21B参照)。そのような状況では、ロボット100は、側方向に駆動することができる。   FIG. 21C illustrates the local perceptual space of the robot 100 and the sensor system view 405 (the control system 510 uses only certain sensors, such as the first and second 3-D image sensors 450a, 450b, for robot path determination. Provides a schematic diagram of Using the holonomic mobility of the drive system 200, the robot 100 uses the known ground G persistence to enable the sensor system field of view 405 to actively drive out of coverage. be able to. For example, if the robot 100 is sitting still with the first and second 3-D image sensors 450a, 450b pointing forward, the robot 100 can be driven laterally but the robot As illustrated in the example shown in FIG. 21C, which shows regions that are classified as unknown to the side of 100, the control system 510 is proposed because the robot 100 does not know what is on its side. Reject the move. When the robot 100 drives forward with the first and second 3-D image sensors 450a and 450b pointing forward, the first and second 3-D images when the robot 100 drives forward The ground G next to the robot 100 may be classified as a known empty 2106, as both sensors 450a, 450b can see the ground G as empty and the persistence of classification is still not degraded ( For example, see FIG. 21B). In such situations, the robot 100 can be driven laterally.

図21Dを参照すると、いくつかの実施例では、ホロノミック可動性による大きい数の可能な軌跡を考慮して、ODOA挙動600bは、ロボットに、ロボットが向かっている場所でロボットが見る(現在ではないが)軌跡を選択させてもよい。例えば、ロボット100は、センサ視界配向を予期することができ、これは、制御システム510が、物体を検出することを可能にする。ロボットは、平行移動しながら回転することができるため、ロボットは、駆動しながらセンサ視界405を増加させることができる。   Referring to FIG. 21D, in some embodiments, ODOA behavior 600b causes the robot to see where it is headed (not now), given the large number of possible trajectories due to holonomic mobility ) But may select a locus. For example, the robot 100 can expect sensor field of view orientation, which allows the control system 510 to detect an object. The robot can rotate while translating, so the robot can increase the sensor field of view 405 while driving.

センサシステム400の視界405およびそれが異なる位置で見るであろうものを理解することによって、ロボット100は、それが進んでいる場所を見るのに役立つ、移動軌道を選択することができる。例えば、角を曲がるときに、図21Eに示されるように、ロボット100が、親ロボット位置2120のセンサシステム視界405ではなく、現在知識がない、ロボット位置2120に最終的に行き得るため、ロボット100は、角を急に曲がる軌道を拒否してもよい。代わりに、ロボット100は、図21Fに示されるように、早く所望の運動方向を向くように曲がる移動軌道を選択し、横に移動し、次いで、角の周囲を真っ直ぐ移動するために駆動システム200のホロノミック可動性を使用してもよい。   By understanding the field of view 405 of the sensor system 400 and what it will look at in different positions, the robot 100 can select a movement trajectory that will help to see where it is going. For example, when turning a corner, as shown in FIG. 21E, the robot 100 may eventually go to the robot position 2120 without current knowledge, rather than the sensor system view 405 of the parent robot position 2120. May refuse a trajectory that makes a sharp turn in the corner. Instead, the robot 100 selects a moving trajectory that turns to the desired motion direction quickly, as shown in FIG. 21F, moves sideways, and then drives system 200 to move straight around the corner. Holonomic mobility may be used.

いくつかの実施例では、マッピングおよびナビゲーションアプリケーション1610b(図16C)は、遠隔操作機能を提供する。例えば、ユーザは、ビデオ中間地点駆動を使用して(例えば、カメラまたは撮像センサ320、450のうちの1つ以上を使用して)ロボット100を駆動することができる。ユーザは、胴部140(図14)の高さHTを上昇/下降させて撮像センサ450のうちの1つの視界を変化させるように、脚部130の高さHLを変化させ、および/または支持されたカメラ320あるいは撮像センサ450、450bの視界を変化させるようにロボット頭部160を回動および/または傾斜してもよい(例えば、図11Aおよび11B参照)。さらに、ユーザは、カメラまたは撮像センサ320、450の他の視界を得るように、駆動システム200を使用して、そのZ軸の周囲でロボットを回転させることができる。いくつかの実施例では、マッピングおよびナビゲーションアプリケーション1610bは、ユーザが(例えば、異なる環境または異なるロボット100について)複数のレイアウトマップ1810の間で切り替え、および/または1つのレイアウトマップ1810上で複数のロボット100を管理することを可能にする。マッピングおよびナビゲーションアプリケーション1610bは、ロボット100の所有者または組織によって記載される適正なロボット利用についての方針を施行するように、クラウドサービスAPIと通信してもよい。 In some embodiments, the mapping and navigation application 1610b (FIG. 16C) provides remote control functionality. For example, a user can drive the robot 100 using video waypoint actuation (e.g., using one or more of the cameras or imaging sensors 320, 450). The user changes the height H L of the leg 130 to raise / lower the height H T of the torso 140 (FIG. 14) to change the field of view of one of the imaging sensors 450, and / or Alternatively, the robot head 160 may be pivoted and / or tilted to change the field of view of the supported camera 320 or imaging sensors 450, 450b (see, eg, FIGS. 11A and 11B). In addition, the user can use the drive system 200 to rotate the robot around its Z-axis to obtain a camera or other view of the imaging sensor 320, 450. In some embodiments, the mapping and navigation application 1610 b may allow the user to switch between multiple layout maps 1810 (eg, for different environments or different robots 100) and / or multiple robots on one layout map 1810. Allows to manage 100. The mapping and navigation application 1610b may communicate with the cloud service API to enforce the policies for proper robot usage described by the robot owner or organization.

再び図16Cを参照すると、いくつかの実現形態では、テレビ会議アプリケーション1610cは、ユーザが他のユーザとのテレビ会議セッションを開始し、および/またはそれに参加することを可能にする。いくつかの実施例では、テレビ会議アプリケーション1610cは、ユーザが、ロボット100のユーザ、クラウド1620に接続されたコンピューティングデバイス上の遠隔ユーザ、および/または可動式手持ちデバイスを使用するインターネットに接続された別の遠隔ユーザとのテレビ会議セッションを開始する、および/またはそれに参加することを可能にする。テレビ会議アプリケーション1610cは、情報を共有するための電子ホワイトボード、画像ビューア、および/またはPDFビューアを提供してもよい。   Referring again to FIG. 16C, in some implementations, the video conferencing application 1610 c allows users to initiate and / or participate in video conferencing sessions with other users. In some embodiments, video conferencing application 1610 c may be connected to the user of robot 100, a remote user on a computing device connected to cloud 1620, and / or the Internet using a mobile handheld device. Allows to initiate and / or join a video conferencing session with another remote user. Video conferencing application 1610 c may provide an electronic whiteboard, an image viewer, and / or a PDF viewer for sharing information.

スケジューリングアプリケーション1610dは、ユーザが1つ以上のロボット100の利用を予定に入れることを可能にする。人が使用したいよりも少ないロボット100があるときに、ロボット100は、不十分な資源になり、スケジューリングが必要とされ得る。スケジューリングは、資源割付における対立を解決し、より高い資源利用を可能にする。スケジューリングアプリケーション1610dは、ロボット中心となり得、Microsoft OutlookまたはGoogle Calendar等の第三者カレンダリングシステムと統合してもよい。いくつかの実施例では、スケジューリングアプリケーション1610dは、事前に予定された時間にロボット100をディスパッチするように、1つ以上のクラウドサービスを通してクラウド1620と通信する。スケジューリングアプリケーション1610dは、ユーザによって特定される任務のためのクラウドサービスによるロボット100の選択を可能にするように、時間関連データ(例えば、メンテナンススケジュール等)を他のロボットデータ(例えば、ロボット位置、健康状態等)と統合してもよい。   The scheduling application 1610d allows the user to schedule the use of one or more robots 100. When there are fewer robots 100 than humans would like to use, the robots 100 may become insufficient resources and scheduling may be required. Scheduling resolves conflicts in resource allocation and allows higher resource utilization. The scheduling application 1610d may be robot centric and may integrate with a third party calendaring system such as Microsoft Outlook or Google Calendar. In some embodiments, scheduling application 1610 d communicates with cloud 1620 through one or more cloud services to dispatch robot 100 at a pre-scheduled time. The scheduling application 1610d may select time-related data (eg, maintenance schedules, etc.) to other robot data (eg, robot position, health, etc.) to enable selection of the robot 100 by the cloud service for the task identified by the user. Integrated with the state).

1つのシナリオでは、医師が、週の後半に遠隔の病院での回診を予定に入れるために、クラウド1620と通信しているコンピューティングデバイス(例えば、携帯用タブレットコンピュータまたは手持ち式デバイス)上のスケジューリングアプリケーション1610dにアクセスしてもよい。スケジューリングアプリケーション1610dは、電子カレンダー上で会議室を割り付けるのと同様にロボット100を予定に入れることができる。クラウドサービスは、スケジュールを管理する。夜中に、遠隔の病院にいる重体患者を診察する必要があるという呼び出しを医師が受けた場合、医師は、スケジューリングアプリケーション1610dを使用してロボット100を要請し、および/またはマッピングおよびナビゲーションアプリケーション1610bを使用してロボット100を病室に送ることができる。医師は、テレビ会議アプリケーション1610cを使用して、(例えば、クラウド記憶装置1622にアクセスすることによって)自分のコンピューティングデバイス上で診察記録および患者のビデオまたは画像にアクセスしてもよい。クラウドサービスは、ロボット管理、電子健康記録システム、および医療用撮像システムと統合してもよい。医師は、患者と遠隔でやりとりするように、ロボット100の移動を制御してもよい。患者がポルトガル語しか話さない場合、テレビ会議アプリケーション1610cが、自動的に言語を翻訳してもよく、または第三者の翻訳者が、(例えば、インターネットを介して)クラウド1620と通信している別のコンピューティングデバイスを使用してテレビ会議に参加してもよい。クラウドサービスを使用して、翻訳サービスを要請し、遂行し、記録し、および課金請求することができる。   In one scenario, scheduling on a computing device (e.g., a portable tablet computer or handheld device) in communication with the cloud 1620 to schedule a doctor to schedule a round-trip at a remote hospital later in the week Applications 1610d may be accessed. The scheduling application 1610d can schedule the robot 100 in the same manner as allocating a conference room on an electronic calendar. Cloud service manages the schedule. If, at midnight, the doctor receives a call that he needs to see a heavy patient in a remote hospital, the doctor uses the scheduling application 1610d to request the robot 100 and / or the mapping and navigation application 1610b. The robot 100 can be used to send it to a room. The physician may access the medical record and the patient's video or images on his computing device (eg, by accessing the cloud storage device 1622) using the video conferencing application 1610c. Cloud services may be integrated with robot management, electronic health record systems, and medical imaging systems. The physician may control the movement of the robot 100 to interact with the patient remotely. If the patient speaks only Portuguese, the video conferencing application 1610c may automatically translate the language, or a third party translator is communicating with the cloud 1620 (eg, via the Internet) Another computing device may be used to join the video conference. Cloud services can be used to request, perform, record, and bill translation services.

利用状況/統計アプリケーション1610eは、ユーザがロボットの利用を監視し、ロボット利用レポートを生成し、および/またはロボット隊100を管理するための汎用アプリケーションであり得る。このアプリケーション1610eはまた、ロボット100の一般動作およびトラブルシューティング情報を提供してもよい。いくつかの実施例では、利用状況/統計アプリケーション1610eは、ユーザがロボット100の使用と関連付けられるサービスを追加する/無効にする、1つ以上のシミュレータ1670の使用を登録する、ロボットについての利用方針を修正すること等を可能にする。   Usage / statistics application 1610 e may be a general purpose application for the user to monitor robot usage, generate robot usage reports, and / or manage robot fleet 100. This application 1610e may also provide general operation and troubleshooting information for the robot 100. In some embodiments, usage context / statistics application 1610e registers a usage of one or more simulators 1670 that allows the user to add / disable services associated with usage of the robot 100 usage policy for the robot Make it possible to correct etc.

別のシナリオでは、事業が、少なくとも1つのテレプレゼンスアプリケーション用のロボット隊100を有してもよい。位置マネージャが、(例えば、インターネットを介して)クラウド1620と通信しているコンピューティングデバイス上で実行される利用/統計アプリケーション1610eを使用して、1つ以上のロボット100の状態(例えば、位置、利用およびメンテナンススケジュール、バッテリ情報、位置履歴等)を監視してもよい。いくつかの実施例では、位置マネージャは、ユーザセッションを共有することによって、ロボットの問題があるユーザを支援してもよい。位置マネージャは、対応するロボット100をナビゲートする、ロボット100を通して話す(すなわち、テレプレゼンス)、節電モードになる(例えば、機能性を低減させる)、充電器を見出す等のために、アプリケーション1610を使用して、コマンドをロボット100のうちのいずれかに発行することができる。位置マネージャまたはユーザは、ユーザ、セキュリティ、レイアウトマップ1810、ビデオ視界を管理する、隊にロボットを追加する/隊から除去する等のために、アプリケーション1610を使用することができる。ロボット100の遠隔オペレータは、(例えば、スケジューリングアプリケーション1610dを使用して)ロボット予約を予定/予定変更/キャンセルし、(例えば、クラウドサーバ上で実行されるシミュレータ1670を使用して)シミュレートした場所を歩き回るシミュレートしたロボットを使用して、訓練コースに参加することができる。   In another scenario, a business may have a team of robots 100 for at least one telepresence application. The status (e.g., location, Usage and maintenance schedules, battery information, location history, etc.) may be monitored. In some embodiments, the location manager may assist users with robotic problems by sharing user sessions. The location manager navigates the corresponding robot 100, speaks through the robot 100 (i.e. telepresence), goes into a power saving mode (e.g. reduces functionality), finds the charger, etc. A command can be issued to any of the robots 100, using. The location manager or user can use the application 1610 to manage the user, security, layout map 1810, manage video view, add / remove robots from the formation, etc. The remote operator of robot 100 schedules / schedules / cancels robot reservations (eg, using scheduling application 1610 d) and simulated locations (eg, using simulator 1670 executed on a cloud server) You can take part in the training course using a simulated robot that roams around.

SDKライブラリ1644は、アプリケーション1610の開発者1602によって使用するための1つ以上のソースコードライブラリを含んでもよい。例えば、視覚構成要素ライブラリが、グラフィカルユーザインターフェース、またはカプセル化機能にアクセスするためのインターフェースを有する視覚構成要素を提供することができる。例となる視覚構成要素は、レイアウトマップタイルおよびロボットを描く、テレビ会議をする、画像およびドキュメントを閲覧する、および/またはカレンダーあるいはスケジュールを表示するためのコード部類を含む。ロボット通信ライブラリ(例えば、ウェブサービスAPI)は、ロボット100と直接通信するためのRESTful(Representational State Transfer)、JSON(JavaScript Object Notation)ベースのAPIを提供することができる。ロボット通信ライブラリは、(例えば、iOS開発用の)Objective−Cバインディングおよび(例えば、Android開発用の)Java(登録商標)バインディングを提供することができる。これらのオブジェクト指向物体APIは、根底にあるロボット100のデータ転送プロトコルを開発者1602からカプセル化しながら、アプリケーション1610がロボット100と通信することを可能にする。ロボット通信ライブラリのルーチンに従う個人は、ロボット100によって追跡される個人に対応するビデオ画面座標を戻してもよい。ロボット通信ライブラリの顔認識ルーチンは、カメラ320のカメラ視野上の顔の座標、および随意に、認識された追跡個人の名前を戻す。表1は、ロボット通信サービスの典型的なリストを提供する。

Figure 0006526613
表1 SDK library 1644 may include one or more source code libraries for use by developers 1602 of application 1610. For example, a visual component library can provide a visual component having a graphical user interface, or an interface for accessing encapsulation functionality. Example visual components include code for laying out layout map tiles and robots, making video conferences, viewing images and documents, and / or displaying calendars or schedules. The robot communication library (for example, web service API) can provide RESTful (Representational State Transfer), JSON (JavaScript Object Notation) based API for directly communicating with the robot 100. The robot communication library can provide Objective-C binding (for example, for iOS development) and Java (registered trademark) binding (for example, for Android development). These object oriented object APIs allow applications 1610 to communicate with the robot 100 while encapsulating the underlying data transfer protocol of the robot 100 from the developer 1602. The individual following the routine of the robotic communication library may return video screen coordinates corresponding to the individual tracked by the robot 100. The face recognition routine of the robot communication library returns the coordinates of the face on the camera view of the camera 320 and, optionally, the name of the tracked individual being recognized. Table 1 provides a typical list of robotic communication services.
Figure 0006526613
Table 1

クラウドサービス通信ライブラリは、アプリケーション1610がクラウド1620(例えば、クラウド記憶装置1622、アプリケーションサーバ1650、データベース1660、およびシミュレータ1670と)および/またはクラウド1620と通信しているロボット100と通信することを可能にする、APIを含んでもよい。クラウドサービス通信ライブラリは、Objective−CおよびJava(登録商標)バインディングの両方で提供することができる。クラウドサービスAPIの実施例は、(例えば、位置を取り出す、目的地を設定する等のための)ナビゲーションAPI、マップ記憶および回収PAI、カメラフィードAPI、遠隔操作API、利用統計API、およびその他を含む。   The cloud services communication library allows applications 1610 to communicate with the robot 100 in communication with the cloud 1620 (eg, with the cloud storage 1622, the application server 1650, the database 1660, and the simulator 1670) and / or the cloud 1620. May include an API. Cloud service communication library can be provided by both Objective-C and Java (registered trademark) binding. Examples of cloud services APIs include navigation APIs (eg, for retrieving locations, setting destinations, etc.), map storage and retrieval PAI, camera feed APIs, remote control APIs, usage statistics APIs, and others .

クラウドサービス拡張性インターフェースは、クラウドサービスが外部ソースからのウェブサービスと対話することを可能にしてもよい。例えば、クラウドサービスは、企業開発者1602が外部専有システム用のインターフェースを実装することを可能にする、一式の拡張インターフェースを画定してもよい。拡張は、クラウドインフラストラクチャにアップロードし、展開することができる。いくつかの実施例では、クラウドサービスは、種々の産業共同体によって画定される標準拡張性インターフェースを採用することができる。   The cloud service extensibility interface may allow the cloud service to interact with web services from external sources. For example, the cloud service may define a set of enhanced interfaces that allow enterprise developers 1602 to implement interfaces for external proprietary systems. Extensions can be uploaded to the cloud infrastructure and deployed. In some embodiments, cloud services can employ standard extensibility interfaces defined by various industrial communities.

シミュレータ1670は、ロボット100への接続性を伴わずに、アプリケーション1610のデバッギングおよび試験を可能にしてもよい。シミュレータ1670は、(例えば、経路を計画し、マップデータベースにアクセスするために)ロボット100と実際に通信することなく、ロボット100の動作をモデル化またはシミュレートすることができる。シミュレーションを実行するために、いくつかの実現形態では、シミュレータ1670は、ロボット100を使用することなく(例えば、レイアウトマップ1810から)マップデータベースを生成する。これは、(壁、角、柱等のような)特徴が自動的に識別されるように、画像処理(例えば、エッジ検出)を伴ってもよい。シミュレータ1670は、レイアウトマップ1810によって決定付けられる環境内で経路計画をシミュレートするために、マップデータベースを使用することができる。   Simulator 1670 may enable debugging and testing of application 1610 without connectivity to robot 100. The simulator 1670 can model or simulate the motion of the robot 100 without actually communicating with the robot 100 (eg, to plan paths and access map databases). To perform the simulation, in some implementations, simulator 1670 generates a map database (eg, from layout map 1810) without using robot 100. This may involve image processing (eg, edge detection) so that features (such as walls, corners, columns, etc.) are automatically identified. Simulator 1670 can use the map database to simulate path planning within the environment determined by layout map 1810.

クラウドサービス拡張アップローダ/ディベロッパは、ユーザが拡張をクラウド1620にアップロードする、外部の第三者ユーザ認証システムに接続する、外部データベースまたは記憶装置(例えば、診察前および診察後のための患者情報)にアクセスする、テレビ会議セッションで例証用の画像にアクセスすること等を可能にしてもよい。クラウドサービス拡張インターフェースは、クラウド1620との専有システムの統合を可能にし得る。   Cloud service extension uploader / developer connects to an external third party user authentication system where users upload extensions to the cloud 1620, to an external database or storage device (eg, patient information for pre- and post-examination) It may be possible to access, for example, access to an illustrative image in a video conference session. The cloud service extension interface may enable integration of proprietary systems with the cloud 1620.

本明細書に記載されるシステムおよび技法の様々な実現形態を、デジタル電子回路、集積回路、専用に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現することができる。これらの様々な実現形態には、記憶システムからデータおよび命令を受信するように、ならびにそれにデータおよび命令を伝送するように連結される、専用であっても汎用であってもよい、少なくとも1つのプログラマブルプロセッサと、少なくとも1つの入力デバイスと、少なくとも1つの出力デバイスとを含む、プログラム可能なシステム上で実行可能な、および/または解釈可能な1つ以上のコンピュータプログラムでの実現形態を含むことができる。   Various implementations of the systems and techniques described herein may be implemented in digital electronic circuits, integrated circuits, ASICs (application-specific integrated circuits) designed specifically for, application specific integrated circuits, computer hardware, firmware, software, and / or the like. It can be realized by the combination of These various implementations may be either dedicated or generic, coupled to receive data and instructions from the storage system, and to transmit data and instructions thereto. Include one or more computer program implementations executable and / or interpretable on a programmable system, including a programmable processor, at least one input device, and at least one output device it can.

これらのコンピュータプログラム(また、プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる)は、プログラム可能プロセッサのための機械命令を含み、高水準手続きおよび/もしくはオブジェクト指向プログラミング言語、ならびに/またはアセンブリ/機械言語で実現することができる。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および/もしくはデータを提供するために使用される、任意のコンピュータプログラム製品、装置、ならびに/またはデバイス(例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理デバイス(PLD))を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および/またはデータを提供するために使用される、任意の信号を指す。   These computer programs (also known as programs, software, software applications or codes) comprise machine instructions for a programmable processor, a high level procedural and / or object oriented programming language, and / or an assembly / It can be realized in machine language. As used herein, the terms "machine-readable medium" and "computer-readable medium" provide machine instructions and / or data to a programmable processor, including a machine readable medium that receives machine instructions as a machine readable signal. Computer program product, apparatus, and / or device (eg, magnetic disk, optical disk, memory, programmable logic device (PLD)) used to The term "machine readable signal" refers to any signal used to provide machine instructions and / or data to a programmable processor.

本明細書に記載される主題の実現形態および機能動作は、デジタル電子回路、または本明細書に開示される構造およびそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェア、あるいはそれらのうちの1つ以上の組み合わせで実現することができる。本明細書に記載される主題の実施形態は、データ処理装置による実行のための、またはその動作を制御する、1つ以上のコンピュータプログラム製品、すなわち、コンピュータ可読媒体上にコード化されるコンピュータプログラム命令の1つ以上のモジュールとして実現することができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶回路基板、メモリデバイス、機械可読伝搬信号に影響を及ぼす組成物、またはそれらのうちの1つ以上の組み合わせであることができる。「データ処理装置」という用語は、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの1つ以上の組み合わせを構築するコードを含むことができる。伝搬信号は、好適な受信装置に伝送するために、情報をコード化するように生成される、人工的に生成される信号、例えば、機械生成電気、光学、または電磁信号である。   Implementations and functional operations of the subject matter described herein may be digital electronic circuitry, or computer software, firmware, or hardware, or the like, including the structures disclosed herein and their structural equivalents. It can be realized by one or more combinations of the above. An embodiment of the subject matter described herein is one or more computer program products, ie computer programs encoded on a computer readable medium, for execution by or to control the operation of a data processing apparatus It can be implemented as one or more modules of instructions. The computer readable medium can be a machine readable storage device, a machine readable storage circuit board, a memory device, a composition that affects the machine readable propagation signal, or a combination of one or more thereof. The term "data processing apparatus" encompasses, by way of example, all devices, devices and machines for processing data, including programmable processors, computers or multiple processors or computers. The device, in addition to the hardware, creates code that creates the execution environment of the computer program in question, eg, processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more thereof. Can be included. The propagated signal is an artificially generated signal, eg, a machine-generated electrical, optical or electromagnetic signal, generated to encode information for transmission to a suitable receiving device.

コンピュータプログラム(また、プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイルされる、または解釈される言語を含む、任意の形態のプログラミング言語で書くことができ、単独プログラムとして、またはモジュール、構成要素、サブルーチン、もしくはコンピューティング環境で使用するのに好適な他のユニットとしての配備を含む、任意の形態で配備することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、問題のプログラム専用の単一のファイル内の他のプログラムもしくはデータ(例えば、マークアップ言語文書で記憶される1つ以上のスクリプト)を保持するファイルの一部分に、または複数の調整されたファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの部分を記憶するファイル)に記憶することができる。コンピュータプログラムは、1台のコンピュータ上で、または1つの場所に位置する、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように配備することができる。   A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including languages compiled or interpreted, and as a single program Or may be deployed in any form, including deployment as a module, component, subroutine, or other unit suitable for use in a computing environment. The computer program does not necessarily have to correspond to the files in the file system. The program is tailored to a portion of the file or files that hold other programs or data (eg, one or more scripts stored in a markup language document) in a single file dedicated to the program in question It can be stored in a file (eg, a file that stores one or more modules, subprograms, or portions of code). The computer program can be deployed to run on multiple computers, located on a single computer, or located at a single location, or distributed across multiple locations, interconnected by a communications network .

本明細書に記載されるプロセスおよび論理フローは、入力データに対して動作し、出力を生成することによって機能を実施する、1つ以上のコンピュータプログラムを実行する、1つ以上のプログラマブルプロセッサによって実施することができる。また、プロセスおよび論理フローは、専用論理回路、例えば、FPGAまたはASICによって実施することもでき、また、装置は、それらとして実現することもできる。   The processes and logic flows described herein are implemented by one or more programmable processors executing one or more computer programs that operate on input data and perform functions by generating outputs. can do. Also, the processes and logic flows may be implemented by dedicated logic circuitry, eg, an FPGA or ASIC, or the apparatus may be implemented as them.

コンピュータプログラムの実行に好適なプロセッサには、一例として、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般的に、プロセッサは、読み出し専用メモリもしくはランダムアクセスメモリ、または両方から命令およびデータを受けとる。コンピュータの不可欠な要素は、命令を実施するためのプロセッサ、ならびに命令およびデータを記憶するための1つ以上のメモリデバイスである。一般的に、また、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、もしくは光学ディスクも含む、またはそれからデータを受信するため、もしくはそれにデータを転送するため、または両方のために、それに動作可能に連結される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、ごくわずかな例を挙げると、携帯電話、個人用デジタル補助装置(PDA)、携帯型オーディオプレーヤー、グローバルポジショニングシステム(GPS)受信器に埋め込むことができる。コンピュータプログラム命令およびデータを記憶するのに好適なコンピュータ可読媒体には、一例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクもしくはリムーバブルディスク、光磁気ディスク、ならびにCD ROMおよびDVD−ROMディスクを含む、全ての形態の不揮発性メモリ、媒体、およびメモリデバイスが挙げられる。プロセッサおよびメモリは、専用論理回路によって補完することができる、またはそれに組み込むことができる。   Processors suitable for the execution of a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, the computer also includes one or more mass storage devices for storing data, such as, for example, magnetic, magneto-optical disks, or optical disks, or for receiving data therefrom, or It is operatively linked to it, for forwarding, or both. However, the computer does not have to have such a device. Furthermore, the computer can be embedded in another device, such as a mobile phone, a personal digital assistant (PDA), a portable audio player, a global positioning system (GPS) receiver, to name but a few. Computer readable media suitable for storing computer program instructions and data include, by way of example, semiconductor memory devices such as EPROMs, EEPROMs, and flash memory devices, magnetic disks such as internal hard or removable disks, magneto-optical disks And all forms of non-volatile memory, media, and memory devices, including CD ROM and DVD-ROM disks. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

本明細書に記載される主題の実現形態は、例えば、データサーバとしてバックエンド構成要素を含む、ミドルウェア構成要素、例えば、アプリケーションサーバを含む、フロントエンド構成要素、例えば、ユーザがそれを通して本明細書に記載される主題の実現形態と相互作用することができる、グラフィカルユーザインターフェースもしくはウェブブラウザを有する、クライアントコンピュータを含む、コンピューティングシステム、または1つ以上のそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせで実現することができる。システムの構成要素は、任意の形態またはデジタルデータ通信の媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク(「LAN」)、および広域ネットワーク(「WAN」)、例えば、インターネットが挙げられる。   Implementations of the subject matter described herein may include, for example, middleware components including back-end components as data servers, front-end components including, eg, application servers, eg, through which the user is directed A computing system, or one or more such back end, middleware, or front end, including a client computer, having a graphical user interface or web browser, capable of interacting with implementations of the subject matter described in It can be realized by any combination of components. The components of the system can be interconnected by any form or medium of digital data communication, eg, a communication network. Examples of communication networks include a local area network ("LAN") and a wide area network ("WAN"), such as the Internet.

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般的に、相互から遠隔にあり、典型的に、通信ネットワークを通してやり取りする。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され、相互にクライアント−サーバ関係を有する、コンピュータプログラムによって生じる。   The computing system can include clients and servers. Clients and servers are generally remote from each other and typically communicate through a communication network. The client-server relationship is created by computer programs running on the respective computers and having a client-server relationship to each other.

本明細書は、多くの詳細を含むが、これらは、本発明またはその主張され得る範囲を限定すると解釈されるべきではなく、むしろ、本発明の特定の実現形態に特定の特徴の説明として解釈されるべきである。また、本明細書の別個の実現形態の文脈に記載される特定の特徴は、単一の実現形態において、組み合わせて実現することもできる。逆に、また、単一の実現形態の文脈に記載される様々な特徴は、複数の実現形態において別々に、または任意の好適な副組み合わせで実現することもできる。さらに、特徴は、特定の組み合わせで作用するように上記され、さらには最初にそのように主張されている場合があるが、場合によっては、主張される組み合わせの1つ以上の特徴を組み合わせから切り取ることができ、主張される組み合わせは、副組み合わせ、または副組み合わせの変形を対象としてもよい。   Although the specification contains many details, these should not be construed as limiting the invention or its claimed scope, but rather as interpreting specific features of particular implementations of the invention. It should be. Also, certain features that are described in the context of separate implementations herein can be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented separately in multiple implementations or in any suitable subcombination. Further, while features are described above to work in a particular combination, and may even be initially claimed as such, in some cases, one or more features of the claimed combination are clipped from the combination The claimed combinations may be directed to subcombinations or variants of subcombinations.

同様に、動作は、特定の順序で図面に描写されているが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、もしくは起こる順序で実施されること、または全ての図示される動作が実施されることを要求すると理解されるべきではない。ある特定の状況では、マルチタスクおよび並列処理が有利である場合がある。さらに、上述される実施形態における様々なシステム構成要素の分離は、全ての実施形態において、そのような分離を要求すると理解されるべきではなく、記載されるプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に共に統合することができる、または複数のソフトウェア製品にパッケージ化することができることが理解されるべきである。   Similarly, although the operations are depicted in the drawings in a particular order, it may be performed that such operations are performed in the particular order shown, or in the order in which they occur, in order to achieve the desired result. It should not be understood that, or all illustrated operations need to be performed. In certain circumstances, multitasking and parallel processing may be advantageous. Furthermore, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the program components and systems described will generally be It should be understood that they can be integrated together into one software product or packaged into multiple software products.

多数の実現形態が記載されてきた。しかしながら、本開示の趣旨および範囲から逸脱することなく、様々な修正が行われてもよいことが理解される。したがって、他の実現形態が、続く特許請求の範囲の範囲内である。例えば、特許請求の範囲に言及される動作を、異なる順序で実施し、依然として望ましい結果を達成することができる。   A number of implementations have been described. Nevertheless, it will be understood that various modifications may be made without departing from the spirit and scope of the present disclosure. Accordingly, other implementations are within the scope of the following claims. For example, the actions recited in the claims can be performed in a different order and still achieve desirable results.

(実施形態1−1)
可動式ロボット(100)を動作させる方法であって、
情景(10)の周囲で前記ロボット(100)を動かすステップと、
前記情景(10)を示すセンサデータ(1601)を受信するステップと、
前記受信したセンサデータ(1601)を処理し、処理結果(1607、1609)を前記ロボット(100)に伝達するクラウドコンピューティングサービス(1620)に、前記センサデータ(1601)を伝達するステップと、
前記受信した処理結果(1607、1609)に基づいて、前記情景(10)内で前記ロボット(100)を動かすステップと、
を備え、
前記クラウドコンピューティングサービス(1620)は、前記ロボット(100)から画像データ(1601)を受信し、前記画像データ(1601)を処理して前記情景(10)の3−Dマップ(1605)および/またはモデル(1609)にし、
更に、
前記ロボット(100)の周囲の前記情景(10)の上に光を放射するステップと、
前記ロボット(100)の駆動方向(F)に沿った前記情景(10)の画像であって、(a)3次元深度画像、(b)アクティブ照明画像、および(c)周囲照明画像のうちの少なくとも1つを含む、画像を捕捉するステップと、
を含み、
前記センサデータ(1601)は、前記画像を備え、前記処理結果(1607、1609)は、前記情景(10)のマップ(1607)またはモデル(1609)を備え、
前記画像データ(1601)を処理するステップは、前記ロボット(100)上に位置するカメラ(320)または体積点群撮像デバイス(450)にて捕捉された写真またはビデオをともに連結し、且つ走行距離計測、全地球測位システム、および/または中間地点ナビゲーションによって提供される基準座標を使用することによって、前記ロボット(100)の周囲の前記情景(10)のマップ(1605)を構築するステップをさらに含み、
前記マップ(1605)に基準位置を印付けし、前記マップ(1605)に印付けされた基準位置を通じて経路を計画するステップをさらに備え、
前記マップ(1605)は、前記情景(10)の屋内または屋外の街路ビューまたは経路ビューを含み、前記マップ(1605)に印付けされた各基準位置は、リンクした画像またはビデオ、若しくは販促情報を含む、方法。
(実施形態1−2)
前記情景(10)の上に光のスペックルパターンを放射するステップと、
前記情景(10)内の物体(12)から前記スペックルパターンの反射を受けるステップと、
前記情景(10)内の基準物体(12)から反射された前記スペックルパターンの基準画像であって、前記基準物体(12)から様々な異なる距離(Zn)で捕捉される基準画像を、前記クラウドコンピューティングサービス(1620)のクラウド記憶装置(1622)の中に記憶するステップと、
前記情景(10)内の標的物体(12)から反射された前記スペックルパターンの少なくとも1つの標的画像を捕捉し、前記少なくとも1つの標的画像を前記クラウドコンピューティングサービス(1620)に伝達するステップと、
をさらに含み、
前記クラウドコンピューティングサービス(1620)は、前記標的物体(12)の反射面の距離(ΔZ)を判定するために、前記少なくとも1つの標的画像を前記基準画像と比較する、実施形態1−1に記載の方法。
(実施形態1−3)
前記標的物体(12)上の一次スペックルパターンを判定するステップと、前記一次スペックルパターンと前記基準画像の前記スペックルパターンとの間のそれぞれの相互相関および非相関のうちの少なくとも1つを算出するステップをさらに含む、実施形態1−2に記載の方法。
(実施形態1−4)
前記クラウドコンピューティングサービス(1620)は、クラウド記憶装置(1622)の中に前記受信したセンサデータ(1601)を少なくとも一時的に記憶し、随意に、前記データ(1601)を処理した後に前記記憶したセンサデータ(1601)を破棄する、実施形態1−1〜1−3のいずれかに記載の方法。
(実施形態1−5)
前記センサデータ(1601)は、関連センサシステムデータを有する画像データを備え、前記センサシステムデータは、加速度計データ追跡、走行距離計測データ、およびタイムスタンプのうちの少なくとも1つを備える、実施形態1−1〜1−4のいずれかに記載の方法。
(実施形態1−6)
前記クラウドコンピューティングサービス(1620)は、2−D高さマップ(1607)および/または前記モデル(1609)を前記ロボット(100)に提供し、前記クラウドコンピューティングサービス(1620)は、前記3−Dマップ(1605)から前記2−D高さマップ(1607)を算出する、実施形態1−1に記載の方法。
(実施形態1−7)
前記センサデータ(1601)を前記クラウドコンピューティングサービス(1620)に定期的に伝達するステップをさらに含み、前記クラウドコンピューティングサービス(1620)は、閾値のセンサデータセット(1603)を蓄積した後に、前記受信した画像データ(1601)を処理する、実施形態1−1〜1−6のいずれかに記載の方法。
(実施形態1−8)
前記ロボット(100)と通信しており、前記ロボット(100)に取り外し可能に取り付け可能である、携帯用コンピューティングデバイス(310)を通して、無線で前記センサデータ(1601)を前記クラウドコンピューティングサービス(1620)に伝達するステップをさらに含む、実施形態1−1〜1−7のいずれかに記載の方法。
(実施形態1−9)
前記情景(10)は、店のモールであり、前記マップ(1605)は、当該マップ(1605)に基準位置として印付けされた各店を伴う経路ビューを含む、実施形態1−1に記載の方法。
(実施形態1−10)
前記モールのマップされた店を通る経路巡回を提供するステップをさらに含む、実施形態1−9に記載の方法。
Embodiment 1-1
A method of operating a mobile robot (100), comprising:
Moving the robot (100) around the scene (10);
Receiving sensor data (1601) indicative of the scene (10);
Transmitting the sensor data (1601) to a cloud computing service (1620) that processes the received sensor data (1601) and transmits a processing result (1607, 1609) to the robot (100);
Moving the robot (100) within the scene (10) based on the received processing result (1607, 1609);
Equipped with
The cloud computing service (1620) receives image data (1601) from the robot (100) and processes the image data (1601) to obtain a 3-D map (1605) and / or the like of the scene (10). Or model (1609),
Furthermore,
Emitting light onto the scene (10) around the robot (100);
The image of the scene (10) along the driving direction (F) of the robot (100), of the (a) three-dimensional depth image, (b) active illumination image, and (c) ambient illumination image Capturing an image, including at least one;
Including
The sensor data (1601) comprises the image, and the processing result (1607, 1609) comprises a map (1607) or a model (1609) of the scene (10),
The step of processing the image data (1601) comprises: connecting together photos or videos captured by a camera (320) or a volume point cloud imaging device (450) located on the robot (100); Further comprising constructing a map (1605) of the scene (10) around the robot (100) by using reference coordinates provided by the measurement, a global positioning system, and / or waypoint navigation ,
Marking a reference position on the map (1605) and planning a path through the reference position marked on the map (1605);
The map (1605) includes an indoor or outdoor street view or route view of the scene (10), and each reference position marked on the map (1605) may be linked image or video or promotional information The way, including.
(Embodiment 1-2)
Emitting a speckle pattern of light onto the scene (10);
Receiving the reflection of the speckle pattern from an object (12) in the scene (10);
A reference image of the speckle pattern reflected from a reference object (12) in the scene (10), the reference image captured at various different distances (Z n ) from the reference object (12), Storing in the cloud storage device (1622) of the cloud computing service (1620);
Capturing at least one target image of the speckle pattern reflected from target objects (12) in the scene (10), and communicating the at least one target image to the cloud computing service (1620); ,
Further include
Embodiment 1-1, wherein the cloud computing service (1620) compares the at least one target image to the reference image to determine the distance (ΔZ) of the reflective surface of the target object (12). Method described.
Embodiment 1-3
Determining a primary speckle pattern on the target object (12), and at least one of cross-correlation and decorrelation of each of the primary speckle pattern and the speckle pattern of the reference image The method of embodiment 1-2, further comprising the step of calculating.
Embodiment 1-4
The cloud computing service (1620) at least temporarily stores the received sensor data (1601) in a cloud storage (1622), optionally optionally after processing the data (1601) The method of any of embodiments 1-1 to 1-3, wherein the sensor data (1601) is discarded.
(Embodiment 1-5)
The sensor data (1601) comprises image data having associated sensor system data, the sensor system data comprising at least one of accelerometer data tracking, mileage measurement data, and a time stamp. The method in any one of -1 to 1-4.
Embodiment 1-6
The cloud computing service (1620) provides the robot (100) with a 2-D height map (1607) and / or the model (1609), and the cloud computing service (1620) The method according to embodiment 1-1, wherein the 2-D height map (1607) is calculated from the D map (1605).
Embodiment 1-7
The method may further include periodically transmitting the sensor data (1601) to the cloud computing service (1620), the cloud computing service (1620) storing the threshold sensor data set (1603), The method according to any of the embodiments 1-1 to 1-6, wherein the received image data (1601) is processed.
Embodiment 1-8
The sensor data (1601) may be wirelessly transmitted to the cloud computing service through a portable computing device (310) in communication with the robot (100) and removably attachable to the robot (100). The method according to any of embodiments 1-1-1-7, further comprising the step of communicating to 1620).
(Embodiment 1-9)
The method according to embodiment 1-1, wherein the scene (10) is a store mall and the map (1605) comprises a route view with each store marked as a reference position in the map (1605) .
Embodiment 1-10
The method according to embodiments 1-9, further comprising the step of providing a route tour through the mapped stores of the mall.

(実施形態2−1)
可動式ロボット(100)をナビゲートする方法であって、
体積点群撮像デバイスによって、リアルタイム捕捉速度で、前記ロボット(100)の運動の軌跡に沿った前記ロボット(100)の周囲の情景(10)の高密度画像(1611)のストリーミングシーケンス(1615)を捕捉するステップと、
注釈(1613)を前記高密度画像(1611)のうちの少なくともいくつかと関連付けるステップと、
前記リアルタイム捕捉速度よりも遅い送信速度で、前記高密度画像(1611)および注釈(1613)を遠隔サーバ(1620)に送信するステップと、
前記遠隔サーバ(1620)によるデータセットの生成処理についての処理時間間隔後に、前記遠隔サーバ(1620)からデータセット(1607、1617)を受信するステップであって、前記データセット(1607、1617)は、前記高密度画像(1611)の前記シーケンス(1615)および対応する注釈(1613)の少なくとも一部分に由来し、前記高密度画像(1611)の前記シーケンス(1615)に対応する元の画像データを除外したデータであって、前記高密度画像(1611)の前記シーケンス(1615)を処理することで得られた高密度3次元マップ又はモデルによって生成される、各点における高さデータを備える2次元マップ(1607)を含むデータである、前記受信するステップと、
前記受信したデータセット(1607、1617)に基づいて、前記情景(10)に対して前記ロボット(100)を移動させるステップと、
を含む、方法。
(実施形態2−2)
前記高密度画像(1611)および注釈(1613)をローカルサーバおよびバッファ(1640)に送信し、次いで、前記リアルタイム捕捉速度よりも遅い送信速度で、前記高密度画像(1611)および注釈(1613)を遠隔サーバ(1620)に送信するステップをさらに含む、実施形態2−1に記載の方法。
(実施形態2−3)
前記注釈(1613)は、
タイムスタンプであって、前記高密度画像(1611)のうちの少なくともいくつかに対応する絶対時間基準のタイムスタンプと、
姿勢関連センサデータであって、走行距離計測データ、加速度計データ、傾斜データ、および角速度データのうちの少なくとも1つを含む、姿勢関連センサデータと、を備える、実施形態2−1または2−2に記載の方法。
(実施形態2−4)
注釈(1613)を関連付ける前記ステップは、前記ロボット(100)に危険を及ぼす事象である危険事象を反映する注釈(1613)を、前記ロボット(100)の危険応答に対して時間間隔内に捕捉される高密度画像(1611)と関連付けるステップを含む、実施形態2−1〜2−3のいずれかに記載の方法。
(実施形態2−5)
注釈(1613)を関連付ける前記ステップは、前記高密度画像(1611)のシーケンスにおいてキーフレームを識別するためのキーフレーム識別子を前記高密度画像(1611)のサブセットと関連付けるステップを含む、実施形態2−1〜2−4のいずれかに記載の方法。
(実施形態2−6)
前記注釈(1613)は、高密度画像(1611)の前記ストリーミングシーケンス(1615)の高密度画像(1611)の間で追跡される特徴の構造および運動を復元するための低密度の一式の3−D点を備える、実施形態2−1〜2−5のいずれかに記載の方法。
(実施形態2−7)
前記注釈(1613)は、カメラパラメータを備え、前記カメラパラメータは、前記低密度の一式の3−D点の個々の3−D点に対するカメラの姿勢を含む、実施形態2−6に記載の方法。
(実施形態2−8)
前記注釈(1613)は、前記情景(10)において前記ロボット(100)が横断可能な領域および横断不可能な領域を示す標識を備える、実施形態2−1〜2−7のいずれかに記載の方法。
(実施形態2−9)
前記データセット(1607、1617)は、前記情景(10)の捕捉される新しい高密度画像(1611)内の特徴を分類するための、少なくとも前記高密度画像(1611)を訓練データとして用いて訓練された分類子(1625)を備える、実施形態2−1〜2−8のいずれかに記載の方法。
(実施形態2−10)
可動式ロボット環境データを抽象化する方法であって、
或る受信速度で、可動式ロボット(100)からロボット環境(10)の高密度画像(1611)のシーケンス(1615)を受信するステップであって、前記高密度画像(1611)は、体積点群撮像デバイスによって、リアルタイム捕捉速度で前記可動式ロボット(100)の運動の軌跡に沿って捕捉され、前記受信速度は、前記リアルタイム捕捉速度よりも遅い、前記受信するステップと、
前記高密度画像(1611)の前記シーケンス(1615)の中の前記高密度画像(1611)のうちの少なくともいくつかと関連付けられる注釈(1613)を受信するステップと、
前記高密度画像(1611)のうちの少なくともいくつかの中の高密度データを、前記高密度画像(1611)の前記シーケンス(1615)の少なくとも一部分を表すデータセット(1607、1617)まで低減させるためのバッチ処理タスクをディスパッチするステップと、
前記データセット(1617)を前記可動式ロボット(100)に伝送するステップであって、前記データセット(1607、1617)は、前記高密度画像(1611)の前記シーケンス(1615)に対応する元の画像データを除外したデータであって、前記高密度画像(1611)の前記シーケンス(1615)を処理することで得られた高密度3−Dモデル(1609)によって生成される、各点における高さデータを備える2次元マップ(1607)を含むデータである、前記伝送するステップと、
を含む、方法。
(実施形態2−11)
前記バッチ処理タスクは、
前記高密度画像(1611)の前記シーケンス(1615)を処理して前記ロボット環境(10)の前記高密度3−Dモデル(1609)にするステップと、
前記高密度3−Dモデル(1609)を処理して2−D位置および床面(G)からの少なくとも1つの高さの座標系用の前記2次元マップ(1607)にするステップと、
を含む、実施形態2−10に記載の方法。
(実施形態2−12)
前記2次元マップ(1607)は、2−D位置、および、対象物によって塞がれた部分の床面(G)からの高さと対象物によって塞がれていない部分の床面(G)からの高さとのそれぞれに対応する複数の境界の座標系のためのものである、実施形態2−11に記載の方法。
(実施形態2−13)
前記バッチ処理タスクは、複数のロボット環境(10)に対応する高密度画像シーケンス(1615、1615a)を蓄積するステップを含む、実施形態2−10〜2−12のいずれかに記載の方法。
(実施形態2−14)
前記バッチ処理タスクは、複数の分類子(1625)および/または高密度画像(1611)の前記シーケンス上で1つ以上の分類子(1625)を訓練するステップを含む、実施形態2−10〜2−13のいずれかに記載の方法。
(実施形態2−15)
前記バッチ処理タスクは、
前記可動式ロボット(100)に危険を及ぼす事象である危険事象を反映する注釈(1613)を、前記可動式ロボット(100)の危険応答に対して時間間隔内に捕捉される高密度画像(1611)と関連付けるステップと、
前記関連付けられた危険事象注釈(1613)および対応する高密度画像(1611)を訓練データとして使用して、危険関連高密度画像(1611)の分類子(1625)を訓練し、分類子(1625)のモデルパラメータのデータセット(1603、1607、1617)を提供するステップと、
を含む、実施形態2−10〜2−14のいずれかに記載の方法。
(実施形態2−16)
前記分類子(1625)は、分類のための少なくとも1つの超平面を構築する、少なくとも1つのサポートベクターマシンを含み、前記モデルパラメータは、データセット(1603、1607、1617)を危険関連分類に分類することができる訓練された超平面を画定する、実施形態2−15に記載の方法。
(実施形態2−17)
前記モデルパラメータは、サポートベクターマシンのカーネルを画定する十分なパラメータと、ソフトマージンパラメータとを含む、実施形態2−16に記載の方法。
(実施形態2−18)
前記バッチ処理タスクは、処理される前記高密度画像シーケンス(1615、1615a)のスケールに比例する、拡張性のある複数の仮想プロセス(1621)をインスタンス化するステップを含み、前記仮想プロセス(1621)のうちの少なくともいくつかは、前記データセット(1607、1617)の伝送後に解放される、実施形態2−10〜2−17のいずれかに記載の方法。
(実施形態2−19)
前記バッチ処理タスクは、記憶される前記高密度画像シーケンス(1615、1615a)のスケールに比例する、拡張性のある複数の仮想記憶(1622)をインスタンス化するステップを含み、前記仮想記憶(1622)のうちの少なくともいくらかは、前記データセット(1607、1617)の伝送後に解放される、実施形態2−10〜2−18のいずれかに記載の方法。
(実施形態2−20)
前記バッチ処理タスクは、前記可動式ロボット(100)への地理的近接性および/または複数の可動式ロボット(100)からのネットワークトラフィックのうちの1つに従って、拡張性のある複数の仮想サーバ(1621)を分散させるステップを含む、実施形態2−10〜2−19のいずれかに記載の方法。
Embodiment 2-1
A method of navigating a mobile robot (100), comprising:
A streaming sequence (1615) of a high density image (1611) of a scene (10) around the robot (100) along a trajectory of movement of the robot (100) at real time capture speed by a volumetric point cloud imaging device Step of capturing;
Associating an annotation (1613) with at least some of the high density images (1611);
Sending the high density image (1611) and annotations (1613) to a remote server (1620) at a transmission rate that is slower than the real time capture rate;
Receiving a data set (1607, 1617) from the remote server (1620) after a processing time interval for a data set generation process by the remote server (1620), the data set (1607, 1617) comprising , Excluding original image data from at least a portion of the sequence (1615) and the corresponding annotation (1613) of the high density image (1611) and corresponding to the sequence (1615) of the high density image (1611) 2D map comprising height data at each point generated by the high density 3D map or model obtained by processing the sequence (1615) of the high density image (1611) The receiving step being data including (1607);
Moving the robot (100) relative to the scene (10) based on the received data set (1607, 1617);
Method, including.
(Embodiment 2-2)
Send the high density image (1611) and annotations (1613) to the local server and buffer (1640), then send the high density image (1611) and annotations (1613) at a transmission rate slower than the real-time capture rate The method of embodiment 2-1, further comprising transmitting to a remote server (1620).
Embodiment 2-3
The annotation (1613) is
A timestamp, an absolute time-based timestamp corresponding to at least some of the high density images (1611);
Embodiment 2-1 or 2-2, comprising attitude related sensor data, the attitude related sensor data including at least one of travel distance measurement data, accelerometer data, tilt data, and angular velocity data. The method described in.
(Embodiment 2-4)
The step of associating annotations (1613) includes capturing annotations (1613) reflecting hazard events that are events that pose hazards to the robot (100) within a time interval to the hazard response of the robot (100) The method of any of embodiments 2-1 to 2-3, comprising the step of associating with a high density image (1611).
Embodiment 2-5
Associating an annotation (1613) includes associating a key frame identifier for identifying key frames in the sequence of high density images (1611) with a subset of the high density image (1611). The method in any one of 1-2-4.
Embodiment 2-6
The annotation (1613) is a set of low density 3- to restore the structure and motion of features tracked between the high density images (1611) of the streaming sequence (1615) of high density images (1611). The method according to any of the embodiments 2-1 to 2-5, comprising a point D.
Embodiment 2-7
The method according to embodiments 2-6, wherein the annotation (1613) comprises camera parameters, wherein the camera parameters comprise an orientation of the camera relative to an individual 3-D point of the low density set of 3-D points. .
(Embodiment 2-8)
The embodiment (1) according to any of the embodiments 2-1 to 2-7, wherein the annotation (1613) comprises a sign indicating the area that the robot (100) can traverse and the area that can not be traversed in the scene (10). Method.
Embodiment 2-9
The data set (1607, 1617) is trained using at least the high density image (1611) as training data to classify features in the captured new high density image (1611) of the scene (10) The method according to any of the embodiments 2-1 to 2-8, comprising a labeled classifier (1625).
Embodiment 2-10
A method of abstracting mobile robot environment data, comprising:
Receiving a sequence (1615) of a high density image (1611) of the robot environment (10) from the mobile robot (100) at a receiving speed, said high density image (1611) comprising a volume point cloud Said receiving step being captured by an imaging device at a real time capture rate along a trajectory of movement of said mobile robot (100), said receive rate being slower than said real time capture rate;
Receiving an annotation (1613) associated with at least some of the high density images (1611) in the sequence (1615) of the high density images (1611);
To reduce high density data in at least some of the high density images (1611) to a data set (1607, 1617) representing at least a portion of the sequence (1615) of the high density images (1611) Dispatching batch processing tasks for
Transmitting the data set (1617) to the mobile robot (100), wherein the data set (1607, 1617) is an original corresponding to the sequence (1615) of the high density image (1611). Data excluding image data, height at each point generated by high density 3-D model (1609) obtained by processing the sequence (1615) of the high density image (1611) Transmitting, which is data comprising a two-dimensional map (1607) comprising data;
Method, including.
Embodiment 2-11
The batch processing task is
Processing the sequence (1615) of the high density image (1611) into the high density 3-D model (1609) of the robot environment (10);
Processing the high density 3-D model (1609) into a 2-D map (1607) for a coordinate system at 2-D locations and at least one height from floor surface (G);
The method according to embodiment 2-10, comprising
Embodiment 2-12
The two-dimensional map (1607) has a 2-D position and a height from the floor surface (G) of a portion blocked by the object and a floor surface (G) of a portion not blocked by the object The method according to any of embodiments 2-11, which is for a plurality of bounding coordinate systems corresponding to each of the heights of
Embodiment 2-13
The method according to any of embodiments 2-10 to 2-12, wherein the batch processing task comprises the step of accumulating high density image sequences (1615, 1615a) corresponding to a plurality of robot environments (10).
(Embodiment 2-14)
Embodiment 2-10. The batch processing task comprises training one or more classifiers (1625) on the sequence of multiple classifiers (1625) and / or high density images (1611). The method according to any one of -13.
Embodiment 2-15
The batch processing task is
An annotation (1613) reflecting a dangerous event, which is an event that poses a risk to the mobile robot (100), is captured in a time interval relative to the dangerous response of the mobile robot (100) (1611) Associating with),
The classifier (1625) of the hazard related high density image (1611) is trained and the classifier (1625) using the associated hazard event annotation (1613) and the corresponding high density image (1611) as training data. Providing a data set (1603, 1607, 1617) of model parameters of
The method according to any of embodiments 2-10 to 2-14, comprising
Embodiment 2-16
The classifier (1625) includes at least one support vector machine that builds at least one hyperplane for classification, and the model parameters classify the data set (1603, 1607, 1617) into a risk related classification. The method of embodiments 2-15, which defines a trained hyperplane that can.
Embodiment 2-17
17. The method of embodiments 2-16, wherein the model parameters include sufficient parameters to define a kernel of a support vector machine and soft margin parameters.
Embodiment 2-18
The batch processing task comprises the steps of instantiating a plurality of scalable virtual processes (1621) proportional to the scale of the high density image sequence (1615, 1615a) to be processed, the virtual processes (1621) The method according to any of embodiments 2-10 to 2-17, wherein at least some of are released after transmission of said data set (1607, 1617).
Embodiment 2-19
The batch processing task comprises the steps of instantiating a plurality of scalable virtual memories (1622) proportional to the scale of the high density image sequence (1615, 1615a) to be stored, the virtual memories (1622) The method according to any of embodiments 2-10 to 2-18, wherein at least some of are released after transmission of said data set (1607, 1617).
(Embodiment 2-20)
The batch processing task may comprise a plurality of scalable virtual servers according to one of geographical proximity to the mobile robot (100) and / or network traffic from a plurality of mobile robots (100) The method according to any of embodiments 2-10 to 2-19, including the step of dispersing 1621).

(実施形態3−1)
可動式ロボット(100)を動作させる方法であって、
前記ロボット(100)の環境(10)に対応するレイアウトマップ(1810)を受信するステップと、
前記環境(10)内の前記ロボット(100)を、前記レイアウトマップ(1810)上のレイアウトマップ位置(1812)まで移動させるステップと、
前記環境(10)に対応し、かつ前記ロボット(100)によって生成されるロボットマップ(1820)上において、前記レイアウトマップ位置(1812)に対応するロボットマップ位置(1822)を記録するステップと、
前記記録されたロボットマップ位置(1822)および前記対応するレイアウトマップ位置(1812)を使用して、前記ロボットマップ(1820)と前記レイアウトマップ(1810)との間の歪みを求めるステップと、
前記求められた歪みを、前記ロボットをナビゲートすることを目的として前記レイアウトマップ(1810)上で選択された目標レイアウトマップ位置(1814)に適用して、前記ロボットマップ(1820)上において前記目標レイアウトマップ位置(1814)に対応する目標ロボットマップ位置(1824)を求めるステップと、
を含む、方法。
(実施形態3−2)
クラウドコンピューティングサービス(1620)から前記レイアウトマップ(1810)を受信するステップをさらに含む、実施形態3−1に記載の方法。
(実施形態3−3)
遠隔コンピューティングデバイス(310、1604)上で実行されるアプリケーション(1610)上で前記レイアウトマップ(1810)を生成し、前記クラウドコンピューティングサービス(1620)を使用して、遠隔クラウド記憶装置デバイス(1622)上に前記レイアウトマップ(1810)を記憶するステップをさらに含む、実施形態3−2に記載の方法。
(実施形態3−4)
既存のレイアウトマップ位置(1812)および記録されたロボットマップ位置(1822)を使用して、前記レイアウトマップ(1810)と前記ロボットマップ(1820)との間のスケーリングサイズ、始点マッピング、および回転を求めるステップと、
前記目標レイアウトマップ位置(1814)に対応する目標ロボットマップ位置(1824)を解決するステップと、
をさらに含む、実施形態3−1〜3−3のいずれかに記載の方法。
(実施形態3−5)
アフィン変換を前記求められたスケーリングサイズ、始点マッピング、および回転に適用して、前記目標ロボットマップ位置(1824)を解決するステップをさらに含む、実施形態3−4に記載の方法。
(実施形態3−6)
前記目標レイアウトマップ位置(1814、1914)の境界を示すレイアウトマップ位置(1812、1912)の間の三角測量(1910)を求めるステップをさらに含む、実施形態3−1〜3−5のいずれかに記載の方法。
(実施形態3−7)
前記レイアウトマップ(1810)の中でマップされた三角形(1910)と前記ロボットマップ(1820)の中でマップされた対応する三角形(1920)との間のスケール、回転、平行移動、およびスキューを求めるステップと、前記求められたスケール、回転、平行移動、およびスキューを前記目標レイアウトマップ位置(1814、1914)に適用して、前記対応する目標ロボットマップ位置(1824、1924)を求めるステップをさらに含む、実施形態3−6に記載の方法。
(実施形態3−8)
全てのレイアウトマップ位置(1812、1912)と前記目標レイアウトマップ位置(1814、1914)との間の距離を求めるステップと、
前記レイアウトマップ位置(1812、1912)の重心(2012)を求めるステップと、
全ての記録されたロボットマップ位置(1822、1922)の重心(2022)を求めるステップと、
各レイアウトマップ位置(1812、1912)について、回転および長さスケーリングを求め、前記レイアウトマップ重心(2012)から前記目標レイアウト位置(1814、1914)まで及ぶ第1のベクター(2014)を、前記ロボットマップ重心(2022)から前記目標ロボットマップ位置(1824、1924)まで及ぶ第2のベクター(2024)に変換するステップと、
をさらに含む、実施形態3−1〜3−7のいずれかに記載の方法。
(実施形態3−9)
前記ロボット(100)のセンサシステム(400)を使用して、前記ロボットマップ(1810)を生成するステップをさらに含む、実施形態3−1〜3−8のいずれかに記載の方法。
(実施形態3−10)
前記環境の情景(10)の上に光を放射するステップと、
前記情景(10)の表面から前記放射光の反射を受けるステップと、
各反射面の距離を求めるステップと、
前記情景(10)の3次元深度マップ(1700)を構築するステップと、
をさらに含む、実施形態3−9に記載の方法。
(実施形態3−11)
前記情景(10)の上に光のスペックルパターンを放射し、前記情景(10)から前記スペックルパターンの反射を受け、好ましくは、前記情景(10)内の基準物体(12)から反射された前記スペックルパターンの基準画像を記憶するステップをさらに含み、前記基準画像は、前記基準物体(12)から様々な異なる距離(Zn)で捕捉される、実施形態3−10に記載の方法。
(実施形態3−12)
前記情景(10)内の標的物体(12)から反射された前記スペックルパターンの少なくとも1つの標的画像を捕捉ステップと、前記標的物体(12)の前記反射面の距離を求めるために、前記少なくとも1つの標的画像を前記基準画像と比較するステップをさらに含む、実施形態3−11に記載の方法。
(実施形態3−13)
前記標的物体(12)上の一次スペックルパターンを求めるステップと、前記一次スペックルパターンと前記基準画像の前記スペックルパターンとの間のそれぞれの相互相関および非相関のうちの少なくとも1つを算出するステップをさらに含む、実施形態3−12に記載の方法。
(実施形態3−14)
前記標的物体(12)の前記反射面の前記求められた距離に基づいて、前記標的物体(12)に対して前記ロボット(100)を動かすステップをさらに含む、実施形態3−12または13に記載の方法。
(実施形態3−15)
前記光の放射と前記反射光の受信との間の飛行時間を求めるステップと、前記情景(10)の前記反射面までの距離を求めるステップをさらに含む、実施形態3−10に記載の方法。
(実施形態3−16)
間欠パルスで前記光を前記情景(10)の上に放射し、好ましくは、前記放射光パルスの周波数を変化させるステップをさらに含む、実施形態3−10〜3−15のいずれかに記載の方法。
Embodiment 3-1
A method of operating a mobile robot (100), comprising:
Receiving a layout map (1810) corresponding to the environment (10) of the robot (100);
Moving the robot (100) in the environment (10) to a layout map position (1812) on the layout map (1810);
Recording a robot map position (1822) corresponding to the layout map position (1812) corresponding to the environment (10) and on a robot map (1820) generated by the robot (100);
Determining distortion between the robot map (1820) and the layout map (1810) using the recorded robot map position (1822) and the corresponding layout map position (1812);
The determined distortion is applied to the target layout map position (1814) selected on the layout map (1810) for the purpose of navigating the robot, and the target on the robot map (1820) Determining a target robot map position (1824) corresponding to the layout map position (1814);
Method, including.
Embodiment 3-2
The method according to embodiment 3-1, further comprising receiving the layout map (1810) from a cloud computing service (1620).
Embodiment 3-3
A remote cloud storage device (1622) is generated using the cloud computing service (1620) and generating the layout map (1810) on an application (1610) running on the remote computing device (310, 1604). And 3.) storing the layout map (1810) on top).
Embodiment 3-4
Determine scaling size, starting point mapping, and rotation between the layout map (1810) and the robot map (1820) using the existing layout map position (1812) and the recorded robot map position (1822) Step and
Resolving a target robot map position (1824) corresponding to the target layout map position (1814);
The method according to any of embodiments 3-1 to 3-3, further comprising
Embodiment 3-5
The method of embodiments 3-4, further comprising: applying an affine transformation to the determined scaling size, start point mapping, and rotation to resolve the target robot map location (1824).
Embodiment 3-6
In any of the embodiments 3-1 to 3-5, further including a step of determining triangulation (1910) between layout map positions (1812, 1912) indicating boundaries of the target layout map positions (1814, 1914). Method described.
Embodiment 3-7
Determine the scale, rotation, translation, and skew between the mapped triangle (1910) in the layout map (1810) and the corresponding triangle (1920) mapped in the robot map (1820) And applying the determined scale, rotation, translation and skew to the target layout map position (1814, 1914) to determine the corresponding target robot map position (1824, 1924). Methods according to embodiments 3-6.
Embodiment 3-8
Determining the distance between all layout map locations (1812, 1912) and the target layout map locations (1814, 1914);
Determining a center of gravity (2012) of the layout map position (1812, 1912);
Determining the center of gravity (2022) of all recorded robot map positions (1822, 1922);
Rotation and length scaling are determined for each layout map position (1812, 1912), and a first vector (2014) ranging from the layout map centroid (2012) to the target layout position (1814, 1914) Converting to a second vector (2024) ranging from the center of gravity (2022) to the target robot map position (1824, 1924);
The method according to any of embodiments 3-1 to 3-7, further comprising
Embodiment 3-9
The method according to any of the embodiments 3-1 to 3-8, further comprising generating the robot map (1810) using a sensor system (400) of the robot (100).
Embodiment 3-10
Emitting light onto the environmental scene (10);
Receiving the reflection of the radiation from the surface of the scene (10);
Determining the distance of each reflective surface;
Constructing a three-dimensional depth map (1700) of the scene (10);
The method according to embodiments 3-9, further comprising
Embodiment 3-11
Emitting a speckle pattern of light onto the scene (10) and receiving a reflection of the speckle pattern from the scene (10), preferably reflected from a reference object (12) in the scene (10) The method according to embodiments 3-10, further comprising storing a reference image of the speckle pattern, wherein the reference image is captured at various different distances (Z n ) from the reference object (12). .
Embodiment 3-12
Capturing at least one target image of the speckle pattern reflected from a target object (12) in the scene (10), and determining the distance of the reflective surface of the target object (12) The method according to embodiment 3-11, further comprising the step of comparing one target image to the reference image.
Embodiment 3-13
Determining a first order speckle pattern on the target object (12) and calculating at least one of cross-correlation and non-correlation of each of the first order speckle pattern and the speckle pattern of the reference image The method according to embodiment 3-12, further comprising the step of
Embodiment 3-14
Embodiment 13 as described in embodiment 3-12 or 13, further comprising moving the robot (100) relative to the target object (12) based on the determined distance of the reflecting surface of the target object (12). the method of.
Embodiment 3-15
The method according to embodiments 3-10, further comprising: determining a time of flight between the light emission and the reception of the reflected light; and determining a distance to the reflective surface of the scene (10).
Embodiment 3-16
Embodiment 17. The method according to any of the embodiments 3-10-3-15, further comprising emitting the light onto the scene (10) with intermittent pulses, preferably changing the frequency of the emitted light pulses. .

Claims (12)

可動式ロボット(100)を動作させる方法であって、
環境(10)内で前記ロボット(100)を動かすステップと、
前記ロボット(100)の駆動方向(F)に沿った前記環境(10)の画像を捕捉するステップと、
前記環境(10)を示し、前記画像を有するセンサデータ(1601)を受信するステップと、
前記ロボット(100)からクラウドコンピューティングサービス(1620)に前記センサデータ(1601)を伝達するステップと、
前記センサデータ(1601)に基づく前記環境(10)の3−Dマップ(1605)から計算され、且つ、前記3−Dマップ(1605)中の位置の各々の高さデータを含む2−D高さマップ(1607)を、前記ロボット(100)において前記クラウドコンピューティングサービス(1620)から受信するステップと、
前記2−D高さマップ(1607)に基づいて、前記環境(10)内で前記ロボット(100)を動かすステップと、
を含み、
前記環境(10)の前記3−Dマップ(1605)は、前記ロボット(100)上に位置するカメラ(320)または体積点群撮像デバイス(450)にて捕捉された写真またはビデオの連結、及び、走行距離計測、全地球測位システム、および/または中間地点ナビゲーションによって提供される基準座標の使用に基づくものであり、
前記3−Dマップ(1605)は、前記環境(10)の屋内または屋外の街路ビューまたは経路ビューを含む、方法。
A method of operating a mobile robot (100), comprising:
Moving the robot (100) in an environment (10);
Capturing an image of the environment (10) along a driving direction (F) of the robot (100);
Receiving the sensor data (1601) indicating the environment (10) and comprising the image;
Transferring the sensor data (1601) from the robot (100) to a cloud computing service (1620);
2-D height calculated from the 3-D map (1605) of the environment (10) based on the sensor data (1601) and including height data of each of the positions in the 3-D map (1605) Receiving, at the robot (100), the cloud map (1607) from the cloud computing service (1620);
Moving the robot (100) within the environment (10) based on the 2-D height map (1607);
Including
The 3-D map (1605) of the environment (10) is a concatenation of photos or videos captured with a camera (320) or volume point cloud imaging device (450) located on the robot (100); Based on the use of reference coordinates provided by distance measurement, global positioning system, and / or waypoint navigation,
The method wherein the 3-D map (1605) comprises an indoor or outdoor street view or route view of the environment (10).
前記カメラ又は前記撮像デバイスを360度未満の範囲内で回転させるステップをさらに含む、請求項1に記載の方法。   The method of claim 1, further comprising rotating the camera or the imaging device within a range of less than 360 degrees. 360度視界を構築するための前記センサデータ(1601)の組み立て又は組み合わせ或いは前記2−D高さマップ(1607)の計算のために、前記カメラ又は前記撮像デバイスにより受信された前記環境(10)を示す前記センサデータ(1601)を提供するステップをさらに含み、前記2−D高さマップ(1607)は各X、Y座標に対する1以上のZ点のための高さデータを含む、請求項2に記載の方法。   The environment (10) received by the camera or the imaging device for assembly or combination of the sensor data (1601) to construct a 360 degree field of view or calculation of the 2-D height map (1607) 3. The method of claim 2, further comprising the step of providing said sensor data (1601) indicative of, wherein said 2-D height map (1607) comprises height data for one or more Z points for each X, Y coordinate. The method described in. 前記カメラ又は前記撮像デバイスからの視界に基づき前記ロボット(100)を動かして、前記カメラ又は前記撮像デバイスの視野をナビゲート及び/又は変更する、請求項2又は3に記載の方法。   The method according to claim 2 or 3, wherein the robot (100) is moved based on a field of view from the camera or the imaging device to navigate and / or change the field of view of the camera or the imaging device. 前記2−D高さマップ(1607)の高さデータは、前記ロボット(100)にとっての障害物又は危険を示すものである、請求項1〜4のいずれかに記載の方法。   The method according to any of the preceding claims, wherein the height data of the 2-D height map (1607) is indicative of an obstacle or danger to the robot (100). 前記2−D高さマップにおける各X、Y座標に対する1以上のZ点は、前記3−Dマップにおける各X、Y座標に対するZ点よりも数が少ないものであり、
前記2−D高さマップを前記ロボットの内部メモリ内に局所的に記憶させるステップと、
前記内部メモリ内に局所的に記憶された前記2−D高さマップに基づき前記ロボットを動かすステップと、
をさらに含む、請求項3〜5のいずれかに記載の方法。
The number of one or more Z points for each X, Y coordinate in the 2-D height map is smaller than the number of Z points for each X, Y coordinate in the 3-D map,
Locally storing the 2-D height map in an internal memory of the robot;
Moving the robot based on the 2-D height map stored locally in the internal memory;
The method according to any one of claims 3 to 5, further comprising
前記2−D高さマップは、占有および非占有高さ境界を示す地形マップを含み、
前記ロボットを動かすステップは、前記占有および非占有高さ境界に基づき、前記ロボットが下を通過できるか否かを判定するステップをさらに含む、請求項3〜6のいずれかに記載の方法。
The 2-D height map includes a terrain map showing occupied and unoccupied height boundaries,
The method according to any of claims 3 to 6, wherein moving the robot further comprises determining whether the robot can pass below based on the occupied and unoccupied height boundaries.
前記ロボットを動かすステップは、遠隔のユーザに関連付けられたコンピューティングデバイスから、前記カメラ又は前記撮像デバイスからの視界に基づく前記ロボットのナビゲート及び/又は前記カメラ又は前記撮像デバイスの視野の変更を指定するユーザの指令を受信するステップを含み、このユーザの指令に応答したものである、請求項4に記載の方法。   The step of moving the robot specifies, from a computing device associated with a remote user, navigating the robot based on a view from the camera or the imaging device and / or changing a view of the camera or the imaging device 5. The method of claim 4, further comprising the step of: receiving a user's command, responsive to the user's command. 前記ロボットを動かすステップは、前記ユーザの指令に応答して、前記カメラ又は前記撮像デバイスの視野を上昇又は下降させて高さを変化させるステップを含む、請求項8に記載の方法。   The method according to claim 8, wherein moving the robot includes raising or lowering a field of view of the camera or the imaging device to change height in response to a command of the user. コンピューティングデバイスから、レイアウトマップ上の1以上のナビゲーション点を指定するユーザの要求を受信するステップと、
前記ユーザの要求に応答して、指定された前記1以上のナビゲーション点に基づき、前記ロボットを自律的にナビゲートするステップと、
をさらに含む、請求項1に記載の方法。
Receiving a user request from the computing device to specify one or more navigation points on the layout map;
Autonomously navigating the robot based on the specified one or more navigation points in response to the user's request;
The method of claim 1, further comprising
前記ナビゲーション点に基づき前記ロボットを自律的にナビゲートするステップは、
前記レイアウトマップに包含される情報に加えて1以上の検出された障害物を含むロボットマップを生成するステップと、
局所的な歪みの算出及び/又は前記レイアウトマップ上にタグ付けされた1以上の点に基づき、前記レイアウトマップ上の1以上の点を、前記ロボットマップ上の対応する1以上の点にマッピングするステップと、
前記ロボットマップを用いて前記ロボットを自律的にナビゲートするステップと、
を含む、請求項10に記載の方法。
The step of autonomously navigating the robot based on the navigation point comprises:
Generating a robot map that includes one or more detected obstacles in addition to the information contained in the layout map;
Map one or more points on the layout map to corresponding one or more points on the robot map based on local distortion calculations and / or one or more points tagged on the layout map Step and
Navigating the robot autonomously using the robot map;
11. The method of claim 10, comprising:
遠隔のユーザに関連付けられたコンピューティングデバイスに、リアルタイムにて捕捉された前記環境の画像を含む信号を送信するステップと、
前記遠隔のユーザに関連付けられた前記コンピューティングデバイスから、このユーザの音声を含む信号を受信するステップと、
前記音声を前記ロボットの1以上のスピーカから出力させてテレプレゼンス機能を提供するステップと、
をさらに含む、請求項1に記載の方法。
Transmitting to the computing device associated with the remote user a signal comprising an image of said environment captured in real time;
Receiving a signal comprising voice of the user from the computing device associated with the remote user;
Outputting the audio from one or more speakers of the robot to provide a telepresence function;
The method of claim 1, further comprising
JP2016216568A 2010-12-30 2016-11-04 Mobile robot system Active JP6526613B2 (en)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201061428734P 2010-12-30 2010-12-30
US201061428717P 2010-12-30 2010-12-30
US201061428759P 2010-12-30 2010-12-30
US61/428,759 2010-12-30
US61/428,734 2010-12-30
US61/428,717 2010-12-30
US201161429863P 2011-01-05 2011-01-05
US61/429,863 2011-01-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014140540A Division JP6039611B2 (en) 2010-12-30 2014-07-08 Mobile robot system

Publications (2)

Publication Number Publication Date
JP2017050018A JP2017050018A (en) 2017-03-09
JP6526613B2 true JP6526613B2 (en) 2019-06-05

Family

ID=55867694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016216568A Active JP6526613B2 (en) 2010-12-30 2016-11-04 Mobile robot system

Country Status (3)

Country Link
JP (1) JP6526613B2 (en)
CA (1) CA2928262C (en)
IL (1) IL227187B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014810A (en) * 2020-07-29 2022-02-07 네이버랩스 주식회사 A building where robots that are remotely controlled by a cloud server move
US11964398B2 (en) 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326077B1 (en) * 2017-06-15 2021-11-12 엘지전자 주식회사 Method of identifying movable obstacle in 3-dimensional space and robot implementing thereof
US10545500B2 (en) * 2017-08-02 2020-01-28 Wing Aviation Llc Model for determining drop-off spot at delivery location
CN109784325A (en) * 2017-11-10 2019-05-21 富士通株式会社 Opener recognition methods and equipment and computer readable storage medium
JP7008845B2 (en) * 2018-05-02 2022-01-25 コーニンクレッカ フィリップス エヌ ヴェ Generation of simulation images for newborns
CN110968925B (en) * 2018-09-28 2024-02-02 上海肇观电子科技有限公司 Robot, time alignment method and device, electronic equipment and storage medium
JP7078901B2 (en) 2018-10-12 2022-06-01 オムロン株式会社 Control system and control method
US11748903B2 (en) * 2019-01-02 2023-09-05 Zebra Technologies Corporation System and method for robotic object detection using a convolutional neural network
CN114503043A (en) * 2019-08-06 2022-05-13 波士顿动力公司 Restricted mobility mapping
CN110543169B (en) * 2019-08-16 2022-05-24 深圳优地科技有限公司 Robot obstacle avoidance method and device, robot and storage medium
CN110502014A (en) * 2019-08-22 2019-11-26 深圳乐动机器人有限公司 A kind of method and robot of robot obstacle-avoiding
US11618167B2 (en) 2019-12-24 2023-04-04 X Development Llc Pixelwise filterable depth maps for robots
KR102159048B1 (en) * 2019-12-26 2020-09-23 주식회사 폴라리스쓰리디 Method for generating scan path of autonomous mobile robot and computing device for executing the method
SE544414C2 (en) * 2020-02-27 2022-05-17 Husqvarna Ab Robotic tool and method of processing a work area partly during night using structured light
CN112766723B (en) * 2021-01-19 2022-12-20 广州赛特智能科技有限公司 Disinfection robot scheduling method
CN112925307B (en) * 2021-01-20 2023-03-24 中国科学院重庆绿色智能技术研究院 Distributed multi-robot path planning method for intelligent warehousing robot system
CN113220926B (en) * 2021-05-06 2022-09-09 安徽大学 Footprint image retrieval method based on multi-scale local attention enhancement network
EP4105681B1 (en) * 2021-06-16 2023-06-28 Easymile Method and system for filtering out sensor data for a vehicle
CN113794775A (en) * 2021-09-14 2021-12-14 上海景吾智能科技有限公司 Robot control management method and system
CN116098536B (en) * 2021-11-08 2024-07-19 青岛海尔科技有限公司 Robot control method and device
US20230147624A1 (en) * 2021-11-11 2023-05-11 Rapyuta Robotics Co., Ltd. Autonomous mobile robots for coverage path planning
IT202100031355A1 (en) * 2021-12-14 2023-06-14 Renzo Braglia INTERFACE DEVICE FOR TRADE EVENTS AND/OR VIRTUAL EXHIBITIONS
US20240085986A1 (en) * 2022-09-09 2024-03-14 Goodrich Lighting Systems, Inc. Gesture controlled interface for in-flight users
CN116674920B (en) * 2023-04-25 2024-01-23 中国铁建电气化局集团有限公司 Intelligent transportation method, device, equipment and storage medium
CN117021117B (en) * 2023-10-08 2023-12-15 电子科技大学 Mobile robot man-machine interaction and positioning method based on mixed reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4100239B2 (en) * 2003-04-22 2008-06-11 松下電工株式会社 Obstacle detection device and autonomous mobile robot using the same device, obstacle detection method, and obstacle detection program
US8214079B2 (en) * 2007-03-30 2012-07-03 Sungkyunkwan University Foundation For Corporate Collaboration Central information processing system and method for service robot having layered information structure according to recognition and reasoning level
JP5473304B2 (en) * 2008-12-02 2014-04-16 三菱電機株式会社 Remote location image display device, remote control device, vehicle control device, remote control system, remote control method, remote control program, vehicle control program, remote location image display method, remote location image display program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014810A (en) * 2020-07-29 2022-02-07 네이버랩스 주식회사 A building where robots that are remotely controlled by a cloud server move
KR102462636B1 (en) 2020-07-29 2022-11-03 네이버랩스 주식회사 A building where robots that are remotely controlled by a cloud server and robot remote control system move
US12001205B2 (en) 2020-07-29 2024-06-04 Naver Labs Corporation Remote control method and system for robot
US11964398B2 (en) 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing

Also Published As

Publication number Publication date
CA2928262A1 (en) 2012-07-05
JP2017050018A (en) 2017-03-09
IL227187B (en) 2018-02-28
CA2928262C (en) 2018-06-26

Similar Documents

Publication Publication Date Title
JP6526613B2 (en) Mobile robot system
JP5852706B2 (en) Mobile robot system
JP5963372B2 (en) How to make a mobile robot follow people
US8918209B2 (en) Mobile human interface robot
AU2011256720B2 (en) Mobile human interface robot
US8930019B2 (en) Mobile human interface robot
AU2013263851B2 (en) Mobile robot system
WO2011146259A2 (en) Mobile human interface robot
AU2017201879B2 (en) Mobile robot system
GB2509814A (en) Method of Operating a Mobile Robot

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6526613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250