JP4580226B2 - Robot control system - Google Patents
Robot control system Download PDFInfo
- Publication number
- JP4580226B2 JP4580226B2 JP2004361581A JP2004361581A JP4580226B2 JP 4580226 B2 JP4580226 B2 JP 4580226B2 JP 2004361581 A JP2004361581 A JP 2004361581A JP 2004361581 A JP2004361581 A JP 2004361581A JP 4580226 B2 JP4580226 B2 JP 4580226B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- task
- unit
- data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、ロボットにタスクを実行させるためのロボット制御システムに関する。 The present invention relates to a robot control system for causing a robot to execute a task.
近年、自律移動可能なロボットにタスク（受付、案内、物品の運搬など）の実行命令を入力し、ロボットにタスクを実行させるシステムが開発されている。 2. Description of the Related Art In recent years, a system has been developed in which an execution command for a task (reception, guidance, article transportation, etc.) is input to an autonomously movable robot, and the robot executes the task.
特許文献１に記載のロボットシステムは、ロボットが入力部を備えており、人がロボットの入力部を介して実行命令を入力することが可能なシステムである。
しかしながら、特許文献１に記載のロボットシステムは、現時点でタスクを実行していないロボットが利用者からのタスクを受けることを想定したシステムであり、タスク実行中のロボットがタスクを受ける場合については開示されていない。
また、新たにロボットが受けたタスクと、既に受けて未実行であるタスクとをどのような順序で実行するか、といったタスク実行順序の最適化についても開示されていない。
However, the robot system described in
Further, the optimization of the task execution order such as the order in which tasks newly received by the robot and tasks already received and not executed are executed is not disclosed.
本発明は、前記した問題を解決すべく創案されたものであり、タスク実行中のロボットがタスクを依頼された場合であっても、好適に対応することが可能なロボット制御システムを提供することを課題とする。 The present invention was devised to solve the above-described problems, and provides a robot control system capable of suitably responding even when a task-executing robot is requested to perform a task. Is an issue.
前記課題を解決するため、本発明の請求項１に記載の発明は、自律移動を行う自律移動手段と、人とのコミュニケーションを行うコミュニケーション手段と、現在位置に関する現在位置データを生成する現在位置データ生成手段と、タスクの実行状況に関する実行状況データを生成する実行状況データ生成手段と、ロボット管理装置との通信を行う通信手段と、を備えたロボットと、前記ロボットに実行させるタスクに関するタスクデータを記憶するタスクデータ記憶部と、前記タスクデータに基づいて、タスクのスケジューリングを行うタスクスケジューリング手段と、スケジューリング結果に基づいて、前記自律移動ロボットにタスクを実行させる実行命令信号を生成する実行命令信号生成手段と、前記ロボットとの通信を行う通信手段と、を備えたロボット管理装置と、を備え、前記実行命令信号に基づいて前記ロボットにタスクを実行させるロボット制御システムであって、前記ロボット管理装置は、前記コミュニケーション手段によるコミュニケーション結果に基づいて、タスクデータを生成するタスクデータ生成手段をさらに備え、前記タスクスケジューリング手段は、コミュニケーション結果に基づいて新たにタスクデータが生成された場合に、前記ロボットの現在位置データおよび実行状況データに基づいて、タスクの再スケジューリングを行い、前記実行命令信号生成手段は、再スケジューリング結果に基づいて、実行命令信号の再生成を行い、前記ロボットがタスクを実行するタスク実行エリアに関する地図データを記憶する地図データ記憶部と、前記ロボットに設けられた、物品を把持する把持部と、をさらに備え、前記ロボットは、前記地図データおよび前記実行命令信号に基づいて、物品を前記把持部によって把持し、運搬し、前記ロボットは、前記実行命令信号に基づいて、物品を受け渡す人を特定する人特定手段を備え、前記人特定手段が、所定時間内に物品を受け渡す人を特定できない場合に、前記ロボットは、前記地図データに基づいて、所定の場所に物品を運搬し、この所定の場所に物品を置くとともに、物品を前記所定の場所に置いた旨を伝える行動報告信号を、前記物品を受け渡す人の端末へ出力することを特徴とする。
In order to solve the above-mentioned problem, the invention according to
また、請求項２に記載の発明は、請求項１に記載のロボット制御システムであって、前記コミュニケーション手段は、周囲の音を集音するマイクと、集音された音から音声を認識する音声認識部と、を備え、前記タスクデータ生成手段は、前記音声認識部による認識結果に基づいて、タスクデータを生成することを特徴とする。
The invention according to
本発明によれば、タスク実行中のロボットがタスクを依頼された場合であっても、新たなタスクを含めて再スケジューリングを行うことができ、タスクの実行順序の最適化を図ることが可能なロボット制御システムを提供することができる。 According to the present invention, even when a robot that is executing a task is requested to perform a task, rescheduling can be performed including a new task, and the task execution order can be optimized. A robot control system can be provided.
以下、本発明の実施形態について、本発明の物品運搬システムを、オフィスをタスク実行エリアとし、オフィス内におけるタスク（物品運搬、案内など）実行に適用したロボット制御システムを例にとり、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。 Hereinafter, with respect to the embodiments of the present invention, a robot control system in which the article transportation system of the present invention is applied to the execution of tasks (article transportation, guidance, etc.) in the office with the office as a task execution area will be referred to as appropriate. While explaining. Similar parts are denoted by the same reference numerals, and redundant description is omitted.
（ロボット制御システムＡの構成）
はじめに、本発明の実施形態に係るロボット制御システムＡについて説明する。図１は、本発明の実施形態に係るロボット制御システムを示すシステム構成図である。
図１に示すように、ロボット制御システムＡは、タスク実行エリアＥＡに配置された１台以上（本実施形態では２台）のロボットＲ（ＲＡ，ＲＢ）と、これらロボットＲＡ，ＲＢと無線通信によって接続された基地局（例えば、無線ＬＡＮ）１と、基地局１にルーター２を介して接続されたロボット管理装置（例えば、サーバー）３と、ロボット管理装置３にネットワーク４を介して接続された端末５と、検知対象（人）Ｈが装着した検知用タグＴと、を備えている。
(Configuration of robot control system A)
First, a robot control system A according to an embodiment of the present invention will be described. FIG. 1 is a system configuration diagram showing a robot control system according to an embodiment of the present invention.
As shown in FIG. 1, the robot control system A includes one or more (two in this embodiment) robots R (RA, RB) arranged in the task execution area EA, and wireless communication with these robots RA, RB. Connected to the base station 1 (eg, wireless LAN) 1, the robot management device (eg, server) 3 connected to the
ロボットＲは、タスク実行エリアＥＡに配置されており、タスク実行エリアＥＡ内において自律移動を行い、実行命令信号に基づいてタスク（物品運搬）を実行するものである。なお、このタスク実行エリアＥＡ内には、物品置き場Ｂ１が設けられている。ロボットＲは、物品を受け渡す人を発見できなかった場合などには、物品置き場Ｂ１に物品を置くことができる。 The robot R is arranged in the task execution area EA, performs autonomous movement in the task execution area EA, and executes a task (article transportation) based on an execution command signal. An article storage area B1 is provided in the task execution area EA. When the robot R cannot find a person who delivers the article, the robot R can place the article in the article storage place B1.
ロボット管理装置３は、後記する端末５から入力されるタスクデータに基づき、ロボットＲにタスクを実行させるため、このタスクの内容を含む実行命令信号を生成し、ロボットＲに出力する。このタスクデータは、ロボットＲに実行させるタスクに関するデータであり、例えば、ロボットＲに物品を渡す人、ロボットＲが物品を渡す人、運搬する物品の種類などを含んでいる。
The
端末５は、ロボット管理装置３にタスクデータを入力するための入力装置であり、デスクトップ型コンピュータ、ＰＨＳなどである。また、端末５は、ロボットＲから送られたタスク完了報告信号をオペレータが確認可能に出力するための出力（表示）装置でもある。
The terminal 5 is an input device for inputting task data to the
（ロボットＲの構成）
続いて、本発明の実施形態に係るロボットＲについて説明する。以下の説明において、ロボットＲの前後方向にＸ軸、左右方向にＹ軸、上下方向にＺ軸をとる（図２参照）。
本発明の実施形態に係るロボットＲは、自律移動型の２足移動ロボットである。このロボットＲは、ロボット管理装置３から送信された実行命令信号に基づき、タスクを実行するものである。
(Configuration of robot R)
Next, the robot R according to the embodiment of the present invention will be described. In the following description, the robot R has an X axis in the front-rear direction, a Y axis in the left-right direction, and a Z axis in the up-down direction (see FIG. 2).
The robot R according to the embodiment of the present invention is an autonomous mobile biped mobile robot. The robot R executes a task based on the execution command signal transmitted from the
図２は、図１のロボットの外観を示す模式図である。図２に示すように、ロボットＲは、人間と同じように２本の脚部Ｒ１（１本のみ図示）により起立、移動（歩行、走行など）し、上体部Ｒ２、２本の腕部Ｒ３（１本のみ図示）および頭部Ｒ４を備え、自律して移動する。また、ロボットＲは、これら脚部Ｒ１、上体部Ｒ２、腕部Ｒ３および頭部Ｒ４の動作を制御する制御装置搭載部Ｒ５を背負う形で背中（上体部Ｒ２の後部）に備えている。 FIG. 2 is a schematic diagram showing the appearance of the robot of FIG. As shown in FIG. 2, the robot R stands up and moves (walks, runs, etc.) with two legs R1 (only one is shown) like a human being, and has an upper body R2, two arms. R3 (only one is shown) and a head R4 are provided and move autonomously. Further, the robot R is provided on the back (rear part of the upper body part R2) in a form of carrying a control device mounting part R5 for controlling the operations of the leg part R1, the upper body part R2, the arm part R3 and the head part R4. .
（ロボットＲの駆動構造）
続いて、ロボットＲの駆動構造について説明する。図３は、図１のロボットの駆動構造を模式的に示す斜視図である。なお、図３における関節部は、当該関節部を駆動する電動モータにより示されている。
(Robot R drive structure)
Next, the drive structure of the robot R will be described. FIG. 3 is a perspective view schematically showing the drive structure of the robot of FIG. In addition, the joint part in FIG. 3 is shown by the electric motor which drives the said joint part.
（脚部Ｒ１）
図３に示すように、左右それぞれの脚部Ｒ１は、６個の関節部１１Ｒ（Ｌ）〜１６Ｒ（Ｌ）を備えている。左右１２個の関節は、股部（脚部Ｒ１と上体部Ｒ２との連結部分）の脚部回旋用（Ｚ軸まわり）の股関節部１１Ｒ，１１Ｌ（右側をＲ、左側をＬとする。また、Ｒ，Ｌを付さない場合もある。以下同じ。）、股部のピッチ軸（Ｙ軸）まわりの股関節部１２Ｒ，１２Ｌ、股部のロール軸（Ｘ軸）まわりの股関節部１３Ｒ，１３Ｌ、膝部のピッチ軸（Ｙ軸）まわりの膝関節部１４Ｒ，１４Ｌ、足首のピッチ軸（Ｙ軸）まわりの足首関節部１５Ｒ，１５Ｌ、および、足首のロール軸（Ｘ軸）まわりの足首関節部１６Ｒ，１６Ｌから構成されている。そして、脚部Ｒ１の下には足部１７Ｒ，１７Ｌが取り付けられている。
(Leg R1)
As shown in FIG. 3, the left and right leg portions R1 include six
すなわち、脚部Ｒ１は、股関節部１１Ｒ（Ｌ），１２Ｒ（Ｌ），１３Ｒ（Ｌ）、膝関節部１４Ｒ（Ｌ）および足首関節部１５Ｒ（Ｌ），１６Ｒ（Ｌ）を備えている。股関節部１１Ｒ（Ｌ）〜１３Ｒ（Ｌ）と膝関節部１４Ｒ（Ｌ）とは大腿リンク２１Ｒ，２１Ｌで、膝関節部１４Ｒ（Ｌ）と足首関節部１５Ｒ（Ｌ），１６Ｒ（Ｌ）とは下腿リンク２２Ｒ，２２Ｌで連結されている。
That is, the leg portion R1 includes hip
（上体部Ｒ２）
図３に示すように、上体部Ｒ２は、ロボットＲの基体部分であり、脚部Ｒ１、腕部Ｒ２および頭部Ｒ４と連結されている。すなわち、上体部Ｒ２（上体リンク５３）は、股関節部１１Ｒ（Ｌ）〜１３Ｒ（Ｌ）を介して脚部Ｒ１と連結されている。また、上体部Ｒ２は、後記する肩関節部３１Ｒ（Ｌ）〜３３Ｒ（Ｌ）を介して腕部Ｒ３と連結されている。また、上体部Ｒ２は、後記する首関節部４１，４２を介して頭部Ｒ４と連結されている。
また、上体部Ｒ２は、上体回旋用（Ｚ軸まわり）の関節部２１を備えている。
(Upper body part R2)
As shown in FIG. 3, the upper body portion R2 is a base portion of the robot R, and is connected to the leg portion R1, the arm portion R2, and the head portion R4. That is, the upper body portion R2 (upper body link 53) is connected to the leg portion R1 via the hip
The upper body R2 includes a joint 21 for upper body rotation (around the Z axis).
（腕部Ｒ３）
図３に示すように、左右それぞれの腕部Ｒ３は、７個の関節部３１Ｒ（Ｌ）〜３７Ｒ（Ｌ）を備えている。左右１４個の関節部は、肩部（腕部Ｒ３と上体部Ｒ２との連結部分）のピッチ軸（Ｙ軸）まわりの肩関節部３１Ｒ，３１Ｌ、肩部のロール軸（Ｘ軸）まわりの肩関節部３２Ｒ，３２Ｌ、腕部回旋用（Ｚ軸まわり）の肩関節部３３Ｒ，３３Ｌ、肘部のピッチ軸（Ｙ軸）まわりの肘関節部３４Ｒ，３４Ｌ、手首回旋用（Ｚ軸まわり）の腕関節部３５Ｒ，３５Ｌ、手首のピッチ軸（Ｙ軸）まわりの手首関節部３６Ｒ，３６Ｌ、および手首のロール軸（Ｘ軸）まわりの手首関節部３７Ｒ，３７Ｌから構成されている。そして、腕部Ｒ３の先端には把持部（ハンド）７１Ｒ，７１Ｌが取り付けられている。
(Arm R3)
As shown in FIG. 3, each of the left and right arm portions R3 includes seven
すなわち、腕部Ｒ３は、肩関節部３１Ｒ（Ｌ），３２Ｒ（Ｌ），３３Ｒ（Ｌ）、肘関節部３４Ｒ（Ｌ）、腕関節部３５Ｒ（Ｌ）および手首関節部３６Ｒ（Ｌ），３７Ｒ（Ｌ）を備えている。肩関節部３１Ｒ（Ｌ）〜３３Ｒ（Ｌ）とは肘関節部３４Ｒ（Ｌ）とは上腕リンク５４Ｒ（Ｌ）で、肘関節部３４Ｒ（Ｌ）と手首関節部３６Ｒ（Ｌ），３７Ｒ（Ｌ）とは前腕リンク５５Ｒ（Ｌ）で連結されている。
That is, the arm portion R3 includes the shoulder
（頭部Ｒ４）
図３に示すように、頭部Ｒ４は、首部（頭部Ｒ４と上体部Ｒ２との連結部分）のＹ軸まわりの首関節部４１と、首部のＺ軸まわりの首関節部４２と、を備えている。首関節部４１は頭部Ｒ４のチルト角を設定するためのものであり、首関節部４２は頭部Ｒ４のパンを設定するためのものである。
(Head R4)
As shown in FIG. 3, the head R4 includes a neck
このような構成により、左右の脚部Ｒ１は合計１２の自由度を与えられ、移動中に１２個の関節部１１Ｒ（Ｌ）〜１６Ｒ（Ｌ）を適宜な角度で駆動することで、脚部Ｒ１に所望の動きを与えることができ、ロボットＲが任意に３次元空間を移動することができる。また、左右の腕部Ｒ３は合計１４の自由度を与えられ、１４個の関節部３１Ｒ（Ｌ）〜３７Ｒ（Ｌ）を適宜な角度で駆動することで、ロボットＲが所望の作業を行うことができる。
With such a configuration, the left and right leg portions R1 are given a total of 12 degrees of freedom, and the 12
また、足首関節部１５Ｒ（Ｌ），１６Ｒ（Ｌ）と足部１７Ｒ（Ｌ）との間には、公知の６軸力センサ６１Ｒ（Ｌ）が設けられている。６軸力センサ６１Ｒ（Ｌ）は、床面からロボットＲに作用する床反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚと、モーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚと、を検出する。
A known 6-
また、手首関節部３６Ｒ（Ｌ），３７Ｒ（Ｌ）と把持部７１Ｒ（Ｌ）との間には、公知の６軸力センサ６２Ｒ（Ｌ）が設けられている。６軸力センサ６２Ｒ（Ｌ）は、ロボットＲの把持部３８Ｒ（Ｌ）に作用する反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚと、モーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚと、を検出する。
Further, a known six-
また、上体部Ｒ２には、傾斜センサ６３が設けられている。傾斜センサ６３は、上体部Ｒ２の重力軸（Ｚ軸）に対する傾きと、その角速度と、を検出する。
また、各関節部の電動モータは、その出力を減速・増力する減速機（図示せず）を介して前記した大腿リンク５１Ｒ（Ｌ）、下腿リンク５２Ｒ（Ｌ）などを相対変位させる。これら各関節部の角度は、関節角度検出手段（例えば、ロータリエンコーダ）によって検出される。
Further, an
The electric motors at the joints relatively displace the above-described
制御装置搭載部Ｒ５は、後記する自律移動制御部１５０、把持部制御部１６０、無線通信部１７０、主制御部２００、バッテリ（図示せず）などを収納している。各センサ６１〜６３などの検出データは、制御装置等細部Ｒ５内の各制御部に送られる。また、各電動モータは、各制御部からの駆動指示信号により駆動される。
The control device mounting unit R5 houses an autonomous movement control unit 150, a gripping
図４は、図１のロボットを示すブロック図である。図４に示すように、ロボットＲは、脚部Ｒ１、腕部Ｒ２および頭部Ｒ４に加えて、カメラＣ，Ｃ、スピーカＳ、マイクＭＣ，ＭＣ、画像処理部１００、音声処理部１１０、対象検知部１２０、自律移動制御部１５０、把持部制御部１６０、無線通信部１７０および主制御部２００を備えている。
FIG. 4 is a block diagram showing the robot of FIG. As shown in FIG. 4, in addition to the leg R1, the arm R2, and the head R4, the robot R includes cameras C and C, speakers S, microphones MC and MC, an image processing unit 100, an audio processing unit 110, and a target. A
また、ロボットＲは、ジャイロセンサＳＲ１およびＧＰＳ受信器ＳＲ２を備えている。
ジャイロセンサＳＲ１は、ロボットＲの向きに関するデータ（向きデータ）を検出する。また、ＧＰＳ受信器ＳＲ２は、ロボットＲの位置に関するデータ（位置データ）を検出する。ジャイロセンサＳＲ１およびＧＰＳ受信器ＳＲ２が検出したデータは、主制御部２００に出力され、ロボットＲの行動を決定するために利用されると共に、主制御部２００から無線通信部１７０を介してロボット管理装置３に送信される。
The robot R includes a gyro sensor SR1 and a GPS receiver SR2.
The gyro sensor SR1 detects data (orientation data) related to the orientation of the robot R. The GPS receiver SR2 detects data (position data) related to the position of the robot R. The data detected by the gyro sensor SR1 and the GPS receiver SR2 is output to the
［カメラ］
カメラＣ，Ｃは、映像をデジタルデータとして取り込むことができるものであり、例えばカラーＣＣＤ(Charge-Coupled Device)カメラが使用される。カメラＣ，Ｃは、左右に平行に並んで配置され、撮影した画像は画像処理部１００に出力される。このカメラＣ，Ｃと、スピーカＳおよびマイクＭＣ，ＭＣは、いずれも頭部Ｒ４の内部に配設される。
[camera]
The cameras C and C are capable of capturing video as digital data. For example, a color CCD (Charge-Coupled Device) camera is used. The cameras C and C are arranged side by side in parallel on the left and right, and the captured image is output to the image processing unit 100. The cameras C and C, the speaker S, and the microphones MC and MC are all disposed inside the head R4.
［画像処理部］
画像処理部１００は、カメラＣ，Ｃが撮影した画像を処理して、撮影された画像からロボットＲの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。この画像処理部１００は、ステレオ処理部１０１、移動体抽出部１０２および顔認識部１０３を備えている。
[Image processing unit]
The image processing unit 100 is a part for recognizing surrounding obstacles and persons in order to process images taken by the cameras C and C and grasp the situation around the robot R from the taken images. The image processing unit 100 includes a stereo processing unit 101, a moving
ステレオ処理部１０１は、左右のカメラＣ，Ｃが撮影した２枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像および元の画像を移動体抽出部１０２に出力する。なお、この視差は、ロボットＲから撮影された物体までの距離を表すものである。
The stereo processing unit 101 performs pattern matching on the basis of one of the two images taken by the left and right cameras C and C, calculates the parallax of each corresponding pixel in the left and right images, and generates a parallax image. The generated parallax image and the original image are output to the moving
移動体抽出部１０２は、ステレオ処理部１０１から出力されたデータに基づき、撮影した画像中の移動体を抽出するものである。移動する物体（移動体）を抽出するのは、移動する物体は人物であると推定して、人物の認識をするためである。
移動体の抽出をするために、移動体抽出部１０２は、過去の数フレーム（コマ）の画像を記憶しており、最も新しいフレーム（画像）と、過去のフレーム（画像）を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラＣ，Ｃから所定の距離範囲内で、移動量の多い画素がある場合に、その位置に人物がいると推定し、その所定距離範囲のみの視差画像として、移動体を抽出し、顔認識部１０３へ移動体の画像を出力する。
The moving
In order to extract a moving object, the moving
顔認識部１０３は、抽出した移動体から肌色の部分を抽出して、その大きさ、形状などから顔の位置を認識する。なお、同様にして、肌色の領域と、大きさ、形状などから手の位置も認識される。
認識された顔の位置は、ロボットＲが移動するときの情報として、また、その人とのコミュニケーションを取るため、主制御部２００に出力されると共に、無線通信部１７０に出力されて、基地局１を介して、ロボット管理装置３に送信される。
The
The recognized face position is output to the
［スピーカ］
スピーカＳは、後記する音声合成部１１１により生成された音声データに基づき、音声を出力する。
[Speaker]
The speaker S outputs a sound based on the sound data generated by the
［マイク］
マイクＭＣ，ＭＣは、ロボットＲの周囲の音を集音するものである。集音された音は、後記する音声認識部１１２および音源定位部１１３に出力される。
[Microphone]
The microphones MC and MC collect sounds around the robot R. The collected sound is output to a
［音声処理部］
音声処理部１１０は、音声合成部１１１、音声認識部１１２および音源定位部１１３を備えている。
[Audio processor]
The voice processing unit 110 includes a
音声合成部１１１は、主制御部２００の発話行動決定手段２７０（図１２参照）が決定し、出力してきた発話行動の指令に基づき、文字情報から音声データを生成し、スピーカＳに音声を出力する部分である。音声データの生成には、予め記憶している文字情報と音声データとの対応関係を利用する。
The
音声認識部１１２は、マイクＭＣ，ＭＣから音声データが入力され、予め記憶している音声データと文字情報との対応関係に基づき、音声データから文字情報を生成し、主制御部２００に出力するものである。
The
音源定位部１１３は、マイクＭＣ，ＭＣ間の音圧差および音の到達時間差に基づいて、音源の位置（ロボットＲからの距離および方向）を特定する。
The sound
［対象検知部］
続いて、図４の対象検知部１２０と、検知用タグＴと、について、図５ないし図８を参照して説明する。図５は、図４の対象検知部を示すブロック図である。図６は、図１の検知用タグを示すブロック図である。図７は、対象検知部による探索域を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。図８は、対象検知部による周辺領域のエリア分けを説明するための図である。
対象検知部１２０は、ロボットＲの周囲に検知用タグＴを備える検知対象Ｈが存在するか否かを検知すると共に、検知対象Ｈの存在が検知された場合、当該検知対象Ｈの位置を特定するものである。
[Target detection unit]
Next, the
The
図５に示すように、この対象検知部１２０は、制御手段１２１、電波送受信手段１２２、発光手段１２３および記憶手段１２４を備えている。
As shown in FIG. 5, the
制御手段１２１は、後記する電波送受信手段１２２から無線送信される検索信号と、後記する発光手段１２３から赤外光として出力される方向検査信号とを生成すると共に、検索信号を受信した検知用タグＴから送信された受信報告信号を基に、検知対象Ｈの位置を特定するものである。
ここで、検索信号とは、ロボットＲの周囲に検知対象Ｈが存在するか否かを検知するための信号であり、方向検査信号とは、検知対象ＨがロボットＲを基準としてどの方向に位置するのかを検知するための信号である。
また、受信報告信号とは、検知用タグＴが、少なくとも検索信号を受信したことを示す信号である。
The
Here, the search signal is a signal for detecting whether or not the detection target H exists around the robot R, and the direction inspection signal is the direction in which the detection target H is located with respect to the robot R. It is a signal for detecting whether to do.
The reception report signal is a signal indicating that the detection tag T has received at least the search signal.
この制御手段１２１は、データ処理部１２１ａ、暗号化部１２１ｂ、時分割部１２１ｃ、復号化部１２１ｄおよび電界強度検出部１２１ｅを備えている。
The
データ処理部１２１ａは、検索信号および方向検査信号を生成すると共に、検知対象Ｈの位置を特定するものであり、信号生成部１２１ａ1および位置特定部１２１ａ2を備えている。
The
信号生成部１２１ａ1は、所定時間毎に、若しくはロボットＲの主制御部２００から電波の発信を命令する信号（発信命令信号）が入力されるたびに、記憶手段１２４を参照して、対象検知部１２０が設けられたロボットＲに固有の識別番号（以下、ロボットＩＤという）を取得する。
そして、信号生成部１２１ａ1は、当該ロボットＩＤと、受信報告要求信号とを含んで構成される検索信号を生成する。
ここで、受信報告要求信号とは、検索信号を受信した検知対象Ｈ（検知用タグＴ）に対して、当該検索信号を受信した旨を示す信号（受信報告信号）を生成するように要求する信号である。
The
Then, the
Here, the reception report request signal requests the detection target H (detection tag T) that has received the search signal to generate a signal (reception report signal) indicating that the search signal has been received. Signal.
さらに、信号生成部１２１ａ1は、この検索信号を生成する際に、後記する発光手段１２３から赤外線信号として照射される方向検査信号もまた生成する。
方向検査信号は、発光手段１２３に設けられた発光部（ＬＥＤ１〜ＬＥＤ８）の総てについて、個別に生成されるものであり、前記したロボットＩＤと、発光部を特定する識別子（発光部ＩＤ）を含んで構成される。
なお、この方向検査信号は、後記する復号化部１２１ｄから入力される受信報告信号に発光要求信号が含まれている場合にも生成される。
Further, when generating the search signal, the
The direction inspection signal is individually generated for all of the light emitting units (LED1 to LED8) provided in the light emitting unit 123, and the robot ID and the identifier (light emitting unit ID) for identifying the light emitting unit described above. It is comprised including.
This direction check signal is also generated when a light emission request signal is included in the reception report signal input from the
本実施形態の場合、発光部が合計８つ設けられているので、データ処理部１２１ａは、ロボットＩＤと発光部ＩＤとから構成される方向検査信号を、合計８つ生成する。
例えば、ロボットＩＤが「０２」であり、発光部（ＬＥＤ１〜ＬＥＤ８）の発光部ＩＤが「Ｌ１〜Ｌ８」である場合、発光部ＬＥＤ１について生成される方向検索信号は、ロボットＩＤ＝「０２」と、発光部ＩＤ＝「Ｌ１」とを含み、発光部ＬＥＤ２について生成される方向検査信号は、ロボットＩＤ＝「０２」と、発光部ＩＤ＝「Ｌ２」とを含むことになる。
In the case of the present embodiment, since a total of eight light emitting units are provided, the
For example, when the robot ID is “02” and the light emitting unit IDs of the light emitting units (LED1 to LED8) are “L1 to L8”, the direction search signal generated for the light emitting unit LED1 is the robot ID = “02”. And the direction inspection signal generated for the light emitting unit LED2 includes the robot ID = “02” and the light emitting unit ID = “L2”.
そして、信号生成部１２１ａ1は、方向検査信号と前記した検索信号とを、暗号化部１２１ｂに出力する。
なお、位置特定部１２１ａ2は、検索信号を受信した検知用タグＴから送信された受信報告信号をもとに、検知対象Ｄの位置を特定するものであるが、その際にこの位置特定部１２１ａ2で行われる処理は、復号化部１２１ｄおよび電界強度検出部１２１ｅにおける処理と共に、後に詳細に説明する。
Then, the
The
暗号化部１２１ｂは、入力された信号を暗号化した後、出力するものである。そして、暗号化部１２１ｂは、検索信号の暗号化により得られた検索信号（暗号化検索信号）を、後記する電波送受信手段１２２に出力する。
これにより、暗号化検索信号は、変調されたのち、電波送受信手段１２２から無線送信されることになる。
The
As a result, the encrypted search signal is modulated and then wirelessly transmitted from the radio wave transmission / reception means 122.
一方、暗号化部１２１ｂは、データ処理部１２１ａから入力された方向検査信号を、同様にして暗号化する。そして、暗号化部１２１ｂは、方向検査信号の暗号化により得られた方向検査信号（暗号化方向検査信号）を、後記する時分割部１２１ｃに出力する。
On the other hand, the
本実施の形態の場合、方向検査信号は、前記したデータ処理部１２１ａにおいて発光手段１２３の発光部ごとに一つずつ生成される。
よって、図５に示すように、発光手段１２３には合計８つの発光部が設けられているので、暗号化部１２１ｂには、合計８つの方向検査信号がデータ処理部１２１ａから入力される。
その結果、合計８つの暗号化方向検査信号がこの暗号化部１２１ｂにおいて生成され、時分割部１２１ｃに出力されることになる。
In the case of the present embodiment, one direction inspection signal is generated for each light emitting unit of the light emitting unit 123 in the
Therefore, as shown in FIG. 5, since the light emitting means 123 is provided with a total of eight light emitting units, a total of eight direction check signals are input to the
As a result, a total of eight encryption direction check signals are generated in the
時分割部１２１ｃは、発光手段１２３の各発光部（ＬＥＤ１〜ＬＥＤ８）の発光順序と、発光タイミングを設定するものである。
具体的には、暗号化部１２１ｂから暗号化方向検査信号が入力されると、時分割部１２１ｃは、各発光部（ＬＥＤ１〜ＬＥＤ８）の発光順序および発光タイミングを決定し、決定した発光順序および発光タイミングで、暗号化方向検査信号を発光手段１２３に出力する。
The
Specifically, when the encryption direction inspection signal is input from the
例えば、発光部ＬＥＤ１、発光部ＬＥＤ４、発光部ＬＥＤ７、発光部ＬＥＤ２、発光部ＬＥＤ５、発光部ＬＥＤ８、発光部ＬＥＤ３、そして発光部ＬＥＤ６の順番で、各発光部を０．５秒間隔で発光させる場合、時分割部８３は、暗号化方向検査信号を０．５秒間隔で、発光部ＬＥＤ１の変調部、発光部ＬＥＤ４の変調部、発光部ＬＥＤ７の変調部、発光部ＬＥＤ２の変調部、発光部ＬＥＤ５の変調部、発光部ＬＥＤ８の変調部、発光部ＬＥＤ３の変調部、そして発光部ＬＥＤ６の変調部という順番で出力する。
For example, the light emitting units LED1, light emitting unit LED4, light emitting unit LED7, light emitting unit LED2, light emitting unit LED5, light emitting unit LED8, light emitting unit LED3, and light emitting unit LED6 are emitted in the order of 0.5 seconds. In this case, the
本実施の形態の場合、合計８つの暗号化方向検査信号が時分割部１２１ｃに入力される。そして、これら暗号化方向検査信号は、前記したデータ処理部１２１ａにおいて、出力される発光部があらかじめ決められている。
したがって、時分割部１２１ｃは、暗号化方向検査信号が入力されると、暗号化方向検査信号に含まれる発光部ＩＤを確認し、発光部ＩＤにより特定される発光部に隣接する変調部に向けて、決められた順序およびタイミングで、暗号化方向検査信号を出力する。
例えば、発光部（ＬＥＤ１〜ＬＥＤ８）の発光部ＩＤが「Ｌ１〜Ｌ８」で規定される場合、時分割部１２１ｃは、発光部ＩＤが「Ｌ１」である暗号化方向検査信号を、発光部ＬＥＤ１に隣接する変調部に出力し、発光部ＩＤが「Ｌ２」である暗号化方向検査信号を、発光部ＬＥＤ２に隣接する変調部に出力することになる。
In the case of the present embodiment, a total of eight encryption direction inspection signals are input to the
Therefore, when the encrypted direction check signal is input, the
For example, when the light emitting unit IDs of the light emitting units (LED1 to LED8) are defined by “L1 to L8”, the
発光手段１２３は、ロボットＲを基準として当該ロボットＲの周囲において予め設定された探索域に向けて光を照射するものである。
発光手段１２３は、複数の発光部（ＬＥＤ１〜ＬＥＤ８）と、各発光部に対応させて設けられた変調部と、を備えている。
The light emitting means 123 emits light toward a search area set in advance around the robot R with the robot R as a reference.
The light emitting means 123 includes a plurality of light emitting units (LED1 to LED8) and a modulation unit provided corresponding to each light emitting unit.
変調部は、時分割部１２１ｃから入力された暗号化方向検査信号を、所定の変調方式で変調し、変調信号とするものである。
発光部は、変調信号を赤外線信号（赤外光）として、予め決められた探索域に向けて照射するものである。
The modulation unit modulates the encryption direction check signal input from the
The light emitting unit emits the modulation signal as an infrared signal (infrared light) toward a predetermined search area.
本実施形態では、検知対象Ｈの位置を特定するために、ロボットＲの周囲の領域が複数の探索域に区分されている（図７（ａ）参照）。そして、この探索域に向けて赤外光を発光する発光部として、発光ダイオードが探索域毎に一つずつ用意されている。 In this embodiment, in order to specify the position of the detection target H, the area around the robot R is divided into a plurality of search areas (see FIG. 7A). One light emitting diode is prepared for each search area as a light emitting unit that emits infrared light toward the search area.
具体的には、図７（ａ）に示す例の場合、ロボットＲを中心として、全周方向、すなわち３６０度方向に、合計８つの探索域Ｄ１〜Ｄ８が設定されている。
言い換えると、ロボットＲを中心として、ほぼ扇形の探索域Ｄ１〜Ｄ８がロボットＲを取り囲むように複数設定されており、ロボットＲは、これら扇形の探索域で囲まれた領域のほぼ中心に位置している。
Specifically, in the case of the example shown in FIG. 7A, a total of eight search areas D1 to D8 are set around the robot R in the entire circumferential direction, that is, in the 360 degree direction.
In other words, a plurality of substantially fan-shaped search areas D1 to D8 are set around the robot R so as to surround the robot R, and the robot R is positioned approximately at the center of the area surrounded by the fan-shaped search areas. ing.
したがって、図７（ａ）に示す例の場合、各探索域に向けて赤外光の照射が可能となるように、ロボットＲの頭部Ｒ３には、その外周に沿って合計８つの発光部が、それぞれ対応する探索域に向けて設けられている。 Therefore, in the example shown in FIG. 7A, the head R3 of the robot R has a total of eight light emitting units along its outer periphery so that infrared light can be irradiated toward each search area. Are provided for the corresponding search areas.
また、図７（ａ）から明らかなように、ロボットＲの正面側の探索域Ｄ１〜Ｄ３は、他の探索域Ｄ４〜Ｄ８に比べて狭くなるように設定されている。 As is clear from FIG. 7A, the search areas D1 to D3 on the front side of the robot R are set to be narrower than the other search areas D4 to D8.
このように探索域Ｄ１〜Ｄ８を設定するのは、ロボットＲが検知対象Ｈを検知し、検知対象Ｈの方向に顔を向ける動作を行う時に、ロボットＲの顔の正面（これを視線の方向という）と、検知対象Ｈの位置とのズレが生じると、ロボットＲの視線が自分の方を向いていないと検知対象Ｈが感じる場合があるという問題を解決するためである。
ここで、この問題を解決する方法の一つとして、探索域の数を多くするという方法が考えられる。しかし、必ずしも全周の探索域の数を増やす必要はなく、前方のみの探索域を増やして、前方側の位置特定を細かくできるようにすることで、検知対象Ｈの位置する方向にロボットＲの視線の方向を向けることができる。また、こうすることにより、発光部の数を少なく構築できる。
The search areas D1 to D8 are set in this way when the robot R detects the detection target H and performs an operation of turning the face in the direction of the detection target H (the direction of the line of sight). This is to solve the problem that the detection target H may feel that the line of sight of the robot R is not facing the user when a deviation from the position of the detection target H occurs.
Here, as a method of solving this problem, a method of increasing the number of search areas can be considered. However, it is not always necessary to increase the number of search areas around the entire circumference, and by increasing the search area only in the front so that the position of the front side can be specified in detail, the robot R can move in the direction in which the detection target H is located. The direction of the line of sight can be turned. In addition, by doing this, the number of light emitting units can be reduced.
そのため、本実施の形態の場合、ロボットＲの正面側の探索域Ｄ１〜Ｄ３の赤外光の照射範囲を狭くすることで、ロボットＲの正面側にある探索域Ｄ１〜Ｄ３内における検知対象Ｈの位置をより正確に特定できるようにしているのである。
これにより、検知対象Ｈが人であり、かつロボットＲのカメラＣ，Ｃで人の顔の撮像を行う場合に、ロボットＲの正面側における検知対象Ｈの位置特定をより正確に行って、ロボットＲの移動制御やカメラＣ，Ｃの画角の調整に反映させることができるので、ロボットＲのカメラＣ，Ｃを、検知対象Ｈである人の顔の正面にきちんと位置させることが可能となる。
Therefore, in the case of the present embodiment, the detection target H in the search areas D1 to D3 on the front side of the robot R is reduced by narrowing the infrared light irradiation range of the search areas D1 to D3 on the front side of the robot R. The position of can be specified more accurately.
As a result, when the detection target H is a person and the human face is imaged by the cameras C and C of the robot R, the position of the detection target H on the front side of the robot R is more accurately specified, and the robot Since it can be reflected in the movement control of R and the adjustment of the angle of view of the cameras C and C, the cameras C and C of the robot R can be properly positioned in front of the face of the person who is the detection target H. .
図５に示すように、電波送受信手段１２２は、ロボットＲの周辺領域に向けて電波を発信すると共に、当該電波を受信した検知対象Ｈから送信された受信報告信号を受信するものである。
この電波送受信手段１２２は、変調部１２２ａと、復調部１２２ｂと、送受信アンテナ１２２ｃと、を備えている。
As shown in FIG. 5, the radio wave transmission / reception unit 122 transmits a radio wave toward the peripheral region of the robot R and receives a reception report signal transmitted from the detection target H that has received the radio wave.
The radio wave transmitting / receiving unit 122 includes a
変調部１２２ａは、データ処理部１２１ａから入力された検索信号（実際には、暗号化検索信号）を所定の変調方式で変調して変調信号とした後、これを、送受信アンテナ１２２ｃを介して無線送信するものである。
The
復調部１２２ｂは、検知対象Ｈの検知用タグＴから無線送信された変調信号を、送受信アンテナ１２２ｃを介して受信し、受信した変調信号の復調により、受信報告信号（実際には、暗号化受信報告信号）を取得するものである。
そして、この復調部１２２ｂは、取得した受信報告信号を、制御手段１２１の復号化部１２１ｄと電界強度検出部１２１ｅとに出力するものである。
The
The
復号化部１２１ｄは、暗号化された受信報告信号である暗号化受信報告信号を復号化して、受信報告信号を取得し、取得した受信報告信号を、データ処理部１２１ａに出力するものである。
The
本実施形態の場合、受信報告信号には、後に詳細に説明するが、発光部ＩＤとロボットＩＤとタグ識別番号とが少なくとも含まれているので、復号化部１２１ｄは、これらをデータ処理部１２１ａに出力することになる。
なお、受信報告信号に発光要求信号が含まれていた場合、この発光要求信号もまたデータ処理部１２１ａに出力されることになる。
In the case of the present embodiment, the reception report signal will be described in detail later. However, since at least the light emitting unit ID, the robot ID, and the tag identification number are included, the
If the light emission request signal is included in the reception report signal, this light emission request signal is also output to the
電界強度検出部１２１ｅは、検知対象Ｈの検知用タグＴから送信された変調信号を電波送受信手段１２２が受信した際に、当該変調信号の強度を求めるものである。
具体的には、電界強度検出部１２１ｅは、電波送受信手段１２２の復調部１２２ｂから入力された、暗号化受信報告信号の電力を検波し、この検波された電力の平均値を電界強度として求め、この求めた電界強度をデータ処理部１２１ａに出力する。
The electric field
Specifically, the electric field
データ処理部１２１ａの位置特定部１２１ａ2は、検知対象Ｈの位置を特定するものである。
具体的には、検知対象Ｈの検知用タグＴから送信された変調信号を電波送受信手段１２２において受信した際の、当該変調信号の電界強度から、ロボットＲから検知対象Ｈまでの距離を求める。さらに、位置特定部１２１ａ2は、受信報告信号に含まれる発光部ＩＤを参照して、検知対象Ｈが受信した光が、どの発光部から発光されたのかを特定し、特定された発光部の発光方向を、すなわち当該発光部に対応する探索域の方向を検知対象Ｈの存在する方向とみなし、検知対象Ｈの位置を特定するものである。
The
Specifically, the distance from the robot R to the detection target H is obtained from the electric field intensity of the modulation signal when the radio wave transmission / reception means 122 receives the modulation signal transmitted from the detection tag T of the detection target H. Further, the
本実施形態の場合、はじめに、位置特定部１２１ａ2は、復号化部１２１ｄから入力された受信報告信号の中からロボットＩＤを取得する。そして取得したロボットＩＤと記憶手段１２４に記憶されたロボットＩＤとを比較し、両ロボットＩＤが一致した場合、位置特定部１２１ａ2は、検知対象Ｈの位置の特定を開始する。
In the case of the present embodiment, first, the
また、本実施形態の場合、図８に示すように、ロボットＲの周辺領域は、ロボットＲからの距離に応じて４つのエリアに区分されている。すなわち、ロボットＲからの距離が短い順に、エリアＤ１１、エリアＤ１２、エリアＤ１３、そしてエリアＤ１４と定義されている。
この各エリアと電界強度とは、電界強度の大きさを基準として予め関連づけられており、この関連づけを示すテーブル（距離テーブル）が、記憶手段１２４に記憶されている。
In the case of the present embodiment, as shown in FIG. 8, the peripheral area of the robot R is divided into four areas according to the distance from the robot R. That is, area D11, area D12, area D13, and area D14 are defined in order of increasing distance from robot R.
Each area and the electric field strength are associated in advance with reference to the magnitude of the electric field strength, and a table (distance table) indicating the association is stored in the
したがって、位置特定部１２１ａ2は、電界強度検出部１２１ｅから入力された電界強度をもとに、記憶手段１２４に記憶された距離テーブルを参照し、受信報告信号を発信した検知対象Ｈがどのエリアにいるのかを示す情報（エリア情報）を取得する。
例えば、電界強度検出部１２１ｅから入力された電界強度が、エリアＤ１３を規定する閾値間の値である場合、位置特定部１２１ａ2は、エリアＤ１３を示す情報（エリア情報）を取得する。
Therefore, the
For example, when the electric field intensity input from the electric field
さらに、位置特定部１２１ａ2は、復号化部１２１ｄから入力された受信報告信号に含まれる発光部ＩＤを参照して、受信報告信号を送信した検知対象Ｈが、ロボットＲの発光手段１２３のどの発光部から発光された光を受信したのかを特定し、特定された発光部の発光方向を示す情報（方向情報）を取得する。
Furthermore, the
本実施の形態の場合、図７（ａ）に示すように、ロボットＲの周辺領域には、ロボットＲを基準として合計８つの探索域Ｄ１〜Ｄ８が設定されている。
そして、記憶手段１２４には、各発光部がどの探索域に向けて設置されているのかを示すテーブル（方向テーブル）が記憶されている。
In the present embodiment, as shown in FIG. 7A, a total of eight search areas D1 to D8 are set in the peripheral area of the robot R with reference to the robot R.
The storage means 124 stores a table (direction table) indicating in which search area each light emitting unit is installed.
したがって、データ処理部１２１ａは、発光部ＩＤをもとに記憶手段１２４に記憶された方向テーブルを参照し、当該発光部ＩＤを持つ発光部から発せられる赤外光が、予め設定された探索域Ｄ１〜Ｄ８のうち、どの領域に照射されるのかを確認する。そして、データ処理部１２１ａは、確認された探索域を示す情報を、検知対象Ｈが存在する方向を示す情報（方向情報）として取得する。
Therefore, the
そして、位置特定部１２１ａ2は、取得したエリア情報と方向情報とから検知対象Ｈの位置を示す情報（位置情報）を生成する。
これにより、ロボットＲが受信した受信報告信号の強度と、この受信報告信号に含まれる発光部ＩＤとから、ロボットＲと検知対象Ｈとの位置関係が特定される。言い換えれば、検知対象Ｈが、ロボットＲを基準としてどの方向に、どれだけ離れた位置に存在するのか、すなわち、検知対象Ｈの位置が特定される。
Then, the
Thereby, the positional relationship between the robot R and the detection target H is specified from the intensity of the reception report signal received by the robot R and the light emitting unit ID included in the reception report signal. In other words, in which direction and how far away the detection target H exists with respect to the robot R, that is, the position of the detection target H is specified.
そして、位置特定部１２１ａ2は、位置情報を、復号化部１２１ｄから入力された受信報告信号に含まれるタグ識別番号と共に、ロボットＲの主制御部２００に出力する。
これにより、ロボットＲの主制御部２００は、自律移動制御部１５０を制御して、ロボットＲを検知対象Ｈの正面に移動させることや、検知対象Ｈが人である場合、カメラＣ，Ｃの仰角や向きを修正して、当該検知対象Ｈの顔の撮像を行うことが可能となる。
Then, the
Accordingly, the
なお、受信報告信号に発光要求信号が含まれている場合、信号生成部１２１ａ1は方向検査信号を生成し、暗号化部１２１ｂに出力する。これにより、発光手段１２３の各発光部から赤外線信号が発光されることになる。
When the light emission request signal is included in the reception report signal, the
［検知用タグ］
検知用タグＴは、ロボットＲから送信された電波と、照射された光とを受信し、これらを受信したことを示す受信報告信号を、ロボットＲに送信するものである。
本実施の形態では、検知用タグＴが取り付けられた人が検知対象Ｈであるので、ロボットＲから送信された電波と照射された光は、この検知用タグＴにおいて受信される。よって、この検知用タグＴについて以下に説明する。
[Detection tag]
The detection tag T receives the radio wave transmitted from the robot R and the irradiated light, and transmits a reception report signal indicating that they have been received to the robot R.
In the present embodiment, since the person to whom the detection tag T is attached is the detection target H, the radio wave transmitted from the robot R and the irradiated light are received by the detection tag T. Therefore, the detection tag T will be described below.
図６に示すように、この検知用タグＴは、電波送受信手段１２５と、光受信手段１２６と、受信報告信号生成手段１２７と、記憶手段１２８と、を備えている。
As shown in FIG. 6, the detection tag T includes a radio wave transmission / reception unit 125, an optical reception unit 126, a reception report signal generation unit 127, and a
電波送受信手段１２５は、ロボットＲから無線送信された変調信号を受信すると共に、後記する受信報告信号生成手段１２７において生成された受信報告信号を、変調した後、ロボットＲに向けて無線送信するものである。
この電波送受信手段１２５は、送受信アンテナ１２５ａと、復調部１２５ｂと、変調部１２５ｃと、を備えている。
The radio wave transmission / reception unit 125 receives the modulation signal wirelessly transmitted from the robot R, modulates the reception report signal generated by the reception report signal generation unit 127 described later, and transmits the modulation signal wirelessly to the robot R It is.
The radio wave transmission / reception unit 125 includes a transmission /
復調部１２５ｂは、ロボットＲから発信されると共に、送受信アンテナ１２５ａを介して受信した変調信号を復調し、検索信号（実際には、暗号化検索信号）を取得し、取得した検索信号を後記する受信報告信号生成手段１２７に出力するものである。
The
変調部１２５ｃは、後記する受信報告信号生成手段１２７の暗号化部１２７ｃから入力された暗号化後の受信報告信号（暗号化受信報告信号）を変調して変調信号を生成すると共に、当該変調信号を、送受信アンテナ１２５ａを介して、無線送信するものである。
The modulation unit 125c modulates the encrypted reception report signal (encrypted reception report signal) input from the encryption unit 127c of the reception report signal generation unit 127, which will be described later, to generate a modulation signal, and the modulation signal Is transmitted wirelessly via the transmission /
光受信手段１２６は、ロボットＲから照射された赤外光を受光するものである。
この光受信手段１２６は、受光部１２６ａと、光復調部１２６ｂと、を備えている。
受光部１２６ａは、ロボットＲから照射された赤外光（赤外線信号）を直接受光するものである。
光復調部１２６ｂは、受光部１２６ａにおいて受光した赤外線信号を復調して、方向検査信号（実際には、暗号化方向検査信号）を取得するものである。
The light receiving unit 126 receives infrared light emitted from the robot R.
The light receiving unit 126 includes a light receiving unit 126a and an optical demodulation unit 126b.
The light receiving unit 126a directly receives infrared light (infrared signal) emitted from the robot R.
The light demodulator 126b demodulates the infrared signal received by the light receiver 126a to obtain a direction check signal (actually an encrypted direction check signal).
具体的には、光受信手段１２６は、ロボットＲから照射された赤外光を受光部１２６ａで受光すると、受光した赤外線信号を光復調部１２６ｂにおいて復調して、暗号化方向検査信号を取得する。そして、取得した暗号化方向検査信号を受信報告信号生成手段１２７に出力する。 Specifically, when the light receiving unit 126 receives the infrared light emitted from the robot R by the light receiving unit 126a, the light receiving unit 126a demodulates the received infrared signal at the light demodulating unit 126b to obtain an encryption direction inspection signal. . Then, the acquired encryption direction inspection signal is output to the reception report signal generation means 127.
受信報告信号生成手段１２７は、ロボットＲから発信された検索信号を電波送受信手段１２５で受信した場合、この検索信号に含まれる受信報告要求信号に従って、ロボットＲから発信された検索信号を受信したことを示す信号（受信報告信号）を生成するものである。
この受信報告信号生成手段１２７は、復号化部１２７ａと、データ処理部１２７ｂと、暗号化部１２７ｃと、を備えている。
The reception report signal generation means 127 has received the search signal transmitted from the robot R according to the reception report request signal included in the search signal when the radio wave transmission / reception means 125 receives the search signal transmitted from the robot R. Is generated (reception report signal).
The reception report signal generation means 127 includes a
復号化部１２７ａは、入力された暗号化信号を復号化して、信号を取得するものである。
この復号化部１２７ａは、電波送受信手段１２５から入力された暗号化検索信号と、光受信手段１２６から入力された暗号化方向検査信号とを復号化して、検索信号と方向検査信号とを取得する。そして、復号化部１２７ａは、取得した検索信号と方向検査信号とを後段のデータ処理部１２７ｂに出力する。
The
The
データ処理部１２７ｂは、受信報告信号を生成するものである。
ここで、本実施形態の場合、検索信号には、検索信号を発信したロボットＲを特定する識別子であるロボットＩＤと、当該電波を受信した検知対象Ｈに対し、所定の処理を命ずる受信報告要求信号とが含まれている。
また、方向検査信号には、方向検査信号を発信したロボットＲを特定する識別子であるロボットＩＤと、方向検査信号を発信した発光部を特定する発光部ＩＤとが含まれている。
The data processing unit 127b generates a reception report signal.
Here, in the case of the present embodiment, the search signal includes a robot ID that is an identifier for identifying the robot R that has transmitted the search signal, and a reception report request that instructs the detection target H that has received the radio wave to perform predetermined processing. Signals are included.
The direction inspection signal includes a robot ID that is an identifier that identifies the robot R that has transmitted the direction inspection signal, and a light emitting unit ID that identifies the light emitting unit that has transmitted the direction inspection signal.
したがって、データ処理部１２７ｂは、検索信号が入力されると、この検索信号に含まれる受信報告要求信号に従って、この検知用タグＴの光受信手段１２６を待機状態から起動状態にする。
そして、光受信手段１２６を起動状態にした後、所定時間経過するまでの間に方向検査信号が入力された場合、データ処理部１２７ｂは、方向検査信号に含まれるロボットＩＤと、検索信号に含まれるロボットＩＤとを比較する。
Therefore, when the search signal is input, the data processing unit 127b switches the optical reception unit 126 of the detection tag T from the standby state to the activated state according to the reception report request signal included in the search signal.
When the direction inspection signal is input before the predetermined time elapses after the light receiving unit 126 is activated, the data processing unit 127b includes the robot ID included in the direction inspection signal and the search signal. The robot ID is compared.
データ処理部１２７ｂは、両ロボットＩＤが一致した場合、記憶手段１２８を参照し、検知用タグＴに割り当てられた固有の識別番号（タグ識別番号）を取得する。
続いて、データ処理部１２７ｂは、タグ識別番号と、検索信号に含まれていたロボットＩＤと、そして方向検査信号に含まれていた発光部ＩＤとを含んで構成される受信報告信号を生成し、生成した受信報告信号を暗号化部１２７ｃに出力する。
When the robot IDs match, the data processing unit 127b refers to the
Subsequently, the data processing unit 127b generates a reception report signal including the tag identification number, the robot ID included in the search signal, and the light emitting unit ID included in the direction inspection signal. The generated reception report signal is output to the encryption unit 127c.
一方、検知用タグＴの光受信手段１２６を起動状態にした後、所定時間経過しても方向検査信号が入力されない場合、または検索信号に含まれていたロボットＩＤと方向検査信号に含まれていたロボットＩＤとが異なる場合、データ処理部１２７ｂは、発光要求信号をさらに含む受信報告信号を生成し、生成した受信報告信号を、暗号化部１２７ｃに出力する。
ここで、発光要求信号とは、検知装置であるロボットＲに対して、赤外光を発光するように命令する信号である。
On the other hand, after the light receiving means 126 of the detection tag T is activated, the direction inspection signal is not input even after a predetermined time has elapsed, or the robot ID and the direction inspection signal included in the search signal are included. If the robot ID is different, the data processing unit 127b generates a reception report signal further including a light emission request signal, and outputs the generated reception report signal to the encryption unit 127c.
Here, the light emission request signal is a signal for instructing the robot R, which is a detection device, to emit infrared light.
暗号化部１２７ｃは、入力された受信報告信号を暗号化して、暗号化受信報告信号とした後、これを電波送受信手段１２５に出力する。
これにより、暗号化受信報告信号は、前記した電波送受信手段１２５の変調部１２５ｃにおいて変調された後、送受信アンテナ１２５ａを介して、無線送信されることになる。
The encryption unit 127c encrypts the received reception report signal to obtain an encrypted reception report signal, and then outputs the encrypted reception report signal to the radio wave transmission / reception means 125.
As a result, the encrypted reception report signal is modulated by the modulation unit 125c of the radio wave transmission / reception means 125 and then wirelessly transmitted via the transmission /
［床面検知部］
続いて、図４の床面検知部１３０について、図９および図１０を参照して説明する。図９は、図４の床面検知部を示すブロック図である。図１０は、床面検知部による撮像領域を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。
[Floor surface detection unit]
Next, the floor
図９に示すように、床面検知部１３０は、カメラＣ１，Ｃ１と、レーザ照射部１３１と、赤外線ＬＥＤ１３２と、制御部１３３と、切替回路１３４と、を備えている。
As shown in FIG. 9, the floor
カメラＣ１，Ｃ１は、映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤカメラが使用される。カメラＣ１，Ｃ１は、左右に平行に並んで配置され、撮影した画像は制御部１３３に出力される。このカメラＣ１，Ｃ１と、レーザ照射部１３１および赤外線ＬＥＤ１３２は、いずれも上体部Ｒ２の内部に配設される。このカメラＣ１，Ｃ１は、上体部Ｒ２の下端部に、ロボットＲの前方下方の床面を撮像するために設けられたものであり、その撮像領域Ｄ２１は、図１０に示されている。
The cameras C1 and C1 can capture video as digital data, and for example, a color CCD camera is used. The cameras C1 and C1 are arranged side by side in parallel on the left and right, and the captured image is output to the
レーザ照射部１３１は、レーザスリット光を撮像領域Ｄ２１内に照射するためのものである。
The
赤外線ＬＥＤ１３２は、赤外光を撮像領域Ｄ２１内に照射するためのものである。
The
制御部１３３は、カメラＣ１，Ｃ１によって撮像された画像に基づいて、床面にある障害物を検出する。
The
床面に障害物がある場合には、レーザ照射部１３１によって照射されたレーザスリット光の反射光が、障害物の形状に沿って歪み、カメラＣ１，Ｃ１が、この歪みを撮像する。制御部１３３は、この歪みを検出することによって、ロボットＲに対する障害物の位置や障害物の形状を検出する。この検出データは、主制御部２００に出力される。
When there is an obstacle on the floor surface, the reflected light of the laser slit light emitted by the
また、床面に再帰性反射材によるマーカがある場合には、赤外線ＬＥＤ１３２によって照射された赤外光がマーカによって反射され、カメラＣ１，Ｃ１が、この反射光を撮像する。制御部１３３は、この反射光を検出することによって、ロボットＲに対するマーカの位置を検出する。この検出データは、主制御部２００に出力される。
Further, when there is a marker made of a retroreflecting material on the floor surface, the infrared light irradiated by the
切替回路１３４は、制御部１３３からの切替信号に基づいて、レーザ照射部１３１および赤外線ＬＥＤ１３２のいずれか一方を起動状態とするための回路である。
The
制御部１３３は、切替回路１３４を切り替えるための切替信号を生成する。
制御部１３３は、ＧＰＳ受信器ＳＲ１によって検出されたロボットＲの位置データと、ジャイロセンサＳＲ２によって検出されたロボットＲの向きデータと、地図データに含まれるマーカの位置データと、に基づいて、ロボットＲとマーカとの距離が所定値以下であり、かつ、ロボットＲがマーカの方向に向いているか否かを判定する。この条件を満たした場合には、制御部１３３は、赤外線ＬＥＤ１３２を起動状態とするための切替信号を生成し、切替回路１３４に出力する。この条件を満たさない場合には、制御部１３３は、レーザ照射部１３１を起動状態とするための切替信号を生成し、切替回路１３４に出力する。
このようにすることで、ロボットＲがマーカに近づいているときのみに赤外線ＬＥＤ１３２を駆動し、それ以外の場合にはレーザ照射部１３１を駆動することが可能となる。そのため、カメラＣ１，Ｃ１を障害物検知およびマーカ検知の両方に活用することが可能となる。すなわち、障害物検知用のカメラとマーカ検知用のカメラとを別体に設ける必要がなくなり、ロボットＲの上体部Ｒ２内のスペースの有効利用が図られる。
The
Based on the position data of the robot R detected by the GPS receiver SR1, the direction data of the robot R detected by the gyro sensor SR2, and the position data of the marker included in the map data, the
By doing in this way, it becomes possible to drive the
［障害物検知部］
続いて、図４の障害物検知部１４０について、図１１および図１２を参照して説明する。図１１は、図４の障害物検知部を示すブロック図である。図１２は、障害物検知部による検知領域を示す図であり、（ａ）は平面図、（ｂ）は側面図である。
[Obstacle detection unit]
Next, the
図１１に示すように、障害物検知部１４０は、６個の超音波センサ１４１ａ，１４１ｂ，１４１ｃ，１４１ｄ，１４１ｅ，１４１ｆと、制御部１４２と、を備えている。
As shown in FIG. 11, the
超音波センサ１４１ａ〜１４１ｆは、送受兼用型のセンサであり、超音波を発生し、所定距離内に障害物（人などの移動体も含む）がある場合に生じる反射波を受信するためのセンサである。この超音波センサ１４１ａ〜１４１ｆは、上体部Ｒ２の内部に配設される。
超音波センサ１４１ａは、ロボットＲの前方の障害物を検知するためのものであり、その検知領域Ｄ３１は、図１２（ａ）、（ｂ）に示されている。
超音波センサ１４１ｂ〜１４１ｆは、ロボットＲの側方〜後方の障害物を検知するためのものであり、その検知領域Ｄ３２〜Ｄ３６は、図１２（ａ）に示されている。
すなわち、超音波センサ１４１ａは検知領域Ｄ３１（前方）を、超音波センサ１４１ｂは検知領域Ｄ３２（右方）を、超音波センサ１４１ｃは検知領域Ｄ３３（右後方）を、超音波センサ１４１ｄは検知領域Ｄ３４（後方）を、超音波センサ１４１ｅは検知領域Ｄ３５（左後方）を、超音波センサ１４１ｆは検知領域Ｄ３６（左方）を、それぞれ検知する。
超音波センサ１４１ａ〜１４１ｆが障害物を検知した場合には、検知した超音波センサの識別番号を含む障害物検知連絡信号を制御部１４２に出力する。
The
The
The
That is, the
When the
制御部１４２は、超音波センサ１４１ａ〜１４１ｆが出力した障害物検知連絡信号と、超音波センサ１４１ａ〜１４１ｆの配置方向を記憶したテーブルと、に基づいて、ロボットＲの所定距離内どの方向に障害物があるのか、を判定する。超音波センサ１４１ａ〜１４１ｂが発生する超音波は透明な物質でも反射するので、障害物検知部１４０はガラスなどの透明な障害物も検知することができる。
この障害物の方向データは、主制御部２００に出力される。
Based on the obstacle detection communication signal output from the
The obstacle direction data is output to the
［自律移動制御部］
図４に示すように、自律移動制御部１５０は、頭部制御部１５１、腕部制御部１５２および脚部制御部１５３を備えている。
頭部制御部１５１は、主制御部２００の指示に従い頭部Ｒ４を駆動し、腕部制御部１５２は、主制御部２００の指示に従い腕部Ｒ２を駆動し、脚部制御部１５３は、主制御部２００の指示に従い脚部Ｒ１を駆動する。これら自律移動制御部１５０、頭部Ｒ４、腕部Ｒ２および脚部Ｒ１の組み合わせが、特許請求の範囲における「自律移動手段（自律移動装置）」の一例である。
[Autonomous Movement Control Unit]
As shown in FIG. 4, the autonomous movement control unit 150 includes a
The
［把持部制御部］
把持部制御部１６０は、主制御部２００の指示に従い把持部７１を駆動する。
[Grip part control part]
The gripping
［無線通信部］
無線通信部１７０は、ロボット管理装置３とデータの送受信を行う通信装置である。無線通信部１７０は、公衆回線通信装置１７１および無線通信装置１７２を備えている。
公衆回線通信装置１７１は、携帯電話回線やＰＨＳ(Personal Handyphone System)回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置１７２は、IEEE802.11b規格に準拠するワイヤレスＬＡＮなどの、近距離無線通信による無線通信手段である。
無線通信部１７０は、ロボット管理装置３からの接続要求に従い、公衆回線通信装置１７１または無線通信装置１７２を選択してロボット管理装置３とデータ通信を行う。
[Wireless communication part]
The wireless communication unit 170 is a communication device that exchanges data with the
The public
The wireless communication unit 170 performs data communication with the
［把持部］
続いて、ロボットＲの把持部７１Ｒ（Ｌ）について、図１３ないし図１５を参照してさらに詳しく説明する。図１３は、ロボットの把持部を示す斜視図であり、指開状態を示す図である。図１４は、ロボットの把持部を示す斜視図であり、指閉状態を示す図である。図１５は、ロボットの把持部、開度検出手段および６軸力センサを示すブロック図である。なお、一対の把持部７１Ｒ，７１Ｌは鏡面対称であり、図１３および図１４には、左側の把持部７１Ｌが示されている。以下、場合により、Ｒ，Ｌを除いた符号を用いて説明する。
[Grip part]
Subsequently, the gripping
図１３および図１４に示すように、把持部７１は、掌部７２と、第一指部７３と、第二指部７４と、を備えている。
掌部７２は、手首関節部３６，３７を介して前腕リンク５５に連結されている（図３参照）。
第一指部７３は、人間の親指に相当する部分であり、第一指関節部７３ａを介して掌部７２の基端側に連結されている。
第二指部７４は、人間の示指、中指、環指、小指に相当する部分であり、第二指関節部７４ａを介して掌部７２の先端側に連結されている。
また、掌部７２内には、第一指部７３を駆動するための第一指部用モータ７３ｂと、第二指部７４を駆動するための第二指部用モータ７４ｂとが内蔵されている。また、掌部７２には、第一指部角度α（第一指部７３と掌部７２との角度）を検出する第一指部角度検出手段８３と、第二指部角度β（第二指部７４と掌部７２との角度）を検出する第二指部角度検出手段８４と、が内蔵されている（図１５参照）。
As shown in FIGS. 13 and 14, the
The
The
The
In addition, the
第一指部角度αは、第一指部７３と掌部７２とがなす角度であり、指開状態から指閉状態に向かって大きくなる。この第一指部角度αは、図１３に示す指開状態（把持時全開）でα1、図１３に示す指閉状態（把持時全閉）でα2である（α1≦α≦α2）。
第二指部角度βは、第二指部７４と掌部７２とがなす角度であり、指開状態から指閉状態に向かって大きくなる。この第二指部角度βは、図１２に示す指開状態（把持時全開）でβ1（＝０）、図１４に示す指閉状態（把持時全閉）でβ2である（０≦β≦β2）。
1st finger part angle (alpha) is an angle which the
The second finger part angle β is an angle formed by the
（主制御部２００）
続いて、図４の主制御部２００について、図１６を参照して説明する。図１６は、図４の主制御部を示すブロック図である。
(Main control unit 200)
Next, the
（主制御部）
図１６に示すように、主制御部２００は、行動管理手段２１０、人特定手段２２０、移動行動決定手段２３０、挨拶行動決定手段２４０、受取／受渡行動決定手段２５０および計時手段２６０を備えている。
(Main control unit)
As shown in FIG. 16, the
（行動管理手段）
行動管理手段２１０は、ロボット管理装置３から送信された実行命令信号を取得し、この実行命令信号に基づき、人特定手段２２０、移動経路決定手段２３０、挨拶行動決定手段２４０および受取／受渡行動決定手段２５０を制御する。
また、行動管理手段２１０は、現在位置データ生成手段２１１、実行状況データ生成手段２１２およびコミュニケーション結果取得手段２１３を備えている。
また、現在位置データ生成手段２１１は、ＧＰＳ受信器ＳＲ２によって検出されたロボットＲの位置データに基づいてロボットＲの現在位置を示す現在位置データを生成し、ロボット管理装置３に出力する。この現在位置データは、ＧＰＳ受信器ＳＲ２によって検出されたロボットＲの位置データにロボットＲの識別番号を付与したものである。
実行状況データ生成手段２１２は、ロボットＲの駆動状況に基づいて、ロボットＲのタスク実行状況を報告するためのタスク実行状況データ（行動報告信号）を生成し、ロボット管理装置３に出力する。この実行状況データは、ロボットの実行状況にロボットＲの識別番号を付与したものである。
例えば、ロボットＲのタスクが物品の運搬である場合には、実行状況として以下のものが考えられる。
１ 受取前
２ 受取中
３ 運搬中
４ 受渡中
５ 運搬完了
実行状況データ生成手段２１２は、ロボットＲの状態（各モータの駆動状況など）に基づいて、ロボットＲの実行状況を１〜５のいずれかに設定し、設定された実行状況を含む実行状況データを生成し、ロボット管理装置３に出力する。
コミュニケーション結果取得手段２１３は、ロボットが人とコミュニケーションすることによって取得したデータ（画像データ、音声データなど）を、ロボット管理装置３に出力する。コミュニケーション結果取得手段２１３は、ロボットＲのタスク実行状況に関わらず、すなわち、ロボットＲがタスクを実行中であってもコミュニケーション結果データを取得可能である。
また、行動管理手段２１０は、シナリオデータ要求信号を生成し、ロボット管理装置３に出力する。
(Behavior management means)
The behavior management unit 210 acquires the execution command signal transmitted from the
In addition, the behavior management unit 210 includes a current position
The current position
The execution status
For example, when the task of the robot R is transportation of an article, the following can be considered as the execution status.
DESCRIPTION OF
The communication
In addition, the behavior management unit 210 generates a scenario data request signal and outputs it to the
なお、現在位置データおよびタスク実行状況データは定期的に生成され、ロボット管理装置３に出力される。
Note that the current position data and task execution status data are periodically generated and output to the
（人特定手段）
人特定手段２２０は、人データ記憶部３１０（図１７参照）に記憶された人情報と、対象検知部１２０によって取得されたタグＴのタグ識別番号と、に基づいて、対象検知部によって検知された人（検知対象）が誰であるかを特定する。人データ記憶部３１０には、その人の名前と、その人固有のタグＴのタグ識別番号とが関連付けて記憶されているので、これらのデータと、実行命令信号とを参照することによって、ロボットＲ近傍にいる人が、タスク実行に関係ある人であるか否かを判定することができる。
さらに、人特定手段２２０は、移動体抽出部１０２で抽出された移動体の位置データと、対象検知部１２０で検知された検知対象の位置データと、に基づいて、カメラＣ，Ｃで撮像された移動体が誰であるかを特定する。
(Person identification method)
The
Furthermore, the person specifying means 220 is imaged by the cameras C and C based on the position data of the moving object extracted by the moving
（移動行動決定手段）
移動行動決定手段２３０は、ロボットＲの自律移動の内容を決定するためのものである。
移動経路決定手段２３１は、タスク実行命令信号と、ロボットＲの位置データと、ロボットＲの向きデータと、人データと、地図データと、に基づいて、ロボットＲの移動経路を決定する。また、画像処理部１００、床面検知部１３０および障害物検知部１４０のいずれかが障害物を検知した場合には、移動経路決定手段２３１は、検知した障害物を回避するように移動経路を生成する。
(Moving behavior determination means)
The movement action determination means 230 is for determining the content of the autonomous movement of the robot R.
The movement path determination means 231 determines the movement path of the robot R based on the task execution command signal, the position data of the robot R, the direction data of the robot R, the person data, and the map data. When any of the image processing unit 100, the floor
（受取／受渡行動決定手段）
受取／受渡行動決定手段２４０は、物品運搬作業に伴う把持部７１の行動（動作）内容を決定するためのものである。
(Receiving / delivery action decision means)
The receiving / delivering action determining means 240 is for determining the action (operation) content of the
続いて、図４のロボット管理装置３について説明する。図１７は、図４のロボット管理装置を示すブロック図である。
図１７に示すように、ロボット管理装置３は、記憶部３００、制御部４００および入出力手段５００を備えている。制御部４００は、入出力手段５００を介して、ロボットＲとのデータの送受信を行う。
Next, the
As shown in FIG. 17, the
（記憶部）
記憶部３００は、人データ記憶部３１０、地図データ記憶部３２０、ロボットデータ記憶部３３０、発話データ記憶部３４０、音声認識データ記憶部３５０およびシナリオデータ記憶部３６０を備えている。
(Memory part)
The storage unit 300 includes a human
人データ記憶部３１０は、タスク実行エリアＥＡであるオフィス内にいる人に関するデータ（人データ）を、それぞれ関連付けて記憶している。
人データとしては、人識別番号（ＩＤ）、名前、所属、タグ識別番号、通常居場所、机位置、顔画像などに関するデータが含まれる。
The person
The human data includes data relating to a personal identification number (ID), name, affiliation, tag identification number, normal location, desk position, face image, and the like.
地図データ記憶部３２０は、タスク実行エリアＥＡの地形（壁位置、机位置など）に関するデータ（地図データ）を記憶している。
The map
ロボットデータ記憶部３３０は、タスク実行エリアＥＡに配置されたロボットＲＡ，ＲＢに関するデータを、それぞれ関連付けて記憶している。
ロボットデータとしては、ロボット識別番号、現在位置、バッテリ量、タスク実行状況などに関するデータが含まれる。このうち現在位置データおよびタスク実行状況データは、定期的に更新されている。
The robot
The robot data includes data related to the robot identification number, current position, battery amount, task execution status, and the like. Of these, current position data and task execution status data are regularly updated.
発話データ記憶部３４０は、ロボットＲが発話するためのデータ（発話データ）を記憶している。
The speech
音声認識データ記憶部３５０は、ロボットＲが音声認識するためのデータ（音声認識データ）を記憶している。 The voice recognition data storage unit 350 stores data (voice recognition data) for the robot R to perform voice recognition.
シナリオデータ記憶部３６０は、ロボットＲに一連の動作（シナリオ）を実行させるためのデータを記憶している。ここでいうシナリオデータとは、ロボットＲに一連の動作（人特定、移動行動、挨拶行動、受取／受渡行動など）を実行させるための、各関節部（電動モータ）の駆動量、駆動順序などを含むデータであり、ロボットＲは、このシナリオデータに基づいて、シナリオを実行する。
The scenario
タスクデータ記憶部３７０は、端末５から送られたタスクデータを記憶する。また、タスクデータ記憶部３７０は、後記するタスクデータ生成手段４１４によって生成されたタスクデータを記憶する。
The task
制御部４００は、タスク管理手段４１０およびデータ管理手段４２０を備えている。 The control unit 400 includes task management means 410 and data management means 420.
タスク管理手段４１０は、ロボットＲに実行させるためのタスクを管理するためのものであり、タスクデータ取得手段４１１、タスクスケジューリング手段４１２、実行命令信号生成手段４１３およびタスクデータ生成手段４１４を備えている。
The task management unit 410 is for managing tasks to be executed by the robot R, and includes a task
タスクデータ取得手段４１１は、端末５から送られたタスクデータを取得する。取得されたタスクデータは、タスクデータ記憶部２７０に記憶される。
The task
タスクスケジューリング手段４１２は、タスクをロボットＲに実行させるため、タスクのスケジューリングを行う。以下、タスクのスケジューリングの一例について説明する。
The
タスクスケジューリング手段４１２は、タスクデータ記憶部３７０に記憶されている複数のタスクデータのうち、未実行および実行中のタスクデータについて、それぞれ優先度データを生成する。
タスクの優先度データ「Ｐ」は、以下の式（１）によって算出される。
The
The task priority data “P” is calculated by the following equation (1).
ここで、前記式（１）における「Ｔ’pri」は、以下の式（２）によって算出される。 Here, “T ′ pri ” in the equation (1) is calculated by the following equation (2).
ここで、「Ｔpri」は、「タスクの重要度（調整前）」である。「Ｔpri」は、例えば、１．０（重要度低）から０．５間隔で５．０（重要度高）までの値であり、オペレータによる端末５の操作によって入力された値や、個人ＩＤ（役職など）などから算出された値が用いられる。本実施形態では、人データ記憶部３１０に記憶された人データにより「Ｔpri」を決定する。
また、「Ｔsp」は、タスクの開始位置から最も近傍のロボットＲまでの移動距離を、ロボットＲの平均歩行速度で割った値、すなわち、「最も近傍のロボットＲがタスクの開始位置まで移動するのにかかる時間」であり、「ｎ（Ｔsp）」は、「ロボットＲに近傍のタスクを優先して実行させるための重要度」である。「ｎ（Ｔsp）」の値は、タスク開始位置と、最も近傍のロボットＲの位置との距離が小さいほど大きくなる値である。すなわち、「ｎ（Ｔsp）」は、タスク開始位置の近くにロボットＲが位置するほど、タスクの重要度が大きくなるようにはたらく値である。本実施形態では、「Ｔsp」が所定値以下である場合にのみ、「ｎ（Ｔsp）」が所定の正の値をとる（その他は０）ものとする。これらの値を算出するための値として、タスクの開始位置はタスクデータ記憶部３７０に記憶されたタスクデータと、人データ記憶部３１０に記憶された人データと、に基づいて決められる。また、ロボットＲの現在位置は、ロボットデータ記憶部３３０に記憶されたものを用いる。このようにして算出された「Ｔ’pri」は「調整済みタスク重要度」であり、以下、かかる「Ｔ’pri」のことを、単に「タスクの重要度」と呼ぶこととする。
Here, “T pri ” is “task importance (before adjustment)”. “T pri ” is, for example, a value from 1.0 (low importance) to 5.0 (high importance) at intervals of 0.5. A value calculated from an ID (position, etc.) is used. In this embodiment, “T pri ” is determined based on the human data stored in the human
“T sp ” is a value obtained by dividing the moving distance from the task start position to the nearest robot R by the average walking speed of the robot R, that is, “the nearest robot R moves to the task start position. “N (T sp )” is “the degree of importance for causing the robot R to preferentially execute nearby tasks”. The value of “n (T sp )” is a value that increases as the distance between the task start position and the position of the nearest robot R decreases. That is, “n (T sp )” is a value that works such that the importance of the task increases as the robot R is positioned closer to the task start position. In the present embodiment, it is assumed that “n (T sp )” takes a predetermined positive value (others are 0) only when “T sp ” is equal to or smaller than a predetermined value. As a value for calculating these values, the task start position is determined based on the task data stored in the task
また、前記式（１）における「ｆ（Ｔerr）」は、「重要度の時的変化係数」であり、以下の式（３）によって算出される。 In addition, “f (T err )” in the equation (1) is a “temporal change coefficient of importance”, and is calculated by the following equation (3).
ここで、「Ｔerr」は、「時間余裕」であり、「（現在の時刻）−（タスク開始予定時刻）」である。すなわち、時間余裕「Ｔerr」は、タスク開始予定時刻よりも前では、正の値をとる。そして、時間の経過とともに小さくなり、タスク開始予定時刻を過ぎると、負の値をとる。
また、「Ｔtime」は、「タスクを実行するのに必要な時間」であり、「（タスク終了予定時刻）−（タスク開始予定時刻）」である。
また、「Ｃobli」は、「忘却係数」であり、「ｆ（Ｔerr）」の下り勾配、すなわち、優先度データ「Ｐ」の下り勾配を決める値である。
Here, “T err ” is “time margin” and is “(current time) − (task start scheduled time)”. That is, the time margin “T err ” takes a positive value before the scheduled task start time. Then, it becomes smaller as time elapses, and takes a negative value when the scheduled task start time has passed.
Further, “T time ” is “ time required to execute the task”, and is “(task scheduled end time) − (task start scheduled time)”.
“C obli ” is a “forgetting factor”, and is a value that determines the downward gradient of “f (T err )”, that is, the downward gradient of the priority data “P”.
（Ｔerr＞Ｔtime）
タスク開始予定時刻が迫ると（時間余裕「Ｔerr」が正から０に近づくと）、「ｆ（Ｔerr）」が上昇する。そして、「時間余裕」が「タスクを実行するのに必要な時間」以下になると、「ｆ（Ｔerr）」は「１」となる。これは、以下の理由による。
タスクをタスク終了予定時刻までに実行完了するためには、タスク開始予定時刻よりも前にタスクを開始しなければならない。したがって、「ｆ（Ｔerr）」は、タスク開始予定時刻が近づくにつれて大きくなり、Ｔerr＝Ｔtime（すなわち、現在時刻がタスク開始予定時刻と一致したとき）で最大となるように設定されている。
また、式（１）の優先度データ「Ｐ」に対し、タスクの重要度「Ｔ’pri」よりも時間余裕「Ｔerr」の項の方が重要であるため、ｆ（Ｔerr）として非線形な勾配を採用した。この勾配はＴtimeに依存しており、Ｔtimeが大きいほど勾配が緩やかになるように設定されている。
(T err > T time )
When the scheduled task start time approaches (when the time margin “T err ” approaches 0 from positive), “f (T err )” increases. When the “time margin” is equal to or less than “the time required to execute the task”, “f (T err )” is “1”. This is due to the following reason.
In order to complete the execution of the task by the scheduled task end time, the task must be started before the scheduled task start time. Therefore, “f (T err )” increases as the scheduled task start time approaches, and is set to be maximum at T err = T time (that is, when the current time matches the scheduled task start time). Yes.
In addition, since the term of the time margin “T err ” is more important than the priority “T ′ pri ” of the task with respect to the priority data “P” of the equation (1), it is nonlinear as f (T err ). The gradient was adopted. This gradient depends on T time , and is set so that the gradient becomes gentler as T time increases.
（０≦Ｔerr≦Ｔtime）
現在時刻がタスク開始予定時刻とタスク終了予定時刻の間となる場合である。この時間内にタスクを開始しても、タスク終了予定時刻までに終了することはできず、できるだけ早くタスクを開始する必要がある時間帯である。そのため、「ｆ（Ｔerr）」は最大値「１」をとる。
(0 ≦ T err ≦ T time )
This is a case where the current time is between the scheduled task start time and the scheduled task end time. Even if the task is started within this time, it cannot be completed by the scheduled task end time, and it is a time zone in which the task needs to be started as soon as possible. Therefore, “f (T err )” takes the maximum value “1”.
（０＞Ｔerr＞−Ｃobli・Ｔtime）
そして、現在時刻がタスク終了予定時刻を過ぎると（時間余裕「Ｔerr」が０より小さくなると）、「ｆ（Ｔerr）」が次第に下降して「０」となり、タスクを忘却する。
(0> T err > −C obli · T time )
When the current time passes the scheduled task end time (when the time margin “T err ” becomes smaller than 0), “f (T err )” gradually decreases to “0” and forgets the task.
このように、時間（時刻）に関するデータ、位置に関するデータ、重要度に関するデータに基づいて優先度データ「Ｐ」を生成するので、タスクの優先度として好適な値を得ることができ、かかる優先度データ「Ｐ」は、後記するスケジュールデータの生成に使用可能である。 As described above, since the priority data “P” is generated based on the data related to time (time), the data related to the position, and the data related to the importance, a suitable value can be obtained as the priority of the task. The data “P” can be used to generate schedule data to be described later.
タスクスケジューリング手段４１２は、生成した優先度データに基づいて、タスクをロボットごとに割り当ててスケジュールデータを生成するものである。
ここでスケジュールデータとは、各タスクデータについて、「どのロボットＲに、どの実行順位で実行させるか、」を決定するためのデータである。すなわち、スケジュールデータは、実行させるロボットＲに関するロボットＩＤと、実行順位データと、を含んでいる。また、タスクを割り当てた際に、各タスクの開始予定時刻および終了予定時刻が改めて生成されており、これらもスケジュールデータに含まれている。
The task scheduling means 412 generates schedule data by assigning tasks to each robot based on the generated priority data.
Here, the schedule data is data for determining “which robot R is to be executed in which execution order” for each task data. That is, the schedule data includes a robot ID related to the robot R to be executed and execution order data. Further, when a task is assigned, the scheduled start time and the scheduled end time of each task are newly generated, and these are also included in the schedule data.
以下、スケジュールデータ生成の手順について説明する。あるロボット（ｉ）が、あるタスク（ｊ）を実行したときにかかる時間「Ｃij」は、式（４）によって算出される。 Hereinafter, the procedure of schedule data generation will be described. The time “C ij ” required when a certain robot (i) executes a certain task (j) is calculated by the equation (4).
ここで、「Ｗｒ」は、「タスク開始位置までの歩行にかかる時間」である。この「Ｗｒ」は、ロボットデータ記憶部３３０に記憶されたロボットＲの現在位置と、タスク開始位置と、地図データ記憶部３２０に記憶された地図データと、ロボットＲの平均移動速度と、に基づいて算出される。
また、「Ｗｒｈ」は、「タスク実行中の移動にかかる時間」である。この「Ｗｒｈ」は、開始位置およびタスク終了位置と、地図データ記憶部３２０に記憶された地図データと、ロボットＲの平均移動速度と、に基づいて算出される。
また、「Ｇ（task type）」は、「タスク実行中に、ロボットの来訪者とのコミュニケーション（ジェスチャー、会話など）にかかる時間」である。この「Ｇ（task type）」は、タスクの種類（挨拶、受付、案内など）によって予め定められた値が、記憶部３００に記憶されている。
Here, “Wr” is “time required for walking to the task start position”. This “Wr” is based on the current position of the robot R stored in the robot
“Wrh” is “time required for movement during task execution”. This “Wrh” is calculated based on the start position and task end position, the map data stored in the map
“G (task type)” is “time required for communication (gesture, conversation, etc.) with a robot visitor during task execution”. As for “G (task type)”, a value determined in advance by the type of task (greeting, reception, guidance, etc.) is stored in the storage unit 300.
また、ｍ個のタスクをｎ台のロボットＲに割り当てる際のある組み合せを「ｋ」、全ての組み合わせを表現する重複順列を「Ｍ（ｋ） （１≦ｋ≦ｎm）」とし、その要素を「ｘij」とすると、割り当てられたタスクによる各ロボットの動作量に関するコスト（主に移動距離に依存する）「Ｃｒ（ｉ）」は、式（５）によって算出される。 In addition, a combination when assigning m tasks to n robots R is “k”, and an overlapping permutation representing all combinations is “M (k) (1 ≦ k ≦ n m )”. Is “x ij ”, the cost (mainly depending on the moving distance) “Cr (i)” related to the movement amount of each robot by the assigned task is calculated by the equation (5).
ロボット制御システムＡ全体の動作量に関する総コスト「Ｃall」（以下、動作コストと呼ぶ）は、各ロボットのコスト「Ｃｒ（ｉ）」の総和であり、式（６）によって算出される。 The total cost “C all ” (hereinafter referred to as “operation cost”) related to the movement amount of the entire robot control system A is the sum of the costs “Cr (i)” of each robot, and is calculated by Expression (6).
また、全てのタスクを終了するまでの時間に関するコスト「Ｃall complete」（以下、時間コストと呼ぶ）は、各ロボットに割り当てられた全タスクのうちの、最先の開始予定時刻から最後の終了予定時刻（これらの時刻は、タスクスケジューリング手段４１２で生成された値である）までの時間であり、式（７）によって算出される。 In addition, the cost “C all complete ” (hereinafter referred to as “time cost”) related to the time until all tasks are completed is the last end from the earliest scheduled start time among all tasks assigned to each robot. This is the time until the scheduled time (these times are the values generated by the task scheduling means 412), and is calculated by equation (7).
そして、動作コスト「Ｃall」および時間コスト「Ｃall complete」の両方を考慮することによって最適化されたコスト「Ｃopt」は、式（８）によって算出される。 Then, the cost “C opt ” optimized by considering both the operation cost “C all ” and the time cost “C all complete ” is calculated by Expression (8).
ここで、「ｗ」は、「ロボットの動作およびタスクを終了するまでの時間に関する重み」である。すなわち、「ｗ」が大きいと、動作重視となり、「ｗ」が小さいと、時間重視となる。この「Ｃopt」が最小となる組み合わせ「ｋ」が、複数のタスクを複数のロボットに実行させるための最適なスケジュールである。 Here, “w” is “weight related to the time until the robot operation and the task are completed”. That is, when “w” is large, the operation is emphasized, and when “w” is small, the time is emphasized. The combination “k” that minimizes “C opt ” is an optimal schedule for causing a plurality of robots to execute a plurality of tasks.
ここでいう動作重視とは、ロボットＲの動作量を抑えることを重視することを指す。また、時間重視とは、タスクを早く終了することを重視することを指す。例えば、ある狭い位置領域で実行するタスクが複数存在している場合について考える。かかる複数のタスクを、最も近傍に位置するロボットＲ一台に実行させると、全体としてのロボットＲの動作量を抑えることができる（動作重視）が、一台で処理するため時間がかかる（時間軽視）。一方、複数のロボットに実行させると、タスクを早く終了することができる（時間重視）が、遠くのロボットＲを移動させることになり、全体としてのロボットＲの動作量が大きくなる（動作軽視）。すなわち、動作重視および時間重視は両立するとは限らず、ｗの値を設定することで、どちらを重視するかを選択することができる。 Here, the emphasis on movement refers to emphasis on suppressing the movement amount of the robot R. Also, time-oriented means emphasizing that a task is finished early. For example, consider a case where there are a plurality of tasks to be executed in a certain narrow position area. If a plurality of such tasks are executed by the closest robot R, the movement amount of the robot R as a whole can be suppressed (motion-oriented), but it takes time to process by one unit (time) Neglect). On the other hand, if a plurality of robots are executed, the task can be completed quickly (time-oriented), but a distant robot R is moved, and the movement amount of the robot R as a whole is increased (motion disregard). . That is, the emphasis on operation and the emphasis on time are not always compatible, and by setting the value of w, it is possible to select which one is important.
続いて、タスクのスケジューリングの例について説明する。図１８は、タスクのスケジューリングを説明するための図である。ここでは、７個のタスク（タスクＴ１〜タスクＴ７）を、２台のロボット（ロボットＲＡ，ＲＢ）に実行させる場合におけるスケジューリングを例にとって説明する。 Next, an example of task scheduling will be described. FIG. 18 is a diagram for explaining task scheduling. Here, a description will be given by taking an example of scheduling when two robots (robots RA and RB) execute seven tasks (tasks T1 to T7).
まず、図１８（ａ）に示すように、タスクＴ１〜タスクＴ７がタスクデータ記憶部３７０に記憶されている場合に、これらタスクＴ１〜タスクＴ７について優先度データ「Ｐ」を生成する。ここでは、優先度データ「Ｐ」によって表される各タスクの優先度が、「タスクＴ１＞タスクＴ２＞タスクＴ３＞タスクＴ４＞タスクＴ５＞タスクＴ６＞タスクＴ７」となっているものとする。そして、生成された優先度データ「Ｐ」はそれぞれ、各タスクのタスクデータに付与される形でタスクデータ記憶部３７０に記憶される。
First, as shown in FIG. 18A, when tasks T1 to T7 are stored in the task
続いて、図１８（ｂ）に示すように、各タスクを優先度データＰに基づいてグループ分けする。ここでは、優先度が高い（優先度データ「Ｐ」の値が大きい）タスクＴ１〜タスクＴ４からなるグループＧ１と、優先度が低いタスクＴ５〜タスクＴ７からなるグループＧ２と、に分ける。かかるグループ分けにおいて、ロボットＲの台数、タスクの数などに基づいて、グループの数を決めることが望ましい。例えば、タスクの数が多い場合には、「（タスクの数）÷（ロボットＲの台数） （ただし、小数点以下繰上げ）」の数だけグループを生成することができる。その他、グループの数の決定は、スケジュールデータ生成部３ｂ２の計算時間および計算時間の優先度に基づいて決定される。すなわち、スケジュールデータの生成が早く完了するようにグループの数を決定する。 Subsequently, as shown in FIG. 18B, the tasks are grouped based on the priority data P. Here, it is divided into a group G1 consisting of tasks T1 to T4 having a high priority (priority data “P” is large) and a group G2 consisting of tasks T5 to T7 having a low priority. In such grouping, it is desirable to determine the number of groups based on the number of robots R, the number of tasks, and the like. For example, when the number of tasks is large, the number of groups can be generated as many as “(number of tasks) ÷ (number of robots R) (however, rounded up after the decimal point)”. In addition, the number of groups is determined based on the calculation time of the schedule data generation unit 3b2 and the priority of the calculation time. That is, the number of groups is determined so that the generation of schedule data is completed early.
続いて、図１８（ｃ）に示すように、優先度が高いグループＧ１について、前記した式（４）、式（５）および式（６）によるスケジューリング（スケジュールデータの生成）を行う。ここでは、タスクＴ１のスケジュールデータは、「Ａ−１」である。これは、「ロボットＲＡに、１番目に実行させる」との意味である。同様に、タスクＴ２、タスクＴ３およびタスクＴ４のスケジュールデータは、それぞれ「Ｂ−１」、「Ａ−２」および「Ａ−３」である。これら生成されたスケジュールデータはそれぞれ、各タスクのタスクデータに付与される形でタスクデータ記憶部３７０に記憶される。
Subsequently, as shown in FIG. 18 (c), scheduling (generation of schedule data) is performed on the group G1 having a high priority according to the above-described equations (4), (5), and (6). Here, the schedule data of the task T1 is “A-1”. This means that the robot RA is to be executed first. Similarly, the schedule data of the task T2, the task T3, and the task T4 are “B-1”, “A-2”, and “A-3”, respectively. Each of the generated schedule data is stored in the task
続いて、図１８（ｄ）に示すように、優先度が低いグループＧ２について、前記した式（４）、式（５）および式（６）によるスケジューリングを行う。この際に、既にスケジューリングされたタスクデータによる負荷を、ペナルティとして保持した状態でスケジューリングを行う。このように、後のグループをスケジューリングする際に、それより前のグループをスケジューリングした結果を考慮することで、スケジューリング全体における最適化を図ることができる。 Subsequently, as shown in FIG. 18 (d), scheduling according to the above-described Expression (4), Expression (5), and Expression (6) is performed for the group G2 having a low priority. At this time, scheduling is performed in a state where a load due to already scheduled task data is held as a penalty. In this way, when scheduling a subsequent group, optimization of the entire scheduling can be achieved by considering the result of scheduling the previous group.
ここでは、タスクＴ５、タスクＴ６およびタスクＴ７のスケジュールデータは、それぞれ「Ｂ−２」、「Ｂ−３」および「Ａ−４」である。これら生成されたスケジュールデータはそれぞれ、各タスクのタスクデータに付与される形でタスクデータ記憶部３７０に記憶される。
Here, the schedule data of task T5, task T6, and task T7 are “B-2”, “B-3”, and “A-4”, respectively. Each of the generated schedule data is stored in the task
このように、タスクのグループ分けを行ってグループごとにスケジューリングを行うので、多数のタスクが存在する場合であっても、任意の数のタスクごとにスケジューリングを行うことができ、タスク数の増加によるスケジューリングの組み合わせの数の増加を抑え、タスクスケジューリング手段４１２にかかるスケジューリング負荷の増大を抑えることができる。 In this way, task grouping is performed and scheduling is performed for each group, so even if there are many tasks, scheduling can be performed for any number of tasks, and the number of tasks increases. An increase in the number of scheduling combinations can be suppressed, and an increase in scheduling load applied to the task scheduling means 412 can be suppressed.
また、スケジュールデータを生成する際には、各ロボットＲのバッテリ残量、駆動系の異常などのロボットの状態に関するデータも考慮されることが望ましい。 Further, when generating the schedule data, it is desirable to take into account data relating to the state of the robot such as the remaining battery capacity of each robot R and an abnormality in the drive system.
［実行命令信号生成手段］
実行命令信号生成手段４１３は、タスクスケジューリング手段４１２によって生成されたスケジュールデータに基づいて、ロボットＲにタスクを実行させるための実行命令信号を生成するものである。
[Execution instruction signal generation means]
The execution command signal generation unit 413 generates an execution command signal for causing the robot R to execute a task based on the schedule data generated by the
本実施形態では、実効命令信号生成手段４１３は、各ロボットＲに、実行順位が高い、すなわち、１番目に実行させるタスクに関する実行命令信号を生成する。前記例において、ロボットＲＡへの実行命令信号は、ロボットＩＤと、タスクＴ１に関するタスクＩＤ、タスク開始予定時刻、タスク開始位置、タスク内容、タスク終了位置などを含むデータとして生成される。同様に、他のロボットＲＢへの実行命令も生成され、入出力手段５００および基地局１を介して、各ロボットＲＡ，ＲＢへ送信される。ロボットＲＡ，ＲＢの主制御部２００は、受信した実行命令信号に含まれるロボットＩＤと自身のロボットＩＤを比較し、一致した場合にその実行命令信号に係るタスクを実行する。また、実行命令信号は、タスクデータと関連付けてタスクデータ記憶部３７０に記憶される。
In the present embodiment, the effective command signal generation unit 413 generates an execution command signal related to the task having the highest execution order, that is, the first task to be executed by each robot R. In the above example, the execution command signal to the robot RA is generated as data including the robot ID, the task ID related to the task T1, the scheduled task start time, the task start position, the task content, the task end position, and the like. Similarly, execution instructions for other robots RB are also generated and transmitted to the robots RA and RB via the input /
なお、実行命令信号は、当該ロボットＲに１番目に実行させるタスクだけでなく、当該ロボットＲに実行させる全てのタスクに関するデータを含んでいてもよい。 Note that the execution command signal may include not only the task to be executed first by the robot R but also data relating to all tasks to be executed by the robot R.
タスクデータ生成手段４１４は、ロボットＲから送られたコミュニケーション結果に基づいて、タスクデータを生成する。例えば、コミュニケーション結果が音声認識データである場合には、この音声認識データからタスクデータを生成する。そして、生成されたタスクデータがタスクデータ記憶部２７０に記憶されると共に、タスクスケジューリング手段４１２が、タスクの再スケジューリングを行う。
The task
データ管理手段４２０は、実行命令信号に含まれるタスクの種類に基づいて、そのタスクを実行するのに必要なデータをシナリオデータ記憶部３６０から読み出し、ロボットＲへ出力する。また、端末５からの入力に基づき、記憶部３００内のデータを更新する。
また、データ管理手段４２０は、ロボットＲからのデータ要求信号に基づいて、要求されたデータを記憶部３００から読み出し、ロボットＲへ出力する。
Based on the type of task included in the execution command signal, the data management unit 420 reads data necessary for executing the task from the scenario
Further, the data management means 420 reads the requested data from the storage unit 300 based on the data request signal from the robot R and outputs it to the robot R.
このように、本実施形態に係るロボット制御システムＡは、ロボットＲがタスク実行中であっても人とのコミュニケーションによってタスクデータを取得・生成し、このタスクデータと、ロボットＲの現在位置およびタスク実行状況とに基づいてタスクの再スケジューリングを行う。したがって、人は端末５を介するだけでなく、ロボットＲを介してタスクを依頼することが可能となり、システムの使いやすさが高まっている。また、再スケジューリングを行うので、重要度が高いタスクの割り込みなどが可能となる。また、ロボットＲの現在位置およびタスク実行状況を考慮した再スケジューリングを行うので、適切なスケジューリングが可能となる。 As described above, the robot control system A according to the present embodiment acquires and generates task data through communication with a person even when the robot R is executing a task, and the task data, the current position of the robot R, and the task Reschedule tasks based on execution status. Therefore, a person can request a task not only via the terminal 5 but also via the robot R, and the usability of the system is increased. Further, since rescheduling is performed, it becomes possible to interrupt a task with high importance. In addition, since rescheduling is performed in consideration of the current position of the robot R and the task execution status, appropriate scheduling is possible.
（ロボットの動作例）
続いて、本発明の実施形態に係るロボット制御システムＡによるロボットＲの物品運搬動作について説明する。ここでは、ロボットＲＡが、「人Ｈ１から物品Ｍを受け取り、人Ｈ２に物品Ｍを受け渡す」といったタスクに関する実行命令信号を受け、物品Ｍを運搬移動中に人とコミュニケーションを行い、ロボット管理装置３がタスクの再スケジューリングを行う場合を例にとって説明する。
(Robot operation example)
Subsequently, an article carrying operation of the robot R by the robot control system A according to the embodiment of the present invention will be described. Here, the robot RA receives an execution command signal relating to a task such as “receives the article M from the person H1 and delivers the article M to the person H2,” and communicates with the person while the article M is being transported and moved. An example in which 3 performs task rescheduling will be described.
（物品受取）
まず、ロボットＲＡの受取位置への移動について説明する。図１９は、本発明の実施形態に係るロボット制御システムによるタスク実行の例を示すフローチャートであり、ロボットＲＡの受取位置への移動を示すフローチャートである。
まず、ロボットＲＡは、タスク実行エリアＥＡに設定されたホームポジションで待機している（ステップＳ１）。
ロボットＲが、ロボット管理装置３から送信された実行命令信号を受信すると（ステップＳ２でＹｅｓ）、ロボットＲは、ホームポジションから人Ｈ１の通常居場所（以下、「通常居場所Ｐ１」と記載する。）までの移動を開始する（ステップＳ３）。そして、人Ｈ１の通常居場所Ｐ１に到着すると（ステップＳ４でＹｅｓ）、ロボットＲは移動を中止し、人Ｈ１の探索を開始する（ステップＳ５）。
(Goods receipt)
First, the movement of the robot RA to the receiving position will be described. FIG. 19 is a flowchart showing an example of task execution by the robot control system according to the embodiment of the present invention, and is a flowchart showing movement of the robot RA to the receiving position.
First, the robot RA stands by at the home position set in the task execution area EA (step S1).
When the robot R receives the execution command signal transmitted from the robot management apparatus 3 (Yes in step S2), the robot R starts from the home position to the normal location of the person H1 (hereinafter referred to as “normal location P1”). Is started (step S3). When the robot R arrives at the normal location P1 of the person H1 (Yes in step S4), the robot R stops moving and starts searching for the person H1 (step S5).
対象検知部１２０で人Ｈ１のタグ識別番号を検知すると（ステップＳ６でＹｅｓ）、ロボットＲは、カメラＣ，Ｃで人Ｈ１の画像を取得し、人Ｈ１の正面に移動する
When the
なお、対象検知部１２０が、所定時間内に人Ｈ１のタグ識別番号を検知することができなかった場合には（ステップＳ９でＹｅｓ）、ロボットＲは、行動管理手段２１０でタスク実行が不可能である旨を伝える行動報告信号を生成し、ロボット管理装置３へ出力すると共に、ホームポジションに移動する（ステップＳ１０）。
If the
受取位置に移動したロボットＲは、指開状態の把持部７１（７１Ｒ，７１Ｌ）を差し出し、物品Ｍの受け取りを行う（ステップＳ７）。そして、把持部７１が物品Ｍを把持すると（ステップＳ８でＹｅｓ）、ロボットＲは、物品Ｍの受取を完了する。
The robot R that has moved to the receiving position presents the gripper 71 (71R, 71L) in the finger open state and receives the article M (step S7). When the
（運搬移動および受渡）
続いて、ロボットＲＡの物品運搬移動について説明する。図２０および図２１は、本発明の実施形態に係るロボット制御システムによるタスク実行の例を示すフローチャートであり、ロボットＲＡの物品運搬移動および物品受渡を示すフローチャートである。
ステップＳ８において、物品把持完了となると、ロボットＲは、受取位置から、人Ｈ２の通常居場所（以下、「通常居場所Ｐ２」と記載する。）までの移動を開始する（ステップＳ２１）。
ロボットＲＡが、画像処理部１００、対象検知部１２０、床面検知部１３０および障害物検知部１４０によって、その移動方向に存在する物体を検知する（割り込み検知）（ステップＳ２２）。
ロボットＲＡが割り込みを検知し（ステップＳ２２でＹｅｓ）、その割り込みが障害物である場合には（ステップＳ２３で障害物）、ロボットＲＡは、画像処理部１００、対象検知部１２０および障害物検知部１３０によって、ロボットＲＡの周囲に人がいるか否かを検知する（ステップＳ３０）。
周囲に人がいた場合には（ステップＳ３０でＹｅｓ）、ロボットＲＡは、「障害物を除去してください」と発話し、周囲にいる人に障害物の除去を依頼する（ステップＳ３１）。そして、所定時間内に障害物が除去された場合には（ステップＳ３２でＹｅｓ）、ステップＳ２１に戻り、移動を再開する。また、所定時間内に障害物が除去されない場合には、（ステップＳ３２でＮｏ）、ロボットＲは、この障害物を回避するように移動経路を再生成（変更）する（ステップＳ３３）。そして、ロボットＲＡは、ステップＳ２１に戻り、変更した移動経路に基づいて移動を再開する。
(Transportation and delivery)
Subsequently, the article transport movement of the robot RA will be described. 20 and 21 are flowcharts illustrating an example of task execution by the robot control system according to the embodiment of the present invention, and are flowcharts illustrating article transport movement and article delivery of the robot RA.
In step S8, when the gripping of the article is completed, the robot R starts moving from the receiving position to the normal location of the person H2 (hereinafter referred to as “normal location P2”) (step S21).
The robot RA uses the image processing unit 100, the
If the robot RA detects an interrupt (Yes in step S22) and the interrupt is an obstacle (obstacle in step S23), the robot RA includes the image processing unit 100, the
If there is a person around (Yes in step S30), the robot RA speaks “please remove the obstacle” and requests the person in the vicinity to remove the obstacle (step S31). If the obstacle is removed within the predetermined time (Yes in step S32), the process returns to step S21 and the movement is resumed. When the obstacle is not removed within the predetermined time (No in step S32), the robot R regenerates (changes) the movement path so as to avoid the obstacle (step S33). Then, the robot RA returns to step S21 and resumes movement based on the changed movement route.
ロボットＲが割り込みを検知し（ステップＳ２２でＹｅｓ）、その割り込みが人である場合には（ステップＳ２３で人）、ロボットＲＡは、人特定手段２２０によって、その人が既知人物であるか、人Ｈ２であるか否かを判定する（ステップＳ２４、ステップＳ２５
）。ここでいう既知人物とは、その人の人データが人データ記憶部３１０に記憶されていることを指す。
If the robot R detects an interruption (Yes in step S22) and the interruption is a person (a person in step S23), the robot RA determines whether the person is a known person or not by the person specifying means 220. It is determined whether or not H2 (step S24, step S25).
). Here, the known person means that the person data of the person is stored in the person
割り込んだ人が人Ｈ２以外の人である場合には（ステップＳ２４でＮｏ、または、ステップＳ２４でＹｅｓかつステップＳ２５でＮｏ）、ロボットＲＡは、その人に応じた挨拶（発話およびジェスチャ）を行う（ステップＳ２６）。そして、人がロボットの移動経路外に移動すると（ステップＳ２７でＹｅｓ）、移動を再開する。
ロボットＲＡが挨拶してから所定時間経過しても人がどかない場合には（ステップＳ２７でＮｏ）、ロボットＲＡは、人（以下、人Ｈ３と称する）がタスクを依頼しようとしていると判定し、「何か御用ですか」と発話し、コミュニケーション結果取得手段２１３が、マイクＭＣ，ＭＣおよび音声認識部を介して人の発話に伴う音声データを取得し、取得した音声データをロボット管理装置３に出力する（ステップＳ２８）。なお、本実施形態では、人Ｈ３は、位置Ｃまでの案内といったタスクを依頼したものとする。
If the interrupted person is a person other than the person H2 (No in step S24, or Yes in step S24 and No in step S25), the robot RA performs a greeting (speech and gesture) according to the person. (Step S26). When the person moves out of the movement path of the robot (Yes in step S27), the movement is resumed.
If the person does not reach even after a predetermined time has elapsed since the robot RA greeted (No in step S27), the robot RA determines that the person (hereinafter referred to as person H3) is about to request a task. The communication
ロボット管理装置３のタスクデータ生成手段４１４は、取得した音声データと、ロボットＲＡの現在位置データまたはロボットＲＡが取得した人Ｈ３の現在位置データと、に基づいて、「人Ｈ３を現在位置から位置Ｃまで案内する」といった内容のタスクデータを生成する。タスクスケジューリング手段４１２は、新たに生成されたタスクデータと、ロボットＲＡ，ＲＢの現在位置データおよびタスク実行状況データと、タスクデータ記憶部３７０に記憶された未実行または実行中のタスクデータと、に基づいて、タスクの再スケジューリングを行う。そして、実行命令信号生成手段４１３は、この再スケジューリング結果に基づいて、ロボットＲＡ，ＲＢに対する実行命令信号を生成し、出力する。
ここでは、ロボットＲＡの実行命令信号がロボットＲＡに現在実行中の物品運搬を継続させるものであり、ロボットＲＢの実行命令信号がロボットＲＢに人Ｈ３の案内を実行させるものであるとする。
The task data generation means 414 of the
Here, it is assumed that the execution command signal of the robot RA causes the robot RA to continue carrying the article currently being executed, and the execution command signal of the robot RB causes the robot RB to perform guidance of the person H3.
そして、人Ｈ２の通常居場所Ｐ２に到着すると（ステップＳ２９でＹｅｓ）、ロボットＲは移動を中止し、人Ｈ２の探索を開始する（ステップＳ４１）。 When the robot R arrives at the normal location P2 of the person H2 (Yes in step S29), the robot R stops moving and starts searching for the person H2 (step S41).
対象検知部１２０で人Ｈ２のタグ識別番号を検知すると（ステップＳ４２でＹｅｓ）、ロボットＲは、カメラＣ，Ｃで人Ｈ２の画像を取得し、人Ｈ２の正面に移動する
When the
なお、対象検知部１２０が、所定時間に人Ｈ２のタグ識別番号を検知することができなかった場合には（ステップＳ４６でＹｅｓ）、ロボットＲＡは、物品Ｍをタスク実行エリアＥＡ内に設けられた物品置き場Ｂ１（図１参照）へと運搬することになる。
If the
受渡位置に移動したロボットＲは、物品Ｍを把持した把持部７１（７１Ｒ，７１Ｌ）を差し出し、物品Ｍの受渡を行う（ステップＳ４３）。 The robot R that has moved to the delivery position presents the gripper 71 (71R, 71L) that grips the article M, and delivers the article M (step S43).
物品Ｍの受渡が完了すると（ステップＳ４４でＹｅｓ）、ロボットＲＡは、行動管理手段２１０でタスク実行終了を伝える行動報告信号を生成し、ロボット管理装置３へ出力すすると共に、受渡位置からホームポジションまでの移動を行う（ステップＳ４５）。
When the delivery of the article M is completed (Yes in step S44), the robot RA generates an action report signal for notifying the end of task execution by the action management unit 210, and outputs the action report signal to the
続いて、ロボットＲの物品置き場Ｂ１への移動について説明する。ロボットＲＡが、所定時間に人Ｈ２の探索ができなかった場合には（ステップＳ４６でＹｅｓ）、ロボットＲＡは、人Ｈ２の通常居場所Ｐ２から物品置き場Ｂ１への移動を行う（ステップＳ４７）。
そして、ロボットＲＡは、物品置き場Ｂ１に物品Ｍを置くと共に（ステップＳ４８）、物品Ｍを物品置き場Ｂ１に置いた旨を伝える行動報告信号を生成し、ロボット管理装置３および人Ｈ２専用の端末５へ出力する（ステップＳ４９）。そして、ロボットＲは物品置き場Ｂ１からホームポジションまでの移動を行う（ステップＳ５０）。
Next, the movement of the robot R to the article storage place B1 will be described. If the robot RA cannot search for the person H2 at the predetermined time (Yes in step S46), the robot RA moves from the normal location P2 of the person H2 to the article storage place B1 (step S47).
Then, the robot RA puts the article M in the article storage place B1 (step S48), generates an action report signal indicating that the article M has been placed in the article storage place B1, and the
このように、本発明の実施形態に係るロボット制御システムによれば、タスク実行中のロボットが、タスク依頼のユーザインターフェースとなるので、人によるタスク依頼が容易となる。また、ロボットを介してタスク依頼がなされた場合であっても、ロボットの現在位置およびタスク実行状況に基づいて、タスクの再スケジューリングを行うことができ、優先度の高いタスクの割り込みが可能となる。 As described above, according to the robot control system according to the embodiment of the present invention, a task-executed robot serves as a user interface for task requests, so that task requests by humans are facilitated. In addition, even when a task is requested via a robot, the task can be rescheduled based on the current position of the robot and the task execution status, and a task with a high priority can be interrupted. .
以上、本発明の実施形態について説明したが、本発明は前記した実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、ロボット制御システムは、ロボット管理装置に記憶部を備え、ロボットが必要とするデータを適宜送信する構成としたが、ロボットが記憶部を備え、この記憶部に必要なデータを記憶する構成であってもよい。
また、タスクのスケジューリング手法も、前記した手法に限定されない。
The embodiment of the present invention has been described above, but the present invention is not limited to the above-described embodiment, and can be appropriately changed in design without departing from the gist of the present invention.
For example, the robot control system has a configuration in which the robot management device includes a storage unit and appropriately transmits data required by the robot, but the robot includes a storage unit and stores the necessary data in the storage unit. There may be.
Also, the task scheduling method is not limited to the above-described method.
また、コミュニケーションによるタスクデータの生成に音声データを利用する構成としたが、画像データから人のジェスチャを認識し、このジェスチャに対応するタスクデータを生成する構成であってもよい。 In addition, although voice data is used for generating task data by communication, a configuration may be used in which a human gesture is recognized from image data and task data corresponding to the gesture is generated.
また、人がロボットの移動経路に所定時間存在した場合にロボットが人とコミュニケーションを行いタスクデータを生成する構成としたが、タスクデータを生成するためのコミュニケーションの開始タイミングはこれに限定されず、例えば、人がロボットに所定の言葉（例えば、「お願いします。」など、）をかけ、ロボットが音声認識部でこの言葉を認識することによってコミュニケーションを開始する構成であってもよい。また、人が所定のジェスチャ（例えば、「右手を挙げて左右に振る」など）を行い、ロボットが画像処理部でこのジェスチャを認識することによってコミュニケーションを開始する構成であってもよい。また、ロボットが常にコミュニケーションを行っており、常時音声データまたは
画像データをタスクデータ生成手段に送る構成であってもよい。
また、タスクデータ生成手段がロボットの制御部内に設けられる構成であってもよい。
In addition, the robot communicates with the person and generates task data when the person exists in the movement path of the robot for a predetermined time, but the communication start timing for generating the task data is not limited to this, For example, a configuration may be adopted in which a person puts a predetermined word (for example, “Please please”) on the robot, and the robot starts communication by recognizing the word by a voice recognition unit. In addition, a configuration may be adopted in which communication is started when a person performs a predetermined gesture (for example, “right hand and shake left and right”) and the robot recognizes this gesture by the image processing unit. Further, the robot may always communicate, and the voice data or the image data may be sent to the task data generation unit at all times.
Moreover, the structure by which a task data generation means is provided in the control part of a robot may be sufficient.
３ ロボット管理装置
１１２ 音声認識部
２１１ 現在位置データ生成手段
２１２ 実行状況データ生成手段
２１３ コミュニケーション結果取得手段
２２０ 人特定手段
３２０ 地図データ記憶部
３７０ タスクデータ記憶部
４１２ タスクスケジューリング手段
４１３ 実行命令信号生成手段
４１４ タスクデータ生成手段
Ａ ロボット制御システム
ＭＣ マイク
Ｒ，ＲＡ，ＲＢ ロボット
DESCRIPTION OF
Claims (2)
前記ロボットに実行させるタスクに関するタスクデータを記憶するタスクデータ記憶部と、前記タスクデータに基づいて、タスクのスケジューリングを行うタスクスケジューリング手段と、スケジューリング結果に基づいて、前記自律移動ロボットにタスクを実行させる実行命令信号を生成する実行命令信号生成手段と、前記ロボットとの通信を行う通信手段と、を備えたロボット管理装置と、
を備え、前記実行命令信号に基づいて前記ロボットにタスクを実行させるロボット制御システムであって、
前記ロボット管理装置は、前記コミュニケーション手段によるコミュニケーション結果に基づいて、タスクデータを生成するタスクデータ生成手段をさらに備え、
前記タスクスケジューリング手段は、コミュニケーション結果に基づいて新たにタスクデータが生成された場合に、前記ロボットの現在位置データおよび実行状況データに基づいて、タスクの再スケジューリングを行い、
前記実行命令信号生成手段は、再スケジューリング結果に基づいて、実行命令信号の再生成を行い、
前記ロボットがタスクを実行するタスク実行エリアに関する地図データを記憶する地図データ記憶部と、
前記ロボットに設けられた、物品を把持する把持部と、
をさらに備え、
前記ロボットは、前記地図データおよび前記実行命令信号に基づいて、物品を前記把持部によって把持し、運搬し、
前記ロボットは、前記実行命令信号に基づいて、物品を受け渡す人を特定する人特定手段を備え、
前記人特定手段が、所定時間内に物品を受け渡す人を特定できない場合に、前記ロボットは、前記地図データに基づいて、所定の場所に物品を運搬し、この所定の場所に物品を置くとともに、物品を前記所定の場所に置いた旨を伝える行動報告信号を、前記物品を受け渡す人の端末へ出力する
ことを特徴とするロボット制御システム。 Autonomous movement means for performing autonomous movement, communication means for communicating with humans, current position data generating means for generating current position data relating to the current position, and execution situation data generation for generating execution situation data relating to the task execution situation A robot comprising: means and communication means for communicating with the robot management device;
A task data storage unit for storing task data related to a task to be executed by the robot; task scheduling means for scheduling a task based on the task data; and causing the autonomous mobile robot to execute a task based on a scheduling result A robot management device comprising: an execution command signal generating means for generating an execution command signal; and a communication means for communicating with the robot;
A robot control system for causing the robot to execute a task based on the execution command signal,
The robot management apparatus further includes task data generation means for generating task data based on a communication result by the communication means,
The task scheduling means reschedules the task based on the current position data and execution status data of the robot when task data is newly generated based on the communication result,
The execution instruction signal generation means regenerates the execution instruction signal based on the rescheduling result ,
A map data storage unit that stores map data related to a task execution area in which the robot executes a task;
A gripping part for gripping an article provided in the robot;
Further comprising
Based on the map data and the execution command signal, the robot grips and conveys an article by the gripping unit,
The robot includes a person specifying means for specifying a person who delivers an article based on the execution command signal,
When the person identification unit cannot identify a person who delivers the article within a predetermined time, the robot transports the article to a predetermined place based on the map data, and places the article at the predetermined place. A robot control system that outputs an action report signal indicating that an article has been placed at the predetermined location to a terminal of a person who delivers the article .
前記タスクデータ生成手段は、前記音声認識部による認識結果に基づいて、タスクデータを生成する
ことを特徴とする請求項１に記載のロボット制御システム。 The communication means includes a microphone that collects ambient sounds, and a speech recognition unit that recognizes speech from the collected sounds,
The robot control system according to claim 1, wherein the task data generation unit generates task data based on a recognition result by the voice recognition unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004361581A JP4580226B2 (en) | 2004-12-14 | 2004-12-14 | Robot control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004361581A JP4580226B2 (en) | 2004-12-14 | 2004-12-14 | Robot control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006167840A JP2006167840A (en) | 2006-06-29 |
| JP4580226B2 true JP4580226B2 (en) | 2010-11-10 |
Family
ID=36669121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004361581A Expired - Fee Related JP4580226B2 (en) | 2004-12-14 | 2004-12-14 | Robot control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4580226B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110144850A1 (en) * | 2008-01-16 | 2011-06-16 | Takashi Jikihara | Moving apparatus, moving method of moving apparatus, and movement control program of moving apparatus |
| JP2015080836A (en) * | 2013-10-22 | 2015-04-27 | 三菱重工業株式会社 | Autonomous search system, operation terminal, mobile search device, and search control method |
| WO2016067467A1 (en) * | 2014-10-31 | 2016-05-06 | 三菱電機株式会社 | Robot control device, robot system, robot control method, and program |
| JP7051556B2 (en) | 2018-04-25 | 2022-04-11 | 株式会社日立製作所 | Service provision system, information processing device, and control method of service provision system |
| CN109895093A (en) * | 2018-12-08 | 2019-06-18 | 浙江国自机器人技术有限公司 | Task management method for IDC robot |
| CN110780651B (en) * | 2019-11-01 | 2022-07-08 | 四川长虹电器股份有限公司 | AGV dispatching system and method |
| CN113220426B (en) * | 2021-04-02 | 2024-04-12 | 北京猎户星空科技有限公司 | Task processing method and device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345435A (en) * | 2002-05-24 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | Robot and robot system |
| JP2004216528A (en) * | 2003-01-16 | 2004-08-05 | Matsushita Electric Works Ltd | Personal service robot and method of creating work plan for the same |
-
2004
- 2004-12-14 JP JP2004361581A patent/JP4580226B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345435A (en) * | 2002-05-24 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | Robot and robot system |
| JP2004216528A (en) * | 2003-01-16 | 2004-08-05 | Matsushita Electric Works Ltd | Personal service robot and method of creating work plan for the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006167840A (en) | 2006-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4317518B2 (en) | Goods transport system | |
| US10093020B2 (en) | Robot apparatus and method of controlling robot apparatus | |
| US7330775B2 (en) | Legged mobile robot controller, legged mobile robot and legged mobile robot control method | |
| JP4658892B2 (en) | Mobile robot, mobile robot control device, mobile robot control method, and mobile robot control program | |
| JP4856510B2 (en) | Mobile robot | |
| JP4276624B2 (en) | Robot control apparatus, robot control method, and robot control program | |
| JP4751192B2 (en) | Mobile robot | |
| JP4266211B2 (en) | Robot device, method of moving robot device, and program | |
| EP2068275A2 (en) | Communication robot | |
| JP2007160440A (en) | Control device of legged mobile robot | |
| JP2007260822A (en) | Guide robot | |
| JP4608472B2 (en) | Mobile robot and mobile robot controller | |
| JP4787813B2 (en) | Detection target detection system | |
| JP2003079685A (en) | Auxiliary appliance for walking of visually handicapped person | |
| JP2013111726A (en) | Robot apparatus, method of controlling the same, and computer program | |
| JP4580226B2 (en) | Robot control system | |
| US20220080599A1 (en) | Robot controlling system | |
| JP5613114B2 (en) | Distributed control system | |
| JP4918469B2 (en) | Mobile robot | |
| JP2007185763A (en) | Controller of legged mobile robot | |
| US20220130066A1 (en) | Robot controlling system | |
| JP4281286B2 (en) | Robot apparatus and control method thereof | |
| JP5171394B2 (en) | Mobile robot | |
| JP2016022537A (en) | robot | |
| JP7190919B2 (en) | Image analysis system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100827 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4580226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140903 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |