JP5162852B2

JP5162852B2 - Android control system

Info

Publication number: JP5162852B2
Application number: JP2006195163A
Authority: JP
Inventors: 浩石黒; 修一西尾; 敬宏宮下; 崇行神田; 法明光永; カルロス寿憲石井; 紀博萩田
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2006-07-18
Filing date: 2006-07-18
Publication date: 2013-03-13
Anticipated expiration: 2026-07-18
Also published as: JP2008023604A

Description

この発明はアンドロイド制御システムに関し、特にたとえば、姿形が人間に酷似したロボットであるアンドロイドを制御する、アンドロイド制御システムに関する。 The present invention relates to an android control system, and more particularly to an android control system that controls an android that is a robot whose shape is very similar to a human.

この発明の背景技術の一例が特許文献１に開示される。この特許文献１によれば、電子玩具は、たとえば人型の電子ロボットであり、人（ユーザ）の存在の有無に応じて動作する。たとえば、ユーザが存在しない場合には、電子ロボットは予め定められた一人遊び動作を実行する。一方、ユーザが存在する場合には、現在時間に応じて、予め定められた動作（起きる動作，見送り動作など）を実行する。また、電子ロボットの頭部の顔面相当部には表示部が設けられ、電子ロボットの顔の表情を表示したり、電子ロボットの発話内容を文字や記号で表示したりする。
特開２００２−３０７３５４ An example of background art of the present invention is disclosed in Patent Document 1. According to Patent Document 1, an electronic toy is, for example, a humanoid electronic robot, and operates according to the presence or absence of a person (user). For example, when there is no user, the electronic robot executes a predetermined solo play operation. On the other hand, when there is a user, predetermined operations (such as an operation that occurs and a see-off operation) are executed according to the current time. In addition, a display unit is provided in the face-corresponding portion of the head of the electronic robot, and displays the facial expression of the electronic robot and displays the utterance content of the electronic robot with characters and symbols.
JP2002-307354

しかし、特許文献１の技術は、ユーザが近くに存在するときに電子ロボットを自動的に起動するものであり、また、顔面相当部に設けられた表示部に表情が表示されるが、外観のみならず、動作（行動）も人間とは異なる。つまり、自然な動作（無意識動作）を実行することができない。 However, the technique of Patent Document 1 automatically activates an electronic robot when a user is nearby, and a facial expression is displayed on a display unit provided in a face-corresponding part, but only the appearance is displayed. In addition, the movement (behavior) is also different from humans. That is, a natural action (unconscious action) cannot be executed.

それゆえに、この発明の主たる目的は、新規な、アンドロイド制御システムを提供することである。 Therefore, the main object of the present invention is to provide a novel android control system.

この発明の他の目的は、アンドロイド特有の制御を実現する、アンドロイド制御システムを提供することである。 Another object of the present invention is to provide an android control system that realizes android-specific control.

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate correspondence relationships with embodiments described later to help understanding of the present invention, and do not limit the present invention in any way.

請求項１の発明は、姿形が人間に酷似したロボットであるアンドロイドを制御するアンドロイド制御システムであって、複数のセンサ、複数のセンサの出力に基づいて認識されるアンドロイドへの刺激に対する対応動作をアンドロイドに実行させる制御データを出力する制御データ出力手段、制御データ出力手段から出力された制御データに応じて、アンドロイドに設けられるアクチュエータを駆動する駆動手段、制御データ出力手段から制御データが出力された後に、アンドロイドに実行させる無意識動作を選択する無意識動作選択手段、無意識動作選択手段によって選択された無意識動作をアンドロイドが実行する余地があるか否かを判断する余地判断手段、および余地判断手段によって実行する余地があると判断されたとき、無意識動作選択手段によって選択された無意識動作をアンドロイドに実行させる無意識動作実行手段を備える、アンドロイド制御システムである。 The invention of claim 1 is a android control system for controlling the android a robot figure shape is very similar to humans, against a plurality of sensors, irritation android recognized on the basis of the outputs of a plurality of sensors control data output means for outputting the control data to execute the pair responsive operation android, according to the control data outputted from the control data output means, driving means for driving the actuator provided in android, control data from the control data output means after there outputted, unconscious operation selecting unit, room determining means you determine whether the unconscious operation selected by the unconscious operation selecting means there is room for android is executed by selecting the unconscious operation to be executed by the Android, and when it is determined that there is room to perform the room determining means, unconscious movement It comprises unconscious operation execution means for executing the selected unconscious behavior Android by the selecting means is android control system.

請求項１の発明では、アンドロイド制御システム（１０）は、姿形（外観など）が人間に酷似したロボットであるアンドロイド（１２）を制御する。制御データ出力手段（７０，Ｓ１１）は、複数のセンサ（４２，４４，４６，５０，６０，６２，６４）の出力に基づいて認識されるアンドロイドへの刺激に対する対応動作をアンドロイドに実行させる制御データを出力する。駆動手段（７０，９０，Ｓ１１）は、制御データ出力手段から出力された制御データに応じて、アンドロイドに設けられるアクチュエータ（４０）を駆動する。たとえば、人間がアンドロイドに近づくと、アンドロイドがその人間の方を向くように、当該アンドロイドの首を回転させる。これは、動くもの（人，物など）に対する人間の反応と同様である。無意識動作選択手段（７０，Ｓ１３）は、制御データ出力手段から制御データ出力された後に、アンドロイドに実行させる無意識動作を選択する。ここで、無意識動作は、瞬きや呼吸のような生理的な動作のみならず、髪を触る動作、爪を噛む動作のような癖による動作を意味する。余地判断手段（７０，Ｓ１５）は、選択された無意識動作を実行する余地があるか否かを判断する。たとえば、対応動作（または無意識動作）により、右手を上に挙げている最中に、無意識動作（または命令動作）により、右手を下に下げることはできないからである。無意識動作実行手段（７０，Ｓ１７）は、余地判断手段によって実行する余地があると判断されたとき、選択された無意識動作をアンドロイドに実行させる。 In the invention of claim 1, the android control system (10) controls the android (12) which is a robot whose appearance (appearance, etc.) is very similar to a human. Control data output means (70, S11) is a recognized pair responsive operation against the stimulus to Android based on outputs of the plurality of sensors (42,44,46,50,60,62,64) in android Outputs control data to be executed . The drive means (70, 90, S11) drives the actuator (40) provided in the android in accordance with the control data output from the control data output means. For example, when a person approaches an android, the Android's neck is rotated so that the android faces the person. This is similar to the human reaction to moving things (people, things, etc.). The unconscious action selection means (70, S13) selects the unconscious action to be executed by the android after the control data is output from the control data output means . Here, the unconscious movement means not only a physiological action such as blinking or breathing, but also an action by a heel such as an action of touching hair and an action of biting a nail. The room determination means (70, S15) determines whether there is room for executing the selected unconscious action. For example, the right hand cannot be lowered by the unconscious action (or command action) while the right hand is raised by the corresponding action (or unconscious action). The unconscious action execution means (70, S17) causes the android to execute the selected unconscious action when it is determined that there is room for execution by the room determination means .

請求項１の発明によれば、アンドロイドに無意識動作を実行させるので、アンドロイド特有の制御を実現することができる。したがって、より人間に酷似するアンドロイドを実現することができる。
請求項２の発明は、姿形が人間に酷似したロボットであるアンドロイドへの刺激に対する対応動作を当該アンドロイドが実行不能であるとき、オペレータを呼び出し、当該オペレータによる操作命令に従って当該アンドロイドを制御するアンドロイド制御システムであって、オペレータによる操作命令を受信する受信手段、受信手段によって受信された操作命令に従う命令動作をアンドロイドに実行させる制御データを出力する制御データ出力手段、制御データ出力手段から出力された制御データに応じて、アンドロイドに設けられるアクチュエータを駆動する駆動手段、制御データ出力手段から制御データが出力された後に、アンドロイドに実行させる無意識動作を選択する無意識動作選択手段、無意識動作選択手段によって選択された無意識動作をアンドロイドが実行する余地があるか否かを判断する余地判断手段、および余地判断手段によって実行する余地があると判断されたとき、無意識動作選択手段によって選択された無意識動作をアンドロイドに実行させる無意識動作実行手段を備える、アンドロイド制御システムである。
請求項２の発明では、アンドロイド制御システム（１０）は、姿形が人間に酷似したロボットであるアンドロイド（１２）への刺激に対する対応動作を当該アンドロイドが実行不能であるとき、オペレータを呼び出し、当該オペレータによる操作命令に従って当該アンドロイドを制御する。アンドロイドが対応できない場合には、オペレータに対応させることにより、アンドロイドが提供するサービス（受付や案内など）を補完することができる。受信手段（７０，７８，Ｓ１）は、オペレータによる操作命令を受信する。制御データ出力手段（７０，Ｓ３）は、受信手段によって受信された操作命令に従う命令動作をアンドロイドに実行させる制御データを出力する。駆動手段（７０，９０，Ｓ３）は、制御データ出力手段から出力された制御データに応じて、アンドロイドに設けられるアクチュエータ（４０）を駆動する。無意識動作選択手段（７０，Ｓ１３）は、制御データ出力手段から制御データが出力された後に、アンドロイドに実行させる無意識動作を選択する。余地判断手段（７０，Ｓ１５）は、選択された無意識動作を実行する余地があるか否かを判断する。無意識動作実行手段（７０，Ｓ１７）は、余地判断手段によって実行する余地があると判断されたとき、選択された無意識動作をアンドロイドに実行させる。
請求項２の発明においても、第１の発明と同様に、より人間に酷似するアンドロイドを実現することができる。 According to the first aspect of the invention, since the android performs an unconscious operation, control specific to the android can be realized. Therefore, it is possible to realize an android that closely resembles humans .
The invention of claim 2 calls an operator when the android is unable to execute an action corresponding to a stimulus to an android which is a robot whose shape is very similar to that of a human, and controls the android according to an operation instruction by the operator The control system is a receiving unit that receives an operation command from an operator, a control data output unit that outputs control data that causes an android to execute a command operation according to the operation command received by the receiving unit, and is output from a control data output unit According to the control data, selected by the driving means for driving the actuator provided in the android, the unconscious action selecting means for selecting the unconscious action to be executed by the android after the control data is output from the control data output means, and the unconscious action selecting means Nothing was done When it is determined that there is room for the android to perform the recognition action, and the room determination means, the unconscious action selected by the unconscious action selection means is executed for the android. It is an android control system provided with an unconscious motion execution means.
In the invention of claim 2, the android control system (10) calls an operator when the android cannot execute the corresponding action to the stimulus to the android (12) which is a robot whose shape is very similar to that of a human. The Android is controlled according to an operation instruction by the operator. When the Android cannot be supported, services provided by the Android (such as reception and guidance) can be complemented by making the operator support. The receiving means (70, 78, S1) receives an operation command from the operator. The control data output means (70, S3) outputs control data that causes the android to execute a command operation according to the operation command received by the receiving means. The drive means (70, 90, S3) drives the actuator (40) provided in the android in accordance with the control data output from the control data output means. The unconscious action selection means (70, S13) selects the unconscious action to be executed by the android after the control data is output from the control data output means. The room determination means (70, S15) determines whether there is room for executing the selected unconscious action. The unconscious action execution means (70, S17) causes the android to execute the selected unconscious action when it is determined that there is room for execution by the room determination means.
In the invention of claim 2, as in the first invention, it is possible to realize an android that closely resembles a human being.

なお、実施例のように、検出手段（７０，９０，Ｓ５）を設け、検出手段は、受信手段によって操作命令が受信されないとき、複数のセンサの出力を検出するようにすれば、操作命令が無いとき、その複数のセンサの出力に反応してアンドロイドを動作させることができる。 As in the embodiment, if the detection means (70, 90, S5) is provided and the detection means detects the outputs of the plurality of sensors when the operation instruction is not received by the reception means, the operation instruction When not, Android can be activated in response to the outputs of the sensors.

この発明によれば、アンドロイドに無意識動作を実行させるので、アンドロイド特有の制御を実現することができる。したがって、外観のみならず、人間の行動に酷似させることができる。 According to this invention, since the android is executed unconsciously, it is possible to realize control specific to the android. Therefore, not only the appearance but also the human behavior can be imitated.

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図１を参照して、この実施例のアンドロイド制御システム（以下、単に「システム」という。）１０は、アンドロイド１２を含む。アンドロイド１２は、人間に酷似した姿形（外観など）を有する人型ロボットであり、後述するように、人間に酷似した動作（振り、振る舞い、発話）を行う。アンドロイド１２は、制御装置１４に接続され、この制御装置１４には、環境センサ１６が接続される。アンドロイド１２、制御装置１４および環境センサ１６については、後で詳細に説明する。 Referring to FIG. 1, an Android control system (hereinafter simply referred to as “system”) 10 of this embodiment includes an Android 12. The Android 12 is a humanoid robot having a form (appearance or the like) that closely resembles a human, and performs operations (shake, behave, or speak) that resemble a human, as will be described later. The android 12 is connected to a control device 14, and an environmental sensor 16 is connected to the control device 14. The Android 12, the control device 14, and the environment sensor 16 will be described in detail later.

また、制御装置１４は、インターネットや電話通信回線のようなネットワーク１８を介して遠隔操作端末２０に接続される。遠隔操作端末２０は、ＰＣ或いはＰＤＡのような汎用のコンピュータであり、この遠隔操作端末２０には、スピーカ２２、マイク２４およびモニタ２６が接続される。図示は省略するが、当然のことながら、遠隔操作端末２０には、キーボードおよびコンピュータマウスのような入力装置が含まれる。 The control device 14 is connected to the remote operation terminal 20 via a network 18 such as the Internet or a telephone communication line. The remote operation terminal 20 is a general-purpose computer such as a PC or PDA. A speaker 22, a microphone 24 and a monitor 26 are connected to the remote operation terminal 20. Although illustration is omitted, as a matter of course, the remote operation terminal 20 includes an input device such as a keyboard and a computer mouse.

図２は、アンドロイド１２、制御装置１４および環境センサ１６の電気的な構成を示すブロック図である。この図２を参照して、アンドロイド１２は複数のアクチュエータ（たとえば、エアアクチュエータ）４０を含み、各アクチュエータ４０は、後述する制御装置１４（１４ｂ）の制御ボード（アクチュエータ制御ボード）９８に接続される。後述するように、アクチュエータ４０はアンドロイド１２の各関節、口、眼および腹部を動かすために用いられる。ただし、簡単のため、この実施例では、コンプレッサは省略してある。 FIG. 2 is a block diagram showing an electrical configuration of the android 12, the control device 14, and the environment sensor 16. As shown in FIG. Referring to FIG. 2, the android 12 includes a plurality of actuators (for example, air actuators) 40, and each actuator 40 is connected to a control board (actuator control board) 98 of a control device 14 (14b) described later. . As will be described later, the actuator 40 is used to move each joint, mouth, eye and abdomen of the android 12. However, for the sake of simplicity, the compressor is omitted in this embodiment.

また、アンドロイド１２は、触覚センサ４２、眼カメラ４４、衝突センサ４６、スピーカ４８およびマイク５０を含む。この触覚センサ４２、眼カメラ４４および衝突センサ４６は、後述する制御装置１４（１４ｂ）のセンサ入出力ボード１００に接続される。 The android 12 includes a tactile sensor 42, an eye camera 44, a collision sensor 46, a speaker 48, and a microphone 50. The tactile sensor 42, the eye camera 44, and the collision sensor 46 are connected to a sensor input / output board 100 of the control device 14 (14b) described later.

触角センサ４２ないし皮膚センサは、たとえばタッチセンサであり、アンドロイド１２の触覚の一部を構成する。つまり、触覚センサ４２は、人間や他の物体等がアンドロイド１２に触れたか否かを検出するために用いられる。触覚センサ４２からの出力（検出データ）は、後述するセンサ入出力ボード１００を介してＭＰＵ９０に与えられる。ＭＰＵ９０は、触覚センサ４２からの検出データを第１コンピュータ１４ａのＣＰＵ７０に送信する。したがって、ＣＰＵ７０は、人間や他の物体等がアンドロイド１２に触れたことを検出することができる。ただし、触覚センサ４２としては、圧力センサを用いることもできる。かかる場合には、人間や他の物体等がアンドロイド１２の肌に触れたか否かのみならず、その触れ方（強弱）を知ることができる。 The tactile sensor 42 or the skin sensor is a touch sensor, for example, and constitutes a part of the tactile sense of the Android 12. That is, the tactile sensor 42 is used to detect whether or not a human or another object touches the Android 12. Output (detection data) from the touch sensor 42 is given to the MPU 90 via a sensor input / output board 100 described later. The MPU 90 transmits detection data from the touch sensor 42 to the CPU 70 of the first computer 14a. Therefore, the CPU 70 can detect that a human or another object touches the Android 12. However, a pressure sensor can also be used as the tactile sensor 42. In such a case, it is possible to know not only whether or not a human or other object has touched the skin of Android 12, but also how to touch it (strength).

眼カメラ４４は、イメージセンサであり、アンドロイド１２の視覚の一部を構成する。つまり、眼カメラ４４は、アンドロイド１２の眼から見た映像ないし画像を検出するために用いられる。この実施例では、眼カメラ４４の撮影映像（動画ないし静止画）に対応するデータ（画像データ）は、センサ入出力ボード１００を介してＭＰＵ９０に与えられる。ＭＰＵ９０は、画像データを第１コンピュータ１４ａのＣＰＵ７０に送信し、ＣＰＵ７０は、撮影映像の変化を検出するのみならず、その画像データを、ネットワーク１８を介して遠隔操作端末２０に送信する。そして、遠隔操作端末２０は、受信した画像データをモニタ２６に出力する。したがって、眼カメラ４４の撮影映像がモニタ２６に表示される。 The eye camera 44 is an image sensor and constitutes part of the vision of the Android 12. That is, the eye camera 44 is used to detect a video or an image viewed from the eyes of the Android 12. In this embodiment, data (image data) corresponding to a captured video (moving image or still image) of the eye camera 44 is given to the MPU 90 via the sensor input / output board 100. The MPU 90 transmits the image data to the CPU 70 of the first computer 14 a, and the CPU 70 not only detects the change in the captured video but also transmits the image data to the remote operation terminal 20 via the network 18. Then, the remote control terminal 20 outputs the received image data to the monitor 26. Therefore, the captured image of the eye camera 44 is displayed on the monitor 26.

衝突センサ４６は、人間や他の物体等がアンドロイド１２に衝突したか否かを判断する。衝突センサ４６の出力（検出データ）は、センサ入出力ボード１００を介してＭＰＵ９０に与えられる。ＭＰＵ９０は、衝突センサ４６からの検出データを第１コンピュータ１４ａのＣＰＵ７０に送信する。したがって、ＣＰＵ７０は、人間や他の物体等がアンドロイド１２に衝突したことを検出することができる。 The collision sensor 46 determines whether a human or another object has collided with the android 12. The output (detection data) of the collision sensor 46 is given to the MPU 90 via the sensor input / output board 100. The MPU 90 transmits detection data from the collision sensor 46 to the CPU 70 of the first computer 14a. Therefore, the CPU 70 can detect that a human or another object has collided with the android 12.

また、スピーカ４８およびマイク５０は、後述する制御装置１４（１４ａ）の音声入出力ボード８０に接続される。スピーカ４８は、アンドロイド１２が発する音声（合成音声）を出力する。ただし、遠隔操作端末２０のオペレータ（以下、「遠隔オペレータ」という。）の音声を出力してもよい。かかる場合には、遠隔オペレータがマイク２４を通して発話すると、対応する音声データが遠隔操作端末２０からネットワーク１８を介して制御装置１４ａ（ＣＰＵ７０）に与えられる。そして、ＣＰＵ７０は、その音声データを、音声入出力ボード８０を介してスピーカ４８から出力する。 The speaker 48 and the microphone 50 are connected to a sound input / output board 80 of the control device 14 (14a) described later. The speaker 48 outputs the voice (synthetic voice) emitted by the Android 12. However, the voice of the operator of the remote operation terminal 20 (hereinafter referred to as “remote operator”) may be output. In such a case, when the remote operator speaks through the microphone 24, the corresponding voice data is given from the remote operation terminal 20 to the control device 14 a (CPU 70) via the network 18. Then, the CPU 70 outputs the audio data from the speaker 48 via the audio input / output board 80.

マイク５０は、音センサであり、アンドロイド１２の聴覚の一部を構成する。このマイク５０は、指向性を有し、主として、アンドロイド１２と対話（コミュニケーション）する人間（ユーザ）の音声を検出するために用いられる。 The microphone 50 is a sound sensor and forms part of the hearing of the Android 12. The microphone 50 has directivity and is mainly used to detect the voice of a human (user) who interacts (communicates) with the Android 12.

制御装置１４は、第１コンピュータ１４ａおよび第２コンピュータ１４ｂによって構成される。たとえば、第１コンピュータ１４ａがメインのコンピュータであり、第２コンピュータ１４ｂがサブのコンピュータである。なお、この実施例では、制御装置１４を２台のコンピュータ（１４ａ，１４ｂ）で構成するようにしてあるが、処理能力が高ければ、１台のコンピュータで構成することもできる。 The control device 14 includes a first computer 14a and a second computer 14b. For example, the first computer 14a is a main computer, and the second computer 14b is a sub computer. In this embodiment, the control device 14 is constituted by two computers (14a, 14b). However, if the processing capability is high, it can also be constituted by one computer.

第１コンピュータ１４ａは、ＣＰＵ７０を含み、ＣＰＵ７０には内部バス７２を介してメモリ７４、通信ボード７６、ＬＡＮボード７８、音声入出力ボード８０およびセンサ入出力ボード８２が接続される。メモリ７４は、たとえば、ハードディスク装置（ＨＤＤ）のような主記憶装置、ＲＯＭおよびＲＡＭを含む。詳細な説明は省略するが、このメモリ７４には、アンドロイド１２の動作についてのコマンド名に対応して、そのコマンド名が示す動作を実行するための制御情報が記憶される。 The first computer 14 a includes a CPU 70, and a memory 74, a communication board 76, a LAN board 78, a voice input / output board 80 and a sensor input / output board 82 are connected to the CPU 70 via an internal bus 72. The memory 74 includes, for example, a main storage device such as a hard disk device (HDD), ROM, and RAM. Although detailed description is omitted, in the memory 74, control information for executing the operation indicated by the command name is stored corresponding to the command name regarding the operation of the Android 12.

ここで、動作とは、振り、振る舞いのような身体動作および発話動作をいう。したがって、この実施例では、制御情報は、アクチュエータ４０を駆動制御するための制御データのみならず、必要に応じて、発話内容についての合成音声の音声データを含む。ただし、身体動作には、自然の動作（無意識動作）も含まれる。無意識動作の代表的な例としては、瞬きや呼吸が該当する。また、このような生理的な動作のみならず、人間の癖による動作も無意識動作に含まれる。たとえば、癖による動作としては、たとえば、髪の毛を触る動作、顔を触る動作や爪を噛む動作などが該当する。 Here, the movement refers to a body movement such as swinging and behavior and a speech movement. Therefore, in this embodiment, the control information includes not only the control data for driving and controlling the actuator 40 but also the voice data of the synthesized voice regarding the utterance contents as necessary. However, the body movement includes a natural movement (unconscious movement). Representative examples of unconscious movements include blinking and breathing. In addition to such physiological movements, movements caused by human heels are also included in the unconscious movements. For example, the operation with a heel corresponds to, for example, an operation of touching hair, an operation of touching a face, or an operation of biting a nail.

たとえば、“挨拶（初めて）”の動作を実行する場合には、アンドロイド１２は、お辞儀しながら、“はじめまして”と発話する。図示は省略するが、発話する場合には、単に音声が出力されるだけでなく、音声の出力に合わせて口が動く（口唇が開閉する）。以下、同様である。したがって、“挨拶（初めて）”の制御情報としては、そのコマンド名に対応して、左右の肩、左右の肘、首，腰の回転角度や曲げ伸ばし角度に応じて、対応するアクチュエータ４０の制御データが記憶されるとともに、“はじめまして”に対応する合成音声の音声データが記憶される。また、“右手を挙げる”の動作を実行する場合には、アンドロイド１２は、右肘および右手首を伸ばした状態で、斜め上方に右手を挙げる。したがって、“右手を挙げる”の制御情報としては、そのコマンド名に対応して、右肩、右肘、右手首の回転角度や曲げ伸ばし角度に応じて、対応するアクチュエータ４０の制御データが記憶される。この“右手を挙げる”の動作では、アンドロイド１２は、何も発話しないため、音声データは制御情報に含まれない。 For example, when performing the “greeting (first time)” operation, the Android 12 utters “Nice to meet you” while bowing. Although illustration is omitted, when speaking, not only the voice is output but also the mouth moves (the lip opens and closes) in accordance with the output of the voice. The same applies hereinafter. Therefore, the control information of “greeting (first time)” corresponds to the command name, and controls the corresponding actuator 40 according to the rotation angle and bending extension angle of the left and right shoulders, left and right elbows, neck and waist. The data is stored, and the voice data of the synthesized voice corresponding to “Nice to meet you” is stored. When performing the action of “raising the right hand”, the android 12 raises the right hand diagonally upward with the right elbow and the right wrist extended. Therefore, as control information for “raising the right hand”, corresponding control data for the actuator 40 is stored in accordance with the command name and the rotation angle and bending extension angle of the right shoulder, right elbow, and right wrist. The In this “right hand raising” operation, the android 12 does not speak anything, so the audio data is not included in the control information.

このような動作は、アンドロイド１２が外部（環境）からの刺激に対応して実行されたり、遠隔オペレータからの命令（遠隔操作命令）に従って実行されたりする。以下、説明の便宜上、アンドロイド１２が外部からの刺激に対応して行う動作を対応動作といい、遠隔オペレータからの遠隔操作命令に従う動作を命令動作ということがある。 Such an operation is executed by the Android 12 in response to a stimulus from the outside (environment) or according to a command (remote operation command) from a remote operator. Hereinafter, for convenience of explanation, an operation performed by the Android 12 in response to an external stimulus is referred to as a corresponding operation, and an operation in accordance with a remote operation command from a remote operator may be referred to as a command operation.

また、上述した無意識動作の制御情報もメモリ７４に記憶される。たとえば、“瞬き”の制御情報としては、そのコマンド名に対応して、瞼を開閉させるアクチュエータ４０の制御データが記憶される。ただし、人間の瞬きの動作では、瞼は完全に閉じられた後に開くが、アンドロイド１２がこの動作を再現すると、瞼の開閉動作が遅いため、違和感がある。したがって、この実施例では、より人間の瞬きの動作に近づけるために、アンドロイド１２においては、瞼を半分程度閉じた後に開いて、瞼の開閉動作を速くするようにしてある。また、“呼吸”の制御情報としては、そのコマンド名に対応して、腹部を膨張および収縮させるアクチュエータ４０の制御データが記憶される。したがって、“呼吸”の動作が実行されると、アンドロイド１２の腹部が膨張および収縮されることにより、肺呼吸による肩や胸（横隔膜）の動きが表現される。 Further, the control information for the unconscious movement described above is also stored in the memory 74. For example, as the “blink” control information, control data of the actuator 40 for opening and closing the eyelid is stored in correspondence with the command name. However, in the human blinking operation, the cocoon opens after being completely closed, but when the Android 12 reproduces this operation, the operation of opening and closing the cocoon is slow, which is uncomfortable. Therefore, in this embodiment, in order to make it closer to the human blinking operation, in the android 12, the bag is opened after being closed about half, so that the opening / closing operation of the bag is accelerated. In addition, as the “breathing” control information, control data of the actuator 40 that expands and contracts the abdomen is stored corresponding to the command name. Therefore, when the “breathing” operation is executed, the abdomen of the android 12 is expanded and contracted to express the movement of the shoulder and chest (diaphragm) due to lung respiration.

なお、これらの動作（対応動作，命令動作，無意識動作）および制御情報は単なる例示であり、限定されるべきではない。他の複数の動作およびそれらの制御情報がメモリ７４に記憶され、人間に酷似した動作を、アンドロイド１２が実現可能とされる。 Note that these operations (corresponding operations, command operations, unconscious operations) and control information are merely examples, and should not be limited. A plurality of other operations and their control information are stored in the memory 74, so that the Android 12 can realize a human-like operation.

図２に戻って、通信ボード７６は、他のコンピュータ（この実施例では、第２コンピュータ１４ｂ）とデータ通信するためのインターフェイスである。たとえば、通信ボード７６は、後述する第２コンピュータ１４ｂの通信ボード９６と、ＲＳ２３２Ｃのようなケーブル（図示せず）を用いて接続される。ＬＡＮボード７８は、ネットワーク１８を介して他のコンピュータ（この実施例では、遠隔操作端末２０）とデータ通信するためのインターフェイスである。この実施例では、ＬＡＮボード７８は、ＬＡＮケーブル（図示せず）を用いて接続される。 Returning to FIG. 2, the communication board 76 is an interface for data communication with another computer (in this embodiment, the second computer 14b). For example, the communication board 76 is connected to the communication board 96 of the second computer 14b described later using a cable (not shown) such as RS232C. The LAN board 78 is an interface for data communication with another computer (in this embodiment, the remote operation terminal 20) via the network 18. In this embodiment, the LAN board 78 is connected using a LAN cable (not shown).

なお、この実施例では、各コンピュータがケーブルを用いた有線のネットワークを構成するように説明してあるが、これに限定される必要はなく、無線のネットワークを構成するようにしてもよく、有線と無線とが混在するネットワークを構成するようにしてもよい。 In this embodiment, each computer is described as configuring a wired network using a cable. However, the present invention is not limited to this, and a wireless network may be configured. And a wireless network may be configured.

音声入出力ボード８０は、音声を入力および出力するためのインターフェイスであり、上述したように、アンドロイド１２のスピーカ４８およびマイク５０が接続される。この音声入出力ボード８０は、ＣＰＵ７０によって与えられた音声データを音声信号に変換して、スピーカ４８に出力する。また、音声入出力ボード８０は、マイク５０を通して入力された音声信号を音声データに変換して、ＣＰＵ７０に与える。 The voice input / output board 80 is an interface for inputting and outputting voice, and the speaker 48 and the microphone 50 of the Android 12 are connected as described above. The voice input / output board 80 converts the voice data given by the CPU 70 into a voice signal and outputs it to the speaker 48. Further, the voice input / output board 80 converts a voice signal input through the microphone 50 into voice data, and gives the voice data to the CPU 70.

なお、詳細な説明は省略するが、制御装置１４ａは、音声認識機能を備える。したがって、たとえば、人間がアンドロイド１２に対して発話した内容はマイク５０を通して入力されると、ＣＰＵ７０は、ＤＰマッチングや隠れマルコフ法により、人間の発話内容を音声認識するのである。ただし、音声認識用の辞書データはメモリ７４に記憶されているものとする。 Although a detailed description is omitted, the control device 14a has a voice recognition function. Therefore, for example, when the content uttered by the human being to the android 12 is input through the microphone 50, the CPU 70 recognizes the speech content of the human speech by DP matching or the hidden Markov method. However, it is assumed that dictionary data for speech recognition is stored in the memory 74.

センサ入出力ボード８２は、各種センサからの出力をＣＰＵ７０に与え、制御データを各種センサに出力するためのインターフェイスである。この実施例では、センサ入出力ボード８２には、環境センサ１６が接続され、環境センサ１６は、全方位カメラ６０、ＰＴＺカメラ６２およびフロアセンサ６４を含む。 The sensor input / output board 82 is an interface for giving outputs from various sensors to the CPU 70 and outputting control data to the various sensors. In this embodiment, the environmental sensor 16 is connected to the sensor input / output board 82, and the environmental sensor 16 includes an omnidirectional camera 60, a PTZ camera 62, and a floor sensor 64.

全方位カメラ６０は、アンドロイド１２が配置される部屋ないし場所（区画）に設置され、当該部屋ないし場所の全体（３６０度）を撮影することができる。全方位カメラ６０の撮影映像に対応する画像データは、ＣＰＵ７０に与えられる。ＣＰＵ７０は、画像データに基づいて撮影映像の変化を検出するのみならず、その画像データを遠隔操作端末２０に送信する。遠隔操作端末２０は、受信した画像データをモニタ２６に出力する。したがって、全方位カメラ６０の撮影映像がモニタ２６に表示される。 The omnidirectional camera 60 is installed in a room or place (section) where the android 12 is arranged, and can photograph the entire room or place (360 degrees). Image data corresponding to the captured image of the omnidirectional camera 60 is given to the CPU 70. The CPU 70 not only detects a change in the captured video based on the image data, but also transmits the image data to the remote operation terminal 20. The remote operation terminal 20 outputs the received image data to the monitor 26. Therefore, the captured image of the omnidirectional camera 60 is displayed on the monitor 26.

ＰＴＺカメラ６２は、オペレータ（たとえば、遠隔オペレータ）の指示に従って、パン（Ｐａｎ）、チルト（Ｔｉｌｔ）およびズーム（Ｚｏｏｍ）の各々を制御（調整）することができるカメラである。たとえば、遠隔オペレータが、パン、チルト、ズームの指示を入力すると、対応する制御信号（コマンド）が遠隔操作端末２０からネットワーク１８を介して第１コンピュータ１４ａに与えられる。すると、第１コンピュータ１４ａのＣＰＵ７０は、そのコマンドに従ってＰＴＺカメラ６２を駆動制御する。ＰＴＺカメラ６２の撮影映像に対応する画像データもまた、ＣＰＵ７０に与えられる。ＣＰＵ７０は、画像データに基づいて撮影映像の変化を検出するのみならず、その画像データを遠隔操作端末２０に送信する。遠隔操作端末２０は、受信した画像データをモニタ２６に出力する。したがって、ＰＴＺカメラ６２の撮影映像もモニタ２６に表示される。 The PTZ camera 62 is a camera that can control (adjust) each of pan, tilt, and zoom in accordance with an instruction from an operator (for example, a remote operator). For example, when the remote operator inputs pan, tilt, and zoom instructions, corresponding control signals (commands) are given from the remote operation terminal 20 to the first computer 14 a via the network 18. Then, the CPU 70 of the first computer 14a drives and controls the PTZ camera 62 according to the command. Image data corresponding to the video shot by the PTZ camera 62 is also given to the CPU 70. The CPU 70 not only detects a change in the captured video based on the image data, but also transmits the image data to the remote operation terminal 20. The remote operation terminal 20 outputs the received image data to the monitor 26. Therefore, the captured image of the PTZ camera 62 is also displayed on the monitor 26.

なお、この実施例では、眼カメラ４４，全方位カメラ６０およびＰＴＺカメラ６２の撮影画像が、遠隔操作端末２０に接続されるモニタ２６に画面を分割されて表示される。したがって、遠隔オペレータはモニタ２６を見て、アンドロイド１２の視線の映像やアンドロイド１２の周囲の状況を知ることができる。 In this embodiment, the captured images of the eye camera 44, the omnidirectional camera 60, and the PTZ camera 62 are displayed on the monitor 26 connected to the remote operation terminal 20 with the screen divided. Therefore, the remote operator can see the image of the line of sight of the Android 12 and the situation around the Android 12 by looking at the monitor 26.

フロアセンサ６４ないし床圧力センサは、図示は省略するが、多数の検出素子（感圧センサ）を含み、この多数の検出素子はアンドロイド１２が配置される部屋ないし場所の床に埋め込まれる（敷き詰められる）。したがって、フロアセンサ６４からの出力に基づいて、アンドロイド１２の周囲に人間が存在するか否か、存在する人間の人数、アンドロイド１２から見た人間の方向、アンドロイド１２と人間との距離などを知ることができる。 Although not shown, the floor sensor 64 or the floor pressure sensor includes a large number of detection elements (pressure-sensitive sensors), and the large number of detection elements are embedded (laid down) in the floor of the room or place where the android 12 is disposed. ). Therefore, based on the output from the floor sensor 64, whether or not there is a human around the android 12, the number of existing humans, the direction of the human viewed from the android 12, the distance between the android 12 and the human, and the like are known. be able to.

第２コンピュータ１４ｂは、ＭＰＵ９０を含み、ＭＰＵ９０には、内部バス９２を介して、メモリ９４、通信ボード９６、制御ボード９８およびセンサ入出力ボード１００が接続される。 The second computer 14 b includes an MPU 90, and a memory 94, a communication board 96, a control board 98, and a sensor input / output board 100 are connected to the MPU 90 via an internal bus 92.

メモリ９４は、ＨＤＤ、ＲＯＭおよびＲＡＭを含む。通信ボード９６は、他のコンピュータ（この実施例では、第１コンピュータ１４ａ）とデータ通信するためのインターフェイスである。制御ボード９８は、制御対象としての複数のアクチュエータ４０を制御するための制御データを出力するとともに、各アクチュエータ４０からの角度情報（回転角度，曲げ角度）を入力するためのインターフェイスである。したがって、ＭＰＵ９０は複数のアクチュエータ４０をフィードバック制御することができる。ただし、ＭＰＵ９０は、第１コンピュータ１４ａのＣＰＵ７０からの指示（制御データ）に従って各アクチュエータ４０を駆動制御する。 The memory 94 includes an HDD, a ROM, and a RAM. The communication board 96 is an interface for data communication with another computer (in this embodiment, the first computer 14a). The control board 98 is an interface for outputting control data for controlling a plurality of actuators 40 as control objects and inputting angle information (rotation angle, bending angle) from each actuator 40. Therefore, the MPU 90 can feedback control the plurality of actuators 40. However, the MPU 90 drives and controls each actuator 40 in accordance with an instruction (control data) from the CPU 70 of the first computer 14a.

センサ入出力ボード１００は、各種センサからの出力をＭＰＵ９０に与え、ＭＰＵ９０からの制御データを各種センサに出力するためのインターフェイスである。このセンサ入出力ボード１００には、上述したように、触覚センサ４２、眼カメラ４４および衝突センサ４６が接続される。 The sensor input / output board 100 is an interface for giving outputs from various sensors to the MPU 90 and outputting control data from the MPU 90 to various sensors. As described above, the tactile sensor 42, the eye camera 44, and the collision sensor 46 are connected to the sensor input / output board 100.

ここで、この実施例のアンドロイド１２では、アクチュエータ４０は、各関節（首、肩、肘、手首、指、腰、膝、足首）、眼（瞼）、口唇および腹部を駆動制御するために設けられる。各々の駆動部は、図３において丸印（〇）で示してある。したがって、アクチュエータ４０を用いて、各関節の回転や曲げ伸ばし、瞼の開閉、口唇の開閉および腹部の動き（呼吸）のそれぞれが実現される。これにより、アンドロイド１２の身体動作が表示される。 Here, in the Android 12 of this embodiment, the actuator 40 is provided to drive and control each joint (neck, shoulder, elbow, wrist, finger, waist, knee, ankle), eye (eyelid), lips and abdomen. It is done. Each drive unit is indicated by a circle (◯) in FIG. Therefore, using the actuator 40, rotation, bending and stretching of each joint, opening and closing of the heel, opening and closing of the lips, and movement of the abdomen (breathing) are realized. Thereby, the body movement of the Android 12 is displayed.

なお、この実施例では、アンドロイド１２とは別に制御装置１４を設けるようにしてあるが、制御装置１４を含めてアンドロイドと呼んでもよい。さらには、環境センサ１６も含めてアンドロイドと呼んでもよい。 In this embodiment, the control device 14 is provided separately from the android 12, but the control device 14 may be referred to as an android. Furthermore, it may be called an android including the environment sensor 16.

このような構成のシステム１０は、或る会社や或るイベント会場などに適用され、アンドロイド１２は、人間の代役として働く。たとえば、アンドロイド１２は、会社やイベント会場の受付として機能する。アンドロイド１２は、人間がアンドロイド１２に近づこうとしたり、人間がアンドロイド１２の近くを通り過ぎたりするとき、その人間の方を見る。具体的には、制御装置１４（ＣＰＵ７０）は、環境センサ１６（フロアセンサ６４）の出力に基づいて、人間がアンドロイド１２に向かって移動していることを検出すると、そのフロアセンサ６４の出力に基づいて、アンドロイド１２の顔の正面方向と当該人間との角度を検出して、首の回転方向と角度を算出する。そして、ＣＰＵ７０は、首を回転させる（人間の方を見る）ための制御データ（回転方向および角度を含む。）をＭＰＵ９０に送信する。これに応じて、ＭＰＵ９０は、アクチュエータ４０を駆動制御し、アンドロイド１２の首が算出した回転方向に算出した角度だけ回転される。 The system 10 having such a configuration is applied to a certain company, a certain event venue, and the like, and the Android 12 works as a substitute for a human being. For example, the Android 12 functions as a reception for a company or event venue. The Android 12 looks at the person when the person tries to get close to the Android 12 or when the person passes near the Android 12. Specifically, when the control device 14 (CPU 70) detects that a person is moving toward the android 12 based on the output of the environment sensor 16 (floor sensor 64), the control device 14 (CPU 70) outputs the output to the floor sensor 64. Based on this, the angle between the front direction of the face of Android 12 and the person is detected, and the rotation direction and angle of the neck are calculated. Then, the CPU 70 transmits control data (including the rotation direction and angle) for rotating the neck (looking at the person) to the MPU 90. In response to this, the MPU 90 drives and controls the actuator 40 and is rotated by the calculated angle in the rotation direction calculated by the neck of the android 12.

また、たとえば、人間がアンドロイド１２に接近し、アンドロイド１２の前で立ち止まると、アンドロイド１２は当該人間に、挨拶したり、自己紹介したりする。具体的には、ＣＰＵ７０は、環境センサ１６（フロアセンサ６４）の出力に基づいて、人間がアンドロイド１２の近くに立ち止まったことを検出すると、挨拶するための制御情報をＭＰＵ９０に送信する。 For example, when a human approaches the Android 12 and stops in front of the Android 12, the Android 12 greets the person or introduces himself / herself. Specifically, when the CPU 70 detects that a person has stopped near the Android 12 based on the output of the environment sensor 16 (floor sensor 64), the CPU 70 transmits control information for greeting to the MPU 90.

なお、“挨拶（初めて）”の制御情報に基づくアンドロイド１２の動作は上述したとおりであり、“こんにちは”，“こんばんは”など他の挨拶も発話内容が異なる以外は略同じであるため、重複した説明は省略する。また、自己紹介する場合にも、発話内容が異なる以外は、挨拶する場合と略同じであるため、詳細な説明は省略することにする。 Incidentally, "greeting (first)" operation android 12 based on the control information is as described above, "Hello", "Good evening" since except that other even speech content greetings like are different are substantially the same, duplicate Description is omitted. Also, in the case of self-introduction, since the content of the utterance is different, it is substantially the same as that in the case of greeting, so detailed description will be omitted.

また、上述した例では、人間がアンドロイド１２に近づこうとしていることや人間がアンドロイド１２に接近したことをフロアセンサ６４の出力に基づいて検出するようにしたが、触覚センサ４２、眼カメラ４４、衝突センサ４６、マイク５０、全方位カメラ６０またはＰＴＺカメラ６２の出力に基づいて検出することもできる。たとえば、触覚センサ４２や衝突センサ４６に反応があった場合には、人間や物体等がアンドロイド１２に触れたり、衝突したりしたことを検出することができる。また、マイク５０に一定レベル以上の音声が入力された場合には、人間がアンドロイド１２に接近したり、アンドロイド１２に対して話し掛けたりしていることを検出することができる。つまり、外部からの刺激は様々であり、検出する方法も様々である。 Further, in the above-described example, it is detected based on the output of the floor sensor 64 that the person is approaching the Android 12 or the person is approaching the Android 12, but the tactile sensor 42, the eye camera 44, It is also possible to detect based on the output of the collision sensor 46, the microphone 50, the omnidirectional camera 60, or the PTZ camera 62. For example, when there is a reaction in the tactile sensor 42 or the collision sensor 46, it is possible to detect that a human or an object has touched or collided with the Android 12. Further, when a sound of a certain level or more is input to the microphone 50, it is possible to detect that a human is approaching the Android 12 or talking to the Android 12. That is, there are various external stimuli and various detection methods.

このように、外部からの刺激に応じて、アンドロイド１２が所定の対応動作を実行する。詳細な説明は省略するが、環境センサ１６で検出される刺激に応じて、アンドロイド１２が実行すべき（実行可能な）動作、すなわちＣＰＵ７０が指示するべき制御情報は予め決定されており、その内容はメモリ７４に記憶されている。したがって、センサ群（４２，４４，４６，５０，６０，６２，６４）の反応に応じた対応動作をアンドロイド１２に実行させることができるのである。 In this way, the Android 12 performs a predetermined corresponding operation in response to an external stimulus. Although detailed description is omitted, the operation to be performed by the android 12 (executable), that is, control information to be instructed by the CPU 70 is determined in advance according to the stimulus detected by the environment sensor 16, and its contents Is stored in the memory 74. Accordingly, it is possible to cause the android 12 to perform a corresponding operation according to the reaction of the sensor group (42, 44, 46, 50, 60, 62, 64).

ただし、センサ群の反応に応じた対応動作がメモリ７４に記憶されていない場合や外部からの刺激を認識できない場合などのように、アンドロイド１２が刺激に対して対応動作を実行することができない場合には、アンドロイド１２は遠隔オペレータを呼び出す。具体的には、制御装置１４（ＣＰＵ７０）は、アンドロイド１２が対応できない旨を遠隔操作端末２０に通知する。したがって、たとえば、アンドロイド１２が人間の質問（発話内容）を理解（音声認識）できない場合には、遠隔オペレータを呼び出し、そのような場合には、遠隔オペレータが人間の質問を理解し、遠隔操作により、アンドロイド１２に命令動作を実行させることができる。ただし、遠隔オペレータの音声をアンドロイド１２のスピーカ４８から出力して、直接的に対応するようにしてもよい。かかる場合には、上述したように、遠隔オペレータがマイク２４を通して発話すると、対応する音声データが遠隔操作端末２０からネットワーク１８を介して制御装置１４に与えられ、アンドロイド１２のスピーカ４８から出力される。一方、アンドロイド１２と対話する人間が発話すると、その音声はアンドロイド１２のマイク５０を通して入力され、対応する音声データが制御装置１４からネットワーク１８を介して遠隔操作端末２０に送信され、スピーカ２２から出力される。したがって、遠隔オペレータは、アンドロイド１２と対話する人間が発話する内容を知ることができる。このように、アンドロイド１２が対応できない刺激に対しては、遠隔オペレータが対応するので、アンドロイド１２が提供するサービス（受付，案内など）に支障を来たすのを防止することができる。つまり、アンドロイド１２が提供するサービスを遠隔オペレータが補完することができるのである。 However, when the corresponding action according to the sensor group response is not stored in the memory 74 or when the android 12 cannot execute the corresponding action for the stimulus, such as when the stimulus from the outside cannot be recognized. The Android 12 calls a remote operator. Specifically, the control device 14 (CPU 70) notifies the remote operation terminal 20 that the Android 12 cannot be supported. Thus, for example, if the Android 12 cannot understand (speech recognition) a human question (speech content), the remote operator is called. In such a case, the remote operator understands the human question and is remotely controlled. , Android 12 can execute the instruction operation. However, the voice of the remote operator may be output from the speaker 48 of the Android 12 so as to respond directly. In such a case, as described above, when the remote operator speaks through the microphone 24, the corresponding voice data is given from the remote operation terminal 20 to the control device 14 via the network 18 and output from the speaker 48 of the Android 12. . On the other hand, when a person who interacts with the Android 12 speaks, the voice is input through the microphone 50 of the Android 12, and the corresponding voice data is transmitted from the control device 14 to the remote operation terminal 20 via the network 18 and output from the speaker 22. Is done. Therefore, the remote operator can know the content uttered by the person who interacts with the Android 12. As described above, since the remote operator responds to a stimulus that cannot be handled by the Android 12, it is possible to prevent the service (reception, guidance, etc.) provided by the Android 12 from being hindered. That is, the service provided by the Android 12 can be supplemented by the remote operator.

また、上述したように、眼カメラ４４、全方位カメラ６０およびＰＴＺカメラ６２の撮影映像は、遠隔操作端末２０のモニタ２６に表示されるため、その撮影映像等によりアンドロイド１２が存在する近傍、周囲およびアンドロイド１２と対話する人間の様子を知ることができる。したがって、遠隔オペレータは、アンドロイド１２（制御装置１４）からの呼び出しが無くても、必要に応じて遠隔操作し、アンドロイド１２に命令動作を実行させることもできる。 Further, as described above, the captured images of the eye camera 44, the omnidirectional camera 60, and the PTZ camera 62 are displayed on the monitor 26 of the remote operation terminal 20. In addition, it is possible to know a human being interacting with Android 12. Therefore, even if there is no call from the android 12 (control device 14), the remote operator can remotely control the android 12 to execute a command operation as necessary.

しかし、アンドロイド１２の近傍や周囲に人間が存在しない場合や遠隔オペレータの操作（遠隔操作命令）が無い場合には、アンドロイド１２に無意識動作を実行させる。このため、アンドロイド１２の動作を、より人間の動作に酷似させることができるのである。ただし、外部からの刺激に対応する対応動作を実行したり、遠隔オペレータの遠隔操作命令による命令動作を実行したりしている間においても、無意識動作を実行するようにしてもよい。つまり、無意識動作を実行する余地があれば、対応動作や命令動作に加えて実行することにより、より人間の動作に近づけるのである。たとえば、人間と対話しながら瞬きしたり、髪を触ったりすることができる。ただし、たとえば、遠隔操作命令（または無意識動作）によって腕を上に動かす動作を実行しているときに、当該腕を下に動かす無意識動作（または対応動作）を実行することはできない。つまり、使用中のアクチュエータ４０に対して、別の動作をさせるような制御を行うことはできない。かかる場合には、無意識動作を実行する余地がないと言える。 However, if there is no human in the vicinity of android 12 or there is no remote operator operation (remote operation command), the android 12 is caused to execute an unconscious operation. For this reason, the operation of the android 12 can be made to resemble a human operation more closely. However, the unconscious operation may be executed even while the corresponding operation corresponding to the stimulus from the outside is executed or the command operation by the remote operation command of the remote operator is executed. In other words, if there is room for executing an unconscious action, it is closer to a human action by executing it in addition to the corresponding action or command action. For example, you can blink or touch your hair while interacting with humans. However, for example, when an operation of moving the arm up by a remote operation command (or unconscious operation) is being performed, the unconscious operation (or corresponding operation) of moving the arm down cannot be executed. That is, it is not possible to perform control that causes the actuator 40 in use to perform another operation. In such a case, it can be said that there is no room for unconscious action.

具体的には、図２に示したＣＰＵ７０が、図４に示す全体処理のフロー図を処理する。図４に示すように、ＣＰＵ７０は全体処理を開始すると、ステップＳ１で、遠隔操作命令が有るかどうかを判断する。つまり、遠隔オペレータが遠隔操作端末２０を用いてコマンドを入力し、当該コマンドが遠隔操作端末２０から送信されたか否かを判断する。ステップＳ１で“ＹＥＳ”であれば、つまり遠隔操作命令が有れば、ステップＳ３で、遠隔操作命令に応じた命令動作をアンドロイド１２に実行させて、ステップＳ１３に進む。つまり、ステップＳ３では、ＣＰＵ７０は、遠隔操作端末２０から送信されたコマンドに従う身体動作をアンドロイド１２に実行させるように、ＭＰＵ９０に制御データを送信する。また、ＣＰＵ７０は、必要に応じて、発話動作に対応する音声データを、音声入出力ボード８０を介してスピーカ４８から出力する。 Specifically, the CPU 70 shown in FIG. 2 processes the flowchart of the overall processing shown in FIG. As shown in FIG. 4, when starting the entire process, the CPU 70 determines whether or not there is a remote operation command in step S1. That is, the remote operator inputs a command using the remote operation terminal 20 and determines whether or not the command is transmitted from the remote operation terminal 20. If “YES” in the step S1, that is, if there is a remote operation command, in a step S3, the android 12 is caused to execute a command operation corresponding to the remote operation command, and the process proceeds to a step S13. That is, in step S <b> 3, the CPU 70 transmits control data to the MPU 90 so as to cause the android 12 to execute a physical action according to the command transmitted from the remote operation terminal 20. Further, the CPU 70 outputs audio data corresponding to the speech operation from the speaker 48 via the audio input / output board 80 as necessary.

一方、ステップＳ１で“ＮＯ”であれば、つまり遠隔操作命令が無ければ、ステップＳ５で、センサ群の反応が有るかどうかを判断する。つまり、外部からアンドロイド１２に対して刺激があるかどうかを判断する。ステップＳ５で“ＮＯ”であれば、つまりセンサ群の反応が無ければ、そのままステップＳ１３に進む。一方、ステップＳ５で“ＹＥＳ”であれば、つまりセンサ群の反応が有れば、ステップＳ７で、対応可能な刺激であるかどうかを判断する。つまり、外部からの刺激に対して、アンドロイド１２が対応動作を実行することができるか否かを判断する。 On the other hand, if “NO” in the step S1, that is, if there is no remote operation command, it is determined whether or not there is a sensor group reaction in a step S5. That is, it is determined whether or not there is a stimulus to the Android 12 from the outside. If “NO” in the step S5, that is, if there is no reaction of the sensor group, the process proceeds to a step S13 as it is. On the other hand, if “YES” in the step S5, that is, if there is a response of the sensor group, it is determined whether or not the stimulus can be dealt with in a step S7. That is, it is determined whether or not the android 12 can execute a corresponding operation with respect to an external stimulus.

ステップＳ７で“ＮＯ”であれば、つまり対応不能な刺激であれば、ステップＳ９で、遠隔オペレータを呼び出し、ステップＳ１３に進む。つまり、ステップＳ９では、ＣＰＵ７２は、遠隔操作端末２０に、遠隔オペレータを呼び出すための信号（呼び出し信号）を送信する。なお、図示は省略するが、この呼び出し信号に応答して、遠隔操作端末２０では、スピーカ２２から呼び出し音（呼び出しメッセージ）が出力されたり、モニタ２６に呼び出しメッセージが表示されたりする。一方、ステップＳ７で“ＹＥＳ”であれば、つまり対応可能な刺激であれば、ステップＳ１１で、対応動作を実行して、ステップＳ１３に進む。つまり、ステップＳ１１では、ＣＰＵ７０は、外部からの刺激に対応する対応動作についての制御情報を第２コンピュータ１４ｂ（ＭＰＵ９０）に指示する。これに応じて、ＭＰＵ９０は、アクチュエータ４０を駆動制御し、必要に応じて、音声データを出力する。 If “NO” in the step S7, that is, if the stimulus cannot be dealt with, a remote operator is called in a step S9, and the process proceeds to the step S13. That is, in step S <b> 9, the CPU 72 transmits a signal (call signal) for calling a remote operator to the remote operation terminal 20. Although illustration is omitted, in response to the call signal, the remote operation terminal 20 outputs a call sound (call message) from the speaker 22 or displays a call message on the monitor 26. On the other hand, if “YES” in the step S7, that is, if the stimulus can be dealt with, a corresponding action is executed in a step S11, and the process proceeds to the step S13. That is, in step S11, the CPU 70 instructs the second computer 14b (MPU 90) with control information regarding the corresponding operation corresponding to the stimulus from the outside. In response to this, the MPU 90 drives and controls the actuator 40, and outputs audio data as necessary.

ステップＳ１３では、後述する無意識動作の選択処理（図５参照）を実行する。続くステップＳ１５では、無意識動作実行の余地が有るかどうかを判断する。つまり、ステップＳ１３で選択した無意識動作を実行することができるか否かを判断する。ステップＳ１５で“ＮＯ”であれば、つまり無意識動作実行の余地が無ければ、そのままステップＳ１に戻る。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり無意識動作実行の余地が有れば、ステップＳ１７で、ステップＳ１３において選択した無意識動作を実行して、ステップＳ１に戻る。 In step S13, an unconscious action selection process (see FIG. 5) described later is executed. In the subsequent step S15, it is determined whether there is room for unconscious action execution. That is, it is determined whether or not the unconscious action selected in step S13 can be executed. If “NO” in the step S15, that is, if there is no room for unconscious action execution, the process returns to the step S1 as it is. On the other hand, if “YES” in the step S15, that is, if there is a room for executing the unconscious action, the unconscious action selected in the step S13 is executed in a step S17, and the process returns to the step S1.

図５は図４に示したステップＳ１３の無意識動作の選択処理を示すフロー図である。図５に示すように、ＣＰＵ７０は、無意識動作の選択処理を開始すると、ステップＳ３１で、位置Ｐを初期化する（Ｐ＝０）。ここで、位置Ｐは単なる変数であるが、後述するように、生起確率を区間Ｒとして保持するため、便宜上「位置」としてある。続くステップＳ３３で、ループカウンタのカウント値ｉを１に設定する。 FIG. 5 is a flowchart showing the unconscious action selection process in step S13 shown in FIG. As shown in FIG. 5, when the CPU 70 starts the unconscious action selection process, the CPU 70 initializes the position P in step S31 (P = 0). Here, the position P is merely a variable, but, as will be described later, in order to hold the occurrence probability as the section R, it is referred to as “position” for convenience. In subsequent step S33, the count value i of the loop counter is set to 1.

なお、図示は省略するが、ループカウンタは、第１コンピュータ７０のメモリ７４（ＲＡＭ）の一部領域に設定されるレジスタによって構成される。 Although not shown, the loop counter is configured by a register set in a partial area of the memory 74 (RAM) of the first computer 70.

続いて、ステップＳ３５では、過去ｔｉ秒（たとえば、数秒から数十秒）間以内に、無意識動作Ｂｉを実行したかどうかを判断する。ここで、上述した全体処理においては省略したが、ステップＳ１７の処理の前または後において、無意識動作の履歴をメモリ７４に記憶するようにしておき、その履歴を少なくともｔｉ秒に相当する時間だけ残すようにしてある。したがって、ＣＰＵ７０は、メモリ７４に記憶された無意識動作についての履歴を参照して、ステップＳ３５の判断処理を実行するのである。 Subsequently, in step S35, it is determined whether or not the unconscious action Bi has been executed within the past ti seconds (for example, several seconds to several tens of seconds). Here, although omitted in the overall processing described above, the history of unconscious movement is stored in the memory 74 before or after the processing of step S17, and the history is left for at least a time corresponding to ti seconds. It is like that. Therefore, the CPU 70 refers to the history of unconscious movement stored in the memory 74 and executes the determination process in step S35.

ステップＳ３５で“ＹＥＳ”であれば、つまり過去ｔｉ秒間以内に、無意識動作Ｂｉを実行した場合には、当該無意識動作Ｂｉが実行されるのを回避するべく、そのままステップＳ４５に進む。一方、ステップＳ３５で“ＮＯ”であれば、つまり過去ｔｉ秒間以内に、無意識動作Ｂｉを実行していない場合には、ステップＳ３７で、区間Ｒｉを設定する（Ｒｉ＝［Ｐ，Ｐ＋Ｗｉ］）。続くステップＳ３９では、位置Ｐを更新する（Ｐ＝Ｐ＋Ｗｉ）。そして、次のステップＳ４１では、ループカウンタのカウント値ｉが最大値ｎであるかどうかを判断する。つまり、すべての無意識動作Ｂｉ（１≦ｉ≦ｎ）についての区間Ｒｉを設定したかどうかを判断する。 If “YES” in the step S35, that is, if the unconscious action Bi is executed within the past ti seconds, the process proceeds to the step S45 as it is to avoid the unconscious action Bi being executed. On the other hand, if “NO” in the step S35, that is, if the unconscious action Bi is not executed within the past ti seconds, the section Ri is set in a step S37 (Ri = [P, P + Wi]). In the following step S39, the position P is updated (P = P + Wi). In the next step S41, it is determined whether or not the count value i of the loop counter is the maximum value n. That is, it is determined whether or not the section Ri has been set for all unconscious movements Bi (1 ≦ i ≦ n).

ステップＳ４１で“ＮＯ”であれば、つまりループカウンタのカウント値ｉが最大値ｎでなければ、ステップＳ４３で、ループカウンタをインクリメントして、つまりカウント値ｉを１加算して、ステップＳ３５に戻る。一方、ステップＳ４１で“ＹＥＳ”であれば、つまりループカウンタのカウント値ｉが最大値ｎであれば、ステップＳ４５に進む。 If “NO” in the step S41, that is, if the count value i of the loop counter is not the maximum value n, the loop counter is incremented in the step S43, that is, the count value i is incremented by 1, and the process returns to the step S35. . On the other hand, if “YES” in the step S41, that is, if the count value i of the loop counter is the maximum value n, the process proceeds to a step S45.

ステップＳ４５では、乱数ｒを発生する。ただし、乱数ｒの範囲は、０≦ｒ≦Ｐである。続くステップＳ４７では、乱数ｒが区間Ｒｊに含まれるような変数ｊ（１≦ｊ≦ｉ）を求めて、全体処理にリターンする。つまり、ステップＳ４７では、ＣＰＵ７０は、無意識動作Ｂｊを選択する。 In step S45, a random number r is generated. However, the range of the random number r is 0 ≦ r ≦ P. In the subsequent step S47, a variable j (1 ≦ j ≦ i) in which the random number r is included in the section Rj is obtained, and the process returns to the entire process. That is, in step S47, the CPU 70 selects the unconscious action Bj.

この実施例によれば、アンドロイドに無意識動作を実行させるので、アンドロイド特有の制御を実現することができる。このため、人間の動作に酷似した動作を実行させることができ、より人間に酷似したアンドロイドを実現することができる。 According to this embodiment, since the android performs an unconscious operation, it is possible to realize control specific to the android. For this reason, it is possible to execute an operation very similar to a human operation, and to realize an Android more similar to a human.

なお、この実施例では、一定時間内に同じ無意識動作を実行しないようにしたが、瞬きや呼吸のような無意識動作は一定時間内であっても実行するようにしてもよい。このような生理的な動作は一定時間内に繰り返されたとしても、特に違和感がなく、人間らしい動作であると言えるからである。したがって、無意識動作の種類に応じて、一定時間内に繰り返してもよいか否かを決定するようにしてもよい。 In this embodiment, the same unconscious action is not executed within a fixed time, but the unconscious action such as blinking or breathing may be executed even within a fixed time. This is because even if such a physiological operation is repeated within a certain time, it can be said that there is no particular sense of incongruity and that it is a human-like operation. Therefore, it may be determined whether or not it may be repeated within a predetermined time according to the type of unconscious action.

また、この実施例では、ネットワークを介して遠隔操作端末を設けることにより、遠隔地にオペレータが存在する場合について説明したが、オペレータは、アンドロイドが存在する場所やその近傍に存在するようにしてもよい。かかる場合には、オペレータが操作する端末（操作端末）を、ネットワークを介さずに、制御装置に直接接続することも可能である。 Further, in this embodiment, a case where an operator exists in a remote place by providing a remote operation terminal via a network has been described. However, an operator may be present at or near an Android location. Good. In such a case, a terminal (operation terminal) operated by the operator can be directly connected to the control device without using a network.

図１はこの発明のアンドロイド制御システムの一例を示す図解図である。FIG. 1 is an illustrative view showing an example of an android control system of the present invention. 図２は図１に示すアンドロイド、制御装置および環境センサの電気的な構成を示すブロック図である。FIG. 2 is a block diagram showing an electrical configuration of the android, the control device, and the environment sensor shown in FIG. 図３は図１に示すアンドロイドの動作を制御するための関節、眼、口唇、腹部を示す図解図である。FIG. 3 is an illustrative view showing a joint, an eye, a lip, and an abdomen for controlling the operation of the android shown in FIG. 図４は図２に示すＣＰＵ７０の全体処理を示すフロー図である。FIG. 4 is a flowchart showing the overall processing of the CPU 70 shown in FIG. 図５は図２に示すＣＰＵ７０の無意識動作の選択処理を示すフロー図である。FIG. 5 is a flowchart showing selection processing of the unconscious operation of the CPU 70 shown in FIG.

Explanation of symbols

１０ …アンドロイド制御システム
１２ …アンドロイド
１４ …制御装置
１６ …環境センサ
２０ …遠隔操作端末
２２，４８ …スピーカ
２４，５０ …マイク
２６ …モニタ
４０ …アクチュエータ
４２ …触覚センサ
４４ …眼カメラ
４６ …衝突センサ
６０ …全方位カメラ
６２ …ＰＴＺカメラ
６４ …フロアセンサ
７０ …ＣＰＵ
７４，９４ …メモリ
８０ …音声入出力ボード
８２，１００ …センサ入出力ボード
９０ …ＭＰＵ
９８ …制御ボード DESCRIPTION OF SYMBOLS 10 ... Android control system 12 ... Android 14 ... Control apparatus 16 ... Environmental sensor 20 ... Remote operation terminal 22, 48 ... Speaker 24, 50 ... Microphone 26 ... Monitor 40 ... Actuator 42 ... Tactile sensor 44 ... Eye camera 46 ... Collision sensor 60 ... Omni-directional camera 62 ... PTZ camera 64 ... Floor sensor 70 ... CPU
74, 94 ... Memory 80 ... Voice I / O board 82, 100 ... Sensor I / O board 90 ... MPU
98… Control board

Claims

An android control system that controls android, a robot whose appearance is very similar to humans,
Multiple sensors,
Control data output means for outputting the control data to execute the pair responsive operation against the stimulus to android recognized based on an output of said plurality of sensors to the Android,
Drive means for driving an actuator provided in the android in accordance with the control data output from the control data output means,
After the control data is output from the control data output means, unconscious action selection means for selecting an unconscious action to be executed by the android,
When it is determined that there is room to run by the unconscious operation selecting means room determining means you determine whether the unconscious operation selected there is room for the android is performed by, and the room determining means, the unconscious the have been unconscious operation selected by the operation selecting means comprises involuntary operation execution means to be executed by the Android, a Ndoroido control system.

An android control system that calls an operator and controls the android according to an operation command by the operator when the android is unable to execute an action corresponding to a stimulus to an android that is a robot that is very similar to a human figure,
Receiving means for receiving an operation command by the operator;
Control data output means for outputting control data for causing the android to execute a command operation according to the operation command received by the receiving means;
Drive means for driving an actuator provided in the android in accordance with the control data output from the control data output means,
After the control data is output from the control data output means, unconscious action selection means for selecting an unconscious action to be executed by the android,
Room determination means for determining whether or not there is room for the android to execute the unconscious action selected by the unconscious action selection means; and
An android control system, comprising: an unconscious operation execution unit that causes the android to execute the unconscious operation selected by the unconscious operation selection unit when it is determined that there is room to be executed by the room determination unit.