JP5366048B2 - Information provision system - Google Patents
Information provision system Download PDFInfo
- Publication number
- JP5366048B2 JP5366048B2 JP2009077950A JP2009077950A JP5366048B2 JP 5366048 B2 JP5366048 B2 JP 5366048B2 JP 2009077950 A JP2009077950 A JP 2009077950A JP 2009077950 A JP2009077950 A JP 2009077950A JP 5366048 B2 JP5366048 B2 JP 5366048B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- person
- movement locus
- human
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
Description
この発明は、情報提供システムに関し、特にたとえば任意に移動する人間にリコメンド情報を提供する、情報提供システムに関する。 The present invention relates to an information providing system, and more particularly to an information providing system that provides recommended information to a human who moves arbitrarily, for example.
特許文献1に開示されている、カーナビゲーションシステムでは、運転の誘導処理を行うことで、目的地設定時刻と到着時刻と到着地特定情報を対応付けて運転履歴として蓄える。そして、運転履歴を分析することで、運転者にリコメンド(情報のお勧め)などのサービスを提供する。
In the car navigation system disclosed in
また、特許文献2に開示されている、自律移動型ロボットは、ステレオ画像として観測するための左右一対のCCDカメラを備え、随伴する特定人物を順次撮影することで、特定人物の進路を予測する。そして、自律移動型ロボットは、特定人物の進路に不特定人物がいる場合に、特定人物を退避させるため、歩行案内の音声を出力する。
The autonomous mobile robot disclosed in
また、非特許文献1に開示されている、環境情報構造化システムには、自律行動によって人間に近づきサービスを開始することができるロボットが含まれ、そのロボットの活動範囲内に設けられるLRF(レーザーレンジファインダ)を利用して人間の移動軌跡を計測し、その移動軌跡から、人間の大局行動を予測する。
In addition, the environmental information structuring system disclosed in Non-Patent
特許文献1に開示されるカーナビゲーションシステムは、運転履歴がなければリコメンドのサービスを提供することができない。また、特許文献2に開示される自律移動ロボットでは、特定人物に対する数秒以内の進路しか予測できず、予測した結果を利用してサービスを提供するシステムには不向きである。そして、非特許文献1のように、人間の移動軌跡から大局行動を予測することができるが、そのような予測技術をリコメンドなどの情報提供サービスと組み合わせる技術はこれまでに実現されていない。
The car navigation system disclosed in
それゆえに、この発明の主たる目的は、新規な、情報提供システムを提供することである。 Therefore, a main object of the present invention is to provide a novel information providing system.
この発明の他の目的は、人間の行動を予測して情報提供を行うことができる、情報提供システムである。 Another object of the present invention is an information providing system capable of providing information by predicting human behavior.
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.
第1の発明は、任意に移動する人間に当該人間の行動に応じたリコメンド情報を提供する情報提供システムであって、複数のリコメンド情報と、複数のリコメンド情報の各々に対応して予め設定した複数の第1移動軌跡とを記憶する記憶手段、移動している人間の位置の変化を第2移動軌跡として検出する検出手段、検出手段によって第2移動軌跡を検出したとき、その第2移動軌跡と記憶手段に記憶された全ての第1移動軌跡との類似度を算出し、第2移動軌跡との類似度が最も大きい第1移動軌跡を特定する特定手段、および特定手段によって特定された第1移動軌跡に対応するリコメンド情報を人間に提供する情報提供手段を備える、情報提供システムである。 1st invention is the information provision system which provides the recommendation information according to the said person's action to the human who moves arbitrarily, Comprising: It sets beforehand corresponding to each of a plurality of recommendation information and a plurality of recommendation information storage means for memorize a plurality of first moving path, detection means for detecting a change in position of the person is moving the second movement trajectory, upon detection of a second movement trajectory by the detection means, moves the second The degree of similarity between the trajectory and all the first movement trajectories stored in the storage means is calculated, the specifying means for specifying the first movement trajectory having the highest similarity with the second movement trajectory, and the specifying means It is an information provision system provided with the information provision means which provides the recommendation information corresponding to a 1st movement locus | trajectory to a human.
第1の発明では、情報提供システム(100)は、たとえば、ショッピングモール内に居る人間に対して、ショッピングモール周囲にある駅などの状況をリコメンド情報として提供する。記憶手段(18)は、たとえばRAMやHDDで構成されるメモリであり、リコメンド情報と、大局行動を表わす第1移動軌跡とを対応付けて記憶する。たとえば、駅の状況を表わすリコメンド情報には、駅に向かう大局行動を表わす第1移動軌跡が対応付けられる。 In the first invention, the information providing system (100) provides, for example, a situation such as a station around the shopping mall as recommendation information to a person in the shopping mall. The storage means (18) is a memory composed of, for example, a RAM or an HDD, and stores the recommendation information and the first movement locus representing the global action in association with each other. For example, the recommendation information representing the situation of the station is associated with the first movement locus representing the global action toward the station.
ショッピングモール内には、LRF(12)が設置されており、LRFは移動する人間の位置を検出する。そして、検出手段(12,16,S1)は、人間の位置の変化を第2移動軌跡として検出する。また、第1移動軌跡と第2移動軌跡とは、状態列(S)に変換され、DPマッチングによって類似度(R)が算出される。そして、情報提供手段(10,14,16,S33,80,S95)は、算出した類似度が所定値以上であれば、第2移動軌跡が検出された人間に対して、駅の状況を表わすリコメンド情報を提供する。 An LRF (12) is installed in the shopping mall, and the LRF detects the position of a moving person. And a detection means (12, 16, S1) detects the change of a person's position as a 2nd movement locus | trajectory. Further, the first movement locus and the second movement locus are converted into a state sequence (S), and the similarity (R) is calculated by DP matching. Then, the information providing means (10, 14, 16, S33, 80, S95) indicates the status of the station to the person from whom the second movement locus is detected if the calculated similarity is equal to or greater than a predetermined value. Provide recommendation information.
第1の発明によれば、人間の移動軌跡を検出することで、その人間が行う大局行動を予測することができるため、その大局行動に応じたリコメンド情報を提供することができる。 According to the first aspect of the present invention, it is possible to predict a global action performed by a person by detecting the movement trajectory of the person, and therefore it is possible to provide recommendation information corresponding to the global action.
第2の発明は、第1の発明に従属し、リコメンド情報が人間に受け入れられたか否かを判断する判断手段、および判断手段によってリコメンド情報が人間に受け入れられたと判断されたとき、検出手段によって検出された第2移動軌跡を当該リコメンド情報に対応する第1移動軌跡として記憶手段に追加する更新手段をさらに備える。 A second invention is according to the first invention, when the recommendation information is determined to have been accepted by the human by the determination means, and determination means for determining whether recommendation information is received in humans, by the detection means Update means for adding the detected second movement locus to the storage means as a first movement locus corresponding to the recommendation information is further provided.
第2の発明では、判断手段(10,14,16,S35,80,S97)は、リコメンド情報を提供した人間の音声や、表情などからそのリコメンド情報が受け入れられたかを判断する。そして、更新手段(16,S37)は、リコメンド情報を受け入れた人間の第2移動軌跡と、記憶手段にすでに記憶されている第1移動軌跡とから新たな移動軌跡を算出することで、第1移動軌跡を更新する。 In the second invention, the judging means (10, 14, 16, S35, 80, S97) judges whether the recommended information is accepted from the voice of the person who provided the recommended information, facial expressions, or the like. Then, the updating means (16, S37) calculates a new movement locus from the second movement locus of the person who has received the recommendation information and the first movement locus already stored in the storage means. Update the movement trajectory.
第2の発明によれば、提供されるリコメンド情報に対応する第1移動軌跡を更新することで、大局行動を予測する精度を向上させることができる。 According to 2nd invention, the precision which estimates global action can be improved by updating the 1st movement locus | trajectory corresponding to the recommendation information provided.
第3の発明は、第1の発明または第2の発明に従属し、情報提供手段は、人間が任意に移動する場所に設定されるロボット、および特定手段によって特定された第1移動軌跡に対応するリコメンド情報を記憶手段から読み出して、人間が任意に移動する場所に設置されたロボットに動作命令として付与する動作命令付与手段を含み、動作命令付与手段によって付与された動作命令に基づいてロボットが人間にリコメンド情報を提供する。 The third invention is dependent on the first invention or the second invention, and the information providing means corresponds to the robot set at a place where a human arbitrarily moves and the first movement locus specified by the specifying means. The operation information providing means for reading the recommended information from the storage means and assigning the recommended information as an operation command to the robot installed at a place where the human arbitrarily moves, and the robot is based on the operation command given by the operation command giving means. Provide recommended information to humans.
第4の発明は、第3の発明に従属し、動作命令付与手段は、動作命令と共に、第2移動軌跡に対応する人間の現在位置を前記ロボットに付与し、動作命令付与手段によって付与された人間の現在位置に基づいて当該人間に接近したロボットがリコメンド情報を提供する。The fourth invention is dependent on the third invention, and the motion command giving means gives the robot a current position corresponding to the second movement locus together with the motion command, and is given by the motion command giving means. Based on the current position of the person, the robot approaching the person provides recommendation information.
第5の発明は、第3の発明または第4の発明に従属し、ロボットは、人間に対して身体動作および音声の少なくとも一方を含むコミュニケーション行動を行うコミュニケーションロボットを含み、動作命令は、コミュニケーションロボットが発話する発話内容を含む。 A fifth invention is according to the third invention or the fourth invention, the robot comprises a communication robot performing the communication behavior including at least one of body motion and sound to a human, the operation instruction communication robot Contains the utterance content that utters.
第5の発明では、コミュニケーションロボット(14)は、自律行動によって人間に近づくことができ、人間は、コミュニケーションロボットとのコミュニケーション行動の一環としてリコメンド情報を提供される。 In the fifth invention, the communication robot (14) can approach a human by autonomous behavior, and the human is provided with recommendation information as part of the communication behavior with the communication robot.
第5の発明によれば、コミュニケーションロボットを利用して、リコメンド情報を提供できる。 According to the fifth aspect , recommendation information can be provided using a communication robot.
この発明によれば、人間の移動軌跡を検出することで、その人間が行う大局行動を予測できるため、予測された大局行動に応じたリコメンド情報を人間に提供することができる。 According to the present invention, since the global action performed by the person can be predicted by detecting the movement trajectory of the person, recommendation information corresponding to the predicted global action can be provided to the person.
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例の情報提供システム100は、LRF12a,12bを含む数台のLRFを有する中央制御装置10および自律移動ロボット(以下、単に「ロボット」と言う。)14を備える。LRF12,12bは、人間が任意に移動することができる場所に設置され、中央制御装置10は、LRF12a,12bによって、任意に移動する人間Aの移動軌跡(第2移動軌跡)を検出する。たとえば、人間Aが任意に行動する場所は、会社のフロア、博物館、ショッピングモールまたはアトラクション会場などであり、LRF12a,12bは様々な場所(環境)に設置される。
Referring to FIG. 1, an
また、中央制御装置10は、ネットワーク400を介して、リコメンド情報を人間Aに提供させる動作命令をロボット14に付与する。そして、ロボット14は、付与された動作命令に従って、人間Aに対してリコメンド情報を提供する。つまり、情報提供システム100は、検出した人間Aに対してリコメンド情報を提供する。
In addition, the
なお、ここでは簡単のため人間は1人しか示していないが、中央制御装置10は2人以上の位置を同時に検出することができる。さらに、ロボット14も同様に1台しか示していないが、中央制御装置10は2台以上のロボット14を同時に管理することができる。また、ロボット14は、相互作用指向のロボット(コミュニケーションロボット)でもあり、人間Aのようなコミュニケーションの対象(コミュニケーション対象)との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。
Although only one person is shown here for simplicity, the
図2は中央制御装置10の電気的な構成を示すブロック図である。この図2を参照して、中央制御装置10は、LRF12a−12fおよびCPU16などを含む。このCPU16は、マイクロコンピュータ或いはプロセサとも呼ばれ、先述したLRF12aおよびLRF12bに加えて、LRF12c,LRF12d,LRF12eおよびLRF12fともそれぞれ接続される。さらに、CPU16は、メモリ18および通信LANボード20ともそれぞれ接続される。なお、LRF12a−12fを区別する必要がない場合には、まとめて「LRF12」と言う。
FIG. 2 is a block diagram showing an electrical configuration of the
LRF12は、レーザーを照射し、物体(人間も含む)に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ(図示せず)から照射したレーザーを回転ミラー(図示せず)で反射させて、前方を扇状に一定角度(たとえば、0.5度)ずつスキャンする。ここで、LRF12としては、SICK社製のレーザーレンジファインダ(型式 LMS200)を用いることができる。このレーザーレンジファインダを用いた場合には、距離8mを±15mm程度の誤差で計測可能である。
The
記憶手段であるメモリ18は、図示は省略をするが、ROM,HDDおよびRAMを含み、ROMおよびHDDには、中央制御装置10の動作を制御するための制御プログラムが予め記憶される。たとえば、LRF12による人間の検出に必要なプログラムなどが記録される。また、RAMは、ワークメモリやバッファメモリとして用いられる。
Although not shown, the
また、CPU16は、通信LANボード20に接続される。通信LANボード20は、たとえばDSPで構成され、CPU16から与えられた送信データを無線通信装置22に与え、無線通信装置22は送信データを、ネットワーク400を介してロボット14に送信する。たとえば、送信データとしては、リコメンド情報や、ロボット14に付与する動作命令の信号(コマンド)であったりする。また、通信LANボード20は、無線通信装置22を介してデータを受信し、受信したデータをCPU16に与える。
The
また、メモリ18には、リコメンド情報である複数のトピックスが記録されるトピックスリストと、各トピックスに関係する移動軌跡(第1移動軌跡)を決定するための移動軌跡リストが記録される。
Further, the
図3(A)を参照して、トピックスリストは、「トピックス」の列、「移動軌跡」の列および「発話内容」の列から構成される。「トピックス」の列には、複数のトピックスを識別するためのIDが記録されており、ここではトピックスT1−T6がそれぞれ記録される。「移動軌跡」の列には、「トピックス」の列に対応して、各トピックスに関係する移動軌跡P_T1〜移動軌跡P_T6が記録される。 Referring to FIG. 3A, the topics list includes a “topics” column, a “movement locus” column, and an “utterance content” column. In the “Topics” column, IDs for identifying a plurality of topics are recorded. Here, topics T1 to T6 are recorded. In the column “movement locus”, movement locus P_T1 to movement locus P_T6 related to each topic are recorded corresponding to the column “topics”.
そして、「発話内容」の列には、「トピックス」の列に対応して、各トピックスに応じてロボット14に発話させる発話内容が記録されており、各発話内容は、人間に提供されるリコメンド情報を具体的に表わすものである。たとえば、トピックスT1、トピックスT2、トピックスT3、トピックスT4、トピックスT5およびトピックスT6のそれぞれに対応して、「電車の発車時刻は12時だよ」、「お勧めのメニューはカレーだよ」、「15時からパレードがあるよ」、「休憩所には自動販売機があるよ」、「休憩所は向こうにもあるよ」および「案内図はあっちだよ」がそれぞれ記録される。なお、この発話内容は、時間が経過するにつれて随時更新される。
In the “Speech content” column, the utterance content to be uttered by the
図3(B)を参照して、たとえば移動軌跡P_T1の移動軌跡リストは、移動軌跡P1_T1および移動軌跡P2_T1などが記録される。そして、リスト内に記録される全ての移動軌跡(移動軌跡P1_T1および移動軌跡P2など_T1)に近似する軌跡(線)が算出され、その近似する軌跡が移動軌跡P_T1となる。また、移動軌跡リストに新しい移動軌跡のデータが追加されると、中央制御装置10は、移動軌跡P_T1を更新する。なお、図示はしていないが、移動軌跡P_T2〜移動軌跡P_T6のそれぞれに対応する移動軌跡リストもメモリ18に記憶される。
Referring to FIG. 3B, for example, the movement trajectory list of movement trajectory P_T1 records movement trajectory P1_T1, movement trajectory P2_T1, and the like. Then, a trajectory (line) that approximates all the movement trajectories (movement trajectory P1_T1 and movement trajectory P2 etc._T1) recorded in the list is calculated, and the approximate trajectory becomes the movement trajectory P_T1. Further, when new movement locus data is added to the movement locus list, the
以下、任意の自然数が設定される変数xを利用して、任意のトピックスTxおよび移動軌跡P_Txと表わすことがある。 Hereinafter, a variable x in which an arbitrary natural number is set may be used to represent an arbitrary topic Tx and a movement trajectory P_Tx.
そして、詳細な説明は後述するが、中央制御装置10は、メモリ18に記憶されるトピックスリストおよび移動軌跡リストを利用して、人間に提供するリコメンド情報を決定する。
Although detailed description will be given later, the
図4はこの実施例のロボット14の外観を示す正面図である。図4を参照して、ロボット14は台車30を含み、台車30の下面にはロボット14を自律移動させる2つの車輪32および1つの従輪34が設けられる。2つの車輪32は車輪モータ36(図5参照)によってそれぞれ独立に駆動され、台車30すなわちロボット14を前後左右の任意方向に動かすことができる。また、従輪34は車輪32を補助する補助輪である。したがって、ロボット14は、配置された空間内を自律制御によって移動可能である。
FIG. 4 is a front view showing the appearance of the
台車30の上には、円柱形のセンサ取り付けパネル38が設けられ、このセンサ取り付けパネル38には、多数の赤外線距離センサ40が取り付けられる。これらの赤外線距離センサ40は、センサ取り付けパネル38すなわちロボット14の周囲の物体(人間や障害物など)との距離を測定するものである。
A cylindrical
なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、小型のLRFや、超音波距離センサおよびミリ波レーダなどを用いることもできる。 In this embodiment, an infrared distance sensor is used as the distance sensor, but a small LRF, an ultrasonic distance sensor, a millimeter wave radar, or the like can be used instead of the infrared distance sensor.
センサ取り付けパネル38の上には、胴体42が直立するように設けられる。また、胴体42の前方中央上部(人の胸に相当する位置)には、上述した赤外線距離センサ40がさらに設けられ、ロボット14の前方の主として人間との距離を計測する。また、胴体42には、その側面側上端部のほぼ中央から伸びる支柱44が設けられ、支柱44の上には、全方位カメラ46が設けられる。全方位カメラ46は、ロボット14の周囲を撮影するものであり、後述する眼カメラ70とは区別される。この全方位カメラ46としては、たとえばCCDやCMOSのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ40および全方位カメラ46の設置位置は、当該部位に限定されず適宜変更され得る。
A
胴体42の両側面上端部(人の肩に相当する位置)には、それぞれ、肩関節48Rおよび肩関節48Lによって、上腕50Rおよび上腕50Lが設けられる。図示は省略するが、肩関節48Rおよび肩関節48Lは、それぞれ、直交する3軸の自由度を有する。すなわち、肩関節48Rは、直交する3軸のそれぞれの軸廻りにおいて上腕50Rの角度を制御できる。肩関節48Rの或る軸(ヨー軸)は、上腕50Rの長手方向(または軸)に平行な軸であり、他の2軸(ピッチ軸およびロール軸)は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節48Lは、直交する3軸のそれぞれの軸廻りにおいて上腕50Lの角度を制御できる。肩関節48Lの或る軸(ヨー軸)は、上腕50Lの長手方向(または軸)に平行な軸であり、他の2軸(ピッチ軸およびロール軸)は、その軸にそれぞれ異なる方向から直交する軸である。
An
また、上腕50Rおよび上腕50Lのそれぞれの先端には、肘関節52Rおよび肘関節52Lが設けられる。図示は省略するが、肘関節52Rおよび肘関節52Lは、それぞれ1軸の自由度を有し、この軸(ピッチ軸)の軸回りにおいて前腕54Rおよび前腕54Lの角度を制御できる。
In addition, an elbow joint 52R and an elbow joint 52L are provided at the respective distal ends of the
前腕54Rおよび前腕54Lのそれぞれの先端には、人の手に相当する球体56Rおよび球体56Lがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人間の手の形をした「手」を用いることも可能である。また、図示は省略するが、台車30の前面、肩関節48Rと肩関節48Lとを含む肩に相当する部位、上腕50R、上腕50L、前腕54R、前腕54L、球体56Rおよび球体56Lには、それぞれ、接触センサ58(図5で包括的に示す)が設けられる。台車30の前面の接触センサ58は、台車30への人間や他の障害物の接触を検知する。したがって、ロボット14は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪32の駆動を停止してロボット14の移動を急停止させることができる。また、その他の接触センサ58は、当該各部位に触れたかどうかを検知する。なお、接触センサ58の設置位置は、当該部位に限定されず、適宜な位置(人の胸、腹、脇、背中および腰に相当する位置)に設けられてもよい。
A
胴体42の中央上部(人の首に相当する位置)には首関節60が設けられ、さらにその上には頭部62が設けられる。図示は省略するが、首関節60は、3軸の自由度を有し、3軸の各軸廻りに角度制御可能である。或る軸(ヨー軸)はロボット14の真上(鉛直上向き)に向かう軸であり、他の2軸(ピッチ軸、ロール軸)は、それぞれ、それと異なる方向で直交する軸である。
A neck joint 60 is provided at the upper center of the body 42 (a position corresponding to a person's neck), and a
頭部62には、人の口に相当する位置に、スピーカ64が設けられる。スピーカ64は、ロボット14が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク66Rおよびマイク66Lが設けられる。以下、右のマイク66Rと左のマイク66Lとをまとめてマイク66と言うことがある。マイク66は、周囲の音、とりわけコミュニケーションを実行する対象である人間の音声を取り込む。さらに、人の目に相当する位置には、眼球部68Rおよび眼球部68Lが設けられる。眼球部68Rおよび眼球部68Lは、それぞれ眼カメラ70Rおよび眼カメラ70Lを含む。以下、右の眼球部68Rと左の眼球部68Lとをまとめて眼球部68と言うことがある。また、右の眼カメラ70Rと左の眼カメラ70Lとをまとめて眼カメラ70と言うことがある。
The
眼カメラ70は、ロボット14に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ70は、上述した全方位カメラ46と同様のカメラを用いることができる。たとえば、眼カメラ70は、眼球部68内に固定され、眼球部68は、眼球支持部(図示せず)を介して頭部62内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、2軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この2軸の一方は、頭部62の上に向かう方向の軸(ヨー軸)であり、他方は、一方の軸に直交しかつ頭部62の正面側(顔)が向く方向に直行する方向の軸(ピッチ軸)である。眼球支持部がこの2軸の各軸廻りに回転されることによって、眼球部68ないし眼カメラ70の先端(正面)側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ64、マイク66および眼カメラ70の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。
The
このように、この実施例のロボット14は、車輪32の独立2軸駆動、肩関節48の3自由度(左右で6自由度)、肘関節52の1自由度(左右で2自由度)、首関節60の3自由度および眼球支持部の2自由度(左右で4自由度)の合計17自由度を有する。
As described above, the
図5はロボット14の電気的な構成を示すブロック図である。この図5を参照して、ロボット14は、CPU80を含む。CPU80は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス82を介して、メモリ84、モータ制御ボード86、センサ入力/出力ボード88および音声入力/出力ボード90に接続される。
FIG. 5 is a block diagram showing an electrical configuration of the
メモリ84は、図示は省略をするが、ROMおよびRAMを含む。ROMには、ロボット14の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力(センサ情報)を検知するための検知プログラムや、外部コンピュータ(中央制御装置10)との間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、RAMは、ワークメモリやバッファメモリとして用いられる。
The
モータ制御ボード86は、たとえばDSPで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード86は、CPU80からの制御データを受け、右眼球部68Rの2軸のそれぞれの角度を制御する2つのモータ(図5では、まとめて「右眼球モータ92」と示す)の回転角度を制御する。同様に、モータ制御ボード86は、CPU80からの制御データを受け、左眼球部68Lの2軸のそれぞれの角度を制御する2つのモータ(図5では、まとめて「左眼球モータ94」と示す)の回転角度を制御する。
The
また、モータ制御ボード86は、CPU80からの制御データを受け、肩関節48Rの直交する3軸のそれぞれの角度を制御する3つのモータと肘関節52Rの角度を制御する1つのモータとの計4つのモータ(図5では、まとめて「右腕モータ96」と示す)の回転角度を制御する。同様に、モータ制御ボード86は、CPU80からの制御データを受け、肩関節48Lの直交する3軸のそれぞれの角度を制御する3つのモータと肘関節52Lの角度を制御する1つのモータとの計4つのモータ(図5では、まとめて「左腕モータ98」と示す)の回転角度を制御する。
The
さらに、モータ制御ボード86は、CPU80からの制御データを受け、首関節60の直交する3軸のそれぞれの角度を制御する3つのモータ(図5では、まとめて「頭部モータ110」と示す)の回転角度を制御する。そして、モータ制御ボード86は、CPU80からの制御データを受け、車輪32を駆動する2つのモータ(図5では、まとめて「車輪モータ36」と示す)の回転角度を制御する。なお、この実施例では、車輪モータ36を除くモータは、制御を簡素化するためにステッピングモータ(すなわち、パルスモータ)を用いる。ただし、車輪モータ36と同様に直流モータを用いるようにしてもよい。また、ロボット14の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更されてもよい。たとえば、他の実施例では、エアアクチュエータなどが適用されてもよい。
Further, the
センサ入力/出力ボード88は、モータ制御ボード86と同様に、DSPで構成され、各センサからの信号を取り込んでCPU80に与える。すなわち、赤外線距離センサ40のそれぞれからの反射時間に関するデータがこのセンサ入力/出力ボード88を通じてCPU80に入力される。また、全方位カメラ46からの映像信号が、必要に応じてセンサ入力/出力ボード88で所定の処理を施してからCPU80に入力される。眼カメラ70からの映像信号も、同様に、CPU80に入力される。また、上述した複数の接触センサ58(図5では、まとめて「接触センサ58」と示す)からの信号がセンサ入力/出力ボード88を介してCPU80に与えられる。音声入力/出力ボード90もまた、同様に、DSPで構成され、CPU80から与えられる音声合成データに従った音声または声がスピーカ64から出力される。また、マイク66からの音声入力が、音声入力/出力ボード90を介してCPU80に与えられる。
Similar to the
また、CPU80は、バス82を介して通信LANボード112に接続される。通信LANボード112は、たとえばDSPで構成され、CPU80から与えられた送信データを無線通信装置114に与え、無線通信装置114は送信データを、ネットワーク400を介して外部コンピュータ(中央制御装置10)に送信する。また、通信LANボード112は、無線通信装置114を介してデータを受信し、受信したデータをCPU80に与える。たとえば、送信データとしては、全方位カメラ46および目カメラ70によって撮影された周囲の映像データや、提供したリコメンド情報に対する人間の反応を示すデータであったりする。
The
次にLRF12について詳細に説明する。図6を参照して、LRF12の計測範囲は、半径r(r≒8m)の半円形状(扇形)で示される。つまり、LRF12は、その正面方向を中心とした場合に、左右90度の方向を所定の距離(r)以内で計測可能である。
Next, the
また、使用しているレーザーは、日本工業規格 JIS C 6802「レーザー製品の安全基準」におけるクラス1レーザーであり、人の眼に対して影響を及ぼさない安全なレベルである。また、この実施例では、LRF12のサンプリングレートを37Hzとした。これは、歩行するなどにより移動する人間の位置を連続して検出するためである。
The laser used is a
さらに、先述したように、LRF12は、様々な場所に配置される。具体的には、LRF12a,12bの各々は、検出領域が重なるように配置され、図示は省略するが、床面から約90cmの高さに固定される。この高さは、被験者の胴体と腕(両腕)とを検出可能とするためであり、たとえば、日本人の成人の平均身長から算出される。したがって、中央制御装置10を設ける場所(地域ないし国)や被験者の年齢ないし年代(たとえば、子供,大人)に応じて、LRF12を固定する高さを適宜変更するようにしてよい。なお、本実施例では、設定されるLRF12は6台としたが、2台以上であれば、任意の台数のLRF12を設置してもよい。
Further, as described above, the
このような構成の中央制御装置10では、CPU16がLRF12からの出力(距離データ)に基づいて、パーティクルフィルタを用いて、人間の現在位置の変化を推定する。そして、推定された現在位置の変化は移動軌跡として記録される。
In the
たとえば、図7を参照して、LRF12a,12bは互いに向い合せに設置され、LRF12a,12bの計測範囲が重なる範囲は斜線が付されて示される。斜線が付された範囲は検出領域Eとされ、この検出領域E内では人間の現在位置が連続的に検出される。そして、連続的に検出された現在位置の変化が移動軌跡として示される。たとえば、移動軌跡Paおよび移動軌跡Pbのように示される。なお、検出領域E内は、X−Y座標が設定され、人間の位置は(X,Y)の座標で示すことができる。
For example, referring to FIG. 7,
図8(A)はLRF12が設置される場所を示す地図を示す図解図であり、図8(B)は検出領域Eが分割されて示される分割地図を示す図解図である。図8(A)を参照して、地図が対応する場所は或るショッピングモールである。また、地図の左下側には飲食店である店舗が示され、地図の右上中央寄りにはショッピングモール内を案内するための案内図が示される。また、図示はしていないが、地図の右下には休憩スペースが設けられている。さらに、地図で図示しない左側には駅があり、図示しない右側にはアトラクション会場がある。
8A is an illustrative view showing a map showing a place where the
図8(B)を参照して、検出領域Eがk-means法に基づいて50個のグリッドに分割される。分割の手順としては、検出領域Eは25cm四方で空間グリッド化され、さらに「k=50」で空間グリッドがクラスタリングされる。 Referring to FIG. 8B, the detection area E is divided into 50 grids based on the k-means method. As a division procedure, the detection area E is formed into a 25 cm square spatial grid, and the spatial grid is further clustered at “k = 50”.
以下、本実施例では、任意の空間グリッドは、空間グリッドiとする。さらに、分割されたクラスタリングされた各グリッドをグリッドAとし、任意のグリッドAはグリッドAmとする。 Hereinafter, in this embodiment, an arbitrary spatial grid is a spatial grid i. Further, each of the divided clustered grids is a grid A, and an arbitrary grid A is a grid Am.
なお、グリッドの数は50ではなく、50以下または50より大きい値であってもよい。また、検出領域Eを分割する手法は、k-means法ではなく、本システムの管理者などによって手動で分割されてもよい。 The number of grids is not 50, but may be 50 or less or a value greater than 50. Further, the method of dividing the detection region E is not the k-means method, and may be manually divided by an administrator of the system.
また、本実施例では、ショッピングモール内に居る人間の移動軌跡Pを蓄積することで、人間の局所的な行動(局所行動)と大局的な行動(大局行動)とを分析し、6種類の大局行動を抽出した。そして、6種類のトピックスT1−T6と6つの移動軌跡P_T1〜移動軌跡P_T6とのそれぞれは、抽出された6種類の大局行動に基づいて設定された。 Further, in this embodiment, by accumulating the movement trajectory P of the human being in the shopping mall, the human local action (local action) and the global action (global action) are analyzed, and six kinds of actions are analyzed. The global behavior was extracted. Each of the six types of topics T1-T6 and the six movement trajectories P_T1 to P_T6 is set based on the extracted six types of global actions.
なお、大局行動を抽出する際にはk-means法を利用し、結果として「k=6」となった。また、局所行動を分析する際には、4種類の局所行動を判別するSVM(Support Vector Machine)を利用した。 Note that the k-means method was used when extracting the global behavior, and the result was “k = 6”. Moreover, when analyzing local action, SVM (Support Vector Machine) which discriminate | determines four types of local action was utilized.
図9(A)−図9(F)は、移動軌跡P_T1〜移動軌跡P_T6それぞれの一例を示す図解図である。図9(A)を参照して、移動軌跡P_T1は、「右から左へ通り過ぎる」の大局行動の一例を示している。また、地図の左側には駅があるため、移動軌跡P_T1と類似する移動軌跡Pが検出される人間は駅に向かっている可能性が高い。図9(B)を参照して、移動軌跡P_T2は、「右から来て、店舗の前に向かう」の大局行動の一例を示している。また、移動軌跡P_T2と類似する移動軌跡Pが検出される人間は店舗に入る可能性が高い。図9(C)を参照して、「左から右へ通り過ぎる」の大局行動の一例を示している。また、地図の右側にはアトラクション会場があるため、移動軌跡P_T3と類似する移動軌跡Pが検出される人間はアトラクション会場に向かっている可能性が高い。 FIGS. 9A to 9F are illustrative views showing an example of each of the movement trajectories P_T1 to P_T6. With reference to FIG. 9A, the movement trajectory P_T1 shows an example of a global action of “passing from right to left”. Further, since there is a station on the left side of the map, it is highly likely that a person who has detected a movement locus P similar to the movement locus P_T1 is heading to the station. With reference to FIG. 9B, the movement trajectory P_T2 shows an example of the global action of “coming from the right and heading in front of the store”. In addition, a person who has detected a movement locus P similar to the movement locus P_T2 is likely to enter the store. With reference to FIG. 9C, an example of a global action of “passing from left to right” is shown. Further, since there is an attraction venue on the right side of the map, it is highly possible that a person who has detected a movement trajectory P similar to the movement trajectory P_T3 is heading to the attraction venue.
図9(D)を参照して、移動軌跡P_T4は「休憩している」の大局行動の一例を示している。また、移動軌跡P_T4は、休憩スペースの所でほとんど変化していないため、移動軌跡P_T4と類似する移動軌跡Pが検出される人間は休憩スペースを利用して休憩している可能性が高い。図9(E)を参照して、移動軌跡P_T5は「休憩スペースの周りを歩いている」の大局行動の一例を示している。また、移動軌跡P_T5と類似する移動軌跡Pが検出される人間は休憩スペースが使用できる状態になるのを待っている可能性が高い。図9(F)を参照して、移動軌跡P_T6は「歩き回っている」の大局行動の一例を示している。そして、移動軌跡P_T6と類似する移動軌跡Pが検出される人間は、ショッピングモール内で迷っていたり、行き先を決めかねていたりする可能性が高い。 With reference to FIG. 9D, the movement trajectory P_T4 shows an example of the global action “resting”. Further, since the movement trajectory P_T4 hardly changes at the break space, it is highly possible that a person who has detected the movement trajectory P similar to the movement trajectory P_T4 is taking a break using the break space. Referring to FIG. 9E, the movement locus P_T5 shows an example of a global action “walking around a rest space”. In addition, it is highly possible that a person who has detected a movement locus P similar to the movement locus P_T5 is waiting for a break space to be used. With reference to FIG. 9F, the movement trajectory P_T6 shows an example of the global action of “walking”. A person who has detected a movement trajectory P similar to the movement trajectory P_T6 is likely to be lost in the shopping mall or fail to determine a destination.
ここで、本実施例の中央制御装置10は、分割地図に含まれる各グリッドAmを利用して、移動軌跡P_T1〜移動軌跡P_T6の中から、或る人間に対応する移動軌跡Pと類似する移動軌跡P_Txを特定し、或る人間に提供するリコメンド情報(トピックスTx)を選択する。
Here, the
具体的には、中央制御装置10は、検出された移動軌跡Pおよび各トピックスと対応する移動軌跡P_T1〜移動軌跡P_T6のそれぞれを、状態列Sおよび状態列S_T1〜状態列S_T6のそれぞれに変換する。そして、中央制御装置10は、DPマッチングによって、状態列Sと、状態列S_T1〜状態列S_T6とのそれぞれの類似度Rを算出し、算出された類似度Rに基づいて、移動軌跡Pが検出された人間に提供するリコメンド情報(トピックスT)を選択する。
Specifically, the
まず、移動軌跡Pを状態列Sに変換する手順について詳細に説明する。たとえば、検出される或る人間をn、移動軌跡Pを構成する或る点をp(X,Y)、状態列Sを構成する或る状態をst、或る人間nに対応する移動軌跡をPn、移動軌跡Pnが変換された状態列をSnとしたときに、或る人間nに対応する移動軌跡Pnは数1に示す式によって変換される。なお、数1の式では「m=50」となる。
First, the procedure for converting the movement locus P into the state sequence S will be described in detail. For example, n is a certain human being detected, p (X, Y) is a certain point constituting the movement locus P, st is a certain state constituting the state sequence S, and a movement locus corresponding to a certain human n is represented. When Sn is a state sequence in which Pn and movement trajectory Pn are converted, the movement trajectory Pn corresponding to a certain person n is converted by the equation shown in
なお、トピックスリストに記録される移動軌跡P_T1〜移動軌跡P_T6のそれぞれも、数1に示す式によって状態列S_T1〜状態列S_T6のそれぞれに変換される。
Note that each of the movement trajectories P_T1 to P_T6 recorded in the topics list is also converted into each of the state sequence S_T1 to the state sequence S_T6 by the equation shown in
たとえば、図10を参照して、或る人間nがグリッドA1、グリッドA2およびグリッドA3を任意に歩行したとき、移動軌跡Pnを構成する点pの変化が、グリッドA1→グリッドA2→グリッドA1→グリッドA2→グリッドA2→グリッドA3であれば、状態列Snは数2に示す式のようになる。 For example, referring to FIG. 10, when a certain person n arbitrarily walks on grid A1, grid A2, and grid A3, the change of point p that constitutes movement trajectory Pn changes from grid A1 → grid A2 → grid A1 → If the grid A2 → the grid A2 → the grid A3, the state string Sn is expressed by the equation (2).
[数2]
Sn={A1,A2,A1,A2,A2,A3}
次に、DPマッチングによって類似度Rを算出する手順について説明する。図11を参照して、移動軌跡P1および移動軌跡P2のそれぞれは、状態列S1および状態列S2のそれぞれに変換される。また、状態列S1に含まれる状態stの数は10であり、状態列S2に含まれる状態stの数は12であるため、2つの状態列Sの長さは異なる。そこで、DPマッチングの処理では、2つの状態列Sの長さをそろえるため、2つの状態列Sに対して挿入と削除の処理を施して同じ長さにした後に、2つの状態列の距離、つまり類似度Rを算出する。
[Equation 2]
Sn = {A1, A2, A1, A2, A2, A3}
Next, a procedure for calculating the similarity R by DP matching will be described. Referring to FIG. 11, each of movement trajectory P1 and movement trajectory P2 is converted into each of state column S1 and state column S2. Further, since the number of states st included in the state sequence S1 is 10, and the number of states st included in the state sequence S2 is 12, the lengths of the two state sequences S are different. Therefore, in the DP matching process, in order to align the lengths of the two state sequences S, the two state sequences S are subjected to insertion and deletion processing to have the same length, and then the distance between the two state sequences is set. That is, the similarity R is calculated.
なお、DPマッチングの削除と挿入の操作コストは、1操作につき距離1mとなるように設定した。また、2つの状態列Sの距離が近いほど類似度Rが大きくなり、2つの状態列Sの距離が遠くなるほど類似度Rが小さくなる。 It should be noted that the operation cost of DP matching deletion and insertion was set to be a distance of 1 m per operation. In addition, the similarity R increases as the distance between the two state sequences S decreases, and the similarity R decreases as the distance between the two state sequences S increases.
このように、移動軌跡Pを状態列Sに変換してから類似度Rを算出すると、中央制御装置10の処理が早くなる。たとえば、移動軌跡Pの各点pから類似度を算出したときの処理時間は、状態列Sに変換することで類似度Rを算出する処理時間の10倍以上の値になる。
As described above, when the similarity R is calculated after the movement trajectory P is converted into the state sequence S, the processing of the
また、本実施例では、DPマッチングによって類似度Rを算出する際には、約20秒の間に計測された移動軌跡Pとする。なお、この「20秒」という数値は、予備実験から求められたものであり、予測の正解率は80%以上であった。 In this embodiment, when the similarity R is calculated by DP matching, the movement trajectory P is measured for about 20 seconds. The numerical value of “20 seconds” was obtained from a preliminary experiment, and the accuracy rate of prediction was 80% or more.
図12を参照して、たとえば、検出領域E内で、20秒の間に移動軌跡P3が検出されると、中央制御装置10は移動軌跡P_T1〜移動軌跡P_T6との類似度Rを算出し、最も似ている移動軌跡P_Txを特定する。そして、中央制御装置10は、特定された移動軌跡P_Txに対応するトピックスTxの発話内容と、移動軌跡P3と対応する人間の位置とをロボット14に付与する。そして、ロボット14は、付与されたトピックTxの発話内容と人間の位置とに基づいて、移動軌跡P3と対応する人間に接近して、コミュニケーション行動の一環としてリコメンド情報を提供する。
Referring to FIG. 12, for example, when movement locus P3 is detected within 20 seconds within detection region E,
たとえば、移動軌跡P3と最も類似するのが移動軌跡P_T1であれば、ロボット14は、移動軌跡P3に対応する人間に接近して、「こんにちは」と話しかけた後に、「電車の発車時刻は12時だよ」と発話する。
For example, if the movement locus P_T1 is the most similar to the movement locus P3,
さらに、話しかけた人間が「ありがとう」や「了解です」などの肯定的な反応をした場合には、ロボット14は提供したリコメンド情報が受け入れられたとして、中央制御装置10に通知する。そして、中央制御装置10は、リコメンド情報を受け入れた人間の移動軌跡P3を、移動軌跡P_T1の移動軌跡リストに追加することで、移動軌跡P_T1を更新(再計算)する。
Further, when the person who talked to the mobile phone gives a positive response such as “thank you” or “I understand”, the
一方、話しかけた人間が「いりません」などの否定的な反応をした場合には、ロボット14は提供したリコメンド情報が受け入れられなかったとして、中央制御装置10に通知する。この場合、中央制御装置10は、別のトピックスをランダムに選択して、ランダムに選択されたトピックスTxの発話内容をロボット14に付与する。ロボット14は、新たに付与されたトピックスTxの発話内容に対応して、もう一度、リコメンド情報を提供する。
On the other hand, if the person who talked to the robot responds negatively such as “I don't need it”, the
そして、中央制御装置10は、2回目のリコメンド情報が受け入れられれば、移動軌跡P3を移動軌跡リストに追加するが、受け入れられなければロボット14にコミュニケーション行動を終了するように動作命令を付与する。
If the second recommendation information is accepted, the
このように、情報提供システム100は、人間の移動軌跡Pと類似する、移動軌跡P_Txを特定することで、人間の大局行動を予測することができる。そして、予測した大局行動に基づいて、リコメンド情報をロボット14によって提供することができる。
As described above, the
図13は、図2に示す中央制御装置10におけるメモリ18のメモリマップ300の一例を示す図解図である。図13に示すように、メモリ18はプログラム記憶領域302およびデータ記憶領域304を含む。プログラム記憶領域302には、位置記録プログラム312および情報提供プログラム314が記憶される。ただし、情報提供プログラム314は、類似移動軌跡特定プログラム314aをサブルーチンとして含む。
FIG. 13 is an illustrative view showing one example of a memory map 300 of the
位置記録プログラム312は、たとえばショッピングモール内に居る人間の位置を逐次記録するためのプログラムである。情報提供プログラム314は、リコメンド情報を提供する人間を選択して、ロボット14に動作命令を付与するためのプログラムである。類似移動軌跡特定プログラム314aは、検出された移動軌跡Pと類似する移動軌跡P_Txと特定するためのプログラムである。
The
なお、図示は省略するが、中央制御装置10を動作させるためのプログラムは、ネットワーク400を介してデータ通信を行うプログラムなどを含む。
Although illustration is omitted, the program for operating the
また、データ記憶領域304には、移動軌跡バッファ330および特定バッファ332が設けられる共に、トピックスデータ334、移動軌跡データ336および地図データ338が記憶される。また、データ記憶領域304には成功フラグ340が設けられる。
The
移動軌跡バッファ330は、位置記録プログラム312によって記録される人間の位置を一時的に記憶するためのバッファである。特定バッファ332は、類似移動軌跡特定プログラム314aの処理で、特定される移動軌跡P_Txを一時的に記憶するためのバッファである。トピックスデータ334は、図3(A)に示すトピックスリストのデータであり、特定された移動軌跡P_Txに対応して発話内容が読み出される。
The
移動軌跡データ336は、たとえば図3(B)に示す移動軌跡リストを含むデータであり、移動軌跡P_T1〜移動軌跡P_T6に対応する移動軌跡リストから構成される。地図データ338は、図8(A)および図8(B)に示す、ショッピングモールの地図および分割地図のデータを含み、分割地図のデータは、移動軌跡Pを状態列Sに変換する際に用いられる。
The
成功フラグ340は、リコメンド情報が受け入れられたか否かを判断するためのフラグである。たとえば、成功フラグ340は1ビットのレジスタで構成される。成功フラグ340がオン(成立)されると、レジスタにはデータ値「1」が設定される。一方、成功フラグ340がオフ(不成立)されると、レジスタにはデータ値「0」が設定される。また、成功フラグ340は、ロボット14からリコメンド情報が受け入れられたと通知されるとオンになり、ロボット14からリコメンド情報が受け入れられなかったと通知されるとオフになる。
The
なお、図示は省略するが、データ記憶領域304には、様々な計算の結果を一時的に格納するバッファなどが設けられると共に、中央制御装置10の動作に必要な他のカウンタやフラグも設けられる。
Although illustration is omitted, the
具体的には、中央制御装置10のCPU16は、図14、図15および図16に示す処理を含む、複数の処理を並列的に実行する。
Specifically, the
図14に示すように、中央制御装置10のCPU16は、位置記録処理を実行すると、ステップS1では、各人間の位置を検出する。つまり、検出領域E内にいる各人間の位置をLRF12によって検出する。続いて、ステップS3では、各人間の位置を移動軌跡Pnとして移動軌跡バッファ330に記憶させ、ステップS1に戻る。たとえば、人間の位置を移動軌跡P3(図11参照)とし、移動軌跡バッファ330は移動軌跡P3を記憶する。なお、ステップS1を実行するCPU16は検出手段として機能する。
As illustrated in FIG. 14, when the
図15は情報提供処理のフロー図である。図15で示すように、中央制御装置10のCPU16は、ステップS21で、終了操作か否かを判断する。たとえば、図示しない入力装置などに対して、情報提供処理を終了する操作がされたか否かを判断する。ステップS21で“YES”であれば、つまり終了操作がされれば、情報提供処理を終了する。一方、ステップS21で“NO”であば、つまり終了操作がされていなければ、ステップS23で情報提供可能な人間を選択する。つまり、リコメンド情報が提供されていない人間を選択する。たとえば、移動軌跡Pが、ロボット14の移動経路と同時刻で交差していない人間を抽出し、抽出された人間の中から、一定の距離以下で、かつ最もロボット14に近い人間を選択する。
FIG. 15 is a flowchart of the information providing process. As shown in FIG. 15, the
続いて、ステップS25では、選択できたか否かを判断する。つまり、ステップS23の処理でリコメンド情報を提供できる人間が選択されたか否かを判断する。ステップS25で“NO”であれば、つまり選択されてなければステップS21に戻る。一方、ステップS25で“YES”であれば、ステップS27で変数Cを初期化する。つまり、選択された人間に対してリコメンド情報を提供した回数をカウントする変数Cの値を1に設定する。 Subsequently, in step S25, it is determined whether or not the selection has been made. That is, it is determined whether or not a person who can provide recommendation information has been selected in the process of step S23. If “NO” in the step S25, that is, if not selected, the process returns to the step S21. On the other hand, if “YES” in the step S25, the variable C is initialized in a step S27. That is, the value of the variable C that counts the number of times the recommended information is provided to the selected person is set to 1.
続いて、ステップS29では、類似移動軌跡特定処理を実行する。このステップS29の処理については後述するため、ここでの詳細な説明は省略する。なお、ステップS29の処理を実行するCPU16は特定手段として機能する。続いて、ステップS31では、特定された移動軌跡P_Txに対応するトピックスTxを選択する。たとえば、移動軌跡P_T1が特定されていれば、トピックスT1が選択され、トピックスT1に対応する発話内容「電車の発車時刻は12時だよ」が読み出される。 Subsequently, in step S29, a similar movement locus specifying process is executed. Since the process of step S29 will be described later, detailed description thereof is omitted here. In addition, CPU16 which performs the process of step S29 functions as a specific means. Subsequently, in step S31, topics Tx corresponding to the specified movement locus P_Tx are selected. For example, if the movement trajectory P_T1 is specified, the topic T1 is selected, and the utterance content “Train departure time is 12:00” corresponding to the topic T1 is read.
なお、移動軌跡P_T2が特定されていればトピックスT2が選択され、「お勧めのメニューはカレーだよ」の発話内容が読み出される。また、移動軌跡P_T3が特定されていればトピックスT3が選択され、「15時からパレードがあるよ」の発話内容が読み出される。また、移動軌跡P_T4が特定されていればトピックスT4が選択され、「休憩所には自動販売機があるよ」の発話内容が読み出される。また、移動軌跡P_T5が特定されていればトピックスT5が選択され、「休憩所は向こうにもあるよ」の発話内容が読み出される。そして、移動軌跡P_T6が特定されていればトピックスT6が選択され、「案内図はあっちだよ」の発話内容が読み出される。 If the movement locus P_T2 is specified, the topic T2 is selected, and the utterance content “Recommended menu is curry” is read out. If the movement locus P_T3 is specified, the topic T3 is selected, and the utterance content “There is a parade from 15:00” is read out. If the movement locus P_T4 is specified, the topic T4 is selected, and the utterance content “There is a vending machine in the rest area” is read out. Further, if the movement locus P_T5 is specified, the topic T5 is selected, and the utterance content “There is a resting place over there” is read out. Then, if the movement trajectory P_T6 is specified, the topic T6 is selected, and the utterance content “A guide map is over there” is read out.
続いて、ステップS33では、選択された人間に近づき、リコメンド情報を提供する動作命令をロボットに付与する。つまり、選択されたトピックスTxの発話内容を発話するコミュニケーション行動を、選択された人間に対して実行するように、ロボット14に動作命令を付与する。たとえば、ロボット14には、移動軌跡P3と対応する人間に接近して、「電車の発車時刻は12時だよ」の発話を行うコミュニケーション行動の動作命令が付与される。
In step S33, the robot approaches the selected person and gives an operation command for providing recommendation information to the robot. That is, an operation command is given to the
続いて、ステップS35では、受け入れられたか否かを判断する。つまり、ロボット14によって提供されたリコメンド情報が受け入れられたか否かを判断する。具体的には、ロボット14から通知されるデータに基づいてオン/オフが切り替わる成功フラグ340によって判断する。ステップS35で“NO”であれば、つまりリコメンド情報が受け入れられなければ、ステップS39に進む。一方、ステップS35で“YES”であれば、つまりリコメンド情報が受け入れられれば、ステップS37で選択された人間の移動軌跡Pを移動軌跡リストに記憶させ、ステップS21に戻る。つまり、選択した人間の位置をさらに20秒間検出して、移動軌跡P_Txに対応する移動軌跡リストに、移動軌跡Pを記録する。さらに、新たな移動軌跡Pが記録されると、移動軌跡P_Txを再計算する。
Subsequently, in step S35, it is determined whether or not it has been accepted. That is, it is determined whether or not the recommendation information provided by the
たとえば、CPU16は、移動軌跡P3と対応する人間の位置をさらに検出して移動軌跡P3’を検出する。そして、CPU16は、移動軌跡P_T1に対応する移動軌跡リストに、移動軌跡P3’を記録(追加)し、さらに移動軌跡P_T1を再計算(更新)する。なお、ステップS37の処理を実行するCPU16は更新手段として機能する。
For example, the
ステップS39では、変数Cの値が2より小さいか否かを判断する。つまり、ロボット14がリコメンド情報を提供した回数が2回を超えていないか否かを判断する。ステップS39で“NO”であれば、つまりロボット14がリコメンド情報を2回提供していれば、ステップS41で情報提供の終了をロボット14に通知する。つまり、選択された人間に対するリコメンド情報の提供を終了する。
In step S39, it is determined whether or not the value of the variable C is smaller than 2. That is, it is determined whether or not the number of times that the
一方、ステップS39で“YES”であれば、つまりロボット14がリコメンド情報を2回提供していなければ、ステップS43で変数Cをインクリメントする。つまり、ロボット14によってリコメンド情報が提供された回数がカウントされる。続いて、ステップS45では、トピックスをランダムに選択し、ステップS33に戻る。つまり、ステップS45では、トピックスリストから任意のトピックスのIDを選択して、選択されたトピックスのIDに対応する発話内容を読み出す。なお、トピックスのIDをランダムに選択する処理には、1〜6の範囲で疑似乱数を返す関数を利用する。さらに、すでに選択されたトピックスのIDが選択された場合は、トピックスのIDをさらに再選択する処理を行ってもよい。なお、ステップS39で判断に利用する値を3以上に設定してもよい。
On the other hand, if “YES” in the step S39, that is, if the
図16は図15に示したステップS29の類似移動軌跡特定処理のフロー図である。図16で示すように、中央制御装置10のCPU16は、ステップS61では、変数xおよび変数Maxを初期化する。つまり、変数xに1を設定し、変数Maxに0を設定する。なお、個の変数Maxは、算出された類似度Rの最大値が設定される変数である。続いて、ステップS63では、選択された人間の移動軌跡Pを状態列Sに変換する。たとえば、数1に示す式に基づいて、移動軌跡P3が状態列S3に変換される。
FIG. 16 is a flowchart of the similar movement locus specifying process in step S29 shown in FIG. As shown in FIG. 16, the
続いて、ステップS65では、変数xが6以下であるか否かを判断する。つまり、移動軌跡Pと移動軌跡P_T1〜移動軌跡P_T6との類似度が全て算出されたか否かを判断する。ステップS65で“YES”であれば、つまり類似度が全て算出されていれば、類似移動軌跡特定処理を終了して、メインルーチンである情報提供処理に戻る。 Subsequently, in step S65, it is determined whether or not the variable x is 6 or less. That is, it is determined whether all the similarities between the movement locus P and the movement locus P_T1 to the movement locus P_T6 have been calculated. If “YES” in the step S65, that is, if all the similarities are calculated, the similar movement locus specifying process is ended, and the process returns to the information providing process which is the main routine.
一方、ステップS65で“NO”であれば、つまり類似度が全て算出されていなければ、ステップS67で移動軌跡P_Txを状態列S_Txに変換する。たとえば、変数xが1であれば、移動軌跡P_T1を状態列S_T1に変換する。続いて、ステップS69では、状態列Sと状態列S_Txとの類似度Rを算出する。たとえば、DPマッチングの処理によって、状態列Sと状態列S_T1との距離を算出し、算出された距離を類似度Rとする。 On the other hand, if “NO” in the step S65, that is, if all the degrees of similarity are not calculated, the moving trajectory P_Tx is converted into the state string S_Tx in a step S67. For example, if the variable x is 1, the movement trajectory P_T1 is converted into the state sequence S_T1. Subsequently, in step S69, the similarity R between the state sequence S and the state sequence S_Tx is calculated. For example, the distance between the state sequence S and the state sequence S_T1 is calculated by the DP matching process, and the calculated distance is set as the similarity R.
続いて、ステップS71では、類似度Rが変数Maxより大きいか否かを判断する。つまり、算出した類似度Rが、類似度の最大値が設定される変数Maxより大きいか否かを判断する。ステップS71で“NO”であれば、つまり算出された類似度Rが変数Maxより大きくなければ、ステップS77に進む。一方、ステップS71で“YES”であれば、つまり算出された類似度Rが変数Maxより大きければ、ステップS73で特定バッファ332の内容を移動軌跡P_Txに更新する。たとえば、移動軌跡P_T1を表わす座標のデータを特定バッファ332に格納する。また、特定バッファ332は、格納しているデータをリセット(消去)してから、新たなデータを格納する。続いて、ステップS75では、変数Maxに算出された類似度Rを設定する。つまり、類似度の最大値を更新する。続いて、ステップS77では、変数xをインクリメントし、ステップS65に戻る。つまり、次の移動軌跡P_Txとの類似度を算出するために、変数xがインクリメントされる。
Subsequently, in step S71, it is determined whether or not the similarity R is greater than the variable Max. That is, it is determined whether or not the calculated similarity R is greater than the variable Max for which the maximum similarity is set. If “NO” in the step S71, that is, if the calculated similarity R is not greater than the variable Max, the process proceeds to a step S77. On the other hand, if “YES” in the step S71, that is, if the calculated similarity R is larger than the variable Max, the contents of the
なお、ステップS65−S77における1回目のループでは、変数Maxが0に設定されるため、必ずステップS73,S75が実行される。つまり、変数Maxの初期値を0とすることで、リコメンド情報が必ず提供されるようになる。 In the first loop in steps S65 to S77, since the variable Max is set to 0, steps S73 and S75 are always executed. That is, by setting the initial value of the variable Max to 0, recommendation information is always provided.
図17は、ロボット14のCPU80が実行する全体処理のフロー図である。図17に示すように、ロボット14のCPU80は、ステップS91で、終了操作か否かを判断する。たとえば、ロボット14に設定された停止スイッチが操作されたか否かを判断する。なお、遠隔操作されるロボット14であれば、処理を終了するコマンドが送信されたか否かを判断する。ステップS91で“YES”であれば、つまり終了操作であれば、全体処理を終了する。一方、ステップS91で“NO”であれば、つまり終了操作でなければ、ステップS93で動作命令を付与されたか否かを判断する。つまり、リコメンド情報を提供する動作命令を受信したか否かを判断する。ステップS93で“NO”であれば、つまり動作命令を受信していなければ、ステップS91に戻る。
FIG. 17 is a flowchart of overall processing executed by the
一方、ステップS93で“YES”であれば、つまり動作命令を受信すれば、ステップS95で選択された人間に対して、受信した動作命令に従ってリコメンド情報を発話する。つまり、動作命令に含まれる座標に基づいて人間に接近し、「こんにちは」と発話してコミュニケーション行動を開始する。さらに、動作命令に含まれる発話内容に基づいて、たとえば「電車の発車時刻は12時だよ」と発話することで、対話相手である人間にリコメンド情報を提供する。たとえば、「左から右に通り過ぎる」の大局行動が予測される人間は、駅に向かっていると推定されるため、電車の出発時刻がリコメンド情報として提供される。 On the other hand, if “YES” in the step S93, that is, if an operation command is received, the recommendation information is uttered to the person selected in the step S95 according to the received operation command. In other words, close to the human beings on the basis of the coordinates that is included in the operating instructions, to start the communication behavior and speech as "Hello". Furthermore, based on the utterance content included in the operation command, for example, by saying “Train departure time is 12:00”, recommendation information is provided to a person who is a conversation partner. For example, a person who is predicted to have a global action of “passing from left to right” is presumed to be heading to the station, so the departure time of the train is provided as recommendation information.
なお、「右から来て、店舗の前に向かう」の大局行動が予測される人間は、店舗に向かっていると推定されるため、その店舗のお勧め商品(メニュー)がリコメンド情報として提供される。また、「左から右へ通り過ぎる」の大局行動が予測される人間は、アトラクション会場に向かっていると推定されるため、アトラクション会場でのイベントがリコメンド情報として提供される。 In addition, it is presumed that people who are predicted to be coming from the right and heading in front of the store are heading for the store, so the recommended product (menu) for that store is provided as recommendation information. The In addition, since it is estimated that a person who is predicted to have a global action of “passing from the left to the right” is heading to the attraction venue, the event at the attraction venue is provided as recommendation information.
また、「休憩している」の大局行動が予測される人間には、休憩スペースの設備(自動販売機)がリコメンド情報として提供される。また、「休憩スペースの周りを歩いている」の大局行動が予測される人間は、休憩しようとしていると推定されるため、他の休憩スペースの場所がリコメンド情報として提供される。また、「歩き回っている」の大局行動が予測される人間は、ショッピングモール内で迷っているか、行き先を決めかねていると推定されるため、ショッピングモール内の案内図がある場所がリコメンド情報として提供される。 In addition, rest space equipment (vending machine) is provided as recommendation information to a person who is predicted to have a global action of “resting”. In addition, since it is estimated that a person who is predicted to be “walking around the rest space” is going to take a rest, the location of another rest space is provided as recommendation information. In addition, people who are predicted to be “walking” are presumed to be lost in the shopping mall or to decide where to go, so the location with a guide map in the shopping mall is provided as recommended information. Is done.
続いて、ステップS97では、発話内容が受け入れられたか否かを判断する。つまり、発話したリコメンド情報が受け入れられたか否かを判断する。また、具体的には、マイク66によって、対話相手が発話する音声を認識して、発話内容が受け入れられたか否かを判断する。なお、ロボット14は、目カメラ70によって対話相手の顔を撮影することで顔のパターン認識を行い、発話内容が受け入れられたか否かを判断してもよい。ステップS97で“YES”であれば、つまりリコメンド情報が受け入れられれば、ステップS99で、受け入れられたことを中央制御装置10に通知して、ステップS91に戻る。つまり、対話相手に提供したリコメンド情報が受け入れられたことを、中央制御装置10に通知する。
Subsequently, in step S97, it is determined whether or not the utterance content is accepted. That is, it is determined whether or not the recommended information spoken is accepted. Specifically, the
一方、ステップS97で“NO”であれば、つまりリコメンド情報が受け入れられなければ、ステップS101で受け入れられなかったことを中央制御装置10に通知する。つまり、対話相手に提供したリコメンド情報が受け入れられなかったことを、中央制御装置10に通知する。続いて、ステップS103で情報提供の終了が通知されたか否かを判断する。つまり、中央制御装置10から、リコメンド情報の提供を終了する通知がされたか否かを判断する。ステップS103で“YES”であれば、つまり終了の通知がされればステップS91に戻る。一方、ステップS103で“NO”であれば、つまり終了の通知がされなければ、ステップS95に戻る。
On the other hand, if “NO” in the step S97, that is, if the recommendation information is not accepted, the
なお、ステップS99の処理が終了するか、ステップS103で“YES”と判断された場合に、ロボット14は、「またね」と発話してコミュニケーション行動を終了する。また、ステップS103で“NO”と判断された場合に、ロボット14は、「じゃあ、他のお勧めを教えるね」と発話して、コミュニケーション行動を継続する。
If the process of step S99 is completed or if “YES” is determined in step S103, the
また、ロボット14が発話するリコメンド情報は、対話相手の人間が反応を返しやすくするために、疑問形で発話されてもよい。たとえば、「電車の発車時刻は12時だよ」は、「駅に向かうなら、電車の発車時刻は12時だけど、大丈夫?」と発話される。
Also, the recommendation information uttered by the
また、ステップS33の処理を実行する中央制御装置10のCPU16と、ステップS95の処理を実行するロボット14のCPU80とは情報提供手段として機能する。さらに、ステップS35の処理を実行する中央制御装置10のCPU16と、ステップS97の処理を実行するロボット14のCPU80とは判断手段として機能する。
Further, the
この実施例によれば、情報提供システム100は、中央制御装置10、ショッピングモール内に設置されるLRF12およびロボット14を含む。中央制御装置10が備えるメモリ18には、ショッピングモール内の店舗や、周辺の駅およびアトラクション会場に関するリコメンド情報であるトピックスT1−T6と、店舗、駅およびアトラクション会場に向かう大局行動を表わす移動軌跡P_T1〜移動軌跡P_T6とが記録されるトピックスリストが記憶されている。
According to this embodiment, the
また、ショッピングモール内に居る人間は、LRF12によって移動軌跡Pが検出され、トピックスリストに記録されている移動軌跡P_T1〜移動軌跡P_T6との類似度Rがそれぞれ算出される。そして、中央制御装置10では、類似度の最大値Maxより大きく、かつ最も大きい類似度Rが算出された移動軌跡P_Txに対応するトピックスTxの発話内容が読み出される。ロボット14は、人間とのコミュニケーション行動を行いながら、読み出されたトピックスTxの発話内容に基づいて発話することで、リコメンド情報を提供する。
In addition, the person who is in the shopping mall detects the movement locus P by the
このように、人間の移動軌跡Pを検出することで、その人間が行う大局行動を予測することができるため、その大局行動に応じたリコメンド情報を提供することができる。 Thus, by detecting the movement trajectory P of a person, it is possible to predict a global action performed by the person, and therefore it is possible to provide recommendation information according to the global action.
また、中央制御装置10は、リコメンド情報を受け入れた人間の移動軌跡Pに基づいて、リコメンド情報に対応する移動軌跡P_Txを更新する。このように、リコメンド情報に対応する移動軌跡P_Txを更新することで、大局行動を予測する精度が向上する。
Further, the
また、提供するリコメンド情報が複数用意されているため、複数の人間から異なる移動軌跡Pを検出したとしても、情報提供システム100は、複数の人間のそれぞれに適したリコメンド情報を提供できる。
Also, since a plurality of recommended information to be provided is prepared, the
そして、リコメンド情報は、コミュニケーション行動を行うことができるロボット14によって提供される。
And recommendation information is provided by the
なお、本実施例では、1つのトピックスTに対応する移動軌跡P_Tは1つだけに限らず、複数の移動軌跡P_Tが対応するようにしてもよい。また、移動軌跡リストに記録されている各移動軌跡をk-means法によってクラスタリングすることで、トピックスTxに対応する移動軌跡P_Txを算出するようにしてもよい。 In the present embodiment, the movement trajectory P_T corresponding to one topic T is not limited to one, and a plurality of movement trajectories P_T may correspond. Further, the movement trajectory P_Tx corresponding to the topic Tx may be calculated by clustering each movement trajectory recorded in the movement trajectory list by the k-means method.
また、本実施例では、ロボット14によってリコメンド情報を提供したが、人間が所持する携帯電話などの携帯端末にリコメンド情報を発信することで、リコメンド情報を提供するようにしてもよい。この場合、携帯端末は、音声ではなく、文字列や画像によってリコメンド情報を提供する。また、人間が所持する携帯端末は、携帯端末との無線通信における電波強度を利用して特定されてもよいし、加速度センサを有する携帯端末であれば、加速度のデータを利用して特定されてもよい。
In the present embodiment, the recommendation information is provided by the
また、さらに多くの大局行動を抽出することで、提供するリコメンド情報を増やしてもよい。 Further, the recommended information to be provided may be increased by extracting more global actions.
また、人間の位置を検出するためにLRF12を用いたが、LRF12に代えて超音波距離センサやミリ波レーダなどを用いて、人間の位置を検出してもよい。
Further, although the
10 …中央制御装置
12a−12f …LRF
14 …ロボット
16 …CPU
18 …メモリ
80 …CPU
400 …ネットワーク
10 ...
14 ...
18 ...
400 ... Network
Claims (5)
複数のリコメンド情報と、前記複数のリコメンド情報の各々に対応して予め設定した複数の第1移動軌跡とを記憶する記憶手段、
移動している前記人間の位置の変化を第2移動軌跡として検出する検出手段、
前記検出手段によって第2移動軌跡を検出したとき、その第2移動軌跡と前記記憶手段に記憶された全ての第1移動軌跡との類似度を算出し、第2移動軌跡との類似度が最も大きい第1移動軌跡を特定する特定手段、および
前記特定手段によって特定された第1移動軌跡に対応するリコメンド情報を前記人間に提供する情報提供手段を備える、情報提供システム。 An information providing system for providing recommended information according to the human behavior to an arbitrarily moving human,
A plurality of the recommendation information, the plurality of the plurality of first moving path and the memorize storing means which is set in advance corresponding to each of the recommendation information,
Detecting means for detecting a change in position of the person is moving the second moving track,
When the second movement locus is detected by the detecting means, the similarity between the second movement locus and all the first movement locus stored in the storage means is calculated, and the similarity with the second movement locus is the highest. Specifying means for specifying a large first movement locus; and
An information providing system comprising information providing means for providing recommendation information corresponding to the first movement locus specified by the specifying means to the person.
前記判断手段によって前記リコメンド情報が前記人間に受け入れられたと判断されたとき、前記検出手段によって検出された第2移動軌跡を当該リコメンド情報に対応する第1移動軌跡として前記記憶手段に追加する更新手段をさらに備える、請求項1記載の情報提供システム。 Determination means for the recommendation are decision received in said human, and when it is determined that the recommendation information is received in the human by the determining means, the second movement trajectory detected by the detecting means The information providing system according to claim 1, further comprising update means for adding to the storage means as a first movement locus corresponding to the recommendation information .
前記人間が任意に移動する場所に設定されるロボット、およびA robot set in a place where the human moves arbitrarily, and
前記特定手段によって特定された第1移動軌跡に対応するリコメンド情報を前記記憶手段から読み出して、前記人間が任意に移動する場所に設置されたロボットに動作命令として付与する動作命令付与手段を含み、Including operation command giving means for reading recommended information corresponding to the first movement trajectory specified by the specifying means from the storage means and giving it as an operation command to a robot installed at a place where the human moves arbitrarily;
前記動作命令付与手段によって付与された動作命令に基づいて前記ロボットが前記人間に前記リコメンド情報を提供する、請求項1または2記載の情報提供システム。The information providing system according to claim 1, wherein the robot provides the recommendation information to the human based on the operation command given by the motion command giving unit.
前記動作命令付与手段によって付与された前記人間の現在位置に基づいて当該人間に接近した前記ロボットが前記リコメンド情報を提供する、請求項3記載の情報提供システム。The information providing system according to claim 3, wherein the robot approaching the person provides the recommendation information based on the current position of the person given by the operation command giving unit.
前記動作命令は、前記コミュニケーションロボットが発話する発話内容を含む、請求項の3または4記載の情報提供システム。 The robot includes a communication robot that performs a communication action including at least one of body motion and voice on the human ,
The information providing system according to claim 3 or 4 , wherein the operation command includes an utterance content uttered by the communication robot .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009077950A JP5366048B2 (en) | 2009-03-27 | 2009-03-27 | Information provision system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009077950A JP5366048B2 (en) | 2009-03-27 | 2009-03-27 | Information provision system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010231470A JP2010231470A (en) | 2010-10-14 |
JP5366048B2 true JP5366048B2 (en) | 2013-12-11 |
Family
ID=43047226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009077950A Active JP5366048B2 (en) | 2009-03-27 | 2009-03-27 | Information provision system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5366048B2 (en) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012111138A1 (en) * | 2011-02-18 | 2012-08-23 | 株式会社日立製作所 | Pedestrian movement information detection device |
JP2012203646A (en) * | 2011-03-25 | 2012-10-22 | Advanced Telecommunication Research Institute International | Flow-state discrimination device, flow-state discrimination method, flow-state discrimination program, and robot control system using the device, method and program |
JP5750610B2 (en) * | 2011-03-29 | 2015-07-22 | 株式会社国際電気通信基礎技術研究所 | Price determination device and price determination system |
JP6095041B2 (en) * | 2012-05-25 | 2017-03-15 | 学校法人立命館 | Spatial control system |
JP5942840B2 (en) | 2012-12-21 | 2016-06-29 | ソニー株式会社 | Display control system and recording medium |
JP6120404B2 (en) * | 2013-05-28 | 2017-04-26 | Kddi株式会社 | Mobile body behavior analysis / prediction device |
JP5986545B2 (en) * | 2013-08-20 | 2016-09-06 | Kddi株式会社 | Route generation system, route generation device, and route generation method |
US9517559B2 (en) | 2013-09-27 | 2016-12-13 | Honda Motor Co., Ltd. | Robot control system, robot control method and output control method |
JP6571945B2 (en) * | 2015-02-17 | 2019-09-04 | 本田技研工業株式会社 | ENVIRONMENT RECOGNIZING DEVICE AND ROBOT HAVING THE SAME |
WO2016142794A1 (en) | 2015-03-06 | 2016-09-15 | Wal-Mart Stores, Inc | Item monitoring system and method |
US20160260049A1 (en) | 2015-03-06 | 2016-09-08 | Wal-Mart Stores, Inc. | Shopping facility assistance systems, devices, and methods to dispatch and recover motorized transport units that effect remote deliveries |
US20180099846A1 (en) | 2015-03-06 | 2018-04-12 | Wal-Mart Stores, Inc. | Method and apparatus for transporting a plurality of stacked motorized transport units |
KR101648827B1 (en) * | 2015-03-11 | 2016-08-17 | (주)중외정보기술 | System for providing event real time location based and method for managing mobile device using the same |
CA2961938A1 (en) | 2016-04-01 | 2017-10-01 | Wal-Mart Stores, Inc. | Systems and methods for moving pallets via unmanned motorized unit-guided forklifts |
MX2017011354A (en) * | 2016-09-07 | 2018-09-21 | Walmart Apollo Llc | In-store audio systems, devices, and methods. |
WO2018087994A1 (en) * | 2016-11-14 | 2018-05-17 | シャープ株式会社 | Communication device, control method, and information processing program |
JP2019164562A (en) * | 2018-03-19 | 2019-09-26 | 株式会社リコー | Information processing system, information processing device, information providing method, and display device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3746077B2 (en) * | 1993-12-14 | 2006-02-15 | 松下電器産業株式会社 | Route search display device |
-
2009
- 2009-03-27 JP JP2009077950A patent/JP5366048B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010231470A (en) | 2010-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5366048B2 (en) | Information provision system | |
EP2068275B1 (en) | Communication robot | |
JP5429462B2 (en) | Communication robot | |
JP4822319B2 (en) | Communication robot and attention control system using the same | |
JP5318623B2 (en) | Remote control device and remote control program | |
JP5768273B2 (en) | A robot that predicts a pedestrian's trajectory and determines its avoidance behavior | |
JP5405381B2 (en) | Spoken dialogue device | |
JP2007139710A (en) | Walking-aid robot | |
JP5764795B2 (en) | Mobile robot, mobile robot learning system, and mobile robot behavior learning method | |
JP2007260822A (en) | Guide robot | |
JP5411789B2 (en) | Communication robot | |
JP2007190641A (en) | Communication robot | |
JP6134895B2 (en) | Robot control system, robot control program, and explanation robot | |
JP2012208782A (en) | Move prediction apparatus, robot control device, move prediction program and move prediction method | |
JP2015066621A (en) | Robot control system, robot, output control program and output control method | |
JP2009151419A (en) | Method and apparatus for specifying target | |
JP2023095918A (en) | Robot, method for controlling robot, and program | |
JP4764377B2 (en) | Mobile robot | |
KR20180074404A (en) | Robot for airport and method thereof | |
JP2017170568A (en) | Service providing robot system | |
JP5552710B2 (en) | Robot movement control system, robot movement control program, and robot movement control method | |
JP7317436B2 (en) | ROBOT, ROBOT CONTROL PROGRAM AND ROBOT CONTROL METHOD | |
JP5324956B2 (en) | Road guidance robot | |
JP5115886B2 (en) | Road guidance robot | |
JP2017177228A (en) | Service provision robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5366048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |