JP5366048B2 - Information provision system - Google Patents

Information provision system Download PDF

Info

Publication number
JP5366048B2
JP5366048B2 JP2009077950A JP2009077950A JP5366048B2 JP 5366048 B2 JP5366048 B2 JP 5366048B2 JP 2009077950 A JP2009077950 A JP 2009077950A JP 2009077950 A JP2009077950 A JP 2009077950A JP 5366048 B2 JP5366048 B2 JP 5366048B2
Authority
JP
Japan
Prior art keywords
robot
person
movement locus
human
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009077950A
Other languages
Japanese (ja)
Other versions
JP2010231470A (en
Inventor
崇行 神田
昌裕 塩見
フェアチャイルド グラス ディラン
聡 佐竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2009077950A priority Critical patent/JP5366048B2/en
Publication of JP2010231470A publication Critical patent/JP2010231470A/en
Application granted granted Critical
Publication of JP5366048B2 publication Critical patent/JP5366048B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information providing system which predicts behavior of a person to provide information. <P>SOLUTION: The information providing system 100 includes a central control device 10, an LRF (Laser Range Finder) 12 and a robot 14. A topic which is recommendation information on stores in a shopping mall, and a moving trajectory (P_Tx) which represents a comprehensive behavior to the stores, are stored in the memory (18) of the central control device 10. The moving trajectory (P) of a person in the shopping mall are detected by the LRF 12, and the most similar moving trajectory (P_Tx) is identified. Then, the central control device 10 reads content of speech of topics corresponding to the identified moving trajectory (P_Tx), and adds it to the robot 14 together with the position of the person. The robot 14 speaks the content of speech of the topic added, to provide the recommendation information to the person. The comprehensive behavior of the person is predicted from the detected moving trajectory, and the recommendation information is given to the person on the basis of the comprehensive behavior thus predicted. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

この発明は、情報提供システムに関し、特にたとえば任意に移動する人間にリコメンド情報を提供する、情報提供システムに関する。   The present invention relates to an information providing system, and more particularly to an information providing system that provides recommended information to a human who moves arbitrarily, for example.

特許文献1に開示されている、カーナビゲーションシステムでは、運転の誘導処理を行うことで、目的地設定時刻と到着時刻と到着地特定情報を対応付けて運転履歴として蓄える。そして、運転履歴を分析することで、運転者にリコメンド(情報のお勧め)などのサービスを提供する。   In the car navigation system disclosed in Patent Document 1, the destination setting time, the arrival time, and the arrival location specifying information are associated with each other and stored as a driving history by performing a driving guidance process. Then, by analyzing the driving history, services such as recommendations (recommendation of information) are provided to the driver.

また、特許文献2に開示されている、自律移動型ロボットは、ステレオ画像として観測するための左右一対のCCDカメラを備え、随伴する特定人物を順次撮影することで、特定人物の進路を予測する。そして、自律移動型ロボットは、特定人物の進路に不特定人物がいる場合に、特定人物を退避させるため、歩行案内の音声を出力する。   The autonomous mobile robot disclosed in Patent Document 2 includes a pair of left and right CCD cameras for observing as a stereo image, and predicts the course of the specific person by sequentially capturing the accompanying specific person. . Then, when there is an unspecified person in the course of the specific person, the autonomous mobile robot outputs a walk guidance voice to evacuate the specific person.

また、非特許文献1に開示されている、環境情報構造化システムには、自律行動によって人間に近づきサービスを開始することができるロボットが含まれ、そのロボットの活動範囲内に設けられるLRF(レーザーレンジファインダ)を利用して人間の移動軌跡を計測し、その移動軌跡から、人間の大局行動を予測する。   In addition, the environmental information structuring system disclosed in Non-Patent Document 1 includes a robot that can approach a human by autonomous behavior and start a service, and an LRF (laser) provided within the robot's activity range. A human movement trajectory is measured using a range finder, and the human global behavior is predicted from the movement trajectory.

特開2006−250879号公報[G01C 21/00, G08G 1/0969]JP 2006-250879 A [G01C 21/00, G08G 1/0969] 特開2007−229816号公報[B25J 13/08, B25J 5/00]JP 2007-229816 [B25J 13/08, B25J 5/00]

Takayuki Kanda, Dylan F. Glas, Masahiro Shiomi, Hiroshi Ishiguro and Norihiro Hagita, Who will be the customer?: A social robot that anticipates people’s behavior from their trajectories, Tenth International Conference on Ubiquitous Computing (UbiComp 2008), pp.380-389, 2008Takayuki Kanda, Dylan F. Glas, Masahiro Shiomi, Hiroshi Ishiguro and Norihiro Hagita, Who will be the customer ?: A social robot that anticipates people's behavior from their trajectories, Tenth International Conference on Ubiquitous Computing (UbiComp 2008), pp.380- 389, 2008

特許文献1に開示されるカーナビゲーションシステムは、運転履歴がなければリコメンドのサービスを提供することができない。また、特許文献2に開示される自律移動ロボットでは、特定人物に対する数秒以内の進路しか予測できず、予測した結果を利用してサービスを提供するシステムには不向きである。そして、非特許文献1のように、人間の移動軌跡から大局行動を予測することができるが、そのような予測技術をリコメンドなどの情報提供サービスと組み合わせる技術はこれまでに実現されていない。   The car navigation system disclosed in Patent Literature 1 cannot provide a recommendation service without a driving history. Further, the autonomous mobile robot disclosed in Patent Document 2 can only predict a course within a few seconds for a specific person, and is not suitable for a system that provides a service using the predicted result. As in Non-Patent Document 1, global behavior can be predicted from a human movement trajectory, but a technology that combines such prediction technology with an information providing service such as a recommendation has not been realized so far.

それゆえに、この発明の主たる目的は、新規な、情報提供システムを提供することである。   Therefore, a main object of the present invention is to provide a novel information providing system.

この発明の他の目的は、人間の行動を予測して情報提供を行うことができる、情報提供システムである。   Another object of the present invention is an information providing system capable of providing information by predicting human behavior.

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。   The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.

第1の発明は、任意に移動する人間に当該人間の行動に応じたリコメンド情報を提供する情報提供システムであって、複数のリコメンド情報と、複数のリコメンド情報の各々に対応して予め設定した複数の第1移動軌跡とを記憶する記憶手段、移動している人間の位置の変化を第2移動軌跡として検出する検出手段、検出手段によって第2移動軌跡を検出したとき、その第2移動軌跡と記憶手段に記憶された全ての第1移動軌跡との類似度を算出し、第2移動軌跡との類似度が最も大きい第1移動軌跡を特定する特定手段、および特定手段によって特定された第1移動軌跡に対応するリコメンド情報を人間に提供する情報提供手段を備える、情報提供システムである。 1st invention is the information provision system which provides the recommendation information according to the said person's action to the human who moves arbitrarily, Comprising: It sets beforehand corresponding to each of a plurality of recommendation information and a plurality of recommendation information storage means for memorize a plurality of first moving path, detection means for detecting a change in position of the person is moving the second movement trajectory, upon detection of a second movement trajectory by the detection means, moves the second The degree of similarity between the trajectory and all the first movement trajectories stored in the storage means is calculated, the specifying means for specifying the first movement trajectory having the highest similarity with the second movement trajectory, and the specifying means It is an information provision system provided with the information provision means which provides the recommendation information corresponding to a 1st movement locus | trajectory to a human.

第1の発明では、情報提供システム(100)は、たとえば、ショッピングモール内に居る人間に対して、ショッピングモール周囲にある駅などの状況をリコメンド情報として提供する。記憶手段(18)は、たとえばRAMやHDDで構成されるメモリであり、リコメンド情報と、大局行動を表わす第1移動軌跡とを対応付けて記憶する。たとえば、駅の状況を表わすリコメンド情報には、駅に向かう大局行動を表わす第1移動軌跡が対応付けられる。   In the first invention, the information providing system (100) provides, for example, a situation such as a station around the shopping mall as recommendation information to a person in the shopping mall. The storage means (18) is a memory composed of, for example, a RAM or an HDD, and stores the recommendation information and the first movement locus representing the global action in association with each other. For example, the recommendation information representing the situation of the station is associated with the first movement locus representing the global action toward the station.

ショッピングモール内には、LRF(12)が設置されており、LRFは移動する人間の位置を検出する。そして、検出手段(12,16,S1)は、人間の位置の変化を第2移動軌跡として検出する。また、第1移動軌跡と第2移動軌跡とは、状態列(S)に変換され、DPマッチングによって類似度(R)が算出される。そして、情報提供手段(10,14,16,S33,80,S95)は、算出した類似度が所定値以上であれば、第2移動軌跡が検出された人間に対して、駅の状況を表わすリコメンド情報を提供する。   An LRF (12) is installed in the shopping mall, and the LRF detects the position of a moving person. And a detection means (12, 16, S1) detects the change of a person's position as a 2nd movement locus | trajectory. Further, the first movement locus and the second movement locus are converted into a state sequence (S), and the similarity (R) is calculated by DP matching. Then, the information providing means (10, 14, 16, S33, 80, S95) indicates the status of the station to the person from whom the second movement locus is detected if the calculated similarity is equal to or greater than a predetermined value. Provide recommendation information.

第1の発明によれば、人間の移動軌跡を検出することで、その人間が行う大局行動を予測することができるため、その大局行動に応じたリコメンド情報を提供することができる。   According to the first aspect of the present invention, it is possible to predict a global action performed by a person by detecting the movement trajectory of the person, and therefore it is possible to provide recommendation information corresponding to the global action.

第2の発明は、第1の発明に従属し、リコメンド情報が人間に受け入れられたか否かを判断する判断手段、および判断手段によってリコメンド情報が人間に受け入れられたと判断されたとき、検出手段によって検出された第2移動軌跡を当該リコメンド情報に対応する第1移動軌跡として記憶手段に追加する更新手段をさらに備える。 A second invention is according to the first invention, when the recommendation information is determined to have been accepted by the human by the determination means, and determination means for determining whether recommendation information is received in humans, by the detection means Update means for adding the detected second movement locus to the storage means as a first movement locus corresponding to the recommendation information is further provided.

第2の発明では、判断手段(10,14,16,S35,80,S97)は、リコメンド情報を提供した人間の音声や、表情などからそのリコメンド情報が受け入れられたかを判断する。そして、更新手段(16,S37)は、リコメンド情報を受け入れた人間の第2移動軌跡と、記憶手段にすでに記憶されている第1移動軌跡とから新たな移動軌跡を算出することで、第1移動軌跡を更新する。   In the second invention, the judging means (10, 14, 16, S35, 80, S97) judges whether the recommended information is accepted from the voice of the person who provided the recommended information, facial expressions, or the like. Then, the updating means (16, S37) calculates a new movement locus from the second movement locus of the person who has received the recommendation information and the first movement locus already stored in the storage means. Update the movement trajectory.

第2の発明によれば、提供されるリコメンド情報に対応する第1移動軌跡を更新することで、大局行動を予測する精度を向上させることができる。   According to 2nd invention, the precision which estimates global action can be improved by updating the 1st movement locus | trajectory corresponding to the recommendation information provided.

第3の発明は、第1の発明または第2の発明に従属し、情報提供手段は、人間が任意に移動する場所に設定されるロボット、および特定手段によって特定された第1移動軌跡に対応するリコメンド情報を記憶手段から読み出して、人間が任意に移動する場所に設置されたロボットに動作命令として付与する動作命令付与手段を含み、動作命令付与手段によって付与された動作命令に基づいてロボットが人間にリコメンド情報を提供する。 The third invention is dependent on the first invention or the second invention, and the information providing means corresponds to the robot set at a place where a human arbitrarily moves and the first movement locus specified by the specifying means. The operation information providing means for reading the recommended information from the storage means and assigning the recommended information as an operation command to the robot installed at a place where the human arbitrarily moves, and the robot is based on the operation command given by the operation command giving means. Provide recommended information to humans.

第4の発明は、第3の発明に従属し、動作命令付与手段は、動作命令と共に、第2移動軌跡に対応する人間の現在位置を前記ロボットに付与し、動作命令付与手段によって付与された人間の現在位置に基づいて当該人間に接近したロボットがリコメンド情報を提供する。The fourth invention is dependent on the third invention, and the motion command giving means gives the robot a current position corresponding to the second movement locus together with the motion command, and is given by the motion command giving means. Based on the current position of the person, the robot approaching the person provides recommendation information.

の発明は、第3の発明または第4の発明に従属し、ロボットは、人間に対して身体動作および音声の少なくとも一方を含むコミュニケーション行動を行うコミュニケーションロボットを含み、動作命令は、コミュニケーションロボットが発話する発話内容を含む。 A fifth invention is according to the third invention or the fourth invention, the robot comprises a communication robot performing the communication behavior including at least one of body motion and sound to a human, the operation instruction communication robot Contains the utterance content that utters.

の発明では、コミュニケーションロボット(14)は、自律行動によって人間に近づくことができ、人間は、コミュニケーションロボットとのコミュニケーション行動の一環としてリコメンド情報を提供される。 In the fifth invention, the communication robot (14) can approach a human by autonomous behavior, and the human is provided with recommendation information as part of the communication behavior with the communication robot.

の発明によれば、コミュニケーションロボットを利用して、リコメンド情報を提供できる。 According to the fifth aspect , recommendation information can be provided using a communication robot.

この発明によれば、人間の移動軌跡を検出することで、その人間が行う大局行動を予測できるため、予測された大局行動に応じたリコメンド情報を人間に提供することができる。   According to the present invention, since the global action performed by the person can be predicted by detecting the movement trajectory of the person, recommendation information corresponding to the predicted global action can be provided to the person.

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図1はこの発明の情報提供システムの概要を示す図解図である。FIG. 1 is an illustrative view showing an outline of an information providing system of the present invention. 図2は図1に示す中央制御装置の電気的な構成を示すブロック図である。FIG. 2 is a block diagram showing an electrical configuration of the central controller shown in FIG. 図3は図2に示すメモリに記憶されるトピックスリストおよび移動軌跡リストの一例を示す図解図である。FIG. 3 is an illustrative view showing one example of a topics list and a movement trajectory list stored in the memory shown in FIG. 図4は図1に示すロボットの外観を正面から見た図解図である。FIG. 4 is an illustrative view showing the appearance of the robot shown in FIG. 1 from the front. 図5は図1に示すロボットの電気的な構成を示すブロック図である。FIG. 5 is a block diagram showing an electrical configuration of the robot shown in FIG. 図6は図1および図2に示すLRFの計測領域を示す図解図である。FIG. 6 is an illustrative view showing a measurement region of the LRF shown in FIGS. 1 and 2. 図7は図1および図2に示すLRFを利用して検出された人間の移動軌跡の一例を示す図解図である。FIG. 7 is an illustrative view showing one example of a human movement locus detected using the LRF shown in FIGS. 1 and 2. 図8は図1に示すLRFおよびロボットが設置される或る場所の地図を示す図解図である。FIG. 8 is an illustrative view showing a map of a certain place where the LRF and the robot shown in FIG. 1 are installed. 図9は図3に示すトピックスリストに記録される移動軌跡の一例を示す図解図である。FIG. 9 is an illustrative view showing one example of a movement trajectory recorded in the topics list shown in FIG. 図10は図2に示す中央制御装置のCPUによって変換される移動軌跡と変換された状態列との関係を示す図解図である。FIG. 10 is an illustrative view showing the relationship between the movement trajectory converted by the CPU of the central control unit shown in FIG. 2 and the converted state sequence. 図11は図2に示す中央制御装置のCPUによって実行されるDPマッチングの処理の一例を示す図解図である。FIG. 11 is an illustrative view showing one example of DP matching processing executed by the CPU of the central controller shown in FIG. 図12は図1および図2に示すLRFによって検出される或る人間の移動軌跡の一例を示す図解図である。FIG. 12 is an illustrative view showing one example of a movement trajectory of a human being detected by the LRF shown in FIGS. 1 and 2. 図13は図2に示す中央制御装置のメモリのメモリマップの一例を示す図解図である。FIG. 13 is an illustrative view showing one example of a memory map of a memory of the central control unit shown in FIG. 図14は図2に示す中央制御装置のCPUの位置記録処理を示すフロー図である。FIG. 14 is a flowchart showing the position recording process of the CPU of the central controller shown in FIG. 図15は図2に示す中央制御装置のCPUの情報提供処理を示すフロー図である。FIG. 15 is a flowchart showing the information providing process of the CPU of the central controller shown in FIG. 図16は図2に示す中央制御装置のCPUの類似移動軌跡特定処理を示すフロー図である。FIG. 16 is a flowchart showing the similar movement locus specifying process of the CPU of the central controller shown in FIG. 図17は図5に示すロボットのCPUの全体処理を示すフロー図である。FIG. 17 is a flowchart showing the overall processing of the CPU of the robot shown in FIG.

図1を参照して、この実施例の情報提供システム100は、LRF12a,12bを含む数台のLRFを有する中央制御装置10および自律移動ロボット(以下、単に「ロボット」と言う。)14を備える。LRF12,12bは、人間が任意に移動することができる場所に設置され、中央制御装置10は、LRF12a,12bによって、任意に移動する人間Aの移動軌跡(第2移動軌跡)を検出する。たとえば、人間Aが任意に行動する場所は、会社のフロア、博物館、ショッピングモールまたはアトラクション会場などであり、LRF12a,12bは様々な場所(環境)に設置される。   Referring to FIG. 1, an information providing system 100 according to this embodiment includes a central control device 10 having several LRFs including LRFs 12a and 12b and an autonomous mobile robot (hereinafter simply referred to as “robot”) 14. . LRF12, 12b is installed in the place where a human can move arbitrarily, and central controller 10 detects the movement locus (second movement locus) of human A who moves arbitrarily by LRF12a, 12b. For example, the place where the person A acts arbitrarily is a company floor, a museum, a shopping mall, an attraction venue, or the like, and the LRFs 12a and 12b are installed in various places (environments).

また、中央制御装置10は、ネットワーク400を介して、リコメンド情報を人間Aに提供させる動作命令をロボット14に付与する。そして、ロボット14は、付与された動作命令に従って、人間Aに対してリコメンド情報を提供する。つまり、情報提供システム100は、検出した人間Aに対してリコメンド情報を提供する。   In addition, the central control device 10 gives an operation command to the robot 14 via the network 400 so as to provide recommendation information to the person A. Then, the robot 14 provides recommendation information to the person A according to the given operation command. That is, the information providing system 100 provides recommendation information to the detected person A.

なお、ここでは簡単のため人間は1人しか示していないが、中央制御装置10は2人以上の位置を同時に検出することができる。さらに、ロボット14も同様に1台しか示していないが、中央制御装置10は2台以上のロボット14を同時に管理することができる。また、ロボット14は、相互作用指向のロボット(コミュニケーションロボット)でもあり、人間Aのようなコミュニケーションの対象(コミュニケーション対象)との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。   Although only one person is shown here for simplicity, the central controller 10 can simultaneously detect the positions of two or more persons. Furthermore, although only one robot 14 is shown, the central controller 10 can simultaneously manage two or more robots 14. The robot 14 is also an interaction-oriented robot (communication robot) and communicates with a communication target (communication target) such as the human A including at least one of body movement such as gesture gesture and voice. Has the ability to perform actions.

図2は中央制御装置10の電気的な構成を示すブロック図である。この図2を参照して、中央制御装置10は、LRF12a−12fおよびCPU16などを含む。このCPU16は、マイクロコンピュータ或いはプロセサとも呼ばれ、先述したLRF12aおよびLRF12bに加えて、LRF12c,LRF12d,LRF12eおよびLRF12fともそれぞれ接続される。さらに、CPU16は、メモリ18および通信LANボード20ともそれぞれ接続される。なお、LRF12a−12fを区別する必要がない場合には、まとめて「LRF12」と言う。   FIG. 2 is a block diagram showing an electrical configuration of the central controller 10. Referring to FIG. 2, central control device 10 includes LRFs 12a-12f and CPU 16. This CPU 16 is also called a microcomputer or a processor, and is connected to LRF 12c, LRF 12d, LRF 12e, and LRF 12f in addition to the aforementioned LRF 12a and LRF 12b. Further, the CPU 16 is also connected to the memory 18 and the communication LAN board 20. In addition, when it is not necessary to distinguish LRF12a-12f, it is collectively called "LRF12."

LRF12は、レーザーを照射し、物体(人間も含む)に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ(図示せず)から照射したレーザーを回転ミラー(図示せず)で反射させて、前方を扇状に一定角度(たとえば、0.5度)ずつスキャンする。ここで、LRF12としては、SICK社製のレーザーレンジファインダ(型式 LMS200)を用いることができる。このレーザーレンジファインダを用いた場合には、距離8mを±15mm程度の誤差で計測可能である。   The LRF 12 measures the distance for the object from the time it takes to irradiate the laser and reflect it back to the object (including humans). For example, a laser beam emitted from a transmitter (not shown) is reflected by a rotating mirror (not shown), and the front is scanned in a fan shape by a certain angle (for example, 0.5 degrees). Here, as the LRF 12, a laser range finder (model LMS200) manufactured by SICK can be used. When this laser range finder is used, a distance of 8 m can be measured with an error of about ± 15 mm.

記憶手段であるメモリ18は、図示は省略をするが、ROM,HDDおよびRAMを含み、ROMおよびHDDには、中央制御装置10の動作を制御するための制御プログラムが予め記憶される。たとえば、LRF12による人間の検出に必要なプログラムなどが記録される。また、RAMは、ワークメモリやバッファメモリとして用いられる。   Although not shown, the memory 18 as storage means includes a ROM, an HDD, and a RAM, and a control program for controlling the operation of the central controller 10 is stored in advance in the ROM and the HDD. For example, a program necessary for human detection by the LRF 12 is recorded. The RAM is used as a work memory or a buffer memory.

また、CPU16は、通信LANボード20に接続される。通信LANボード20は、たとえばDSPで構成され、CPU16から与えられた送信データを無線通信装置22に与え、無線通信装置22は送信データを、ネットワーク400を介してロボット14に送信する。たとえば、送信データとしては、リコメンド情報や、ロボット14に付与する動作命令の信号(コマンド)であったりする。また、通信LANボード20は、無線通信装置22を介してデータを受信し、受信したデータをCPU16に与える。   The CPU 16 is connected to the communication LAN board 20. The communication LAN board 20 is configured by, for example, a DSP, and sends transmission data given from the CPU 16 to the wireless communication device 22. The wireless communication device 22 sends the transmission data to the robot 14 via the network 400. For example, the transmission data may be recommendation information or an operation command signal (command) to be given to the robot 14. Further, the communication LAN board 20 receives data via the wireless communication device 22 and gives the received data to the CPU 16.

また、メモリ18には、リコメンド情報である複数のトピックスが記録されるトピックスリストと、各トピックスに関係する移動軌跡(第1移動軌跡)を決定するための移動軌跡リストが記録される。   Further, the memory 18 stores a topics list in which a plurality of topics as recommendation information are recorded, and a movement locus list for determining a movement locus (first movement locus) related to each topic.

図3(A)を参照して、トピックスリストは、「トピックス」の列、「移動軌跡」の列および「発話内容」の列から構成される。「トピックス」の列には、複数のトピックスを識別するためのIDが記録されており、ここではトピックスT1−T6がそれぞれ記録される。「移動軌跡」の列には、「トピックス」の列に対応して、各トピックスに関係する移動軌跡P_T1〜移動軌跡P_T6が記録される。   Referring to FIG. 3A, the topics list includes a “topics” column, a “movement locus” column, and an “utterance content” column. In the “Topics” column, IDs for identifying a plurality of topics are recorded. Here, topics T1 to T6 are recorded. In the column “movement locus”, movement locus P_T1 to movement locus P_T6 related to each topic are recorded corresponding to the column “topics”.

そして、「発話内容」の列には、「トピックス」の列に対応して、各トピックスに応じてロボット14に発話させる発話内容が記録されており、各発話内容は、人間に提供されるリコメンド情報を具体的に表わすものである。たとえば、トピックスT1、トピックスT2、トピックスT3、トピックスT4、トピックスT5およびトピックスT6のそれぞれに対応して、「電車の発車時刻は12時だよ」、「お勧めのメニューはカレーだよ」、「15時からパレードがあるよ」、「休憩所には自動販売機があるよ」、「休憩所は向こうにもあるよ」および「案内図はあっちだよ」がそれぞれ記録される。なお、この発話内容は、時間が経過するにつれて随時更新される。   In the “Speech content” column, the utterance content to be uttered by the robot 14 according to each topic is recorded corresponding to the “Topics” column, and each utterance content is a recommendation provided to a human. It represents information specifically. For example, corresponding to each of topics T1, topics T2, topics T3, topics T4, topics T5, and topics T6, “the train departure time is 12:00”, “the recommended menu is curry”, “ “There will be a parade from 15:00”, “There are vending machines in the rest area”, “There is a rest area over there” and “There is a guide map” are recorded respectively. This utterance content is updated as time passes.

図3(B)を参照して、たとえば移動軌跡P_T1の移動軌跡リストは、移動軌跡P1_T1および移動軌跡P2_T1などが記録される。そして、リスト内に記録される全ての移動軌跡(移動軌跡P1_T1および移動軌跡P2など_T1)に近似する軌跡(線)が算出され、その近似する軌跡が移動軌跡P_T1となる。また、移動軌跡リストに新しい移動軌跡のデータが追加されると、中央制御装置10は、移動軌跡P_T1を更新する。なお、図示はしていないが、移動軌跡P_T2〜移動軌跡P_T6のそれぞれに対応する移動軌跡リストもメモリ18に記憶される。   Referring to FIG. 3B, for example, the movement trajectory list of movement trajectory P_T1 records movement trajectory P1_T1, movement trajectory P2_T1, and the like. Then, a trajectory (line) that approximates all the movement trajectories (movement trajectory P1_T1 and movement trajectory P2 etc._T1) recorded in the list is calculated, and the approximate trajectory becomes the movement trajectory P_T1. Further, when new movement locus data is added to the movement locus list, the central control apparatus 10 updates the movement locus P_T1. Although not shown, a movement trajectory list corresponding to each of the movement trajectories P_T2 to P_T6 is also stored in the memory 18.

以下、任意の自然数が設定される変数xを利用して、任意のトピックスTxおよび移動軌跡P_Txと表わすことがある。   Hereinafter, a variable x in which an arbitrary natural number is set may be used to represent an arbitrary topic Tx and a movement trajectory P_Tx.

そして、詳細な説明は後述するが、中央制御装置10は、メモリ18に記憶されるトピックスリストおよび移動軌跡リストを利用して、人間に提供するリコメンド情報を決定する。   Although detailed description will be given later, the central control device 10 uses the topics list and the movement trajectory list stored in the memory 18 to determine recommendation information to be provided to the human.

図4はこの実施例のロボット14の外観を示す正面図である。図4を参照して、ロボット14は台車30を含み、台車30の下面にはロボット14を自律移動させる2つの車輪32および1つの従輪34が設けられる。2つの車輪32は車輪モータ36(図5参照)によってそれぞれ独立に駆動され、台車30すなわちロボット14を前後左右の任意方向に動かすことができる。また、従輪34は車輪32を補助する補助輪である。したがって、ロボット14は、配置された空間内を自律制御によって移動可能である。   FIG. 4 is a front view showing the appearance of the robot 14 of this embodiment. Referring to FIG. 4, the robot 14 includes a carriage 30, and two wheels 32 and one slave wheel 34 that move the robot 14 autonomously are provided on the lower surface of the carriage 30. The two wheels 32 are independently driven by a wheel motor 36 (see FIG. 5), and the carriage 30, that is, the robot 14 can be moved in any direction of front, rear, left and right. The slave wheel 34 is an auxiliary wheel that assists the wheel 32. Therefore, the robot 14 can move in the arranged space by autonomous control.

台車30の上には、円柱形のセンサ取り付けパネル38が設けられ、このセンサ取り付けパネル38には、多数の赤外線距離センサ40が取り付けられる。これらの赤外線距離センサ40は、センサ取り付けパネル38すなわちロボット14の周囲の物体(人間や障害物など)との距離を測定するものである。   A cylindrical sensor attachment panel 38 is provided on the carriage 30, and a large number of infrared distance sensors 40 are attached to the sensor attachment panel 38. These infrared distance sensors 40 measure the distance from the sensor mounting panel 38, that is, the object (human being, obstacle, etc.) around the robot 14.

なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、小型のLRFや、超音波距離センサおよびミリ波レーダなどを用いることもできる。   In this embodiment, an infrared distance sensor is used as the distance sensor, but a small LRF, an ultrasonic distance sensor, a millimeter wave radar, or the like can be used instead of the infrared distance sensor.

センサ取り付けパネル38の上には、胴体42が直立するように設けられる。また、胴体42の前方中央上部(人の胸に相当する位置)には、上述した赤外線距離センサ40がさらに設けられ、ロボット14の前方の主として人間との距離を計測する。また、胴体42には、その側面側上端部のほぼ中央から伸びる支柱44が設けられ、支柱44の上には、全方位カメラ46が設けられる。全方位カメラ46は、ロボット14の周囲を撮影するものであり、後述する眼カメラ70とは区別される。この全方位カメラ46としては、たとえばCCDやCMOSのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ40および全方位カメラ46の設置位置は、当該部位に限定されず適宜変更され得る。   A body 42 is provided on the sensor mounting panel 38 so as to stand upright. In addition, the above-described infrared distance sensor 40 is further provided at the front upper center of the body 42 (a position corresponding to a human chest), and measures the distance mainly to the human in front of the robot 14. Further, the body 42 is provided with a support column 44 extending from substantially the center of the upper end of the side surface, and an omnidirectional camera 46 is provided on the support column 44. The omnidirectional camera 46 photographs the surroundings of the robot 14 and is distinguished from an eye camera 70 described later. As this omnidirectional camera 46, for example, a camera using a solid-state imaging device such as a CCD or a CMOS can be adopted. In addition, the installation positions of the infrared distance sensor 40 and the omnidirectional camera 46 are not limited to the portions, and can be changed as appropriate.

胴体42の両側面上端部(人の肩に相当する位置)には、それぞれ、肩関節48Rおよび肩関節48Lによって、上腕50Rおよび上腕50Lが設けられる。図示は省略するが、肩関節48Rおよび肩関節48Lは、それぞれ、直交する3軸の自由度を有する。すなわち、肩関節48Rは、直交する3軸のそれぞれの軸廻りにおいて上腕50Rの角度を制御できる。肩関節48Rの或る軸(ヨー軸)は、上腕50Rの長手方向(または軸)に平行な軸であり、他の2軸(ピッチ軸およびロール軸)は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節48Lは、直交する3軸のそれぞれの軸廻りにおいて上腕50Lの角度を制御できる。肩関節48Lの或る軸(ヨー軸)は、上腕50Lの長手方向(または軸)に平行な軸であり、他の2軸(ピッチ軸およびロール軸)は、その軸にそれぞれ異なる方向から直交する軸である。   An upper arm 50R and an upper arm 50L are provided at upper end portions on both sides of the torso 42 (position corresponding to a human shoulder) by a shoulder joint 48R and a shoulder joint 48L, respectively. Although illustration is omitted, each of the shoulder joint 48R and the shoulder joint 48L has three orthogonal degrees of freedom. That is, the shoulder joint 48R can control the angle of the upper arm 50R around each of three orthogonal axes. A certain axis (yaw axis) of the shoulder joint 48R is an axis parallel to the longitudinal direction (or axis) of the upper arm 50R, and the other two axes (pitch axis and roll axis) are orthogonal to the axes from different directions. It is an axis to do. Similarly, the shoulder joint 48L can control the angle of the upper arm 50L around each of three orthogonal axes. A certain axis (yaw axis) of the shoulder joint 48L is an axis parallel to the longitudinal direction (or axis) of the upper arm 50L, and the other two axes (pitch axis and roll axis) are orthogonal to the axes from different directions. It is an axis to do.

また、上腕50Rおよび上腕50Lのそれぞれの先端には、肘関節52Rおよび肘関節52Lが設けられる。図示は省略するが、肘関節52Rおよび肘関節52Lは、それぞれ1軸の自由度を有し、この軸(ピッチ軸)の軸回りにおいて前腕54Rおよび前腕54Lの角度を制御できる。   In addition, an elbow joint 52R and an elbow joint 52L are provided at the respective distal ends of the upper arm 50R and the upper arm 50L. Although illustration is omitted, each of the elbow joint 52R and the elbow joint 52L has one degree of freedom, and the angle of the forearm 54R and the forearm 54L can be controlled around the axis (pitch axis).

前腕54Rおよび前腕54Lのそれぞれの先端には、人の手に相当する球体56Rおよび球体56Lがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人間の手の形をした「手」を用いることも可能である。また、図示は省略するが、台車30の前面、肩関節48Rと肩関節48Lとを含む肩に相当する部位、上腕50R、上腕50L、前腕54R、前腕54L、球体56Rおよび球体56Lには、それぞれ、接触センサ58(図5で包括的に示す)が設けられる。台車30の前面の接触センサ58は、台車30への人間や他の障害物の接触を検知する。したがって、ロボット14は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪32の駆動を停止してロボット14の移動を急停止させることができる。また、その他の接触センサ58は、当該各部位に触れたかどうかを検知する。なお、接触センサ58の設置位置は、当該部位に限定されず、適宜な位置(人の胸、腹、脇、背中および腰に相当する位置)に設けられてもよい。   A sphere 56R and a sphere 56L corresponding to a human hand are fixedly provided at the tips of the forearm 54R and the forearm 54L, respectively. However, when a finger or palm function is required, a “hand” in the shape of a human hand can be used. Although not shown, the front surface of the carriage 30, the portion corresponding to the shoulder including the shoulder joint 48R and the shoulder joint 48L, the upper arm 50R, the upper arm 50L, the forearm 54R, the forearm 54L, the sphere 56R, and the sphere 56L, A contact sensor 58 (shown generically in FIG. 5) is provided. A contact sensor 58 on the front surface of the carriage 30 detects contact of a person or another obstacle with the carriage 30. Therefore, when the robot 14 is in contact with an obstacle during its movement, the robot 14 can detect it and immediately stop driving the wheels 32 to suddenly stop the movement of the robot 14. Further, the other contact sensors 58 detect whether or not the respective parts are touched. In addition, the installation position of the contact sensor 58 is not limited to the said site | part, and may be provided in an appropriate position (position corresponding to a person's chest, abdomen, side, back, and waist).

胴体42の中央上部(人の首に相当する位置)には首関節60が設けられ、さらにその上には頭部62が設けられる。図示は省略するが、首関節60は、3軸の自由度を有し、3軸の各軸廻りに角度制御可能である。或る軸(ヨー軸)はロボット14の真上(鉛直上向き)に向かう軸であり、他の2軸(ピッチ軸、ロール軸)は、それぞれ、それと異なる方向で直交する軸である。   A neck joint 60 is provided at the upper center of the body 42 (a position corresponding to a person's neck), and a head 62 is further provided thereon. Although illustration is omitted, the neck joint 60 has a degree of freedom of three axes, and the angle can be controlled around each of the three axes. A certain axis (yaw axis) is an axis directed directly above (vertically upward) of the robot 14, and the other two axes (pitch axis and roll axis) are axes orthogonal to each other in different directions.

頭部62には、人の口に相当する位置に、スピーカ64が設けられる。スピーカ64は、ロボット14が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク66Rおよびマイク66Lが設けられる。以下、右のマイク66Rと左のマイク66Lとをまとめてマイク66と言うことがある。マイク66は、周囲の音、とりわけコミュニケーションを実行する対象である人間の音声を取り込む。さらに、人の目に相当する位置には、眼球部68Rおよび眼球部68Lが設けられる。眼球部68Rおよび眼球部68Lは、それぞれ眼カメラ70Rおよび眼カメラ70Lを含む。以下、右の眼球部68Rと左の眼球部68Lとをまとめて眼球部68と言うことがある。また、右の眼カメラ70Rと左の眼カメラ70Lとをまとめて眼カメラ70と言うことがある。   The head 62 is provided with a speaker 64 at a position corresponding to a human mouth. The speaker 64 is used for the robot 14 to communicate with a person around it by voice or sound. A microphone 66R and a microphone 66L are provided at a position corresponding to a human ear. Hereinafter, the right microphone 66R and the left microphone 66L may be collectively referred to as a microphone 66. The microphone 66 captures ambient sounds, in particular, the voices of humans who are subjects of communication. Furthermore, an eyeball part 68R and an eyeball part 68L are provided at positions corresponding to human eyes. The eyeball portion 68R and the eyeball portion 68L include an eye camera 70R and an eye camera 70L, respectively. Hereinafter, the right eyeball portion 68R and the left eyeball portion 68L may be collectively referred to as the eyeball portion 68. Further, the right eye camera 70R and the left eye camera 70L may be collectively referred to as an eye camera 70.

眼カメラ70は、ロボット14に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ70は、上述した全方位カメラ46と同様のカメラを用いることができる。たとえば、眼カメラ70は、眼球部68内に固定され、眼球部68は、眼球支持部(図示せず)を介して頭部62内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、2軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この2軸の一方は、頭部62の上に向かう方向の軸(ヨー軸)であり、他方は、一方の軸に直交しかつ頭部62の正面側(顔)が向く方向に直行する方向の軸(ピッチ軸)である。眼球支持部がこの2軸の各軸廻りに回転されることによって、眼球部68ないし眼カメラ70の先端(正面)側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ64、マイク66および眼カメラ70の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。   The eye camera 70 captures a human face approaching the robot 14, other parts or objects, and captures a corresponding video signal. The eye camera 70 can be the same camera as the omnidirectional camera 46 described above. For example, the eye camera 70 is fixed in the eyeball unit 68, and the eyeball unit 68 is attached to a predetermined position in the head 62 via an eyeball support unit (not shown). Although illustration is omitted, the eyeball support portion has two degrees of freedom, and the angle can be controlled around each of these axes. For example, one of the two axes is an axis (yaw axis) in a direction toward the top of the head 62, and the other is orthogonal to the one axis and goes straight in a direction in which the front side (face) of the head 62 faces. It is an axis (pitch axis) in the direction to be performed. By rotating the eyeball support portion around each of these two axes, the tip (front) side of the eyeball portion 68 or the eye camera 70 is displaced, and the camera axis, that is, the line-of-sight direction is moved. Note that the installation positions of the speaker 64, the microphone 66, and the eye camera 70 described above are not limited to those portions, and may be provided at appropriate positions.

このように、この実施例のロボット14は、車輪32の独立2軸駆動、肩関節48の3自由度(左右で6自由度)、肘関節52の1自由度(左右で2自由度)、首関節60の3自由度および眼球支持部の2自由度(左右で4自由度)の合計17自由度を有する。   As described above, the robot 14 of this embodiment has independent two-axis driving of the wheels 32, three degrees of freedom of the shoulder joint 48 (6 degrees of freedom on the left and right), one degree of freedom of the elbow joint 52 (2 degrees of freedom on the left and right), It has a total of 17 degrees of freedom, 3 degrees of freedom for the neck joint 60 and 2 degrees of freedom for the eyeball support (4 degrees of freedom on the left and right).

図5はロボット14の電気的な構成を示すブロック図である。この図5を参照して、ロボット14は、CPU80を含む。CPU80は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス82を介して、メモリ84、モータ制御ボード86、センサ入力/出力ボード88および音声入力/出力ボード90に接続される。   FIG. 5 is a block diagram showing an electrical configuration of the robot 14. Referring to FIG. 5, robot 14 includes a CPU 80. The CPU 80 is also called a microcomputer or a processor, and is connected to the memory 84, the motor control board 86, the sensor input / output board 88 and the audio input / output board 90 via the bus 82.

メモリ84は、図示は省略をするが、ROMおよびRAMを含む。ROMには、ロボット14の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力(センサ情報)を検知するための検知プログラムや、外部コンピュータ(中央制御装置10)との間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、RAMは、ワークメモリやバッファメモリとして用いられる。   The memory 84 includes a ROM and a RAM (not shown). The ROM stores in advance a control program for controlling the operation of the robot 14. For example, a detection program for detecting the output (sensor information) of each sensor, a communication program for transmitting / receiving necessary data and commands to / from an external computer (central control device 10), and the like are recorded. The RAM is used as a work memory or a buffer memory.

モータ制御ボード86は、たとえばDSPで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード86は、CPU80からの制御データを受け、右眼球部68Rの2軸のそれぞれの角度を制御する2つのモータ(図5では、まとめて「右眼球モータ92」と示す)の回転角度を制御する。同様に、モータ制御ボード86は、CPU80からの制御データを受け、左眼球部68Lの2軸のそれぞれの角度を制御する2つのモータ(図5では、まとめて「左眼球モータ94」と示す)の回転角度を制御する。   The motor control board 86 is constituted by, for example, a DSP, and controls driving of each axis motor such as each arm, neck joint, and eyeball unit. That is, the motor control board 86 receives control data from the CPU 80 and controls two motors (collectively indicated as “right eyeball motor 92” in FIG. 5) that control the angles of the two axes of the right eyeball portion 68R. Control the rotation angle. Similarly, the motor control board 86 receives two control data from the CPU 80 and controls two angles of the two axes of the left eyeball portion 68L (in FIG. 5, collectively shown as “left eyeball motor 94”). Control the rotation angle.

また、モータ制御ボード86は、CPU80からの制御データを受け、肩関節48Rの直交する3軸のそれぞれの角度を制御する3つのモータと肘関節52Rの角度を制御する1つのモータとの計4つのモータ(図5では、まとめて「右腕モータ96」と示す)の回転角度を制御する。同様に、モータ制御ボード86は、CPU80からの制御データを受け、肩関節48Lの直交する3軸のそれぞれの角度を制御する3つのモータと肘関節52Lの角度を制御する1つのモータとの計4つのモータ(図5では、まとめて「左腕モータ98」と示す)の回転角度を制御する。   The motor control board 86 receives control data from the CPU 80, and includes a total of four motors including three motors for controlling the angles of the three orthogonal axes of the shoulder joint 48R and one motor for controlling the angle of the elbow joint 52R. The rotation angle of two motors (collectively indicated as “right arm motor 96” in FIG. 5) is controlled. Similarly, the motor control board 86 receives control data from the CPU 80, and includes a total of three motors for controlling the angles of the three orthogonal axes of the shoulder joint 48L and one motor for controlling the angle of the elbow joint 52L. The rotation angles of four motors (collectively indicated as “left arm motor 98” in FIG. 5) are controlled.

さらに、モータ制御ボード86は、CPU80からの制御データを受け、首関節60の直交する3軸のそれぞれの角度を制御する3つのモータ(図5では、まとめて「頭部モータ110」と示す)の回転角度を制御する。そして、モータ制御ボード86は、CPU80からの制御データを受け、車輪32を駆動する2つのモータ(図5では、まとめて「車輪モータ36」と示す)の回転角度を制御する。なお、この実施例では、車輪モータ36を除くモータは、制御を簡素化するためにステッピングモータ(すなわち、パルスモータ)を用いる。ただし、車輪モータ36と同様に直流モータを用いるようにしてもよい。また、ロボット14の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更されてもよい。たとえば、他の実施例では、エアアクチュエータなどが適用されてもよい。   Further, the motor control board 86 receives the control data from the CPU 80, and controls three motors for controlling the angles of the three orthogonal axes of the neck joint 60 (in FIG. 5, collectively indicated as “head motor 110”). Control the rotation angle. The motor control board 86 receives the control data from the CPU 80 and controls the rotation angles of two motors that drive the wheels 32 (collectively indicated as “wheel motors 36” in FIG. 5). In this embodiment, a motor other than the wheel motor 36 uses a stepping motor (that is, a pulse motor) in order to simplify the control. However, a DC motor may be used similarly to the wheel motor 36. In addition, the actuator that drives the body part of the robot 14 is not limited to a motor that uses current as a power source, and may be changed as appropriate. For example, in another embodiment, an air actuator or the like may be applied.

センサ入力/出力ボード88は、モータ制御ボード86と同様に、DSPで構成され、各センサからの信号を取り込んでCPU80に与える。すなわち、赤外線距離センサ40のそれぞれからの反射時間に関するデータがこのセンサ入力/出力ボード88を通じてCPU80に入力される。また、全方位カメラ46からの映像信号が、必要に応じてセンサ入力/出力ボード88で所定の処理を施してからCPU80に入力される。眼カメラ70からの映像信号も、同様に、CPU80に入力される。また、上述した複数の接触センサ58(図5では、まとめて「接触センサ58」と示す)からの信号がセンサ入力/出力ボード88を介してCPU80に与えられる。音声入力/出力ボード90もまた、同様に、DSPで構成され、CPU80から与えられる音声合成データに従った音声または声がスピーカ64から出力される。また、マイク66からの音声入力が、音声入力/出力ボード90を介してCPU80に与えられる。   Similar to the motor control board 86, the sensor input / output board 88 is configured by a DSP and takes in signals from each sensor and gives them to the CPU 80. That is, data relating to the reflection time from each of the infrared distance sensors 40 is input to the CPU 80 through the sensor input / output board 88. The video signal from the omnidirectional camera 46 is input to the CPU 80 after being subjected to predetermined processing by the sensor input / output board 88 as necessary. Similarly, the video signal from the eye camera 70 is also input to the CPU 80. Further, signals from the plurality of contact sensors 58 described above (collectively referred to as “contact sensors 58” in FIG. 5) are provided to the CPU 80 via the sensor input / output board 88. Similarly, the voice input / output board 90 is also configured by a DSP, and voice or voice in accordance with voice synthesis data provided from the CPU 80 is output from the speaker 64. In addition, voice input from the microphone 66 is given to the CPU 80 via the voice input / output board 90.

また、CPU80は、バス82を介して通信LANボード112に接続される。通信LANボード112は、たとえばDSPで構成され、CPU80から与えられた送信データを無線通信装置114に与え、無線通信装置114は送信データを、ネットワーク400を介して外部コンピュータ(中央制御装置10)に送信する。また、通信LANボード112は、無線通信装置114を介してデータを受信し、受信したデータをCPU80に与える。たとえば、送信データとしては、全方位カメラ46および目カメラ70によって撮影された周囲の映像データや、提供したリコメンド情報に対する人間の反応を示すデータであったりする。   The CPU 80 is connected to the communication LAN board 112 via the bus 82. The communication LAN board 112 is configured by, for example, a DSP, and sends transmission data given from the CPU 80 to the wireless communication device 114. The wireless communication device 114 sends the transmission data to an external computer (central control device 10) via the network 400. Send. The communication LAN board 112 receives data via the wireless communication device 114 and gives the received data to the CPU 80. For example, the transmission data may be surrounding video data captured by the omnidirectional camera 46 and the eye camera 70 or data indicating a human reaction to the provided recommendation information.

次にLRF12について詳細に説明する。図6を参照して、LRF12の計測範囲は、半径r(r≒8m)の半円形状(扇形)で示される。つまり、LRF12は、その正面方向を中心とした場合に、左右90度の方向を所定の距離(r)以内で計測可能である。   Next, the LRF 12 will be described in detail. Referring to FIG. 6, the measurement range of LRF 12 is indicated by a semicircular shape (fan shape) having a radius r (r≈8 m). That is, the LRF 12 can measure the direction of 90 degrees left and right within a predetermined distance (r) when the front direction is the center.

また、使用しているレーザーは、日本工業規格 JIS C 6802「レーザー製品の安全基準」におけるクラス1レーザーであり、人の眼に対して影響を及ぼさない安全なレベルである。また、この実施例では、LRF12のサンプリングレートを37Hzとした。これは、歩行するなどにより移動する人間の位置を連続して検出するためである。   The laser used is a class 1 laser in Japanese Industrial Standard JIS C 6802 “Safety Standard for Laser Products”, which is a safe level that does not affect human eyes. In this embodiment, the sampling rate of the LRF 12 is 37 Hz. This is because the position of a person who moves by walking or the like is continuously detected.

さらに、先述したように、LRF12は、様々な場所に配置される。具体的には、LRF12a,12bの各々は、検出領域が重なるように配置され、図示は省略するが、床面から約90cmの高さに固定される。この高さは、被験者の胴体と腕(両腕)とを検出可能とするためであり、たとえば、日本人の成人の平均身長から算出される。したがって、中央制御装置10を設ける場所(地域ないし国)や被験者の年齢ないし年代(たとえば、子供,大人)に応じて、LRF12を固定する高さを適宜変更するようにしてよい。なお、本実施例では、設定されるLRF12は6台としたが、2台以上であれば、任意の台数のLRF12を設置してもよい。   Further, as described above, the LRF 12 is arranged in various places. Specifically, each of the LRFs 12a and 12b is arranged so that the detection regions overlap with each other, and although not illustrated, the LRFs 12a and 12b are fixed to a height of about 90 cm from the floor surface. This height is for enabling detection of the body and arms (both arms) of the subject, and is calculated from, for example, the average height of Japanese adults. Therefore, the height at which the LRF 12 is fixed may be appropriately changed according to the location (region or country) where the central controller 10 is provided and the age or age of the subject (for example, children, adults). In this embodiment, six LRFs 12 are set, but any number of LRFs 12 may be installed as long as the number is two or more.

このような構成の中央制御装置10では、CPU16がLRF12からの出力(距離データ)に基づいて、パーティクルフィルタを用いて、人間の現在位置の変化を推定する。そして、推定された現在位置の変化は移動軌跡として記録される。   In the central controller 10 having such a configuration, the CPU 16 estimates a change in the current position of the human using a particle filter based on the output (distance data) from the LRF 12. The estimated change in the current position is recorded as a movement locus.

たとえば、図7を参照して、LRF12a,12bは互いに向い合せに設置され、LRF12a,12bの計測範囲が重なる範囲は斜線が付されて示される。斜線が付された範囲は検出領域Eとされ、この検出領域E内では人間の現在位置が連続的に検出される。そして、連続的に検出された現在位置の変化が移動軌跡として示される。たとえば、移動軌跡Paおよび移動軌跡Pbのように示される。なお、検出領域E内は、X−Y座標が設定され、人間の位置は(X,Y)の座標で示すことができる。   For example, referring to FIG. 7, LRFs 12a and 12b are installed facing each other, and a range where the measurement ranges of LRFs 12a and 12b overlap is indicated by hatching. A hatched range is a detection area E, and the current position of the person is continuously detected in the detection area E. And the change of the present position detected continuously is shown as a movement locus. For example, it is shown as a movement locus Pa and a movement locus Pb. In the detection area E, XY coordinates are set, and the human position can be indicated by coordinates (X, Y).

図8(A)はLRF12が設置される場所を示す地図を示す図解図であり、図8(B)は検出領域Eが分割されて示される分割地図を示す図解図である。図8(A)を参照して、地図が対応する場所は或るショッピングモールである。また、地図の左下側には飲食店である店舗が示され、地図の右上中央寄りにはショッピングモール内を案内するための案内図が示される。また、図示はしていないが、地図の右下には休憩スペースが設けられている。さらに、地図で図示しない左側には駅があり、図示しない右側にはアトラクション会場がある。   8A is an illustrative view showing a map showing a place where the LRF 12 is installed, and FIG. 8B is an illustrative view showing a divided map in which the detection area E is divided. With reference to FIG. 8 (A), a place corresponding to the map is a shopping mall. In addition, a store which is a restaurant is shown on the lower left side of the map, and a guide map for guiding the inside of the shopping mall is shown near the upper right center of the map. Although not shown, a rest space is provided at the lower right of the map. Furthermore, there is a station on the left side not shown in the map, and an attraction venue on the right side not shown.

図8(B)を参照して、検出領域Eがk-means法に基づいて50個のグリッドに分割される。分割の手順としては、検出領域Eは25cm四方で空間グリッド化され、さらに「k=50」で空間グリッドがクラスタリングされる。   Referring to FIG. 8B, the detection area E is divided into 50 grids based on the k-means method. As a division procedure, the detection area E is formed into a 25 cm square spatial grid, and the spatial grid is further clustered at “k = 50”.

以下、本実施例では、任意の空間グリッドは、空間グリッドiとする。さらに、分割されたクラスタリングされた各グリッドをグリッドAとし、任意のグリッドAはグリッドAmとする。   Hereinafter, in this embodiment, an arbitrary spatial grid is a spatial grid i. Further, each of the divided clustered grids is a grid A, and an arbitrary grid A is a grid Am.

なお、グリッドの数は50ではなく、50以下または50より大きい値であってもよい。また、検出領域Eを分割する手法は、k-means法ではなく、本システムの管理者などによって手動で分割されてもよい。   The number of grids is not 50, but may be 50 or less or a value greater than 50. Further, the method of dividing the detection region E is not the k-means method, and may be manually divided by an administrator of the system.

また、本実施例では、ショッピングモール内に居る人間の移動軌跡Pを蓄積することで、人間の局所的な行動(局所行動)と大局的な行動(大局行動)とを分析し、6種類の大局行動を抽出した。そして、6種類のトピックスT1−T6と6つの移動軌跡P_T1〜移動軌跡P_T6とのそれぞれは、抽出された6種類の大局行動に基づいて設定された。   Further, in this embodiment, by accumulating the movement trajectory P of the human being in the shopping mall, the human local action (local action) and the global action (global action) are analyzed, and six kinds of actions are analyzed. The global behavior was extracted. Each of the six types of topics T1-T6 and the six movement trajectories P_T1 to P_T6 is set based on the extracted six types of global actions.

なお、大局行動を抽出する際にはk-means法を利用し、結果として「k=6」となった。また、局所行動を分析する際には、4種類の局所行動を判別するSVM(Support Vector Machine)を利用した。   Note that the k-means method was used when extracting the global behavior, and the result was “k = 6”. Moreover, when analyzing local action, SVM (Support Vector Machine) which discriminate | determines four types of local action was utilized.

図9(A)−図9(F)は、移動軌跡P_T1〜移動軌跡P_T6それぞれの一例を示す図解図である。図9(A)を参照して、移動軌跡P_T1は、「右から左へ通り過ぎる」の大局行動の一例を示している。また、地図の左側には駅があるため、移動軌跡P_T1と類似する移動軌跡Pが検出される人間は駅に向かっている可能性が高い。図9(B)を参照して、移動軌跡P_T2は、「右から来て、店舗の前に向かう」の大局行動の一例を示している。また、移動軌跡P_T2と類似する移動軌跡Pが検出される人間は店舗に入る可能性が高い。図9(C)を参照して、「左から右へ通り過ぎる」の大局行動の一例を示している。また、地図の右側にはアトラクション会場があるため、移動軌跡P_T3と類似する移動軌跡Pが検出される人間はアトラクション会場に向かっている可能性が高い。   FIGS. 9A to 9F are illustrative views showing an example of each of the movement trajectories P_T1 to P_T6. With reference to FIG. 9A, the movement trajectory P_T1 shows an example of a global action of “passing from right to left”. Further, since there is a station on the left side of the map, it is highly likely that a person who has detected a movement locus P similar to the movement locus P_T1 is heading to the station. With reference to FIG. 9B, the movement trajectory P_T2 shows an example of the global action of “coming from the right and heading in front of the store”. In addition, a person who has detected a movement locus P similar to the movement locus P_T2 is likely to enter the store. With reference to FIG. 9C, an example of a global action of “passing from left to right” is shown. Further, since there is an attraction venue on the right side of the map, it is highly possible that a person who has detected a movement trajectory P similar to the movement trajectory P_T3 is heading to the attraction venue.

図9(D)を参照して、移動軌跡P_T4は「休憩している」の大局行動の一例を示している。また、移動軌跡P_T4は、休憩スペースの所でほとんど変化していないため、移動軌跡P_T4と類似する移動軌跡Pが検出される人間は休憩スペースを利用して休憩している可能性が高い。図9(E)を参照して、移動軌跡P_T5は「休憩スペースの周りを歩いている」の大局行動の一例を示している。また、移動軌跡P_T5と類似する移動軌跡Pが検出される人間は休憩スペースが使用できる状態になるのを待っている可能性が高い。図9(F)を参照して、移動軌跡P_T6は「歩き回っている」の大局行動の一例を示している。そして、移動軌跡P_T6と類似する移動軌跡Pが検出される人間は、ショッピングモール内で迷っていたり、行き先を決めかねていたりする可能性が高い。   With reference to FIG. 9D, the movement trajectory P_T4 shows an example of the global action “resting”. Further, since the movement trajectory P_T4 hardly changes at the break space, it is highly possible that a person who has detected the movement trajectory P similar to the movement trajectory P_T4 is taking a break using the break space. Referring to FIG. 9E, the movement locus P_T5 shows an example of a global action “walking around a rest space”. In addition, it is highly possible that a person who has detected a movement locus P similar to the movement locus P_T5 is waiting for a break space to be used. With reference to FIG. 9F, the movement trajectory P_T6 shows an example of the global action of “walking”. A person who has detected a movement trajectory P similar to the movement trajectory P_T6 is likely to be lost in the shopping mall or fail to determine a destination.

ここで、本実施例の中央制御装置10は、分割地図に含まれる各グリッドAmを利用して、移動軌跡P_T1〜移動軌跡P_T6の中から、或る人間に対応する移動軌跡Pと類似する移動軌跡P_Txを特定し、或る人間に提供するリコメンド情報(トピックスTx)を選択する。   Here, the central control device 10 according to the present embodiment uses each grid Am included in the divided map to move similar to the movement trajectory P corresponding to a certain person from the movement trajectories P_T1 to P_T6. The trajectory P_Tx is specified, and recommendation information (topics Tx) to be provided to a certain person is selected.

具体的には、中央制御装置10は、検出された移動軌跡Pおよび各トピックスと対応する移動軌跡P_T1〜移動軌跡P_T6のそれぞれを、状態列Sおよび状態列S_T1〜状態列S_T6のそれぞれに変換する。そして、中央制御装置10は、DPマッチングによって、状態列Sと、状態列S_T1〜状態列S_T6とのそれぞれの類似度Rを算出し、算出された類似度Rに基づいて、移動軌跡Pが検出された人間に提供するリコメンド情報(トピックスT)を選択する。   Specifically, the central control apparatus 10 converts each of the detected movement trajectory P and the movement trajectories P_T1 to P_T6 corresponding to each topic into a state string S and a state string S_T1 to a state string S_T6, respectively. . Then, the central controller 10 calculates the similarity R between the state sequence S and the state sequence S_T1 to the state sequence S_T6 by DP matching, and the movement locus P is detected based on the calculated similarity R. The recommended information (topics T) to be provided to the selected person is selected.

まず、移動軌跡Pを状態列Sに変換する手順について詳細に説明する。たとえば、検出される或る人間をn、移動軌跡Pを構成する或る点をp(X,Y)、状態列Sを構成する或る状態をst、或る人間nに対応する移動軌跡をPn、移動軌跡Pnが変換された状態列をSnとしたときに、或る人間nに対応する移動軌跡Pnは数1に示す式によって変換される。なお、数1の式では「m=50」となる。   First, the procedure for converting the movement locus P into the state sequence S will be described in detail. For example, n is a certain human being detected, p (X, Y) is a certain point constituting the movement locus P, st is a certain state constituting the state sequence S, and a movement locus corresponding to a certain human n is represented. When Sn is a state sequence in which Pn and movement trajectory Pn are converted, the movement trajectory Pn corresponding to a certain person n is converted by the equation shown in Equation 1. In the equation (1), “m = 50”.

Figure 0005366048
Figure 0005366048

なお、トピックスリストに記録される移動軌跡P_T1〜移動軌跡P_T6のそれぞれも、数1に示す式によって状態列S_T1〜状態列S_T6のそれぞれに変換される。   Note that each of the movement trajectories P_T1 to P_T6 recorded in the topics list is also converted into each of the state sequence S_T1 to the state sequence S_T6 by the equation shown in Equation 1.

たとえば、図10を参照して、或る人間nがグリッドA1、グリッドA2およびグリッドA3を任意に歩行したとき、移動軌跡Pnを構成する点pの変化が、グリッドA1→グリッドA2→グリッドA1→グリッドA2→グリッドA2→グリッドA3であれば、状態列Snは数2に示す式のようになる。   For example, referring to FIG. 10, when a certain person n arbitrarily walks on grid A1, grid A2, and grid A3, the change of point p that constitutes movement trajectory Pn changes from grid A1 → grid A2 → grid A1 → If the grid A2 → the grid A2 → the grid A3, the state string Sn is expressed by the equation (2).

[数2]
Sn={A1,A2,A1,A2,A2,A3}
次に、DPマッチングによって類似度Rを算出する手順について説明する。図11を参照して、移動軌跡P1および移動軌跡P2のそれぞれは、状態列S1および状態列S2のそれぞれに変換される。また、状態列S1に含まれる状態stの数は10であり、状態列S2に含まれる状態stの数は12であるため、2つの状態列Sの長さは異なる。そこで、DPマッチングの処理では、2つの状態列Sの長さをそろえるため、2つの状態列Sに対して挿入と削除の処理を施して同じ長さにした後に、2つの状態列の距離、つまり類似度Rを算出する。
[Equation 2]
Sn = {A1, A2, A1, A2, A2, A3}
Next, a procedure for calculating the similarity R by DP matching will be described. Referring to FIG. 11, each of movement trajectory P1 and movement trajectory P2 is converted into each of state column S1 and state column S2. Further, since the number of states st included in the state sequence S1 is 10, and the number of states st included in the state sequence S2 is 12, the lengths of the two state sequences S are different. Therefore, in the DP matching process, in order to align the lengths of the two state sequences S, the two state sequences S are subjected to insertion and deletion processing to have the same length, and then the distance between the two state sequences is set. That is, the similarity R is calculated.

なお、DPマッチングの削除と挿入の操作コストは、1操作につき距離1mとなるように設定した。また、2つの状態列Sの距離が近いほど類似度Rが大きくなり、2つの状態列Sの距離が遠くなるほど類似度Rが小さくなる。   It should be noted that the operation cost of DP matching deletion and insertion was set to be a distance of 1 m per operation. In addition, the similarity R increases as the distance between the two state sequences S decreases, and the similarity R decreases as the distance between the two state sequences S increases.

このように、移動軌跡Pを状態列Sに変換してから類似度Rを算出すると、中央制御装置10の処理が早くなる。たとえば、移動軌跡Pの各点pから類似度を算出したときの処理時間は、状態列Sに変換することで類似度Rを算出する処理時間の10倍以上の値になる。   As described above, when the similarity R is calculated after the movement trajectory P is converted into the state sequence S, the processing of the central control device 10 is accelerated. For example, the processing time when the similarity is calculated from each point p of the movement trajectory P becomes a value that is 10 times or more the processing time for calculating the similarity R by converting the state sequence S.

また、本実施例では、DPマッチングによって類似度Rを算出する際には、約20秒の間に計測された移動軌跡Pとする。なお、この「20秒」という数値は、予備実験から求められたものであり、予測の正解率は80%以上であった。   In this embodiment, when the similarity R is calculated by DP matching, the movement trajectory P is measured for about 20 seconds. The numerical value of “20 seconds” was obtained from a preliminary experiment, and the accuracy rate of prediction was 80% or more.

図12を参照して、たとえば、検出領域E内で、20秒の間に移動軌跡P3が検出されると、中央制御装置10は移動軌跡P_T1〜移動軌跡P_T6との類似度Rを算出し、最も似ている移動軌跡P_Txを特定する。そして、中央制御装置10は、特定された移動軌跡P_Txに対応するトピックスTxの発話内容と、移動軌跡P3と対応する人間の位置とをロボット14に付与する。そして、ロボット14は、付与されたトピックTxの発話内容と人間の位置とに基づいて、移動軌跡P3と対応する人間に接近して、コミュニケーション行動の一環としてリコメンド情報を提供する。   Referring to FIG. 12, for example, when movement locus P3 is detected within 20 seconds within detection region E, central controller 10 calculates similarity R with movement locus P_T1 to movement locus P_T6, The most similar movement trajectory P_Tx is specified. Then, the central control device 10 gives the robot 14 the utterance content of the topics Tx corresponding to the identified movement trajectory P_Tx and the human position corresponding to the movement trajectory P3. Then, the robot 14 approaches the person corresponding to the movement trajectory P3 based on the utterance content of the topic Tx given and the position of the person, and provides recommendation information as part of the communication action.

たとえば、移動軌跡P3と最も類似するのが移動軌跡P_T1であれば、ロボット14は、移動軌跡P3に対応する人間に接近して、「こんにちは」と話しかけた後に、「電車の発車時刻は12時だよ」と発話する。   For example, if the movement locus P_T1 is the most similar to the movement locus P3, robot 14, in close proximity to the person corresponding to the movement locus P3, after talking with the "Hello", departure time of "the train is 12 o'clock "Speaks."

さらに、話しかけた人間が「ありがとう」や「了解です」などの肯定的な反応をした場合には、ロボット14は提供したリコメンド情報が受け入れられたとして、中央制御装置10に通知する。そして、中央制御装置10は、リコメンド情報を受け入れた人間の移動軌跡P3を、移動軌跡P_T1の移動軌跡リストに追加することで、移動軌跡P_T1を更新(再計算)する。   Further, when the person who talked to the mobile phone gives a positive response such as “thank you” or “I understand”, the robot 14 notifies the central controller 10 that the provided recommendation information has been accepted. Then, the central control apparatus 10 updates (recalculates) the movement locus P_T1 by adding the movement locus P3 of the person who has received the recommendation information to the movement locus list of the movement locus P_T1.

一方、話しかけた人間が「いりません」などの否定的な反応をした場合には、ロボット14は提供したリコメンド情報が受け入れられなかったとして、中央制御装置10に通知する。この場合、中央制御装置10は、別のトピックスをランダムに選択して、ランダムに選択されたトピックスTxの発話内容をロボット14に付与する。ロボット14は、新たに付与されたトピックスTxの発話内容に対応して、もう一度、リコメンド情報を提供する。   On the other hand, if the person who talked to the robot responds negatively such as “I don't need it”, the robot 14 notifies the central controller 10 that the provided recommendation information has not been accepted. In this case, the central control device 10 randomly selects another topic and gives the utterance content of the randomly selected topic Tx to the robot 14. The robot 14 provides recommendation information once again in response to the utterance content of the newly added topics Tx.

そして、中央制御装置10は、2回目のリコメンド情報が受け入れられれば、移動軌跡P3を移動軌跡リストに追加するが、受け入れられなければロボット14にコミュニケーション行動を終了するように動作命令を付与する。   If the second recommendation information is accepted, the central controller 10 adds the movement locus P3 to the movement locus list, but if not accepted, gives the robot 14 an operation command to end the communication action.

このように、情報提供システム100は、人間の移動軌跡Pと類似する、移動軌跡P_Txを特定することで、人間の大局行動を予測することができる。そして、予測した大局行動に基づいて、リコメンド情報をロボット14によって提供することができる。   As described above, the information providing system 100 can predict the global human behavior by specifying the movement trajectory P_Tx similar to the human movement trajectory P. And recommendation information can be provided by the robot 14 based on the predicted global behavior.

図13は、図2に示す中央制御装置10におけるメモリ18のメモリマップ300の一例を示す図解図である。図13に示すように、メモリ18はプログラム記憶領域302およびデータ記憶領域304を含む。プログラム記憶領域302には、位置記録プログラム312および情報提供プログラム314が記憶される。ただし、情報提供プログラム314は、類似移動軌跡特定プログラム314aをサブルーチンとして含む。   FIG. 13 is an illustrative view showing one example of a memory map 300 of the memory 18 in the central controller 10 shown in FIG. As shown in FIG. 13, the memory 18 includes a program storage area 302 and a data storage area 304. In the program storage area 302, a position recording program 312 and an information providing program 314 are stored. However, the information providing program 314 includes a similar movement locus specifying program 314a as a subroutine.

位置記録プログラム312は、たとえばショッピングモール内に居る人間の位置を逐次記録するためのプログラムである。情報提供プログラム314は、リコメンド情報を提供する人間を選択して、ロボット14に動作命令を付与するためのプログラムである。類似移動軌跡特定プログラム314aは、検出された移動軌跡Pと類似する移動軌跡P_Txと特定するためのプログラムである。   The position recording program 312 is a program for sequentially recording the position of a person in a shopping mall, for example. The information providing program 314 is a program for selecting a person who provides recommendation information and giving an operation command to the robot 14. The similar movement locus specifying program 314a is a program for specifying a movement locus P_Tx similar to the detected movement locus P.

なお、図示は省略するが、中央制御装置10を動作させるためのプログラムは、ネットワーク400を介してデータ通信を行うプログラムなどを含む。   Although illustration is omitted, the program for operating the central control device 10 includes a program for performing data communication via the network 400.

また、データ記憶領域304には、移動軌跡バッファ330および特定バッファ332が設けられる共に、トピックスデータ334、移動軌跡データ336および地図データ338が記憶される。また、データ記憶領域304には成功フラグ340が設けられる。   The data storage area 304 is provided with a movement trajectory buffer 330 and a specific buffer 332, and stores topic data 334, movement trajectory data 336, and map data 338. The data storage area 304 is provided with a success flag 340.

移動軌跡バッファ330は、位置記録プログラム312によって記録される人間の位置を一時的に記憶するためのバッファである。特定バッファ332は、類似移動軌跡特定プログラム314aの処理で、特定される移動軌跡P_Txを一時的に記憶するためのバッファである。トピックスデータ334は、図3(A)に示すトピックスリストのデータであり、特定された移動軌跡P_Txに対応して発話内容が読み出される。   The movement locus buffer 330 is a buffer for temporarily storing a human position recorded by the position recording program 312. The identification buffer 332 is a buffer for temporarily storing the movement locus P_Tx identified by the processing of the similar movement locus identification program 314a. The topic data 334 is data of the topics list shown in FIG. 3A, and the utterance content is read out corresponding to the specified movement trajectory P_Tx.

移動軌跡データ336は、たとえば図3(B)に示す移動軌跡リストを含むデータであり、移動軌跡P_T1〜移動軌跡P_T6に対応する移動軌跡リストから構成される。地図データ338は、図8(A)および図8(B)に示す、ショッピングモールの地図および分割地図のデータを含み、分割地図のデータは、移動軌跡Pを状態列Sに変換する際に用いられる。   The movement trajectory data 336 is data including a movement trajectory list shown in FIG. 3B, for example, and is composed of movement trajectory lists corresponding to the movement trajectories P_T1 to P_T6. The map data 338 includes the shopping mall map and the divided map data shown in FIGS. 8A and 8B, and the divided map data is used when the movement locus P is converted into the state sequence S. It is done.

成功フラグ340は、リコメンド情報が受け入れられたか否かを判断するためのフラグである。たとえば、成功フラグ340は1ビットのレジスタで構成される。成功フラグ340がオン(成立)されると、レジスタにはデータ値「1」が設定される。一方、成功フラグ340がオフ(不成立)されると、レジスタにはデータ値「0」が設定される。また、成功フラグ340は、ロボット14からリコメンド情報が受け入れられたと通知されるとオンになり、ロボット14からリコメンド情報が受け入れられなかったと通知されるとオフになる。   The success flag 340 is a flag for determining whether or not the recommendation information has been accepted. For example, the success flag 340 is composed of a 1-bit register. When the success flag 340 is turned on (established), a data value “1” is set in the register. On the other hand, when the success flag 340 is turned off (not established), a data value “0” is set in the register. The success flag 340 is turned on when notified by the robot 14 that the recommendation information has been accepted, and turned off when notified by the robot 14 that the recommendation information has not been accepted.

なお、図示は省略するが、データ記憶領域304には、様々な計算の結果を一時的に格納するバッファなどが設けられると共に、中央制御装置10の動作に必要な他のカウンタやフラグも設けられる。   Although illustration is omitted, the data storage area 304 is provided with a buffer for temporarily storing the results of various calculations and other counters and flags necessary for the operation of the central controller 10. .

具体的には、中央制御装置10のCPU16は、図14、図15および図16に示す処理を含む、複数の処理を並列的に実行する。   Specifically, the CPU 16 of the central control apparatus 10 executes a plurality of processes in parallel including the processes shown in FIGS.

図14に示すように、中央制御装置10のCPU16は、位置記録処理を実行すると、ステップS1では、各人間の位置を検出する。つまり、検出領域E内にいる各人間の位置をLRF12によって検出する。続いて、ステップS3では、各人間の位置を移動軌跡Pnとして移動軌跡バッファ330に記憶させ、ステップS1に戻る。たとえば、人間の位置を移動軌跡P3(図11参照)とし、移動軌跡バッファ330は移動軌跡P3を記憶する。なお、ステップS1を実行するCPU16は検出手段として機能する。   As illustrated in FIG. 14, when the CPU 16 of the central control device 10 executes the position recording process, in step S <b> 1, the position of each person is detected. That is, the position of each person in the detection area E is detected by the LRF 12. Subsequently, in step S3, the position of each person is stored in the movement locus buffer 330 as a movement locus Pn, and the process returns to step S1. For example, the human locus is the movement locus P3 (see FIG. 11), and the movement locus buffer 330 stores the movement locus P3. In addition, CPU16 which performs step S1 functions as a detection means.

図15は情報提供処理のフロー図である。図15で示すように、中央制御装置10のCPU16は、ステップS21で、終了操作か否かを判断する。たとえば、図示しない入力装置などに対して、情報提供処理を終了する操作がされたか否かを判断する。ステップS21で“YES”であれば、つまり終了操作がされれば、情報提供処理を終了する。一方、ステップS21で“NO”であば、つまり終了操作がされていなければ、ステップS23で情報提供可能な人間を選択する。つまり、リコメンド情報が提供されていない人間を選択する。たとえば、移動軌跡Pが、ロボット14の移動経路と同時刻で交差していない人間を抽出し、抽出された人間の中から、一定の距離以下で、かつ最もロボット14に近い人間を選択する。   FIG. 15 is a flowchart of the information providing process. As shown in FIG. 15, the CPU 16 of the central control device 10 determines whether or not it is an end operation in step S <b> 21. For example, it is determined whether or not an operation for ending the information providing process has been performed on an input device (not shown). If “YES” in the step S21, that is, if an end operation is performed, the information providing process is ended. On the other hand, if “NO” in the step S21, that is, if the end operation is not performed, a person who can provide information is selected in a step S23. That is, a person for whom recommendation information is not provided is selected. For example, a person whose movement locus P does not intersect the movement path of the robot 14 at the same time is extracted, and a person who is not more than a certain distance and closest to the robot 14 is selected from the extracted persons.

続いて、ステップS25では、選択できたか否かを判断する。つまり、ステップS23の処理でリコメンド情報を提供できる人間が選択されたか否かを判断する。ステップS25で“NO”であれば、つまり選択されてなければステップS21に戻る。一方、ステップS25で“YES”であれば、ステップS27で変数Cを初期化する。つまり、選択された人間に対してリコメンド情報を提供した回数をカウントする変数Cの値を1に設定する。   Subsequently, in step S25, it is determined whether or not the selection has been made. That is, it is determined whether or not a person who can provide recommendation information has been selected in the process of step S23. If “NO” in the step S25, that is, if not selected, the process returns to the step S21. On the other hand, if “YES” in the step S25, the variable C is initialized in a step S27. That is, the value of the variable C that counts the number of times the recommended information is provided to the selected person is set to 1.

続いて、ステップS29では、類似移動軌跡特定処理を実行する。このステップS29の処理については後述するため、ここでの詳細な説明は省略する。なお、ステップS29の処理を実行するCPU16は特定手段として機能する。続いて、ステップS31では、特定された移動軌跡P_Txに対応するトピックスTxを選択する。たとえば、移動軌跡P_T1が特定されていれば、トピックスT1が選択され、トピックスT1に対応する発話内容「電車の発車時刻は12時だよ」が読み出される。   Subsequently, in step S29, a similar movement locus specifying process is executed. Since the process of step S29 will be described later, detailed description thereof is omitted here. In addition, CPU16 which performs the process of step S29 functions as a specific means. Subsequently, in step S31, topics Tx corresponding to the specified movement locus P_Tx are selected. For example, if the movement trajectory P_T1 is specified, the topic T1 is selected, and the utterance content “Train departure time is 12:00” corresponding to the topic T1 is read.

なお、移動軌跡P_T2が特定されていればトピックスT2が選択され、「お勧めのメニューはカレーだよ」の発話内容が読み出される。また、移動軌跡P_T3が特定されていればトピックスT3が選択され、「15時からパレードがあるよ」の発話内容が読み出される。また、移動軌跡P_T4が特定されていればトピックスT4が選択され、「休憩所には自動販売機があるよ」の発話内容が読み出される。また、移動軌跡P_T5が特定されていればトピックスT5が選択され、「休憩所は向こうにもあるよ」の発話内容が読み出される。そして、移動軌跡P_T6が特定されていればトピックスT6が選択され、「案内図はあっちだよ」の発話内容が読み出される。   If the movement locus P_T2 is specified, the topic T2 is selected, and the utterance content “Recommended menu is curry” is read out. If the movement locus P_T3 is specified, the topic T3 is selected, and the utterance content “There is a parade from 15:00” is read out. If the movement locus P_T4 is specified, the topic T4 is selected, and the utterance content “There is a vending machine in the rest area” is read out. Further, if the movement locus P_T5 is specified, the topic T5 is selected, and the utterance content “There is a resting place over there” is read out. Then, if the movement trajectory P_T6 is specified, the topic T6 is selected, and the utterance content “A guide map is over there” is read out.

続いて、ステップS33では、選択された人間に近づき、リコメンド情報を提供する動作命令をロボットに付与する。つまり、選択されたトピックスTxの発話内容を発話するコミュニケーション行動を、選択された人間に対して実行するように、ロボット14に動作命令を付与する。たとえば、ロボット14には、移動軌跡P3と対応する人間に接近して、「電車の発車時刻は12時だよ」の発話を行うコミュニケーション行動の動作命令が付与される。   In step S33, the robot approaches the selected person and gives an operation command for providing recommendation information to the robot. That is, an operation command is given to the robot 14 so as to execute a communication action for speaking the utterance content of the selected topics Tx to the selected person. For example, the robot 14 is given an operation command for a communication action that approaches the person corresponding to the movement locus P3 and utters “the train departure time is 12:00”.

続いて、ステップS35では、受け入れられたか否かを判断する。つまり、ロボット14によって提供されたリコメンド情報が受け入れられたか否かを判断する。具体的には、ロボット14から通知されるデータに基づいてオン/オフが切り替わる成功フラグ340によって判断する。ステップS35で“NO”であれば、つまりリコメンド情報が受け入れられなければ、ステップS39に進む。一方、ステップS35で“YES”であれば、つまりリコメンド情報が受け入れられれば、ステップS37で選択された人間の移動軌跡Pを移動軌跡リストに記憶させ、ステップS21に戻る。つまり、選択した人間の位置をさらに20秒間検出して、移動軌跡P_Txに対応する移動軌跡リストに、移動軌跡Pを記録する。さらに、新たな移動軌跡Pが記録されると、移動軌跡P_Txを再計算する。   Subsequently, in step S35, it is determined whether or not it has been accepted. That is, it is determined whether or not the recommendation information provided by the robot 14 has been accepted. Specifically, the determination is made based on the success flag 340 that is switched on / off based on the data notified from the robot 14. If “NO” in the step S35, that is, if the recommendation information is not accepted, the process proceeds to a step S39. On the other hand, if “YES” in the step S35, that is, if the recommendation information is accepted, the human movement trajectory P selected in the step S37 is stored in the movement trajectory list, and the process returns to the step S21. That is, the position of the selected person is further detected for 20 seconds, and the movement locus P is recorded in the movement locus list corresponding to the movement locus P_Tx. Further, when a new movement track P is recorded, the movement track P_Tx is recalculated.

たとえば、CPU16は、移動軌跡P3と対応する人間の位置をさらに検出して移動軌跡P3’を検出する。そして、CPU16は、移動軌跡P_T1に対応する移動軌跡リストに、移動軌跡P3’を記録(追加)し、さらに移動軌跡P_T1を再計算(更新)する。なお、ステップS37の処理を実行するCPU16は更新手段として機能する。   For example, the CPU 16 further detects a human locus corresponding to the movement locus P3 to detect a movement locus P3 '. Then, the CPU 16 records (adds) the movement locus P3 'in the movement locus list corresponding to the movement locus P_T1, and further recalculates (updates) the movement locus P_T1. In addition, CPU16 which performs the process of step S37 functions as an update means.

ステップS39では、変数Cの値が2より小さいか否かを判断する。つまり、ロボット14がリコメンド情報を提供した回数が2回を超えていないか否かを判断する。ステップS39で“NO”であれば、つまりロボット14がリコメンド情報を2回提供していれば、ステップS41で情報提供の終了をロボット14に通知する。つまり、選択された人間に対するリコメンド情報の提供を終了する。   In step S39, it is determined whether or not the value of the variable C is smaller than 2. That is, it is determined whether or not the number of times that the robot 14 has provided the recommendation information exceeds two. If “NO” in the step S39, that is, if the robot 14 provides the recommendation information twice, the robot 14 is notified of the end of the information provision in a step S41. That is, the provision of the recommendation information to the selected person is terminated.

一方、ステップS39で“YES”であれば、つまりロボット14がリコメンド情報を2回提供していなければ、ステップS43で変数Cをインクリメントする。つまり、ロボット14によってリコメンド情報が提供された回数がカウントされる。続いて、ステップS45では、トピックスをランダムに選択し、ステップS33に戻る。つまり、ステップS45では、トピックスリストから任意のトピックスのIDを選択して、選択されたトピックスのIDに対応する発話内容を読み出す。なお、トピックスのIDをランダムに選択する処理には、1〜6の範囲で疑似乱数を返す関数を利用する。さらに、すでに選択されたトピックスのIDが選択された場合は、トピックスのIDをさらに再選択する処理を行ってもよい。なお、ステップS39で判断に利用する値を3以上に設定してもよい。   On the other hand, if “YES” in the step S39, that is, if the robot 14 does not provide the recommendation information twice, the variable C is incremented in a step S43. That is, the number of times the recommended information is provided by the robot 14 is counted. Subsequently, in step S45, topics are selected at random, and the process returns to step S33. That is, in step S45, the ID of an arbitrary topic is selected from the topics list, and the utterance content corresponding to the selected topic ID is read. Note that a function that returns a pseudo-random number in the range of 1 to 6 is used for the process of randomly selecting a topic ID. Furthermore, when the ID of a topic that has already been selected is selected, a process of reselecting the topic ID may be performed. Note that the value used for the determination in step S39 may be set to 3 or more.

図16は図15に示したステップS29の類似移動軌跡特定処理のフロー図である。図16で示すように、中央制御装置10のCPU16は、ステップS61では、変数xおよび変数Maxを初期化する。つまり、変数xに1を設定し、変数Maxに0を設定する。なお、個の変数Maxは、算出された類似度Rの最大値が設定される変数である。続いて、ステップS63では、選択された人間の移動軌跡Pを状態列Sに変換する。たとえば、数1に示す式に基づいて、移動軌跡P3が状態列S3に変換される。   FIG. 16 is a flowchart of the similar movement locus specifying process in step S29 shown in FIG. As shown in FIG. 16, the CPU 16 of the central control device 10 initializes the variable x and the variable Max in step S61. That is, 1 is set to the variable x and 0 is set to the variable Max. Each variable Max is a variable in which the maximum value of the calculated similarity R is set. Subsequently, in step S63, the selected human movement trajectory P is converted into a state sequence S. For example, the movement trajectory P3 is converted into the state sequence S3 based on the equation shown in Equation 1.

続いて、ステップS65では、変数xが6以下であるか否かを判断する。つまり、移動軌跡Pと移動軌跡P_T1〜移動軌跡P_T6との類似度が全て算出されたか否かを判断する。ステップS65で“YES”であれば、つまり類似度が全て算出されていれば、類似移動軌跡特定処理を終了して、メインルーチンである情報提供処理に戻る。   Subsequently, in step S65, it is determined whether or not the variable x is 6 or less. That is, it is determined whether all the similarities between the movement locus P and the movement locus P_T1 to the movement locus P_T6 have been calculated. If “YES” in the step S65, that is, if all the similarities are calculated, the similar movement locus specifying process is ended, and the process returns to the information providing process which is the main routine.

一方、ステップS65で“NO”であれば、つまり類似度が全て算出されていなければ、ステップS67で移動軌跡P_Txを状態列S_Txに変換する。たとえば、変数xが1であれば、移動軌跡P_T1を状態列S_T1に変換する。続いて、ステップS69では、状態列Sと状態列S_Txとの類似度Rを算出する。たとえば、DPマッチングの処理によって、状態列Sと状態列S_T1との距離を算出し、算出された距離を類似度Rとする。   On the other hand, if “NO” in the step S65, that is, if all the degrees of similarity are not calculated, the moving trajectory P_Tx is converted into the state string S_Tx in a step S67. For example, if the variable x is 1, the movement trajectory P_T1 is converted into the state sequence S_T1. Subsequently, in step S69, the similarity R between the state sequence S and the state sequence S_Tx is calculated. For example, the distance between the state sequence S and the state sequence S_T1 is calculated by the DP matching process, and the calculated distance is set as the similarity R.

続いて、ステップS71では、類似度Rが変数Maxより大きいか否かを判断する。つまり、算出した類似度Rが、類似度の最大値が設定される変数Maxより大きいか否かを判断する。ステップS71で“NO”であれば、つまり算出された類似度Rが変数Maxより大きくなければ、ステップS77に進む。一方、ステップS71で“YES”であれば、つまり算出された類似度Rが変数Maxより大きければ、ステップS73で特定バッファ332の内容を移動軌跡P_Txに更新する。たとえば、移動軌跡P_T1を表わす座標のデータを特定バッファ332に格納する。また、特定バッファ332は、格納しているデータをリセット(消去)してから、新たなデータを格納する。続いて、ステップS75では、変数Maxに算出された類似度Rを設定する。つまり、類似度の最大値を更新する。続いて、ステップS77では、変数xをインクリメントし、ステップS65に戻る。つまり、次の移動軌跡P_Txとの類似度を算出するために、変数xがインクリメントされる。   Subsequently, in step S71, it is determined whether or not the similarity R is greater than the variable Max. That is, it is determined whether or not the calculated similarity R is greater than the variable Max for which the maximum similarity is set. If “NO” in the step S71, that is, if the calculated similarity R is not greater than the variable Max, the process proceeds to a step S77. On the other hand, if “YES” in the step S71, that is, if the calculated similarity R is larger than the variable Max, the contents of the specific buffer 332 are updated to the movement locus P_Tx in a step S73. For example, coordinate data representing the movement locus P_T1 is stored in the specific buffer 332. The specific buffer 332 stores new data after resetting (erasing) stored data. Subsequently, in step S75, the calculated similarity R is set in the variable Max. That is, the maximum value of similarity is updated. Subsequently, in step S77, the variable x is incremented, and the process returns to step S65. That is, the variable x is incremented in order to calculate the degree of similarity with the next movement locus P_Tx.

なお、ステップS65−S77における1回目のループでは、変数Maxが0に設定されるため、必ずステップS73,S75が実行される。つまり、変数Maxの初期値を0とすることで、リコメンド情報が必ず提供されるようになる。   In the first loop in steps S65 to S77, since the variable Max is set to 0, steps S73 and S75 are always executed. That is, by setting the initial value of the variable Max to 0, recommendation information is always provided.

図17は、ロボット14のCPU80が実行する全体処理のフロー図である。図17に示すように、ロボット14のCPU80は、ステップS91で、終了操作か否かを判断する。たとえば、ロボット14に設定された停止スイッチが操作されたか否かを判断する。なお、遠隔操作されるロボット14であれば、処理を終了するコマンドが送信されたか否かを判断する。ステップS91で“YES”であれば、つまり終了操作であれば、全体処理を終了する。一方、ステップS91で“NO”であれば、つまり終了操作でなければ、ステップS93で動作命令を付与されたか否かを判断する。つまり、リコメンド情報を提供する動作命令を受信したか否かを判断する。ステップS93で“NO”であれば、つまり動作命令を受信していなければ、ステップS91に戻る。   FIG. 17 is a flowchart of overall processing executed by the CPU 80 of the robot 14. As shown in FIG. 17, the CPU 80 of the robot 14 determines whether or not the end operation is performed in step S91. For example, it is determined whether or not a stop switch set for the robot 14 has been operated. If the robot 14 is remotely operated, it is determined whether or not a command to end the process has been transmitted. If “YES” in the step S91, that is, if it is an end operation, the entire process is ended. On the other hand, if “NO” in the step S91, that is, if it is not an end operation, it is determined whether or not an operation command is given in a step S93. That is, it is determined whether or not an operation command providing recommendation information is received. If “NO” in the step S93, that is, if an operation command is not received, the process returns to the step S91.

一方、ステップS93で“YES”であれば、つまり動作命令を受信すれば、ステップS95で選択された人間に対して、受信した動作命令に従ってリコメンド情報を発話する。つまり、動作命令に含まれる座標に基づいて人間に接近し、「こんにちは」と発話してコミュニケーション行動を開始する。さらに、動作命令に含まれる発話内容に基づいて、たとえば「電車の発車時刻は12時だよ」と発話することで、対話相手である人間にリコメンド情報を提供する。たとえば、「左から右に通り過ぎる」の大局行動が予測される人間は、駅に向かっていると推定されるため、電車の出発時刻がリコメンド情報として提供される。   On the other hand, if “YES” in the step S93, that is, if an operation command is received, the recommendation information is uttered to the person selected in the step S95 according to the received operation command. In other words, close to the human beings on the basis of the coordinates that is included in the operating instructions, to start the communication behavior and speech as "Hello". Furthermore, based on the utterance content included in the operation command, for example, by saying “Train departure time is 12:00”, recommendation information is provided to a person who is a conversation partner. For example, a person who is predicted to have a global action of “passing from left to right” is presumed to be heading to the station, so the departure time of the train is provided as recommendation information.

なお、「右から来て、店舗の前に向かう」の大局行動が予測される人間は、店舗に向かっていると推定されるため、その店舗のお勧め商品(メニュー)がリコメンド情報として提供される。また、「左から右へ通り過ぎる」の大局行動が予測される人間は、アトラクション会場に向かっていると推定されるため、アトラクション会場でのイベントがリコメンド情報として提供される。   In addition, it is presumed that people who are predicted to be coming from the right and heading in front of the store are heading for the store, so the recommended product (menu) for that store is provided as recommendation information. The In addition, since it is estimated that a person who is predicted to have a global action of “passing from the left to the right” is heading to the attraction venue, the event at the attraction venue is provided as recommendation information.

また、「休憩している」の大局行動が予測される人間には、休憩スペースの設備(自動販売機)がリコメンド情報として提供される。また、「休憩スペースの周りを歩いている」の大局行動が予測される人間は、休憩しようとしていると推定されるため、他の休憩スペースの場所がリコメンド情報として提供される。また、「歩き回っている」の大局行動が予測される人間は、ショッピングモール内で迷っているか、行き先を決めかねていると推定されるため、ショッピングモール内の案内図がある場所がリコメンド情報として提供される。   In addition, rest space equipment (vending machine) is provided as recommendation information to a person who is predicted to have a global action of “resting”. In addition, since it is estimated that a person who is predicted to be “walking around the rest space” is going to take a rest, the location of another rest space is provided as recommendation information. In addition, people who are predicted to be “walking” are presumed to be lost in the shopping mall or to decide where to go, so the location with a guide map in the shopping mall is provided as recommended information. Is done.

続いて、ステップS97では、発話内容が受け入れられたか否かを判断する。つまり、発話したリコメンド情報が受け入れられたか否かを判断する。また、具体的には、マイク66によって、対話相手が発話する音声を認識して、発話内容が受け入れられたか否かを判断する。なお、ロボット14は、目カメラ70によって対話相手の顔を撮影することで顔のパターン認識を行い、発話内容が受け入れられたか否かを判断してもよい。ステップS97で“YES”であれば、つまりリコメンド情報が受け入れられれば、ステップS99で、受け入れられたことを中央制御装置10に通知して、ステップS91に戻る。つまり、対話相手に提供したリコメンド情報が受け入れられたことを、中央制御装置10に通知する。   Subsequently, in step S97, it is determined whether or not the utterance content is accepted. That is, it is determined whether or not the recommended information spoken is accepted. Specifically, the microphone 66 recognizes the voice uttered by the conversation partner and determines whether the utterance content has been accepted. The robot 14 may recognize the face pattern by photographing the face of the conversation partner with the eye camera 70 and determine whether the utterance content has been accepted. If “YES” in the step S97, that is, if the recommendation information is accepted, in a step S99, the acceptance is accepted to the central control apparatus 10, and the process returns to the step S91. That is, the central control device 10 is notified that the recommendation information provided to the conversation partner has been accepted.

一方、ステップS97で“NO”であれば、つまりリコメンド情報が受け入れられなければ、ステップS101で受け入れられなかったことを中央制御装置10に通知する。つまり、対話相手に提供したリコメンド情報が受け入れられなかったことを、中央制御装置10に通知する。続いて、ステップS103で情報提供の終了が通知されたか否かを判断する。つまり、中央制御装置10から、リコメンド情報の提供を終了する通知がされたか否かを判断する。ステップS103で“YES”であれば、つまり終了の通知がされればステップS91に戻る。一方、ステップS103で“NO”であれば、つまり終了の通知がされなければ、ステップS95に戻る。   On the other hand, if “NO” in the step S97, that is, if the recommendation information is not accepted, the central controller 10 is notified that the acceptance is not accepted in a step S101. That is, the central control device 10 is notified that the recommendation information provided to the conversation partner has not been accepted. Subsequently, in step S103, it is determined whether or not the end of information provision has been notified. That is, it is determined whether or not the central control device 10 has notified the end of provision of recommendation information. If “YES” in the step S103, that is, if an end notification is given, the process returns to the step S91. On the other hand, if “NO” in the step S103, that is, if an end notification is not received, the process returns to the step S95.

なお、ステップS99の処理が終了するか、ステップS103で“YES”と判断された場合に、ロボット14は、「またね」と発話してコミュニケーション行動を終了する。また、ステップS103で“NO”と判断された場合に、ロボット14は、「じゃあ、他のお勧めを教えるね」と発話して、コミュニケーション行動を継続する。   If the process of step S99 is completed or if “YES” is determined in step S103, the robot 14 utters “see you” and ends the communication action. If “NO” is determined in the step S103, the robot 14 utters “Tell me other recommendations” and continues the communication action.

また、ロボット14が発話するリコメンド情報は、対話相手の人間が反応を返しやすくするために、疑問形で発話されてもよい。たとえば、「電車の発車時刻は12時だよ」は、「駅に向かうなら、電車の発車時刻は12時だけど、大丈夫?」と発話される。   Also, the recommendation information uttered by the robot 14 may be uttered in a question form so that the person who is the conversation partner can easily respond. For example, “Train departure time is 12:00” is spoken, “If you head to the station, the train departure time is 12:00, are you okay?”.

また、ステップS33の処理を実行する中央制御装置10のCPU16と、ステップS95の処理を実行するロボット14のCPU80とは情報提供手段として機能する。さらに、ステップS35の処理を実行する中央制御装置10のCPU16と、ステップS97の処理を実行するロボット14のCPU80とは判断手段として機能する。   Further, the CPU 16 of the central control apparatus 10 that executes the process of step S33 and the CPU 80 of the robot 14 that executes the process of step S95 function as information providing means. Further, the CPU 16 of the central controller 10 that executes the process of step S35 and the CPU 80 of the robot 14 that executes the process of step S97 function as a determination unit.

この実施例によれば、情報提供システム100は、中央制御装置10、ショッピングモール内に設置されるLRF12およびロボット14を含む。中央制御装置10が備えるメモリ18には、ショッピングモール内の店舗や、周辺の駅およびアトラクション会場に関するリコメンド情報であるトピックスT1−T6と、店舗、駅およびアトラクション会場に向かう大局行動を表わす移動軌跡P_T1〜移動軌跡P_T6とが記録されるトピックスリストが記憶されている。   According to this embodiment, the information providing system 100 includes a central control device 10, an LRF 12 installed in a shopping mall, and a robot 14. The memory 18 included in the central control device 10 includes topics T1-T6 which are recommended information related to stores in the shopping mall, surrounding stations and attractions, and a movement trajectory P_T1 representing global behavior toward the stores, stations and attractions. A topics list in which the movement trajectory P_T6 is recorded is stored.

また、ショッピングモール内に居る人間は、LRF12によって移動軌跡Pが検出され、トピックスリストに記録されている移動軌跡P_T1〜移動軌跡P_T6との類似度Rがそれぞれ算出される。そして、中央制御装置10では、類似度の最大値Maxより大きく、かつ最も大きい類似度Rが算出された移動軌跡P_Txに対応するトピックスTxの発話内容が読み出される。ロボット14は、人間とのコミュニケーション行動を行いながら、読み出されたトピックスTxの発話内容に基づいて発話することで、リコメンド情報を提供する。   In addition, the person who is in the shopping mall detects the movement locus P by the LRF 12, and calculates the similarity R with the movement locus P_T1 to the movement locus P_T6 recorded in the topics list. Then, the central controller 10 reads the utterance content of the topic Tx corresponding to the movement trajectory P_Tx for which the highest similarity R is calculated which is greater than the maximum similarity Max. The robot 14 provides recommendation information by speaking based on the utterance content of the read topics Tx while performing communication behavior with humans.

このように、人間の移動軌跡Pを検出することで、その人間が行う大局行動を予測することができるため、その大局行動に応じたリコメンド情報を提供することができる。   Thus, by detecting the movement trajectory P of a person, it is possible to predict a global action performed by the person, and therefore it is possible to provide recommendation information according to the global action.

また、中央制御装置10は、リコメンド情報を受け入れた人間の移動軌跡Pに基づいて、リコメンド情報に対応する移動軌跡P_Txを更新する。このように、リコメンド情報に対応する移動軌跡P_Txを更新することで、大局行動を予測する精度が向上する。   Further, the central control apparatus 10 updates the movement trajectory P_Tx corresponding to the recommendation information based on the movement trajectory P of the person who has received the recommendation information. Thus, by updating the movement trajectory P_Tx corresponding to the recommendation information, the accuracy of predicting the global behavior is improved.

また、提供するリコメンド情報が複数用意されているため、複数の人間から異なる移動軌跡Pを検出したとしても、情報提供システム100は、複数の人間のそれぞれに適したリコメンド情報を提供できる。   Also, since a plurality of recommended information to be provided is prepared, the information providing system 100 can provide recommended information suitable for each of a plurality of persons even if different movement trajectories P are detected from the plurality of persons.

そして、リコメンド情報は、コミュニケーション行動を行うことができるロボット14によって提供される。   And recommendation information is provided by the robot 14 which can perform a communication action.

なお、本実施例では、1つのトピックスTに対応する移動軌跡P_Tは1つだけに限らず、複数の移動軌跡P_Tが対応するようにしてもよい。また、移動軌跡リストに記録されている各移動軌跡をk-means法によってクラスタリングすることで、トピックスTxに対応する移動軌跡P_Txを算出するようにしてもよい。   In the present embodiment, the movement trajectory P_T corresponding to one topic T is not limited to one, and a plurality of movement trajectories P_T may correspond. Further, the movement trajectory P_Tx corresponding to the topic Tx may be calculated by clustering each movement trajectory recorded in the movement trajectory list by the k-means method.

また、本実施例では、ロボット14によってリコメンド情報を提供したが、人間が所持する携帯電話などの携帯端末にリコメンド情報を発信することで、リコメンド情報を提供するようにしてもよい。この場合、携帯端末は、音声ではなく、文字列や画像によってリコメンド情報を提供する。また、人間が所持する携帯端末は、携帯端末との無線通信における電波強度を利用して特定されてもよいし、加速度センサを有する携帯端末であれば、加速度のデータを利用して特定されてもよい。   In the present embodiment, the recommendation information is provided by the robot 14. However, the recommendation information may be provided by transmitting the recommendation information to a portable terminal such as a mobile phone possessed by a human. In this case, the mobile terminal provides recommendation information not by voice but by a character string or an image. In addition, a portable terminal held by a human may be identified by using radio field intensity in wireless communication with the portable terminal, or if it is a portable terminal having an acceleration sensor, it is identified by using acceleration data. Also good.

また、さらに多くの大局行動を抽出することで、提供するリコメンド情報を増やしてもよい。   Further, the recommended information to be provided may be increased by extracting more global actions.

また、人間の位置を検出するためにLRF12を用いたが、LRF12に代えて超音波距離センサやミリ波レーダなどを用いて、人間の位置を検出してもよい。   Further, although the LRF 12 is used to detect the human position, the human position may be detected using an ultrasonic distance sensor, a millimeter wave radar, or the like instead of the LRF 12.

10 …中央制御装置
12a−12f …LRF
14 …ロボット
16 …CPU
18 …メモリ
80 …CPU
400 …ネットワーク
10 ... Central controller 12a-12f ... LRF
14 ... Robot 16 ... CPU
18 ... Memory 80 ... CPU
400 ... Network

Claims (5)

任意に移動する人間に当該人間の行動に応じたリコメンド情報を提供する情報提供システムであって、
複数のリコメンド情報と、前記複数のリコメンド情報の各々に対応して予め設定した複数の第1移動軌跡とを記憶する記憶手段、
移動している前記人間の位置の変化を第2移動軌跡として検出する検出手段、
前記検出手段によって第2移動軌跡を検出したとき、その第2移動軌跡と前記記憶手段に記憶された全ての第1移動軌跡との類似度を算出し、第2移動軌跡との類似度が最も大きい第1移動軌跡を特定する特定手段、および
前記特定手段によって特定された第1移動軌跡に対応するリコメンド情報を前記人間に提供する情報提供手段を備える、情報提供システム。
An information providing system for providing recommended information according to the human behavior to an arbitrarily moving human,
A plurality of the recommendation information, the plurality of the plurality of first moving path and the memorize storing means which is set in advance corresponding to each of the recommendation information,
Detecting means for detecting a change in position of the person is moving the second moving track,
When the second movement locus is detected by the detecting means, the similarity between the second movement locus and all the first movement locus stored in the storage means is calculated, and the similarity with the second movement locus is the highest. Specifying means for specifying a large first movement locus; and
An information providing system comprising information providing means for providing recommendation information corresponding to the first movement locus specified by the specifying means to the person.
前記リコメンド情報が前記人間に受け入れられたか否かを判断する判断手段、および
前記判断手段によって前記リコメンド情報が前記人間に受け入れられたと判断されたとき、前記検出手段によって検出された第2移動軌跡を当該リコメンド情報に対応する第1移動軌跡として前記記憶手段に追加する更新手段をさらに備える、請求項1記載の情報提供システム。
Determination means for the recommendation are decision received in said human, and when it is determined that the recommendation information is received in the human by the determining means, the second movement trajectory detected by the detecting means The information providing system according to claim 1, further comprising update means for adding to the storage means as a first movement locus corresponding to the recommendation information .
前記情報提供手段は、The information providing means includes
前記人間が任意に移動する場所に設定されるロボット、およびA robot set in a place where the human moves arbitrarily, and
前記特定手段によって特定された第1移動軌跡に対応するリコメンド情報を前記記憶手段から読み出して、前記人間が任意に移動する場所に設置されたロボットに動作命令として付与する動作命令付与手段を含み、Including operation command giving means for reading recommended information corresponding to the first movement trajectory specified by the specifying means from the storage means and giving it as an operation command to a robot installed at a place where the human moves arbitrarily;
前記動作命令付与手段によって付与された動作命令に基づいて前記ロボットが前記人間に前記リコメンド情報を提供する、請求項1または2記載の情報提供システム。The information providing system according to claim 1, wherein the robot provides the recommendation information to the human based on the operation command given by the motion command giving unit.
前記動作命令付与手段は、前記動作命令と共に、前記第2移動軌跡に対応する前記人間の現在位置を前記ロボットに付与し、The movement command giving means gives the robot the current position of the human corresponding to the second movement locus together with the movement command.
前記動作命令付与手段によって付与された前記人間の現在位置に基づいて当該人間に接近した前記ロボットが前記リコメンド情報を提供する、請求項3記載の情報提供システム。The information providing system according to claim 3, wherein the robot approaching the person provides the recommendation information based on the current position of the person given by the operation command giving unit.
前記ロボットは、前記人間に対して身体動作および音声の少なくとも一方を含むコミュニケーション行動を行うコミュニケーションロボットを含み、
前記動作命令は、前記コミュニケーションロボットが発話する発話内容を含む、請求項の3または4記載の情報提供システム。
The robot includes a communication robot that performs a communication action including at least one of body motion and voice on the human ,
The information providing system according to claim 3 or 4 , wherein the operation command includes an utterance content uttered by the communication robot .
JP2009077950A 2009-03-27 2009-03-27 Information provision system Active JP5366048B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009077950A JP5366048B2 (en) 2009-03-27 2009-03-27 Information provision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009077950A JP5366048B2 (en) 2009-03-27 2009-03-27 Information provision system

Publications (2)

Publication Number Publication Date
JP2010231470A JP2010231470A (en) 2010-10-14
JP5366048B2 true JP5366048B2 (en) 2013-12-11

Family

ID=43047226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009077950A Active JP5366048B2 (en) 2009-03-27 2009-03-27 Information provision system

Country Status (1)

Country Link
JP (1) JP5366048B2 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111138A1 (en) * 2011-02-18 2012-08-23 株式会社日立製作所 Pedestrian movement information detection device
JP2012203646A (en) * 2011-03-25 2012-10-22 Advanced Telecommunication Research Institute International Flow-state discrimination device, flow-state discrimination method, flow-state discrimination program, and robot control system using the device, method and program
JP5750610B2 (en) * 2011-03-29 2015-07-22 株式会社国際電気通信基礎技術研究所 Price determination device and price determination system
JP6095041B2 (en) * 2012-05-25 2017-03-15 学校法人立命館 Spatial control system
JP5942840B2 (en) 2012-12-21 2016-06-29 ソニー株式会社 Display control system and recording medium
JP6120404B2 (en) * 2013-05-28 2017-04-26 Kddi株式会社 Mobile body behavior analysis / prediction device
JP5986545B2 (en) * 2013-08-20 2016-09-06 Kddi株式会社 Route generation system, route generation device, and route generation method
US9517559B2 (en) 2013-09-27 2016-12-13 Honda Motor Co., Ltd. Robot control system, robot control method and output control method
JP6571945B2 (en) * 2015-02-17 2019-09-04 本田技研工業株式会社 ENVIRONMENT RECOGNIZING DEVICE AND ROBOT HAVING THE SAME
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US20160260049A1 (en) 2015-03-06 2016-09-08 Wal-Mart Stores, Inc. Shopping facility assistance systems, devices, and methods to dispatch and recover motorized transport units that effect remote deliveries
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
KR101648827B1 (en) * 2015-03-11 2016-08-17 (주)중외정보기술 System for providing event real time location based and method for managing mobile device using the same
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
MX2017011354A (en) * 2016-09-07 2018-09-21 Walmart Apollo Llc In-store audio systems, devices, and methods.
WO2018087994A1 (en) * 2016-11-14 2018-05-17 シャープ株式会社 Communication device, control method, and information processing program
JP2019164562A (en) * 2018-03-19 2019-09-26 株式会社リコー Information processing system, information processing device, information providing method, and display device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3746077B2 (en) * 1993-12-14 2006-02-15 松下電器産業株式会社 Route search display device

Also Published As

Publication number Publication date
JP2010231470A (en) 2010-10-14

Similar Documents

Publication Publication Date Title
JP5366048B2 (en) Information provision system
EP2068275B1 (en) Communication robot
JP5429462B2 (en) Communication robot
JP4822319B2 (en) Communication robot and attention control system using the same
JP5318623B2 (en) Remote control device and remote control program
JP5768273B2 (en) A robot that predicts a pedestrian&#39;s trajectory and determines its avoidance behavior
JP5405381B2 (en) Spoken dialogue device
JP2007139710A (en) Walking-aid robot
JP5764795B2 (en) Mobile robot, mobile robot learning system, and mobile robot behavior learning method
JP2007260822A (en) Guide robot
JP5411789B2 (en) Communication robot
JP2007190641A (en) Communication robot
JP6134895B2 (en) Robot control system, robot control program, and explanation robot
JP2012208782A (en) Move prediction apparatus, robot control device, move prediction program and move prediction method
JP2015066621A (en) Robot control system, robot, output control program and output control method
JP2009151419A (en) Method and apparatus for specifying target
JP2023095918A (en) Robot, method for controlling robot, and program
JP4764377B2 (en) Mobile robot
KR20180074404A (en) Robot for airport and method thereof
JP2017170568A (en) Service providing robot system
JP5552710B2 (en) Robot movement control system, robot movement control program, and robot movement control method
JP7317436B2 (en) ROBOT, ROBOT CONTROL PROGRAM AND ROBOT CONTROL METHOD
JP5324956B2 (en) Road guidance robot
JP5115886B2 (en) Road guidance robot
JP2017177228A (en) Service provision robot system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R150 Certificate of patent or registration of utility model

Ref document number: 5366048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250