JP5040865B2 - ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム - Google Patents

ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム Download PDF

Info

Publication number
JP5040865B2
JP5040865B2 JP2008229890A JP2008229890A JP5040865B2 JP 5040865 B2 JP5040865 B2 JP 5040865B2 JP 2008229890 A JP2008229890 A JP 2008229890A JP 2008229890 A JP2008229890 A JP 2008229890A JP 5040865 B2 JP5040865 B2 JP 5040865B2
Authority
JP
Japan
Prior art keywords
item
robot
information
unit
remote management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008229890A
Other languages
English (en)
Other versions
JP2010064154A (ja
Inventor
文生 布藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008229890A priority Critical patent/JP5040865B2/ja
Publication of JP2010064154A publication Critical patent/JP2010064154A/ja
Application granted granted Critical
Publication of JP5040865B2 publication Critical patent/JP5040865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ロボット制御システム、遠隔管理装置、ロボット、遠隔管理方法、ロボット制御方法、遠隔管理プログラム及びロボット制御プログラムに関する。
ロボット制御システムの関連技術として例えば特許文献1などが挙げられる。特許文献1では、ロボットは、音声や画像を通じてなされる利用者のリクエストに応じて、特定のサーバにリクエストを転送する。サーバは、ロボット側にない情報が要求されたときには、さらに、インターネットなどの広域ネットワーク上の情報空間を検索し、検索結果をロボットの動きや発話内容などのデータとしてロボット側に送信する。ロボットは、受信した前記データを用いて機体動作や音声として利用者のリクエストに答えることができる。
より具体的には、特許文献1では、インターネット接続が可能なロボットは、利用者との会話のコンテキストに応じて、WWW(World Wide Web)情報空間を探索し、ニュースなどの生活・情報系のサービス、占いやゲームなどのエンターティンメント系のサービス、お店案内や辞書引きなどのデータベース系のサービス、モバイル・バンキングなどの取引系のサービス、音楽サービス、口演童話のようなストリーミング(streaming)サービスなどをユーザに提供できる。さらには、ロボット自身の行動制御を規定するプログラム・コードなども随時取得して、新規の動作を発現したりすることができる。
特許第003925140号公報
ところで、特許文献1のように、ロボットが利用者との対話の中で最新の情報(例えば天気予報など)を音声などにより提供するサービスでは、ロボットが例えば「大阪は、6時から雨の確率が60%になっているよ」と解答するのみであった。
このため、傘が必要であるにもかかわらず、傘が手元にない場合には利用者自身が自分で傘を探しだしたりする必要があり、ロボットの言動が利用者に不親切であり、適切なアドバイスができなかった。
すなわち、利用者が所在する周囲の環境にアイテム(物品)が存在していないにもかかわらず、アイテムが利用者に必要であるかのような告知の仕方をロボットが言動してしまうことがあり、適切なアドバイスができなかった。
換言すれば、外部情報を利用者にロボットを通じて提供する際に、ロボットが所在する周囲の環境によっては、ロボットが利用者に対し適切かつ詳細なアドバイスやナビゲーションを与えることができなかった。
本発明の目的は、上述の関連技術の課題を解決することにあり、外部情報を利用者にロボットを通じて提供する際に、利用者に対する不適切なアドバイスやナビゲーションを防止できるロボット制御システム、遠隔管理装置、ロボット、遠隔管理方法、ロボット制御方法、遠隔管理プログラム及びロボット制御プログラムを提供することにある。
上記目的を達成するため、本発明のロボット制御システムは、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備え、前記遠隔管理装置は、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定手段と、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段と、前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、を備え、前記ロボットは、前記アイテム探索制御手段からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段と、前記コンテンツ供給手段からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段と、を備えたことを特徴としている。
本発明の遠隔管理装置は、少なくとも利用者と対話可能なロボットと通信網を介して通信接続され前記ロボットを遠隔制御するとともに前記ロボットに対して情報提供可能な遠隔管理装置であって、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定手段と、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御手段と、前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、を備えたことを特徴としている。
本発明の遠隔管理方法は、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記ロボットを遠隔管理する遠隔管理方法であって、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し、予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定し、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし、前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する、ことを特徴としている。
本発明の遠隔管理プログラムは、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記遠隔管理装置が備えたコンピュータに諸機能を実現可能な遠隔管理プログラムであって、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得機能と、予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定機能と、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御機能と、前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定機能とを前記コンピュータに実現させることを特徴としている。
本発明によれば、外部情報をロボットを通じて利用者に提供する際に、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる、という関連技術にない優れたロボット制御システム、遠隔管理装置、ロボット、遠隔管理方法、ロボット制御方法、遠隔管理プログラム及びロボット制御プログラムを提供することができる。
〔第1の実施の形態〕
(ロボット制御システムの基本的構成)
先ず、ロボット制御システムの基本的構成について説明する。図1に示すように、本発明のロボット制御システム1は、少なくとも利用者と対話可能なロボット10と、前記ロボット10と通信網NWを介して通信接続され前記ロボットを制御する遠隔管理装置としてのロボット制御サーバ110とを含むものである。
この遠隔管理装置としてのロボット制御サーバ110は、図5に示すように、利用者のロボット10に対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された通信網NWを通じて天気情報などの外部情報を取得する取得手段としての外部情報取得部112と、この外部情報に関連する雨具などのアイテム(関連アイテム)を決定するアイテム決定手段としての関連アイテム情報決定部113とを含むものである。
更に、ロボット制御サーバ110は、前記アイテムがロボット10の周辺にあるかどうかをロボット10に探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段としてのアイテム探索制御部114と、前記アイテム探索制御手段としてのアイテム探索制御部114にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段としての言動決定部115と、前記コンテンツを前記ロボットに供給するコンテンツ供給手段としてコンテンツ供給部116とを含む。
ロボット10は、図4に示すように、ロボット制御サーバ110におけるアイテム探索制御部114からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段としてのアイテム探索実行部92と、ロボット制御サーバ110におけるコンテンツ供給部116からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段としてのコンテンツ再生部(言動実行部)94とを含むものである。
アイテム探索実行部92は、ロボット10が備えるCCDカメラ(画像取得部)から取得した画像情報をもとに画像認識機能によりロボットの周囲にある各種物品を識別することができるように構成される。
又、アイテム探索実行部92は、ロボット10が備えるタグリーダ(タグ識別情報取得部)から取得したタグ識別情報をもとにロボットの周囲にある各種物品を識別することができるように構成される。
ロボット制御サーバ110のアイテム探索制御部114は、このアイテム探索実行部92により得られた情報をもとにアイテム探索を行う。すなわち、前記アイテム探索制御部114は、前記アイテムの有無を画像認識情報により探索する第1のアイテム探索制御部114aを備える。
また、アイテム探索制御部114は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する第2のアイテム探索制御部114bを備える。
このようなロボット制御システムでは、ロボット制御サーバ110にて受信した天候等の外部情報を取得し、その外部情報に関連するアイテムを予め定義しておき、アイテムをロボット10が備える機能の一つである例えば画像認識などにより取得した場合に、利用者にナビゲーション、注意喚起等を行う。
例えば、雨天の天候情報をサーバより取得した場合に、室内で傘を画像認識すると、利用者に”傘を持っていく”よう通知する。
これにより、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる。
以下、このような本発明の「ロボット制御システム」のさらに詳細な実施の形態の一例について、図面を参照して具体的に説明する。
(ロボット制御システムの全体構成)
先ず、本実施の形態のロボット制御システムの具体的構成について、全体構成から説明し、続いてロボットの全体構成、ロボットのコントローラの詳細構成、LEDの点灯パター、ロボット制御サーバ(遠隔管理装置)の詳細構成について説明することとする。図1は、本発明における第1実施の形態のロボット制御システムの全体の概略構成の一例を示すブロック図である。
図1に示すように、本実施の形態のロボット制御システム1は、1以上のロボット10と、ロボット10と無線通信接続されるAP(アクセスポイント)と、APと通信網NWを介して通信接続され各ロボット10と情報の授受を行なうことにより各ロボット10の遠隔管理を行い前記各ロボット10を制御するロボット制御サーバ110と、前記通信網NWを介してロボット制御サーバ110と通信可能に形成される情報提供サーバ130とを含む。
ロボット10は、例えば無線LANなどによってAP(アクセスポイント)との間で通信可能に構成される。APは、通信網NWに通信接続されている。
本実施の形態において、ロボット10は、利用者との対話が可能で、音声出力とともに、動作パターンを選択し、ロボットの言動を決定する。
本実施の形態において、ロボット10は、たとえば各種施設等で利用者に情報提供サービスを行う。本実施の形態におけるロボット制御システム1では、ロボット10が利用者に愛くるしい表現にて内容を伝えるようにロボットの言動を決定できる。
遠隔管理装置の一例であるロボット制御サーバ110、情報提供サーバ130は、それぞれ、プログラム制御により動作するものであり、ネットワーク関連の通信機能を有していれば、デスクトップ、ラップトップコンピュータ、その他無線・有線通信機能を有する情報機器、情報家電機器、またはこれに類するコンピュータなどいかなるコンピュータでもよく、移動式・固定式を問わない。
ロボット制御サーバ110、情報提供サーバ130のハードウエア構成は、それぞれ、種々の情報等を表示するための表示部(スクリーン)、この表示部の表示画面上(の各種入力欄等)にデータを操作入力するための操作入力部(例えばキーボード・マウス・各種ボタン・表示操作部<画面上のボタン>・タッチパネル等)、各種信号・データを送受信するための送受信部ないしは通信部(モデムなど)、各種プログラム・各種データを記憶しておく記憶部(例えばメモリ、ハードディスク等)、これらの制御を司る制御部(例えばCPU、MPU、DSP等)などを有することができる。
(ロボットの全体構成)
図2は、図1に示すロボット制御システムにおけるロボットのハードウエア詳細構成の一例を示すブロック図である。
本実施形態のロボット10は、図2及び図3に示されるように、例えば、胴体部20と頭部50が連結されることにより構成されている。
胴体部20は、例えば円筒形にて構成される。胴体部20の下端部には、左右にそれぞれ車輪61A,61Bが取り付けられており、それらの車輪61A,61Bは、独立に前後に回転することができる。また、胴体部20の下端部には、回動自在に支持されたキャスター62を有する。ロボット10は、このキャスター62、車輪61A、61Bの3点で支持できる。従って、前進,後退,旋回,信地旋回,超信地旋回等の動作が可能である。
頭部50は、胴体部20に垂直に取り付けられた垂直軸(図3に示すZ軸)とその垂直軸に対して90度の角度で設置された水平軸(図3に示すX軸)に関して決められた範囲で各々回転する(図3に示すθ1方向、θ2方向)ことができる。
垂直軸は、頭部50の中心を通るように設置されており、水平軸は、胴体部20と頭部50が正面を向いた状態で頭部50の中心を通りかつ左右方向に水平に設置されている。つまり、頭部50は左右と上下の2自由度で、決められた範囲内で回転することができる。
また、胴体部20は、頭部50と独立して図3に示すθ3方向で回転することもできる。
また、胴体部20には、図2に示されるように、ロボット全体の制御を司るコントローラ(ロボット制御装置)22と、ロボットの動力源となるバッテリ31と、スピーカ32(音声出力部)と、左右の車輪61A,61Bを動かすためのアクチュエータ34A,34B(駆動機構)と、予め物品に取り付けられた無線電子タグのタグ識別情報を無線通信にて読み取るためのタグリーダ44(ダグ識別情報取得部)と、ロボット10の感情状態をパターンとして表示可能な胸LED群45(感情パターン表示部)と、メンテナンス時の各部の状態などを表示可能なその他の各種LED群46(46A、46B)と、音の方向や周囲の雑音などを検出するための環境認識用の各種マイク群33と、障害物回避・衝突検知・持ち上げ防止・タッチ検出などの各種センサ群47(図3では47A〜47G)と、外部表示部などを接続可能な各種端子43と、他の通信装置と通信可能な通信I/F(通信インターフェース)43等が収納される。
通信I/F43(送受信部)は、無線LAN、AP(アクセスポント)2、通信網NWなどを介して、他の通信装置との間で通信を行う。
スピーカ32は、文章を出力するための出力手段の一部である。アクチュエータ34A,34Bは、ロボット10を物理的に動作させるためのアクチュエータである。
頭部50には、図2に示すように、マイク53と、CCDカメラ51A,51Bと、頭部50を回転するためのアクチュエータ52A(スイヴェル用),52B(俯仰用)と、利用者の声や他の音を聞いているかどうかを表示するための耳LED群56と、感情状態を表示可能な顔(口)LED群57と、周辺の探索状況を表示可能な目LED群58(探索状況表示部)と、なでたり触られたりすることを検知するタッチセンサ54と、昼夜を問わず周辺を監視するためのサーモグラフィ55(温度分布検知部)などが収納されている。
CCDカメラ51A、51Bは、ロボット周辺の人物を認識する場合、周囲の物品を検知する場合などに利用することもできる。
アクチュエータ52A,52Bは、ロボット10の頭部50を上下左右に回転させる。
頭部50におけるマイク53は、利用者からの発話を含む周囲の音声を集音し、得られた音声情報をコントローラ22に送出する。
頭部50におけるCCDカメラ51A,51Bは、ロボット周辺の人物及び物品や周囲の状況を撮像し、得られた画像情報を、コントローラ22に送出する。
頭部50におけるタッチセンサ54、胴体部20における各種センサ群47に含まれるタッチセンサは、人間がタッチセンサに触れたことを検知し、接触検知情報をコントローラ22に送出する。
コントローラ(ロボット制御装置)22は、CPU22Aやメモリ22Bを内蔵しており、CPU22Aにおいて、メモリ22Bに記憶された制御プログラムが実行されることにより、各種の処理を行う。
すなわち、コントローラ22は、マイク53や通信I/F42を介して得られる音声情報と、CCDカメラ51AおよびCCDカメラ51Bから得られる画像情報と、タッチセンサ54などから得られる接触検知情報とに基づいて、メモリ22Bから適宜情報を読み出し、周囲の状況やユーザからの指令を判断する。
さらに、コントローラ22は、この判断結果などに基づいて、続く言動を決定し、その決定結果に基づいて、スピーカ32,アクチュエータ34A,34B,52A,52B、各LEDやその他の各部のうち必要なものを駆動させる。
これにより、頭部50の上下左右の回転あるいはロボット10の移動や回転等の行動を行わせる。
また、コントローラ22は、合成音を生成し、スピーカ32に供給して、ロボット10に決定した発話を出力させる。
さらに、コントローラ22は、点灯制御信号を生成し、各種LEDに決定した点灯パターンを実行させる。
以上のようにして、ロボットは、周囲の状況などに基づいて行動をとるようになっている。
(ロボットにおけるコントローラの詳細機能構成)
次に、メモリ22Bに記憶された制御プログラムに従って動作するCPU22Aによって実現される各部の相互的な関連について図4を参照して説明する。
コントローラ(ロボット制御装置)22は、画像認識部231、音声認識部232、接触認識部233、言動決定部215、コンテンツ再生部(言動実行部)217、アイテム探索実行部92、音声認識辞書記憶部227、動作パターン情報記憶部224、シナリオ情報記憶部225、コンテンツ記憶部226を含む。
このうち、音声認識辞書記憶部227、動作パターン情報記憶部224、シナリオ情報記憶部225、コンテンツ記憶部226などは、メモリ22Bの記憶領域の一部により構成されている。また、これらの記憶部の情報は、遠隔管理装置であるロボット制御サーバ110から適宜、更新、変更、追加、削除を行うこともできる。
画像認識部231は、CCDカメラ51A、51Bからの画像情報に基づき物品認識(物品認識用画像認識機能)、人物認識(人物認識用画像認識機能)などを行うことができる。
画像認識部231における物品認識用画像認識機能は、CCDカメラ51A、51Bから入力される映像に対して画像処理(例えば特徴点パターン抽出など)を行い画像認識情報を生成し画像認識情報をアイテム探索実行部92へ送出する。
また、画像認識部231では、2CCDカメラによりステレオ視覚認識処理を行うことができる。
更に、画像認識部231における人物認識用画像認識機能では、CCDカメラ51A、51Bから入力される映像に対して画像処理を施して人の識別を行い、人物記憶部(不図示)に人の識別子を記憶することもできる。
又、CCDカメラ51A、51Bに代えて他のイメージセンサを用いてもよく、さらには、対象物の形状や輪郭を捉えるカメラやセンサといった技術にとらわれない。またさらに、ロボットがテレビなどの映像表示機器に映像を表示し、そこに表示した内容を検知結果として利用するという方法も考えられる。
音声認識部232は、マイク53(音声入力部)から入力される人間の音声情報を音声認識する。
音声認識辞書記憶部227は、音声認識単語の集合である音声認識語彙を記憶する音声認識単語記憶部を含む。音声認識単語記憶部は、各外国語の言語に応じて用意することができる。
音声認識部232は、マイク53が入力した音声情報と、音声認識辞書記憶部227に記憶された音声認識語彙とのマッチングを行う。
音声認識部232は、音声認識した音声認識結果を言動決定部215へ送出する。
音声認識結果は、「おはよう」、「こんにちは」や「何かお話して」などの、人がロボットに対して話しかけた言葉である。
音声認識部232が認識する言葉は、「おはよう」や「こんにちは」などの通常命令を含む。通常命令は、例えば、ロボット側から出力された話題に対するユーザ側の応答等をも含むものである。
接触認識部233は、人がタッチセンサ54に触れたときに出力される検知情報を受け、これを接触認識情報として言動決定部215に送出する。
また、タグリーダ44により、予め物品に取り付けられた識別タグ(無線電子タグ)のタグ識別情報が読み取られ、該読み取られたタグ識別情報は、アイテム探索実行部92に送出され、物品を認識できるようにしている。識別タグとしては、アクティブ、パッシブのRFIDタグ、超音波タグ、赤外線タグなど、電波や電磁波、超音波、赤外線などにより読み取り可能なタグを用いてよい。
発話トリガー発生部234は、音声認識部232を参照して、予め決められた一定時間以上の間、音声認識部232から言動決定部215への出力が無い場合に、ユーザの応答に相当する発話トリガー情報を言動決定部215へ送出する。
発話トリガー情報は、音声認識部232によって音声認識が可能な言葉のうちから選ばれる一つの言葉であり、ランダム(任意)に選択される。したがって、発話トリガー情報は、話題選択命令であるか通常命令であるかのどちらかである。音声認識が可能な言葉の登録方法や乱数等を用いた任意選択の手法については慣用技術に属することであるので、ここでは特に説明しない。
発話トリガー情報の選択方法は、ランダム選択に限るものではない。それまでに音声認識した言葉や、発話トリガー発生部234が送出した言葉を予め決められた時間の範囲内で記憶しておき、そこに含まれない言葉を選ぶという方法を取ることもできる。
言動決定部215は、接触認識部233から接触認識情報が送られてきたとき、あるいは、音声認識部232から音声認識結果(例えば予め決められた通常命令を含む)が送られてきたとき、さらには画像認識部231における人物認識用画像認識機能から1以上の人物認識結果が送られてきたとき、またアイテム探索実行部92からのアイテム探索に必要な動作要求が送られてきたとき、それらに応じてロボットの言動(例えば応答言動)を決定することができる。
また、言動決定部215は、発話トリガー発生部234から発話トリガー情報が送られてきたときに、その発話トリガー情報が「おはよう」や「こんにちは」などの、予め決められた通常命令に含まれるとき、対応するロボットの言動(例えば応答言動)を決定する。
具体的には、言動決定部215は、シナリオ選択部215aと、動作パターン選択部215bと、コンテンツ生成部215cとを含む。
シナリオ選択部215aは、対応するシナリオをシナリオ情報記憶部125を参照して選択する。
シナリオ情報記憶部225には、音声認識語に対応する(応答文章および動作パターンを含む)シナリオが記憶されている。
応答文章に対応する動作パターンは、ロボットのアクチュエータ34A,34B,52A,52Bを動かす命令になっている。
また、シナリオ情報記憶部225には、タッチセンサ47、54が人間に触れられたときの応答動作も記憶されている。
シナリオ選択部215aは、音声認識部232から音声認識語を受け取ったとき、シナリオ情報記憶部225に記憶されているシナリオの中から一つを選択して、シナリオに記述された発話ファイル及びそれに関連づけられた動作パターンを示すモーションファイルなどをコンテンツ生成部115cへ送出する。
また、シナリオ選択部215aは、接触認識部233から接触認識情報を受け取ったとき、接触認識情報に対応する動作パターンをシナリオ情報記憶部225から選択し、シナリオに記述された発話ファイル及びそれに関連づけられた動作パターンを示すモーションファイルなどをコンテンツ生成部115cへ送出する。
タッチセンサ47、54および接触認識部233の構造によっては、接触力の強弱やその継続時間に応じた接触認識情報を生成し、シナリオ選択部215aによって接触認識情報に応じた動作パターンを選択するといったことも可能である。
動作パターン選択部215bは、シナリオ選択部215aが読み込んだシナリオに基づき、動作パターン情報記憶部224からロボットの動作パターンを選択する。
動作パターン情報記憶部224には、ロボットが発話を行う際に、効果的な愛くるしい表現が実行できるような各動作パターンが記憶される。
本実施の形態において、動作パターンは、ロボットの利用者に対する愛くるしい表現を胸LED群、顔LED群、頭部の2方向の動作などを制御する各動作パターン、発話ファイルなどを含む。
コンテンツ生成部215cは、シナリオ選択部215aの指示を受け、シナリオ選択部215aにて選択されたシナリオと、動作パターン選択部215bが選択した動作パターンとに基づき、シナリオ選択部215aにて選択された基本構成のシナリオ内に、様々な要求に応じて動作パターン選択部215bが選択した動作パターンを設定するようにして、コンテンツを生成する。
言動実行部217は、言動決定部115のコンテンツ生成部215cから発話する文章を示す発話ファイルとそれに対応する動作を示す各モーションファイルを含むコンテンツが送られてきたとき、発話ファイルに基づく発話コマンドを生成して音声合成部217aへ送出すると共に、対応する動作を示す各モーションファイルに基づく各駆動コマンドをメカ制御部217b及びLED制御部217cへ送出する。
コンテンツ再生部(言動実行部)217は、言動実行制御手段の一例であり、通常状態では、ロボット10のコンテンツ生成部215cからの指示によりコンテンツに含まれる言動条件を実行する。
また、コンテンツ再生部(言動実行部)217は、遠隔管理などのサービスを受けている状態では、ロボット制御サーバ110におけるコンテンツ供給部116からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する。いずれの言動条件を優先するかは設定条件次第である。
コンテンツ再生部(言動実行部)217は、メカ制御部(駆動制御部)217b、音声合成部217a、LED制御部217cを含む。
コンテンツ再生部217は、コンテンツ生成部215cの指示又はロボット制御サーバ110からの指示を受け、コンテンツ記憶部118から該当するモーションファイルや発話ファイルを読み出し、ロボットのモーション再生のためのメカ駆動コマンドやロボットの発話コマンド、LED駆動コマンドを発行して、メカ制御部(駆動制御部)217b、音声合成部217a、LED制御部217cにそれぞれ実行し、シナリオ再生を実行する。
音声合成部217aは、言動決定部215から与えられる文章から合成音声を生成し、出力手段の一部である音声出力制御部(不図示)へ供給する。
音声出力制御部には、音声合成部217aからの合成音のディジタルデータが供給されるようになっており、それらのディジタルデータを、アナログの音声信号にD/A変換し、スピーカ12(音声出力部)に供給して出力させる。
メカ制御部217bは、言動決定部215からのコンテンツに含まれる動作パターン(アクチュエータ動作パターン)に基づいて、アクチュエータ34A,34B,52A,52Bを各々駆動するための各駆動制御信号を生成し、これをアクチュエータ34A,34B,52A,52Bへ送出する。これにより、アクチュエータ34A,34B,52A,52Bは、各駆動制御信号にしたがって駆動し、ロボット10を動作させる。
LED制御部217c(点灯制御部)は、言動決定部215からのコンテンツに含まれる動作パターン(LED動作パターン)に基づいて、胸LED群45,顔LED群57,目LED群58,耳LED群56,その他の各種LED群46を各々駆動するための各点灯制御信号を生成し、これを胸LED群45,顔LED群57,目LED群58,耳LED群56,その他の各種LED群46へ送出する。これにより、胸LED群45,顔LED群57,目LED群58,耳LED群56,その他の各種LED群46は、各点灯制御信号にしたがって点滅する。
以上のような前提となる基本構成に加えて、本実施の形態では以下のような特徴的構成を有する。
アイテム探索実行部92(アイテム探索実行手段)は、ロボット制御サーバ110におけるアイテム探索制御部114からのアイテム探索要求に応じて前記アイテムの探索を実行する。
アイテム探索実行部92は、第1のアイテム探索実行部92aを有し、この第1のアイテム探索実行部92aは、ロボット制御サーバ110からの第1のアイテム探索要求に基づいて、先ずCCDカメラ51A、51Bが特定の第1の方向を向いた状態で第1の視野中の周囲環境における第1画像を取得し、画像認識部231により前記第1の視野中における各物品の各特徴点パターンを抽出し、特徴点パターン情報(画像認識情報)を収集する。
次に、第1のアイテム探索実行部92aは、前記第1の方向から他の第2の方向にCCDカメラ51A、51Bを移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、第2の方向を向いた状態で第2の視野中の周囲環境における第2画像を取得し、画像認識部231により前記第2の視野中における各物品の各特徴点パターンを抽出し、特徴点パターン情報(画像認識情報)を収集する。
更に、第1のアイテム探索実行部92aは、順次CCDカメラ51A、51Bの向きを移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、左右360度、上下180度の全方角についての各視野中の周囲環境における各画像を取得し、画像認識部231により前記各視野中における各物品の各特徴点パターンを各々抽出し、特徴点パターン情報(画像認識情報)を収集する。
そして、第1のアイテム探索実行部92aは、収集された特徴点パターン情報(画像認識情報)を順次ないしはまとめてロボット制御サーバ110に送信する。
本実施の形態では、管理側主導の例であるので、物品の検出判定をロボット制御サーバ110側で行うこととしている。このため、ロボット10側で物品判定用の特徴点パターン情報記憶部(DB)をもつ必要がなく、メモリ22B消費量を低減して応答速度を向上させることができる。
このように、第1のアイテム探索実行部92aは、ロボット10が備えるCCDカメラ(画像取得部)から取得した画像情報をもとに画像認識機能によりロボットの周囲にある各種物品を識別するための情報収集を行う。
ここで、第1のアイテム探索実行部92aは、順次CCDカメラ51A、51Bの向きを移動させるようにアクチュエータ51A、51B、34A、34Bを駆動させる必要があるが、この駆動制御は、動作パターン情報記憶部224にアイテム探索用動作パターンを記憶させておき、動作パターン選択部215bに該パターンを選択するようにソフトウエア的に制御してもよいし、通常行うロボットの言動実行とは独立して探索専用の回路などによってアクチュエータ51A、51B、34A、34Bの駆動制御を行うようにしてもよい。さらには、探索専用のCCDカメラを回動可能に他に設け(物品探索用画像取得部)、収集するようにしてもよい。
又、アイテム探索実行部92は、第2のアイテム探索実行部92bを有し、この第2のアイテム探索実行部92bは、ロボット制御サーバ110からの第2のアイテム探索要求に基づいて、先ずタグリーダ44が特定の第1の方向の周囲環境におけるタグ識別情報を取得し、第1の方向における各物品のタグ識別情報を収集する。
次に、第2のアイテム探索実行部92bは、前記第1の方向から他の第2の方向にタグリーダ44を移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、第2の方向を向いた状態で周囲環境におけるタグ識別情報を取得し、第2の方向における各物品のタグ識別情報を収集する。
更に、第2のアイテム探索実行部92bは、順次タグリーダ44を移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、左右360度、上下180度の全方角についての周囲環境における各物品のタグ識別情報を取得し収集する。
そして、第2のアイテム探索実行部92bは、収集されたタグ識別情報を順次ないしはまとめてロボット制御サーバ110に送信する。
本実施の形態では、管理側主導の例であるので、物品の検出判定をロボット制御サーバ110側で行うこととしている。このため、ロボット10側で物品判定用のタグ識別情報記憶部(DB)をもつ必要がなく、メモリ22B消費量を低減して応答速度を向上させることができる。
このように、第2のアイテム探索実行部92bは、ロボット10が備えるタグリーダ(タグ識別情報取得部)から取得したタグ識別情報をロボットの周囲にある各種物品について情報収集を行う。
また、第2のアイテム探索実行部92bは、タグリーダ44により予め物品に取り付けられた識別タグのタグ識別情報を読み取る処理を行い、目的のタグ識別情報を有する識別タグの位置情報を取得可能な位置情報取得機能を備える。
ここで、第2のアイテム探索実行部92bは、順次タグリーダ44を移動させるようにアクチュエータ51A、51B、34A、34Bを駆動させる必要があるが、この駆動制御は、動作パターン情報記憶部224にアイテム探索用動作パターンを記憶させておき、動作パターン選択部215bに該パターンを選択するようにソフトウエア的に制御してもよいし、通常行うロボットの言動実行とは独立して探索専用の回路などによってアクチュエータ51A、51B、34A、34Bの駆動制御を行うようにしてもよい。さらには、タグリーダを回動可能に設け、収集するようにしてもよい。
また、アイテム探索実行部92は、ロボットが所在する位置の近傍や周囲における環境情報(どの位置にどのような物品があるのか)を取得することもできる。
アイテム探索実行部92は、たとえば、2以上のCCDカメラ、温度センサ等の人体検知センサ、超音波タグセンサ、無線タグセンサ等各取得部からの情報をもとに探索するこもできる。
(LED制御について)
LED制御部217cは、LEDの点滅速度を制御する。これにより、ロボットの心拍状態を擬似的に表現できる。
LED制御部217cは、各LEDの表示色パターンを制御する。これにより、ロボットの欲求状態を利用者は視認できる。
また、LED制御部217cは、ロボットの欲求状態を表示する第1モードと、特別に表現すべきロボットの欲求の解消状況を表示する第2モードとを適宜切り替え選択制御するモード制御機能を備える。
第1モードでは、例えばマズローの欲求段階にほぼ対応するように予め定義されたロボットの欲求段階に応じた表示パターンにて表示制御することができる。
例えば、第1欲求表示段階(タスク実現の欲求)では、利用者を楽しませたり、利用者に役立ったりしたいという欲求を示し、白とタスクの象徴色(第1の表示色パターン)を表示するように表示制御する。
また、第2欲求表示段階(コミュニケーションの欲求)では、利用者とのやりとりを上手くやりたいという欲求を示し、白(第2の表示色パターン)を表示するように表示制御する。
さらに、第3欲求表示段階(関係の欲求)では、他者と関わりたいという欲求を示し、オレンジ(第3の表示色パターン)を表示するように表示制御する。
さらにまた、第4欲求表示段階(安全の欲求)では、自分の身を守りたいという欲求を示し、赤(第4の表示色パターン)を表示するように表示制御する。
これらのうち、第1モードで心拍が通常(第1の点滅速度)の場合、
対話モード、自律行動モード、伝言や顔登録などタスク系サブシナリオモードにおいて表示制御することが好ましい。
一方、第1モードで心拍が早い(第2の点滅速度)の場合、なぞなぞやまいとなどエンタメ系サブシナリオモード、自動充電モード、緊急モードにおいて表示制御することが好ましい。
第2モードでは、ユーザからの設定入力によって、特別に表現したいリアクションを実行できる。
この第2モード(特別演出状態)では、ほめられ反応モードやダンスモード、歌モードにおいて表示制御することが好ましい。
表示色パターンの例としては例えば「嬉しい」場合はピンク、「楽しい」場合は3色、設定中は青などが挙げられる。
この場合、3色以上の組み合わせでは、明るい色、中間の色、暗い色を組み合わせる。
色を組み合わせる場合、暖色系と寒色系を組み合わせたり、色合い(色相)だけでなく見た目の明るさが異なる2色を組み合わせることが好ましい。
例えば、「嬉しい」場合の表示パターンの例として、図8及び図9が挙げられる。図8では、胸LED群45のうちLED45a(第1表示部)、LED45b(第2表示部)、LED45c(第3表示部)の3つをハート型に配置し、ハートイメージを構成する。この場合の各LED45a、45b、45cの点灯パターンは、図9に示すように、第1の輝度(例えば0)と第2の輝度との間で変化させるパターンと、第1の輝度(例えば0)と第2の輝度より高い第3の輝度との間で変化させるパターンとを交互に繰り返し、3粒同時に次第に輝度を上げ点灯する第1の感情表示パターンとしている。
また、例えば、「楽しい」場合の表示パターンの例として、図10及び図11が挙げられる。図10では、胸LED群45のうちLED45a(第1表示部)、LED45b(第2表示部)、LED45c(第3表示部)の3つをハート型に配置し、ハートイメージを構成する。この場合の各LED45a、45b、45cの表示色パターンは、各LED45a、45b、45cを赤、ピンク、オレンジとする第1サブ表示色パターンと、各LED45a、45b、45cを全てオレンジとする第2サブ表示色パターンと、各LED45a、45b、45cを全てピンクとする第3サブ表示色パターンと、を有し、第1サブ表示色パターン、第2サブ表示色パターン、第1サブ表示色パターン、第3サブ表示色パターンを交互に繰り返す表示色パターンとしている。これにより、各LED45a、45b、45cを各LED45c、45b、45aの順に回転するイメージを作り出すことができる。
さらに、図11に示すように、第1サブ表示色パターンにおける第1サブ点灯パターンは、第1の輝度と第2の輝度との間で第1周期にて3粒変化させるパターンとする。また、第2、第3サブ表示色パターンにおける第2サブ点灯パターンは、第1の輝度と第2の輝度との間で第1周期の半分の第2周期にて変化させるパターンとする。この際、各LED45c、45a、45b、45cの順に点灯し、これらを組み合わせてる第2の感情表示パターンとしている。
また、例えば、盛り上がり系サブシナリオとして「なぞなぞ、お話」など場合の表示パターンの例として、図12及び図13が挙げられる。図12では、胸LED群45のうちLED45c(第3表示部)、LED45d(第4表示部)の2つを異なる大きさの表示パターンを構成する。この場合の各LED45c、45dの表示色パターンは、各LED45c、dをピンク、白とする表示色パターンを有する。
さらに、図13に示すように、LED45dの第1点灯パターンは、第1の輝度と第2の輝度との間で第1周期にて変化させるパターンとする。また、LED45cの第2点灯パターンは、第1の輝度と第2の輝度より低い第3の輝度との間で第1周期にて変化させ、第1の輝度の期間を第2の輝度の期間よりも長くするパターンとする。これらを組み合わせてる第3の感情表示パターンとしている。
これにより、白とピンクのパターンと白のみのパターンとが交互に繰り返し、楽しいコンテンツを一緒に行い心拍が早いイメージを作り出すことができる。
このようにして、ダンスなどの演劇的表現が増大し、エンタテイメントにも適するロボットを提供できる。
以上の各表示パターンは、動作パターン情報記憶部224に記憶され、シナリオや外部情報、アイテムの種類などに応じて動作パターン選択部215bにより適宜選択変更され、LED制御部217cが選択されたパターンを実行制御する。
(遠隔管理装置の詳細構成)
図5は、ロボット制御サーバの詳細構成の一例を示すブロック図である。
遠隔管理装置の一例であるロボット制御サーバ110は、図5に示すように、取得手段としての外部情報取得部112と、アイテム決定手段としての関連アイテム情報決定部113と、アイテム探索制御手段としてのアイテム探索制御部114と、言動決定手段としての言動決定部115と、コンテンツ供給手段としてコンテンツ供給部116と、関連アイテム情報記憶部121と、特徴点パターン情報記憶部122と、タグ識別情報記憶部123と、動作パターン情報記憶部124と、シナリオ情報記憶部125と、コンテンツ記憶部126とを含む。
外部情報取得部112は、利用者のロボット10に対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された通信網NWを通じて外部情報を取得する。
例えば、天気情報のサービスをうけるサービス提供開始時刻を予め利用者が登録の際に設定すると、現在時刻が当該時刻に至ったかどうかをチェックし、前記時刻であると判定された場合には、シナリオ選択部115aは、シナリオ情報記憶部125からサービス内容に応じたシナリオを読み込む。
外部情報取得部112が、外部情報を取得する際、情報提供サーバに対して情報検索を行い、外部情報を得ることになる。
ここでは、例えば天気予報サービスに対応するシナリオを選択した場合、当該シナリオに記述された天気予報情報の提供サイト(情報提供サーバ)にアクセスし、ロボットが所在する位置に応じた天気予報情報を取得する。
関連アイテム情報記憶部121は、外部情報と、この外部情報に関連するアイテムとが対応づけられて記憶されている。
外部情報が例えば天気予報の天候情報「雨」である場合には、関連するアイテムとして例えば「傘」などが挙げられる。このため、「雨」と「傘」とが対応づけられている。
関連アイテム情報決定部113は、関連アイテム情報記憶部121を参照し、外部情報に関連するアイテム(関連アイテム)を決定する。さらに、関連アイテム情報決定部113は、関連アイテム情報が得られた場合、得られた関連アイテム情報及び外部情報をアイテム探索制御部114に送出する。一方、関連アイテム情報決定部113は、関連アイテム情報が得られない場合、外部情報を言動決定部115の動作パターン選択部115bに送出する。
例えば、関連アイテム情報決定部113は、外部情報が「雨」の場合、関連アイテムを「傘」と決定し、得られた「傘」という関連アイテム情報をアイテム探索制御部114に送出する。一方、関連アイテム情報決定部113は、外部情報が「晴れ」の場合、関連アイテムが見つからず、「晴れ」という外部情報を動作パターン選択部115bに送出する。
アイテム探索制御部114は、前記アイテムがロボット10の周辺にあるかどうかをロボット10に探索させるための制御をし、前記アイテムの有無を判定する。
アイテム探索制御部114は、このアイテム探索実行部92により得られた情報をもとにアイテム探索を行う。すなわち、前記アイテム探索制御部114は、前記アイテムの有無を画像認識情報により探索する第1のアイテム探索制御部114aを備える。また、アイテム探索制御部114は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する第2のアイテム探索制御部114bを備える。
第1のアイテム探索制御部114aは、ロボット10の第1のアイテム探索実行部92aに対し第1のアイテム探索要求を送出し、ロボット10に関連アイテムの探索を実行させる。この際、CCDカメラ51A、51Bから得られた画像をもとに画像認識を行い関連アイテムの探索を行う。
特徴点パターン情報記憶部122は、予め登録段階で、ロボットの周辺にある各種物品の特徴点パターン情報(既登録特徴点パターン情報)が物品識別子とともに記憶されている。
第1のアイテム探索制御部114aは、ロボット10が収集して画像認識処理をした画像認識情報をロボット10より受信し、特徴点パターン情報記憶部122を参照してマッチング処理を行う。
第1のアイテム探索制御部114aは、関連アイテムを見つけた場合、関連アイテム情報を外部情報とともに動作パターン選択部115bに送出する。一方、第1のアイテム探索制御部114aは、関連アイテムが見つからない場合、第2のアイテム探索制御部114bに指示を行うとともに関連アイテム情報及び外部情報を第2のアイテム探索制御部114bに送出する。
第2のアイテム探索制御部114bは、ロボット10の第2のアイテム探索実行部92bに対し第2のアイテム探索要求を送出し、ロボット10に関連アイテムの探索を実行させる。この際、タグリーダ44から得られたタグ識別情報により関連アイテムの探索を行う。
タグ識別情報記憶部123は、予め登録段階で、ロボットの周辺にある各種物品に取り付けられた無線電子タグのタグ識別情報(既登録タグ識別情報)が記憶されている。
第2のアイテム探索制御部11baは、ロボット10が収集したタグ識別情報をロボット10より受信し、タグ識別情報記憶部123を参照して前記関連アイテムに対応する物品があるかどうかの探索を行う。
第2のアイテム探索制御部114bは、関連アイテムを見つけた場合、関連アイテム情報とともに外部情報を動作パターン選択部115bに送出する。一方、第2のアイテム探索制御部114bは、関連アイテムが見つからない場合、関連アイテムがない旨の通知を外部情報とともに言動実行部115の動作パターン選択部115bに送出する。
例えば、第1のアイテム探索制御部114aは、関連アイテム情報が「傘」である場合、前記「傘」がロボット10の周辺にあるかどうかをロボット10に探索させる。
第1のアイテム探索制御部114aは、画像認識により「傘」を見つけた場合、関連アイテム情報「傘」を外部情報「雨」とともに動作パターン選択部115bに送出する。一方、第1のアイテム探索制御部114aは、「傘」が見つからない場合、第2のアイテム探索制御部114bに指示する。
第2のアイテム探索制御部114bは、タグ識別情報により「傘」を探索する。第2のアイテム探索制御部114bは、タグ識別情報により「傘」を見つけた場合、関連アイテム情報「傘」を外部情報「雨」とともに動作パターン選択部115bに送出する。一方、第2のアイテム探索制御部114aは、「傘」が見つからない場合、関連アイテムがない旨の通知を外部情報「雨」とともに言動実行部115の動作パターン選択部115bに送出する。
このように、アイテム探索制御部114は、アイテムが鞄の中にあるなど画像認識によりアイテムを発見できない場合でも、タグ識別情報によりアイテムを見つけ出すことができる。
アイテム探索制御部114は、取得した環境情報を解析し、ロボットの近傍にある物品の種類、およびそれらの物品のロボットに対する位置を把握する。
アイテム探索制御部114は、取得した画像から物品と識別される領域を抜き出す検出を行う。
つづいて、アイテム探索制御部114は、検出した物品画像の大きさおよび形状、ならびにロボットの位置に基づき、ロボットの近傍にいる物品の種類、各物品のロボットに対する位置(角度および距離)を推定する。
また、予め物品画像と、その属性情報との対応データ等を取得しておき、アイテム探索部により物品の画像認識を行い、物品の有無の判定を行う。
また、アイテム探索制御部114は、タグリーダから取得した情報をもとに探索することもできる。たとえば、予め物品に識別情報や属性情報を記憶したタグを付与しておくことができる。
この場合、アイテム探索制御部114は、タグリーダにより、タグから情報を読み取ることにより、ロボットの近傍にいる物品の種類、各物品のロボットに対する位置を推定することができる。
アイテム探索制御部114は、把握した物品の種類や位置等の状況を 記憶部 に記憶する。
アイテム探索制御部114は、取得する情報および記憶部に記憶された情報に基づき、物品配置の変化も検出する。
言動決定部115は、アイテム探索制御部114にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する。
シナリオ情報記憶部125は、ロボットの振る舞いについて記載されたシナリオを記憶する。シナリオは、たとえば、ロボットに再生させるべきモーションファイルや発話ファイル、およびその再生手段等が記述されたプログラムとすることができる。すなわち、シナリオ情報記憶部125は、モーションファイルや発話ファイルを指定し、順番に再生していくためのスクリプト言語などを記憶している。ここで、モーションファイルは、ロボットのモーションを示す。発話ファイルは、ロボットの発話を示す。
モーションファイルは、ロボットの動作パターンを有し、アクチュエータ34A,34B,52A,52Bを動作させるものである。
シナリオ選択部115aは、設定またはユーザの指示に従い、シナリオ情報記憶部125からシナリオを選択し、それを読み込む。
シナリオ選択部115aは、シナリオ情報記憶部125から読み込んだシナリオに従い、動作パターン選択部115bおよびコンテンツ生成部115cに指示を行う。
動作パターン選択部115bは、アイテム探索部 が探索した物品の種類、およびシナリオ選択部115aが読み込んだシナリオに基づき、動作パターン情報記憶部124からロボットの動作パターンを選択する。
動作パターン情報記憶部124には、ロボットが発話を行う際に、効果的な愛くるしい表現が実行できるような各動作パターンが記憶される。
本実施の形態において、動作パターンは、ロボットの利用者に対する愛くるしい表現を胸LED群、顔LED群、頭部の2方向の動作などを制御する各動作パターンを含む。
たとえば、動作パターン選択部115bは、天候が雨の場合には、頭部をうつむき加減に動作させる頭部動作パターンとするために第1頭部モーションファイルを選択し、胸LED群を「悲しい」感情を示す点灯制御パターンとするために第1胸点灯制御モーションファイルを選択し、発話ファイルは「本日の天候は雨です」という音声情報の第1発話ファイルを選択する。
そして、選択されたシナリオに、前記第1発話ファイル、第1頭部モーションファイル、第1胸点灯制御モーションファイルのファイル名を設定し、コンテンツを生成する。
例えば、第1言動パターンは、判定の結果「傘」があると判定された場合であり、天気予報の雨に傘を関連づけた言動パターン「今日の天気は雨です。傘が**にありますので傘をお持ち下さい。」などが挙げられる。この際、動作パターンは、胸LED群、顔LED群、頭部の2方向の動作を「悲しい」動作となるパターンを選択設定する。
また、第2言動パターンは、判定の結果「傘」がないと判定された場合であり、「今日の天気は雨です。」「今日の天気は雨です。ここには傘はありません。」などが挙げられる。
さらに、第3の言動パターンは、「今日の天気は晴れです。」などが挙げられる。この際、動作パターンは、胸LED群、顔LED群、頭部の2方向の動作を「うれしい」動作となるパターンを選択設定する。
このようにして、動作パターン選択部115bは、動作パターン情報記憶部124から動作パターンを選択する。
また、動作パターン記憶部124は、各動作の時間の設定を含むことができる。動作パターン情報記憶部124には、物品の位置情報とロボットの現在位置とに基づき、物品まで移動するための動作パターンも記憶することができる。
コンテンツ記憶部126は、モーションファイルおよび発話ファイルを記憶する。
コンテンツ生成部115cは、シナリオ選択部115aの指示を受け、シナリオ選択部115aにて選択されたシナリオと、動作パターン選択部115bが選択した動作パターンとに基づき、シナリオ選択部115aにて選択された基本構成のシナリオ内に、アイテム探索結果などの結果に応じて動作パターン選択部115bが選択した動作パターンを設定するようにして、コンテンツを生成する。
具体的には、コンテンツ生成部115cは、ロボットが適切な動作を行うよう、ロボットの首、胴体、の一つ以上を移動させ、LEDを点灯動作させるためのモーションファイルを生成する。
また、コンテンツ生成部115cは、記憶部に記憶された物品の位置、および動作パターン選択部が選択した動作パターンに基づき、コンテンツを生成することもできる。
コンテンツ供給部116は、前記コンテンツを前記ロボットに供給する。
コンテンツ供給部116は、コンテンツ生成部115cの指示を受け、コンテンツ記憶部118から該当するモーションファイルや発話ファイルを読み出し、ロボット10に送信し、ロボット10側のコンテンツ記憶部226に書き込むよう指示するとともに、ロボット10側のコンテンツ再生部217に当該ファイルを実行するように指示する。
ロボット制御サーバ110側のアイテム探索制御部114は、ロボット10側のコンテンツ再生部217がコマンドを発行中も定期的に周囲の状況を取得することができる。
アイテム探索制御部114は、取得したデータを解析し、ロボットの近傍の物品の種類、およびそれらの物品のロボットに対する位置の変化を検出する。
アイテム探索制御部114は、動作パターン選択部115bに指示し、ロボットの移動などにより、ロボットの近傍にいる物品の数や位置に変化があった場合、動作パターン選択部215bは、新たな状況に応じて、動作パターン記憶部224から動作パターンを選択しなおすことができる。
(動作処理手順について)
(全体の概略動作)
次に、上述のような構成を有するロボット制御システムの全体の概略動作処理手順について、図6を参照しつつ説明する。図6は、図1のロボット制御システムにおける処理手順の一例を示すネットワークシーケンス図である。
本実施の形態に係るロボット制御システムにおける動作処理手順は、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置とを備えたロボット制御システムを対象とするものである。
この遠隔管理を行う際の動作処理手順は、基本的手順として、遠隔管理装置としてのロボット制御サーバが、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し(図6に示すステップS112:外部情報取得ステップ)、次に、前記外部情報に関連するアイテムを決定し(図6に示すステップS113:アイテム決定ステップ)、続いて、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし(図6に示すステップS120a:アイテム探索制御処理ステップ)、しかる後、前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する(図6に示すステップS131:言動決定ステップ)ことを行うものである。
さらに、この遠隔管理を行う際の動作処理手順では、前記アイテム探索制御に際しては、前記アイテムの有無を画像認識情報により探索することができる(図6に示すステップS121、S123、S124からなるステップ)。
また、この遠隔管理を行う際の動作処理手順では、前記アイテム探索制御に際しては、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することができる(図6に示すステップS125、S127、S128からなるステップ)。
更に、ロボット側におけるロボット制御の際の動作処理手順では、前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索し(図6に示すステップS120b:アイテム探索実行処理ステップ)、前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する(図6に示すステップS133:言動実行処理ステップ)ことができる。
(動作処理手順の詳細)
以下、これを詳述する。
まず、図6に示すように、プログラムがスタートすると、所定時刻かどうかを判定する(ステップS110:サービス提供開始時刻判定ステップ)。
例えば、天気情報のサービスをうけるサービス提供開始時刻を予め利用者が登録の際に設定すると、現在時刻が当該時刻に至ったかどうかをチェックする。
前記時刻であると判定された場合には、シナリオ選択部115aは、シナリオ情報記憶部125からサービス内容に応じたシナリオを読み込む(S111:シナリオ選択ステップ)。
又は、前記利用者の前記ロボットに対する言動要求の一例である音声指示入力(ステップS101)によりロボットが音声認識を行い(ステップS102)、音声認識結果がロボット制御サーバに伝達される(ステップS103)ことによっても情報提供サービス用のシナリオ選択を行うことができる。
どのシナリオを読み込むかは、設定またはユーザの指示に基づき決定される。
続いて、取得手段(外部情報取得部112)として機能するロボット制御サーバのコンピュータが、外部情報を取得する(S112:外部情報取得ステップ)。
このため、外部情報取得は、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて行われる。
この際、情報提供サーバに対して情報検索を行い(ステップS112a)、外部情報を得る(ステップS112b)ことになる。
ここでは、例えば天気予報サービスに対応するシナリオを選択した場合、当該シナリオに記述された天気予報情報の提供サイト(情報提供サーバ)にアクセスし、ロボットが所在する位置に応じた天気予報情報を取得する。
次に、アイテム決定手段(関連アイテム情報決定部113)として機能するロボット制御サーバのコンピュータは、取得した外部情報に基づき、関連アイテム情報記憶部121を参照して外部情報に対応するアイテムが何であるかを決定する(ステップS113:アイテム決定ステップ)。
関連アイテム情報記憶部121には、予め外部情報とアイテムとが対応づけられて記憶されている。
このため、例えば、外部情報が天気予報情報である場合、天気予報「雨」に関連するアイテムとして「傘」という情報を取得することができる。
そして、アイテム探索手段(アイテム探索制御部114)として機能するロボット制御サーバのコンピュータは、前記アイテムがロボットの周辺にあるかどうかをロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をする(ステップS120a:アイテム探索制御処理ステップ)。
より詳細には、ロボット制御サーバのコンピュータは、第1のアイテム探索要求をロボットに対して送信する(ステップS121:第1のアイテム探索要求送信ステップ)。
ロボットは、第1のアイテム探索要求を受信すると、この第1のアイテム探索要求に基づき画像認識情報を取得する処理を行う(ステップS122:画像認識情報取得ステップ)。
ロボットは、取得した画像認識情報をロボット制御サーバに通知し、ロボット制御サーバは、これを受信する(ステップS123:画像認識情報受信ステップ)。
ロボット制御サーバのコンピュータは、受信した画像認識情報と、特徴点パターン情報記憶部122の既登録画像認識情報とに基づいて、ロボットの周辺にアイテムがあるかどうかを判定する(ステップS124:第1のアイテム有無判定ステップ)。
例えば、アイテムが「傘」である場合には、ロボットが所在する周囲環境に実物の「傘」があるかどうかをCCDカメラ及び画像認識部による画像認識情報をもとに探索する。
さらに、ステップS124の判定の結果、アイテムが無いと判定された場合、タグリーダによる探索を行う。すなわち、画像認識による探索でアイテムが発見されなかったときには、タグリーダによってアイテムの探索を行う。
具体的には、ロボット制御サーバのコンピュータは、第2のアイテム探索要求をロボットに対して送信する(ステップS125:第2のアイテム探索要求送信ステップ)。
ロボットは、第2のアイテム探索要求を受信すると、この第2のアイテム探索要求に基づきタグ識別情報を取得する処理を行う(ステップS126:タグ識別情報取得ステップ)。
ロボットは、取得したタグ識別情報をロボット制御サーバに通知し、ロボット制御サーバは、これを受信する(ステップS127:タグ識別情報受信ステップ)。
ロボット制御サーバのコンピュータは、受信したタグ識別情報と、タグ識別情報記憶部123の既登録タグ識別情報とに基づいて、ロボットの周辺にアイテムがあるかどうかを判定する(ステップS128:第2のアイテム有無判定ステップ)。
例えば、アイテムが「傘」である場合には、ロボットが所在する周囲環境に実物の「傘」があるかどうかをタグリーダによるタグ識別情報をもとに探索する。
次に、言動決定手段(言動決定部115)として機能するロボット制御サーバのコンピュータは、以上のステップS124及びステップS128の判定結果に基づいて、言動パターンを動作パターン情報記憶部124を参照することによって選択し、言動決定を行う(ステップS131:言動決定ステップ)。
より詳細には、以上のステップS124の判定の結果アイテムが有ると判定された場合、又は、以上のステップS125の判定の結果アイテムが有ると判定された場合、外部情報とアイテムとを含む情報の言動パターン(第1言動パターン)を選択し言動決定を行う。
一方、以上のステップS124の判定の結果アイテムが無いと判定された場合、又は、以上のステップS125の判定の結果アイテムが無いと判定された場合、外部情報とアイテムが無い旨の情報とを含む情報の言動パターン(第2言動パターン)を選択し言動決定を行う。
さらに、ステップS113のアイテム決定の際に、外部情報に対応するアイテムが関連づけられていない場合、外部情報のみの情報の言動パターン(第3言動パターン)を選択し言動決定を行う。
例えば、第1言動パターンは、判定の結果「傘」があると判定された場合であり、天気予報の雨に傘を関連づけた言動パターン「今日の天気は雨です。傘が**にありますので傘をお持ち下さい。」などが挙げられる。
また、第2言動パターンは、判定の結果「傘」がないと判定された場合であり、「今日の天気は雨です。」「今日の天気は雨です。ここには傘はありません。」などが挙げられる。
さらに、第3の言動パターンは、「今日の天気は晴れです。」などが挙げられる。
このようにして、動作パターン選択部115bは、動作パターン情報記憶部124から動作パターンを選択し、コンテンツ生成部115cは、動作パターン選択部104が選択した動作パターンと、シナリオ選択部115aが選択したシナリオに基づき、コンテンツを生成し、コンテンツ記憶部126に記憶する。
そして、コンテンツ供給手段(コンテンツ供給部116)として機能するロボット制御サーバのコンピュータは、コンテンツ記憶部126のコンテンツをロボットに対して送信する処理を行う(ステップS132:コンテンツ供給ステップ)。
次に、ロボットは、ロボット制御サーバからのコンテンツを受信すると、言動実行手段(コンテンツ再生部94)として機能するロボットのCPUは、言動実行を行う(ステップS133:言動実行ステップ)。
すなわち、コンテンツ再生部94は、該当するコンテンツ情報を再生し、音声による結果報告(ステップS133a)、動作による結果報告(ステップS133b)とを行う。
ロボット制御サーバは、次のシナリオを選択するか否かを判断し(S140)、次のシナリオを選択する場合(S140のYES)、ステップS111に戻り、新たなシナリオを選択する。一方、ステップS140において、次のシナリオを選択しない場合(S140のNO)、処理を終了する。
ここで、以上のステップS122、ステップS126からなるステップは、アイテム探索実行処理ステップないしはアイテム探索実行処理機能ということもできる。
このようにすることで、図7に示すように、利用者USとロボットPOとの対話中に、ロボットPOは、外部情報を通信網を介して取得するが、この外部情報に関連するアイテムが周囲環境SP内にあるかどうかを探索する。
そして、傘立てBO内の傘P1をCCDカメラを通じて画像認識により認識できる。
或いは、傘P1しか認識されない場合には、タグリーダによってタグ識別情報を得ることにより、机DE内の折り畳み傘P2を認識することができる。
これらを認識した上で、利用者USに対して「今日の天気は雨です。傘が**にありますので傘をお持ち下さい。」などの言動を行うことができる。
また、アイテム探索実行処理、アイテム探索制御処理の際に、画像認識及びタグ識別情報のいづれか一方又は双方により、利用者が既に傘を持参しているか否かを判定する機能を実行することもできる。この場合、既に傘を含む鞄などを持参しており、出かける直前に玄関などでロボットに対して天気を聞くといった場合が想定され、このような場合、ロボットは、他の種々の言動実行、例えば「今日の午後の天気は雨だけど、既に鞄に折りたたみ傘が入っているので、そちらをご使用下さい。傘立ての傘はあらためて持参する必要はありません」などの言動を行なうこともできる。
以上のように本実施の形態によれば、外部情報に関連するアイテムがロボットの周辺にある場合に、前記外部情報及びアイテムを含む情報を利用者に告知することができる。
これにより、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる。利用者の利便性を向上させることができる。
ここで、図4、図5に示すブロック図における一部の各ブロックは、コンピュータにより実行可能なプログラムにより機能化された状態を示すソフトウエアモジュール構成であってもよい。
すなわち、物理的構成は例えば一又は複数のCPU(或いは一又は複数のCPUと一又は複数のメモリ)等ではあるが、各部(回路・手段)によるソフトウエア構成は、プログラムの制御によってCPUが発揮する複数の機能を、それぞれ複数の部(手段)による構成要素として表現したものである。
CPUがプログラムによって実行されている動的状態(プログラムを構成する各手順を実行している状態)を機能表現した場合、CPU内に各部(手段)が構成されることになる。プログラムが実行されていない静的状態にあっては、各手段の構成を実現するプログラム全体(或いは各手段の構成に含まれるプログラム各部)は、メモリなどの記憶領域に記憶されている。
以上に示した各部、モジュール(手段)は、プログラムにより機能化されたコンピュータをプログラムの機能と共に実現し得るように構成しても、また、固有のハードウエアにより恒久的に機能化された複数の電子回路ブロックからなる装置で構成してもよい。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。
また、各部は、通信可能な専用のコンピュータからなる装置としてそれぞれ構成し、これらの各装置によりシステムを構成してもよい。逆に、各部を単一の装置として構成したシステムであってもよい。
[第2の実施の形態]
次に、本発明にかかる第2の実施の形態について、図14に基づいて説明する。以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図14は、本発明のロボット制御システムの第2の実施の形態の一例を示すブロック図である。
上述の第1の実施の形態では、ロボット制御サーバ側主導で処理を行う構成の一例を示したが、本実施の形態では、ロボット側で主な処理を行う構成の一例を示している。
本実施の形態では、ロボット側に前記第1の実施の形態におけるロボット制御サーバ110の機能を備えるようにしている。本実施の形態の場合、ロボット制御サーバの管理側制御手段は、サービス内容に応じた外部情報の取得とロボットへの提供を行う機能のみを備え、アイテム有無判定などをロボット側で行うようにしている。
具体的には、本実施の形態のロボット制御システムにおけるロボット210のコントローラ22は、図14に示すように、前記第1の実施の形態におけるロボット10が有する機能に加え、前記第1の実施の形態におけるロボット制御サーバ110が有する機能と同様の外部情報取得部212、関連アイテム情報決定部213、関連アイテム情報記憶部221、特徴点パターン情報記憶部222、タグ識別情報記憶部223を備える。
また、ロボット210のコントローラ22は、前記第1の実施の形態におけるロボット制御サーバ110のアイテム探索制御部114とロボット10のアイテム探索実行部92の双方の機能を備えたアイテム探索部214と、その他の各処理部218とを備える。
アイテム探索部214は、前記第1の実施の形態におけるロボット制御サーバ110の第1のアイテム探索制御部114aとロボット10の第1のアイテム探索実行部92aの双方の機能を備えた第1のアイテム探索部214aと、前記第1の実施の形態におけるロボット制御サーバ110の第2のアイテム探索制御部114bとロボット10の第2のアイテム探索実行部92bの双方の機能を備えた第2のアイテム探索部214bとを備える。
また、アイテム探索部214は、アイテム探索制御手段の一部で一例であるということもできる。
第1のアイテム探索部214aは、関連アイテム情報決定部113からの指示を受けて作動し、CCDカメラ51A、51Bから入力される映像に対して画像認識部231により画像処理された画像認識情報(特徴点パターン情報)に基づいて、予め登録された特徴点パターン情報記憶部222の既登録特徴点パターン情報との照合により物品を識別しアイテムの判定を行う。
第1のアイテム探索部214aは、予め登録段階では、特徴点パターン記憶部122に物品の識別子を特徴点パターン情報とともに記憶することできる。物品の識別子は、IDである場合もあるし、物品名である場合もある。
第1のアイテム探索部214aは、周囲の物品を検知し、関連アイテムに合致する物品の探索を行ない、関連アイテムに合致する物品を見つけた場合には、関連アイテム情報を言動決定部215の動作パターン選択部215bに送出する。発見できない場合、第2のアイテム探索部214bを作動させる。
また、検知対象とする物品を予め登録しておいて、入力された画像の中から探す際には、画像自体のマッチングで検出する手法や、特徴を抽出したあとで学習により識別を行う手法など様々な手法を採用できる。
第1のアイテム探索部214aは、CCDカメラ51A、51Bの視野中に存在する物品例えば「傘」を検知し、その「傘」を検知すると、関連アイテム情報「傘」を動作パターン選択部215bへ送出できる。
第2のアイテム探索部214bは、タグリーダ44から入力されるタグ識別情報に基づいて、予め登録されたタグ識別情報記憶部223の既登録タグ識別情報との照合により物品を識別しアイテムの判定を行う。
また、第2のアイテム探索部214bは、目的のタグ識別情報を有する識別タグの位置情報を取得可能な位置情報取得機能を備える。
この際、アイテム探索部214は、ロボットから物品までの距離なども推定可能であり、動作パターン情報記憶部224で予め用意されている動作パターンに位置情報を書き込むことによって、言動実行部では、ロボットが言動実行をする際にアイテム位置まで案内動作することも可能となる。
位置情報は、第1、第2のアイテム探索部214a、214bのいずれによっても求めることができる。或いは必要に応じて双方を組み合わせるようにしてもよい。
その他の各処理部218は、ロボット制御サーバからサービス提供される情報に基づきコントローラ22の各記憶部を更新する機能、発話トリガー発生機能などが挙げられる。例えば、関連アイテム情報や音声認識辞書、画像認識エンジン、動作パターン(LED点灯表示パターンや頭部動作パターン、発話ファイル)などを適宜、更新、追加、削除などを行うことができる。
(動作について)
次に、メモリ22Bの制御プログラムに従って外部情報取得部212、関連アイテム情報決定部213、アイテム探索部214、言動決定部215、コンテンツ再生部(言動実行部)217として機能するコントローラ22(ロボット制御装置)のCPUの処理動作を説明する。
まず、図15に示すように、利用者の前記ロボットに対する言動要求の一例である音声指示入力(ステップS210)によりロボットが音声認識を行い音声認識結果が言動実行部に伝達されると、シナリオ選択部215aは、シナリオ情報記憶部225からサービス内容に応じたシナリオを読み込む(S211:シナリオ選択ステップ)。
どのシナリオを読み込むかは、設定またはユーザの指示に基づき決定される。
続いて、取得手段(外部情報取得部212)として機能するロボットのコントローラが、外部情報を取得する(S212〜S216:外部情報取得ステップ)。
この際、ロボット制御サーバに対して情報取得要求を送信し(ステップS212)、続いてロボット制御サーバが情報提供サーバに対して情報検索を行い(ステップS213)、ロボット制御サーバが外部情報を得る(ステップS214)と、ロボット制御サーバからロボットに外部情報が通知され(ステップS215)、ロボットが外部情報を取得できる(ステップS216)。
その後のステップS217からステップS211までは、前記第1の実施の形態と同様の処理をロボット側が行うこととなる。
この際、アイテム探索部は、ロボットから物品までの距離なども推定可能で動作パターン情報記憶部予め用意されている動作パターンに位置情報を書き込むことによって、ロボットが言動実行をする際にアイテム位置まで案内動作する(ステップS232)も可能となる。
このように本実施の形態では、前記第1の実施の形態と同様の作用効果を奏しながらも、アイテム位置までロボットが案内するので、利用者に対してさらに詳細なアドバイス、ナビゲーションを行うことができる。
その他の構成およびその他のステップないしは機能並びにその作用効果については、前述した実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素並びにそれらによる各機能をプログラム化(ソフトウエアプログラム)し、コンピュータに実行させてもよい。
さらに、以上説明した方法は、コンピュータがプログラムを記録媒体から読み込んで実行することによっても実現することが出来る。すなわち、上述のプログラムを、情報記録媒体に記録した構成であってもよい。
[その他の各種変形例]
また、本発明にかかる装置及び方法は、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
また、ロボット制御サーバからの制御項目例としては、ロボットの遠隔操作を行う処理の他、利用者の名前などの登録処理、利用者の国籍によりロボットが発話する言語を選択する処理、アンケート機能・目覚まし機能・タイムキーパ機能など利用者の利用する機能内容の登録処理、最新ニュース情報提供サービス登録処理、天気予報提供サービス登録処理、イベント情報提供サービス登録処理、ロボットに新たにコンテンツを追加する処理、ロボットを遠隔監視によりロボットの状態管理を行う処理機能、ロボットの言動を遠隔操作で補助する処理などが挙げられる。
さらに、ロボット制御サーバは、コンテンツ更新機能、ユーザ履歴蓄積機能、遠隔操作コックピット機能、半自動機能、使用開始アラーム機能、映像をログとする使用履歴記録機能、異常検出アラーム機能、ユーザの質問に対する回答機能などを備えてよい。
これらの機能を用いてロボット制御システムによる情報提供サービスの例としては、例えば、認知症の脳トレとして活用できる脳トレロボとしての機能、サーモグラフによる昼夜問わずに監視可能な監視ロボとしての機能、語学練習用として活用できる語学練習ロボとしての機能、音声応答機能・遠隔操作機能・遠隔設定機能によるタイムキーパーロボとしての機能などが挙げられる。
また、他の情報提供サービスの例としては、アンケート機能(オペレータ・フィードバック、リアルタイム、アフター)、コメント(ライブメッセージ収集)昨日、ユーザ属性記録機能(年齢、性別)、準備しておいたコンテンツを順次展開する機能(特定時刻に言動を実行する)、ユーザの履歴(内容・頻度)に応じた対話・情報提供機能、複数クライアントの使用場所の履歴を活用した観光案内機能、メンタル状況などの健康管理機能、ユーザ履歴(内容・頻度)に応じた対話・情報提供、ユーザ間、家族間のメッセージの取次ぎ、人・店の呼び出し、取次ぎ機能、予約システムとしての機能、店舗商品案内機能などが挙げられる。
このような機能を利用することによって、例えば、利用者が「今日のニュースは?」と話しかけると、ロボットは「今日は、**が発生したよ」という発話とともに当該発話に対応する動作(頭部の2方向の動作及び各LEDの表示パターン)を実行することができる。
また、利用者が「今日は何があるの?」と話しかけると、ロボットは「午後に広場で、**がある」という発話とともに当該発話に対応する動作(頭部の2方向の動作及び各LEDの表示パターン)を実行することができる。
さらに、利用者が「明日**時に起こしてね」と話しかけると、ロボットは所定の時刻に「**時だよ**さん、起きて」という発話とともに当該発話に対応する動作(頭部の2方向の動作及び各LEDの表示パターン)を実行することができる。
また、ロボット制御システムが他の例えば病院情報システムや電子カルテシステムなどと通信網を介して通信接続することにより、患者IDなどを用いて、ロボットが利用者との対話の最中に、所定の時刻になると服用すべき薬のリストを実際にその場所に前記薬があるかどうかをチェックしつつロボットの愛くるしい表現動作(頭部の2方向の動作及び各LEDの表示パターン)とともに告知したりすることもでき、利用者(例えば患者など)をなごませることもできる。
例えば、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。すなわち、上記実施の形態では、外部情報に関連するアイテム(物品)を1つ探索する場合を示したが、本発明は、これらの個数を制限するものではない。例えば、2以上の種類のアイテムを探索する場合であってもよい。
また、アイテム探索を行う際には、CCDカメラ(画像取得部)からの画像情報を画像認識部により画像認識を行い、この画像認識情報と既登録画像認識情報に基づきアイテム探索を行う第1のアイテム探索と、タグリーダ(タグ識別情報取得部)からのタグ識別情報と既登録タグ識別情報とに基づきアイテム探索を行う第2のアイテム探索を行う構成としたが、他の手法によるアイテム探索を組み合わせてもよい。
また、ロボット装置は、アーム部およびそれを駆動するアクチュエータを含む構成とすることもでき、コントローラによりアーム部を駆動するアクチュエータを制御して、ロボットに指切りや握手等をさせることもできる。これにより、例えば探索したアイテムを実際に探し出して、利用者の手元に手渡すなども可能となる。
以上で説明したロボット制御システムの各構成要素は、任意のコンピュータのCPU、メモリ、メモリにロードされた図の構成要素を実現するプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
また、ロボット制御システムに用いられるロボットは、自律移動可能なロボット装置とすることもできる。ロボット制御システムは、ロボット装置内に組み込まれてもよく、ロボット装置外部に設けられ、外部からロボット装置を制御するようにすることもできる。
また、ロボット制御システムの一部のみがロボット装置内に組み込まれた構成とすることもできる。ロボット制御システムがロボット装置外部に設けられた場合、無線通信等の種々のネットワークを介して、ロボット装置に制御信号が送信される。また、ロボット制御システムの一部のみがロボット装置内に組み込まれ、残りがロボット装置外部に設けられた場合、それらの間のデータの授受も、無線通信等の種々のネットワークを介して行うことができる。
たとえば、本実施の形態において、外部情報取得部、関連アイテム決定部のみロボット装置外部に設け、それ以外の構成をロボット装置内に組み込んだ構成とすることができる。
このように、前記実施の形態における「システム」とは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない。このため、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
さらに、ロボットと遠隔管理装置との間の通信構造は、クライアントサーバーシステムに限らず、サーバを介さずに端末同士がネットワークを組み、相互にデータを送受信するピアツーピア(Peer To Peer)通信によるシステムであってもよい。また、通信構造に際し、いずれか一方又は双方に形成されるインタフェースの種類は、例えばパラレルインタフェース、USBインタフェース、IEEE1394、LANやWAN等のネットワークやその他これに類するもの、もしくは今後開発される如何なるインタフェースであっても構わない。
さらに、遠隔管理装置は、例えば各種サーバーに限らず、パーソナルコンピュータ、EWS(エンジニアリングワークステーション)、中型コンピュータ、メインフレーム、携帯型情報端末、PDA、携帯電話機、ウエアラブル情報端末、各種情報通信機能を搭載した家電機器、ネットワーク機能を有するゲーム機器等であってもよい。
さらに、「通信」では、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。
そして、この通信には通信網が含まれる。通信網を構成するネットワークとしては、例えば携帯電話回線網(基地局及び交換システムを含む)、公衆電話回線網、IP電話網、ISDN回線網などこれに類する各種回線網、インターネット(乃ち、TCP・IPプロトコルを用いた通信態様)やイントラネット、LAN<イーサネット(登録商標)、やギガビットイーサネット(登録商標)などを含む>、WAN、光ファイバー通信網、電力線通信網、ブロードバンド対応可能な各種専用回線網などいずれのハードウエア構成でもよい。さらに、ネットワークは、TCP・IPプロトコルの他、種々の通信プロトコルを用いたネットワークあるいはソフトウエア的に構築された仮想ネットワークやこれに類するあらゆるネットワークを含むネットワークなどいかなる通信プロトコルであってもよい。また、ネットワークは、有線に限らず、無線(衛星通信、各種高周波通信手段等を含む)ネットワーク(例えば、簡易電話システムや携帯電話のようなシングルキャリア通信システム、W―CDMAやIEEE802.11bに準拠した無線LANのようなスペクトラム拡散通信システム、IEEE802.11aやHiperLAN/2のようなマルチキャリア通信システム、などを含むネットワーク)であっても構わず、これらの組み合わせを利用してもよく、他のネットワークと接続されたシステムであってもよい。さらに、ネットワークは、ポイントツーポイント、ポイントツーマルチポイント、マルチポイントツーマルチポイントなど如何なる形態でもよい。
また、発明の範囲は図示例に限定されず、上記以外の様々な構成を採用することもできる。さらに、上記各実施の形態には種々の段階が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。つまり、上述の各実施の形態同士、あるいはそれらのいずれかと各変形例のいずれかとの組み合わせによる例をも含む。
本発明は、種々のロボット制御全般に利用できる。
本発明の第1の実施の形態によるロボット制御システムの全体構成の一例を示すブロック図である。 図1に示すロボット制御システムにおけるロボットのハードウエア詳細構成の一例を示すブロック図である。 図1に示すロボット制御システムにおけるロボットの外観の一例を示す説明である。 図1に示すロボット制御システムにおけるロボットのソフトウエア詳細構成の一例を示すブロック図である。 図1に示すロボット制御システムにおける遠隔管理装置の詳細構成の一例を示すブロック図である。 本発明の第1の実施の形態によるロボット制御システムにおける全体の処理手順の一例を示すネットワークシーケンス図である。 図1に示すロボット制御システムにおけるロボットが設置される環境においてアイテムを探索する状況の一例を説明するための説明図である。 図1に示すロボット制御システムにおけるロボットの胸LED群の点灯パターンによって感情パターンを表現する一例を説明するための説明図である。 図1に示すロボット制御システムにおけるロボットの胸LED群の点灯制御をする際の輝度の時間変化の一例を説明するための説明図である。 図1に示すロボット制御システムにおけるロボットの胸LED群の点灯パターンによって感情パターンを表現する一例を説明するための説明図である。 図1に示すロボット制御システムにおけるロボットの胸LED群の点灯制御をする際の輝度の時間変化の一例を説明するための説明図である。 図1に示すロボット制御システムにおけるロボットの胸LED群の点灯パターンによって感情パターンを表現する一例を説明するための説明図である。 図1に示すロボット制御システムにおけるロボットの胸LED群の点灯制御をする際の輝度の時間変化の一例を説明するための説明図である。 本発明の第2の実施の形態によるロボット制御システムにおけるロボットの詳細構成の一例を示すブロック図である。 本発明の第2の実施の形態によるロボット制御システムにおける全体の処理手順の一例を示すネットワークシーケンス図である。
符号の説明
1 ロボット制御システム

10、210 ロボット
20 胴体部
22 コントローラ
22A CPU
22B メモリ
31 バッテリ
32 スピーカ(音声出力部)
33 マイク群(環境認識マイク)
34A、34B アクチュエータ
42 通信I/F
43 各種端子
44 タグリーダ(タグ識別情報取得部)
45 胸LED群(感情パターン表示部)
46 各種LED群
47 各種センサ群
50 頭部
51A、51B CCDカメラ(画像情報取得部)
52A、52B アクチュエータ
53 マイク(音声入力部)
54 タッチセンサ
55 サーモグラフィ
56 耳LED群
57 顔LED群
58 目LED群
92 アイテム探索実行部(アイテム探索実行手段)
92a 第1のアイテム探索実行部
92b 第2のアイテム探索実行部

110 ロボット制御サーバ(遠隔管理装置)
112、212 外部情報取得部(取得手段)
113、213 関連アイテム情報決定部(アイテム決定手段)
114 アイテム探索制御部(アイテム探索制御手段)
114a 第1のアイテム探索制御部
114b 第2のアイテム探索制御部
115、215 言動決定部(言動決定手段)
115a、215a シナリオ選択部
115b、215b 動作パターン選択部
115c、215c コンテンツ生成部
116 コンテンツ供給部(コンテンツ供給手段)
121、221 関連アイテム情報記憶部
122、222 特徴点パターン情報記憶部
123、223 タグ識別情報記憶部
124、224 動作パターン情報記憶部
125、225 シナリオ情報記憶部
126、226 コンテンツ記憶部

130 情報提供サーバ

214 アイテム探索部(アイテム探索制御手段)
214a 第1のアイテム探索部
214b 第2のアイテム探索部
217 コンテンツ再生部(言動実行制御手段)
217a 音声合成部
217b メカ制御部
217c LED制御部
227 音声認識辞書記憶部
231 画像認識部
232 音声認識部
233 接触認識部
234 発話トリガー発生部

NW 通信網

Claims (10)

  1. 少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備え、
    前記遠隔管理装置は、
    前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
    予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定手段と、
    前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段と、
    前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、
    前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、
    を備え、
    前記ロボットは、
    前記アイテム探索制御手段からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段と、
    前記コンテンツ供給手段からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段と、
    を備えたことを特徴とするロボット制御システム。
  2. 請求項1に記載のロボット制御システムにおいて、
    前記アイテム探索制御手段は、前記アイテムの有無を画像認識情報により探索することを特徴とするロボット制御システム。
  3. 請求項2に記載のロボット制御システムにおいて、
    前記アイテム探索制御手段は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することを特徴とするロボット制御システム。
  4. 少なくとも利用者と対話可能なロボットと通信網を介して通信接続され前記ロボットを遠隔制御するとともに前記ロボットに対して情報提供可能な遠隔管理装置であって、
    前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
    予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定手段と、
    前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御手段と、
    前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、
    前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、
    を備えたことを特徴とする遠隔管理装置。
  5. 少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記ロボットを遠隔管理する遠隔管理方法であって、
    前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し、
    予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定し、
    前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし、
    前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する、
    ことを特徴とする遠隔管理方法。
  6. 請求項に記載の遠隔管理方法において、
    前記アイテム探索制御に際しては、前記アイテムの有無を画像認識情報により探索することを特徴とする遠隔管理方法。
  7. 請求項に記載の遠隔管理方法において、
    前記アイテム探索制御に際しては、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することを特徴とする遠隔管理方法。
  8. 少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記遠隔管理装置が備えたコンピュータに諸機能を実現可能な遠隔管理プログラムであって、
    前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得機能と、
    予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定機能と、
    前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御機能と、
    前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定機能と、
    を前記コンピュータに実現させることを特徴とする遠隔管理プログラム。
  9. 請求項に記載の遠隔管理プログラムにおいて、
    前記アイテム探索制御機能では、前記アイテムの有無を画像認識情報により探索する機能をその内容とし、これを前記コンピュータに実現させることを特徴とする遠隔管理プログラム。
  10. 請求項に記載の遠隔管理プログラムにおいて、
    前記アイテム探索制御機能では、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する機能をその内容とし、これを前記コンピュータに実現させることを特徴とする遠隔管理プログラム。
JP2008229890A 2008-09-08 2008-09-08 ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム Active JP5040865B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008229890A JP5040865B2 (ja) 2008-09-08 2008-09-08 ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008229890A JP5040865B2 (ja) 2008-09-08 2008-09-08 ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010064154A JP2010064154A (ja) 2010-03-25
JP5040865B2 true JP5040865B2 (ja) 2012-10-03

Family

ID=42190195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008229890A Active JP5040865B2 (ja) 2008-09-08 2008-09-08 ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5040865B2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162637A1 (en) 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
US6925357B2 (en) 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US7813836B2 (en) 2003-12-09 2010-10-12 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US8179418B2 (en) 2008-04-14 2012-05-15 Intouch Technologies, Inc. Robotic based health care system
US8170241B2 (en) 2008-04-17 2012-05-01 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US8897920B2 (en) 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US8384755B2 (en) 2009-08-26 2013-02-26 Intouch Technologies, Inc. Portable remote presence robot
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
US9264664B2 (en) 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
EP2668008A4 (en) 2011-01-28 2018-01-24 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
US20140139616A1 (en) 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US8836751B2 (en) 2011-11-08 2014-09-16 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US9251313B2 (en) 2012-04-11 2016-02-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
EP2852881A4 (en) 2012-05-22 2016-03-23 Intouch Technologies Inc GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
JP6017253B2 (ja) * 2012-10-04 2016-10-26 シャープ株式会社 制御装置、制御装置の制御方法、被制御装置、サーバ、制御プログラム、および記録媒体
JP5925111B2 (ja) * 2012-11-22 2016-05-25 本田技研工業株式会社 ロボット
JP5975947B2 (ja) * 2013-07-08 2016-08-23 ユニロボット株式会社 ロボットを制御するためのプログラム、及びロボットシステム
JP6307230B2 (ja) * 2013-08-13 2018-04-04 三菱重工業株式会社 産業用ロボット
JP6346809B2 (ja) * 2014-07-09 2018-06-20 シャープ株式会社 車両走行制御装置、車両走行制御システム、及び車両走行制御方法
JP6255368B2 (ja) * 2015-06-17 2017-12-27 Cocoro Sb株式会社 感情制御システム、システム及びプログラム
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
JP6934709B2 (ja) * 2016-08-26 2021-09-15 株式会社メニコン 捜し物ロボット
JP2018161704A (ja) * 2017-03-24 2018-10-18 株式会社 ゼンショーホールディングス 対話制御システム、及び、ロボット制御システム
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US10483007B2 (en) 2017-07-25 2019-11-19 Intouch Technologies, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
JP6935315B2 (ja) * 2017-12-01 2021-09-15 株式会社日立ビルシステム 案内ロボットシステム
CN111278516A (zh) * 2017-12-22 2020-06-12 索尼公司 信息处理装置、信息处理方法和程序
JP2019123055A (ja) * 2018-01-18 2019-07-25 株式会社ユピテル 装置
US10617299B2 (en) 2018-04-27 2020-04-14 Intouch Technologies, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
JP6712039B1 (ja) * 2019-07-23 2020-06-17 株式会社コンシェルジュ 対話型入力支援システム及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925140B2 (ja) * 2001-10-09 2007-06-06 ソニー株式会社 情報提供方法及び情報提供装置、並びにコンピュータ・プログラム
JP2003345435A (ja) * 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP4604612B2 (ja) * 2004-09-07 2011-01-05 日本電気株式会社 Icタグ管理装置、それを含むロボットおよびicタグ管理方法

Also Published As

Publication number Publication date
JP2010064154A (ja) 2010-03-25

Similar Documents

Publication Publication Date Title
JP5040865B2 (ja) ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
WO2018171223A1 (zh) 一种看护机器人的数据处理方法及装置
JP4595436B2 (ja) ロボット、その制御方法及び制御用プログラム
US8103382B2 (en) Method and system for sharing information through a mobile multimedia platform
US20230305530A1 (en) Information processing apparatus, information processing method and program
WO2012010437A1 (fr) Robot humanoide dote d'une interface de dialogue naturel, procede de controle du robot et programme correspondant
JP2003205483A (ja) ロボットシステム及びロボット装置の制御方法
US11074491B2 (en) Emotionally intelligent companion device
CN107658016A (zh) 用于老年保健陪伴的Nounou智能监护系统
CN210155626U (zh) 信息处理装置
CN110995812A (zh) 一种跨平台人工智能助理系统应用方案
US20210201914A1 (en) Interactive playground system with enhanced user interaction and computerized method for providing enhanced user interaction in a playground system
WO2020116233A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11511410B2 (en) Artificial intelligence (AI) robot and control method thereof
JP2019124855A (ja) 装置及びプログラム等
CN107895101A (zh) 用于老年保健陪伴的Nounou智能监护装置
CN105388786B (zh) 一种智能提线木偶偶人控制方法
WO2016206644A1 (zh) 机器人控制引擎及系统
JP2003108362A (ja) コミュニケーション支援装置およびコミュニケーション支援システム
JP6864831B2 (ja) ロボット装置及びプログラム
JP2002261966A (ja) コミュニケーション支援システムおよび撮影装置
CN108043026B (zh) 通过适老化游戏满足老人精神需求的系统及方法
CN201813390U (zh) 基于网络传递行为的机器人装置
WO2018132364A1 (en) A method for performing emotional gestures by a device to interact with a user

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120625

R150 Certificate of patent or registration of utility model

Ref document number: 5040865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3