JP5040865B2 - ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム - Google Patents
ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム Download PDFInfo
- Publication number
- JP5040865B2 JP5040865B2 JP2008229890A JP2008229890A JP5040865B2 JP 5040865 B2 JP5040865 B2 JP 5040865B2 JP 2008229890 A JP2008229890 A JP 2008229890A JP 2008229890 A JP2008229890 A JP 2008229890A JP 5040865 B2 JP5040865 B2 JP 5040865B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- robot
- information
- unit
- remote management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
すなわち、利用者が所在する周囲の環境にアイテム(物品)が存在していないにもかかわらず、アイテムが利用者に必要であるかのような告知の仕方をロボットが言動してしまうことがあり、適切なアドバイスができなかった。
換言すれば、外部情報を利用者にロボットを通じて提供する際に、ロボットが所在する周囲の環境によっては、ロボットが利用者に対し適切かつ詳細なアドバイスやナビゲーションを与えることができなかった。
(ロボット制御システムの基本的構成)
先ず、ロボット制御システムの基本的構成について説明する。図1に示すように、本発明のロボット制御システム1は、少なくとも利用者と対話可能なロボット10と、前記ロボット10と通信網NWを介して通信接続され前記ロボットを制御する遠隔管理装置としてのロボット制御サーバ110とを含むものである。
又、アイテム探索実行部92は、ロボット10が備えるタグリーダ(タグ識別情報取得部)から取得したタグ識別情報をもとにロボットの周囲にある各種物品を識別することができるように構成される。
また、アイテム探索制御部114は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する第2のアイテム探索制御部114bを備える。
例えば、雨天の天候情報をサーバより取得した場合に、室内で傘を画像認識すると、利用者に”傘を持っていく”よう通知する。
先ず、本実施の形態のロボット制御システムの具体的構成について、全体構成から説明し、続いてロボットの全体構成、ロボットのコントローラの詳細構成、LEDの点灯パター、ロボット制御サーバ(遠隔管理装置)の詳細構成について説明することとする。図1は、本発明における第1実施の形態のロボット制御システムの全体の概略構成の一例を示すブロック図である。
ロボット10は、例えば無線LANなどによってAP(アクセスポイント)との間で通信可能に構成される。APは、通信網NWに通信接続されている。
本実施の形態において、ロボット10は、たとえば各種施設等で利用者に情報提供サービスを行う。本実施の形態におけるロボット制御システム1では、ロボット10が利用者に愛くるしい表現にて内容を伝えるようにロボットの言動を決定できる。
図2は、図1に示すロボット制御システムにおけるロボットのハードウエア詳細構成の一例を示すブロック図である。
本実施形態のロボット10は、図2及び図3に示されるように、例えば、胴体部20と頭部50が連結されることにより構成されている。
垂直軸は、頭部50の中心を通るように設置されており、水平軸は、胴体部20と頭部50が正面を向いた状態で頭部50の中心を通りかつ左右方向に水平に設置されている。つまり、頭部50は左右と上下の2自由度で、決められた範囲内で回転することができる。
また、胴体部20は、頭部50と独立して図3に示すθ3方向で回転することもできる。
スピーカ32は、文章を出力するための出力手段の一部である。アクチュエータ34A,34Bは、ロボット10を物理的に動作させるためのアクチュエータである。
アクチュエータ52A,52Bは、ロボット10の頭部50を上下左右に回転させる。
さらに、コントローラ22は、この判断結果などに基づいて、続く言動を決定し、その決定結果に基づいて、スピーカ32,アクチュエータ34A,34B,52A,52B、各LEDやその他の各部のうち必要なものを駆動させる。
これにより、頭部50の上下左右の回転あるいはロボット10の移動や回転等の行動を行わせる。
また、コントローラ22は、合成音を生成し、スピーカ32に供給して、ロボット10に決定した発話を出力させる。
さらに、コントローラ22は、点灯制御信号を生成し、各種LEDに決定した点灯パターンを実行させる。
次に、メモリ22Bに記憶された制御プログラムに従って動作するCPU22Aによって実現される各部の相互的な関連について図4を参照して説明する。
このうち、音声認識辞書記憶部227、動作パターン情報記憶部224、シナリオ情報記憶部225、コンテンツ記憶部226などは、メモリ22Bの記憶領域の一部により構成されている。また、これらの記憶部の情報は、遠隔管理装置であるロボット制御サーバ110から適宜、更新、変更、追加、削除を行うこともできる。
画像認識部231における物品認識用画像認識機能は、CCDカメラ51A、51Bから入力される映像に対して画像処理(例えば特徴点パターン抽出など)を行い画像認識情報を生成し画像認識情報をアイテム探索実行部92へ送出する。
また、画像認識部231では、2CCDカメラによりステレオ視覚認識処理を行うことができる。
又、CCDカメラ51A、51Bに代えて他のイメージセンサを用いてもよく、さらには、対象物の形状や輪郭を捉えるカメラやセンサといった技術にとらわれない。またさらに、ロボットがテレビなどの映像表示機器に映像を表示し、そこに表示した内容を検知結果として利用するという方法も考えられる。
音声認識辞書記憶部227は、音声認識単語の集合である音声認識語彙を記憶する音声認識単語記憶部を含む。音声認識単語記憶部は、各外国語の言語に応じて用意することができる。
音声認識部232は、マイク53が入力した音声情報と、音声認識辞書記憶部227に記憶された音声認識語彙とのマッチングを行う。
音声認識部232は、音声認識した音声認識結果を言動決定部215へ送出する。
音声認識結果は、「おはよう」、「こんにちは」や「何かお話して」などの、人がロボットに対して話しかけた言葉である。
音声認識部232が認識する言葉は、「おはよう」や「こんにちは」などの通常命令を含む。通常命令は、例えば、ロボット側から出力された話題に対するユーザ側の応答等をも含むものである。
発話トリガー情報は、音声認識部232によって音声認識が可能な言葉のうちから選ばれる一つの言葉であり、ランダム(任意)に選択される。したがって、発話トリガー情報は、話題選択命令であるか通常命令であるかのどちらかである。音声認識が可能な言葉の登録方法や乱数等を用いた任意選択の手法については慣用技術に属することであるので、ここでは特に説明しない。
発話トリガー情報の選択方法は、ランダム選択に限るものではない。それまでに音声認識した言葉や、発話トリガー発生部234が送出した言葉を予め決められた時間の範囲内で記憶しておき、そこに含まれない言葉を選ぶという方法を取ることもできる。
シナリオ情報記憶部225には、音声認識語に対応する(応答文章および動作パターンを含む)シナリオが記憶されている。
応答文章に対応する動作パターンは、ロボットのアクチュエータ34A,34B,52A,52Bを動かす命令になっている。
また、シナリオ情報記憶部225には、タッチセンサ47、54が人間に触れられたときの応答動作も記憶されている。
また、シナリオ選択部215aは、接触認識部233から接触認識情報を受け取ったとき、接触認識情報に対応する動作パターンをシナリオ情報記憶部225から選択し、シナリオに記述された発話ファイル及びそれに関連づけられた動作パターンを示すモーションファイルなどをコンテンツ生成部115cへ送出する。
タッチセンサ47、54および接触認識部233の構造によっては、接触力の強弱やその継続時間に応じた接触認識情報を生成し、シナリオ選択部215aによって接触認識情報に応じた動作パターンを選択するといったことも可能である。
本実施の形態において、動作パターンは、ロボットの利用者に対する愛くるしい表現を胸LED群、顔LED群、頭部の2方向の動作などを制御する各動作パターン、発話ファイルなどを含む。
また、コンテンツ再生部(言動実行部)217は、遠隔管理などのサービスを受けている状態では、ロボット制御サーバ110におけるコンテンツ供給部116からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する。いずれの言動条件を優先するかは設定条件次第である。
コンテンツ再生部(言動実行部)217は、メカ制御部(駆動制御部)217b、音声合成部217a、LED制御部217cを含む。
音声出力制御部には、音声合成部217aからの合成音のディジタルデータが供給されるようになっており、それらのディジタルデータを、アナログの音声信号にD/A変換し、スピーカ12(音声出力部)に供給して出力させる。
次に、第1のアイテム探索実行部92aは、前記第1の方向から他の第2の方向にCCDカメラ51A、51Bを移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、第2の方向を向いた状態で第2の視野中の周囲環境における第2画像を取得し、画像認識部231により前記第2の視野中における各物品の各特徴点パターンを抽出し、特徴点パターン情報(画像認識情報)を収集する。
更に、第1のアイテム探索実行部92aは、順次CCDカメラ51A、51Bの向きを移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、左右360度、上下180度の全方角についての各視野中の周囲環境における各画像を取得し、画像認識部231により前記各視野中における各物品の各特徴点パターンを各々抽出し、特徴点パターン情報(画像認識情報)を収集する。
そして、第1のアイテム探索実行部92aは、収集された特徴点パターン情報(画像認識情報)を順次ないしはまとめてロボット制御サーバ110に送信する。
本実施の形態では、管理側主導の例であるので、物品の検出判定をロボット制御サーバ110側で行うこととしている。このため、ロボット10側で物品判定用の特徴点パターン情報記憶部(DB)をもつ必要がなく、メモリ22B消費量を低減して応答速度を向上させることができる。
このように、第1のアイテム探索実行部92aは、ロボット10が備えるCCDカメラ(画像取得部)から取得した画像情報をもとに画像認識機能によりロボットの周囲にある各種物品を識別するための情報収集を行う。
次に、第2のアイテム探索実行部92bは、前記第1の方向から他の第2の方向にタグリーダ44を移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、第2の方向を向いた状態で周囲環境におけるタグ識別情報を取得し、第2の方向における各物品のタグ識別情報を収集する。
更に、第2のアイテム探索実行部92bは、順次タグリーダ44を移動させ(アクチュエータ51A、51B、34A、34B、を駆動させる)、左右360度、上下180度の全方角についての周囲環境における各物品のタグ識別情報を取得し収集する。
そして、第2のアイテム探索実行部92bは、収集されたタグ識別情報を順次ないしはまとめてロボット制御サーバ110に送信する。
本実施の形態では、管理側主導の例であるので、物品の検出判定をロボット制御サーバ110側で行うこととしている。このため、ロボット10側で物品判定用のタグ識別情報記憶部(DB)をもつ必要がなく、メモリ22B消費量を低減して応答速度を向上させることができる。
このように、第2のアイテム探索実行部92bは、ロボット10が備えるタグリーダ(タグ識別情報取得部)から取得したタグ識別情報をロボットの周囲にある各種物品について情報収集を行う。
アイテム探索実行部92は、たとえば、2以上のCCDカメラ、温度センサ等の人体検知センサ、超音波タグセンサ、無線タグセンサ等各取得部からの情報をもとに探索するこもできる。
LED制御部217cは、LEDの点滅速度を制御する。これにより、ロボットの心拍状態を擬似的に表現できる。
例えば、第1欲求表示段階(タスク実現の欲求)では、利用者を楽しませたり、利用者に役立ったりしたいという欲求を示し、白とタスクの象徴色(第1の表示色パターン)を表示するように表示制御する。
また、第2欲求表示段階(コミュニケーションの欲求)では、利用者とのやりとりを上手くやりたいという欲求を示し、白(第2の表示色パターン)を表示するように表示制御する。
さらに、第3欲求表示段階(関係の欲求)では、他者と関わりたいという欲求を示し、オレンジ(第3の表示色パターン)を表示するように表示制御する。
さらにまた、第4欲求表示段階(安全の欲求)では、自分の身を守りたいという欲求を示し、赤(第4の表示色パターン)を表示するように表示制御する。
これらのうち、第1モードで心拍が通常(第1の点滅速度)の場合、
対話モード、自律行動モード、伝言や顔登録などタスク系サブシナリオモードにおいて表示制御することが好ましい。
一方、第1モードで心拍が早い(第2の点滅速度)の場合、なぞなぞやまいとなどエンタメ系サブシナリオモード、自動充電モード、緊急モードにおいて表示制御することが好ましい。
この第2モード(特別演出状態)では、ほめられ反応モードやダンスモード、歌モードにおいて表示制御することが好ましい。
表示色パターンの例としては例えば「嬉しい」場合はピンク、「楽しい」場合は3色、設定中は青などが挙げられる。
この場合、3色以上の組み合わせでは、明るい色、中間の色、暗い色を組み合わせる。
色を組み合わせる場合、暖色系と寒色系を組み合わせたり、色合い(色相)だけでなく見た目の明るさが異なる2色を組み合わせることが好ましい。
さらに、図11に示すように、第1サブ表示色パターンにおける第1サブ点灯パターンは、第1の輝度と第2の輝度との間で第1周期にて3粒変化させるパターンとする。また、第2、第3サブ表示色パターンにおける第2サブ点灯パターンは、第1の輝度と第2の輝度との間で第1周期の半分の第2周期にて変化させるパターンとする。この際、各LED45c、45a、45b、45cの順に点灯し、これらを組み合わせてる第2の感情表示パターンとしている。
さらに、図13に示すように、LED45dの第1点灯パターンは、第1の輝度と第2の輝度との間で第1周期にて変化させるパターンとする。また、LED45cの第2点灯パターンは、第1の輝度と第2の輝度より低い第3の輝度との間で第1周期にて変化させ、第1の輝度の期間を第2の輝度の期間よりも長くするパターンとする。これらを組み合わせてる第3の感情表示パターンとしている。
これにより、白とピンクのパターンと白のみのパターンとが交互に繰り返し、楽しいコンテンツを一緒に行い心拍が早いイメージを作り出すことができる。
このようにして、ダンスなどの演劇的表現が増大し、エンタテイメントにも適するロボットを提供できる。
図5は、ロボット制御サーバの詳細構成の一例を示すブロック図である。
遠隔管理装置の一例であるロボット制御サーバ110は、図5に示すように、取得手段としての外部情報取得部112と、アイテム決定手段としての関連アイテム情報決定部113と、アイテム探索制御手段としてのアイテム探索制御部114と、言動決定手段としての言動決定部115と、コンテンツ供給手段としてコンテンツ供給部116と、関連アイテム情報記憶部121と、特徴点パターン情報記憶部122と、タグ識別情報記憶部123と、動作パターン情報記憶部124と、シナリオ情報記憶部125と、コンテンツ記憶部126とを含む。
例えば、天気情報のサービスをうけるサービス提供開始時刻を予め利用者が登録の際に設定すると、現在時刻が当該時刻に至ったかどうかをチェックし、前記時刻であると判定された場合には、シナリオ選択部115aは、シナリオ情報記憶部125からサービス内容に応じたシナリオを読み込む。
外部情報取得部112が、外部情報を取得する際、情報提供サーバに対して情報検索を行い、外部情報を得ることになる。
ここでは、例えば天気予報サービスに対応するシナリオを選択した場合、当該シナリオに記述された天気予報情報の提供サイト(情報提供サーバ)にアクセスし、ロボットが所在する位置に応じた天気予報情報を取得する。
外部情報が例えば天気予報の天候情報「雨」である場合には、関連するアイテムとして例えば「傘」などが挙げられる。このため、「雨」と「傘」とが対応づけられている。
アイテム探索制御部114は、このアイテム探索実行部92により得られた情報をもとにアイテム探索を行う。すなわち、前記アイテム探索制御部114は、前記アイテムの有無を画像認識情報により探索する第1のアイテム探索制御部114aを備える。また、アイテム探索制御部114は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する第2のアイテム探索制御部114bを備える。
第1のアイテム探索制御部114aは、ロボット10が収集して画像認識処理をした画像認識情報をロボット10より受信し、特徴点パターン情報記憶部122を参照してマッチング処理を行う。
第2のアイテム探索制御部11baは、ロボット10が収集したタグ識別情報をロボット10より受信し、タグ識別情報記憶部123を参照して前記関連アイテムに対応する物品があるかどうかの探索を行う。
第1のアイテム探索制御部114aは、画像認識により「傘」を見つけた場合、関連アイテム情報「傘」を外部情報「雨」とともに動作パターン選択部115bに送出する。一方、第1のアイテム探索制御部114aは、「傘」が見つからない場合、第2のアイテム探索制御部114bに指示する。
第2のアイテム探索制御部114bは、タグ識別情報により「傘」を探索する。第2のアイテム探索制御部114bは、タグ識別情報により「傘」を見つけた場合、関連アイテム情報「傘」を外部情報「雨」とともに動作パターン選択部115bに送出する。一方、第2のアイテム探索制御部114aは、「傘」が見つからない場合、関連アイテムがない旨の通知を外部情報「雨」とともに言動実行部115の動作パターン選択部115bに送出する。
このように、アイテム探索制御部114は、アイテムが鞄の中にあるなど画像認識によりアイテムを発見できない場合でも、タグ識別情報によりアイテムを見つけ出すことができる。
つづいて、アイテム探索制御部114は、検出した物品画像の大きさおよび形状、ならびにロボットの位置に基づき、ロボットの近傍にいる物品の種類、各物品のロボットに対する位置(角度および距離)を推定する。
この場合、アイテム探索制御部114は、タグリーダにより、タグから情報を読み取ることにより、ロボットの近傍にいる物品の種類、各物品のロボットに対する位置を推定することができる。
アイテム探索制御部114は、取得する情報および記憶部に記憶された情報に基づき、物品配置の変化も検出する。
モーションファイルは、ロボットの動作パターンを有し、アクチュエータ34A,34B,52A,52Bを動作させるものである。
シナリオ選択部115aは、シナリオ情報記憶部125から読み込んだシナリオに従い、動作パターン選択部115bおよびコンテンツ生成部115cに指示を行う。
本実施の形態において、動作パターンは、ロボットの利用者に対する愛くるしい表現を胸LED群、顔LED群、頭部の2方向の動作などを制御する各動作パターンを含む。
そして、選択されたシナリオに、前記第1発話ファイル、第1頭部モーションファイル、第1胸点灯制御モーションファイルのファイル名を設定し、コンテンツを生成する。
また、第2言動パターンは、判定の結果「傘」がないと判定された場合であり、「今日の天気は雨です。」「今日の天気は雨です。ここには傘はありません。」などが挙げられる。
さらに、第3の言動パターンは、「今日の天気は晴れです。」などが挙げられる。この際、動作パターンは、胸LED群、顔LED群、頭部の2方向の動作を「うれしい」動作となるパターンを選択設定する。
具体的には、コンテンツ生成部115cは、ロボットが適切な動作を行うよう、ロボットの首、胴体、の一つ以上を移動させ、LEDを点灯動作させるためのモーションファイルを生成する。
また、コンテンツ生成部115cは、記憶部に記憶された物品の位置、および動作パターン選択部が選択した動作パターンに基づき、コンテンツを生成することもできる。
コンテンツ供給部116は、コンテンツ生成部115cの指示を受け、コンテンツ記憶部118から該当するモーションファイルや発話ファイルを読み出し、ロボット10に送信し、ロボット10側のコンテンツ記憶部226に書き込むよう指示するとともに、ロボット10側のコンテンツ再生部217に当該ファイルを実行するように指示する。
アイテム探索制御部114は、取得したデータを解析し、ロボットの近傍の物品の種類、およびそれらの物品のロボットに対する位置の変化を検出する。
アイテム探索制御部114は、動作パターン選択部115bに指示し、ロボットの移動などにより、ロボットの近傍にいる物品の数や位置に変化があった場合、動作パターン選択部215bは、新たな状況に応じて、動作パターン記憶部224から動作パターンを選択しなおすことができる。
(全体の概略動作)
次に、上述のような構成を有するロボット制御システムの全体の概略動作処理手順について、図6を参照しつつ説明する。図6は、図1のロボット制御システムにおける処理手順の一例を示すネットワークシーケンス図である。
以下、これを詳述する。
例えば、天気情報のサービスをうけるサービス提供開始時刻を予め利用者が登録の際に設定すると、現在時刻が当該時刻に至ったかどうかをチェックする。
又は、前記利用者の前記ロボットに対する言動要求の一例である音声指示入力(ステップS101)によりロボットが音声認識を行い(ステップS102)、音声認識結果がロボット制御サーバに伝達される(ステップS103)ことによっても情報提供サービス用のシナリオ選択を行うことができる。
どのシナリオを読み込むかは、設定またはユーザの指示に基づき決定される。
このため、外部情報取得は、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて行われる。
この際、情報提供サーバに対して情報検索を行い(ステップS112a)、外部情報を得る(ステップS112b)ことになる。
ここでは、例えば天気予報サービスに対応するシナリオを選択した場合、当該シナリオに記述された天気予報情報の提供サイト(情報提供サーバ)にアクセスし、ロボットが所在する位置に応じた天気予報情報を取得する。
関連アイテム情報記憶部121には、予め外部情報とアイテムとが対応づけられて記憶されている。
このため、例えば、外部情報が天気予報情報である場合、天気予報「雨」に関連するアイテムとして「傘」という情報を取得することができる。
ロボットは、第1のアイテム探索要求を受信すると、この第1のアイテム探索要求に基づき画像認識情報を取得する処理を行う(ステップS122:画像認識情報取得ステップ)。
ロボットは、取得した画像認識情報をロボット制御サーバに通知し、ロボット制御サーバは、これを受信する(ステップS123:画像認識情報受信ステップ)。
ロボット制御サーバのコンピュータは、受信した画像認識情報と、特徴点パターン情報記憶部122の既登録画像認識情報とに基づいて、ロボットの周辺にアイテムがあるかどうかを判定する(ステップS124:第1のアイテム有無判定ステップ)。
例えば、アイテムが「傘」である場合には、ロボットが所在する周囲環境に実物の「傘」があるかどうかをCCDカメラ及び画像認識部による画像認識情報をもとに探索する。
具体的には、ロボット制御サーバのコンピュータは、第2のアイテム探索要求をロボットに対して送信する(ステップS125:第2のアイテム探索要求送信ステップ)。
ロボットは、第2のアイテム探索要求を受信すると、この第2のアイテム探索要求に基づきタグ識別情報を取得する処理を行う(ステップS126:タグ識別情報取得ステップ)。
ロボットは、取得したタグ識別情報をロボット制御サーバに通知し、ロボット制御サーバは、これを受信する(ステップS127:タグ識別情報受信ステップ)。
ロボット制御サーバのコンピュータは、受信したタグ識別情報と、タグ識別情報記憶部123の既登録タグ識別情報とに基づいて、ロボットの周辺にアイテムがあるかどうかを判定する(ステップS128:第2のアイテム有無判定ステップ)。
例えば、アイテムが「傘」である場合には、ロボットが所在する周囲環境に実物の「傘」があるかどうかをタグリーダによるタグ識別情報をもとに探索する。
一方、以上のステップS124の判定の結果アイテムが無いと判定された場合、又は、以上のステップS125の判定の結果アイテムが無いと判定された場合、外部情報とアイテムが無い旨の情報とを含む情報の言動パターン(第2言動パターン)を選択し言動決定を行う。
さらに、ステップS113のアイテム決定の際に、外部情報に対応するアイテムが関連づけられていない場合、外部情報のみの情報の言動パターン(第3言動パターン)を選択し言動決定を行う。
また、第2言動パターンは、判定の結果「傘」がないと判定された場合であり、「今日の天気は雨です。」「今日の天気は雨です。ここには傘はありません。」などが挙げられる。
さらに、第3の言動パターンは、「今日の天気は晴れです。」などが挙げられる。
すなわち、コンテンツ再生部94は、該当するコンテンツ情報を再生し、音声による結果報告(ステップS133a)、動作による結果報告(ステップS133b)とを行う。
そして、傘立てBO内の傘P1をCCDカメラを通じて画像認識により認識できる。
或いは、傘P1しか認識されない場合には、タグリーダによってタグ識別情報を得ることにより、机DE内の折り畳み傘P2を認識することができる。
これらを認識した上で、利用者USに対して「今日の天気は雨です。傘が**にありますので傘をお持ち下さい。」などの言動を行うことができる。
これにより、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる。利用者の利便性を向上させることができる。
次に、本発明にかかる第2の実施の形態について、図14に基づいて説明する。以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図14は、本発明のロボット制御システムの第2の実施の形態の一例を示すブロック図である。
本実施の形態では、ロボット側に前記第1の実施の形態におけるロボット制御サーバ110の機能を備えるようにしている。本実施の形態の場合、ロボット制御サーバの管理側制御手段は、サービス内容に応じた外部情報の取得とロボットへの提供を行う機能のみを備え、アイテム有無判定などをロボット側で行うようにしている。
また、アイテム探索部214は、アイテム探索制御手段の一部で一例であるということもできる。
第1のアイテム探索部214aは、予め登録段階では、特徴点パターン記憶部122に物品の識別子を特徴点パターン情報とともに記憶することできる。物品の識別子は、IDである場合もあるし、物品名である場合もある。
第1のアイテム探索部214aは、CCDカメラ51A、51Bの視野中に存在する物品例えば「傘」を検知し、その「傘」を検知すると、関連アイテム情報「傘」を動作パターン選択部215bへ送出できる。
また、第2のアイテム探索部214bは、目的のタグ識別情報を有する識別タグの位置情報を取得可能な位置情報取得機能を備える。
位置情報は、第1、第2のアイテム探索部214a、214bのいずれによっても求めることができる。或いは必要に応じて双方を組み合わせるようにしてもよい。
次に、メモリ22Bの制御プログラムに従って外部情報取得部212、関連アイテム情報決定部213、アイテム探索部214、言動決定部215、コンテンツ再生部(言動実行部)217として機能するコントローラ22(ロボット制御装置)のCPUの処理動作を説明する。
どのシナリオを読み込むかは、設定またはユーザの指示に基づき決定される。
この際、ロボット制御サーバに対して情報取得要求を送信し(ステップS212)、続いてロボット制御サーバが情報提供サーバに対して情報検索を行い(ステップS213)、ロボット制御サーバが外部情報を得る(ステップS214)と、ロボット制御サーバからロボットに外部情報が通知され(ステップS215)、ロボットが外部情報を取得できる(ステップS216)。
この際、アイテム探索部は、ロボットから物品までの距離なども推定可能で動作パターン情報記憶部予め用意されている動作パターンに位置情報を書き込むことによって、ロボットが言動実行をする際にアイテム位置まで案内動作する(ステップS232)も可能となる。
また、本発明にかかる装置及び方法は、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
また、利用者が「今日は何があるの?」と話しかけると、ロボットは「午後に広場で、**がある」という発話とともに当該発話に対応する動作(頭部の2方向の動作及び各LEDの表示パターン)を実行することができる。
さらに、利用者が「明日**時に起こしてね」と話しかけると、ロボットは所定の時刻に「**時だよ**さん、起きて」という発話とともに当該発話に対応する動作(頭部の2方向の動作及び各LEDの表示パターン)を実行することができる。
また、ロボット制御システムが他の例えば病院情報システムや電子カルテシステムなどと通信網を介して通信接続することにより、患者IDなどを用いて、ロボットが利用者との対話の最中に、所定の時刻になると服用すべき薬のリストを実際にその場所に前記薬があるかどうかをチェックしつつロボットの愛くるしい表現動作(頭部の2方向の動作及び各LEDの表示パターン)とともに告知したりすることもでき、利用者(例えば患者など)をなごませることもできる。
また、ロボット制御システムの一部のみがロボット装置内に組み込まれた構成とすることもできる。ロボット制御システムがロボット装置外部に設けられた場合、無線通信等の種々のネットワークを介して、ロボット装置に制御信号が送信される。また、ロボット制御システムの一部のみがロボット装置内に組み込まれ、残りがロボット装置外部に設けられた場合、それらの間のデータの授受も、無線通信等の種々のネットワークを介して行うことができる。
たとえば、本実施の形態において、外部情報取得部、関連アイテム決定部のみロボット装置外部に設け、それ以外の構成をロボット装置内に組み込んだ構成とすることができる。
10、210 ロボット
20 胴体部
22 コントローラ
22A CPU
22B メモリ
31 バッテリ
32 スピーカ(音声出力部)
33 マイク群(環境認識マイク)
34A、34B アクチュエータ
42 通信I/F
43 各種端子
44 タグリーダ(タグ識別情報取得部)
45 胸LED群(感情パターン表示部)
46 各種LED群
47 各種センサ群
50 頭部
51A、51B CCDカメラ(画像情報取得部)
52A、52B アクチュエータ
53 マイク(音声入力部)
54 タッチセンサ
55 サーモグラフィ
56 耳LED群
57 顔LED群
58 目LED群
92 アイテム探索実行部(アイテム探索実行手段)
92a 第1のアイテム探索実行部
92b 第2のアイテム探索実行部
110 ロボット制御サーバ(遠隔管理装置)
112、212 外部情報取得部(取得手段)
113、213 関連アイテム情報決定部(アイテム決定手段)
114 アイテム探索制御部(アイテム探索制御手段)
114a 第1のアイテム探索制御部
114b 第2のアイテム探索制御部
115、215 言動決定部(言動決定手段)
115a、215a シナリオ選択部
115b、215b 動作パターン選択部
115c、215c コンテンツ生成部
116 コンテンツ供給部(コンテンツ供給手段)
121、221 関連アイテム情報記憶部
122、222 特徴点パターン情報記憶部
123、223 タグ識別情報記憶部
124、224 動作パターン情報記憶部
125、225 シナリオ情報記憶部
126、226 コンテンツ記憶部
130 情報提供サーバ
214 アイテム探索部(アイテム探索制御手段)
214a 第1のアイテム探索部
214b 第2のアイテム探索部
217 コンテンツ再生部(言動実行制御手段)
217a 音声合成部
217b メカ制御部
217c LED制御部
227 音声認識辞書記憶部
231 画像認識部
232 音声認識部
233 接触認識部
234 発話トリガー発生部
NW 通信網
Claims (10)
- 少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備え、
前記遠隔管理装置は、
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定手段と、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段と、
前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、
前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、
を備え、
前記ロボットは、
前記アイテム探索制御手段からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段と、
前記コンテンツ供給手段からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段と、
を備えたことを特徴とするロボット制御システム。 - 請求項1に記載のロボット制御システムにおいて、
前記アイテム探索制御手段は、前記アイテムの有無を画像認識情報により探索することを特徴とするロボット制御システム。 - 請求項2に記載のロボット制御システムにおいて、
前記アイテム探索制御手段は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することを特徴とするロボット制御システム。 - 少なくとも利用者と対話可能なロボットと通信網を介して通信接続され前記ロボットを遠隔制御するとともに前記ロボットに対して情報提供可能な遠隔管理装置であって、
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定手段と、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御手段と、
前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、
前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、
を備えたことを特徴とする遠隔管理装置。 - 少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記ロボットを遠隔管理する遠隔管理方法であって、
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し、
予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定し、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし、
前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する、
ことを特徴とする遠隔管理方法。 - 請求項5に記載の遠隔管理方法において、
前記アイテム探索制御に際しては、前記アイテムの有無を画像認識情報により探索することを特徴とする遠隔管理方法。 - 請求項6に記載の遠隔管理方法において、
前記アイテム探索制御に際しては、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することを特徴とする遠隔管理方法。 - 少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記遠隔管理装置が備えたコンピュータに諸機能を実現可能な遠隔管理プログラムであって、
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得機能と、
予め記憶された関連アイテム情報に基づいて前記外部情報に関連するアイテムを決定するアイテム決定機能と、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御機能と、
前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定機能と、
を前記コンピュータに実現させることを特徴とする遠隔管理プログラム。 - 請求項8に記載の遠隔管理プログラムにおいて、
前記アイテム探索制御機能では、前記アイテムの有無を画像認識情報により探索する機能をその内容とし、これを前記コンピュータに実現させることを特徴とする遠隔管理プログラム。 - 請求項9に記載の遠隔管理プログラムにおいて、
前記アイテム探索制御機能では、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する機能をその内容とし、これを前記コンピュータに実現させることを特徴とする遠隔管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008229890A JP5040865B2 (ja) | 2008-09-08 | 2008-09-08 | ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008229890A JP5040865B2 (ja) | 2008-09-08 | 2008-09-08 | ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010064154A JP2010064154A (ja) | 2010-03-25 |
JP5040865B2 true JP5040865B2 (ja) | 2012-10-03 |
Family
ID=42190195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008229890A Active JP5040865B2 (ja) | 2008-09-08 | 2008-09-08 | ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5040865B2 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040162637A1 (en) | 2002-07-25 | 2004-08-19 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
US6925357B2 (en) | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
EP2668008A4 (en) | 2011-01-28 | 2018-01-24 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
US9251313B2 (en) | 2012-04-11 | 2016-02-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
EP2852881A4 (en) | 2012-05-22 | 2016-03-23 | Intouch Technologies Inc | GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES |
US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
JP6017253B2 (ja) * | 2012-10-04 | 2016-10-26 | シャープ株式会社 | 制御装置、制御装置の制御方法、被制御装置、サーバ、制御プログラム、および記録媒体 |
JP5925111B2 (ja) * | 2012-11-22 | 2016-05-25 | 本田技研工業株式会社 | ロボット |
JP5975947B2 (ja) * | 2013-07-08 | 2016-08-23 | ユニロボット株式会社 | ロボットを制御するためのプログラム、及びロボットシステム |
JP6307230B2 (ja) * | 2013-08-13 | 2018-04-04 | 三菱重工業株式会社 | 産業用ロボット |
JP6346809B2 (ja) * | 2014-07-09 | 2018-06-20 | シャープ株式会社 | 車両走行制御装置、車両走行制御システム、及び車両走行制御方法 |
JP6255368B2 (ja) * | 2015-06-17 | 2017-12-27 | Cocoro Sb株式会社 | 感情制御システム、システム及びプログラム |
US9975241B2 (en) * | 2015-12-03 | 2018-05-22 | Intel Corporation | Machine object determination based on human interaction |
JP6934709B2 (ja) * | 2016-08-26 | 2021-09-15 | 株式会社メニコン | 捜し物ロボット |
JP2018161704A (ja) * | 2017-03-24 | 2018-10-18 | 株式会社 ゼンショーホールディングス | 対話制御システム、及び、ロボット制御システム |
US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
US10483007B2 (en) | 2017-07-25 | 2019-11-19 | Intouch Technologies, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
JP6935315B2 (ja) * | 2017-12-01 | 2021-09-15 | 株式会社日立ビルシステム | 案内ロボットシステム |
CN111278516A (zh) * | 2017-12-22 | 2020-06-12 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
JP2019123055A (ja) * | 2018-01-18 | 2019-07-25 | 株式会社ユピテル | 装置 |
US10617299B2 (en) | 2018-04-27 | 2020-04-14 | Intouch Technologies, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
JP6712039B1 (ja) * | 2019-07-23 | 2020-06-17 | 株式会社コンシェルジュ | 対話型入力支援システム及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925140B2 (ja) * | 2001-10-09 | 2007-06-06 | ソニー株式会社 | 情報提供方法及び情報提供装置、並びにコンピュータ・プログラム |
JP2003345435A (ja) * | 2002-05-24 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | ロボットおよびロボットシステム |
JP4604612B2 (ja) * | 2004-09-07 | 2011-01-05 | 日本電気株式会社 | Icタグ管理装置、それを含むロボットおよびicタグ管理方法 |
-
2008
- 2008-09-08 JP JP2008229890A patent/JP5040865B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010064154A (ja) | 2010-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5040865B2 (ja) | ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム | |
KR102306624B1 (ko) | 지속적 컴패니언 디바이스 구성 및 전개 플랫폼 | |
WO2018171223A1 (zh) | 一种看护机器人的数据处理方法及装置 | |
JP4595436B2 (ja) | ロボット、その制御方法及び制御用プログラム | |
US8103382B2 (en) | Method and system for sharing information through a mobile multimedia platform | |
US20230305530A1 (en) | Information processing apparatus, information processing method and program | |
WO2012010437A1 (fr) | Robot humanoide dote d'une interface de dialogue naturel, procede de controle du robot et programme correspondant | |
JP2003205483A (ja) | ロボットシステム及びロボット装置の制御方法 | |
US11074491B2 (en) | Emotionally intelligent companion device | |
CN107658016A (zh) | 用于老年保健陪伴的Nounou智能监护系统 | |
CN210155626U (zh) | 信息处理装置 | |
CN110995812A (zh) | 一种跨平台人工智能助理系统应用方案 | |
US20210201914A1 (en) | Interactive playground system with enhanced user interaction and computerized method for providing enhanced user interaction in a playground system | |
WO2020116233A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11511410B2 (en) | Artificial intelligence (AI) robot and control method thereof | |
JP2019124855A (ja) | 装置及びプログラム等 | |
CN107895101A (zh) | 用于老年保健陪伴的Nounou智能监护装置 | |
CN105388786B (zh) | 一种智能提线木偶偶人控制方法 | |
WO2016206644A1 (zh) | 机器人控制引擎及系统 | |
JP2003108362A (ja) | コミュニケーション支援装置およびコミュニケーション支援システム | |
JP6864831B2 (ja) | ロボット装置及びプログラム | |
JP2002261966A (ja) | コミュニケーション支援システムおよび撮影装置 | |
CN108043026B (zh) | 通过适老化游戏满足老人精神需求的系统及方法 | |
CN201813390U (zh) | 基于网络传递行为的机器人装置 | |
WO2018132364A1 (en) | A method for performing emotional gestures by a device to interact with a user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5040865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |