JP4022477B2 - ロボットフォン - Google Patents
ロボットフォン Download PDFInfo
- Publication number
- JP4022477B2 JP4022477B2 JP2003011703A JP2003011703A JP4022477B2 JP 4022477 B2 JP4022477 B2 JP 4022477B2 JP 2003011703 A JP2003011703 A JP 2003011703A JP 2003011703 A JP2003011703 A JP 2003011703A JP 4022477 B2 JP4022477 B2 JP 4022477B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- position information
- robot
- operation right
- movable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Toys (AREA)
- Manipulator (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、離れた場所に置かれた複数のロボットの形・動き・位置等を同期させることにより人がコミュニケーションを図るためのロボット・ユーザ・インタフェース（ＲＵＩ）のひとつであるロボットフォンに関する。
【０００２】
【従来の技術】
近年、ペットロボットやヒューマノイド、美術館案内ロボット、介護ロボット等の人間共存型のロボットが人気を博している。これらロボットはコンピュータの画面内を動き回るＣＧキャラクタと比べて圧倒的な存在感を有しており、それがまた人気の一因となっていると考えられる。
【０００３】
ロボットはまさに身体性を有するコンピュータであるととらえることができ、この身体の物理存在自体が圧倒的な存在感の源泉となるとともに、身体を用いた物理的相互作用を通し、実世界に対して大きな影響力を発揮することができる。
【０００４】
この実世界と強力なインタラクションを可能とするロボットを実世界と情報世界とのインタフェースとしてとらえた概念がロボティックインタフェースとして提案されている（Y. Wakita, S. Hirai, K. Machida, K. Ogimoto, T. Itoko, P. Backes and S. Peters, Application of intelligent monitoring for super long distance teleoperation, Proc., IEEE IROS'96, Osaka, pp.1031-1037, 1996）。特にロボットをユーザインタフェース-Robotic User Interface (RUI)-として用いることにより、実世界に対して入力と出力を兼ね備えた実世界指向のユーザインタフェース環境を構築できると考えられる。また、ロボットの汎用機械としての特性を生かすことにより、物理インタフェースを用いつつもある程度の汎用性を確保しやすいという利点も存在する。
【０００５】
そして、実世界と別の実世界を結ぶためのRUIの実装がテレイグジスタンス及びオブジェクト指向型テレイグジスタンスである。オブジェクト指向型テレイグジスタンスとは、「遠隔地の物体の形や動きなどを彼我で共有することにより、遠隔地での作業やコミュニケーションを図る」ための概念である。
【０００６】
従来のテレイグジスタンス／テレプレゼンスは、遠隔ロボットの周辺の環境を取り込み、これを操作者の周辺に再構成することにより臨場感を伝達し、自らがその場にいるかのような感覚で遠隔ロボットを操作可能とするものである。テレイグジスタンスは操作者への高度な臨場感の提示を前提にした手法であるため、臨場感の計測、伝達、提示を行う部分でハードウエア及びソフトウェアの負担が高くなる傾向がある。また、テレイグジスタンスは自分があたかも遠隔ロボットそのものになったかのような感覚、つまり一人称視点で遠隔ロボットの操作を行うため、スレーブロボットが人間と同構造、同サイズ、同動特性のときに最も効果的である。しかしながら、現状では人間と同構造のロボットを製作すること自体が困難であり、人型のロボットで人間と同等以上の動特性を実現し、さらにそのロボットを用いて作業を行うことが可能になるまでには相当の技術的課題が山積している。また、移動型ロボットや建機のように作業対象や応用分野によってはスレーブロボットが人と同構造、同サイズではない場合や、あるいは視点も一人称より三人称視点（俯瞰視点）の方が操作上有利な場合も多いと考えられる。
【０００７】
そこで、本願では、遠隔環境をユーザの周囲に再構成するのではなく、遠隔ロボットそのものをユーザの手元に再構成することにより、より簡便にかつ直感性を維持しつつ遠隔ロボットの制御を行うことを提案する。従来のテレイグジスタンスが「いかに遠隔環境と操作者とを密に、透明に接合するか」という環境指向システムであったのに対し、本発明は「いかに遠隔ロボットと手元のデバイスとを密に結合するか」ということに主眼をおいた、オブジェクト指向のテレイグジスタンスである。
【０００８】
なお、触覚の共有を通して遠隔地とのコミュニケーションを開示した文献として次のものがある。
（１）Brave, S., and Dahley, A. inTouch : A Medium for Haptic Interpersonal Communication, Extended Abstracts of CHI'97, pp.363-364, ACM Press, 1997.
（２）Brave, S., Ishii, H., and Dahley, A. Tangible Interface for Remote Collaboration and Communication, Proceedings of CSCW'98, pp.169-178, ACM Press, 1998.
（３）Fogg, B.J., Cutler, L., Arnold, P., and Eisback C. HandJive: a device for interpersonal haptic entertainment, Proceedings of CHI'98, pp.57-64, ACM Press, 1998.
【０００９】
（１）は三本の木製ローラーによる回転力のみの伝達に関し、（２）はチェスの駒状の物体、（３）は手に握ったバルーンのふくらみ、と提示される情報が極めて限定されているため、コミュニケーションを行う上ではアンビエントな情報低伝達手段に納まっている。これに対し、本願発明は人に近い自由度配置のロボットを共有させることにより自由度の高い触覚情報の共有のみならず視覚的にもジェスチャ情報を伝達可能となっている。
【００１０】
ぬいぐるみをユーザインタフェースとして用いた例として次の文献がある。
（４）星野由紀子、鈴木保匡、山本英子、廣川憲隆、稲葉雅幸、井上博允、日常生活での視聴触覚対話行動研究のための卓上全身型ロボットの開発、日本ロボット学会第16回学術講演会、pp.5-6,1998.
（５）米澤朋子、ブライアン クラークソン、安村通晃、間瀬健二、文脈に応じた音楽表現を伴うセンサぬいぐるみ、インタラクション２００１論文集、pp.19-20,2001.
【００１１】
星野らはぬいぐるみを物理エージェントとして利用し、米澤らは人形を音楽のインタラクティブ操作のための入力インタフェースとして利用している。
（４）（５）はいずれも、人形を物体共有型のコミュニケーションに用いているものではない。
【００１２】
【発明が解決しようとする課題】
この発明は、離れた場所に置かれた複数のロボットの形・動き・位置等を同期させることにより人がコミュニケーションを図ることができるロボットフォンを提供することを目的とする。
【００１３】
さらに、オブジェクト指向のテレイグジスタンスにおいて通信遅延に起因する制御系の発振の問題を解決することを目的とする。
【００１４】
【課題を解決するための手段】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部とを備え、
前記通信接続部は、通信回線を介して、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するとともに、前記可動部が外力により動かされたとき、所定時間の間は相手側からの前記位置情報による駆動を行わない、ものである。
前記通信回線は、電話回線のような有線回線、無線ＬＡＮやブルートゥースのような無線回線を含む。あるいはピアツーピア（１対１）接続の有線又は無線の通信線であってもよい。
【００１５】
好ましくは、通信回線における伝送遅延を測定する回線遅延量測定部を備え、
前記駆動部は、前記伝送遅延量が予め定められた値を超えたときに、相手側からの前記位置情報による駆動を行わない。
【００１６】
好ましくは、通信回線における伝送遅延を測定する回線遅延量測定部を備え、
前記伝送遅延量に応じて前記所定時間が変化する。
【００１７】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記ロボットの操作権が自分側あるいは相手側のいずれにあるかを判定する操作権判定部とを備え、
前記通信接続部は、通信回線を介して、前記操作権判定部により自分側に操作権があると判定されたとき前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は、前記操作権判定部により自分側に操作権がないと判定されたとき、受けた前記位置情報に基づき前記可動部を駆動するものである。
【００１８】
好ましくは、時計装置を備え、
前記通信接続部は、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送するとき、その時刻情報も相手側に伝送するとともに、相手側から前記可動部に対応する前記位置情報に係る時刻情報を受け、
前記操作権判定部は、自分側の時刻情報と相手側の時刻情報を比較することにより操作権の判定を行う。
【００１９】
好ましくは、前記通信回線を介して、操作権に係る問合せを相手側に送るとともに、相手側からの回答を受ける問合せ／回答部を備え、
前記操作権判定部は、前記可動部が外力により動かされたとき、前記問合わせ／回答部により相手側に問合せを送り、その回答に基づき操作権の判定を行う。
【００２０】
好ましくは、前記操作権判定部は、前記可動部が外力により動かされたとき、仮の操作権を自分側に与えるとともに、前記回答により相手側に操作権があると判明したときに前記仮の操作権を取り消す。
【００２１】
好ましくは、操作権に関する優先度情報を予め記憶する優先度テーブルを備え、
前記操作権判定部は、前記優先度テーブルに基づき操作権の判定を行う。
【００２２】
好ましくは、操作履歴を記憶する操作履歴テーブルを備え、
前記操作権判定部は、前記操作履歴テーブルの内容に基づき操作権の判定を行う。
【００２３】
好ましくは、前記操作権判定部の出力に基づき操作権の有無を表示する操作権表示部を備える。
【００２４】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記可動部に外力が加えられているかどうかを検出する外力検出部と、前記外力検出部の出力に基づき能動動作と受動動作を分離する能動動作／受動動作分離部とを備え、
前記通信接続部は、通信回線を介して、前記能動動作／受動動作分離部により分離された受動動作に係る、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するものである。
【００２５】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記位置情報センサからの前記可動部の位置を示す信号と前記通信接続部から受けた相手側からの前記可動部に対応する位置情報を入力とする適応フィルタとを備え、
前記駆動部は、前記適応フィルタの出力に基づき前記可動部を駆動するものである。
【００２６】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記位置情報センサからの前記可動部の位置を示す信号を可聴域の音声信号にエンコードするエンコーダとを備え、
前記通信接続部は、エコーキャンセル機能を備える通信回線を介して、エンコードされた前記可動部の位置を示す信号を相手側に伝送し、相手側からエンコードされた前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するものである。
【００２７】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、通話用のマイク及びスピーカと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部とを備え、
前記通信接続部は、通信回線を介して、前記マイクからの音声信号を相手側に伝送し、相手側から受けた音声信号を前記スピーカにおいて再生し、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するものである。
【００２８】
好ましくは、前記マイク及びスピーカは前記ロボットの前面側を向いて配置される。
なお、前記通信接続部により送受信される前記可動部の位置を示す信号及び／又は前記位置情報は、差分情報であってもよい。この場合、前記可動部が所定時間以上動かされなかったとき及び／又は電源投入時に、前記可動部の位置を示す信号及び／又は前記位置情報は予め定められた値に設定され、これにより前記可動部が所定の状態に設定されることが望ましい。
前述の発明における前記駆動部、前記位置情報センサ及び通信接続部等の各部分の制御は例えばコンピュータにより実現される。例えば、コンピュータは、前記通信接続部が、通信回線を介して、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送るように制御し、前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するとともに、前記可動部が外力により動かされたとき、所定時間の間は相手側からの前記位置情報による駆動を行わないように制御する。
本発明はこのコンピュータのためのプログラムも含むものである。この発明の制御を実行するためのプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。
また、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等の通信媒体を含む。インターネットもここでいう通信媒体に含まれる。
媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。
【００２９】
【発明の実施の形態】
発明の実施の形態１．
本発明は、オブジェクト指向型テレイグジスタンスの一形態としての形状共有システムに関わる。形状共有システムとは、オブジェクトの形状を同期させることにより遠隔地との形状の共有を図り、遠隔地とのインタラクションを可能とするシステムである。「形」は対象を識別、認識するに当って最も基本となる要素の一つであり、また対象の状態を知る上で重要なキーでもある。形状共有システムは、対象物の認識において重要な役割を果たす形状の同期を行うことにより、遠隔ロボットと手元のデバイスの密な結合を達成するものである。
【００３０】
リアルタイムで形状の同期を行うことにより、ただ単に静的なオブジェクトの形を伝えるだけでなく、形が変化していく過程である「動き」も伝えることが可能となる。また、自分の側のオブジェクトの形状がまさに遠隔側のオブジェクト形状を示しており、ディスプレイとしての効果も有している。入力と出力は同一デバイスで行われ、入力と出力の切り替えのない直感的な操作体系が実現される。さらに、オブジェクトとのインタラクションは、手という感覚の入力と外界に対する出力が同時に可能な器官を介して行われるため、本システムは本質的にインタラクティブなインタフェースと位置付けられる。
【００３１】
本発明において、実世界と強力なインタラクションを可能とするロボットが実世界と情報世界とのインタフェースとして用いられる（ロボットユーザインタフェース-Robotic User Interface (RUI)）。
【００３２】
ＲＵＩは次のような特徴をもつ。
・物理世界と相互作用を行うことが可能であり、実際にものを動かすといった作業が可能である。
・ロボットの形状や動作により視覚的な情報の表示を行うことできる。
・ロボットから人に力を加えることにより触覚的な情報の提示もできる。
・人の側が直接ロボットに触れ、その形状を変化させることにより、指示入力操作可能である。
・ロボットへの呼びかけ、ロボット自体の発話といった音声を介したインタラクションが可能である。
【００３３】
ＲＵＩのひとつとしてロボットフォンが提案されている。ロボットフォンとは、離れた場所に置かれた複数のロボットの形・動き・位置等を同期させることにより人がコミュニケーションを図るためのＲＵＩである。ロボットフォンでは形状の同期をリアルタイムにおこなうことにより、オブジェクトの形の情報だけでなく、その動きも伝達可能となる。また、通常のディスプレイに表示された電子的なくぼみとは異なり、実際に人に触れて力を伝えることや、物を動かして作業を行うといったことも可能となる。つまり、視覚・触覚・聴覚を統合して提示可能な電話であると言える。なお、双方の利用者が同時にロボットに力を加えた場合はお互いの相手の力を感じることになる。
【００３４】
一般にロボットはセンサ等の情報に基づきロボット自身で判断を行い、自動的に動作する自律型のものと、判断は操作する人間が行う他律形のロボットに分けることができるが、このロボットフォンは後者の他律型のロボットにカテゴライズされる。
【００３５】
以下、ロボットフォンの例を説明する。
図１はぬいぐるみ型のロボットフォンを示す。図１の１ａ，１ｂはそれぞれクマのぬいぐるみに収められたロボットフォンであり、通話をするためのマイク１１とスピーカ１２、クマのぬいぐるみの骨格の関節に設けられたモータ・遊星歯車減速機１３及び位置検出手段（ポテンショメータ）１４、及びこれらを制御するためのプロセッサ１５、通信回線２を通して通信を行うための通信接続部１６を備える。スピーカ１２はぬいぐるみの胸部に、マイク１１は頭部に装着されている。これらは骨格とともにクマのぬいぐるみに組み込まれている。マイク１１及びスピーカ１２はぬいぐるみの前側に向けて取りつけられていて、利用者はロボットフォンと向き合って通話及び操作することができる。このことにより、相手と対話しているという感覚を得ることができる。
【００３６】
図では表示を省略しているが、モータ・遊星歯車減速機１３及び位置検出手段１４は骨組みの関節部分にそれぞれ設けられている。例えば、クマのぬいぐるみの右腕内部や頭部に設けられる。これらモータ・遊星歯車減速機１３及び位置検出手段１４は２自由度、頭部に２自由度の合計４自由度のアクチュエータである。より人間に近い自由度を持たせ、かつより軽い力で動作を可能にするために、四肢にそれぞれ２自由度、頭部に３自由度の全身で１１の自由度をもたせることが好ましい。これにより外力によるぬいぐるみの姿勢の変化を外部に出力したり、外部からの信号に基づき姿勢を変えることができる。プロセッサ１５はバイラテラル制御を行い、ロボットフォン１ａと１ｂを同じ姿勢に保つ。バイラテラルとは双方向という意味である。バイラテラル制御は、例えば、マニピュレータが受けた重量や反力(接触感)を操作レバーなどに重さとして伝える制御方式として知られている。２つのロボットフォン１ａ，１ｂは通信網２に接続され、これを介して互いに相手方と通話できるとともに、自分のぬいぐるみに力を加えてその姿勢を変えてこれを相手に反映させる、つまり同じ姿勢にさせることができる。
【００３７】
図１のように、人あるいは動物に近い形状にロボットフォンを構成することにより、ゼスチャを用いたコミュニケーションを可能にするロボットフォンを実現できる。本発明の実施の形態に係るロボットフォン１ａ，１ｂを用いて行う通話及び操作の例を図２に示す。二人の利用者がそれぞれロボットフォン１ａ，１ｂと向かい合って通話及び操作を行っている。多くのユーザは人形で遊んだ経験を持つため、容易に人形型のインタフェースを操作することができる。例えば、片方のロボットフォンの手を振ることによりもう一方のロボットフォンの手を振らせることや、首の動作によるＹＥＳ／ＮＯのジェスチャを行わせることができる。また、双方のユーザが同時に人形の手を振った場合は、人形の手を介して相手の力を感じつつ握手を行うこともできる。ロボットフォンは同時に一つの物体を操作するため、状態によってときに自分の分身として、ときに相手の分身として自分に働くことになる。
【００３８】
図３は、他の例であるヘビ型のロボットフォンを示す。本体の幹部は７個の節１７−１〜１７−７で構成される。節１７−１〜１７−７は回転自在の関節により互いに接続され、全体としてヘビのように体をくねらせることができる。各節にはモータ・遊星歯車機構１３及びポテンショメータ１４からなるモジュールをそれぞれ備える。図３のヘビ型のロボットフォンにおいてアクチュエータとしてサーボモータが６個用いられている。
【００３９】
このヘビ型ロボットフォンは、動作可能な領域が二次元平面内であるという制約はあるものの、胴体そのもので形状を表現することができる。手で触ることによりその形状を自由に構成することができる。
【００４０】
以上の例において、サーボモータの制御は、例えばワンボードマイコン上のソフトウェアで実現される。モータの駆動にはＰＷＭ制御が用いられる。バイラテラルサーボの制御方として図４に示すような対称型を採用し、対となるサーボモータの位置偏差を常に最小とするように制御を行っている。図４において、２０は前記位置偏差を求める減算器、２１ａ，２１ｂは前記位置偏差に基づきロボット１ａ，１ｂの対となるサーボモータをそれぞれ駆動する位置指令部である。ロボット１ａ，１ｂから出力される角度信号はポテンショメータ１４により得られる。ロボット１ａ，１ｂに加えられる力はロボットの骨格の関節に作用し、これの位置すなわち姿勢を変えるためのものである。なお、本明細書においてロボットとは、生物の形、構造、機能のいずれか、もしくは全てを規範とした機械のことである。
【００４１】
図４の制御システムにおいて、利用者がロボット１ａ又は１ｂに力を加えてその姿勢を変化させると、そのことが角度信号として出力される。ロボット１ａの姿勢とロボット１ｂの姿勢が減算器２０で比較される。姿勢が異なっている場合、つまり一部又は全部の関節の位置が一致しない場合、当該関節の位置を一致させるように位置指令部２１ａ，２１ｂはそれぞれロボット１ａ，１ｂのサーボモータに指令を出す。各サーボモータがこれに応答することにより、ロボット１ａ，１ｂの姿勢は同じになる。例えば、ロボット１ａの腕を上げたとすると、位置指令部２１ｂはロボット１ｂに腕を上げるように指令する。一方、位置指令部２１ａはロボット１ａに腕を下げるように指令するので、操作した者は反力を感じることになる。対称型のバイラテラル制御は、力センサを必要とせず、制御器を単純に構成することが可能である。
【００４２】
図４の制御システムによれば、マスターとなるデバイスを操作するとスレーブデバイスはこの操作に遅れなく追従するので、マスタデバイスの操作者は自由にスレーブデバイスの形状をコントロールすることができる。
【００４３】
この例において、手元の形状と操作対象の形状を一致させるようにする操作方法をとったことで、デバイスとリアルタイムのインタラクションを行いながら、形状をつくっていくことが可能となり、非常に直感的な操作方法となっている。すなわち、操作者の手元に存在するデバイスが、常にリモートの形状を提示しつづけるディスプレイデバイスとしての機能も果たしている。さらに、完全に対称なバイラテラル制御を行っているので、どちらのデバイスがマスタかスレーブかという区別はなく、相互に操作し合うことが可能である。また、位置だけでなく、力の伝達も行われており、たとえば、片方のデバイスの関節を動かさないように手で拘束すると、もう一方のデバイスで相手側のデバイスが拘束されている状態を感じることができる。
【００４４】
ところで、通常のバイラテラル制御を通信遅延を有する回線経由で行うと、制御系の発振が生じやすいという問題がある。通信遅延により、相手側から常に時間的に遅れたフィードバックがかえってくるため、発振しづらい制御系を作るのが難しいためである。
【００４５】
従来、対称型バイラテラル制御は、単純であるがあまり用いられていなかった。制御する相手側の装置・部分の重さが、操作者側にそのまま返ってくるためである。そのため、より高度な力帰還型の制御手法がより多く用いられている。単純な対称型バイラテラル制御において通信遅延の問題を解決するという提案はなされていなかった。
【００４６】
発明の実施の形態１において用いた、遅延による発振を防ぐための手法について図５〜図７を参照して説明する。
【００４７】
図５において回線遅延量測定部２２ａ，２２ｂは回線の遅延量を測定し、これを位置指令部２１ａ，２１ｂに出力する。位置指令部２１ａ，２１ｂは、前述の位置偏差に基づきロボット本体１０ａ，１０ｂのサーボモータを駆動するが、その制御はロボット１０ａ，１０ｂからの操作を受けたことを示す信号（外力が関節に加えられ、位置が変化したことを示す信号。駆動信号が与えられていないのに位置が変化したとき外力が加えられたと判定できる）及び前記回線の遅延量により制御される。
【００４８】
図６は処理の概略を示すフローチャートである。通信遅延量を測定し（Ｓ１）、通信遅延量を予め定められたしきい値と比較する（Ｓ２）。しきい値はシステムで許容される遅延・発振の程度に応じて定められる。通信遅延量がしきい値より大きいとき、通信遅延による悪影響を避けるために通信遅延量に応じてフィードバック無効時間を設定する（Ｓ３）。利用者によりロボット本体１０が操作されたときこれを検出し（Ｓ４）、設定された時間だけ相手側からのフィードバックを無効にする（Ｓ５）。以上の処理により、しきい値以上の通信遅延があるときのみ、相手側からのフィードバックを無効にし、これにより遅延による発振を防ぐことができる。
【００４９】
図７は他の処理例である。図７の処理は、図６の通信遅延量としきい値の比較ステップ（Ｓ２）を備えない。したがって図７の処理は通信遅延量によらずステップＳ５が実行されるが、その無効期間は通信遅延量に応じて定められる。
【００５０】
本発明の実施の形態１において、片側の操作者がロボット１０を操作し始めると、相手側からのフィードバックを無効にし、システムが一時的に片方向のみの操作が有効になる状態にする（Ｓ４、Ｓ５）。つまり、操作側で入力された動きはそのまま相手側に伝わるが、一定の間、相手側での入力動作は無視される。通常のバイラテラル制御が全二重（完全双方向）のシステムだとすると、本手法はいわば半二重のシステムと言える。
【００５１】
システムが通信路の遅延を常に測定し、通信遅延量に応じて通常のバイラテラル制御から上記手法に切り替えることにより、使用者に特に意識させることなく、回線状態に対応して最適な制御手法を選択することができる（Ｓ１、Ｓ２）。
【００５２】
さらに、通信遅延量に合わせて上記手法においてシステムが片方向になっている時間を変化させる（Ｓ３）ことにより、通信遅延がない状態からある状態へ回線が変化したときに、システムの状態遷移をスムーズに行わせることもできる。図７のフローチャートによれば、通信遅延が０のときはシステムが片方向になる時間が０になり、通信遅延時間が増えるに従いシステムが片方向になる時間が増えていく。
【００５３】
発明の実施の形態２．
発明の実施の形態１において、システムがどちら側からの入力を受け付ける片方向システムになるかは、どちらの操作者が先に操作をし始めたかによって決定される。従って、ほぼ同時期に両方の操作者が操作し始めたときにどのように処理するかが問題になる。特に、通信遅延が大きいときは、操作の開始が同時と見なされる時間間隔がどんどん大きくなっていくのでクリティカルな問題と言える（両方を同時に動かした場合、お互いが相手側が動かしたことを示す情報を受け取るので、次にどちらに操作権を与えればよいか決定できない）。
【００５４】
発明の実施の形態２のシステム（図８参照）は、上記問題を解決するためのものである。図８において、２３ａ，２３ｂは操作情報とこれに関連づけられた時刻情報を受けて操作権をどちらに与えるかを判定する操作権判定部、２４ａ，２４ｂは絶対時刻を出力する時計装置である。操作情報とともに時刻情報が通信回線２を介して相手側に送られる。図８において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００５５】
発明の実施の形態２のシステムは、システムの両端で時刻の同期を厳密に行うことにより上記問題を解決するものである。このシステムにおいて、ロボットフォンが互いに離れていてもそれぞれの側でシステムがグローバルな時刻を知ることが出来る。システムがやりとりする動作情報をグローバル時刻に関連づけることにより、グローバル時刻においてどちらが先に動かしたのか判断することが出来る。もっとも、遅延時間が長くなると、自分が操作しているにもかかわらずその途中で相手側の制御を受ける、ということが生じる期間が長くなっていく。
【００５６】
理想的には、ロボットフォン１ａ，１ｂそれぞれにローカルにアクセス可能な原子時計やGPSなどの絶対時刻ソース２４ａ，２４ｂを備えることが望ましい。これがあればシステムの両端間で時刻の同期を行う必要はなくなる。
【００５７】
発明の実施の形態３．
ほぼ同時期に両方の操作者が操作し始めたときの問題を解決する別の手法について説明する。発明の実施の形態３のシステム（図９参照）は、上記問題を解決するためのものである。図９において、２５ａ，２５ｂは自分のロボット１０ａ，１０ｂが操作されたときに相手に操作権の問合せを行うとともに、当該問い合わせに対する相手から回答を受信する問合せ／回答部、２６ａ，２６ｂはロボット１０ａ，１０ｂから操作されたことを示す信号を受けて問合せ／回答部２５ａ，２５ｂに問合せを送信させるとともに、同部２５ａ，２５ｂから回答を受けてこれに基づき操作権を判定し、自分の方に操作権があるとき位置指令部２１ａ，２１ｂにロボット１０ａ，１０ｂの駆動許可を出す操作権判定部である。図９において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００５８】
図１０は発明の実施の形態３に係る概略フローチャートである。発明の実施の形態３に係るシステムは図１０（ａ）を参照するとわかるように、システムの両端間で相手の状態をお互いに問い合わせ可能なプロトコルを用意し、操作者が操作し始めたら問い合わせプロトコルにより相手の状態を問い合わせ（Ｓ１１〜Ｓ１３）、相手から回答を受け（Ｓ１４、Ｓ１５）、相手が操作を開始していない場合は操作者に対してそれ以降の操作を許可する（Ｓ１６、Ｓ１７）というものである。
【００５９】
図１０（ａ）のプロトコルでは、通信回線の遅延時間が長くなると操作者が操作をし始めてから（力をかけてから）、システムが操作を許可するまで（実際に動くようになるまで）の時間が長くなる（いわゆる、遅延が長くなると操作が重たくなる）。このことを回避するために、図１０（ｂ）に示すように、相手に問い合わせを行っている間において操作側の操作を早めに許可する（Ｓ１８）ようにしてもよい。ただし、状況によっては、動かし始めた後に操作の仮許可が取り消されることもある。
【００６０】
この問い合わせプロトコルは、システムが動作方向を決定するまでに相手側に問い合わせをしてその答えを待つので、通信路の遅延が行きと帰りの両方で生じ、前述の手法に比べて２倍の影響を受ける。従って、本発明の実施の形態３は比較的、通信遅延が少ない場合に有効である。
【００６１】
発明の実施の形態４．
ほぼ同時期に両方の操作者が操作し始めたときの問題を解決する別の手法について説明する。発明の実施の形態４のシステム（図１１参照）は、上記問題を解決するためのものである。図１１において、２７ａ，２７ｂは位置指令部２１ａ、２１ｂに入力された操作の操作権を判定する操作権判定部、２８ａ，２８ｂは操作権の競合が生じたときに優先すべき側を予め規定する優先度テーブル、２９ａ，２９ｂは過去の操作履歴を格納する操作履歴格納テーブルである。図１１において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００６２】
発明の実施の形態１〜３と比べてよりシンプルな手法として、同時に操作したときにあらかじめ決められた基準に従ってシステムの操作可能方向を決定する手法が考えられる。図１１のシステムはこのためのものである。
【００６３】
通信遅延によって両側からの操作が衝突したら、優先度テーブル２８ａ，２８ｂの内容に基づき一方の側の操作が優先的に選ばれる。優先度テーブル２８ａ，２８ｂには操作権が一意に決定されるように優先度の情報が予め格納されている。この手法は、システムを完全に対称に構成せずに差を付けておくものである。
【００６４】
あるいは、操作履歴テーブル２９ａ，２９ｂの操作の履歴に応じて一方の側に操作権を与える。例えば、直前の操作を行っていた側が優先的に選ばれる。あるいは、特定の部位の操作を行う方に操作権が与えられる。例えば、一方でロボットの腕を動かし、他方でロボットの首を動かした場合、首（あるいは腕）を操作した側に操作権を与える。どの部位が優先されるか、その優先順位は予め定められている。例えば、ジェスチャとして意味が大きい順に優先順位を決める（首＞腕＞足）。例えば、操作の頻度が大きい順に優先順位を決める。
【００６５】
発明の実施の形態５．
発明の実施の形態１〜４において、現在、どちらの側が操作可能な状態なのか、使用者にとって分かりづらくなってしまうことが考えられる（特に通信遅延が大きいとき）。そこで操作権を表示する表示部を設けることが好ましい（図１２参照）。図１２において、３０ａ，３０ｂは操作権判定部２６ａ，２６ｂ又は２７ａ，２７ｂから操作権の情報を受けて操作権の有無を表示する操作権表示部である。図１２において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。なお、操作権表示部３０ａ，３０ｂは図５、図８、図９及び図１１のシステムに適用することができる。
【００６６】
操作権表示部３０ａ，３０ｂは、例えば、ぬいぐるみの鼻の部分に設けられたＬＥＤである。例えば、このＬＥＤは自分の側が操作可能時は青色に光り、相手側のみ操作可能の時は赤色に光る。
【００６７】
発明の実施の形態６．
通信遅延による発振の影響を解決するための別の手法について説明する。発明の実施の形態６のシステム（図１３参照）は、上記問題を解決するためのものである。図１３において、３１ａ，３１ｂはロボットの動作が位置指令部２１による駆動の結果である能動的なもの、あるいは外力が加えられたことによる受動的なもののいずれかであるかを判定する外力検出部、３２ａ，３２ｂは外力検出部３１ａ，３１ｂの判定結果に基づき受動的な動作に関する位置情報のみを相手側に送信させる能動動作／受動動作分離部である。図１３において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。なお，２０ａ，２０ｂは、対応する外力検出部より出力があったときのみ、ロボットの現在位置と外部からの位置指令の偏差をとり、位置指令部に入力する演算器である。
【００６８】
対称型バイラテラル制御は、マスタの変位にスレーブを追従させるようにマスタ、スレーブ両者のアクチュエータを制御するものである。すなわち、マスタに変位が生じると、マスタとスレーブ間に相対変位が生じる。その相対変位を0 にするようにマスタおよびスレーブに取りつけたモータの駆動電流を制御し、両者に駆動トルク、拘束トルクを発生させるように制御するのが対称型バイラテラル制御である。対称型は、マスタおよびスレーブに力が加わっている時には、必ず両者に相対変位が存在している。この方式は、力を検出して制御系の位置制御にフィードバックしないので、制御が単純で安定性も良いと言われている。
【００６９】
しかしながら、伝送系に遅延が存在する場合、発振しやすい不安定なシステムとなる。システム不安定化一番の原因は相手側のロボットに伝送した動作情報が相手側のロボットを動作させた後に遅延を伴い改めて戻ってくることが考えられる。似た現象としては国際電話等で音声通話時のエコーとして観察されている。発明の実施の形態６のシステムはこの遅延の影響を低減するためのものである。
【００７０】
発明の実施の形態６は外力伝達型バイラテラル制御に関する。これは、ロボットの関節の能動的な動作（ロボットが内部の制御指令に従って動いているとき、ロボットが静止状態にあるとき）と受動的な動作（ロボットに対し外部の人間が力を加えたき、ロボットが外部物体に接触したとき）とを分離し、受動的な動作時の関節角ないしは関節速度ないしは関節トルクのデータを対となるロボットに対して伝送する、というものである。図１３の外力検出部３１ａ，３１ｂが能動動作と受動動作を区別し、能動動作／受動動作分離部３２ａ，３２ｂが受動動作とされた動作に関する位置情報を選択して相手に送信させる。
【００７１】
能動的な動作と受動的な動作を分離するためには外力がロボットにかかっているかかかっていないかを検出できればよい。
外力を検出するためには、例えば次のような手法が考えられる。
・ロボットに力センサやスイッチを搭載する。これにより外力を直接検出する。
・内部の制御指令上の関節角と実際の関節角の差を観測する。両者の角度が異なれば外力がかかっていると判定できる。
・関節を駆動するモータの駆動電流を観測する。モータの駆動電流が小さいあるいは０であるにもかかわらず関節の位置（角度）が変化しているとき、外力がかかっていると判定できる。
【００７２】
発明の実施の形態７．
通信遅延による発振の影響を解決するための別の手法について説明する。発明の実施の形態７のシステム（図１４参照）は、上記問題を解決するためのものである。図１４において、３３ａ，３３ｂはLMS(Least Mean Square)やRLS(Recursive Least Square)等の適応フィルタである。図１４において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００７３】
一般の電話回線やインターネット電話等において適用フィルタを用いてエコーをキャンセルしている。本願で対象とする伝送遅延によるロボット動作の不安定化もロボットの動作を音声と同じ波動と考えることにより、適応フィルタを用いて安定して動作させることが可能となる。
【００７４】
具体的には、適応フィルタ３３ａ，３３ｂは、送信した動作を記録し、相手側のロボットが送信した動作によって動いた結果の動作信号が戻ってきたときに、記録した動作信号を適切にゲインを調整した上で差分をとる。これにより発振を抑制しつつ相手側の動作のみ抽出することが可能となる。
【００７５】
発明の実施の形態８．
通信遅延による発振の影響を解決するための別の手法について説明する。発明の実施の形態８のシステム（図１５参照）は、上記問題を解決するためのものである。図１５において、３４ａ，３４ｂはロボットの位置（角度）情報を可聴域の音声信号にエンコードするエンコーダである。図１５において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。なお、通信回線２はエコーキャンセラ機能を備えるものである。
【００７６】
通信回線２として電話回線やVoIPでのコネクションを利用する場合、当該通信回線はエコーキャンセル機能を備えている。よって、角度情報を可聴域の音声信号にエンコードした上で通信回線を通じて相手側に音声情報として送信すれば、通信回線自体でエコーをキャンセルしてくれる。この場合、ロボットフォンはエンコーダ３３のみを備えればよい。
【００７７】
ところで、上記発明の実施の形態において、ロボットフォンの制御として公知のバイラテラル制御を採用している。公知のバイラテラル制御では位置情報（絶対値）を送っていた。しかし、一般的なバイラテラル制御と異なり、ロボットフォンにおいては両者の腕や足の位置等を一致させる必要はあまりない。そこで、位置情報の絶対値を送るのではなく、その差分（変化量）を送るようにすることができる。この場合、結果としてロボットフォン間の腕や足の姿勢は一致しなくなるが、相手に首を振る動作や腕や足を動かす動作をさせる点で支障はない。
【００７８】
位置情報として差分を送る場合、通信しているロボットフォン間において腕や足等の絶対位置の誤差が累積し、やがて両者の姿勢が全く異なってしまうということが考えられる。そこで、適当なときにリセット処理を行い、腕や足等の位置を初期状態（デフォルト）に戻すことが望ましい。
リセットの手法としてつぎのようなものがある。
・所定時間放置されていたときデフォルトの位置に戻る。
・パワーオン時にリセットする。
【００７９】
上記説明において、ロボットフォンを同じデバイスを用いた双方向性通信用のインタフェース（例えば電話機）として説明していた。ロボットフォンはこれに限定されず、異なるタイプのデバイスに接続されてもよい。例えば相手がコンピュータであってもよい。より一般的には、本ロボットフォンを人形型のフォースフィードバック（force feedback）のためのデバイスとして用いることができる。例えば、ロボットフォンを手で操作できる程度の大きさとし、ゲームコンピュータの入出力インタフェースとして使用することができる。プレイ中においてゲーム中のキャラクタの動きや環境による影響などを受けてロボットフォンが動作しその姿勢が変化する。これにより遊技者にゲーム中のキャラクタの動き等がフィードバックされる。ロボットフォンは人形・動物型であるので汎用的に使える。例えば、ロボットフォンにあたかも自動車のハンドルを持っているかのような姿勢をとらせ、この状態で腕を操作することによりゲームコンピュータにハンドル操作の情報を与え、逆にゲームコンピュータにより腕を動作させることによりハンドルに加わる力や動きを表現することができる。
【００８０】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００８１】
また、本明細書において、手段（部）とは必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
【図面の簡単な説明】
【図１】 発明の実施の形態に係るロボットフォンの例を示す図である。
【図２】 発明の実施の形態に係るロボットフォンの利用形態の説明図である。
【図３】 発明の実施の形態に係るロボットフォンの他の例を示す図である。
【図４】 発明の実施の形態に係るロボットフォンの制御系の説明図である。
【図５】 発明の実施の形態１に係る制御システムの機能ブロック図である。
【図６】 発明の実施の形態１に係る制御システムの動作フローチャートである。
【図７】 発明の実施の形態１に係る制御システムの他の動作フローチャートである。
【図８】 発明の実施の形態２に係る制御システムの機能ブロック図である。
【図９】 発明の実施の形態３に係る制御システムの機能ブロック図である。
【図１０】 発明の実施の形態３に係るプロトコルの例を示す図である。
【図１１】 発明の実施の形態４に係る制御システムの機能ブロック図である。
【図１２】 発明の実施の形態５に係る制御システムの機能ブロック図である。
【図１３】 発明の実施の形態６に係る制御システムの機能ブロック図である。
【図１４】 発明の実施の形態７に係る制御システムの機能ブロック図である。
【図１５】 発明の実施の形態８に係る制御システムの機能ブロック図である。
【符号の説明】
１ ロボットフォン
２ 通信回線（通信網）
１０ ロボット
１１ マイク
１２ スピーカ
１３ サーボモータ及び遊星歯車減速機を含む駆動機構
１４ 位置検出器（ポテンショメータ）
１５ プロセッサ
１６ 通信接続部（モデム等）
１７ ヘビ型ロボットフォンの本体を構成する節
２０ 加減算器
２１ 位置指令部
２２ 回線遅延量測定部
２３、２６、２７ 操作権判定部
２４ 時計装置
２５ 問合せ／回答部
２８ 優先度テーブル
２９ 操作履歴テーブル
３０ 操作権表示部
３１ 外力検出部
３２ 能動動作／受動動作分離部
３３ 適応フィルタ
３４ エンコーダ
【発明の属する技術分野】
この発明は、離れた場所に置かれた複数のロボットの形・動き・位置等を同期させることにより人がコミュニケーションを図るためのロボット・ユーザ・インタフェース（ＲＵＩ）のひとつであるロボットフォンに関する。
【０００２】
【従来の技術】
近年、ペットロボットやヒューマノイド、美術館案内ロボット、介護ロボット等の人間共存型のロボットが人気を博している。これらロボットはコンピュータの画面内を動き回るＣＧキャラクタと比べて圧倒的な存在感を有しており、それがまた人気の一因となっていると考えられる。
【０００３】
ロボットはまさに身体性を有するコンピュータであるととらえることができ、この身体の物理存在自体が圧倒的な存在感の源泉となるとともに、身体を用いた物理的相互作用を通し、実世界に対して大きな影響力を発揮することができる。
【０００４】
この実世界と強力なインタラクションを可能とするロボットを実世界と情報世界とのインタフェースとしてとらえた概念がロボティックインタフェースとして提案されている（Y. Wakita, S. Hirai, K. Machida, K. Ogimoto, T. Itoko, P. Backes and S. Peters, Application of intelligent monitoring for super long distance teleoperation, Proc., IEEE IROS'96, Osaka, pp.1031-1037, 1996）。特にロボットをユーザインタフェース-Robotic User Interface (RUI)-として用いることにより、実世界に対して入力と出力を兼ね備えた実世界指向のユーザインタフェース環境を構築できると考えられる。また、ロボットの汎用機械としての特性を生かすことにより、物理インタフェースを用いつつもある程度の汎用性を確保しやすいという利点も存在する。
【０００５】
そして、実世界と別の実世界を結ぶためのRUIの実装がテレイグジスタンス及びオブジェクト指向型テレイグジスタンスである。オブジェクト指向型テレイグジスタンスとは、「遠隔地の物体の形や動きなどを彼我で共有することにより、遠隔地での作業やコミュニケーションを図る」ための概念である。
【０００６】
従来のテレイグジスタンス／テレプレゼンスは、遠隔ロボットの周辺の環境を取り込み、これを操作者の周辺に再構成することにより臨場感を伝達し、自らがその場にいるかのような感覚で遠隔ロボットを操作可能とするものである。テレイグジスタンスは操作者への高度な臨場感の提示を前提にした手法であるため、臨場感の計測、伝達、提示を行う部分でハードウエア及びソフトウェアの負担が高くなる傾向がある。また、テレイグジスタンスは自分があたかも遠隔ロボットそのものになったかのような感覚、つまり一人称視点で遠隔ロボットの操作を行うため、スレーブロボットが人間と同構造、同サイズ、同動特性のときに最も効果的である。しかしながら、現状では人間と同構造のロボットを製作すること自体が困難であり、人型のロボットで人間と同等以上の動特性を実現し、さらにそのロボットを用いて作業を行うことが可能になるまでには相当の技術的課題が山積している。また、移動型ロボットや建機のように作業対象や応用分野によってはスレーブロボットが人と同構造、同サイズではない場合や、あるいは視点も一人称より三人称視点（俯瞰視点）の方が操作上有利な場合も多いと考えられる。
【０００７】
そこで、本願では、遠隔環境をユーザの周囲に再構成するのではなく、遠隔ロボットそのものをユーザの手元に再構成することにより、より簡便にかつ直感性を維持しつつ遠隔ロボットの制御を行うことを提案する。従来のテレイグジスタンスが「いかに遠隔環境と操作者とを密に、透明に接合するか」という環境指向システムであったのに対し、本発明は「いかに遠隔ロボットと手元のデバイスとを密に結合するか」ということに主眼をおいた、オブジェクト指向のテレイグジスタンスである。
【０００８】
なお、触覚の共有を通して遠隔地とのコミュニケーションを開示した文献として次のものがある。
（１）Brave, S., and Dahley, A. inTouch : A Medium for Haptic Interpersonal Communication, Extended Abstracts of CHI'97, pp.363-364, ACM Press, 1997.
（２）Brave, S., Ishii, H., and Dahley, A. Tangible Interface for Remote Collaboration and Communication, Proceedings of CSCW'98, pp.169-178, ACM Press, 1998.
（３）Fogg, B.J., Cutler, L., Arnold, P., and Eisback C. HandJive: a device for interpersonal haptic entertainment, Proceedings of CHI'98, pp.57-64, ACM Press, 1998.
【０００９】
（１）は三本の木製ローラーによる回転力のみの伝達に関し、（２）はチェスの駒状の物体、（３）は手に握ったバルーンのふくらみ、と提示される情報が極めて限定されているため、コミュニケーションを行う上ではアンビエントな情報低伝達手段に納まっている。これに対し、本願発明は人に近い自由度配置のロボットを共有させることにより自由度の高い触覚情報の共有のみならず視覚的にもジェスチャ情報を伝達可能となっている。
【００１０】
ぬいぐるみをユーザインタフェースとして用いた例として次の文献がある。
（４）星野由紀子、鈴木保匡、山本英子、廣川憲隆、稲葉雅幸、井上博允、日常生活での視聴触覚対話行動研究のための卓上全身型ロボットの開発、日本ロボット学会第16回学術講演会、pp.5-6,1998.
（５）米澤朋子、ブライアン クラークソン、安村通晃、間瀬健二、文脈に応じた音楽表現を伴うセンサぬいぐるみ、インタラクション２００１論文集、pp.19-20,2001.
【００１１】
星野らはぬいぐるみを物理エージェントとして利用し、米澤らは人形を音楽のインタラクティブ操作のための入力インタフェースとして利用している。
（４）（５）はいずれも、人形を物体共有型のコミュニケーションに用いているものではない。
【００１２】
【発明が解決しようとする課題】
この発明は、離れた場所に置かれた複数のロボットの形・動き・位置等を同期させることにより人がコミュニケーションを図ることができるロボットフォンを提供することを目的とする。
【００１３】
さらに、オブジェクト指向のテレイグジスタンスにおいて通信遅延に起因する制御系の発振の問題を解決することを目的とする。
【００１４】
【課題を解決するための手段】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部とを備え、
前記通信接続部は、通信回線を介して、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するとともに、前記可動部が外力により動かされたとき、所定時間の間は相手側からの前記位置情報による駆動を行わない、ものである。
前記通信回線は、電話回線のような有線回線、無線ＬＡＮやブルートゥースのような無線回線を含む。あるいはピアツーピア（１対１）接続の有線又は無線の通信線であってもよい。
【００１５】
好ましくは、通信回線における伝送遅延を測定する回線遅延量測定部を備え、
前記駆動部は、前記伝送遅延量が予め定められた値を超えたときに、相手側からの前記位置情報による駆動を行わない。
【００１６】
好ましくは、通信回線における伝送遅延を測定する回線遅延量測定部を備え、
前記伝送遅延量に応じて前記所定時間が変化する。
【００１７】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記ロボットの操作権が自分側あるいは相手側のいずれにあるかを判定する操作権判定部とを備え、
前記通信接続部は、通信回線を介して、前記操作権判定部により自分側に操作権があると判定されたとき前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は、前記操作権判定部により自分側に操作権がないと判定されたとき、受けた前記位置情報に基づき前記可動部を駆動するものである。
【００１８】
好ましくは、時計装置を備え、
前記通信接続部は、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送するとき、その時刻情報も相手側に伝送するとともに、相手側から前記可動部に対応する前記位置情報に係る時刻情報を受け、
前記操作権判定部は、自分側の時刻情報と相手側の時刻情報を比較することにより操作権の判定を行う。
【００１９】
好ましくは、前記通信回線を介して、操作権に係る問合せを相手側に送るとともに、相手側からの回答を受ける問合せ／回答部を備え、
前記操作権判定部は、前記可動部が外力により動かされたとき、前記問合わせ／回答部により相手側に問合せを送り、その回答に基づき操作権の判定を行う。
【００２０】
好ましくは、前記操作権判定部は、前記可動部が外力により動かされたとき、仮の操作権を自分側に与えるとともに、前記回答により相手側に操作権があると判明したときに前記仮の操作権を取り消す。
【００２１】
好ましくは、操作権に関する優先度情報を予め記憶する優先度テーブルを備え、
前記操作権判定部は、前記優先度テーブルに基づき操作権の判定を行う。
【００２２】
好ましくは、操作履歴を記憶する操作履歴テーブルを備え、
前記操作権判定部は、前記操作履歴テーブルの内容に基づき操作権の判定を行う。
【００２３】
好ましくは、前記操作権判定部の出力に基づき操作権の有無を表示する操作権表示部を備える。
【００２４】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記可動部に外力が加えられているかどうかを検出する外力検出部と、前記外力検出部の出力に基づき能動動作と受動動作を分離する能動動作／受動動作分離部とを備え、
前記通信接続部は、通信回線を介して、前記能動動作／受動動作分離部により分離された受動動作に係る、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するものである。
【００２５】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記位置情報センサからの前記可動部の位置を示す信号と前記通信接続部から受けた相手側からの前記可動部に対応する位置情報を入力とする適応フィルタとを備え、
前記駆動部は、前記適応フィルタの出力に基づき前記可動部を駆動するものである。
【００２６】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記位置情報センサからの前記可動部の位置を示す信号を可聴域の音声信号にエンコードするエンコーダとを備え、
前記通信接続部は、エコーキャンセル機能を備える通信回線を介して、エンコードされた前記可動部の位置を示す信号を相手側に伝送し、相手側からエンコードされた前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するものである。
【００２７】
この発明に係るロボットフォンは、ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、通話用のマイク及びスピーカと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部とを備え、
前記通信接続部は、通信回線を介して、前記マイクからの音声信号を相手側に伝送し、相手側から受けた音声信号を前記スピーカにおいて再生し、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するものである。
【００２８】
好ましくは、前記マイク及びスピーカは前記ロボットの前面側を向いて配置される。
なお、前記通信接続部により送受信される前記可動部の位置を示す信号及び／又は前記位置情報は、差分情報であってもよい。この場合、前記可動部が所定時間以上動かされなかったとき及び／又は電源投入時に、前記可動部の位置を示す信号及び／又は前記位置情報は予め定められた値に設定され、これにより前記可動部が所定の状態に設定されることが望ましい。
前述の発明における前記駆動部、前記位置情報センサ及び通信接続部等の各部分の制御は例えばコンピュータにより実現される。例えば、コンピュータは、前記通信接続部が、通信回線を介して、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けてこれを前記駆動部へ送るように制御し、前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するとともに、前記可動部が外力により動かされたとき、所定時間の間は相手側からの前記位置情報による駆動を行わないように制御する。
本発明はこのコンピュータのためのプログラムも含むものである。この発明の制御を実行するためのプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。
また、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等の通信媒体を含む。インターネットもここでいう通信媒体に含まれる。
媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。
【００２９】
【発明の実施の形態】
発明の実施の形態１．
本発明は、オブジェクト指向型テレイグジスタンスの一形態としての形状共有システムに関わる。形状共有システムとは、オブジェクトの形状を同期させることにより遠隔地との形状の共有を図り、遠隔地とのインタラクションを可能とするシステムである。「形」は対象を識別、認識するに当って最も基本となる要素の一つであり、また対象の状態を知る上で重要なキーでもある。形状共有システムは、対象物の認識において重要な役割を果たす形状の同期を行うことにより、遠隔ロボットと手元のデバイスの密な結合を達成するものである。
【００３０】
リアルタイムで形状の同期を行うことにより、ただ単に静的なオブジェクトの形を伝えるだけでなく、形が変化していく過程である「動き」も伝えることが可能となる。また、自分の側のオブジェクトの形状がまさに遠隔側のオブジェクト形状を示しており、ディスプレイとしての効果も有している。入力と出力は同一デバイスで行われ、入力と出力の切り替えのない直感的な操作体系が実現される。さらに、オブジェクトとのインタラクションは、手という感覚の入力と外界に対する出力が同時に可能な器官を介して行われるため、本システムは本質的にインタラクティブなインタフェースと位置付けられる。
【００３１】
本発明において、実世界と強力なインタラクションを可能とするロボットが実世界と情報世界とのインタフェースとして用いられる（ロボットユーザインタフェース-Robotic User Interface (RUI)）。
【００３２】
ＲＵＩは次のような特徴をもつ。
・物理世界と相互作用を行うことが可能であり、実際にものを動かすといった作業が可能である。
・ロボットの形状や動作により視覚的な情報の表示を行うことできる。
・ロボットから人に力を加えることにより触覚的な情報の提示もできる。
・人の側が直接ロボットに触れ、その形状を変化させることにより、指示入力操作可能である。
・ロボットへの呼びかけ、ロボット自体の発話といった音声を介したインタラクションが可能である。
【００３３】
ＲＵＩのひとつとしてロボットフォンが提案されている。ロボットフォンとは、離れた場所に置かれた複数のロボットの形・動き・位置等を同期させることにより人がコミュニケーションを図るためのＲＵＩである。ロボットフォンでは形状の同期をリアルタイムにおこなうことにより、オブジェクトの形の情報だけでなく、その動きも伝達可能となる。また、通常のディスプレイに表示された電子的なくぼみとは異なり、実際に人に触れて力を伝えることや、物を動かして作業を行うといったことも可能となる。つまり、視覚・触覚・聴覚を統合して提示可能な電話であると言える。なお、双方の利用者が同時にロボットに力を加えた場合はお互いの相手の力を感じることになる。
【００３４】
一般にロボットはセンサ等の情報に基づきロボット自身で判断を行い、自動的に動作する自律型のものと、判断は操作する人間が行う他律形のロボットに分けることができるが、このロボットフォンは後者の他律型のロボットにカテゴライズされる。
【００３５】
以下、ロボットフォンの例を説明する。
図１はぬいぐるみ型のロボットフォンを示す。図１の１ａ，１ｂはそれぞれクマのぬいぐるみに収められたロボットフォンであり、通話をするためのマイク１１とスピーカ１２、クマのぬいぐるみの骨格の関節に設けられたモータ・遊星歯車減速機１３及び位置検出手段（ポテンショメータ）１４、及びこれらを制御するためのプロセッサ１５、通信回線２を通して通信を行うための通信接続部１６を備える。スピーカ１２はぬいぐるみの胸部に、マイク１１は頭部に装着されている。これらは骨格とともにクマのぬいぐるみに組み込まれている。マイク１１及びスピーカ１２はぬいぐるみの前側に向けて取りつけられていて、利用者はロボットフォンと向き合って通話及び操作することができる。このことにより、相手と対話しているという感覚を得ることができる。
【００３６】
図では表示を省略しているが、モータ・遊星歯車減速機１３及び位置検出手段１４は骨組みの関節部分にそれぞれ設けられている。例えば、クマのぬいぐるみの右腕内部や頭部に設けられる。これらモータ・遊星歯車減速機１３及び位置検出手段１４は２自由度、頭部に２自由度の合計４自由度のアクチュエータである。より人間に近い自由度を持たせ、かつより軽い力で動作を可能にするために、四肢にそれぞれ２自由度、頭部に３自由度の全身で１１の自由度をもたせることが好ましい。これにより外力によるぬいぐるみの姿勢の変化を外部に出力したり、外部からの信号に基づき姿勢を変えることができる。プロセッサ１５はバイラテラル制御を行い、ロボットフォン１ａと１ｂを同じ姿勢に保つ。バイラテラルとは双方向という意味である。バイラテラル制御は、例えば、マニピュレータが受けた重量や反力(接触感)を操作レバーなどに重さとして伝える制御方式として知られている。２つのロボットフォン１ａ，１ｂは通信網２に接続され、これを介して互いに相手方と通話できるとともに、自分のぬいぐるみに力を加えてその姿勢を変えてこれを相手に反映させる、つまり同じ姿勢にさせることができる。
【００３７】
図１のように、人あるいは動物に近い形状にロボットフォンを構成することにより、ゼスチャを用いたコミュニケーションを可能にするロボットフォンを実現できる。本発明の実施の形態に係るロボットフォン１ａ，１ｂを用いて行う通話及び操作の例を図２に示す。二人の利用者がそれぞれロボットフォン１ａ，１ｂと向かい合って通話及び操作を行っている。多くのユーザは人形で遊んだ経験を持つため、容易に人形型のインタフェースを操作することができる。例えば、片方のロボットフォンの手を振ることによりもう一方のロボットフォンの手を振らせることや、首の動作によるＹＥＳ／ＮＯのジェスチャを行わせることができる。また、双方のユーザが同時に人形の手を振った場合は、人形の手を介して相手の力を感じつつ握手を行うこともできる。ロボットフォンは同時に一つの物体を操作するため、状態によってときに自分の分身として、ときに相手の分身として自分に働くことになる。
【００３８】
図３は、他の例であるヘビ型のロボットフォンを示す。本体の幹部は７個の節１７−１〜１７−７で構成される。節１７−１〜１７−７は回転自在の関節により互いに接続され、全体としてヘビのように体をくねらせることができる。各節にはモータ・遊星歯車機構１３及びポテンショメータ１４からなるモジュールをそれぞれ備える。図３のヘビ型のロボットフォンにおいてアクチュエータとしてサーボモータが６個用いられている。
【００３９】
このヘビ型ロボットフォンは、動作可能な領域が二次元平面内であるという制約はあるものの、胴体そのもので形状を表現することができる。手で触ることによりその形状を自由に構成することができる。
【００４０】
以上の例において、サーボモータの制御は、例えばワンボードマイコン上のソフトウェアで実現される。モータの駆動にはＰＷＭ制御が用いられる。バイラテラルサーボの制御方として図４に示すような対称型を採用し、対となるサーボモータの位置偏差を常に最小とするように制御を行っている。図４において、２０は前記位置偏差を求める減算器、２１ａ，２１ｂは前記位置偏差に基づきロボット１ａ，１ｂの対となるサーボモータをそれぞれ駆動する位置指令部である。ロボット１ａ，１ｂから出力される角度信号はポテンショメータ１４により得られる。ロボット１ａ，１ｂに加えられる力はロボットの骨格の関節に作用し、これの位置すなわち姿勢を変えるためのものである。なお、本明細書においてロボットとは、生物の形、構造、機能のいずれか、もしくは全てを規範とした機械のことである。
【００４１】
図４の制御システムにおいて、利用者がロボット１ａ又は１ｂに力を加えてその姿勢を変化させると、そのことが角度信号として出力される。ロボット１ａの姿勢とロボット１ｂの姿勢が減算器２０で比較される。姿勢が異なっている場合、つまり一部又は全部の関節の位置が一致しない場合、当該関節の位置を一致させるように位置指令部２１ａ，２１ｂはそれぞれロボット１ａ，１ｂのサーボモータに指令を出す。各サーボモータがこれに応答することにより、ロボット１ａ，１ｂの姿勢は同じになる。例えば、ロボット１ａの腕を上げたとすると、位置指令部２１ｂはロボット１ｂに腕を上げるように指令する。一方、位置指令部２１ａはロボット１ａに腕を下げるように指令するので、操作した者は反力を感じることになる。対称型のバイラテラル制御は、力センサを必要とせず、制御器を単純に構成することが可能である。
【００４２】
図４の制御システムによれば、マスターとなるデバイスを操作するとスレーブデバイスはこの操作に遅れなく追従するので、マスタデバイスの操作者は自由にスレーブデバイスの形状をコントロールすることができる。
【００４３】
この例において、手元の形状と操作対象の形状を一致させるようにする操作方法をとったことで、デバイスとリアルタイムのインタラクションを行いながら、形状をつくっていくことが可能となり、非常に直感的な操作方法となっている。すなわち、操作者の手元に存在するデバイスが、常にリモートの形状を提示しつづけるディスプレイデバイスとしての機能も果たしている。さらに、完全に対称なバイラテラル制御を行っているので、どちらのデバイスがマスタかスレーブかという区別はなく、相互に操作し合うことが可能である。また、位置だけでなく、力の伝達も行われており、たとえば、片方のデバイスの関節を動かさないように手で拘束すると、もう一方のデバイスで相手側のデバイスが拘束されている状態を感じることができる。
【００４４】
ところで、通常のバイラテラル制御を通信遅延を有する回線経由で行うと、制御系の発振が生じやすいという問題がある。通信遅延により、相手側から常に時間的に遅れたフィードバックがかえってくるため、発振しづらい制御系を作るのが難しいためである。
【００４５】
従来、対称型バイラテラル制御は、単純であるがあまり用いられていなかった。制御する相手側の装置・部分の重さが、操作者側にそのまま返ってくるためである。そのため、より高度な力帰還型の制御手法がより多く用いられている。単純な対称型バイラテラル制御において通信遅延の問題を解決するという提案はなされていなかった。
【００４６】
発明の実施の形態１において用いた、遅延による発振を防ぐための手法について図５〜図７を参照して説明する。
【００４７】
図５において回線遅延量測定部２２ａ，２２ｂは回線の遅延量を測定し、これを位置指令部２１ａ，２１ｂに出力する。位置指令部２１ａ，２１ｂは、前述の位置偏差に基づきロボット本体１０ａ，１０ｂのサーボモータを駆動するが、その制御はロボット１０ａ，１０ｂからの操作を受けたことを示す信号（外力が関節に加えられ、位置が変化したことを示す信号。駆動信号が与えられていないのに位置が変化したとき外力が加えられたと判定できる）及び前記回線の遅延量により制御される。
【００４８】
図６は処理の概略を示すフローチャートである。通信遅延量を測定し（Ｓ１）、通信遅延量を予め定められたしきい値と比較する（Ｓ２）。しきい値はシステムで許容される遅延・発振の程度に応じて定められる。通信遅延量がしきい値より大きいとき、通信遅延による悪影響を避けるために通信遅延量に応じてフィードバック無効時間を設定する（Ｓ３）。利用者によりロボット本体１０が操作されたときこれを検出し（Ｓ４）、設定された時間だけ相手側からのフィードバックを無効にする（Ｓ５）。以上の処理により、しきい値以上の通信遅延があるときのみ、相手側からのフィードバックを無効にし、これにより遅延による発振を防ぐことができる。
【００４９】
図７は他の処理例である。図７の処理は、図６の通信遅延量としきい値の比較ステップ（Ｓ２）を備えない。したがって図７の処理は通信遅延量によらずステップＳ５が実行されるが、その無効期間は通信遅延量に応じて定められる。
【００５０】
本発明の実施の形態１において、片側の操作者がロボット１０を操作し始めると、相手側からのフィードバックを無効にし、システムが一時的に片方向のみの操作が有効になる状態にする（Ｓ４、Ｓ５）。つまり、操作側で入力された動きはそのまま相手側に伝わるが、一定の間、相手側での入力動作は無視される。通常のバイラテラル制御が全二重（完全双方向）のシステムだとすると、本手法はいわば半二重のシステムと言える。
【００５１】
システムが通信路の遅延を常に測定し、通信遅延量に応じて通常のバイラテラル制御から上記手法に切り替えることにより、使用者に特に意識させることなく、回線状態に対応して最適な制御手法を選択することができる（Ｓ１、Ｓ２）。
【００５２】
さらに、通信遅延量に合わせて上記手法においてシステムが片方向になっている時間を変化させる（Ｓ３）ことにより、通信遅延がない状態からある状態へ回線が変化したときに、システムの状態遷移をスムーズに行わせることもできる。図７のフローチャートによれば、通信遅延が０のときはシステムが片方向になる時間が０になり、通信遅延時間が増えるに従いシステムが片方向になる時間が増えていく。
【００５３】
発明の実施の形態２．
発明の実施の形態１において、システムがどちら側からの入力を受け付ける片方向システムになるかは、どちらの操作者が先に操作をし始めたかによって決定される。従って、ほぼ同時期に両方の操作者が操作し始めたときにどのように処理するかが問題になる。特に、通信遅延が大きいときは、操作の開始が同時と見なされる時間間隔がどんどん大きくなっていくのでクリティカルな問題と言える（両方を同時に動かした場合、お互いが相手側が動かしたことを示す情報を受け取るので、次にどちらに操作権を与えればよいか決定できない）。
【００５４】
発明の実施の形態２のシステム（図８参照）は、上記問題を解決するためのものである。図８において、２３ａ，２３ｂは操作情報とこれに関連づけられた時刻情報を受けて操作権をどちらに与えるかを判定する操作権判定部、２４ａ，２４ｂは絶対時刻を出力する時計装置である。操作情報とともに時刻情報が通信回線２を介して相手側に送られる。図８において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００５５】
発明の実施の形態２のシステムは、システムの両端で時刻の同期を厳密に行うことにより上記問題を解決するものである。このシステムにおいて、ロボットフォンが互いに離れていてもそれぞれの側でシステムがグローバルな時刻を知ることが出来る。システムがやりとりする動作情報をグローバル時刻に関連づけることにより、グローバル時刻においてどちらが先に動かしたのか判断することが出来る。もっとも、遅延時間が長くなると、自分が操作しているにもかかわらずその途中で相手側の制御を受ける、ということが生じる期間が長くなっていく。
【００５６】
理想的には、ロボットフォン１ａ，１ｂそれぞれにローカルにアクセス可能な原子時計やGPSなどの絶対時刻ソース２４ａ，２４ｂを備えることが望ましい。これがあればシステムの両端間で時刻の同期を行う必要はなくなる。
【００５７】
発明の実施の形態３．
ほぼ同時期に両方の操作者が操作し始めたときの問題を解決する別の手法について説明する。発明の実施の形態３のシステム（図９参照）は、上記問題を解決するためのものである。図９において、２５ａ，２５ｂは自分のロボット１０ａ，１０ｂが操作されたときに相手に操作権の問合せを行うとともに、当該問い合わせに対する相手から回答を受信する問合せ／回答部、２６ａ，２６ｂはロボット１０ａ，１０ｂから操作されたことを示す信号を受けて問合せ／回答部２５ａ，２５ｂに問合せを送信させるとともに、同部２５ａ，２５ｂから回答を受けてこれに基づき操作権を判定し、自分の方に操作権があるとき位置指令部２１ａ，２１ｂにロボット１０ａ，１０ｂの駆動許可を出す操作権判定部である。図９において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００５８】
図１０は発明の実施の形態３に係る概略フローチャートである。発明の実施の形態３に係るシステムは図１０（ａ）を参照するとわかるように、システムの両端間で相手の状態をお互いに問い合わせ可能なプロトコルを用意し、操作者が操作し始めたら問い合わせプロトコルにより相手の状態を問い合わせ（Ｓ１１〜Ｓ１３）、相手から回答を受け（Ｓ１４、Ｓ１５）、相手が操作を開始していない場合は操作者に対してそれ以降の操作を許可する（Ｓ１６、Ｓ１７）というものである。
【００５９】
図１０（ａ）のプロトコルでは、通信回線の遅延時間が長くなると操作者が操作をし始めてから（力をかけてから）、システムが操作を許可するまで（実際に動くようになるまで）の時間が長くなる（いわゆる、遅延が長くなると操作が重たくなる）。このことを回避するために、図１０（ｂ）に示すように、相手に問い合わせを行っている間において操作側の操作を早めに許可する（Ｓ１８）ようにしてもよい。ただし、状況によっては、動かし始めた後に操作の仮許可が取り消されることもある。
【００６０】
この問い合わせプロトコルは、システムが動作方向を決定するまでに相手側に問い合わせをしてその答えを待つので、通信路の遅延が行きと帰りの両方で生じ、前述の手法に比べて２倍の影響を受ける。従って、本発明の実施の形態３は比較的、通信遅延が少ない場合に有効である。
【００６１】
発明の実施の形態４．
ほぼ同時期に両方の操作者が操作し始めたときの問題を解決する別の手法について説明する。発明の実施の形態４のシステム（図１１参照）は、上記問題を解決するためのものである。図１１において、２７ａ，２７ｂは位置指令部２１ａ、２１ｂに入力された操作の操作権を判定する操作権判定部、２８ａ，２８ｂは操作権の競合が生じたときに優先すべき側を予め規定する優先度テーブル、２９ａ，２９ｂは過去の操作履歴を格納する操作履歴格納テーブルである。図１１において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００６２】
発明の実施の形態１〜３と比べてよりシンプルな手法として、同時に操作したときにあらかじめ決められた基準に従ってシステムの操作可能方向を決定する手法が考えられる。図１１のシステムはこのためのものである。
【００６３】
通信遅延によって両側からの操作が衝突したら、優先度テーブル２８ａ，２８ｂの内容に基づき一方の側の操作が優先的に選ばれる。優先度テーブル２８ａ，２８ｂには操作権が一意に決定されるように優先度の情報が予め格納されている。この手法は、システムを完全に対称に構成せずに差を付けておくものである。
【００６４】
あるいは、操作履歴テーブル２９ａ，２９ｂの操作の履歴に応じて一方の側に操作権を与える。例えば、直前の操作を行っていた側が優先的に選ばれる。あるいは、特定の部位の操作を行う方に操作権が与えられる。例えば、一方でロボットの腕を動かし、他方でロボットの首を動かした場合、首（あるいは腕）を操作した側に操作権を与える。どの部位が優先されるか、その優先順位は予め定められている。例えば、ジェスチャとして意味が大きい順に優先順位を決める（首＞腕＞足）。例えば、操作の頻度が大きい順に優先順位を決める。
【００６５】
発明の実施の形態５．
発明の実施の形態１〜４において、現在、どちらの側が操作可能な状態なのか、使用者にとって分かりづらくなってしまうことが考えられる（特に通信遅延が大きいとき）。そこで操作権を表示する表示部を設けることが好ましい（図１２参照）。図１２において、３０ａ，３０ｂは操作権判定部２６ａ，２６ｂ又は２７ａ，２７ｂから操作権の情報を受けて操作権の有無を表示する操作権表示部である。図１２において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。なお、操作権表示部３０ａ，３０ｂは図５、図８、図９及び図１１のシステムに適用することができる。
【００６６】
操作権表示部３０ａ，３０ｂは、例えば、ぬいぐるみの鼻の部分に設けられたＬＥＤである。例えば、このＬＥＤは自分の側が操作可能時は青色に光り、相手側のみ操作可能の時は赤色に光る。
【００６７】
発明の実施の形態６．
通信遅延による発振の影響を解決するための別の手法について説明する。発明の実施の形態６のシステム（図１３参照）は、上記問題を解決するためのものである。図１３において、３１ａ，３１ｂはロボットの動作が位置指令部２１による駆動の結果である能動的なもの、あるいは外力が加えられたことによる受動的なもののいずれかであるかを判定する外力検出部、３２ａ，３２ｂは外力検出部３１ａ，３１ｂの判定結果に基づき受動的な動作に関する位置情報のみを相手側に送信させる能動動作／受動動作分離部である。図１３において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。なお，２０ａ，２０ｂは、対応する外力検出部より出力があったときのみ、ロボットの現在位置と外部からの位置指令の偏差をとり、位置指令部に入力する演算器である。
【００６８】
対称型バイラテラル制御は、マスタの変位にスレーブを追従させるようにマスタ、スレーブ両者のアクチュエータを制御するものである。すなわち、マスタに変位が生じると、マスタとスレーブ間に相対変位が生じる。その相対変位を0 にするようにマスタおよびスレーブに取りつけたモータの駆動電流を制御し、両者に駆動トルク、拘束トルクを発生させるように制御するのが対称型バイラテラル制御である。対称型は、マスタおよびスレーブに力が加わっている時には、必ず両者に相対変位が存在している。この方式は、力を検出して制御系の位置制御にフィードバックしないので、制御が単純で安定性も良いと言われている。
【００６９】
しかしながら、伝送系に遅延が存在する場合、発振しやすい不安定なシステムとなる。システム不安定化一番の原因は相手側のロボットに伝送した動作情報が相手側のロボットを動作させた後に遅延を伴い改めて戻ってくることが考えられる。似た現象としては国際電話等で音声通話時のエコーとして観察されている。発明の実施の形態６のシステムはこの遅延の影響を低減するためのものである。
【００７０】
発明の実施の形態６は外力伝達型バイラテラル制御に関する。これは、ロボットの関節の能動的な動作（ロボットが内部の制御指令に従って動いているとき、ロボットが静止状態にあるとき）と受動的な動作（ロボットに対し外部の人間が力を加えたき、ロボットが外部物体に接触したとき）とを分離し、受動的な動作時の関節角ないしは関節速度ないしは関節トルクのデータを対となるロボットに対して伝送する、というものである。図１３の外力検出部３１ａ，３１ｂが能動動作と受動動作を区別し、能動動作／受動動作分離部３２ａ，３２ｂが受動動作とされた動作に関する位置情報を選択して相手に送信させる。
【００７１】
能動的な動作と受動的な動作を分離するためには外力がロボットにかかっているかかかっていないかを検出できればよい。
外力を検出するためには、例えば次のような手法が考えられる。
・ロボットに力センサやスイッチを搭載する。これにより外力を直接検出する。
・内部の制御指令上の関節角と実際の関節角の差を観測する。両者の角度が異なれば外力がかかっていると判定できる。
・関節を駆動するモータの駆動電流を観測する。モータの駆動電流が小さいあるいは０であるにもかかわらず関節の位置（角度）が変化しているとき、外力がかかっていると判定できる。
【００７２】
発明の実施の形態７．
通信遅延による発振の影響を解決するための別の手法について説明する。発明の実施の形態７のシステム（図１４参照）は、上記問題を解決するためのものである。図１４において、３３ａ，３３ｂはLMS(Least Mean Square)やRLS(Recursive Least Square)等の適応フィルタである。図１４において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。
【００７３】
一般の電話回線やインターネット電話等において適用フィルタを用いてエコーをキャンセルしている。本願で対象とする伝送遅延によるロボット動作の不安定化もロボットの動作を音声と同じ波動と考えることにより、適応フィルタを用いて安定して動作させることが可能となる。
【００７４】
具体的には、適応フィルタ３３ａ，３３ｂは、送信した動作を記録し、相手側のロボットが送信した動作によって動いた結果の動作信号が戻ってきたときに、記録した動作信号を適切にゲインを調整した上で差分をとる。これにより発振を抑制しつつ相手側の動作のみ抽出することが可能となる。
【００７５】
発明の実施の形態８．
通信遅延による発振の影響を解決するための別の手法について説明する。発明の実施の形態８のシステム（図１５参照）は、上記問題を解決するためのものである。図１５において、３４ａ，３４ｂはロボットの位置（角度）情報を可聴域の音声信号にエンコードするエンコーダである。図１５において他の図面における符号と同一の符号の部分は、同一あるいは相当部分を示す。なお、通信回線２はエコーキャンセラ機能を備えるものである。
【００７６】
通信回線２として電話回線やVoIPでのコネクションを利用する場合、当該通信回線はエコーキャンセル機能を備えている。よって、角度情報を可聴域の音声信号にエンコードした上で通信回線を通じて相手側に音声情報として送信すれば、通信回線自体でエコーをキャンセルしてくれる。この場合、ロボットフォンはエンコーダ３３のみを備えればよい。
【００７７】
ところで、上記発明の実施の形態において、ロボットフォンの制御として公知のバイラテラル制御を採用している。公知のバイラテラル制御では位置情報（絶対値）を送っていた。しかし、一般的なバイラテラル制御と異なり、ロボットフォンにおいては両者の腕や足の位置等を一致させる必要はあまりない。そこで、位置情報の絶対値を送るのではなく、その差分（変化量）を送るようにすることができる。この場合、結果としてロボットフォン間の腕や足の姿勢は一致しなくなるが、相手に首を振る動作や腕や足を動かす動作をさせる点で支障はない。
【００７８】
位置情報として差分を送る場合、通信しているロボットフォン間において腕や足等の絶対位置の誤差が累積し、やがて両者の姿勢が全く異なってしまうということが考えられる。そこで、適当なときにリセット処理を行い、腕や足等の位置を初期状態（デフォルト）に戻すことが望ましい。
リセットの手法としてつぎのようなものがある。
・所定時間放置されていたときデフォルトの位置に戻る。
・パワーオン時にリセットする。
【００７９】
上記説明において、ロボットフォンを同じデバイスを用いた双方向性通信用のインタフェース（例えば電話機）として説明していた。ロボットフォンはこれに限定されず、異なるタイプのデバイスに接続されてもよい。例えば相手がコンピュータであってもよい。より一般的には、本ロボットフォンを人形型のフォースフィードバック（force feedback）のためのデバイスとして用いることができる。例えば、ロボットフォンを手で操作できる程度の大きさとし、ゲームコンピュータの入出力インタフェースとして使用することができる。プレイ中においてゲーム中のキャラクタの動きや環境による影響などを受けてロボットフォンが動作しその姿勢が変化する。これにより遊技者にゲーム中のキャラクタの動き等がフィードバックされる。ロボットフォンは人形・動物型であるので汎用的に使える。例えば、ロボットフォンにあたかも自動車のハンドルを持っているかのような姿勢をとらせ、この状態で腕を操作することによりゲームコンピュータにハンドル操作の情報を与え、逆にゲームコンピュータにより腕を動作させることによりハンドルに加わる力や動きを表現することができる。
【００８０】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００８１】
また、本明細書において、手段（部）とは必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
【図面の簡単な説明】
【図１】 発明の実施の形態に係るロボットフォンの例を示す図である。
【図２】 発明の実施の形態に係るロボットフォンの利用形態の説明図である。
【図３】 発明の実施の形態に係るロボットフォンの他の例を示す図である。
【図４】 発明の実施の形態に係るロボットフォンの制御系の説明図である。
【図５】 発明の実施の形態１に係る制御システムの機能ブロック図である。
【図６】 発明の実施の形態１に係る制御システムの動作フローチャートである。
【図７】 発明の実施の形態１に係る制御システムの他の動作フローチャートである。
【図８】 発明の実施の形態２に係る制御システムの機能ブロック図である。
【図９】 発明の実施の形態３に係る制御システムの機能ブロック図である。
【図１０】 発明の実施の形態３に係るプロトコルの例を示す図である。
【図１１】 発明の実施の形態４に係る制御システムの機能ブロック図である。
【図１２】 発明の実施の形態５に係る制御システムの機能ブロック図である。
【図１３】 発明の実施の形態６に係る制御システムの機能ブロック図である。
【図１４】 発明の実施の形態７に係る制御システムの機能ブロック図である。
【図１５】 発明の実施の形態８に係る制御システムの機能ブロック図である。
【符号の説明】
１ ロボットフォン
２ 通信回線（通信網）
１０ ロボット
１１ マイク
１２ スピーカ
１３ サーボモータ及び遊星歯車減速機を含む駆動機構
１４ 位置検出器（ポテンショメータ）
１５ プロセッサ
１６ 通信接続部（モデム等）
１７ ヘビ型ロボットフォンの本体を構成する節
２０ 加減算器
２１ 位置指令部
２２ 回線遅延量測定部
２３、２６、２７ 操作権判定部
２４ 時計装置
２５ 問合せ／回答部
２８ 優先度テーブル
２９ 操作履歴テーブル
３０ 操作権表示部
３１ 外力検出部
３２ 能動動作／受動動作分離部
３３ 適応フィルタ
３４ エンコーダ
Claims (15)
- ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部とを備え、
前記通信接続部は、通信回線を介して、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けて前記位置情報を前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動するとともに、前記可動部が外力により動かされたとき、所定時間の間は相手側からの前記位置情報による駆動を行わない、ことを特徴とするロボットフォン。 - 通信回線における伝送遅延を測定する回線遅延量測定部を備え、
前記駆動部は、前記伝送遅延量が予め定められた値を超えたときに、相手側からの前記位置情報による駆動を行わないことを特徴とする請求項１記載のロボットフォン。 - 通信回線における伝送遅延を測定する回線遅延量測定部を備え、
前記伝送遅延量に応じて前記所定時間が変化することを特徴とする請求項１記載のロボットフォン。 - ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記ロボットの操作権が自分側あるいは相手側のいずれにあるかを判定する操作権判定部とを備え、
前記通信接続部は、通信回線を介して、前記操作権判定部により自分側に操作権があると判定されたとき前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けて前記位置情報を前記駆動部へ送り、
前記駆動部は、前記操作権判定部により自分側に操作権がないと判定されたとき、受けた前記位置情報に基づき前記可動部を駆動し、
時計装置を備え、
前記通信接続部は、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送するとき、その時刻情報も相手側に伝送するとともに、相手側から前記可動部に対応する前記位置情報に係る時刻情報を受け、
前記操作権判定部は、自分側の時刻情報と相手側の時刻情報を比較することにより操作権の判定を行うことを特徴とするロボットフォン。 - ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記ロボットの操作権が自分側あるいは相手側のいずれにあるかを判定する操作権判定部とを備え、
前記通信接続部は、通信回線を介して、前記操作権判定部により自分側に操作権があると判定されたとき前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けて前記位置情報を前記駆動部へ送り、
前記駆動部は、前記操作権判定部により自分側に操作権がないと判定されたとき、受けた前記位置情報に基づき前記可動部を駆動し、
前記通信回線を介して、操作権に係る問合せを相手側に送るとともに、相手側からの回答を受ける問合せ及び回答部を備え、
前記操作権判定部は、前記可動部が外力により動かされたとき、前記問合せ及び回答部により相手側に問合せを送り、その回答に基づき操作権の判定を行うことを特徴とするロボットフォン。 - 前記操作権判定部は、前記可動部が外力により動かされたとき、仮の操作権を自分側に与えるとともに、前記回答により相手側に操作権があると判明したときに前記仮の操作権を取り消すことを特徴とする請求項５記載のロボットフォン。
- 操作権に関する優先度情報を予め記憶する優先度テーブルを備え、
前記操作権判定部は、前記優先度テーブルに基づき操作権の判定を行うことを特徴とする請求項４乃至請求項６いずれかに記載のロボットフォン。 - 操作履歴を記憶する操作履歴テーブルを備え、
前記操作権判定部は、前記操作履歴テーブルの内容に基づき操作権の判定を行うことを特徴とする請求項４乃至請求項６いずれかに記載のロボットフォン。 - 前記操作権判定部は、自分側の前記可動部に対して直前に操作が行われていた場合に自分側に操作権があると判定することを特徴とする請求項８記載のロボットフォン。
- 前記操作権判定部は、自分側の前記ロボットの複数の可動部のうちで予め定められた可動部の操作が行われていた場合に自分側に操作権があると判定することを特徴とする請求項８記載のロボットフォン。
- 前記操作権判定部の出力に基づき操作権の有無を表示する操作権表示部を備えることを特徴とする請求項４乃至請求項１０いずれかに記載のロボットフォン。
- ユーザインタフェースとして用いられ、体の一部に可動部を含むロボットと、前記可動部を駆動する駆動部と、前記可動部の位置情報を取得する位置情報センサと、通信接続部と、前記可動部に外力が加えられているかどうかを検出する外力検出部と、前記外力検出部の出力に基づき能動動作と受動動作を分離する能動動作受動動作分離部とを備え、
前記通信接続部は、通信回線を介して、前記能動動作受動動作分離部により分離された受動動作に係る、前記位置情報センサからの前記可動部の位置を示す信号を相手側に伝送し、相手側から前記可動部に対応する位置情報を受けて前記位置情報を前記駆動部へ送り、
前記駆動部は受けた前記位置情報に基づき前記可動部を駆動する、ことを特徴とするロボットフォン。 - 前記外力検出部は、前記ロボットに設けられ、操作に係る外力を直接検出するセンサであることを特徴とする請求項１２記載のロボットフォン。
- 前記外力検出部は、前記駆動部に対する制御指令上の位置信号と前記位置情報センサからの前記可動部の実際位置を示す信号の差を観測することにより外力を検出することを特徴とする請求項１２記載のロボットフォン。
- 前記外力検出部は、前記駆動部の駆動電流及び前記位置情報センサからの位置を示す信号を計測し、前記駆動電流が予め定められたしきい値よりも小であるにもかかわらず前記可動部の位置が変化しているとき、外力がかかっていると判定することを特徴とする請求項１２記載のロボットフォン。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003011703A JP4022477B2 (ja) | 2002-01-21 | 2003-01-20 | ロボットフォン |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-12218 | 2002-01-21 | ||
| JP2002012218 | 2002-01-21 | ||
| JP2003011703A JP4022477B2 (ja) | 2002-01-21 | 2003-01-20 | ロボットフォン |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003305669A JP2003305669A (ja) | 2003-10-28 |
| JP4022477B2 true JP4022477B2 (ja) | 2007-12-19 |
Family
ID=29404743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003011703A Expired - Lifetime JP4022477B2 (ja) | 2002-01-21 | 2003-01-20 | ロボットフォン |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4022477B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4930938B2 (ja) * | 2004-10-29 | 2012-05-16 | 学校法人慶應義塾 | 通信遅延を有する通信路を介して信号を送受信する遠隔制御システム |
| JP2006204692A (ja) * | 2005-01-31 | 2006-08-10 | Aruze Corp | 遊技機 |
| JP2006204693A (ja) * | 2005-01-31 | 2006-08-10 | Aruze Corp | 遊技機 |
| JP4582449B2 (ja) * | 2005-01-31 | 2010-11-17 | 日本ビクター株式会社 | コミュニケーション装置 |
| JP4641330B2 (ja) * | 2005-06-07 | 2011-03-02 | 特定非営利活動法人 国際レスキューシステム研究機構 | 走行ロボット自己位置同定システム、それを用いた人体位置特定システムおよびロボット追従システム |
| JP2007160427A (ja) * | 2005-12-12 | 2007-06-28 | Advanced Telecommunication Research Institute International | ロボット制御システム |
| JP4821516B2 (ja) * | 2006-08-31 | 2011-11-24 | 旭光電機株式会社 | 多関節構造体 |
| KR101169674B1 (ko) * | 2010-03-11 | 2012-08-06 | 한국과학기술연구원 | 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법 |
| JP2011118924A (ja) * | 2011-02-17 | 2011-06-16 | Kyokko Denki Kk | 多関節構造体、それを用いた装着具、システムおよびヒューマンマシンインターフェース |
| JP6292707B2 (ja) * | 2013-10-22 | 2018-03-14 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 |
| JP5905443B2 (ja) * | 2013-12-25 | 2016-04-20 | ファナック株式会社 | 人協調型産業用ロボットの外力判定方法および外力判定装置 |
| JP6610609B2 (ja) * | 2017-04-27 | 2019-11-27 | トヨタ自動車株式会社 | 音声対話ロボットおよび音声対話システム |
-
2003
- 2003-01-20 JP JP2003011703A patent/JP4022477B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003305669A (ja) | 2003-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4022477B2 (ja) | ロボットフォン | |
| US20050078816A1 (en) | Robot-phone | |
| JP2003266351A (ja) | ロボット装置及びロボット装置の動作制御方法 | |
| KR101106002B1 (ko) | 객체에서의 행동을 생성하는 장치 및 방법 | |
| KR101880775B1 (ko) | 자연스러운 대화 인터페이스가 장착된 인간형 로봇, 이러한 로봇의 제어 방법 및 대응 프로그램 | |
| JP7400923B2 (ja) | 情報処理装置および情報処理方法 | |
| JP5944096B2 (ja) | インターアクティブロボット制御システム及び使用方法 | |
| US5746602A (en) | PC peripheral interactive doll | |
| Bartneck et al. | Robotic user interfaces | |
| CN201163417Y (zh) | 具有人脸识别的智能机器人 | |
| JPWO2018097223A1 (ja) | ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体 | |
| EP1439039A1 (en) | Robot apparatus and control method thereof | |
| JPWO2005014242A1 (ja) | コミュニケーションロボット用制御システム | |
| JP2001260063A (ja) | 多関節型ロボット及びその動作制御方法 | |
| JPWO2019087495A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20240116185A1 (en) | Robotic Platform for Interactive Play Using a Telepresence Robot Surrogate | |
| JP4022478B2 (ja) | ロボットフォン | |
| JP4617428B2 (ja) | 動作生成システム | |
| JP2009131914A (ja) | ロボット制御システム | |
| Igorevich et al. | Behavioral synchronization of human and humanoid robot | |
| Lee et al. | Robotic companions for smart space interactions | |
| WO2003061916A1 (fr) | Robot-telephone | |
| Yim et al. | Design considerations of expressive bidirectional telepresence robots | |
| Kanda et al. | Development of Robovie as a platform for everyday‐robot research | |
| Sabe | Development of entertainment robot and its future |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051015 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071001 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |