JP6558764B2 - テレプレゼンスロボット - Google Patents

テレプレゼンスロボット Download PDF

Info

Publication number
JP6558764B2
JP6558764B2 JP2014216628A JP2014216628A JP6558764B2 JP 6558764 B2 JP6558764 B2 JP 6558764B2 JP 2014216628 A JP2014216628 A JP 2014216628A JP 2014216628 A JP2014216628 A JP 2014216628A JP 6558764 B2 JP6558764 B2 JP 6558764B2
Authority
JP
Japan
Prior art keywords
telepresence robot
user
tactile
robot
telepresence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014216628A
Other languages
English (en)
Other versions
JP2016083711A (ja
Inventor
亨 山口
亨 山口
泰成 藤本
泰成 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Metropolitan University
Original Assignee
Tokyo Metropolitan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan University filed Critical Tokyo Metropolitan University
Priority to JP2014216628A priority Critical patent/JP6558764B2/ja
Publication of JP2016083711A publication Critical patent/JP2016083711A/ja
Application granted granted Critical
Publication of JP6558764B2 publication Critical patent/JP6558764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、テレプレゼンスロボットに関する。
近年、自宅で働く人が、会社に居る社員との間で会議を行う場合や、離れた事業所どうしの間で会議を行う場合等に、TV会議システムが使用されつつある。TV会議システムにおいて、遠隔地に居るにも関わらず、現場にいるような感覚を相互に伝えるような臨場感を与えるロボットとして、テレプレゼンスロボットが知られている。
テレプレゼンスロボットに関して、以下の技術が従来公知である。
非特許文献1には、車輪を有する台車に、相手の顔が映し出されるモニターや、自身を写すためのカメラ、マイクロフォン(小型のスピーカおよびマイク)、ロボットアームやレーザーポインタ等が設置されたテレプレゼンスロボットが記載されている。非特許文献1に記載された技術では、テレプレゼンスロボットに映しだされた相手と会話をしたり、ロボットアームで単純なジェスチャーを行ったり、レーザーポインタで物を指し示したりすることが可能になっている。すなわち、視覚と聴覚を通じたコミュニケーションが可能である。
非特許文献2には、頭部にカメラが設置され、肩部に4自由度で動作する腕が取り付けられ、ステレオカメラや全方位視覚センサ、ステレオマイクロフォン、接触センサ等が設けられて、車輪で移動可能なロボットが記載されている。非特許文献2のロボットは、TV会議等の遠隔地の利用者が利用するのではなく、ロボットの近くに居る利用者の位置や利用者の音声をロボットが認識して、握手や抱擁、じゃんけん、おじぎ、簡単な会話等の動作を行うものである。
Annica Kristoffersson, et.al, "A Revier of Mobile Robotic Telepresence," Adbances in Human-Computer Interaction, Vol. 2013, Article ID 902316, 17 pages, 2013. doi:10. 1155/2013/902316. 神田崇行、他4名, "人間と相互作用する自律型ロボットRobovieの評価," 日本ロボット学会誌, Vol.20, No.3, pp.1-9, 2002.
(従来技術の問題点)
非特許文献1に記載の従来技術では、手による仕草は伝達されていない。お互いのモニターには顔が映し出されているが、相手が、その化身であるロボットに何をしているかを伝えられていない。例えば、お年寄りが孫をあやすような仕草は、相手に伝達されない。
非特許文献1に記載の技術と非特許文献2に記載の技術とを組み合わせた場合、遠隔操作されたロボットから体を触られるというのは、遠隔操作により生じる時間的遅延が少なからずあるため、時間的遅延によりロボットが触れる前に相手が動いたような場合、触れようとした場所以外の場所、例えば、肩に触れるはずが顔や目に触れたり、想定していた以上の力で相手に触れたりして、人間を負傷させる恐れがある。他にも、制御時の通信速度が低下した場合には、動作が途中で止まってしまって、例えば、握手したり抱擁したままで離さなくなったりする恐れもある。よって、利用者に接触する部分にアクチュエータを導入した場合、安全面の問題がある。時間的遅延や通信速度の低下を抑制するには、例えば、太い通信ケーブルを使用することも考えられるが、高価になるとともに、テレプレゼンスロボットを設置可能な場所が制限されたり、ケーブルがテレプレゼンスロボットの移動の妨げになったりする等の問題もある。
本発明は、テレプレゼンスロボットを使用する際に、安全を確保しつつ、臨場感を向上させることを技術的課題とする。
前記技術的課題を解決するために、請求項1に記載の発明のテレプレゼンスロボットは、
互いに離間した場所に配置されたテレプレゼンスロボットであって、
各場所の映像を取得する撮影部と、
各場所の音声を取得する音声入力部と、
映像及び音声を送受信可能な通信部と、
前記通信部が受信した映像を表示する表示部と、
前記通信部が受信した音声を出力する音声出力部と、
利用者が触れた位置および強さを検出する触覚検出部材と、
前記触覚検出部材で検出された位置を送受信する前記通信部と、
一方のテレプレゼンスロボットの利用者が触れたことを前記一方のテレプレゼンスロボットの触覚検出部材で検出した場合に、前記一方のテレプレゼンスロボットの通信部から送信されて他方のテレプレゼンスロボットの前記通信部が受信した前記一方のテレプレゼンスロボットの前記触覚検出部材で検出された位置および強さに基づいて、前記他方のテレプレゼンスロボットの利用者に、触れられた位置および強さ超音波で伝達することで、前記一方のテレプレゼンスロボットの利用者の触覚を、前記他方のテレプレゼンスロボットの利用者に伝達する空中超音波振動子アレイと、
を備えたことを特徴とする。
請求項2に記載の発明は、請求項1に記載のテレプレゼンスロボットにおいて、
筐体に対して移動可能に支持された腕部と、
前記腕部に設けられた前記触覚検出部材と、
を備え、
前記筐体と前記腕部との関節部に、前記腕部を駆動する駆動系が設けられていない
ことを特徴とする。
請求項1に記載の発明によれば、利用者に非接触で、触覚検出部材で検出された位置が伝達されない場合に比べて、テレプレゼンスロボットを使用する際に、安全を確保することができる。さらに、請求項1に記載の発明によれば、視覚と聴覚で伝達をする従来のテレプレゼンスロボットに比べて、臨場感を向上させることができる。また、請求項1に記載の発明によれば、空中超音波振動子アレイの発生する超音波で、利用者に非接触で、触覚を伝達することができる。
請求項2に記載の発明によれば、利用者に接触して触覚を伝達する従来の構成において、関節部分にアクチュエータが設けられた構成に比べて、低コストにすることができる
図1は本発明の実施例1のテレプレゼンスロボットを利用した遠隔コミュニケーションシステムの説明図である。 図2は実施例1のテレプレゼンスロボットの説明図であり、図2Aは正面図、図2Bは側面図である。 図3は実施例1の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。 図4は実施例1のテレプレゼンスロボットにおける処理のフローチャートの説明図である。
次に図面を参照しながら、本発明の実施の形態の具体例(以下、実施例と記載する)を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
図1は本発明の実施例1のテレプレゼンスロボットを利用した遠隔コミュニケーションシステムの説明図である。
図1において、実施例1の遠隔コミュニケーションシステムSは、利用者が利用可能な端末の一例としてのテレプレゼンスロボット1を有する。テレプレゼンスロボット1は、互いに離れた設置場所の一例として、利用者である祖父母の居住する住宅2と、利用者である孫の居住する住宅3にそれぞれ設置されている。
図2は実施例1のテレプレゼンスロボットの説明図であり、図2Aは正面図、図2Bは側面図である。
図1、図2において、各テレプレゼンスロボット1は、台座部11を有する。台座部11は、キャスター11aを有する。よって、テレプレゼンスロボット1は、自由に移動可能に構成されている。
台座部11には、上方に延びる柱部12が支持されている。柱部12の上端には、本体部13が支持されている。本体部13の内部には、テレプレゼンスロボット1を制御する制御部の一例としての図示しないコンピュータ装置が内蔵されている。
本体部13の前面には、表示部の一例としてのディスプレイ14が支持されている。ディスプレイ14の縁部には、撮影部の一例として、テレプレゼンスロボット1の前方に居る人物を撮像する撮像カメラ16が支持されている。また、ディスプレイ14の縁部には、図示しない音声出力部の一例としてのスピーカと、音声入力部の一例としてのマイクとが支持されている。
ディスプレイ14の上部には、人物の位置を検出するためのカメラセンサ17が配置されている。なお、カメラセンサ17は、例えば、市販のKinect(登録商標)センサを使用可能であり、従来公知であるため、詳細な説明は省略する。
また、ディスプレイ14の上方および左右両側には、非接触で感覚を伝達する非接触伝達部材の一例としての感覚伝達デバイス18が支持されている。実施例1では、非接触で感触を伝える感覚伝達デバイス18の一例として空中超音波振動子アレイが使用されている。なお、空中超音波振動子アレイは、多数の超音波振動子が格子状に配列されたものであり、空中の任意の位置に超音波の焦点を作り出すことで、焦点の位置に音圧や音響放射圧を発生させる。この音圧等により、焦点の位置の人体表面に押される力が発生して、人に触覚刺激を与えるものである。空中超音波振動子アレイは、例えば、非特許文献3(星貴之、他2名, ”空中超音波振動子アレイによる触覚提示,” ロボティクス・メカトロニクス講演会講演概要集 2009, pp1A1-A14(1)-1A1-A14(4), 2009-05-25.)や、非特許文献4(星貴之, ”非接触触覚ディスプレイによる手掌部への情報提示,” 日本バーチャルリアリティ学会大会論文集(CD-ROM), Vol.16th pp.ROMBUNNO.34C-7)に記載されており、従来公知であるため、詳細な説明は省略する。
また、本体部13の上面及び左右両側面には、触覚検出部材の一例としての触覚センサ19が支持されている。実施例1の触覚センサ19は、利用者が触れた位置と触れた力の強さを検出する。触覚センサは、例えば、ショッカクキューブ(商標)やショッカクポット(商標)等のように市販の触覚センサを使用可能であり、従来公知であるため、詳細な説明は省略する。
さらに、本体部13の左右両端部には、前方に延びるアーム21が支持されている。なお、実施例1のアーム21は、利用者が操作をして、関節部分で回転させることが可能に構成されているが、関節部分にアクチュエータ等が設置されておらず、制御信号に応じて動作はしない。
また、アーム21には、検知部材の一例としての振動センサ22が支持されている。実施例1の振動センサ22は、例えば、加速度を検出する加速度センサを使用可能であり、人がアーム21に触れた場合や、アーム21を握って上下動させる際の加速度を検出することで、アーム21の動き、振動を検出可能である。なお、実施例1の振動センサ22は、低消費電力で近距離無線通信が可能なZigBee(登録商標)を利用して、制御部と無線通信により検出信号をやりとりしている。したがって、実施例1の構成では、振動センサ22に小型のバッテリー(ボタン電池等)を内蔵することで、配線を省略している。
なお、実施例1の構成に限定されず、他の無線通信方式で通信をしたり、有線で制御部に接続することも可能である。
さらに、アーム21には、非接触伝達部材の一例としてのLED23が支持されている。
また、実施例1のテレプレゼンスロボット1は、無線通信の一例としての無線LANを介して、公衆回線の一例としてのインターネット31に接続されており、遠隔地のテレプレゼンスロボット1との間で、通信可能に構成されている。なお、通信方式は、無線通信に限定されず、有線接続の形式とすることも可能である。また、無線LANに限定されず、携帯電話回線やBluetooth(登録商標)等、任意の通信技術を採用可能である。
(実施例1のテレプレゼンスロボット1の制御部の説明)
図3は実施例1の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。
図3において、実施例1のテレプレゼンスロボット1の制御部は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)ならびにクロック発振器等を有するコンピュータ装置により構成されており、前記ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記テレプレゼンスロボット1の制御部41には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムOS、アプリケーションプログラムの一例としてのコミュニケーションプログラムAP1、その他の図示しないソフトウェアが記憶されている。
(実施例1の制御部41に接続された要素)
テレプレゼンスロボット1の制御部41には、撮像カメラ16やカメラセンサ17、触覚センサ19、振動センサ22、マイク等の信号出力要素からの出力信号が入力されている。
また、実施例1の制御部41は、ディスプレイ14や感覚伝達デバイス18、LED23、スピーカ等の被制御要素へ制御信号を出力している。
(テレプレゼンスロボット1の機能)
実施例1のテレプレゼンスロボット1の制御部41のコミュニケーションプログラムAP1は、下記の機能手段(プログラムモジュール)51〜58を有する。
撮影手段51は、撮像カメラ16を介して、映像を撮影する。
音声取得手段52は、マイクを介して、音声を取得する。
触覚検知手段53は、接触位置特定手段53aと、接触強度特定手段53bと、を有し、利用者がテレプレゼンスロボット1に触れた位置と、触れた強さを検出する。
接触位置特定手段53aは、触覚センサ19の出力や、振動センサ22の出力結果に基づいて、利用者がテレプレゼンスロボット1に触れた位置を特定する。
接触強度特定手段53bは、触覚センサ19の出力や、振動センサ22の出力結果に基づいて、利用者がテレプレゼンスロボット1に触れた強さを特定する。実施例1の触覚センサ19は、利用者が触れた強さに対応する結果が出力されるため、接触強度特定手段53bは、触覚センサ19の出力結果に基づいて、触覚センサ19に触れた強さを特定可能である。また、振動センサ22は、利用者が触れた強さが強い場合(勢い良くアーム21に触れたり、アーム21を操作した場合)、計測される加速度の値が大きくなるため、接触強度特定手段53bは、加速度の出力結果に基づいて、アーム21に触れた強さを特定可能である。
通信部の一例としての通信手段54は、送信手段54aと、受信手段54bと、を有し、離間した場所の他のテレプレゼンスロボット1との間で通信を行う。
送信手段54aは、撮影手段51で撮影された映像情報や、音声取得手段52で取得された音声情報、触覚検知手段53で検知された接触位置や接触強度の情報を、他のテレプレゼンスロボット1に対して送信する。
受信手段54bは、他のテレプレゼンスロボット1から送信された映像情報や音声情報、接触位置や接触強度の情報を受信する。
画像表示手段55は、受信手段54bが受信した映像情報を、ディスプレイ14に表示する。したがって、他のテレプレゼンスロボット1の撮像カメラ16で撮影された映像が、ディスプレイ14に表示される。
音声出力手段56は、受信手段54bが受信した音声情報を、スピーカから出力する。したがって、他のテレプレゼンスロボット1のマイクに入力された音声が、スピーカから出力される。
位置検出手段57は、カメラセンサ17の検出結果に基づいて、テレプレゼンスロボット1の前にいる利用者の位置を検出する。一例として、実施例1の位置検出手段57は、テレプレゼンスロボット1の前にいる利用者の顔の位置を検出する。
触覚伝達制御手段58は、伝達位置特定手段58aと、伝達強度特定手段58bと、を有し、非接触伝達部材としての感覚伝達デバイス18およびLED23を制御して、他のテレプレゼンスロボット1の利用者が触れることで行った動作を、接触位置等の情報を受信したテレプレゼンスロボット1の利用者に伝達する。実施例1の触覚伝達制御手段58は、相手先(他のテレプレゼンスロボット1)の利用者が触覚センサ19を触れた場合は、接触位置等の情報を受信したテレプレゼンスロボット1では、感覚伝達デバイス18で利用者に接触情報を非接触で伝達する。また、実施例1の触覚伝達制御手段58は、相手先(他のテレプレゼンスロボット1)の利用者がアーム21に触れたことを振動センサ22で検出した場合は、接触位置等の情報を受信したテレプレゼンスロボット1では、LED23を発光させることで利用者に接触情報を非接触で伝達する。
伝達位置特定手段58aは、受信した接触位置の情報と、位置検出手段57で検出された利用者の位置とに基づいて、触覚を伝達する位置を特定する。実施例1の伝達位置特定手段58aは、例えば、他のテレプレゼンスロボット1において、利用者が接触した位置が、ロボット1の頭部に対応する位置である場合、位置検出手段57で検出された利用者の頭部に対応する位置に、空中超音波振動子アレイ18の焦点の位置を設定する。
伝達強度特定手段58bは、受信した接触強度の情報に基づいて、触覚を伝達する強さを特定する。実施例1の伝達強度特定手段58bは、例えば、他のテレプレゼンスロボット1において、利用者が接触した強さに対応して、空中超音波振動子アレイ18から出力される超音波の強度を設定する。
(実施例1の流れ図の説明)
次に、実施例1の遠隔コミュニケーションシステムにおける制御の流れを流れ図、いわゆるフローチャートを使用して説明する。
(テレプレゼンスロボットにおける処理のフローチャートの説明)
図4は実施例1のテレプレゼンスロボットにおける処理のフローチャートの説明図である。
図4のフローチャートの各ステップSTの処理は、テレプレゼンスロボット1に記憶されたプログラムに従って行われる。また、この処理はテレプレゼンスロボット1の他の各種処理と並行して実行される。
図4に示すフローチャートは、テレプレゼンスロボット1の電源が投入された場合に開始される。
図4のST1において、他のテレプレゼンスロボット1との通信が確立したか否かを判別する。イエス(Y)の場合はST2に進み、ノー(N)の場合はST1を繰り返す。
ST2において、次の処理(1),(2)を実行して、ST3に進む。
(1)撮像カメラ16による撮影を開始する。
(2)マイクによる音声の取得を開始する。
ST3において、撮影した映像および取得した音声を相手先(他のテレプレゼンスロボット1)に送信する。そして、ST4に進む。
ST4において、相手先(他のテレプレゼンスロボット1)から映像及び音声を受信したか否かを判別する。イエス(Y)の場合はST5に進み、ノー(N)の場合はST6に進む。
ST5において、受信した映像をディスプレイ14に表示し、受信した音声をスピーカから出力する。そして、ST4に戻る。
ST6において、触覚センサ19や振動センサ22が、利用者の接触を検出したか否かを判別する。イエス(Y)の場合はST7に進み、ノー(N)の場合はST9に進む。
ST7において、次の処理(1),(2)を実行して、ST8に進む。
(1)触覚センサ19や振動センサ22の検出結果に基づいて、接触位置を検出する。
(2)各センサ19,22の検出結果に基づいて、接触の強さ(強度)を検出する。
ST8において、接触位置及び接触強度の情報を含む接触データを相手先(他のテレプレゼンスロボット1)に送信する。そして、ST4に戻る。
ST9において、相手先(他のテレプレゼンスロボット1)から送信された接触データを受信したか否かを判別する。イエス(Y)の場合はST10に進み、ノー(N)の場合はST13に進む。
ST10において、次の処理(1),(2)を実行して、ST11に進む。
(1)受信した接触データに基づいて、接触位置を特定する。
(2)受信した接触データに基づいて、接触強さを特定する。
ST11において、位置検出手段57により、利用者の位置を検出する。そして、ST12に進む。
ST12において、利用者の位置と接触位置とに基いて、触覚を伝達する。よって、触覚センサ19で接触位置が検出された場合には、利用者の位置と接触位置に対応する位置に焦点を設定し、接触強さに応じた超音波を発生させる。また、振動センサ22で接触が検出された場合には、対応する位置(右手または左手)のアーム21のLED23が転倒される。そして、ST4に戻る。
ST13において、テレプレゼンスロボット1によるコミュニケーションを終了する入力、すなわち、シャットダウンの入力がされたか否かを判別する。イエス(Y)の場合はST14に進み、ノー(N)の場合はST4に戻る。
ST14において、次の処理(1),(2)を実行して、処理を終了する。
(1)撮影や音声の取得を終了する。
(2)相手先(他のテレプレゼンスロボット1)との通信を終了する。
(実施例1の作用)
前記構成を備えた実施例1の遠隔コミュニケーションシステムSでは、離れた場所にいる祖父と孫とがコミュニケーションを取る場合、お互いのテレプレゼンスロボット1のディスプレイ14に互いの顔が映し出され、お互いの声でコミュニケーションが可能である。すなわち、従来と同様に、視覚と聴覚によるコミュニケーションが可能となっている。
さらに、実施例1のテレプレゼンスロボット1では、例えば、祖父が祖父宅のテレプレゼンスロボット1の頭を撫でるように触れると、触覚センサ19が触れた位置と強さを検出する。検出された接触データは、孫宅のテレプレゼンスロボット1に送信される。接触データを受信した孫宅のテレプレゼンスロボット1は、孫の位置を検出して、孫の頭の位置に対して、祖父が触れた力に対応する強度で、空中超音波振動子アレイ18が超音波を出力する。したがって、孫は、頭を撫でられたように感じることができる。また、孫が、孫宅のテレプレゼンスロボット1のアーム21を掴んで下に振る動作、すなわち、握手を行った場合、祖父宅のテレプレゼンスロボット1のLED23が点灯して、祖父は孫の握手の動作が認識される。すなわち、相手方のテレプレゼンスロボット1で検出された触覚動作を、LED23により非接触で伝達される。したがって、実施例1では、LED23は、臨場感のための非接触表現で利用されている。
よって、実施例1のテレプレゼンスロボット1では、利用者(祖父、孫)が手で触れた感覚、すなわち、触覚の情報が、非接触で相手に伝達される。よって、従来の視覚と聴覚のみしか伝達されなかったテレプレゼンスロボットに比べて、触覚も伝達可能となり、臨場感が向上する。
また、関節部分にアクチュエータを備えたロボットが動作をする構成では、時間的遅延により、ロボットの手等が、利用者の想定外の位置に触れて事故等を起こす恐れがあったが、実施例1のテレプレゼンスロボット1では、非接触で触覚が伝達されており、事故等が低減される。したがって、安全性が向上している。
さらに、関節部分にアクチュエータやモータ等を備える構成に比べて、構成が簡素化され、重量も軽量化可能である。よって、全体として、低コスト化されることが期待できる。特に、従来のロボットは、多機能化を進めた結果、構成が複雑化していたが、実施例1のテレプレゼンスロボット1では、アクチュエータ等を設けなくても、シンプルな構成で、触覚の伝達可能になっている。
(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H07)を下記に例示する。
(H01)前記実施例において、非接触伝達部材の一例として、空中超音波振動子アレイ18を例示したが、これに限定されない。例えば、複数の小型のファンを格子状に並べ、超音波振動子の振動数に替えて各ファンの風量を制御することで、超音波ではなく風を利用して、利用者に非接触で触覚を伝達する構成とすることも可能である。
(H02)前記実施例において、触覚センサ19として、ショッカクキューブ(商標)等を例示したが、これに限定されない。例えば、市販の曲げセンサ(どこに圧力がかかっているかわかるポテンショメータ)等、利用者が接触した位置や圧力が検出可能な任意の構成を採用可能である。
(H03)前記実施例において、振動センサ22を使用してアーム21に利用者が触れたことを検出する場合を例示したが、これに限定されない。例えば、上下方向のみの周期的な振動や、左右方向の振動、左右のいずれか一方向のみの急速な加速度、のような振動のパターンに基いて、「握手」や「バイバイ」、「素振り」等の動作を判別して、送信先のテレプレゼンスロボット1に表示をすることも可能である。表示方法としては、例えば、LED23を格子状に並べて、上下に手を振る握手の場合は、上下に並んだLED23を順番に点灯させることで上下の動作を伝達させることが可能である。なお、振動のパターン等に応じて、動作を判別する技術としては、例えば、特開2014−86038号公報等に記載された従来公知の技術を適用可能である。また、LED23の色を変えることで、動作の速度を伝達することも可能である。例えば、動作の速度が速い場合には、赤色のLEDを点灯させ、動作の速度がゆっくりの場合には青色や緑色のLEDを点灯させることも可能である。
(H04)前記実施例において、空中超音波振動子アレイ18において使用される振動子は、距離センサとしても使用可能であるため、例えば、空中超音波振動子アレイ18を、人がディスプレイ14の周辺に触れたことを検出する等に使用することも可能であり、空中超音波振動子アレイ18を触覚検出部材として、兼用させることも可能である。また、空中に、相手先の利用者の顔のホログラム映像を投影し、顔のどこに触れたかを検出する構成とすることも可能である。
(H05)前記実施例において、カメラセンサとして、Kinect(登録商標)センサを例示したがこれに限定されない。例えば、Kinect(登録商標)センサ以外の深度センサを採用したり、2つ以上のカメラでステレオ視をして、画像解析を行って、利用者の位置を検出する構成を採用する等の変更が可能である。
(H06)前記実施例において、利用者の一例として、祖父と孫を例示したがこれに限定されない。例えば、事業所間の会議や、入院中の患者と自宅の家族とのコミュニケーション、独居の高齢者と介助者や家族とのコミュニケーション、老人ホームにおける個室の高齢者と介助者や家族とのコミュニケーション、旅行先の飼い主と自宅のペットとのコミュニケーション等、任意のコミュニケーションの場において適用可能である。
(H07)前記実施例において、アーム21の動きをLED23で伝達する構成を例示したが、これに限定されない。例えば、振動子、いわゆるバイブレータを使用して、アーム21を振動させることで、相手先の触覚を、伝達することも可能である。他にも、LED23に替えて、アーム21にも空中超音波振動子アレイを設けると共に、カメラセンサ17で、利用者の手の位置も検出して、非接触で触覚を伝達する構成とすることも可能である。また、手だけでなく、肩や腕、胸等に非接触で触覚を伝達する構成とすることも可能である。
1…テレプレゼンスロボット、
2,3…場所、
14…表示部、
16…撮影部、
18,23…非接触伝達部材、
19,22…触覚検出部材、
21…腕部、
54…通信部。

Claims (2)

  1. 互いに離間した場所に配置されたテレプレゼンスロボットであって、
    各場所の映像を取得する撮影部と、
    各場所の音声を取得する音声入力部と、
    映像及び音声を送受信可能な通信部と、
    前記通信部が受信した映像を表示する表示部と、
    前記通信部が受信した音声を出力する音声出力部と、
    利用者が触れた位置および強さを検出する触覚検出部材と、
    前記触覚検出部材で検出された位置を送受信する前記通信部と、
    一方のテレプレゼンスロボットの利用者が触れたことを前記一方のテレプレゼンスロボットの触覚検出部材で検出した場合に、前記一方のテレプレゼンスロボットの通信部から送信されて他方のテレプレゼンスロボットの前記通信部が受信した前記一方のテレプレゼンスロボットの前記触覚検出部材で検出された位置および強さに基づいて、前記他方のテレプレゼンスロボットの利用者に、触れられた位置および強さ超音波で伝達することで、前記一方のテレプレゼンスロボットの利用者の触覚を、前記他方のテレプレゼンスロボットの利用者に伝達する空中超音波振動子アレイと、
    を備えたことを特徴とするテレプレゼンスロボット。
  2. 筐体に対して移動可能に支持された腕部と、
    前記腕部に設けられた前記触覚検出部材と、
    を備え、
    前記筐体と前記腕部との関節部に、前記腕部を駆動する駆動系が設けられていない
    ことを特徴とする請求項1に記載のテレプレゼンスロボット。
JP2014216628A 2014-10-23 2014-10-23 テレプレゼンスロボット Active JP6558764B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014216628A JP6558764B2 (ja) 2014-10-23 2014-10-23 テレプレゼンスロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014216628A JP6558764B2 (ja) 2014-10-23 2014-10-23 テレプレゼンスロボット

Publications (2)

Publication Number Publication Date
JP2016083711A JP2016083711A (ja) 2016-05-19
JP6558764B2 true JP6558764B2 (ja) 2019-08-14

Family

ID=55972787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014216628A Active JP6558764B2 (ja) 2014-10-23 2014-10-23 テレプレゼンスロボット

Country Status (1)

Country Link
JP (1) JP6558764B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022073395A (ja) * 2020-10-30 2022-05-17 川崎重工業株式会社 無人配送システム及び無人配送方法
US20240028123A1 (en) * 2020-12-04 2024-01-25 Sony Group Corporation Information processing device, information processing method, program, and information processing system
WO2023063159A1 (ja) * 2021-10-13 2023-04-20 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3830196B2 (ja) * 1996-02-28 2006-10-04 セコム株式会社 障害者用の操作器
JPH1015254A (ja) * 1996-04-18 1998-01-20 P Nadel Craig ユーザー応答性玩具組立物
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
JP2004056161A (ja) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd マルチメディア通信システム
JP2005027959A (ja) * 2003-07-09 2005-02-03 Takara Co Ltd 人形玩具
JP2006123153A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット用開発支援装置および開発支援プログラム
JP2006191460A (ja) * 2005-01-07 2006-07-20 Ricoh Co Ltd 環境情報取得再生システム、テレビ会議システム、乗り物、衣類及び遠隔操作システム
JP2007331089A (ja) * 2006-05-16 2007-12-27 ▲吉▼川 英之 ロボットの操縦システム
JP5186238B2 (ja) * 2008-02-18 2013-04-17 学校法人 多摩美術大学 バーチャルコミュニケーションシステム
JP5343946B2 (ja) * 2010-08-25 2013-11-13 株式会社デンソー 触覚提示装置
JP2012120886A (ja) * 2012-03-26 2012-06-28 Aitec:Kk マネキン人形
KR101437424B1 (ko) * 2012-04-09 2014-09-05 전자부품연구원 사용자 인터랙션 시스템 및 방법

Also Published As

Publication number Publication date
JP2016083711A (ja) 2016-05-19

Similar Documents

Publication Publication Date Title
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
JP2017188156A (ja) Asrおよびht入力を有する補助ディスプレイとしてのヘッドセットコンピュータ(hsc)
US20210333759A1 (en) Split architecture for a wristband system and related devices and methods
US11907423B2 (en) Systems and methods for contextualized interactions with an environment
JP7081052B2 (ja) 模擬現実(sr)におけるデバイス共有及び対話性の表示
KR20220124810A (ko) 생체전위들 및 벡터들을 사용한 제스처 제어 시스템
US11347312B1 (en) Ultrasonic haptic output devices
JP6558764B2 (ja) テレプレゼンスロボット
JPWO2019225548A1 (ja) 遠隔操作システム、情報処理方法、及びプログラム
KR20130060952A (ko) 서비스로봇 원격제어 시스템
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7102169B2 (ja) 装置、ロボット、方法、及びプログラム
JPWO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Caruso et al. Interactive augmented reality system for product design review
JP2007130691A (ja) コミュニケーションロボット
JP2015093353A (ja) 多機能情報端末遠隔操作型ロボット
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
US11768546B1 (en) Method and device for positional/rotational information of a finger-wearable device
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109690444A (zh) 与移动通信设备一起使用的免提耳机
JP6779715B2 (ja) 情報処理システム
JP2005271094A (ja) ロボット遠隔制御システム
KR102525661B1 (ko) 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치
JP7394046B2 (ja) システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム
WO2022220049A1 (ja) システム、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190710

R150 Certificate of patent or registration of utility model

Ref document number: 6558764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350