JP7415529B2 - テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム - Google Patents

テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム Download PDF

Info

Publication number
JP7415529B2
JP7415529B2 JP2019226456A JP2019226456A JP7415529B2 JP 7415529 B2 JP7415529 B2 JP 7415529B2 JP 2019226456 A JP2019226456 A JP 2019226456A JP 2019226456 A JP2019226456 A JP 2019226456A JP 7415529 B2 JP7415529 B2 JP 7415529B2
Authority
JP
Japan
Prior art keywords
user
movement
unit
destination
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019226456A
Other languages
English (en)
Other versions
JP2021096576A (ja
Inventor
英明 清水
雅信 村本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019226456A priority Critical patent/JP7415529B2/ja
Publication of JP2021096576A publication Critical patent/JP2021096576A/ja
Application granted granted Critical
Publication of JP7415529B2 publication Critical patent/JP7415529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラムに関する。
近年、高速通信の技術や情報セキュリティ技術の発達を背景に、自宅や本来のオフィス以外のサテライトオフィス等の遠隔地で業務を行うリモートワーク(テレワーク)が一般的になっている。また、リモートワークにおいては、テレプレゼンスロボットと呼ばれる、テレビ会議技術を自律移動型ロボットに組み込んだロボットが開発されている。テレプレゼンスロボットを操作することで、遠隔地で業務を行うリモートワーカーは、ロボットを通じて、本来のオフィス内を移動しながら、オフィス内の同僚等と会話することで、あたかも本人が存在するかのような印象を与えることができる。
例えば特許文献1に開示されたコミュニケーションロボットシステムでは、お客様のテレプレゼンスロボットを通じたコールに応じて、複数のオペレーターの中から適切なオペレーターにつないで、テレプレゼンスロボットを介した会話によるサービス提供を行っている。
特開2018-067785号公報
しかしながら、特許文献1に開示されたテレプレゼンスロボットでは、カメラの高さや、顔の高さが固定であり、常に同じ高さの視点になるため、オフィスで実際に移動する場合と、視ている光景が異なることになり、リモートワーカーは違和感を覚えることになる。また、オフィスで周囲にいる同僚も、顔の位置が通常と異なるので、違和感を覚えることになる。
本発明は、上記事情に鑑みてなされたものであり、遠隔地のユーザーとオフィス内のユーザーとが、違和感なくコミュニケーションを取ることができるテレプレゼンスシステムを提供することを目的とする。
本発明の上記目的は、下記の手段によって達成される。
(1)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、
前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた飛行体と、
前記飛行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記飛行体の飛行高さに関する状態制御を行う、制御部と、
を備えたテレプレゼンスシステム。
(2)前記ユーザーは、認証部により認証されたユーザーであり、
前記制御部は、認証された前記ユーザーの属性情報を取得する上記(1)に記載のテレプレゼンスシステム。
(3)前記目的地は、前記ユーザーのスケジュール情報に基づき設定された目的地であり、
前記制御部は、前記スケジュール情報で予定された時刻に前記目的地に到達するように前記移動制御を行う、上記(1)または上記(2)に記載のテレプレゼンスシステム。
(4)さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
前記制御部は、予め定められた忌避領域を避けた移動ルートにより前記目的地までの移動制御を行う、上記(1)から上記(3)のいずれかに記載のテレプレゼンスシステム。
(5)前記忌避領域は、前記ユーザー毎に設定されている、上記(4)に記載のテレプレゼンスシステム。
(6)さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
前記サーバーは、前記ユーザーの前記建物内の動線の情報を用い、該動線の情報に基づいて移動ルートを設定し、
前記制御部は、前記サーバーが設定した前記移動ルートにより前記目的地までの移動制御を行う、上記(1)から上記(5)のいずれかに記載のテレプレゼンスシステム。
(7)前記制御部は、前記撮影部の撮影画像により、進行方向前方の人物を認識するとともに、前記ユーザーの属性情報と、前記人物の属性情報との比較結果に基づいて、前記表示部の表示面を傾ける会釈動作を実行させる、上記(1)から上記(6)のいずれかに記載のテレプレゼンスシステム。
(8)前記制御部は、前記目的地が会議室であった場合、高さ方向の異なる位置で複数の飛行体が静止飛行するように前記移動制御を行う、上記(1)に記載のテレプレゼンスシステム。
(9)前記制御部は、サーバー内に配置され、複数の前記飛行体を管理する、上記(8)に記載のテレプレゼンスシステム。
10)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
を備え
前記ユーザーは、認証部により認証されたユーザーであり、
前記制御部は、認証された前記ユーザーの属性情報を取得する、テレプレゼンスシステム。
(11)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
を備え、
前記目的地は、前記ユーザーのスケジュール情報に基づき設定された目的地であり、
前記制御部は、前記スケジュール情報で予定された時刻に前記目的地に到達するように前記移動制御を行う、テレプレゼンスシステム。
(12)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
を備え、
さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
前記制御部は、予め定められた忌避領域を避けた移動ルートにより前記目的地までの移動制御を行う、テレプレゼンスシステム。
(13)前記忌避領域は、前記ユーザー毎に設定されている、上記(12)に記載のテレプレゼンスシステム。
(14)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
を備え、
さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
前記サーバーは、前記ユーザーの前記建物内の動線の情報を用い、該動線の情報に基づいて移動ルートを設定し、
前記制御部は、前記サーバーが設定した前記移動ルートにより前記目的地までの移動制御を行う、テレプレゼンスシステム。
(15)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
マイクと、
スピーカーと、を備え、
前記マイクは、複数であり、
前記制御部は、前記マイクの音声を音声認識し、前記ユーザーへの声かけと判定した場合、前記声かけの発声が行われた方向に、前記表示部の表示面を向けるように、前記移動制御を行う、テレプレゼンスシステム。
(16)遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
を備え、
前記制御部は、前記撮影部の撮影画像により、進行方向前方の人物を認識するとともに、前記ユーザーの属性情報と、前記人物の属性情報との比較結果に基づいて、前記表示部の表示面を傾ける会釈動作を実行させる、テレプレゼンスシステム。
(17)さらに、マイクと、スピーカーと、を備える上記(1)から上記(14)、および上記(16)のいずれかに記載のテレプレゼンスシステム。
(18)前記マイクは、複数であり、
前記制御部は、前記マイクの音声を音声認識し、前記ユーザーへの声かけと判定した場合、前記声かけの発声が行われた方向に、前記表示部の表示面を向けるように、前記移動制御を行う、上記(17)に記載のテレプレゼンスシステム。
19)前記ユーザーの前記属性情報として、身体的特徴を記憶する記憶部を備え、
前記制御部は、前記記憶部に記憶された前記身体的特徴の情報に基づく、前記ユーザーの目線に対応する高さに応じて前記状態制御を行う、上記(1)から上記(18)のいずれかに記載のテレプレゼンスシステム。
20)前記身体的特徴は、前記ユーザーの身長、目線の高さ、座高の少なくとも一つを含む、上記(19)に記載のテレプレゼンスシステム。
21)前記制御部は、前記ユーザーの属性情報に基づいて、前記状態制御として、前記表示部、および/または前記撮影部を、前記ユーザーの目線高さに対応する高さに設定する、上記(1)から上記(20)のいずれかに記載のテレプレゼンスシステム。
22)前記目線高さは、前記ユーザーが直立したときの目線の高さ、または前記ユーザーが座ったときの目線の高さである、上記(21)に記載のテレプレゼンスシステム。
23)前記表示部には、前記ユーザーに対応する画像として、前記ユーザーを撮影した画像、または前記ユーザーのアバター画像を表示する、上記(1)から上記(22)のいずれかに記載のテレプレゼンスシステム。
24)表示部、および撮影部の少なくとも一方を備えた飛行体を制御する飛行体制御プログラムであって、
前記飛行体の目的地までの移動に関する移動制御と、
遠隔地で前記飛行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記飛行体の飛行高さに関する状態制御と、を含む処理をコンピューターに実行させるための飛行体制御プログラム。
25)表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
前記移動走行体の目的地までの移動に関する移動制御と、
遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
前記ユーザーは、認証部により認証されたユーザーであり、前記状態制御では、認証された前記ユーザーの属性情報を取得する、処理をコンピューターに実行させるための移動走行体制御プログラム。
(26)表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
前記移動走行体の目的地までの移動に関する移動制御と、
遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
前記目的地は、前記ユーザーのスケジュール情報に基づき設定された目的地であり、
前記スケジュール情報で予定された時刻に前記目的地に到達するように前記移動制御を行う、処理をコンピューターに実行させるための移動走行体制御プログラム。
(27)表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
前記移動走行体の目的地までの移動に関する移動制御と、
遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
前記移動制御では、前記目的地が含まれる建物に関する地理的情報を管理するサーバーから取得した、予め定められた忌避領域を避けた移動ルートにより前記目的地までの移動制御を行う、処理をコンピューターに実行させるための移動走行体制御プログラム。
(28)表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
前記移動走行体の目的地までの移動に関する移動制御と、
遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
前記目的地が含まれる建物に関する地理的情報を管理するサーバーであって、前記ユーザーの前記建物内の動線の情報を用い、該動線の情報に基づいて移動ルートを設定するサーバーから、移動ルートを取得し、
前記移動制御では、前記サーバーが設定した前記移動ルートにより前記目的地までの移動制御を行う、処理をコンピューターに実行させるための移動走行体制御プログラム。
(29)表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
前記移動走行体は、複数のマイクと、スピーカーを備え、
前記移動走行体の目的地までの移動に関する移動制御と、
遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、
前記マイクの音声を音声認識し、前記ユーザーへの声かけと判定する判定制御と、を含み、
声かけと判定した場合、前記移動制御では、前記声かけの発声が行われた方向に、前記表示部の表示面を向ける、処理をコンピューターに実行させるための移動走行体制御プログラム。
(30)表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
前記移動走行体の目的地までの移動に関する移動制御と、
遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、
前記撮影部の撮影画像により、進行方向前方の人物を認識するとともに、前記ユーザーの属性情報と、前記人物の属性情報との比較結果に基づいて、前記表示部の表示面を傾ける会釈動作を実行させる会釈制御と、
を含む処理をコンピューターに実行させるための移動走行体制御プログラム。
本発明に係るテレプレゼンスシステムは、遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた飛行体と、前記飛行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記飛行体の飛行高さに関する状態制御を行う、制御部と、を備える。
また、本発明に係るテレプレゼンスシステムは、遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、を備える。
このようにすることで、隔地のユーザーとオフィス内のユーザーとが、違和感なくコミュニケーションを取ることができる。
第1の実施形態に係るテレプレゼンスシステムの概要を示す図である。 ドローンの概略構成を示す上面図である。 ドローンの概略構成を示すブロック図である。 ドローンの構成を示す機能ブロック図である。 管理サーバーの概略構成を示すブロック図である。 テレプレゼンス処理の手順を示すシーケンスチャートである。 目的地までの移動処理を示すフローチャートである。 ある居室内で設定された忌避領域と、移動ルートとの関係を説明する模式図である。 第2の実施形態における移動走行体の例である。 第1の変形例における、移動中において声かけに応じた振り向き動作を示すフローチャートである。 第2の変形例における、移動中の会釈動作を示すシーケンスチャートである。 第3の変形例における、1つの席の高さ方向の異なる位置で静止飛行した状態を示す模式図である。
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1~図5を参照し、第1の施形態に係るテレプレゼンスシステム1000について説明する。図1はテレプレゼンスシステム1000の概要を示す図である。図1に示すように、テレプレゼンスシステム1000は、1つまたは複数のドローン10、および管理サーバー20を備える。管理サーバー20は、リモート接続用のサーバーとして機能する。
また、以下においては、自律移動型のロボットとして「飛行体」であるドローン10を例として説明するが、これに限られない。自律移動型のロボットとして、車輪により走行する走行体(後述の図9)を用いてもよい。管理サーバー20は、アクセスポイント51を通じてドローン10と無線通信(例えばIEEE802.11規格に従った無線LAN)によって、通信可能に接続されている。テレプレゼンスシステム1000は、オフィス内に配置される。なお、少なくともアクセスポイント51とドローン10がオフィスの建物内にあればよく、管理サーバー20は、必ずしも建物の内部にある必要はない。例えば、遠隔地に設けられてネットワークを介して接続可能であってもよい。この場合、管理サーバー20は、インターネット等のネットワーク上に配置された1つまたは複数のサーバーによって仮想的に構築されるクラウドサーバーであってもよい。
オフィスの企業に勤務する、遠隔地からアクセスするユーザー(以下、「リモートユーザー40」という)は、端末装置30を操作することで、ネットワークを通じて、管理サーバー20が管理するドローン10を利用する。端末装置30は、いわゆるPC(Personal Computer)であり、スマートフォンやタブレット端末等の携帯、可搬型の装置であるが、デスクトップの固定型の装置であってもよい。リモートユーザー40は、自宅等の遠隔地に配置されたアクセスポイント52、公衆の電話網、またはデータ通信網等を通じて、管理サーバー20にアクセスする。
(ドローン10)
図2、図3は、それぞれドローン10の概略構成を示す上面図、およびブロック図である。図2に示すように、ドローン10は、自律移動型の小型マルチコプターであり、複数の回転翼101~104、および本体部105を備える。回転翼101~104は、円形のカバーで覆われ、それぞれモーターに接続され、独立して回転数の制御が行われる。本体部105は、回転翼101~104の中央に配置され、4つのアームそれぞれにより回転翼101~104と連結する。本体部105のバッテリ電源部(図示せず)からアーム内部の電気線を通じて、回転翼101~104を回転させるモーターに電力が供給される。
図2、図3に示すように、ドローン10は、制御部11、表示部12、撮影部13、音声入出力部14、飛行制御部15、記憶部16、高度検知部17、位置検知部18、および無線通信部19を備える。なお、表示部12にチルト機構を配置して、表示面121を傾斜できるようにしてもよい。表示部12以外の制御部11、撮影部13、音声入出力部14、飛行制御部15、記憶部16、高度検知部17、位置検知部18、および無線通信部19は、本体部105に配置される。
制御部11は、1つ、または複数のCPU(Central Procesing Unit)、および半導体等で構成される内部メモリを備え、記憶部16に記憶されているプログラムを実行することで、自律式の飛行制御を含むテレプレゼンス制御等の各種処理を実行する。
表示部12は、例えば液晶ディスプレイであり、画像を表示する表示面121がホバリング時、または着陸時に正面を向くように本体部105の正面側に配置される。ドローン10は、前後、左右、上下に自在に移動可能であるが、前方向(通常の進行方向)が正面に対応する。表示部12としては、スマートフォンを用い、これを取り付けるようにしてもよい。例えば本体部105の正面側に保持部を配置し、この保持部に有線、または無線で本体部105と通信接続したスマートフォンを取り付け、このスマートフォンのディスプレイを表示部12として利用する。
撮影部13は、可視光を感度領域とするカメラであり前方が撮影領域となるように本体部105に配置される。また、撮影部13の高さは、表示部12の表示面121と略同じ高さに設定される。例えば、高さ方向の差分が数cm以内に収まるように配置される。撮影部13で撮影された映像は、リモートユーザー40が操作する端末装置30に送られ、オフィス内の他のユーザーとのテレビ会議に用いられる。また、撮影部13で撮影された映像は、制御部11により画像処理され、前方の障害物や人物の認識処理に用いられる。
音声入出力部14は、マイク、およびスピーカーを含む。マイクにより周囲の音声を集音する。また、マイクは、異なる方向に向けて配置した複数のマイクから構成されてもよい。複数のマイクからの音声を、制御部11が処理することで、音源の向きを特定できる。例えば、撮影部13の撮影領域外にいる他のユーザーから声を掛けられた場合に、そのユーザーの向きを特定できる。また、音声入出力部14のスピーカーにより、リモートユーザー40が操作する端末装置30のマイクで集音した、リモートユーザー40の音声データを出力する。
飛行制御部15は、複数のモーターそれぞれの回転を制御することで、ドローン10の飛行を制御する。飛行制御部15は、制御部11とは別にCPU等を備えてもよく、ハードウェアにより構成されてもよい。例えば、飛行制御部15は、制御部11で設定された目的地への移動制御、離陸・着陸制御、障害物の回避制御、等を行う。また、飛行制御部15は、各モーターの回転速度を制御することで、飛行時のホバリング制御(静止飛行:飛行しながら静止すること)、および姿勢制御を行う。
記憶部16は、おもに半導体メモリにより構成される。記憶部16には、各種プログラム、および、リモートユーザー40の属性情報が記憶される。属性情報には、リモートユーザーの身体的特徴、オフィス内の座席位置、会社内の職級(階級)、忌避領域(後述)、アバター画像、等が含まれる。身体的特徴としては、例えば身長、目線の高さ、座高の情報が含まれる。また属性情報としてリモートユーザー40のスケジュールが含まれてもよい。スケジュールには、会議室(場所、名称)、会議開始予定時刻、終了予定時刻が含まれる。
属性情報の記憶に関しては、オフィスに勤務する、あるいは所属する複数のユーザーのうち、遠隔地からアクセスする可能性がある複数のユーザーの属性情報を予め記憶しておいてもよい。あるいは、管理サーバー20の記憶部16にオフィスに勤務する全社員、または一部社員の属性情報を記憶しておき、リモートユーザー40として認証する(後述)ごとに、対象のリモートユーザー40の属性情報を、ドローン10に送信し、記憶部16に一時的に保持するようにしてもよい。
高度検知部17は、ドローン10の飛行高さを検知する。例えば、高度検知部17は、超音波センサーを含み、超音波センサーにより、本体部105の地面までの距離を計測する。また、超音波センサーにより、前方の障害物を検知してもよい。
位置検知部18は、オフィスの建物内におけるドローン10の位置、および姿勢を検知する。例えば、位置検知部18は、上方を撮影領域とする天井用カメラ、および姿勢センサーとしてジャイロセンサーまたは加速度センサーで構成される。例えば、オフィスの天井に、格子状にマーカーを貼り付け、そのマーカーを天井用カメラで撮影し、これを制御部11で認識することで、オフィス内の平面位置を検知できる。このマーカーは、ユニークな形状とすることで、平面位置を検知できる。また、これにジャイロセンサーや加速度センサーを併用することで、より精度よく平面位置を検知できたり、ドローン10の姿勢の変化を検知できたりする。
また、位置検知部18は、天井用カメラに替えて、あるいはこれとともに、BLE(Bluetooth(登録商標) Low Energy)ビーコン(Beacon)、Wifi測位装置、UWB(Ultra Wide Band)測位装置、超音波測位装置、等の技術を適用した装置を用いてもよい。例えば、BLEビーコンの技術を適用した場合には、オフィス内が検出エリアとなるように複数(例えば各エリアに3台)の受信機を周囲に配置する。そして、発信器としてのドローン10所定間隔で、固有IDを含む、ビーコン信号を発信する。そして、それぞれの受信機は、ドローン10からのビーコン信号の強度から距離を推定する。そして複数の固定配置された受信機の配置位置情報、およびこのそれぞれのドローン10までの距離の情報から、ドローン10自体の位置を特定する。
図4は、ドローン10の構成を示す機能ブロック図である。ドローン10の制御部11は、飛行制御部111、飛行指示部112、音源方向推定部113、障害物判定部114,高度推定部115、および位置推定部116として機能する。
飛行制御部111は、飛行指示部112からの制御に応じて、回転翼101~104の各モーターの出力を制御して、ドローン10の姿勢、移動、回転、上下動の各制御を行う。
飛行指示部112は、無線通信部19を通じて、管理サーバー20、またはリモートユーザー40の端末装置30から目的地の指示を受け付ける。また、飛行指示部112は、記憶部16に記憶されているリモートユーザー40の属性情報を取得する。取得する属性情報としては、例えば、身体的特徴としての立位時の目線高さである。また、飛行指示部112は、障害物判定部114,高度推定部115、および位置推定部116からの情報に基づいて、自律的にドローン10の飛行を制御する。飛行指示部112は、受け付けた目的地(例えば、ある会議室)までの飛行を、飛行制御部111を制御することで行う。また、移動の際の床面からの飛行高さは、操作を行うリモートユーザー40の目線高さに対応する高さに設定する。より具体的には、表示部12の表示面121、および撮影部13の高さを、リモートユーザー40の目線高さに設定する。表示面121には、リモートユーザー40に対応する画像として、アバター画像、顔画像(静止画)、または、端末装置30で撮影したリモートユーザーの顔画像(動画)をリアルタイムに表示する。
音源方向推定部113は、複数のマイクで集音した音声データの音強度の比較から、音源方向を推定する。また、音源方向推定部113は、音声データから音声認識モデルを利用して、音声からテキスト変換を行い、声かけがあったか否かを判定する。例えば、現時点でドローン10を利用しているリモートユーザー40の氏名、あだ名等の称呼情報を属性情報内から取得し、この称呼情報と、変換したテキストデータとのマッチングを行うことにより行える。所定のスコア以上の類似度を示す場合には、声かけがあったとして、その音源方向の情報を飛行指示部112に送る。これを受けた飛行指示部112は、この音源方向に正面(表示面121)が向くようにドローン10の飛行を制御する。
障害物判定部114は、撮影部13のカメラの映像、および/または高度検知部17の超音波センサーの出力から、前方の障害物を判定し、飛行指示部112に送る。
高度推定部115は、高度検知部17の超音波センサーの出力から地面からの高さを推定し、飛行高さの情報を、飛行指示部112に送る。
位置推定部116は、位置検知部18の出力、および/または撮影部13のカメラの映像から、オフィス内における位置を推定し、推定した位置情報を飛行指示部112に送る。
(管理サーバー20)
図5は、管理サーバーの概略構成を示すブロック図である。管理サーバー20は、制御部21、認証部22、通信部23、および記憶部24を備える。この管理サーバー20は、オフィスの建物に関する地理的情報を管理したり、オフィスに勤務するユーザーの管理サーバー20が提供する各種サービスへのログイン認証を行ったりする。
制御部21は、1つ、または複数のCPU(Central Procesing Unit)、および半導体等で構成される内部メモリを備え、記憶部24に記憶されているプログラムを実行することで、各種処理を実行する。
認証部22は、遠隔地からネットワークを通じてアクセスするリモートユーザー40の認証処理を実行する。具体的には、リモートユーザー40は、端末装置30を通じて、ユーザーID、パスワードを入力し、これを管理サーバー20に送信する。管理サーバー20は、記憶部24に記憶している認証情報を突き合わせ、認証結果を端末装置30に送信することで、ログイン認証が終了する。なお、この認証処理は、管理サーバー20自体で行う必要はなく、別の認証用のサーバーにより行い、その認証結果のみを受け取るようにしてもよい。
通信部23は、イーサネット(登録商標)等の規格による有線通信のネットワークインターフェースや、Bluetooth(登録商標)、IEEE802.11等の規格による無線通信のインターフェース等の各種ローカル接続向けのインターフェースを用いて、ドローン10等の各装置との通信を行う。
記憶部24は、半導体メモリ、および/または磁気記録媒体メモリにより構成される。記憶部24には、リモートユーザー40を含むオフィスに勤務するユーザーの属性情報、建物内地図情報、ドローン管理情報が記憶される。
ユーザー属性情報として、ドローン10を利用する可能性がある複数のユーザーそれぞれの属性情報が記憶される。上述のように属性情報には、身体的特徴、スケジュール、アバター画像、職級、(ユーザー毎の)忌避領域が含まれる。また、アバター画像に替えて、リモートユーザー40の顔画像(静止画の写真)を用いるようにしてもよい。また属性情報には、動線情報が含まれる。この動線情報は、オフィス内を撮影する俯瞰カメラの映像や、ユーザーが所持する位置デバイス(RFIDタグ、スマートフォン等)により、数日から数週間の長期間に渡って、ユーザーの移動軌跡を追跡し履歴情報として記録する。そして履歴情報から、ユーザーそれぞれの複数の地点間の頻度の高い移動軌跡を動線として用いる。この動線のデータは、管理サーバー20で生成してもよく、あるいは他の外部装置により生成し、これを管理サーバー20で取得するようにしてもよい。
建物内地図情報は、建物内の地理的情報であり、建物地図、すなわち建物内の会議室、居室を含む各部屋の場所、および各部屋内の机、棚、扉等の設備の配置位置が含まれる。また、この建物内地図情報には、居室内のユーザーの定常位置を示す座席表が含まれていてもよい。
ドローン管理情報は、複数のドローン10の利用状況を示す管理テーブルである。管理サーバー20は、リモートユーザー40からログイン認証があり、その後、ドローン10使用の要求があった場合に、ドローン管理情報を用いて、未使用の空いているドローン10があれば、ドローン10の割り当てを行う。なお、空いているドローン10は、例えば、建物内の所定の部屋にあるドッグステーションで待機する。ドッグステーションでは、ドローン10に給電が行われ内部のバッテリ電源部への充電が行われる。また、ドローン管理情報に、現在の目的地の情報を、逐次記録するようにしてもよい。この場合、例えば、同じ会議室が目的地になる場合に、1つの席に、上下に重なるように待機するようにしてもよい。
(テレプレゼンス処理)
次に、図6から図8を参照し、テレプレゼンスシステム1000で行われるテレプレゼンス処理について説明する。図6は、テレプレゼンス処理の手順を示すシーケンスチャートであり、図7は、ドローン10で実行される、目的地までの移動処理を示すフローチャートである。図8は、あるオフィス(居室)内で設定された忌避領域と、移動ルートとの関係を説明する模式図である。
(ステップS401)
リモートユーザー40は、端末装置30を通じて、管理サーバー20が提供するサービスに対するログイン認証処理を行う。この認証処理は、上述のように認証部22に、リモートユーザー40が、ユーザーID、パスワードを送信することにより行われる。ログイン認証処理が正常に行われれば、以下のステップS402以降の処理を行う。
(ステップS402)
管理サーバー20の制御部21は、リモートユーザー40からのドローン10利用の要求に応じて、空いているドローン10を割り当てる。管理サーバー20は、記憶部24のドローン管理情報を参照し、空いているドローン10を、リモートユーザー40に割り当てるとともに、割り当てたことを、ドローン管理情報に記録する。なお、ドローン10の割り当てとしては、このように多対多で、複数のリモートユーザー40で、複数のドローン10を共有するようにしてもよく、一対一で、それぞれのリモートユーザー40に専用のドローン10を割り当てるようにしてもよい。
(ステップS403)
管理サーバー20は、ステップS402で選択したドローン10に対して起動指示を送信する。
(ステップS404、S405)
対象となるドローン10は、起動指示を受けることで初期化を行い、起動する。初期化の際に、過去のリモートユーザー40の属性情報が記憶部16に残っていれば、これを消去するようにしてもよい。初期化動作が終了し、準備が完了すれば、その旨を管理サーバー20に送信する。
(ステップS406)
管理サーバー20は、これからドローン10を利用するリモートユーザー40の属性情報を、対象のドローン10に送信する。この属性情報には、少なくとも身体的特徴が含まれるが、その他に、後述するように以前に設定した画像を繰り返し用いるのであれば、リモートユーザー40のアバター画像、または顔画像が含まれていてもよい。
(ステップS407)
ドローン10は、管理サーバー20から送られたリモートユーザー40の属性情報を記憶部16に格納する。
(ステップS408)
ドローン10は、管理サーバー20に対して、準備が完了した「操作可能状態」である旨を通知する。
(ステップS409)
管理サーバー20は、端末装置30に対してドローン制御用の操作画面(I/F:インターフェース)を送信する。例えば、管理サーバー20が提供するweb APIが用いられる。
(ステップS410)
リモートユーザー40は、自身に対応する画像として、アバター画像を選択する。この選択は、初回のアクセス時に行い、以降は、選択内容を記憶しておき、次回以降は、同じ画像を繰り返し利用するようにしてもよい。なお、リモートユーザー40に対応する画像としては上述のように、顔画像(静止画の写真、または撮影動画)を選択するようにしてもよい。
(ステップS411)
リモートユーザー40は、目的地を指示する。このとき、管理サーバー20は、記憶部24に記憶されている属性情報のスケジュール情報を参照し、会議の予定があれば、その予定を表示するようにする。そして、その後のリモートユーザー40の同意選択により、その会議の開催場所(会議室)を目的地として設定するようにしてもよい。あるいは、会議の予定時刻に近づいた場合、予定の時刻に会議室に到着するように、管理サーバー20側で自動に、目的地を設定するようにしてもよい。この予定時刻には、実際の開始時刻のみならず、少し前(数分前)の範囲が含まれる。ステップS410、S411で選択した情報は、ドローン10に直接、または、管理サーバー20を経由して間接的にドローン10に送られる。
(ステップS412)
ドローン10、および端末装置30が協働して、または、ドローン10、管理サーバー20、および端末装置30が協働して、以下に説明するドローン10の目的地までの移動処理を行う。以下においては、会議室の席を目的地として、ある居室の座席から目的地まで移動する場合を例にして説明する。
(移動処理)
図7は、ステップS412でのドローン10による目的地までの移動処理を示すフローチャートである。なお、図7に示すフローチャートでは、ドローン10の処理のうち一部の移動に関する処理を示しており、その他のテレプレゼンスに関する撮影画像、および音声データを送受信し、表示、発声する処理についての説明は省略している。
(ステップS501)
ドローン10の制御部11は、目的地の指示(S411)があれば(YES)、処理をステップS502に進める。
(ステップS502)
ドローン10の制御部11は、ステップS407で記憶部16に格納したリモートユーザー40の属性情報を参照して、飛行高さに関する状態制御を行う。具体的には、属性情報に記述されている身体的特徴に応じた目線の高さでドローン10を飛行させる。より具体的には、ドローン10の表示部12の表示面121、および/または撮影部13のカメラを、リモートユーザー40の立位時の目線の高さで飛行させる。
(ステップS503)
また、制御部11は、表示部12の表示面121にリモートユーザー40に対応する画像として、例えばアバター画像を表示する。
(ステップS504)
制御部11は、管理サーバー20から目的地までの移動ルート情報を取得し、ルートに沿って目的地までの平面移動(高さを維持したままの前後左右方向の移動)を行う。
図8においては、リモートユーザー40の勤務時の座席にドローン10がいる場合を想定し、居室の外にある会議室を最終目的地として移動する場合について説明する。
居室内において領域Aは、予め管理者により忌避領域に設定されている。忌避領域は、例えば、通常は人が通らない狭い通路であったり、上長の座席の後ろで、上長のパソコン画面の内容が視認できる位置で、セキュリティ上問題がある領域であったりする。また、各ユーザーの机(机の上方)を忌避領域に設定している。なお、この忌避領域は、リモートユーザー40ごとに個別で設定されていてもよい。例えば、リモートユーザー40の職級(平社員)が低い場合には、これよりも高い職級(部長)のユーザーの座席の後ろを忌避領域に設定する。
管理サーバー20は、忌避領域を含まない、現在地から目的地までの移動ルートを設定する。図8の例では、忌避領域を通らないルート2を移動ルートとして設定し、これをドローン10に送信する。管理サーバー20による移動ルートの設定は、スタートからゴール(目的地)までの全行程のルートを送信してもよく、1つまたは複数の中間目的地(例えば居室出口)を設定し、その中間目的地まで到達するごとに次の中間目的地までのルートを設定、送信するようにしてもよい。
ドローン10は、このような移動ルートに沿って目的地までの飛行移動を行う。この飛行移動時は、テレプレゼンスを提供する。具体的には、飛行移動時には、継続してリアルタイムで、撮影部13で撮影した映像、および音声入出力部14で集音した音声は、端末装置30に送られる。また、端末装置30のマイクで集音した音声は、音声入出力部14から発声される。
(ステップS505、S506)
制御部11は、移動ルートに沿った目的地までの自律的な飛行制御を行ってドローン10を移動し、目的地に到達したならば(YES)、処理をステップS506に進め、平面移動を停止し、ホバリング飛行を行う。
(ステップS507)
ここでは、制御部11は、リモートユーザー40の指示に基づいて、着席を行うか否かを判断し、着席する場合には(YES)、処理をステップS508に進める。着席しない場合には、処理をステップS501に戻し、次の目的地の指示があるまで待機する。
(ステップS508)
ドローン10の制御部11は、ステップS407で記憶部16に格納したリモートユーザー40の属性情報を参照して、飛行高さに関する状態制御を行う。具体的には、属性情報に記述されている身体的特徴に応じた目線の高さでドローン10を飛行させる。より具体的には、ドローン10の表示部12の表示面121、および/または撮影部13のカメラを、リモートユーザー40の座位時の目線の高さで飛行させる。以降は、会議において、この座位高さでのホバリング飛行時にもテレプレゼンスを提供する。すなわち、座った目線高さで、他の参加者と普段の感覚で、違和感なくコミュニケーションを取り得る。
このように本実施形態に係るテレプレゼンスシステムは、自律移動型の飛行体と、飛行体の本体部に配置され、リモートユーザーが操作する端末とネットワークを通じて通信する通信部と、本体部に配置され、ユーザーに対応する画像を表示する表示部と、本体部に配置されたカメラと、飛行体の目的地までの移動に関する移動制御を行うとともに、ユーザーの属性情報を取得し、取得した属性情報に基づいて飛行体の飛行高さに関する状態制御を行う、制御部と、と備える。このような構成を備えることで、遠隔地のユーザー(リモートユーザー)とオフィス内のユーザーとが、普段の感覚で、違和感なくコミュニケーションを取ることができる。
なお、以上の説明では、自律移動型のロボットの例として「飛行体」であるドローン10を例として説明したが、以下の第2の実施形態のように車輪により走行する走行体であってもよい。
(第2の実施形態)
図9は、第2の実施形態における移動走行体60の例である。第2の実施形態においては、自律移動型の移動走行体は、移動走行体の本体部に配置され、遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部と、本体部に取り付けられ、高さを変更可能なアーム部と、アーム部に配置され、前記ユーザーに対応する画像を表示する表示部と、アーム部に配置された撮影部と、を備える。そして制御部は、移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記アーム部の高さに関する状態制御を行う。
具体的には、同図に示す移動走行体60は、2個(または4個)の車輪107により前後左右に自律的に走行移動する。この移動走行体60は、車輪107の回転軸に取り付けられた本体部105bには、制御部11b、走行制御部15b、記憶部16b、障害物判定部17b、位置検知部18b、無線通信部19bが配置される。これらの機能は、図3等の第1の実施形態で示した、制御部11、飛行制御部15、記憶部16、高度検知部17、位置検知部18、および無線通信部19それぞれと同様の機能を担う。また、本体部105bには、上下方向に伸び縮みするアーム106が取り付けられている。アーム106の先端(上端)には、表示部12b、撮影部13b、および音声入出力部14bが配置されている。これらの構成部品も、第1の実施形態における表示部12、撮影部13、および音声入出力部14それぞれと同様の機能を担う。
また、第2の実施形態における移動走行体60では、アーム106が伸縮することで、先端に取り付けられた構成部品(表示部12b、撮影部13b、音声入出力部14b)の高さを変更できる。制御部11bは、リモートユーザー40の属性情報に基づいて、ユーザーの目線高さ(立位、座位)に対応する高さとなるようにこれらの構成部品の高さを設定する。このような第2の実施形態においても、図6~図8に示した処理と同様のテレプレゼンスに関する処理を行うことで、第1の実施形態と同様の効果が得られる。
(第1の変形例(声かけによる振り向き))
次に図10のフローチャートを参照し、第1の変形例について説明する。第1の変形例においては、以下に説明するように移動中(図7のステップS504)、または着席中(ステップS508)において、他のユーザーからの声かけにより、表示部12の表示面121をその声の音源方向に向けて回転移動させる。
(ステップS601)
制御部11は、声かけがあったか否かを判定する。具体的には、上述のように、音源方向推定部113は、音声入出力部14から得られた音声データからテキスト変換を行い、変換後のテキストと、リモートユーザー40の氏名、あだ名等の称呼情報とのマッチングにより行う。所定のスコア以上の類似度を示す場合には、声かけがあったと判定し(YES)、処理をステップS602に進める。
(ステップS602)
ドローン10が移動中(S504)であれば、制御部11は、飛行を停止させホバリング飛行にする。
(ステップS603)
次に、音源方向推定部113は、複数のマイクから得られた音声データの音強度の比較から声かけを行ったユーザーの向き、すなわち音源方向を推定する。
(ステップS604)
制御部11は、音源方向にドローン10の正面、すなわち表示部12の表示面121が向くように回転させる。
(ステップS605)
リモートユーザー40の向き直り指示、または所定時間が経過すれば、処理をステップS606に進める。
(ステップS606)
元の向きに向き直り、それまでの動作を継続する。移動中であれば、目的地に向けての移動を再開し、以降の処理(ステップS505)を行う。
このように第1の変形例では、リモートユーザー40への声かけがあった場合にその方向に向き直るので、遠隔地のユーザー(リモートユーザー)とオフィス内のユーザーとが、より普段の感覚で、違和感なくコミュニケーションを取ることができる。
(第2の変形例)
次に図11のシーケンスチャートを参照し、第2の変形例について説明する。第2の変形例においては、以下に説明するように移動中(図7のステップS504)において、他のユーザーとすれ違った場合に、ユーザーに対して会釈動作を実行させる。
(ステップS701)
ドローン10は、目的地へ移動する。この処理は、ステップS504に対応する。移動中においては、撮影部13により撮影した映像を、管理サーバー20に送る。管理サーバー20はこの映像をリモートユーザー40の端末装置30に転送する。
(ステップS702)
管理サーバー20の制御部21は、ステップS701で取得した映像を画像認識処理する。そして制御部21は、画像認識処理により、前方に存在する物体(人物)を認識する。この画像認識処理は、公知の技術、例えば、背景差分法やオプティカルフロー処理を適用できる。これらは連続したフレーム(映像)間の差分を検出し、その画像内の物体を認識する。また、管理サーバー20の制御部21は、物体(人物)を認識した場合に、その顔画像を、予め記憶部24に記憶している、オフィスで勤務するユーザーの顔の特徴情報とマッチングし、所定のスコア以上の類似度を示す場合には、特定のユーザーであると認識できる。なお、このユーザーの特定には、この画像認識処理に替えて、あるいはこれとともにユーザーが所持する位置デバイス(RFIDタグ、スマートフォン等)により行うようにしてもよい。
(ステップS703)
管理サーバー20の制御部21は、ステップS702で認識したユーザーの属性情報を記憶部24から取得する。例えばこの属性情報には、職級の情報が含まれる。
(ステップS704)
管理サーバー20の制御部21は、ドローン10を利用しているリモートユーザーの属性情報と、ステップS703で取得したすれ違ったユーザーの属性情報を比較する。例えば、リモートユーザー40と、ステップS703で取得したすれ違ったユーザーの職級同士を比較し、リモートユーザー40の職級よりも、すれ違ったユーザーの職級が上位であれば会釈条件を満たすと判定する。この比較する属性情報としては、職級だけではなく、年齢であってもよい。
(ステップS705)
制御部21は、会釈条件を満たす場合(YES)には、処理をステップS706に進める。
(ステップS706)
管理サーバー20は、ドローン10に対して会釈動作を指示する。
(ステップS707)
会釈動作の指示を受けたドローン10は、移動を一時停止し、ホバリング飛行にする。また、ドローン10は、会釈動作として、表示部12の表示面121を前方に傾けるチルト動作を行う。このチルト動作は、ドローン10の全体を傾けてもよい。例えば、後方の2つの回転翼101、102の出力を、前方よりも増加させることで前方(正面側)を下げる。あるいは、表示部12にチルト機構を設け、チルト機構により前方に30度程度、傾けるようにしてもよい。
(ステップS708)
ここでは、ドローン10は、通常の会釈と同様にチルト動作を1秒程度行った後に、再び元の状態、すなわち表示面121を垂直に戻してから、目的地への移動を再開する。
このように第2の変形例では、ドローン10が移動中に他のユーザーとすれ違った場合に、ユーザーの属性情報同士を比較し、その結果により会釈動作を行う。このようにすることで、遠隔地のユーザー(リモートユーザー)とオフィス内のユーザーとが、より普段の感覚で自然にコミュニケーションを取ることができる。
なお、第1、第2の変形例を、両方適用してもよく、これらを第2の実施形態の移動走行体に適用してもよい。この場合、第2の実施形態では、会釈動作は、表示部12bにチルト機構を設けることにより実現できる。
(第3の変形例)
次に図12を参照し、第3の変形例について説明する。図12は、1つの席の高さ方向の異なる位置で静止飛行した状態を示す模式図である。管理サーバー20は、記憶部24にあるドローン管理情報を参照することで、同じ会議室が目的地となるドローン10が複数あるか否かを判定する。そのような場合には、それぞれのドローン10にその情報を通知する。各ドローン10は、同じ会議室が目的地になる場合に、他のユーザー座っている場合により、空いている席がなく、1つのドローン10がある1つの席に既に居る場合に、その同じ1つの席に、衝突しないような間隔を空けて上下に重なるように待機する。図12に示す例では、1つの席に、3台のドローン10a、10b、10cが上下に重なるように静止飛行している状態を示している。
以上に説明したテレプレゼンスシステム1000の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な自律移動型の移動走行体、または自律移動型の飛行体が備える構成を排除するものではない。
1000 テレプレゼンスシステム
10、10a、10b、10c ドローン
11 制御部
12 表示部
121 表示面
13 撮影部(正面用)
14 音声入出力部
15 飛行制御部
16 記憶部
17 高度検知部
18 位置検知部
19 無線通信部
101、102、103、104 回転翼
105 本体部
20 管理サーバー
30 端末装置
40 リモートユーザー
51、52 アクセスポイント
60 移動走行体

Claims (30)

  1. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、
    前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた飛行体と、
    前記飛行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記飛行体の飛行高さに関する状態制御を行う、制御部と、
    を備えたテレプレゼンスシステム。
  2. 前記ユーザーは、認証部により認証されたユーザーであり、
    前記制御部は、認証された前記ユーザーの属性情報を取得する請求項1に記載のテレプレゼンスシステム。
  3. 前記目的地は、前記ユーザーのスケジュール情報に基づき設定された目的地であり、
    前記制御部は、前記スケジュール情報で予定された時刻に前記目的地に到達するように前記移動制御を行う、請求項1または請求項に記載のテレプレゼンスシステム。
  4. さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
    前記制御部は、予め定められた忌避領域を避けた移動ルートにより前記目的地までの移動制御を行う、請求項1から請求項のいずれかに記載のテレプレゼンスシステム。
  5. 前記忌避領域は、前記ユーザー毎に設定されている、請求項に記載のテレプレゼンスシステム。
  6. さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
    前記サーバーは、前記ユーザーの前記建物内の動線の情報を用い、該動線の情報に基づいて移動ルートを設定し、
    前記制御部は、前記サーバーが設定した前記移動ルートにより前記目的地までの移動制御を行う、請求項1から請求項のいずれかに記載のテレプレゼンスシステム。
  7. 前記制御部は、前記撮影部の撮影画像により、進行方向前方の人物を認識するとともに、前記ユーザーの属性情報と、前記人物の属性情報との比較結果に基づいて、前記表示部の表示面を傾ける会釈動作を実行させる、請求項1から請求項のいずれかに記載のテレプレゼンスシステム。
  8. 前記制御部は、前記目的地が会議室であった場合、高さ方向の異なる位置で複数の飛行体が静止飛行するように前記移動制御を行う、請求項1に記載のテレプレゼンスシステム。
  9. 前記制御部は、サーバー内に配置され、複数の前記飛行体を管理する、請求項に記載のテレプレゼンスシステム。
  10. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
    前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
    を備え
    前記ユーザーは、認証部により認証されたユーザーであり、
    前記制御部は、認証された前記ユーザーの属性情報を取得する、テレプレゼンスシステム。
  11. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
    前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
    を備え
    前記目的地は、前記ユーザーのスケジュール情報に基づき設定された目的地であり、
    前記制御部は、前記スケジュール情報で予定された時刻に前記目的地に到達するように前記移動制御を行う、テレプレゼンスシステム。
  12. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
    前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
    を備え
    さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
    前記制御部は、予め定められた忌避領域を避けた移動ルートにより前記目的地までの移動制御を行う、テレプレゼンスシステム。
  13. 前記忌避領域は、前記ユーザー毎に設定されている、請求項12に記載のテレプレゼンスシステム。
  14. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
    前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
    を備え
    さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
    前記サーバーは、前記ユーザーの前記建物内の動線の情報を用い、該動線の情報に基づいて移動ルートを設定し、
    前記制御部は、前記サーバーが設定した前記移動ルートにより前記目的地までの移動制御を行う、テレプレゼンスシステム。
  15. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
    前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
    マイクと、
    スピーカーと、を備え
    前記マイクは、複数であり、
    前記制御部は、前記マイクの音声を音声認識し、前記ユーザーへの声かけと判定した場合、前記声かけの発声が行われた方向に、前記表示部の表示面を向けるように、前記移動制御を行う、テレプレゼンスシステム。
  16. 遠隔地のユーザーが操作する端末とネットワークを通じて通信する通信部を備えるとともに、前記ユーザーに対応する画像を表示する表示部、および撮影部の少なくとも一方を備えた移動走行体と、
    前記移動走行体の目的地までの移動に関する移動制御を行うとともに、前記ユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部、および/または前記撮影部の高さに関する状態制御を行う、制御部と、
    を備え
    前記制御部は、前記撮影部の撮影画像により、進行方向前方の人物を認識するとともに、前記ユーザーの属性情報と、前記人物の属性情報との比較結果に基づいて、前記表示部の表示面を傾ける会釈動作を実行させる、テレプレゼンスシステム。
  17. さらに、マイクと、スピーカーと、を備える請求項1から請求項14、および請求項16のいずれかに記載のテレプレゼンスシステム。
  18. 前記マイクは、複数であり、
    前記制御部は、前記マイクの音声を音声認識し、前記ユーザーへの声かけと判定した場合、前記声かけの発声が行われた方向に、前記表示部の表示面を向けるように、前記移動制御を行う、請求項17に記載のテレプレゼンスシステム。
  19. 前記ユーザーの前記属性情報として、身体的特徴を記憶する記憶部を備え、
    前記制御部は、前記記憶部に記憶された前記身体的特徴の情報に基づく、前記ユーザーの目線に対応する高さに応じて前記状態制御を行う、請求項1から請求項18のいずれかに記載のテレプレゼンスシステム。
  20. 前記身体的特徴は、前記ユーザーの身長、目線の高さ、座高の少なくとも一つを含む、請求項19に記載のテレプレゼンスシステム。
  21. 前記制御部は、前記ユーザーの属性情報に基づいて、前記状態制御として、前記表示部、および/または前記撮影部を、前記ユーザーの目線高さに対応する高さに設定する、請求項1から請求項20のいずれかに記載のテレプレゼンスシステム。
  22. 前記目線高さは、前記ユーザーが直立したときの目線の高さ、または前記ユーザーが座ったときの目線の高さである、請求項21に記載のテレプレゼンスシステム。
  23. 前記表示部には、前記ユーザーに対応する画像として、前記ユーザーを撮影した画像、または前記ユーザーのアバター画像を表示する、請求項1から請求項22のいずれかに記載のテレプレゼンスシステム。
  24. 表示部、および撮影部の少なくとも一方を備えた飛行体を制御する飛行体制御プログラムであって、
    前記飛行体の目的地までの移動に関する移動制御と、
    遠隔地で前記飛行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記飛行体の飛行高さに関する状態制御と、を含む処理をコンピューターに実行させるための飛行体制御プログラム。
  25. 表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
    前記移動走行体の目的地までの移動に関する移動制御と、
    遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
    前記ユーザーは、認証部により認証されたユーザーであり、前記状態制御では、認証された前記ユーザーの属性情報を取得する、処理をコンピューターに実行させるための移動走行体制御プログラム。
  26. 表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
    前記移動走行体の目的地までの移動に関する移動制御と、
    遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
    前記目的地は、前記ユーザーのスケジュール情報に基づき設定された目的地であり、
    前記スケジュール情報で予定された時刻に前記目的地に到達するように前記移動制御を行う、処理をコンピューターに実行させるための移動走行体制御プログラム。
  27. 表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
    前記移動走行体の目的地までの移動に関する移動制御と、
    遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
    さらに、前記目的地が含まれる建物に関する地理的情報を管理するサーバーを備え、
    前記移動制御では、前記目的地が含まれる建物に関する地理的情報を管理するサーバーから取得した、予め定められた忌避領域を避けた移動ルートにより前記目的地までの移動制御を行う、処理をコンピューターに実行させるための移動走行体制御プログラム。
  28. 表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
    前記移動走行体の目的地までの移動に関する移動制御と、
    遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、を含み、
    前記目的地が含まれる建物に関する地理的情報を管理するサーバーであって、前記ユーザーの前記建物内の動線の情報を用い、該動線の情報に基づいて移動ルートを設定するサーバーから、移動ルートを取得し、
    前記移動制御では、前記サーバーが設定した前記移動ルートにより前記目的地までの移動制御を行う、処理をコンピューターに実行させるための移動走行体制御プログラム。
  29. 表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
    前記移動走行体は、複数のマイクと、スピーカーを備え、
    前記移動走行体の目的地までの移動に関する移動制御と、
    遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、
    前記マイクの音声を音声認識し、前記ユーザーへの声かけと判定する判定制御と、を含み、
    声かけと判定した場合、前記移動制御では、前記声かけの発声が行われた方向に、前記表示部の表示面を向ける、処理をコンピューターに実行させるための移動走行体制御プログラム。
  30. 表示部、および撮影部の少なくとも一方を備えた移動走行体を制御する移動走行体制御プログラムであって、
    前記移動走行体の目的地までの移動に関する移動制御と、
    遠隔地で前記移動走行体を操作するユーザーの属性情報を取得し、取得した属性情報に基づいて前記表示部と前記撮影部の少なくとも一方の高さに関する状態制御と、
    前記撮影部の撮影画像により、進行方向前方の人物を認識するとともに、前記ユーザーの属性情報と、前記人物の属性情報との比較結果に基づいて、前記表示部の表示面を傾ける会釈動作を実行させる会釈制御と、
    を含む処理をコンピューターに実行させるための移動走行体制御プログラム。
JP2019226456A 2019-12-16 2019-12-16 テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム Active JP7415529B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019226456A JP7415529B2 (ja) 2019-12-16 2019-12-16 テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019226456A JP7415529B2 (ja) 2019-12-16 2019-12-16 テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム

Publications (2)

Publication Number Publication Date
JP2021096576A JP2021096576A (ja) 2021-06-24
JP7415529B2 true JP7415529B2 (ja) 2024-01-17

Family

ID=76432021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019226456A Active JP7415529B2 (ja) 2019-12-16 2019-12-16 テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム

Country Status (1)

Country Link
JP (1) JP7415529B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040088078A1 (en) 2002-10-31 2004-05-06 Jouppi Norman Paul Telepresence system with automatic user-surrogate heigh matching
US20070064092A1 (en) 2005-09-09 2007-03-22 Sandbeg Roy B Mobile video teleconferencing system and control method
US20150313367A1 (en) 2014-05-02 2015-11-05 Steelcase Inc. Office system telepresence arrangement
US9794516B1 (en) 2016-11-16 2017-10-17 Raja Singh Tuli Telepresence system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040088078A1 (en) 2002-10-31 2004-05-06 Jouppi Norman Paul Telepresence system with automatic user-surrogate heigh matching
US20070064092A1 (en) 2005-09-09 2007-03-22 Sandbeg Roy B Mobile video teleconferencing system and control method
US20150313367A1 (en) 2014-05-02 2015-11-05 Steelcase Inc. Office system telepresence arrangement
US9794516B1 (en) 2016-11-16 2017-10-17 Raja Singh Tuli Telepresence system

Also Published As

Publication number Publication date
JP2021096576A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
CN107577229B (zh) 移动机器人、移动控制系统以及移动控制方法
US11040774B2 (en) Drone authentication system
EP3258336B1 (en) Robot control system and a program
US9554091B1 (en) Identifying conference participants and active talkers at a video conference endpoint using user devices
JP7056055B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2018067785A (ja) コミュニケーションロボットシステム
US20160311646A1 (en) Elevator control system
US11697211B2 (en) Mobile robot operation method and mobile robot
US10397750B2 (en) Method, controller, telepresence robot, and storage medium for controlling communications between first communication device and second communication devices
WO2020048441A1 (zh) 通信连接方法、终端设备及无线通信系统
US20170201715A1 (en) Information processing device, information processing method, and terminal device
WO2019140686A1 (zh) 跟随控制方法、控制终端及无人机
US11792363B2 (en) Teleconferencing device
JP6934623B2 (ja) 通信制御方法、テレプレゼンスロボット、及び通信制御プログラム
US11467572B2 (en) Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
JP6508770B2 (ja) 移動型プロジェクション装置
TWI802115B (zh) 無人機的控制裝置及其控制方法
JP7415529B2 (ja) テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム
JP6456770B2 (ja) 移動型プロジェクションシステム及び移動型プロジェクション方法
US11766779B2 (en) Mobile robot for recognizing queue and operating method of mobile robot
JP6687954B2 (ja) 移動型プロジェクション装置及びプロジェクションシステム
JP6607624B2 (ja) 移動型プロジェクションシステム及び移動型プロジェクタ装置
WO2021075138A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11486712B2 (en) Providing video of space to calibrate user location relative to desired destination
WO2020213170A1 (ja) 情報表示装置および行動予定表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7415529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150