WO2021230364A1 - 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム - Google Patents

Abstract

複雑な映像処理を行うことなくＶＲ酔いを低減する。表示部に接続されるユーザ装置からネットワークを介して送られる制御信号により動作し、かつ姿勢を変化させることが可能な可動部を備える遠隔作業装置において、前記可動部に設置されたカメラから当該カメラにより得られる映像データを取得する映像データ取得部と、動きセンサから前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、取得された前記映像データおよび前記動き検出データを、前記ネットワークを介して前記ユーザ装置へ送信するデータ送信部とを具備する。

Description

遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム

　この発明の実施形態は、例えば、ユーザ装置が遠隔地に配置された遠隔作業装置をネットワークを介して制御する遠隔制御システムと、このシステムで使用される遠隔作業装置、映像処理装置およびプログラムに関する。

　ユーザが、表示装置に表示される映像を見ながら、遠隔地にある作業装置をネットワークを介して遠隔制御するシステムが開発されている。この種のシステムは、例えば、ユーザの頭部にヘッドマウントディスプレイ（Head Mount Display：ＨＭＤ）（以後ヘッドセットとも称する）を装着する。そしてユーザが、遠隔地に存在するロボットが撮像した映像をヘッドセットにより見ながら自身の体を動かすかまたはコントローラを操作することで、上記ロボットの動きを遠隔制御するように構成されている。

　ところで、この種のシステムでは、例えば、拡張現実（Augmented Reality；ＡＲ）の技術または仮想現実（Virtual Reality：ＶＲ）の技術を用いて、ロボットから送られる映像をもとにＡＲ映像またはＶＲ映像を生成し、ヘッドセットに表示するようにしている。また、その際、ユーザが自身の体の動きまたはコントローラの操作に追従して表示映像が変化するいわゆるトラッキング制御を行っている。この結果、ユーザは操作中に高い没入感を得ることができる。

　しかし、ＡＲ映像またはＶＲ映像の生成から表示までに描画遅延（Latency）がある。描画遅延（Latency）には、遠隔地のロボットで生成された映像がネットワークを介してヘッドセット側の装置に伝送される際の伝送遅延が含まれる。しかも、この伝送遅延は一定ではなく、例えばネットワークの混雑の度合いや各装置のプロセッサの負荷変動により遅延量が変化する。このため、ユーザが体を動かすかまたはコントローラを操作してから、それに応じた映像がヘッドセットに表示されるまでの間に時間的なずれが発生し、これが原因となってユーザは酔ったような感覚、いわゆる「ＶＲ酔い（Virtual Reality Sickness）」等と呼ばれる）に陥ることがある。このＶＲ酔いは、遅延量が一定の場合でも発生するが、特に、上記伝送遅延の遅延量が時間変動を起こすいわゆるジッタを含んでいる場合に、顕著に現れる。

　そこで、上記ユーザの動きまたはコントローラの操作時点からそれに応じて映像が表示されるまでの時間ずれの影響を低減するために、例えばヘッドセット側の装置で映像に対しリプロジェクション処理を行う技術が提案されている（例えば特許文献１を参照）。

日本国特開２０１９－１０６６２８号公報

　ところが、リプロジェクション処理では、例えば以下のような処理が行われる。その一つは、映像の生成時点におけるユーザの視点位置と視線方向を前提に生成された映像を、映像表示時点における視点位置および視線方向を用いて補正することで、映像生成から表示までの時間差を吸収する。また、他の処理は、ストリーム配信において、ビデオストリームが時間通りに到着しないエラーが発生した場合に、前回の復号映像を再利用してヘッドセットの最新の位置・姿勢に合うように前回の復号映像に対してリプロジェクション処理を施すことで、通信遅延に対処する。すなわち、リプロジェクション処理は、ヘッドセット側の装置において複雑な映像処理を行って表示映像を補正するものとなっている。このため、ヘッドセット側の装置ではリプロジェクション処理によるプロセッサの処理負荷が非常に大きくなり、高性能のプロセッサが必要となって装置が高価になる場合がある。

　この発明は上記事情に着目してなされたもので、一側面では、複雑な映像処理を行うことなくＶＲ酔いを低減する技術を提供しようとするものである。

　上記課題を解決するためにこの発明の第１の態様は、表示部に接続されるユーザ装置と、前記ユーザ装置からネットワークを介して送られる制御信号により動作する遠隔作業装置とを具備する遠隔制御システムにあって、前記遠隔作業装置には、姿勢を変化させることが可能な可動部と、前記可動部に設置されたカメラから当該カメラにより得られる映像データを取得する映像データ取得部と、動きセンサから前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、取得された前記映像データおよび前記動き検出データを前記ネットワークを介して前記ユーザ装置へ送信するデータ送信部とを備える。一方、前記ユーザ装置には、前記遠隔作業装置から送信された前記映像データおよび前記動き検出データを前記ネットワークを介して受信するデータ受信部と、受信された前記動き検出データに基づいて、前記可動部の前記姿勢が変化している期間を判定する判定部と、前記判定部の判定結果に基づいて、前記可動部の姿勢が変化している期間に受信された前記映像データに対し没入感を低下させる処理を行う映像処理部と、前記没入感を低下させる処理が行われた後のデータを前記表示部へ出力する出力部とを備えるようにしたものである。

　この発明の第２の態様は、表示部に接続されるユーザ装置からネットワークを介して送られる制御信号により動作し、かつ姿勢を変化させることが可能な可動部を備える遠隔作業装置にあって、前記可動部に設置されたカメラから当該カメラにより得られる映像データを取得する映像データ取得部と、動きセンサから前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、取得された前記映像データおよび前記動き検出データを、前記ネットワークを介して前記ユーザ装置へ送信するデータ送信部とを具備するようにしたものである。

　この発明の第３の態様は、表示部に接続されるユーザ装置と、前記ユーザ装置からネットワークを介して送られる制御信号により動作し、かつ姿勢を変化させることが可能な可動部を備える遠隔作業装置とのうちの、いずれか一方に設けられる映像処理装置にあって、前記可動部に設置されたカメラにより得られる映像データを取得する映像データ取得部と、動きセンサにより得られる、前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、取得された前記動き検出データに基づいて、前記可動部の前記姿勢が変化している期間を判定する判定部と、前記判定部の判定結果に基づいて、前記可動部の姿勢が変化している期間に取得された前記映像データに対し没入感を低下させる処理を行う映像処理部と、前記没入感を低下させる処理が行われた後のデータを前記表示部へ出力する出力部とを具備するようにしたものである。

　この発明の第１の態様によれば、遠隔作業装置において取得された映像データと、遠隔作業装置の姿勢の変化を表す動き検出データが、ネットワークを介して遠隔作業装置からユーザ装置へ送信される。これに対しユーザ装置においては、上記動き検出データをもとに上記遠隔作業装置の姿勢の変化が変化している期間が判定され、この期間に上記遠隔作業装置から受信された映像データに対し没入感を低下させる処理が行われ、その処理後のデータが表示部へ出力され、表示される。このため、遠隔作業装置から送られる映像データに伝送遅延があっても、またユーザ装置による表示処理動作に描画遅延があっても、その影響によりユーザがＶＲ酔いを起こす不具合は軽減される。

　この発明の第２の態様によれば、遠隔作業装置おいて、動き検出データをもとに遠隔作業装置が動いている期間が判定され、遠隔作業装置の姿勢の変化が変化している期間にカメラにより得られた映像データに対し没入感を低下させる処理が行われる。そして、この没入感の低下処理がなされたデータが、遠隔作業装置からユーザ装置へ送信される。

　従って、遠隔作業装置が動いている期間には、没入感が低下するように処理が施された映像データが遠隔作業装置からユーザ装置へ送信されて、表示部に表示されることになる。このため、遠隔作業装置から送信される映像データに伝送遅延があっても、またユーザ装置または表示部において映像表示処理の描画遅延があっても、その影響によりユーザがＶＲ酔いを起こす不具合は軽減される。

　また第２の態様によれば、遠隔作業装置において映像に対し没入感を低下させる処理が行われるので、ユーザ装置の処理負荷を軽減することができ、また没入感を低下させるための処理機能を持たない汎用のユーザ装置を使用することが可能となる。

　この発明の第３の態様によれば、遠隔作業装置またはユーザ装置のいずれかにおいて、遠隔作業装置の姿勢の変化が変化している期間に得られた映像データに対し、没入感を低下させるための処理が行われ、その処理後のデータがユーザ装置から表示部へ出力される。このため、遠隔作業装置から送信される映像データに伝送遅延があっても、またユーザ装置または表示部において映像表示処理の描画遅延があっても、その影響によりユーザがＶＲ酔いを起こす不具合は軽減される。

　すなわちこの発明の各態様によれば、複雑な映像処理を行うことなくＶＲ酔いを低減する技術を提供することができる。

図１は、この発明の第１の実施形態に係る遠隔制御システムの全体構成を示す図である。 図２は、図１に示した遠隔制御システムにおいて遠隔作業装置として使用されるロボットのハードウェア構成を示すブロック図である。 図３は、図１に示した遠隔制御システムにおいてユーザが装着するヘッドマウントディスプレイのハードウェア構成を示すブロック図である。 図４は、図１に示した遠隔制御システムにおいてユーザ装置として使用される情報処理装置のハードウェア構成を示すブロック図である。 図５は、図１に示した遠隔制御システムにおいてユーザ装置として使用される情報処理装置のソフトウェア構成を示すブロック図である。 図６は、図５に示した情報処理装置の処理手順と処理内容を示すフローチャートである。 図７は、この発明の第２の実施形態に係る遠隔制御システムにおいて遠隔作業装置として使用されるロボットのソフトウェア構成を示すブロック図である。 図８は、図７に示したロボットによる処理手順と処理内容を示すフローチャートである。

　以下、図面を参照してこの発明に係わるいくつかの実施形態を説明する。

　［第１の実施形態］
　（構成例）
　（１）システム
　図１は、この発明の第１の実施形態に係る遠隔制御システムの全体構成を示す図である。

　第１の実施形態に係る遠隔制御システムは、ヘッドマウントディスプレイ（ＨＭＤ）１と、ユーザ装置として動作する情報処理装置２と、上記情報処理装置２との間でネットワーク４を介して通信が可能な遠隔作業装置３とを備えている。なお、ここではユーザ装置が情報処理装置２のみを含む場合を例にとって説明するが、ユーザ装置は情報処理装置２とＨＭＤ１の両方を含んでいてもよい。

　ネットワーク４は、例えばインターネット等の公衆ＩＰ（Internet Protocol）網と、当該公衆ＩＰ網にアクセスするためのアクセス網とからなり、アクセス網にはＬＡＮ（Local Area Network）、無線ＬＡＮ、公衆有線ネットワーク、公衆移動通信ネットワーク、ＣＡＴＶ（Cable Television）ネットワークが用いられる。

　（２）装置
　（２－１）遠隔作業装置３
　遠隔作業装置３は、例えば遠隔地で動作する人型のロボットからなる。なお、遠隔作業装置３を以後ロボットとも呼ぶ。ロボット３Ａは、胴体部、頭部、腕部および脚部からなり、頭部、腕部および脚部はそれぞれサーボ機構を備える駆動部により所定の可動範囲内で動作し、これにより姿勢が種々変化するように構成されている。

　ロボット３Ａの頭部前面部、つまり顔に相当する部位には、撮像デバイスとしてのカメラ３４が設置されている。またロボット３Ａの頭部内にはその動きを検出するために動きセンサが設けられている。なお、ロボット３Ａの側頭部に相当する部位にはマイクロフォン３６も設置されている。

　図２は、ロボット３Ａのハードウェア構成を示すブロック図である。　
　ロボット３Ａは、例えば制御部３１を備える。制御部３１は、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する。この制御部３１には、記憶部３２と、センサインタフェース（センサＩ／Ｆ）３３と、駆動インタフェース（駆動Ｉ／Ｆ）３７と、通信インタフェース（通信Ｉ／Ｆ）３９が、バス３０を介して接続されている。

　記憶部３２は、記憶媒体として例えばSolid State Drive（ＳＳＤ）等の随時書込みおよび読出しが可能な不揮発性メモリを用いたもので、プログラム記憶領域とデータ記憶領域とを有する。プログラム記憶領域には、ロボット３Ａの動作を実現するための各種アプリケーション・プログラムが格納される。データ記憶領域は、ロボット３Ａの動作過程で取得或いは生成された各種データを保存するために用いられる。なお、記憶媒体としては、他にRead Only Memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）等を併用することも可能である。

　センサＩ／Ｆ３３には、上記カメラ３４、動きセンサ３５およびマイクロフォン３６が接続される。カメラ３４は、例えば二眼カメラからなり、ロボット３Ａの前方向を所定の視野角（例えば１３０度）の範囲で撮像し、得られた立体映像データをセンサＩ／Ｆ３３へ出力する。動きセンサ３５は、例えば６軸の加速度センサからなり、ロボット３Ａの頭部の６軸方向の動きを検出してその検出データをセンサＩ／Ｆ３３へ出力する。なお、マイクロフォン３６は、ロボット３Ａの周囲の音を検出し、得られた音声データをセンサＩ／Ｆ３３へ出力する。

　駆動Ｉ／Ｆ３７には、上記頭部、腕部および脚部を駆動するための駆動部３８が接続される。駆動Ｉ／Ｆ３７は、制御部３１から出力される制御信号を駆動信号に変換し、変換された駆動信号を駆動部３８へ出力して駆動部３８を動作させる。

　通信Ｉ／Ｆ３９は、例えば、無線ＬＡＮ、近距離無線データ通信規格（例えばBluetooth（登録商標））、または公衆移動通信ネットワークに対応したインタフェースを備え、ネットワーク４を介して情報処理装置２との間でデータ伝送を行う。なお、通信Ｉ／Ｆ３０は、公衆有線網や有線ＬＡＮ、ＣＡＴＶネットワーク等の有線網に対応するインタフェースを備えていてもよい。

　制御部３１は、情報処理装置２から送られる遠隔制御信号に従い駆動部３８を動作させて、上記ロボット３Ａの頭部、腕部および脚部の姿勢を変化させる。制御対象となる動作としては、例えば、頭部をパン方向またはチルト方向等へそれぞれ回動させることで、カメラ３４による撮像方向を可変制御する。また、脚部を駆動することで、ロボット３Ａを前後方向または左右方向に歩行動作させるか、もしくは上下方向に屈伸動作させるといった種々の動作が想定される。なお、遠隔作業装置は人型のロボット３Ａ以外に、例えば産業用ロボットや単に監視カメラが設置された架台であってもよい。

　また制御部３１は、上記カメラ３４により得られた立体映像データをセンサＩ／Ｆ３３を介して受信する。そして、受信された上記立体映像データを所定のフォーマットに従いパケットデータ化し、このパケットデータを通信Ｉ／Ｆ３９から情報処理装置２に向け送信する処理を行う。なお、その際、マイクロフォン３６により検出された音声データを上記立体映像データに多重化して送信することも可能である。

　さらに制御部３１は、上記動きセンサ３５により検出された頭部の姿勢の変化を表すデータをセンサＩ／Ｆ３３を介して受信する。そして、受信された上記検出データに検出時刻を表す時刻データを付与して動き検出データを生成し、この動き検出データを通信Ｉ／Ｆ３９から情報処理装置２に向け送信する処理を行う。上記時刻データは、後述する情報処理装置２において上記立体映像データを表示する際に、当該立体映像に対するユーザの没入感を制御するために使用される。

　（２－２）ヘッドマウントディスプレイ（ＨＭＤ）１
　ＨＭＤ１は、例えばゴーグル型をなし、ユーザの頭部に着脱自在に装着される。図３は、ＨＭＤ１のハードウェア構成を示すブロック図である。

　ＨＭＤ１は、例えばＣＰＵを有する制御部１１に対し、記憶部１２と、表示インタフェース（表示Ｉ／Ｆ）１３と、センサインタフェース（センサＩ／Ｆ）１５と、通信インタフェース（通信Ｉ／Ｆ）１７を、バス１０を介して接続したものとなっている。なお、上記制御部１１には、他に、各種スイッチやマイクロフォン、スピーカ、カメラ、位置センサ等のデバイスが接続されてもよい。

　記憶部１２は、記憶媒体として例えばＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリを用いたもので、プログラム記憶領域とデータ記憶領域とを有する。プログラム記憶領域には、ＨＭＤ１の動作を実現するための各種アプリケーション・プログラムが格納される。データ記憶領域は、ＨＭＤ１の動作過程で取得或いは生成された各種データを保存するために用いられる。なお、記憶媒体としては、他にＲＯＭやＲＡＭ等を併用することも可能である。

　表示Ｉ／Ｆ１３には表示部１４が接続される。表示部１４は、例えば、有機ＥＬ（Electro Luminescence）ディスプレイからなる表示パネルを、仮想現実（Virtual Reality：ＶＲ）表示に対応するためにユーザの左右の眼に対応して２枚備える。なお、表示パネルは１枚であってもよい。また表示部１４は、有機ＥＬディスプレイに限られるものではなく、例えば液晶ディスプレイ（Liquid Cristal Display：ＬＣＤ）や７セグメントを用いた表示器等の、他のタイプの表示器であってもよい。表示Ｉ／Ｆ１３は、後述する情報処理装置２により生成された映像データを表示部１４に表示させる。

　センサＩ／Ｆ１５には、動きセンサ１６が接続される。動きセンサ１６は、例えば６軸の角速度センサ（ジャイロセンサ）からなり、ＨＭＤ１の動き、つまりユーザの頭部の動きを検出するために使用される。なお、検出対象となる頭部の動きは、例えば６軸方向の動きであることが好ましいが、パンおよびチルトの２軸方向の動きだけでもよい。センサＩ／Ｆ１５は、上記動きセンサ１６の出力信号をもとに、ユーザの頭部の動きを表す動きデータを生成する。

　なお、センサＩ／Ｆ１５には、上記動きセンサ１６の他に、磁気センサ、加速度センサ、位置センサ、赤外センサ、輝度センサ、近接センサ、カメラ等が接続されてもよい。またセンサＩ／Ｆ１５には、ユーザの頭部の動きのほか、ユーザの視線の動きを検出するためのセンサが接続されてもよい。ユーザの視線の動きは、例えばユーザの眼球を撮像するカメラを用いることで検出可能である。

　通信Ｉ／Ｆ１７には、例えばUniversal Serial Bus（ＵＳＢ）ケーブル等の信号ケーブルを使用した有線インタフェースが用いられる。そして通信Ｉ／Ｆ１７は、制御部１１の制御の下、情報処理装置２から送信される映像データを受信すると共に、上記センサＩ／Ｆ１５により生成された動きデータ等を情報処理装置２へ転送する。なお、通信Ｉ／Ｆ１７には、近距離無線データ通信規格（例えばBluetooth（登録商標））が使用されてもよい。

　なお、この例では、ＨＭＤ１として制御部１１および記憶部１２を備えた多機能型のデバイスを例にとって説明している。しかし、ＨＭＤ１は、表示部１４、表示Ｉ／Ｆ１３、動きセンサ１６およびセンサＩ／Ｆ１５のみを有する標準型または簡易型のデバイスであってもよい。

　（２－３）情報処理装置２
　図４および図５は、それぞれユーザ装置として使用される情報処理装置２のハードウェアおよびソフトウェアの構成を示すブロック図である。

　情報処理装置２は、例えばスマートフォンやタブレット型端末等の携帯情報端末、またはノート型もしくは据え置き型のパーソナルコンピュータにより構成される。情報処理装置２は、ＣＰＵ等のハードウェアプロセッサを有する制御部２１に、バス２０を介して記憶部２２、入出力インタフェース（入出力Ｉ／Ｆ）２３および通信インタフェース（通信Ｉ／Ｆ）２４を接続したものとなっている。

　入出力Ｉ／Ｆ２３には、上記ＵＳＢケーブルまたは無線インタフェースを介して上記ＨＭＤ１が接続される。また入出力Ｉ／Ｆ２３には、コントローラ等の操作部２５６が接続される。操作部２５は、ユーザがロボット３Ａの動作を制御する際に、その制御対象部位、制御方向および制御量を入力するために使用される。

　通信Ｉ／Ｆ２４は、例えば、無線ＬＡＮ、近距離無線データ通信規格（例えばBluetooth（登録商標））または公衆移動通信ネットワークに対応したインタフェースを備え、ネットワーク４を介してロボット３Ａとの間でデータ伝送を行う。なお、通信Ｉ／Ｆ２４は、公衆有線網や有線ＬＡＮ、ＣＡＴＶネットワーク等の有線網に対応するインタフェースを備えていてもよい。

　記憶部２２は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせて構成される。その記憶領域には、プログラム記憶領域と、データ記憶領域とが設けられる。プログラム記憶領域には、ＯＳ等のミドルウェアに加えて、この発明の第１の実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムが格納される。

　データ記憶領域には、映像コンテンツ記憶部２２１が設けられている。映像コンテンツ記憶部２２１は、ロボット３Ａから送信される立体映像データを表示させる際に、当該立体映像データに対し所定の処理を行うためのバッファメモリとして使用される。

　制御部２１は、この発明の第１の実施形態を実現するための制御処理機能として、操作データ取得部２１１と、動き制御データ生成部２１２と、遠隔制御信号送信部２１３と、映像コンテンツ受信部２１４と、映像処理部２１５と、映像表示制御部２１６とを備えている。これらの制御処理機能は、いずれも上記記憶部２２内のプログラム記憶領域に格納されたアプリケーション・プログラムを制御部２１のハードウェアプロセッサに実行させることにより実現される。

　操作データ取得部２１１は、操作部２５において入力された操作データを入出力Ｉ／Ｆ２３を介して受信する。またそれと共に、ＨＭＤ１の動きセンサ１６により得られた動き検出データを入出力Ｉ／Ｆ２３を介して受信する。そして操作データ取得部２１１は、受信された上記操作データおよび動き検出データを動き制御データ生成部２１２に渡す。

　動き制御データ生成部２１２は、上記操作データおよび動き検出データをもとに、ロボット３Ａの動きを制御するための動き制御データを生成する。動き制御データには、ロボット３Ａの制御対象部位、制御方向および制御量を表す情報が含まれる。

　遠隔制御信号送信部２１３は、上記動き制御データ生成部２１２により生成された上記動き制御データを含む遠隔制御信号を、通信Ｉ／Ｆ２４からロボット３Ａへ向け送信する処理を行う。

　映像コンテンツ受信部２１４は、ロボット３Ａからネットワーク４を介して送られる映像コンテンツ、つまり立体映像データを通信Ｉ／Ｆ２４を介して受信する。そして、受信された立体映像データをデパケットおよび復号処理したのち、映像コンテンツ記憶部２２１に保存させる処理を行う。

　映像処理部２１５は、上記映像コンテンツ記憶部２２１から立体映像データを読み出してＡＲまたはＶＲ表示のための表示データを生成し、生成された表示データを入出力Ｉ／Ｆ２３からＨＭＤ１へ出力する。

　映像表示制御部２１６は、ロボット３Ａから送信される動き検出データを通信Ｉ／Ｆ２４を介して受信する。そして、受信された動き検出データをもとにロボット３Ａの頭部の姿勢が変化している期間を判定し、この頭部の姿勢が変化している期間中に、上記映像処理部２１５により生成される表示データに対し没入感を低下させるための処理を行う。

　（動作例）
　次に、以上のように構成された遠隔制御システムの動作例を説明する。図６は情報処理装置２の処理手順と処理内容を示すフローチャートである。

　ユーザが自身の頭部にＨＭＤ１を装着したのち情報処理装置２を起動すると、まずＨＭＤ１の通信Ｉ／Ｆ１７と情報処理装置２の入出力Ｉ／Ｆ２３との間が接続され、さらに情報処理装置２の通信Ｉ／Ｆ２４とロボット３Ａの通信Ｉ／Ｆ３９との間にネットワーク４を介して通信リンクが形成される。

　この状態で、ユーザがロボット３Ａを動作させるために操作部２５を操作する、その操作データが情報処理装置２に入力される。なお、ユーザが自身の頭を動かした場合にも、その動きが動きセンサ１６により検出されて情報処理装置２入力される。情報処理装置２は、操作データ取得部２１１の制御の下、ステップＳ１１により上記操作データおよび動き検出データを取得する。そして情報処理装置２は、動き制御データ生成部２１２の制御の下、ステップＳ１２において、取得された上記各データをもとにロボット３Ａの動きを制御するための動き制御データを生成する。

　例えば、動き制御データ生成部２１２は、操作データからロボット３Ａの制御対象部位とその制御方向および制御量を認識する。一例を述べれば、脚部の前後方向または左右方向の移動量を認識する。また、動き検出データからは、ロボット３Ａの頭部の向きの変化量を認識する。

　情報処理装置２は、遠隔制御信号送信部２１３の制御の下、ステップＳ１３において、上記動き制御データ生成部２１２により生成された動き制御データを含む遠隔制御信号を生成し、生成された上記遠隔制御信号を通信Ｉ／Ｆ２４からロボット３Ａに向け送信する。

　これに対しロボット３Ａは、制御部３１の制御の下、上記情報処理装置２から送信された遠隔制御信号を受信すると、この遠隔制御信号から動き制御データを抽出し、この動き制御データに含まれる制御対象部位、制御方向および制御量を指定する情報に基づいて、駆動Ｉ／Ｆ３７により対応する駆動部３８を動作させる。例えば、制御対象部位が脚部または頭部であれば、これらに対応する駆動部３８を動作させる。この結果ロボット３Ａは、例えば前後方向または左右方向に歩行移動したり、頭部の向きを変化させる。

　またロボット３Ａの制御部３１は、上記脚部または頭部を動作させている状態で、頭部に取り付けられたカメラ３４から立体映像データをセンサＩ／Ｆ３３を介して取り込む。またそれと共に、動きセンサ３５から頭部の動き検出データをセンサＩ／Ｆ３３を介して取り込む。そして、取り込んだ上記映像データおよび動き検出データを通信Ｉ／Ｆ３９から情報処理装置２へ送信する。なお、上記立体映像データには、マイクロフォン３６により検出された音声データを多重化して送信することも可能である。また、上記検出データには、検出時刻を表す時刻データが付与される。

　これに対し情報処理装置２は、上記ロボット３Ａから送信された立体映像データを、映像コンテンツ受信部２１４の制御の下、ステップＳ１４により受信する。このステップＳ１４では、例えば、受信された上記立体映像データをデパケットおよび復号処理したのち、映像コンテンツ記憶部２２１に保存する処理が行われる。そして情報処理装置２は、映像処理部２１５の制御の下、上記映像コンテンツ記憶部２２１から立体映像データを読み出し、読み出された立体映像データに、必要に応じて付加情報等を付加する等の情報付加処理を行って表示データを生成する。そして、生成された表示データを、ステップＳ１８により入出力Ｉ／Ｆ２３からＨＭＤ１へ出力する。この結果、ＨＭＤ１の表示部１４には、ロボット３Ａのカメラ３４により撮像された立体映像がほぼリアルタイムに表示される。

　ところで、上記立体映像の表示処理に際し情報処理装置２は、表示された立体映像に対するユーザの没入感を制御する処理を以下のように実行する。
　すなわち、情報処理装置２は、映像表示制御部２１６の制御の下、ステップＳ１５において、上記ロボット３Ａから送信される動き検出データを受信する。そして、ステップＳ１６において、受信された上記動き検出データをもとにロボット３Ａの頭部が動いている期間、つまり姿勢が変化している期間を判定する。この判定の結果、ロボット３Ａの姿勢が変化している期間が検出されたとする。この場合映像表示制御部２１６は、ステップＳ１７において、上記映像処理部２１５により生成される表示データに対し、検出された上記頭部姿勢が変化している期間にユーザの没入感を低下させる。

　没入感を低下させる処理としては、例えば、上記立体映像の表示を静止させるかまたは消去する処理が考えられる。消去処理としては、例えば表示データを白、黒、グレーまたは所定の色の単一色画像データに置換するものや、記憶部３２に予め記憶しておいた所定の待機画像データに置換するもの等が考えられる。このとき、上記単一色の画像データまたは待機画像データには、ロボット３Ａが動作中である旨のメッセージまたはマーク、アイコン、アバタが重畳されてもよい。

　また、没入感を低下させる別の処理としては、例えば、表示データを半透明または画素密度の粗い状態にしたり、表示データのサイズを縮小してＨＭＤ１の表示部１４の任意の位置に表示させるものも考えられる。この場合、表示データの表示位置は中央部に限らずどの位置でもよい。要するに、表示映像に対するユーザの没入感を低下させることが可能な表示手法であれば、どのような手法を用いてもよい。

　さらには、ロボット３Ａから送られる音声データに置換してまたは重畳して、ロボット３Ａが動作中である旨の音声メッセージまたはメロディや鳴音を、ＨＭＤ１に内蔵されているスピーカから出力させるようにしてもよい。

　（作用・効果）
　以上述べたように第１の実施形態に係わる遠隔制御システムでは、ロボット３Ａにおいて、その頭部、腕部または脚部等の所定の部位の姿勢の変化を動きセンサ３５により検出し、検出された動きを表すデータをカメラ３４により得られた立体映像データと共にネットワーク４を介して情報処理装置２へ送信する。一方、情報処理装置２においては、上記ロボット３Ａから送られた立体映像データを含む表示データをＨＭＤ１へ出力して表示させると共に、同時にロボット３Ａから送られる動き検出データに基づいてロボット３Ａの姿勢が変化している期間を判定し、当該期間に上記表示データに対しユーザが受ける没入感を低下させる処理を行うようにしている。

　従って、ロボット３Ａが動いている期間には、没入感が低下するように処理が施された表示データがＨＭＤ１に供給され、表示されることになる。このため、ロボット３Ａから送られる映像データに伝送遅延があっても、また情報処理装置２またはＨＭＤ１により表示処理動作に描画遅延があっても、その影響によりユーザがＶＲ酔いを起こす不具合は軽減される。

　［第２の実施形態］
　この発明の第２の実施形態は、遠隔作業装置としてのロボットにおいて、動きセンサの検出データをもとにロボットが動作中であるか否かを判定し、ロボットの姿勢が変化している期間にカメラにより得られた映像データに対し没入感を低下させる処理を行う。そして、この没入感の低下処理がなされた映像データを、ロボットからユーザ装置としての情報処理装置へ送信するようにしたものである。

　（構成例）
　図７は、この発明の第２の実施形態に係わる遠隔作業装置としてのロボット３Ｂのソフトウェア構成を示すブロック図である。なお、ロボット３Ｂのハードウェア構成については、図２と同一なので図示を省略する。

　ロボット３Ｂの制御部３１は、この発明の第２の実施形態に係わる制御処理部として、遠隔制御信号受信部３１１と、動き制御データ抽出部３１２と、駆動制御部３１３と、映像データ取得部３１４と、動き検出データ取得部３１５と、映像処理部３１６とを備えている。これらの制御処理部はいずれも、記憶部３２に記憶されたプログラムを上記制御部３１のハードウェアプロセッサに実行させることにより実現される。

　遠隔制御信号受信部３１１は、情報処理装置２から送信された遠隔制御信号を通信Ｉ／Ｆ３９を介して受信し、受信された遠隔制御信号を動き制御データ抽出部３１２に渡す処理を行う。

　動き制御データ抽出部３１２は、上記遠隔制御信号から動き制御データを抽出して駆動制御部３１３に渡す処理を行う。

　駆動制御部３１３は、抽出された上記動き制御データに含まれる制御対象部位を指定する情報に基づいて対応する駆動部３８を選択し、上記動き制御データに含まれる制御方向および制御量を指定する情報に基づいて、上記選択された駆動部３８を駆動するための駆動制御信号を生成する。そして、生成された上記駆動制御信号を駆動Ｉ／Ｆ３７から駆動部３８へ出力する処理を行う。

　映像データ取得部３１４は、カメラ３４により撮像された立体映像データをセンサＩ／Ｆ３３を介して受信し、後述する映像処理のために映像データ記憶部３２１に一時保存させる処理を行う。

　動き検出データ取得部３１５は、動きセンサ３５により検出されるロボット３Ｂの頭部の動きを表すデータをセンサＩ／Ｆ３３を介して取り込む。そして、取り込んだ上記動き検出データをもとにロボット３Ｂの頭部の姿勢が変化している期間を判定し、その判定結果を示す情報を映像処理部３１６に通知する処理を行う。

　映像処理部３１６は、上記動き検出データ取得部３１５から通知された判定結果を示す情報に従い、頭部の姿勢が変化していない期間には、映像データ記憶部３２１に保存されている立体映像データをそのまま通信Ｉ／Ｆ３９から情報処理装置２へ送信する処理を行う。一方、頭部の姿勢が変化している期間には、映像処理部３１６は、映像データ記憶部３２１に保存されている立体映像データに対し没入感を低下させる処理を施し、その処理後のデータを通信Ｉ／Ｆ３９から情報処理装置２へ送信する処理を行う。

　（動作例）
　次に、以上のように構成されたロボット３Ｂの動作を説明する。図８はその制御処理の手順と処理内容を示すフローチャートである。

　情報処理装置２から、動き制御データを含む遠隔制御信号が送られると、ロボット３Ｂは、遠隔制御信号受信部３１１の制御の下、ステップＳ２１により、上記遠隔制御信号を通信Ｉ／Ｆ３９を介して受信する。そして、動き制御データ抽出部３１２の制御の下で、ステップＳ２２により上記遠隔制御信号から動き制御データを抽出する。

　次にロボット３Ｂは、駆動制御部３１３の制御の下、ステップＳ２３において、上記動き制御データに含まれる制御対象部位を指定する情報に基づいて対応する駆動部３８を選択する。そして、上記動き制御データに含まれる制御方向および制御量を指定する情報に基づいて、上記選択された駆動部３８を駆動するための駆動制御信号を生成し、生成された上記駆動制御信号を駆動Ｉ／Ｆ３７から駆動部３８へ出力する。この結果、駆動部３８が駆動され対応する部位が動作する。

　例えば、制御対象部位が脚部であれば、それに対応する駆動部３８が駆動され、ロボット３Ｂは例えば前後方向に歩行動作する。また、制御対象部位が頭部であれば、それに対応する駆動部３８が駆動され、頭部の向きがパン方向またはチルト方向に変化する。

　一方、上記脚部または頭部が動作している状態で、ロボット３Ｂの制御部３１は、映像データ取得部３１４の制御の下、ステップＳ２４において、頭部に取り付けられたカメラ３４から立体映像データをセンサＩ／Ｆ３３を介して取り込み、当該立体映像データを映像データ記憶部３２１に一時保存させる。

　またそれと共に、ロボット３Ｂの制御部３１は、動き検出データ取得部３１５の制御の下、ステップＳ２５において、動きセンサ３５からロボット３Ｂの頭部の動き、つまり姿勢の変化を表す動き検出データをセンサＩ／Ｆ３３を介して取り込む。そして、取り込んだ上記動き検出データに基づいて、ステップＳ２６により、ロボット３Ｂの頭部が動いている期間を判定する。

　ロボット３Ｂの制御部３１は、続いて映像処理部３１６の制御の下、上記判定結果に基づいて以下のように映像データの送信処理を行う。すなわち、上記ステップＳ２６により得られた判定結果が、ロボット３Ｂの頭部の姿勢が変化していないことを示す場合には、映像データ記憶部３２１から立体映像データを読み出して、当該立体映像データをステップＳ２８により通信Ｉ／Ｆ３９から情報処理装置２へ送信する。

　これに対し、上記ステップＳ２６による判定の結果、ロボット３Ｂの頭部の姿勢が変化している期間には、映像処理部３１６は、ステップＳ２７において、映像データ記憶部３２１に保存されている立体映像データに対し没入感を低下させる処理を行う。そして、その処理後のデータを通信Ｉ／Ｆ３９から情報処理装置２へ送信する。

　ここで、没入感を低下させる処理としては、例えば以下のような処理が用いられる。例えば、上記立体映像データを静止させるか、白、黒、グレーまたは所定の色の単一色画像データに置換する。または上記立体映像データを、記憶部３２に別途記憶しておいた所定の待機画像データに置換するようにしてもよい。このとき、上記待機画像データには、ロボット３Ｂが動いている旨のメッセージまたはマーク、アイコン、アバタが重畳されてもよい。

　さらに、没入感を低下させる別の処理としては、例えば、立体映像データを半透明または画素密度の粗い状態に加工処理したり、立体映像のフレームサイズを縮小するようにしてもよい。また、フレームサイズを縮小する場合、立体映像データの位置は中央部に限らずどの位置でもよい。要するに、ロボット３Ｂから送られる映像データに対するユーザの没入感を低下させることが可能な映像処理の手法であれば、どのような手法を用いてもよい。

　なお、補助的に、マイクロフォン３６により検出されるロボット３Ｂの周辺音に、ロボット３Ｂが動作中である旨の音声メッセージ、メロディまたは鳴音を重畳または置換する処理を制御部３１により行い、当該処理後の音声データを通信Ｉ／Ｆ３９から情報処理装置２へ送信するようにしてもよい。

　（作用・効果）
　以上述べたようにこの発明の第２の実施形態では、ロボット３Ｂにおいて、動きセンサ３５による動き検出データをもとにロボット３Ｂの姿勢が変化している期間を判定し、ロボット３Ｂの姿勢が変化している期間にカメラ３４により得られた立体映像データに対し没入感を低下させる処理を行い、この没入感の低下処理がなされた映像データを、ロボット３Ｂから情報処理装置２へ送信するようにしている。

　従って、ロボット３Ｂの姿勢が変化している期間には、没入感が低下するように処理が施された映像データがロボット３Ｂから情報処理装置２へ送信されて、ＨＭＤ１に表示されることになる。このため、ロボット３Ｂから送信される映像データに伝送遅延があっても、また情報処理装置２またはＨＭＤ１において映像表示処理の描画遅延があっても、その影響によりユーザがＶＲ酔いを起こす不具合は軽減される。

　また第２の実施形態によれば、ロボット３Ｂにおいて立体映像に対し没入感を低下させる処理を行っているので、情報処理装置２の処理負荷を軽減することができ、また没入感を低下させるための処理機能を持たない汎用の情報処理装置を使用できる利点がある。

　［その他の実施形態］
　（１）第１および第２の実施形態では、ロボット３Ａ，３Ｂの前後または左右方向への歩行動作や頭部の向きをパン方向またはチルト方向へ変える動作が検出されたときに、カメラ３４により得られた立体映像に対し没入感を低下させる処理を行う場合を例にとって説明した。しかしこの発明はそれに限らず、ロボット３Ａ，３Ｂの頭部を左右に傾げる動作やお辞儀動作、脚部を使って屈伸する動作が検出されたときに、カメラ３４により得られた立体映像に対し没入感を低下させる処理を行うようにしてもよい。

　（２）第１および第２の実施形態では、情報処理装置２から送られる遠隔制御信号に応じてロボット３Ａ，３Ｂが動作するときのその動きを動きセンサ３５により検出し、この動きが検出されている期間に得られる映像データに対し没入感を低下させる処理を行うようにした。しかし、この発明はそれに限るものではなく、ロボット３Ａ，３Ｂが、情報処理装置２からの遠隔制御信号によらずに自律動作する場合や、他の情報処理装置またはロボットに付属するコントローラから送信される遠隔制御信号により動作する場合の、ロボット３Ａ，３Ｂの動きを検出し、この動きが検出されている期間に得られる映像データに対し没入感を低下させる処理を行うようにしてもよい。

　（３）第１の実施形態では、ＨＭＤ１とは別に設けた情報処理装置２により、ロボット３Ａとの間のデータ通信および映像表示制御を行うようにした。しかし、ＨＭＤ１が情報処理装置２の機能を備える場合、つまり情報処理装置と一体型のＨＭＤを使用する場合には、ＨＭＤ１においてロボット３Ａとの間のデータ通信および映像表示制御を行うように構成してもよい。

　（４）その他、遠隔作業装置の種類と構成、撮像デバイスや動きセンサの種類と構成、情報処理装置の構成、没入感を低下させる処理等についても、この発明の要旨を逸脱することなく種々の改良や変形を行うことができる。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

　要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

　１…ヘッドマウントディスプレイ（ＨＭＤ）
　２…情報処理装置
　３Ａ，３Ｂ…ロボット
　４…ネットワーク
　１０，２０，３０…バス
　１１，２１，３１…制御部
　１２，２２，３２…記憶部
　１３…表示インタフェース（表示Ｉ／Ｆ）
　１４…表示部
　１５，３３…センサインタフェース（センサＩ／Ｆ）
　１６，３５…動きセンサ
　１７，２４，３９…通信インタフェース（通信Ｉ／Ｆ）
　２３…入出力インタフェース（入出力Ｉ／Ｆ）
　２５…操作部
　３４…カメラ
　３６…マイクロフォン
　３７…駆動インタフェース（駆動Ｉ／Ｆ）
　３８…駆動部
　２１１…操作データ取得部
　２１２…動き制御データ生成部
　２１３…遠隔制御信号送信部
　２１４…映像コンテンツ受信部
　２１５，３１６…映像処理部
　２１６…映像表示制御部
　２２１…映像コンテンツ記憶部
　３１１…遠隔制御信号受信部
　３１２…動き制御データ抽出部
　３１３…駆動制御部
　３１４…映像データ取得部
　３１５…動き検出データ取得部
　３２１…映像データ記憶部

Claims (6)

1. 　表示部に接続されるユーザ装置と、前記ユーザ装置からネットワークを介して送られる制御信号により動作する遠隔作業装置とを具備する遠隔制御システムであって、
   　前記遠隔作業装置は、
   　　姿勢を変化させることが可能な可動部と、
   　　前記可動部に設置されたカメラから出力される映像データを取得する映像データ取得部と、
   　　動きセンサから、前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、
   　　取得された前記映像データおよび前記動き検出データを、前記ネットワークを介して前記ユーザ装置へ送信するデータ送信部と
   　を備え、
   　前記ユーザ装置は、
   　　前記遠隔作業装置から送信された前記映像データおよび前記動き検出データを、前記ネットワークを介して受信するデータ受信部と、
   　　受信された前記動き検出データに基づいて、前記可動部の前記姿勢が変化している期間を判定する判定部と、
   　　前記判定部の判定結果に基づいて、前記可動部の前記姿勢が変化している期間に受信された前記映像データに対し没入感を低下させる処理を行う映像処理部と、
   　　前記没入感を低下させる処理が行われた後のデータを前記表示部へ出力する出力部と　を備える遠隔制御システム。
2. 　表示部に接続されるユーザ装置からネットワークを介して送られる制御信号により動作し、かつ姿勢を変化させることが可能な可動部を備える遠隔作業装置であって、
   　前記可動部に設置されたカメラから出力される映像データを取得する映像データ取得部と、
   　動きセンサから、前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、
   　取得された前記映像データおよび前記動き検出データを、前記ネットワークを介して前記ユーザ装置へ送信するデータ送信部と
   　を具備する遠隔作業装置。
3. 　表示部に接続されるユーザ装置と、前記ユーザ装置からネットワークを介して送られる制御信号により動作し、かつ姿勢を変化させることが可能な可動部を備える遠隔作業装置とのうちの、いずれか一方に設けられる映像処理装置であって、
   　前記可動部に設置されたカメラから出力される映像データを取得する映像データ取得部と、
   　動きセンサにより得られる、前記可動部の前記姿勢の変化を表す動き検出データを取得する動き検出データ取得部と、
   　取得された前記動き検出データに基づいて、前記可動部の前記姿勢が変化している期間を判定する判定部と、
   　前記判定部の判定結果に基づいて、前記可動部の姿勢が変化している期間に取得された前記映像データに対し没入感を低下させる処理を行う映像処理部と、
   　前記没入感を低下させる処理が行われた後のデータを前記表示部へ出力する出力部と　を具備する映像処理装置。
4. 　前記映像処理部は、前記可動部の姿勢が変化している期間に取得された前記映像データに対し、映像の静止、単一色の静止画像データへの置換、映像の半透明化、画素の低密度化、およびフレームサイズの縮小のうちいずれかの処理を行う、請求項３に記載の映像処理装置。
5. 　前記映像処理部は、前記可動部の姿勢が変化している期間に取得された前記映像データを、前記遠隔作業装置が動いている旨の情報が付加された待機画像データに置換する、請求項３に記載の映像処理装置。
6. 　請求項３乃至５のいずれかに記載の映像処理装置が備える各部による処理を、前記映像処理装置が備えるプロセッサに実行させるプログラム。

Images