JPWO2020203819A1 - 遠隔操作装置 - Google Patents

Abstract

この遠隔操作装置（２）は、作業現場における移動ロボット（１）と当該移動ロボットの周囲の物体（Ｗ）との距離を検出するセンサ（１ｄ）と、前記作業現場の仮想三次元映像の視点を指定する視点指定部（２ｅ）と、前記センサの検出結果及び前記視点指定部が指定する視点に基づいて前記仮想三次元映像を生成する仮想映像生成部（２ａ）と、前記仮想三次元映像を表示する表示部（２ｃ）と、前記移動ロボットを遠隔操作する操作信号を生成する操作部（２ｄ）とを備える。

Description

本開示は、遠隔操作装置に関する。
本願は、２０１９年３月２９日に日本に出願された特願２０１９−０６７４０８号に基づき優先権を主張し、その内容をここに援用する。

下記特許文献１には、マニピュレータの遠隔操作装置が開示されている。この遠隔操作装置は、ロボット（マニピュレータ）の作業空間を撮影するカメラユニットと、カメラユニットが撮影した映像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、操作者がヘッドマウントディスプレイの映像を見ながら操作する三次元入力装置と、ロボット制御用コンピュータとを備えている。

日本国特開２０００−０４２９６０号公報

上述した遠隔操作装置では、操作者は、三次元入力装置を用いることにより、ヘッドマウントディスプレイに表示される作業現場のカメラ映像を見ながらロボットを操作する。ここで、カメラユニットは固定設置されており、カメラ映像の範囲（視野）が固定した範囲に限定される。したがって、例えばカメラ映像に表示されていない物体にマニピュレータが干渉する場合がある。

本開示は、上述した事情に鑑みてなされ、視野が可変可能な遠隔操作装置の提供を目的とする。

本開示の第１の態様の遠隔操作装置は、作業現場における移動ロボットと当該移動ロボットの周囲の物体との距離を検出するセンサと、前記作業現場の仮想三次元映像の視点を指定する視点指定部と、前記センサの検出結果及び前記視点指定部が指定する視点に基づいて前記仮想三次元映像を生成する仮想映像生成部と、前記仮想三次元映像を表示する表示部と、前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備える。

本開示の第２の態様は、上記第１の態様の遠隔操作装置が、前記作業現場の実映像を撮像する撮像部と、前記仮想三次元映像と前記実映像とを合成して合成映像を生成する映像合成部とをさらに備え、前記表示部は、前記仮想三次元映像に代えて前記合成映像を表示する。

本開示の第３の態様は、上記第２の態様の遠隔操作装置において、前記映像合成部が、前記合成映像に前記移動ロボットの制御情報をはめ込む。

本開示の第４の態様は、上記第１〜第３のいずれか１つの態様の遠隔操作装置において、前記仮想三次元映像が、前記移動ロボットのオブジェクトと前記移動ロボットが作業対象とするワークのオブジェクトとを含む。

本開示の第５の態様は、上記第１〜第４のいずれか１つの態様の遠隔操作装置において、前記表示部が、ヘッドマウントディスプレイであり、前記視点指定部が、ヘッドマウントディスプレイに組み込まれたモーションセンサである。

本開示によれば、視野が可変可能な遠隔操作装置を提供することが可能である。

本開示の一実施形態におけるロボットシステムの全体構成を示すシステム構成図である。 本開示の一実施形態に係る遠隔操作装置の構成を示すブロック図である。 本開示の一実施形態における合成映像を示す模式図である。

以下、図面を参照して、本開示の一実施形態について説明する。
本実施形態におけるロボットシステムは、図１に示すようにロボット本体１と遠隔操作装置２とによって構成される。

ロボット本体１は、所定の作業現場（作業空間）で移動しつつワークＷに対して所定の作業を行う多関節ロボットである。ロボット本体１は、図示するように移動台車１ａ、マニピュレータ１ｂ、作業具１ｃ、センサ１ｄ及びロボットコントローラ１ｅを少なくとも備えている。なお、このロボット本体１は、本開示の移動ロボットに相当する。

この作業現場には、ロボット本体１の作業対象であるワークＷが支持台Ｔ上に載置されている。ロボット本体１は、ロボットコントローラ１ｅによって制御されることによって、支持台Ｔ上に載置されたワークＷに対して所定の作業を行う。

移動台車１ａは、複数の車輪と当該車輪を駆動する駆動装置（モータ等）を備えており、ロボットコントローラ１ｅから入力される走行制御信号に基づいて作業現場のフロアＦ上を走行する。この移動台車１ａは、自らに搭載されたマニピュレータ１ｂの作業現場における位置を所定の作業位置に設定する。なお、移動台車１ａの移動のための構成は車輪に限られず、例えばキャタピラや歩行脚等であってもよい。

マニピュレータ１ｂは、上記移動台車１ａの上に固定設置されており、複数のアームと当該アームを連結する複数の関節部を備える。このマニピュレータ１ｂは、ロボットコントローラ１ｅから入力される関節制御信号に基づいて関節部に備えられたモータを駆動することにより、先端部に装着された作業具１ｃを移動させる。すなわち、このマニピュレータ１ｂは、作業具１ｃの位置や姿勢をワークＷに対する作業内容に応じて最適設定する機械装置である。

作業具１ｃは、マニピュレータ１ｂの先端部に着脱可能に装着されており、ワークＷに対して直接的な作業を行う部位である。例えば、ワークに対して機械的な加工を行う場合、作業具１ｃは、ワークに対してせん断力や押圧力等を作用させる工具である。

センサ１ｄは、距離センサとカメラとを少なくとも含む。このセンサ１ｄは、移動台車１ａの前方側、つまり移動台車１ａにおいてマニピュレータ１ｂの前（マニピュレータ１ｂの移動台車１ａに対する固定部位の前方）に固定設置されており、作業現場におけるロボット本体１と当該ロボット本体１の周囲の物体との距離を検出すると共に、移動台車１ａの前方の映像を作業現場の実映像として撮像する。
なお、「移動台車１ａの前方側」とは、例えば作業時において、移動台車１ａのワークＷに近い側をいう。若しくは、「移動台車１ａの前方側」とは、マニピュレータ１ｂが作業のために動いても、センサ１ｄがワークＷを検出可能な側（死角とならない側）をいう。

この実映像は、作業現場におけるワークＷ及び当該ワークに対して作業を行う作業具１ｃの状態を示す動画である。このようなセンサ１ｄは、周囲の物体との距離の検出結果を距離検出信号として遠隔操作装置２に出力すると共に、実映像を実映像信号として遠隔操作装置２に出力する。

ここで、図１ではセンサ１ｄと遠隔操作装置２とが別体の構成要素として描かれているが、センサ１ｄは、機能的には遠隔操作装置２に含まれる構成要素である。また、このセンサ１ｄは、作業現場の実映像を撮像する撮像部に相当する。すなわち、センサ１ｄのカメラが撮像部に相当する。

ロボットコントローラ１ｅは、操作室の遠隔操作装置２と通信可能に接続された制御装置であり、遠隔操作装置２から受信した操作信号に基づいて移動台車１ａ及びマニピュレータ１ｂを制御する。このロボットコントローラ１ｅは、一種のコンピュータであり、予め記憶された制御プログラムに従って操作信号を情報処理することにより、操作信号に従って移動台車１ａ及びマニピュレータ１ｂを制御する。このコンピュータは、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）といったメモリ、及び外部の機器との信号のやり取りを行う入出力装置を備える。

また、このロボットコントローラ１ｅは、移動台車１ａ及びマニピュレータ１ｂの制御情報を遠隔操作装置２に送信する。この制御情報は、ロボット本体１の動作モード、移動台車１ａの位置及び／あるいはマニピュレータ１ｂにおける各関節の角度等である。

遠隔操作装置２は、作業現場とは離間した操作室に備えられており、操作者からの操作入力に基づいてロボット本体１に操作信号を出力する。この遠隔操作装置２は、操作入力を操作プログラムに基づいて情報処理することにより操作信号を生成する一種のコンピュータであり、機能構成要素として図２に示す仮想映像生成部２ａ、映像合成部２ｂ、表示部２ｃ及び操作部２ｄを少なくとも備えている。
なお、遠隔操作装置２がコンピュータを備え、このコンピュータが、仮想映像生成部２ａ及び映像合成部２ｂの機能を担ってもよい。このコンピュータは、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）といったメモリ、及び外部の機器との信号のやり取りを行う入出力装置を備えてもよい。

仮想映像生成部２ａは、作業現場の仮想三次元映像つまりバーチャルリアリティ映像を生成する。すなわち、この仮想映像生成部２ａは、後述する表示部２ｃから入力される視点指定信号及びセンサ（センサ１ｄの距離センサ）から入力される距離検出信号に基づいて、作業現場の仮想三次元映像（バーチャルリアリティ映像）を生成する。この仮想三次元映像（バーチャルリアリティ映像）は、ワークＷ及びロボット本体１の各三次元モデル（オブジェクト）を少なくとも含む。

また、上記仮想三次元映像（バーチャルリアリティ映像）は、視点が視点指定信号に基づいて設定される。すなわち、この仮想三次元映像（バーチャルリアリティ映像）では、ワークＷ及びロボット本体１等が視点指定信号で指定される視点から見たオブジェクト（物体）として表示される。すなわち、本実施形態における「視点」とは、実際の物体を撮像または視認するための視点だけでなく、生成された仮想三次元映像における視点の意味を含む。

映像合成部２ｂは、仮想映像生成部２ａから入力される仮想三次元映像（バーチャルリアリティ映像）を基本映像とし、当該仮想三次元映像内にセンサ１ｄから入力される作業現場の実映像及びロボットコントローラ１ｅから入力されるロボット本体１の制御情報を合成する。この映像合成部２ｂは、仮想三次元映像（バーチャルリアリティ映像）に実映像及び制御情報を合成した合成映像Ｇを生成して表示部２ｃに出力する。

図３は、上記合成映像Ｇの一例を示す模式図である。この合成映像Ｇは、作業現場の仮想三次元映像（バーチャルリアリティ映像）に実映像ｇ１及び制御情報映像ｇ２をはめ込んで生成されている。バーチャルリアリティ映像には、支持台Ｔ上のワークＷとロボット本体１とが、オブジェクト（仮想映像内の物体）として表示されている。また、この合成映像Ｇでは、バーチャルリアリティ映像において、ワークＷ及びロボット本体１の各オブジェクト以外の領域に実映像ｇ１及び制御情報映像ｇ２が配置されている。

表示部２ｃは、上記合成映像Ｇを表示する表示装置である。この表示部２ｃは、ロボット本体１を遠隔操作する上での支援情報として操作者に対して合成映像Ｇを提供する。すなわち、この表示部２ｃは、操作室において操作者が視認し易い形態を有しており、例えばヘッドマウントディスプレイ（ＨＭＤ）である。

また、この表示部２ｃには、被装着者つまり操作者の頭の向きを検出するモーションセンサ２ｅが組み込まれている。このモーションセンサ２ｅは、操作者の頭の向きを示す検出信号を視点指定信号として仮想映像生成部２ａに出力する。このようなモーションセンサ２ｅは、仮想三次元映像（バーチャルリアリティ映像）の視点を指定する視点指定部に相当する。

なお、上述した仮想映像生成部２ａは、このようなモーションセンサ２ｅの検出信号を視点指定信号として取り込むことにより、操作者の頭の向きに応じて視点が変化する仮想三次元映像（バーチャルリアリティ映像）を生成する。

操作部２ｄは、操作者が操作指示を入力する装置である。すなわち、この操作部２ｄは、ロボット本体１を遠隔操作するための操作指示を操作者から受け付け、当該操作指示を示す操作信号を生成してロボットコントローラ１ｅに出力する。このような操作部２ｄは、例えばジョイステックである。

次に、本実施形態に係る遠隔操作装置の動作についてさらに詳しく説明する。

この遠隔操作装置を用いてロボット本体１を遠隔操作する場合、操作者はＨＭＤである表示部２ｃを顔に装着して操作部２ｄに操作入力を行う。すなわち、操作者は、図３の合成映像Ｇを表示部２ｃで視認しつつ操作部２ｄに対して操作入力を行うことにより、ロボット本体１を遠隔操作する。

このような遠隔操作環境では、操作者が頭の向きを変えると、この変化が表示部２ｃのモーションセンサ２ｅによって検出され、視点指定信号として仮想映像生成部２ａに入力される。この結果、仮想映像生成部２ａは、新たな頭の向きに対応した視点の仮想三次元映像（バーチャルリアリティ映像）を生成する。そして、新たな視点の仮想三次元映像（バーチャルリアリティ映像）は、仮想映像生成部２ａから映像合成部２ｂに入力される。

そして、映像合成部２ｂは、仮想映像生成部２ａから入力された新たな視点の仮想三次元映像（バーチャルリアリティ映像）に実映像及び制御情報を画像合成することにより合成映像Ｇを生成し、この新たな合成映像Ｇを表示部２ｃに出力する。このような新たな視点の合成映像Ｇは、操作者が頭の向きを変える度に繰り返し生成されて表示部２ｃに表示される。

そして、操作者は、このような新たな視点の合成映像Ｇを遠隔操作の支援情報として確認することにより操作部２ｄに操作入力を行う。そして、この操作入力に応じた操作信号が操作部２ｄからロボットコントローラ１ｅに入力され、よって移動台車１ａ、マニピュレータ１ｂ及び作業具１ｃは、操作入力に従った動きをする。すなわち、ロボット本体１は、遠隔操作装置２に対する操作者の操作入力に従って遠隔操作される。

このような本実施形態によれば、操作者が頭の向きを変えると、表示部２ｃに表示される合成映像ＧにおけるワークＷ及びロボット本体１等のオブジェクトの視点が変化するので、視野が可変可能な遠隔操作装置を提供することが可能である。したがって、本実施形態によれば、操作者はワークＷとロボット本体１との距離やそれぞれの状態をより的確に把握することが可能であり、よって従来よりも作業性に優れると共により正確な作業を実現することが可能である。

特に、本実施形態によれば、ロボット本体１のオブジェクトだけではなく、ワークＷのオブジェクトをも仮想三次元映像（バーチャルリアリティ映像）として表示部２ｃに表示するので、操作者は、ロボット本体１とワークＷとの位置関係を視点を変えることによってより正確に確認することが可能である。したがって、本実施形態によれば、従来よりも作業性に優れた遠隔操作装置を提供することが可能である。

さらに、本実施形態によれば、仮想三次元映像（バーチャルリアリティ映像）にはめ込まれる形で実映像ｇ１及び制御情報映像ｇ２が表示部２ｃに表示されるので、操作者は作業現場の状況をより正確に把握することが可能であると共に、ロボット本体１の動作状態を的確に把握することができる。したがって、本実施形態によれば、これによっても従来よりも作業性に優れた遠隔操作装置を提供することが可能である。

なお、本開示は上記実施形態に限定されず、例えば以下のような変形例が考えられる。
（１）上記実施形態では、仮想三次元映像（バーチャルリアリティ映像）に実映像ｇ１及び制御情報映像ｇ２をはめ込んだが、本開示はこれに限定されない。必要に応じて仮想三次元映像（バーチャルリアリティ映像）のみを表示部２ｃに表示してもよい。また、仮想三次元映像（バーチャルリアリティ映像）に実映像ｇ１のみをはめ込んだ映像を表示部２ｃに表示してもよい。
また、仮想映像生成部２ａが、表示部２ｃから入力される視点指定信号及びセンサ１ｄから入力される距離検出信号と、予め準備された作業現場の設計情報（ＣＡＤデータ等）とを組み合わせて、作業現場の仮想三次元映像（バーチャルリアリティ映像）を生成してもよい。なお、作業現場の設計情報を用いることで作業現場の状況が十分に確認できる仮想三次元映像を生成できる場合は、映像合成部２ｂにおける、仮想映像生成部２ａから入力される仮想三次元映像と、センサ１ｄから入力される作業現場の実映像との合成が行われずともよい。

（２）上記実施形態では、ロボット本体１を移動ロボットとしたが、本開示はこれに限定されない。すなわち、本開示は、作業現場に固定設置されるロボットにも適用可能である。また、本開示は、ロボット本体１が固定設置され、ワークＷが移動する作業現場、及びロボット本体１とワークＷとがそれぞれ移動する作業現場にも適用可能である。

（３）上記実施形態の仮想三次元映像（バーチャルリアリティ映像）は、ワークＷ及びロボット本体１のオブジェクト（物体）を少なくとも含んでいるが、本開示はこれに限定されない。作業現場にロボット本体１を遠隔操作する上で必要あるいは重要な物があれば、この物をもオブジェクトとして仮想三次元映像（バーチャルリアリティ映像）に含めてもよい。

（４）上記実施形態では、ヘッドマウントディスプレイ（ＨＭＤ）を表示部２ｃとして採用したが、本開示はこれに限定されない。例えば表示部２ｃが固定型のモニタであってもよい。また、本開示の視点指定部は、モーションセンサ２ｅに限定されない。例えば操作者が操作部２ｄを操作することによって仮想三次元映像（バーチャルリアリティ映像）の視点を指定してもよい。すなわち、本開示の視点指定部は、操作者の視点を検出するセンサ等の検出器であってもよい。

本開示は、作業現場における移動ロボットの遠隔操作装置に適用でき、視野が可変可能な遠隔操作装置を提供することができる。

１ ロボット本体（移動ロボット）
１ａ 移動台車
１ｂ マニピュレータ
１ｃ 作業具
１ｄ センサ
１ｅ ロボットコントローラ
２ 遠隔操作装置
２ａ 仮想映像生成部
２ｂ 映像合成部
２ｃ 表示部
２ｄ 操作部
２ｅ モーションセンサ
ｇ１ 実映像
ｇ２ 制御情報映像
Ｇ 合成映像
Ｆ フロア
Ｗ ワーク（物体）
Ｔ 支持台

Claims (5)

1. 作業現場における移動ロボットと当該移動ロボットの周囲の物体との距離を検出するセンサと、
   前記作業現場の仮想三次元映像の視点を指定する視点指定部と、
   前記センサの検出結果及び前記視点指定部が指定する視点に基づいて前記仮想三次元映像を生成する仮想映像生成部と、
   前記仮想三次元映像を表示する表示部と、
   前記移動ロボットを遠隔操作する操作信号を生成する操作部と
   を備える、遠隔操作装置。
2. 前記作業現場の実映像を撮像する撮像部と、
   前記仮想三次元映像と前記実映像とを合成して合成映像を生成する映像合成部とをさらに備え、
   前記表示部は、前記仮想三次元映像に代えて前記合成映像を表示する、請求項１に記載の遠隔操作装置。
3. 前記映像合成部は、前記合成映像に前記移動ロボットの制御情報をはめ込む、請求項２に記載の遠隔操作装置。
4. 前記仮想三次元映像は、前記移動ロボットのオブジェクトと前記移動ロボットが作業対象とするワークのオブジェクトとを含む、請求項１〜３のいずれか一項に記載の遠隔操作装置。
5. 前記表示部は、ヘッドマウントディスプレイであり、
   前記視点指定部は、ヘッドマウントディスプレイに組み込まれたモーションセンサである、請求項１〜４のいずれか一項に記載の遠隔操作装置。

Images