WO2017042873A1

WO2017042873A1 - 遠隔操作システムおよび操作支援システム

Info

Publication number: WO2017042873A1
Application number: PCT/JP2015/075377
Authority: WO
Inventors: 栗原　恒弥
Original assignee: 株式会社日立製作所
Priority date: 2015-09-08
Filing date: 2015-09-08
Publication date: 2017-03-16
Also published as: JPWO2017042873A1; JP6474905B2

Abstract

作業機械などの移動体１００に３次元カメラ１０３を設置し、移動体の前方を撮像して３次元点群データを取得する。この３次元点群データから、カメラ視点方向とは異なるアングルで移動体が作業を行う作業対象物３０１が写る点群レンダリング画像を生成する。さらに、移動体や作業対象物の３次元モデルデータをもとに移動体や作業対象物の人工画像１００'，３０１'を生成して、前記点群レンダリング画像に重畳して表示する。これにより遠隔オペレータは、例えば移動体の上方からの画像や側方からの画像を参照し、移動体と作業対象物の位置関係を把握することができ、作業効率が向上する。

Description

遠隔操作システムおよび操作支援システム

　本発明は、作業機械や移動ロボットなどの移動体を遠隔地から操作する遠隔操作システムに関するものである。

　作業機械や移動ロボットなどの移動体を遠隔操作したというニーズがある。例えば、災害復旧工事などの作業員が危険にさらされる環境下での作業は、作業機械に運転手が搭乗せず、無人の作業機械を遠隔地に設置した操作設備からオペレータが操作する遠隔操作システムが有効となる。移動ロボットに関しても同様である。

　上記のように移動体を遠隔操作する場合には、移動体にカメラを設置し、撮影されたカメラ映像を遠隔地の操作設備に有線または無線通信によって伝送し、操作設備内のモニタにその映像を映し出す。遠隔操作者は、モニタ上の映像を参照して移動体の操作を行う。

　その場合、一般的にモニタ上の映像では、作業機械に搭乗した時と比べて遠近感が分かりにくく、作業対象物までの距離や形を認識することが比較的困難となる。その対策として、作業現場へカメラや通信手段を持ったカメラ車を配置し、このカメラ車が作業機械や作業対象周辺を側方から撮影し、その映像を操作設備に送信する方法がある。これによれば、遠隔操作するオペレータには側方映像という形で奥行き情報が与えられ、作業対象物までの距離や形を認識し易くなる。しかし、このようなカメラ車を別途用意してその操作を行う方法は、費用や手間が増えるため実用的とは言えない。

　カメラ車を用いず作業機械のみでオペレータへ奥行き情報を与える方法として、特許文献１、２に記載される方法が提案されている。

　特許文献１には、遠隔操縦される作業機に多眼カメラを搭載し、多眼カメラから得られる複数の撮像画像から所定の視差をもとに距離画像を生成し、各画素に距離に応じた色を割り当てることで擬似的な３次元画像を合成して遠隔操縦装置へ伝送する遠隔操縦支援装置が開示されている。

　特許文献２には、建設機械に３次元スキャナーを搭載して作業対象物の３次元距離データを取得し、これを遠隔操作装置のスキャナー画像表示部にて表示すること、また、スキャナー画像表示部では異なるアングルの３次元距離データを表示することが開示されている。

特開平１１－２１３１５４号公報特開２０１５－０４３４８８号公報

　特許文献１の方法は、作業機に視点を置いた画像に擬似的な立体感を持たせることができるが、オペレータへ与えられる奥行き情報の精度が限られている。このため、カメラ車を用いて側方からの画像を提示する方法と比較すると、作業対象物までの距離感が正確につかめず、その結果作業の精度が低く、かつ作業効率が劣るものとなってしまう。

　特許文献２の方法は、３次元スキャナーを用いて作業対象物の３次元距離データ（距離画像）を取得し、取得した距離画像を用いることで、任意のアングルの画像を合成することが可能である。しかしながら、建設機械（作業機械）から測定できる距離画像は、当然ながら３次元スキャナーから見える領域に制限される。このため、作業対象物が作業機械の一部（例えばアーム部分）により遮蔽されている場合には、作業対象物を別アングルから見た画像を生成することは不可能である。その結果、例えば別のアングルからの画像が分かりにくくなるため、作業対象物の距離感が正確につかめず、作業の精度が低く、かつ作業効率が劣るものとなってしまう。

　本発明の目的は、作業対象物を任意のアングルから見た場合でも作業対象物までの距離感が正確につかめるような画像を表示する遠隔操作システムを提供することである。

　本発明は、作業対象物に対して作業を行う移動体を遠隔操作装置により操作する遠隔操作システムであって、移動体には、移動体の前方を撮影する３次元カメラと、３次元カメラから得た３次元点群データから３次元カメラの視点方向とは異なる角度で作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、移動体の３次元モデルデータをもとに移動体の人工画像を生成するＣＧ画像生成部と、人工画像を点群レンダリング画像に重畳する重畳画像合成部と、重畳画像合成部で重畳した自由視点合成画像を遠隔操作装置に送信する通信部と、を備える。また遠隔操作装置には、移動体から送信された自由視点合成画像を受信する通信部と、受信した自由視点合成画像を表示する表示部と、移動体に対して操作を指示する操作入力部と、を備える構成とする。ここに重畳画像合成部は、さらに、作業対象物の３次元モデルデータをもとに作業対象物の人工画像を生成して点群レンダリング画像に重畳する構成とする。

　本発明によれば、操作者は、任意のアングル（例えば上方や側方）からの自由視点合成画像を参照しながら作業機械を遠隔操作することができるため、作業対象物までの客観的な距離感や物の大きさ等を容易に把握することができ、遠隔作業の操作性を格段に向上させることができる。

遠隔操作システムのブロック構成図である。（実施例１）画像処理に用いる各種プログラムと各種データの関係を示す図である。遠隔操作システムを適用した作業機械の構成図である。作業機械１００による作業状態を示す図である。遠隔操作装置２００に表示される画像を示す図である。仮想上面画像の合成方法の説明図である。仮想側面画像の合成方法の説明図である。自由視点合成画像の生成方法を示すフローチャートである。作業対象物の人工画像を重畳した仮想上面画像を示す図である。（実施例２）作業対象物の人工画像を重畳した仮想側面画像を示す図である。自由視点合成画像の生成方法を示すフローチャートである。作業機械による作業状態の一例を示す図である。（実施例３）実施例２の手法で合成した画像を示す図である。表示領域を制限して表示した画像を示す図である。作業対象モデルの生成を説明するフローチャートである。（実施例４）人工画像の重畳度を変化させて表示する例を示す図である。（実施例５）移動体が移動ロボットの例を示す図である。移動ロボットの場合の仮想画像の例を示す図である。

　以下、本発明の実施の形態について、図面を参照して説明する。以下の実施例では、遠隔操作を行う作業機械として油圧ショベルを例に説明する。

　図１Ａは、遠隔操作システムのブロック構成図であり、図１Ｂは、本実施例における画像処理に用いる各種プログラムと各種データの関係を示す図である。また図２は、遠隔操作システムを適用した作業機械の構成図である。本実施例では、作業機械１００は無人の油圧ショベルの場合であり、遠隔地に設置した遠隔操作装置２００に搭乗する操作者（オペレータ）によって操作される。もちろん、作業機械１００は油圧ショベル以外の様々な作業機械であってもよい。図１Ａに示すように、遠隔操作システムは、遠隔操作される作業機械１００に搭載される部分と、オペレータが操作する遠隔操作装置２００に搭載される部分から構成される。以下、図１Ａ、図１Ｂと図２を参照して、各部の構成を説明する。

　まず、作業機械１００の構成から説明する。作業機械１００は、主制御部１０１、カメラ１０２、３次元カメラ１０３、アーム部１０５、アーム角度センサ１０４、走行部１０６、無線通信部１０７を備える。

　アーム部１０５は油圧ショベルとしての掘削などの様々な作業を行う部分で、走行部１０６は作業機械１００を走行させる部分である。アーム角度センサ１０４は、アーム部１０５の各関節の角度をリアルタイムに取得する。

　操作席（無人）にはカメラ１０２が設置され、作業機械１００の前方を撮影する。ここで、前方とは、作業機械を有人搭乗で操作する場合に、操作者が見る方向を意味することとする。さらに３次元カメラ１０３が設置され、作業機械１００の前方の奥行き画像を撮影する。３次元カメラ１０３はリアルタイムで奥行き情報を取得可能なカメラであり、例えばステレオカメラを用いる。あるいは、ＴＯＦ（Time of Flight）方式のカメラ、光コーディング方式のカメラ、３Ｄレーザスキャナを用いることもできる。なお、３次元カメラは奥行き情報だけでなく、カラー情報も取得できると仮定する。無線通信部１０７は遠隔操作装置２００との間で無線通信を行う。

　主制御部１０１は、作業機械１００を制御する。主制御部１０１は、情報処理装置１１１と記憶装置１２０と例えばＨＤＤ等に格納した３次元モデルデータ１３１とを有し、汎用的な計算機によって構成することができる。情報処理装置１１１は、プロセッサ（不図示）が記憶装置１２０に格納されたプログラムやデータを用いて、様々な処理を行う。記憶装置１２０には、３次元カメラ１０３からの入力データである３次元カメラデータ１４１から３次元点群データ１４２を生成する３次元点群生成プログラム１２１、３次元点群データ１４２を用いて自由視点からの点群レンダリング画像１４４を生成する自由視点画像生成プログラム１２２、移動体の３次元モデルデータ１３１からＣＧ（Computer Graphics）画像（人工画像）１４５を生成するＣＧ画像生成プログラム１２３、点群レンダリング画像１４４に人工画像１４５を重畳して自由視点合成画像１２５を合成する重畳画像合成プログラム１２４、アーム部および走行部を制御するアーム部・走行部制御プログラム１２９が格納されている。また、記憶装置１２０には、３次元カメラデータ１４１と、３次元点群データ１４２と、仮想カメラデータ１４３と、点群レンダリング画像１４４と、人口画像１４５と、移動体姿勢データ１４６と、自由視点合成画像１２５とを格納している。図１Ｂは、主制御部１０１で扱う上記した各種プログラムと各種データの関係を示す。

　さらに主制御部１０１は、無線通信部１０７を介して前方カメラ画像や自由視点合成画像１２５を遠隔操作装置２００に送信する。また主制御部１０１は、無線通信部１０７を介して受信した遠隔操作装置２００からの操作指令によって、アーム部１０５や走行部１０６の制御を行う。

　次に、遠隔操作装置２００の構成を説明する。遠隔操作装置２００は、主制御部２０１、無線通信部２０２、カメラ画像表示部２０３、自由視点合成画像表示部２０４、自由視点合成画像表示制御部２０５、操作入力部２０６、操作席２０９を備える。

　主制御部２０１は遠隔操作装置２００の制御を行う部分で、プロセッサを含む情報処理装置（不図示）や記憶装置（不図示）を有する汎用の計算機で構成できる。無線通信部２０２は作業機械１００との間で無線通信を行い、作業機械１００から前方カメラ画像や自由視点合成画像１２５を受信し、それぞれカメラ画像表示部２０３と自由視点合成画像表示部２０４にて表示する。自由視点合成画像表示制御部２０５は、オペレータからの入力に従い自由視点合成画像の表示方法を設定し、その情報を無線通信部２０２を介して作業機械１００に送信する。

　オペレータは、カメラ画像表示部２０３と自由視点合成画像表示部２０４の画像を参照しつつ、操作入力部２０６から作業機械１００に対する操作を行う。操作入力部２０６に入力された操作コマンドは、主制御部２０１にて処理され、無線通信部２０２を介して作業機械１００に送信される。なお、作業機械１００と遠隔操作装置２００の間の送受信は、有線で行ってもよい。また、カメラ画像表示部２０３と自由視点合成画像表示部２０４は、１つの表示部で構成されて、この１つの表示部にて前方カメラ画像や自由視点合成画像１２５を表示する構成としてもよい。

　図３Ａと図３Ｂは、遠隔操作システムによる画像表示例を示す図であり、図３Ａは作業機械１００による作業状態を、図３Ｂは遠隔操作装置２００に表示される画像を示す。

　図３Ａに示すように、作業機械（油圧ショベル）１００はバケット１０５ａを動かしてダンプ３０１に対して放土作業を行っている状態である。作業機械１００が行う作業の対象物を「作業対象物」と呼び、この場合、ダンプ３０１が作業対象物となる。この他に作業を行う空間を「作業環境」と呼び、この場合、地面３０２などが作業環境となる。

　図３Ｂは、遠隔操作装置２００のカメラ画像表示部２０３と自由視点合成画像表示部２０４での画像表示例である。図面下側のカメラ画像表示部２０３には、カメラ１０２によって撮影された前方カメラ画像３１１を無線によって受信して表示している。前方カメラ画像３１１には、作業対象物（ダンプ）３０１と作業環境（地面）３０２、および作業機械のアーム部１０５やバケット１０５ａなどが写っている。

　従来の遠隔操作では、オペレータは前方カメラ画像３１１を見ながら、作業機械の遠隔操作を行っていた。しかし、前方カメラ画像３１１だけでは奥行き感が乏しいため、作業効率が低下する場合があった。これを解決するため、本実施例では、図面上側の自由視点合成画像表示部２０４に、仮想的な仮想上面画像３１２と仮想的な仮想側面画像３１３を表示している。

　仮想上面画像３１２と仮想側面画像３１３は、作業機械１００の３次元カメラ１０３で撮影した３次元点群データ１４２をもとに、主制御部１０１により合成された自由視点合成画像１２５を無線で受信して表示している。仮想上面画像３１２は、作業機械１００と作業対象物３０１を上方から見た画像を仮想的に合成したものであり、仮想側面画像３１３は、作業機械１００と作業対象物３０１を側方から見た画像を仮想的に合成したものである。ここで、上方とは作業機械に対して鉛直方向と平行で高い方向を意味する。また、側方とは作業機械の進行方向および鉛直方向と互いに直交する方向を意味する。このように仮想上面画像３１２と仮想側面画像３１３を表示することで、オペレータに作業対象物３０１の奥行き感を与えることができ、作業効率を向上させることができる。

　以下、仮想上面画像３１２と仮想側面画像３１３の合成方法について説明する。
図４は、仮想上面画像３１２の合成方法の説明図であり、その手順を（ａ）～（ｉ）に示す。

　（ａ）は、図３Ａに示す作業状態を作業機械１００の上方から撮影したと仮定した場合の上面画像であり、このような画像の生成を目標（理想）とする。しかしながら、このような理想画像を得るためには、作業機械１００の上方の遠く離れた位置にカメラを設置せねばならず実用的に困難である。このため、３次元カメラ１０３を作業機械１００に搭載して作業対象物３０１などの３次元点群データを取得し、その奥行き情報から仮想的に上方から見た画像を生成する。なお、３次元点群データから生成される画像を点群レンダリング画像と呼ぶ。

　（ｂ）は、作業機械１００に搭載した３次元カメラ１０３から前方を撮影した状況を示す。この場合、作業対象物３０１を含む略三角形の領域４０１が３次元カメラ１０３で撮影可能な領域となる。（ｃ）は、３次元カメラ１０３から撮影可能な領域４０１を抜き出して示したものである。（ｃ）に示される撮影可能な領域４０１だけでは、（ａ）に示すような目標とする上面画像を生成することができない。なぜなら、領域４０１には、作業機械１００の一部（例えばアーム部１０５）しか含まれていない。また、作業環境３０２についても一部しか含まれていない。

　さらに（ｃ）の領域４０１内であっても、３次元カメラ１０３から不可視の領域の３次元点群データは取得できない。この作業状態では、作業機械１００のバケット１０５ａにより作業対象物３０１の一部分が隠れてしまう（図３Ａ参照）。（ｄ）に示す領域４０２は、バケット１０５ａによって隠される作業対象物３０１の領域であり、３次元カメラ１０３からは奥行きを計測できない。

　同様に、作業対象物３０１は作業環境３０２の一部分を隠す。このため、作業対象物３０１が隠した領域は計測できない。（ｅ）に示す領域４０３は、作業対象物３０１によって隠される作業環境３０２の領域であり、この領域４０３も３次元カメラ１０３からは奥行きを計測できない。

　さらに、作業機械１００のアーム部１０５に関しては、３次元カメラ１０３から可視の部分、すなわちアーム部１０５は左側の部分しか計測されない。その結果、（ｆ）に示すように、アーム部１０５の右側の領域４０４（破線部分）は計測できない。

　（ｇ）は、上記をまとめて３次元カメラ１０３からの画像データにより生成可能な上面点群レンダリング画像１４４を示したものである。この画像では、撮影可能領域４０１から計測不可能な領域４０２，４０３，４０４を除いたものとなる。このため、（ａ）に示す理想の上面画像と比較して、作業機械１００や作業対象物３０１の画像の一部が欠落して、作業機械１００と作業対象物３０１との位置関係の把握が困難となる。

　この問題を解決するために、本実施例では、（ｇ）の画像に欠落している作業機械１００の人工画像（ＣＧ画像）１４５を生成して重畳させるようにした。作業機械１００の人工画像を生成するには、作業機械１００の３次元モデルデータ１３１と、アーム部１０５の関節部分の角度などの移動体姿勢データ１４６、さらに人工画像を生成するためのＣＧカメラの情報である仮想カメラデータ１４３があればよい。（ｈ）は、生成した作業機械１００の人工画像１００’（上方から見た画像）を示したものである。

　（ｉ）は、（ｇ）に示す３Ｄ画像に（ｈ）の作業機械１００の人工画像１００’を重畳した画像の例を示す。これにより、点群レンダリング画像だけの場合（ｇ）と比較し、作業機械１００と作業対象物３０１の位置関係の把握が容易となる。

　図５は、仮想側面画像３１３の合成方法の説明図であり、その手順を（ａ）～（ｅ）に示す。

　（ａ）は、図３Ａに示す作業状態を作業機械１００の側方から撮影したと仮定した場合の側面画像であり、このような画像の生成を目標（理想）とする。このような理想画像を得るためには、作業機械１００の側方の遠く離れた位置にカメラを設置せねばならず実用的に困難である。この場合も、作業機械１００の前面に搭載した３次元カメラ１０３を用いて側面画像を生成する。

　（ｂ）は、３次元カメラ１０３から撮影可能な領域５０１を示す。この場合、作業対象物３０１を含む上下方向の扇形領域５０１が３次元カメラ１０３で撮影可能な領域となる。（ｃ）は、３次元カメラ１０３から撮影可能な領域５０１を抜き出して示したものである。（ｃ）に示される撮影可能な領域５０１だけでは、作業機械１００の全体が含まれず、（ａ）に示すような目標とする側面画像を生成することができない。

　さらに（ｃ）の領域５０１内であっても、３次元カメラ１０３から不可視の領域の３次元点群データは計測できない。（ｄ）は、３次元カメラ１０３により計測不可能な領域を示す図である。３次元カメラ１０３を作業機械１００の左側に搭載した場合には、例えば、作業対象物３０１や作業機械のアーム部１０５は主に左側の部分しか計測されず、右側から見た側面画像については破線５０２，５０３で示すように不完全となる。その他、作業対象物３０１は作業環境３０２の一部分を隠すため、隠された領域５０４は計測できない。このため、（ａ）に示す理想の側面画像と比較して画像の一部が欠落して、作業機械１００と作業対象物３０１との位置関係の把握が困難となる。

　この問題を解決するために、本実施例では、（ｄ）の画像に欠落している作業機械１００の人工画像（ＣＧ画像）１４５を重畳させる。（ｅ）は、（ｄ）に示す点群レンダリング画像１４４に、作業機械１００の人工画像１００’（側方から見た画像）を生成し、重畳した画像の例を示す。これにより、点群レンダリング画像１４４だけの場合（ｄ）と比較し、作業機械１００と作業対象３０１の位置関係の把握が容易となる。

　なお、仮想画像として図４では上面画像、図５では側面画像について説明したが、仮想画像はこれだけでなく任意の方向（カメラアングル）から見た場合について生成できる。以下、視点方向を変えて生成した画像を「自由視点合成画像」とも呼ぶ。重畳する人工画像についても、任意の視点方向からの画像を生成できるのは言うまでもない。

　図６は、自由視点合成画像の生成方法を示すフローチャートである。この処理は情報処理装置１１１が実行するものである。
Ｓ６０１では、３次元カメラ１０３からデータを入力する。この入力データは３次元カメラの種類によって異なり、例えば、ステレオカメラの場合には左右２つの画像を３次元カメラデータ１４１に入力する。
Ｓ６０２では、３次元カメラより入力した３次元カメラデータ１４１から距離画像を算出する。距離画像とは、各画素（ｘ，ｙ）に対してカメラからの距離の情報ｄ（ｘ，ｙ）を与えたものである。

　Ｓ６０３では、作業機械１００のアーム角度センサ１０４により、アーム部１０５のアーム角度を検出して移動体姿勢データ１４６に入力する。図２に示した油圧ショベルでは、アーム角度には、旋回角、ブーム角、アーム角、バケット角が含まれ、これにより油圧ショベルの現在の姿勢を規定できる。

　Ｓ６０４では、自由視点画像を生成するための仮想カメラデータ１４３を参照し、自由視点画像生成プログラム１２２およびＣＧ画像生成プログラム１２３の仮想カメラデータに設定する。仮想カメラデータ１４３は、仮想画像を生成するための仮想カメラの位置、方向、画角の情報から構成されている。仮想カメラデータ１４３は、遠隔操作装置２００の自由視点合成画像表示制御部２０５からオペレータが設定する。図３Ｂの例では、仮想上面画像３１２に対応する上面からの仮想カメラデータと、仮想側面画像３１３に対応する側面からの仮想カメラデータの２つの仮想カメラの情報が仮想カメラデータ１４３に保存されている。Ｓ６０４では、初めに、仮想上面画像３１２に対応する上面からの仮想カメラデータを参照し、自由視点画像生成プログラム１２２およびＣＧ画像生成プログラム１２３の仮想カメラデータに設定する。

　Ｓ６０５では、前記距離画像を用いて点群レンダリング画像１４４を生成する。この処理では、Ｓ６０２で算出した距離画像ｄ（ｘ，ｙ）の各画素に対して、３次元座標（Ｘ，Ｙ，Ｚ）と画素の色情報Ｃを求め、それらを点群データとして表現する。これらの点群データ１４２を前記設定した仮想カメラデータ１４３を用いてレンダリングして、上面からの点群レンダリング画像を生成する。前記図４（ｇ）には生成された上面点群レンダリング画像を示すが、点群データだけから生成された点群レンダリング画像には、物体間の遮蔽により画像欠損領域４０２～４０４が発生する。

　なお、距離画像を用いて自由視点画像を生成するためには、３次元カメラ１０３の設置位置と方向の情報が必要である。３次元カメラから取得した点群データは３次元カメラのローカル座標系で定義される。この点群データを作業機械１００の座標系に変換する必要がある。このためには、３次元カメラの位置と方向を作業機械の座標系で計測し、その位置と方向から座標変換行列を求めて座標変換を行う。

　Ｓ６０６では、３次元モデルデータ１３１とＳ６０３で取得したアーム角度などの移動体姿勢データ１４６を用いて、欠損領域にある作業機械１００の人工画像１４５を生成する。３次元モデルデータ１３１には、予め作業機械１００のＣＧモデルデータ１３１が格納されている。このＣＧモデルデータ１３１に対し、アーム部の角度を任意に設定することが可能であり、これにより現在の作業機械と同じ姿勢の上面から見た人工画像を生成する。前記図４（ｈ）には生成された作業機械の人工画像（上面ＣＧ画像）１００’を示す。

　Ｓ６０７では、Ｓ６０５で生成した点群データからの点群レンダリング画像とＳ６０６で生成した作業機械１００の人工画像１００’を重畳合成して自由視点合成画像１２５を生成する。この重畳処理では、点群レンダリング画像と作業機械１００の人工画像を、奥行きを考慮して重畳する。この処理は、Ｚバッファ法を用いた隠面消去処理によって実現できる。前記図４（ｉ）には重畳結果の画像を示す。図４（ｉ）に示されるように、作業機械１００の人工画像を重畳した結果、図４（ｇ）に示す点群データだけを用いた点群レンダリング画像表示と比較して、作業機械１００と作業対象物３０１の関係を把握し易くなる。

　Ｓ６０８では、自由視点合成画像１２５の転送を行う。この例では、仮想上面画像（図４（ｉ））を遠隔操作装置２００に転送する。
Ｓ６０９では、他の仮想カメラ情報があるかどうかを判定する。図３Ｂの例では、仮想側面画像３１３に対応する側面からの仮想カメラ情報が存在する。この場合には前記Ｓ６０４に戻り、側面からの仮想カメラ情報を自由視点画像生成プログラム１２２およびＣＧ画像生成プログラム１２３の仮想カメラデータに設定する。

　以下、Ｓ６０５で生成される側面の点群レンダリング画像は前記図５（ｄ）のようになり、Ｓ６０７で作業機械１００の人工画像１００’を重畳した仮想側面画像３１３は前記図５（ｅ）のようになる。この場合も、作業機械１００の人工画像を重畳した結果、作業機械１００と作業対象物３０１の関係を把握し易くなる。

　Ｓ６０８では、自由視点合成画像１２５の転送を行う。この例では、仮想側面画像（図５（ｅ））を遠隔操作装置２００に転送する。
Ｓ６０９では、他の仮想カメラ情報があるかどうかを判定する。図３Ｂの例では、他の仮想カメラ情報がないので終了する。

　Ｓ６０８で転送された合成画像は、図３Ｂのように、遠隔操作装置２００の自由視点合成画像表示部２０４に表示される。一方遠隔操作装置２００のカメラ画像表示部２０３には、前方カメラ１０２からの画像が表示されている。

　以上のように実施例１では、３次元カメラから得られた点群レンダリング画像に、作業機械のＣＧ画像（人工画像）を重畳表示することで、作業機械と作業対象物の位置関係が把握し易くなるという効果がある。

　実施例２は、３次元カメラから生成された点群レンダリング画像に対し、欠損領域にある作業機械の人工画像だけでなく、作業対象物の人工画像も重畳するようにしたものである。

　遠隔操作システムの構成は実施例１（図１Ａ，１Ｂ、図２）と同様であるため、以下では動作の相違点を説明する。作業機械１００の３次元モデルデータ１３１には、作業機械１００のＣＧモデルデータだけでなく、作業対象物（ダンプ）３０１のＣＧモデルデータを格納している。

　図７と図８は、作業対象物の人工画像を追加して重畳した例を示す図で、図７は仮想上面画像を、図８は仮想側面画像を示す。それぞれ、前記図４、図５に引き続いて行われる。

　図７において、（ａ）は図４（ｇ）に対応し、３次元カメラから得られる点群データを用いた仮想上面点群レンダリング画像である。（ｂ）は、作業機械１００と作業対象物３０１の上方からの人工画像１００’，３０１’を（ａ）の上面点群レンダリング画像に重畳表示したものである。（ｂ）の重畳画像では、上面点群レンダリング画像（ａ）の表示よりも、また前記図４（ｉ）のように作業機械１００の人工画像１００’だけを重畳したときよりも、作業機械１００と作業対象物３０１の位置関係の把握が容易となる。

　図８において、（ａ）は図５（ｄ）に対応し、３次元カメラの点群データを用いた仮想側面点群レンダリング画像である。（ｂ）は、作業機械１００と作業対象物３０１の側方からの人工画像１００’，３０１’を（ａ）の側面点群レンダリング画像に重畳表示したものである。ここではさらに作業環境３０２についての人工画像３０２’も追加している。（ｂ）の重畳画像では、側面点群レンダリング画像（ａ）の表示よりも、また前記図５（ｅ）のように作業機械１００の人工画像１００’だけを重畳したときよりも、作業機械１００と作業対象物３０１の位置関係の把握が容易となる。

　図９は、実施例２における自由視点合成画像の生成方法を示すフローチャートである。実施例１（図６）との相違点を中心に説明する。この処理は情報処理装置１１１が実行するものである。
Ｓ９０１～Ｓ９０３までの処理（３次元カメラデータ入力、距離画像算出、アーム角度入力）は図６のＳ６０１～Ｓ６０３と同様である。

　Ｓ９０４では作業対象物３０１の検出処理を行う。作業対象物３０１は作業内容によって様々であるが、ここでの例ではダンプが相当する。ダンプに対して放土を行う場合には、ダンプがカメラに写っているかどうかを判定する。その場合の作業対象物３０１の識別は、画像処理によって判定できる。また、ＧＰＳ（Global Positioning System）によってダンプの位置と方向を計測できれば、作業機械１００の位置と方向のデータを用いて、作業対象物３０１の検出が可能である。

　Ｓ９０５では、作業対象物３０１が存在するかどうかの判定を行う。作業対象物３０１が存在する場合にはＳ９０６に進み、存在しない場合にはＳ９０７に進む。
Ｓ９０６では、作業対象物３０１の位置と姿勢を算出する。このため、カメラの画像から作業対象物３０１を抽出することで、作業機械１００に対する位置や姿勢の情報を得る。求めた位置と姿勢は、作業機械１００の座標系に変換する。

　Ｓ９０７の仮想カメラデータ設定、Ｓ９０８の点群レンダリング画像生成、Ｓ９０９の作業機械の人工画像生成は、図６のＳ６０４～Ｓ６０６と同様である。
Ｓ９１０では、作業対象物３０１が存在するかどうかにより処理の分岐を行う。作業対象物３０１が存在する場合にはＳ９１１に進み、存在しない場合にはＳ９１２に進む。

　Ｓ９１１では、作業対象物３０１の人工画像を生成する。すなわち、作業対象物３０１のＣＧモデルデータと、Ｓ９０６で求めた作業対象物３０１の位置、姿勢から作業対象物３０１の人工画像３０１’を生成する。

　Ｓ９１２では、Ｓ９０８で生成した点群レンダリング画像にＳ９０９で生成した作業機械１００の人工画像１００’、およびＳ９１１で生成した作業対象物３０１の人工画像３０１’（作業対象物３０１ありの場合）を重畳する。
Ｓ９１３，Ｓ９１４（合成画像の転送、仮想カメラデータのチェック）は図６のＳ６０８，Ｓ６０９と同様である。

　以上のように、実施例２では、３次元カメラから得られた自由視点点群レンダリング画像に、作業機械の人工画像と作業対象物の人工画像の両方を重畳表示することで、作業機械と作業対象物の位置関係がより把握し易くなるという効果がある。

　実施例３は、３次元カメラから生成された自由視点合成画像に対して、画像表示範囲を所望の領域に制限するようにしたものである。

　図１０Ａは、実施例３における作業機械１００による作業状態の一例を示し、図１０Ｂと図１０Ｃは遠隔操作装置２００に表示される画像を示す。
図１０Ａに示すように、作業対象物３０１の近傍に２つの障害物１００１、１００２が存在する状態を想定する。

　図１０Ｂは、この状態について、前記実施例２の手法で合成した仮想上面画像１０１１と仮想側面画像１０１２を示す。いずれも作業機械１００と作業対象物３０１の人工画像１００’，３０１’が重畳表示されている。この図から分かるように、仮想側面画像１０１２では、障害物１００１、１００２のために作業機械１００’や作業対象物３０１’が隠蔽され、作業状態が視認しにくい表示となっている。なお、仮想上面画像１０１１では、障害物１００１、１００２による隠蔽の問題は生じない。本実施例ではこの問題を解決するため、障害物１００１、１００２を含む領域の点群データを表示しないように、点群レンダリング画像の表示領域に制限を加えるようにした。

　図１０Ｃは、表示領域を制限して表示した画像を示す。仮想上面画像１０２１において、障害物１００１、１００２を外側に排除するような領域１００３を設ける。そして、領域１００３の内部だけの点群データから点群レンダリング画像を生成することで、障害物１００１、１００２についてはレンダリングされない。この結果、仮想側面画像１０２２では障害物１００１、１００２が除去され、障害物１００１、１００２による隠蔽の問題が解消される。

　点群画像の表示領域を制限するためには、図６、図９の「距離画像を用いて自由視点３Ｄ画像生成」のステップ（Ｓ６０５、Ｓ９０８）に修正を加える。すなわち、距離画像を用いた自由視点画像生成において、公知のクリッピング処理によって領域外の点群データの表示を行わないようにする。以上で、図１０Ｃのような仮想画像が生成できる。

　以上のように、実施例３では、３次元カメラから得られた点群データを用いて自由視点画像を生成するときに、表示する領域に制限を加える。これにより、障害物が存在しても障害物を非表示とすることができ、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。

　実施例４は、実施例２において使用する作業対象物のＣＧモデル（作業対象モデル）を３次元カメラの入力データを用いて生成（更新）するようにしたものである。

　図１１は、作業対象モデルの生成を説明するフローチャートである。この生成処理は情報処理装置１１１によって実行される。
Ｓ１１０１では３次元カメラ１０３から作業対象物３０１の３次元カメラデータを入力し、Ｓ１１０２で距離画像（カメラからの距離情報）を算出する。

　Ｓ１１０３では、この距離画像と既存の作業対象モデルのモデルデータを用いて、３次元カメラ１０３の位置・姿勢を算出する。既存の作業対象モデルのモデルデータとは、現時点で所有している当該作業対象物３０１のモデルデータである。

　Ｓ１１０４では、算出された３次元カメラ１０３の位置・姿勢と、算出された距離画像を用いて、作業対象モデルを更新する。すなわち、３次元カメラ１０３の位置・姿勢の新しい情報を用いることで、作業対象モデルのデータが修正される。
Ｓ１１０５では所定回数この処理を繰り返して終了する。このように作業対象モデルの更新を繰り返すことで、より精密な作業対象モデルを生成できる。

　上記の３次元カメラからの入力データを用いてモデルを更新する方法は、次の参考文献に記載されている。
［参考文献］R．A．Newcombe, et Al．“KinectFusion: Real－time dense surface mapping and tracking,”in Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on, 2011, pp．127－136．
　以上のように、実施例４では、３次元カメラから得られた点群データを用いて作業対象モデルを構成する。このため、作業対象の正確なＣＧモデルを用意する必要がなく、作業対象物や特に地形などの作業環境の精密なモデルを構築でき、より自然な自由視点画像を生成することが可能である。これにより、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。

　実施例５は、３次元カメラから生成された点群レンダリング画像に人工画像を重畳するとき、人工画像を重畳する割合（重畳度）を時間的に変化させるようにしたものである。

　図１２は、人工画像の重畳度を変化させて表示する例を示す図である。（ａ）は、作業機械１００や作業対象物３０１の人工画像を重畳しない自由視点合成画像（重畳度＝０％）を、（ｂ）は、作業機械１００や作業対象物３０１の人工画像１００’，３０１’を重畳した自由視点合成画像（重畳度＝１００％）を示す。自由視点合成画像表示部２０４には、例えば時間的に（ａ）と（ｂ）を切り替えて交互に表示する。あるいは、（ａ）と（ｂ）の間で重畳度を徐々に変化させ、（ｃ）のように重畳度＝５０％の場合を含めて表示してもよい。

　本実施例を実現するためには、図６のＳ６０７や図９のＳ９１２の重畳画像生成の処理に修正を加える。すなわち、点群レンダリング画像と人工画像の重畳処理において、人工画像の透明度を時間的に変化させることで、重畳度を変化させた重畳画像を表示できる。

　以上のように実施例５では、３次元カメラから得られた点群レンダリング画像と、ＣＧモデルから生成した人工画像の重畳度を変化させる。これにより、点群レンダリング画像と人工画像が正しく適合しているかどうかをオペレータが把握し易くなる。もし、正しく適合せずに画像のずれなどが生じた場合には、操作を中断してカメラ位置・方向の調整などのキャリブレーション処理を行うようにする。

　なお、重畳度の変化に関しては、時間的に変化させるだけでなく、例えば、オペレータの指示によって変化させることが可能である。操作入力部２０６を用いた指示によって重畳度を対話的に変更することが可能である。

　以上の各実施例では、遠隔操作を行う作業機械１００として油圧ショベルを例に説明した。作業機械１００は油圧ショベルに限らず、様々な移動体に適用できる。

　図１３Ａは、移動体が移動ロボットの例を示す図である。移動ロボット１００においても、主制御部１０１、前方カメラ１０２、３次元カメラ１０３、アーム角度センサ１０４、アーム部１０５、走行部１０６、無線通信部１０７などを備え、同様な構成で実現できる。

　図１３Ｂは、移動ロボットの場合の仮想上面画像１３０１、仮想側面画像１３０２の例である。この場合も３次元カメラ１０３から得られる点群レンダリング画像に移動ロボット１００や作業対象物３０１の人工画像１００’，３０１’を重畳することで、移動ロボットと作業対象物の位置関係を把握し易くなるという効果が得られる。

　以上、本発明によれば、任意のアングル（例えば上方や側方）からの自由視点合成画像を参照しながら、操作者は作業機械を遠隔操作することができるため、作業対象物までの客観的な距離感や物の大きさ等を容易に把握することができ、遠隔作業の操作性を格段に向上させることができる。

　本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。
上記実施例では、操作者が作業機械（移動体）に対し遠隔操作を行う場合を前提としたが、これに限定せず、操作者が作業機械に搭乗して操作する場合にも本発明は有効である。すなわち、作業機械に搭乗している操作者から周囲の作業対象物が見えにくいときは、点群レンダリング画像に人工画像（ＣＧ画像）を重畳した自由視点合成画像を表示することで、作業機械と作業対象物の位置関係が把握し易くなることは言うまでもない。よって本発明は、作業機械を操作する上での操作支援システムに拡張可能である。

　上記実施例では、点群レンダリング画像の生成と人工画像の合成は全て移動体側で実行し、遠隔操作装置は自由視点合成画像を受信して表示するものとした。これらの処理のうち、一部の画像処理を遠隔操作装置側で実施することも可能である。例えば、距離画像の点群データとＣＧモデルの情報（アーム部の角度情報や作業対象物の種類と位置・方向）を遠隔操作装置に転送し、遠隔操作装置側で点群レンダリング画像と人工画像の合成を実行する形態も可能である。

　上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。

　１００：作業機械（移動体）、
　１０１：主制御部、
　１０２：カメラ、
　１０３：３次元カメラ、
　１０４：アーム角度センサ、
　１０５：アーム部、
　１０６：走行部、
　１０７：無線通信部、
　１１１：情報処理装置、
　１２０：記憶装置、
　１２１：３次元点群生成プログラム、
　１２２：自由視点画像生成プログラム、
　１２３：ＣＧ画像生成プログラム、
　１２４：重畳画像合成プログラム、
　１２５：自由視点合成画像、
　１３１：３次元モデルデータ、
　１４１：３次元カメラデータ、
　１４２：３次元点群データ、
　１４３：仮想カメラデータ、
　１４４：点群レンダリング画像、
　１４５：人工画像、
　１４６：移動体姿勢データ、
　２００：遠隔操作装置、
　２０１：主制御部、
　２０２：無線通信部、
　２０３：カメラ画像表示部、
　２０４：自由視点合成画像表示部、
　２０５：自由視点合成画像表示制御部、
　２０６：操作入力部、
　３０１：作業対象物、
　３０２：作業環境、
　３１１：前方カメラ画像、
　３１２：仮想上面画像、
　３１３：仮想側面画像、
　４０１，５０１：撮影可能領域、
　４０２～４０４，５０２～５０４：計測不可能領域、
　１００’，３０１’，３０２’：ＣＧ画像（人工画像）。

Claims

　作業対象物に対して作業を行う移動体を遠隔操作装置により操作する遠隔操作システムにおいて、
　前記移動体には、
　前記移動体の前方を撮影する３次元カメラと、
　前記３次元カメラから得た３次元点群データから、前記３次元カメラの視点方向とは異なる角度で、前記作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、
　前記移動体の３次元モデルデータをもとに、前記移動体の人工画像を生成するＣＧ画像生成部と、
　前記人工画像を前記点群レンダリング画像に重畳する重畳画像合成部と、
　前記重畳画像合成部で重畳した自由視点合成画像を前記遠隔操作装置に送信する通信部と、
　を備え、
　前記遠隔操作装置には、
　前記移動体から送信された前記自由視点合成画像を受信する通信部と、
　前記受信した自由視点合成画像を表示する表示部と、
　前記移動体に対して操作を指示する操作入力部と、
　を備えることを特徴とする遠隔操作システム。
　請求項１に記載の遠隔操作システムであって、
　前記ＣＧ画像生成部は、さらに、前記作業対象物の３次元モデルデータをもとに、前記作業対象物の人工画像を生成し、
　前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。
　請求項１に記載の遠隔操作システムであって、
　前記移動体には、当該移動体の姿勢を検出するセンサを有し、
　前記ＣＧ画像生成部は、前記センサで検出した当該移動体の姿勢に基づき当該移動体の人工画像を生成し、
　前記重畳画像合成部は、生成された当該移動体の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。
　請求項２に記載の遠隔操作システムであって、
　前記ＣＧ画像生成部は、前記３次元カメラが撮影した３次元画像データから前記作業対象物の位置と姿勢を算出し、前記作業対象物の人工画像を生成し、
　前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。
　請求項１に記載の遠隔操作システムであって、
　前記自由視点画像生成部は、前記３次元カメラが撮影した３次元画像データのうち、所望の領域のデータを用いて前記点群レンダリング画像を生成することを特徴とする遠隔操作システム。
　請求項２に記載の遠隔操作システムであって、
　前記３次元カメラを用いて前記作業対象物を撮影し、
　撮影した３次元点群データと前記３次元カメラの位置と姿勢の情報を用いて、前記作業対象物の３次元モデルデータを生成することを特徴とする遠隔操作システム。
　請求項２に記載の遠隔操作システムであって、
　前記重畳画像合成部は、前記点群レンダリング画像に前記人工画像を重畳するとき、前記人工画像を重畳する割合を時間的に変化させることを特徴とする遠隔操作システム。
　作業対象物に対して作業を行う移動体を操作する操作支援システムにおいて、
　前記移動体に搭載され前記移動体の前方を撮影する３次元カメラと、
　前記３次元カメラから得た３次元点群データから、前記３次元カメラの視点方向とは異なる角度で、前記作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、
　前記移動体の３次元モデルデータをもとに、前記移動体の人工画像を生成するＣＧ画像生成部と、
　前記人工画像を前記点群レンダリング画像に重畳する重畳画像合成部と、
　前記重畳画像合成部で重畳した自由視点合成画像を表示する表示部と、
　前記移動体に対して操作を指示する操作入力部と、
　を備えることを特徴とする操作支援システム。
　請求項８に記載の操作支援システムであって、
　前記ＣＧ画像生成部は、さらに、前記作業対象物の３次元モデルデータをもとに、前記作業対象物の人工画像を生成し、
　前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする操作支援システム。