JP6674177B2 - 遠隔操縦用画像取得装置と方法および遠隔操縦装置 - Google Patents

Description

本発明は、作業機械を遠隔操縦することに用いる画像を取得するための遠隔操縦用画像取得装置と方法、および、作業装置の遠隔操縦装置に関する。

図１は、作業装置６０を遠隔操縦するための構成を示す。作業装置６０は、地上を移動する移動機構（例えば車輪やクローラ）を有する本体６０ａと、本体６０ａに設けられ対象物体１に対して作業を行うアーム状構造体６０ｂとを備える。作業装置６０は、作業装置６０から離れた遠隔操縦エリアＲから遠隔操縦される。そのために、作業装置６０は、カメラ６１と通信装置６３と制御装置６５とを有し、遠隔操縦エリアＲには、表示装置６７と操作装置６９と通信装置７１とが設けられる。

作業装置６０において、カメラ６１は、作業装置６０からその付近の領域を撮像する。例えば、作業装置６０に設けられたアーム状構造体６０ｂが所定の作業を行う場合に、カメラ６１は、その作業対象となる対象物体１を含む領域を撮像する。これにより、カメラ６１は、この領域の画像データを取得する。カメラ６１により取得された画像データは、通信装置６３により遠隔操縦エリアＲの通信装置７１へ無線で送信される。

遠隔操縦エリアＲにおいて、通信装置７１が受信した画像データによる画像は、表示装置６７に表示される。人は、表示された画像を見ながら、操作装置６９を操作することにより、この操作に応じて、操作装置６９は、本体６０ａの移動機構に対する移動指令（例えば、移動方向や移動速度を示す移動指令）を生成する。または、人は、表示された画像を見ながら、操作装置６９を操作することにより、この操作に応じて、操作装置６９は、アーム状構造体６０ｂに対する動作指令を生成する。生成された移動指令または動作指令は、通信装置７１から作業装置６０の通信装置６３へ無線で送信される。

作業装置６０において、制御装置６５は、通信装置６３により受信した移動指令に従って移動機構による本体６０ａの移動方向や移動速度を制御する。また、制御装置６５は、通信装置６３により受信した動作指令に従ってアーム状構造体６０ｂの動作を制御する。

上述のような作業装置は、例えば下記の特許文献１に記載されている。

特開平１１−１３２０７１号公報

しかし、アーム状構造体６０ｂがカメラ６１の視野内に入ることにより、カメラ６１から見て対象物体１がアーム状構造体６０ｂの背後に隠れてしまうことがある。または、作業装置６０に設けたカメラ６１で得た画像において、作業装置６０（例えば、アーム状構造体６０ｂ）から対象物体１までの距離（画像の奥行き方向の距離）が把握しにくい場合がある。そのため、作業装置６０に設けた１つ又は複数のカメラ６１で得た画像からは、対象物体１を認識しにくい場合や、対象物体１と作業装置６０（アーム状構造体６０ｂ）との位置関係を認識しにくい場合がある。

そこで、本発明の目的は、対象物体に対して作業を行う作業装置を遠隔操縦する場合に、対象物体を認識しやすい画像データ、または、対象物体と作業装置（アーム状構造体）との位置関係を認識しやすい画像データを取得する手段を提供することにある。

上述の目的を達成するため、本発明によると、対象物体に対して作業を行う作業装置を遠隔操縦するために、作業装置付近の画像を取得する遠隔操縦用画像取得装置であって、
カメラと第１通信装置が搭載され、前記作業装置とは独立して移動する移動体を備え、
前記カメラは、前記作業装置の付近を撮像して該付近の画像データを生成し、
前記第１通信装置は前記画像データを送信することにより、該画像データが、遠隔操縦するための遠隔操縦エリアの第２通信装置に受信され、
前記移動体は、
該移動体の現在位置を計測する位置計測装置と、
該位置計測装置により計測された現在位置と、作業装置との衝突を避けるために設定された進入禁止範囲とを比較し、該現在位置が進入禁止範囲内であるかどうかを判断する比較装置とを備える、ことを特徴とする遠隔操縦用画像取得装置が提供される。

上述の遠隔操縦用画像取得装置は、例えば以下のように構成できる。

前記比較装置は、前記現在位置が進入禁止範囲内であると判断した場合には、その旨のアラーム信号を出力する。

遠隔操縦用画像取得装置は、前記現在位置が進入禁止範囲内であると前記比較装置により判断された場合に、前記移動体を進入禁止範囲外へ移動させるように前記移動体を制御する衝突回避制御装置を備える。

前記移動体は無人飛行装置である。

遠隔操縦用画像取得装置は、前記作業装置に設けられ、第１通信装置が送信した画像データを受けて、該画像データを前記第２通信装置へ無線で送信する第３通信装置を備える。

前記移動体は、該移動体の移動に使用される電力を蓄える蓄電装置と、前記作業装置に設けられた充電装置から電力を受けて前記蓄電装置へ送る受電機構と、を備える。

遠隔操縦用画像取得装置は、複数の前記移動体を備える。

前記移動体は、
該移動体の現在位置を計測する位置計測装置と、
該位置計測装置により計測された現在位置と、作業装置との衝突を避けるために設定された進入禁止範囲とを比較し、該現在位置が進入禁止範囲内であると判断したら、その旨のアラーム信号を出力する比較装置とを備える。

また、本発明によると、上述の遠隔操縦用画像取得装置と、
前記遠隔操縦エリアに設けられ、前記第１通信装置により送信された前記画像データを受信する第２通信装置と、
前記遠隔操縦エリアに設けられ、該第２通信装置が受信した画像データによる画像を表示する表示装置と、
前記遠隔操縦エリアに設けられ、人に操作されることにより前記作業装置を遠隔操縦するための操縦指令を生成する操作装置と、を備える、ことを特徴とする遠隔操縦装置が提供される。

また、上記目的を達成するため、本発明によると、対象物体に対して作業を行う作業装置を、遠隔操縦するために作業装置の付近の画像を取得する遠隔操縦用画像取得方法であって、
カメラと第１通信装置が搭載され、前記作業装置とは独立して移動する移動体を用意し、
前記カメラは、前記作業装置の付近を撮像して該付近の画像データを生成し、
前記第１通信装置は前記画像データを送信することにより、該画像データが、遠隔操縦するための遠隔操縦エリアの第２通信装置に受信され、該画像データによる画像が遠隔操縦エリアにおける表示装置に表示され、
前記移動体において、該移動体の現在位置を計測するとともに、計測された該現在位置と、作業装置との衝突を避けるために設定された進入禁止範囲とを比較し、該現在位置が進入禁止範囲内であるかどうかを判断する、ことを特徴とする遠隔操縦用画像取得方法が提供される。

上述した本発明によると、作業装置の作業を遠隔操縦するための画像を取得するのに好ましい位置へ移動体が移動し、この位置から、移動体のカメラが撮像して画像データを取得できる。
したがって、対象物体を認識しやすい画像データ、または、対象物体と作業装置との位置関係を認識しやすい画像データを取得できる。

作業装置を遠隔操縦するための構成を示す。 本発明の対象となり得る作業装置と、本発明の実施形態による遠隔操縦用画像取得装置と遠隔操縦装置を示す。 作業装置と移動体と遠隔操縦エリア内の構成を示すブロック図である。 本発明の実施形態による遠隔操縦用画像取得方法を示すフローチャートである。 作業装置と移動体との衝突を防止する方法を示すフローチャートである。 作業装置と移動体との衝突を防止する方法を示す別のフローチャートである。 他の実施形態による、作業装置と移動体と遠隔操縦エリア内の構成を示すブロック図である。

本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図２は、本発明の対象となり得る作業装置１０と、本発明の実施形態による遠隔操縦用画像取得装置２０と遠隔操縦装置３０を示す。

作業装置１０は、地上を移動するための移動機構を有する本体１０ａと、本体１０ａに設けられ作業を行うためのアーム状構造体１０ｂとを備える。移動機構は、地面に接して回転駆動されることにより、地上を走行する走行用回転部材３（例えば、車輪やクローラベルトなど）を有するものであってよい。図２では、走行用回転部材３は、クローラベルトである。ただし、移動機構は、上記に限定されず、地上を移動できる機構であればよい。アーム状構造体１０ｂは、その作業対象となる対象物体１に対して作業を行う。

作業装置１０は、本実施形態では移動式作業機械である。例えば、移動式作業機械は、パワーショベル、ドラグショベルまたは他の建設機械である。作業装置１０が、パワーショベルまたはドラグショベルである場合には、アーム状構造体１０ｂは、互いに順次連結されたブームとアームとバケットとを有する。図２では、アーム状構造体１０ｂは、ドラグショベルであり、ブーム５ａとアーム５ｂとバケット５ｃとを有する。

代わりに、作業装置１０は、解体用機械であってもよい。この場合、アーム状構造体１０ｂは、互いに順次連結されたブームとアームと解体具（ブレーカ、解体用つかみ機、コンクリート圧搾機、鉄骨切断機など）とを有する。

作業装置１０は、上述のものに限定されず、他のものであってもよい。

（遠隔操縦用画像取得装置の構成）
図２と図３に基づいて、遠隔操縦用画像取得装置２０を説明する。図３は、作業装置１０と移動体１３と遠隔操縦エリアＲ内の構成を示すブロック図である。

遠隔操縦用画像取得装置２０は、作業装置１０を操作装置３１の操作により遠隔操縦するために、作業装置１０の付近の画像を取得する。作業装置１０の付近の画像とは、作業装置１０の一部（例えばアーム状構造体１０ｂ）と対象物体１とを含む画像であってよい。遠隔操縦用画像取得装置２０は、カメラ７と第１通信装置９が搭載され作業装置１０とは独立して移動する移動体１３を備える。カメラ７は、作業装置１０とは別の位置から作業装置１０の付近を撮像して該付近の画像データ（すなわち、リアルタイムな画像データ。以下同様）を生成する。第１通信装置９は、カメラ７が得た画像データを送信することにより、この画像データが、操作装置３１が設けられた遠隔操縦エリアＲの第２通信装置１１に受信される。

本実施形態では、移動体１３は、無人飛行装置である。この場合において、本願において、移動体１３の移動とは、無人飛行装置１３の飛行を意味する。好ましい一例では、無人飛行装置１３は、マルチコプター（いわゆるドローン（ｄｒｏｎｅ））である。移動体（無人飛行装置）１３は、カメラ７が所望の画像データを取得できる位置へ移動することができる。ここで、所望の画像データとは、対象物体１を認識しやすい画像データ、または、対象物体１と作業装置１０（アーム状構造体１０ｂ）との位置関係を認識しやすい画像データを意味する（以下、同様）。移動体１３が無人飛行装置の場合、無人飛行装置１３が、飛行中に、好ましくは、空中の一定位置に停止した状態で、または、一定の局所範囲内に位置した状態で、カメラ７は、作業装置１０付近の領域を撮像して所望の画像データを取得する。
なお、移動体１３は、無人車両であってもよいし、他のものであってもよい。

遠隔操縦用画像取得装置２０は、作業装置１０に設けられた第３通信装置１５を備える。第３通信装置１５は、第１通信装置９が低電力（例えば１０ｍＷ程度）で送信した画像データを受けて、当該画像データを、上記低電力より高い電力（例えば１０Ｗ程度）で第２通信装置１１へ無線で送信する。これにより、移動体１３の第１通信装置９が、画像データの送信に消費する電力を抑えることができる。すなわち、第１通信装置９は、近くの作業装置１０の第３通信装置１５へ画像データを送信できればよいので、画像データの送信電力を、遠隔の第２通信装置１１へ直接送信する場合よりも小さくして当該画像データを送信できる。よって、第１通信装置９が画像データを送信するのに要する消費電力が抑えられる。

遠隔操縦用画像取得装置２０は、移動体１３の移動を遠隔制御する操作装置２７を備える。操作装置２７は、人に操作されることにより、移動体１３の移動に関する移動指令を生成し、この移動指令を無線で移動体１３に送信する。この移動指令として、例えば、移動体１３の移動方向を示す方向指令と、移動速度を示す速度指令とがある。移動体１３は、操作装置２７からの移動指令を受信して、受信した移動指令に従って移動するように構成されている。なお、この移動指令は、第３通信装置１５に中継されて移動体１３（すなわち第１通信装置９）に受信されてよい。移動体１３が無人飛行装置である場合には、無人飛行装置１３は、受信した移動指令に従って、飛行し、または着陸する。

操作装置２７は、本実施形態によると遠隔操縦エリアＲに設けられる。人は、移動体１３に設けたカメラ７が得た画像データによる画像を見ながら操作装置２７を操作してよい（以下、同様）。すなわち、カメラ７が得た画像データが、第１通信装置９から第３通信装置１５を介して第２通信装置１１へ送信されて、この画像データによる画像は、操作装置２７の操作者が見られるように遠隔操縦エリアＲの表示装置（例えば後述の表示装置２５）に表示される。

また、操作装置２７には、移動体１３に固定された基準線に対してカメラ７の向きを調整するカメラ向き操作部２７ａが設けられていてもよい。人は、このカメラ向き操作部２７ａを操作して、上述の基準線に対するカメラ７の向きを調整できる。

移動体１３は、移動体１３の移動に使用される電力を蓄える蓄電装置１７と、作業装置１０に設けられた充電装置１９から電力を受けて蓄電装置１７へ送る受電機構１８とを備える。
充電装置１９は、電力を蓄えた蓄電装置１９ａと、この蓄電装置１９ａの電力を受電機構１８に供給する給電機構１９ｂとを有する。

図２の例では、受電機構１８は受電コネクタであり、給電機構１９ｂは、受電コネクタ１８に接続可能な給電コネクタである。ただし、受電機構１８は受電コイルであり、給電機構１９ｂは、受電コイル１８に非接触で電力を送る給電コイルであってもよい。

移動体１３は、充電残量計測装置２３を備える。充電残量計測装置２３は、移動体１３の蓄電装置１７の蓄電量が下限値以下になったかどうかを判断する。この判断の結果が肯定である場合には、例えば、その旨が、第１通信装置９から送信されて、遠隔操縦エリアＲの第２通信装置１１に受信され、遠隔操縦エリアＲにおいて、表示、音声、光の形態で出力装置から出力され、操作装置２７を操作する人に認識される。したがって、人は、操作装置２７を操作することにより、移動体１３を、受電機構１８が作業装置１０の充電装置１９から電力を受けられる受電可能位置へ移動させる。次いで、例えば遠隔操縦エリアＲに設けた適宜の入力装置を用いて、人が充電開始指令を入力する。この充電開始指令が、第２通信装置１１から作業装置１０の第３通信装置１５へ無線で送信される。これにより、充電装置１９の適宜のスイッチがオンにされて、充電装置１９から受電機構１８へ電力が供給されて蓄電装置１９ａが充電される。なお、受電可能位置を示す指標が作業装置１０に設けられるのがよい。この指標は、カメラ７で得た画像データによる画像において人が認識できるものである。受電可能位置が、作業装置１０上の位置である場合には、指標は当該位置に設けられる。受電可能位置が、作業装置１０の所定部位に隣接する位置である場合には、指標は当該所定部位に設けられる。

受電機構１８が受電コネクタであり、給電機構１９ｂが給電コネクタである場合には、移動体１３が受電可能位置に移動させられた後、充電開始指令の入力前に、例えば、次のようにするのがよい。作業装置１０に設けられ受電可能位置を撮像するカメラ２４が撮像した画像データによる画像と、上述のカメラ７が撮像した画像データによる画像との一方または両方が、遠隔操縦エリアＲに設けた表示装置（例えば表示装置２５）に表示される。人は、表示された当該画像を見ながら、適宜の操作装置を操作して、作業装置１０に設けたマニピュレータ（図示せず）を動作させる。これにより、このマニピュレータが、給電コネクタ１９ｂを把持して受電コネクタ１８に接続させる。なお、給電コネクタ１９ｂには、変形自在な給電ケーブル２９の一端部が接続されており、給電ケーブル２９の他端部は、蓄電装置１９ａに接続されている。この給電ケーブル２９は、上記マニピュレータにより給電コネクタ１９ｂを受電コネクタ１８まで移動されることを可能にする長さを有している。

受電機構１８が受電コイルであり、給電機構１９ｂが非接触給電用の給電コイルである場合には、移動体１３が受電可能位置に移動させられた後、充電装置１９により蓄電装置１７に充電が上述の充電開始指令により又は自動的になされてよい。なお、充電開始前に、受電可能位置における移動体１３の向きが、給電コイル１９ｂが受電コイル１８に非接触給電できる向きにされる。この向きの調整は、操作装置２７の操作により、または、移動体１３による自動制御によりなされる。

（遠隔操縦装置の構成）
本発明の実施形態による遠隔操縦装置３０は、作業装置１０を遠隔操縦するための装置であり、上述の遠隔操縦用画像取得装置２０と、第２通信装置１１と、表示装置２５と、操作装置３１とを備える。

第２通信装置１１は、遠隔操縦エリアＲに設けられ、第１通信装置９により送信された画像データを受信する。表示装置２５は、遠隔操縦エリアＲに設けられ、第２通信装置１１が受信した画像データによる画像を表示する。操作装置３１は、遠隔操縦エリアＲに設けられ、人に操作されることにより作業装置１０を遠隔操縦するための操縦指令を生成する。

操縦指令として、本体１０ａを移動させる上述の移動機構に対する移動指令（例えば、移動方向や移動速度を示す移動指令）と、アーム状構造体１０ｂに対する動作指令とがある。生成された操縦指令は、第２通信装置１１から無線で送信されて、作業装置１０に設けられた第３通信装置１５に受信される。これにより、この操縦指令に従って、作業装置１０に設けられた制御装置３３は、作業装置１０を制御する。すなわち、制御装置３３は、移動指令に従って上述した移動機構による本体１０ａの移動を制御し、動作指令に従ってアーム状構造体１０ｂの動作を制御する。

（遠隔操縦用画像取得方法）
次に、上述した遠隔操縦用画像取得装置２０を用いた遠隔操縦用画像取得方法について説明する。図４は、この遠隔操縦用画像取得方法を示すフローチャートである。

ステップＳ１において、人が操作装置２７を操作することにより、移動体１３のカメラ７が所望の画像データを取得できる撮像位置へ移動体１３を移動させる。

なお、上述の撮像位置は、例えば、作業装置１０を水平方向における側方から見る位置（図２において一点鎖線で示す移動体１３の位置）であってよい。移動体１３が無人飛行装置である場合には、上述の撮像位置は、作業装置１０を上方から見る位置（図２において実線で示す移動体１３の位置）であってもよい。

移動体１３が無人飛行装置である場合には、ステップＳ１において、操作装置２７の操作により、無人飛行装置１３を、作業装置１０の付近の画像を取得できる撮像位置（すなわち、所望の画像を撮像できる撮像位置）へ着陸させ、この状態で、無人飛行装置１３のカメラ７は、作業装置１０の付近を撮像する。したがって、無人飛行装置１３の飛行で、蓄電装置１７の蓄電量が消費されることを抑えることができる。

好ましくは、移動体１３は作業装置１０に載った状態で、作業装置１０が作業を行う作業領域へ移動し、その後、ステップＳ１において、移動体１３が作業装置１０から移動して（例えば乗り出して）撮像位置へ移動する。特に、図２に示すように、移動体１３が無人飛行装置である場合には、ステップＳ１において、無人飛行装置１３は、作業装置１０から飛び立って、撮像位置へ飛行する。

このステップＳ１により、移動体１３（カメラ７）の位置が、所望の画像データを取得可能な撮像位置となる。このステップＳ１では、人は、上述のカメラ向き操作部２７ａを操作して、カメラ７の向きを調整してもよい。

ステップＳ２において、上述の撮像位置にあるカメラ７が所望の画像データを取得し、この画像データが、第１通信装置９から第３通信装置１５を介して第２通信装置１１へ送信される。これにより、この所望の画像データは、表示装置２５に表示される。このステップＳ２において、移動体１３と作業装置１０（第３通信装置１５）との距離は、小さく、例えば、３ｍ〜５０ｍの範囲内、３ｍ〜３０ｍの範囲内、または、１０ｍ〜２０ｍの範囲内である。したがって、第１通信装置９が画像データを送信するのに消費する電力が抑えられる。

ステップＳ３において、人は、表示装置２５に表示された、所望の画像データによる画像を見ながら、操作装置３１を操作することにより、作業装置１０による作業を行う。

ステップＳ１、Ｓ２またはＳ３が行われている時に、充電残量計測装置２３が、移動体１３の蓄電装置１７の蓄電量が下限値以下になったと判断したら、当該ステップの処理を止めて、処理はステップＳ４へ進む。

ステップＳ４において、人は、操作装置２７を操作して移動体１３を上述の受電可能位置へ移動させる。次いで、ステップＳ４において、蓄電装置１７は、充電装置１９から電力を受けて蓄える。蓄電装置１７に充電がなされたら、上述のステップＳ１に戻る。

一方、ステップＳ３が行われている間に、作業装置１０の作業の進行に応じて、所望の画像データを得るための撮像位置を変える場合には（ステップＳ５でＹＥＳ）、上述のステップＳ１へ戻る。この判断は、表示装置２５に表示された画像を見ながら、操作装置３１を操作している人になされてよい。ステップＳ５で撮像位置を変える場合には、戻ったステップＳ１において、人が操作装置２７を操作することにより、移動体１３を移動させて、移動体１３（カメラ７）の位置を新たな撮像位置に変更する。

（作業装置と移動体との衝突防止）
好ましくは、作業装置１０と移動体１３との衝突を防止するために、作業装置１０と移動体１３は、さらに以下の構成を有する。

作業装置１０は、位置計測装置３５と範囲設定装置３９と許可通知装置４１を備える。位置計測装置３５は、作業装置１０の現在位置を計測する。例えば、位置計測装置３５は、ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）衛星からＧＰＳ信号を受信し、このＧＰＳ信号に基づいて作業装置１０の現在位置を求める。

範囲設定装置３９は、位置計測装置３５が計測した作業装置１０の現在位置に基づいて、移動体１３と作業装置１０との衝突を避けるための進入禁止範囲を設定する。この進入禁止範囲は、位置計測装置３５が計測した現在位置を含む範囲であって、この現在位置に作業装置１０がある状態で、作業装置１０の本体１０ａが占める本体範囲ａと、アーム状構造体１０ｂが動作可能な（動いて届く）その最大可動範囲ｂとを合わせた範囲である。作業装置１０が移動してその現在位置が変われば、この現在位置に基づいて設定される進入禁止範囲も移動する。なお、進入禁止範囲は、本体範囲ａと最大可動範囲ｂとを合わせた範囲よりも所定の大きさ（例えば、各方向に本体１０ａの寸法のオーダー）だけ拡大した範囲であってもよい。

範囲設定装置３９は、本体１０ａの寸法（例えば、幅、長さおよび高さ）と、本体１０ａに対するアーム状構造体１０ｂの最大可動範囲ｃとを記憶する記憶部３９ａを有していてよい。この場合、範囲設定装置３９は、記憶部３９ａに記憶された本体１０ａの寸法および最大可動範囲ｃと、位置計測装置３５が計測した作業装置１０の現在位置とに基づいて、進入禁止範囲を設定する。

許可通知装置４１は、蓄電装置１７への充電のために、作業装置１０へ移動体１３が接近することを許可する許可通知を、第３通信装置１５から第１通信装置９へ無線で送信させる（詳しくは後述する）。

移動体１３は、位置計測装置４３と比較装置４５と衝突回避制御装置４６と許可要求装置４７とをさらに備える。

位置計測装置４３は、移動体１３の現在位置を計測する。例えば、位置計測装置４３は、ＧＰＳ衛星からＧＰＳ信号を受信し、このＧＰＳ信号に基づいて移動体１３の現在位置を求める。

比較装置４５は、位置計測装置４３が計測した移動体１３の現在位置が、上述の進入禁止範囲内であるかどうかを判断する（詳しくは後述する）。
この判断の結果が肯定である場合に、衝突回避制御装置４６は、移動体１３を進入禁止範囲外へ移動させるように移動体１３を制御する（詳しくは後述する）。

許可要求装置４７は、移動体１３の蓄電装置１７の蓄電量が下限値以下になった場合に、移動体１３が充電のために作業装置１０へ接近することの許可を受ける旨の接近許可要求を第１通信装置９から送信させる。

図５と図６は、作業装置１０と移動体１３との衝突防止方法を示すフローチャートである。図５は、主に作業装置１０側の処理を示し、図６は、主に移動体１３側の処理を示す。

ステップＳ１１で、作業装置１０を作業領域へ移動させる。例えば、次のようにステップＳ１１を行う。作業装置１０の位置計測装置３５は、作業装置１０の現在位置を計測する。計測された作業装置１０の現在位置は、例えば、第３通信装置１５から第２通信装置１１へ無線で送信され、表示装置２５の画面に表示されている地図に表示される。この地図上には、上述の作業領域も表示されている。人は、同じ画面に互いに重ねて表示されている地図、作業装置１０の現在位置、および上記作業領域を見て操作装置３１を操作して、作業装置１０を、上述の作業領域内へ移動させる。この時、好ましくは、移動体１３は作業装置１０に載っている。この場合、移動体１３は、作業装置１０が作業領域へ到達した後に、作業装置１０が作業を開始する前に、作業装置１０から上述の撮像位置へ移動する。

なお、ステップＳ１１で、作業装置１０に設けられ作業装置１０の前方を撮像するカメラ２６が取得した画像を見ながら、人は操作装置３１を操作してもよい。すなわち、カメラ２６で撮像した画像データが、第３通信装置１５から第２通信装置１１へ送信され、この画像データによる画像が、表示装置２５に表示される。人は、この画像を見ながら操作装置３１を操作して、上述の作業領域へ作業装置１０を移動させる。

ステップＳ１２で、位置計測装置３５は、作業装置１０の現在位置を計測し、作業装置１０の範囲設定装置３９は、上述したように、この現在位置に基づいて進入禁止範囲を設定する。

ステップＳ１３で、範囲設定装置３９は、設定された進入禁止範囲を示す進入禁止範囲情報を、第３通信装置１５から、移動体１３の第１通信装置９へ無線で送信させる。その後、ステップＳ１４が行われる。

なお、進入禁止範囲は、ステップＳ１２において、他の場所（例えば遠隔操縦エリアＲ）で設定されてもよい。この場合、範囲設定装置３９は、位置計測装置３５により計測された作業装置１０の現在位置を、第３通信装置１５を介して受け、または、他の手段で計測された作業装置１０の現在位置を受け、受けた当該現在位置に基づいて進入禁止範囲を設定する。次いで、この進入禁止範囲を示す進入禁止範囲情報が、ステップＳ１３において、適宜の通信装置（例えば第２通信装置１１）から無線で送信され、第３通信装置１５に中継されて又は直接、移動体１３の第１通信装置９に受信されてもよい。

ステップＳ１４で、作業装置１０が、上述の作業領域内において作業を行う。このステップＳ１４は、上述のステップＳ３と同じである。

なお、好ましくは、ステップＳ１４の最中に、再び、上述のステップＳ１２とステップＳ１３を行う。
例えば、位置計測装置３５は、作業装置１０の現在位置を時々刻々と各時点で計測し、範囲設定装置３９は、各時点で計測された当該現在位置に基づいて、前回のステップＳ１２を行った時点の作業装置１０の現在位置から作業装置１０の位置が設定量だけ変化したと判断したら、再び、上述のステップＳ１２とステップＳ１３を行う。
あるいは、範囲設定装置３９は、前回のステップＳ１２を行った時点から経過時間を計測し、この経過時間が設定時間に達したと判断したら、再び、上述のステップＳ１２とステップＳ１３を行う。

作業装置１０による作業中に、移動体１３の許可要求装置４７が、第１通信装置９から接近許可要求を送信させた場合には、移動体１３が作業装置１０に接近しようとしていると判断し（ステップＳ１５でＹＥＳ）、処理がステップＳ１６へ移行する。そうでない場合には、移動体１３が進入禁止範囲外に位置し続けるとして（ステップＳ１５でＮＯ）、ステップＳ１４において作業装置１０による作業が継続される。
第１の例では、第１通信装置９からの接近許可要求が、作業装置１０の第３通信装置１５に受信された場合に処理がステップＳ１６へ移行する。第２の例では、第１通信装置９からの接近許可要求が（例えば第３通信装置１５を介して）第２通信装置１１に受信された場合に処理がステップＳ１６へ移行する。

ステップＳ１６で、作業装置１０による作業を中断する。上述の第１の例の場合、上述の接近許可要求を作業装置１０の第３通信装置１５が受信することにより、制御装置３３は、アーム状構造体１０ｂの動作を停止させる。この場合、上述の接近許可要求を作業装置１０の第３通信装置１５が受信することにより、アーム状構造体１０ｂの動作停止を示す信号が第３通信装置１５から第２通信装置１１へ無線で送信されて、遠隔操縦エリアＲにおいて、表示、音声、光の形態で適宜の出力装置から出力され、操作装置３１を操作する人に通知される。

上述の第２の例の場合、移動体１３の第１通信装置９から送信された接近許可要求は、第２通信装置１１に受信されて、遠隔操縦エリアＲにおいて、表示、音声、光の形態で適宜の出力装置から出力されることにより、操作装置３１を操作する人に通知される。この場合、この通知を受けた人は、ステップＳ１６で、操作装置３１を操作することにより、作業を停止する旨の動作指令（停止指令）が操作装置３１により生成され、第２通信装置１１と第１通信装置９を介して制御装置３３に受信される。これにより、制御装置３３は、作業装置１０（アーム状構造体１０ｂ）による作業を中断させる。すなわち、本体１０ａの移動とアーム状構造体１０ｂの動作を停止させる。

ステップＳ１７で、移動体１３が作業装置１０に接近することを許可する。上述の第１および第２の例のいずれにおいても、ステップＳ１７において、制御装置３３がステップＳ１６で作業装置１０による作業を中断させることに反応して、許可通知装置４１が、許可通知を生成する。なお、上述の第２の例の場合には、作業を停止する旨の動作指令（停止指令）が、ステップＳ１６で遠隔操縦エリアＲの操作装置３１により生成されることに反応して、許可通知装置４１が、許可通知を生成してもよい。この場合、許可通知装置４１は遠隔操縦エリアＲに設けられる。

一方、移動体１３においては、以下のように図６に示す処理を行う。

ステップＳ２１で、移動体１３の第１通信装置９は、上述のステップＳ１３で送信された進入禁止範囲情報を受信する。

ステップＳ２２で、移動体１３の移動と、カメラ７による撮像と、作業装置１０による作業を行う。すなわち、ステップＳ２２で、上述のステップＳ１、Ｓ２、Ｓ３が行われ、必要に応じて上述のステップＳ５も行われる。ステップＳ２２で、上述のステップＳ５も行う場合、再びステップＳ１、Ｓ２が行われる。このようなステップＳ２２（特に上述のステップＳ２とＳ３）は、作業装置１０による作業が終了されるまで継続される。

ステップＳ２２の最中に、ステップＳ２３で、移動体１３において、位置計測装置４３は、移動体１３の現在位置を計測する。

ステップＳ２２の最中に、ステップＳ２４で、衝突回避判断が行われる。この衝突回避判断では、比較装置４５は、ステップＳ２１で受信した進入禁止範囲情報と、ステップＳ２３で計測した現在位置とを比較することにより、移動体１３が進入禁止範囲内に位置しているかを判断する。この判断の結果が肯定である場合には、処理はステップＳ２５へ進む。そうでない場合には、ステップＳ２２を継続させる。

ステップＳ２５で、衝突回避動作が行われる。衝突回避動作として、下記の動作Ａと動作Ｂの一方または両方が行われる。

（動作Ａ）
移動体１３の比較装置４５は、アラーム信号を出力する。本実施形態では、移動体１３の比較装置４５は、アラーム信号を第１通信装置９から無線で送信させる。このアラーム信号は、（例えば第３通信装置１５を介して）第２通信装置１１に受信される。第２通信装置１１に受信されたアラーム信号は、遠隔操縦エリアＲにおいて、表示、音声、光の形態で出力装置から出力される。さらに、出力されたアラーム信号を認識した人が、操作装置２７を操作することにより、移動体１３を進入禁止範囲外へ移動させる。これにより、移動体１３と作業装置１０との衝突が回避される。その後、ステップＳ２２に戻る。

この動作Ａで、移動体１３の現在位置が、時々刻々と位置計測装置４３により計測されて、第１通信装置９から（例えば第３通信装置１５を介して）第２通信装置１１へ送信され、表示装置２５または遠隔操縦エリアＲの別の表示装置の画面に表示されている地図上に表示されるのがよい。この地図上には、第１通信装置９から（例えば第３通信装置１５を介して）第２通信装置１１へ送信された上述の進入禁止範囲も表示されている。動作Ａで、人は、このように表示された移動体１３の現在位置と進入禁止範囲を見て操作装置２７を操作して、移動体１３を、上述の進入禁止範囲外へ移動させる。

（動作Ｂ）
衝突回避制御装置４６は、ステップＳ２１で受信した進入禁止範囲情報と、ステップＳ２３で計測した現在位置とに基づいて、移動体１３を進入禁止範囲外へ移動させるように移動体１３を制御する。これにより、移動体１３と作業装置１０との衝突を回避できる。その後、ステップＳ２２に戻る。

動作Ａと動作Ｂの両方が行われる場合には、好ましくは、移動体１３は、動作Ａにおいて操作装置２７により生成される移動指令に影響されずに、動作Ｂにより強制的に進入禁止範囲外へ移動させられる。ただし、この場合に、衝突回避制御装置４６が故障したときには、動作Ａにより移動体１３が進入禁止範囲外へ移動させられるようにするのがよい。

なお、ステップＳ２１で、複数回、進入禁止範囲情報を受信した場合には、最後に受信した進入禁止範囲情報に基づいて衝突回避判断と衝突回避動作が行われる。また、衝突回避判断は、時間間隔をおいて繰り返し行われるのがよい。

ステップＳ２２を行っている時に、移動体１３の充電残量計測装置２３は、移動体１３の蓄電装置１７の蓄電量が下限値以下になったことを検出したら（ステップＳ２６でＹＥＳ）、処理はステップＳ２７へ進む。そうでない場合には、ステップＳ２２を継続させる。

ステップＳ２７で、移動体１３の許可要求装置４７は、移動体１３が作業装置１０に接近することの許可を求める接近許可要求を移動体１３の第１通信装置９から無線で送信させる。これにより、上述のステップＳ１５における判断の結果が肯定になり、上述のステップＳ１６で作業装置１０による作業が中断され、上述のステップＳ１７で許可通知が生成される。

ステップＳ２８で、ステップＳ１７で生成された許可通知が、操作装置２７の操作者に伝えられる。許可通知が作業装置１０に設けた許可通知装置４１により生成された場合には、この許可通知は、第３通信装置１５から第２通信装置１１へ送信され、遠隔操縦エリアＲにおいて、表示、音声、光の形態で出力装置から出力され、操作装置２７を操作する人に認識される。一方、許可通知が遠隔操縦エリアＲに設けた許可通知装置４１により生成された場合には、この許可通知は、表示、音声、光の形態で許可通知装置４１から出力され、操作装置２７を操作する人に認識される。人は、許可通知により、移動体１３の蓄電装置１７に充電が必要であることを知る。

ステップＳ２９で、人は、操作装置２７を操作することにより、移動体１３を受電可能位置へ移動させる。これにより、上述のステップＳ４のように、作業装置１０の充電装置１９から移動体１３の蓄電装置１７へ給電されて、蓄電装置１７に充電がなされる。その後、処理はステップＳ２２に戻る。
ステップＳ２９で、例えば、人は、カメラ７が得た画像だけでなく、遠隔操縦エリアＲの表示装置（例えば表示装置２５）に表示された地図上における作業装置１０の現在位置と移動体１３の現在位置を見ながら操作装置２７を操作する。作業装置１０の現在位置は、位置計測装置３５で計測され、第３通信装置１５から第２通信装置１１へ送信されて当該地図上に表示される。移動体１３の現在位置は、位置計測装置４３で計測され、第１通信装置９から第２通信装置１１へ送信されて当該地図上に表示される。

または、ステップＳ２９で、カメラ２４により撮像され遠隔操縦エリアＲの表示装置（例えば表示装置２５）に表示された画像データも見ながら人が操作装置２７を操作することにより、移動体１３をカメラ２４の視野内に移動させてもよい。次いで、移動体１３が、自律的に移動することにより、カメラ２４の視野内の位置から移動して作業装置１０に設けた給電コネクタ１９ｂ（給電口）に、受電コネクタ１８を接続してもよい。これにより、蓄電装置１７に充電がなされる。

あるいは、上述の許可通知を移動体１３が受信することにより、ステップＳ２９で、移動体１３が、例えば受電可能位置に設けたマーカを頼りに、受電可能位置に自律移動してもよい。その後、充電装置１９により蓄電装置１７に充電がなされてよい。

上述した実施形態によると、作業装置１０の作業を遠隔操縦するための画像を取得するのに好ましい撮像位置へ移動体１３が移動し、この位置から、移動体１３のカメラ７が撮像して画像データを取得できる。
したがって、対象物体１を認識しやすい画像データ、または、対象物体１と作業装置１０（アーム状構造体１０ｂ）との位置関係を認識しやすい画像データを取得できる。

本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の他の実施形態１〜３のいずれかを採用してもよいし、他の実施形態１〜３の複数を任意に組み合わせて採用してもよい。この場合、以下で説明しない点は、上述と同じであってよい。

（他の実施形態１）
遠隔操縦用画像取得装置２０は、図７のように、遠隔操縦エリアＲにおいて撮像位置を指定可能な入力装置４９を備えていてもよい。人は、入力装置４９を操作することにより撮像位置を指定可能である。このように入力装置４９で指定された撮像位置が、第２通信装置１１から送信されて移動体１３の第１通信装置９に受信される。この場合、移動体１３は、受信した撮像位置へ自律移動する。
この場合、操作装置２７を省略してよいが、上述のカメラ向き操作部２７ａは、（例えば遠隔操縦エリアＲに）設けられてよい。

（他の実施形態２）
上述の移動体１３が複数設けられてもよい。この場合、各移動体１３に対して操作装置２７が設けられる。これにより、複数の移動体１３にそれぞれ設けられた複数のカメラ７が得た複数の画像データによる画像が、表示装置２５に表示される。したがって、複数の撮像位置から得た画像を見ながら、操作装置３１を操作できる。

（他の実施形態３）
なお、操作装置２７は、遠隔操縦エリアＲに設けられていなくてもよい。例えば、操作装置２７は、人が携帯可能であってもよい。この場合、操作装置２７の操作のために、遠隔操縦エリアＲへ送信されるデータや信号（例えば、カメラ７が得た画像データ、アラーム信号、許可通知）は、操作装置２７に併設（例えば操作装置２７に一体化）された通信装置に受信され、操作装置２７に併設（例えば操作装置２７に一体化）された適宜の出力装置により、人が認識できるようにデータや信号の種類に応じた形態（表示、音声、光）で出力される。

１ 対象物体、３ 走行用回転部材、５ａ ブーム、５ｂ アーム、５ｃ バケット、７ カメラ、９ 第１通信装置、１０ 作業装置、１０ａ 本体、１０ｂ アーム状構造体、１１ 第２通信装置、１３ 移動体（無人飛行装置）、１５ 第３通信装置、１７ 蓄電装置、１８ 受電機構（受電コネクタ）、１９ 充電装置、１９ａ 蓄電装置、１９ｂ 給電機構（給電コネクタ）、２０ 遠隔操縦用画像取得装置、２３ 充電残量計測装置、２４ カメラ、２５ 表示装置、２６ カメラ、２７ 操作装置、２７ａ カメラ向き操作部、２９ 給電ケーブル、３０ 遠隔操縦装置、３１ 操作装置、３３ 制御装置、３５ 位置計測装置、３９ 範囲設定装置、３９ａ 記憶部、４１ 許可通知装置、４３ 位置計測装置、４５ 比較装置、４６ 衝突回避制御装置、４７ 許可要求装置、４９ 入力装置、Ｒ 遠隔操縦エリア

Claims (11)

1. 対象物体に対して作業を行う作業装置を遠隔操縦するために、作業装置付近の画像を取得する遠隔操縦用画像取得装置であって、
   カメラと第１通信装置が搭載され、前記作業装置とは独立して移動する移動体を備え、
   前記移動体は、無人飛行装置であり、
   前記カメラは、前記作業装置の付近を撮像して該付近の画像データを生成し、
   前記第１通信装置は前記画像データを送信することにより、該画像データが、遠隔操縦するための遠隔操縦エリアの第２通信装置に受信され、
   前記作業装置に設けた範囲設定装置は、前記作業装置の現在位置に基づいて、前記移動体と前記作業装置との衝突を避けるための進入禁止範囲を設定し、
   前記移動体は、
   該移動体の現在位置を計測する位置計測装置と、
   前記位置計測装置により計測された前記移動体の現在位置と、前記進入禁止範囲とを比較し、該現在位置が前記進入禁止範囲内であるかどうかを判断する衝突回避判断を行う比較装置とを備え、
   前記範囲設定装置は、変化した前記作業装置の現在位置に基づいて前記進入禁止範囲を再び設定し、前記第１通信装置は、前記作業装置から送信され該進入禁止範囲を示す進入禁止範囲情報を受信し、
   前記比較装置は、前記衝突回避判断を繰り返し行い、前記第１通信装置が、複数回、進入禁止範囲情報を受信した場合には、前記比較装置は、最後に受信した進入禁止範囲情報に基づいて衝突回避判断を行う、ことを特徴とする遠隔操縦用画像取得装置。
2. 対象物体に対して作業を行う作業装置を遠隔操縦するために、作業装置付近の画像を取得する遠隔操縦用画像取得装置であって、
   カメラと第１通信装置が搭載され、前記作業装置とは独立して移動する移動体を備え、
   前記カメラは、前記作業装置の付近を撮像して該付近の画像データを生成し、
   前記第１通信装置は前記画像データを送信することにより、該画像データが、遠隔操縦するための遠隔操縦エリアの第２通信装置に受信され、
   前記移動体は移動可能であり、且つ、前記移動体の向きが調整可能であり、
   前記移動体は、
   該移動体の現在位置を計測する位置計測装置と、
   該位置計測装置により計測された現在位置と、作業装置との衝突を避けるために設定された進入禁止範囲とを比較し、該現在位置が進入禁止範囲内であるかどうかを判断する比較装置とを備える、ことを特徴とする遠隔操縦用画像取得装置。
3. 対象物体に対して作業を行う作業装置を遠隔操縦するために、作業装置付近の画像を取得する遠隔操縦用画像取得装置であって、
   カメラと第１通信装置が搭載され、前記作業装置とは独立して移動する移動体を備え、
   前記カメラは、前記作業装置の付近を撮像して該付近の画像データを生成し、
   前記第１通信装置は前記画像データを送信することにより、該画像データが、遠隔操縦するための遠隔操縦エリアの第２通信装置に受信され、
   前記移動体は、
   該移動体の現在位置を計測する位置計測装置と、
   該位置計測装置により計測された現在位置と、作業装置との衝突を避けるために設定された進入禁止範囲とを比較し、該現在位置が進入禁止範囲内であるかどうかを判断する比較装置と、
   前記移動体の移動に使用される電力を蓄える蓄電装置と、
   前記作業装置に設けられた充電装置から電力を受けて前記蓄電装置へ送る受電機構と、を備える、ことを特徴とする遠隔操縦用画像取得装置。
4. 前記比較装置は、前記現在位置が進入禁止範囲内であると判断した場合には、その旨のアラーム信号を出力する、ことを特徴とする請求項１〜３のいずれか一項に記載の遠隔操縦用画像取得装置。
5. 前記現在位置が進入禁止範囲内であると前記比較装置により判断された場合に、前記移動体を進入禁止範囲外へ移動させるように前記移動体を制御する衝突回避制御装置を備える、ことを特徴とする請求項１〜４のいずれか一項に記載の遠隔操縦用画像取得装置。
6. 前記移動体は無人飛行装置である、ことを特徴とする請求項２〜５のいずれか一項に記載の遠隔操縦用画像取得装置。
7. 前記作業装置に設けられ、前記第１通信装置が送信した画像データを受けて、該画像データを前記第２通信装置へ無線で送信する第３通信装置を備える、ことを特徴とする請求項１〜６のいずれか一項に記載の遠隔操縦用画像取得装置。
8. 複数の前記移動体を備える、ことを特徴とする請求項１〜７のいずれか一項に記載の遠隔操縦用画像取得装置。
9. 遠隔操縦装置のカメラ向き操作部の操作により、前記カメラの向きが前記移動体に固定された基準線に対して調整可能になっている、請求項２に記載の遠隔操縦用画像取得装置。
10. 請求項１〜９のいずれか一項に記載の遠隔操縦用画像取得装置と、
    前記遠隔操縦エリアに設けられ、前記第１通信装置により送信された前記画像データを受信する第２通信装置と、
    前記遠隔操縦エリアに設けられ、該第２通信装置が受信した画像データによる画像を表示する表示装置と、
    前記遠隔操縦エリアに設けられ、人に操作されることにより前記作業装置を遠隔操縦するための操縦指令を生成する操作装置と、を備える、ことを特徴とする遠隔操縦装置。
11. 対象物体に対して作業を行う作業装置を遠隔操縦するために作業装置の付近の画像を取得する請求項１〜９のいずれか一項に記載の遠隔操縦用画像取得装置を用いた遠隔操縦用画像取得方法であって、
    前記カメラと前記第１通信装置が搭載され、前記作業装置とは独立して移動する前記移動体を用意し、
    前記カメラは、前記作業装置の付近を撮像して該付近の画像データを生成し、
    前記第１通信装置は前記画像データを送信することにより、該画像データが、遠隔操縦するための遠隔操縦エリアの前記第２通信装置に受信され、該画像データによる画像が遠隔操縦エリアにおける表示装置に表示され、
    前記移動体において、該移動体の現在位置を計測するとともに、計測された該現在位置と、作業装置との衝突を避けるために設定された進入禁止範囲とを比較し、該現在位置が進入禁止範囲内であるかどうかを判断する、ことを特徴とする遠隔操縦用画像取得方法。

Images