JP6512657B2 - 移動機器の周囲状況提示システム - Google Patents

Description

本発明は、重機や作業用車両など、移動機器の周囲状況を視覚的に把握するための画像データを提示するシステムに関する。

従来、この種の画像データ提示システムとしては、例えば農用車両にビデオカメラとＧＰＳを搭載し、農用車両が圃場を走行しながら連続的に地表面の撮影を行い、ＧＰＳからの位置情報に基づいて、表示画面上の画像相互の位置関係を算出して連結することによって、作業用車両周囲の圃場全体の俯瞰画像として表示するシステムが知られている（例えば下記の特許文献１参照）。

また、例えば乗用車の周囲を撮影する複数のカメラを設け、各カメラによる画像をつなげてあたかも乗用車の上空から撮影したような俯瞰画像を合成し、車庫入れなどにおいて運転を支援するための装置が提供されている(例えば下記の特許文献２参照)。

特開２００１−１２００４２号公報 特開２００６−１２１５８７号公報

しかしながら、従来の技術によれば、作業用車両の周囲の俯瞰画像を撮影するカメラが作業用車両自体に取り付けられているため、このような技術を例えば自然災害復旧工事に使用するバックホウなどの重機などに適用した場合、地面の起伏や勾配などによって重機が傾くと、それに搭載されたカメラも傾き、あるいは走行や作業に伴う重機の振動によってカメラの画像も大きく振動するため、安定した画像を提示できないことがある。

また、複数のカメラによる周囲の画像をつなげて俯瞰画像を合成する技術を上述のバックホウなどに適用した場合、カメラによる視界には機体から延びるブームやバケットによる死角が発生するため、正確な俯瞰画像を得ることが困難である。

特に、自然災害復旧工事などにおいて、被災区域内に有人による重機を乗り入れての復旧作業は二次災害の危険性があり、このためオペレータが遠隔地のコントロールルームから災害復旧工事現場の無人作業用車両を操作する施工技術の向上が求められており、そのためには、土砂やがれきなどによる起伏が多い災害復旧工事現場などの作業用車両の周囲状況を視覚的に把握するための、安定した画像データをコントロールルームの画像モニタに提示可能とすることが重要である。

また、作業用車両にオペレータが乗り込んで有人で操縦する場合であっても、作業用車両に搭載したカメラで撮像された画像を運転席のモニタで確認しながら操縦するときには安定した画像データを得ることが重要である。

本発明は、以上のような点に鑑みてなされたものであって、その技術的課題とするところは、重機など、各種移動機器の操作において、移動機器の周囲状況を撮影した画像等の検出データを、安定的に、かつ高精度に提示することにある。

本発明の移動機器の周囲状況提示システムは、移動機器に追従してこの移動機器の上空を飛行可能な飛行体と、この飛行体に搭載され前記移動機器の周囲の標高を計測する測距計と、前記移動機器又は遠隔地に設置され前記測距計からの検出データを表示する表示手段と、を備える。

本発明に係る移動機器の周囲状況提示システムによれば、飛行体は、移動機器の傾斜や振動に関係なく浮揚して移動機器の上空から移動機器の周囲の状況を検出するため、精度が高く安定した検出データを提示することができる。

移動機器の周囲状況提示システムを災害復旧工事に適用した第一の実施の形態を示す説明図である。 第一の実施の形態の概略構成を示すブロック図である。 移動機器の周囲状況提示システムを災害復旧工事に適用した第二の実施の形態の概略構成を示すブロック図である。

以下、移動機器の周囲状況提示システムを、災害復旧工事などに使用するバックホウに適用した好ましい実施の形態について、図面を参照しながら説明する。まず図１及び図２は、第一の実施の形態を示すものである。

図１において、参照符号１はバックホウである。このバックホウ１は災害復旧工事などに使用され、遠隔地から無人操縦可能な重機であって、移動機器に相当し、クローラ走行部１１と、クローラ走行部１１の上に旋回可能に設けられた上部車体１２と、上部車体１２に水平軸による関節１３ａを介して俯仰方向へ揺動可能に設けられたブーム１３と、ブーム１３の揺動端に水平軸による関節１４ａを介して俯仰方向へ揺動可能に設けられたアーム１４と、アーム１４の揺動端に水平軸による関節１５ａを介して俯仰方向へ揺動可能に設けられたバケット１５と、これらブーム１３、アーム１４、バケット１５を揺動させる油圧シリンダ１３ｂ〜１５ｂを備える。

すなわちこのバックホウ１は、クローラ走行部１１によって起伏の多い地盤上でも走行可能であり、ブーム１３、アーム１４、バケット１５が上部車体１２と共に旋回可能であり、かつ油圧シリンダ１３ｂ〜１５ｂの伸縮によって関節１３ａ〜１５ａを介して複雑な屈伸動作が可能となっている。

参照符号２は垂直離着陸及び任意の方角への水平飛行が可能な小型無人のマルチコプター（以下、ＵＡＶという）である。このＵＡＶ２は、飛行体に相当するものであって、機体２１と、機体２１から放射状をなして延びる複数のアーム２２と、各アーム２２の先端に取り付けられ互いに等間隔で配置されたモータ２３ａ及びこれによって水平回転されるプロペラ２３ｂからなる複数のロータ２３を備える。また、このＵＡＶ２の駆動に必要な電力は、バックホウ１に搭載されたバッテリー等の電源装置から、電源ケーブル２４を介して供給されるようになっている。

ＵＡＶ２の機体２１には、図２に示すように、カメラ２０１と、姿勢センサ２０２と、制御装置２０３と、通信装置２０４などが搭載されている。カメラ２０１は、検出手段に相当し、レンズにより取り込んだ光学像をＣＣＤやＣＭＯＳ等の撮像素子によって画像信号に変換するものであり、バックホウ１及びその周囲の俯瞰画像を撮影するために、機体２１の下側に、レンズを下方へ向けた状態で取り付けられている。姿勢センサ２０２は、例えば水平度を検出し、制御装置２０３を介して各ロータ２３の駆動を制御することによって機体２１の姿勢を安定化させるためのものであり、これによってカメラ２０１の光軸が常に下方を向くようにしている。また、制御装置２０３は、このような各ロータ２３の駆動制御のほか、カメラ２０１による俯瞰画像データからバックホウ１の移動方向及び移動距離を算出する算出手段としての機能を有する。

詳しくは、制御装置２０３は、後述するコントロールルーム３側の通信装置３３から送信され通信装置２０４で受信された操作指令信号によって各ロータ２３を制御するものであるほか、カメラ２０１による俯瞰画像データから、バックホウ１の平面輪郭形状における特定のポイント、又はバックホウ１に取り付けられた不図示のマーカーの画像を検出してこれを特徴点とし、画面内での特徴点が特定の座標から移動した場合に、その移動方向及び移動距離を算出して、特定の座標との偏差が０となるようにロータ２３の駆動を制御する機能を有する。このためＵＡＶ２は、常にバックホウ１の上空に位置するように、バックホウ１の移動に追尾して、上昇、降下、旋回、前進、後退、右折、左折などの移動が自律的に行われるようになっている。

一方、バックホウ１の上部車体１２には、前方カメラ３０１と、後方カメラ３０２と、右方カメラ３０３及び左方カメラ３０４と、制御装置３０５及び通信装置３０６が搭載されている。カメラ３０１〜３０４は、第二の検出手段に相当するものであって、レンズにより取り込んだ光学像をＣＣＤやＣＭＯＳ等の撮像素子によって画像信号に変換するものである。各カメラ３０１〜３０４は、好ましくは１８０度以上の画角を有し、このうち前方カメラ３０１は上部車体１２の前方の画像を撮影することができ、後方カメラ３０２は上部車体１２の後方の画像を撮影することができ、右方カメラ３０３及び左方カメラ３０４はそれぞれ上部車体１２の右方及び左方の画像を撮影することができる。

上部車体１２に搭載された制御装置３０５は、後述するコントロールルーム３側から送信され通信装置３０６で受信された操作指令信号によって、クローラ走行部１１を駆動させる走行駆動部１６や、上部車体１２を旋回させる旋回駆動部１７や、ブーム１３、アーム１４、バケット１５の油圧シリンダ１３ｂ〜１５ｂを伸縮させる油圧駆動部１８などの駆動を制御する機能を有する。また、ＵＡＶ２に搭載されたカメラ２０１による俯瞰画像データは通信装置２０４から送信され、バックホウ１の通信装置３０６で受信されて、制御装置３０５に取り込まれるようになっている。

バックホウ１が乗り入れている災害復旧工事現場から離れた場所（遠隔地）にはコントロールルーム３が設置されている。このコントロールルーム３には、遠隔操作装置３１と、管理用制御装置３２と、通信装置３３と、画像表示装置３４が設置され、これらが互いに接続されている。なお、画像表示装置３４は表示手段に相当するものである。

遠隔操作装置３１は、オペレータがコントロールルーム３内からバックホウ１及びＵＡＶ２を遠隔操作するためのものであり、管理用制御装置３２は、例えば汎用のパーソナルコンピュータからなるものであって、遠隔操作装置３１の操作に対応した操作指令信号を出力するほか、バックホウ１の制御装置３０５から通信装置３０６を介して送信され通信装置３３で受信された俯瞰画像及び補完画像を取り込んで液晶ディスプレイ等からなる画像表示装置３４へ出力するものである。

また、この制御装置３２は、不図示のメモリに格納された所定の制御プログラムを実行することによって、俯瞰画像生成機能及び画像補完機能を有するものである。このうち俯瞰画像生成機能は、バックホウ１の通信装置３０６から送信されコントロールルーム３の通信装置３３で受信された前方カメラ３０１、後方カメラ３０２、右方カメラ３０３及び左方カメラ３０４からの画像データを視点変換処理し、これによって得られた視点変換画像を組み合わせることによって、バックホウ１を中心とするバックホウ１の周囲の俯瞰画像を生成するものであり、画像補完機能は、バックホウ１の制御装置３０５から通信装置３０６を介して送信され通信装置３３で受信されたＵＡＶ２のカメラ２０１による画像データを取り込んで、上述の俯瞰画像生成機能により生成された俯瞰画像に不足している画像（例えばバックホウ１の前方カメラ３０１と、後方カメラ３０２と、右方カメラ３０３及び左方カメラ３０４では撮影できない現場の起伏の裏側などの画像）を補完するものである。

なお、上述した実施の形態では、ＵＡＶ２に搭載された通信装置２０４とバックホウ１に搭載された通信装置３０６との間は無線で送受信されるが、例えば電源ケーブル２４を通信ケーブルと兼用し、有線で送受信されるものとすることもできる。

以上の構成を備える第一の実施の形態によれば、コントロールルーム３にいるオペレータは、バックホウ１に搭載されたカメラ３０１〜３０４及びＵＡＶ２に搭載されたカメラ２０１による撮像を画像表示装置３４の画面に表示することによって、バックホウ１の周囲の状況を視覚的に把握しながら、遠隔操作装置３１を操作することによって、バックホウ１の走行駆動部１６、旋回駆動部１７、油圧駆動部１８を制御し、クローラ走行部１１の前進、後退、右折、左折等の動作や上部車体１２の旋回、ブーム１３、アーム１４、バケット１５の動作などを遠隔操作することができると共に、ＵＡＶ２のロータ２３の駆動（ＵＡＶ２の飛行）やカメラ２０１の撮影動作等を遠隔操作することができる。この場合、画像表示装置３４の画面には、後方カメラ３０２、右方カメラ３０３及び左方カメラ３０４による個別の画像データや、これらの画像データから俯瞰画像生成機能により生成した俯瞰画像や、ＵＡＶ２に搭載されたカメラ２０１による画像を選択的に切り替え表示することができる。

そして例えば、バックホウ１の周囲に存在する構造物やがれきの裏側など、バックホウ１に搭載されたカメラ３０１〜３０４では撮影できない画像データは、ＵＡＶ２に搭載されたカメラ２０１による画像で補完することができるので、土砂やがれきなどによる起伏が多い災害復旧工事現場などでバックホウ１をコントロールルーム３から遠隔操作するために必要な周囲状況の安定した画像データを得ることができる。また、バックホウ１は、不整地や、瓦礫による凹凸が激しい地面Ｇを走行する際に大きく傾いた場合、各カメラ３０１〜３０４の撮像も大きく変動することになるが、このような撮像の乱れはＵＡＶ２に搭載されたカメラ２０１による画像で補正することによって、遠隔操作のための高精度な画像データを得ることができる。

また、ＵＡＶ２の飛行は、姿勢センサ２０２からの検出データによって安定化されていると共に、カメラ２０１による俯瞰画像データ内での特徴点の移動方向及び移動距離の計測値から、常にバックホウ１の上空へ追従するように自律制御されるため、コントロールルーム３からの遠隔操作を容易に行うことができる。

なお、ＵＡＶ２の機体２１に搭載する周囲状況検出手段としては、カメラ２０１のほか、例えばレーザ測距計を用いることができる。このレーザ測距計を用いれば、レーザ光の走査による周知の航空測量法によって現場の地面Ｇの標高を高精度に計測し、この計測データに基づいて、バックホウ１のカメラ３０１〜３０４からの撮像によるバックホウ１の周囲の俯瞰画像に等高線を表示し、あるいは周囲地面Ｇの起伏を断面形状として表示するといった処理を行うことができる。

また、飛行体はＵＡＶ２に限定されるものではなく、例えば遠隔操作可能な小型の飛行船なども使用可能である。

また、移動機器はバックホウ１に限定されるものではなく、例えば移動式クレーン、ブルドーザ、農用車両など、種々の重機や作業車両に適用することができる。

また、上述した第一の実施の形態では、バックホウ１がコントロールルーム３から遠隔操作されるものである場合について説明したが、バックホウ１は、上部車体１２の運転席１２ａにオペレータが乗り込んで直接操作するものであってもよい。

この場合、バックホウ１の上部車体１２には、図３に示す第二の実施の形態のように、画像表示装置３０７が搭載され、制御装置３０５は、運転席１２ａの操作装置３０８の操作に対応した操作指令信号を出力して、クローラ走行部１１を駆動させる走行駆動部１６や、上部車体１２を旋回させる旋回駆動部１７や、ブーム１３、アーム１４、バケット１５の油圧シリンダ１３ｂ〜１５ｂを伸縮させる油圧駆動部１８などを制御する機能のほか、上部車体１２に搭載されたカメラ３０１〜３０４により俯瞰画像を生成し、ＵＡＶ２からの補完画像あるいはレーザ測距データを取り込んで液晶ディスプレイ等からなる画像表示装置３０７へ出力する機能を有するものとする。

したがってこの第二の実施の形態によれば、バックホウ１の上部車体１２の運転席１２ａに搭乗したオペレータは、バックホウ１に搭載されたカメラ３０１〜３０４及びＵＡＶ２に搭載されたカメラ２０１による撮像を運転席１２ａの画像表示装置３０７の画面に表示することによって、バックホウ１の周囲の状況を視覚的に把握しながら、操作装置３０８を操作することできる。

この場合、第一の実施の形態と同様、画像表示装置３０７の画面には、後方カメラ３０２、右方カメラ３０３及び左方カメラ３０４による個別の画像データや、これらの画像データから俯瞰画像生成機能により生成した俯瞰画像や、ＵＡＶ２に搭載されたカメラ２０１による画像を選択的に切り替え表示し、あるいはカメラ３０１〜３０４では撮影できない画像データを補完した画像を表示し、あるいはバックホウ１のカメラ３０１〜３０４からの撮像によるバックホウ１の周囲の俯瞰画像に等高線を表示し、あるいは周囲地面の起伏を断面形状として表示するといった処理を行うことができる。

１ バックホウ（移動機器）
２ ＵＡＶ（飛行体）
２０１ カメラ
（検出手段）
２０３ 制御装置２０３
３ コントロールルーム
３１ 遠隔操作装置
３２ 管理用制御装置
３０１〜３０４ カメラ（第二の検出手段）

Claims (8)

1. 移動機器に追従してこの移動機器の上空を飛行可能な飛行体と、
   この飛行体に搭載され前記移動機器の周囲の標高を計測する測距計と、
   前記移動機器又は遠隔地に設置され前記測距計からの検出データを表示する表示手段と、
   を備えることを特徴とする移動機器の周囲状況提示システム。
2. 移動機器に、この移動機器の周囲の状況を検出する第二の周囲状況検出手段が搭載され、この第二の周囲状況検出手段からの検出データが、前記飛行体に搭載された前記測距計からの検出データと共に前記表示手段に表示されることを特徴とする請求項１に記載の移動機器の周囲状況提示システム。
3. 前記飛行体に搭載されて前記移動機器の周囲の俯瞰画像を撮影するカメラを備え、
   前記第二の周囲状況検出手段が前記移動機器の周囲を撮影するカメラであり、この第二の周囲状況検出手段からの撮像データが、前記飛行体に搭載された前記カメラからの画像データで補完されることを特徴とする請求項２に記載の移動機器の周囲状況提示システム。
4. 前記飛行体に搭載されて前記移動機器の周囲の俯瞰画像を撮影するカメラを備え、
   前記第二の周囲状況検出手段は前記移動機器の周囲を撮影する複数台のカメラであり、これらのカメラの撮像データを視点変換処理して得られた視点変換画像を組み合わせることによって生成された前記移動機器の周囲の俯瞰画像を前記表示手段に表示し、この表示手段に表示する俯瞰画像に不足している画像を、前記飛行体に搭載された前記カメラからの画像データで補完することを特徴とする請求項２に記載の移動機器の周囲状況提示システム。
5. 前記第二の周囲状況検出手段は前記移動機器の周囲を撮影する複数台のカメラであり、これらのカメラの撮像データを視点変換処理して得られた視点変換画像を組み合わせることによって生成された前記移動機器の周囲の俯瞰画像を前記表示手段に表示し、
   前記測距計からの検出データに基づいて、等高線を前記俯瞰画像に表示する、
   ことを特徴とする請求項２に記載の移動機器の周囲状況提示システム。
6. 前記第二の周囲状況検出手段は前記移動機器の周囲を撮影する複数台のカメラであり、これらのカメラの撮像データを視点変換処理して得られた視点変換画像を組み合わせることによって生成された前記移動機器の周囲の俯瞰画像を前記表示手段に表示し、
   前記測距計からの検出データに基づいて、前記移動機器の周囲地面の起伏を断面形状として前記俯瞰画像に表示する、
   ことを特徴とする請求項２に記載の移動機器の周囲状況提示システム。
7. 前記飛行体に搭載され前記移動機器の周囲の俯瞰画像を撮影するカメラを備え、
   前記カメラによる俯瞰画像データから前記移動機器の移動方向及び移動距離を算出する算出手段を備え、
   前記飛行体が前記移動機器の上空へ追従するように、前記飛行体の飛行が前記算出手段からの算出データに基づいて制御される
   ことを特徴とする請求項１〜６のいずれか一に記載の移動機器の周囲状況提示システム。
8. 飛行体がＵＡＶ又は飛行船からなることを特徴とする請求項１〜７のいずれか一に記載の移動機器の周囲状況提示システム。

Images