JP7349947B2 - 情報処理装置、作業機械、情報処理方法、情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、作業機械、情報処理方法、情報処理プログラムに関する。

従来、例えばショベルなどの作業機械において、作業時の安全を確保するために、カメラを搭載して周辺、特に操縦者から死角となる部分に対して監視を行い、操縦者に画像を通して通知する技術が知られている。特許文献１においてはカメラを用いて作業機械の後部の状態を監視する技術が開示されている。ここでは、作業機械の後部に存在する特に人等の物体を検知して搭乗者に通知・あるいは動作を制限することで安全を確保する。このように撮影された画像は周辺の物体を検出監視するために用いられている。同様の課題は例えば自動運転車等でも用いられる。近年では、カメラ画像に合わせてＬＩＤＡＲ（LASER Imaging Detection and Ranging）などの複数のセンサを組み合わせて監視を行い、より安全に周辺の情報を監視するシステムも知られている。
しかし一方で、特に工事現場などにおいては作業安全性の確保のためには周辺の物体を監視するだけでは十分でない場合もある。特に工事現場などの作業機械を用いる現場においては自動運転での自動車の走行とは異なり、通常工事現場などにおいては、走行時に常に安定した地面を走行できるかは保証されていない。そのため、オペレータは通常周辺物体のみならず、地面の安定性や走行可能性についても考慮して操作を行わなければならない。

特開２０１９－０１５１７４号公報

本発明は、上記事情に鑑みてなされたもので、作業機械の走行安全性を向上させることを目的とする。

本発明は、走行可能な作業機械などに搭載される情報処理装置であって、
当該作業機械の周辺の地面の情報を取得する情報取得手段と、
前記情報取得手段が取得した地面の情報に基づいて、当該作業機械が当該地面を走行した場合の走行安全性を判定する判定手段と、を備え、
前記情報取得手段は、
当該作業機械の周辺の画像を取得する撮像手段と、
当該作業機械の周辺の二次元もしくは三次元情報を取得する測距手段と、
を含み、
前記判定手段は、
前記測距手段が取得した情報に基づいて、周辺領域のうち地面領域を検出する地面領域計算手段と、
前記撮像手段が取得した画像のうち、前記地面領域計算手段が検出した前記地面領域に対応する画像部分に基づいて、当該地面領域の表面状態を推定する表面状態計算手段と、
前記地面領域の情報と前記地面領域の表面状態とに基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する危険度判定手段と、
を含む。

また、本発明は、作業機械であって、
上記の情報処理装置を備える。

また、本発明は、情報処理方法であって、
制御手段が、
走行可能な作業機械の周辺の地面の情報を取得する情報取得工程と、
前記情報取得工程で取得した地面の情報に基づいて、前記作業機械が当該地面を走行した場合の走行安全性を判定する判定工程と、
を実行し、
前記情報取得工程は、
前記作業機械の周辺の画像を取得する撮像工程と、
前記作業機械の周辺の二次元もしくは三次元情報を取得する測距工程と、
を含み、
前記判定工程は、
前記測距工程で取得した情報に基づいて、周辺領域のうち地面領域を検出する地面領域計算工程と、
前記撮像工程で取得した画像のうち、前記地面領域計算工程で検出した前記地面領域に対応する画像部分に基づいて、当該地面領域の表面状態を推定する表面状態計算工程と、
前記地面領域の情報と前記地面領域の表面状態とに基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する危険度判定工程と、
を含む。

また、本発明は、情報処理プログラムであって、
コンピュータを、
走行可能な作業機械の周辺の地面の情報を取得する情報取得手段、
前記情報取得手段が取得した地面の情報に基づいて、前記作業機械が当該地面を走行した場合の走行安全性を判定する判定手段、
として機能させ、
前記情報取得手段は、
前記作業機械の周辺の画像を取得する撮像手段と、
前記作業機械の周辺の二次元もしくは三次元情報を取得する測距手段と、
を含み、
前記判定手段は、
前記測距手段が取得した情報に基づいて、周辺領域のうち地面領域を検出する地面領域計算手段と、
前記撮像手段が取得した画像のうち、前記地面領域計算手段が検出した前記地面領域に対応する画像部分に基づいて、当該地面領域の表面状態を推定する表面状態計算手段と、
前記地面領域の情報と前記地面領域の表面状態とに基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する危険度判定手段と、
を含む。

本発明によれば、作業機械の走行安全性を向上させることができる。

本実施形態に係るショベルの側面図である。 図１のショベルのシステム構成の一例を示すブロック図である。 本実施形態の走行性判定処理でのデータの流れを示すデータフロー図である。 （ａ）ショベルの周辺状態の一例を示す図であり、（ｂ）（ａ）の周辺状態に対応する表示画像例を示す図である。 図４（ｂ）の表示画像の変形例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

［ショベルの構成］
まず、本実施形態に係るショベル１００の構成について説明する。ショベル１００は、本発明に係る作業機械の一例であり、本発明の適用の範囲を制限するものではない。ショ
ベル１００は、周辺地面の情報を取得して走行安全性を向上できるように構成されている。

図１は、本実施形態に係るショベル１００の側面図である。
この図に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメントとしてのブーム４、アーム５及びバケット６と、オペレータが搭乗するキャビン１０とを備える。アタッチメントは、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。

下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。

ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動する。

また、ショベル１００は、キャビン１０のオペレータにより操作されるのに代えて、或いは、加えて、所定の外部装置（例えば、後述の管理装置２００や支援装置３００）のオペレータによって遠隔操作されてもよい。この場合、ショベル１００は、例えば、後述の撮像装置４０が出力する画像情報（撮像画像）を外部装置に送信する。これにより、オペレータは、例えば、外部装置に設けられる表示装置に表示される画像情報を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、外部装置から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、油圧アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータの操作装置４５に対する操作、及び外部装置のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。

また、ショベル１００は、オペレータの操作の内容に依らず、自動で油圧アクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素の少なくとも一部を自動で動作させる機能（以下、「自動運転機能」）を実現する。
自動運転機能には、オペレータの操作装置４５に対する操作や遠隔操作に応じて、操作対象の被駆動要素（油圧アクチュエータ）以外の被駆動要素（油圧アクチュエータ）を自動で動作させる機能（いわゆる「半自動運機能」）が含まれてよい。また、自動運転機能には、オペレータの操作装置４５に対する操作や遠隔操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能（いわゆる「完全自動運転機能」）が含まれてよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、自動運転機能には、ショベル１００の周囲の作業者等の人のジェスチャをショベル１００が認識し、認識されるジェスチャの内容に応じて、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能（「ジェスチャ操作機能」）が含まれてよい。また、半自動運転機能や完全自動運転機能やジェスチャ操作機能には、自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能やジェスチャ操作機能には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される態様（いわゆる「自律運転機能」）が含まれてもよい。

図２は、ショベル１００のシステム構成の一例を示すブロック図である。
この図に示すように、ショベル１００は、上記構成のほか、コントローラ３０と、撮像装置４０と、距離センサ４１と、動作・姿勢状態センサ４２と、位置センサ４３と、方位センサ４４と、操作装置４５と、表示装置５０と、音声出力装置６０と、通信機器８０とを備える。本発明に係る情報処理装置は、コントローラ３０、撮像装置４０、距離センサ４１を含んで構成される。

撮像装置４０は、上部旋回体３に取り付けられ、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、前方カメラ４０Ｆ、後方カメラ４０Ｂを含む。ショベル１００の「周辺」とは、少なくともショベル１００から所定距離内の所定範囲を含んでいればよい。
前方カメラ４０Ｆは、上部旋回体３の前部に取り付けられ、上部旋回体３の前方を撮像する。
後方カメラ４０Ｂは、上部旋回体３の後部に取り付けられ、上部旋回体３の後方を撮像する。
これら前方カメラ４０Ｆ及び後方カメラ４０Ｂの各々は、上部旋回体３において、光軸が斜め下方に向くように取り付けられ、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。また、前方カメラ４０Ｆ及び後方カメラ４０Ｂの水平方向の撮像範囲（画角）は、合わせてショベル１００回りの略全方位を含む範囲となっている。

距離センサ４１は、上部旋回体３に取り付けられ、ショベル１００の周辺の物体までの距離を測定してその二次元あるいは三次元の位置情報を取得する測距手段であり、取得した情報をコントローラ３０に出力する。距離センサ４１は、前方距離センサ４１Ｆ、後方距離センサ４１Ｂを含む。
前方距離センサ４１Ｆは、上部旋回体３の前部に取り付けられ、上部旋回体３の前方の計測を行う。前方距離センサ４１Ｆの計測範囲は、前方カメラ４０Ｆの撮像範囲に対応している。
後方距離センサ４１Ｂは、上部旋回体３の後部に取り付けられ、上部旋回体３の後方の計測を行う。後方距離センサ４１Ｂの計測範囲は、後方カメラ４０Ｂの撮像範囲に対応している。
本実施形態では、各距離センサ４１として、光を利用したＬＩＤＡＲ（Light Detection and Ranging）が用いられる。このほかにも、ミリ波レーダーや、ステレオカメラによる測距装置なども考えられるが、特に限定はされない。

また、撮像装置４０と距離センサ４１は、同方向を計測・撮影するものが互いに対応して組を成している。具体的には、前方カメラ４０Ｆと前方距離センサ４１Ｆが前方センサユニット４６Ｆを構成し、後方カメラ４０Ｂと後方距離センサ４１Ｂが後方センサユニット４６Ｂを構成している。

動作・姿勢状態センサ４２は、ショベル１００の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ３０に出力する。動作・姿勢状態センサ４２は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ（ＩＭＵ：Inertial Measurement Unit）と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、ＩＭＵで取得される加速度（速度、位置も含んでもよい）により代替されてもよい。
アーム角度センサは、ブーム４を基準とするアーム５の回動角度（以下、「アーム角度」と称する）を検出する。
バケット角度センサは、アーム５を基準とするバケット６の回動角度（以下、「バケット角度」と称する）を検出する。
ＩＭＵは、ブーム４及びアーム５の各々に取り付けられ、所定の三軸に沿ったブーム４及びアーム５の加速度、及び、所定の三軸廻りのブーム４及びアーム５の角加速度を検出する。
旋回角度センサは、上部旋回体３の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体３に設けられたＧＰＳやＩＭＵセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体３の旋回軸から離れた位置に取り付けられ、上部旋回体３の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体３が旋回しているのか、或いは、下部走行体１が走行しているのか等が判別されうる。

位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＰＳ（Global Positioning System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＰＳ受信機でなくともよく、例えばＧＰＳ以外の衛星測位システムを利用するものであってもよい。位置センサ４３は、下部走行体１に設けられてもよく、上部旋回体３に設けられていてもよい。

方位センサ４４は、ショベル１００が向いている方位（方向）の情報を取得するセンサであり、例えば地磁気センサである。方位センサ４４は、ショベル１００の方位の情報を取得して、コントローラ３０に出力する。なお、方位センサ４４は、ショベル１００の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばＧＰＳを２つ設け、その位置情報から方位情報を取得してもよい。

操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが各動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、距離センサ４１、動作・姿勢状態センサ４２、位置センサ４３、方位センサ４４、表示装置５０、音声出力装置６０、通信機器８０等の操作を行う、各種設定手段を含む操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。

表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。

音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。

通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワーク（例えば、基地局を末端とする携帯電話ネットワークやインターネット網等）を通じて、遠隔の外部機器や他のショベル１００等と各種情報を送受信する通信デバイスである。

コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。また、ＡＳＩＣやＦＰＧＡなどで構成されていてもよい。

また、コントローラ３０は、各種機能を実行する機能部として、物体検出部３０１と、状態検出部３０２と、地面領域計算部３０３と、地面領域抽出部３０４と、表面状態計算部３０５と、危険度判定部３０６とを含む。さらに、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域としての記憶部３１０を含む。

物体検出部３０１は、距離センサ４１による計測結果に基づき、ショベル１００の周辺の物体（検出対象）を検出する。具体的に、物体検出部３０１は、距離センサ４１による計測結果（三次元情報）から、高さ情報を有する物体を検出する。検出対象は、高さ情報を有するもの全般であり、作業者等の人、他の作業機械や車両、仮置きされる工材等を含む。

状態検出部３０２は、ショベル１００の各種状態（動作状態、制御状態等）に関連する情報を、ショベル１００に搭載される各種センサ（例えば、撮像装置４０、距離センサ４１、動作・姿勢状態センサ４２、位置センサ４３、方位センサ４４、操作装置４５等）、各種アクチュエータ（例えば、油圧制御を行う電磁弁等）、各種制御装置（例えば、コントローラ３０の他の機能部等）から取得する。例えば、状態検出部３０２は、位置センサ４３及び方位センサ４４によりショベル１００の位置及び方位を取得でき、バケット６の動作や負荷を検出することによりショベル１００の掘削動作を検出できる。
なお、本実施形態の状態検出部３０２は、少なくともショベル１００の傾きと重心位置を検出できればよい。

地面領域計算部３０３は、距離センサ４１による計測結果に基づいて、ショベル１００の周辺から地面の領域を推定し、この領域の二次元、より好適には三次元情報を取得する。具体的に、地面領域計算部３０３は、ショベル１００周辺の計測範囲のうち、物体検出部３０１が検出した物体の領域を除いた領域を、地面の領域と推定する。そして、距離センサ４１の計測結果から、この地面と推定された領域（以下、「地面領域」という）の情報を取得する。

地面領域抽出部３０４は、撮像装置４０による撮影画像に基づいて、地面領域の画像を抽出する。具体的に、地面領域抽出部３０４は、撮像装置４０が取得したショベル１００の周辺の画像から、地面領域計算部３０３が取得した地面領域の部分を取り出す。

表面状態計算部３０５は、地面領域抽出部３０４が取得した地面領域の画像に基づいて、地面領域の表面状態を推定する。
ここで推定される「表面状態」とは、当該地面でのショベル１００の走行性に影響する情報であって、地面の素材（砂、土、水たまり等を含む）、固さ、工材の破砕片（ガラ）等の有無を含む。地面の固さを推定する場合、画像情報と固さとの対応関係を表すデータを予め記憶しておき、推定の際に参照すればよい。このデータは機械学習等を用いて作成しておくのが好ましい。

危険度判定部３０６は、地面領域計算部３０３が取得した地面領域の二次元あるいは三次元情報（三次元の場合は傾斜や凹凸等の情報を含むため、より好ましい）と、表面状態計算部３０５が取得した地面領域の表面状態（素材や固さ等）と、状態検出部３０２が検出したショベル１００の状態（傾きや重心位置等）とに基づいて、ショベル１００が地面領域を走行した場合の危険度を判定する。この判定には機械学習を用いてもよい。なお、この危険度判定は、少なくとも地面領域の情報と表面状態を考慮したものであればよい。

また、ショベル１００は、所定の通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。通信ネットワークＮＷには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークＮＷには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークＮＷには、インターネット網等が含まれてもよい。また、通信ネットワークＮＷには、ＷｉＦｉやブルートゥース（登録商標）等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）することができる。
また、ショベル１００は、通信ネットワークＮＷを通じて、支援装置３００と相互に通信可能に構成されてもよい。

管理装置２００（外部装置、情報処理装置の一例）は、ショベル１００及び支援装置３００を所持するユーザ等と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置２００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００及び支援装置３００のそれぞれと相互に通信を行うことができる。これにより、管理装置２００は、ショベル１００からアップロードされる各種情報を受信し、記憶（蓄積）しておくことができる。また、管理装置２００は、支援装置３００からの要求に応じて、支援装置３００に各種情報を送信することができる。

また、管理装置２００は、ショベル１００を遠隔操作可能に構成されてもよい。具体的には、管理装置２００は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置にショベル１００から配信される撮像装置４０の画像情報を表示させ、遠隔操作のオペレータは、画像情報を見ながら、ショベル１００の遠隔操作を行ってよい。この際、遠隔操作のオペレータは、管理装置２００に設けられる遠隔操作用の操作入力手段（例えば、タッチパネル、タッチパッド、ジョイスティック等の汎用の操作装置や操作装置４５を模した専用の操作装置等）を用いることができる。管理装置２００は、通信ネットワークＮＷを通じて、遠隔操作の内容を含む遠隔操作信号をショベル１００に送信する。これにより、ショベル１００は、コントローラ３０の制御下で、管理装置２００からの遠隔操作信号に応じて、動作することができる。

支援装置３００（ユーザ端末、端末装置の一例）は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル１００のオペレータ、ショベル１００の管理者、ショベル１００のサービスマン、ショベル１００の開発者等が含まれてよい。支援装置３００は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置３００は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置３００は、情報の提供を受けるための専用の端末（携帯端末或いは定置端末）であってもよい。
支援装置３００は、通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。これにより、支援装置３００は、管理装置２００から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置３００は、通信ネットワークＮＷを通じて、ショベル１００と相互に通信可能に構成されてもよい。

また、支援装置３００は、ショベル１００を遠隔操作可能に構成されてもよい。具体的には、支援装置３００は、表示装置に管理装置２００或いはショベル１００から配信される撮像装置４０の画像情報を表示させ、ユーザは、画像情報を見ながら、ショベル１００の遠隔操作を行ってよい。この際、ユーザは、支援装置３００に搭載される或いは支援装置３００に通信可能に接続される操作入力手段（例えば、タッチパネル、タッチパッド、ジョイスティック等）を用いることができる。支援装置３００は、通信ネットワークＮＷを通じて、遠隔操作の内容を含む遠隔操作信号を直接、或いは、管理装置２００を通じて間接的にショベル１００に送信する。これにより、ショベル１００は、コントローラ３０の制御下で、支援装置３００からの遠隔操作信号に応じて、動作することができる。

［ショベルの動作］
続いて、周辺の地面の情報を取得して走行安全性を判定する走行性判定処理を実行する際のショベル１００の動作について説明する。
図３は、この走行性判定処理でのデータの流れを示すデータフロー図である。図４（ａ）は、ショベル１００の周辺状態の一例を示す図であり、図４（ｂ）は、図４（ａ）の周辺状態に対応する表示画像例を示す図である。図５は、図４（ｂ）の表示画像の変形例を示す図である。

走行性判定処理は、コントローラ３０が内部の記憶装置に格納されたプログラムをＣＰＵ上で実行することにより、実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル１００の運転中に継続的に実行されてもよい。

走行性判定処理が実行されると、図３に示すように、まずコントローラ３０は、撮像装置４０によりショベル１００周辺の画像情報を取得するとともに、距離センサ４１によりショベル１００周辺の三次元情報を取得する。コントローラ３０は、取得した画像情報及び三次元情報を記憶部３１０に記録させる。なお、ここでの撮像装置４０と距離センサ４１は、前方センサユニット４６Ｆ又は後方センサユニット４６Ｂとして互いに対応するものである。
また、コントローラ３０は、上部旋回体３を旋回させながら周囲全周の撮影・計測を行ってもよい。

次に、コントローラ３０は、物体検出部３０１により、ショベル１００周辺の物体（検出対象）を検出する。物体検出部３０１は、距離センサ４１が取得した二次元あるいは三次元情報に基づいて、その計測範囲のうち高さ情報を有する部分を物体として検出する。

次に、コントローラ３０は、地面領域計算部３０３により、地面領域を推定し、この地面領域の情報を取得する。地面領域計算部３０３は、距離センサ４１の計測範囲のうち、物体検出部３０１が検出した物体の領域を除いた領域を、地面領域と推定する。そして、距離センサ４１の計測結果から、この地面領域の情報を取得する。

次に、コントローラ３０は、地面領域抽出部３０４により、地面領域の画像を取得する。地面領域抽出部３０４は、撮像装置４０が取得したショベル１００の周辺の画像から、地面領域計算部３０３が検出した地面領域に対応する画像部分を抽出する。

次に、コントローラ３０は、表面状態計算部３０５により、地面領域の表面状態を推定する。表面状態計算部３０５は、地面領域抽出部３０４が取得した地面領域の画像に基づいて、地面領域の素材や固さ、ガラの有無といった表面状態を推定する。

次に、コントローラ３０は、状態検出部３０２により、ショベル１００の状態を検出する。状態検出部３０２は、ショベル１００に搭載される各種センサ、各種アクチュエータ等の出力に基づいて、少なくとも傾きと重心位置を含むショベル１００の状態を検出する。なお、このショベル１００の状態検出は、後述の危険度判定部３０６による危険度判定までに行われていればよい。

次に、コントローラ３０は、危険度判定部３０６により、ショベル１００が地面領域を走行した場合の危険度（走行安全性）を判定する。危険度判定部３０６は、地面領域計算部３０３が取得した地面領域の二次元あるいは三次元情報（三次元の場合は傾斜や凹凸等の情報を含むとより好ましい）と、表面状態計算部３０５が取得した地面領域の表面状態（素材や固さ等）と、状態検出部３０２が検出したショベル１００の状態（傾きや重心位置等）とに基づいて、ショベル１００が地面領域を走行した場合の危険度を判定する。
ここでは、例えば図４（ａ）に示すように、一定以上の傾斜が付いており、履帯が滑って操作が困難になることや崩落等が予測される領域Ｄａ、砂利やガラで走行が困難と予測される領域Ｄｂ、地面と認識できなかった領域（物体の領域を含む）Ｄｃなどが、危険領域として抽出される。そして、各危険領域について、車体の自重、アーム５やバケット６等の車体状態、予測される地面の摩擦係数等を勘案して、走行時の危険度を計算する。地面の摩擦係数は表面状態から予測される。

次に、コントローラ３０は、危険度判定部３０６が算出した危険度に基づいて、ショベル１００周辺の地面における走行時の危険度を表示装置５０に表示させる。
本実施形態では、例えば図４（ｂ）に示すように、算出された危険度に基づいて、上述の領域Ｄａ、Ｄｃが走行不能領域（走行できない領域）、領域Ｄｂが走行注意領域（走行時に注意が必要な領域）とされ、表示装置５０に平面表示される。ただし、この表示態様は、オペレータに周辺地面の走行安全性を周知できるものであれば特に限定されない。

なお、走行時の危険度を表示する場合に、目的地までの走行安全性の高い走行ルートを併せて表示してもよい。
例えば、図５（ａ）に示すように、移動目的地Ｐがオペレータにより入力された場合に、現在地から移動目的地Ｐまでの走行安全性が最も高い（危険度が最も低い）走行ルート（経路）を算出し、図５（ｂ）に示すように、この走行ルートＲを表示装置５０に表示させてもよい。なお、この表示は、例えば「１：右方向回転10°、２：前進10ｍ、３：右方向回転30°、４：前進5ｍ」のように、テキストで操作手順を表示させるものでもよい。さらに、オペレータの判断で走行ルートＲに沿った自動操縦を実行できるようにしてもよい。

［本実施形態の技術的効果］
以上のように、本実施形態によれば、ショベル１００周辺の地面の情報が取得され、この地面の情報に基づいて、ショベル１００が当該地面を走行した場合の走行安全性が判定される。
これにより、走行安全性に関するオペレータの判断要素を減らし、ショベル１００の走行安全性を向上させることができる。

また、本実施形態によれば、ショベル１００周辺の画像を取得する撮像装置４０と、ショベル１００周辺の二次元もしくは三次元情報を取得する距離センサ４１とにより、簡便にショベル１００周辺の地面の情報を取得できる。

また、本実施形態によれば、傾きや重心位置を含むショベル１００の状態が検出され、このショベル１００の状態を勘案して地面走行時の走行安全性が判定されるので、より精度の高い走行安全性判定を行うことができる。

また、本実施形態によれば、算出された周辺地面の走行安全性が表示装置５０に表示されるので、オペレータは表示装置５０を見るだけで周辺地面の走行安全性を認識できる。
さらに、オペレータ操作により移動目的地Ｐが入力された場合には、現在地から移動目的地Ｐまでの走行安全性が最も高い走行ルートＲが算出されて、表示装置５０に表示される。これにより、オペレータは移動目的地Ｐまで安全にショベル１００を走行させることができる。

［その他］
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、前方センサユニット４６Ｆと後方センサユニット４６Ｂがショベル１００の前部と後部に設けられることとした。しかし、撮像装置４０と距離センサ４１のセンサユニットは、少なくとも１組設けられていればよく、前方と後方に加え、さらにショベル１００の左右側方を撮影・計測する側方センサユニットを設けてもよい。

また、撮像装置４０や距離センサ４１はショベル１００に搭載されていなくともよく、例えば高所に設置、もしくはドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル１００に送信してもよいし、あるいは、データを管理装置２００や支援装置３００に送信して走行安全性を算出させ、その算出結果をショベル１００に送信してもよい。すなわち、本発明に係る情報処理装置は、作業機械に搭載されていなくともよい。

また、上記実施形態では、撮像装置４０と距離センサ４１によりショベル１００周辺の地面の情報を取得することとした。しかし、本発明に係る情報取得手段は、作業機械周辺の地面の情報を取得できるものであればよく、撮像手段と測距手段の組み合わせに限定されない。例えば、測距手段に代えて、地図情報を用いてもよい。

また、本発明に係る作業機械は、走行可能な機械であればよく、ショベル以外の作業機械、例えば、ホイールローダやアスファルトフィニッシャ、ブルドーザー、フォークリフト、クレーン等であってもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１００ ショベル
３０ コントローラ
４０ 撮像装置
４０Ｆ 前方カメラ
４０Ｂ 後方カメラ
４１ 距離センサ
４１Ｆ 前方距離センサ
４１Ｂ 後方距離センサ
４２ 動作・姿勢状態センサ
４５ 操作装置
４６Ｆ 前方センサユニット
４６Ｂ 後方センサユニット
５０ 表示装置
２００ 管理装置
３００ 支援装置
３０１ 物体検出部
３０２ 状態検出部
３０３ 地面領域計算部
３０４ 地面領域抽出部
３０５ 表面状態計算部
３０６ 危険度判定部
３１０ 記憶部
Ｐ 移動目的地
Ｒ 走行ルート

Claims (8)

1. 走行可能な作業機械などに搭載される情報処理装置であって、
   当該作業機械の周辺の地面の情報を取得する情報取得手段と、
   前記情報取得手段が取得した地面の情報に基づいて、当該作業機械が当該地面を走行した場合の走行安全性を判定する判定手段と、を備え、
   前記情報取得手段は、
   当該作業機械の周辺の画像を取得する撮像手段と、
   当該作業機械の周辺の二次元もしくは三次元情報を取得する測距手段と、
   を含み、
   前記判定手段は、
   前記測距手段が取得した情報に基づいて、周辺領域のうち地面領域を検出する地面領域計算手段と、
   前記撮像手段が取得した画像のうち、前記地面領域計算手段が検出した前記地面領域に対応する画像部分に基づいて、当該地面領域の表面状態を推定する表面状態計算手段と、
   前記地面領域の情報と前記地面領域の表面状態とに基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する危険度判定手段と、
   を含む、
   情報処理装置。
2. 当該作業機械の状態を検出する状態検出手段を備え、
   前記危険度判定手段は、前記地面領域の情報、前記地面領域の表面状態、当該作業機械の状態に基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する、
   請求項１に記載の情報処理装置。
3. 前記状態検出手段が検出する当該作業機械の状態は、当該作業機械の傾きと重心位置を含む、
   請求項２に記載の情報処理装置。
4. 前記判定手段が判定した周辺地面の走行安全性を表示手段に表示させる表示制御手段を備える、
   請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. オペレータ操作により移動目的地が入力された場合に、現在地から前記移動目的地までの走行安全性が最も高い経路を算出する算出手段を備え、
   前記表示制御手段は、前記経路を前記表示手段に表示させる、
   請求項４に記載の情報処理装置。
6. 請求項１から請求項５のいずれか一項に記載の情報処理装置を備える作業機械。
7. 制御手段が、
   走行可能な作業機械の周辺の地面の情報を取得する情報取得工程と、
   前記情報取得工程で取得した地面の情報に基づいて、前記作業機械が当該地面を走行した場合の走行安全性を判定する判定工程と、
   を実行し、
   前記情報取得工程は、
   前記作業機械の周辺の画像を取得する撮像工程と、
   前記作業機械の周辺の二次元もしくは三次元情報を取得する測距工程と、
   を含み、
   前記判定工程は、
   前記測距工程で取得した情報に基づいて、周辺領域のうち地面領域を検出する地面領域計算工程と、
   前記撮像工程で取得した画像のうち、前記地面領域計算工程で検出した前記地面領域に対応する画像部分に基づいて、当該地面領域の表面状態を推定する表面状態計算工程と、
   前記地面領域の情報と前記地面領域の表面状態とに基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する危険度判定工程と、
   を含む、
   情報処理方法。
8. コンピュータを、
   走行可能な作業機械の周辺の地面の情報を取得する情報取得手段、
   前記情報取得手段が取得した地面の情報に基づいて、前記作業機械が当該地面を走行した場合の走行安全性を判定する判定手段、
   として機能させ、
   前記情報取得手段は、
   前記作業機械の周辺の画像を取得する撮像手段と、
   前記作業機械の周辺の二次元もしくは三次元情報を取得する測距手段と、
   を含み、
   前記判定手段は、
   前記測距手段が取得した情報に基づいて、周辺領域のうち地面領域を検出する地面領域計算手段と、
   前記撮像手段が取得した画像のうち、前記地面領域計算手段が検出した前記地面領域に対応する画像部分に基づいて、当該地面領域の表面状態を推定する表面状態計算手段と、
   前記地面領域の情報と前記地面領域の表面状態とに基づいて、当該作業機械が当該地面領域を走行した場合の危険度を判定する危険度判定手段と、
   を含む、
   情報処理プログラム。
   

Images