JP7145137B2

JP7145137B2 - 作業機械の制御装置

Info

Publication number: JP7145137B2
Application number: JP2019178625A
Authority: JP
Inventors: 直樹除村; 智之齋藤; 真中野
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2022-09-30
Anticipated expiration: 2039-09-30
Also published as: JP2021055367A

Description

本開示は、作業機械の制御装置に関する。

従来から油圧ショベル等のように、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムに関する発明が知られている（下記特許文献１を参照）。この従来のシステムは、以下のようなカメラと安全監視コントローラと画像モニターとを備えたことを特徴とする（同文献、請求項１、第０００９段落等を参照）。前記カメラは、前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得する。

安全監視コントローラは、前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する。前記画像モニターは、前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す。

この従来の作業安全監視システムにあっては、安全監視コントローラの危険領域判定処理部において、操作者による操作ミスを想定した最大可動域が危険領域と判定される。そして、安全監視コントローラのスーパーインポーズ処理部において、建設・土木作業車両に搭載されたカメラからのカメラ映像データに、判定された危険領域が重ね合わせられる。そして、建設・土木作業車両の操作室に設定された画像モニターにおいて、カメラ映像に危険領域を重畳した画像が内部警告表示として映し出される。

すなわち、システム構成要素であるカメラと安全監視コントローラと画像モニターは、いずれも建設・土木作業車両に搭載されているため、作業車両にのみ取り付けることでシステムが完結する。そして、建設・土木作業車両の操作室内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニターを見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となる。この結果、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる（同文献、第００１０段落等を参照）。

特開２００９-１２１０５３号公報

たとえば、油圧ショベルによって土砂、砕石、鉱物資源等をダンプトラックに積載する場合に、これらの作業機械を俯瞰すると、一方の作業機械の一部と、他方の作業機械の一部とが、一時的に上下に重なり合う。

このような場合、前記従来の作業安全監視システムは、一方の作業機械の一部と他方の作業機械の一部とが上下に重なり合う領域を含む危険領域を判定し、その危険領域をカメラ映像に重畳した画像を画像モニターに映し出す。この場合、一方の作業機械の操作者は、危険領域において他方の作業機械との接触の危険があることを認識できるが、その危険を目視で回避しながら操作を継続せざるを得ず、操作者の負担が大きいという課題がある。

本開示は、従来よりも操作者の負担を軽減することが可能な作業機械の制御装置を提供する。

本開示の一態様は、作業を行うための作業装置と、前記作業装置の姿勢を検知するための姿勢センサと、周囲の物体を認識するための外界センサと、操作者に情報を報知するための報知装置と、を備える作業機械を制御する、作業機械の制御装置であって、前記姿勢センサの出力に基づく前記作業装置の姿勢と前記外界センサによって認識された前記物体の高さとを用いて前記作業装置の特定部位の予測軌道と前記物体との高さ関係を演算して前記報知装置に出力する、処理装置を備えることを特徴とする作業機械の制御装置である。

本開示の上記一態様によれば、処理装置から報知装置へ作業装置の特定部位の予測軌道と周囲の物体との高さ関係を出力し、その高さ関係を報知装置によって操作者に報知することができる。したがって、本開示の上記一態様によれば、操作者は、作業装置の特定部位の予測軌道と周囲の物体との高さ関係を認識して作業装置の操作を行うことができ、従来よりも操作者の負担を軽減することが可能な作業機械の制御装置を提供することができる。

本開示に係る作業機械の制御装置の一実施形態を示すブロック図。図１に示す作業機械の一例である油圧ショベルの概略的な側面図。図１に示す作業機械の制御装置の機能ブロック図。図１に示す作業機械の制御装置の動作の一例を説明するフロー図。図１の報知装置に含まれる表示装置に表示される画像の一例を示す画像図。

以下、図面を参照して本開示に係る作業機械の制御装置の一実施形態を説明する。

図１は、本開示に係る作業機械の制御装置の一実施形態を示すブロック図である。図２は、図１に示す作業機械１００の一例である油圧ショベルの概略的な側面図である。図３は、図１に示す作業機械１００を制御する作業機械の制御装置１５０の機能ブロック図である。

本実施形態に係る作業機械の制御装置１５０は、たとえば作業機械１００に搭載されて作業機械１００の動作を制御する。作業機械１００は、たとえば図２に示すように、上部旋回体１１０と、下部走行体１２０と、作業装置１３０と、旋回機構１４０と、を備えた油圧ショベルである。なお、本実施形態の作業機械の制御装置１５０は、たとえば、図１に示すように、姿勢センサ１６０と、外界センサ１７０と、報知装置１９０と、を備える作業機械１００を制御対象としている。図１に示す例において、作業機械１００は、さらに、入力装置１８０を備えている。

図２に示すように、上部旋回体１１０は、下部走行体１２０の上部に旋回機構１４０を介して旋回可能に取り付けられている。上部旋回体１１０は、旋回機構１４０によって駆動され、作業機械１００の高さ方向に平行な旋回軸Ａを中心に、下部走行体１２０に対して旋回する。図示を省略するが、上部旋回体１１０は、たとえば、ポンプ、エンジン、コントロールバルブ等を含む油圧装置を収容している。

下部走行体１２０は、たとえば、図示を省略する油圧モータによって駆動される履帯１２１を備え、作業機械１００を走行させる。

作業装置１３０は、たとえば、上部旋回体１１０の前部に設けられ、油圧シリンダによって駆動され、掘削などの作業を行うための機構である。作業装置１３０は、たとえば、ブーム１３１と、アーム１３２と、バケット１３３とを有する。

旋回機構１４０は、図示を省略する油圧モータまたは電動モータを有し、作業機械１００の高さ方向に平行な旋回軸Ａを中心に、上部旋回体１１０を下部走行体１２０に対して旋回させる。

制御装置１５０は、たとえば、マイクロコントローラやファームウェアによって構成されている。制御装置１５０は、たとえば、処理装置１５１と、記憶装置１５２とを含む。処理装置１５１は、たとえば、ＣＰＵやマイクロプロセッサ（ＭＰＵ）などの電子部品であり、記憶装置１５２に記憶されたコンピュータプログラムやデータを読み込んで各種の処理を実行する。記憶装置１５２は、たとえば、中央処理装置（ＣＰＵ）内部の半導体メモリや、ＲＡＭなどの主記憶装置を含み、コンピュータプログラムやデータが記憶される。制御装置１５０は、姿勢センサ１６０、外界センサ１７０、入力装置１８０、および報知装置１９０に対して、情報通信可能に接続されている。

姿勢センサ１６０は、たとえば、図２に示すように、ブーム１３１の基端部に設けられた角度センサ１６１と、アーム１３２の基端部に設けられた角度センサ１６２と、バケット１３３の基端部に設けられた角度センサ１６３とを含んでいる。角度センサ１６１は、ブーム１３１の回転角度を検出し、角度センサ１６２は、アーム１３２の回転角度を検出し、角度センサ１６３は、バケット１３３の回転角度を検出する。これらの角度センサ１６１，１６２，１６３は、検出結果を制御装置１５０へ出力する。また、姿勢センサ１６０は、たとえば、下部走行体１２０に対する上部旋回体１１０の旋回角度を検出する角度センサを含む。

外界センサ１７０は、作業機械１００の周囲の物体を認識する。外界センサ１７０は、たとえばカメラなどの撮像装置によって構成されている。より具体的には、外界センサ１７０は、たとえば上部旋回体１１０に取り付けられた複数のカメラを含む。複数のカメラは、たとえば、作業機械１００の周囲を３６０度の角度で撮影できるように、上部旋回体１１０の前部、側部、後部、コーナー部、キャビンなどに取り付けられ、隣り合うカメラの視野角が重複するように様々な方向に向けられている。

外界センサ１７０がステレオカメラである場合には、作業機械１００の周囲の物体の情報として二つのカメラの視差情報を取得し、その視差情報に基づいてステレオカメラから物体までの距離、物体の大きさ、物体の高さなどの情報を取得することができる。なお、外界センサ１７０は、カメラなどの撮像装置に限定されず、たとえばＬＩＤＡＲ（Light Detection and Ranging）やレーダなど、作業機械１００の周囲の物体の位置、大きさ、高さなど情報を取得可能な他の装置によって構成することも可能である。外界センサ１７０は、制御装置１５０に対して情報通信可能に接続され、物体の認識結果を制御装置１５０へ出力する。

入力装置１８０は、作業機械１００において、たとえば上部旋回体１１０のキャビン内に配置され、キャビンに搭乗する作業機械１００の操作者が制御装置１５０に対して情報を入力するための装置である。入力装置１８０は、たとえば、タッチパネル、キーボード、音声認識装置などによって構成され、作業機械１００の操作者の操作により、制御装置１５０に対して作業機械１００の周囲の物体の高さなどの情報を入力可能に接続されている。

報知装置１９０は、作業機械１００の操作者に情報を報知するための装置である。報知装置１９０は、制御装置１５０に対して情報通信可能に接続され、制御装置１５０から入力された指令や情報に基づいて、作業機械１００の操作者に情報を報知する。報知装置１９０は、たとえば、液晶表示装置や有機ＥＬ表示装置などの表示装置によって構成され、制御装置１５０から出力されて報知装置１９０に入力された情報を、画面上に画像や文字で表示することにより、操作者に情報を報知する。また、報知装置１９０は、たとえば、スピーカやブザーなどの音声出力装置によって構成され、制御装置１５０から出力されて報知装置１９０に入力された情報に基づく音や音声を発することにより、操作者に情報を報知する。

図３に示すように、制御装置１５０は、画像処理機能Ｆ１と、姿勢演算機能Ｆ２と、軌道予測機能Ｆ３と、画像合成機能Ｆ４と、表示制御機能Ｆ５と、報知機能Ｆ６とを有している。制御装置１５０の各機能は、たとえば、処理装置１５１と、姿勢センサ１６０、外界センサ１７０、または入力装置１８０から制御装置１５０に入力される情報と、記憶装置１５２に記憶されたデータおよびコンピュータプログラムによって実現することができる。以下、図４を参照して、制御装置１５０の各機能に基づく動作を説明する。

図４は、図１および図３に示す作業機械の制御装置１５０の動作の一例を説明するフロー図である。図５は、図１の報知装置１９０に含まれる表示装置に表示される画像Ｇの一例を示す画像図である。制御装置１５０は、まず、情報取得処理Ｐ１を実行する。情報取得処理Ｐ１において、制御装置１５０は、たとえば、画像処理機能Ｆ１により、外界センサ１７０を構成する撮像装置から、作業機械１００の周囲の物体、たとえばダンプトラックなどの他の作業機械２００の画像情報Ｉ１を取得する。また、情報取得処理Ｐ１において、制御装置１５０は、たとえば、姿勢演算機能Ｆ２により、姿勢センサ１６０を構成する角度センサ１６１，１６２，１６３から、作業装置１３０の各部の角度などの姿勢情報Ｉ２を取得する。

次に、制御装置１５０は、たとえば、姿勢演算機能Ｆ２により、作業装置１３０の姿勢を演算する姿勢演算処理Ｐ２を実行する。姿勢演算処理Ｐ２において、処理装置１５１は、姿勢センサ１６０の出力である姿勢情報Ｉ２に基づいて、作業装置１３０の姿勢を演算する。より具体的には、記憶装置１５２には、たとえば、作業装置１３０のブーム１３１、アーム１３２、バケット１３３の三次元形状、寸法、可動範囲などのデータが記憶されている。また、記憶装置１５２には、前記データと、姿勢センサ１６０によって取得される上部旋回体１１０に対するブーム１３１の角度、ブーム１３１に対するアーム１３２の角度、およびアーム１３２に対するバケット１３３の角度などに基づいて、作業装置１３０の姿勢を演算するためのコンピュータプログラムが記憶されている。処理装置１５１は、たとえば、姿勢センサ１６０から取得した作業装置１３０の各部の角度と、記憶装置１５２から読み込んだデータおよびコンピュータプログラムとを用いて、作業装置１３０の各部の姿勢を演算する。

次に、制御装置１５０は、たとえば、姿勢演算機能Ｆ２により、作業装置１３０の各部の姿勢に基づいて、作業装置１３０の特定部位ａ，ｂの位置を演算する位置演算処理Ｐ３を実行する。より具体的には、位置演算処理Ｐ３において、処理装置１５１は、たとえば図２に示すような作業装置１３０の姿勢に基づいて、作業装置１３０の先端部の下端を特定部位ａに設定する。より詳細には、処理装置１５１は、図２に示す姿勢の作業装置１３０において、作業装置１３０の先端部の下端に位置するバケット１３３の爪部の先端を特定部位ａに設定する。また、制御装置１５０は、たとえば、作業装置１３０の姿勢や、記憶装置１５２に記憶された下部走行体１２０の下端からブーム１３１の基端部までの高さなどのデータに基づいて、特定部位ａの地表からの高さＨａを算出して記憶装置１５２に記憶させる。

また、本実施形態の作業機械１００のように、作業機械１００が作業装置１３０を旋回させる旋回機構１４０を備える場合、位置演算処理Ｐ３において、処理装置１５１は、たとえば図２に示すような作業装置１３０の姿勢に基づいて、作業装置１３０の旋回軸Ａからの距離が最大となる部位を特定部位ｂに設定する。より詳細には、処理装置１５１は、図２に示す姿勢の作業装置１３０において、作業装置１３０の旋回軸Ａからの距離が最大となるバケット１３３の底部の外面を特定部位ｂに設定する。また、制御装置１５０は、たとえば、作業装置１３０の姿勢や、記憶装置１５２に記憶された下部走行体１２０の下端からブーム１３１の基端部までの高さなどのデータに基づいて、特定部位ｂの地表からの高さＨｂを算出して記憶装置１５２に記憶させる。

図２に示す例において、作業装置１３０の旋回軸Ａからの距離が最大となる特定部位ｂの地表からの高さＨｂは、作業装置１３０の先端部の下端である特定部位ａの地表からの高さＨａよりも高くなっている。また、作業装置１３０の旋回軸Ａから特定部位ｂまでの距離である特定部位ｂの旋回半径Ｒｂは、作業装置１３０の旋回軸Ａから特定部位ａまでの距離である特定部位ａの旋回半径Ｒａよりも大きくなっている。すなわち、図２に示す例において、特定部位ａは、作業装置１３０の先端部のアーム１３２およびバケット１３３の他の部位よりも鉛直方向の下方に位置している。また、図２に示す例において、特定部位ｂは、旋回軸Ａを基準として、作業装置１３０の他の部位よりも遠方または外方に位置している。

次に、制御装置１５０は、たとえば、軌道予測機能Ｆ３により、特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂを演算する予測軌道演算処理Ｐ４を実行する。予測軌道演算処理Ｐ４において、処理装置１５１は、たとえば、特定部位ａ，ｂの三次元座標上の位置に基づいて、旋回機構１４０によって上部旋回体１１０を下部走行体１２０に対して旋回軸Ａを中心として旋回させたときの特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂを演算して、記憶装置１５２に記憶させる。

次に、制御装置１５０は、たとえば、軌道予測機能Ｆ３により、特定部位ａの高さＨａと作業機械１００の周囲の物体、たとえばダンプトラックなどの他の作業機械２００の高さＨｏとを比較する高さ判定処理Ｐ５を実行する。なお、外界センサ１７０から制御装置１５０に入力された作業機械１００の周囲の物体の情報に物体の高さＨｏが含まれていない場合、操作者は、入力装置１８０を用いて物体の高さＨｏを入力することができる。この場合、制御装置１５０の軌道予測機能Ｆ３は、入力装置１８０から入力された物体の高さＨｏの情報Ｉ３を記憶装置１５２に記憶させる。なお、外界センサ１７０の出力が作業機械１００の周囲の物体の高さＨｏを含む場合、入力装置１８０を用いた操作者による物体の高さＨｏの入力は省略することが可能である。

高さ判定処理Ｐ５において、処理装置１５１は、記憶装置１５２に記憶された特定部位ａの高さＨａすなわち予測軌道Ｔａの高さＨａと、作業機械１００の周囲の物体、たとえばダンプトラックなどの他の作業機械２００の高さＨｏとを比較する。この比較の結果、予測軌道Ｔａの高さＨａが物体の高さＨｏよりも高い場合（ＹＥＳ）、処理装置１５１は、判定結果である高さＨａと高さＨｏの大小関係（Ｈａ＞Ｈｏ）を予測軌道Ｔａと物体との高さ関係として記憶装置１５２に記憶させ、色決定処理Ｐ６を実行する。一方、特定部位ａの高さＨａが物体の高さＨｏ以下である場合（ＮＯ）、処理装置１５１は、判定結果である高さＨａと高さＨｏの大小関係（Ｈａ≦Ｈｏ）を予測軌道Ｔａと物体との高さ関係として記憶装置１５２に記憶させ、色決定処理Ｐ７を実行する。

色決定処理Ｐ６および色決定処理Ｐ７において、制御装置１５０は、たとえば軌道予測機能Ｆ３により、報知装置１９０を構成する表示装置に予測軌道Ｔａを表示させるための画像情報を生成する。より具体的には、色決定処理Ｐ６において、処理装置１５１は、作業装置１３０の特定部位ａの予測軌道Ｔａと作業機械１００の周囲の物体との高さ関係（Ｈａ＞Ｈｏ）に基づいて決定された青色の色彩の線で予測軌道Ｔａを表示装置に表示させるための画像情報を生成する。一方、色決定処理Ｐ７において、処理装置１５１は、作業装置１３０の特定部位ａの予測軌道Ｔａと作業機械１００の周囲の物体との高さ関係（Ｈａ≦Ｈｏ）に基づいて決定された赤色の色彩の線で予測軌道Ｔａを表示装置に表示させるための画像情報を生成する。

次に、制御装置１５０は、たとえば軌道予測機能Ｆ３により、特定部位ｂの高さＨｂと作業機械１００の周囲の物体の高さＨｏとを比較する高さ判定処理Ｐ８を実行する。高さ判定処理Ｐ８において、処理装置１５１は、記憶装置１５２に記憶された特定部位ｂの高さＨｂすなわち予測軌道Ｔｂの高さＨｂと、作業機械１００の周囲の物体の高さＨｏとを比較する。この比較の結果、予測軌道Ｔｂの高さＨｂが物体の高さＨｏよりも高い場合（ＹＥＳ）、処理装置１５１は、判定結果である高さＨｂと高さＨｏの大小関係（Ｈｂ＞Ｈｏ）を予測軌道Ｔｂと物体との高さ関係として記憶装置１５２に記憶させ、色決定処理Ｐ９を実行する。一方、特定部位ｂの高さＨｂが物体の高さＨｏ以下である場合（ＮＯ）、処理装置１５１は、判定結果である高さＨｂと高さＨｏの大小関係（Ｈｂ≦Ｈｏ）を予測軌道Ｔｂと物体との高さ関係として記憶装置１５２に記憶させ、色決定処理Ｐ１０を実行する。

色決定処理Ｐ９および色決定処理Ｐ１０において、制御装置１５０は、たとえば軌道予測機能Ｆ３により、報知装置１９０を構成する表示装置に予測軌道Ｔｂを表示させるための画像情報を生成する。より具体的には、色決定処理Ｐ９において、処理装置１５１は、作業装置１３０の特定部位ｂの予測軌道Ｔｂと作業機械１００の周囲の物体との高さ関係（Ｈｂ＞Ｈｏ）に基づいて決定された青色の色彩の線で予測軌道Ｔｂを表示装置に表示させるための画像情報を生成する。一方、色決定処理Ｐ１０において、処理装置１５１は、作業装置１３０の特定部位ｂの予測軌道Ｔｂと作業機械１００の周囲の物体との高さ関係（Ｈｂ≦Ｈｏ）に基づいて決定された赤色の色彩の線で予測軌道Ｔｂを表示装置に表示させるための画像情報を生成する。

次に、制御装置１５０は、たとえば軌道予測機能Ｆ３により、前回の処理で決定された予測軌道Ｔａ，Ｔｂの色彩と、今回の処理で決定された予測軌道Ｔａ，Ｔｂの色彩とを比較する色判定処理Ｐ１１を実行する。色判定処理Ｐ１１において、処理装置１５１は、たとえば記憶装置１５２に記憶された前回の処理における予測軌道Ｔａ，Ｔｂの色彩と、今回の処理における予測軌道Ｔａ，Ｔｂとを比較する。この比較の結果、予測軌道Ｔａ，Ｔｂの少なくとも一方の色彩が変化した場合（ＹＥＳ）、制御装置１５０は、たとえば報知機能Ｆ６により、警報処理Ｐ１２を実行する。一方、予測軌道Ｔａ，Ｔｂの双方の色彩に変化がない場合（ＮＯ）、制御装置１５０は、たとえば軌道予測機能Ｆ３により、色記憶処理Ｐ１３を実行する。

警報処理Ｐ１２において、制御装置１５０の報知機能Ｆ６を構成する処理装置１５１は、たとえば、報知装置１９０を構成する音声出力装置に対して指令または音声情報Ｏ２を出力する。この指令または音声情報Ｏ２は、特定部位ａ，ｂと作業機械１００の周囲の物体との高さ関係が変化したことを通知する音声やブザー音を、音声出力装置から出力させるためのものである。警報処理Ｐ１２の終了後、制御装置１５０は、たとえば軌道予測機能Ｆ３により、色記憶処理Ｐ１３を実行する。

色記憶処理Ｐ１３において、制御装置１５０は、たとえば軌道予測機能Ｆ３により、今回の処理で決定された予測軌道Ｔａ，Ｔｂの色彩を、前回の処理で決定されて記憶装置１５２に記憶された予測軌道Ｔａ，Ｔｂの色彩に上書きする。より具体的には、処理装置１５１は、今回の色決定処理Ｐ６または色決定処理Ｐ７および色決定処理Ｐ９または色決定処理Ｐ１０によって決定された予測軌道Ｔａ，Ｔｂの色彩を記憶装置１５２に記憶させる。このとき、処理装置１５１は、前回の色決定処理Ｐ６または色決定処理Ｐ７および色決定処理Ｐ９または色決定処理Ｐ１０によって決定されて記憶装置１５２に記憶された予測軌道Ｔａ，Ｔｂの色彩に、今回の処理で決定された色彩を上書きする。

次に、制御装置１５０は、たとえば画像処理機能Ｆ１により、俯瞰画像生成処理Ｐ１４を実行する。俯瞰画像生成処理Ｐ１４において、処理装置１５１は、たとえば外界センサ１７０を構成する撮像装置によって撮影された画像を俯瞰画像として表示させる画像情報を生成する。より具体的には、処理装置１５１は、外界センサ１７０を構成する撮像装置から入力された画像情報を用いた演算により、視点変換を行って、俯瞰画像を表示させるための画像情報を生成する。

次に、制御装置１５０は、たとえば画像合成機能Ｆ４により、画像合成処理Ｐ１５を実行する。画像合成処理Ｐ１５において、処理装置１５１は、軌道予測機能Ｆ３による予測軌道演算処理Ｐ４で演算された特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと、俯瞰画像生成処理Ｐ１４で生成された俯瞰画像とを合成して表示させるための画像情報を生成する。なお、特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂを表示装置に表示する線の色彩は、色決定処理Ｐ６または色決定処理Ｐ７および色決定処理Ｐ９または色決定処理Ｐ１０において、たとえば青色または赤色に決定されている。

次に、制御装置１５０は、たとえば表示制御機能Ｆ５により、画像表示処理Ｐ１６を実行する。画像表示処理Ｐ１６において、処理装置１５１は、画像合成機能Ｆ４で生成された画像情報を、報知装置１９０を構成する表示装置に表示させるための画像表示用の出力信号Ｏ１に変換して、表示装置に出力する。これにより、図５に示すように、報知装置１９０を構成する表示装置に、作業機械１００の周囲の俯瞰画像と、特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂとを重畳させた画像Ｇを表示することができる。

この画像Ｇにおいて、作業機械１００の周囲の物体、たとえばダンプトラックなどの他の作業機械２００の高さＨｏが、作業機械１００の作業装置１３０の特定部位ａ，ｂの高さＨａ，Ｈｂよりも低ければ、予測軌道Ｔａ，Ｔｂは青色の線で表示される。一方、作業機械１００の周囲の物体の高さＨｏが、作業機械１００の作業装置１３０の特定部位ａ，ｂの高さＨａ，Ｈｂと等しいかそれよりも高い場合、予測軌道Ｔａ，Ｔｂは赤色の線で表示される。

制御装置１５０は、たとえば、操作者による作業装置１３０の操作中に情報取得処理Ｐ１から画像表示処理Ｐ１６までの処理を所定の周期で繰り返し実行する。作業装置１３０の姿勢が変化すると、特定部位ａ，ｂの位置が変化して予測軌道Ｔａ，Ｔｂの半径が変化する。さらに作業機械１００の周囲の物体と作業装置１３０の特定部位ａ，ｂとの高さ関係が変化すると、予測軌道Ｔａ，Ｔｂの色彩が前回処理で決定された色彩から変化する。このように、前回の処理から予測軌道Ｔａ，Ｔｂの色彩が変化すると、警報処理Ｐ１２が実行される。

以下、本実施形態に係る作業機械の制御装置１５０の作用を説明する。

本実施形態の作業機械の制御装置１５０は、前述のように、作業を行うための作業装置１３０と、その作業装置１３０の姿勢を検知するための姿勢センサ１６０と、周囲の物体を認識するための外界センサ１７０と、操作者に情報を報知するための報知装置１９０と、を備える作業機械１００を制御するための装置である。制御装置１５０は、処理装置１５１を備えている。処理装置１５１は、姿勢センサ１６０の出力に基づく作業装置１３０の姿勢と、外界センサ１７０によって認識された物体の高さＨｏとを用いて、作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと物体との高さ関係を演算して報知装置１９０に出力する。

この構成により、作業機械１００の操作者は、作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと、作業機械１００の周囲の物体、たとえばダンプトラックなどの他の作業機械２００との高さ関係を、報知装置１９０による情報の報知によって認識することができる。すなわち、作業機械１００の操作者は、作業装置１３０の特定部位ａ，ｂを予測軌道Ｔａ，Ｔｂに沿って移動させたときに、その特定部位ａ，ｂと、作業機械１００の周囲の物体とが、高さ方向すなわち鉛直方向に干渉するか否かを、報知装置１９０によって認識することができる。

これにより、作業装置１３０によって土砂、砕石、鉱物資源等などを他の作業機械２００に積載する場合など、作業装置１３０を作業機械１００の周囲の物体の上方に移動させる場合に、操作者は、作業装置１３０の目視に頼ることなく、報知装置１９０の報知により接触の危険を回避することができる。したがって、本実施形態によれば、従来よりも作業機械１００の操作者の負担を軽減することが可能な作業機械の制御装置１５０を提供することができる。

また、本実施形態の作業機械の制御装置１５０において、処理装置１５１は、作業装置１３０の先端部の下端を特定部位ａに設定する。

この構成により、作業装置１３０を作業機械１００の周囲の物体の上方に移動させる場合に、周囲の物体との接触の危険性が高い作業装置１３０の先端部の下端、たとえばバケット１３３の下端を、特定部位ａに設定することができる。これにより、作業機械１００の操作者は、作業機械１００の高さ方向すなわち鉛直方向において、作業装置１３０の先端部と作業機械１００の周囲の物体との接触の危険の有無を認識し、より確実にその危険を回避することが可能になる。

また、本実施形態の作業機械の制御装置１５０の制御対象である作業機械１００は、作業装置１３０を旋回させる旋回機構１４０を備えている。また、処理装置１５１は、作業装置１３０の旋回軸Ａからの距離が最大となる部位を特定部位ｂに設定する。

この構成により、作業装置１３０を旋回させて作業機械１００の周囲の物体の上方に移動させる場合に、周囲の物体との接触の危険性が高い旋回の最外周に位置する部位を、作業装置１３０の特定部位ｂに設定することができる。これにより、作業機械１００の操作者は、作業機械１００の高さ方向すなわち鉛直方向において、作業装置１３０の先端部と作業機械１００の周囲の物体との接触の危険の有無を認識し、より確実にその危険を回避することが可能になる。

また、本実施形態の作業機械の制御装置１５０の制御対象である作業機械１００において、外界センサ１７０は撮像装置を含み、報知装置１９０は表示装置を含む。また、本実施形態の作業機械の制御装置１５０において、処理装置１５１は、画像情報を生成して報知装置１９０を構成する表示装置に出力する。この画像情報は、外界センサ１７０を構成する撮像装置から取得した物体の画像と、制御装置１５０によって演算した予測軌道Ｔａ，Ｔｂと、その予測軌道Ｔａ，Ｔｂと物体との高さ関係とを、報知装置１９０を構成する表示装置に表示させるためのものである。

この構成により、作業機械１００の操作者は、たとえば図５に示すように、報知装置１９０の表示装置に表示された画像Ｇにより、作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと作業機械１００の周囲の物体との高さ関係を視認することができる。これにより、作業機械１００の操作者は、作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと、作業機械１００の周囲の物体との、高さ方向における干渉の有無を画像Ｇにより視認することができる。したがって、作業機械１００の操作者は、作業機械１００の高さ方向すなわち鉛直方向における作業装置１３０の先端部と作業機械１００の周囲の物体との接触の危険の有無を画像Ｇに基づいて視覚的に認識し、より確実にその危険を回避することが可能になる。

また、本実施形態の作業機械の制御装置１５０において、処理装置１５１は、外界センサ１７０を構成する撮像装置から取得した物体の画像を俯瞰画像として表示させる画像情報を生成する。

この構成により、作業機械１００の操作者は、たとえば図５に示すように、報知装置１９０の表示装置に表示された作業機械１００の周囲の俯瞰画像を含む画像Ｇにより、より直感的に作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと作業機械１００の周囲の物体との高さ関係を認識することができる。したがって、作業機械１００の操作者は、作業機械１００の高さ方向における作業装置１３０の先端部と作業機械１００の周囲の物体との接触の危険の有無をより容易に認識することができ、より確実にその危険を回避することが可能になる。

また、本実施形態の作業機械の制御装置１５０において、処理装置１５１は、予測軌道Ｔａ，Ｔｂを、その予測軌道Ｔａ，Ｔｂと物体との高さ関係に基づいて決定された色彩の線で表示させる画像情報を生成する。

この構成により、作業機械１００の操作者は、たとえば図５に示すように、報知装置１９０の表示装置に表示された作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂの色彩に基づいて、予測軌道Ｔａ，Ｔｂと周囲の物体との高さ関係を視覚的かつ直感的に認識することが可能になる。より具体的には、たとえば前述のように、予測軌道Ｔａ，Ｔｂの高さが、ダンプトラックなどの他の作業機械２００を含む周囲の物体の高さＨｏ以下である場合に予測軌道Ｔａ，Ｔｂが赤色で表示され、周囲の物体の高さＨｏより高い場合に予測軌道Ｔａ，Ｔｂが青色で表示される。そのため、作業機械１００の操作者は、たとえば予測軌道Ｔａ，Ｔｂが赤色である場合に、その予測軌道Ｔａ，Ｔｂが青色になるように作業装置１３０を操作することで、作業装置１３０の先端部と周囲の物体との接触の危険を回避することができ、負担が軽減される。

また、本実施形態の作業機械の制御装置１５０の制御対象である作業機械１００において、報知装置１９０は、音声出力装置を含む。また、本実施形態の作業機械の制御装置１５０において、処理装置１５１は、予測軌道Ｔａ，Ｔｂと物体との高さ関係が変更されたときに報知装置１９０を構成する音声出力装置に対して音を発生させる音声出力指令を出力する。

この構成により、作業機械１００の操作者は、聴覚により予測軌道Ｔａ，Ｔｂと物体との高さ関係が変更されたことを認識することができる。たとえば、作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂの高さが、ダンプトラックなどの他の作業機械２００を含む周囲の物体の高さＨｏ以下である状態から、作業機械１００の操作者の操作によって周囲の物体の高さＨｏより高くなったとする。このとき、処理装置１５１が報知装置１９０を構成する音声出力装置に対して音を発生させる音声出力指令を出力することで、音声出力装置から音が発せられる。これにより、操作者は、作業装置１３０の先端部と周囲の物体との接触の危険が回避されたことを、音により認識することができる。

また、作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂの高さが、周囲の物体の高さＨｏより高い状態から、作業機械１００の操作者の操作によって周囲の物体の高さＨｏ以下になったとする。このとき、処理装置１５１が報知装置１９０を構成する音声出力装置に対して音を発生させる音声出力指令を出力することで、音声出力装置から音が発せられる。これにより、操作者は、作業装置１３０の先端部と周囲の物体との接触の危険が生じたことを、音により認識することができる。したがって、作業機械１００の操作者は、音声出力装置からの音に基づいて作業装置１３０を操作することで、作業装置１３０の先端部と周囲の物体との接触の危険を回避することができ、負担が軽減される。

また、本実施形態の作業機械の制御装置１５０の制御対象である作業機械１００は、制御装置１５０に対して情報を入力するための入力装置１８０を備えている。また、本実施形態の作業機械の制御装置１５０において、処理装置１５１は、報知装置１９０によって入力された物体の高さに基づいて予測軌道Ｔａ，Ｔｂと物体との高さ関係を演算する。

この構成により、たとえば外界センサ１７０によって作業機械１００の周囲の物体の高さＨｏが検出できない場合でも、作業機械１００の操作者は外界センサ１７０によって認識された物体の高さＨｏを入力装置１８０によって制御装置１５０に入力することができる。これにより、外界センサ１７０によって作業機械１００の周囲の物体の高さＨｏが検出できない場合でも、報知装置１９０によって入力された物体の高さＨｏに基づいて予測軌道Ｔａ，Ｔｂと物体との高さ関係を演算することができる。

以上説明したように、本実施形態によれば、処理装置１５１から報知装置１９０へ作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと周囲の物体との高さ関係の情報を出力し、その情報を報知装置１９０によって操作者に報知することができる。したがって、本実施形態によれば、操作者が作業装置１３０の特定部位ａ，ｂの予測軌道Ｔａ，Ｔｂと周囲の物体との高さ関係を認識して作業装置１３０の操作を行うことができ、従来よりも操作者の負担を軽減することが可能な作業機械の制御装置１５０を提供することができる。

以上、図面を用いて本開示に係る作業機械の制御装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。たとえば、本開示に係る作業機械の制御装置の制御対象は、前述の油圧ショベルに限定されず、たとえば、ホイールローダーやクレーンなどの他の作業機械を含む。

１００作業機械、１３０作業装置、１４０旋回機構、１５０制御装置、１５１処理装置、１６０姿勢センサ、１７０外界センサ（撮像装置）、１８０入力装置、１９０報知装置（表示装置、音声出力装置）、Ａ旋回軸、ａ特定部位、ｂ特定部位、Ｈｏ物体の高さ、Ｔａ予測軌道、Ｔｂ予測軌道

Claims

作業を行うための作業装置と、前記作業装置の姿勢を検知するための姿勢センサと、撮像装置を含み周囲の物体を認識する外界センサと、表示装置および音声出力装置を含み操作者に情報を報知する報知装置と、前記作業装置を旋回させる旋回機構と、を備える作業機械を制御する、作業機械の制御装置であって、
前記姿勢センサの出力に基づく前記作業装置の姿勢と前記外界センサによって認識された前記物体の高さとを用いて前記作業装置の特定部位の予測軌道と前記物体との高さ関係を演算して前記報知装置に出力する、処理装置を備え、
前記処理装置は、前記作業装置の先端部の下端と前記作業装置の旋回軸からの距離が最大となる部位を前記特定部位に設定し、前記表示装置に前記撮像装置から取得した前記物体の画像を俯瞰画像として表示させるとともに前記予測軌道を前記高さ関係に基づいて決定された色彩の線で表示させる画像情報を生成して前記表示装置に出力し、前記高さ関係が変更されたときに前記音声出力装置に対して音を発生させる音声出力指令を出力することを特徴とする作業機械の制御装置。
前記作業機械は、前記制御装置に対して情報を入力するための入力装置を備え、
前記処理装置は、前記入力装置によって入力された前記物体の高さに基づいて前記予測軌道と前記物体との前記高さ関係を演算することを特徴とする請求項１に記載の制御装置。