最初に、図1~図4を参照して、本発明の実施形態に係る掘削機としてのショベル100について説明する。図1はショベル100の側面図である。図2はショベル100の上面図である。図3は、ブームとアームとの連結部の近傍の拡大図であり、図1の範囲ZNの拡大図に相当する。図4は、図1のショベル100に搭載される基本システムの構成例を示す。
本実施形態では、ショベル100の下部走行体1はクローラ1Cを含む。クローラ1Cは、下部走行体1に搭載されている走行アクチュエータとしての走行油圧モータ2Mによって駆動される。具体的には、クローラ1Cは、図2に示すように、左クローラ1CL及び右クローラ1CRを含み、走行油圧モータ2Mは、左走行油圧モータ2ML及び右走行油圧モータ2MRを含む。左クローラ1CLは左走行油圧モータ2MLによって駆動され、右クローラ1CRは右走行油圧モータ2MRによって駆動される。
下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載されている。旋回機構2は、上部旋回体3に搭載されている旋回アクチュエータとしての旋回油圧モータ2Aによって駆動される。但し、旋回アクチュエータは、電動アクチュエータとしての旋回電動発電機であってもよい。
上部旋回体3にはブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられている。ブーム4、アーム5及びバケット6は、アタッチメントの一例である掘削アタッチメントATを構成する。ブーム4はブームシリンダ7で駆動され、アーム5はアームシリンダ8で駆動され、バケット6はバケットシリンダ9で駆動される。ブームシリンダ7、アームシリンダ8及びバケットシリンダ9は、アタッチメントアクチュエータを構成している。
ブーム4は、上部旋回体3に対して上下に回動可能に支持されている。そして、ブーム4にはブーム角度センサS1が取り付けられている。ブーム角度センサS1は、ブーム4の回動角度であるブーム角度θ1を検出できる。ブーム角度θ1は、例えば、ブーム4を最も下降させた状態からの上昇角度である。そのため、ブーム角度θ1は、ブーム4を最も上昇させたときに最大となる。
アーム5は、ブーム4に対して回動可能に支持されている。そして、アーム5にはアーム角度センサS2が取り付けられている。アーム角度センサS2は、アーム5の回動角度であるアーム角度θ2を検出できる。アーム角度θ2は、例えば、アーム5を最も閉じた状態からの開き角度である。そのため、アーム角度θ2は、アーム5を最も開いたときに最大となる。
バケット6は、アーム5に対して回動可能に支持されている。そして、バケット6にはバケット角度センサS3が取り付けられている。バケット角度センサS3は、バケット6の回動角度であるバケット角度θ3を検出できる。バケット角度θ3は、バケット6を最も閉じた状態からの開き角度である。そのため、バケット角度θ3は、バケット6を最も開いたときに最大となる。
図1の実施形態では、ブーム角度センサS1、アーム角度センサS2及びバケット角度センサS3のそれぞれは、加速度センサとジャイロセンサの組み合わせで構成されている。但し、加速度センサのみで構成されていてもよい。また、ブーム角度センサS1は、ブームシリンダ7に取り付けられたストロークセンサであってもよく、ロータリエンコーダ、ポテンショメータ又は慣性計測装置等であってもよい。アーム角度センサS2及びバケット角度センサS3についても同様である。
上部旋回体3には、運転室としてのキャビン10が設けられ、且つ、エンジン11等の動力源が搭載されている。また、上部旋回体3には、空間認識装置70、向き検出装置71、測位装置73、機体傾斜センサS4及び旋回角速度センサS5等が取り付けられている。キャビン10の内部には、操作装置26、操作圧センサ29、コントローラ30、情報入力装置72、表示装置D1及び音声出力装置D2等が設けられている。なお、本書では、便宜上、上部旋回体3における、掘削アタッチメントATが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。
操作装置26は、操作者がアクチュエータの操作のために用いる装置である。操作装置26は、例えば、操作レバー及び操作ペダルを含む。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも1つを含む。本実施形態では、操作装置26は、図4に示すように、パイロットラインを介して、パイロットポンプ15が吐出する作動油を、コントロールバルブ17内の対応する制御弁のパイロットポートに供給できるように構成されている。パイロットポートのそれぞれに供給される作動油の圧力(パイロット圧)は、油圧アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量に応じた圧力である。但し、操作装置26は、このようなパイロット圧式ではなく、電気制御式であってもよい。この場合、コントロールバルブ17内の制御弁は、電磁ソレノイド式スプール弁であってもよい。
具体的には、操作装置26は、図2に示すように、左操作レバー26L及び右操作レバー26Rを含む。左操作レバー26Lは、旋回操作とアーム5の操作に用いられる。右操作レバー26Rは、ブーム4の操作とバケット6の操作に用いられる。
操作圧センサ29は、操作者による操作装置26の操作の内容を検出できるように構成されている。本実施形態では、操作圧センサ29は、アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量を圧力(操作圧)の形で検出し、検出した値をコントローラ30に対して出力する。操作装置26の操作の内容は、操作圧センサ以外の他のセンサを用いて検出されてもよい。
具体的には、操作圧センサ29は、図2に示すように、左操作圧センサ29L及び右操作圧センサ29Rを含む。左操作圧センサ29Lは、操作者による左操作レバー26Lに対する前後方向への操作の内容、及び、操作者による左操作レバー26Lに対する左右方向への操作の内容のそれぞれを圧力の形で検出し、検出した値をコントローラ30に対して出力する。操作の内容は、例えば、レバー操作方向及びレバー操作量(レバー操作角度)等である。右操作レバー26Rについても同様である。
空間認識装置70は、ショベル100の周囲の三次元空間に関する情報を取得するように構成されている。また、空間認識装置70は、空間認識装置70又はショベル100から空間認識装置70によって認識された物体までの距離を算出するように構成されていてもよい。空間認識装置70は、例えば、超音波センサ、ミリ波レーダ、単眼カメラ、ステレオカメラ、LIDAR、距離画像センサ又は赤外線センサ等である。本実施形態では、空間認識装置70は、掘削アタッチメントATに取り付けられたアタッチメントカメラ70A、キャビン10の上面前端に取り付けられた前方カメラ70F、上部旋回体3の上面後端に取り付けられた後方カメラ70B、上部旋回体3の上面左端に取り付けられた左方カメラ70L、及び、上部旋回体3の上面右端に取り付けられた右方カメラ70Rを含む。前方カメラ70Fは省略されてもよい。
空間認識装置70は、例えば、CCD又はCMOS等の撮像素子を有する単眼カメラであり、撮像した画像を表示装置D1に出力する。空間認識装置70は、撮像した画像を利用するだけでなく、空間認識装置70としてLIDAR、ミリ波レーダ、超音波センサ、又はレーザレーダ等を利用する場合には、多数の信号(レーザ光等)を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を検出してもよい。
空間認識装置70は、ショベル100の周囲に存在する物体を検知するように構成されていてもよい。物体は、例えば、地形形状(傾斜若しくは穴等)、電線、電柱、人、動物、車両、建設機械、建造物、壁、ヘルメット、安全ベスト、作業服、又は、ヘルメットにおける所定のマーク等である。空間認識装置70は、物体の種類、位置、及び形状等の少なくとも1つを識別できるように構成されていてもよい。空間認識装置70は、人と人以外の物体とを区別できるように構成されていてもよい。
アタッチメントカメラ70Aは、図3に示すように、ブーム4とアーム5との連結部CNの近傍に取り付けられている。連結部CNは、アームフートピンAPによってブーム4とアーム5とが連結される部分である。連結部CNの近傍は、例えば、アームフートピンAPの中心軸を中心とする半径R1の円の内側の領域である。半径R1は、例えば、アームフートピンAPの中心軸とアームシリンダロッドピンBPの中心軸との間の距離に相当する。アタッチメントカメラ70Aは、アーム5が開閉されたときにブーム4と干渉しないように取り付けられる。アタッチメントカメラ70Aは、ブーム4又はアーム5の側面に直接取り付けられていてもよく、ブラケット等の支持具を介してブーム4又はアーム5に取り付けられていてもよい。この場合、支持具とブーム4又はアーム5との連結位置は、連結部CNの近傍以外であってもよいが、アタッチメントカメラ70Aは、連結部CNの近傍に配置される。本実施形態では、アタッチメントカメラ70Aは、左アタッチメントカメラ70AL及び右アタッチメントカメラ70ARを含む。図3に示すように、左アタッチメントカメラ70ALは、アームフートピンAPから距離R2(<R1)の位置で、ブーム4の左側面に取り付けられ、右アタッチメントカメラ70ARは、アームフートピンAPから距離R2の位置(図3では不可視。)で、ブーム4の右側面に取り付けられている。すなわち、左アタッチメントカメラ70AL及び右アタッチメントカメラ70ARは、図2に示すように、掘削アタッチメントATの中心軸に介して左右対称となるように配置されている。但し、左アタッチメントカメラ70ALは、図3の点線円DCで示すように、アーム5の左側面に取り付けられていてもよい。同様に、右アタッチメントカメラ70ARは、アーム5の右側面に取り付けられていてもよい。
アタッチメントカメラ70Aは、連結部CNの近傍への取り付けにより、掘削作業等が行われた場合であっても損傷されにくい。土砂等の被掘削物と接触し難いためである。また、アタッチメントカメラ70Aは、連結部CNの近傍への取り付けにより、掘削アタッチメントの真上にある電線等を撮像できる。アタッチメントカメラ70Aの上方には遮蔽物が存在しないためである。
アタッチメントカメラ70Aは、典型的には、全方位を撮像可能なカメラである。アタッチメントカメラ70Aは、全方位を測定可能なライダで置き換えられてもよい。本実施形態では、左アタッチメントカメラ70AL及び右アタッチメントカメラ70ARのそれぞれは半天球型カメラである。そのため、左アタッチメントカメラ70ALと右アタッチメントカメラ70ARとの組み合わせは実質的に全天球型カメラを構成する。左アタッチメントカメラ70AL及び右アタッチメントカメラ70ARは半天球型ライダで置き換えられてもよい。この場合、2つの半天球型ライダの組み合わせは実質的に全天球型ライダを構成する。
アタッチメントカメラ70Aは、全方位を撮像できるように光軸の向きを変更できる向き変更機構を備えたカメラであってもよい。向き変更機構は、コントローラ30からの指令に応じて動作する電動モータを駆動源として含んでいてもよい。この場合、アタッチメントカメラ70Aは、半天球型カメラ又は全天球型カメラである必要はない。アタッチメントカメラ70Aは、例えば、向き変更機構等を利用することで、軸AX(図2参照。)の周囲の180度以上の範囲に関する画像を複数回の撮像によって取得できるのであれば、魚眼レンズ、広角レンズ又は標準レンズ等を備えたカメラであってもよい。軸AXは、ブーム4の側面に垂直で且つアタッチメントカメラ70Aを通る仮想的な軸である。
向き検出装置71は、上部旋回体3の向きと下部走行体1の向きとの相対的な関係に関する情報を検出するように構成されている。向き検出装置71は、例えば、下部走行体1に取り付けられた地磁気センサと上部旋回体3に取り付けられた地磁気センサの組み合わせで構成されていてもよい。或いは、向き検出装置71は、下部走行体1に取り付けられたGNSS受信機と上部旋回体3に取り付けられたGNSS受信機の組み合わせで構成されていてもよい。向き検出装置71は、ロータリエンコーダ又はロータリポジションセンサ等であってもよい。旋回電動発電機で上部旋回体3が旋回駆動される構成では、向き検出装置71は、レゾルバで構成されていてもよい。向き検出装置71は、例えば、下部走行体1と上部旋回体3との間の相対回転を実現する旋回機構2に関連して設けられるセンタージョイントに取り付けられていてもよい。
向き検出装置71は、上部旋回体3に取り付けられたカメラで構成されていてもよい。この場合、向き検出装置71は、上部旋回体3に取り付けられているカメラが撮像した画像(入力画像)に既知の画像処理を施して入力画像に含まれる下部走行体1の画像を検出する。そして、向き検出装置71は、既知の画像認識技術を用いて下部走行体1の画像を検出することで、下部走行体1の長手方向を特定する。また、向き検出装置71は、上部旋回体3の前後軸の方向と下部走行体1の長手方向との間に形成される角度を導き出す。上部旋回体3の前後軸の方向は、カメラの取り付け位置から導き出される。クローラ1Cは上部旋回体3から突出しているため、向き検出装置71は、クローラ1Cの画像を検出することで下部走行体1の長手方向を特定できる。向き検出装置71は、コントローラ30に統合されていてもよい。
情報入力装置72は、ショベルの操作者がコントローラ30に対して情報を入力できるように構成されている。本実施形態では、情報入力装置72は、表示装置D1の表示部に近接して設置されるスイッチパネルである。但し、情報入力装置72は、表示装置D1の表示部の上に配置されるタッチパネルであってもよく、操作レバーの先端に設けられるダイヤル若しくは十字ボタン等であってもよく、キャビン10内に配置されているマイクロフォン等の音声入力装置であってもよい。また、情報入力装置72は、通信装置であってもよい。この場合、操作者は、スマートフォン等の通信端末を介してコントローラ30に情報を入力できる。
測位装置73は、現在位置を測定するように構成されている。本実施形態では、測位装置73は、GNSS受信機であり、上部旋回体3の位置を検出し、検出値をコントローラ30に対して出力する。測位装置73は、GNSSコンパスであってもよい。この場合、測位装置73は、上部旋回体3の位置及び向きを検出できる。
機体傾斜センサS4は、所定の平面に対する上部旋回体3の傾斜を検出する。本実施形態では、機体傾斜センサS4は、水平面に関する上部旋回体3の前後軸回りの傾斜角(ロール角)及び左右軸回りの傾斜角(ピッチ角)を検出する加速度センサである。上部旋回体3の前後軸及び左右軸のそれぞれは、例えば、ショベル100の旋回軸上の一点であるショベル中心点を通り、且つ、互いに直交している。
旋回角速度センサS5は、上部旋回体3の旋回角速度を検出する。本実施形態では、ジャイロセンサである。旋回角速度センサS5は、レゾルバ、ロータリエンコーダ等であってもよい。旋回角速度センサS5は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
以下では、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4及び旋回角速度センサS5の少なくとも1つは、姿勢検出装置とも称される。掘削アタッチメントATの姿勢は、例えば、ブーム角度センサS1、アーム角度センサS2及びバケット角度センサS3のそれぞれの出力に基づいて検出される。
表示装置D1は、情報を表示する装置である。本実施形態では、表示装置D1は、キャビン10内に設置された液晶ディスプレイである。但し、表示装置D1は、スマートフォン等の通信端末のディスプレイであってもよい。
音声出力装置D2は、音声を出力する装置である。音声出力装置D2は、キャビン10内の操作者に向けて音声を出力する装置、及び、キャビン10外の作業者に向けて音声を出力する装置の少なくとも1つを含む。通信端末に付属しているスピーカであってもよい。
コントローラ30は、ショベル100を制御するための制御装置である。本実施形態では、コントローラ30は、CPU、揮発性記憶装置及び不揮発性記憶装置等を備えたコンピュータで構成されている。そして、コントローラ30は、各機能に対応するプログラムを不揮発性記憶装置から読み出して揮発性記憶装置にロードし、対応する処理をCPUに実行させる。各機能は、例えば、操作者によるショベル100の手動操作をガイド(案内)するマシンガイダンス機能、及び、操作者によるショベル100の手動操作を支援したり或いはショベル100を自動的或いは自律的に動作させたりするマシンコントロール機能を含む。
次に、図4を参照し、図1のショベル100に搭載される基本システムについて説明する。図4において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電力ラインは細実線、電気制御ラインは一点鎖線でそれぞれ示されている。
基本システムは、主に、エンジン11、メインポンプ14、パイロットポンプ15、コントロールバルブ17、操作装置26、操作圧センサ29、コントローラ30、切換弁35、エンジン制御装置74、エンジン回転数調整ダイヤル75、蓄電池80、表示装置D1、音声出力装置D2及び情報取得装置E1等を含む。
エンジン11は、負荷の増減にかかわらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン11における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジン制御装置74により制御される。
エンジン11の回転軸は油圧ポンプとしてのメインポンプ14及びパイロットポンプ15のそれぞれの回転軸に連結されている。メインポンプ14は作動油ラインを介してコントロールバルブ17に接続されている。パイロットポンプ15はパイロットラインを介して操作装置26に接続されている。
コントロールバルブ17は、ショベル100の油圧系の制御を行う油圧制御装置である。コントロールバルブ17は、左走行油圧モータ2ML、右走行油圧モータ2MR、ブームシリンダ7、アームシリンダ8、バケットシリンダ9及び旋回油圧モータ2A等の油圧アクチュエータに接続されている。
具体的には、コントロールバルブ17は、各油圧アクチュエータに対応する複数のスプール弁を含む。各スプール弁は、PCポートの開口面積及びCTポートの開口面積を増減できるように、パイロット圧に応じて変位可能に構成されている。PCポートは、メインポンプ14と油圧アクチュエータとを連通させるポートである。CTポートは、油圧アクチュエータと作動油タンクとを連通させるポートである。
切換弁35は、操作装置26の有効状態と無効状態とを切り換えできるように構成されている。操作装置26の有効状態は、操作者が操作装置26を用いて油圧アクチュエータを操作できる状態である。操作装置26の無効状態は、操作者が操作装置26を用いて油圧アクチュエータを操作できない状態である。本実施形態では、切換弁35は、コントローラ30からの指令に応じて動作するように構成されているゲートロック弁である。具体的には、切換弁35は、パイロットポンプ15と操作装置26とを繋ぐパイロットラインに配置され、コントローラ30からの指令に応じてパイロットラインの遮断・連通を切り換えできるように構成されている。操作装置26は、例えば、不図示のゲートロックレバーが引き上げられてゲートロック弁が開かれたときに有効状態となり、ゲートロックレバーが押し下げられてゲートロック弁が閉じられたときに無効状態となる。
表示装置D1は、制御部40、画像表示部41、及び、入力部としてのスイッチパネル42を有する。制御部40は、画像表示部41に表示される画像を制御できるように構成されている。本実施形態では、制御部40は、CPU、揮発性記憶装置及び不揮発性記憶装置等を備えたコンピュータで構成されている。この場合、制御部40は、各機能要素に対応するプログラムを不揮発性記憶装置から読み出して揮発性記憶装置にロードし、対応する処理をCPUに実行させる。但し、各機能要素は、ハードウェアで構成されていてもよく、ソフトウェアとハードウェアの組み合わせで構成されていてもよい。また、画像表示部41に表示される画像は、コントローラ30又は空間認識装置70によって制御されてもよい。
スイッチパネル42は、ハードウェアスイッチを含むパネルである。スイッチパネル42は、タッチパネルであってもよい。表示装置D1は、蓄電池80から電力の供給を受けて動作する。蓄電池80は、例えば、オルタネータ11aで発電した電気で充電される。蓄電池80の電力は、コントローラ30等にも供給される。例えば、エンジン11のスタータ11bは、蓄電池80からの電力で駆動され、エンジン11を始動する。
エンジン制御装置74は、冷却水温等、エンジン11の状態に関するデータをコントローラ30に送信する。メインポンプ14のレギュレータ14aは、斜板傾転角に関するデータをコントローラ30に送信する。吐出圧センサ14bは、メインポンプ14の吐出圧に関するデータをコントローラ30に送信する。作動油タンクとメインポンプ14との間の管路に設けられた油温センサ14cは、その管路を流れる作動油の温度に関するデータをコントローラ30に送信する。コントローラ30は揮発性記憶装置にこれらのデータを蓄積しておき、必要なときに表示装置D1に送信できる。
エンジン回転数調整ダイヤル75は、エンジン11の回転数を調整するためのダイヤルである。エンジン回転数調整ダイヤル75は、エンジン回転数の設定状態に関するデータをコントローラ30に送信する。エンジン回転数調整ダイヤル75は、SPモード、Hモード、Aモード及びアイドリングモードの4段階でエンジン回転数を切り換えできるように構成されている。SPモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベル100を稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジン11をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。エンジン11は、エンジン回転数調整ダイヤル75で設定された回転数モードに対応するエンジン回転数で一定となるように制御される。
音声出力装置D2は、ショベル100の作業に携わる人の注意を喚起するための装置である。音声出力装置D2は、例えば、室内警報装置及び室外警報装置の組み合わせで構成されていてもよい。室内警報装置は、キャビン10内にいるショベル100の操作者の注意を喚起するための装置であり、例えば、キャビン10内に設けられたスピーカ、振動発生装置及び発光装置の少なくとも1つを含む。室内警報装置は、表示装置D1であってもよい。室外警報装置は、ショベル100の周囲で作業する作業者の注意を喚起するための装置であり、例えば、キャビン10の外に設けられたスピーカ及び発光装置の少なくとも1つを含む。室外警報装置としてのスピーカは、例えば、上部旋回体3の底面に取り付けられている走行アラーム装置を含む。また、室外警報装置は、上部旋回体3上に設けられる発光装置であってもよい。但し、室外警報装置は省略されてもよい。音声出力装置D2は、例えば、物体検出装置として機能する空間認識装置70が所定物体を検出した場合に、ショベル100の作業に携わる人にその旨を報知してもよい。
図4の例では、コントローラ30は、情報取得装置E1の少なくとも1つが出力する信号を受け、様々な演算を実行し、表示装置D1及び音声出力装置D2等の少なくとも1つに制御指令を出力できるように構成されている。
情報取得装置E1はショベル100に関する情報を検出する。本実施形態では、情報取得装置E1は、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、旋回角速度センサS5、ブームロッド圧センサ、ブームボトム圧センサ、アームロッド圧センサ、アームボトム圧センサ、バケットロッド圧センサ、バケットボトム圧センサ、ブームシリンダストロークセンサ、アームシリンダストロークセンサ、バケットシリンダストロークセンサ、吐出圧センサ、操作圧センサ29、空間認識装置70、向き検出装置71、情報入力装置72、測位装置73及び通信装置のうちの少なくとも1つを含む。情報取得装置E1は、例えば、ショベル100に関する情報として、ブーム角度、アーム角度、バケット角度、機体傾斜角度、旋回角速度、ブームロッド圧、ブームボトム圧、アームロッド圧、アームボトム圧、バケットロッド圧、バケットボトム圧、ブームストローク量、アームストローク量、バケットストローク量、メインポンプ14の吐出圧、操作装置26の操作圧、ショベル100の周囲の三次元空間に関する情報、上部旋回体3の向きと下部走行体1の向きとの相対的な関係に関する情報、コントローラ30に対して入力された情報、及び、現在位置に関する情報等のうちの少なくとも1つを取得する。また、情報取得装置E1は、他の建設機械又は飛行体等から情報を入手してもよい。飛行体は、例えば、作業現場に関する情報を取得するマルチコプタ又は飛行船等である。
コントローラ30は、主に、姿勢算出部30A、作業特定部30B及び表示制御部30Cを機能要素として有する。各機能要素は、ハードウェアで構成されていてもよく、ソフトウェアで構成されていてもよい。なお、表示制御部30Cによる機能は、表示装置D1における制御部40によって実現されてもよい。
姿勢算出部30Aは、空間認識装置70の1つであるアタッチメントカメラ70Aの姿勢を算出するように構成されている。本実施形態では、姿勢算出部30Aは、ブーム角度センサS1、アーム角度センサS2及びバケット角度センサS3の出力に基づき、上部旋回体3に関するアタッチメントカメラ70Aの相対的な姿勢を算出する。姿勢算出部30Aは、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3及び機体傾斜センサS4の出力に基づき、世界座標系におけるアタッチメントカメラ70Aの絶対的な姿勢を算出してもよい。
アタッチメントカメラ70Aは、GNSS受信機を含んでいてもよい。この場合、姿勢算出部30Aは、GNSS受信機が出力する信号に基づいてアタッチメントカメラ70Aの姿勢を算出してもよい。
作業特定部30Bは、ショベル100を用いて実行される作業の種類を特定するように構成されている。ショベル100を用いて実行される作業は、例えば、旋回作業、掘削作業、排土作業、深掘り掘削作業及び積み込み作業等を含む。本実施形態では、作業特定部30Bは、操作装置26、ブーム角度センサS1、アーム角度センサS2及びバケット角度センサS3等の少なくとも1つの出力に基づき、現在実行されている作業の種類を特定する。例えば、作業特定部30Bは、左操作レバー26Lが左右方向に倒されていることを検知した場合、現在実行されている作業が旋回作業であると特定する。或いは、作業特定部30Bは、掘削アタッチメントATの現在の姿勢が、前方斜め下方に延びた姿勢であることを検知した場合、現在実行されている作業が深掘り掘削作業であると特定する。
表示制御部30Cは、空間認識装置70が取得した情報を表示装置D1に表示できるように構成されている。本実施形態では、表示制御部30Cは、アタッチメントカメラ70Aが撮像した画像を表示装置D1に表示できるように構成されている。
具体的には、表示制御部30Cは、全天球型カメラであるアタッチメントカメラ70Aの姿勢に応じ、アタッチメントカメラ70Aが撮像した画像のうちの何れの画像部分を表示装置D1に表示させるかを決定するように構成されている。
より具体的には、表示制御部30Cは、例えば、掘削作業中に掘削アタッチメントATの姿勢が変化した場合であっても、地面の同じ部分を表示装置D1に継続的に表示させることができるようにする。そのため、表示制御部30Cは、アタッチメントカメラ70Aが撮像した画像のうち、表示装置D1に表示させる画像部分を、掘削アタッチメントATの姿勢の変化、すなわち、アタッチメントカメラ70Aの姿勢の変化に応じて変化させる。
また、表示制御部30Cは、ショベルの作業の種類に応じ、アタッチメントカメラ70Aが撮像した画像のうちの何れの画像部分を表示装置D1に表示させるかを決定するように構成されている。
具体的には、表示制御部30Cは、例えば、掘削作業中であれば、バケット6の近傍を操作者が視認できるようにアタッチメントカメラ70Aが撮像した画像のうちの一部を表示装置D1に表示させる。そして、表示制御部30Cは、例えば、旋回作業中であれば、ショベル100の機体の近傍を操作者が視認できるようにアタッチメントカメラ70Aが撮像した画像のうちの別の一部を表示装置D1に表示させる。
表示制御部30Cは、所定の物体の画像を認識できるように構成されていてもよい。具体的には、表示制御部30Cは、ショベル100の周囲に存在する人の画像を人以外の画像と区別して認識できるように構成されていてもよい。この構成では、表示制御部30Cは、人の画像を認識した場合に音声出力装置D2に制御指令を送信して警報を出力させてもよい。或いは、表示制御部30Cは、バケット6の内部にある土砂等の画像を認識し、その土砂等の体積を算出できるように構成されていてもよい。この構成では、表示制御部30Cは、算出した土砂等の体積を表示装置D1に表示させてもよい。或いは、表示制御部30Cは、掘削アタッチメントATの上に張られている電線の画像を認識し、その電線と掘削アタッチメントATとの最短距離を算出できるように構成されていてもよい。この構成では、表示制御部30Cは、算出した最短距離を表示装置D1に表示させてもよい。そして、表示制御部30Cは、その最短距離が所定距離を下回った場合に音声出力装置D2に制御指令を送信して警報を出力させてもよい。このように、表示制御部30Cは、ショベルの所定の部位(カウンタウェイト、ブームトップ、アームフート、又はバケット爪先等)とショベル100から所定の範囲内に存在する物体との間の距離を算出し、それらの距離のうちの最短距離が所定距離を下回ったか否かを判定する。
次に、図5~図7を参照し、コントローラ30が表示装置D1に表示させる画像を切り換える処理(以下、「表示切換処理」とする。)について説明する。図5は、表示切換処理のフローチャートである。図6は、旋回作業中にショベル100の機体の近傍を操作者が容易に視認できるように表示装置D1に表示される機体近傍画像G1に関し、図6(A)及び図6(B)を含む。図6(A)は、機体近傍画像G1の一例を示す。図6(B)は、機体近傍画像G1が表示装置D1に表示されるときのショベル100の状態を示すショベル100の側面図である。図7は、深掘り掘削作業中にバケット6の近傍を操作者が容易に視認できるように表示装置D1に表示されるバケット近傍画像G2に関し、図7(A)~図7(C)を含む。図7(A)は、バケット近傍画像G2の一例である。図7(B)及び図7(C)は、バケット近傍画像G2が表示装置D1に表示されるときのショベル100の状態を示すショベル100の側面図である。コントローラ30は、ショベル100の稼動中、所定の制御周期で繰り返し表示切換処理を実行する。
最初に、コントローラ30は、旋回作業中であるか否かを判定する(ステップST1)。本実施形態では、コントローラ30の作業特定部30Bは、左操作圧センサ29Lの出力に基づいて左操作レバー26Lが左右方向に倒されていることを検知した場合に旋回作業中であると判定する。
旋回作業中でないと判定した場合(ステップST1のNO)、コントローラ30は、表示装置D1に表示される画像を切り換えることなく、ステップST3のタスクを実行する。
旋回作業中であると判定した場合(ステップST1のYES)、コントローラ30は、表示装置D1に機体近傍画像G1を表示させる(ステップST2)。
機体近傍画像G1は、図6(A)に示すように、下部走行体1及び上部旋回体3を含む機体の正面及びその近傍を斜め上から撮像した画像であり、機体の両側の空間に関する画像部分を含む。表示制御部30Cは、ブーム4の腹側の表面及びアーム5の腹側の表面等、アタッチメントカメラ70Aが撮像した画像に含まれない部分を図形で表すようにしてもよい。
図6(B)は、図6(A)に示す機体近傍画像G1が表示されるときのショベル100の状態を示す。破線円CLは、全天球型カメラであるアタッチメントカメラ70Aの半球状の撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)が全方向に拡がっていることを模式的に示している。扇形FS1は、アタッチメントカメラ70Aが撮像した画像のうち、表示装置D1での機体近傍画像G1の表示に用いられた画像部分に対応する撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)を模式的に示している。
その後、コントローラ30は、掘削作業中であるか否かを判定する(ステップST3)。本実施形態では、作業特定部30Bは、左操作圧センサ29L及び右操作圧センサ29Rのそれぞれの出力に基づいてブーム4、アーム5又はバケット6の少なくとも1つが動かされていることを検知した場合に掘削作業中であると判定する。そのため、本実施形態では、深掘り掘削作業及び排土作業は掘削作業に含まれる。
掘削作業中でないと判定した場合(ステップST3のNO)、コントローラ30は、表示装置D1に表示される画像を切り換えることなく、ステップST5のタスクを実行する。
掘削作業中であると判定した場合(ステップST3のYES)、コントローラ30の表示制御部30Cは、表示装置D1にバケット近傍画像G2を表示させる(ステップST4)。
バケット近傍画像G2は、図7(A)に示すように、バケット6の近傍を上から撮像した画像であり、バケット6の左右両側の空間に関する画像部分を含む。
図7(B)は、図7(A)に示すバケット近傍画像G2が表示されるときのショベル100の状態を示す。扇形FS2は、アタッチメントカメラ70Aが撮像した画像のうち、表示装置D1でのバケット近傍画像G2の表示に用いられた画像部分に対応する撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)を模式的に示している。
図7(C)は、図7(B)に示す状態から掘削アタッチメントATを上昇させた後のショベル100の状態を示す。扇形FS3は、アタッチメントカメラ70Aが撮像した画像のうち、表示装置D1でのバケット近傍画像G2の表示に用いられた画像部分に対応する撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)を模式的に示している。
表示制御部30Cは、掘削作業中、バケット近傍画像G2が継続的に表示装置D1に表示されるようにする。そのため、掘削アタッチメントATの姿勢が変化する場合には、表示制御部30Cは、図7(B)及び図7(C)に示すように、アタッチメントカメラ70Aが撮像した画像における、バケット近傍画像G2の表示に用いられる画像部分を変化させる。図7(C)の矢印AR1は、掘削アタッチメントATの姿勢が図7(B)に示す状態から図7(C)に示す状態に変化する際に、バケット近傍画像G2の表示に用いられる画像部分に対応する撮像範囲が扇形FS2で示す部分(一点鎖線で区切られた部分)から扇形FS3で示す部分に変化する様子を示している。
表示制御部30Cは、バケット6又はその爪先の画像が常にバケット近傍画像G2の中心にくるように、バケット近傍画像G2の表示に用いられる画像部分を変化させてもよい。この場合、表示制御部30Cは、掘削アタッチメントATの姿勢がどのように変化したとしても、バケット6又はその爪先の画像を表示装置D1で表示させ続けることができる。
この構成により、表示制御部30Cは、掘削作業中に掘削アタッチメントATの姿勢が変化する場合であっても、表示装置D1に表示されている画像に対応する実空間の範囲が大きく変化してしまうのを防止できる。
その後、コントローラ30は、掘削アタッチメントATとショベル100の上に張られた電線CB等の所定の物体との間の距離が所定距離未満であるか否かを判定する(ステップST5)。所定の物体は、樹木、天井又は道路標識等であってもよい。本実施形態では、コントローラ30の表示制御部30Cは、図6(B)に示すように、画像認識技術によって認識される電線CBと、姿勢検出装置の出力に基づいてその姿勢が算出される掘削アタッチメントATとの間の距離GPが所定距離未満であるか否かを判定する。
距離GPが所定距離以上であると判定した場合(ステップST5のNO)、表示制御部30Cは、表示装置D1に表示される画像を切り換えることなく、今回の表示切換処理を終了させる。掘削アタッチメントATが電線CBに接触する可能性は低いと判断できるためである。
距離GPが所定距離未満であると判定した場合(ステップST5のYES)、表示制御部30Cは、上空画像を表示させる(ステップST6)。上空画像は、掘削アタッチメントATの真上の空間を撮像した画像である。この場合、表示制御部30Cは、音声出力装置D2に制御指令を送信して警報を出力させてもよい。
図6(B)の扇形FS4は、アタッチメントカメラ70Aが撮像した画像のうち、表示装置D1での上空画像の表示に用いられた画像部分に対応する撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)を模式的に示している。
表示制御部30Cは、上述のように、旋回作業中、機体近傍画像G1が継続的に表示装置D1に表示されるようにしている。しかしながら、距離GPが所定距離未満となった場合には、表示制御部30Cは、図6(B)に示すように、アタッチメントカメラ70Aが撮像した画像のうち機体近傍画像G1の表示に用いられる画像部分を変化させる。図6(B)の矢印AR2は、距離GPが所定距離を下回った場合に、表示装置D1に表示される画像部分に対応する撮像範囲が、機体近傍画像G1の表示に用いられていた画像部分に対応する撮像範囲(扇形FS1参照。)から、扇形FS4で示す画像部分に対応する撮像範囲に変化(反転)する様子を示している。
この構成により、表示制御部30Cは、掘削アタッチメントATが電線CBに接近した場合に、機体近傍画像G1を上空画像に切り換えることができる。そのため、ショベル100の操作者は、掘削アタッチメントATと接触するおそれのある電線CBを迅速に視認できる。
上述の表示切換処理では、コントローラ30は、ステップST1、ST3、ST5の順に判定を行うが、他の順に判定を行うようにしてもよく、2つ以上の判定を同時に行うようにしてもよい。
次に、図8を参照し、掘削作業中に表示装置D1に表示される画像の別の一例について説明する。図8に示す画像は、俯瞰画像G3と共にバケット近傍画像G2が表示される点で、図7(A)に示す画像と異なる。
俯瞰画像G3は、後方カメラ70B、左方カメラ70L及び右方カメラ70Rのそれぞれが撮像した画像に視点変換処理を施して合成することで得られる画像であり、ショベル図形G31を含む。ショベル図形G31は、ショベル100を真上から見たときのショベル100の形状を表す図形であり、画像表示部41において、俯瞰画像G3の中央上部に配置されている。ショベル図形G31は、掘削アタッチメントATを表す部分が画面上方を向くように配置されている。画像表示部41において、後方カメラ70Bが撮像した画像に基づく画像部分は、ショベル図形G31の下側に配置され、左方カメラ70Lが撮像した画像に基づく画像部分は、ショベル図形G31の左側に配置され、右方カメラ70Rが撮像した画像に基づく画像部分は、ショベル図形G31の右側に配置されている。そして、バケット近傍画像G2は、俯瞰画像G3の上側、すなわち、ショベル図形G31における掘削アタッチメントATを表す部分の上側に配置されている。
この構成により、ショベル100の操作者は、ショベル図形G31を含む俯瞰画像G3を見ることで、ショベル100とショベル100の周囲にある物体との相対的な位置関係を直感的に把握できる。その上で、操作者は、バケット近傍画像G2を見ることで、バケット6の鉛直下方にある地面の状態を容易に把握できる。
次に、図9を参照し、表示切換処理の別の一例について説明する。コントローラ30は、ショベル100の稼動中、所定の制御周期で繰り返しこの表示切換処理を実行する。図9は、荷台画像が表示装置D1に表示されるときのショベル100の状態を示すショベル100の側面図である。荷台画像は、積み込み作業に関するダンプトラックDTの荷台を真上から撮像した画像であり、バケット6の両側の空間に関する画像部分を含むように構成されている。
この表示切換処理では、最初に、コントローラ30は、積み込み作業中であるか否かを判定する。この例では、コントローラ30の作業特定部30Bは、左操作圧センサ29L及び右操作圧センサ29Rの出力に基づいてブーム上げ旋回操作が行われたことを検知した場合に積み込み作業中であると判定する。
そして、積み込み作業中であると判定した場合、コントローラ30の表示制御部30Cは、排土作業が完了したことをコントローラ30が検知するまで、表示装置D1に荷台画像を表示させる。コントローラ30は、例えば、積み込み作業中であると判定した後で、バケット角度θ3が所定角度以上になったときに排土作業が完了したと判定する。
図9は、荷台画像が表示されるときのショベル100の状態を示す。破線円CLは、全天球型カメラであるアタッチメントカメラ70Aの半球状の撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)が全方向に拡がっていることを模式的に示している。扇形FS5は、アタッチメントカメラ70Aが撮像した画像のうち、表示装置D1での荷台画像の表示に用いられた画像部分に対応する撮像範囲(アタッチメントカメラ70Aから遠い範囲を除く。)を模式的に示している。
この構成により、表示制御部30Cは、排土作業が完了したことをコントローラ30が検知するまで、荷台画像を継続的に表示装置D1に表示させることができる。そのため、ショベル100の操作者は、キャビン10の中からでは見えないダンプトラックDTの荷台の上を容易に視認できる。
また、表示制御部30Cは、掘削アタッチメントATの姿勢の変化に応じ、アタッチメントカメラ70Aが撮像した画像における荷台画像の表示に用いられる画像部分を変化させる。
この構成により、表示制御部30Cは、積み込み作業中に掘削アタッチメントATの姿勢が変化する場合に、表示装置D1に表示されている画像に対応する実空間の範囲が大きく変化してしまうのを防止できる。
上述のように、本発明の実施形態に係るショベル100は、下部走行体1と、下部走行体1に旋回可能に搭載された上部旋回体3と、上部旋回体3に回動可能に取り付けられるブーム4と、ブーム4に回動可能に取り付けられるアーム5と、ブーム4とアーム5との連結部CNの近傍に取り付けられる空間認識装置70と、を備えている。
この構成により、ショベル100は、周囲のより広範囲にわたる空間に関する情報を取得できる。連結部CNの近傍に取り付けられる空間認識装置70の一例であるアタッチメントカメラ70Aは、上部旋回体3又はキャビン10に取り付けられる後方カメラ70B、前方カメラ70F、左方カメラ70L及び右方カメラ70R等の他のカメラよりも高い位置にあり、他のカメラでは撮像できない範囲を撮像できるためである。他のカメラでは撮像できない範囲は、例えば、キャビン10の側面の外側の近傍、深掘り掘削に関する穴の底、及び、掘削アタッチメントATの真上の空間等を含む。そのため、ショベル100の操作者は、アタッチメントカメラ70Aが撮像した画像を見ることで、周囲の状況を容易に且つより正確に把握できる。
空間認識装置70は、望ましくは、ブーム4又はアーム5の両側の側面に取り付けられている。この構成により、ショベル100は、掘削アタッチメントATの両側の空間を監視できる。但し、空間認識装置70は、ブーム4又はアーム5の片側の側面のみに取り付けられていてもよい。
空間認識装置70は、全方位を撮像可能なカメラであってもよく、全方位を測定可能なライダであってもよい。この構成により、ショベル100は、連結部CNの近傍を中心とする全方位における空間を監視できる。
ショベル100は、望ましくは、空間認識装置70の姿勢を算出する制御装置としてのコントローラ30と、空間認識装置70が取得した情報を表示する表示装置D1と、を備えている。そして、コントローラ30は、望ましくは、空間認識装置70の姿勢に応じ、空間認識装置70が取得した情報の何れの部分を表示装置D1に表示させるかを決定するように構成されている。
空間認識装置70が撮像した画像における表示装置D1に表示させる画像部分の割り当てが固定されている場合、掘削アタッチメントATの姿勢が変化すると、表示装置D1は、三次元空間における別の領域を映し出してしまう。そのため、ショベル100の操作者は、表示装置D1に何が映っているのか分からなくなってしまうおそれがある。
これに対し、コントローラ30は、例えば、掘削アタッチメントATの姿勢の変化に応じ、空間認識装置70が撮像した画像における、表示装置D1に表示させる画像部分の割り当てを変更する。空間認識装置70の姿勢は、掘削アタッチメントATの姿勢の変化に応じて変化するためである。また、コントローラ30は、その割り当てを変更することで、空間認識装置70の姿勢の変化に起因する撮像対象範囲の変化を相殺できるためである。
その結果、コントローラ30は、空間認識装置70の姿勢が変化したとしても、すなわち、掘削アタッチメントATの姿勢が変化したとしても、三次元空間における特定領域を捉えた画像を継続的に表示装置D1で表示させることができる。例えば、コントローラ30は、深掘り作業又は積み込み作業等の際に掘削アタッチメントATの姿勢が変化したとしても、バケット6が継続的に表示されるようにすることで、バケット6の良好な視認性を継続的に確保でき、ひいては、操作者の作業性を向上させることができる。
ショベル100は、望ましくは、ショベル100の作業を特定する制御装置としてのコントローラ30と、空間認識装置70が取得した情報を表示する表示装置D1と、を備えている。そして、コントローラ30は、望ましくは、ショベル100の作業の種類に応じ、空間認識装置70が取得した情報のうちの何れの部分を表示装置D1に表示させるかを決定するように構成されている。
ショベル100は、空間認識装置70の向きを換える機構を備えていてもよい。この構成により、コントローラ30は、例えば、アタッチメントカメラ70Aとして全天球型カメラではなく広角レンズカメラが採用された場合であっても、全天球型カメラが採用された場合と同様の機能を実現できる。具体的には、コントローラ30は、例えば、掘削アタッチメントATの姿勢の変化に応じ、広角レンズの光軸の向きを変えることができる。すなわち、コントローラ30は、全天球型カメラが採用された場合のような画像処理技術による画角の電子的且つ仮想的な切り換えではなく、向き変更機構による画角の機械的且つ実際的な切り換えを行うことができる。
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。
例えば、上述の実施形態では、コントローラ30は、ショベル100の作業等に応じて表示装置D1に表示させる画像を自動的に切り換えるように構成されている。しかしながら、ショベル100の操作者は、例えば情報入力装置72を介し、表示装置D1に表示させる画像を手動で切り換えてもよい。
例えば、コントローラ30は、左操作レバー26Lの先端に設けられたダイヤルの回転に応じ、アタッチメントカメラ70Aが撮像した画像における、表示装置D1での表示に用いられる画像部分の割り当てを変更してもよい。この場合、操作者は、ダイヤルを回転させることで、表示装置D1で表示される画像部分に対応する撮像範囲(所定の画角で表される範囲)を、画角を維持した状態で、軸AX(図2参照。)回りに回転させることができる。すなわち、操作者は、アタッチメントカメラ70Aが撮像した画像の全てを一部分ずつ表示装置D1に表示させることができる。
或いは、コントローラ30は、表示装置D1の表示部の上に配置されるタッチパネルに対する入力に応じ、アタッチメントカメラ70Aが撮像した画像における、表示装置D1での表示に用いられる画像部分の割り当てを変更してもよい。この場合、操作者は、スワイプ操作によってその画像部分をずらしていくことで、一部分ずつではあるが、アタッチメントカメラ70Aが撮像した画像の全てを表示装置D1に表示させることができる。また、操作者は、ピンチイン操作により、その画像部分に対応する撮像範囲を大きくしてもよく、ピンチアウト操作により、その画像部分に対応する撮像範囲を小さくしてもよい。
また、上述の実施形態では、油圧式パイロット回路を備えた油圧式操作レバーが開示されている。例えば、左操作レバー26Lに関する油圧式パイロット回路では、パイロットポンプ15から左操作レバー26Lへ供給される作動油が、左操作レバー26Lのアーム開き方向への傾倒によって開閉されるリモコン弁の開度に応じた流量で、アームシリンダ制御弁のパイロットポートへ伝達される。或いは、右操作レバー26Rに関する油圧式パイロット回路では、パイロットポンプ15から右操作レバー26Rへ供給される作動油が、右操作レバー26Rのブーム上げ方向への傾倒によって開閉されるリモコン弁の開度に応じた流量で、ブームシリンダ制御弁のパイロットポートへ伝達される。
但し、このような油圧式パイロット回路を備えた油圧式操作レバーではなく、電気式パイロット回路を備えた電気式操作レバーが採用されてもよい。この場合、電気式操作レバーのレバー操作量は、例えば、電気信号としてコントローラ30へ入力される。また、パイロットポンプ15と各制御弁のパイロットポートとの間には電磁弁が配置される。電磁弁は、コントローラ30からの電気信号に応じて動作するように構成される。この構成により、電気式操作レバーを用いた手動操作が行われると、コントローラ30は、レバー操作量に対応する電気信号によって電磁弁を制御してパイロット圧を増減させることで各制御弁を移動させることができる。