WO2017159744A1

WO2017159744A1 - ショベル

Info

Publication number: WO2017159744A1
Application number: PCT/JP2017/010481
Authority: WO
Inventors: 裕介佐野
Original assignee: 住友重機械工業株式会社
Priority date: 2016-03-16
Filing date: 2017-03-15
Publication date: 2017-09-21
Also published as: JP6848039B2; JP2020046439A; JPWO2017159744A1; JP6651607B2

Abstract

本発明の実施例に係るショベルは、下部走行体（１）と、下部走行体（１）に旋回可能に搭載される上部旋回体（３）と、上部旋回体（３）に取り付けられるアタッチメントと、アタッチメントに取り付けられた、測定対象地表の形状を測定するステレオカメラ（Ｓ４）と、アタッチメントの姿勢を計測するブーム角度センサ（Ｓ１）と、ステレオカメラ（Ｓ４）の第１ステレオペア画像により、ステレオカメラ（Ｓ４）から測定対象地表までの距離情報を算出するコントローラ（３０）を備える。コントローラ（３０）は、ブーム角度センサ（Ｓ１）の検出値に基づいて導き出されるアタッチメントの姿勢の変化による影響を排除して距離情報を算出する。

Description

ショベル

　本発明は、ショベルに関する。

　キャビン上に取り付けられたステレオカメラにより、掘削箇所の地形を測定可能なショベルが知られている（例えば特許文献１参照）。

特開２００２－３２８０２２号公報

　特許文献１に係るショベルは、土砂形状測定装置としてのステレオカメラがキャビン上に取り付けられている。そのため、深掘り掘削時においては、掘削箇所が手前の土砂に遮られて測定できない場合がある。

　上記課題に鑑み、深掘り掘削時においても掘削箇所の地形を正確に測定可能なショベルを提供することが望ましい。

　本発明の一実施形態に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、前記アタッチメントに取り付けられた、測定対象地表の形状を測定する土砂形状測定装置と、前記アタッチメントの姿勢を計測する姿勢センサと、前記土砂形状測定装置の第１測定値により、前記土砂形状測定装置から前記測定対象地表までの距離情報を算出する制御部を備えるショベルであって、前記制御部は、前記姿勢センサの検出値に基づいて導き出される前記アタッチメントの姿勢の変化による影響を排除して距離情報を算出する。

　上述の手段により、深掘り掘削時においても掘削箇所の地形を正確に測定可能なショベルを提供できる。

本発明の実施例に係るショベルの側面図である。図１のショベルの構成例を示す図である。距離情報算出処理の一例のフローチャートである。第２測定値へ補正する原理の説明図である。ステレオカメラの焦点距離を調整する手法の説明図である。本発明の別の実施例に係るショベルの構成例を示す図である。距離情報算出処理の別の一例のフローチャートである。距離情報を算出する原理の説明図である。

　図１は、本発明の実施例に係るショベルの側面図である。

　ショベルは、自走可能なクローラ式の下部走行体１と、この下部走行体１上に旋回機構２を介して旋回可能に搭載された上部旋回体３を有している。

　上部旋回体３には、ブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

　ブーム４、アーム５、及びバケット６によりアタッチメントが構成される。ブーム４、アーム５、バケット６は、ブームシリンダ７、アームシリンダ８、バケットシリンダ９によりそれぞれ油圧駆動される。ブーム４には姿勢センサとしてのブーム角度センサＳ１が取り付けられ、アーム５には姿勢センサとしてのアーム角度センサＳ２が取り付けられ、バケット６には姿勢センサとしてのバケット角度センサＳ３が取り付けられる。

　ブーム角度センサＳ１はブーム４の姿勢を計測する。本実施例では、ブーム角度センサＳ１は水平面に対する傾斜を検出して上部旋回体３に対するブーム４の回動角度を検出する加速度センサである。

　アーム角度センサＳ２はアーム５の姿勢を計測する。本実施例では、アーム角度センサＳ２は水平面に対する傾斜を検出してブーム４に対するアーム５の回動角度を検出する加速度センサである。

　バケット角度センサＳ３はバケット６の姿勢を計測する。本実施例では、バケット角度センサＳ３は水平面に対する傾斜を検出してアーム５に対するバケット６の回動角度を検出する加速度センサである。

　ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。加速度センサとジャイロセンサの組み合わせで構成されていてもよい。

　ブーム４には土砂形状測定装置としてのステレオカメラＳ４が取り付けられている。土砂形状測定装置は、レーザー距離計、レーザレンジファインダ等であってよい。ステレオカメラＳ４はアーム５に取り付けられていてもよい。ステレオカメラＳ４はブーム４とアーム５の両方に取り付けられていてもよい。

　上部旋回体３には運転室としてのキャビン１０が設けられ且つエンジン１１等の動力源が搭載されている。また、キャビン１０には通信手段としての通信装置Ｓ５が設けられている。

　通信装置Ｓ５は、ショベルと外部との間の通信を制御する。通信装置Ｓ５は、例えば、他の場所にある管理装置１００とショベルとの間の無線通信を制御する。

　キャビン１０内には、入力装置Ｄ１、音声出力装置Ｄ２、表示装置Ｄ３、高さ設定スイッチＤ４、コントローラ３０等が設置されている。

　コントローラ３０は、ショベルの駆動制御を行う制御部として機能する。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成される。コントローラ３０の各種機能は、ＣＰＵが内部メモリに格納されたプログラムを実行することで実現される。

　入力装置Ｄ１は、ショベルの操作者がコントローラ３０等に各種情報を入力するための装置である。本実施例では、入力装置Ｄ１は、表示装置Ｄ３の周囲に取り付けられるメンブレンスイッチである。入力装置Ｄ１としてタッチパネル等が用いられてもよい。

　音声出力装置Ｄ２は、コントローラ３０等からの音声出力指令に応じて各種音声情報を出力する。本実施例では、音声出力装置Ｄ２として、コントローラ３０に直接接続される車載スピーカが利用される。音声出力装置Ｄ２として、ブザー等の警報器が利用されてもよい。

　表示部としての表示装置Ｄ３は、コントローラ３０からの指令に応じて各種画像情報を出力する。本実施例では、キャビン１０内で運転席に向かって取り付けられる表示装置Ｄ３として、コントローラ３０に直接接続される車載液晶ディスプレイが利用される。

　高さ設定スイッチＤ４は、ショベルの操作者がコントローラ３０等に基準高さを入力するための装置である。本実施例では、高さ設定スイッチＤ４として、操作レバーに付与されているスイッチが利用される。キャリブレーションスイッチ等が利用されてもよい。

　次に、図２を参照しながら、ショベルの各種機能要素について説明する。図２は、ショベルの構成例を示す機能ブロック図である。

　本実施例では、コントローラ３０は、ステレオカメラＳ４から測定対象地表までの距離情報を算出する。コントローラ３０にはステレオカメラＳ４から第１測定値が入力される。第１測定値は、ステレオカメラＳ４が取得するデータであり、例えば視差データである。視差データは、例えば、左右のカメラで得られたステレオペア画像である。ステレオペア画像に写る範囲及びステレオペア画像に写っている物の大きさは外乱に応じて変化する。外乱は、例えば、ブーム４の姿勢の変化、すなわち、ステレオカメラＳ４の高さの変化を含む。コントローラ３０は、ブーム４の姿勢の変化がステレオペア画像に与える影響を推定する。そして、その影響が相殺されるようにステレオペア画像に写る範囲及びステレオペア画像に写っている物の大きさを変化させることでステレオペア画像を調整する。そして、調整後のステレオペア画像に基づいて正確な距離情報を算出する。

　コントローラ３０は、様々な機能を担う機能部を含む。本実施例では、コントローラ３０は、高さ位置演算部３１、距離演算部３２、メモリ部３３を含む。

　高さ位置演算部３１は、ブーム角度センサＳ１の検出値に基づいて、ブーム４に取り付けられたステレオカメラＳ４の高さ位置を演算する。高さ位置演算部３１には、高さ設定スイッチＤ４から基準高さを設定する信号が入力される。

　基準高さを設定する信号は、例えば、ショベルの操作者が高さ設定スイッチＤ４を押したときに高さ位置演算部３１に入力される。高さ位置演算部３１は、基準高さを設定する信号が入力されると、ブーム角度センサＳ１の検出値からそのときのステレオカメラＳ４の高さ位置を演算して基準高さとする。高さ位置は、ショベルの接地面を含む平面に対する高さである。基準高さの設定は、例えば、ステレオカメラＳ４による測定が開始される前に行われる。

　高さ位置演算部３１は、測定時のステレオカメラＳ４の高さ位置と、基準高さとに基づいて、ステレオカメラＳ４の移動高さ（基準高さからの高さ変化量）を算出する。ステレオカメラＳ４の移動高さは、基準高さ設定時のステレオカメラＳ４の高さ位置から、移動後のステレオカメラＳ４の高さ位置までの変化量に相当する。高さ位置演算部３１は、ステレオカメラＳ４の移動高さを、ステレオカメラＳ４の移動高さに相当する視差データ関連情報に変換して出力してもよい。視差データ関連情報は、例えば、ステレオペア画像に写る範囲及びステレオペア画像に写っている物の大きさに関する情報である。

　コントローラ３０は、高さ位置演算部３１から出力されたステレオカメラＳ４の移動高さに相当する視差データ関連情報に基づいて、ステレオカメラＳ４から出力された第１測定値（視差データ）を第２測定値（視差データ）へ補正する。第２測定値は、基準高さに位置する仮想的なステレオカメラが取得した視差データ（ステレオペア画像）に相当する。その際、コントローラ３０は、第１測定値（第１ステレオペア画像）が、第２測定値（第２ステレオペア画像）となるように焦点距離を調整（視差を調整）する。コントローラ３０は、例えば、第１ステレオペア画像に写る範囲及び第１ステレオペア画像に写っている物の大きさを変化させて第２ステレオペア画像を生成する。

　その後、コントローラ３０は、第２ステレオペア画像を距離演算部３２へ出力する。

　距離演算部３２は、第２ステレオペア画像に基づいて、基準高さから測定対象地表Ｊまでの距離情報を演算する。距離情報は、距離画像であってもよい。距離演算部３２は、演算した距離情報を表示装置Ｄ３と、メモリ部３３へ出力する。

　表示装置Ｄ３は、取得した複数の距離情報に基づいて地形の断面形状を生成して表示する。

　メモリ部３３は、取得した距離情報を通信装置Ｓ５へ出力する。通信装置Ｓ５は、通信回線を利用して距離情報を管理装置１００へ送信する。

　次に、図３を参照しながら、コントローラ３０が実行する距離情報算出処理について説明する。図３は、距離情報算出処理のフローチャートである。この処理は所定の時間間隔で繰り返される。

　コントローラ３０の高さ位置演算部３１は、ステップ（以下、ＳＴと略す）１で、高さ設定スイッチＤ４から入力された基準高さを設定する信号に基づいて基準高さを設定する。

　その後、コントローラ３０は、ＳＴ２でステレオカメラＳ４を用いた測定を開始する。

　コントローラ３０は、高さ位置演算部３１から出力されたステレオカメラＳ４の移動高さに相当する視差データ関連情報に基づいて、ステレオカメラＳ４から出力された第１測定値（第１ステレオペア画像）を第２測定値（第２ステレオペア画像）へ補正する（ＳＴ３）。

　図４を参照しながら、コントローラ３０が実施するＳＴ３の処理について詳しく説明する。図４は、第２ステレオペア画像を生成する原理の説明図である。

　図４において、Ｈｎは、第２ステレオペア画像に基づく高さを指す。Ｈは、基準高さである。Ｈｎ'は、第１ステレオペア画像に基づく高さを指す。ΔＺは、ステレオカメラＳ４の移動高さである。したがって、第２ステレオペア画像に基づく高さＨｎは、第１ステレオペア画像に基づく高さＨｎ'から移動高さΔＺを差し引いて算出できる。移動高さΔＺは、高さ位置演算部３１で算出される。

　その後、コントローラ３０は、第１ステレオペア画像が、第２ステレオペア画像となるように焦点距離を調整（視差を調整）する処理を行う（ＳＴ４）。

　次に図５を参照しながら、コントローラ３０が実行するＳＴ４の処理を説明する。図５は、ステレオカメラＳ４の焦点距離（画角）を調整する手法の説明図である。図５は、ステレオペア画像のうちの一方である右視点画像を実線で示し、ステレオペア画像のうちの他方である左視点画像を破線で示している。

　（１）は、ステレオカメラＳ４が基準高さから撮像した際の物体Ｘの画像を示している。（１）が有する視差を例えば１５画素とする。（２）は、ブーム４が上方へ移動した際にステレオカメラＳ４が撮像した物体Ｘの画像を示している。（２）が有する視差を例えば１０画素とする。コントローラ３０は、（３）に示すように（２）の物体Ｘが（１）の物体Ｘと同じ大きさになるように焦点距離（画角）を調整させて視差を５画素分増やす処理を行う。本実施例のコントローラ３０は、ステレオカメラＳ４の高さの変化に応じて、画素数の補正を行う。すなわち、コントローラ３０は、第１ステレオペア画像に写る範囲及び第１ステレオペア画像に写っている物の大きさを光学的に変化させる。但し、コントローラ３０は、第１ステレオペア画像に写る範囲及び第１ステレオペア画像に写っている物の大きさをデジタル画像処理的に変化させてもよい。

　その後、コントローラ３０の距離演算部３２は、ＳＴ３で生成された第２測定値（第２ステレオペア画像）に基づいて、基準高さから測定対象地表Ｊまでの距離情報を演算する（ＳＴ５）。

　上述では、コントローラ３０がステレオカメラＳ４の鉛直下方の距離情報を算出する処理を説明したが、コントローラ３０は、アタッチメントの動作によって、ステレオカメラＳ４の姿勢が変化しても同様の処理を行う。

　その後、コントローラ３０は、演算した距離情報を、表示装置Ｄ３やメモリ部３３へ出力する。

　上述のように、本実施例のショベルは、ステレオカメラＳ４をアタッチメントとしてのブーム４に取り付けたので、深掘り掘削時においても掘削箇所の地形を測定できる。また、本実施例のショベルは、ステレオカメラＳ４の第１ステレオペア画像から、ステレオカメラＳ４の移動高さによる影響を取り除くように生成された第２ステレオペア画像に基づいて正確な距離情報を算出するので、測定時にブーム４の姿勢が変化しても掘削箇所の地形を正確に測定できる。

　次に、本発明の別の実施例に係るショベルについて説明する。図６は本発明の別の実施例に係るショベルの構成例を示す図である。

　図６に示すショベルの構成例は、コントローラ３０が距離情報を演算する手順が異なる点で図２に示すショベルの構成例と異なるが、その他の点で共通する。そのため共通部分の説明を省略し、相違部分を詳細に説明する。

　本実施例の距離演算部３２には、ステレオカメラＳ４から第１測定値（第１ステレオペア画像）が入力される。距離演算部３２は、入力された第１測定値（第１ステレオペア画像）に基づいて第１距離情報を演算する。本実施例では例えば第１ステレオペア画像が有する視差から第１距離情報を演算する。第１距離情報は、ステレオカメラＳ４の移動高さを含んだステレオカメラＳ４から測定対象地表Ｊまでの距離情報である。

　コントローラ３０は、高さ位置演算部３１から出力されたステレオカメラＳ４の移動高さに基づいて距離演算部３２が演算した第１距離情報を、基準高さからの距離情報へ補正する。

　次に、図７を参照しながら、コントローラ３０が実行する距離情報算出処理を説明する。図７は、距離情報算出処理のフローチャートである。この処理は所定の時間間隔で繰り返される。

　コントローラ３０の高さ位置演算部３１は、ＳＴ２１で、高さ設定スイッチＤ４から入力された基準高さを設定する信号に基づいて基準高さを設定する。

　その後、コントローラ３０は、ＳＴ２２でステレオカメラＳ４を用いた測定を開始する。

　コントローラ３０の距離演算部３２は、ステレオカメラＳ４から出力された第１測定値（第１ステレオペア画像）に基づいて第１距離情報を算出する（ＳＴ２３）。

　コントローラ３０は、高さ位置演算部３１から出力されたステレオカメラＳ４の移動高さに基づいて、距離演算部３２が演算した第１距離情報を、基準高さからの距離情報へ補正する（ＳＴ２４）。

　図８を参照しながら、コントローラ３０が実施するＳＴ２４の処理について詳しく説明する。図８は、第１距離情報から正確な距離情報を算出する原理の説明図である。

　図８において、Ｈｎは、補正後の距離情報を指す。Ｈは、基準高さを指す。ΔＺは、ステレオカメラＳ４の移動高さを指す。Ｘ２は、ステレオカメラＳ４が撮像する物体を指す。

　Ｒｎは、基準高さにあるステレオカメラＳ４から物体Ｘ２までの距離を指す。Ｒｎ'は、移動したステレオカメラＳ４から物体Ｘ２までの距離を指す。Ｒｎ、Ｒｎ'は、ステレオカメラＳ４が出力する第１ステレオペア画像から導き出される。Ｈｎ'は、Ｒｎ'から算出される第１距離情報を指す。Ｌは、上部旋回体３からステレオカメラＳ４までの距離を指す。Ｌは、例えば、内部メモリ等に予め記憶されている。αは、ステレオカメラＳ４が基準高さにあるときのブーム４の角度を指す。α'は、ステレオカメラＳ４がΔＺだけ移動したときのブーム４の角度を指す。α、α'は、例えば、ブーム角度センサＳ１によって検出される。θｎは、ステレオカメラＳ４が基準高さにあるときのステレオカメラＳ４と物体Ｘ２とを結ぶ線分の、ステレオカメラＳ４の光軸（鉛直線）に対する角度を指す。θｎ'は、ステレオカメラＳ４がΔＺだけ移動したときのステレオカメラＳ４と物体Ｘ２とを結ぶ線分の、ステレオカメラＳ４の光軸（鉛直線）に対する角度を指す。θｎ、θｎ'は、例えば、ステレオカメラＳ４の内部パラメータから算出される。ΔＸは、ステレオカメラＳ４のＸ方向（図８の左右方向）の移動距離を指す。Ｗは、基準高さにあるステレオカメラＳ４の光軸とＸ２との距離を指す。

　具体的に距離情報Ｈｎは、以下の式により算出できる。

　移動高さΔＺは、式（１）により求められる。

　ΔＺ＝Ｌｓiｎα'－Ｌｓｉｎα　　　（１）
　ΔＸは、式（２）により求められる。

　ΔＸ＝Ｌｃｏｓα'－Ｌｃｏｓα　　　（２）
θｎは、式（３）で表される。θｎ'は、式（３）'で表される。

　θｎ＝ｓｉｎ^－１（Ｗ／Ｒｎ）　　　（３）
　θｎ'＝ｓｉｎ^－１（（Ｗ－ΔＸ）／Ｒｎ'）　　　（３）'
　第１距離情報Ｈｎ'は、式（４）により求められる。

　Ｈｎ'＝Ｒｎ'×ｃоｓθｎ'　　　（４）
　距離情報Ｈｎは、式（５）により求められる。

　Ｈｎ＝Ｒｎ'×ｃоｓθｎ'－ΔＺ　　　（５）
　端的にいうと、距離情報Ｈｎは、第１距離情報Ｈｎ'から移動高さΔＺを差し引くことにより算出できる。

　上述では、コントローラ３０がステレオカメラＳ４の鉛直下方の距離情報を算出する処理を説明したが、コントローラ３０は、アタッチメントの動作によって、ステレオカメラＳ４の姿勢が変化しても同様の処理を行う。鉛直下方以外の複数方向においても同様の処理を行う。

　上述のように、別の実施例のショベルにおいても、ステレオカメラＳ４の第１測定値（第１ステレオペア画像）からステレオカメラＳ４の移動高さによる影響を排除して正確な距離情報を算出するので、測定時にブーム４の姿勢が移動しても掘削箇所の地形を正確に測定できる。

　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限
されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び
置換を加えることができる。

　本願は、２０１６年３月１６日に出願した日本国特許出願２０１６－０５３００７号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。

　１・・・下部走行体　２・・・旋回機構　３・・・上部旋回体　４・・・ブーム　５・・・アーム　６・・・バケット　７・・・ブームシリンダ　８・・・アームシリンダ　９・・・バケットシリンダ　１０・・・キャビン　１１・・・エンジン　３０・・・コントローラ　３１・・・高さ位置演算部　３２・・・距離演算部　３３・・・メモリ部　Ｓ１・・・ブーム角度センサ　Ｓ２・・・アーム角度センサ　Ｓ３・・・バケット角度センサ　Ｓ４・・・ステレオカメラ（土砂形状測定装置）　Ｓ５・・・通信装置（通信手段）　１００・・・管理装置　Ｄ１・・・入力装置　Ｄ２・・・音声出力装置　Ｄ３・・・表示装置（表示部）　Ｄ４・・・高さ設定スイッチ

Claims

　下部走行体と、
　前記下部走行体に旋回可能に搭載される上部旋回体と、
　前記上部旋回体に取り付けられるアタッチメントと、
　前記アタッチメントに取り付けられた、測定対象地表の形状を測定する土砂形状測定装置と、
　前記アタッチメントの姿勢を計測する姿勢センサと、
　前記土砂形状測定装置の第１測定値により、前記土砂形状測定装置から前記測定対象地表までの距離情報を算出する制御部を備えるショベルであって、
　前記制御部は、前記姿勢センサの検出値に基づいて導き出される前記アタッチメントの姿勢の変化による影響を排除して距離情報を算出する、
　ショベル。
　前記制御部は、基準高さを設定し、前記土砂形状測定装置から取得した前記第１測定値を、前記姿勢センサの前記検出値と前記基準高さとに基づいて補正して、前記基準高さからの距離情報を算出する、
　請求項１に記載のショベル。
　前記制御部は、前記土砂形状測定装置の前記第１測定値と前記姿勢センサの前記検出値と前記基準高さとに基づいて第２測定値を生成し、前記第２測定値から前記基準高さからの距離情報を算出する、
　請求項２に記載のショベル。
　前記制御部は、前記土砂形状測定装置から取得した前記第１測定値から第１距離情報を算出し、前記第１距離情報と前記姿勢センサの前記検出値と前記基準高さとに基づいて、前記基準高さからの距離情報を算出する、
　請求項２に記載のショベル。
　前記基準高さを設定する信号を出力する高さ設定スイッチが備えられている、
　請求項２に記載のショベル。
　前記上部旋回体に取り付けられた運転室と、
　前記運転室内に設置された表示部と、を更に有し、
　前記制御部は、距離情報を前記表示部に表示する、
　請求項１に記載のショベル。
　通信手段を更に備え、
　前記制御部は、距離情報を前記通信手段を介して管理装置へ送信する、
　請求項１に記載のショベル。