JP6681747B2 - アタッチメント認識装置 - Google Patents

Description

本発明は、複数種類のアタッチメントが交換可能に装着されるアタッチメント装着部を含む作業装置を備える建設機械において、前記アタッチメント装着部に装着されたアタッチメントを認識するアタッチメント認識装置に関するものである。

油圧ショベル等の交換可能なアタッチメントを備える建設機械においては、ユーザは、バケット、ニブラ、又はブレーカー等のアタッチメントを、作業内容に応じて適宜変更して作業を行う。アタッチメントの寸法などの情報を建設機械が認識していない場合、アタッチメントの運転室への干渉を防止する干渉防止制御や、アタッチメントに応じた作業装置の動作制御（例えばバケットの自動水平引き制御など）を有効に機能せることができないおそれがある。そのため、建設機械は、現在取り付けられているアタッチメントを認識しておく必要がある。

アタッチメントの認識方法やアタッチメントの寸法の計測方法としては以下の特許文献１、２が公知である。

特許文献１は、サービスマンによりアタッチメントの交換作業が行われた場合、サービスマンにアタッチメントの識別情報を入力させ、その識別情報を入力日時と併せて端末装置に対して送信させ、端末装置が建設機械が装着するアタッチメントを管理する技術を開示する。

特許文献２は、交換前のアタッチメントである基準アタッチメント及び交換用アタッチメントを所定の測定用姿勢にしたときの各アタッチメントの所定部位の測定データの差を求め、求めた差と予め記憶された基準アタッチメントの寸法形状に関する数値データとに基づいて、交換用アタッチメントの寸法形状に関する数値データを演算する技術を開示する。

具体的には、特許文献２では、バケットの交換前後で、先端を地面に接触させて上面を鉛直方向に一致させる姿勢にバケットの姿勢が設定され、ブーム及びアームの角度が測定され、測定された角度を所定の演算式に代入し、アタッチメント長さが求められている。

特開２０１３−１１８６７７号公報 特開平７−２６８９０２号公報

しかし、特許文献１は、サービスマンによる識別情報の手入力を前提とするので、入力ミスや入力忘れなどのヒューマンエラーが発生するという問題がある。

特許文献２は、オペレータの操作により、基準アタッチメント及び交換用アタッチメントの両アタッチメントが測定用姿勢に設定されているので、計測に時間がかかるという問題がある。また、特許文献２は、交換前のアタッチメントである基準アタッチメントを計測する必要があるので、アタッチメントの交換時に計測作業を怠った場合、交換用アタッチメントを認識できなくなるという問題がある。

本発明は、アタッチメントの認識においてアタッチメントの識別情報を入力しなくても、短時間でアタッチメントの認識を行うことができるアタッチメント認識装置を提供することを目的とする。

本発明の一態様によるアタッチメント認識装置は、複数種類のアタッチメントが交換可能に装着されるアタッチメント装着部を含む作業装置を備える建設機械において、前記アタッチメント装着部に装着されたアタッチメントを認識するアタッチメント認識装置であって、
前記作業装置の姿勢を検出する姿勢検出部と、
前記装着されたアタッチメントを含む周囲物体の距離分布を計測する距離センサと、
前記姿勢検出部により検出された姿勢を用いて、前記距離センサにより計測された距離分布から、前記装着されたアタッチメントの距離分布を示す領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域から前記装着されたアタッチメントの特徴量を抽出する特徴量抽出部と、
１種類以上の参照アタッチメントの特徴量を予め記憶するデータベースと、
前記特徴量抽出部により抽出された特徴量と、前記参照アタッチメントの特徴量との類似度を算出し、前記類似度が基準類似度以上の参照アタッチメントであって、前記類似度が最大の参照アタッチメントを前記装着されたアタッチメントと同種のアタッチメントとして認識するアタッチメント認識部とを備え、
前記アタッチメント認識部は、前記類似度が最大の前記参照アタッチメントを特定するための変数と、現在メモリに保存されている変数とが等しいか否かを判定し、等しいと判定した場合、前記装着されたアタッチメントは変更されていないことを示すメッセージを出力する。

本態様によれば、距離センサにより計測されたアタッチメントを含む周囲物体の距離分布から、アタッチメントの姿勢を用いて、アタッチメントの距離分布を示す領域が抽出される。そして、抽出されたアタッチメントの特徴量とデータベースに予め記憶された参照アタッチメントの特徴量とが照合され、装着されたアタッチメントが認識される。

そのため、本態様は、人手によりアタッチメントの識別情報が入力されなくても、アタッチメントを認識できる。また、交換前のアタッチメントを計測しなくてもアタッチメントを認識することができるので、計測作業を短時間で終了させることができる。また、交換後の任意のタイミングで計測作業を行うこともできる。また、データベースに多様な参照アタッチメントの特徴量を記憶させることで、多様なアタッチメントを認識できる。

上記態様において、モード設定指令の入力に基づいて、前記装着されたアタッチメントを認識する認識モードに前記建設機械の動作モードを設定するモード設定部と、
前記モード設定部により前記認識モードが設定された場合、前記装着されたアタッチメントを予め定められた特定の姿勢にさせる姿勢制御部とを更に備え、
前記距離センサは、前記姿勢制御部により前記装着されたアタッチメントの姿勢が前記特定の姿勢にされたときの距離分布を計測してもよい。

本態様によれば、姿勢制御部によりアタッチメントの姿勢が特定の姿勢にされたときの距離分布が計測され、計測された距離分布に基づいてアタッチメントが認識されているので、建設機械の操作中に発生するアタッチメントの情報変化（例えば、バケットに土砂が入っている、ニブラで物を掴んでいるなど）によるアタッチメントの認識ミスを防止できる。

上記態様において、前記データベースは、前記参照アタッチメントの姿勢を前記特定の姿勢にしたときの前記参照アタッチメントの前記距離分布を前記特徴量として記憶してもよい。

本態様によれば、データベースには、特定の姿勢にされたときの参照アタッチメントの距離分布が参照アタッチメントの特徴量として予め記憶されているので、認識対象のアタッチメントの特徴量をそのまま用いてデータベースの特徴量との照合を行うことができる。

上記態様において、前記建設機械は、本体部を備え、
前記作業装置は、前記本体部に対して揺動可能に接続され、先端に前記アタッチメント装着部が設けられた可動部を備え、
前記アタッチメントは、前記アタッチメント装着部に対して揺動可能に接続され、
前記参照アタッチメントの特徴量は、前記参照アタッチメントの姿勢を規定する姿勢面に対する参照アタッチメントの表面の高さにより規定され、
前記距離分布は距離画像データであり、
前記領域抽出部は、前記距離センサが計測した前記距離画像データから前記装着されたアタッチメントの前記本体部側の表面を示す画素データ群を抽出し、
前記特徴量抽出部は、
前記距離センサの３次元座標系において、前記装着されたアタッチメントの姿勢を規定する姿勢面の、鉛直方向に対する左右方向視からの角度θを算出し、
前記３次元座標系において、前記領域抽出部により抽出された画素データ群を、前記アタッチメント装着部を中心とする回転行列演算によって角度（−θ）回転させ、
前記回転された画素データ群の運転室の前面からの深度と、アタッチメント装着部の前記深度との差を、前記特徴量として算出してもよい。

本態様では、参照アタッチメントの特徴量は、参照アタッチメントの姿勢を規定する姿勢面に対する参照アタッチメントの表面の高さにより規定されている。そのため、アタッチメントの特徴量として、姿勢面に対するアタッチメントの表面の高さを採用する必要がある。

本態様によれば、アタッチメントの姿勢面が鉛直方向に向くように、アタッチメント装着部を中心にアタッチメントの距離分布が回転されているので、回転後のアタッチメントの距離分布とアタッチメント装着部の距離との差は、姿勢面に対するアタッチメントの表面の高さを表すことになる。したがって、本態様では、簡便な処理により、参照アタッチメントの特徴量との比較に適したアタッチメントの特徴量を算出できる。

上記態様において、前記アタッチメント認識部は、前記類似度が前記基準類似度以上の参照アタッチメントが存在せず、前記装着されたアタッチメントを認識できなかった場合、前記装着されたアタッチメントの特徴量を前記データベースに追加してもよい。

本態様によれば、認識対象のアタッチメントの特徴量がデータベースに記憶されていなければ、そのアタッチメントの特徴量がデータベースに追加されるので、そのアタッチメントが認識されないままの状態になることを防止できる。また、ユーザ側で想定外のアタッチメントが装着された場合であっても、そのアタッチメントが認識されるようにデータベースを構築できる。

上記態様において、前記アタッチメント認識部による前記装着されたアタッチメントの認識結果を報知する報知部を更に備えてもよい。

本態様によれば、アタッチメントの認識結果が報知されるので、オペレータにアタッチメントが交換されたことを認識させることができる。

本発明によれば、人手によりアタッチメントの識別情報を入力しなくても、アタッチメントを認識できる。また、交換前のアタッチメントを計測する必要がないので、計測作業を短時間で終了させることができる。

本発明の実施の形態におけるアタッチメント認識装置が適用された建設機械の外観図である。 図１に示す建設機械のシステム構成の一例を示すブロック図である。 データベースが記憶する参照アタッチメントの特徴量を概念的に示した図である。 作業装置を簡略化して示した図である。 特徴量の抽出処理の説明図である。 特徴量の抽出処理の説明図である。 本発明の実施の形態１におけるアタッチメント認識装置の処理を示すフローチャートである。 本発明の実施の形態２におけるアタッチメント認識装置のシステム構成を示すブロック図である。 本発明の実施の形態２におけるアタッチメント認識装置の処理を示すフローチャートである。

（実施の形態１）
図１は、本発明の実施の形態におけるアタッチメント認識装置が適用された建設機械１の外観図である。ここでは、建設機械１としてハイブリッドショベルを例に挙げるが、これ以外の油圧ショベル、クレーン等の建設機械にアタッチメント認識装置は適用されてもよい。以下、運転室３１の前側の方向を前方と記述し、運転室３１の後側の方向を後方と記述し、運転室３１の上側の方向を上方と記述し、運転室３１の下側の方向を下方と記述する。また、前方と後方とを総称して前後方向と記述し、上方と下方とを総称して上下方向と記述する。また、運転室３１から前方を見て左側の方向を左方と記述し、右方向を右方と記述する。また、左方と右方とを総称して左右方向と記述する。

建設機械１は、クローラ式の下部走行体２と、下部走行体２上に旋回可能に設けられた上部旋回体３（本体部の一例）と、上部旋回体３に取り付けられ、姿勢が変更可能な作業装置４とを備えている。

作業装置４は、上部旋回体３に対し、運転室３１の例えば右方に隣接して起伏可能に取り付けられたブーム１５（可動部の一例）と、ブーム１５の先端部に対して揺動可能に取り付けられたアーム１６（可動部の一例）と、アーム１６の先端に設けられたアタッチメント装着部ｒに対して揺動可能に装着されたアタッチメント１７とを備えている。アタッチメント１７はアタッチメント装着部ｒにおいて交換可能に装着されている。アタッチメント１７としては、バケット、ニブラ、ブレーカーなどが採用できる。

上部旋回体３は、箱体で構成され、オペレータが搭乗する運転室３１を備える。運転室３１において、前方側の面を前面３１ａと記述する。

前面３１ａの所定の位置（ここでは、上端）には距離センサ１１０が設けられている。距離センサ１１０は、少なくとも前面３１ａの全域をカバーできるように計測範囲Ｄ１００が設定されている。図１の例では、計測範囲Ｄ１００の画角はほぼ９０度に設定されているが、これは一例である。

これにより、前面３１ａにおいて距離センサ１１０の死角が発生せず、アタッチメント１７の先端やアタッチメント１７が把持する障害物等の干渉対象物が前面３１ａから所定距離範囲内に侵入したときに、建設機械１は、オペレータに警告を発報したり、干渉対象物の前面３１ａへの干渉が防止されるように作業装置４を制御する干渉防止制御を行ったりすることが可能となる。

建設機械１は、更に、角度センサ１０１，１０２，１０３を備える。角度センサ１０１は、ブーム１５の回転支点に設けられ、ブーム１５の回転角度を計測する。角度センサ１０２は、アーム１６の回転支点に設けられ、アーム１６の回転角度を計測する。角度センサ１０３は、アタッチメント１７の回転支点に設けられ、アタッチメント１７の回転角度を計測する。

上部旋回体３には、距離センサ１１０と電気的に接続され、建設機械１の全体を制御するコントローラ１２０が設けられている。コントローラ１２０には、メモリ１３０Ｍが電気的に接続されている。メモリ１３０Ｍは、不揮発性の記憶装置で構成され、図２に示すデータベース１３０を記憶する。

図２は、図１に示す建設機械１のシステム構成の一例を示すブロック図である。建設機械１は、エンジン２１０と、エンジン２１０の出力軸に連結された油圧ポンプ２５０及び発電電動機２２０と、油圧ポンプ２５０及び油圧シリンダ２７０間に設けられたコントロールバルブ２６０と、発電電動機２２０により発電された電力が充電可能な蓄電装置２４０と、蓄電装置２４０と発電電動機２２０との電力の変換を行うインバータ２３０とを備えている。

油圧ポンプ２５０は、エンジン２１０の動力により作動して、作動油を吐出する。油圧ポンプ２５０から吐出された作動油は、コントロールバルブ２６０によって流量制御された状態で、油圧シリンダ２７０に導かれる。なお、油圧シリンダ２７０から排出された作動油はコントロールバルブ２６０によって図略のタンクに戻される。

コントロールバルブ２６０は、コントローラ１２０の制御の下、操作部１５０の操作量に応じた開度に弁の開度を設定する。

油圧シリンダ２７０は、作動油の供給を受けて伸縮することにより、上部旋回体３に対してブーム１５を起伏させるブームシリンダと、作動油の供給を受けて伸縮することにより、ブーム１５に対してアーム１６を揺動させるアームシリンダと、作動油の供給を受けて伸縮することにより、アーム１６に対してアタッチメント１７揺動させるバケットシリンダとを含む。

発電電動機２２０は、エンジン２１０の動力を電力に変換する発電機としての機能と、蓄電装置２４０が蓄える電力を動力に変換する電動機としての機能とを備えている。図２の例では、発電電動機２２０は例えば三相モータで構成されているが、これは一例であり、単相モータで構成されていてもよい。

蓄電装置２４０は、例えば、リチウムイオンバッテリ、ニッケル水素バッテリ、電気二重層キャパシタ、及び鉛バッテリといった種々の二次電池で構成される。

インバータ２３０は、コントローラ１２０の制御の下、発電電動機２２０の発電機としての作動と、発電電動機２２０の電動機としての作動との切り換えを制御する。また、インバータ２３０は、コントローラ１２０の制御の下、発電電動機２２０に対する電流及び発電電動機２２０のトルクを制御する。図２の例では、インバータ２３０は例えば、３相インバータで構成されているが、これは一例であり単相インバータで構成されていてもよい。

更に、建設機械１は、姿勢検出部１００と、図１に示した距離センサ１１０及びコントローラ１２０と、データベース１３０と、オペレータに種々の情報を報知する報知部１４０と、オペレータの操作を受け付ける操作部１５０とを備えている。

姿勢検出部１００は、図１で説明した角度センサ１０１，１０２，１０３を備え、作業装置４の姿勢を検出する。ここでは、ブーム１５の回転角度、アーム１６の回転角度、及びアタッチメント１７の回転角度によって作業装置４の姿勢が特定される。

距離センサ１１０は、アタッチメント１７を含む運転室３１の周囲物体の距離分布を計測する。ここで、距離センサ１１０は、例えば、一定の時間毎（例えば３０ｆｐｓ）で赤外線を照射し、赤外線を照射してから反射光を受信するまでの時間を画素単位で計測する深度センサで構成され、運転室３１の周辺環境の距離分布を示す距離画像データを取得する。

赤外線を照射する深度センサは、距離計測手段として近年実用化例が増えてきており、ゲームなどでゼスチャ入力を行うための入力インターフェースとして活用されている。また、建設機械１は夜間に使用されることもあるので、赤外線を用いた深度センサは建設機械１にとって有用である。なお、赤外線を照射する深度センサにおいては、上記のように赤外線を照射してから反射光を受信するまでの時間を計測する方式はＴｏＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式として知られている。その他、深度センサとしては、特定パターンを照射した際の反射光の受光パターンから距離を計測するパターン照射方式が知られており、このパターン照射方式の深度センサが採用されてもよい。建設機械１は屋外で作業することが多いため、太陽光との干渉に強いレーザー走査ＴｏＦ方式の深度センサが採用されてもよい。

ここでは、距離センサ１１０として深度センサを用いたが、本発明はこれに限定されず、深度センサに比べて比較的安価なステレオカメラで距離センサ１１０は構成されてもよい。

コントローラ１２０は、例えば、マイクロコントローラ等のプロセッサ及びプログラム等を記憶する記憶装置で構成されている。そして、コントローラ１２０は、領域抽出部１２１、特徴量抽出部１２２、アタッチメント認識部１２３、及び姿勢制御部１２４を備えている。領域抽出部１２１〜姿勢制御部１２４は、専用のハードウェア回路で構成されてもよいし、ＣＰＵがプログラムを実行することで実現されてもよい。

領域抽出部１２１は、姿勢検出部１００により検出された姿勢を用いて、距離画像データから、アタッチメント１７の距離分布を示す領域を抽出する。

図４は、作業装置４を簡略化して示した図である。図４において、ブーム１５及びアーム１６は説明を簡略化するために直線で示されている。図４に示すように、作業装置４の位置及び姿勢は、建設機械１の３次元座標系で示される。図４の例では、建設機械１の３次元座標系は、上下方向を示すＹ軸、前後方向を示すＸ軸、左右方向を示すＺ軸によって規定される。Ｙ軸の原点は、例えば、ブーム１５の基端に設定され、Ｘ軸の原点は、例えば、前面３１ａに設定され、Ｚ軸の原点は、例えば、前面３１ａの左右方向の中心に設定されている。

ブーム１５及びアーム１６の長さＬ１，Ｌ２は既知である。よって、ブーム１５の回転角度θ１と、アーム１６のブーム１５に対する回転角度θ２とが分かれば、アーム１６の先端に設けられたアタッチメント装着部ｒのＸ座標及びＹ座標の値を特定できる。また、作業装置４がＹ−Ｘ平面と平行な面内で姿勢が変化するとすれば、ブーム１５の基端の左右方向の位置が既知であるため、アタッチメント装着部ｒのＺ座標の値も特定できる。

そして、アタッチメント装着部ｒのＸ，Ｙ，Ｚ座標の値が分かれば、距離センサ１１０の画角、取り付け位置、及び光軸の角度から、距離センサ１１０で計測される距離画像データのどの座標がアタッチメント装着部ｒに対応するかを決定できる。

一方、距離画像データ内において、アタッチメント１７は深度が連続的に分布する一群の画素データによって表される。そのため、距離画像データ内でのアタッチメント装着部ｒの座標が分かれば、その座標を基点として一群の画素データを抽出することで、距離画像データからアタッチメント１７を示す距離分布を示す領域を抽出できる。

そこで、領域抽出部１２１は、回転角度θ１，θ２から建設機械１の３次元座標系でのアタッチメント装着部ｒの位置を求め、求めた位置を距離センサ１１０の３次元座標系に座標変換することで、距離画像データでのアタッチメント装着部ｒの座標を求める。そして、領域抽出部１２１は、アタッチメント装着部ｒを基点に深度が連続的に分布する一群の画素データを抽出することでアタッチメント１７の領域をを抽出する。

特徴量抽出部１２２は、領域抽出部１２１により抽出されたアタッチメント１７の距離分布を示す領域からアタッチメント１７の特徴量を抽出する。

図５及び図６は、特徴量の抽出処理の説明図である。図５は、アタッチメント１７の姿勢を規定する姿勢面Ａ５１が鉛直面Ａ５２と平行に位置決めされた状態を示し、図６は、姿勢面Ａ５１が鉛直面Ａ５２に対して角度θで位置決めされた状態を示している。図５、図６において上下方向をＹ方向と記述し、前後方向をＸ方向と記述し、左右方向をＺ方向と記述する。

姿勢面Ａ５１は、アタッチメント１７の長手方向を通る平面であり、Ｘ−Ｙ平面と直交する平面である。なお、図６に示す姿勢面Ａ５１の鉛直面Ａ５２に対する角度θは回転角度θ１〜θ３から算出できる。鉛直面Ａ５２は、アタッチメント装着部ｒを通り、Ｘ方向と直交する平面である。アタッチメント装着部ｒは、深度がＸｂであり、Ｙ方向の値（高度）がＹｂである。

アタッチメント１７の特徴量は、アタッチメント１７の、運転室３１側の表面１７１の形状によって規定される。表面１７１の形状は、姿勢面Ａ５１を基準としたときの、表面１７１の高さで規定される。図５では、表面１７１においてＹ方向と平行なある１列の画素データ群は、（Ｘ１，Ｘ２，・・・，Ｘｎ）の深度を持っている。図５では、姿勢面Ａ５１が鉛直面Ａ５２と一致しているので、この１列の画素データ群の姿勢面Ａ５１からの高さは、（Ｘ１−Ｘｂ，Ｘ２−Ｘｂ，・・・，Ｘｎ−Ｘｂ）で表される。また、表面１７１において、Ｙ方向と平行な他の列の画素データ群の姿勢面Ａ５１の高さも、（Ｘ１−Ｘｂ，Ｘ２−Ｘｂ，・・・，Ｘｎ−Ｘｂ）で表される。

一方、図６では、表面１７１においてＹ方向と平行なある１列の画素データ群は、（Ｘ１’，Ｘ２’，・・・，Ｘｎ’）の深度を持っている。しかし、図６では、姿勢面Ａ５１が鉛直面Ａ５２に対して、反時計回りに角度θで位置決めされているので、（Ｘ１’−Ｘｂ，Ｘ２’−Ｘｂ，・・・，Ｘｎ’−Ｘｂ）は姿勢面Ａ５１からの高さを表していない。

この場合、アタッチメント装着部ｒを中心に、（Ｘ１’，Ｘ２’，・・・，Ｘｎ’）の深度を持つ画素データ群を時計回りに角度θ回転させて、（Ｘ１’＿θ，Ｘ２’＿θ，・・・，Ｘｎ’＿θ）を求める。すると、姿勢面Ａ５１が鉛直面Ａ５２と一致するので、（Ｘ１’＿θ−Ｘｂ，Ｘ２’＿θ−Ｘｂ，・・・，Ｘｎ’＿θ−Ｘｂ）は、姿勢面Ａ５１を基準としたときの表面１７１の高さを示すことになる。

そこで、特徴量抽出部１２２は、まず、回転角度θ１〜θ３を用いて角度θを算出する。次に、領域抽出部１２１により抽出されたアタッチメント１７の表面１７１を示す、Ｙ方向と平行な全列の画素データ群を、Ｘ−Ｙ平面において、アタッチメント装着部ｒを中心とする回転行列演算により、角度（−θ）回転させる。そして、特徴量抽出部１２２は、角度（−θ）回転された画素データ群（Ｘ１＿θ，Ｘ２＿θ，・・・，Ｘｎ＿θ）に対して、（Ｘ１＿θ−Ｘｂ，Ｘ２＿θ−Ｘｂ，・・・，Ｘｎ＿θ−Ｘｂ）の演算を行うことで、アタッチメント１７の特徴量（Ｘ１’’（＝Ｘ１＿θ−Ｘｂ），Ｘ２’’（＝Ｘ２＿θ−Ｘｂ），・・・，Ｘｎ’’（＝Ｘｎ＿θ−Ｘｂ））を算出する。

これにより、特徴量（Ｘ１’’，Ｘ２’’，・・・，Ｘｎ’’）は、姿勢面Ａ５１からのアタッチメント１７の高さを示すことになる。データベース１３０は、姿勢面Ａ５１に対する参照アタッチメントの表面１７１の高さを、参照アタッチメントの特徴量として記憶する。そのため、アタッチメント１７の特徴量（Ｘ１’’，Ｘ２’’，・・・，Ｘｎ’’）は、データベース１３０に記憶された参照アタッチメントの特徴量と照合することが可能となる。ここで、特徴量抽出部１２２は、Ｙ方向と平行な全列の画素データ群を回転させたが、参照アタッチメントの特徴量がＹ方向と平行な１列分のデータで構成されているのであれば、Ｙ方向と平行なある１列の画素データ群のみを回転させてもよい。

図２に参照を戻す。アタッチメント認識部１２３は、特徴量抽出部１２２により抽出された特徴量と、データベース１３０に記憶された１以上の参照アタッチメントの特徴量とを照合し、アタッチメント１７を認識する。具体的には、アタッチメント認識部１２３は、アタッチメント１７の特徴量（Ｘ１’’，Ｘ２’’，・・・，Ｘｎ’’）と、データベース１３０に記憶された各参照アタッチメントの特徴量との類似度を算出し、類似度が基準類似度以上の参照アタッチメントであって、類似度が最大の参照アタッチメントをアタッチメント１７と同種のアタッチメントとして認識する。

ここで、特徴量は、姿勢面Ａ５１を基準としたときの表面１７１の高さ分布を示す３次元データで表される。そのため、アタッチメント認識部１２３は、３次元の点群同士の類似度が算出可能な、ジャッカード係数或いはダイス係数を用いて類似度を算出すればよい。

姿勢制御部１２４は、操作部１５０から出力された操作量に応じた姿勢を採るように作業装置４の姿勢を制御する。また、姿勢制御部１２４は、例えば、姿勢検出部１００が検出した作業装置４の姿勢及び距離センサ１１０が計測した距離画像データを用いて干渉対象物の運転室３１からの距離を検出し、その距離が基準距離以下になると、干渉対象物が運転室３１に干渉しないように作業装置４を制御する干渉防止制御を行う。また、姿勢制御部１２４は、運転室３１から干渉対象物までの距離が基準距離以下になると、報知部１４０を用いて干渉の危険性をオペレータに報知させる。

データベース１３０は、１以上の参照アタッチメントの特徴量を予め記憶している。図３は、データベース１３０が記憶する参照アタッチメントの特徴量を概念的に示した図である。図３に示すようにデータベース１３０は、バケットや、ブレーカーや、ニブラ等の種々のアタッチメントの特徴量を記憶している。ここで、参照アタッチメントの特徴量は、例えば、姿勢面Ａ５１に対する表面１７１の高さ（Ｈ１，Ｈ２，・・・，Ｈｎ）が採用される。

なお、上記説明では、特徴量抽出部１２２は、画素データ群（Ｘ１，Ｘ２，・・・，Ｘｎ）を角度（−θ）回転させて、アタッチメント１７の特徴量を算出する例を示したが、本発明はこれに限定されない。例えば、特徴量抽出部１２２は、画素データ群（Ｘ１−Ｘｂ，Ｘ２−Ｘｂ，・・・，Ｘｎ−Ｘｂ）を、アタッチメント１７の特徴量として抽出してもよい。この場合、アタッチメント認識部１２３は、参照アタッチメントを角度θ回転させ、回転後の参照アタッチメントの特徴量を、アタッチメント１７の特徴量と照合させてもよい。

具体的には、アタッチメント認識部１２３は、図３に示すように、参照アタッチメントを、基点Ｐ１７を回転中心として鉛直面Ａ５２に対して角度θ回転させ、参照アタッチメントの姿勢をアタッチメント１７と同じ姿勢にする。そして、アタッチメント認識部１２３は、鉛直面Ａ５２からの、回転後の表面１７１の各位置の高さを求め、アタッチメント１７の特徴量と照合すればよい。なお、基点Ｐ１７はアタッチメント装着部ｒへの装着位置を示す。

報知部１４０は、運転室３１の内部に設けられたブザー、表示パネル、及び警告ランプを備え、姿勢制御部１２４の制御の下、オペレータに警告を行う。

操作部１５０は、作業装置４の姿勢を変更するためのオペレータによる操作を受け付ける操作レバーと、建設機械１の動作モードを設定するためのオペレータによるモード設定指令の入力を受け付けるモード設定ボタンとを備える。なお、建設機械１がタッチパネル式のディスプレイを備えているのであれば、モード設定ボタンはタッチパネルディスプレイで構成されていてもよい。操作レバーは、操作量を示す信号をコントローラ１２０に出力する。

図７は、本発明の実施の形態１におけるアタッチメント認識装置の処理を示すフローチャートである。このフローチャートは、例えば、建設機械１のエンジン２１０が始動したときに実行される。まず、姿勢検出部１００は、作業装置４の姿勢を検出する。次に、領域抽出部１２１は、検出された姿勢から、作業装置４の姿勢が測距可能範囲に入っているか否かを判定する（Ｓ７０２）。ここで、領域抽出部１２１は、計測範囲Ｄ１００に少なくともアタッチメント１７の全体が侵入している場合に作業装置４の姿勢が測距可能範囲に入っていると判定すればよい。例えば、領域抽出部１２１は、図４で説明した手法を用いてアーム１６のアタッチメント装着部ｒの位置を求め、アタッチメント装着部ｒを中心に、想定されるアタッチメント１７の最大半径を持つ円を設定し、設定した円が計測範囲Ｄ１００内に入っていれば、作業装置４の姿勢が測距可能範囲に入っていると判定すればよい。このように、領域抽出部１２１は、作業装置４の姿勢が測距可能範囲に入るまで、作業装置４の姿勢を監視することで、アタッチメント１７が含まれていない距離画像データが計測されることを防止している。

作業装置４の姿勢が測距可能範囲に入っていれば（Ｓ７０２でＹＥＳ）、距離センサ１１０は、運転室３１の周囲物体の距離分布を示す距離画像データを取得する（Ｓ７０３）。一方、作業装置４の姿勢が測距可能範囲に入っていなければ（Ｓ７０２でＮＯ）、処理はＳ７０１に戻る。

Ｓ７０４では、領域抽出部１２１は、Ｓ７０１で検出された姿勢（回転角度θ１〜θ３）を用いて、距離画像データでのアタッチメント装着部ｒの座標を求め、その座標から深度が連続する一群の画素データをアタッチメント１７の距離分布を示す領域として抽出する。

次に、特徴量抽出部１２２は、Ｓ７０１で検出された姿勢（回転角度θ１〜θ３）を用いて、姿勢面Ａ５１の角度θを算出する（Ｓ７０５）。

次に、特徴量抽出部１２２は、Ｓ７０４で抽出された領域を構成する画素データ群を、Ｘ−Ｙ平面視において、角度（−θ）回転させ、（Ｘ１＿θ−Ｘｂ，Ｘ２＿θ−Ｘｂ，・・・，Ｘｎ＿θ−Ｘｂ）の演算により、アタッチメント１７の特徴量を抽出する（Ｓ７０６）。また、Ｓ７０６では、特徴量抽出部１２２は、抽出した特徴量を平均化する。例えば、特徴量抽出部１２２は、Ｓ７０１からＳ７０７までのループにおいて、前回までのループで算出された特徴量の平均値に今回のループで算出された特徴量を加えて平均化することで、特徴量を求める。これにより、ノイズや計測ばらつきの影響が抑制された特徴量が得られる。

Ｓ７０７において、特徴量の抽出回数が所定回数に到達しなければ（Ｓ７０７でＮＯ）、処理がＳ７０１に戻される。一方、特徴量の抽出回数が所定回数に到達していれば（Ｓ７０７でＹＥＳ）、処理はＳ７０８に進む。

次に、アタッチメント認識部１２３は、注目する１つの参照アタッチメントを特定するための変数ｎを初期値（例えば「０」）に設定し、類似度が最大の参照アタッチメントを特定するための変数ｉｎｄを初期値に設定し、最大類似度Ｓｍａｘを最小値（例えば「−１」）に設定する（Ｓ７０８）。

次に、アタッチメント認識部１２３は、参照アタッチメントの特徴量Ｃ（ｎ）をデータベース１３０から読み出す（Ｓ７０９）。

次に、アタッチメント認識部１２３は、特徴量Ｃ（ｎ）と、Ｓ７０６で算出された平均化された特徴量、すなわち、アタッチメント１７の特徴量との類似度Ｓ（ｎ）を算出する（Ｓ７１０）。

次に、アタッチメント認識部１２３は、類似度Ｓ（ｎ）が最大類似度Ｓｍａｘより大きければ（Ｓ７１１でＹＥＳ）、最大類似度Ｓｍａｘを類似度Ｓ（ｎ）に設定すると共に、変数ｉｎｄをｎに設定する（Ｓ７１２）。一方、類似度Ｓ（ｎ）が最大類似度Ｓｍａｘより大きくなければ（Ｓ７１１でＮＯ）、処理は、Ｓ７１３に進む。これにより、最大類似度Ｓｍａｘには、現時点までに読み出された参照アタッチメントのうち、アタッチメント１７に対して最も類似する参照アタッチメントの類似度Ｓ（ｎ）が格納される。また、変数ｉｎｄには、現時点までに読み出された参照アタッチメントのうち、アタッチメント１７に対して最も類似する参照アタッチメントを特定するための変数ｎが格納される。

次に、データベース１３０から、全ての参照アタッチメントの特徴量Ｃ（ｎ）の読み出しが終了していなければ（Ｓ７１３でＮＯ）、アタッチメント認識部１２３は、変数ｎを１インクリメントする（Ｓ７１４）これにより、次の参照アタッチメントの特徴量Ｃ（ｎ＋１）がデータベース１３０から読み出され、その特徴量Ｃ（ｎ＋１）とアタッチメント１７の特徴量との類似度Ｓ（ｎ＋１）が算出される。一方、データベース１３０から全ての参照アタッチメントの特徴量Ｃ（ｎ）の読み出しが終了していれば（Ｓ７１３でＹＥＳ）、処理はＳ７１５に進む。すなわち、Ｓ７０９〜Ｓ７１３の処理が繰り返されることで、全ての参照アタッチメントのうち、アタッチメント１７の候補となる参照アタッチメントが決定される。

Ｓ７１５では、アタッチメント認識部１２３は、最大類似度Ｓｍａｘが基準類似度より大きいか否かを判定する。最大類似度Ｓｍａｘが基準類似度よりも大きければ（Ｓ７１５でＹＥＳ）、アタッチメント認識部１２３は、候補となる参照アタッチメントはアタッチメント１７に該当すると判定し、変数ｉｎｄが、現在、メモリ１３０Ｍに保存されている変数ｉｎｄ’と等しいか否かを判定する（Ｓ７１６）。

変数ｉｎｄが、変数ｉｎｄ’と等しければ（Ｓ７１６でＹＥＳ）、アタッチメント認識部１２３は、アタッチメント１７は変更されていないと判定し、その旨を報知部１４０に報知させる（Ｓ７１８）。この場合、報知部１４０は、「アタッチメントは変更されていません。」といったメッセージを音声や画像を用いて出力すればよい。

一方、変数ｉｎｄが変数ｉｎｄ’と等しくなければ（Ｓ７１６でＮＯ）、アタッチメント認識部１２３は、アタッチメント１７は変更されたと判定し、変数ｉｎｄ’を変数ｉｎｄで更新し、アタッチメント１７が変更された旨を報知部１４０に報知させる（Ｓ７１７）。この場合、報知部１４０は、「アタッチメントは変更されました。」といったメッセージを音声や画像を用いて出力すればよい。以後、更新された変数ｉｎｄ’が示すが参照アタッチメントが作業装置４に取り付けられたアタッチメント１７と認識され、干渉防止制御等が行われる。

Ｓ７１５にて、最大類似度Ｓｍａｘが基準類似度よりも大きくなければ（Ｓ７１５でＮＯ）、アタッチメント認識部１２３は、アタッチメント１７を認識不可と判定する（Ｓ７１９）。これにより、アタッチメント１７と同種のアタッチメントがデータベース１３０に格納されていないにも拘わらず、アタッチメント１７がいずれかの参照アタッチメントに該当すると判定されることを防止できる。

次に、アタッチメント認識部１２３は、アタッチメント１７の特徴量をデータベース１３０に追加する（Ｓ７２０）。これにより、新規のアタッチメントがデータベースに登録される。これにより、新規のアタッチメントが認識されない事態を防止できる。

このように、実施の形態１によるアタッチメント認識装置によれば、人手によるアタッチメントの識別情報を入力しなくても、バケット以外の多種多様なアタッチメント（例えば、ニブラやブレーカー）などの認識を短時間に行うことができる。

（実施の形態２）
実施の形態２は、アタッチメント１７を認識するための認識モードに建設機械１の動作モードを設定することを特徴とする。なお、本実施の形態において、実施の形態１と同一構成は計測用姿勢同一の符号を付して説明を省く。

図８は、本発明の実施の形態２におけるアタッチメント認識装置のシステム構成を示すブロック図である。図８において、図２との相違点は、モード設定部１２５が追加された点にある。

モード設定部１２５は、アタッチメント１７を認識するための認識モードに建設機械１の動作モードを設定する。ここで、モード設定部１２５は、操作部１５０が備えるモード設定ボタンがオペレータにより押されたときに、建設機械１の動作モードを認識モードに設定すればよい。

本実施の形態において、姿勢制御部１２４は、モード設定部１２５により認識モードが設定されると、作業装置４の姿勢が所定の計測用姿勢（特定の姿勢の一例）になるように、コントロールバルブ２６０を制御する。ここで、計測用姿勢としては、アタッチメント１７の姿勢面Ａ５１が鉛直面Ａ５２と平行になる姿勢が採用できる。これは、図３に示すように参照アタッチメントの特徴量が、姿勢面Ａ５１を基準とする参照アタッチメントの表面１７１の高さによって規定されているからである。

但し、これは一例であり、姿勢面Ａ５１が鉛直面Ａ５２に対して一定の角度θを持つ姿勢が計測用姿勢として採用されてもよい。例えば、データベース１３０が姿勢面Ａ５１を鉛直面Ａ５２に対して角度θに位置決めしたときの、鉛直面Ａ５２から参照アタッチメントの表面１７１の高さを、参照アタッチメントの特徴量として記憶していたとする。この場合、計測用姿勢は、鉛直面Ａ５２に対して姿勢面Ａ５１が、角度θ傾斜した姿勢とすればよい。

図９は、本発明の実施の形態２におけるアタッチメント認識装置の処理を示すフローチャートである。なお、図９において、図７と同じ処理には同一の符号が付されている。

このフローチャートは、認識モードに設定されたときに開始される。

まず、姿勢制御部１２４は、作業装置４の姿勢が計測用姿勢になるようにコントロールバルブ２６０を制御する（Ｓ１１０１）。ここでは、姿勢面Ａ５１が鉛直面Ａ５２と一致する姿勢を採るように予め定められた回転角度θ１〜θ３に作業装置４の姿勢が制御される。これにより、作業装置４は計測用姿勢を採るように自動制御される。この自動制御においては、安全性を鑑みて、姿勢制御部１２４は、作業装置４が人体や周辺物と接触しても問題がないような低速度で作業装置４の姿勢を計測用姿勢にすればよい。また、姿勢制御部１２４は、作業装置４が人体や周辺物と接触した場合、人体や周辺物から離れる方向に作業装置４を移動させる反力制御を実施してもよい。

ここでは、自動制御するものとしたが、姿勢制御部１２４は、オペレータに操作部１５０を操作させることで作業装置４の姿勢を計測用姿勢にしてもよい。この場合、姿勢制御部１２４は、作業装置４の姿勢を計測用姿勢にするためのガイダンスを報知部１４０を用いて報知し、作業装置４の姿勢が計測用姿勢になった場合、その旨を報知部１４０を用いて報知すればよい。

そして、作業装置４の姿勢が計測用姿勢になると、Ｓ７０３以降の処理が実行され、実施の形態１と同一の処理が行われる。

例えば、土砂が入ったバケットや、ニブラが物体を把持している状態でアタッチメント１７を認識する処理を行うと、アタッチメント１７の情報が変化するので、アタッチメント１７の特徴量を正確に抽出できず、アタッチメント１７の認識精度が低下するおそれがある。

実施の形態２によれば、作業装置４の姿勢が計測用姿勢にされて、アタッチメント１７を認識する処理が実行される。そのため、アタッチメント１７そのものの特徴量を抽出することが可能となり、アタッチメント１７の認識精度の低下を防止できる。

（変形例１）
上記実施の形態では、データベース１３０は建設機械１のメモリ１３０Ｍに設けられていたが、本発明はこれに限定されず、データベース１３０はクラウドサーバに設けられていてもよい。この場合、建設機械１は、クラウドサーバと通信するための通信装置を備えればよい。また、建設機械１に設けられたローカルのデータベース１３０を用いてアタッチメント１７を認識できなかった場合に、クラウドサーバのデータベース１３０を用いてアタッチメント１７の認識を行ってもよい。また、クラウドサーバにアタッチメント１７を認識する処理を依頼してもよい。この場合、アタッチメント認識部１２３及びデータベース１３０はクラウドサーバに設ければよい。この場合、建設機械１は、アタッチメント１７の特徴量を抽出するまでの処理を行い、抽出結果をクラウドサーバに送信して、アタッチメント１７の認識処理依頼をクラウドサーバに行えばよい。これにより、より多様なアタッチメント１７を認識することができる。

但し、このように参照アタッチメントの種類を充実させたとしても、例えば、ユーザ側で改造されたアタッチメント１７が作業装置４に取り付けられることもある。この場合、このようなアタッチメント１７の特徴量を事前にデータベース１３０に記憶させることはできないので、このようなアタッチメント１７が永久に認識されなくなるおそれがある。そして、この場合、アタッチメント１７に適した干渉防止制御や動作制御が行われなくなってしまう。そこで、本実施の形態では、図７、図９に示すＳ７２０の処理を設け、認識できなかったアタッチメント１７の特徴量をデータベース１３０に追加している。

（変形例２）
Ｓ７２０では、アタッチメント１７の特徴量をデータベース１３０に追加するとして説明した。この場合、アタッチメント認識部１２３は、アタッチメント１７の特徴量からアタッチメントのサイズ及び重量を計算して、得られたサイズ及び重量を特徴量と併せてデータベース１３０に記憶させてもよい。

サイズとしては、アタッチメント１７に外接する直方体を当てはめたときの直方体の長さ、幅、及び奥行きが採用できる。図４を参照すると、例えば、Ｌ３が長さとなり、Ｌ４が奥行きとなる。また、幅はアタッチメント１７の左右方向（Ｚ方向）の長さとなる。また、重量はアタッチメント１７の体積に想定されるのアタッチメント１７の密度を乗じることで算出できる。これにより、アタッチメント１７に適した干渉防止制御及び動作制御を行うことができる。

（変形例３）
データベース１３０は、参照アタッチメントの特徴量のみが記憶されているとして説明したが、本発明はこれに限定されず、参照アタッチメントのサイズ及び重量を、特徴量と併せて記憶していてもよい。この場合、アタッチメント認識装置は、アタッチメント１７の特徴量からアタッチメント１７のサイズ及び重量を算出しなくても、データベース１３０からアタッチメント１７サイズ及び重量を得ることができる。これにより、アタッチメント１７のサイズ及び重量に応じて適切な干渉防止制御及び動作制御を行うことができる。

また、アタッチメント認識部１２３は、アタッチメント１７の特徴量からアタッチメント１７のサイズ及び重量を求め、求めたサイズ及び重量も特徴量に含めて参照アタッチメントとの類似度を算出してもよい。これにより、より正確にアタッチメント１７の認識を行うことができる。

Ａ５１ 姿勢面
Ａ５２ 鉛直面
１００ 姿勢検出部
１０１，１０２，１０３ 角度センサ
１１０ 距離センサ
１２０ コントローラ
１２１ 領域抽出部
１２２ 特徴量抽出部
１２３ アタッチメント認識部
１２４ 姿勢制御部
１２５ モード設定部
１３０ データベース
１３０Ｍ メモリ
１４０ 報知部

Claims (6)

1. 複数種類のアタッチメントが交換可能に装着されるアタッチメント装着部を含む作業装置を備える建設機械において、前記アタッチメント装着部に装着されたアタッチメントを認識するアタッチメント認識装置であって、
   前記作業装置の姿勢を検出する姿勢検出部と、
   前記装着されたアタッチメントを含む周囲物体の距離分布を計測する距離センサと、
   前記姿勢検出部により検出された姿勢を用いて、前記距離センサにより計測された距離分布から、前記装着されたアタッチメントの距離分布を示す領域を抽出する領域抽出部と、
   前記領域抽出部により抽出された領域から前記装着されたアタッチメントの特徴量を抽出する特徴量抽出部と、
   １種類以上の参照アタッチメントの特徴量を予め記憶するデータベースと、
   前記特徴量抽出部により抽出された特徴量と、前記参照アタッチメントの特徴量との類似度を算出し、前記類似度が基準類似度以上の参照アタッチメントであって、前記類似度が最大の参照アタッチメントを前記装着されたアタッチメントと同種のアタッチメントとして認識するアタッチメント認識部とを備え、
   前記アタッチメント認識部は、前記類似度が最大の前記参照アタッチメントを特定するための変数と、現在メモリに保存されている変数とが等しいか否かを判定し、等しいと判定した場合、前記装着されたアタッチメントは変更されていないことを示すメッセージを出力するアタッチメント認識装置。
2. モード設定指令の入力に基づいて、前記装着されたアタッチメントを認識する認識モードに前記建設機械の動作モードを設定するモード設定部と、
   前記モード設定部により前記認識モードが設定された場合、前記装着されたアタッチメントを予め定められた特定の姿勢にさせる姿勢制御部とを更に備え、
   前記距離センサは、前記姿勢制御部により前記装着されたアタッチメントの姿勢が前記特定の姿勢にされたときの距離分布を計測する請求項１に記載のアタッチメント認識装置。
3. 前記データベースは、前記参照アタッチメントの姿勢を前記特定の姿勢にしたときの前記参照アタッチメントの前記距離分布を前記特徴量として記憶する請求項２に記載のアタッチメント認識装置。
4. 前記建設機械は、本体部を備え、
   前記作業装置は、前記本体部に対して揺動可能に接続され、先端に前記アタッチメント装着部が設けられた可動部を備え、
   前記アタッチメントは、前記アタッチメント装着部に対して揺動可能に接続され、
   前記参照アタッチメントの特徴量は、前記参照アタッチメントの姿勢を規定する姿勢面に対する参照アタッチメントの表面の高さにより規定され、
   前記距離分布は距離画像データであり、
   前記領域抽出部は、前記距離センサが計測した前記距離画像データから前記装着されたアタッチメントの前記本体部側の表面を示す画素データ群を抽出し、
   前記特徴量抽出部は、
   前記距離センサの３次元座標系において、前記装着されたアタッチメントの姿勢を規定する姿勢面の、鉛直方向に対する左右方向視からの角度θを算出し、
   前記３次元座標系において、前記領域抽出部により抽出された画素データ群を、前記アタッチメント装着部を中心とする回転行列演算によって角度（−θ）回転させ、
   前記回転された画素データ群の運転室の前面からの深度と、アタッチメント装着部の前記深度との差を、前記特徴量として算出する請求項１に記載のアタッチメント認識装置。
5. 前記アタッチメント認識部は、前記類似度が前記基準類似度以上の参照アタッチメントが存在せず、前記装着されたアタッチメントを認識できなかった場合、前記装着されたアタッチメントの特徴量を前記データベースに追加する請求項１〜４のいずれかに記載のアタッチメント認識装置。
6. 前記アタッチメント認識部による前記装着されたアタッチメントの認識結果を報知する報知部を更に備える請求項１〜５のいずれかに記載のアタッチメント認識装置。

Images