JP7458262B2

JP7458262B2 - 建設機械のアーム位置検出システム

Info

Publication number: JP7458262B2
Application number: JP2020127865A
Authority: JP
Inventors: 弘隆熊倉
Original assignee: IHI Aerospace Co Ltd
Current assignee: IHI Aerospace Co Ltd
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2024-03-29
Anticipated expiration: 2040-07-29
Also published as: JP2022025195A

Description

本発明は、建設機械のアーム位置検出システムに係り、更に詳細には、アーム位置の検出に使用する角度センサの数を削減できる建設機械のアーム位置検出システムに関する。

オペレータが建設機械に乗って操縦することが困難である場合、例えば、危険が高い所や過酷な気象条件下での工事などでは、工事現場から離れた場所でオペレータが建設機械から送信される映像や情報をモニタで見ながら建設機械を遠隔操縦することが行われている。

建設機械の遠隔操縦者は、体感により建設機械のアーム位置を知ることができないが、施工精度を向上させるために、遠隔操縦者は正確なアーム位置を知る必要がある。

特許文献１の特開２００６－２１４２４６号公報には、作業装置のブーム、アーム及びバケットの関節部それぞれに角度センサを設けてアーム位置を検出し、検出したアーム位置を遠隔操縦者に伝えることが開示されている。

特開２００６－２１４２４６号公報

しかしながら、建設機械は、その作業中に大きな振動や衝撃が角度センサに伝わり易く、設置する角度センサの数が多いと故障の確率が高くなるという建設機械特有の問題があり、角度センサの故障により作業が中断され、また、角度センサは高価であるため無人化建設機械のコストが上昇してしまう。

本発明は、このような従来技術の有する課題に鑑みてなされたものであり、その目的とするところは、故障の原因となる角度センサの数を削減できる建設機械のアーム位置検出システムを提供することにある。

本発明者は、上記目的を達成すべく鋭意検討を重ねた結果、建設機械に固定されたカメラが撮影した建設機械の作業方向の映像情報からアーム位置を検出することにより、上記目的が達成できることを見出し、本発明を完成するに至った。

上記課題は、本発明の下記（１）～（５）により解決される。
（１）建設機械に固定されたカメラと、演算装置とを備え、
上記演算装置が、
上記カメラが建設機械の作業方向を撮影した映像から、上記建設機械の第２関節部の位置と第３関節部の位置を抽出し、上記第２関節部の位置と上記第３関節部の位置の映像座標を出力する機械学習済ＡＩと、
上記映像座標を、予め設定された射影ベクトルにより２次元の実空間座標系に変換し変換座標を出力する座標変換部と、
上記変換座標を、予め記憶した建設機械の寸法情報から実際に取り得る真座標に修正するフィルタリング部と、を有することを特徴とする建設機械のアーム位置検出システム。
（２）上記フィルタリング部が、実際に取り得る真座標のうち、上記変換座標との空間距離が最も短い真座標に修正することを特徴とする上記第（１）項に記載の建設機械のアーム位置検出システム。
（３）上記フィルタリング部が、先の真座標と、該先の真座標を得た時点からの経過時間とから、該経過時間内に移動可能な範囲内の真座標に修正することを特徴とする上記第（１）項又は上記第（２）項に記載の建設機械のアーム位置検出システム。
（４）上記フィルタリング部が、上記第２関節部と第３関節部の可動域内の真座標に修正することを特徴とする上記第（１）項～上記第（３）項のいずれか１つの項に記載の建設機械のアーム位置検出システム。
（５）さらに、上記建設機械の第３関節部に角度センサを備え、
該第３関節部に設けられたアタッチメントの位置を検出することを特徴とする上記第（１）項～上記第（４）項のいずれか１つの項に記載の建設機械のアーム位置検出システム。

本発明によれば、建設機械に固定されたカメラが撮影した建設機械のアーム映像から、アーム位置を検出することとしたため、故障の原因となる角度センサの数が削減され、角度センサの故障による作業中断時間を削減できる建設機械のアーム位置検出システムを提供することができる。

本発明の建設機械のアーム位置検出システムを設けた建設機械の概略図である。カメラ映像（左図）から機械学習済ＡＩがブーム部分とアーム部分を抽出した図（右図）である。フィルタリングにより変換座標を真座標に修正する概念を説明する図である。検出したアーム位置を出力する状態の一例を示す図である。演算装置の処理を示す図である。

本発明の建設機械のアーム位置検出システムを、建設機械がバックホウである場合を例に説明する。

上記建設機械のアーム位置検出システムは、建設機械に固定されたカメラと、演算装置とを備える。
そして、上記演算装置が、上記カメラが建設機械の作業方向を撮影した映像から上記アームの第２関節部の位置と第３関節部の位置を抽出し、第２関節部の位置と第３関節部の位置の映像座標を出力する機械学習済ＡＩと、
上記映像座標を、予め設定された射影ベクトルにより２次元の実空間座標系に変換し変換座標を出力する座標変換部と、上記変換座標を、予め記憶した建設機械の寸法情報から修正し、真座標を出力するフィルタリング部と、を有する。

バックホウ１００は、図１に示すように、上部旋回体１と下部走行体２とを備える。上部旋回体１は下部走行体２に対して旋回自在に連結され、下部走行体２に対して方向を変えることができる。下部走行体２はクローラを回転させて地表面を走行する。

上記上部旋回体１は、操縦席を備えるキャビンまたはキャノピーを有する。
また、上記上部旋回体１には、第１関節部１０を介して上下に搖動可能なブーム１１が設けられ、該ブーム１１の先端には第２関節部２０を介して上下に搖動可能なアーム２１が連結される。
さらに、上記アーム２１の先端には、アタッチメント３１として第３関節部３０を介して上下に搖動可能なバケットが連結される。

バックホウは、上記ブーム、アーム及びバケットを協働して動かすことで地面を掘削する。なお、上記アームにはバケット以外の他のアタッチメントが取り付けられてもよい。

上記カメラ５０は、上部旋回体１に設けられ、図１に示すように、建設機械の作業方向に向け、少なくともブーム１１とアーム２１とを繋ぐ第２関節部２０、及びアーム２１とバケット３１とを繋ぐ第３関節部３０を撮影できる位置に固定される。なお、第１関節部１０は撮影できなくても構わない。

上記演算装置は、機械学習済ＡＩと座標変換部とフィルタリング部とを有する。図５に演算装置における処理の流れを示す。

（機械学習済ＡＩ）
本発明における機械学習済ＡＩは、画像解析で一般的なＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎを用い、対象物を塗り潰すことで求める。具体的にはブーム及びアームが写り、第２関節部と第３関節部とがポインティングされた画像と、該画像中のブーム部分及びアーム部分がそれぞれ単一色で塗り潰され、第２関節部と第３関節部とがポインティングされた塗り潰し画像と、の組み合わせを多数作成し、ブーム及びアームの画像と、それに対応するブーム及びアームの塗り潰し画像から、ブームとアームとの特徴を学習させ、上記塗り潰し画像中の第２関節部と第３関節部との位置を認識する塗り絵検出型のＡＩである。

上記ブーム及びアームの特徴を学習した機械学習済ＡＩは、図２に示すように、上記カメラが撮影した映像中のブーム部分とアーム部分とを抽出して、映像中の位置を示す第２関節部の映像座標（ｘ２”,ｙ２”）と第３関節部の映像座標（ｘ３”,ｙ３”）を出力する。関節部の座標を求める具体的方法としては、例えば塗り潰したブーム領域の左端部又は下端部から決められた距離を（ｘ２”,ｙ２”）、アーム領域の下端部から決められた距離を（ｘ３”,ｙ３”）とし、画面上の座標を決定する。

（座標変換部）
上記座標変換部は、上記映像座標を予め設定された射影ベクトルにより２次元の実空間座標系に変換する。

上記機械学習済ＡＩが出力した上記映像座標は、カメラが設置された位置から見た関節部位置を示す座標であり、実空間における位置を示す座標ではないため、上記映像座標を実空間座標系に変換する必要がある。

ここで、実空間座標系が２次元であるのは、建設機械のブーム、アーム及びバケットの関節部は同一平面上に存在し、その平面内で協働して作業を行うため、関節部位置は２次元の座標系で特定することができ、３次元の座標系は必要ないためである。

上記射影ベクトルは、当該建設機械における第２関節部及び第３関節部の映像座標と、それに対応する実空間の座標との関係から予め設定される。

具体的には、上記映像座標、すなわち建設機械に固定されたカメラ位置から見た関節部の方向と距離とを示すベクトルを、ブーム、アーム及びバケットが存在する平面上に射影して２次元の実空間座標系に変換し、第２関節部の変換座標（ｘ２’,ｙ２’）と第３関節部の変換座標（ｘ３’,ｙ３’）を出力する。
なお、第１関節部が映像中に写っていなくても、第１関節部の角度は第２関節部の方向から求めることができる。

（フィルタリング部）
フィルタリング部は、上記変換座標を建設機械が実際に取り得る真座標に修正する。

機械学習済ＡＩは、映像の明るさや映像中の影や反射等によって、ブーム部分やアーム部分の抽出精度が低下するため、機械学習済ＡＩが出力する第２関節部や第３関節部の映像座標には誤差が生じる。また、機械学習済ＡＩは、映像中のブーム部分とアーム部分とを抽出を行い、塗り潰し画像中の第２関節部と第３関節部との位置を認識するだけであり、映像中のブームとアームとが物理的に取り得る位置にあるか否かを考慮しないため、映像座標に誤差が生じ、該映像座標を変換した変換座標も誤差を含んでいる。

フィルタリング部は、上記映像座標を建設機械の寸法情報、例えば、ブームの長さ及びアームの長さから第２関節部と第３関節部とが物理的に取り得る真座標の組み合わせに修正する。

図３に示すように、第２関節部は第一関節部からブームの長さだけ離れた円弧上に位置するはずであり、第３関節部は上記円弧上の第２関節部位置からアームの長さだけ離れた円弧上に位置するはずである。

本発明においては、第２関節部の変換座標と第３関節部位置の変換座標との組み合わせに最も近い、第２関節部の真座標と第３関節部真座標の組み合わせに修正した。

上記最も近い真座標の組み合わせに修正する方法としては、例えば、第２関節部の真座標（ｘ２,ｙ２）と第２関節部の変換座標（ｘ２’,ｙ２’）との空間距離ｄ_２と、第３関節部の真座標（ｘ３,ｙ３）と第３関節部の変換座標（ｘ３’,ｙ３’）との空間距離ｄ_３との和（ｄ_２＋ｄ_３）や、これらの二乗和（ｄ_２ ^２＋ｄ_３ ^２）が最も小さくなる真座標に修正する方法等が挙げられる。

また、フィルタリング部は、変換座標と空間距離が最も近い真座標が、先の真座標と該先の真座標を得た時点から経過した時間内に移動可能な範囲内の真座標であるか否か、第２関節部や第３関節部の可動域内の真座標であるか否か、等のフィルタをかけることで、アームの位置検出精度が向上する。

さらに、複数のカメラを設け、異なる角度から撮影したそれぞれのカメラ映像から複数の変換座標を得て、該複数の変換座標間の中心座標を変換座標としてバラツキを軽減することや、上記複数の変換座標のうち最も外れたバラツキが大きい変換座標を除いた中心座標を元に上記フィルタをかけることで、アームの位置検出精度が向上する。

フィルタリング部は、予め、第２関節部と第３関節部の真座標の組み合わせをデータベースに記憶しておいてもよく、予め記憶した建設機械の寸法情報から、実際に取り得る第２関節部と第３関節部の真座標の組み合わせを計算してもよい。

本発明の建設機械のアーム位置検出システムは、建設機械の第３関節部に装着したアタッチメントの先端がカメラ映像に映り、作業部分を見渡すことができる場合は、第２関節部や第３関節部の真座標と同様にして、アタッチメントの先端の真座標を検出する。

建設機械がバックホウのように、第３関節部に装着したアタッチメントがバケットである場合等、アタッチメントが地中に潜り、その先端がカメラに映らない範囲で作業を行う場合は、アタッチメントを装着した関節部、例えば、アームとアタッチメントとを繋ぐ第３関節部に角度センサを設ける。

アタッチメントが装着された関節部に角度センサを設けることで、アタッチメントの先端位置が見えない場合であっても、図４に示すように、上記第２関節部と第３関節部の真座標と併せて、ブーム、アーム、及びアタッチメントの位置の他、該アタッチメントの角度を遠隔操縦者に伝えることができる。

そして、例えば、第２関節部と第３関節部の真座標と図４に示すような画像とを遠隔操縦画面に映し、遠隔操縦者はカメラ画像と共にそれらの情報を見ながら操縦することができる。

本発明の建設機械のアーム位置検出システムを、建設機械がバックホウである場合を例に説明したが、作業部分を見渡せる建設機械であれば適用でき、例えば、ブルドーザ等にも適用が可能である。

１上部旋回体
２下部走行体
１０第１関節部
１１ブーム
２０第２関節部
２１アーム
３０第３関節部
３１アタッチメント（バケット）
５０カメラ
１００バックホウ

Claims

建設機械に固定されたカメラと、演算装置とを備え、
上記演算装置が、
上記カメラが建設機械の作業方向を撮影した映像から、上記建設機械の第２関節部の位置と第３関節部の位置を抽出し、上記第２関節部の位置と上記第３関節部の位置の映像座標を出力する機械学習済ＡＩと、
上記映像座標を、予め設定された射影ベクトルにより、上記第２関節部と上記第３関節部とがともに存在する平面で定義される２次元の実空間座標系に変換し変換座標を出力する座標変換部と、
上記変換座標を、予め記憶した建設機械の寸法情報から実際に取り得る真座標に修正するフィルタリング部と、を有することを特徴とする建設機械のアーム位置検出システム。
上記フィルタリング部が、実際に取り得る真座標のうち、上記変換座標との空間距離が最も短い真座標に修正することを特徴とする請求項１に記載の建設機械のアーム位置検出システム。
上記フィルタリング部が、先の真座標と、該先の真座標を得た時点からの経過時間とから、該経過時間内に移動可能な範囲内の真座標に修正することを特徴とする請求項１又は２に記載の建設機械のアーム位置検出システム。
上記フィルタリング部が、上記第２関節部と第３関節部の可動域内の真座標に修正することを特徴とする請求項１～３のいずれか１つの項に記載の建設機械のアーム位置検出システム。
さらに、上記建設機械の第３関節部に角度センサを備え、
該第３関節部に設けられたアタッチメントの位置を検出することを特徴とする請求項１～４のいずれか１つの項に記載の建設機械のアーム位置検出システム。