JP2024055416A - 作業機械、および位置検出装置 - Google Patents
作業機械、および位置検出装置 Download PDFInfo
- Publication number
- JP2024055416A JP2024055416A JP2022162335A JP2022162335A JP2024055416A JP 2024055416 A JP2024055416 A JP 2024055416A JP 2022162335 A JP2022162335 A JP 2022162335A JP 2022162335 A JP2022162335 A JP 2022162335A JP 2024055416 A JP2024055416 A JP 2024055416A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- angle
- work machine
- imaging
- position detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000003384 imaging method Methods 0.000 claims abstract description 90
- 230000009466 transformation Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000010720 hydraulic oil Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
- E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Component Parts Of Construction Machinery (AREA)
- Geometry (AREA)
- Operation Control Of Excavators (AREA)
- Image Analysis (AREA)
Abstract
【課題】簡単な構成で、第2作用部と第3作用部の連結位置を精度よく検出することができる作業機械、および位置検出装置を提供する。【解決手段】作業機械は、作業機本体と、第1作用部(ブーム)と、第2作用部(アーム)と、撮像部と、位置検出部とを備える。第1作用部は、作業機械本体に一端が接続し、前記作業機械本体に対して変位する。第2作用部は、前記第1作用部の他端にリンクする。撮像部は、前記作業機械本体に設けられ、前記第2作用部のうち、前記リンク側の一端を撮像する。位置検出部は、前記撮像部の画像に基づいて、前記第2作用部のうち、第3作用部(バケット)がリンクする側の他端の位置を検出する。【選択図】図5
Description
本発明は、作業機械、および位置検出装置に関する。
従来、作業機械の姿勢を特定するために、作業機械を撮像するカメラを備えた建設機械が知られている。例えば、末端のリンクである旋回体を撮像するとともに、他のリンクであるブーム(第1作用部)とアーム(第2作用部)とバケット(第3作用部)とを撮像するカメラを備え、カメラが撮影した画像に基づいて隣り合うリンク同士の相対角度を検出する作業機械が知られている(例えば、下記特許文献1参照。)。
しかしながら、従来技術では、第2作用部と第3作用部の連結位置を、簡単な構成で精度よく検出できないことがある、という問題があった。このような要因としては、例えば、前記連結位置が旋回体から遠ざかると、その分、前記連結位置における詳細な撮像データが得られなくなってしまうことや、前記連結位置が撮像領域から外れてしまうことが挙げられる。
本発明は、簡単な構成で、前記連結位置を精度よく検出することができる作業機械、および位置検出装置を提供する。
本発明の一態様に係る作業機械は、作業機械本体と、前記作業機械本体に一端が接続し、前記作業機械本体に対して変位する第1作用部と、前記第1作用部の他端にリンクする第2作用部と、前記作業機械本体に設けられ、前記第2作用部のうち、前記リンク側の一端を撮像する撮像部と、前記撮像部の画像に基づいて、前記第2作用部のうち、第3作用部がリンクする側の他端の位置を検出する位置検出部と、を備える。
このように構成することで、撮像部からの距離が比較的近い上記一端の画像を用いることができるため、仮に、第3作用部が作業機械本体から遠ざかったとしても、取得する撮像データが極端に粗くなってしまうことを抑えることができる。また、第2作用部の一部や第3作用部が地中に埋没するなど、撮像領域から外れてしまう場合でも、第2作用部の一部である上記一端については撮像結果を得ることができるため、上記他端の位置を精度よく検出することができる。
上記構成において、前記撮像部の撮像結果に基づいて、前記第1作用部と前記第2作用部とのなす角を示す第1角度を推定する角度推定部を備え、前記位置検出部は、前記第1角度に基づいて、前記第2作用部のうち前記他端の位置を検出するようにしてもよい。
上記構成において、前記作業機械本体と前記第1作用部とのなす角を示す第2角度を検出する角度検出部を備え、前記位置検出部は、前記第1角度と前記第2角度とに基づいて、前記位置を検出するようにしてもよい。
上記構成において、前記撮像部は、標準レンズに比べて広角域を撮像可能なレンズを備え、前記レンズを介して撮像された撮像結果を射影変換する変換部を備え、前記角度推定部は、前記変換部によって射影変換された撮像結果に基づいて、前記第1角度を推定するようにしてもよい。
上記構成において、前記作業機械本体には、運転室が具備され、前記撮像部は、前記運転室の内部に設けられるようにしてもよい。
本発明の他の態様に係る位置検出装置は、建設機械が有する作用部の位置を検出する位置検出装置であって、第1作用部と第2作用部とを有する作業機械本体に設けられ、前記第2作用部のうち、前記第1作用部と前記第2作用部とのリンク側の一端を撮像する撮像部と、前記撮像部の撮像結果に基づいて、前記第1作用部と前記第2作用部とのなす角を示す第1角度を推定する角度推定部と、を備える。
このように構成することで、撮像部からの距離が比較的近い上記一端の画像を用いることができるため、仮に、第3作用部が作業機械本体から遠ざかったとしても、取得する撮像データが極端に粗くなってしまうことを抑えることができる。また、第2作用部の一部や第3作用部が地中に埋没するなど、撮像領域から外れてしまう場合でも、第2作用部の一部である上記一端については撮像結果を得ることができる。したがって、第1作用部と第2作用部とのなす角を推定することで、上記他端の位置を精度よく検出することができる。
上記構成において、前記撮像部は、標準レンズに比べて広角域を撮像可能なレンズを備え、前記レンズを介して撮像された撮像結果の歪みを補正する補正部と、前記補正部によって補正された撮像結果を射影変換する変換部と、を備えるようにしてもよい。
上述の作業機械、および位置検出装置は、簡単な構成で、第2作用部と第3作用部の連結位置を精度よく検出することができる。
次に、本発明の実施形態を図面に基づいて説明する。
(作業機械110)
図1は、本実施形態の位置検出装置100を備える作業機械110の説明図を示す。図1において、作業機械110は、例えば、油圧によってアクチュエータを動作させる油圧ショベルである。
図1は、本実施形態の位置検出装置100を備える作業機械110の説明図を示す。図1において、作業機械110は、例えば、油圧によってアクチュエータを動作させる油圧ショベルである。
図1に示すように、作業機械110は、作業機械本体としての、旋回体120と、走行体130とを備える。旋回体120は、走行体130の上に旋回可能に設けられる。旋回体120は、操作者が搭乗可能な運転室121を備える。運転室121には、作用部に係る操作を受け付ける操作部122が設けられる。操作部122が操作を受け付けると、受け付けた操作に応じて、複数の油圧バルブが開閉する。油圧バルブの開閉に応じて、油圧ポンプから供給される作動油が複数の油圧シリンダ(ブームシリンダ161、アームシリンダ162、バケットシリンダ163)に送出される。油圧シリンダは、作動油の送出量に応じて伸縮する。
作業機械110は、第1作用部としてのブーム141と、第2作用部としてのアーム142と、第3作用部としてのバケット143とを備える。各作用部は、リンク部151~153を介して接続される。
具体的に説明すると、ブーム141は、第1リンク部151を介して、旋回体120に対して揺動自在に接続される。ブーム141および旋回体120には、ブームシリンダ161が接続されている。操作部122の操作に応じてブームシリンダ161が伸縮することによって、ブーム141は、旋回体120に対して揺動する。
アーム142は、第2リンク部152を介して、ブーム141に対して揺動自在に接続される。具体的には、アーム142とブーム141とには、アームシリンダ162が接続されている。操作部122の操作に応じてアームシリンダ162が伸縮および揺動することによって、アーム142は、ブーム141に対して揺動する。
バケット143は、第3リンク部153を介して、アーム142に対して揺動自在に接続される。具体的には、バケット143とアーム142とには、バケットシリンダ163が接続されている。操作部122の操作に応じてバケットシリンダ163が伸縮および揺動することによって、バケット143は、アーム142に対して揺動する。
また、作業機械110は、運転室121内に撮像部170を備える。撮像部170は、標準レンズに比べて広角域を撮像可能な魚眼レンズを備える。撮像部170は、旋回体120に固定配置されており、動画、または静止画を連続的に撮像する。撮像部170には、CCD(charge coupled device)カメラや、CMOS(Complementary Metal Oxide Semiconductor)カメラを用いることが可能である。撮像部170は、アーム142のうち、第2リンク部152側の一端である突端部171を中心に撮像する。なお、突端部171は、作業機械110の上部にあり、汚れにくいので、検知しやすい。
撮像部170の撮像領域は、ブーム141およびアーム142の位置にかかわらず、突端部171が含まれていればよい。言い換えれば、撮像領域は、ブーム141の一部や、アーム142の一部や、バケット143の一部または全部が、含まれていなくてもよい。なお、撮像部170は、運転室121内に配置されることに限らず、運転室121の外に配置されていてもよい。
なお、作業機械110、油圧によってアクチュエータを動作させることに限らず、例えば、水圧によってアクチュエータを動作させるものでもよいし、空圧によってアクチュエータを動作させるものでもよい。また、作業機械110は、油圧、水圧および空圧の3種類のうち、複数種類を併用してアクチュエータを動作させるものでもよい。
(位置検出装置100のハードウェア構成)
図2は、位置検出装置100のハードウェア構成の一例を示す説明図である。図2に示すように、位置検出装置100は、CPU(Central Processing Unit)201と、メモリ202と、通信I/F(インターフェース)203と、入力デバイス204と、センサ205と、出力デバイス206と、撮像部170とを備える。各部は、バス220によってそれぞれ接続される。
図2は、位置検出装置100のハードウェア構成の一例を示す説明図である。図2に示すように、位置検出装置100は、CPU(Central Processing Unit)201と、メモリ202と、通信I/F(インターフェース)203と、入力デバイス204と、センサ205と、出力デバイス206と、撮像部170とを備える。各部は、バス220によってそれぞれ接続される。
CPU201は、位置検出装置100の全体の制御を司る。メモリ202は、例えば、ROM、RAM、USB(Universal Serial Bus)フラッシュメモリ、SSD(Solid State Drive)などの各種記憶部を含む。例えば、ROMは、各種プログラムを記憶する。各種プログラムは、本実施形態に係る位置検出プログラムを含む。位置検出プログラムは、撮像部170の撮像結果に基づいて、第3リンク部153の位置を検出(推定)するプログラムである。RAMは、CPU201のワークエリアとして使用される。メモリ202に記憶されるプログラムは、CPU201にロードされることで、コーディングされている処理をCPU201に実行させる。
通信I/F203は、通信回線を通じて、インターネットなどのネットワークに接続され、ネットワークを介して他の装置(例えば、外部サーバや携帯端末など)に接続される。また、通信I/F203は、ネットワークと自装置内部とのインターフェースを司り、他の装置からのデータの入出力を制御する。
入力デバイス204は、作業機械110に対するオペレータの各種操作を受け付ける操作部122を含む。また、入力デバイス204は、位置検出装置100が備えるタッチパネルや操作ボタンなどの操作部を含む。
撮像部170は、突端部171を含む撮像データを入力する。
センサ205は、作業機械110が備える各種センサであり、例えば、ブーム141の旋回体120に対する角度を検出する角度センサ(角度検出部の一例)を含む。
出力デバイス206は、例えば、操作ディスプレイやスピーカを含む。出力デバイス206は、例えば、CPU201が位置検出プログラムを実行することによって得られた第3リンク部153の位置の検出結果を表示または音声によって出力する。
撮像部170は、突端部171を含む撮像データを入力する。
センサ205は、作業機械110が備える各種センサであり、例えば、ブーム141の旋回体120に対する角度を検出する角度センサ(角度検出部の一例)を含む。
出力デバイス206は、例えば、操作ディスプレイやスピーカを含む。出力デバイス206は、例えば、CPU201が位置検出プログラムを実行することによって得られた第3リンク部153の位置の検出結果を表示または音声によって出力する。
(位置検出装置100のハードウェア構成例)
図3は、位置検出装置100のハードウェア構成の一例を示す説明図である。図3に示すように、位置検出装置100は、撮像結果取得部301と、位置検出部302と、角度推定部303と、位置特定部304と、角度取得部305と、補正部306と、変換部307とを備える。各機能部は、CPU201によって実現される。すなわち、CPU201がメモリ202に記憶される位置検出プログラムを実行することにより、各機能部を実現する。
図3は、位置検出装置100のハードウェア構成の一例を示す説明図である。図3に示すように、位置検出装置100は、撮像結果取得部301と、位置検出部302と、角度推定部303と、位置特定部304と、角度取得部305と、補正部306と、変換部307とを備える。各機能部は、CPU201によって実現される。すなわち、CPU201がメモリ202に記憶される位置検出プログラムを実行することにより、各機能部を実現する。
撮像結果取得部301は、撮像部170によって撮像された突端部171の撮像結果(撮像データ)を取得する。位置検出部302は、突端部171の撮像結果に基づいて、アーム142のうち、バケット143がリンクする側の一端の位置を検出する。本実施形態に係る作業機械110は、当該一端の位置と第3リンク部153の位置とが一致する構成であるため、当該一端の位置は第3リンク部153の位置としている。ここで、図4を用いて、第3リンク部153の位置の検出例について説明する。
図4は、第3リンク部153の位置の検出例を示す説明図である。図4において、作業機械110が移動する方向(進行方向)をx軸、作業機械110の鉛直方向をy軸とする。図4に示すように、作業機械本体(x軸)と、ブーム141とのなす角(以下「ブーム角度」という。)をθ1とする。具体的には、ブーム角度θ1は、第1リンク部151および第2リンク部152を結ぶ直線401と、x軸とのなす角(ブーム141を上げる方向の角度)として表すことができる。なお、図示では、ブーム角度θ1は、直線401と、x軸とのなす角とするが、これに限らない。例えば、ブーム角度θ1は、直線401と、y軸とのなす角(ブーム141を下げる方向の角度)としてもよい。
また、ブーム141に対するアームの角度を(以下「アーム角度」という。)をθ2とする。上述したように、ブーム角度θ1は、x軸と直線401とのなす角である。このため、アーム角度θ2は、直線401と、第2リンク部152および第3リンク部153を結ぶ直線402とのなす角として表すことできる。なお、図示では、アーム角度θ2は、直線401に対してブーム141を下げる方向の角度とするが、これに限らない。例えば、アーム角度θ2は、直線401に対してブーム141を上げる方向の角度としてもよい。
第3リンク部153の位置は、撮像部170によって撮像された突端部171の撮像結果に基づいて検出される。ここで、第3リンク部153の位置の検出について、一例を挙げて説明する。本実施形態において、アーム142の長さL2や、突端部171と第2リンク部152との位置関係を既知とする。このため、突端部171の位置と、アーム角度θ2とが特定されれば、演算により、第3リンク部153の位置を検出することが可能である。
アーム角度θ2および突端部171の位置は、撮像部170によって撮像された撮像データに基づいて得られる。ここで、図5を用いて、アーム角度θ2よび突端部171の位置の特定について具体的に説明する。
図5は、アーム角度θ2の推定および突端部171の位置の特定に用いられる撮像データの一例を示す説明図である。図5(A)は、撮像部170によって撮像された撮像結果510を示す。撮像結果510は、魚眼レンズによって撮像されているため、歪みが含まれる。撮像結果510に示すように、ブーム141やアーム142は、湾曲している。補正部306は、撮像結果510の歪みを補正する。補正部306は、例えば、歪み補正用のパラメータを用いて座標変換および補間演算を行うことにより、歪みを補正する。
図5(B)は、補正部306によって補正された補正画像520を示す。補正画像520に示すように、歪みをなくした所定の水平視野角の画像を示す。補正画像520に示すように、ブーム141やアーム142は、歪みが除去され、通常のレンズで撮像した際の画像と同じ様に、直線状に表されている。
変換部307は、補正部306によって補正された補正画像520を射影変換する。具体的には、変換部307は、補正画像520に基づいて、平面射影変換により作業機械110の側方(図中左側)の仮想視点から見た変換画像530を生成する。
図5(C)は、変換部307によって射影変換された変換画像530を示す。変換画像530は、作業機械110を側方から見た画像である。変換部307は、例えば、予め設定されたマッピングテーブルを用いて、側方に仮想視点を設定した射影変換処理を行う。射影変換処理では、補正画像520から得られる画像セグメントが、互いに重複する領域を重ね合わせるように組み合わされる。これにより、変換部307は、作業機械110を側方から見た変換画像530を得ることができる。
角度推定部303は、変換画像530を画像解析することによって、アーム角度θ2を推定する。また、位置特定部304は、変換画像530を画像解析することによって、突端部171の位置(座標)を特定する。突端部171と第2リンク部152との位置関係を予め既知とすることから、位置特定部304は、突端部171の位置と当該位置関係とに基づいて、演算によって第2リンク部152の位置を特定することが可能である。位置検出部302は、位置特定部304によって特定された第2リンク部152の位置と、既知の長さL2と、アーム角度θ2とに基づいて、第3リンク部153の位置(座標)を検出する。
(ブーム角度θ1の取得について)
第2リンク部152の位置は、突端部171の位置に基づいて特定されることに限らない。第2リンク部152の位置をより精度よく検出するという観点からすると、第2リンク部152の位置は、ブーム角度θ1に基づいて特定されるようにしてもよい。すなわち、ブーム角度θ1がわかれば、第2リンク部152の位置(座標)を特定することが可能である。
第2リンク部152の位置は、突端部171の位置に基づいて特定されることに限らない。第2リンク部152の位置をより精度よく検出するという観点からすると、第2リンク部152の位置は、ブーム角度θ1に基づいて特定されるようにしてもよい。すなわち、ブーム角度θ1がわかれば、第2リンク部152の位置(座標)を特定することが可能である。
具体的に説明すると、角度取得部305は、センサ205に含まれる角度センサの検出結果からブーム角度θ1を取得する。位置特定部304は、角度取得部305によって取得されたブーム角度θ1と、既知の長さL1とに基づいて、第2リンク部152の位置を特定する。例えば、ブーム角度θ1ごとの第2リンク部152の位置(座標)を対応させた「角度-位置テーブル」を予めメモリ202等に記憶させておき、位置特定部304は、角度取得部305によって取得されたブーム角度θ1に対応する位置(座標)を、当該テーブルから取得するようにしてもよい。
このように、ブーム角度θ1に基づいて第2リンク部152の位置を特定することにより、位置特定部304は、第2リンク部152の位置の特定に係る精度を向上させることができる。このため、位置検出部302は、より精度よく第3リンク部153の位置を検出することができる。
なお、ブーム角度θ1は、角度センサの検出結果に基づいて、取得されることに限らない。例えば、ブーム角度θ1は、撮像部170によって撮像された撮像結果(例えば、変換画像530)を画像解析することによって取得されるようにすることも可能である。すなわち、角度取得部305は、撮像結果に基づいて、ブーム角度θ1を取得してもよい。
(本実施形態に係る位置検出装置100が行う位置検出処理の一例)
図6は、本実施形態に係る位置検出装置100が行う位置検出処理の一例を示すフローチャートである。図6に示すように、位置検出装置100は、第3リンク部153の位置検出の開始であるか否かを判断する(ステップS601)。第3リンク部153の位置検出の開始とは、例えば、作業機械110や位置検出装置100の電源オンとしてもよいし、位置検出機能のオン/オフの切替えを可能にした場合には当該機能のオンとしてもよいし、ブーム141、アーム142およびバケット143を含む各作用部の動作開始としてもよい。
図6は、本実施形態に係る位置検出装置100が行う位置検出処理の一例を示すフローチャートである。図6に示すように、位置検出装置100は、第3リンク部153の位置検出の開始であるか否かを判断する(ステップS601)。第3リンク部153の位置検出の開始とは、例えば、作業機械110や位置検出装置100の電源オンとしてもよいし、位置検出機能のオン/オフの切替えを可能にした場合には当該機能のオンとしてもよいし、ブーム141、アーム142およびバケット143を含む各作用部の動作開始としてもよい。
位置検出装置100は、第3リンク部153の位置検出の開始となるまで待機する(ステップS601:NO)。第3リンク部153の位置検出の開始となると(ステップS601:YES)、位置検出装置100(撮像結果取得部301)は、撮像部170によって撮像された撮像結果510(図5(A))を取得する(ステップS602)。そして、位置検出装置100(補正部306)は、撮像結果510の歪みを補正し(ステップS603)、補正画像520(図5(B))を得る。
次に、位置検出装置100(変換部307)は、補正画像520を射影変換し(ステップS604)、変換画像530(図5(C))を得る。そして、位置検出装置100(角度推定部303)は、変換画像530を画像解析することによって、アーム角度θ2を推定する(ステップS605)。次に、位置検出装置100(角度取得部305)は、センサ205に含まれる角度センサの検出結果からブーム角度θ1を取得する(ステップS606)。そして、位置検出装置100(位置特定部304)は、ブーム角度θ1と、ブーム141の長さL1とに基づいて、第2リンク部152の位置を特定する(ステップS607)。
次に、位置検出装置100(位置検出部302)は、推定したアーム角度θ2と、特定した第2リンク部152の位置と、既知の長さL2とに基づいて、第3リンク部153の位置を検出する(ステップS608)。
そして、位置検出装置100は、検出した第3リンク部153の位置を示す検出結果を出力する(ステップS609)。検出結果は、モニタ上の画像で表示される。例えば、位置検出装置100は、操作レバー等の入力信号に基づいてバケット143の位置や姿勢を特定し、特定したバケット143の位置や姿勢を、検出結果の画像に反映させて表示させることが可能である。
次に、位置検出装置100は、第3リンク部153の位置検出の終了であるか否かを判断する(ステップS610)。第3リンク部153の位置検出の終了とは、例えば、作業機械110や位置検出装置100の電源オフとしてもよいし、位置検出機能のオン/オフの切替え機能のオフとしてもよいし、各作用部の動作終了としてもよい。
位置検出装置100は、第3リンク部153の位置検出の終了ではない場合(ステップS610:NO)、ステップS602の処理に戻り、ステップS602~S610の処理を繰り返す。一方、第3リンク部153の位置検出の終了となると(ステップS610:YES)、位置検出装置100は、一連の処理を終了する。
(本実施形態の作用・効果)
以上説明したように、本実施形態に係る位置検出装置100および作業機械110は、アーム142の突端部171を撮像し、撮像した画像に基づいて、第3リンク部153の位置を検出する。これにより、撮像部170からの距離が比較的近い突端部171の画像を用いることができるため、仮に、バケット143が旋回体120から遠ざかったとしても、取得する撮像データが極端に粗くなってしまうことを抑えることができる。また、アーム142の一部やバケット143が地中に埋没するなど、撮像領域から外れてしまう場合でも、アーム142の一部である突端部171については撮像結果を得ることができるため、第3リンク部153の位置を精度よく検出することができる。したがって、本実施形態によれば、簡単な構成で、バケット143の位置を精度よく検出することができる。
以上説明したように、本実施形態に係る位置検出装置100および作業機械110は、アーム142の突端部171を撮像し、撮像した画像に基づいて、第3リンク部153の位置を検出する。これにより、撮像部170からの距離が比較的近い突端部171の画像を用いることができるため、仮に、バケット143が旋回体120から遠ざかったとしても、取得する撮像データが極端に粗くなってしまうことを抑えることができる。また、アーム142の一部やバケット143が地中に埋没するなど、撮像領域から外れてしまう場合でも、アーム142の一部である突端部171については撮像結果を得ることができるため、第3リンク部153の位置を精度よく検出することができる。したがって、本実施形態によれば、簡単な構成で、バケット143の位置を精度よく検出することができる。
また、本実施形態に係る位置検出装置100および作業機械110は、突端部171の撮像結果に基づいて、アーム角度θ2を推定し、推定したアーム角度θ2に基づいて、第3リンク部153の位置を検出する。これにより、撮像結果からアーム角度θ2を推定するといった簡単な処理によって、第3リンク部153の位置を精度よく検出することができる。
また、本実施形態に係る位置検出装置100および作業機械110は、角度取得部305によって取得されたブーム角度θ1と、角度推定部303によって推定されたアーム角度θ2とに基づいて、第3リンク部153の位置を検出する。これにより、第2リンク部152の位置を精度よく検出することができるため、より精度よく第3リンク部153の位置を検出することができる。
また、本実施形態に係る位置検出装置100および作業機械110は、魚眼レンズを介して撮像された撮像結果を射影変換し、射影変換した撮像結果に基づいて、アーム角度θ2を推定する。これにより、アーム角度θ2の推定精度を向上させることができる。したがって、より精度よく第3リンク部153の位置を検出することができる。
また、本実施形態に係る位置検出装置100および作業機械110は、魚眼レンズを介して撮像された撮像結果の歪みを補正し、補正した撮像結果を射影変換する。これにより、アーム角度θ2の推定精度をより向上させることができる。したがって、より精度よく第3リンク部153の位置を検出することができる。
また、本実施形態に係る位置検出装置100および作業機械110は、作業機械本体に具備される運転室の内部に撮像部170を設ける。これにより、雨天時などにおいてレンズに雨水などが付着することを抑えることができる。このため、周辺環境にかかわらず、好適な撮像データを得ることができる。よって、第3リンク部153の位置を精度よく検出することができる。なお、撮像部170は外部でもよい。
(本実施形態の他の態様)
上述した実施形態では、突端部171の位置とアーム角度θ2とに基づいて、第3リンク部153の位置を検出する例について説明した。ただし、アーム角度θ2を用いずに、第3リンク部153の位置を検出することも可能である。具体的に補足すると、例えば、アーム142の形状を予め既知としておく。位置検出部302は、当該既知の情報を用いて、突端部171の撮像結果を画像解析することによって、突端部171の位置とアーム142の姿勢(傾き)とを特定する。さらに、位置検出部302は、特定した位置と姿勢に基づいて、演算により第3リンク部153の位置を検出することも可能である。このようにしても、位置検出部302は、撮像部170の画像に基づいて、第3リンク部153の位置を検出することが可能である。
上述した実施形態では、突端部171の位置とアーム角度θ2とに基づいて、第3リンク部153の位置を検出する例について説明した。ただし、アーム角度θ2を用いずに、第3リンク部153の位置を検出することも可能である。具体的に補足すると、例えば、アーム142の形状を予め既知としておく。位置検出部302は、当該既知の情報を用いて、突端部171の撮像結果を画像解析することによって、突端部171の位置とアーム142の姿勢(傾き)とを特定する。さらに、位置検出部302は、特定した位置と姿勢に基づいて、演算により第3リンク部153の位置を検出することも可能である。このようにしても、位置検出部302は、撮像部170の画像に基づいて、第3リンク部153の位置を検出することが可能である。
また、上述した実施形態では、アーム142のバケット143側の一端と、第3リンク部153の位置とが一致する作業機械110を例に挙げて説明した。ただし、作業機械110によっては、例えば、バケット143がアーム142の一端よりも内側(ブーム141側)に接続される構成など、当該一端の位置と第3リンク部153の位置とが一致しない構成の場合もある。このような場合には、当該一端の位置と第3リンク部153との位置関係を予め既知とすることにより、位置検出部302は、当該一端の位置を検出して、検出した一端の位置と当該位置関係とに基づいて、演算により第3リンク部153を検出すればよい。
なお、以上に説明した位置検出装置100を実現するためのプログラムを、コンピュータ読み取り可能な記憶媒体に記憶し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記憶されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本明細書で開示した実施形態及び変形例において、複数の機能が分散して設けられているものは、当該複数の機能の一部又は全部を集約して設けてもよく、逆に複数の機能が集約して設けられているものを、当該複数の機能の一部又は全部が分散するように設けることができる。機能が集約されているか分散されているかにかかわらず、発明の目的を達成できるように構成されていればよい。
100…位置検出装置、110…作業機械、120…旋回体、121…運転室、141…ブーム、142…アーム、143…バケット、151…第1リンク部、152…第2リンク部、153…第3リンク部、170…撮像部、171…突端部、205…センサ、301…撮像結果取得部、302…位置検出部、303…角度推定部、304…位置特定部、305…角度取得部、306…補正部、307…変換部、510…撮像結果、520…補正画像、530…変換画像
Claims (7)
- 作業機械本体と、
前記作業機械本体に一端が接続し、前記作業機械本体に対して変位する第1作用部と、
前記第1作用部の他端にリンクする第2作用部と、
前記作業機械本体に設けられ、前記第2作用部のうち、前記リンク側の一端を撮像する撮像部と、
前記撮像部の画像に基づいて、前記第2作用部のうち、第3作用部がリンクする側の他端の位置を検出する位置検出部と、
を備える作業機械。 - 前記撮像部の撮像結果に基づいて、前記第1作用部と前記第2作用部とのなす角を示す第1角度を推定する角度推定部を備え、
前記位置検出部は、前記第1角度に基づいて、前記第2作用部のうち前記他端の位置を検出する、
請求項1に記載の作業機械。 - 前記作業機械本体と前記第1作用部とのなす角を示す第2角度を検出する角度検出部を備え、
前記位置検出部は、前記第1角度と前記第2角度とに基づいて、前記位置を検出する、
請求項2に記載の作業機械。 - 前記撮像部は、標準レンズに比べて広角域を撮像可能なレンズを備え、
前記レンズを介して撮像された撮像結果を射影変換する変換部を備え、
前記角度推定部は、前記変換部によって射影変換された撮像結果に基づいて、前記第1角度を推定する、
請求項2または3に記載の作業機械。 - 前記作業機械本体には、運転室が具備され、
前記撮像部は、前記運転室の内部に設けられる、
請求項1または2に記載の作業機械。 - 建設機械が有する作用部の位置を検出する位置検出装置であって、
第1作用部と第2作用部とを有する作業機械本体に設けられ、前記第2作用部のうち、前記第1作用部と前記第2作用部とのリンク側の一端を撮像する撮像部と、
前記撮像部の撮像結果に基づいて、前記第1作用部と前記第2作用部とのなす角を示す第1角度を推定する角度推定部と、
を備える位置検出装置。 - 前記撮像部は、標準レンズに比べて広角域を撮像可能なレンズを備え、
前記レンズを介して撮像された撮像結果の歪みを補正する補正部と、
前記補正部によって補正された撮像結果を射影変換する変換部と、
を備える請求項6に記載の位置検出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022162335A JP2024055416A (ja) | 2022-10-07 | 2022-10-07 | 作業機械、および位置検出装置 |
CN202311004181.0A CN117846079A (zh) | 2022-10-07 | 2023-08-09 | 作业机械以及位置检测装置 |
EP23191296.5A EP4350083A1 (en) | 2022-10-07 | 2023-08-14 | Working machine and position detecting device |
US18/451,375 US20240117607A1 (en) | 2022-10-07 | 2023-08-17 | Working machine and position detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022162335A JP2024055416A (ja) | 2022-10-07 | 2022-10-07 | 作業機械、および位置検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024055416A true JP2024055416A (ja) | 2024-04-18 |
Family
ID=87571914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022162335A Pending JP2024055416A (ja) | 2022-10-07 | 2022-10-07 | 作業機械、および位置検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240117607A1 (ja) |
EP (1) | EP4350083A1 (ja) |
JP (1) | JP2024055416A (ja) |
CN (1) | CN117846079A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6029306B2 (ja) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
JP6491576B2 (ja) | 2015-09-07 | 2019-03-27 | Kyb株式会社 | 角度検出装置 |
JP6684682B2 (ja) * | 2016-08-18 | 2020-04-22 | 株式会社神戸製鋼所 | 建設機械 |
-
2022
- 2022-10-07 JP JP2022162335A patent/JP2024055416A/ja active Pending
-
2023
- 2023-08-09 CN CN202311004181.0A patent/CN117846079A/zh active Pending
- 2023-08-14 EP EP23191296.5A patent/EP4350083A1/en active Pending
- 2023-08-17 US US18/451,375 patent/US20240117607A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117846079A (zh) | 2024-04-09 |
US20240117607A1 (en) | 2024-04-11 |
EP4350083A1 (en) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6050525B2 (ja) | 位置計測システム、作業機械及び位置計測方法 | |
CN106029994B (zh) | 校正系统、作业机械和校正方法 | |
JP6232497B2 (ja) | 外界認識装置 | |
JP4962415B2 (ja) | 建設機械の刃先位置計測装置 | |
CN112673284A (zh) | 坐标转换系统及作业机械 | |
CN111226009B (zh) | 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械 | |
JPWO2018079789A1 (ja) | 計測システム、作業機械及び計測方法 | |
JP7420733B2 (ja) | 表示制御システムおよび表示制御方法 | |
WO2018209592A1 (zh) | 一种机器人的运动控制方法、机器人及控制器 | |
JP2017027417A (ja) | 画像処理装置及び電気掃除器 | |
JP2024055416A (ja) | 作業機械、および位置検出装置 | |
US11718972B2 (en) | Image-based attachment identification and position detection | |
JP6687103B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
CN113423543B (zh) | 作业机械用显示系统 | |
JP7114907B2 (ja) | 先端アタッチメント判別装置 | |
JP6578170B2 (ja) | 建設機械の角度検出装置 | |
JP6824856B2 (ja) | 表示制御装置および表示制御方法 | |
CN115457096A (zh) | 作业机械的辅助控制方法、装置、系统及作业机械 | |
JP2005205519A (ja) | ロボットハンド装置 | |
KR101944817B1 (ko) | 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템 | |
CN114342361A (zh) | 面向工程机械的运行记录分析系统 | |
CN114175104A (zh) | 基于视觉的叶片定位 | |
JP7127715B2 (ja) | 作業支援システムの制御方法、作業支援システムの制御プログラム | |
JP6234335B2 (ja) | 撮像装置及び撮像装置を設置した移動体 | |
US20230308598A1 (en) | Image processing device, image processing method, and storage medium |