JP6954145B2 - Tip attachment dimensional measuring device - Google Patents

Tip attachment dimensional measuring device Download PDF

Info

Publication number
JP6954145B2
JP6954145B2 JP2018007339A JP2018007339A JP6954145B2 JP 6954145 B2 JP6954145 B2 JP 6954145B2 JP 2018007339 A JP2018007339 A JP 2018007339A JP 2018007339 A JP2018007339 A JP 2018007339A JP 6954145 B2 JP6954145 B2 JP 6954145B2
Authority
JP
Japan
Prior art keywords
tip attachment
camera
image
tip
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018007339A
Other languages
Japanese (ja)
Other versions
JP2019124663A (en
Inventor
真輝 大谷
真輝 大谷
涼太 羽馬
涼太 羽馬
上田 員弘
員弘 上田
誠司 佐伯
誠司 佐伯
伊藤 卓
卓 伊藤
山▲崎▼ 洋一郎
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2018007339A priority Critical patent/JP6954145B2/en
Publication of JP2019124663A publication Critical patent/JP2019124663A/en
Application granted granted Critical
Publication of JP6954145B2 publication Critical patent/JP6954145B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、作業機械の先端アタッチメントの寸法を計測する先端アタッチメント寸法計測装置に関する。 The present invention relates to a tip attachment dimension measuring device that measures the dimensions of a tip attachment of a work machine.

例えば特許文献1に、先端アタッチメント(同文献におけるアタッチメント)を含む距離分布を距離センサが計測し、距離分布に基づいて先端アタッチメントを認識する技術が記載されている(同文献の請求項1などを参照)。 For example, Patent Document 1 describes a technique in which a distance sensor measures a distance distribution including a tip attachment (attachment in the same document) and recognizes the tip attachment based on the distance distribution (claim 1 of the same document). reference).

特開2017−157016号公報JP-A-2017-157016

同文献に記載の技術では、距離分布に基づいて先端アタッチメントの寸法など(同文献では特徴量)が認識される。距離分布を計測するために、距離センサが用いられる。しかし、距離センサは、単眼カメラなどに比べ、コストが高い場合がある。また、先端アタッチメントの寸法を計測する際、寸法計測の精度を確保することが重要である。 In the technique described in the same document, the dimensions of the tip attachment and the like (features in the same document) are recognized based on the distance distribution. A distance sensor is used to measure the distance distribution. However, the distance sensor may be more expensive than a monocular camera or the like. In addition, when measuring the dimensions of the tip attachment, it is important to ensure the accuracy of the dimensional measurement.

そこで、本発明は、距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できる、先端アタッチメント寸法計測装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a tip attachment dimension measuring device capable of accurately measuring the dimensions of a tip attachment without using a distance distribution.

本発明の先端アタッチメント寸法計測装置は、作業装置と、カメラと、コントローラと、を備える。前記作業装置は、作業機械の上部旋回体に取り付けられ、交換可能な先端アタッチメントを先端部に有する。前記カメラは、前記上部旋回体に取り付けられ、前記先端アタッチメントを含む画像を撮影する。前記コントローラは、前記カメラに撮影された画像の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲を決定する。前記コントローラは、前記簡素背景範囲内に前記先端アタッチメントが映った画像であって、回転軸を中心に揺動している前記先端アタッチメントの画像を、前記カメラに撮影させる。前記コントローラは、前記カメラに撮影された画像に基づいて、前記回転軸の方向における前記先端アタッチメントの画像上の幅寸法を取得する。前記コントローラは、取得した画像上の幅寸法から前記先端アタッチメントの実際の幅寸法を求める。前記先端アタッチメントの基準位置から先端までの、前記回転軸の方向に直交する方向における寸法を縦寸法とする。前記コントローラは、前記カメラに撮影された画像に基づいて、前記先端アタッチメントを揺動させたときの前記先端アタッチメントの画像上の縦寸法の最大値を取得する。前記コントローラは、取得した画像上の縦寸法の最大値から前記先端アタッチメントの実際の縦寸法を求める。 The advanced attachment dimension measuring device of the present invention includes a working device, a camera, and a controller. The work device is attached to the upper swing body of the work machine and has a replaceable tip attachment at the tip. The camera is attached to the upper swing body and captures an image including the tip attachment. The controller determines a simple background range in which the degree of temporal change of the image is a range equal to or less than a predetermined value from the images captured by the camera. The controller causes the camera to take an image of the tip attachment in the simple background range, which is an image of the tip attachment swinging about a rotation axis. The controller acquires the width dimension on the image of the tip attachment in the direction of the rotation axis based on the image taken by the camera. The controller obtains the actual width dimension of the tip attachment from the width dimension on the acquired image. The dimension in the direction orthogonal to the direction of the rotation axis from the reference position to the tip of the tip attachment is defined as the vertical dimension. Based on the image taken by the camera, the controller acquires the maximum value of the vertical dimension on the image of the tip attachment when the tip attachment is swung. The controller obtains the actual vertical dimension of the tip attachment from the maximum value of the vertical dimension on the acquired image.

上記構成により、距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できる。 With the above configuration, the dimensions of the tip attachment can be measured accurately without using the distance distribution.

作業機械10を横から見た図である。It is a figure which looked at the work machine 10 from the side. 図1に示す作業機械10に設けられる先端アタッチメント寸法計測装置1のブロック図である。It is a block diagram of the tip attachment dimension measuring apparatus 1 provided in the work machine 10 shown in FIG. 図2に示す先端アタッチメント寸法計測装置1のフローチャートである。It is a flowchart of the tip attachment dimension measuring apparatus 1 shown in FIG. 図1に示すカメラ40に撮影された画像を示す図である。It is a figure which shows the image taken by the camera 40 shown in FIG. 図4に示す画像のうち先端アタッチメント25の周辺部を示す図であり、図4に示す状態から先端アタッチメント25を掘削側に揺動させた状態を示す図である。It is a figure which shows the peripheral part of the tip attachment 25 in the image shown in FIG. 4, and is the figure which shows the state which rocked the tip attachment 25 toward the excavation side from the state shown in FIG. 変形例1の先端アタッチメント寸法計測装置101のブロック図である。It is a block diagram of the tip attachment dimension measuring apparatus 101 of the modification 1. FIG. 図5に示す先端アタッチメント寸法計測装置101のフローチャートである。It is a flowchart of the tip attachment dimension measuring apparatus 101 shown in FIG. 変形例2の先端アタッチメント寸法計測装置201のブロック図である。It is a block diagram of the tip attachment dimension measuring apparatus 201 of the modification 2. FIG. 図7に示す先端アタッチメント寸法計測装置201のフローチャートである。It is a flowchart of the tip attachment dimension measuring apparatus 201 shown in FIG.

図1〜図5を参照して、図1に示す先端アタッチメント寸法計測装置1について説明する。 The tip attachment dimension measuring device 1 shown in FIG. 1 will be described with reference to FIGS. 1 to 5.

先端アタッチメント寸法計測装置1は、先端アタッチメント25の寸法を計測する装置であり、作業機械10に設けられる。作業機械10は、建設作業などの作業を行う機械であり、例えば建設機械であり、例えばショベルなどである。作業機械10は、下部走行体11と、上部旋回体13と、作業装置20と、作業装置姿勢センサ30と、カメラ40と、図2に示すカメラ撮影範囲変更部45と、作業装置駆動部47と、コントローラ60と、を備える。 The tip attachment dimension measuring device 1 is a device for measuring the dimensions of the tip attachment 25, and is provided on the work machine 10. The work machine 10 is a machine that performs work such as construction work, for example, a construction machine, and for example, an excavator. The work machine 10 includes a lower traveling body 11, an upper swivel body 13, a working device 20, a working device attitude sensor 30, a camera 40, a camera shooting range changing unit 45 shown in FIG. 2, and a working device driving unit 47. And a controller 60.

下部走行体11は、図1に示す作業機械10を走行させる部分であり、例えばクローラを備える。上部旋回体13は、下部走行体11よりも上に設けられ、下部走行体11に対して旋回可能である。上部旋回体13は、キャブ13c(運転室)を備える。 The lower traveling body 11 is a portion for traveling the work machine 10 shown in FIG. 1, and includes, for example, a crawler. The upper rotating body 13 is provided above the lower traveling body 11 and can turn with respect to the lower traveling body 11. The upper swing body 13 includes a cab 13c (driver's cab).

作業装置20は、上部旋回体13に取り付けられ、作業を行う装置である。作業装置20は、ブーム21と、アーム23と、先端アタッチメント25と、を備える。ブーム21は、上部旋回体13に回転可能に取り付けられる。アーム23は、ブーム21に回転可能に取り付けられる。 The work device 20 is a device attached to the upper swivel body 13 to perform work. The working device 20 includes a boom 21, an arm 23, and a tip attachment 25. The boom 21 is rotatably attached to the upper swing body 13. The arm 23 is rotatably attached to the boom 21.

先端アタッチメント25は、作業装置20の先端部に設けられる。先端アタッチメント25は、複数種類に交換可能である。先端アタッチメント25の種類には、バケット(図1に示す例)、クラムシェル、ハサミ状の装置、ハンマ、マグネットなどがある。例えば、先端アタッチメント25がバケットの場合、先端アタッチメント25を、様々な寸法のバケットに交換可能である。先端アタッチメント25は、アーム23に回転(揺動)可能に取り付けられる。先端アタッチメント25の、アーム23に対する回転軸を、回転軸25aとする。先端アタッチメント25の寸法計測の基準となる位置を、基準位置25bとする。基準位置25bは、先端アタッチメント25の種類によらず決まる位置である。基準位置25bは、例えば、先端アタッチメント25の基端部であり、例えば、回転軸25aの位置(バケットピンの位置など)である。図5に示すように、基準位置25bなどにマーカー25mが取り付けられる。マーカー25mは、画像認識用の目印であり、所定の形状、模様、色彩などを有する。マーカー25mは、基準位置25bに取り付けられる。または、マーカー25mは、カメラ40から見たときに基準位置25bに相当する位置に取り付けられる。カメラ40から見たときに基準位置25bに相当する位置は、例えば、カメラ40から見たときに基準位置25bと重なる位置、または、これに近い位置などである。図5に示す例では、マーカー25mは、アーム23に取り付けられる。 The tip attachment 25 is provided at the tip of the working device 20. The tip attachment 25 can be replaced with a plurality of types. Types of tip attachment 25 include buckets (example shown in FIG. 1), clamshells, scissors-like devices, hammers, magnets, and the like. For example, when the tip attachment 25 is a bucket, the tip attachment 25 can be replaced with buckets of various dimensions. The tip attachment 25 is rotatably (swinged) attached to the arm 23. The rotation axis of the tip attachment 25 with respect to the arm 23 is defined as the rotation axis 25a. The reference position for measuring the dimensions of the tip attachment 25 is the reference position 25b. The reference position 25b is a position determined regardless of the type of the tip attachment 25. The reference position 25b is, for example, the base end portion of the tip attachment 25, for example, the position of the rotation shaft 25a (the position of the bucket pin, etc.). As shown in FIG. 5, a marker 25m is attached to a reference position 25b or the like. The marker 25m is a mark for image recognition, and has a predetermined shape, pattern, color, and the like. The marker 25m is attached to the reference position 25b. Alternatively, the marker 25m is attached at a position corresponding to the reference position 25b when viewed from the camera 40. The position corresponding to the reference position 25b when viewed from the camera 40 is, for example, a position overlapping the reference position 25b when viewed from the camera 40, or a position close to the reference position 25b. In the example shown in FIG. 5, the marker 25m is attached to the arm 23.

作業装置姿勢センサ30は、図1に示す作業装置20の姿勢を検出するセンサである。作業装置姿勢センサ30は、ブーム角度センサ31と、アーム角度センサ33と、先端アタッチメント角度センサ35と、を備える。ブーム角度センサ31は、上部旋回体13に対するブーム21の角度(ブーム21角度)を検出する。例えば、ブーム角度センサ31は、ブーム21の基端部に設けられる角度センサ(エンコーダ)である。例えば角度センサである点は、アーム角度センサ33、および先端アタッチメント角度センサ35も同様である。例えば、ブーム角度センサ31は、ブーム21を駆動させるブームシリンダの伸縮量を検出することで、ブーム21角度を検出してもよい。この場合、ブームシリンダの伸縮量が、ブーム21角度に変換される。シリンダの伸縮量を検出することで角度を検出してもよい点は、アーム角度センサ33および先端アタッチメント角度センサ35も同様である。アーム角度センサ33は、ブーム21に対するアーム23の角度(アーム23角度)を検出する。先端アタッチメント角度センサ35は、アーム23に対する先端アタッチメント25の角度を検出する。 The work device posture sensor 30 is a sensor that detects the posture of the work device 20 shown in FIG. The work device posture sensor 30 includes a boom angle sensor 31, an arm angle sensor 33, and a tip attachment angle sensor 35. The boom angle sensor 31 detects the angle of the boom 21 with respect to the upper swing body 13 (boom 21 angle). For example, the boom angle sensor 31 is an angle sensor (encoder) provided at the base end of the boom 21. For example, the point that it is an angle sensor is the same for the arm angle sensor 33 and the tip attachment angle sensor 35. For example, the boom angle sensor 31 may detect the boom 21 angle by detecting the amount of expansion and contraction of the boom cylinder that drives the boom 21. In this case, the amount of expansion and contraction of the boom cylinder is converted into the boom 21 angle. The same applies to the arm angle sensor 33 and the tip attachment angle sensor 35 in that the angle may be detected by detecting the amount of expansion and contraction of the cylinder. The arm angle sensor 33 detects the angle of the arm 23 with respect to the boom 21 (arm 23 angle). The tip attachment angle sensor 35 detects the angle of the tip attachment 25 with respect to the arm 23.

カメラ40は、先端アタッチメント25を含む画像を撮影可能である。カメラ40は、作業装置20およびその周囲の画像を撮影する。カメラ40は、先端アタッチメント25の可動範囲として想定される全範囲を撮影可能であることが好ましい。カメラ40は、上部旋回体13に取り付けられ、例えば、キャブ13c(例えば左前上部など)に取り付けられ、例えば、上部旋回体13のうちキャブ13c以外の部分に取り付けられてもよい。カメラ40は、例えば単眼カメラでもよく、例えばステレオカメラなどでもよい。カメラ40のコストを低くするために、カメラ40は単眼カメラであることが好ましい。カメラ40の撮影範囲は、可変でもよく、固定でもよい。カメラ40は、上部旋回体13に対して移動(例えば回動)可能でもよく、上部旋回体13に対して固定されてもよい。カメラ40は、ズーム機能を有してもよい。なお、図1に、カメラ40の画角40aの一例を示す。また、以下では、特に断らない限り、カメラ40の撮影範囲が可変である場合について説明する。 The camera 40 can capture an image including the tip attachment 25. The camera 40 captures an image of the working device 20 and its surroundings. It is preferable that the camera 40 can capture the entire range assumed as the movable range of the tip attachment 25. The camera 40 may be attached to the upper swing body 13, for example, the cab 13c (for example, the upper left front, etc.), and may be attached to, for example, a portion of the upper swing body 13 other than the cab 13c. The camera 40 may be, for example, a monocular camera, or may be, for example, a stereo camera. In order to reduce the cost of the camera 40, the camera 40 is preferably a monocular camera. The shooting range of the camera 40 may be variable or fixed. The camera 40 may be movable (for example, rotate) with respect to the upper swing body 13, or may be fixed to the upper swing body 13. The camera 40 may have a zoom function. Note that FIG. 1 shows an example of the angle of view 40a of the camera 40. Further, in the following, unless otherwise specified, a case where the shooting range of the camera 40 is variable will be described.

カメラ撮影範囲変更部45は、カメラ40の撮影範囲を変える。例えば、カメラ撮影範囲変更部45は、上部旋回体13(図1参照)に対してカメラ40を移動させることでカメラ40の撮影範囲を変えてもよい。例えば、カメラ撮影範囲変更部45は、カメラ40のズーム位置を変えることで、カメラ40の撮影範囲を変えてもよい。例えば、カメラ撮影範囲変更部45は、下部走行体11(図1参照)に対して上部旋回体13を旋回させることによって、カメラ40の撮影範囲を変更してもよい。 The camera shooting range changing unit 45 changes the shooting range of the camera 40. For example, the camera shooting range changing unit 45 may change the shooting range of the camera 40 by moving the camera 40 with respect to the upper swivel body 13 (see FIG. 1). For example, the camera shooting range changing unit 45 may change the shooting range of the camera 40 by changing the zoom position of the camera 40. For example, the camera shooting range changing unit 45 may change the shooting range of the camera 40 by turning the upper rotating body 13 with respect to the lower traveling body 11 (see FIG. 1).

作業装置駆動部47は、作業装置20(図1参照)を駆動する。具体的には例えば、作業装置駆動部47は、作業装置20を駆動させるアクチュエータ(例えばシリンダ)、および、アクチュエータを制御する油圧回路などである。 The work device drive unit 47 drives the work device 20 (see FIG. 1). Specifically, for example, the work device drive unit 47 is an actuator (for example, a cylinder) that drives the work device 20, a hydraulic circuit that controls the actuator, and the like.

コントローラ60は、信号(情報)の入出力、および演算(判定、算出)などを行う。コントローラ60には、作業装置姿勢センサ30、カメラ40、カメラ撮影範囲変更部45、および作業装置駆動部47などが接続される。コントローラ60により実現される機能には、例えば、カメラ撮影範囲制御機能61と、作業装置姿勢制御機能63と、干渉防止制御機能65と、がある。カメラ撮影範囲制御機能61は、カメラ40の撮影範囲を制御(自動制御)する機能である。作業装置姿勢制御機能63は、作業装置20の姿勢を制御(自動制御)する機能である。なお、干渉防止制御機能65については後述する。また、コントローラ60には、これら以外の機能があってもよい。 The controller 60 performs input / output of signals (information) and calculations (determination, calculation). A work device posture sensor 30, a camera 40, a camera shooting range changing unit 45, a work device drive unit 47, and the like are connected to the controller 60. The functions realized by the controller 60 include, for example, a camera shooting range control function 61, a work device attitude control function 63, and an interference prevention control function 65. The camera shooting range control function 61 is a function for controlling (automatically controlling) the shooting range of the camera 40. The work device posture control function 63 is a function for controlling (automatically controlling) the posture of the work device 20. The interference prevention control function 65 will be described later. Further, the controller 60 may have functions other than these.

(作動)
図3に示すフローチャートを参照して、先端アタッチメント寸法計測装置1の作動(主にコントローラ60の作動)を説明する。なお、以下では、先端アタッチメント寸法計測装置1の各構成要素(カメラ40、コントローラ60など)については主に図1を参照し、フローチャートの各ステップについては図3を参照して説明する。
(Operation)
The operation of the tip attachment dimension measuring device 1 (mainly the operation of the controller 60) will be described with reference to the flowchart shown in FIG. In the following, each component (camera 40, controller 60, etc.) of the tip attachment dimension measuring device 1 will be described mainly with reference to FIG. 1, and each step of the flowchart will be described with reference to FIG.

ステップS11では、図4に示すように、カメラ40(図1参照)が、画像を撮影する。カメラ40に撮影された画像を、カメラ画像Imとする。そして、コントローラ60(図1参照)が、カメラ画像Imの中から、簡素背景範囲Aを決定(選択)する。さらに詳しくは、コントローラ60は、カメラ画像Imの中から、画像が動いていない、または、ほぼ動いていない範囲を、簡素背景範囲Aとして選択する。具体的には、コントローラ60には、画像の時間的変化の度合いに関する所定値(閾値)が、予め設定される。そして、コントローラ60は、カメラ画像Imのうち、画像の時間的変化の度合いが所定値以下の範囲を、簡素背景範囲Aとする。コントローラ60は、カメラ画像Imの中で、画像の時間的変化の度合いが最も少ない部分およびその周辺を、簡素背景範囲Aとしてもよい。コントローラ60は、画像の時間的変化の度合いだけでなく、画像の形状や色の複雑さにも基づいて、簡素背景範囲Aを決定してもよい。 In step S11, as shown in FIG. 4, the camera 40 (see FIG. 1) captures an image. The image taken by the camera 40 is referred to as a camera image Im. Then, the controller 60 (see FIG. 1) determines (selects) the simple background range A from the camera image Im. More specifically, the controller 60 selects a range in which the image is not moving or is almost not moving from the camera image Im as the simple background range A. Specifically, a predetermined value (threshold value) regarding the degree of temporal change of the image is set in the controller 60 in advance. Then, the controller 60 defines the range of the camera image Im in which the degree of temporal change of the image is equal to or less than a predetermined value as the simple background range A. The controller 60 may set the portion of the camera image Im where the degree of temporal change of the image is the smallest and its periphery as the simple background range A. The controller 60 may determine the simple background range A based not only on the degree of temporal change of the image but also on the complexity of the shape and color of the image.

ステップS21およびS23では、図1に示すコントローラ60は、簡素背景範囲A(図4参照。以下、簡素背景範囲Aについて同様)内に先端アタッチメント25が映るように、カメラ40の撮影範囲および作業装置20の姿勢を制御する。 In steps S21 and S23, the controller 60 shown in FIG. 1 has a shooting range of the camera 40 and a working device so that the tip attachment 25 is reflected in the simple background range A (see FIG. 4, hereinafter the same applies to the simple background range A). Controls 20 postures.

ステップS21では、コントローラ60は、簡素背景範囲A内に先端アタッチメント25が映り得るように、カメラ40の撮影範囲を制御(自動制御)する。図2に示すコントローラ60は、カメラ撮影範囲変更部45に指令を出力することで、カメラ40の撮影範囲を制御する。カメラ40の撮影範囲の制御の具体例は、次の通りである。図4に示す例では、作業装置20の姿勢を変えても、簡素背景範囲A内に先端アタッチメント25が映り得ない。そこで、図1に示すコントローラ60は、例えば、上部旋回体13に対するカメラ40の位置を変えてもよく、例えば、下部走行体11に対して上部旋回体13を旋回させてもよい。また、例えば、カメラ画像Imの中で寸法計測に用いられる部分が決まっている場合(例えば画面中央などと決まっている場合)に、寸法計測に用いられる部分に簡素背景範囲Aが配置されるように、カメラ40の撮影範囲が制御されてもよい。また、例えば、カメラ40がズーム機能を有する場合に、カメラ画像Im内での簡素背景範囲Aの割合ができるだけ多くなるように、カメラ40のズーム位置が設定されてもよい。なお、このステップS21の処理が完了した時点では、簡素背景範囲A内に先端アタッチメント25が映っていなくてもよい。下記のステップS23で作業装置20の姿勢を変えたときに簡素背景範囲A内に先端アタッチメント25が映ることが可能となるように、カメラ40の撮影範囲が設定されればよい。このステップS21で設定されたカメラ40の撮影範囲は、例えば、寸法計測が終了するまで(図3に示す一連のフローが終了するまで)固定される(変更されてもよい)。 In step S21, the controller 60 controls (automatically controls) the shooting range of the camera 40 so that the tip attachment 25 can be projected within the simple background range A. The controller 60 shown in FIG. 2 controls the shooting range of the camera 40 by outputting a command to the camera shooting range changing unit 45. Specific examples of controlling the shooting range of the camera 40 are as follows. In the example shown in FIG. 4, the tip attachment 25 cannot be seen in the simple background range A even if the posture of the work device 20 is changed. Therefore, the controller 60 shown in FIG. 1 may change the position of the camera 40 with respect to the upper rotating body 13, for example, or may rotate the upper rotating body 13 with respect to the lower traveling body 11. Further, for example, when the part used for the dimension measurement is determined in the camera image Im (for example, when the part used for the dimension measurement is determined), the simple background range A is arranged in the portion used for the dimension measurement. In addition, the shooting range of the camera 40 may be controlled. Further, for example, when the camera 40 has a zoom function, the zoom position of the camera 40 may be set so that the ratio of the simple background range A in the camera image Im is as large as possible. When the process of step S21 is completed, the tip attachment 25 may not be reflected in the simple background range A. The shooting range of the camera 40 may be set so that the tip attachment 25 can be projected in the simple background range A when the posture of the working device 20 is changed in step S23 below. The shooting range of the camera 40 set in step S21 is fixed (may be changed) until, for example, the dimension measurement is completed (until the series of flows shown in FIG. 3 is completed).

ステップS23では、図1に示すコントローラ60は、簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を制御(自動制御)する。コントローラ60は、作業装置駆動部47(図2参照)に指令を出力することで、作業装置20の姿勢を制御する。コントローラ60は、ブーム21およびアーム23の姿勢(角度)を制御する。ここでは、コントローラ60は、アーム23に対する先端アタッチメント25の角度は制御しなくてもよい。コントローラ60は、先端アタッチメント25を揺動(下記のステップS41を参照)させたときに、簡素背景範囲A内に先端アタッチメント25が映り続けることが可能となるように、作業装置20の姿勢を制御する。このステップS23で設定されたブーム21およびアーム23の姿勢は、例えば、寸法計測が終了するまで(図3に示す一連のフローが終了するまで)固定される(変更されてもよい)。 In step S23, the controller 60 shown in FIG. 1 controls (automatically controls) the posture of the work device 20 so that the tip attachment 25 is reflected in the simple background range A. The controller 60 controls the posture of the work device 20 by outputting a command to the work device drive unit 47 (see FIG. 2). The controller 60 controls the postures (angles) of the boom 21 and the arm 23. Here, the controller 60 does not have to control the angle of the tip attachment 25 with respect to the arm 23. The controller 60 controls the posture of the working device 20 so that when the tip attachment 25 is swung (see step S41 below), the tip attachment 25 can continue to be reflected in the simple background range A. do. The postures of the boom 21 and the arm 23 set in step S23 are fixed (may be changed) until, for example, the dimensional measurement is completed (until the series of flows shown in FIG. 3 is completed).

ステップS31では、コントローラ60は、カメラ画像Im中の基準位置25bが映る位置(カメラ画像Imにおける座標)を取得する。この処理は、例えば、次の[例1a]、[例1b]、または[例1c]のように行われる。[例1a]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ画像Im中の基準位置25bが映る位置を算出する。さらに詳しくは、コントローラ60は、ブーム21角度、およびアーム23角度に基づいて、この算出を行う。また、コントローラ60は、ブーム21の構造の情報(寸法や形状など)、およびアーム23の構造の情報に基づいて、この算出を行ってもよい。また、コントローラ60は、上部旋回体13におけるカメラ40の位置の情報、具体的には例えば、カメラ40の位置とブーム21の基端部との相対位置の情報に基づいて、この算出を行ってもよい。 In step S31, the controller 60 acquires the position (coordinates in the camera image Im) where the reference position 25b in the camera image Im is projected. This process is performed, for example, as in the following [Example 1a], [Example 1b], or [Example 1c]. [Example 1a] The controller 60 calculates a position in which the reference position 25b in the camera image Im is projected based on the posture of the work device 20 detected by the work device posture sensor 30. More specifically, the controller 60 makes this calculation based on the boom 21 angle and the arm 23 angle. Further, the controller 60 may perform this calculation based on the information on the structure of the boom 21 (dimensions, shapes, etc.) and the information on the structure of the arm 23. Further, the controller 60 performs this calculation based on the information on the position of the camera 40 on the upper swing body 13, specifically, for example, the information on the relative position between the position of the camera 40 and the base end portion of the boom 21. May be good.

[例1b]コントローラ60は、図5に示すカメラ画像Imからマーカー25mを認識(画像認識)することで、カメラ画像Im中の基準位置25bが映る位置を取得してもよい。[例1c]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢、および、マーカー25mの画像認識に基づいて、カメラ画像Im中の基準位置25bが映る位置を取得してもよい。この場合、基準位置25b以外の位置に、マーカー25mと同じもの、または似たものがあっても、コントローラ60は、カメラ画像Im中の基準位置25bが映る位置を精度よく取得できる。 [Example 1b] The controller 60 may acquire the position where the reference position 25b in the camera image Im is projected by recognizing (image recognition) the marker 25m from the camera image Im shown in FIG. [Example 1c] Even if the controller 60 acquires the position where the reference position 25b in the camera image Im is reflected based on the posture of the work device 20 detected by the work device posture sensor 30 and the image recognition of the marker 25 m. good. In this case, even if there is a marker 25m at a position other than the reference position 25b that is the same as or similar to the marker 25m, the controller 60 can accurately acquire the position where the reference position 25b is projected in the camera image Im.

ステップS41では、図1に示すコントローラ60は、先端アタッチメント25を揺動させる。コントローラ60は、作業装置駆動部47(図2参照)に指令を出力することで、先端アタッチメント25を揺動(自動的に揺動)させる。例えば、コントローラ60は、アーム23に対して先端アタッチメント25が回動可能な範囲の全域で、先端アタッチメント25を揺動させる。例えば、先端アタッチメント25がバケットの場合、コントローラ60は、最も掘削側(すくい側)と、最も排土側と、の間の全域で、先端アタッチメント25を揺動させる。このとき、カメラ40は、簡素背景範囲A内に映った、揺動している先端アタッチメント25の画像を、撮影(時間的に連続して撮影)する。 In step S41, the controller 60 shown in FIG. 1 swings the tip attachment 25. The controller 60 swings (automatically swings) the tip attachment 25 by outputting a command to the working device drive unit 47 (see FIG. 2). For example, the controller 60 swings the tip attachment 25 with respect to the arm 23 over the entire range in which the tip attachment 25 can rotate. For example, when the tip attachment 25 is a bucket, the controller 60 swings the tip attachment 25 over the entire area between the most excavated side (scooping side) and the most soil removal side. At this time, the camera 40 captures (continuously captures in time) an image of the swinging tip attachment 25 reflected in the simple background range A.

なお、コントローラ60には、先端アタッチメント25を揺動させない条件が予め設定されてもよい。例えば、先端アタッチメント25を揺動させれば先端アタッチメント25が地面などと干渉すると予想される場合は、コントローラ60は、先端アタッチメント25を揺動させなくてもよい。具体的には例えば、平らな地面に相当する面(下部走行体11の底面と平行かつ下部走行体11の底面と平行な仮想面)に対する、基準位置25bの高さが所定値以下の場合、コントローラ60は、先端アタッチメント25を揺動させなくてもよい。なお、このステップS41の時点では、先端アタッチメント25の正確な寸法は不明である。一方、作業装置20に設けられると想定される先端アタッチメント25の寸法は、おおよそ決まっている(ある範囲内に限定される)。そこで、例えば、コントローラ60は、作業装置20に設けられると想定される先端アタッチメント25の中で最も大きいものを揺動させても、先端アタッチメント25が地面などと干渉しないと判断できる場合に、先端アタッチメント25を揺動させてもよい。 The controller 60 may be preset with conditions that prevent the tip attachment 25 from swinging. For example, if it is expected that the tip attachment 25 will interfere with the ground or the like if the tip attachment 25 is swung, the controller 60 does not have to swing the tip attachment 25. Specifically, for example, when the height of the reference position 25b with respect to a surface corresponding to a flat ground (a virtual surface parallel to the bottom surface of the lower traveling body 11 and parallel to the bottom surface of the lower traveling body 11) is equal to or less than a predetermined value. The controller 60 does not have to swing the tip attachment 25. At the time of step S41, the exact dimensions of the tip attachment 25 are unknown. On the other hand, the dimensions of the tip attachment 25, which is assumed to be provided in the working device 20, are approximately fixed (limited to a certain range). Therefore, for example, the controller 60 can determine that the tip attachment 25 does not interfere with the ground or the like even if the largest tip attachment 25 assumed to be provided in the work device 20 is swung. The attachment 25 may be swung.

ステップS43では、コントローラ60は、図5に示すように、カメラ画像Imに基づいて(画像処理により)、先端アタッチメント25の幅寸法Xを取得する。幅寸法Xは、先端アタッチメント25の揺動の回転軸25aが延びる方向(回転軸25a方向)における先端アタッチメント25の寸法である。この処理の詳細は次の通りである。カメラ画像Imにおける、回転軸25aの方向を、画像横方向xとする。カメラ画像Imにおける、回転軸25aに直交する方向(画像横方向xに直交する方向)を、画像縦方向yとする。コントローラ60は、先端アタッチメント25の画像横方向xにおける幅寸法X(以下、「画像上の幅寸法X」ともいう)を取得する。そして、コントローラ60は、画像上の幅寸法Xから、実際の先端アタッチメント25の幅寸法X(以下、「実際の幅寸法X」ともいう)を求める(算出する、換算する)。実際の幅寸法Xは、回転軸25aの方向における、実際の先端アタッチメント25の寸法(メートルなどの単位で表される寸法)である。この換算は、例えば、図1に示すカメラ40から基準位置25bまでの距離、および、カメラ40のズーム機能を利用している場合はズーム位置などに基づいて行われる(ステップS45での換算も同様)。なお、コントローラ60は、先端アタッチメント25の先端部の幅寸法Xを取得してもよく(図5参照)、先端アタッチメント25全体(基端部から先端部までの全体)の幅寸法Xを取得してもよい(図示なし)。 In step S43, the controller 60 acquires the width dimension X of the tip attachment 25 based on the camera image Im (by image processing), as shown in FIG. The width dimension X is the dimension of the tip attachment 25 in the direction in which the swinging rotation shaft 25a of the tip attachment 25 extends (direction of the rotation shaft 25a). The details of this process are as follows. The direction of the rotation axis 25a in the camera image Im is defined as the image lateral direction x. The direction orthogonal to the rotation axis 25a (direction orthogonal to the horizontal direction x of the image) in the camera image Im is defined as the vertical direction y of the image. The controller 60 acquires the width dimension X (hereinafter, also referred to as “width dimension X on the image”) of the tip attachment 25 in the image lateral direction x. Then, the controller 60 obtains (calculates, converts) the actual width dimension X of the tip attachment 25 (hereinafter, also referred to as “actual width dimension X”) from the width dimension X on the image. The actual width dimension X is the actual dimension of the tip attachment 25 (dimension expressed in units such as meters) in the direction of the rotation axis 25a. This conversion is performed based on, for example, the distance from the camera 40 shown in FIG. 1 to the reference position 25b, and the zoom position when the zoom function of the camera 40 is used (the conversion in step S45 is also the same). ). The controller 60 may acquire the width dimension X of the tip portion of the tip attachment 25 (see FIG. 5), and acquires the width dimension X of the entire tip attachment 25 (the entire region from the base end portion to the tip end portion). It may be (not shown).

ステップS45では、コントローラ60は、図5に示すように、カメラ画像Imに基づいて(画像処理により)、先端アタッチメント25を揺動させたときの縦寸法Yの最大値Ymaxを取得する。縦寸法Yは、先端アタッチメント25の基準位置25bから先端までの、回転軸25aの方向に直交する方向における寸法である。この処理の詳細は次の通りである。コントローラ60は、基準位置25bから、先端アタッチメント25の先端までの、画像縦方向yにおける縦寸法Y(以下「画像上の縦寸法Y」ともいう)を取得する。さらに詳しくは、基準位置25bの画像縦方向yの座標と、先端アタッチメント25の先端の画像縦方向yの座標と、の差分を算出する。先端アタッチメント25が揺動する(ステップS41参照)と、画像上の縦寸法Yが、増加または減少する。コントローラ60は、先端アタッチメント25を揺動させたときの、画像上の縦寸法Yの最大値Ymax(画像上の最大値Ymax)を取得する。そして、コントローラ60は、画像上の縦寸法Yの最大値Ymaxから、実際の先端アタッチメント25の縦寸法Yの最大値Ymaxを求める(算出する、換算する)(幅寸法Xの換算と同様)。 In step S45, as shown in FIG. 5, the controller 60 acquires the maximum value Ymax of the vertical dimension Y when the tip attachment 25 is swung based on the camera image Im (by image processing). The vertical dimension Y is a dimension from the reference position 25b of the tip attachment 25 to the tip in a direction orthogonal to the direction of the rotation axis 25a. The details of this process are as follows. The controller 60 acquires the vertical dimension Y (hereinafter, also referred to as “vertical dimension Y on the image”) in the vertical direction y of the image from the reference position 25b to the tip of the tip attachment 25. More specifically, the difference between the coordinates of the image vertical direction y of the reference position 25b and the coordinates of the image vertical direction y of the tip of the tip attachment 25 is calculated. When the tip attachment 25 swings (see step S41), the vertical dimension Y on the image increases or decreases. The controller 60 acquires the maximum value Ymax (maximum value Ymax on the image) of the vertical dimension Y on the image when the tip attachment 25 is swung. Then, the controller 60 obtains (calculates, converts) the maximum value Ymax of the actual vertical dimension Y of the tip attachment 25 from the maximum value Ymax of the vertical dimension Y on the image (similar to the conversion of the width dimension X).

そして、図1に示すコントローラ60は、先端アタッチメント25の寸法計測の処理を終了する。コントローラ60は、先端アタッチメント25の寸法を、例えば、図2に示す干渉防止制御機能65などの制御パラメータに反映させる。干渉防止制御機能65は、先端アタッチメント25が周囲の物と干渉することを防ぐように、作業装置20の動作を制御(制限)する機能である。上記「周囲の物」は、例えば、上部旋回体13、下部走行体11、建物の屋根、天井、壁、または床などである。 Then, the controller 60 shown in FIG. 1 ends the process of measuring the dimensions of the tip attachment 25. The controller 60 reflects the dimensions of the tip attachment 25 in control parameters such as the interference prevention control function 65 shown in FIG. 2, for example. The interference prevention control function 65 is a function of controlling (restricting) the operation of the work device 20 so as to prevent the tip attachment 25 from interfering with surrounding objects. The "surrounding object" is, for example, an upper swivel body 13, a lower traveling body 11, a roof, a ceiling, a wall, or a floor of a building.

(効果)
図1に示す先端アタッチメント寸法計測装置1による効果は次の通りである。
(effect)
The effects of the tip attachment dimension measuring device 1 shown in FIG. 1 are as follows.

(第1の発明の効果)
先端アタッチメント寸法計測装置1は、作業装置20と、カメラ40と、コントローラ60と、を備える。作業装置20は、作業機械10の上部旋回体13に取り付けられる。作業装置20は、交換可能な先端アタッチメント25を先端部(作業装置20の先端部)に有する。カメラ40は、上部旋回体13に取り付けられ、先端アタッチメント25を含む画像(カメラ画像Im(図4参照))を撮影する。
(Effect of the first invention)
The tip attachment dimension measuring device 1 includes a working device 20, a camera 40, and a controller 60. The work device 20 is attached to the upper swing body 13 of the work machine 10. The working device 20 has a replaceable tip attachment 25 at the tip (tip of the working device 20). The camera 40 is attached to the upper swing body 13 and takes an image (camera image Im (see FIG. 4)) including the tip attachment 25.

[構成1−1]コントローラ60は、カメラ40に撮影された画像(カメラ画像Im)の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲A(図4参照)を決定する。コントローラ60は、図5に示すように、簡素背景範囲A内に先端アタッチメント25が映った画像であって、回転軸25aを中心に揺動しているの先端アタッチメント25の画像を、カメラ40に撮影させる。 [Structure 1-1] The controller 60 has a simple background range A (see FIG. 4) in which the degree of temporal change of the image is within a predetermined value from the images (camera image Im) captured by the camera 40. To determine. As shown in FIG. 5, the controller 60 is an image in which the tip attachment 25 is reflected in the simple background range A, and the image of the tip attachment 25 swinging about the rotation axis 25a is transmitted to the camera 40. Let me shoot.

[構成1−2]コントローラ60(図1参照)は、カメラ40(図1参照)に撮影された画像(カメラ画像Im)に基づいて、回転軸25aの方向における、先端アタッチメント25の画像上の幅寸法Xを取得する。コントローラ60は、取得した画像上の幅寸法Xから、先端アタッチメント25の実際の幅寸法Xを求める。先端アタッチメント25の基準位置25bから先端までの、回転軸25aの方向に直交する方向における寸法を、縦寸法Yとする。コントローラ60は、カメラ40に撮影された画像(カメラ画像Im)に基づいて、先端アタッチメント25を揺動させたときの先端アタッチメント25の画像上の縦寸法Yの最大値Ymaxを取得する。コントローラ60は、取得した画像上の縦寸法Yの最大値Ymaxから、先端アタッチメント25の実際の縦寸法Yを求める。 [Structure 1-2] The controller 60 (see FIG. 1) is on the image of the tip attachment 25 in the direction of the rotation axis 25a based on the image (camera image Im) taken by the camera 40 (see FIG. 1). Acquire the width dimension X. The controller 60 obtains the actual width dimension X of the tip attachment 25 from the width dimension X on the acquired image. The dimension from the reference position 25b of the tip attachment 25 to the tip in the direction orthogonal to the direction of the rotation axis 25a is defined as the vertical dimension Y. The controller 60 acquires the maximum value Ymax of the vertical dimension Y on the image of the tip attachment 25 when the tip attachment 25 is swung based on the image (camera image Im) captured by the camera 40. The controller 60 obtains the actual vertical dimension Y of the tip attachment 25 from the maximum value Ymax of the vertical dimension Y on the acquired image.

上記[構成1−1]では、カメラ画像Imでの、先端アタッチメント25の周囲の画像(背景)の時間的変化の度合いが所定値以下である(変化が少ない)。よって、コントローラ60(図1参照)は、先端アタッチメント25と背景とを区別しやすく、揺動している先端アタッチメント25の外形(輪郭)を認識しやすい。その結果、先端アタッチメント25の寸法計測を精度よく行える。 In the above [Structure 1-1], the degree of temporal change of the image (background) around the tip attachment 25 in the camera image Im is equal to or less than a predetermined value (the change is small). Therefore, the controller 60 (see FIG. 1) can easily distinguish the tip attachment 25 from the background, and can easily recognize the outer shape (contour) of the swinging tip attachment 25. As a result, the dimensional measurement of the tip attachment 25 can be performed with high accuracy.

また、上記[構成1−1]では、図1に示すコントローラ60は、先端アタッチメント25と背景とを区別する際に、先端アタッチメント25およびその周囲に映る物から、カメラ40までの、距離分布の情報を用いる必要がない。また、上記[構成1−2]では、コントローラ60は、先端アタッチメント25の寸法を取得する際に、先端アタッチメント25からカメラ40までの距離分布の情報を用いる必要がない。よって、カメラ40は距離分布の情報を取得する必要がない。よってカメラ40が距離分布の情報を取得する必要がある場合に比べ、カメラ40にかかるコストを抑制できる。 Further, in the above [Structure 1-1], the controller 60 shown in FIG. 1 has a distance distribution from the tip attachment 25 and an object reflected around the tip attachment 25 to the camera 40 when distinguishing the tip attachment 25 from the background. There is no need to use information. Further, in the above [Structure 1-2], the controller 60 does not need to use the information of the distance distribution from the tip attachment 25 to the camera 40 when acquiring the dimensions of the tip attachment 25. Therefore, the camera 40 does not need to acquire the distance distribution information. Therefore, the cost of the camera 40 can be suppressed as compared with the case where the camera 40 needs to acquire the information of the distance distribution.

(第2の発明の効果)
[構成2]先端アタッチメント寸法計測装置1は、作業装置20の姿勢を検出する作業装置姿勢センサ30を備える。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
(Effect of the second invention)
[Structure 2] The tip attachment dimension measuring device 1 includes a working device posture sensor 30 that detects the posture of the working device 20. The controller 60 acquires a position in which the reference position 25b in the image (camera image Im) captured by the camera 40 is projected based on the posture of the work device 20 detected by the work device posture sensor 30.

上記[構成2]により、図5に示すカメラ画像Im中の基準位置25bが映る位置を、コントローラ60が画像認識を用いて取得する場合に比べ、図1に示すコントローラ60の処理を簡素化でき、コントローラ60の計算負荷を抑制できる。なお、上記「画像認識を用いて取得する場合」は、例えば、コントローラ60(図1参照)が、カメラ画像Im(図5参照)におけるアーム23の形状などを認識することで、カメラ画像Im中の基準位置25bが映る位置を取得する場合などである。 According to the above [configuration 2], the processing of the controller 60 shown in FIG. 1 can be simplified as compared with the case where the controller 60 acquires the position where the reference position 25b in the camera image Im shown in FIG. 5 is projected by using image recognition. , The calculation load of the controller 60 can be suppressed. In the above-mentioned "acquisition using image recognition", for example, the controller 60 (see FIG. 1) recognizes the shape of the arm 23 in the camera image Im (see FIG. 5) in the camera image Im. This is the case of acquiring the position where the reference position 25b of the above is reflected.

(第3の発明の効果)
[構成3]先端アタッチメント寸法計測装置1は、図5に示すように、マーカー25mを備える。マーカー25mは、基準位置25bに取り付けられる、または、カメラ40(図1参照)から見たときに基準位置25bに相当する位置に取り付けられる。コントローラ60(図1参照)は、カメラ40に撮影された画像(カメラ画像Im)からマーカー25mを認識することで、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
(Effect of the third invention)
[Structure 3] The tip attachment dimension measuring device 1 includes a marker 25 m as shown in FIG. The marker 25m is attached to the reference position 25b, or is attached to a position corresponding to the reference position 25b when viewed from the camera 40 (see FIG. 1). The controller 60 (see FIG. 1) recognizes the marker 25m from the image (camera image Im) captured by the camera 40, so that the reference position 25b in the image (camera image Im) captured by the camera 40 is projected. To get.

上記[構成3]により、コントローラ60は、マーカー25mを使わない画像認識を用いる場合に比べ、カメラ画像Im中の基準位置25bが映る位置を、正確に取得できる。その結果、先端アタッチメント25の寸法計測をより精度よく行える。上記「マーカー25mを使わない画像認識を用いる場合」は、例えば、コントローラ60(図1参照)が、カメラ画像Imにおけるアーム23の形状などを認識することで、カメラ画像Im中の基準位置25bが映る位置を取得する場合などである。 According to the above [Structure 3], the controller 60 can accurately acquire the position where the reference position 25b in the camera image Im is projected, as compared with the case where the image recognition that does not use the marker 25m is used. As a result, the dimensional measurement of the tip attachment 25 can be performed more accurately. In the above "when using image recognition that does not use the marker 25m", for example, the controller 60 (see FIG. 1) recognizes the shape of the arm 23 in the camera image Im, so that the reference position 25b in the camera image Im is set. For example, when acquiring the position to be reflected.

(変形例1)
図6および図7を参照して、図6に示す変形例1の先端アタッチメント寸法計測装置101について、上記実施形態との相違点を説明する。なお、変形例1の先端アタッチメント寸法計測装置101のうち、上記実施形態との共通点については、上記実施形態と同一の符号を付すなどして、説明を省略する。共通点の説明を省略する点については、後述する変形例2の説明も同様である。先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。
(Modification example 1)
With reference to FIGS. 6 and 7, the difference between the tip attachment dimension measuring device 101 of the modification 1 shown in FIG. 6 and the above embodiment will be described. Of the tip attachment dimension measuring device 101 of the modified example 1, the common points with the above-described embodiment will be omitted by giving the same reference numerals as those of the above-described embodiment. The same applies to the description of the modified example 2 described later with respect to the point that the description of the common points is omitted. The tip attachment dimension measuring device 101 includes a shooting range guidance device 170.

上記実施形態のステップS21(図3参照)では、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図1に示すカメラ40の撮影範囲を、コントローラ60が自動的に制御した。一方、図7に示す本変形例のステップS121では、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示す撮影範囲ガイダンス装置170が、カメラ40の撮影範囲のガイダンスを行う。具体的には、撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。撮影範囲ガイダンス装置170は、例えば、文字、図形、音などを出力する。撮影範囲ガイダンス装置170が出力した情報を得た操作者は、カメラ40の撮影範囲を(カメラ撮影範囲変更部45を)操作する。ここで、コントローラ60は、カメラ40の撮影範囲が、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るような範囲になっているか否かを判定してもよい。カメラ40の撮影範囲が、簡素背景範囲A内に先端アタッチメント25が映り得るような範囲になった場合は、図7に示すステップS23に進むようにしてもよい。 In step S21 (see FIG. 3) of the above embodiment, the controller 60 automatically controls the shooting range of the camera 40 shown in FIG. 1 so that the tip attachment 25 can be reflected in the simple background range A shown in FIG. bottom. On the other hand, in step S121 of the present modification shown in FIG. 7, the shooting range guidance device 170 shown in FIG. 6 covers the shooting range of the camera 40 so that the tip attachment 25 can be projected in the simple background range A shown in FIG. Give guidance. Specifically, the shooting range guidance device 170 provides information for allowing the operator to operate the shooting range of the camera 40 shown in FIG. 6 so that the tip attachment 25 can be projected in the simple background range A shown in FIG. Output. The shooting range guidance device 170 outputs, for example, characters, figures, sounds, and the like. The operator who has obtained the information output by the shooting range guidance device 170 operates the shooting range of the camera 40 (camera shooting range changing unit 45). Here, the controller 60 may determine whether or not the shooting range of the camera 40 is within the simple background range A shown in FIG. 4 so that the tip attachment 25 can be projected. When the shooting range of the camera 40 is within the simple background range A so that the tip attachment 25 can be seen, the process may proceed to step S23 shown in FIG.

図6に示す変形例1の先端アタッチメント寸法計測装置101による効果は次の通りである。 The effects of the tip attachment dimension measuring device 101 of the modified example 1 shown in FIG. 6 are as follows.

(第4の発明の効果)
[構成4]先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。
(Effect of Fourth Invention)
[Structure 4] The tip attachment dimension measuring device 101 includes a shooting range guidance device 170. The shooting range guidance device 170 outputs information for allowing the operator to operate the shooting range of the camera 40 shown in FIG. 6 so that the tip attachment 25 can be projected in the simple background range A shown in FIG.

上記[構成4]により、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲をコントローラ60が自動的に制御する場合に比べ、コントローラ60による処理を簡素にできる。 According to the above [Structure 4], the controller 60 is compared with the case where the controller 60 automatically controls the shooting range of the camera 40 shown in FIG. 6 so that the tip attachment 25 can be projected in the simple background range A shown in FIG. Processing can be simplified.

(変形例2)
図8および図9を参照して、変形例1の先端アタッチメント寸法計測装置201について、上記実施形態との相違点を説明する。先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。
(Modification 2)
The difference between the tip attachment dimension measuring device 201 of the first modification and the above-described embodiment will be described with reference to FIGS. 8 and 9. The tip attachment dimension measuring device 201 includes a working device attitude guidance device 270.

上記実施形態のステップS23(図3参照)では、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を、コントローラ60(図2参照)が自動的に制御した。一方、図9に示す本変形例のステップS223では、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、図8に示す作業装置姿勢ガイダンス装置270が、作業装置20(図4参照)の姿勢のガイダンスを行う。具体的には、作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。作業装置姿勢ガイダンス装置270は、例えば、文字、図形、音などを出力する。作業装置姿勢ガイダンス装置270は、撮影範囲ガイダンス装置170(図6参照)と兼用されてもよい。作業装置姿勢ガイダンス装置270が出力した情報を得た操作者は、図4に示す作業装置20の姿勢を(作業装置駆動部47を)操作する。ここで、コントローラ60は、作業装置20の姿勢が、簡素背景範囲A内に先端アタッチメント25が映るような姿勢になっているか否かを判定してもよい。作業装置20の姿勢が、簡素背景範囲A内に先端アタッチメント25が映るような姿勢になっている場合は、図9に示すステップS31に進むようにしてもよい。 In step S23 (see FIG. 3) of the above embodiment, the controller 60 (see FIG. 2) automatically controls the posture of the work device 20 so that the tip attachment 25 is reflected in the simple background range A shown in FIG. bottom. On the other hand, in step S223 of the present modification shown in FIG. 9, the work device posture guidance device 270 shown in FIG. 8 is the work device 20 (FIG. 4) so that the tip attachment 25 is reflected in the simple background range A shown in FIG. Guidance on posture (see). Specifically, the work device posture guidance device 270 outputs information for causing the operator to operate the posture of the work device 20 so that the tip attachment 25 is reflected in the simple background range A shown in FIG. The work device attitude guidance device 270 outputs, for example, characters, figures, sounds, and the like. The working device attitude guidance device 270 may also be used as the photographing range guidance device 170 (see FIG. 6). The operator who has obtained the information output from the work device posture guidance device 270 operates the posture of the work device 20 (work device drive unit 47) shown in FIG. Here, the controller 60 may determine whether or not the posture of the work device 20 is such that the tip attachment 25 is reflected in the simple background range A. When the posture of the work device 20 is such that the tip attachment 25 is reflected in the simple background range A, the process may proceed to step S31 shown in FIG.

図8に示す変形例2の先端アタッチメント寸法計測装置201による効果は次の通りである。 The effect of the tip attachment dimension measuring device 201 of the modified example 2 shown in FIG. 8 is as follows.

(第5の発明の効果)
[構成5]先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。
(Effect of Fifth Invention)
[Structure 5] The tip attachment dimension measuring device 201 includes a working device attitude guidance device 270. The work device posture guidance device 270 outputs information for causing the operator to operate the posture of the work device 20 so that the tip attachment 25 is reflected in the simple background range A shown in FIG.

上記[構成5]により、簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を、図8に示すコントローラ60が自動的に制御する場合に比べ、コントローラ60による処理を簡素にできる。 According to the above [Structure 5], the processing by the controller 60 is simplified as compared with the case where the controller 60 shown in FIG. 8 automatically controls the posture of the working device 20 so that the tip attachment 25 is reflected in the simple background range A. Can be done.

(他の変形例)
上記実施形態および変形例(以下、「上記実施形態など」)は様々に変形されてもよい。例えば、変形例1と変形例2とが組み合わされてもよい。例えば、図2、図6、およびび図8に示すブロック図の各構成要素の接続は変更されてもよい。例えば、図3、図7、および図9に示すフローチャートのステップの順序は変更されてもよい。例えば、上記実施形態などの構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
(Other variants)
The above-described embodiment and modified examples (hereinafter, “the above-described embodiment and the like”) may be variously modified. For example, the modification 1 and the modification 2 may be combined. For example, the connection of each component of the block diagram shown in FIGS. 2, 6 and 8 may be changed. For example, the order of the steps in the flowcharts shown in FIGS. 3, 7, and 9 may be changed. For example, the number of components of the above embodiment may be changed, and some of the components may not be provided.

例えば、上記実施形態などでは、図3に示すステップS41では、図1に示すコントローラ60が、寸法計測時に先端アタッチメント25を自動的に揺動させた。一方、操作者が、寸法計測時に先端アタッチメント25を操作して揺動させてもよい。この場合、作業装置姿勢ガイダンス装置270(図8参照)などのガイダンス装置を用いて、操作者に対して、先端アタッチメント25を揺動させるようにガイダンスを行ってもよい。この場合、コントローラ60は、先端アタッチメント25の寸法計測が可能なように先端アタッチメント25が揺動されたか否かを、先端アタッチメント角度センサ35の検出値に基づいて判定してもよい。 For example, in the above embodiment, in step S41 shown in FIG. 3, the controller 60 shown in FIG. 1 automatically swings the tip attachment 25 at the time of dimension measurement. On the other hand, the operator may operate the tip attachment 25 to swing the tip attachment 25 at the time of dimension measurement. In this case, a guidance device such as the work device attitude guidance device 270 (see FIG. 8) may be used to give guidance to the operator so as to swing the tip attachment 25. In this case, the controller 60 may determine whether or not the tip attachment 25 has been swung so that the dimensions of the tip attachment 25 can be measured based on the detection value of the tip attachment angle sensor 35.

例えば、上記の通り、カメラ40の撮影範囲は、可変でなくてもよい。また、コントローラ60は、カメラ画像Imの一部を、寸法計測に使う部分として設定してもよい。カメラ画像Im(図4参照)における、寸法計測に使う部分の位置や大きさなどは、可変でもよい。例えば、カメラ40の撮影範囲が固定、かつ、上記の寸法計測に使う部分が可変でもよい。例えば、カメラ40の撮影範囲が可変、かつ、上記の寸法計測に使う範囲が可変でもよい。 For example, as described above, the shooting range of the camera 40 does not have to be variable. Further, the controller 60 may set a part of the camera image Im as a part used for dimension measurement. The position and size of the portion used for dimension measurement in the camera image Im (see FIG. 4) may be variable. For example, the shooting range of the camera 40 may be fixed, and the portion used for the above-mentioned dimension measurement may be variable. For example, the shooting range of the camera 40 may be variable, and the range used for the above-mentioned dimension measurement may be variable.

1、101、201 先端アタッチメント寸法計測装置
10 作業機械
13 上部旋回体
20 作業装置
25 先端アタッチメント
25a 回転軸
25b 基準位置
25m マーカー
30 作業装置姿勢センサ
40 カメラ
60 コントローラ
170 撮影範囲ガイダンス装置
270 作業装置姿勢ガイダンス装置
A 簡素背景範囲
X 幅寸法
Y 縦寸法
1, 101, 201 Tip attachment dimensional measuring device 10 Working machine 13 Upper swivel body 20 Working device 25 Tip attachment 25a Rotating shaft 25b Reference position 25m Marker 30 Working device posture sensor 40 Camera 60 Controller 170 Shooting range guidance device 270 Working device posture guidance Device A Simple background range X Width dimension Y Vertical dimension

Claims (5)

作業機械の上部旋回体に取り付けられ、交換可能な先端アタッチメントを先端部に有する作業装置と、
前記上部旋回体に取り付けられ、前記先端アタッチメントを含む画像を撮影するカメラと、
コントローラと、
を備え、
前記コントローラは、
前記カメラに撮影された画像の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲を決定し、
前記簡素背景範囲内に前記先端アタッチメントが映った画像であって、回転軸を中心に揺動している前記先端アタッチメントの画像を、前記カメラに撮影させ、
前記カメラに撮影された画像に基づいて、前記回転軸の方向における前記先端アタッチメントの画像上の幅寸法を取得し、取得した画像上の幅寸法から前記先端アタッチメントの実際の幅寸法を求め、
前記先端アタッチメントの基準位置から先端までの、前記回転軸の方向に直交する方向における寸法を縦寸法としたとき、
前記カメラに撮影された画像に基づいて、前記先端アタッチメントを揺動させたときの前記先端アタッチメントの画像上の縦寸法の最大値を取得し、取得した画像上の縦寸法の最大値から前記先端アタッチメントの実際の縦寸法を求める、
先端アタッチメント寸法計測装置。
A work device that is attached to the upper swing body of a work machine and has a replaceable tip attachment at the tip.
A camera attached to the upper swing body and taking an image including the tip attachment,
With the controller
With
The controller
From the images taken by the camera, a simple background range in which the degree of temporal change of the image is within a predetermined value is determined.
An image of the tip attachment reflected in the simple background range, and an image of the tip attachment swinging around a rotation axis, is taken by the camera.
Based on the image taken by the camera, the width dimension on the image of the tip attachment in the direction of the rotation axis is acquired, and the actual width dimension of the tip attachment is obtained from the width dimension on the acquired image.
When the dimension from the reference position to the tip of the tip attachment in the direction orthogonal to the direction of the rotation axis is the vertical dimension,
Based on the image taken by the camera, the maximum value of the vertical dimension on the image of the tip attachment when the tip attachment is swung is acquired, and the tip is obtained from the maximum value of the vertical dimension on the acquired image. Find the actual vertical dimension of the attachment,
Tip attachment dimensional measuring device.
請求項1に記載の先端アタッチメント寸法計測装置であって、
前記作業装置の姿勢を検出する作業装置姿勢センサを備え、
前記コントローラは、前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記カメラに撮影された画像中の前記基準位置が映る位置を取得する、
先端アタッチメント寸法計測装置。
The tip attachment dimensional measuring device according to claim 1.
A work device posture sensor for detecting the posture of the work device is provided.
The controller acquires a position in which the reference position is reflected in the image captured by the camera based on the posture of the work device detected by the work device posture sensor.
Tip attachment dimensional measuring device.
請求項1または2に記載の先端アタッチメント寸法計測装置であって、
前記基準位置に取り付けられる、または、前記カメラから見たときに前記基準位置に対応する位置に取り付けられるマーカーを備え、
前記コントローラは、前記カメラに撮影された画像から前記マーカーを認識することで、前記カメラに撮影された画像中の前記基準位置が映る位置を取得する、
先端アタッチメント寸法計測装置。
The tip attachment dimensional measuring device according to claim 1 or 2.
A marker that is attached to the reference position or is attached to a position corresponding to the reference position when viewed from the camera.
By recognizing the marker from the image taken by the camera, the controller acquires the position where the reference position is reflected in the image taken by the camera.
Tip attachment dimensional measuring device.
請求項1〜3のいずれか1項に記載の先端アタッチメント寸法計測装置であって、
前記簡素背景範囲内に前記先端アタッチメントが映り得るように、前記カメラの撮影範囲を操作者に操作させるための情報を出力する撮影範囲ガイダンス装置を備える、
先端アタッチメント寸法計測装置。
The tip attachment dimensional measuring device according to any one of claims 1 to 3.
A shooting range guidance device for outputting information for causing an operator to operate the shooting range of the camera is provided so that the tip attachment can be projected within the simple background range.
Tip attachment dimensional measuring device.
請求項1〜4のいずれか1項に記載の先端アタッチメント寸法計測装置であって、
前記簡素背景範囲内に前記先端アタッチメントが映るように、前記作業装置の姿勢を操作者に操作させるための情報を出力する作業装置姿勢ガイダンス装置を備える、
先端アタッチメント寸法計測装置。
The tip attachment dimensional measuring device according to any one of claims 1 to 4.
A work device posture guidance device for outputting information for causing an operator to operate the posture of the work device so that the tip attachment is reflected in the simple background range is provided.
Tip attachment dimensional measuring device.
JP2018007339A 2018-01-19 2018-01-19 Tip attachment dimensional measuring device Active JP6954145B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018007339A JP6954145B2 (en) 2018-01-19 2018-01-19 Tip attachment dimensional measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018007339A JP6954145B2 (en) 2018-01-19 2018-01-19 Tip attachment dimensional measuring device

Publications (2)

Publication Number Publication Date
JP2019124663A JP2019124663A (en) 2019-07-25
JP6954145B2 true JP6954145B2 (en) 2021-10-27

Family

ID=67398464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018007339A Active JP6954145B2 (en) 2018-01-19 2018-01-19 Tip attachment dimensional measuring device

Country Status (1)

Country Link
JP (1) JP6954145B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4962415B2 (en) * 2008-05-30 2012-06-27 株式会社明電舎 Cutting edge position measuring device for construction machinery
JP2012233353A (en) * 2011-05-02 2012-11-29 Komatsu Ltd Calibration system for hydraulic shovel and calibration method for the hydraulic shovel
JP6393412B2 (en) * 2015-04-24 2018-09-19 株式会社日立製作所 Volume estimation apparatus and hydraulic excavator provided with the same
JP6681747B2 (en) * 2016-03-02 2020-04-15 株式会社神戸製鋼所 Attachment recognition device

Also Published As

Publication number Publication date
JP2019124663A (en) 2019-07-25

Similar Documents

Publication Publication Date Title
JP5227139B2 (en) Construction machinery
JP5227841B2 (en) Ambient monitoring device
WO2015182455A1 (en) Work state detection system of work vehicle, and work vehicle
JP6995767B2 (en) Measurement system, work machine and measurement method
JP4996928B2 (en) Work machine ambient monitoring device
JP7305823B2 (en) Excavator and measurement system for excavator
US10544567B2 (en) Method and system for monitoring a rotatable implement of a machine
JP6232497B2 (en) External recognition device
JPWO2012053105A1 (en) Work machine periphery monitoring device
JP7023813B2 (en) Work machine
JP7080750B2 (en) Display control system, remote control system, display control device, and display control method
JP6947659B2 (en) Construction machine position estimation device
JP6651607B2 (en) Excavator
JP4746384B2 (en) Automatic control system for work equipment
KR101359649B1 (en) obstacle detection sensor
JP6954145B2 (en) Tip attachment dimensional measuring device
WO2019142523A1 (en) Tip attachment discrimination device
JP7458262B2 (en) Arm position detection system for construction machinery
JP7428052B2 (en) Surrounding detection device for working machines
JP7263287B2 (en) working machine
WO2022065117A1 (en) Position detection system
KR20210075487A (en) Apparatus for generating image for heavy equipment
CN115362297A (en) Periphery detection device for construction machine
CN116695819A (en) Work vehicle with work implement and sensor
JPWO2021060534A5 (en) Excavator, excavator display, and excavator control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6954145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150