JP6097063B2 - Height measuring device and height measuring method - Google Patents
Height measuring device and height measuring method Download PDFInfo
- Publication number
- JP6097063B2 JP6097063B2 JP2012260731A JP2012260731A JP6097063B2 JP 6097063 B2 JP6097063 B2 JP 6097063B2 JP 2012260731 A JP2012260731 A JP 2012260731A JP 2012260731 A JP2012260731 A JP 2012260731A JP 6097063 B2 JP6097063 B2 JP 6097063B2
- Authority
- JP
- Japan
- Prior art keywords
- height
- target
- stereo camera
- image
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 7
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008602 contraction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Conveying And Assembling Of Building Elements In Situ (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、伸縮可能なブームのヘッドにステレオカメラを設け、このステレオカメラによって撮影された撮影画像を用いてビル等の対象物体の地上からの高さを精密に計測可能な高さ測定装置及び高さ測定方法に関する。 The present invention provides a stereo camera on a telescopic boom head, and a height measuring device capable of precisely measuring the height of a target object such as a building from the ground using a photographed image photographed by the stereo camera. The present invention relates to a height measurement method.
従来から、伸縮可能なブームのヘッドに監視カメラを設け、この監視カメラにより撮影された撮影画像をモニタ装置の画面に表示させ、作業現場を監視する装置を備えたクレーン等の作業機械が知られている（特許文献１等参照）。 2. Description of the Related Art Conventionally, a working machine such as a crane equipped with a device for monitoring a work site by providing a monitoring camera on an extendable boom head and displaying a photographed image taken by the monitoring camera on a screen of a monitor device is known. (Refer to patent document 1 etc.).
また、破砕機等の作業機械のアームにステレオカメラを取付け、作業現場の対象物体の立体形状を求めて、モニタ装置の画面に表示させるものも知られている（特許文献２等参照）。 In addition, there is also known a technique in which a stereo camera is attached to an arm of a work machine such as a crusher, and a three-dimensional shape of a target object at a work site is obtained and displayed on a screen of a monitor device (see Patent Document 2).
ところで、クレーン等の作業機械により作業を行う場合、ブームヘッドの地上からの高さを知りたい場合があり、そこで、クレーンのブームの伸張量、ブームの傾動角度により幾何学的にブームヘッドの対象物体の高さを演算により求めることが考えられる。 By the way, when working with a working machine such as a crane, there is a case where it is desired to know the height of the boom head from the ground. It is conceivable to obtain the height of the object by calculation.
ところが、クレーンのブームは、これを伸張させることによってその自重により撓みが生じることがあり、また、自重による撓みが生じないにしても、フックに吊り下げられる吊り荷によってブームが撓むことがある。 However, the crane boom may be bent due to its own weight by extending the boom, and even if the crane is not bent due to its own weight, the boom may be bent due to a suspended load suspended from the hook. .
従って、クレーンのブームの伸張量、傾動角度により幾何学的にブームヘッドの地上からの高さを演算により求めるのは正確さに欠けるきらいがある。
ところで、撮影対象物体までの距離を測定するのに用いられるステレオカメラをクレーンのブームのヘッドに取付け、そのステレオカメラによって撮影された対象物体の撮影画像と幾何学的に求めたブームヘッドの高さとから対象物体の高さを演算により求めることが考えられる。
Accordingly, it may be difficult to obtain the height of the boom head from the ground geometrically based on the extension amount and tilt angle of the crane boom.
By the way, a stereo camera used for measuring the distance to the object to be imaged is attached to the boom head of the crane, the captured image of the object imaged by the stereo camera and the height of the boom head geometrically determined. From this, it is conceivable to obtain the height of the target object by calculation.
この場合、ステレオカメラを用いて撮影された対象物体の撮影画像からその対象物体の距離を求めても、ブームヘッドの高さに、前述の通り撓みによる誤差が含まれているため、対象物体の距離を正確に求めても対象物体の高さを正確に求めることができないという不都合がある。 In this case, even if the distance of the target object is obtained from the captured image of the target object captured using the stereo camera, the height of the boom head includes an error due to bending as described above. There is an inconvenience that even if the distance is accurately obtained, the height of the target object cannot be obtained accurately.
本発明は、上記の事情に鑑みて為されたもので、クレーンのブームのヘッドに取り付けられたステレオカメラによって撮影された対象物体の撮影画像を用いて、その対象物体の高さを正確に測定することのできる高さ測定装置及び高さ測定方法を提供することにある。 The present invention has been made in view of the above circumstances, and accurately measures the height of a target object using a captured image of the target object captured by a stereo camera attached to the boom head of the crane. An object of the present invention is to provide a height measuring apparatus and a height measuring method that can be used.
本発明の高さ測定装置は、クレーンのブームに取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラと、前記撮像信号が入力されかつ画像処理を行うことにより画像を表示部に表示させる画像処理部とを備え、前記画像処理部は、前記クレーンに設けられて地上からの基準高さを示す基準対象が含まれている画像を用いて前記ステレオカメラから前記基準対象までの高さ方向距離を算出すると共に、高さを求めようとする対象物体が含まれている画像を用いて前記ステレオカメラから前記対象物体までの高さ方向距離を算出し、前記基準対象までの高さ方向距離から前記対象物体までの高さ方向距離を減算することにより前記基準対象に対する前記対象物体の高さを算出する算出部を有し、前記算出部は、前記基準対象が前記ステレオカメラにより撮像された画像に含まれていない場合には、基準対象からの高さが既に求められている対象物体を新たな基準対象として、次に求める対象物体までの基準対象に対する高さを算出することを特徴とする。 The height measuring device of the present invention is a stereo camera that is attached to a boom of a crane and outputs an imaging signal by imaging a work site, and an image is input to the display unit by inputting the imaging signal and performing image processing. An image processing unit to be displayed, and the image processing unit includes a height from the stereo camera to the reference target using an image provided on the crane and including a reference target indicating a reference height from the ground. The height direction distance is calculated, and the height direction distance from the stereo camera to the target object is calculated using an image including the target object whose height is to be obtained. have a calculation unit for calculating the height of the target object relative to the reference object by subtracting the height direction between the direction distance to the target object, the calculating unit, the group If the target is not included in the image captured by the stereo camera, the target object whose height from the reference target has already been determined is set as a new reference target, and the reference target up to the next target object to be determined The height is calculated .
本発明によれば、ステレオカメラにより作業環境を監視しながら、高さを求めようとする対象物体までの基準対象からの高さを正確に測定できる。 ADVANTAGE OF THE INVENTION According to this invention, the height from the reference | standard object to the target object which calculates | requires height can be measured correctly, monitoring a working environment with a stereo camera.
（測定原理の説明）
図１はステレオカメラを用いて、撮影対象までの距離を測定する測定原理を示している。
その図1において、１は撮影対象、２はステレオカメラである。ここでは、ステレオカメラ２は２個の単眼のCCDカメラ２A、２Bからなるものとする。
(Explanation of measurement principle)
FIG. 1 shows a measurement principle for measuring a distance to a subject to be photographed using a stereo camera.
In FIG. 1, 1 is an object to be photographed and 2 is a stereo camera. Here, the stereo camera 2 is composed of two monocular CCD cameras 2A and 2B.
そのCCDカメラ２A、２Bは、それぞれ撮像レンズ３A、３B、二次元撮像素子４A、４Bを有する。符合O1、O2はそれぞれその撮像レンズ３A、３Bの光軸を示し、光軸O1、O2の距離を基線長Dとする。また、撮像レンズ３A、３Bの焦点距離をｆとし、撮影対象１からステレオカメラ２までの距離をLとする。 The CCD cameras 2A and 2B have imaging lenses 3A and 3B and two-dimensional imaging elements 4A and 4B, respectively. Symbols O1 and O2 indicate the optical axes of the imaging lenses 3A and 3B, respectively, and the distance between the optical axes O1 and O2 is a base line length D. The focal length of the imaging lenses 3A and 3B is f, and the distance from the subject 1 to the stereo camera 2 is L.
ステレオカメラ２により撮影対象１を撮影した場合、 撮影対象１からの光束は矢印P１、P2でそれぞれ示すように撮像レンズ３A、３Bに入射し、二次元撮像素子４A、４Bに撮影対象像１A、１Bとして結像される。その二次元撮像素子４A、４Bに対する撮影対象像１A、１Bの結像位置は異なるため、これにより視差Δが生じる。 When the subject 1 is photographed by the stereo camera 2, the luminous flux from the subject 1 is incident on the imaging lenses 3A and 3B as indicated by arrows P1 and P2, respectively, and the subject image 1A and the images 2A and 4B are captured. 1B is imaged. Since the imaging positions of the imaging target images 1A and 1B with respect to the two-dimensional imaging elements 4A and 4B are different, this causes a parallax Δ.
この視差Δを求めることにより、三角測距の原理を利用した演算式L=D×（ｆ／Δ）を用いて、撮影対象１までの距離Lが求められる。
その視差Δは光軸O１、O2上の画素中心に対する撮影対象像１A、１Bの画素位置を各CCDカメラ２A、２Bについて求めることにより求められる。
By obtaining this parallax Δ, the distance L to the photographing object 1 is obtained using an arithmetic expression L = D × (f / Δ) using the principle of triangulation.
The parallax Δ is obtained by obtaining the pixel positions of the photographing target images 1A and 1B with respect to the pixel centers on the optical axes O1 and O2 for the CCD cameras 2A and 2B.
以上の説明では、CCDカメラ２A、２Bに対して撮影対象１が対称位置に存在する場合について説明したが、符合１’で示すように、撮影対象１’がCCDカメラ２A、２Bに対して非対称位置にある場合にも、演算式は複雑化するが、同原理を用いて撮影対象１’までの距離を求めることができる。 In the above description, the case where the photographing target 1 exists in a symmetrical position with respect to the CCD cameras 2A and 2B has been described. However, as indicated by reference numeral 1 ′, the photographing target 1 ′ is asymmetric with respect to the CCD cameras 2A and 2B. Even in the case of the position, the arithmetic expression is complicated, but the distance to the photographing object 1 ′ can be obtained using the same principle.
（本発明が適用されるクレーンの説明）
以下に、この原理を利用した高さ測定装置の実施例を図２〜図５を参照しつつ説明する。
その図２において、符合１１はクレーンである。このクレーン１１は、走行用の車両本体（キャリア）１２、水平方向に旋回可能な旋回台１３、オペレータ用の運転室１４、キャリアを地上Sに固定するアウトリガ１５、ブラケット１６から概略構成されている。
(Description of crane to which the present invention is applied)
Hereinafter, an embodiment of a height measuring device using this principle will be described with reference to FIGS.
In FIG. 2, reference numeral 11 is a crane. The crane 11 is generally configured by a traveling vehicle body (carrier) 12, a swivel 13 that can be swiveled in a horizontal direction, an operator cab 14, an outrigger 15 that fixes the carrier to the ground S, and a bracket 16. .
そのブラケット１６には、ブーム１７が設けられている。そのブーム１７はその基端部が支持軸１８を介して回動可能に取り付けられ、起伏用シリンダ１９によって起立倒伏される。
そのブーム１７は、例えば、入れ子式の基端ブーム17a、中間ブーム１７ｂ、先端ブーム１７ｃから構成されている。
The bracket 16 is provided with a boom 17. The base end portion of the boom 17 is rotatably attached via a support shaft 18 and is raised and lowered by a raising and lowering cylinder 19.
The boom 17 includes, for example, a telescopic base end boom 17a, an intermediate boom 17b, and a front end boom 17c.
このブーム17は、図示を略す各伸縮用シリンダに連結されて、各伸縮用シリンダによって伸縮される。
その先端ブーム１７ｃには、ブームヘッド１７ｄが図３に拡大して示すように設けられている。このブームヘッド１７ｄには、シーブ軸１７ｆが設けられ、このシーブ軸１７ｆに一対のシーブ１７eが設けられている。
The boom 17 is connected to each expansion / contraction cylinder (not shown) and is expanded and contracted by each expansion / contraction cylinder.
The tip boom 17c is provided with a boom head 17d as shown in an enlarged view in FIG. The boom head 17d is provided with a sheave shaft 17f, and the sheave shaft 17f is provided with a pair of sheaves 17e.
図２に示すブラケット１６には、ウインチ（図示を略す）が設けられ、このウインチから延設されたワイヤWがシーブ１７eに掛け渡されている。そのワイヤWには、フックブロック２０が吊り下げられており、このフックブロック２０にはフック２１が設けられている。 The bracket 16 shown in FIG. 2 is provided with a winch (not shown), and a wire W extending from the winch is stretched over the sheave 17e. A hook block 20 is suspended from the wire W, and a hook 21 is provided on the hook block 20.
そのシーブ軸１７ｆには、既述のステレオカメラ２が取り付けられ、このステレオカメラ２の構成は既述の通りである。ここでは、このステレオカメラ２は、その自重によって、鉛直方向を指向するように公知の回転機構（図示を略す）が設けられている。 The aforementioned stereo camera 2 is attached to the sheave shaft 17f, and the configuration of the stereo camera 2 is as described above. Here, the stereo camera 2 is provided with a known rotation mechanism (not shown) so as to be directed in the vertical direction by its own weight.
なお、このステレオカメラ２に、パン方向、チルト方向の回動を行うパンチルト機構、撮影倍率を変更するズーム機能を持たせても良いが、ここでは、その詳細な説明は省略することとする。 The stereo camera 2 may be provided with a pan / tilt mechanism for rotating in the pan direction and the tilt direction, and a zoom function for changing the photographing magnification, but a detailed description thereof will be omitted here.
運転室１４には、図示を略す操作盤、操作レバー、後述する画像処理部、モニター部（表示部）が設けられ、オペレータはその操作レバー、操作盤を適宜操作することにより、ブーム１7の旋回、起伏、伸張、アウトリガ１５の張り出し、格納、エンジン始動、停止、モニター部のオン・オフ等を行う。 The cab 14 is provided with an operation panel (not shown), an operation lever, an image processing unit (to be described later), and a monitor unit (display unit). The operator appropriately operates the operation lever and the operation panel to turn the boom 17. Undulation, extension, outrigger 15 overhanging, storage, engine start, stop, monitor on / off, etc.
（本発明に係る高さ測定装置の実施例の説明）
図４は本発明の実施例に係る高さ測定装置のブロック図である。
その図４において、符合２２は演算処理部を示している。この演算処理部２２は、ステレオカメラ２からの撮像信号、シリンダ圧力センサ２３、ブーム長センサ２４、起伏角度センサ２５、アウトリガ張り出しセンサ２６からの各センサ信号が入力されている。
(Description of the embodiment of the height measuring device according to the present invention)
FIG. 4 is a block diagram of the height measuring apparatus according to the embodiment of the present invention.
In FIG. 4, reference numeral 22 denotes an arithmetic processing unit. The arithmetic processing unit 22 receives image signals from the stereo camera 2, and sensor signals from the cylinder pressure sensor 23, boom length sensor 24, undulation angle sensor 25, and outrigger extension sensor 26.
その演算処理部２２は、画像処理部２２A、制御処理部２２Bを有している。その画像処理部２２Aは後述する機能を有する算出部２２Cを備えている。その制御処理部２２Bはその各センサからのセンサ信号に基づいてそれに応じた制御処理を行い、必要に応じて、適宜モニタ部２７に制御に必要な情報を出力する。 The arithmetic processing unit 22 includes an image processing unit 22A and a control processing unit 22B. The image processing unit 22A includes a calculation unit 22C having functions to be described later. The control processing unit 22B performs a control process corresponding to the sensor signal from each sensor, and outputs information necessary for control to the monitor unit 27 as necessary.
画像処理部２２Aにはステレオカメラ２から撮像信号が入力され、この画像処理部２２Aはそのステレオカメラ２からの画像信号に適宜画像処理を行って、モニタ部２７に表示信号を出力する。
これにより、図５に示す画像がモニタ部２７に表示される。
An imaging signal is input from the stereo camera 2 to the image processing unit 22A. The image processing unit 22A appropriately performs image processing on the image signal from the stereo camera 2 and outputs a display signal to the monitor unit 27.
As a result, the image shown in FIG. 5 is displayed on the monitor unit 27.
ここでは、モニタ部２７の画面Gには、ワイヤWの像W’、フックブロック２０の像２０’、車両本体１２の前部の像１２’、アウトリガ１５の像１５’、後述する基準対象Reｆの像Reｆ’、対象物体Oｂの像Oｂ’が映っている。 Here, on the screen G of the monitor unit 27, the image W ′ of the wire W, the image 20 ′ of the hook block 20, the image 12 ′ of the front part of the vehicle body 12, the image 15 ′ of the outrigger 15, and a reference object Ref described later. The image Ref ′ and the image Ob ′ of the target object Ob are shown.
なお、ステレオカメラ２は、CCDカメラ２A、２Bとから構成されているので、モニタ部２７に画面を2個並列に設けて各CCDカメラ２A、２Bにより撮像された画像をそれぞれ同時に表示させる構成としても良いし、画面を1個としてCCDカメラ２A、２Bの一方により撮像された画像を表示できるように画面切り替えスイッチを設けても良い。 Since the stereo camera 2 is composed of the CCD cameras 2A and 2B, the monitor 27 is provided with two screens in parallel so that images taken by the CCD cameras 2A and 2B can be displayed simultaneously. Alternatively, a screen changeover switch may be provided so that an image picked up by one of the CCD cameras 2A and 2B can be displayed with a single screen.
その画像処理部２２Aは、ステレオカメラ２により撮像された撮影画像に基準対象Reｆの像Reｆ’と対象物体Obの像Oｂ’とが共に映っているか否かを判断する機能を有する。
その基準対象Reｆは、ここでは、車両本体１２の前部の表面に十字マークとして形成されている。画像処理部２２Aは、各CCDカメラ２A、２Aにより取得された撮影画像から例えば公知のパターンマッチング手法により二次元撮像素子４A、４Bのいずれの画素位置に基準対象Reｆの像Reｆ’が存在するか否かを取得する。
The image processing unit 22A has a function of determining whether or not both the image Ref ′ of the reference target Ref and the image Ob ′ of the target object Ob are reflected in the captured image captured by the stereo camera 2.
Here, the reference object Ref is formed as a cross mark on the front surface of the vehicle body 12. The image processing unit 22A determines whether the image Ref ′ of the reference target Ref exists at the pixel position of the two-dimensional image pickup device 4A or 4B from the captured images acquired by the CCD cameras 2A and 2A, for example, by a known pattern matching method. Get no.
同様にして、画像処理部２２Aは、各CCDカメラ２A、２Bにより取得された撮影画像から例えば公知のパターンマッチング手法により二次元撮像素子４A、４Bのいずれの画素位置に高さを測定したい対象物体Oｂの像Ob’が存在するか否かを取得する。 Similarly, the image processing unit 22A wants to measure the height at any pixel position of the two-dimensional imaging devices 4A and 4B from the captured images acquired by the CCD cameras 2A and 2B, for example, by a known pattern matching method. Whether or not an image Ob ′ of Ob exists is acquired.
対象物体Obが複数存在する場合、高さを測定したい対象物体Obを指定する。この対象物体Obの指定には、モニタ部２７がタッチパネル式の場合には、オペレータが画面G上でその都度ポイントすることによって指定することができる。 なお、モニタ部２７がタッチパネル式でない場合には、例えば、対象物体Obの輪郭を自動的に抽出して、複数の対象物体Obを指定する構成とすることができる。 When there are a plurality of target objects Ob, the target object Ob whose height is to be measured is designated. When the monitor unit 27 is a touch panel type, the target object Ob can be specified by the operator pointing on the screen G each time. If the monitor unit 27 is not a touch panel type, for example, the outline of the target object Ob can be automatically extracted and a plurality of target objects Ob can be designated.
以下、ステレオカメラ２により撮像された画像に基準対象Reｆの像Reｆ’と対象物体Obの像Ob’とが共に含まれている場合と、ステレオカメラ２により撮像された画像に基準対象Reｆの像Reｆ’と対象物体Obの像Oｂ’とのいずれか一方が含まれていない場合とに場合分けを行って説明する。 Hereinafter, when the image captured by the stereo camera 2 includes both the image Ref ′ of the reference target Ref and the image Ob ′ of the target object Ob, and the image captured by the stereo camera 2 includes the image of the reference target Ref. A description will be given by dividing into cases where either Ref ′ or the image Ob ′ of the target object Ob is not included.
（ステレオカメラ２により撮像された画像に基準対象Reｆの像Reｆ’と対象物体Ob’の像とが共に含まれている場合）
算出部２２Cは、ここでは、図２に示すように、地上Sからの基準高さZｒeｆを示す基準対象Refが含まれている撮影画像を用いて、その基準対象Reｆの像Reｆ’の各画素位置から視差Δを求め、この視差Δを用いてステレオカメラ２から基準対象Reｆまでの高さ方向距離Z1を算出する。
同様に、算出部２２Cは、高さを測定したい対象物体Oｂの像Oｂ’の各画素位置から視差Δを求め、この視差Δを用いてステレオカメラ２から対象物体Oｂまでの高さ方向距離Z2を算出する。
(When the image captured by the stereo camera 2 includes both the image Ref ′ of the reference target Ref and the image of the target object Ob ′)
Here, as illustrated in FIG. 2, the calculation unit 22C uses a captured image including a reference object Ref indicating the reference height Zref from the ground S, and uses each pixel of the image Ref ′ of the reference object Ref. The parallax Δ is obtained from the position, and the height direction distance Z 1 from the stereo camera 2 to the reference object Ref is calculated using the parallax Δ.
Similarly, the calculation unit 22C obtains the parallax Δ from each pixel position of the image Ob ′ of the target object Ob whose height is to be measured, and uses the parallax Δ to determine the height direction distance Z from the stereo camera 2 to the target object Ob. 2 is calculated.
そして、このようにして求められた高さ方向距離Z1、Z2、地上Sからの基準高さZｒeｆを用いて以下の式により対象物体Obの地上Sからの高さZを求める。
Z＝（Z１−Z2）＋Zｒeｆ
Then, the height Z of the target object Ob from the ground S is obtained by the following formula using the height direction distances Z 1 and Z 2 thus obtained and the reference height Zref from the ground S.
Z = (Z 1 -Z 2) + Zref
すなわち、算出部２２Cは、地上Sからの基準高さZｒeｆを示す基準対象Refが含まれている画像を用いてステレオカメラ２から基準対象Reｆまでの高さ方向距離Z1を算出すると共に、対象物体Obが含まれている画像を用いてステレオカメラ２から対象物体Obまでの高さ方向距離Z2を算出し、基準対象Reｆまでの高さ方向距離Z1と基準高さZｒeｆとの和から対象物体Oｂまでの高さ方向距離Z2を減算することにより対象物体Obの地上Sからの高さZを算出する。 That is, the calculation unit 22C calculates the height direction distance Z 1 from the stereo camera 2 to the reference target Ref using the image including the reference target Ref indicating the reference height Zref from the ground S, and the target using the image containing the object Ob calculates the height direction distance Z 2 from the stereo camera 2 to the target object Ob, the sum of the height direction distance Z 1 and the reference height Zref to the reference object Ref The height Z of the target object Ob from the ground S is calculated by subtracting the height direction distance Z 2 to the target object Ob.
なお、算出部２２Cは基準対象Reｆに対する対象物体Obの高さを算出する場合には、基準対象Reｆまでの高さ方向距離Z1から対象物体Obまでの高さ方向距離Z2を減算する。
この実施例によれば、地上Sに基準対象Reｆが存在しない場合でも、クレーン１１のキャリア１２を基準とした対象物体Obの高さを正確に求めることができる。
The calculation section 22C in the case of calculating the height of the target object Ob with respect to the reference object Ref subtracts the height direction distance Z 2 of up to the reference object Ref from the height direction distance Z 1 to the target object Ob.
According to this embodiment, even when the reference target Ref does not exist on the ground S, the height of the target object Ob with reference to the carrier 12 of the crane 11 can be accurately obtained.
（ステレオカメラ２により撮像された画像に基準対象Reｆの像と対象物体Obの像との少なくとも一方が含まれていない場合）
図６に示すように、例えば、ステレオカメラ２により撮像された撮影画像に基準対象Reｆのみの像が含まれ、対象物体Obとしてのビルの像が含まれていない場合には、そのままでは、対象物体Obの地上Sからの高さを求めることができない。
(When the image captured by the stereo camera 2 does not include at least one of the image of the reference target Ref and the image of the target object Ob)
As shown in FIG. 6, for example, when a captured image captured by the stereo camera 2 includes an image of only the reference target Ref and does not include a building image as the target object Ob, the target is left as it is. The height of the object Ob from the ground S cannot be obtained.
そこで、この場合には、すでに求められている対象物体Obを新たな基準対象Reｆとして、次に求める対象物体Oｂまでの地上からの高さを算出する。
例えば、地上Sに白線等の基準として用いることができる十字マーク指標（基準対象Reｆ”）がある場合には、その白線等の十字マーク指標（基準対象Reｆ”）を高さを測定すべき対象物体Oｂとして認識し、この対象物体（十字マーク指標（基準対象Reｆ”））Obの高さ方向距離Z２’を求める。
ここで、地上S上にある基準対象Ref”のキャリア１２上にある基準対象Refまでの距離がZrefと同じであれば（地面が完全に水平であれば）、Z２’＝Z１＋Zrefとなる。
Therefore, in this case, the height from the ground to the next target object Ob to be calculated is calculated using the target object Ob that has already been calculated as a new reference target Ref.
For example, when there is a cross mark index (reference object Ref ″) that can be used as a reference for white lines or the like on the ground S, an object whose height is to be measured with the cross mark index (reference object Ref ″) such as white lines. The object Ob is recognized, and the height direction distance Z 2 ′ of the target object (cross mark index (reference target Ref ″)) Ob is obtained.
Here, if the distance to the reference object Ref on the carrier 12 of the reference object Ref ”on the ground S is the same as Zref (if the ground is completely horizontal), Z 2 ′ = Z 1 + Zref Become.
ついで、新たに高さを測定したい対象物体Obとしてのビル等とこの十字マーク指標（基準対象Reｆ”）とをステレオカメラ２により撮像し、高さを求めたい対象物体Obとしてのビル等の高さ方向距離Z2と基準対象Reｆ”までの高さ方向距離Z1＋Zrefを求める。その結果、地上Sからの高さを求めたい対象物体Obと基準対象Reｆとがステレオカメラ２の画像に同時に写り込んでいない場合でも、対象物体Oｂの地上に対する高さZを正確に求めることができる。 Next, the building or the like as the target object Ob whose height is to be newly measured and the cross mark index (reference target Ref ″) are imaged by the stereo camera 2 and the height of the building or the like as the target object Ob whose height is to be obtained. The height direction distance Z 2 and the height direction distance Z 1 + Zref to the reference object Ref ″ are obtained. As a result, the height Z of the target object Ob with respect to the ground can be accurately obtained even when the target object Ob whose height from the ground S is desired and the reference target Ref are not simultaneously reflected in the image of the stereo camera 2. it can.
以上、実施例で説明したように、画像処理部２２Aは、地上Sからの基準高さを示す基準対象Reｆと地上Sからの高さを測定すべき対象物体Obとをクレーン１１のブーム１７に取り付けられたステレオカメラ２を用いて撮像する撮像ステップと、ステレオカメラ２から基準対象Reｆまでの高さ方向距離Z1を算出する算出ステップと、ステレオカメラ２から対象物体Obまでの高さ方向距離Z2を算出する算出ステップと、基準対象Reｆの地上Sからの基準高さZｒeｆと基準対象Reｆまでの高さ方向距離Z1との和から対象物体Obまでの高さ方向距離Z２を減算することにより地上Sから対象物体Oｂまでの高さZを算出するステップとを実行する。
従って、アウトリガ１５によって固定されるクレーン１１の基準高さZrefを用いて、対象物体Obの高さZを正確に求めることができる。
As described above, the image processing unit 22A uses the reference object Ref indicating the reference height from the ground S and the target object Ob to be measured from the ground S to the boom 17 of the crane 11 as described in the embodiment. An imaging step for imaging using the attached stereo camera 2, a calculation step for calculating a height direction distance Z1 from the stereo camera 2 to the reference target Ref, and a height direction distance Z2 from the stereo camera 2 to the target object Ob a calculation step of calculating a, subtracting the reference height Zref and the reference height direction distance to the target Ref Z 1 height direction distance from the sum to the target object Ob and Z 2 from the ground S of the reference object Ref The step of calculating the height Z from the ground S to the target object Ob is executed.
Therefore, the height Z of the target object Ob can be accurately obtained using the reference height Zref of the crane 11 fixed by the outrigger 15.
算出部２２Cは、新たに地上Sからの高さを測定すべき対象物体Obを含む画像に基準対象Reｆの像Reｆ’が含まれていない場合には、その画像に含まれている対象物体Obの像Ob’であってかつすでに地上Sからの高さZが求められている対象物体Obを新たな基準対象Reｆ”に用いて新たに地上からの高さを測定すべき対象物体Obの地上Sからの高さZを求めるステップを実行する。 When the image Ref ′ of the reference target Ref is not included in the image including the target object Ob whose height from the ground S is to be newly measured, the calculation unit 22C includes the target object Ob included in the image. The target object Ob whose height Z from the ground S is already obtained is used as a new reference target Ref ”and the height of the target object Ob whose ground height is to be measured from the ground Ob. The step of obtaining the height Z from S is executed.
このように、この実施例によれば、地上Sからの高さ基準を示す基準対象Reｆをクレーン１１に設けたので、対象物体Oｂの地上Sからの高さをステレオカメラ２で測定する場合でも、正確に地上Sに対する対象物体Oｂの高さを正確に測定できるという効果を奏する。
なお、演算により求められた対象物体Obの地上からの高さZと、対象物体Obの位置における半径Rとは、図５に示すように、画面Gに表示される。
As described above, according to this embodiment, since the reference object Ref indicating the height reference from the ground S is provided in the crane 11, even when the height of the target object Ob from the ground S is measured by the stereo camera 2. There is an effect that the height of the target object Ob with respect to the ground S can be accurately measured.
Note that the height Z of the target object Ob from the ground obtained by the calculation and the radius R at the position of the target object Ob are displayed on the screen G as shown in FIG.
以上は、対象物体Obの高さZの測定について説明したが、本発明によれば、クレーン１１の本体の基準位置に対する対象物体Obの三次元位置を正確に求めることができる。
たとえば、画像処理部２２Aにより、一方のCCDカメラ２A（又は２B）について、光軸中心（画像中心）に対する基準対象Refの二次元座標における画像位置（画素位置）を画面上で求める。
The measurement of the height Z of the target object Ob has been described above. However, according to the present invention, the three-dimensional position of the target object Ob with respect to the reference position of the main body of the crane 11 can be accurately obtained.
For example, the image processing unit 22A obtains, on the screen, the image position (pixel position) in the two-dimensional coordinates of the reference object Ref with respect to the optical axis center (image center) for one CCD camera 2A (or 2B).
ついで、基準対象Refの画像中心に対する画素位置（ｘ’、ｙ’）と地上から高さZrefの位置にありかつ地面に平行な基準対象Refを含む平面と光軸中心との交点（原点）から基準対象Refまでの距離をｘ、ｙとすると、基準対象Refに対する高さ方向距離Z1が既に求められ、一方のCCDカメラ２A（又は２B）の焦点距離ｆは既知であるので、画像処理部２２Aにより、演算式ｘ＝（ｘ’／ｆ）×Z１、ｙ＝（ｙ’／ｆ）×Z１を用いて、一方のCCDカメラ２A（又は２B）について上述の交点（原点）からの距離（ｘ、ｙ）を求めることができる。 Next, from the intersection (origin) of the optical axis center with the pixel position (x ′, y ′) relative to the image center of the reference object Ref and the plane including the reference object Ref that is at a height Zref from the ground and parallel to the ground. Assuming that the distance to the reference object Ref is x, y, the height direction distance Z1 with respect to the reference object Ref has already been obtained, and the focal distance f of one CCD camera 2A (or 2B) is known, so the image processing unit 22A By using the arithmetic expression x = (x ′ / f) × Z 1 and y = (y ′ / f) × Z 1 , the distance from the above-mentioned intersection (origin) for one CCD camera 2A (or 2B) (X, y) can be obtained.
従って、一方のCCDカメラ２A（又は２B）の原点に対する基準対象Refの二次元座標位置を求めることができる。高さを求めたい対象物体Obが含まれている画像を用いて、対象物体Obについても画像処理部２２Aにより上述の演算式を用いて、その原点に対する対象物体Obの二次元座標位置を求めることができる。 Therefore, the two-dimensional coordinate position of the reference object Ref with respect to the origin of one CCD camera 2A (or 2B) can be obtained. Using the image including the target object Ob whose height is to be obtained, the image processing unit 22A also obtains the two-dimensional coordinate position of the target object Ob with respect to the origin using the above-described arithmetic expression. Can do.
すなわち、クレーン１１のブーム１７に取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラ２と、このステレオカメラ２からの撮像信号を画像表示する画像処理部２２Aの算出部２２Cとを用いて、地上Sからの基準高さを示す基準対象Refが含まれている画像からステレオカメラ２に対する基準対象Refの位置を算出し、対象物体Obが含まれている画像からステレオカメラ２に対する対象物体Obの位置を算出し、基準対象Obの位置に対する対象物体Obの三次元方向における位置を算出することができる。 That is, a stereo camera 2 that is attached to the boom 17 of the crane 11 and outputs an imaging signal by imaging the work site, and a calculation unit 22C of the image processing unit 22A that displays the imaging signal from the stereo camera 2 are displayed. The position of the reference object Ref with respect to the stereo camera 2 is calculated from the image including the reference object Ref indicating the reference height from the ground S, and the object with respect to the stereo camera 2 is calculated from the image including the target object Ob. The position of the object Ob can be calculated, and the position of the target object Ob in the three-dimensional direction with respect to the position of the reference target Ob can be calculated.
以上、実施例について説明したが、本発明は、これに限らず、以下のものが含まれる。
（１）実施例においては、クレーン１１のキャリア１２に基準対象Reｆを示すマークを設けて、このマークを画像認識することにより基準対象Reｆを取得する構成としたが、オペレータが画面上で基準対象Reｆを指定して、基準対象Reｆを取得する構成としても良い。
（２）同様に、測定したい対象物体Oｂを画面上で指定することにより対象物体の地上Sからの高さを取得する構成としても良い。
As mentioned above, although the Example was described, this invention is not restricted to this, The following are included.
(1) In the embodiment, the carrier 12 of the crane 11 is provided with a mark indicating the reference object Ref, and the reference object Ref is obtained by recognizing the image of the mark. It is good also as a structure which designates Ref and acquires reference object Ref.
(2) Similarly, the height of the target object from the ground S may be acquired by designating the target object Ob to be measured on the screen.
（３）更に、クレーン１１のキャリア１２に基準対象Reｆを示すマークを設けなくとも、基準対象Reｆを意味する特殊形状をクレーン１１に形成し、この特殊形状を画像認識することにより基準対象Reｆを取得する構成としても良い。
（４）このような基準対象Reｆ、対象物体Obの画像認識は、この例示に限られるものではなく、要するにステレオカメラ２を用いて撮影対象までの距離を測定できれば良い。
(3) Furthermore, even if the carrier 12 of the crane 11 is not provided with a mark indicating the reference object Ref, a special shape meaning the reference object Ref is formed on the crane 11, and the special object is recognized by image recognition. It is good also as a structure to acquire.
(4) Such image recognition of the reference object Ref and the target object Ob is not limited to this example. In short, it is sufficient that the distance to the photographing object can be measured using the stereo camera 2.
２…ステレオカメラ
１１…クレーン
１７…ブーム
２７…モニタ部
２２A…画像処理部
２２C…算出部
S…地上
Z…高さ
Z1…高さ方向距離
Z2…高さ方向距離
Ob…対象物体
Reｆ…基準対象
Zｒeｆ…基準高さ
2 ... Stereo camera 11 ... Crane 17 ... Boom 27 ... Monitor unit 22A ... Image processing unit 22C ... Calculation unit
S ... ground
Z ... height
Z 1 ... Height direction distance
Z 2 ... Height direction distance
Ob… Target object
Ref ... reference object
Zref ... Standard height
Claims (4)
前記画像処理部は、前記クレーンに設けられて地上からの基準高さを示す基準対象が含まれている画像を用いて前記ステレオカメラから前記基準対象までの高さ方向距離を算出すると共に、高さを求めようとする対象物体が含まれている画像を用いて前記ステレオカメラから前記対象物体までの高さ方向距離を算出し、前記基準対象までの高さ方向距離から前記対象物体までの高さ方向距離を減算することにより前記基準対象に対する前記対象物体の高さを算出する算出部を有し、
前記算出部は、前記基準対象が前記ステレオカメラにより撮像された画像に含まれていない場合には、基準対象からの高さが既に求められている対象物体を新たな基準対象として、次に求める対象物体までの基準対象に対する高さを算出することを特徴とする高さ測定装置。 A stereo camera that is attached to a boom of a crane and outputs an imaging signal by imaging a work site; and an image processing unit that displays the image on the display unit by inputting the imaging signal and performing image processing;
The image processing unit calculates a height direction distance from the stereo camera to the reference object using an image that is provided on the crane and includes a reference object that indicates a reference height from the ground. A height direction distance from the stereo camera to the target object is calculated using an image including the target object for which the height is to be calculated, and a height from the height direction distance to the reference target to the target object is calculated. have a calculation unit for calculating the height of the target object relative to the reference object by subtracting the direction distance is,
When the reference object is not included in the image captured by the stereo camera, the calculation unit obtains a target object whose height from the reference object has already been determined as a new reference object. A height measuring apparatus that calculates a height of a reference object up to a target object .
前記ステレオカメラから前記基準対象までの高さ方向距離を算出する算出ステップと、
前記ステレオカメラから前記新たな基準対象までの高さ方向距離を算出する算出ステップと、
前記基準対象の地上からの高さと前記基準対象までの高さ方向距離との和から前記新たな基準対象までの高さ方向距離を減算することにより前記地上から前記新たな基準対象までの高さを算出するステップと、
前記新たな基準対象と前記対象物体とを前記ステレオカメラを用いて撮像する撮像ステップと、
前記新たな基準対象の地上からの高さと前記新たな基準対象までの高さ方向距離との和から前記対象物体までの高さ方向距離を減算することにより前記地上から前記対象物体までの高さを算出するステップと、
を含むことを特徴とする高さ測定方法。 If the reference object indicating the reference height from the ground and the target object whose height from the ground cannot be measured simultaneously using a stereo camera attached to the boom of the crane , first the reference object and the new object An imaging step of imaging a reference object ,
A calculating step for calculating a height direction distance from the stereo camera to the reference object;
A calculating step for calculating a height direction distance from the stereo camera to the new reference object ;
The height from the ground to the new reference object by subtracting the height direction distance to the new reference object from the sum of the height from the ground of the reference object and the height direction distance to the reference object Calculating steps,
An imaging step of imaging the new reference target and the target object using the stereo camera;
The height from the ground to the target object by subtracting the height direction distance to the target object from the sum of the height from the ground of the new reference target and the height direction distance to the new reference target Calculating steps,
A height measuring method comprising:
前記画像処理部は、地上からの高さを示す基準対象が含まれている画像を用いて前記ステレオカメラに対する前記基準対象の位置を算出すると共に、対象物体が含まれている画像を用いて前記ステレオカメラに対する前記対象物体の位置を算出し、前記基準対象の位置に対する前記対象物体の位置を算出する算出部を有し、
前記算出部は、前記対象物体を含む画像に前記基準対象が含まれていない場合には、前記基準対象の像が含まれる画像から前記ステレオカメラに対する新たな基準対象とする対象物体の位置を算出し、次いで、前記新たな基準対象と前記対象物体が含まれている画像を用いて、前記ステレオカメラに対する前記対象物体の位置を算出する
ことを特徴とする高さ測定装置。 A stereo camera that is attached to a boom of a crane and outputs an imaging signal by imaging a work site; and an image processing unit that displays the image on the display unit by inputting the imaging signal and performing image processing;
Wherein the image processing unit is configured to calculate the position of the reference object relative to the stereo camera using an image that contains the reference object that indicates the height from the ground, using an image that contains the Target object wherein calculating the position of the target object with respect to the stereo camera, it has a calculation unit that calculates a position of the target object relative to the position of the reference object,
When the reference target is not included in the image including the target object, the calculation unit calculates the position of the target object as a new reference target for the stereo camera from the image including the reference target image. Then, the position of the target object with respect to the stereo camera is calculated using the image including the new reference target and the target object .
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012260731A JP6097063B2 (en) | 2012-11-29 | 2012-11-29 | Height measuring device and height measuring method |
| EP17168541.5A EP3235773B8 (en) | 2012-09-21 | 2013-09-19 | Surrounding information-obtaining device for working vehicle |
| US14/429,753 US9300954B2 (en) | 2012-09-21 | 2013-09-19 | Surrounding information-obtaining device for working vehicle |
| EP13838454.0A EP2899496B1 (en) | 2012-09-21 | 2013-09-19 | Periphery-information acquisition device for vehicle |
| PCT/JP2013/075373 WO2014046213A1 (en) | 2012-09-21 | 2013-09-19 | Periphery-information acquisition device for vehicle |
| CN201380049221.1A CN104662389B (en) | 2012-09-21 | 2013-09-19 | The peripheral information acquisition device of Operation Van |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012260731A JP6097063B2 (en) | 2012-11-29 | 2012-11-29 | Height measuring device and height measuring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014106176A JP2014106176A (en) | 2014-06-09 |
| JP6097063B2 true JP6097063B2 (en) | 2017-03-15 |
Family
ID=51027783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012260731A Active JP6097063B2 (en) | 2012-09-21 | 2012-11-29 | Height measuring device and height measuring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6097063B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016164118A2 (en) | 2015-04-10 | 2016-10-13 | Robert Bosch Gmbh | Object position measurement with automotive camera using vehicle motion data |
| JP6231515B2 (en) * | 2015-04-22 | 2017-11-15 | クリーンエナジーファクトリー株式会社 | Solar power plant construction method |
| JP6630881B2 (en) * | 2016-09-15 | 2020-01-15 | 株式会社五合 | Information processing apparatus, camera, moving object, moving object system, information processing method and program |
| CN116783127A (en) * | 2021-02-17 | 2023-09-19 | 村田机械株式会社 | Overhead transport vehicle |
| CN114485434B (en) * | 2022-01-27 | 2022-10-21 | 南京航空航天大学 | Installation detection method for guide rod of flexible three-dimensional weaving equipment based on multi-view distance measurement |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04184203A (en) * | 1990-11-20 | 1992-07-01 | Komatsu Ltd | Controller for position measuring apparatus |
| SE470018B (en) * | 1991-05-06 | 1993-10-25 | Bromma Conquip Ab | Optical detection and control system |
| JP2001002369A (en) * | 1999-06-25 | 2001-01-09 | Kobelco Contstruction Machinery Ltd | Hung load watching device for crane |
| JP4352142B2 (en) * | 2002-12-04 | 2009-10-28 | 株式会社テクノネットワーク四国 | Relative distance measuring method and apparatus |
| JP2009155056A (en) * | 2007-12-27 | 2009-07-16 | Seiko Precision Inc | Image processing device, baggage carrying facility, and program |
| JP5642409B2 (en) * | 2010-03-30 | 2014-12-17 | 株式会社タダノ | Crane control device and crane |
-
2012
- 2012-11-29 JP JP2012260731A patent/JP6097063B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014106176A (en) | 2014-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9300954B2 (en) | Surrounding information-obtaining device for working vehicle | |
| JP6017782B2 (en) | Information system for height information of objects around suspended loads | |
| JP5759798B2 (en) | Construction machine control system | |
| US9169108B2 (en) | Performance line display unit | |
| US9667923B2 (en) | Camera attitude detection device and work region line display device | |
| JP6097063B2 (en) | Height measuring device and height measuring method | |
| JP6146994B2 (en) | Crane surveillance camera | |
| JP6222933B2 (en) | Map making device for work vehicles | |
| JP2011207571A (en) | Crane control device and crane | |
| WO2011040239A1 (en) | Wide angle imaging device and measurement system | |
| JP5971994B2 (en) | Crane work monitoring device | |
| JP6080450B2 (en) | Surveillance camera device | |
| JP6766516B2 (en) | Obstacle detector | |
| JP6219043B2 (en) | Boom tip position detection device | |
| JP2014230215A (en) | Camera calibration device and camera calibration method | |
| JP2016153335A (en) | Suspended load monitoring equipment | |
| JP6257947B2 (en) | Work vehicle ambient information acquisition device | |
| KR20210034070A (en) | Calibration work support system | |
| JP6402497B2 (en) | Height detection device | |
| JP6421451B2 (en) | Camera posture detection device | |
| JP2020066519A (en) | Deformation amount measurement device and deformation amount measurement method | |
| JP6581280B1 (en) | Monitoring device, monitoring system, monitoring method, monitoring program | |
| JP2017032276A (en) | Position measurement system | |
| JP2020066520A (en) | Crane vehicle | |
| JP2016008830A (en) | Surveying device, method for displaying of the surveying device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160902 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6097063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |