JP6421451B2 - Camera posture detection device - Google Patents
Camera posture detection device Download PDFInfo
- Publication number
- JP6421451B2 JP6421451B2 JP2014102874A JP2014102874A JP6421451B2 JP 6421451 B2 JP6421451 B2 JP 6421451B2 JP 2014102874 A JP2014102874 A JP 2014102874A JP 2014102874 A JP2014102874 A JP 2014102874A JP 6421451 B2 JP6421451 B2 JP 6421451B2
- Authority
- JP
- Japan
- Prior art keywords
- hook
- camera
- image
- monitor
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Control And Safety Of Cranes (AREA)
Description
この発明は、傾斜角検出センサを使用せずにカメラの姿勢角を求めるカメラ姿勢検出装置に関する。 The present invention relates to a camera attitude detection device that obtains an attitude angle of a camera without using an inclination angle detection sensor.
従来から、ブームの先端部にカメラを設けた吊荷位置検出装置が知られている（特許文献１参照）。 2. Description of the Related Art Conventionally, a suspended load position detection device provided with a camera at the tip of a boom is known (see Patent Document 1).
係る吊荷位置検出装置は、ブームの先端部にカメラを設け、このカメラで吊りロープとフックを上方から撮影し、画像処理により撮影した画像における複数の走査線上の色分布によって、この走査線ごとに吊りロープの色が存在するロープ点を求め、この各ロープ点を直線で結び、この吊りロープに対応する複数の直線の交点を吊荷位置として求めるものである。 Such a suspended load position detection device is provided with a camera at the tip of a boom, and the suspension rope and hook are photographed from above with this camera, and the color distribution on the plurality of scanning lines in an image photographed by image processing is used for each scanning line. The rope points where the color of the suspension rope exists are obtained, the respective rope points are connected by straight lines, and the intersections of a plurality of straight lines corresponding to the suspension ropes are obtained as suspension load positions.
ところで、この吊荷位置検出装置では、カメラの傾斜角を検出する傾斜角検出センサを設けていないので、カメラを傾斜させた場合、吊荷の正しい位置を求めることができなくなってしまい、その傾斜角検出センサを設けると高価なものになってしまう問題がある。 By the way, in this suspended load position detection device, since the inclination angle detection sensor for detecting the inclination angle of the camera is not provided, when the camera is inclined, the correct position of the suspended load cannot be obtained. When the angle detection sensor is provided, there is a problem that it becomes expensive.
この発明の目的は、傾斜角検出センサを設けなくても、カメラの姿勢角を検出することのできるカメラ姿勢検出装置を提供することにある。 An object of the present invention is to provide a camera posture detection device that can detect the posture angle of a camera without providing a tilt angle detection sensor.
請求項１の発明は、作業機のブームの先端部に設けられたカメラと、ブームの先端部から吊るされたフックを前記カメラで撮像した画像を表示するモニタとを備えたカメラ姿勢検出装置であって、
前記モニタに表示されている画面上のフック画像位置情報と、実空間における前記フック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算手段を設けたことを特徴とする。
The invention of claim 1 is a camera posture detection device comprising a camera provided at the tip of the boom of the work implement, and a monitor for displaying an image obtained by photographing the hook suspended from the tip of the boom with the camera. There,
An attitude angle calculation means for obtaining an attitude angle of the camera based on the hook image position information on the screen displayed on the monitor and the hook position information in real space is provided.
この発明によれば、傾斜角検出センサを設けなくても、カメラの姿勢角を検出することができる。 According to the present invention, the posture angle of the camera can be detected without providing an inclination angle detection sensor.
以下、この発明に係るカメラ姿勢検出装置の実施の形態である実施例を図面に基づいて説明する。 Hereinafter, an embodiment as an embodiment of a camera posture detection device according to the present invention will be described with reference to the drawings.
［第１実施例］ [First embodiment]
図１にカメラ姿勢検出装置を備える作業領域線表示装置を搭載した作業機であるクレーン（作業車）としてラフテレーンクレーン１０を示す。このラフテレーンクレーン１０（以下クレーンとして記載する）は、走行機能を有する車両の本体部分となるキャリア１１と、このキャリア１１の前側に設けられた左右一対の前側アウトリガ１２と、キャリア１１の後側に設けられた左右一対の後側アウトリガ１３と、キャリア１１の上部に水平旋回可能に取り付けられた旋回台１４と、旋回台１４に設けたキャビン２０と、旋回台１４に固定されたブラケット１５に取り付けられた伸縮ブーム１６等とを備えている。 FIG. 1 shows a rough terrain crane 10 as a crane (work vehicle) that is a work machine equipped with a work area line display device equipped with a camera posture detection device. The rough terrain crane 10 (hereinafter referred to as a crane) includes a carrier 11 serving as a main body portion of a vehicle having a traveling function, a pair of left and right front outriggers 12 provided on the front side of the carrier 11, and a rear side of the carrier 11. A pair of left and right rear outriggers 13 provided on the upper side of the carrier 11, a swivel base 14 attached to the top of the carrier 11, a cabin 20 provided on the swivel base 14, and a bracket 15 fixed to the swivel base 14. And a telescopic boom 16 attached thereto.
伸縮ブーム１６は、その基端部が支持軸１７を介して取り付けられており、支持軸１７を中心に起伏可能となっている。ブラケット１５と伸縮ブーム１６との間には起伏用シリンダ１８が介装され、この起伏用シリンダ１８の伸縮により伸縮ブーム１６が起伏される。 The telescopic boom 16 has a base end attached via a support shaft 17 and can be raised and lowered around the support shaft 17. A hoisting cylinder 18 is interposed between the bracket 15 and the telescopic boom 16, and the telescopic boom 16 is hoisted by expansion and contraction of the hoisting cylinder 18.
伸縮ブーム１６は、ベースブーム１６Ａと中間ブーム１６Ｂと先端ブーム１６Ｃとを有し、この順序でベースブーム１６Ａ内に外側から内側に入れ子式に組み合わされて構成されている。また、伸縮ブーム１６は伸縮シリンダ(図示せず)によって伸縮するようになっている。 The telescopic boom 16 has a base boom 16A, an intermediate boom 16B, and a tip boom 16C, and is configured to be nested in the base boom 16A in this order from the outside to the inside. The telescopic boom 16 is expanded and contracted by an expansion cylinder (not shown).
先端ブーム１６Ｃの先端部にはシーブ２３（図５参照）が設けられており、このシーブ２３にワイヤロープ２５（以下ワイヤと表記する）が掛けられ、このワイヤ２５によってフックブロック１９が吊されている。フックブロック１９にはフック２１が取り付けられている。 A sheave 23 (see FIG. 5) is provided at the distal end of the distal end boom 16C. A wire rope 25 (hereinafter referred to as a wire) is hung on the sheave 23, and the hook block 19 is suspended by the wire 25. Yes. A hook 21 is attached to the hook block 19.
ワイヤ２５は、図示しないウインチによって巻き取られたり、送り出されたりする。 The wire 25 is wound or sent out by a winch (not shown).
先端ブーム１６Ｃの先端部には、カメラユニット３０が取り付けられている。 A camera unit 30 is attached to the distal end portion of the distal end boom 16C.
カメラユニット３０は、自重によって常に下方に向くようにダンパを介して先端ブーム１６Ｃの先端部に取り付けられた筺体３１と、この筺体３１内にパン方向及びチルト方向に傾斜可能に設けられたＴＶカメラなどである監視カメラ（カメラ）３２と、監視カメラ３２をパン方向に傾動させるパンモータ３３（図２参照）と、監視カメラ３２をチルト方向に傾動させるチルトモータ３４などとを有している。
なお、カメラユニット３０は、自重によって下方に向く様に構成されているが、ダンパの抵抗や可動部の摩擦抵抗等により、光軸が正しく常に真下に向くことはない。また、この実施例においては、必ずしもパンモータ３３,チルトモータ３４やズーム機能等は必要ではない。
The camera unit 30 includes a housing 31 attached to the distal end portion of the front end boom 16C via a damper so as to always face downward due to its own weight, and a TV camera provided in the housing 31 so as to be tiltable in the pan direction and the tilt direction. A surveillance camera (camera) 32, a pan motor 33 (see FIG. 2) for tilting the surveillance camera 32 in the pan direction, a tilt motor 34 for tilting the surveillance camera 32 in the tilt direction, and the like.
Although the camera unit 30 is configured to face downward due to its own weight, the optical axis is not always directed directly downward due to the resistance of the damper, the frictional resistance of the movable part, or the like. In this embodiment, the pan motor 33, the tilt motor 34, the zoom function and the like are not necessarily required.
監視カメラ３２の傾斜（向き）の調整は、キャビン２０内に設けた操作部(図示せず)のパンスイッチ（姿勢操作手段）ＳＷ１（図２参照）とチルトスイッチＳＷ２（姿勢操作手段）の操作によって行われる。また、監視カメラ３２はズームスイッチＳＷ３の操作によってズームを行うようになっている。
［作業領域線表示装置］
The tilt (orientation) of the surveillance camera 32 is adjusted by operating a pan switch (posture operation means) SW1 (see FIG. 2) and a tilt switch SW2 (posture operation means) of an operation unit (not shown) provided in the cabin 20. Is done by. The surveillance camera 32 zooms by operating the zoom switch SW3.
[Work area line display]
図２は、作業領域線表示装置１２０の構成を示すブロック図である。 FIG. 2 is a block diagram showing the configuration of the work area line display device 120.
作業領域線表示装置１２０は、コントローラ６０の作業領域演算部６６とカメラ姿勢検出装置１００とを備えている。
［カメラ姿勢検出装置］
The work area line display device 120 includes a work area calculation unit 66 of the controller 60 and a camera posture detection device 100.
[Camera posture detection device]
カメラ姿勢検出装置１００は、伸縮ブーム１６の先端部に設けられたカメラユニット３０と、伸縮ブーム１６の姿勢を検出するブーム姿勢検出センサ５０と、ブーム姿勢検出センサ５０が検出した検出信号などに基づいて監視カメラ３２の姿勢角や作業領域線を求めたりするコントローラ６０（作業領域演算部６６を除く）と、監視カメラ３２で撮像した画像などを表示するモニタ７０と、モニタ７０の画面(図示せず)に貼られたタッチパネル７１とを備えている。 The camera posture detection device 100 is based on a camera unit 30 provided at the distal end of the telescopic boom 16, a boom posture detection sensor 50 that detects the posture of the telescopic boom 16, a detection signal detected by the boom posture detection sensor 50, and the like. A controller 60 (excluding the work area calculation unit 66) for obtaining the attitude angle and work area line of the monitoring camera 32, a monitor 70 for displaying an image taken by the monitoring camera 32, and a screen of the monitor 70 (not shown). The touch panel 71 is attached.
ブーム姿勢検出センサ５０は、フック２１の繰り出し量や伸縮ブーム１６の長さや起伏角や伸縮ブーム１６の旋回角などを検出するものであり、それぞれを検出する各センサ(図示せず)を有し、実空間におけるフック位置情報を出力するものである。
［コントローラ］
The boom posture detection sensor 50 detects the amount of extension of the hook 21, the length of the telescopic boom 16, the undulation angle, the turning angle of the telescopic boom 16, and the like, and has sensors (not shown) for detecting each. The hook position information in the real space is output.
[controller]
コントローラ６０は、図２に示すように、パンスイッチＳＷ１やチルトスイッチＳＷ２の操作に基づいてパンモータ３３やチルトモータ３４を駆動制御するモータ制御部６１と、視点変換演算部（基準フック位置演算手段）６２と、作業領域演算部６６と、画像合成部６７と、姿勢角演算装置６８とを有している。 As shown in FIG. 2, the controller 60 includes a motor control unit 61 that drives and controls the pan motor 33 and the tilt motor 34 based on the operation of the pan switch SW1 and the tilt switch SW2, and a viewpoint conversion calculation unit (reference hook position calculation means). 62, a work area calculation unit 66, an image composition unit 67, and an attitude angle calculation device 68.
姿勢角演算装置６８は、フック位置演算部６３と、ずれ量演算部６４と、カメラ傾斜角演算部（カメラ姿勢角演算手段）６５とを有している。
［視点変換演算部］
The posture angle calculation device 68 includes a hook position calculation unit 63, a deviation amount calculation unit 64, and a camera tilt angle calculation unit (camera posture angle calculation means) 65.
[Viewpoint conversion operation unit]
視点変換演算部６２は、先ず伸縮ブーム１６の先端部の傾斜角とフック２１の繰り出し量とに基づいて、ブーム先端部（図６に示すシーブ２３の中心）を原点としたＸ,Ｙ,Ｚ座標系のフック２１の位置を求める。 First, the viewpoint conversion calculation unit 62 uses the boom tip (center of the sheave 23 shown in FIG. 6) as the origin based on the inclination angle of the tip of the telescopic boom 16 and the amount of extension of the hook 21. The position of the hook 21 in the coordinate system is obtained.
さらに、視点変換演算部６２は、実空間におけるフック２１の位置（Ｘ,Ｙ,Ｚ座標系の位置）を、監視カメラ３２を真下に向けていると仮定して、監視カメラ３２の光学中心位置と撮像面の中心位置とを一致させた点を原点としたｘ３,ｙ３,ｚ３座標系（図６参照）の位置に変換するとともに、ｘ３,ｙ３,ｚ３座標系のフック２１の位置をモニタ７０の画面の座標系（スクリーン座標系）の位置に変換して、モニタ７０の画面上の基準位置（基準フック位置）として求める。 Further, the viewpoint conversion calculation unit 62 assumes that the position of the hook 21 in the real space (the position of the X, Y, Z coordinate system) is directed directly below the monitoring camera 32, and the optical center position of the monitoring camera 32. And the position of the hook 21 of the x3, y3, z3 coordinate system is converted to the position of the x3, y3, z3 coordinate system (see FIG. 6) with the point where the center position of the image pickup surface coincides with the center position of the image pickup surface 70 Is converted into a position in the screen coordinate system (screen coordinate system) and obtained as a reference position (reference hook position) on the monitor 70 screen.
すなわち、監視カメラ３２を真下に向けていると仮定した場合、モニタ７０の画面に表示されるフック２１の位置である基準位置をその画面上の座標位置として求めるものである。 That is, when it is assumed that the monitoring camera 32 is pointed directly downward, the reference position that is the position of the hook 21 displayed on the screen of the monitor 70 is obtained as the coordinate position on the screen.
また、視点変換演算部６２は、ブーム姿勢検出センサ５０が検出する検出信号に基づいて監視カメラ３２の光学中心位置からフック２１までの高さ方向の高さ（フック位置情報）を求める高さ検出手段の機能を有している。
［フック位置演算部］
Further, the viewpoint conversion calculation unit 62 calculates the height (hook position information) in the height direction from the optical center position of the monitoring camera 32 to the hook 21 based on the detection signal detected by the boom posture detection sensor 50. It has the function of means.
[Hook position calculator]
フック位置演算部６３は、モニタ７０の画面に表示されているフック画像上のタッチパネル７１がタッチされることにより、任意の向きに向いている監視カメラ３２で撮像した画像におけるスクリーン座標系上（モニタ７０の画面上）のフック位置を算出する。
［ずれ量演算部］
The hook position calculation unit 63 touches the touch panel 71 on the hook image displayed on the screen of the monitor 70, so that the hook position calculation unit 63 is on the screen coordinate system in the image captured by the monitoring camera 32 facing in an arbitrary direction (monitor 70) on the screen) is calculated.
[Deviation amount calculation section]
ずれ量演算部６４は、フック位置演算部６３が算出したフック位置に基づいて視点変換演算部６２が求めた基準位置に対するフック位置のずれ量、すなわち、基準位置とフック位置との差（フック画像位置情報）であるずれ量を求める。
［カメラ傾斜角演算部］
The shift amount calculation unit 64 is the shift amount of the hook position with respect to the reference position obtained by the viewpoint conversion calculation unit 62 based on the hook position calculated by the hook position calculation unit 63, that is, the difference between the reference position and the hook position (hook image). The displacement amount which is position information) is obtained.
[Camera tilt angle calculator]
カメラ傾斜角演算部６５は、ずれ量演算部６４が求めたずれ量と、視点変換演算部６２が求めた監視カメラ３２の光学中心位置Ｑ１（図５参照）からフック２１までの高さｈ１とに基づいて監視カメラ３２の傾斜角（垂直線に対する傾き）を求める。すなわち、カメラ傾斜角演算部６５は、フック画像位置情報と実空間のフック位置情報とに基づいて監視カメラ３２の姿勢角を求める。
［作業領域演算部］
The camera tilt angle calculation unit 65 includes the shift amount obtained by the shift amount calculation unit 64, the height h1 from the optical center position Q1 (see FIG. 5) of the monitoring camera 32 obtained by the viewpoint conversion calculation unit 62 to the hook 21, and the like. The inclination angle (inclination with respect to the vertical line) of the monitoring camera 32 is obtained based on That is, the camera tilt angle calculation unit 65 obtains the attitude angle of the monitoring camera 32 based on the hook image position information and the real space hook position information.
[Work area calculator]
作業領域演算部６６は、吊荷の荷重に基づいて伸縮ブーム１６の旋回中心を中心にした吊荷の移動可能な領域を示す作業領域線を求め、さらに、監視カメラ３２の傾斜角に基づいてモニタ７０の画像上における作業領域線の正しい位置を求める。 The work area calculation unit 66 obtains a work area line indicating a movable area of the suspended load about the turning center of the telescopic boom 16 based on the load of the suspended load, and further, based on the inclination angle of the monitoring camera 32. The correct position of the work area line on the image of the monitor 70 is obtained.
吊荷の荷重は、起伏用シリンダ１８の圧力センサ(図示せず)によって検出されるシリンダ圧力と伸縮ブーム１６の起伏角度及び伸縮ブーム１６の長さとに基づいてコントローラ６０の図示しない演算部が演算して求める。 The load of the suspended load is calculated by a calculation unit (not shown) of the controller 60 based on the cylinder pressure detected by the pressure sensor (not shown) of the hoisting cylinder 18, the hoisting angle of the telescopic boom 16 and the length of the telescopic boom 16. And ask.
ここで、監視カメラ３２が傾斜している場合の画面上の作業領域線の位置の求め方を簡単に説明する。 Here, how to obtain the position of the work area line on the screen when the monitoring camera 32 is inclined will be briefly described.
図３に示すように、監視カメラ３２の地上からの高さをｈとし、監視カメラ３２の真下の地上の位置をＰ１とし、伸縮ブーム１６の旋回中心位置をＯとし、この旋回中心位置Ｏを中心にした作業領域線をＳ１とする。旋回中心位置Ｏから作業領域線Ｓ１までの距離をＳａとする。高さｈは、ブーム１６の長さと起伏角とにより求めることができる。 As shown in FIG. 3, the height of the surveillance camera 32 from the ground is h, the ground position just below the surveillance camera 32 is P1, the turning center position of the telescopic boom 16 is O, and this turning center position O is Let the work area line at the center be S1. The distance from the turning center position O to the work area line S1 is Sa. The height h can be obtained from the length of the boom 16 and the undulation angle.
監視カメラ３２が真下に向けられているとき、このときの監視カメラ３２の光軸を３２ａとし、この光軸３２ａと地上の交点である位置Ｐ１は、モニタ７０の画面の中心位置に表示される。 When the surveillance camera 32 is directed directly below, the optical axis of the surveillance camera 32 at this time is 32a, and the position P1 that is the intersection of the optical axis 32a and the ground is displayed at the center position of the screen of the monitor 70. .
監視カメラ３２が角度θだけ傾斜されている場合、このときの監視カメラ３２の光軸３２ｂと地上の交点である位置Ｐ２がモニタ７０の画面の中心位置に表示されることになる。なお、監視カメラ３２の回動中心位置と光学中心位置Ｑ１（図５参照）とは一致されている。 When the monitoring camera 32 is inclined by the angle θ, the position P2 that is the intersection of the optical axis 32b of the monitoring camera 32 and the ground at this time is displayed at the center position of the screen of the monitor 70. The rotation center position of the monitoring camera 32 and the optical center position Q1 (see FIG. 5) coincide with each other.
位置Ｐ１と位置Ｐ２との間の距離をΔＲ１とすると、角度θが分かればΔＲ１はｈ・ｔanθで求めることができ、位置Ｐ２から位置Ｐ１を求めることができる。また、伸縮ブーム１６の旋回中心位置Ｏからの伸縮ブーム１６の作業半径をＲ１とすると、位置Ｐ１から旋回中心位置Ｏを求めることができる。なお、作業半径Ｒ１は伸縮ブーム１６の長さと起伏角とから求める。 Assuming that the distance between the position P1 and the position P2 is ΔR1, if the angle θ is known, ΔR1 can be obtained by h · tan θ, and the position P1 can be obtained from the position P2. Further, when the working radius of the telescopic boom 16 from the turning center position O of the telescopic boom 16 is R1, the turning center position O can be obtained from the position P1. The working radius R1 is obtained from the length of the telescopic boom 16 and the undulation angle.
そして、旋回中心位置Ｏを中心にして、荷重に基づいた地上の作業領域線Ｓ１の位置を求めることができる。地上の位置Ｐ２はモニタ７０の画面の中心位置であり、この位置Ｐ２は、旋回中心位置Ｏから作業半径Ｒ１＋ΔＲ１の位置である。 Then, with the turning center position O as the center, the position of the ground work area line S1 based on the load can be obtained. The ground position P2 is the center position of the screen of the monitor 70, and this position P2 is a position of the working radius R1 + ΔR1 from the turning center position O.
また、位置Ｐ２から作領域線Ｓ１までの距離ΔＲ２は、ΔＲ２＝Ｓａ−（Ｒ１＋ΔＲ１）として求める。 A distance ΔR2 from the position P2 to the drawing area line S1 is obtained as ΔR2 = Sa− (R1 + ΔR1).
ここで、監視カメラ３２が角度θだけ傾斜した場合のモニタ７０の画像の中心位置が地上の位置Ｐ２を示しており、また、高さｈが分かっているので、地上の座標位置と画像上の座標位置とを対応させることができる。すなわち、伸縮ブーム１６の旋回中心位置Ｏを原点として、撮像された画像上の各位置にクレーン座標系の座標位置を対応させることができる。 Here, when the monitoring camera 32 is inclined by the angle θ, the center position of the image of the monitor 70 indicates the ground position P2, and the height h is known. The coordinate position can be made to correspond. That is, with the turning center position O of the telescopic boom 16 as the origin, the coordinate position of the crane coordinate system can correspond to each position on the captured image.
これにより、地上の作業領域線Ｓ１の位置に対応したモニタ７０の画像上の位置を求めることができる。
［画像合成部］
Thereby, the position on the image of the monitor 70 corresponding to the position of the work area line S1 on the ground can be obtained.
[Image composition part]
画像合成部６７は、作業領域演算部６６が求めた作業領域線Ｓ１の位置に対応した画像上の位置に、その作業領域線Ｓ１を合成してモニタ７０の画面に表示する。
［動 作］
The image composition unit 67 synthesizes the work area line S1 at a position on the image corresponding to the position of the work area line S1 obtained by the work area calculation unit 66 and displays the work area line S1 on the screen of the monitor 70.
[Operation]
次に、上記のように構成されるカメラ姿勢検出装置１００及び作業領域線表示装置１２０の動作について説明する。 Next, operations of the camera posture detection device 100 and the work area line display device 120 configured as described above will be described.
いま、監視カメラ３２によりフックブロック１９が撮像されて、例えば、図４に示すようにモニタ７０の画面７０Ｇａにフックブロック像１９Ｓが表示されているとする。なお、ここでは、フック２１の位置とは、フックブロック１９に設けてあるシーブ(図示せず)の軸１９Ｊ（図１参照）の位置とし、また、説明の便宜上フックブロック像１９Ｓを含めたフック画像を２１Ｇと表記して説明する。監視カメラ３２はチルト方向及びパン方向に傾斜しているとする。 Now, assume that the hook block 19 is imaged by the surveillance camera 32 and, for example, the hook block image 19S is displayed on the screen 70Ga of the monitor 70 as shown in FIG. Here, the position of the hook 21 is the position of a shaft 19J (see FIG. 1) of a sheave (not shown) provided in the hook block 19, and the hook including the hook block image 19S for convenience of explanation. The image will be described as 21G. Assume that the surveillance camera 32 is tilted in the tilt direction and the pan direction.
オペレータは、その画面７０Ｇａに表示されているフック画像２１Ｇ上のタッチパネル７１の部位をタッチする。フック位置演算部６３は、そのタッチパネル７１のタッチ位置であるフック位置Ｃを画像座標系（画面の左端の上端部を原点とする座標系）の位置として座標値Ｃ_h_tltを算出する。この座標値Ｃ_h_tltは、画像処理によって求めてもよい。 The operator touches the part of the touch panel 71 on the hook image 21G displayed on the screen 70Ga. The hook position calculation unit 63 calculates the coordinate value C_h_tlt with the hook position C, which is the touch position of the touch panel 71, as the position of the image coordinate system (the coordinate system with the upper end at the left end of the screen as the origin). The coordinate value C_h_tlt may be obtained by image processing.
一方、視点変換演算部６２は、監視カメラ３２を真下に向けていると仮定した場合、この真下に向けた監視カメラ３２で撮像した場合のフック２１のモニタ７０の画面上の位置（基準位置）Ｂを求める。 On the other hand, when it is assumed that the viewpoint conversion calculation unit 62 points the monitoring camera 32 directly downward, the position (reference position) on the screen of the monitor 70 of the hook 21 when imaged by the monitoring camera 32 facing directly below. Find B.
ここで、監視カメラ３２を真下に向けていると仮定した場合の画面上のフック２１の位置Ｂの求め方を簡単に説明する。 Here, how to obtain the position B of the hook 21 on the screen when it is assumed that the monitoring camera 32 is directed directly below will be briefly described.
いま、例えば図５に示すように、伸縮ブーム１６の先端部のシーブ２３の軸２３Ｊ（シーブ２３の中心位置）からフック２１までの距離をＨ１とし、監視カメラ３２の光学中心位置Ｑ１からフック２１までの高さ方向の距離をｈ１とすると、ｈ１＝Ｈ１−Ｗ２である。距離Ｈ１は、フック２１の繰出量から求まり、シーブ２３と監視カメラ３２の上下方向のオフセット量Ｗ２は、監視カメラ３２の取付位置やブーム１６の起伏角などとによって求めることができる。 Now, for example, as shown in FIG. 5, the distance from the shaft 23J (the center position of the sheave 23) of the sheave 23 to the hook 21 at the tip of the telescopic boom 16 is H1, and the hook 21 from the optical center position Q1 of the surveillance camera 32 is set. If the distance in the height direction is h1, h1 = H1-W2. The distance H1 can be obtained from the amount of hook 21 fed, and the vertical offset W2 between the sheave 23 and the surveillance camera 32 can be obtained from the mounting position of the surveillance camera 32, the undulation angle of the boom 16, and the like.
そして、光学中心位置Ｑ１と点Ｑ２,Ｑ３を結んで形成される三角形Ｆの底辺Ｆ１と監視カメラ３２の光軸３２ａとの交点をＥ１とする。なお、底辺Ｆ１はフック２１の高さ位置を示す水平方向の線であり、光学中心位置Ｑ１と点Ｑ２とを結ぶ線Ｆ２と、光学中心位置Ｑ１と点Ｑ３とを結ぶ線Ｆ３との間の範囲が監視カメラ３２の撮像範囲を示す。この撮像範囲は監視カメラ３２が真下に向けられている場合の範囲である。また、底辺Ｆ１上の位置Ｆ１ａをフック２１の位置とする。 An intersection point between the base F1 of the triangle F formed by connecting the optical center position Q1 and the points Q2 and Q3 and the optical axis 32a of the monitoring camera 32 is defined as E1. The base F1 is a horizontal line indicating the height position of the hook 21, and is between a line F2 connecting the optical center position Q1 and the point Q2, and a line F3 connecting the optical center position Q1 and the point Q3. The range indicates the imaging range of the monitoring camera 32. This imaging range is a range when the monitoring camera 32 is pointed directly below. The position F1a on the base F1 is set as the position of the hook 21.
交点Ｅ１は、光軸３２ａ上にあるのでモニタ７０の画面７０Ｇの中心位置Ｇ０となる。この交点Ｅ１からフック２１までの距離をＬ１とすると、Ｌ１＝Ｗ１であり、Ｗ１はシーブ２３と監視カメラ３２の水平方向のオフセット量である。このオフセット量Ｗ１は、監視カメラ３２の取付位置や伸縮ブーム１６の起伏角などによって求めることができる。また、高さｈ１は、フック２１の繰出量と、シーブ２３と監視カメラ３２の垂直方向のオフセット量Ｗ２とから求めることができる。 Since the intersection point E1 is on the optical axis 32a, it becomes the center position G0 of the screen 70G of the monitor 70. Assuming that the distance from the intersection E1 to the hook 21 is L1, L1 = W1, and W1 is the horizontal offset amount of the sheave 23 and the monitoring camera 32. The offset amount W1 can be obtained from the mounting position of the monitoring camera 32, the undulation angle of the telescopic boom 16, and the like. Further, the height h1 can be obtained from the amount of extension of the hook 21 and the offset amount W2 of the sheave 23 and the surveillance camera 32 in the vertical direction.
これにより、監視カメラ３２が真下に向けられていると仮定したときの、画面７０Ｇ上のフック２１の位置Ａを求めることができる。なお、図５の７０Ｇは監視カメラ３２が真下を向いている場合のモニタ７０の画面を示す。 Thereby, the position A of the hook 21 on the screen 70 </ b> G when it is assumed that the monitoring camera 32 is directed directly below can be obtained. In addition, 70G of FIG. 5 shows the screen of the monitor 70 when the monitoring camera 32 is facing down.
監視カメラ３２が角度θtilt傾斜している場合、この監視カメラ３２が撮像した画像がモニタ７０の画面を７０Ｇａとし、フック２１はこの画面７０Ｇａの位置Ａに実画像として映し出されることになる。なお、Ｇ１を画面７０Ｇａの中心位置とする。 When the monitoring camera 32 is inclined at an angle θtilt, the image captured by the monitoring camera 32 is 70 Ga on the screen of the monitor 70, and the hook 21 is displayed as a real image at position A on the screen 70 Ga. Note that G1 is the center position of the screen 70Ga.
画面７０Ｇの中心位置Ｇ０（光軸３２ａの交点Ｅ１）からＬ１だけ離れた位置Ａがフック２１の位置であるから、画面７０Ｇａの中心位置Ｇ１からＬ１だけ離れた位置が監視カメラ３２を真下に向けたと仮定した場合のフック２１の位置（基準フック位置）Ｂとなる。すなわち、画面７０Ｇ上の位置Ａと画面７０Ｇａ上の位置Ｂとは画面上で同じ位置である。 Since the position A separated by L1 from the center position G0 (intersection E1 of the optical axis 32a) of the screen 70G is the position of the hook 21, the position separated by L1 from the center position G1 of the screen 70Ga points the monitoring camera 32 directly below. This is the position (reference hook position) B of the hook 21 when it is assumed. That is, the position A on the screen 70G and the position B on the screen 70Ga are the same position on the screen.
この画面７０Ｇａ上の位置Ｂを視点変換演算部６２が透視変換行列式などを用いて求める。 The viewpoint transformation calculation unit 62 obtains the position B on the screen 70Ga by using a perspective transformation determinant.
これを簡単に説明すると、視点変換演算部６２は、距離Ｈ１,ｈ１やオフセット量Ｗ１を基にして、図６に示すようにシーブ２３の中心を原点とするＸ,Ｙ,Ｚ座標系におけるフックブロック１９の位置Ｐ_ｈを求める。さらに、視点変換演算部６２は、監視カメラ３２の光学中心位置Ｑ１とその撮像面の中心を一致させ、この撮像面の中心を原点にした（ｘ３,ｙ３,ｚ３）座標系の位置としてフックブロック１９の位置Ｃ_ｈを求め、この（ｘ３,ｙ３,ｚ３）座標系のフックブロック１９の位置Ｃ_ｈを基にして、モニタ７０の画面７０Ｇａの画像座標系の位置Ｂとして求める。この位置Ｂの画面上の座標値をＣ_h_ver（図４参照）とする。 Briefly describing this, the viewpoint conversion calculation unit 62 is based on the distances H1, h1 and the offset amount W1, and as shown in FIG. 6, is a hook in the X, Y, Z coordinate system with the center of the sheave 23 as the origin. The position P_h of the block 19 is obtained. Further, the viewpoint conversion calculation unit 62 matches the optical center position Q1 of the monitoring camera 32 with the center of the imaging surface, and sets the hook block as the position of the (x3, y3, z3) coordinate system with the center of the imaging surface as the origin. The position C_h of 19 is obtained, and the position B of the image coordinate system of the screen 70Ga of the monitor 70 is obtained based on the position C_h of the hook block 19 of the (x3, y3, z3) coordinate system. The coordinate value on the screen of the position B is C_h_ver (see FIG. 4).
また、視点変換演算部６２は、監視カメラ３２が真下を向いていると仮定した場合、フックブロック１９を上下動させたときの画面７０Ｇａ上のフックブロック１９の移動軌跡Ｔを求める。この移動軌跡Ｔと位置Ｂとを監視カメラ３２が撮像した画像上に画像合成部６７が合成してモニタ７０に表示させる。 Further, when it is assumed that the monitoring camera 32 is facing directly below, the viewpoint conversion calculation unit 62 obtains the movement trajectory T of the hook block 19 on the screen 70Ga when the hook block 19 is moved up and down. The moving locus T and the position B are combined with the image captured by the monitoring camera 32 by the image combining unit 67 and displayed on the monitor 70.
ずれ量演算部６４は、図４に示すように、フック位置演算部６３が算出したフック画像の座標値Ｃ_h_tltと、視点変換演算部６２が求めたフックブロック１９の画面上の位置Ｂの座標値Ｃh_verとの差を求める。すなわち、ずれ量演算部６４は、その差のｘ方向とｙ方向のずれ量Δｘ,Δｙとして求める。 As shown in FIG. 4, the shift amount calculation unit 64 includes the coordinate value C_h_tlt of the hook image calculated by the hook position calculation unit 63 and the coordinate value of the position B on the screen of the hook block 19 calculated by the viewpoint conversion calculation unit 62. Find the difference from Ch_ver. That is, the deviation amount calculation unit 64 calculates the deviation amounts Δx and Δy between the x direction and the y direction of the difference.
カメラ傾斜角演算部６５は、ずれ量演算部６４が求めたずれ量から下記の式に基づいて監視カメラ３２の傾斜角を求める。 The camera tilt angle calculation unit 65 calculates the tilt angle of the monitoring camera 32 based on the following formula from the shift amount obtained by the shift amount calculation unit 64.
チルト角＝ｔan−１（Δｙ/ｈ１）…（１） Tilt angle = tan −1 (Δy / h1) (1)
パン角＝ｔan−１（Δｘ/ｈ１）…（２） Pan angle = tan −1 (Δx / h1) (2)
ここで、監視カメラ３２の傾斜角の求め方を図５に基づいて簡単に説明する。 Here, how to determine the tilt angle of the monitoring camera 32 will be briefly described with reference to FIG.
真下に向けられている監視カメラ３２がチルト方向に角度θtiltだけ傾斜したとする。角度θtiltだけ傾斜した監視カメラ３２の光軸を３２ｃとし、三角形Ｆを角度θtiltだけ傾斜させた位置に形成される三角形をＭとする。この三角形Ｍの底辺Ｍ１と光軸３２ｃの交点をＰ３とし、光学中心位置Ｑ１と位置Ｆ１ａとを結ぶ直線を３２ｄとする。この直線３２ｄと光軸３２ａとのなす角度をθhとし、直線３２ｄと光軸３２ｃとのなす角度をθthとする。 It is assumed that the surveillance camera 32 that is directed right below is tilted by an angle θtilt in the tilt direction. The optical axis of the surveillance camera 32 inclined by the angle θtilt is 32c, and the triangle formed at the position where the triangle F is inclined by the angle θtilt is M. An intersection of the base M1 of the triangle M and the optical axis 32c is P3, and a straight line connecting the optical center position Q1 and the position F1a is 32d. The angle formed by the straight line 32d and the optical axis 32a is θh, and the angle formed by the straight line 32d and the optical axis 32c is θth.
そして、光軸３２ｃとなす角度がθhとなる直線３２ｅと底辺Ｍ１との交点の位置Ｐ４とすると、三角形Ｍの底辺Ｍ１の交点の位置Ｐ４は、傾斜する前の三角形Ｆの底辺Ｆ１の位置Ｆ１ａとなる。つまり、真下に向けられた監視カメラ３２の光軸３２ａ上の交点Ｅ１から距離Ｌ１だけ離れた位置Ｆ１ａがフック２１の位置であるから、角度θtiltだけ傾斜した監視カメラ３２の光軸３２Ｃ上の交点Ｐ３から距離Ｌ１だけ離れた位置Ｐ４が、真下に向けられた監視カメラ３２が撮像するフック２１の位置となる。 Then, assuming that the position P4 of the intersection of the base M1 and the straight line 32e having an angle θh with the optical axis 32c is the position P4 of the base F1 of the triangle F before the inclination, the position P4 It becomes. That is, since the position F1a that is a distance L1 away from the intersection E1 on the optical axis 32a of the monitoring camera 32 that is directed right below is the position of the hook 21, the intersection on the optical axis 32C of the monitoring camera 32 that is inclined by the angle θtilt. A position P4 that is separated from P3 by a distance L1 is the position of the hook 21 that is imaged by the surveillance camera 32 that is directed directly below.
また、監視カメラ３２が角度θtiltだけ傾斜している場合の光軸３２ｃ上の交点Ｐ３はモニタ７０の画面７０Ｇａの中心位置Ｇ１と一致する。また、交点Ｐ３から距離Ｌ１だけ離れた位置Ｐ４は画面７０Ｇａの位置Ｂとなる。位置Ｆ１ａと位置Ｐ４との間の離間距離をΔｙとすると、画面７０Ｇａの位置Ａ,Ｂ間の距離はΔｙとなる。 Further, the intersection P3 on the optical axis 32c when the monitoring camera 32 is inclined by the angle θtilt coincides with the center position G1 of the screen 70Ga of the monitor 70. A position P4 that is separated from the intersection P3 by a distance L1 is a position B of the screen 70Ga. If the separation distance between the position F1a and the position P4 is Δy, the distance between the positions A and B of the screen 70Ga is Δy.
そして、θtilt＝θh＋θthであるから、 And since θtilt = θh + θth,
θtilt＝ｔan−１（Ｌ１/ｈ１）＋ｔan−１（（Δｙ−Ｌ１）/ｈ１）…（３） θtilt = tan −1 (L1 / h1) + tan −1 ((Δy−L1) / h1) (3)
となる。Δｙは、画面７０Ｇａの位置Ａ,Ｂから求めることができ、Ｌ１は既知であり、ｈ１はフック２１の繰出量と伸縮ブーム１６の起伏角などから求めることができる。 It becomes. Δy can be obtained from the positions A and B of the screen 70Ga, L1 is known, and h1 can be obtained from the feed amount of the hook 21, the undulation angle of the telescopic boom 16, and the like.
したがって、図５に示す画面７０Ｇａの位置Ａ（図４において位置Ｃ）をタッチして、フック位置演算部６３が画面７０Ｇａの位置Ａを求めれば、この位置Ａと視点変換演算部６２が求めた位置Ｂとの差からずれ量演算部６４が位置Ａ,Ｂ間の距離Δｙを求める。そして、カメラ傾斜角演算部６５が距離Δｙから（３）式により監視カメラ３２の傾斜角度θtiltを求める。パン角も同様に求めることができるので、ここではその説明は省略する。 Therefore, if the position A of the screen 70Ga shown in FIG. 5 (position C in FIG. 4) is touched and the hook position calculation unit 63 obtains the position A of the screen 70Ga, the position A and the viewpoint conversion calculation unit 62 obtain it. From the difference from the position B, the deviation amount calculation unit 64 obtains the distance Δy between the positions A and B. Then, the camera tilt angle calculation unit 65 obtains the tilt angle θtilt of the monitoring camera 32 from the distance Δy using equation (3). Since the pan angle can be obtained in the same manner, the description thereof is omitted here.
（３）式により、傾斜角度θtiltを正しく求めることができるが、この実施例では、計算を簡単にするため、（１）式でチルト角を求め、（２）式でパン角を求めている。 Although the inclination angle θtilt can be correctly obtained from the expression (3), in this embodiment, the tilt angle is obtained from the expression (1) and the pan angle is obtained from the expression (2) in order to simplify the calculation. .
ここで、Δｙ＝３ｍ、Ｌ１＝０.５ｍ、ｈ１＝１０ｍの場合、（３）式で角度θtiltを求めると、０.２９４９４radとなり、（１）式で求めると、０.２９１４６radとなる。このように、（１）式でも十分に正確なチルト角を求めることができる。パン角も同様である。 Here, in the case of Δy = 3 m, L1 = 0.5 m, and h1 = 10 m, the angle θtilt is obtained by the equation (3), and is 0.229494 rad, and the equation (1) is 0.29146 rad. In this way, a sufficiently accurate tilt angle can also be obtained by equation (1). The same applies to the pan angle.
このように、モニタ７０の画面７０Ｇａのフック画像２１Ｇ（図４参照）上のタッチパネル７１の部位をタッチすれば、距離Δｙ,Δｘが求められて、（１）,（２）式によりカメラ傾斜角演算部６５がチルト角とパン角を求めるので、監視カメラ３２の傾斜角を検出する傾斜角検出センサが不要となる。 As described above, if the part of the touch panel 71 on the hook image 21G (see FIG. 4) of the screen 70Ga of the monitor 70 is touched, the distances Δy and Δx are obtained, and the camera tilt angle is obtained from the equations (1) and (2). Since the calculation unit 65 obtains the tilt angle and the pan angle, the tilt angle detection sensor for detecting the tilt angle of the monitoring camera 32 is not necessary.
作業領域演算部６６は、吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求めるとともに、カメラ傾斜角演算部６５が求めた監視カメラ３２の傾斜角（チルト角及びパン角）に基づいて、その作業領域線に対応したモニタ７０の画像上の作業領域線の位置を求める。画像合成部６７は、作業領域演算部６６が求めた作業領域線の位置に対応した監視カメラ３２の撮像した画像上の位置に、図４に示すように作業領域線ＵＩを合成してモニタ７０の画面７０Ｇａに表示する。 The work area calculation unit 66 obtains a work area line indicating a movable area of the suspended load based on the load of the suspended load, and the inclination angle (tilt angle and pan angle) of the monitoring camera 32 obtained by the camera inclination angle calculation unit 65. The position of the work area line on the image of the monitor 70 corresponding to the work area line is obtained based on the corner. The image composition unit 67 synthesizes the work area line UI as shown in FIG. 4 at the position on the image captured by the monitoring camera 32 corresponding to the position of the work area line obtained by the work area calculation unit 66 and monitors the monitor 70. Is displayed on the screen 70Ga.
この第１実施例によれば、監視カメラ３２の姿勢を検出する姿勢角検出センサが不要となり、しかもカメラ傾斜角演算部６５で求めた監視カメラ３２の傾斜角に応じて正しい作業領域線ＵＩをモニタ７０に表示することができ、安価なカメラ姿勢検出装置１００及び作業領域線表示装置１２０を提供することができる。 According to the first embodiment, the attitude angle detection sensor for detecting the attitude of the monitoring camera 32 is not required, and the correct work area line UI is set according to the inclination angle of the monitoring camera 32 obtained by the camera inclination angle calculation unit 65. An inexpensive camera posture detection device 100 and work area line display device 120 that can be displayed on the monitor 70 can be provided.
また、フック２１が揺れて図７に示すようにモニタ７０の画面７０Ｇａにフック画像２１Ｇが移動して表示される場合には、フック画像２１Ｇの移動軌跡Ｉが形成する図形の中心位置をフック画像２１Ｇの位置とし、その図形の中心位置をタッチする。あるいは、複数のフック画像２１Ｇの中心位置を画像処理によって求めてもよい。 Further, when the hook image 21G is moved and displayed on the screen 70Ga of the monitor 70 as shown in FIG. 7 as the hook 21 is shaken, the center position of the figure formed by the movement locus I of the hook image 21G is set as the hook image. Touch the center position of the figure as the 21G position. Alternatively, the center positions of the plurality of hook images 21G may be obtained by image processing.
図８は画像処理部１３０によって高さｈ１を求めるようにしたカメラ姿勢検出装置１００の他の例を示す。 FIG. 8 shows another example of the camera posture detection apparatus 100 in which the height h1 is obtained by the image processing unit 130.
画像処理部１３０は、図９に示すように、監視カメラ３２が撮像した画像からフック画像を抽出するフック画像抽出部１３１と、フック画像抽出部１３１が抽出したフック画像の面積を求める面積算出部１３２と、この面積算出部１３２が求めた面積（大きさ）から高さｈ１を求める高さ算出部１３３と、を有する。 As shown in FIG. 9, the image processing unit 130 includes a hook image extraction unit 131 that extracts a hook image from an image captured by the monitoring camera 32, and an area calculation unit that calculates the area of the hook image extracted by the hook image extraction unit 131. 132, and a height calculation unit 133 that obtains the height h1 from the area (size) obtained by the area calculation unit 132.
これは、フック画像の面積は高さｈ１が高くなるにつれて小さくなるので、この関係を利用して高さｈ１を求めるものである。 This is because the area of the hook image becomes smaller as the height h1 becomes higher, and the height h1 is obtained using this relationship.
ズームされている場合には、フック画像の大きさと、モニタ７０に表示されるワイヤ画像の長さとからズーム倍率を求め、このズーム倍率とフック画像の面積とから高さｈ１を求める。ズーム倍率は、モニタ７０に映し出されるワイヤ２５の長さをパラメータとしたフック面積の比率を図示しないメモリに予め記憶させておき、映し出されているワイヤ２５の長さを求め、この長さに対応するズーム倍率から求めるものである。 When zoomed, the zoom magnification is obtained from the size of the hook image and the length of the wire image displayed on the monitor 70, and the height h1 is obtained from the zoom magnification and the area of the hook image. For the zoom magnification, the hook area ratio using the length of the wire 25 projected on the monitor 70 as a parameter is stored in advance in a memory (not shown), the length of the wire 25 projected is obtained, and this length is supported. It is obtained from the zoom magnification.
図１０は画像処理部１５０によってフック位置を求めるようにした別の他の例のカメラ姿勢検出装置１６０を示す。 FIG. 10 shows another example of the camera posture detection device 160 in which the hook position is obtained by the image processing unit 150.
画像処理部１５０は、図１１に示すように、監視カメラ３２で撮像された画像からフック画像を抽出するフック画像抽出部１５１と、このフック画像抽出部１５１が抽出したフック画像の中心位置をフック位置として算出する中心位置算出部１５２とを有する。他の構成は図２に示すカメラ姿勢検出装置１００と同様なのでその説明は省略する。
フック画像抽出部１５１は、領域拡張法やパターンマッチングなどの画像処理によって求める。
領域拡張法は、モニタ７０の画面をタッチしたフックの位置から明度差が異なる線をフックの境界として算出し、この境界で囲まれる図形の図心をフックの位置とするものである。
パターンマッチングは、予めズームの倍率ごとにフックのパターンを記憶させておき、このパターンと、画面をスキャン処理して得られる実際のフックの画像とが一致する位置を求め、この位置をフックの位置とするものである。
パターンマッチング等の画像処理方法でフック画像を抽出する場合には、必ずしもタッチパネル７１は必要としない。
［第２実施例］
As shown in FIG. 11, the image processing unit 150 extracts a hook image from an image captured by the monitoring camera 32, and hooks the center position of the hook image extracted by the hook image extraction unit 151. And a center position calculation unit 152 that calculates the position. Other configurations are the same as those of the camera posture detection apparatus 100 shown in FIG.
The hook image extraction unit 151 obtains the image by image processing such as region expansion or pattern matching.
In the area expansion method, a line having a different brightness difference is calculated from the position of the hook touching the screen of the monitor 70 as a hook boundary, and the centroid of the figure surrounded by the boundary is used as the hook position.
In pattern matching, a hook pattern is stored in advance for each zoom magnification, and a position where this pattern matches an actual hook image obtained by scanning the screen is obtained, and this position is determined as the hook position. It is what.
When the hook image is extracted by an image processing method such as pattern matching, the touch panel 71 is not necessarily required.
[Second Embodiment]
図１２は第２実施例の作業領域線表示装置２００の構成を示すブロック図である。 FIG. 12 is a block diagram showing the configuration of the work area line display device 200 of the second embodiment.
作業領域線表示装置２００は、コントローラ２６０の作業領域演算部６６とカメラ姿勢検出装置２１０とを備えている。
［カメラ姿勢検出装置］
The work area line display device 200 includes a work area calculation unit 66 of the controller 260 and a camera posture detection device 210.
[Camera posture detection device]
カメラ姿勢検出装置２１０は、カメラユニット３０と、ブーム姿勢検出センサ５０と、コントローラ２６０（作業領域演算部６６を除く）と、モニタ７０と、タッチパネル７１とを備えている。
［コントローラ］
The camera attitude detection device 210 includes a camera unit 30, a boom attitude detection sensor 50, a controller 260 (excluding the work area calculation unit 66), a monitor 70, and a touch panel 71.
[controller]
コントローラ２６０は、伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに対応してフック２１の移動軌跡を記憶したメモリ２０１と、メモリ２０１に記憶された移動軌跡を伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに基づいて読み出す読出手段２０２と、読み出された移動軌跡Ｋ１（図１３参照）と半径方向ラインＮ１との交点Ｖ１を求める交点演算部２０３と、フック位置演算部６３と、ずれ量演算部２６４と、カメラ傾斜角演算部２６５と、モータ制御部６１と、画像合成部６７とを有している。
［メモリ］
The controller 260 stores the movement track of the hook 21 corresponding to the undulation angle of the telescopic boom 16 and the zoom magnification of the monitoring camera 32, and the movement locus stored in the memory 201 as the undulation angle of the telescopic boom 16. Reading means 202 that reads out based on the zoom magnification of the monitoring camera 32, an intersection calculation unit 203 that obtains an intersection V1 between the read movement locus K1 (see FIG. 13) and the radial line N1, and a hook position calculation unit 63 A displacement amount calculation unit 264, a camera tilt angle calculation unit 265, a motor control unit 61, and an image composition unit 67.
[memory]
メモリ２０１には、監視カメラ３２を真下に向けている場合、フック２１を上下動させたときのモニタ７０の画面に表示されるフック２１の移動軌跡が伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに対応して記憶されている。
［交点演算部］
In the memory 201, when the monitoring camera 32 is directed downward, the movement locus of the hook 21 displayed on the screen of the monitor 70 when the hook 21 is moved up and down indicates the undulation angle of the telescopic boom 16 and the monitoring camera 32. Stored in correspondence with the zoom magnification.
[Intersection calculation section]
交点演算部２０３は、図１３に示すように、フック画像２１Ｇを通る半径方向ラインＮ１と移動軌跡Ｋ１との交点Ｖ１を求める。半径方向ラインＮ１は、フック２１の中心位置を通る水平面上に、伸縮ブーム１６の伸長方向に投影した線に平行であって且つフック２１の中心位置を通る線である。すなわち、伸縮ブーム１６の伸長方向がモニタ７０の画面７０Ｇａの上下方向であれば、フック画像２１Ｇを通る上下方向に延びた線が半径方向ラインＮ１となる。
［ずれ量演算部］
As shown in FIG. 13, the intersection calculation unit 203 obtains an intersection V1 between the radial line N1 passing through the hook image 21G and the movement locus K1. The radial line N <b> 1 is a line that is parallel to a line projected in the extending direction of the telescopic boom 16 on the horizontal plane passing through the center position of the hook 21 and passes through the center position of the hook 21. That is, if the extension direction of the telescopic boom 16 is the vertical direction of the screen 70Ga of the monitor 70, the line extending in the vertical direction passing through the hook image 21G becomes the radial line N1.
[Deviation amount calculation section]
ずれ量演算部２６４は、フック画像２１Ｇの位置と交点Ｖ１との間の離間距離ΔＤを求める。
［カメラ傾斜角演算部］
The deviation amount calculation unit 264 obtains a separation distance ΔD between the position of the hook image 21G and the intersection point V1.
[Camera tilt angle calculator]
カメラ傾斜角演算部２６５は、離間距離ΔＤと、監視カメラ３２の光学中心からフック位置までの高さ方向の距離ｈ１（図５参照）とから下記の（４）式に基づいて監視カメラ３２の傾斜角θ(半径方向の傾斜角)を求める。 The camera inclination angle calculation unit 265 determines the monitoring camera 32 based on the following equation (4) from the separation distance ΔD and the distance h1 in the height direction from the optical center of the monitoring camera 32 to the hook position (see FIG. 5). The inclination angle θ (inclination angle in the radial direction) is obtained.
θ＝ｔan−１（ΔＤ/ｈ１）…（４）
これは、（１）式と同じであり、図５に示すように、画面７０Ｇａの位置Ｂが図１３に示す移動軌跡Ｋ１上の位置（交点Ｖ１）であり、画面７０Ｇａの位置Ａがフック画像２１Ｇの位置である。また、位置Ａと位置Ｂとを結ぶ方向が伸縮ブーム１６の伸長方向であり、位置Ａ,Ｂ間の距離Δｙが図１３に示すΔＤである。したがって、（４）式で監視カメラ３２の傾斜角θを求めることができる。
この実施例は、伸縮ブーム１６の起伏動作に対してチルト方向のみ下向きに追従する監視カメラ３２に有効な方法である。
θ = tan −1 (ΔD / h1) (4)
This is the same as equation (1), and as shown in FIG. 5, the position B of the screen 70Ga is the position (intersection point V1) on the movement locus K1 shown in FIG. 13, and the position A of the screen 70Ga is the hook image. The position is 21G. Further, the direction connecting the position A and the position B is the extending direction of the telescopic boom 16, and the distance Δy between the positions A and B is ΔD shown in FIG. Therefore, the inclination angle θ of the monitoring camera 32 can be obtained by the equation (4).
This embodiment is an effective method for the monitoring camera 32 that follows downward only in the tilt direction with respect to the raising and lowering operation of the telescopic boom 16.
他の構成は、第１実施例と同様なのでその説明は省略する。
［第３実施例］
第３実施例は、伸縮ブーム１６の先端部に設けた監視カメラ３２で撮像した画像をモニタ３７０（図１６参照）に表示し、パンとチルト操作で監視カメラ３２の向きを操作して、モニタ３７０の画面３７０Ｇの所定位置にフック２１を位置させることで、監視カメラ３２の姿勢角を検出しようとするものである。
The other configuration is the same as that of the first embodiment, and the description thereof is omitted.
[Third embodiment]
In the third embodiment, an image captured by the monitoring camera 32 provided at the tip of the telescopic boom 16 is displayed on the monitor 370 (see FIG. 16), and the orientation of the monitoring camera 32 is operated by panning and tilting operations. The attitude angle of the monitoring camera 32 is to be detected by positioning the hook 21 at a predetermined position on the screen 370G of 370.
図１４及び図１５は第３実施例の作業領域線表示装置３００の構成を示すブロック図である。図１５は図１４に示すコントローラ３６０内の構成を詳しく示すとともに、作業領域線表示装置３００を、カメラ姿勢検出装置３１０と、座標位置演算部３６４及び作業領域演算部３６５及び画像合成部３６６の４つの構成に分類して示したものである。 14 and 15 are block diagrams showing the configuration of the work area line display device 300 of the third embodiment. FIG. 15 shows in detail the configuration in the controller 360 shown in FIG. 14, and the work area line display device 300 includes a camera posture detection device 310, a coordinate position calculation unit 364, a work region calculation unit 365, and an image composition unit 366. These are classified into one configuration.
カメラ姿勢検出装置３１０は、カメラユニット３０と、ブーム姿勢検出センサ５０と、コントローラ３６０と、監視カメラ３２で撮像した画像などを表示するモニタ３７０と、パンスイッチＳＷ１及びチルトスイッチＳＷ２とを有する。 The camera posture detection device 310 includes a camera unit 30, a boom posture detection sensor 50, a controller 360, a monitor 370 that displays an image captured by the monitoring camera 32, and a pan switch SW1 and a tilt switch SW2.
モニタ３７０の画面３７０Ｇには、図１６に示すように、画面の中央部に四角い枠Ｍａが表示されるようになっている。
［コントローラ］
On the screen 370G of the monitor 370, as shown in FIG. 16, a square frame Ma is displayed at the center of the screen.
[controller]
コントローラ３６０は、図１５に示すように、モータ制御部６１、姿勢角演算部（演算手段）３６３、座標位置演算部（座標位置演算手段）３６４、作業領域演算部（作業領域演算手段）３６５、画像合成部３６６を有している。
モータ制御部６１は、パンスイッチＳＷ１,チルトスイッチＳＷ２からの信号によりパンモータ３３,チルトモータ３４を制御する。
姿勢角演算部３６３は、ブーム姿勢検出センサ５０から出力されるウインチの繰り出し量と伸縮ブーム１６の長さと後述するオフセット量Ｗ１とに基づいて監視カメラ３２の姿勢角を演算する。
座標位置演算部３６４は、姿勢角演算部３６３が演算した姿勢角とブーム姿勢検出センサ５０から出力される伸縮ブーム１６の各種の検出信号とに基づいて、伸縮ブーム１６の旋回中心位置を原点とする撮像された画像上の各位置におけるクレーン座標系の座標位置を求める。
作業領域演算部３６５は、吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求める。
画像合成部３６６は、作業領域演算部３６５が求めた作業領域線を座標位置演算部３６４が演算した座標位置に対応させて監視カメラ３２が撮像した画像上に合成してモニタ３７０に表示する。
［原 理］
As shown in FIG. 15, the controller 360 includes a motor control unit 61, an attitude angle calculation unit (calculation unit) 363, a coordinate position calculation unit (coordinate position calculation unit) 364, a work area calculation unit (work area calculation unit) 365, An image composition unit 366 is provided.
The motor control unit 61 controls the pan motor 33 and the tilt motor 34 by signals from the pan switch SW1 and the tilt switch SW2.
The attitude angle calculation unit 363 calculates the attitude angle of the monitoring camera 32 based on the winch extension amount output from the boom attitude detection sensor 50, the length of the telescopic boom 16, and an offset amount W1 described later.
The coordinate position calculation unit 364 uses the rotation center position of the telescopic boom 16 as the origin based on the posture angle calculated by the posture angle calculation unit 363 and various detection signals of the telescopic boom 16 output from the boom posture detection sensor 50. The coordinate position of the crane coordinate system at each position on the captured image is obtained.
The work area calculation unit 365 obtains a work area line indicating a movable area of the suspended load based on the load of the suspended load.
The image synthesis unit 366 synthesizes the work area line obtained by the work area computation unit 365 on the image captured by the monitoring camera 32 in correspondence with the coordinate position computed by the coordinate position computation unit 364 and displays it on the monitor 370.
[Principle]
図１７に示すように、監視カメラ３２の回転軸３２Ｊとシーブ２３の中心Ｄ１とは左右方向にＷ１のオフセットがあるとする。また、地上からシーブの中心Ｄ１までの高さをＨ２、シーブの中心Ｄ１からフックブロック１９までの長さをＬａ、監視カメラ３２の光軸をフック２１に向けたときの監視カメラ３２の傾き、すなわち監視カメラ３２の光軸をフック２１に向けた際の垂直線に対する監視カメラ３２の傾斜角度をθとする。そして、伸縮ブーム１６の旋回中心位置Ｏからのその伸縮ブーム１６の作業半径をＲａ、監視カメラ３２をチルトさせたときの画像中心となる地面上の位置Ｐａと作業半径Ｒａとの間の距離をΔＲａとし、監視カメラ３２の回転軸３２Ｊと光学中心位置Ｑ１とを結んだ長さは、高さＨ２に対して無視できるほど小さいとすると、距離ΔＲａは次式で求めることができる。 As shown in FIG. 17, it is assumed that the rotation axis 32J of the monitoring camera 32 and the center D1 of the sheave 23 have an offset of W1 in the left-right direction. In addition, the height from the ground to the sheave center D1 is H2, the length from the sheave center D1 to the hook block 19 is La, the tilt of the surveillance camera 32 when the optical axis of the surveillance camera 32 is directed to the hook 21, That is, the inclination angle of the monitoring camera 32 with respect to the vertical line when the optical axis of the monitoring camera 32 is directed to the hook 21 is defined as θ. Then, the working radius of the telescopic boom 16 from the turning center position O of the telescopic boom 16 is Ra, and the distance between the position Pa on the ground, which is the center of the image when the surveillance camera 32 is tilted, and the working radius Ra. If it is assumed that ΔRa and the length connecting the rotation axis 32J of the monitoring camera 32 and the optical center position Q1 is negligibly small with respect to the height H2, the distance ΔRa can be obtained by the following equation.
ΔＲａ＝Ｈ２tanθ−Ｗ１ ΔRa = H2tanθ-W1
監視カメラ３２の傾きθは、長さＬａとオフセット量Ｗ１から次式により求めることができる。
θ＝ｔan−１（Ｗ１／（Ｌａ−Ｗ２））
長さＬａはワイヤ２５の繰り出し量から求める。パン方向の監視カメラ３２の傾きも同様にして求める。
高さＨ２は伸縮ブーム１６の長さと起伏角から求めることができる。なお、オフセット量Ｗ１,Ｗ２は、伸縮ブーム１６に対するカメラ回転軸３２Ｊとシーブの中心Ｄ１の位置とが既知であるので、伸縮ブーム１６の起伏角に応じて求めることができる。
このように、監視カメラ３２の光軸をフック２１に向けることで監視カメラ３２の傾斜角度θを算出することができる。
また、実施例１で求めたように、長さＬａを所定の長さに設定しておき、監視カメラ３２を真下に向けた場合のフックの基準位置にフック２１が位置するように、枠Ｍａをモニタ３７０の画面３７０Ｇに表示し、この枠Ｍａ内にフック２１が位置するように監視カメラ３２の向きを調整してもよい。この場合、枠Ｍａ内にフック２１が位置したとき監視カメラ３２の向きは重力方向である真下となる（パン,チルトともに０度である）。このように、監視カメラ３２の向きを予め設定した画面の設定位置にフック２１を位置させることで、監視カメラ３２の傾きを求めることができる。
The inclination θ of the monitoring camera 32 can be obtained from the length La and the offset amount W1 by the following equation.
θ = tan −1 (W1 / (La−W2))
The length La is obtained from the feed amount of the wire 25. The tilt of the surveillance camera 32 in the pan direction is obtained in the same manner.
The height H2 can be obtained from the length of the telescopic boom 16 and the undulation angle. The offset amounts W1 and W2 can be determined according to the undulation angle of the telescopic boom 16 since the camera rotation shaft 32J with respect to the telescopic boom 16 and the position of the center D1 of the sheave are known.
In this way, the inclination angle θ of the monitoring camera 32 can be calculated by directing the optical axis of the monitoring camera 32 toward the hook 21.
Further, as determined in the first embodiment, the frame La is set so that the length La is set to a predetermined length and the hook 21 is positioned at the reference position of the hook when the monitoring camera 32 is directed directly downward. May be displayed on the screen 370G of the monitor 370, and the orientation of the monitoring camera 32 may be adjusted so that the hook 21 is positioned within the frame Ma. In this case, when the hook 21 is positioned in the frame Ma, the direction of the monitoring camera 32 is directly below the gravity direction (both pan and tilt are 0 degrees). Thus, the inclination of the monitoring camera 32 can be calculated | required by positioning the hook 21 in the setting position of the screen which set the direction of the monitoring camera 32 beforehand.
モニタ３７０の画像の中心位置に対応する地上の位置はＰａであり、誤差ΔＲａと作業半径Ｒａとにより位置Ｐａから伸縮ブーム１６の旋回中心位置Ｏを求めることができる。同様に、パン方向に対して旋回中心位置Ｏを求める。 The position on the ground corresponding to the center position of the image of the monitor 370 is Pa, and the turning center position O of the telescopic boom 16 can be obtained from the position Pa by the error ΔRa and the work radius Ra. Similarly, the turning center position O is obtained with respect to the pan direction.
そして、旋回中心位置Ｏを中心にして距離Ｒｂ（作業領域範囲を示す距離）の位置に作業領域線を描くことができる。 Then, a work area line can be drawn at the position of the distance Rb (distance indicating the work area range) with the turning center position O as the center.
ここで、画像の中心位置が地上の位置Ｐａを示しており、また、高さＨ２が分かっているので、地上の座標位置と画像上の座標位置とを対応させることができる。すなわち、伸縮ブーム１６の旋回中心位置を原点にして、撮像された画像上の各位置にクレーン座標系の座標位置を対応させる。 Here, since the center position of the image indicates the ground position Pa and the height H2 is known, the ground coordinate position and the coordinate position on the image can be made to correspond to each other. That is, with the turning center position of the telescopic boom 16 as the origin, the coordinate position of the crane coordinate system is associated with each position on the captured image.
これにより、画像上の正しい位置に作業領域線を重畳させてモニタ３７０に表示することができる。 Thereby, the work area line can be superimposed on the correct position on the image and displayed on the monitor 370.
［動 作］ [Operation]
次に、上記のように構成される作業領域線表示装置３００の動作について説明する。 Next, the operation of the work area line display device 300 configured as described above will be described.
図１６に示すように、フック画像２１Ｇがモニタ３７０の画面３７０Ｇの中心部枠Ｍａ内に常に入るようにパンスイッチＳＷ１やチルトスイッチＳＷ２をオペレータが操作して監視カメラ３２を傾動させる。 As shown in FIG. 16, the operator operates the pan switch SW1 and the tilt switch SW2 to tilt the monitoring camera 32 so that the hook image 21G always enters the center frame Ma of the screen 370G of the monitor 370.
コントローラ３６０によって吊荷の実荷重が求められると、またはオペレータにより荷重が入力されると、その実荷重や入力された荷重に基づいて作業領域演算部３６５が作業領域線を求める。 When the actual load of the suspended load is obtained by the controller 360 or when a load is input by the operator, the work area calculation unit 365 obtains a work area line based on the actual load and the input load.
他方、姿勢角演算部３６３は、ブーム姿勢検出センサ５０から出力される検出信号、すなわちウインチによって繰り出されたワイヤ２５（図１参照）の送り出し量と伸縮ブーム１６の長さとから図１７に示すフック２１の吊るされた長さＬａを求め、この長さＬａとオフセット量Ｗ１とから監視カメラ３２の垂直線に対する傾斜角度θ（パンやチルト方向の角度）を求める。 On the other hand, the attitude angle calculation unit 363 uses the detection signal output from the boom attitude detection sensor 50, that is, the hook shown in FIG. 17 based on the feed amount of the wire 25 (see FIG. 1) fed by the winch and the length of the telescopic boom 16. A suspended length La of 21 is obtained, and an inclination angle θ (an angle in the pan and tilt directions) of the surveillance camera 32 with respect to the vertical line is obtained from the length La and the offset amount W1.
すなわち、姿勢角演算部３６３は、伸縮ブーム１６の先端位置情報（伸縮ブーム１６の長さと起伏角から求める位置）とフック２１の位置情報（オフセット量Ｗ１と長さＬａ）とから監視カメラ３２の傾斜角度θを求める。 In other words, the posture angle calculation unit 363 determines the position of the monitoring camera 32 from the tip position information of the telescopic boom 16 (position obtained from the length and undulation angle of the telescopic boom 16) and the position information of the hook 21 (offset amount W1 and length La). The inclination angle θ is obtained.
座標位置演算部３６４は、ブーム姿勢検出センサ５０から出力される検出信号、すなわち、伸縮ブーム１６の長さと起伏角とに基づいて図１７に示す高さＨ２を求め、さらに、この高さＨ２と監視カメラ３２の傾斜角度θとから、撮像された画像上の各位置に対応した伸縮ブーム１６の旋回中心位置を原点にしたクレーン座標系の座標位置を求める。 The coordinate position calculation unit 364 obtains the height H2 shown in FIG. 17 based on the detection signal output from the boom posture detection sensor 50, that is, the length and the undulation angle of the telescopic boom 16, and further calculates the height H2. From the tilt angle θ of the monitoring camera 32, the coordinate position of the crane coordinate system with the turning center position of the telescopic boom 16 corresponding to each position on the captured image as the origin is obtained.
画像合成部３６６は、座標位置演算部３６４が演算したクレーン座標系の座標位置に対応した画像上に、図１８に示すように、作業領域演算部３６５が演算した作業領域線Ｕ２を合成（重畳）させてモニタ３７０に表示させる。 The image synthesis unit 366 synthesizes (superimposes) the work area line U2 calculated by the work area calculation unit 365 on the image corresponding to the coordinate position of the crane coordinate system calculated by the coordinate position calculation unit 364, as shown in FIG. To be displayed on the monitor 370.
この第３実施例も監視カメラ３２の姿勢を検出する姿勢角検出センサが不要となるので、第１実施例と同様な効果を得ることができる。 Since the third embodiment also eliminates the need for an attitude angle detection sensor for detecting the attitude of the monitoring camera 32, the same effects as in the first embodiment can be obtained.
この第３実施例では、作業によって伸縮ブーム１６の起伏や吊荷の上下動などによりフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内からずれていくが、そのフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に常に入るようにパンスイッチＳＷ１やチルトスイッチＳＷ２をオペレータが操作していくものとする。そして、姿勢角演算部３６３及び座標位置演算部３６４は、ブーム姿勢検出センサ５０から出力される検出信号を逐一に読み込んでいき、傾斜角度θと撮像された画像上の各位置に対応したクレーン座標系の座標位置を求めていき、作業領域線Ｕ２をリアルタイムで書き換えていく。 In this third embodiment, the hook image 21G is displaced from the frame Ma of the screen 370G of the monitor 370 due to ups and downs of the telescopic boom 16 or the vertical movement of the suspended load depending on the work, but the hook image 21G is displayed on the screen of the monitor 370. It is assumed that the operator operates the pan switch SW1 and the tilt switch SW2 so as to always enter the frame Ma of 370G. Then, the posture angle calculation unit 363 and the coordinate position calculation unit 364 sequentially read the detection signals output from the boom posture detection sensor 50, and the crane coordinates corresponding to the inclination angle θ and each position on the captured image. The coordinate position of the system is obtained, and the work area line U2 is rewritten in real time.
このため、吊荷の移動中であってもフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に入っている間は、作業領域線Ｕ２を正確にモニタ３７０の画面３７０Ｇ上に表示することができることになる。 For this reason, the work area line U2 can be accurately displayed on the screen 370G of the monitor 370 while the hook image 21G is within the frame Ma of the screen 370G of the monitor 370 even when the suspended load is moving. It will be possible.
この発明は、上記実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。 The present invention is not limited to the above-described embodiments, and design changes and additions are permitted without departing from the spirit of the invention according to each claim of the claims.
１０ クレーン
１６ 伸縮ブーム
２１ フック
３２ 監視カメラ（カメラ）
５０ ブーム姿勢検出センサ
６２ 視点変換演算部（基準フック位置演算手段）
６３ フック位置演算部
６４ ずれ量演算部
６５ カメラ傾斜角演算部(カメラ姿勢角演算手段)
６８ 姿勢角演算装置
７０ モニタ
７１ タッチパネル
ＳＷ１ パンスイッチ（姿勢操作手段）
ＳＷ２ チルトスイッチ（姿勢操作手段）
10 Crane 16 Telescopic boom 21 Hook 32 Surveillance camera (camera)
50 Boom posture detection sensor 62 View point conversion calculation unit (reference hook position calculation means)
63 Hook position calculation unit 64 Deviation amount calculation unit 65 Camera tilt angle calculation unit (camera posture angle calculation means)
68 posture angle calculation device 70 monitor 71 touch panel SW1 pan switch (posture operation means)
SW2 Tilt switch (Attitude control means)
Claims (6)
前記モニタに表示されている画面上のフック画像位置情報と、実空間におけるフック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算装置を設け、
前記フック画像位置情報は、実際に表示されている前記モニタの画面上のフック位置と、前記カメラが真下に向けられたと仮定した場合にそのモニタに表示されるフックの画面上の基準フック位置とであり、
前記実空間における前記フック位置情報は、カメラとフックとの間の高さ方向の距離であり、
前記基準フック位置を求める基準フック位置演算手段を有し、
前記姿勢角演算装置は、前記モニタの画面上のフック位置を求めるフック位置演算部と、このフック位置演算部が求めた画面上のフック位置と前記基準フック位置演算手段が求めた基準フック位置とのずれ量を求めるずれ量演算部と、前記ずれ量演算部が求めたずれ量と前記カメラとフックとの間の高さ方向の距離とに基づいてカメラの姿勢角を求めるカメラ姿勢角演算手段とを有していることを特徴とするカメラ姿勢検出装置。 A camera posture detection device comprising a camera provided at a tip of a boom of a work implement, and a monitor for displaying an image obtained by capturing the hook suspended from the tip of the boom with the camera,
A hook image position information on the screen displayed on the monitor, set attitude angle calculating device for determining the orientation angle of the camera on the basis of the hook position information in the real space,
The hook image position information includes a hook position on the screen of the monitor that is actually displayed, and a reference hook position on the screen of the hook displayed on the monitor when it is assumed that the camera is directed directly below. And
The hook position information in the real space is a distance in the height direction between the camera and the hook,
Reference hook position calculating means for obtaining the reference hook position,
The posture angle calculation device includes a hook position calculation unit for obtaining a hook position on the screen of the monitor, a hook position on the screen obtained by the hook position calculation unit, and a reference hook position obtained by the reference hook position calculation unit. A deviation amount calculation unit for obtaining a deviation amount of the camera, and a camera attitude angle calculation means for obtaining a posture angle of the camera based on the deviation amount obtained by the deviation amount calculation unit and a height direction distance between the camera and the hook the camera posture detection device comprising that you have and.
この画像認識部が求めたフック画像の大きさに基づいて前記高さ方向の距離を求めることを特徴とする請求項１に記載のカメラ姿勢検出装置。 An image recognition unit for extracting a hook image displayed on the monitor and obtaining a size of the extracted hook image;
The camera posture detection apparatus according to claim 1, wherein the distance in the height direction is obtained based on the size of the hook image obtained by the image recognition unit.
前記フック位置演算部は、前記モニタに表示されているフック画像を前記タッチパネルを介してタッチすることにより、前記モニタの画面上のフック位置を求めることを特徴とする請求項１に記載のカメラ姿勢検出装置。 Having a touch panel affixed to the monitor screen;
The camera posture according to claim 1, wherein the hook position calculation unit obtains a hook position on a screen of the monitor by touching a hook image displayed on the monitor via the touch panel. Detection device.
前記モニタに表示されている画面上のフック画像位置情報と、実空間におけるフック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算装置を設け、
前記フック画像位置情報は、カメラを傾動させてフック画像が予め設定した画面の設定位置に位置していることを示すものであり、
フック位置情報は、フック画像が設定位置に位置しているときのフックの繰出し量と、ブーム先端部に設けられたシーブの中心とカメラの回動支点との間のオフセット量と、ブームの起伏角とであり、
前記姿勢角演算装置は、前記フックの繰出し量とカメラのオフセット量とブームの起伏角とに基づいてカメラの姿勢角を求めることを特徴とするカメラ姿勢検出装置。 A camera posture detection device comprising a camera provided at a tip of a boom of a work implement, and a monitor for displaying an image obtained by capturing the hook suspended from the tip of the boom with the camera,
A hook image position information on the screen displayed on the monitor, set attitude angle calculating device for determining the orientation angle of the camera on the basis of the hook position information in the real space,
The hook image position information indicates that the hook image is positioned at a preset position on the screen by tilting the camera,
The hook position information includes the hook feed amount when the hook image is located at the set position, the offset amount between the center of the sheave provided at the tip of the boom and the pivot point of the camera, and the boom undulation. With horns,
The posture angle calculator unit, a camera posture detection device comprising that you seek posture angle of the camera on the basis of the hoisting angle of the offset amount and the boom feed amount and the camera of the hook.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014102874A JP6421451B2 (en) | 2014-05-16 | 2014-05-16 | Camera posture detection device |
| EP14800648.9A EP3000761B1 (en) | 2013-05-21 | 2014-05-19 | Crane with camera orientation detecting device |
| CN201480027752.5A CN105228941B (en) | 2013-05-21 | 2014-05-19 | Camera orientation detecting device and work region line displaying device |
| PCT/JP2014/063229 WO2014189009A1 (en) | 2013-05-21 | 2014-05-19 | Camera orientation detecting device and work region line displaying device |
| US14/892,833 US9667923B2 (en) | 2013-05-21 | 2014-05-19 | Camera attitude detection device and work region line display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014102874A JP6421451B2 (en) | 2014-05-16 | 2014-05-16 | Camera posture detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015219107A JP2015219107A (en) | 2015-12-07 |
| JP6421451B2 true JP6421451B2 (en) | 2018-11-14 |
Family
ID=54778596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014102874A Active JP6421451B2 (en) | 2013-05-21 | 2014-05-16 | Camera posture detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6421451B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6838782B2 (en) | 2017-05-30 | 2021-03-03 | 株式会社三井Ｅ＆Ｓマシナリー | Container crane control system and container crane control method |
| JP6977618B2 (en) * | 2018-02-28 | 2021-12-08 | 株式会社タダノ | Crane for calculating slinging tool length and method for calculating slinging tool length |
| CN113044736B (en) * | 2021-06-01 | 2021-08-13 | 新乡职业技术学院 | Crane with sling stability control |
| CN117079218B (en) * | 2023-09-20 | 2024-03-08 | 山东省地质矿产勘查开发局第一地质大队（山东省第一地质矿产勘查院） | Dynamic monitoring method for rope position of passenger ropeway rope based on video monitoring |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008146108A (en) * | 2006-12-05 | 2008-06-26 | Canon Inc | Index, image processor and image processing method |
| US8466913B2 (en) * | 2007-11-16 | 2013-06-18 | Sportvision, Inc. | User interface for accessing virtual viewpoint animations |
| US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
| JP5642409B2 (en) * | 2010-03-30 | 2014-12-17 | 株式会社タダノ | Crane control device and crane |
| JP5876679B2 (en) * | 2011-07-08 | 2016-03-02 | 株式会社タダノ | Performance line display device |
| JP5693691B2 (en) * | 2013-10-21 | 2015-04-01 | キヤノン株式会社 | Information processing apparatus, processing method thereof, and program |
-
2014
- 2014-05-16 JP JP2014102874A patent/JP6421451B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015219107A (en) | 2015-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2014189009A1 (en) | Camera orientation detecting device and work region line displaying device | |
| JP5876679B2 (en) | Performance line display device | |
| JP5642409B2 (en) | Crane control device and crane | |
| JP6965050B2 (en) | Guide information display device and crane equipped with it and guide information display method | |
| JP6017782B2 (en) | Information system for height information of objects around suspended loads | |
| JP5971994B2 (en) | Crane work monitoring device | |
| WO2014046213A1 (en) | Periphery-information acquisition device for vehicle | |
| JP6421451B2 (en) | Camera posture detection device | |
| JP2011079648A (en) | Stationary image display system | |
| JP2016153335A (en) | Suspended load monitoring equipment | |
| JP6871097B2 (en) | Guide information display device, work equipment equipped with this, and guide information display method | |
| JP6402497B2 (en) | Height detection device | |
| JP6766516B2 (en) | Obstacle detector | |
| JP6080450B2 (en) | Surveillance camera device | |
| JP5917178B2 (en) | Visual aids | |
| JP6146994B2 (en) | Crane surveillance camera | |
| JP6162481B2 (en) | Work area line display device | |
| JP6097063B2 (en) | Height measuring device and height measuring method | |
| JP6257947B2 (en) | Work vehicle ambient information acquisition device | |
| JP6528474B2 (en) | Image display device | |
| JP2019218198A (en) | Operation support system | |
| JP5575572B2 (en) | Image generation system | |
| JP4829592B2 (en) | Remote control device for work vehicle | |
| JP2020066520A (en) | Crane vehicle | |
| JP7081425B2 (en) | Mounting position recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180516 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180918 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6421451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |