JP6979863B2 - Crane system and image compositing equipment - Google Patents

Crane system and image compositing equipment Download PDF

Info

Publication number
JP6979863B2
JP6979863B2 JP2017226938A JP2017226938A JP6979863B2 JP 6979863 B2 JP6979863 B2 JP 6979863B2 JP 2017226938 A JP2017226938 A JP 2017226938A JP 2017226938 A JP2017226938 A JP 2017226938A JP 6979863 B2 JP6979863 B2 JP 6979863B2
Authority
JP
Japan
Prior art keywords
crane
image
camera
yard
crane device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017226938A
Other languages
Japanese (ja)
Other versions
JP2019094199A (en
Inventor
勝美 庄福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Material Handling Systems Co Ltd
Original Assignee
Sumitomo Heavy Industries Material Handling Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Material Handling Systems Co Ltd filed Critical Sumitomo Heavy Industries Material Handling Systems Co Ltd
Priority to JP2017226938A priority Critical patent/JP6979863B2/en
Publication of JP2019094199A publication Critical patent/JP2019094199A/en
Application granted granted Critical
Publication of JP6979863B2 publication Critical patent/JP6979863B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、クレーンシステム及び画像合成装置に関する。 The present invention relates to a crane system and an image compositing device.

例えば特許文献1には、レール上を走行する走行体と、走行体上に設置される塔体と、塔体上に設置される旋回体と、旋回体に取り付けられるジブと、を備えるジブクレーンが開示されている。このジブクレーンでは、走行体にカメラが設けられており、当該カメラにより運転室からの死角を撮像することで、ジブクレーンの動作時における安全性の向上が図られている。 For example, Patent Document 1 describes a jib crane including a traveling body traveling on a rail, a tower body installed on the traveling body, a swivel body installed on the tower body, and a jib attached to the swivel body. It has been disclosed. In this jib crane, a camera is provided on the traveling body, and the camera captures a blind spot from the driver's cab to improve safety during operation of the jib crane.

特開2014−198630号公報Japanese Unexamined Patent Publication No. 2014-198630

上述したようなジブクレーンでは、カメラは、運転室からの死角を撮像することを目的とするものであり、例えば走行体が障害物と干渉する可能性のある特定の領域をピンポイントで撮像するように配置される必要がある。ところで、ジブクレーンを始めとしたクレーンにおいては、カメラをより多様な態様で用いることで利便性を向上させることが望まれている。 In jib cranes as described above, the camera is intended to capture blind spots from the driver's cab, for example pinpointing specific areas where the vehicle may interfere with obstacles. Must be placed in. By the way, in cranes such as jib cranes, it is desired to improve convenience by using the camera in more various modes.

そこで、本発明は、カメラを有効活用して利便性を向上させることができるクレーンシステム及び画像合成装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a crane system and an image compositing device capable of effectively utilizing a camera to improve convenience.

本発明に係るクレーンシステムは、ヤードに配置された複数のクレーン装置と、複数のクレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、複数のカメラのそれぞれにより取得された複数の撮像画像を合成して、ヤードを上から見た合成画像を取得する画像合成装置と、を備える。 The crane system according to the present invention includes a plurality of crane devices arranged in a yard, and a plurality of cameras provided in each of the plurality of crane devices and capable of capturing an image of the surrounding area of the crane device and acquiring an captured image. It is provided with an image compositing device that synthesizes a plurality of captured images acquired by each of a plurality of cameras and acquires a composite image when the yard is viewed from above.

このクレーンシステムによれば、複数のカメラのそれぞれにより取得された複数の撮像画像が合成され、ヤードを上から見た合成画像が取得される。このため、複数の撮像画像に撮像されている領域の相互の位置関係が合成画像により容易に把握され、且つ、ヤード上での人、車両、荷等の現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、このシステムは、カメラを有効活用して利便性を向上させることができる。 According to this crane system, a plurality of captured images acquired by each of the plurality of cameras are combined, and a combined image of the yard viewed from above is acquired. Therefore, the mutual positional relationship of the regions captured in a plurality of captured images can be easily grasped by the composite image, and the current position and movement status of people, vehicles, loads, etc. on the yard can be visualized over a wide range. To. This makes it possible to easily extract, for example, improvement items for work in the yard. Therefore, this system can effectively utilize the camera and improve the convenience.

本発明に係るクレーンシステムでは、画像合成装置は、ヤードの地図画像上に合成画像を重畳させた重畳画像を取得してもよい。これによれば、合成画像上の各領域が地図画像上のいずれの領域であるかが認識されやすくなる。 In the crane system according to the present invention, the image compositing device may acquire a superposed image in which the composite image is superposed on the map image of the yard. According to this, it becomes easy to recognize which area on the map image each area on the composite image is.

本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、旋回可能であり、画像合成装置は、複数のクレーン装置のそれぞれが旋回する場合、当該クレーン装置に設けられたカメラにより取得された撮像画像において、当該クレーン装置の周辺の領域が表示される角度が一定となるように、当該撮像画像を回転させてもよい。これによれば、クレーン装置が旋回する場合であっても、撮像画像においてクレーン装置の周辺の領域が表示される角度が変わらないため、合成画像の視認性が向上する。また、画像合成装置による演算処理により撮像画像の角度が一定とされるため、別途の機械的な構成を追加する必要がなく、構造の複雑化が抑制される。 In the crane system according to the present invention, each of the plurality of crane devices can be swiveled, and the image compositing device is an image captured by a camera provided in the crane device when each of the plurality of crane devices is swiveled. In the image, the captured image may be rotated so that the angle at which the area around the crane device is displayed is constant. According to this, even when the crane device turns, the angle at which the area around the crane device is displayed does not change in the captured image, so that the visibility of the composite image is improved. Further, since the angle of the captured image is made constant by the arithmetic processing by the image synthesizer, it is not necessary to add a separate mechanical configuration, and the complexity of the structure is suppressed.

本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、旋回可能であり、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置に対して旋回可能であり、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置が旋回する場合、当該クレーン装置の周辺の領域が撮像される角度が一定となるように、当該クレーン装置の旋回方向とは逆方向に当該クレーン装置の旋回角度と同角度だけ当該クレーン装置に対して旋回してもよい。これによれば、クレーン装置が旋回する場合であっても、カメラが旋回せず、撮像画像においてクレーン装置の周辺の領域が表示される角度が変わらないため、合成画像の視認性が向上する。また、機械的な構成により撮像画像の角度が一定とされるため、画像合成装置による演算処理の演算量の増大が抑制される。 In the crane system according to the present invention, each of the plurality of crane devices can be swiveled, and each of the plurality of cameras can be swiveled with respect to the crane device provided with the camera, and each of the plurality of cameras can be swiveled. Is that when the crane device provided with the camera turns, the crane device has a direction opposite to the turning direction of the crane device so that the angle at which the area around the crane device is imaged is constant. The crane device may be turned by the same angle as the turning angle. According to this, even when the crane device turns, the camera does not turn and the angle at which the area around the crane device is displayed in the captured image does not change, so that the visibility of the composite image is improved. Further, since the angle of the captured image is fixed by the mechanical configuration, the increase in the calculation amount of the calculation process by the image synthesizer is suppressed.

本発明に係るクレーンシステムでは、画像合成装置は、複数のカメラのそれぞれにより取得された複数の撮像画像において互いに重複する領域が撮像されている場合、一の撮像画像を除く他の撮像画像において、当該重複する領域を合成画像から除外してもよい。これによれば、合成画像において、複数のカメラのそれぞれにより取得された複数の撮像画像において互いに重複する領域が重複して表示されないため、合成画像の視認性が向上する。 In the crane system according to the present invention, when the image synthesizing device captures overlapping regions in a plurality of captured images acquired by each of the plurality of cameras, the image synthesizing device is used in other captured images excluding one captured image. The overlapping region may be excluded from the composite image. According to this, in the composite image, the regions overlapping with each other are not displayed in duplicate in the plurality of captured images acquired by each of the plurality of cameras, so that the visibility of the composite image is improved.

本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、マストを有し、複数のカメラのそれぞれは、複数のクレーン装置のそれぞれのマストのマストトップに設けられていてもよい。これによれば、クレーン装置において特に高い位置にカメラが設けられるため、クレーン装置の周辺の領域を広範囲にわたって撮像することが可能になる。 In the crane system according to the present invention, each of the plurality of crane devices may have a mast, and each of the plurality of cameras may be provided on the mast top of each mast of the plurality of crane devices. According to this, since the camera is provided at a particularly high position in the crane device, it is possible to take an image of a wide area around the crane device.

本発明に係るクレーンシステムでは、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置の鉛直方向における下方の領域を撮像してもよい。これによれば、クレーン装置が旋回しても同一の領域を撮影することができるため、合成画像の視認性が向上する。また、クレーン装置の側方の領域を撮像する場合と比較して、周囲の建屋等によりカメラの撮像方向が遮られにくいため、クレーン装置の周辺の領域を広範囲にわたって撮像することが可能になる。 In the crane system according to the present invention, each of the plurality of cameras may image a region below the vertical direction of the crane device provided with the cameras. According to this, even if the crane device turns, the same area can be photographed, so that the visibility of the composite image is improved. Further, as compared with the case of photographing the area on the side of the crane device, the image pickup direction of the camera is less likely to be obstructed by the surrounding buildings and the like, so that the area around the crane device can be imaged over a wide range.

本発明に係る画像合成装置は、ヤードに配置された複数のクレーン装置のそれぞれに設けられた複数のカメラのそれぞれにより当該クレーン装置の周辺の領域を撮像して取得された複数の撮像画像を合成して、ヤードを上から見た合成画像を取得する。 The image synthesizing device according to the present invention synthesizes a plurality of captured images acquired by imaging an area around the crane device with each of a plurality of cameras provided in each of the plurality of crane devices arranged in a yard. Then, get a composite image of the yard as seen from above.

この画像合成装置によれば、複数のカメラのそれぞれにより取得された複数の撮像画像が合成され、ヤードを上から見た合成画像が取得される。このため、複数の撮像画像に撮像されている領域の相互の位置関係が合成画像により容易に把握され、且つ、ヤード上での人、車両、荷等の現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、この装置は、カメラを有効活用して利便性を向上させることができる。 According to this image synthesizer, a plurality of captured images acquired by each of the plurality of cameras are combined, and a combined image of the yard viewed from above is acquired. Therefore, the mutual positional relationship of the regions captured in a plurality of captured images can be easily grasped by the composite image, and the current position and movement status of people, vehicles, loads, etc. on the yard can be visualized over a wide range. To. This makes it possible to easily extract, for example, improvement items for work in the yard. Therefore, this device can effectively utilize the camera and improve the convenience.

本発明によれば、カメラを有効活用して利便性を向上させることが可能になる。 According to the present invention, it is possible to effectively utilize the camera and improve the convenience.

図1は、本実施形態に係るクレーンシステムを示すブロック図である。FIG. 1 is a block diagram showing a crane system according to the present embodiment. 図2は、クレーンシステムを概略的に示す平面図である。FIG. 2 is a plan view schematically showing a crane system. 図3は、クレーン装置を示す側面図である。FIG. 3 is a side view showing a crane device. 図4は、クレーン装置の走行体を示す正面図である。FIG. 4 is a front view showing a traveling body of the crane device. 図5は、重畳画像の一例を示す図である。FIG. 5 is a diagram showing an example of a superimposed image. 図6は、クレーンシステムによる処理の一例を示すブロック図である。FIG. 6 is a block diagram showing an example of processing by the crane system.

以下、図面を参照して、例示的な実施形態について説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。 Hereinafter, exemplary embodiments will be described with reference to the drawings. In each figure, the same or corresponding parts are designated by the same reference numerals, and duplicate description will be omitted.

図1は、本実施形態に係るクレーンシステム1を示すブロック図である。図2は、クレーンシステム1を概略的に示す平面図である。図3は、クレーン装置10を示す側面図である。図4は、クレーン装置10の走行体11を示す正面図である。図1〜図4に示されるクレーンシステム1は、例えば造船所等の工場P内のクレーン装置10を利用して、当該工場P内を広範囲にわたって可視化するシステムである。 FIG. 1 is a block diagram showing a crane system 1 according to the present embodiment. FIG. 2 is a plan view schematically showing the crane system 1. FIG. 3 is a side view showing the crane device 10. FIG. 4 is a front view showing the traveling body 11 of the crane device 10. The crane system 1 shown in FIGS. 1 to 4 is a system that visualizes the inside of the factory P over a wide range by using the crane device 10 in the factory P such as a shipyard.

クレーンシステム1は、複数のクレーン装置10、複数のクレーン装置10のそれぞれに設けられた複数のカメラ20、複数のクレーン装置10のそれぞれに設けられた複数の位置情報センサ21、及び画像合成装置30を備えている。本実施形態では、各クレーン装置10はジブクレーンである。なお、各クレーン装置10は、工場P内の他の建屋等Hよりも背高なクレーンであればよく、ジブクレーンに限定されない。位置情報センサ21は、クレーン装置10の現在の位置座標及び旋回角度を検出可能なセンサであればよく、複数のセンサを含んでいてもよい。 The crane system 1 includes a plurality of crane devices 10, a plurality of cameras 20 provided in each of the plurality of crane devices 10, a plurality of position information sensors 21 provided in each of the plurality of crane devices 10, and an image compositing device 30. Is equipped with. In this embodiment, each crane device 10 is a jib crane. The crane device 10 may be a crane taller than other buildings such as H in the factory P, and is not limited to a jib crane. The position information sensor 21 may include a plurality of sensors as long as it can detect the current position coordinates and turning angle of the crane device 10.

各クレーン装置10は、工場P内のヤードYに配置されて荷の昇降等を行う走行クレーンである。各クレーン装置10は、走行体11、塔体12、旋回体13、ジブ14、及びマスト15を有している。ヤードYには各クレーン装置10が走行するためのレールRが敷設されている。ここでは、レールRは直線状に延在しており、ヤードYには複数のレールRが所定間隔で互いに平行に敷設されている。 Each crane device 10 is a traveling crane arranged in a yard Y in the factory P to raise and lower a load. Each crane device 10 has a traveling body 11, a tower body 12, a swivel body 13, a jib 14, and a mast 15. A rail R for traveling each crane device 10 is laid in the yard Y. Here, the rails R extend linearly, and a plurality of rails R are laid parallel to each other at predetermined intervals in the yard Y.

各クレーン装置10は、現在の位置座標を公知の手段により取得する。例えば、各クレーン装置10は、当該クレーン装置10が走行するレールR上での位置を位置情報センサ21により取得することで、現在の位置座標を取得する。各クレーン装置10は、取得した現在の位置座標を画像合成装置30に無線又は有線送信する。なお、ヤードYは、屋外ヤードであることが好適であるが、屋内ヤードであってもよい。ヤードY上には、建屋等H、及び、人、車両、荷等の追跡対象Tが存在している。 Each crane device 10 acquires the current position coordinates by a known means. For example, each crane device 10 acquires the current position coordinates by acquiring the position on the rail R on which the crane device 10 travels by the position information sensor 21. Each crane device 10 wirelessly or wire-transmits the acquired current position coordinates to the image compositing device 30. The yard Y is preferably an outdoor yard, but may be an indoor yard. On the yard Y, there is a building H and a tracking target T such as a person, a vehicle, and a load.

各クレーン装置10は、旋回可能である。すなわち、各クレーン装置10は、ヤードYに対して旋回可能である。ここで、「クレーン装置10がヤードYに対して旋回可能」とは、クレーン装置10が、ヤードYに垂直なクレーン装置10の軸線(鉛直軸線L1)回りに旋回可能であることを意味している。より詳細には、「クレーン装置10がヤードYに対して旋回可能」とは、クレーン装置10を構成する全ての部分がヤードYに対して旋回可能でなくてもよく、荷の昇降が行われる方向を変えることができるようにクレーン装置10を構成する部分のうち少なくとも一部が残部に対して旋回可能であればよい。本実施形態では、クレーン装置10を構成する部分のうち、旋回体13、ジブ14、及びマスト15のみがヤードYに対して旋回可能であり、走行体11及び塔体12はヤードYに対して旋回しない。 Each crane device 10 is rotatable. That is, each crane device 10 can turn with respect to the yard Y. Here, "the crane device 10 can turn with respect to the yard Y" means that the crane device 10 can turn around the axis (vertical axis L1) of the crane device 10 perpendicular to the yard Y. There is. More specifically, "the crane device 10 can turn with respect to the yard Y" means that all the parts constituting the crane device 10 do not have to be able to turn with respect to the yard Y, and the load is raised and lowered. It suffices if at least a part of the parts constituting the crane device 10 can turn with respect to the rest so that the direction can be changed. In the present embodiment, of the parts constituting the crane device 10, only the swivel body 13, the jib 14, and the mast 15 can swivel with respect to the yard Y, and the traveling body 11 and the tower body 12 with respect to the yard Y. Does not turn.

各クレーン装置10は、現在の旋回角度を公知の手段により取得する。例えば、各クレーン装置10は、当該クレーン装置10の現在の旋回角度を位置情報センサ21により取得する。各クレーン装置10は、取得した現在の旋回角度を画像合成装置30に無線又は有線送信する。 Each crane device 10 acquires the current turning angle by a known means. For example, each crane device 10 acquires the current turning angle of the crane device 10 by the position information sensor 21. Each crane device 10 wirelessly or wiredly transmits the acquired current turning angle to the image compositing device 30.

走行体11は、一対の脚部11a,11b、及び、一対の脚部11a,11bをそれらの上部で接続する桁部11cを含んでいる。一対の脚部11a,11bの下部には、レールR上を駆動される車輪が設けられている。走行体11は、車輪がレールR上を駆動されることで、レールRに沿って走行する。これにより、クレーン装置10がレールRに沿って走行可能とされている。塔体12は、走行体11の桁部11c上に立設された柱状の構造体である。 The traveling body 11 includes a pair of legs 11a and 11b, and a girder portion 11c connecting the pair of legs 11a and 11b at the upper portions thereof. Wheels driven on the rail R are provided below the pair of legs 11a and 11b. The traveling body 11 travels along the rail R by driving the wheels on the rail R. As a result, the crane device 10 can travel along the rail R. The tower body 12 is a columnar structure erected on the girder portion 11c of the traveling body 11.

旋回体13は、塔体12の上端に設けられ、塔体12に対して鉛直軸線L1回りに旋回可能である。旋回体13は、その上部に運転室13aを含んでいる。ジブ14は、旋回体13の一端部13bに設けられている。ジブ14は、旋回体13の一端部13b側を基端部14aとして延在している。マスト15は、旋回体13上に立設されている。旋回体13の他端部13c、マスト15の上端部であるマストトップ15a、及びジブ14の先端部14bは、ワイヤーロープWにより互いに連結されている。ワイヤーロープWが巻取り及び巻戻しされることにより、ジブ14は、その基端部14aを支点として起伏動作を行う。 The swivel body 13 is provided at the upper end of the tower body 12 and can swivel around the vertical axis L1 with respect to the tower body 12. The swivel body 13 includes a driver's cab 13a above the swivel body 13. The jib 14 is provided at one end 13b of the swivel body 13. The jib 14 extends from the one end portion 13b side of the swivel body 13 as the base end portion 14a. The mast 15 is erected on the swivel body 13. The other end 13c of the swivel body 13, the mast top 15a which is the upper end of the mast 15, and the tip 14b of the jib 14 are connected to each other by a wire rope W. When the wire rope W is wound and rewound, the jib 14 performs an undulating operation with its base end portion 14a as a fulcrum.

また、各クレーン装置10は、画像受信部10a、位置情報取得部10b、及び送信部10cを有している。画像受信部10aは、各カメラ20により取得された撮像画像A(詳しくは後述)を当該カメラ20から受信する。位置情報取得部10bは、クレーン装置10の現在の位置座標及び旋回角度を位置情報センサ21から取得する。送信部10cは、画像受信部10aが受信した撮像画像A、並びに、位置情報取得部10bが取得したクレーン装置10の現在の位置座標及び旋回角度を画像合成装置30に送信する。なお、各クレーン装置10は、画像受信部10aを有していなくてもよく、この場合、各カメラ20により取得された撮像画像Aは、当該カメラ20から画像合成装置30に直接送信されてもよい。また、各クレーン装置10は、位置情報取得部10bを有していなくてもよく、この場合、各位置情報センサ21により取得されたクレーン装置10の現在の位置座標及び旋回角度は、当該位置情報センサ21から画像合成装置30に直接送信されてもよい。各クレーン装置10は、画像受信部10a及び位置情報取得部10bの両方を有していない場合、送信部10cも有していなくてもよい。 Further, each crane device 10 has an image receiving unit 10a, a position information acquisition unit 10b, and a transmitting unit 10c. The image receiving unit 10a receives the captured image A (details will be described later) acquired by each camera 20 from the camera 20. The position information acquisition unit 10b acquires the current position coordinates and turning angle of the crane device 10 from the position information sensor 21. The transmission unit 10c transmits the captured image A received by the image reception unit 10a and the current position coordinates and turning angle of the crane device 10 acquired by the position information acquisition unit 10b to the image compositing device 30. It should be noted that each crane device 10 does not have to have the image receiving unit 10a, and in this case, the captured image A acquired by each camera 20 may be directly transmitted from the camera 20 to the image compositing device 30. good. Further, each crane device 10 does not have to have the position information acquisition unit 10b. In this case, the current position coordinates and turning angle of the crane device 10 acquired by each position information sensor 21 are the position information. It may be transmitted directly from the sensor 21 to the image synthesizer 30. If each crane device 10 does not have both the image receiving unit 10a and the position information acquisition unit 10b, it may not have the transmitting unit 10c either.

各カメラ20は、クレーン装置10の周辺の領域を撮像して撮像画像Aを取得可能な撮像機器である(図5参照)。各カメラ20は、各クレーン装置10のマストトップ15aに設けられている。より具体的には、各カメラ20は、撮像画像Aを取得する撮像部20a、及び、撮像部20aを支持する支持部20bを有している。支持部20bは、各クレーン装置10のマストトップ15aの上端から上方に向かって長尺状に延びる透明部材である。撮像部20aは、支持部20bの上部に設けられている。各カメラ20は、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向(鉛直方向)における下方の領域Eを撮像する。より詳細には、各カメラ20は、鉛直軸線L1方向における下方を光軸Xとした所定の画角Vで、当該カメラ20が設けられているクレーン装置10の下方の領域Eを撮像して撮像画像Aを取得する。各カメラ20は、円形状の領域Eの撮像画像Aを取得する。透明部材である支持部20bが各カメラ20をマストトップ15aの上端よりも上方に支持していることにより、マスト15及び支持部20bに遮られて撮像画像Aが大きく欠けてしまうことが避けられる。撮像画像Aには、領域Eに位置する追跡対象Tが映っている。各カメラ20は、取得した撮像画像Aをクレーン装置10に送信する。 Each camera 20 is an imaging device capable of capturing an image of a region around the crane device 10 and acquiring an captured image A (see FIG. 5). Each camera 20 is provided on the mast top 15a of each crane device 10. More specifically, each camera 20 has an image pickup unit 20a for acquiring an image pickup image A and a support unit 20b for supporting the image pickup unit 20a. The support portion 20b is a transparent member extending upward from the upper end of the mast top 15a of each crane device 10 in an elongated shape. The image pickup unit 20a is provided on the upper portion of the support unit 20b. Each camera 20 captures a lower region E in the vertical axis L1 direction (vertical direction) of the crane device 10 provided with the camera 20. More specifically, each camera 20 takes an image of a region E below the crane device 10 provided with the camera 20 at a predetermined angle of view V with the lower side in the direction of the vertical axis L1 as the optical axis X. Acquire the image A. Each camera 20 acquires a captured image A of a circular region E. Since the support portion 20b, which is a transparent member, supports each camera 20 above the upper end of the mast top 15a, it is possible to avoid being obstructed by the mast 15 and the support portion 20b and causing the captured image A to be largely chipped. .. The captured image A shows the tracking target T located in the region E. Each camera 20 transmits the acquired captured image A to the crane device 10.

図5は、重畳画像Cの一例を示す図である。図2及び図5に示されるように、画像合成装置30は、各カメラ20により取得された複数の撮像画像Aを合成して、ヤードYを上から見た合成画像Bを取得する装置である。図5の重畳画像Cでは、ヤードYの地図画像M上に合成画像Bが重畳表示されており、合成画像Bには追跡対象Tが映っている。 FIG. 5 is a diagram showing an example of the superimposed image C. As shown in FIGS. 2 and 5, the image synthesizing device 30 is a device that synthesizes a plurality of captured images A acquired by each camera 20 and acquires a composite image B when the yard Y is viewed from above. .. In the superimposed image C of FIG. 5, the composite image B is superimposed and displayed on the map image M of the yard Y, and the tracking target T is reflected in the composite image B.

画像合成装置30は、受信部30a、画像処理部30b、及び表示部30cを有している。受信部30aは、各クレーン装置10の送信部10cにより送信された撮像画像A、並びに、当該クレーン装置10の現在の位置座標及び旋回角度を受信する。画像処理部30bは、演算処理を実行することにより、受信部30aが受信した撮像画像Aに対して後述する各種の処理を行う。表示部30cは、例えばディスプレイであり、画像処理部30bにより処理が実行された画像をリアルタイムで表示する。 The image compositing device 30 has a receiving unit 30a, an image processing unit 30b, and a display unit 30c. The receiving unit 30a receives the captured image A transmitted by the transmitting unit 10c of each crane device 10, and the current position coordinates and turning angle of the crane device 10. By executing arithmetic processing, the image processing unit 30b performs various processes described later on the captured image A received by the receiving unit 30a. The display unit 30c is, for example, a display, and displays an image processed by the image processing unit 30b in real time.

画像処理部30bは、各クレーン装置10がヤードYに対して旋回する場合(すなわち、本実施形態では、旋回体13、ジブ14、及びマスト15がヤードYに対して旋回する場合)、当該クレーン装置10のマスト15に設けられたカメラ20により取得された撮像画像Aにおいて、当該クレーン装置10の周辺の領域Eが表示される角度が一定となるように、当該撮像画像Aを回転させる。より具体的な一例として、例えばクレーン装置10がヤードYに対して鉛直軸線L1回りに90度旋回する場合、カメラ20により取得される撮像画像Aも90度回転した角度で表示される。そこで、画像処理部30bは、撮像画像Aを−90度回転させることで、撮像画像Aにおいて当該クレーン装置10の周辺の領域Eが表示される角度を一定とさせる。 When each crane device 10 turns with respect to the yard Y (that is, in the present embodiment, when the turning body 13, the jib 14, and the mast 15 turn with respect to the yard Y), the image processing unit 30b is the crane. In the captured image A acquired by the camera 20 provided on the mast 15 of the device 10, the captured image A is rotated so that the angle at which the region E around the crane device 10 is displayed is constant. As a more specific example, for example, when the crane device 10 turns 90 degrees around the vertical axis L1 with respect to the yard Y, the captured image A acquired by the camera 20 is also displayed at an angle rotated 90 degrees. Therefore, the image processing unit 30b rotates the captured image A by −90 degrees to make the angle at which the peripheral region E of the crane device 10 is displayed constant in the captured image A.

また、画像処理部30bは、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが撮像されている場合、一の撮像画像Aを除く他の撮像画像Aにおいて、当該領域Eaを合成画像Bから除外する(すなわち、合成画像Bの合成に用いない。)。例えば、画像処理部30bは、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが撮像されている場合、各カメラ20に対して予め設定された優先順位に基づいて、より優先順位の高いカメラ20により取得された一の撮像画像Aでは当該領域Eaを合成画像Bから除外せず、より優先順位の低いカメラ20により取得された他の撮像画像Aでは当該領域Eaを合成画像Bから除外する。 Further, when the image processing unit 30b captures the overlapping regions Ea in the plurality of captured images A acquired by each camera 20, the region Ea is captured in the other captured images A other than one captured image A. Is excluded from the composite image B (that is, it is not used for the composite of the composite image B). For example, when the image processing unit 30b captures the overlapping regions Ea in the plurality of captured images A acquired by each camera 20, the image processing unit 30b further obtains images based on the priority set in advance for each camera 20. The region Ea is not excluded from the composite image B in one captured image A acquired by the camera 20 having a higher priority, and the region Ea is synthesized in the other captured images A acquired by the camera 20 having a lower priority. Exclude from image B.

また、画像処理部30bは、工場P内のヤードYの地図画像Mを予め記憶している。画像処理部30bは、ヤードYの地図画像M上に合成画像Bを重畳させた重畳画像Cを取得する。より具体的には、画像処理部30bは、各クレーン装置10から受信した当該クレーン装置10の現在の位置座標とヤードYの地図画像Mにおける位置座標とが一致するように、ヤードYの地図画像M上に合成画像B(撮像画像A)を重畳表示する(プロットする)ことで、重畳画像Cを取得する。画像処理部30bは、表示部30cにより、重畳画像Cを表示する。 Further, the image processing unit 30b stores the map image M of the yard Y in the factory P in advance. The image processing unit 30b acquires a superimposed image C in which the composite image B is superimposed on the map image M of the yard Y. More specifically, the image processing unit 30b has a map image of the yard Y so that the current position coordinates of the crane device 10 received from each crane device 10 and the position coordinates in the map image M of the yard Y match. The superimposed image C is acquired by superimposing (plotting) the composite image B (captured image A) on M. The image processing unit 30b displays the superimposed image C by the display unit 30c.

続いて、クレーンシステム1による処理について説明する。図6は、クレーンシステム1による処理の一例を示すブロック図である。ここでは、各カメラ20が、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方を中心とした円形状の領域Eの撮像画像Aを取得する場合を例示して説明する。 Subsequently, the processing by the crane system 1 will be described. FIG. 6 is a block diagram showing an example of processing by the crane system 1. Here, a case where each camera 20 acquires a captured image A of a circular region E centered on the lower side in the vertical axis L1 direction of the crane device 10 provided with the camera 20 will be described as an example.

図6に示されるように、ステップS10において、クレーンシステム1の画像合成装置30は、各カメラ20によって取得された撮像画像Aを取得する。続いて、ステップS12において、画像合成装置30は、各クレーン装置10の位置情報取得部10bによって取得された各クレーン装置10の現在の位置座標(及び旋回角度)を取得する。続いて、ステップS14において、画像合成装置30は、各クレーン装置10の現在の位置座標に基づいて各クレーン装置10間の距離を演算(取得)する。 As shown in FIG. 6, in step S10, the image synthesizer 30 of the crane system 1 acquires the captured image A acquired by each camera 20. Subsequently, in step S12, the image synthesizing device 30 acquires the current position coordinates (and turning angle) of each crane device 10 acquired by the position information acquisition unit 10b of each crane device 10. Subsequently, in step S14, the image synthesizing device 30 calculates (acquires) the distance between the crane devices 10 based on the current position coordinates of the crane devices 10.

続いて、ステップS16において、画像合成装置30は、各クレーン装置10間の距離が予め設定された重畳距離よりも小さくなるようなクレーン装置10の組が存在するか否かを判定する。「重畳距離」とは、各クレーン装置10間の距離が当該重畳距離よりも小さい場合に、各クレーン装置10のカメラ20により取得された撮像画像Aにおいて互いに重複する領域Eaが生じる距離であり、少なくとも撮像画像Aの直径に基づいて設定される。各クレーン装置10間の距離が重畳距離よりも小さいクレーン装置10の組が存在すると判定された場合(ステップS16:YES)、クレーンシステム1はステップS18の処理に移行する。一方、各クレーン装置10間の距離が重畳距離よりも小さいクレーン装置10の組が存在すると判定されなかった場合(ステップS16:NO)、クレーンシステム1はステップS22の処理に移行する。 Subsequently, in step S16, the image synthesizing device 30 determines whether or not there is a set of crane devices 10 such that the distance between the crane devices 10 is smaller than the preset superimposed distance. The "superimposed distance" is a distance at which regions Ea overlapping each other occur in the captured image A acquired by the camera 20 of each crane device 10 when the distance between the superposed crane devices 10 is smaller than the superposed distance. It is set at least based on the diameter of the captured image A. When it is determined that there is a set of crane devices 10 in which the distance between the crane devices 10 is smaller than the superposed distance (step S16: YES), the crane system 1 shifts to the process of step S18. On the other hand, when it is not determined that there is a set of crane devices 10 in which the distance between the crane devices 10 is smaller than the superposed distance (step S16: NO), the crane system 1 shifts to the process of step S22.

続いて、ステップS18において、画像合成装置30は、各クレーン装置10間の距離及び撮像画像Aの直径に基づいて、撮像画像Aにおいて互いに重複する領域Ea(すなわち、重畳領域)の位置及び寸法を演算(取得)する。続いて、ステップS20において、画像合成装置30は、一の撮像画像A(すなわち、優先画像)を除く他の撮像画像Aから、重畳領域の画像を削除する。 Subsequently, in step S18, the image synthesizing device 30 determines the position and dimension of the region Ea (that is, the superposed region) that overlaps with each other in the captured image A based on the distance between the crane devices 10 and the diameter of the captured image A. Calculate (acquire). Subsequently, in step S20, the image synthesizer 30 deletes the image in the superimposed region from the other captured images A except for one captured image A (that is, the priority image).

続いて、ステップS22において、画像合成装置30は、複数の撮像画像Aを合成して合成画像Bを取得し、取得した合成画像BをヤードYの地図画像M上に重畳させることで重畳画像Cを取得する。画像合成装置30は、取得した重畳画像Cを表示部30cにより表示する。クレーンシステム1は、重畳画像Cを表示部30cにより表示すると、図6に示される今回の処理を終了し、再びステップS10から処理を繰り返す。 Subsequently, in step S22, the image compositing device 30 synthesizes a plurality of captured images A to acquire a composite image B, and superimposes the acquired composite image B on the map image M of the yard Y to superimpose the superimposed image C. To get. The image synthesizer 30 displays the acquired superimposed image C on the display unit 30c. When the superimposed image C is displayed by the display unit 30c, the crane system 1 ends the current process shown in FIG. 6 and repeats the process from step S10 again.

以上説明したように、本実施形態に係るクレーンシステム1によれば、各カメラ20により取得された複数の撮像画像Aが合成され、ヤードYを上から見た合成画像Bが取得される。このため、複数の撮像画像Aに撮像されている領域Eの相互の位置関係が合成画像Bにより容易に把握され、且つ、ヤードY上での人、車両、荷等の追跡対象Tの現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードYにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、クレーンシステム1は、カメラ20を有効活用して利便性を向上させることができる。 As described above, according to the crane system 1 according to the present embodiment, a plurality of captured images A acquired by each camera 20 are combined, and a combined image B when the yard Y is viewed from above is acquired. Therefore, the mutual positional relationship of the regions E captured by the plurality of captured images A can be easily grasped by the composite image B, and the current position of the tracking target T such as a person, a vehicle, or a load on the yard Y. And the movement situation is visualized over a wide area. This makes it possible to easily extract, for example, improvement items for work in the yard Y. Therefore, the crane system 1 can effectively utilize the camera 20 to improve convenience.

また、クレーンシステム1では、画像合成装置30は、ヤードYの地図画像M上に合成画像Bを重畳させた重畳画像Cを取得する。これにより、合成画像B上の各領域Eが地図画像M上のいずれの領域であるかが認識されやすくなる。 Further, in the crane system 1, the image compositing device 30 acquires a superposed image C in which the composite image B is superposed on the map image M of the yard Y. This makes it easier to recognize which region E on the composite image B is on the map image M.

また、クレーンシステム1では、各クレーン装置10は、旋回可能であり、画像合成装置30は、各クレーン装置10が旋回する場合、当該クレーン装置10に設けられたカメラ20により取得された撮像画像Aにおいて、当該クレーン装置10の周辺の領域Eが表示される角度が一定となるように、当該撮像画像Aを回転させる。これにより、クレーン装置10が旋回する場合であっても、撮像画像Aにおいてクレーン装置10の周辺の領域Eが表示される角度が変わらないため、合成画像Bの視認性が向上する。また、画像合成装置30による演算処理により撮像画像の角度が一定とされるため、別途の機械的な構成を追加する必要がなく、構造の複雑化が抑制される。 Further, in the crane system 1, each crane device 10 is rotatable, and the image synthesizing device 30 is an image captured image A acquired by a camera 20 provided in the crane device 10 when each crane device 10 is swiveled. In, the captured image A is rotated so that the angle at which the area E around the crane device 10 is displayed is constant. As a result, even when the crane device 10 turns, the angle at which the region E around the crane device 10 is displayed in the captured image A does not change, so that the visibility of the composite image B is improved. Further, since the angle of the captured image is made constant by the arithmetic processing by the image synthesizing device 30, it is not necessary to add a separate mechanical configuration, and the complexity of the structure is suppressed.

また、クレーンシステム1では、画像合成装置30は、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが撮像されている場合、一の撮像画像Aを除く他の撮像画像Aにおいて、当該領域Eaを合成画像Bから除外する。これにより、合成画像Bにおいて、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが重複して表示されないため、合成画像Bの視認性が向上する。 Further, in the crane system 1, when the image synthesizing device 30 captures the overlapping regions Ea in the plurality of captured images A acquired by each camera 20, the other captured images A except one captured image A are captured. In, the region Ea is excluded from the composite image B. As a result, in the composite image B, the regions Ea that overlap with each other are not displayed in duplicate in the plurality of captured images A acquired by each camera 20, so that the visibility of the composite image B is improved.

また、クレーンシステム1では、各クレーン装置10は、マスト15を有し、各カメラ20は、各クレーン装置10のマスト15のマストトップ15aに設けられている。これにより、クレーン装置10において特に高い位置にカメラ20が設けられるため、クレーン装置10の周辺の領域Eを広範囲にわたって撮像することが可能になる。 Further, in the crane system 1, each crane device 10 has a mast 15, and each camera 20 is provided on the mast top 15a of the mast 15 of each crane device 10. As a result, since the camera 20 is provided at a particularly high position in the crane device 10, it becomes possible to take an image of a region E around the crane device 10 over a wide range.

また、クレーンシステム1では、各カメラ20は、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方の領域Eを撮像する。これにより、クレーン装置10が旋回しても同一の領域Eを撮影することができるため、合成画像Bの視認性が向上する。また、クレーン装置10の側方の領域を撮像する場合と比較して、周囲の建屋等Hによりカメラ20の撮像方向が遮られにくいため、クレーン装置10の周辺の領域Eを広範囲にわたって撮像することが可能になる。 Further, in the crane system 1, each camera 20 captures an image of a lower region E in the direction of the vertical axis L1 of the crane device 10 provided with the camera 20. As a result, the same region E can be photographed even if the crane device 10 turns, so that the visibility of the composite image B is improved. Further, since the image pickup direction of the camera 20 is less likely to be obstructed by the surrounding building or the like H as compared with the case of photographing the lateral area of the crane device 10, the area E around the crane device 10 should be imaged over a wide range. Will be possible.

本実施形態に係るクレーンシステム1では、各クレーン装置10が、ヤードYに対して旋回可能であり、画像合成装置30が、撮像画像Aにおいて当該クレーン装置10の周辺の領域Eが表示される角度が一定となるように当該撮像画像Aを回転させる構成が採用されている。この場合において、各カメラ20が、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方の領域Eを撮像することで奏される作用及び効果について更に説明する。すなわち、各カメラ20が、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方を中心とした円形状の領域Eの撮像画像Aを取得することから、各クレーン装置10がヤードYに対して旋回した場合であっても、取得される円形状の撮像画像Aはその中心点回りに回転することになるため、当該撮像画像Aに映る領域が移動しない。したがって、画像合成装置30が、当該撮像画像Aを回転させた撮像画像Aを合成して合成画像Bを取得するための演算処理の演算量の増大が抑制される。 In the crane system 1 according to the present embodiment, each crane device 10 is rotatable with respect to the yard Y, and the image synthesizing device 30 is at an angle at which the area E around the crane device 10 is displayed in the captured image A. A configuration is adopted in which the captured image A is rotated so that is constant. In this case, the action and effect exerted by each camera 20 taking an image of the lower region E in the direction of the vertical axis L1 of the crane device 10 provided with the camera 20 will be further described. That is, since each camera 20 acquires a captured image A of a circular region E centered on the lower side in the vertical axis L1 direction of the crane device 10 provided with the camera 20, each crane device 10 yard. Even when the crane is turned with respect to Y, the acquired circular image A is rotated around the center point thereof, so that the region reflected in the image A does not move. Therefore, the image compositing device 30 suppresses an increase in the amount of arithmetic processing for synthesizing the captured image A by rotating the captured image A to acquire the composite image B.

また、本実施形態に係る画像合成装置30によれば、各カメラ20により取得された複数の撮像画像Aが合成され、ヤードYを上から見た合成画像Bが取得される。このため、複数の撮像画像Aに撮像されている領域Eの相互の位置関係が合成画像Bにより容易に把握され、且つ、ヤードY上での人、車両、荷等の追跡対象Tの現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードYにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、画像合成装置30は、カメラ20を有効活用して利便性を向上させることができる。 Further, according to the image compositing device 30 according to the present embodiment, a plurality of captured images A acquired by each camera 20 are combined, and a composite image B when the yard Y is viewed from above is acquired. Therefore, the mutual positional relationship of the regions E captured by the plurality of captured images A can be easily grasped by the composite image B, and the current position of the tracking target T such as a person, a vehicle, or a load on the yard Y. And the movement situation is visualized over a wide area. This makes it possible to easily extract, for example, improvement items for work in the yard Y. Therefore, the image compositing device 30 can effectively utilize the camera 20 to improve convenience.

上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。 The above-described embodiment can be implemented in various forms with various changes and improvements based on the knowledge of those skilled in the art.

例えば、各クレーン装置10は、ヤードYに対して旋回可能であり、各カメラ20は、当該カメラ20が設けられているクレーン装置10(より具体的には、クレーン装置10のマスト15)に対して鉛直軸線L1回りに旋回可能であり、各カメラ20は、当該カメラ20が設けられているクレーン装置10がヤードYに対して旋回する場合、当該クレーン装置10の周辺の領域Eが撮像される角度が一定となるように、当該クレーン装置10の旋回方向とは逆方向に当該クレーン装置10の旋回角度と同角度だけ当該クレーン装置10に対して旋回してもよい。例えば、各カメラ20は、クレーン装置10のマスト15に対して旋回するための旋回機構を有していてもよい。各カメラ20は、当該カメラ20が設けられているクレーン装置10の旋回体13から当該クレーン装置10のヤードYに対する旋回方向及び旋回角度を取得してもよく、取得したクレーン装置10の旋回方向及び旋回角度に基づいて、当該カメラ20のクレーン装置10に対する旋回方向及び旋回角度を決定してもよい。より具体的な一例として、例えばクレーン装置10がヤードYに対して鉛直軸線L1回りに90度旋回する場合、カメラ20もヤードYに対して鉛直軸線L1回りに90度旋回した状態となる。そこで、カメラ20は、クレーン装置10に対して鉛直軸線L1回りに−90度旋回することで、撮像画像Aにおいて当該クレーン装置10の周辺の領域Eが撮像される角度を一定とする。 For example, each crane device 10 can turn with respect to the yard Y, and each camera 20 has a reference to the crane device 10 (more specifically, the mast 15 of the crane device 10) provided with the camera 20. Each camera 20 can turn around the vertical axis L1, and when the crane device 10 provided with the camera 20 turns with respect to the yard Y, the area E around the crane device 10 is imaged. The crane device 10 may be turned in the direction opposite to the turning direction of the crane device 10 by the same angle as the turning angle of the crane device 10 so that the angle is constant. For example, each camera 20 may have a turning mechanism for turning with respect to the mast 15 of the crane device 10. Each camera 20 may acquire the turning direction and turning angle of the crane device 10 with respect to the yard Y from the turning body 13 of the crane device 10 provided with the camera 20, and the acquired turning direction and turning angle of the crane device 10 may be obtained. The turning direction and turning angle of the camera 20 with respect to the crane device 10 may be determined based on the turning angle. As a more specific example, for example, when the crane device 10 turns 90 degrees around the vertical axis L1 with respect to the yard Y, the camera 20 also turns 90 degrees around the vertical axis L1 with respect to the yard Y. Therefore, the camera 20 turns −90 degrees around the vertical axis L1 with respect to the crane device 10 so that the angle at which the region E around the crane device 10 is imaged in the captured image A is constant.

これによれば、クレーン装置10がヤードYに対し旋回する場合であっても、カメラ20がヤードYに対し旋回せず、撮像画像Aにおいてクレーン装置10の周辺の領域Eが表示される角度が変わらないため、合成画像Bの視認性が向上する。また、機械的な構成により撮像画像Aの角度が一定とされるため、画像合成装置30による演算処理の演算量の増大が抑制される。 According to this, even when the crane device 10 turns with respect to the yard Y, the camera 20 does not turn with respect to the yard Y, and the angle at which the region E around the crane device 10 is displayed in the captured image A is Since it does not change, the visibility of the composite image B is improved. Further, since the angle of the captured image A is constant due to the mechanical configuration, an increase in the amount of calculation processing by the image synthesizing device 30 is suppressed.

また、各クレーン装置10は、旋回しなくてもよい。すなわち、各クレーン装置10は、ヤードYに対して旋回しなくてもよい。また、各クレーン装置10は、レールRに沿って走行しなくてもよい。 Further, each crane device 10 does not have to turn. That is, each crane device 10 does not have to turn with respect to the yard Y. Further, each crane device 10 does not have to travel along the rail R.

また、各クレーン装置10は、ヤードYのより広範囲が合成画像Bに含まれるようなヤードY上の位置を基準位置として、例えば当該クレーン装置10によるクレーン作業の休止時には、当該クレーン装置10の基準位置に移動してもよい。例えば、各クレーン装置10の基準位置は、等間隔のマトリクス状になるように予め設定されていてもよい。 Further, each crane device 10 uses a position on the yard Y such that a wider area of the yard Y is included in the composite image B as a reference position, for example, when the crane work by the crane device 10 is suspended, the reference position of the crane device 10. You may move to the position. For example, the reference position of each crane device 10 may be preset so as to form a matrix at equal intervals.

また、画像合成装置30は、合成画像Bを取得すればよく、ヤードYの地図画像M上に合成画像Bを重畳させた重畳画像Cを取得しなくてもよい。 Further, the image compositing device 30 may acquire the composite image B, and may not acquire the superposed image C on which the composite image B is superimposed on the map image M of the yard Y.

また、各クレーン装置10は、マスト15を有していない種類のクレーンであってもよい。各カメラ20は、必ずしもマストトップ15aに設けられていなくてもよく、工場P内の他の建屋等Hよりも高い位置に設けられていればよい。 Further, each crane device 10 may be a type of crane that does not have a mast 15. Each camera 20 does not necessarily have to be provided on the mast top 15a, and may be provided at a position higher than other buildings such as H in the factory P.

また、各カメラ20は、当該カメラ20が設けられている位置の高さに基づいて、当該カメラ20の画角が設定されてもよい。例えば、各カメラ20は、当該カメラ20が設けられている位置の高さが低いほど、当該カメラ20の画角が大きくなるように設定されてもよい(換言すると、各カメラ20は、当該カメラ20が設けられている位置の高さが高いほど、当該カメラ20の画角が小さくなるように設定されてもよい)。この場合、複数の(好ましくは、全ての)カメラ20により取得される撮像画像Aにおいて撮像される領域の面積が同一(又は、略同一)となるように、各カメラ20の画角が設定されていてもよい。これにより、画像合成装置30は、複数の撮像画像Aを合成して合成画像Bを取得するための演算処理を実行しやすくなる。 Further, each camera 20 may set the angle of view of the camera 20 based on the height of the position where the camera 20 is provided. For example, each camera 20 may be set so that the lower the height of the position where the camera 20 is provided, the larger the angle of view of the camera 20 (in other words, each camera 20 is the camera). The higher the height of the position where 20 is provided, the smaller the angle of view of the camera 20 may be set). In this case, the angle of view of each camera 20 is set so that the area of the region captured by the captured images A acquired by the plurality of (preferably all) cameras 20 is the same (or substantially the same). You may be. As a result, the image synthesizing device 30 can easily execute the arithmetic processing for synthesizing the plurality of captured images A and acquiring the composite image B.

また、各カメラ20は、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方の領域E(すなわち、鉛直軸線L1方向における下方を光軸Xとした所定の画角Vに含まれる領域)を撮像しなくてもよい。つまり、各カメラ20は、当該カメラ20が設けられているクレーン装置10の側方の領域(すなわち、鉛直軸線L1方向と交差する方向を光軸とした所定の画角に含まれる領域)を撮像してもよい。 Further, each camera 20 is included in a predetermined angle of view V with the lower region E in the vertical axis L1 direction of the crane device 10 provided with the camera 20 (that is, the lower side in the vertical axis L1 direction as the optical axis X). It is not necessary to image the area). That is, each camera 20 captures a lateral region of the crane device 10 provided with the camera 20 (that is, a region included in a predetermined angle of view with the direction intersecting the vertical axis L1 direction as the optical axis). You may.

また、カメラ20は、背高の建屋等Hの上層階又は屋上にも設けられていてもよい。各カメラ20は、円形状の領域Eの撮像画像Aを取得しなくてもよく、例えば矩形状の領域の撮像画像を取得してもよい。 Further, the camera 20 may be provided on the upper floor or the roof of H such as a tall building. Each camera 20 does not have to acquire the captured image A of the circular region E, and may acquire, for example, the captured image of the rectangular region.

また、画像合成装置30は、表示部30cに代えて、又は、表示部30cに加えて、画像処理部30bにより取得された重畳画像Cを記憶する記憶部を有していてもよい。この場合、画像処理部30bにより取得された重畳画像Cは、記憶部に記憶され、所望のタイミングで記憶部から読み出されて表示部30c又は外部の表示機器に表示されることが可能となる。 Further, the image synthesizing device 30 may have a storage unit for storing the superimposed image C acquired by the image processing unit 30b in place of the display unit 30c or in addition to the display unit 30c. In this case, the superimposed image C acquired by the image processing unit 30b can be stored in the storage unit, read from the storage unit at a desired timing, and displayed on the display unit 30c or an external display device. ..

また、各クレーン装置10が配置されるヤードYが屋内ヤードである場合には、各クレーン装置10は天井クレーンであってもよい。また、この場合には、各カメラ20は、各クレーン装置10に限らず、建屋の壁等に設けられていてもよい。 Further, when the yard Y in which each crane device 10 is arranged is an indoor yard, each crane device 10 may be an overhead crane. Further, in this case, each camera 20 is not limited to each crane device 10, and may be provided on a wall or the like of a building.

1…クレーンシステム、10…クレーン装置、15…マスト、15a…マストトップ、20…カメラ、30…画像合成装置、A…撮像画像、B…合成画像、C…重畳画像、M…地図画像、Y…ヤード。 1 ... Crane system, 10 ... Crane device, 15 ... Mast, 15a ... Mast top, 20 ... Camera, 30 ... Image synthesizer, A ... Captured image, B ... Composite image, C ... Superimposed image, M ... Map image, Y … Yard.

Claims (8)

ヤードに配置された複数のクレーン装置と、
複数の前記クレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、
複数の前記カメラのそれぞれにより取得された複数の前記撮像画像を合成して、前記ヤードを上から見た合成画像を取得する画像合成装置と、を備え
前記画像合成装置は、複数の前記クレーン装置のうちの第1のクレーン装置に設けられた第1のカメラで取得された第1の撮像画像と、前記第1のクレーン装置とは異なる第2のクレーン装置に設けられた第2のカメラで取得された第2の撮像画像とを合成する、クレーンシステム。
With multiple crane devices located in the yard,
A plurality of cameras provided in each of the plurality of crane devices and capable of capturing an image of the surrounding area of the crane device and acquiring an captured image.
It is provided with an image compositing device that synthesizes a plurality of the captured images acquired by each of the plurality of cameras and acquires a composite image of the yard viewed from above .
The image compositing device has a first captured image acquired by a first camera provided in the first crane device among the plurality of the crane devices, and a second crane device different from the first crane device. A crane system that synthesizes a second captured image acquired by a second camera provided in a crane device .
前記画像合成装置は、前記ヤードの地図画像を予め記憶しており、それぞれの前記クレーン装置から受信した当該クレーン装置の現在の位置座標と前記ヤードの前記地図画像における位置座標とが一致するように、前記ヤードの前記地図画像上に前記合成画像を重畳させた重畳画像を取得する、請求項1に記載のクレーンシステム。 The image compositing device stores the map image of the yard in advance, so that the current position coordinates of the crane device received from each of the crane devices and the position coordinates of the yard in the map image match. to obtain a superimposed image obtained by superimposing the composite image onto the map image of the yard crane system according to claim 1. ヤードに配置された複数のクレーン装置と、
複数の前記クレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、
複数の前記カメラのそれぞれにより取得された複数の前記撮像画像を合成して、前記ヤードを上から見た合成画像を取得する画像合成装置と、を備え、
複数の前記クレーン装置のそれぞれは、旋回可能であり、
前記画像合成装置は、複数の前記クレーン装置のそれぞれが旋回する場合、当該クレーン装置に設けられた前記カメラにより取得された前記撮像画像において、当該クレーン装置の周辺の領域が表示される角度が一定となるように、当該撮像画像を回転させる、クレーンシステム。
With multiple crane devices located in the yard,
A plurality of cameras provided in each of the plurality of crane devices and capable of capturing an image of the surrounding area of the crane device and acquiring an captured image.
It is provided with an image compositing device that synthesizes a plurality of the captured images acquired by each of the plurality of cameras and acquires a composite image of the yard viewed from above.
Each of the plurality of crane devices is rotatable and can be turned.
In the image compositing device, when each of the plurality of crane devices turns, the angle at which the area around the crane device is displayed is constant in the captured image acquired by the camera provided in the crane device. as will be, rotate the captured image, crane system.
複数の前記クレーン装置のそれぞれは、旋回可能であり、
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置に対して旋回可能であり、
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置が旋回する場合、当該クレーン装置の周辺の領域が撮像される角度が一定となるように、当該クレーン装置の旋回方向とは逆方向に当該クレーン装置の旋回角度と同角度だけ当該クレーン装置に対して旋回する、請求項1又は2に記載のクレーンシステム。
Each of the plurality of crane devices is rotatable and can be turned.
Each of the plurality of cameras is rotatable with respect to the crane device in which the cameras are provided.
Each of the plurality of cameras has a turning direction of the crane device so that when the crane device provided with the camera turns, the angle at which the area around the crane device is imaged is constant. The crane system according to claim 1 or 2, wherein the crane system turns in the opposite direction with respect to the crane device by the same angle as the turning angle of the crane device.
前記画像合成装置は、複数の前記カメラのそれぞれにより取得された複数の前記撮像画像において互いに重複する領域が撮像されている場合、一の前記撮像画像を除く他の前記撮像画像において、当該重複する領域を前記合成画像から除外する、請求項1〜4のいずれか一項に記載のクレーンシステム。 When a region overlapping with each other is captured in a plurality of captured images acquired by each of the plurality of cameras, the image synthesizer overlaps the captured images in other captured images excluding one captured image. The crane system according to any one of claims 1 to 4, wherein the area is excluded from the composite image. 複数の前記クレーン装置のそれぞれは、マストを有し、
複数の前記カメラのそれぞれは、複数の前記クレーン装置のそれぞれの前記マストのマストトップに設けられている、請求項1〜5のいずれか一項に記載のクレーンシステム。
Each of the plurality of crane devices has a mast and
The crane system according to any one of claims 1 to 5, wherein each of the plurality of cameras is provided on the mast top of the mast of each of the plurality of crane devices.
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置の鉛直方向における下方の領域を撮像する、請求項1〜6のいずれか一項に記載のクレーンシステム。 The crane system according to any one of claims 1 to 6, wherein each of the plurality of cameras images a lower region in the vertical direction of the crane device provided with the camera. ヤードに配置された複数のクレーン装置のそれぞれに設けられた複数のカメラのそれぞれにより当該クレーン装置の周辺の領域を撮像して取得された複数の撮像画像を合成して、前記ヤードを上から見た合成画像を取得し、
複数の前記クレーン装置のうちの第1のクレーン装置に設けられた第1のカメラで取得された第1の撮像画像と、前記第1のクレーン装置とは異なる第2のクレーン装置に設けられた第2のカメラで取得された第2の撮像画像とを合成する、画像合成装置。
The yard is viewed from above by synthesizing a plurality of captured images obtained by imaging the area around the crane device with each of a plurality of cameras provided in each of the plurality of crane devices arranged in the yard. a composite image acquired was,
The first captured image acquired by the first camera provided in the first crane device among the plurality of the crane devices and the second crane device different from the first crane device are provided. An image compositing device that synthesizes a second captured image acquired by a second camera.
JP2017226938A 2017-11-27 2017-11-27 Crane system and image compositing equipment Active JP6979863B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017226938A JP6979863B2 (en) 2017-11-27 2017-11-27 Crane system and image compositing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017226938A JP6979863B2 (en) 2017-11-27 2017-11-27 Crane system and image compositing equipment

Publications (2)

Publication Number Publication Date
JP2019094199A JP2019094199A (en) 2019-06-20
JP6979863B2 true JP6979863B2 (en) 2021-12-15

Family

ID=66970923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017226938A Active JP6979863B2 (en) 2017-11-27 2017-11-27 Crane system and image compositing equipment

Country Status (1)

Country Link
JP (1) JP6979863B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099150B2 (en) * 2018-08-02 2022-07-12 株式会社タダノ Crane and information sharing system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6133490A (en) * 1984-07-20 1986-02-17 株式会社竹中工務店 Television camera automatic elevating control system in tower crane, etc.
JP2003244683A (en) * 2002-02-13 2003-08-29 Toshiba Corp Remote monitor system and program
JP2005239357A (en) * 2004-02-26 2005-09-08 Mitsubishi Heavy Ind Ltd Monitoring system for harbor, yard crane, and harbor monitoring method
JP5575571B2 (en) * 2010-07-30 2014-08-20 住友重機械工業株式会社 Image generation system
JP5886068B2 (en) * 2012-02-08 2016-03-16 住友重機械工業株式会社 Display device for crane
JP6324763B2 (en) * 2013-03-13 2018-05-16 住友重機械搬送システム株式会社 crane

Also Published As

Publication number Publication date
JP2019094199A (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6727971B2 (en) Work vehicle
US9169108B2 (en) Performance line display unit
US20190016569A1 (en) Method and apparatus for controlling a crane, an excavator, a crawler-type vehicle or a similar construction machine
RU2638659C2 (en) Technological vehicle with monitoring system for observing vehicle position
WO2014046213A1 (en) Periphery-information acquisition device for vehicle
JP6321977B2 (en) Perimeter monitoring equipment for heavy machinery
JP5971994B2 (en) Crane work monitoring device
JP6801421B2 (en) crane
JP6486596B2 (en) Specified range monitoring system
JP2015007362A (en) In-vehicle remote bridge inspection system
JP2011102167A (en) Hanging load position monitoring system for crane, and hanging tool
CN110915203A (en) Guide information display device and crane
JP5380747B2 (en) Monitoring system and monitoring method under suspended load
JP2018095367A (en) crane
WO2019059091A1 (en) Utility pole management system
JP6979863B2 (en) Crane system and image compositing equipment
JP6507501B2 (en) Obstacle notification system for crane car
JP2020175890A (en) Work vehicle
JP6257947B2 (en) Work vehicle ambient information acquisition device
JP6080450B2 (en) Surveillance camera device
RU113395U1 (en) VIDEO SURVEILLANCE SYSTEM FROM VEHICLE IN MOTION
US20220356048A1 (en) Crane information display system
JP6368503B2 (en) Obstacle monitoring system and program
JP6958216B2 (en) Work vehicle
JP6686561B2 (en) Crane operation support device

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20200413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211116

R150 Certificate of patent or registration of utility model

Ref document number: 6979863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350