JP6979863B2 - Crane system and image compositing equipment - Google Patents
Crane system and image compositing equipment Download PDFInfo
- Publication number
- JP6979863B2 JP6979863B2 JP2017226938A JP2017226938A JP6979863B2 JP 6979863 B2 JP6979863 B2 JP 6979863B2 JP 2017226938 A JP2017226938 A JP 2017226938A JP 2017226938 A JP2017226938 A JP 2017226938A JP 6979863 B2 JP6979863 B2 JP 6979863B2
- Authority
- JP
- Japan
- Prior art keywords
- crane
- image
- camera
- yard
- crane device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、クレーンシステム及び画像合成装置に関する。 The present invention relates to a crane system and an image compositing device.
例えば特許文献1には、レール上を走行する走行体と、走行体上に設置される塔体と、塔体上に設置される旋回体と、旋回体に取り付けられるジブと、を備えるジブクレーンが開示されている。このジブクレーンでは、走行体にカメラが設けられており、当該カメラにより運転室からの死角を撮像することで、ジブクレーンの動作時における安全性の向上が図られている。
For example,
上述したようなジブクレーンでは、カメラは、運転室からの死角を撮像することを目的とするものであり、例えば走行体が障害物と干渉する可能性のある特定の領域をピンポイントで撮像するように配置される必要がある。ところで、ジブクレーンを始めとしたクレーンにおいては、カメラをより多様な態様で用いることで利便性を向上させることが望まれている。 In jib cranes as described above, the camera is intended to capture blind spots from the driver's cab, for example pinpointing specific areas where the vehicle may interfere with obstacles. Must be placed in. By the way, in cranes such as jib cranes, it is desired to improve convenience by using the camera in more various modes.
そこで、本発明は、カメラを有効活用して利便性を向上させることができるクレーンシステム及び画像合成装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a crane system and an image compositing device capable of effectively utilizing a camera to improve convenience.
本発明に係るクレーンシステムは、ヤードに配置された複数のクレーン装置と、複数のクレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、複数のカメラのそれぞれにより取得された複数の撮像画像を合成して、ヤードを上から見た合成画像を取得する画像合成装置と、を備える。 The crane system according to the present invention includes a plurality of crane devices arranged in a yard, and a plurality of cameras provided in each of the plurality of crane devices and capable of capturing an image of the surrounding area of the crane device and acquiring an captured image. It is provided with an image compositing device that synthesizes a plurality of captured images acquired by each of a plurality of cameras and acquires a composite image when the yard is viewed from above.
このクレーンシステムによれば、複数のカメラのそれぞれにより取得された複数の撮像画像が合成され、ヤードを上から見た合成画像が取得される。このため、複数の撮像画像に撮像されている領域の相互の位置関係が合成画像により容易に把握され、且つ、ヤード上での人、車両、荷等の現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、このシステムは、カメラを有効活用して利便性を向上させることができる。 According to this crane system, a plurality of captured images acquired by each of the plurality of cameras are combined, and a combined image of the yard viewed from above is acquired. Therefore, the mutual positional relationship of the regions captured in a plurality of captured images can be easily grasped by the composite image, and the current position and movement status of people, vehicles, loads, etc. on the yard can be visualized over a wide range. To. This makes it possible to easily extract, for example, improvement items for work in the yard. Therefore, this system can effectively utilize the camera and improve the convenience.
本発明に係るクレーンシステムでは、画像合成装置は、ヤードの地図画像上に合成画像を重畳させた重畳画像を取得してもよい。これによれば、合成画像上の各領域が地図画像上のいずれの領域であるかが認識されやすくなる。 In the crane system according to the present invention, the image compositing device may acquire a superposed image in which the composite image is superposed on the map image of the yard. According to this, it becomes easy to recognize which area on the map image each area on the composite image is.
本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、旋回可能であり、画像合成装置は、複数のクレーン装置のそれぞれが旋回する場合、当該クレーン装置に設けられたカメラにより取得された撮像画像において、当該クレーン装置の周辺の領域が表示される角度が一定となるように、当該撮像画像を回転させてもよい。これによれば、クレーン装置が旋回する場合であっても、撮像画像においてクレーン装置の周辺の領域が表示される角度が変わらないため、合成画像の視認性が向上する。また、画像合成装置による演算処理により撮像画像の角度が一定とされるため、別途の機械的な構成を追加する必要がなく、構造の複雑化が抑制される。 In the crane system according to the present invention, each of the plurality of crane devices can be swiveled, and the image compositing device is an image captured by a camera provided in the crane device when each of the plurality of crane devices is swiveled. In the image, the captured image may be rotated so that the angle at which the area around the crane device is displayed is constant. According to this, even when the crane device turns, the angle at which the area around the crane device is displayed does not change in the captured image, so that the visibility of the composite image is improved. Further, since the angle of the captured image is made constant by the arithmetic processing by the image synthesizer, it is not necessary to add a separate mechanical configuration, and the complexity of the structure is suppressed.
本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、旋回可能であり、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置に対して旋回可能であり、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置が旋回する場合、当該クレーン装置の周辺の領域が撮像される角度が一定となるように、当該クレーン装置の旋回方向とは逆方向に当該クレーン装置の旋回角度と同角度だけ当該クレーン装置に対して旋回してもよい。これによれば、クレーン装置が旋回する場合であっても、カメラが旋回せず、撮像画像においてクレーン装置の周辺の領域が表示される角度が変わらないため、合成画像の視認性が向上する。また、機械的な構成により撮像画像の角度が一定とされるため、画像合成装置による演算処理の演算量の増大が抑制される。 In the crane system according to the present invention, each of the plurality of crane devices can be swiveled, and each of the plurality of cameras can be swiveled with respect to the crane device provided with the camera, and each of the plurality of cameras can be swiveled. Is that when the crane device provided with the camera turns, the crane device has a direction opposite to the turning direction of the crane device so that the angle at which the area around the crane device is imaged is constant. The crane device may be turned by the same angle as the turning angle. According to this, even when the crane device turns, the camera does not turn and the angle at which the area around the crane device is displayed in the captured image does not change, so that the visibility of the composite image is improved. Further, since the angle of the captured image is fixed by the mechanical configuration, the increase in the calculation amount of the calculation process by the image synthesizer is suppressed.
本発明に係るクレーンシステムでは、画像合成装置は、複数のカメラのそれぞれにより取得された複数の撮像画像において互いに重複する領域が撮像されている場合、一の撮像画像を除く他の撮像画像において、当該重複する領域を合成画像から除外してもよい。これによれば、合成画像において、複数のカメラのそれぞれにより取得された複数の撮像画像において互いに重複する領域が重複して表示されないため、合成画像の視認性が向上する。 In the crane system according to the present invention, when the image synthesizing device captures overlapping regions in a plurality of captured images acquired by each of the plurality of cameras, the image synthesizing device is used in other captured images excluding one captured image. The overlapping region may be excluded from the composite image. According to this, in the composite image, the regions overlapping with each other are not displayed in duplicate in the plurality of captured images acquired by each of the plurality of cameras, so that the visibility of the composite image is improved.
本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、マストを有し、複数のカメラのそれぞれは、複数のクレーン装置のそれぞれのマストのマストトップに設けられていてもよい。これによれば、クレーン装置において特に高い位置にカメラが設けられるため、クレーン装置の周辺の領域を広範囲にわたって撮像することが可能になる。 In the crane system according to the present invention, each of the plurality of crane devices may have a mast, and each of the plurality of cameras may be provided on the mast top of each mast of the plurality of crane devices. According to this, since the camera is provided at a particularly high position in the crane device, it is possible to take an image of a wide area around the crane device.
本発明に係るクレーンシステムでは、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置の鉛直方向における下方の領域を撮像してもよい。これによれば、クレーン装置が旋回しても同一の領域を撮影することができるため、合成画像の視認性が向上する。また、クレーン装置の側方の領域を撮像する場合と比較して、周囲の建屋等によりカメラの撮像方向が遮られにくいため、クレーン装置の周辺の領域を広範囲にわたって撮像することが可能になる。 In the crane system according to the present invention, each of the plurality of cameras may image a region below the vertical direction of the crane device provided with the cameras. According to this, even if the crane device turns, the same area can be photographed, so that the visibility of the composite image is improved. Further, as compared with the case of photographing the area on the side of the crane device, the image pickup direction of the camera is less likely to be obstructed by the surrounding buildings and the like, so that the area around the crane device can be imaged over a wide range.
本発明に係る画像合成装置は、ヤードに配置された複数のクレーン装置のそれぞれに設けられた複数のカメラのそれぞれにより当該クレーン装置の周辺の領域を撮像して取得された複数の撮像画像を合成して、ヤードを上から見た合成画像を取得する。 The image synthesizing device according to the present invention synthesizes a plurality of captured images acquired by imaging an area around the crane device with each of a plurality of cameras provided in each of the plurality of crane devices arranged in a yard. Then, get a composite image of the yard as seen from above.
この画像合成装置によれば、複数のカメラのそれぞれにより取得された複数の撮像画像が合成され、ヤードを上から見た合成画像が取得される。このため、複数の撮像画像に撮像されている領域の相互の位置関係が合成画像により容易に把握され、且つ、ヤード上での人、車両、荷等の現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、この装置は、カメラを有効活用して利便性を向上させることができる。 According to this image synthesizer, a plurality of captured images acquired by each of the plurality of cameras are combined, and a combined image of the yard viewed from above is acquired. Therefore, the mutual positional relationship of the regions captured in a plurality of captured images can be easily grasped by the composite image, and the current position and movement status of people, vehicles, loads, etc. on the yard can be visualized over a wide range. To. This makes it possible to easily extract, for example, improvement items for work in the yard. Therefore, this device can effectively utilize the camera and improve the convenience.
本発明によれば、カメラを有効活用して利便性を向上させることが可能になる。 According to the present invention, it is possible to effectively utilize the camera and improve the convenience.
以下、図面を参照して、例示的な実施形態について説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。 Hereinafter, exemplary embodiments will be described with reference to the drawings. In each figure, the same or corresponding parts are designated by the same reference numerals, and duplicate description will be omitted.
図1は、本実施形態に係るクレーンシステム1を示すブロック図である。図2は、クレーンシステム1を概略的に示す平面図である。図3は、クレーン装置10を示す側面図である。図4は、クレーン装置10の走行体11を示す正面図である。図1〜図4に示されるクレーンシステム1は、例えば造船所等の工場P内のクレーン装置10を利用して、当該工場P内を広範囲にわたって可視化するシステムである。
FIG. 1 is a block diagram showing a
クレーンシステム1は、複数のクレーン装置10、複数のクレーン装置10のそれぞれに設けられた複数のカメラ20、複数のクレーン装置10のそれぞれに設けられた複数の位置情報センサ21、及び画像合成装置30を備えている。本実施形態では、各クレーン装置10はジブクレーンである。なお、各クレーン装置10は、工場P内の他の建屋等Hよりも背高なクレーンであればよく、ジブクレーンに限定されない。位置情報センサ21は、クレーン装置10の現在の位置座標及び旋回角度を検出可能なセンサであればよく、複数のセンサを含んでいてもよい。
The
各クレーン装置10は、工場P内のヤードYに配置されて荷の昇降等を行う走行クレーンである。各クレーン装置10は、走行体11、塔体12、旋回体13、ジブ14、及びマスト15を有している。ヤードYには各クレーン装置10が走行するためのレールRが敷設されている。ここでは、レールRは直線状に延在しており、ヤードYには複数のレールRが所定間隔で互いに平行に敷設されている。
Each
各クレーン装置10は、現在の位置座標を公知の手段により取得する。例えば、各クレーン装置10は、当該クレーン装置10が走行するレールR上での位置を位置情報センサ21により取得することで、現在の位置座標を取得する。各クレーン装置10は、取得した現在の位置座標を画像合成装置30に無線又は有線送信する。なお、ヤードYは、屋外ヤードであることが好適であるが、屋内ヤードであってもよい。ヤードY上には、建屋等H、及び、人、車両、荷等の追跡対象Tが存在している。
Each
各クレーン装置10は、旋回可能である。すなわち、各クレーン装置10は、ヤードYに対して旋回可能である。ここで、「クレーン装置10がヤードYに対して旋回可能」とは、クレーン装置10が、ヤードYに垂直なクレーン装置10の軸線(鉛直軸線L1)回りに旋回可能であることを意味している。より詳細には、「クレーン装置10がヤードYに対して旋回可能」とは、クレーン装置10を構成する全ての部分がヤードYに対して旋回可能でなくてもよく、荷の昇降が行われる方向を変えることができるようにクレーン装置10を構成する部分のうち少なくとも一部が残部に対して旋回可能であればよい。本実施形態では、クレーン装置10を構成する部分のうち、旋回体13、ジブ14、及びマスト15のみがヤードYに対して旋回可能であり、走行体11及び塔体12はヤードYに対して旋回しない。
Each
各クレーン装置10は、現在の旋回角度を公知の手段により取得する。例えば、各クレーン装置10は、当該クレーン装置10の現在の旋回角度を位置情報センサ21により取得する。各クレーン装置10は、取得した現在の旋回角度を画像合成装置30に無線又は有線送信する。
Each
走行体11は、一対の脚部11a,11b、及び、一対の脚部11a,11bをそれらの上部で接続する桁部11cを含んでいる。一対の脚部11a,11bの下部には、レールR上を駆動される車輪が設けられている。走行体11は、車輪がレールR上を駆動されることで、レールRに沿って走行する。これにより、クレーン装置10がレールRに沿って走行可能とされている。塔体12は、走行体11の桁部11c上に立設された柱状の構造体である。
The traveling
旋回体13は、塔体12の上端に設けられ、塔体12に対して鉛直軸線L1回りに旋回可能である。旋回体13は、その上部に運転室13aを含んでいる。ジブ14は、旋回体13の一端部13bに設けられている。ジブ14は、旋回体13の一端部13b側を基端部14aとして延在している。マスト15は、旋回体13上に立設されている。旋回体13の他端部13c、マスト15の上端部であるマストトップ15a、及びジブ14の先端部14bは、ワイヤーロープWにより互いに連結されている。ワイヤーロープWが巻取り及び巻戻しされることにより、ジブ14は、その基端部14aを支点として起伏動作を行う。
The
また、各クレーン装置10は、画像受信部10a、位置情報取得部10b、及び送信部10cを有している。画像受信部10aは、各カメラ20により取得された撮像画像A(詳しくは後述)を当該カメラ20から受信する。位置情報取得部10bは、クレーン装置10の現在の位置座標及び旋回角度を位置情報センサ21から取得する。送信部10cは、画像受信部10aが受信した撮像画像A、並びに、位置情報取得部10bが取得したクレーン装置10の現在の位置座標及び旋回角度を画像合成装置30に送信する。なお、各クレーン装置10は、画像受信部10aを有していなくてもよく、この場合、各カメラ20により取得された撮像画像Aは、当該カメラ20から画像合成装置30に直接送信されてもよい。また、各クレーン装置10は、位置情報取得部10bを有していなくてもよく、この場合、各位置情報センサ21により取得されたクレーン装置10の現在の位置座標及び旋回角度は、当該位置情報センサ21から画像合成装置30に直接送信されてもよい。各クレーン装置10は、画像受信部10a及び位置情報取得部10bの両方を有していない場合、送信部10cも有していなくてもよい。
Further, each
各カメラ20は、クレーン装置10の周辺の領域を撮像して撮像画像Aを取得可能な撮像機器である(図5参照)。各カメラ20は、各クレーン装置10のマストトップ15aに設けられている。より具体的には、各カメラ20は、撮像画像Aを取得する撮像部20a、及び、撮像部20aを支持する支持部20bを有している。支持部20bは、各クレーン装置10のマストトップ15aの上端から上方に向かって長尺状に延びる透明部材である。撮像部20aは、支持部20bの上部に設けられている。各カメラ20は、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向(鉛直方向)における下方の領域Eを撮像する。より詳細には、各カメラ20は、鉛直軸線L1方向における下方を光軸Xとした所定の画角Vで、当該カメラ20が設けられているクレーン装置10の下方の領域Eを撮像して撮像画像Aを取得する。各カメラ20は、円形状の領域Eの撮像画像Aを取得する。透明部材である支持部20bが各カメラ20をマストトップ15aの上端よりも上方に支持していることにより、マスト15及び支持部20bに遮られて撮像画像Aが大きく欠けてしまうことが避けられる。撮像画像Aには、領域Eに位置する追跡対象Tが映っている。各カメラ20は、取得した撮像画像Aをクレーン装置10に送信する。
Each
図5は、重畳画像Cの一例を示す図である。図2及び図5に示されるように、画像合成装置30は、各カメラ20により取得された複数の撮像画像Aを合成して、ヤードYを上から見た合成画像Bを取得する装置である。図5の重畳画像Cでは、ヤードYの地図画像M上に合成画像Bが重畳表示されており、合成画像Bには追跡対象Tが映っている。
FIG. 5 is a diagram showing an example of the superimposed image C. As shown in FIGS. 2 and 5, the
画像合成装置30は、受信部30a、画像処理部30b、及び表示部30cを有している。受信部30aは、各クレーン装置10の送信部10cにより送信された撮像画像A、並びに、当該クレーン装置10の現在の位置座標及び旋回角度を受信する。画像処理部30bは、演算処理を実行することにより、受信部30aが受信した撮像画像Aに対して後述する各種の処理を行う。表示部30cは、例えばディスプレイであり、画像処理部30bにより処理が実行された画像をリアルタイムで表示する。
The
画像処理部30bは、各クレーン装置10がヤードYに対して旋回する場合(すなわち、本実施形態では、旋回体13、ジブ14、及びマスト15がヤードYに対して旋回する場合)、当該クレーン装置10のマスト15に設けられたカメラ20により取得された撮像画像Aにおいて、当該クレーン装置10の周辺の領域Eが表示される角度が一定となるように、当該撮像画像Aを回転させる。より具体的な一例として、例えばクレーン装置10がヤードYに対して鉛直軸線L1回りに90度旋回する場合、カメラ20により取得される撮像画像Aも90度回転した角度で表示される。そこで、画像処理部30bは、撮像画像Aを−90度回転させることで、撮像画像Aにおいて当該クレーン装置10の周辺の領域Eが表示される角度を一定とさせる。
When each
また、画像処理部30bは、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが撮像されている場合、一の撮像画像Aを除く他の撮像画像Aにおいて、当該領域Eaを合成画像Bから除外する(すなわち、合成画像Bの合成に用いない。)。例えば、画像処理部30bは、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが撮像されている場合、各カメラ20に対して予め設定された優先順位に基づいて、より優先順位の高いカメラ20により取得された一の撮像画像Aでは当該領域Eaを合成画像Bから除外せず、より優先順位の低いカメラ20により取得された他の撮像画像Aでは当該領域Eaを合成画像Bから除外する。
Further, when the
また、画像処理部30bは、工場P内のヤードYの地図画像Mを予め記憶している。画像処理部30bは、ヤードYの地図画像M上に合成画像Bを重畳させた重畳画像Cを取得する。より具体的には、画像処理部30bは、各クレーン装置10から受信した当該クレーン装置10の現在の位置座標とヤードYの地図画像Mにおける位置座標とが一致するように、ヤードYの地図画像M上に合成画像B(撮像画像A)を重畳表示する(プロットする)ことで、重畳画像Cを取得する。画像処理部30bは、表示部30cにより、重畳画像Cを表示する。
Further, the
続いて、クレーンシステム1による処理について説明する。図6は、クレーンシステム1による処理の一例を示すブロック図である。ここでは、各カメラ20が、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方を中心とした円形状の領域Eの撮像画像Aを取得する場合を例示して説明する。
Subsequently, the processing by the
図6に示されるように、ステップS10において、クレーンシステム1の画像合成装置30は、各カメラ20によって取得された撮像画像Aを取得する。続いて、ステップS12において、画像合成装置30は、各クレーン装置10の位置情報取得部10bによって取得された各クレーン装置10の現在の位置座標(及び旋回角度)を取得する。続いて、ステップS14において、画像合成装置30は、各クレーン装置10の現在の位置座標に基づいて各クレーン装置10間の距離を演算(取得)する。
As shown in FIG. 6, in step S10, the
続いて、ステップS16において、画像合成装置30は、各クレーン装置10間の距離が予め設定された重畳距離よりも小さくなるようなクレーン装置10の組が存在するか否かを判定する。「重畳距離」とは、各クレーン装置10間の距離が当該重畳距離よりも小さい場合に、各クレーン装置10のカメラ20により取得された撮像画像Aにおいて互いに重複する領域Eaが生じる距離であり、少なくとも撮像画像Aの直径に基づいて設定される。各クレーン装置10間の距離が重畳距離よりも小さいクレーン装置10の組が存在すると判定された場合(ステップS16:YES)、クレーンシステム1はステップS18の処理に移行する。一方、各クレーン装置10間の距離が重畳距離よりも小さいクレーン装置10の組が存在すると判定されなかった場合(ステップS16:NO)、クレーンシステム1はステップS22の処理に移行する。
Subsequently, in step S16, the
続いて、ステップS18において、画像合成装置30は、各クレーン装置10間の距離及び撮像画像Aの直径に基づいて、撮像画像Aにおいて互いに重複する領域Ea(すなわち、重畳領域)の位置及び寸法を演算(取得)する。続いて、ステップS20において、画像合成装置30は、一の撮像画像A(すなわち、優先画像)を除く他の撮像画像Aから、重畳領域の画像を削除する。
Subsequently, in step S18, the
続いて、ステップS22において、画像合成装置30は、複数の撮像画像Aを合成して合成画像Bを取得し、取得した合成画像BをヤードYの地図画像M上に重畳させることで重畳画像Cを取得する。画像合成装置30は、取得した重畳画像Cを表示部30cにより表示する。クレーンシステム1は、重畳画像Cを表示部30cにより表示すると、図6に示される今回の処理を終了し、再びステップS10から処理を繰り返す。
Subsequently, in step S22, the
以上説明したように、本実施形態に係るクレーンシステム1によれば、各カメラ20により取得された複数の撮像画像Aが合成され、ヤードYを上から見た合成画像Bが取得される。このため、複数の撮像画像Aに撮像されている領域Eの相互の位置関係が合成画像Bにより容易に把握され、且つ、ヤードY上での人、車両、荷等の追跡対象Tの現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードYにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、クレーンシステム1は、カメラ20を有効活用して利便性を向上させることができる。
As described above, according to the
また、クレーンシステム1では、画像合成装置30は、ヤードYの地図画像M上に合成画像Bを重畳させた重畳画像Cを取得する。これにより、合成画像B上の各領域Eが地図画像M上のいずれの領域であるかが認識されやすくなる。
Further, in the
また、クレーンシステム1では、各クレーン装置10は、旋回可能であり、画像合成装置30は、各クレーン装置10が旋回する場合、当該クレーン装置10に設けられたカメラ20により取得された撮像画像Aにおいて、当該クレーン装置10の周辺の領域Eが表示される角度が一定となるように、当該撮像画像Aを回転させる。これにより、クレーン装置10が旋回する場合であっても、撮像画像Aにおいてクレーン装置10の周辺の領域Eが表示される角度が変わらないため、合成画像Bの視認性が向上する。また、画像合成装置30による演算処理により撮像画像の角度が一定とされるため、別途の機械的な構成を追加する必要がなく、構造の複雑化が抑制される。
Further, in the
また、クレーンシステム1では、画像合成装置30は、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが撮像されている場合、一の撮像画像Aを除く他の撮像画像Aにおいて、当該領域Eaを合成画像Bから除外する。これにより、合成画像Bにおいて、各カメラ20により取得された複数の撮像画像Aにおいて互いに重複する領域Eaが重複して表示されないため、合成画像Bの視認性が向上する。
Further, in the
また、クレーンシステム1では、各クレーン装置10は、マスト15を有し、各カメラ20は、各クレーン装置10のマスト15のマストトップ15aに設けられている。これにより、クレーン装置10において特に高い位置にカメラ20が設けられるため、クレーン装置10の周辺の領域Eを広範囲にわたって撮像することが可能になる。
Further, in the
また、クレーンシステム1では、各カメラ20は、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方の領域Eを撮像する。これにより、クレーン装置10が旋回しても同一の領域Eを撮影することができるため、合成画像Bの視認性が向上する。また、クレーン装置10の側方の領域を撮像する場合と比較して、周囲の建屋等Hによりカメラ20の撮像方向が遮られにくいため、クレーン装置10の周辺の領域Eを広範囲にわたって撮像することが可能になる。
Further, in the
本実施形態に係るクレーンシステム1では、各クレーン装置10が、ヤードYに対して旋回可能であり、画像合成装置30が、撮像画像Aにおいて当該クレーン装置10の周辺の領域Eが表示される角度が一定となるように当該撮像画像Aを回転させる構成が採用されている。この場合において、各カメラ20が、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方の領域Eを撮像することで奏される作用及び効果について更に説明する。すなわち、各カメラ20が、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方を中心とした円形状の領域Eの撮像画像Aを取得することから、各クレーン装置10がヤードYに対して旋回した場合であっても、取得される円形状の撮像画像Aはその中心点回りに回転することになるため、当該撮像画像Aに映る領域が移動しない。したがって、画像合成装置30が、当該撮像画像Aを回転させた撮像画像Aを合成して合成画像Bを取得するための演算処理の演算量の増大が抑制される。
In the
また、本実施形態に係る画像合成装置30によれば、各カメラ20により取得された複数の撮像画像Aが合成され、ヤードYを上から見た合成画像Bが取得される。このため、複数の撮像画像Aに撮像されている領域Eの相互の位置関係が合成画像Bにより容易に把握され、且つ、ヤードY上での人、車両、荷等の追跡対象Tの現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードYにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、画像合成装置30は、カメラ20を有効活用して利便性を向上させることができる。
Further, according to the
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。 The above-described embodiment can be implemented in various forms with various changes and improvements based on the knowledge of those skilled in the art.
例えば、各クレーン装置10は、ヤードYに対して旋回可能であり、各カメラ20は、当該カメラ20が設けられているクレーン装置10(より具体的には、クレーン装置10のマスト15)に対して鉛直軸線L1回りに旋回可能であり、各カメラ20は、当該カメラ20が設けられているクレーン装置10がヤードYに対して旋回する場合、当該クレーン装置10の周辺の領域Eが撮像される角度が一定となるように、当該クレーン装置10の旋回方向とは逆方向に当該クレーン装置10の旋回角度と同角度だけ当該クレーン装置10に対して旋回してもよい。例えば、各カメラ20は、クレーン装置10のマスト15に対して旋回するための旋回機構を有していてもよい。各カメラ20は、当該カメラ20が設けられているクレーン装置10の旋回体13から当該クレーン装置10のヤードYに対する旋回方向及び旋回角度を取得してもよく、取得したクレーン装置10の旋回方向及び旋回角度に基づいて、当該カメラ20のクレーン装置10に対する旋回方向及び旋回角度を決定してもよい。より具体的な一例として、例えばクレーン装置10がヤードYに対して鉛直軸線L1回りに90度旋回する場合、カメラ20もヤードYに対して鉛直軸線L1回りに90度旋回した状態となる。そこで、カメラ20は、クレーン装置10に対して鉛直軸線L1回りに−90度旋回することで、撮像画像Aにおいて当該クレーン装置10の周辺の領域Eが撮像される角度を一定とする。
For example, each
これによれば、クレーン装置10がヤードYに対し旋回する場合であっても、カメラ20がヤードYに対し旋回せず、撮像画像Aにおいてクレーン装置10の周辺の領域Eが表示される角度が変わらないため、合成画像Bの視認性が向上する。また、機械的な構成により撮像画像Aの角度が一定とされるため、画像合成装置30による演算処理の演算量の増大が抑制される。
According to this, even when the
また、各クレーン装置10は、旋回しなくてもよい。すなわち、各クレーン装置10は、ヤードYに対して旋回しなくてもよい。また、各クレーン装置10は、レールRに沿って走行しなくてもよい。
Further, each
また、各クレーン装置10は、ヤードYのより広範囲が合成画像Bに含まれるようなヤードY上の位置を基準位置として、例えば当該クレーン装置10によるクレーン作業の休止時には、当該クレーン装置10の基準位置に移動してもよい。例えば、各クレーン装置10の基準位置は、等間隔のマトリクス状になるように予め設定されていてもよい。
Further, each
また、画像合成装置30は、合成画像Bを取得すればよく、ヤードYの地図画像M上に合成画像Bを重畳させた重畳画像Cを取得しなくてもよい。
Further, the
また、各クレーン装置10は、マスト15を有していない種類のクレーンであってもよい。各カメラ20は、必ずしもマストトップ15aに設けられていなくてもよく、工場P内の他の建屋等Hよりも高い位置に設けられていればよい。
Further, each
また、各カメラ20は、当該カメラ20が設けられている位置の高さに基づいて、当該カメラ20の画角が設定されてもよい。例えば、各カメラ20は、当該カメラ20が設けられている位置の高さが低いほど、当該カメラ20の画角が大きくなるように設定されてもよい(換言すると、各カメラ20は、当該カメラ20が設けられている位置の高さが高いほど、当該カメラ20の画角が小さくなるように設定されてもよい)。この場合、複数の(好ましくは、全ての)カメラ20により取得される撮像画像Aにおいて撮像される領域の面積が同一(又は、略同一)となるように、各カメラ20の画角が設定されていてもよい。これにより、画像合成装置30は、複数の撮像画像Aを合成して合成画像Bを取得するための演算処理を実行しやすくなる。
Further, each
また、各カメラ20は、当該カメラ20が設けられているクレーン装置10の鉛直軸線L1方向における下方の領域E(すなわち、鉛直軸線L1方向における下方を光軸Xとした所定の画角Vに含まれる領域)を撮像しなくてもよい。つまり、各カメラ20は、当該カメラ20が設けられているクレーン装置10の側方の領域(すなわち、鉛直軸線L1方向と交差する方向を光軸とした所定の画角に含まれる領域)を撮像してもよい。
Further, each
また、カメラ20は、背高の建屋等Hの上層階又は屋上にも設けられていてもよい。各カメラ20は、円形状の領域Eの撮像画像Aを取得しなくてもよく、例えば矩形状の領域の撮像画像を取得してもよい。
Further, the
また、画像合成装置30は、表示部30cに代えて、又は、表示部30cに加えて、画像処理部30bにより取得された重畳画像Cを記憶する記憶部を有していてもよい。この場合、画像処理部30bにより取得された重畳画像Cは、記憶部に記憶され、所望のタイミングで記憶部から読み出されて表示部30c又は外部の表示機器に表示されることが可能となる。
Further, the
また、各クレーン装置10が配置されるヤードYが屋内ヤードである場合には、各クレーン装置10は天井クレーンであってもよい。また、この場合には、各カメラ20は、各クレーン装置10に限らず、建屋の壁等に設けられていてもよい。
Further, when the yard Y in which each
1…クレーンシステム、10…クレーン装置、15…マスト、15a…マストトップ、20…カメラ、30…画像合成装置、A…撮像画像、B…合成画像、C…重畳画像、M…地図画像、Y…ヤード。 1 ... Crane system, 10 ... Crane device, 15 ... Mast, 15a ... Mast top, 20 ... Camera, 30 ... Image synthesizer, A ... Captured image, B ... Composite image, C ... Superimposed image, M ... Map image, Y … Yard.
Claims (8)
複数の前記クレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、
複数の前記カメラのそれぞれにより取得された複数の前記撮像画像を合成して、前記ヤードを上から見た合成画像を取得する画像合成装置と、を備え、
前記画像合成装置は、複数の前記クレーン装置のうちの第1のクレーン装置に設けられた第1のカメラで取得された第1の撮像画像と、前記第1のクレーン装置とは異なる第2のクレーン装置に設けられた第2のカメラで取得された第2の撮像画像とを合成する、クレーンシステム。 With multiple crane devices located in the yard,
A plurality of cameras provided in each of the plurality of crane devices and capable of capturing an image of the surrounding area of the crane device and acquiring an captured image.
It is provided with an image compositing device that synthesizes a plurality of the captured images acquired by each of the plurality of cameras and acquires a composite image of the yard viewed from above .
The image compositing device has a first captured image acquired by a first camera provided in the first crane device among the plurality of the crane devices, and a second crane device different from the first crane device. A crane system that synthesizes a second captured image acquired by a second camera provided in a crane device .
複数の前記クレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、
複数の前記カメラのそれぞれにより取得された複数の前記撮像画像を合成して、前記ヤードを上から見た合成画像を取得する画像合成装置と、を備え、
複数の前記クレーン装置のそれぞれは、旋回可能であり、
前記画像合成装置は、複数の前記クレーン装置のそれぞれが旋回する場合、当該クレーン装置に設けられた前記カメラにより取得された前記撮像画像において、当該クレーン装置の周辺の領域が表示される角度が一定となるように、当該撮像画像を回転させる、クレーンシステム。 With multiple crane devices located in the yard,
A plurality of cameras provided in each of the plurality of crane devices and capable of capturing an image of the surrounding area of the crane device and acquiring an captured image.
It is provided with an image compositing device that synthesizes a plurality of the captured images acquired by each of the plurality of cameras and acquires a composite image of the yard viewed from above.
Each of the plurality of crane devices is rotatable and can be turned.
In the image compositing device, when each of the plurality of crane devices turns, the angle at which the area around the crane device is displayed is constant in the captured image acquired by the camera provided in the crane device. as will be, rotate the captured image, crane system.
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置に対して旋回可能であり、
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置が旋回する場合、当該クレーン装置の周辺の領域が撮像される角度が一定となるように、当該クレーン装置の旋回方向とは逆方向に当該クレーン装置の旋回角度と同角度だけ当該クレーン装置に対して旋回する、請求項1又は2に記載のクレーンシステム。 Each of the plurality of crane devices is rotatable and can be turned.
Each of the plurality of cameras is rotatable with respect to the crane device in which the cameras are provided.
Each of the plurality of cameras has a turning direction of the crane device so that when the crane device provided with the camera turns, the angle at which the area around the crane device is imaged is constant. The crane system according to claim 1 or 2, wherein the crane system turns in the opposite direction with respect to the crane device by the same angle as the turning angle of the crane device.
複数の前記カメラのそれぞれは、複数の前記クレーン装置のそれぞれの前記マストのマストトップに設けられている、請求項1〜5のいずれか一項に記載のクレーンシステム。 Each of the plurality of crane devices has a mast and
The crane system according to any one of claims 1 to 5, wherein each of the plurality of cameras is provided on the mast top of the mast of each of the plurality of crane devices.
複数の前記クレーン装置のうちの第1のクレーン装置に設けられた第1のカメラで取得された第1の撮像画像と、前記第1のクレーン装置とは異なる第2のクレーン装置に設けられた第2のカメラで取得された第2の撮像画像とを合成する、画像合成装置。
The yard is viewed from above by synthesizing a plurality of captured images obtained by imaging the area around the crane device with each of a plurality of cameras provided in each of the plurality of crane devices arranged in the yard. a composite image acquired was,
The first captured image acquired by the first camera provided in the first crane device among the plurality of the crane devices and the second crane device different from the first crane device are provided. An image compositing device that synthesizes a second captured image acquired by a second camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226938A JP6979863B2 (en) | 2017-11-27 | 2017-11-27 | Crane system and image compositing equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226938A JP6979863B2 (en) | 2017-11-27 | 2017-11-27 | Crane system and image compositing equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019094199A JP2019094199A (en) | 2019-06-20 |
JP6979863B2 true JP6979863B2 (en) | 2021-12-15 |
Family
ID=66970923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017226938A Active JP6979863B2 (en) | 2017-11-27 | 2017-11-27 | Crane system and image compositing equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6979863B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7099150B2 (en) * | 2018-08-02 | 2022-07-12 | 株式会社タダノ | Crane and information sharing system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6133490A (en) * | 1984-07-20 | 1986-02-17 | 株式会社竹中工務店 | Television camera automatic elevating control system in tower crane, etc. |
JP2003244683A (en) * | 2002-02-13 | 2003-08-29 | Toshiba Corp | Remote monitor system and program |
JP2005239357A (en) * | 2004-02-26 | 2005-09-08 | Mitsubishi Heavy Ind Ltd | Monitoring system for harbor, yard crane, and harbor monitoring method |
JP5575571B2 (en) * | 2010-07-30 | 2014-08-20 | 住友重機械工業株式会社 | Image generation system |
JP5886068B2 (en) * | 2012-02-08 | 2016-03-16 | 住友重機械工業株式会社 | Display device for crane |
JP6324763B2 (en) * | 2013-03-13 | 2018-05-16 | 住友重機械搬送システム株式会社 | crane |
-
2017
- 2017-11-27 JP JP2017226938A patent/JP6979863B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019094199A (en) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6727971B2 (en) | Work vehicle | |
US9169108B2 (en) | Performance line display unit | |
US20190016569A1 (en) | Method and apparatus for controlling a crane, an excavator, a crawler-type vehicle or a similar construction machine | |
RU2638659C2 (en) | Technological vehicle with monitoring system for observing vehicle position | |
WO2014046213A1 (en) | Periphery-information acquisition device for vehicle | |
JP6321977B2 (en) | Perimeter monitoring equipment for heavy machinery | |
JP5971994B2 (en) | Crane work monitoring device | |
JP6801421B2 (en) | crane | |
JP6486596B2 (en) | Specified range monitoring system | |
JP2015007362A (en) | In-vehicle remote bridge inspection system | |
JP2011102167A (en) | Hanging load position monitoring system for crane, and hanging tool | |
CN110915203A (en) | Guide information display device and crane | |
JP5380747B2 (en) | Monitoring system and monitoring method under suspended load | |
JP2018095367A (en) | crane | |
WO2019059091A1 (en) | Utility pole management system | |
JP6979863B2 (en) | Crane system and image compositing equipment | |
JP6507501B2 (en) | Obstacle notification system for crane car | |
JP2020175890A (en) | Work vehicle | |
JP6257947B2 (en) | Work vehicle ambient information acquisition device | |
JP6080450B2 (en) | Surveillance camera device | |
RU113395U1 (en) | VIDEO SURVEILLANCE SYSTEM FROM VEHICLE IN MOTION | |
US20220356048A1 (en) | Crane information display system | |
JP6368503B2 (en) | Obstacle monitoring system and program | |
JP6958216B2 (en) | Work vehicle | |
JP6686561B2 (en) | Crane operation support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20200413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6979863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |