JP6481178B2 - Crane remote operation method and crane remote operation device - Google Patents
Crane remote operation method and crane remote operation device Download PDFInfo
- Publication number
- JP6481178B2 JP6481178B2 JP2015074092A JP2015074092A JP6481178B2 JP 6481178 B2 JP6481178 B2 JP 6481178B2 JP 2015074092 A JP2015074092 A JP 2015074092A JP 2015074092 A JP2015074092 A JP 2015074092A JP 6481178 B2 JP6481178 B2 JP 6481178B2
- Authority
- JP
- Japan
- Prior art keywords
- crane
- container
- information
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 24
- 239000002131 composite material Substances 0.000 claims description 25
- 230000010365 information processing Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 239000002344 surface layer Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims 1
- 238000004804 winding Methods 0.000 description 4
- 230000032258 transport Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Control And Safety Of Cranes (AREA)
Description
本発明は、クレーンの遠隔運転方法及びクレーンの遠隔運転装置に関し、より詳細には、カメラなどの映像取得装置では取得できない情報をその映像取得装置の撮影した映像に表示して、安全性を確保しながら高効率な荷役を図るクレーンの遠隔運転方法及びクレーンの遠隔運転装置に関する。 The present invention relates to a crane remote operation method and a crane remote operation device, and more specifically, information that cannot be acquired by a video acquisition device such as a camera is displayed on a video captured by the video acquisition device to ensure safety. The present invention relates to a crane remote operation method and a crane remote operation device that achieve high efficiency cargo handling.
トロリにカメラを取付け、そのカメラで置荷及び吊荷の姿を撮影して、その映像を地上に設けたディスプレイ装置に送信し、ディスプレイ装置に表示された映像に基づいて運転者は地上又は地上近くに設けた操作盤から置荷の吊り上げ操作または吊荷の着床操作を行うようにした運転方法が提案されている（例えば、特許文献１参照）。 A camera is attached to the trolley, the appearance of the loaded and suspended loads is photographed with the camera, and the image is transmitted to the display device provided on the ground, and the driver is based on the image displayed on the display device. There has been proposed an operation method in which a loading operation or a landing operation of a suspended load is performed from an operation panel provided nearby (see, for example, Patent Document 1).
しかし、この方法ではコンテナ船のホールド（船倉）内などのカメラの視界の悪い範囲や障害物（スプレッダも含む）があってカメラに映らない範囲には何があるか不明である。従って、そのような範囲で荷役を行う際には、作業者とコンテナとの衝突事故を回避するために荷役作業を慎重に行う必要があった。また、複数のカメラを使って死角を無くそうとすると、複数のディスプレイ装置を確認する必要がある。そのため、荷役効率が低下していた。 However, in this method, it is unclear what is in the range where the camera has poor visibility such as in the hold of the container ship or in the area where there are obstacles (including spreaders) and are not reflected in the camera. Therefore, when carrying out cargo handling in such a range, it is necessary to carefully carry out cargo handling work in order to avoid collision accidents between the worker and the container. Further, if it is attempted to eliminate blind spots using a plurality of cameras, it is necessary to check a plurality of display devices. As a result, cargo handling efficiency has been reduced.
また、次に行う荷役作業情報（コンテナ番号やコンテナ積み付け位置など）を専用のディスプレイ装置上に表示することが実用化されているが、その専用のディスプレイ装置の情報を確認するため視線を荷役中のコンテナが映されているディスプレイ装置から外す必要があった。 In addition, it has been put into practical use to display the next cargo handling work information (container number, container loading position, etc.) on a dedicated display device. The container inside had to be removed from the display device.
本発明は、上記の問題を鑑みてなされたものであり、その課題は、カメラなどの映像取得装置では取得できない情報をその映像取得装置の撮影した映像に表示して、安全性を確保しながら高効率な荷役を図るクレーンの遠隔運転方法及びクレーンの遠隔運転装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and the problem is that information that cannot be acquired by a video acquisition device such as a camera is displayed on the video captured by the video acquisition device while ensuring safety. It is an object to provide a crane remote operation method and a crane remote operation device that achieve highly efficient cargo handling.
上記の課題を解決するための本発明のクレーンの遠隔運転方法は、クレーンのトロリを介して昇降する吊具と前記トロリの下方に積み上げられた複数のコンテナとを撮影した映像を前記クレーンの外部に設置された表示装置に表示し、表示された前記映像に基づいて前記クレーンを遠隔操作するクレーンの遠隔運転方法において、前記トロリの下方の前記複数のコンテナの位置情報と前記トロリの下方の所定範囲内の表層にいる作業者の位置情報を取得し、次いで、それらの位置情報と前記コンテナの配列情報と前記映像とを照合して前記作業者の前記映像上での表示位置を取得し、次いで、前記映像の前記表示位置に前記作業者の存在を示す表示情報を合成した合成映像を前記表示装置に表示し、表示された前記合成映像に基づいて前記クレーンを遠隔操作することを特徴とする方法である。 A remote operation method of a crane according to the present invention for solving the above-described problem is a video of an image of a hanging tool that moves up and down via a crane trolley and a plurality of containers stacked below the trolley. In a remote operation method of a crane for remotely operating the crane based on the displayed image displayed on a display device installed on the display device, positional information of the plurality of containers below the trolley and a predetermined position below the trolley Obtain the position information of the worker who is on the surface layer within the range, then collate the position information, the arrangement information of the container and the video to obtain the display position of the worker on the video, Next, a synthesized video obtained by synthesizing display information indicating the presence of the worker at the display position of the video is displayed on the display device, and the clip is displayed based on the displayed synthesized video. The over emissions is a method characterized by remote control.
この方法によれば、映像に映る部分と映像に映らない部分にある作業者の表示情報を合
成した合成映像に基づいてクレーンを遠隔操作することができる。これにより、コンテナ船のホールド内などの視界の悪い範囲や障害物のある範囲などで事前に作業者との衝突を回避することができる。従って、安全性を確保しながら高効率な荷役を行うことができる。
According to this method, the crane can be remotely operated based on a composite image obtained by synthesizing the display information of the workers in the portion that is reflected in the image and the portion that is not reflected in the image. Thereby, it is possible to avoid a collision with an operator in advance in a range with poor visibility such as in the hold of a container ship or a range with an obstacle. Therefore, highly efficient cargo handling can be performed while ensuring safety.
また、上記のクレーンの遠隔運転方法において、前記位置情報と前記コンテナの配列情報と前記映像とを照合して前記複数のコンテナの積み上げ状況の少なくとも一部を示す三次元立体映像を作成すると共にその三次元立体映像を前記映像に合わせて変形し、次いで、前記合成映像に前記三次元立体映像を合成して表示することが望ましい。これにより、三次元立体映像を合成した合成映像によって、コンテナの配置が一目瞭然となる。 Further, in the above-mentioned crane remote operation method, the position information, the arrangement information of the containers, and the video are collated to create a three-dimensional stereoscopic video showing at least a part of the stacked state of the plurality of containers. It is preferable that a 3D stereoscopic image is deformed according to the image, and then the 3D image is combined with the combined image and displayed. Thereby, the arrangement of the containers becomes clear at a glance by the synthesized video obtained by synthesizing the three-dimensional stereoscopic video.
加えて、上記のクレーンの遠隔運転方法において、前記コンテナの管理情報に基づいて前記三次元立体映像の中から前記クレーンの荷役対象のコンテナを抽出し、前記合成映像のその荷役対象のコンテナを荷役対象外のコンテナと区別可能にして表示することが望ましい。これにより、荷役対象のコンテナが視界の悪い範囲のコンテナや障害物により映像に映らないコンテナであっても、その荷役対象のコンテナをすぐに見つけ出すことができる。 In addition, in the above-described crane remote operation method, a container for cargo handling of the crane is extracted from the three-dimensional stereoscopic video based on the management information of the container, and the container for cargo handling in the composite video is loaded. It is desirable to display it so that it can be distinguished from non-target containers. As a result, even if the container to be handled is a container with a poor visibility range or a container that does not appear in the image due to an obstacle, the container to be handled can be found immediately.
更に、上記のクレーンの遠隔運転方法において、前記コンテナの管理情報に基づいて前記クレーンの荷役対象のコンテナの配列番号、形状、種別の少なくとも一つを含むコンテナ情報を抽出し、前記合成映像にそのコンテナ情報を合成して表示することが望ましい。これにより、荷役対象のコンテナを正しく認識することができる。例えば、荷役対象のコンテナが４０フィート（約１２．１９ｍ）コンテナベイに置かれた二個の２０フィート（約６．０９６ｍ）コンテナや冷凍コンテナの場合にそれらを正確に認識することができる。従って、吊具とコンテナとの接続が不完全になったり、冷凍コンテナが電源を接続したままの状態で持ち上げたりすることを回避することができる。 Furthermore, in the above-described crane remote operation method, container information including at least one of the arrangement number, shape, and type of the container to be handled by the crane is extracted based on the management information of the crane, It is desirable to combine and display container information. Thereby, the container for cargo handling can be correctly recognized. For example, when a container to be handled is two 20-foot (about 6.096 m) containers or refrigerated containers placed in a 40-foot (about 12.19 m) container bay, they can be accurately recognized. Therefore, it is possible to avoid incomplete connection between the hanger and the container, or lifting the refrigerated container with the power supply connected.
そして、上記の課題を解決するための本発明のクレーンの遠隔運転装置は、クレーンのトロリに取り付けた映像取得装置と前記クレーンの外部に設けた表示装置及び操作盤とを備え、前記映像取得装置が前記トロリを介して昇降する吊具と前記トロリの下方に積み上げられた複数のコンテナの映像を撮影して、前記表示装置が前記映像取得装置から送信された前記映像を表示し、前記映像に基づいて前記操作盤が操作されるクレーンの遠隔運転装置において、前記トロリに取り付けた位置情報取得手段と、前記クレーンの外部に設けられて、前記表示装置に接続される情報処理装置とを備え、前記位置情報取得手段が前記トロリの下方の前記複数のコンテナの位置情報及び表層にいる作業者の位置情報を取得して、それらの位置情報を前記情報処理装置に送信し、前記情報処理装置がターミナルオペレーティングシステムの前記コンテナの配列情報を取得し、次いで、送信された前記位置情報と取得した前記コンテナの配列情報と前記映像とを照合して前記作業者の前記映像上での表示位置を取得し、その表示位置に前記作業者の存在を示す表示情報を合成した合成映像を作成して前記表示装置に出力し、前記表示装置が出力された前記合成映像を表示する構成である。 And the remote operation apparatus of the crane of this invention for solving said subject is equipped with the video acquisition apparatus attached to the trolley of the crane, the display apparatus provided outside the said crane, and the operation panel, The said video acquisition apparatus Shoots the video of a plurality of containers stacked under the trolley and the hanging tool that moves up and down via the trolley, and the display device displays the video transmitted from the video acquisition device, and the video In the remote operation device of the crane on which the operation panel is operated based on, the position information acquisition means attached to the trolley, and an information processing device provided outside the crane and connected to the display device, The position information acquisition means acquires the position information of the plurality of containers below the trolley and the position information of workers on the surface layer, and the position information is acquired as the information. The information processing apparatus acquires the container arrangement information of the terminal operating system, and then collates the transmitted position information with the acquired container arrangement information and the video, The display position of the person on the video is acquired, and a composite video obtained by synthesizing display information indicating the presence of the worker at the display position is generated and output to the display device, and the display device is output. This is a configuration for displaying a composite video.
また、上記のクレーンの遠隔運転装置において、前記情報処理装置が、前記位置情報と前記コンテナの配列情報と前記映像とを照合して前記複数のコンテナの積み上げ状況の少なくとも一部を示す三次元立体映像を作成すると共にその三次元立体映像を前記映像に合わせて変形し、次いで、前記合成映像に前記三次元立体映像を合成して前記表示装置に出力する構成であることが望ましい。 In the crane remote operation device, the information processing device compares the position information, the arrangement information of the containers, and the video to indicate at least a part of the stacked state of the plurality of containers. It is desirable that the video image is created and the 3D stereoscopic video is deformed in accordance with the video, and then the 3D video is synthesized with the synthesized video and output to the display device.
加えて、上記のクレーンの遠隔運転装置において、前記情報処理装置が、前記ターミナルオペレーティングシステムの前記コンテナの管理情報を取得し、次いで、前記管理情報
に基づいて前記三次元立体映像の中から前記クレーンの荷役対象のコンテナを抽出し、次いで、前記合成映像にその荷役対象のコンテナを荷役対象外のコンテナと区別可能にして前記表示装置に出力する構成であることが望ましい。
In addition, in the above-described crane remote operation device, the information processing device acquires management information of the container of the terminal operating system, and then the crane from the three-dimensional stereoscopic image based on the management information It is desirable that the container for cargo handling is extracted, and then the container for cargo handling is distinguished from the container not for cargo handling and output to the display device in the composite video.
更に、上記のクレーンの遠隔運転装置において、前記情報処理装置が、前記ターミナルオペレーティングシステムの前記コンテナの管理情報を取得し、次いで、前記管理情報に基づいて前記クレーンの荷役対象のコンテナのコンテナ情報を抽出し、次いで、前記合成映像にそのコンテナ情報を合成して前記表示装置に出力する構成であることが望ましい。 Furthermore, in the crane remote operation apparatus, the information processing apparatus acquires the management information of the container of the terminal operating system, and then, based on the management information, stores the container information of the container to be handled by the crane. It is desirable that the extracted information is then combined with the composite video and the container information to be output to the display device.
その上、上記のクレーンの遠隔運転装置において、前記位置情報取得手段が少なくとも二つの測域センサを有し、その二つの測域センサが前記吊具を介して対向配置され、一方の測域センサの走査線が前記吊具で遮られる領域を他方の測域センサの走査線が走査する構成であることが望ましい。この構成によれば、測域センサがトロリの両端部に配置されることにより、吊具の影やコンテナの影など一方の測域センサで取得できない部分を他方の測域センサで取得することができる。 Moreover, in the above-described crane remote operation device, the position information acquisition means has at least two range sensors, and the two range sensors are arranged to face each other via the hanging tool. It is desirable that the scanning line of the other ranging sensor scans the area where the scanning line is blocked by the hanging tool. According to this configuration, the range sensor is arranged at both ends of the trolley, so that the other range sensor can acquire a portion that cannot be acquired by one range sensor, such as a shadow of a hanging tool or a shadow of a container. it can.
また、上記のクレーンの遠隔運転装置において、前記位置情報取得手段が前記作業者に取り付けられ、衛星測位システムにより位置情報を取得可能な無線標識を有することが望ましい。 In the crane remote operation apparatus described above, it is desirable that the position information acquisition means is attached to the worker and has a radio sign capable of acquiring position information by a satellite positioning system.
本発明のクレーンの遠隔運転方法及びクレーンの遠隔運転装置によれば、映像に映る部分と映像に映らない部分にある非コンテナ物体の表示情報を合成した合成映像に基づいてクレーンを遠隔操作することができる。これにより、コンテナ船のホールド内などの視界の悪い範囲や障害物のある範囲などで事前に非コンテナ物体との衝突を回避することができるので、安全性を確保しながら高効率な荷役を行うことができる。 According to the crane remote operation method and crane remote operation apparatus of the present invention, the crane is remotely operated based on a composite image obtained by synthesizing display information of a non-container object in a portion reflected in the image and a portion not reflected in the image. Can do. As a result, collisions with non-container objects can be avoided in advance in areas with poor visibility, such as in the hold of a container ship, or in areas with obstacles, so highly efficient cargo handling is performed while ensuring safety. be able to.
以下、本発明のクレーンの遠隔運転方法及びクレーンの遠隔運転装置の実施形態について説明する。 Hereinafter, embodiments of a crane remote operation method and a crane remote operation apparatus of the present invention will be described.
図１に示すように、実施形態の遠隔運転装置３０は、コンテナターミナル１の岸壁２の縁２ａ側に配置された橋形クレーン１０から離間配置された管理施設３から橋形クレーン１０を遠隔操作して、コンテナ船２０からコンテナＣを荷役するための装置である。 As shown in FIG. 1, the remote operation device 30 according to the embodiment remotely operates the bridge crane 10 from the management facility 3 that is spaced apart from the bridge crane 10 that is disposed on the edge 2 a side of the quay 2 of the container terminal 1. Thus, it is an apparatus for unloading the container C from the container ship 20.
コンテナターミナル１は、多数のコンテナＣが蔵置された蔵置レーンを備え、コンテナＣを運搬する運搬車、門型クレーン、橋形クレーン１０を含む荷役機器が配置されている。また、このコンテナターミナル１は、管理施設３にコンテナＣの管理を行うと共に荷役機器に作業指示するターミナルオペレーティングシステム４を備える。 The container terminal 1 includes a storage lane in which a large number of containers C are stored, and cargo handling equipment including a transport vehicle that transports the container C, a portal crane, and a bridge crane 10 is disposed. Further, the container terminal 1 includes a terminal operating system 4 that manages the container C in the management facility 3 and instructs work handling equipment.
このターミナルオペレーティングシステム４は、コンテナターミナル１の蔵置レーンに蔵置されるコンテナの配列情報、コンテナ船２０に積載されているコンテナの配列情報、各コンテナの配列番号、形状、種別などのコンテナ管理情報などを有している。 The terminal operating system 4 includes information on the arrangement of containers stored in the storage lane of the container terminal 1, arrangement information on containers loaded on the container ship 20, container management information such as the arrangement number, shape, and type of each container. have.
橋形クレーン１０は、岸壁２を走行可能な走行装置１１を有する下部構造体１２とその下部構造体１２の上部に支持される上部構造体１３を備え、上部構造体１３が岸壁２からコンテナ船２０に向って延設されたガーダ１４及びブーム１５を有する。また、この橋形クレーン１０は、上部構造体１３にガーダ１４及びブーム１５を移動するトロリ１６とそのトロリ１６を介して昇降するスプレッダ１７を有する。加えて、この橋形クレーン１０は、機械室１８を備える。 The bridge crane 10 includes a lower structure 12 having a traveling device 11 capable of traveling on the quay 2 and an upper structure 13 supported on the upper portion of the lower structure 12, and the upper structure 13 is connected to the container ship from the quay 2. It has a girder 14 and a boom 15 extending toward 20. The bridge crane 10 includes a trolley 16 that moves the girder 14 and the boom 15 on the upper structure 13, and a spreader 17 that moves up and down via the trolley 16. In addition, the bridge crane 10 includes a machine room 18.
コンテナ船２０は、上甲板２１から上方に設けられた上部構造物２２と、コンテナＣを船内に収納するホールド（船倉）２３を備える。そして、このホールド２３内はセル構造となっており、セルガイド２４を有する。なお、このコンテナ船２０は、上甲板２１の上にもコンテナＣを積むことが可能な構造である。 The container ship 20 includes an upper structure 22 provided above the upper deck 21 and a hold 23 for storing the container C in the ship. The hold 23 has a cell structure and has a cell guide 24. The container ship 20 has a structure in which the container C can be stacked on the upper deck 21.
遠隔運転装置３０は、管理施設３に配置されたディスプレイ装置３１と遠隔コンソール３２と遠隔運転サーバ３３を備え、遠隔運転サーバ３３がＰＣ（パーソナルコンピュータ）３４とＰＬＣ（プログラマブルロジックコントローラ）３５とを有する。また、この遠隔運転装置３０は、橋形クレーン１０のトロリ１６に取り付けられたカメラ３６と複数の測域センサ３７Ａ、３７Ｂを備える。加えて、橋形クレーン１０の機械室１８に配置されてＰＬＣ３８を備える。 The remote operation device 30 includes a display device 31, a remote console 32, and a remote operation server 33 arranged in the management facility 3, and the remote operation server 33 includes a PC (personal computer) 34 and a PLC (programmable logic controller) 35. . Further, the remote operation device 30 includes a camera 36 and a plurality of range sensors 37A and 37B attached to the trolley 16 of the bridge crane 10. In addition, the PLC 38 is provided in the machine room 18 of the bridge crane 10.
このＰＬＣ３８は、トロリ１６の横行装置及びスプレッダ１７の巻取装置を制御しており、この実施形態では、橋形クレーン１０の設置位置やその規格などと横行装置のドラムの巻き取り量に基づいてトロリ１６の絶対位置情報を、巻取装置のドラムの巻き取り量に基づいてスプレッダ１７の絶対位置情報を取得している。 The PLC 38 controls the traversing device of the trolley 16 and the winding device of the spreader 17. In this embodiment, the PLC 38 is installed based on the installation position of the bridge crane 10, its standard, and the winding amount of the drum of the traversing device. The absolute position information of the spreader 17 is acquired from the absolute position information of the trolley 16 based on the winding amount of the drum of the winding device.
この遠隔運転装置３０のデータの流れは、図２に示すように、まず、各橋形クレーン１０のトロリ１６に取り付けたカメラ３６で撮影した映像４０と測域センサ３７で取得した位置情報とが機械室１８に設けたＰＬＣ３８から管理施設３に設けた遠隔運転サーバ３３に送信される。また、管理施設３内のターミナルオペレーティングシステム４のコンテナ管理情報５０が遠隔運転サーバ３３に送信される。 As shown in FIG. 2, the data flow of the remote operation device 30 is first made up of an image 40 photographed by the camera 36 attached to the trolley 16 of each bridge crane 10 and position information acquired by the range sensor 37. The information is transmitted from the PLC 38 provided in the machine room 18 to the remote operation server 33 provided in the management facility 3. Further, the container management information 50 of the terminal operating system 4 in the management facility 3 is transmitted to the remote operation server 33.
次に、遠隔運転サーバ３３で位置情報とコンテナ管理情報５０と映像４０とを照合して作成された表示情報６０と映像４０を合成処理された合成映像７０がディスプレイ装置３１に出力される。次に、その合成映像７０に基づいて運転者により操作された遠隔コンソール３２から操作情報が遠隔運転サーバ３３に送信される。そして、遠隔運転サーバ３３からその操作情報が各橋形クレーン１０のＰＬＣ３８に送信される。 Next, a composite video 70 obtained by combining the display information 60 and the video 40 created by collating the position information, the container management information 50 and the video 40 in the remote operation server 33 is output to the display device 31. Next, operation information is transmitted to the remote operation server 33 from the remote console 32 operated by the driver based on the composite image 70. Then, the operation information is transmitted from the remote operation server 33 to the PLC 38 of each bridge crane 10.
カメラ３６はトロリ１６から下方の映像４０を撮影する装置である。このカメラ３６は機械室１８内に設けられたＰＬＣ３８に接続され、撮影された映像４０が遠隔運転サーバ３３に送信されている。また、このカメラ３６は撮影角度自在に構成される。なお、カメラ３６で撮影された映像４０が遠隔運転サーバ３３に送信される構造であればよく、ＰＬＣ３８に接続されなくてもよい。 The camera 36 is a device that captures an image 40 below from the trolley 16. The camera 36 is connected to a PLC 38 provided in the machine room 18, and a photographed video 40 is transmitted to the remote operation server 33. In addition, the camera 36 is configured so as to be capable of shooting angles. Note that the video 40 captured by the camera 36 may be transmitted to the remote operation server 33 and may not be connected to the PLC 38.
このカメラ３６が撮影した映像４０は、図３に示すように、撮影角度を変えることで、あたかもトロリ１６に設けられた運転室から見た映像のように撮影される。この映像４０を、トロリ１６に設けられた運転室から見た映像と類似する映像とすることで、橋形クレーン１０を遠隔運転する場合でも、運転者が慣れ親しんだ映像４０に基づいて運転することができる。 As shown in FIG. 3, the image 40 captured by the camera 36 is captured as if viewed from the cab provided in the trolley 16 by changing the imaging angle. By making this image 40 similar to the image seen from the cab provided in the trolley 16, even when the bridge crane 10 is operated remotely, driving based on the image 40 familiar to the driver. Can do.
この映像４０には、スプレッダ１７、コンテナ船２０のホールド２３内のコンテナ（荷役対象のコンテナＣ３を含む）と、コンテナ船２０の上甲板２１上に載置されているコンテナと、上甲板２１上で作業している作業者Ｗ１、Ｗ２が映っている。しかし、荷役対象のコンテナＣ３はホールド２３内で見え難い。また、コンテナＣ２とホールド２３内で作業している作業者Ｗ３はスプレッダ１７の影になり映っていない。 The video 40 includes a spreader 17, a container in the hold 23 of the container ship 20 (including a container C3 to be handled), a container placed on the upper deck 21 of the container ship 20, and the upper deck 21 The workers W1 and W2 who are working in are shown. However, the container C3 to be handled is difficult to see in the hold 23. Further, the worker W3 working in the container C2 and the hold 23 is not reflected in the shadow of the spreader 17.
測域センサ３７Ａ、３７Ｂは、図４に示すように、二軸走査型の光波距離計である。この測域センサ３７Ａ、３７Ｂはトロリ１６にスプレッダ１７を介して対向するように配置され、測域センサ３７Ａがトロリ１６の移動方向の一方の端部側に、測域センサ３７Ｂが他方の端部側に配置される。 As shown in FIG. 4, the range sensors 37 </ b> A and 37 </ b> B are two-axis scanning type light wave distance meters. The range sensors 37A and 37B are arranged so as to face the trolley 16 via the spreader 17. The range sensor 37A is on one end side in the moving direction of the trolley 16, and the range sensor 37B is on the other end portion. Placed on the side.
各測域センサ３７Ａ、３７Ｂのそれぞれは、センサ部３７ａ、第一走査軸３７ｂ、第二走査軸３７ｃを備えて構成される。第一走査軸３７ｂの軸方向がトロリ１６の移動方向であり、第二走査軸３７ｃの軸方向がトロリ１６の移動方向に直交する方向に向けられている。このように、測域センサ４１Ａ、４１Ｂが、スプレッダ１７を介して対向配置されることで、トロリ１６又はスプレッダ１７の位置を基準として、トロリ１６の下方の表層に配置されているコンテナＣ１〜Ｃ１０と表層にいる作業者Ｗ１、Ｗ２の相対位置情報を、スプレッダ１７の影になっている部分やコンテナの影になる部分でも取得することができる。 Each of the range sensors 37A and 37B includes a sensor unit 37a, a first scanning axis 37b, and a second scanning axis 37c. The axial direction of the first scanning shaft 37 b is the moving direction of the trolley 16, and the axial direction of the second scanning shaft 37 c is oriented in a direction orthogonal to the moving direction of the trolley 16. As described above, the range sensors 41A and 41B are arranged to face each other via the spreader 17, so that the containers C1 to C10 arranged on the surface layer below the trolley 16 with reference to the position of the trolley 16 or the spreader 17. The relative position information of the workers W1 and W2 on the surface layer can be acquired even in the shadowed part of the spreader 17 or the shadowed part of the container.
そして、この測域センサ３７Ａ、３７Ｂは、それぞれの走査平面上に位置するコンテナＣや作業者Ｗをその形状から判別し、トロリ１６又はスプレッダ１７の位置を基準として、それらの相対的な距離を測定する。なお、この位置情報に含まれる相対位置情報はトロリ１６又はスプレッダ１７を基準とする極座標である。従って、各コンテナＣ１〜Ｃ１０と作業者Ｗ１〜Ｗ３との間の相対位置もこの位置情報には含まれる。 Then, the range sensors 37A and 37B discriminate the containers C and workers W located on the respective scanning planes from their shapes and determine their relative distances based on the position of the trolley 16 or the spreader 17. taking measurement. The relative position information included in the position information is polar coordinates based on the trolley 16 or the spreader 17. Therefore, the relative position between the containers C1 to C10 and the workers W1 to W3 is also included in this position information.
コンテナ管理情報５０は、図５に示すように、コンテナの配列情報（列−行−段）、規格情報（４０フィート、２０フィート）、種別情報（ドライコンテナ、リーファコンテナ）を含む情報である。このコンテナ管理情報５０は、ターミナルオペレーティングシステム４に格納されており、コンテナの荷役状況により逐次更新されている。例えば、コンテナ船２０での配列情報、コンテナターミナル１の蔵置レーン上の配列情報はその荷役が完了した時点で更新される。また、荷役するコンテナが２０フィートの場合には、荷役対象のコンテナとして隣接する２０フィートのコンテナが二個であることが記憶されている。加えて、荷役対象がリーファコンテナの場合はその電源コードが接続されているかも記憶されている。更に、上甲板２１上のコンテナがコンテナ同士を互いに連結する連結具であるスタッキングコーンで連結されているか否かも記憶されている。なお、上甲板２１上のコンテナのスタッキングコーンの連結については、作業者の携帯している端末から送信される情報に基づいている。 As shown in FIG. 5, the container management information 50 is information including container arrangement information (column-row-stage), standard information (40 feet, 20 feet), and type information (dry container, leafer container). The container management information 50 is stored in the terminal operating system 4 and is updated sequentially according to the container handling status. For example, the arrangement information on the container ship 20 and the arrangement information on the storage lane of the container terminal 1 are updated when the cargo handling is completed. In addition, when the container for handling is 20 feet, it is stored that there are two adjacent 20-foot containers as containers for handling. In addition, when the cargo handling target is a leafer container, it is also stored whether the power cord is connected. Furthermore, it is also stored whether the containers on the upper deck 21 are connected by a stacking cone which is a connecting tool for connecting the containers to each other. The connection of the container stacking cones on the upper deck 21 is based on information transmitted from the terminal carried by the operator.
表示情報６０は、図６に示すように、測域センサ３７Ａ、３７Ｂで取得された情報に基づいた位置情報とコンテナ管理情報５０と映像４０とを照合して作成された情報である。より具体的には、測域センサ３７Ａ、３７Ｂで取得された各コンテナＣ１〜Ｃ１０及び作業者Ｗ１〜Ｗ３のトロリ１６及びスプレッダ１７のいずれかを基準とした相対位置情報、並びに、機械室１８内のＰＬＣ３８から取得したトロリ１６及びスプレッダ１７のいずれかの絶対位置情報から求めた各コンテナＣ１〜Ｃ１０及び作業者Ｗ１〜Ｗ３の絶対位置情報と、コンテナ管理情報５０と映像４０とを照合して作成された情報である。この表示情報６０は、作業者Ｗ１〜Ｗ３の作業者表示情報６１〜６３、三次元立体映像６４、コンテナ情報６５を有する。 As shown in FIG. 6, the display information 60 is information created by collating position information, container management information 50, and video 40 based on information acquired by the range sensors 37 </ b> A and 37 </ b> B. More specifically, relative position information based on any of the containers C1 to C10 and the trolleys 16 and spreaders 17 of the workers W1 to W3 acquired by the range sensors 37A and 37B, and the inside of the machine room 18 The absolute position information of each of the containers C1 to C10 and the workers W1 to W3 obtained from the absolute position information of the trolley 16 and the spreader 17 acquired from the PLC 38, the container management information 50, and the video 40 are created. Information. The display information 60 includes worker display information 61 to 63 of the workers W1 to W3, a 3D stereoscopic image 64, and container information 65.
作業者表示情報６１〜６３は、映像４０上のどの位置に作業者Ｗ１〜Ｗ３がいるかを示す情報である。この実施形態では、作業者Ｗ１〜Ｗ３が分かり易いように、作業者Ｗ１〜Ｗ３を囲う丸印を有し、更にその丸印がハイライト表示される。この作業者表示情報６１〜６３は、前述したように取得された各コンテナＣ１〜Ｃ１０及び作業者Ｗ１〜Ｗ３の絶対位置情報が映像４０に照合されてその映像４０上での表示位置に配置される。 The worker display information 61 to 63 is information indicating at which position on the video 40 the workers W1 to W3 are present. In this embodiment, in order to make the workers W1 to W3 easy to understand, there is a circle surrounding the workers W1 to W3, and the circle is highlighted. The worker display information 61 to 63 is arranged at the display position on the video 40 by collating the absolute position information of the containers C1 to C10 and the workers W1 to W3 acquired as described above with the video 40. The
三次元立体映像６４は、コンテナ船２０上に配置されたコンテナＣ１〜Ｃ１０の三次元立体映像である。この三次元立体映像６４は、前述したように取得された各コンテナＣ１〜Ｃ１０の絶対位置情報をコンテナ管理情報５０に照合して作成される。作成された三次元立体映像６４は、その絶対位置情報が映像４０に照合されて、映像４０上での表示位置、表示角度、大きさなどに合わせて変形される。 The 3D stereoscopic image 64 is a 3D stereoscopic image of the containers C <b> 1 to C <b> 10 arranged on the container ship 20. The 3D stereoscopic image 64 is created by collating the absolute position information of the containers C1 to C10 acquired as described above with the container management information 50. The created 3D stereoscopic video 64 is deformed in accordance with the display position, display angle, size, etc. on the video 40 by comparing the absolute position information with the video 40.
コンテナ情報６５は、コンテナ管理情報５０から荷役対象のコンテナＣ７の情報を抽出したものである。また、荷役対象のコンテナＣ７は、荷役対象外のコンテナＣ１〜６、Ｃ８〜Ｃ１０と区別できるように、ハイライト表示される。 The container information 65 is obtained by extracting information on the container C7 to be handled from the container management information 50. In addition, the container C7 to be handled is highlighted so that it can be distinguished from the containers C1 to C6 and C8 to C10 that are not to be handled.
合成映像７０は、図７に示すように、映像４０と表示情報６０を合成した映像である。 As shown in FIG. 7, the synthesized video 70 is a video obtained by synthesizing the video 40 and the display information 60.
次に、実施形態の橋形クレーン１０の遠隔運転方法について説明する。 Next, a remote operation method of the bridge crane 10 according to the embodiment will be described.
図３に示すように、カメラ３６が映像４０を撮影し、その映像４０を遠隔運転サーバ３３に送信する。また、図４に示すように、測域センサ３７Ａ、３７Ｂが逐次、トロリ１６の下方の各コンテナＣ１〜Ｃ１０の相対位置情報、及び表層にいる作業者Ｗ１〜Ｗ３の相対位置情報を取得し、遠隔運転サーバ３３に送信する。このとき、測域センサ３７Ａ、３７Ｂは、第一走査軸３７ｂを軸にセンサ部３７ａが回転し、走査平面上の相対位置情報を取得する。次に、第二走査軸３７ｃを軸にセンサ部３７ａが回転し、別の走査平面上の相対位置情報を取得する。このようにして、カメラ３６で撮影された範囲のコンテナＣ１〜Ｃ１０と作業者Ｗ１〜Ｗ３の形状と相対位置情報を取得する。 As shown in FIG. 3, the camera 36 captures the video 40 and transmits the video 40 to the remote operation server 33. Further, as shown in FIG. 4, the range sensors 37A and 37B sequentially acquire the relative position information of the containers C1 to C10 below the trolley 16, and the relative position information of the workers W1 to W3 on the surface layer, Transmit to the remote operation server 33. At this time, in the range sensors 37A and 37B, the sensor unit 37a rotates around the first scanning axis 37b to acquire relative position information on the scanning plane. Next, the sensor unit 37a rotates around the second scanning axis 37c to acquire relative position information on another scanning plane. In this way, the shapes and relative position information of the containers C1 to C10 and the workers W1 to W3 in the range photographed by the camera 36 are acquired.
次に、図５に示すように、遠隔運転サーバ３３がターミナルオペレーティングシステム４のコンテナ管理情報５０を取得する。また、遠隔運転サーバ３３が機械室１８内のＰＬＣ３８からトロリ１６又はスプレッダ１７の絶対位置を取得する。 Next, as shown in FIG. 5, the remote operation server 33 acquires the container management information 50 of the terminal operating system 4. Further, the remote operation server 33 acquires the absolute position of the trolley 16 or the spreader 17 from the PLC 38 in the machine room 18.
次に、図６に示すように、遠隔運転サーバ３３が、映像４０、測域センサ３７Ａ、３７Ｂで取得した相対位置情報、ＰＬＣ３８で取得した絶対位置、及びコンテナ管理情報５０を照合して表示情報６０を作成する。このとき、遠隔運転サーバ３３は、作業者Ｗ１〜Ｗ３の相対位置情報とコンテナＣ１〜Ｃ１０の相対位置情報とそれらの相対位置情報の基準となる絶対位置情報とコンテナ管理情報５０などを照合して、映像４０上での作業者Ｗ１〜Ｗ３の絶対位置情報を取得して、作業者表示情報６１〜６３を作成する。 Next, as shown in FIG. 6, the remote operation server 33 collates the display information with the video 40, the relative position information acquired by the range sensors 37 </ b> A and 37 </ b> B, the absolute position acquired by the PLC 38, and the container management information 50. 60 is created. At this time, the remote operation server 33 collates the relative position information of the workers W1 to W3, the relative position information of the containers C1 to C10, the absolute position information serving as a reference for the relative position information, the container management information 50, and the like. The absolute position information of the workers W1 to W3 on the video 40 is acquired, and the worker display information 61 to 63 is created.
また、コンテナＣ１〜Ｃ１０の絶対位置情報とコンテナ管理情報５０から三次元立体映像６４を作成する。この三次元立体映像６４は、測域センサ３７Ａ、３７Ｂで取得された位置情報と相対位置情報の基準となる絶対位置情報とコンテナ管理情報５０とを照合することで、それぞれのコンテナＣ１〜Ｃ１０の絶対位置情報を取得して作成される。その絶対位置情報から三次元立体映像６４の表示角度と表示位置と表示したときの大きさを映像４０に一致させる。そして、その絶対位置情報のデータをコンテナ管理情報５０にフィードバックする。加えて、コンテナ管理情報５０から荷役対象のコンテナＣ７のコンテナ情報６５を作成する。この実施形態では、荷役対象のコンテナＣ７は４０フィートのドライコンテナが一つであることを表示する。 Also, a 3D stereoscopic image 64 is created from the absolute position information of the containers C1 to C10 and the container management information 50. The three-dimensional stereoscopic image 64 is obtained by collating the position information acquired by the range sensors 37A and 37B with the absolute position information serving as a reference for the relative position information and the container management information 50, so that each of the containers C1 to C10. Created by acquiring absolute position information. Based on the absolute position information, the display angle and display position of the 3D stereoscopic image 64 are matched with the image 40. Then, the absolute position information data is fed back to the container management information 50. In addition, the container information 65 of the container C7 to be handled is created from the container management information 50. In this embodiment, it is displayed that the container C7 to be handled is one 40-foot dry container.
次に、図７に示すように、遠隔運転サーバ３３が映像４０と表示情報６０を合成して合成映像７０を作成する。そして、その合成映像７０をディスプレイ装置３１に出力する。橋形クレーン１０を遠隔運転している運転者はそのディスプレイ装置３１に表示された合成映像７０に基づいて遠隔コンソール３２を操作する。 Next, as shown in FIG. 7, the remote operation server 33 combines the video 40 and the display information 60 to create a composite video 70. Then, the composite video 70 is output to the display device 31. A driver who is remotely driving the bridge crane 10 operates the remote console 32 based on the composite image 70 displayed on the display device 31.
上記の橋形クレーン１０の遠隔運転方法及び橋形クレーン１０の遠隔運転装置３０によれば、図７に示すように、ディスプレイ装置３１に表示された合成映像７０には、映像４０に映る部分と映像４０に映らない部分にある作業者Ｗ３の作業者表示情報６３が合成されている。この合成映像７０に基づいて橋形クレーン１０を遠隔操作することにより、運転者は視覚的に作業者Ｗ１〜Ｗ３の位置を把握することができる。従って、コンテナ船２０のホールド２３内などの視界の悪い範囲、スプレッダ１７などの障害物のある範囲などで事前に作業者Ｗ１〜Ｗ３との衝突を回避することができるので、安全性を確保しながら高効率な荷役を行うことができる。 According to the above-described remote operation method of the bridge crane 10 and the remote operation device 30 of the bridge crane 10, as shown in FIG. 7, the composite image 70 displayed on the display device 31 includes a portion shown in the image 40. The worker display information 63 of the worker W3 in the portion not shown in the video 40 is synthesized. By remotely operating the bridge crane 10 based on the composite image 70, the driver can visually grasp the positions of the workers W1 to W3. Therefore, it is possible to avoid a collision with the workers W1 to W3 in advance in a range with poor visibility such as the inside of the hold 23 of the container ship 20, or a range where there is an obstacle such as the spreader 17, so that safety is ensured. Highly efficient cargo handling can be performed.
また、合成映像７０に三次元立体映像６４を合成することで、運転者がコンテナＣ１〜Ｃ１０の配列を一目瞭然で認識することができ、また、正確にスプレッダ１７との距離も分かるようになる。 In addition, by synthesizing the three-dimensional stereoscopic image 64 with the synthesized image 70, the driver can recognize the arrangement of the containers C1 to C10 at a glance, and the distance from the spreader 17 can be accurately recognized.
コンテナ管理情報５０からでも三次元立体映像を作成することはでき、それを用いて遠隔運転シミュレータを構成することは可能である。しかし、コンテナ管理情報５０のみでは、コンテナＣ１〜Ｃ１０の絶対位置情報を取得することができない。例えば、潮の満ち引きやコンテナ船２０のバラスト水の状況によりコンテナ船２０に載置されているコンテナＣ１〜Ｃ１０の絶対位置情報は変化する。従って、上記の実施形態のように測域センサ３７Ａ、３７ＢでコンテナＣ１〜Ｃ１０相対位置情報を測定し、映像４０やコンテナ管理情報５０と照合することによって、コンテナＣ１〜Ｃ１０の絶対位置情報を取得することができる。また、コンテナ管理情報５０をその位置情報に基づいて更新することによって、逐次、正確な配列情報を取得することができる。 A three-dimensional stereoscopic image can be created from the container management information 50, and a remote driving simulator can be configured using the three-dimensional stereoscopic image. However, the absolute position information of the containers C1 to C10 cannot be acquired with only the container management information 50. For example, the absolute position information of the containers C <b> 1 to C <b> 10 placed on the container ship 20 varies depending on tides and ballast water conditions of the container ship 20. Accordingly, the relative position information of the containers C1 to C10 is measured by the range sensors 37A and 37B as in the above embodiment, and the absolute position information of the containers C1 to C10 is acquired by collating with the video 40 and the container management information 50. can do. Also, by updating the container management information 50 based on the position information, accurate array information can be acquired sequentially.
加えて、合成映像７０で、荷役対象のコンテナＣ７とその他のコンテナＣ１〜Ｃ６、Ｃ８〜Ｃ１０を区別することができるので、荷役対象のコンテナＣ７が視界の悪い範囲のコンテナや障害物により映像に映らないコンテナであっても、その荷役対象のコンテナＣ７をすぐに見つけ出すことができる。 In addition, since the container C7 to be handled can be distinguished from the other containers C1 to C6 and C8 to C10 in the composite image 70, the container C7 to be handled is displayed on the image by a container or an obstacle with a poor visibility range. Even if the container is not shown, it is possible to immediately find the container C7 to be handled.
更に、合成映像７０にコンテナ情報６５を表示することで、荷役対象のコンテナＣ７を正しく認識することができる。これにより、例えば、２０フィートを二個吊り上げなければならない状況で、運転手が４０フィートを一個と勘違いした場合に、接続が不完全になる。その接続状況をコンテナ情報６５で表示することで、そのような状態を回避することができる。また、リーファコンテナの電源が接続された状態か否かをコンテナ情報６５に表示することで、リーファコンテナが電源を接続したままの状態で持ち上げたりすることを回避することができる。加えて、上甲板２１上に配置されたコンテナはスタッキングコーンなどで上下のコンテナと接続されている。そのスタッキングコーンが外れているか否かをコンテナ情報６５で表示することで、スタッキングコーンにより連結されたまま吊り上げられることを回避することができる。 Furthermore, by displaying the container information 65 on the composite video 70, the container C7 to be handled can be correctly recognized. Thus, for example, in a situation where two 20 feet must be lifted, if the driver mistakes 40 feet as one, the connection is incomplete. By displaying the connection status as container information 65, such a state can be avoided. Further, by displaying in the container information 65 whether or not the power source of the leafer container is connected, it is possible to prevent the leafer container from being lifted with the power source connected. In addition, the containers arranged on the upper deck 21 are connected to the upper and lower containers by a stacking cone or the like. By displaying whether or not the stacking cone is removed by the container information 65, it is possible to avoid being lifted while being connected by the stacking cone.
なお、上記の実施形態では、橋形クレーン１０の遠隔運転装置３０を例に説明したが、本発明はこれに限定されない。例えば、コンテナターミナル１で用いられる門型クレーンの遠隔運転に適用することができる。 In the above embodiment, the remote operation device 30 of the bridge crane 10 has been described as an example, but the present invention is not limited to this. For example, it can be applied to remote operation of a portal crane used in the container terminal 1.
また、上記の実施形態では、測域センサ３７Ａ、３７Ｂをトロリ１６の移動方向の両端
部に配置した例を説明したが、本発明はこれに限定されない。例えば、測域センサ３７Ａ、３７Ｂをトロリ１６の移動方向に直交する方向の両端部に配置してもよい。また、二つ以上の測域センサを設けてもよい。
In the above-described embodiment, the example in which the range sensors 37A and 37B are arranged at both ends in the moving direction of the trolley 16 has been described, but the present invention is not limited to this. For example, the range sensors 37 </ b> A and 37 </ b> B may be arranged at both ends in the direction orthogonal to the moving direction of the trolley 16. Two or more range sensors may be provided.
また、上記の実施形態では、二軸走査型の測域センサ３７Ａ、３７Ｂを備える構成を例に説明したが、一軸走査型の測域センサを複数設けてもよい。 In the above embodiment, the configuration including the biaxial scanning range sensors 37A and 37B has been described as an example. However, a plurality of uniaxial scanning range sensors may be provided.
また、上記の実施形態では、作業者Ｗ１、Ｗ２の位置情報を測域センサ３７Ａ、３７Ｂにより測定する例を説明したが、これらの測域センサの代わりに作業者にＧＰＳ機能（衛星測位システム）付きのビーコン（無線標識）を携帯させ、そのビーコンの電波を遠隔運転サーバ３３に送信するように構成してもよい。 In the above-described embodiment, the example in which the position information of the workers W1 and W2 is measured by the range sensors 37A and 37B has been described. However, the GPS function (satellite positioning system) is given to the worker instead of these range sensors. A beacon (wireless sign) attached may be carried, and the radio waves of the beacon may be transmitted to the remote operation server 33.
１ コンテナターミナル
３ 管理施設
４ ターミナルオペレーティングシステム
１０ 橋形クレーン
１６ トロリ
１７ スプレッダ
２０ コンテナ船
３０ 遠隔運転装置
３１ ディスプレイ装置
３２ 遠隔コンソール
３３ 遠隔運転サーバ
３６ カメラ
３７Ａ、３７Ｂ 測域センサ
４０ 映像
５０ コンテナ管理情報
６０ 表示情報
６１〜６３ 作業者表示情報
６４ 三次元立体映像
６５ コンテナ情報
７０ 合成映像
DESCRIPTION OF SYMBOLS 1 Container terminal 3 Management facility 4 Terminal operating system 10 Bridge crane 16 Trolley 17 Spreader 20 Container ship 30 Remote operation device 31 Display device 32 Remote console 33 Remote operation server 36 Camera 37A, 37B Range sensor 40 Image 50 Container management information 60 Display information 61-63 Worker display information 64 Three-dimensional stereoscopic image 65 Container information 70 Composite image
Claims (10)
前記トロリの下方の前記複数のコンテナの位置情報と前記トロリの下方の所定範囲内の表層にいる作業者の位置情報とを取得し、次いで、それらの位置情報と前記コンテナの配列情報と前記映像とを照合して、前記作業者の前記映像上での表示位置を取得するとともに前記複数のコンテナの積み上げ状況の少なくとも一部を示す三次元立体映像を作成してその三次元立体映像を前記映像に合わせて変形し、次いで、前記映像の前記表示位置に前記作業者の存在を示す表示情報を合成するとともに前記映像に前記三次元立体映像を合成した合成映像を前記表示装置に表示し、表示された前記合成映像に基づいて前記クレーンを遠隔操作することを特徴とするクレーンの遠隔運転方法。 An image obtained by photographing a lifting tool that moves up and down via a trolley of a crane and a plurality of containers stacked below the trolley is displayed on a display device installed outside the crane, and based on the displayed image In the crane remote operation method for remotely operating the crane,
The position information of the plurality of containers below the trolley and the position information of workers on the surface within a predetermined range below the trolley are acquired, and then the position information, the arrangement information of the containers, and the video by matching the door, said the three-dimensional image to create a three-dimensional image depicting at least a portion of the stacked state of the plurality of container acquires the display position on the image of the operator image And then combining the display information indicating the presence of the worker at the display position of the video and displaying the synthesized video obtained by synthesizing the three-dimensional stereoscopic video with the video on the display device. A method for remotely operating a crane, comprising: remotely operating the crane based on the synthesized image.
前記トロリに取り付けられ前記吊具を介して対向配置された少なくとも二つの測域センサを用いて、一方の測域センサの走査線が前記吊具で遮られる領域を他方の測域センサの走査線が走査して、前記トロリの下方の前記複数のコンテナの位置情報と前記トロリの下方の所定範囲内の表層にいる作業者の位置情報とを取得し、次いで、それらの位置情報と前記コンテナの配列情報と前記映像とを照合して前記作業者の前記映像上での表示位置を取得し、次いで、前記映像の前記表示位置に前記作業者の存在を示す表示情報を合成した合成映像を前記表示装置に表示し、表示された前記合成映像に基づいて前記クレーンを遠隔操作することを特徴とするクレーンの遠隔運転方法。Using at least two range sensors that are attached to the trolley and are arranged to face each other via the hanging tool, the area in which the scanning line of one range sensor is blocked by the hanging tool is changed to the scanning line of the other range sensor. Is scanned to obtain position information of the plurality of containers below the trolley and position information of workers on the surface within a predetermined range below the trolley, and then the position information and the container The display position of the worker on the video is obtained by collating sequence information and the video, and then a composite video obtained by combining the display information indicating the presence of the worker with the display position of the video is used as the composite video. A crane remote operation method, comprising: displaying on a display device; and remotely operating the crane based on the displayed composite image.
前記トロリに取り付けた位置情報取得手段と、前記クレーンの外部に設けられて、前記表示装置に接続される情報処理装置とを備え、
前記位置情報取得手段が前記トロリの下方の前記複数のコンテナの位置情報及び表層にいる作業者の位置情報を取得して、それらの位置情報を前記情報処理装置に送信し、前記情報処理装置がターミナルオペレーティングシステムの前記コンテナの配列情報を取得し、次いで、送信された前記位置情報と取得した前記コンテナの配列情報と前記映像とを照合して、前記作業者の前記映像上での表示位置を取得するとともに前記複数のコンテナの積み上げ状況の少なくとも一部を示す三次元立体映像を作成してその三次元立体映像を前記映像に合わせて変形し、前記映像の前記表示位置に前記作業者の存在を示す表示情報を合成するとともに前記映像に前記三次元立体映像を合成した合成映像を作成して前記表示装置に出力し、
前記表示装置が出力された前記合成映像を表示する構成であることを特徴とするクレーンの遠隔運転装置。 A video acquisition device attached to a trolley of a crane, a display device and an operation panel provided outside the crane, and a plurality of the video acquisition device stacked under the trolley and a hanging tool that moves up and down via the trolley In the remote operation device for a crane in which the display device displays the image transmitted from the image acquisition device and the operation panel is operated based on the image.
A position information acquisition means attached to the trolley, and an information processing device provided outside the crane and connected to the display device,
The position information acquisition means acquires position information of the plurality of containers below the trolley and position information of workers on the surface layer, and transmits the position information to the information processing apparatus. acquires sequence information of the container terminal operating system, then said collates the image and sequence information of the container obtained with the transmitted the position information, the display position on the image of the operator the three-dimensional image is deformed in accordance with the said image to create a three-dimensional image depicting at least a portion of the stacked state of the plurality of containers to acquire the presence of the operator on the display position of the image Synthesizes display information indicating the three-dimensional stereoscopic video with the video and creates a synthesized video and outputs the synthesized video to the display device,
The crane remote operation device, wherein the display device displays the synthesized video.
前記トロリに取り付けた位置情報取得手段と、前記クレーンの外部に設けられて、前記表示装置に接続される情報処理装置とを備え、前記位置情報取得手段が少なくとも二つの測域センサを有し、その二つの測域センサが前記吊具を介して対向配置され、一方の測域センサの走査線が前記吊具で遮られる領域を他方の測域センサの走査線が走査する構成であり、A position information acquisition means attached to the trolley; and an information processing device provided outside the crane and connected to the display device, wherein the position information acquisition means has at least two range sensors, The two range sensors are arranged opposite to each other via the hanging tool, and the scanning line of the other range sensor scans the area where the scanning line of one range sensor is blocked by the hanging tool,
前記位置情報取得手段が前記トロリの下方の前記複数のコンテナの位置情報及び表層にいる作業者の位置情報を取得して、それらの位置情報を前記情報処理装置に送信し、前記情報処理装置がターミナルオペレーティングシステムの前記コンテナの配列情報を取得し、次いで、送信された前記位置情報と取得した前記コンテナの配列情報と前記映像とを照合して前記作業者の前記映像上での表示位置を取得し、その表示位置に前記作業者の存在を示す表示情報を合成した合成映像を作成して前記表示装置に出力し、The position information acquisition means acquires position information of the plurality of containers below the trolley and position information of workers on the surface layer, and transmits the position information to the information processing apparatus. Obtain the container arrangement information of the terminal operating system, and then obtain the display position of the worker on the picture by comparing the transmitted position information with the obtained container arrangement information and the video. Then, a composite image obtained by combining display information indicating the presence of the worker at the display position is generated and output to the display device,
前記表示装置が出力された前記合成映像を表示する構成であることを特徴とするクレーンの遠隔運転装置。The crane remote operation device, wherein the display device displays the synthesized video.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015074092A JP6481178B2 (en) | 2015-03-31 | 2015-03-31 | Crane remote operation method and crane remote operation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015074092A JP6481178B2 (en) | 2015-03-31 | 2015-03-31 | Crane remote operation method and crane remote operation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016193777A JP2016193777A (en) | 2016-11-17 |
| JP6481178B2 true JP6481178B2 (en) | 2019-03-13 |
Family
ID=57322567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015074092A Active JP6481178B2 (en) | 2015-03-31 | 2015-03-31 | Crane remote operation method and crane remote operation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6481178B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2773051T3 (en) * | 2017-06-16 | 2020-07-09 | Abb Schweiz Ag | Modified video stream to support remote control of a container crane |
| CN108910704A (en) * | 2018-09-18 | 2018-11-30 | 龙吉宁 | A kind of harbour bank crane tool Intelligent operation system of variable power and operation method |
| JP6879579B2 (en) * | 2019-02-28 | 2021-06-02 | 株式会社三井Ｅ＆Ｓマシナリー | Remote control system and remote control method for container cranes |
| JP7345335B2 (en) * | 2019-09-20 | 2023-09-15 | 株式会社三井E&S | Crane operation support system and crane operation support method |
| KR102430256B1 (en) * | 2019-11-14 | 2022-08-09 | 인하대학교 산학협력단 | Information providing system for remote control of unmanned tower crane |
| JP7290012B2 (en) * | 2020-03-11 | 2023-06-13 | 株式会社三井E&S | CRANE OPERATION SUPPORT SYSTEM AND OPERATION SUPPORT METHOD |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05246683A (en) * | 1992-03-03 | 1993-09-24 | Mitsubishi Heavy Ind Ltd | Operation method of crane |
| JP5369057B2 (en) * | 2010-06-18 | 2013-12-18 | 日立建機株式会社 | Work machine ambient monitoring device |
| KR101565055B1 (en) * | 2011-05-26 | 2015-11-02 | 스미도모쥬기가이고교 가부시키가이샤 | Shovel provided with electric rotating device and control method therefor |
| JP6258594B2 (en) * | 2013-03-28 | 2018-01-10 | 三井造船株式会社 | Crane cab and crane |
| JP5996468B2 (en) * | 2013-03-28 | 2016-09-21 | 株式会社クボタ | Agricultural management support system |
-
2015
- 2015-03-31 JP JP2015074092A patent/JP6481178B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016193777A (en) | 2016-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6481178B2 (en) | Crane remote operation method and crane remote operation device | |
| CN103332597B (en) | Active visual technology-based monitoring system used for crane remote operation and implementation method thereof | |
| EP2903925B1 (en) | Load handling by load handling device | |
| JP6801421B2 (en) | crane | |
| JP6017691B2 (en) | Information presenting apparatus, crane system and information presenting method | |
| CN108779629A (en) | Method and apparatus for controlling crane, excavator, caterpillar or similar engineering machinery | |
| CN105431370A (en) | Method and system for automatically landing containers on a landing target using a container crane | |
| Fang et al. | Vision-based load sway monitoring to improve crane safety in blind lifts | |
| JP6925731B2 (en) | Cargo handling system, cargo handling device, and cargo handling method | |
| JP7128329B2 (en) | CRANE OPERATION ASSISTANCE SYSTEM AND CRANE OPERATION ASSISTANCE METHOD | |
| US20210147193A1 (en) | Measurement target top-surface estimation method, guide information display device, and crane | |
| JP2019020131A (en) | Raw material mountain measurement method and raw material mountain measurement system | |
| JP2024515632A (en) | System and method for assisting a crane operator - Patents.com | |
| JP6805780B2 (en) | crane | |
| JP6309481B2 (en) | Crane driving support method and crane driving support device | |
| WO2020100945A1 (en) | Moving body | |
| JP2007230707A (en) | Monitoring system for port | |
| JP7345335B2 (en) | Crane operation support system and crane operation support method | |
| JP7138475B2 (en) | CONSTRUCTION MATERIAL TRANSFER METHOD, TRANSFER SUPPORT DEVICE, AND CONSTRUCTION MATERIAL TRANSFER SYSTEM | |
| KR20110066764A (en) | Spreader control system of crane for container | |
| EP3333113A1 (en) | A vehicle, and a method for a vehicle, including target marker on an overview image | |
| KR102499279B1 (en) | System of determining the position which landing and lifting of trailer | |
| EP3333114B1 (en) | A vehicle and a method for a vehicle, with presentation of maximal load range limitation | |
| JP7501176B2 (en) | Mobile Crane | |
| JP2021004119A (en) | Suspension rope swing determination method, data processing device, and crane |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180118 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180531 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6481178 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |