WO2012090525A1 - 機器、遠隔操作装置、および遠隔操作システム - Google Patents

機器、遠隔操作装置、および遠隔操作システム Download PDF

Info

Publication number
WO2012090525A1
WO2012090525A1 PCT/JP2011/060113 JP2011060113W WO2012090525A1 WO 2012090525 A1 WO2012090525 A1 WO 2012090525A1 JP 2011060113 W JP2011060113 W JP 2011060113W WO 2012090525 A1 WO2012090525 A1 WO 2012090525A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
remote control
data
remote
control device
Prior art date
Application number
PCT/JP2011/060113
Other languages
English (en)
French (fr)
Inventor
小林　雅人
Original Assignee
三菱重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社 filed Critical 三菱重工業株式会社
Publication of WO2012090525A1 publication Critical patent/WO2012090525A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 

Definitions

  • the present invention relates to, for example, a remotely operated device, a remote operation device for remotely operating the device, and a remote operation system including the device and the remote operation device.
  • the container terminal has a quay facility for loading or unloading containers on a container ship, and stores and stores the unloaded containers until they are delivered to the shipper, or stores the containers received from the shipper until they are loaded.
  • a container yard When the container is transferred at the container terminal, the container stored in the container yard is transferred to a trailer by a rubber tire transfer crane (hereinafter referred to as “RTG”), and the container is transported by the trailer.
  • RTG rubber tire transfer crane
  • the RTG is controlled by wireless remote control.
  • a command such as a command is transmitted to the RTG from a remote console arranged in the management building, and from the RTG.
  • the status is sent to a remote console to control the operation (for example, see Patent Document 1). That is, video data from a plurality of cameras, audio data from microphones and speakers, and control data such as a center signal are transmitted from the RTG to the remote operation console, and the remote operation console to the RTG is based on the various data. Control data such as a driving operation signal is transmitted.
  • various data transmitted / received between the RTG and the remote console are control data (sensor signals from the RTG to the remote console, and from the remote console to the RTG).
  • Driving operation signals and the like) are transmitted and received by wireless data communication using a modem, and video data and audio data are transmitted and received using radio waves leaked from a leaky coaxial cable.
  • Patent Document 2 when there is a delay (transmission delay) in the video data, the delay state cannot be confirmed, and there is a problem that the safety of the operation is impaired.
  • IP Internet Protocol
  • the present invention has been made in view of such circumstances, and can provide a device, a remote operation device, and a remote operation device that can reliably grasp the delay state of video transmission and can enhance the safety of operation in a remote operation system. Provide an operation system.
  • a first aspect of the present invention is a device that is remotely operated by a remote operation device and transmits video data to the remote operation device, and is obtained by an imaging unit that acquires video data, and the imaging unit.
  • Data conversion means for converting the video data into a format suitable for data transmission
  • transmission means for transmitting the video data converted by the data conversion means to the remote control device, and upstream side of the video data from the data conversion means
  • an information adding means for adding first information to the video data for causing the remote control device to detect a delay time of the video data based on a command from the remote control device.
  • the video data is acquired by the photographing means, the video data is converted into a format suitable for data transmission by the data converting means, and transmitted to the remote control device by the transmitting means.
  • the video data includes first information for detecting a delay state of the video data in the remote operation device based on a command from the remote operation device on the upstream side of the video data from the data conversion unit. Added by information adding means.
  • the delay time of the video data is detected by detecting the time from the transmission of the command to add the first information to the reception of the video data to which the first information is added. Can be grasped.
  • evaluation of a series of delay times considering not only the data transmission delay but also the delay in the conversion processing of the video data is performed. It becomes possible.
  • the information adding means may be a lamp installed within a range photographed by the photographing means, and may be turned on and off based on a command from the remote control device.
  • the remote control device when an instruction to turn on the lamp is received from the remote control device, the lamp is turned on, and the video data on which the lit lamp is reflected is suitable for data transmission by the data conversion means. It is converted into a format and transmitted to the remote control device by the transmission means.
  • the remote control device can detect the delay time by detecting the time from when the lamp lighting command is issued until the video data on which the lit lamp is reflected is received.
  • the delay time of the video data can be easily detected by a simple method of turning on / off the lamp.
  • the information adding means may be a mixer for imposing predetermined data on the video data photographed by the photographing means based on a command from the remote control device.
  • video data acquired by the photographing means is input to the mixer.
  • the predetermined data is imposed on the video data in the mixer.
  • the video data on which the predetermined data is imposed is converted into a format suitable for data transmission by the data conversion means, and transmitted to the remote control device by the transmission means.
  • the remote control device detects the delay time of the video data by detecting the time from when the impose command for the predetermined data is transmitted until the video data on which the predetermined data is imposed is received. It becomes possible to do.
  • the delay time of the video data can be easily detected by a simple method of imposing predetermined data.
  • a remote control device for remotely operating any one of the devices described above, wherein the first information for detecting a delay time of the video data is transmitted to the device as video data.
  • a remote control device that detects a delay time of video data by outputting a command to be added to and obtaining a time from when the command is issued until the video data including the first information is received.
  • the remote control device of the second aspect of the present invention from the output of the instruction to add the first information to the video data to the device until the reception of the video data to which the first information is added. By detecting the time, the delay time of the video data can be easily detected.
  • the remote operation device may be configured to stop the operation of the device when the delay time of the video data is equal to or greater than a predetermined threshold value.
  • the remote operation device may be configured to resume the operation of the device that has been stopped when the delay time of the video data becomes less than the predetermined threshold.
  • a third aspect of the present invention is a remote operation system including any one of the above-described devices and any one of the remote operation devices described above.
  • the remote operation system it is possible to reliably grasp the delay state of the video data, and to increase the safety of the operation in the remote operation system.
  • RMG rubber tire transfer crane
  • FIG. 1 is a schematic perspective view of a container terminal according to an embodiment of the present invention.
  • a quay crane (hereinafter referred to as “GC”) 14 for loading and unloading a container 13 with respect to a container ship 12 is installed in the container terminal 11 and the container 13 is loaded and stored.
  • a plurality of container yards 15 are provided.
  • a large number of containers 13 are accumulated in each container yard 15, and a plurality of RTGs 16 as transfer machines are arranged so as to straddle the containers 13 accumulated in the container yard 15.
  • Each RTG 16 is movable in the direction indicated by the solid line arrow in the figure.
  • a plurality of trailers 17 as a transport machine are arranged in the container terminal 11. These trailers 17 travel between the container yards 15 and travel between the GC 14 and the container yards 15.
  • the container 13 on the container yard 15 is mounted on the trailer 17 by the RTG 16, transported to the GC 14 by the trailer 17, and loaded by the GC 14.
  • the container 13 on the container ship 12 is mounted on the trailer 17 by the GC 14, transported to the container yard 15 by the trailer 17, and loaded on the container yard 15 by the RTG 16.
  • a management wing 18 is arranged in the container terminal 11, and a remote control console (not shown) installed in the management wing 18 is connected to the RTG 16 and the trailer 17 by a wireless line (for example, a wireless LAN). Wirelessly controlled by a desk.
  • a wireless line for example, a wireless LAN
  • the RTG 16 will be exemplified and described with reference to FIG. 2.
  • the hub 20 mounted on each of the plurality of RTGs 16a, 16b to 16n arranged in the container terminal and the hub 21 in the management building 18 of the container terminal are respectively connected by radios 22, 23. Connected by wireless LAN.
  • Each RTG 16a, 16b to 16n is photographed by a plurality of (two in FIG. 2) video cameras (photographing means) 24a, 24b that capture the situation of the container 13 and trailer 17, and at least one video camera 24a.
  • a lamp (information adding means) 29 installed in the range, a microphone 25 and a speaker 26 for exchanging with the driver of the manned trailer are mounted.
  • the video data of the analog signal acquired by the video cameras 24a and 24b is converted into IP (Internet protocol) data which is public line data via video encoders (data conversion means / transmission means) 27a and 27b, and the hub (
  • the sound data of the microphone 25 and the speaker 26 are also converted into IP data via the control computer 28 and input to the hub 20.
  • the hub 21 in the management building 18 in the container terminal where the RTGs 16a, 16b to 16n are arranged has a remote operation management computer (host computer) 30 and a plurality of remote operations for operating the RTGs 16a, 16b to 16n.
  • a remote operation management computer host computer
  • Two (two in FIG. 2) remote consoles (remote control devices) 31a and 31b are connected.
  • the remote operation management computer 30 judges the operating status of each RTG 16a, 16b-16n based on the remote operation request from the RTGs 16a, 16b-16n, and can transmit / receive the remote consoles 31a, 31b according to this operating status RTGs 16a and 16b to 16n are sorted.
  • each of the remote consoles 31a and 31b includes a monitor 40a for displaying video data of the video cameras 24a and 24b, and a microphone 40b and a speaker corresponding to the microphone 25 and the speaker 26 of each of the RTGs 16a and 16b to 16n.
  • 40c a control computer 40d corresponding to the control computer 28 of each RTG 16a, 16b to 16n, and an operation input device (not shown) such as a joystick and a button, which correspond to various IP data and each RTG 16a , Control data such as driving operation signals transmitted to 16b to 16n are also unified into IP data.
  • the hub 21 in the management building 18 in the container terminal where the RTGs 16a and 16b to 16n are arranged is connected to the remote operation in the management building 18a in the other container terminal 11a at a distance.
  • the console 31n is connected by the public line 32a of the Internet, and the remote operation console 31m in the management building 18b in the other container terminal 11b that is distant is connected by the dedicated line 32b. That is, the RTGs 16a, 16b to 16n in the container terminal 11 can be remotely controlled by being sorted by the remote operation management computer 30 from the remote consoles 31n, 31m.
  • the Internet public line 32a includes an optical line and a mobile connection of a mobile phone. Therefore, as shown in the figure, not only the remote operation consoles 31n and 31m, but also remote operation can be performed from the operation base other than the container terminal such as home or office by the mobile phone 33 and the personal computer 34. In this embodiment, the delay time of the RTG remote operation video data can be detected by the procedure shown in FIG.
  • the control computer 40d of the remote console (31a, 31b) outputs a lamp 29 lighting command to the control computer 28 of the operation destination (RTGs 16a, 16b to 16n) (step S1). .
  • the control computer 28 of the operation destination that has received the lamp lighting command turns on the lamp 29 (step S2).
  • video data in which the lit lamp is reflected is acquired by the video camera 24a.
  • Video data in which the lit lamp 29 is reflected and video data acquired by the video camera 24b are converted into IP data by the video encoders 27a and 27b and transmitted to the control computer 40d as the operation source via the hub 20 ( Step S3).
  • FIG. 4 shows a display example of video data on the monitor 40a.
  • FIG. 4 shows a display example when the RTGs 16a, 16b to 16n are provided with four video cameras.
  • one of the displayed video data includes the lamp 50a that is lit.
  • control computer 40d determines the lighting state of the lamp 29 included in the video data by performing image processing on the video data (step S4), and issues a lamp lighting command to turn on the lamp 29 that has been turned on.
  • the delay time of the video is detected by detecting the time until receiving the video data in which the video is displayed (step S5).
  • the control computer 40d sets all operation signals to zero and transmits them to the operation control computer 28 to stop the crane ( Step S6). Then, the control computer 40d of the remote consoles 31a and 31b repeatedly transmits, for example, a lamp 29 turn-on command and a turn-off command at regular time intervals to turn on / off the lamp 29 included in each RTG 16, 16b to 16n.
  • the delay state of the video data can be grasped at all times by checking the lighting and extinguishing states of the lamp 29 reflected in the received video data.
  • the control computer 40d continues the detection processing of the delay time of the video data even after the operation of the RTG is stopped.
  • the operation signal set to zero is returned to the normal operation signal, and the operation is resumed. Thereby, the operating efficiency of RTG can be improved.
  • the delay time detection of the video data described above is performed by using the remote control console 31n, the mobile phone 33, and the personal computer in the management building 18a in the other container terminal 11a connected to the hub 21 in the management building 18 in the container terminal 11 by the public line 32a. This is also performed with the computer 34 and also with the remote control console 31m in the management building 18b in the other container terminal 11b connected to the hub 21 through the dedicated line 32b.
  • the remote operation device As described above, according to the device, the remote operation device, and the remote operation system according to the present embodiment, video data transmitted / received between the RTGs 16a, 16b to 16n and the remote operation consoles 31a, 31b to 31n, Since all transmission formats such as voice data and control data are unified to IP transmission, data transmission / reception on the Internet becomes possible. As a result, the remote control console can remotely control the RTGs 16a, 16b to 16n not only from the base where the RTGs 16a and 16b to 16n are installed, but also from a distance from the base. Can be greatly expanded.
  • the delay status of the video data transmitted / received between the RTGs 16a, 16b to 16n and the remote consoles 31a, 31b to 31n can be reliably confirmed. Therefore, the safety of operation in the remote operation system can be improved.
  • the lamp lighting / extinguishing information for detecting the delay time on the remote console side is provided upstream of the video data from the video encoders 27a and 27b that convert the video data to IP data. Therefore, it is possible to evaluate not only a data transmission delay but also a series of delay times including an encoding processing delay in the video encoders 27a and 27b.
  • the delay state of the video data is ascertained based on the lighting state and extinguishing state of the lamp 29.
  • a mixer (information adding means) 60 is installed between the video encoders 27a and 27b.
  • predetermined data is imposed on the video data, and the video data on which the data has been imposed is remotely operated as IP data. It may be transmitted to the desk side.
  • FIG. 6 shows an example of video data displayed on the monitor 40a in the present embodiment.
  • FIG. 6 shows a display example when four video cameras are installed.
  • the video data includes predetermined data (a code “07” in this case) 50b added by the mixer 60.
  • the predetermined data imposed by the mixer 60 may always be the same or may change from time to time.
  • the RTG in the container terminal 11 is illustrated and described as an application destination of the device, the remote operation device, and the remote operation system of the present invention.
  • the device, the remote operation device, and the remote operation of the present invention are described.
  • the system is not limited to this example, and is widely applied to a remote operation system that remotely operates a device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

　映像伝送の遅延状況を確実に把握でき、遠隔操作システムにおける操作の安全性を高める。ＲＴＧ（１６ａ）は、ビデオカメラ（２４ａ）と、ビデオカメラ（２４ａ）によって取得された映像データをＩＰ伝送に適した形式に変換するビデオエンコーダ（２７ａ）と、ビデオエンコーダ（２７ａ）によって変換された映像データを遠隔操作卓（３１ａ）に送信するハブ（２０）と、ビデオカメラ（２４ａ）の撮影範囲に設けられ、遠隔操作卓（３１ａ）からの指令に基づいて点灯／消灯するランプ（２９）とを備え、遠隔操作卓（３１ａ）は、ＲＴＧ（１６ａ）に対して、ランプ（２９）を点灯／消灯させる旨の指令を出力し、該指令を出してから点灯／消灯したランプ（２９）が映像に含まれた映像データを受信するまでの時間を求めることにより、映像データの遅延時間を検出する。

Description

機器、遠隔操作装置、および遠隔操作システム
　本発明は、例えば、遠隔操作される機器、該機器を遠隔操作する遠隔操作装置、および機器と遠隔操作装置とを備える遠隔操作システムに関する。
　例えば、コンテナターミナルは、コンテナ船に対してコンテナを積み込み、または荷揚げを行う岸壁施設を有するとともに、荷揚げしたコンテナを荷主に引き渡すまで貯蔵保管し、または荷主から受け取ったコンテナを船積みするまで貯蔵保管するコンテナヤードを有している。そして、コンテナターミナルにおいてコンテナを移送する際には、コンテナヤードに蔵置されたコンテナをゴムタイヤ式トランスファークレーン（以下「ＲＴＧ」という。）によってトレーラに移し、トレーラによってコンテナを搬送するようにしている。
　このようなコンテナターミナルにおいては、ＲＴＧは無線遠隔制御によって運行制御されており、運行制御においては、例えば、管理棟に配置された遠隔操作卓からＲＴＧにコマンドなどの指令を送信するとともに、ＲＴＧからそのステータスを遠隔操作卓に送って運行制御を行っている（例えば、特許文献１参照）。
　すなわち、ＲＴＧから遠隔操作卓へは複数のカメラからの映像データやマイク及びスピーカからの音声データとセンター信号などの制御データが送信されるとともに、遠隔操作卓からＲＴＧへは前記各種データに基づいた運転操作信号などの制御データが送信される。
特開２００６－１８０１４１号公報 特開２００７－３１１０２号公報
　ところで、ＲＴＧと遠隔操作卓との間で送受信される各種データは、特許文献２にも記載されているように、制御データ（ＲＴＧから遠隔操作卓へのセンサ信号や遠隔操作卓からＲＴＧへの運転操作信号など）に関してはモデムによる無線データ通信で送受信を行い、映像データ及び音声データに関しては漏洩同軸ケーブルから漏洩された電波を用いて送受信を行っていた。
　しかしながら、特許文献２においては、映像データに遅延（伝送の遅れ）が生じた場合には、その遅延状況を確認することができないため、操作の安全性が損なわれるという問題があった。特に、遠隔操作場所の範囲を拡大して、遠隔操作システムのより一層の効率アップを図るために、上述した各種データの伝送形式を全てＩＰ（インターネットプロトコル）伝送とし、インターネット上でのデータ送受信を可能とした場合には、映像データの遅延は十分にあり得る。
　本発明は、このような事情に鑑みてなされたものであって、映像伝送の遅延状況を確実に把握でき、遠隔操作システムにおける操作の安全性を高めることができる機器、遠隔操作装置、および遠隔操作システムを提供する。
　上記課題を解決するために、本発明は以下の手段を採用する。
　本発明の第一の態様は、遠隔操作装置によって遠隔操作されるとともに、該遠隔操作装置に映像データを送信する機器であって、映像データを取得する撮影手段と、前記撮影手段によって取得された映像データをデータ送信に適した形式に変換するデータ変換手段と、前記データ変換手段によって変換された映像データを前記遠隔操作装置に送信する送信手段と、前記データ変換手段よりも映像データの上流側に設けられ、前記遠隔操作装置からの指令に基づいて、映像データの遅延時間を前記遠隔操作装置において検出させるための第１情報を映像データに付加する情報付加手段とを具備する機器である。
　本発明の第一の態様に係る機器によれば、撮影手段により映像データが取得され、この映像データがデータ変換手段によってデータ送信に適した形式に変換され、送信手段により遠隔操作装置に送信される。この場合において、上記映像データには、データ変換手段よりも映像データの上流側において、遠隔操作装置からの指令に基づいて、遠隔操作装置において映像データの遅延状況を検出するための第１情報が情報付加手段によって付加される。これにより、遠隔操作装置においては、上記第１情報を付加させる指令を送信してから、該第１情報が付加された映像データを受信するまでの時間を検出することにより、映像データの遅延時間を把握することができる。また、第１情報は、データ変換手段よりも映像データの上流側において付加されることから、データ伝送の遅延だけではなく、映像データの変換処理における遅延も考慮した一連の遅延時間についての評価が可能となる。
　上記機器において、前記情報付加手段は、前記撮影手段によって撮影される範囲内に設置されたランプであり、前記遠隔操作装置からの指令に基づいて点灯及び消灯することとしてもよい。
　このような構成によれば、例えば、遠隔操作装置からランプを点灯させる指令を受信した場合には、ランプを点灯させ、点灯したランプが映された映像データがデータ変換手段によってデータ送信に適した形式に変換されて、送信手段により遠隔操作装置に送信される。これにより、遠隔操作装置では、ランプ点灯指令を出してから点灯しているランプが映された映像データを受信するまでの時間を検出することにより、遅延時間を検出することが可能となる。このように、上記構成によれば、ランプを点灯／消灯させるといった簡便な手法により、容易に映像データの遅延時間を検出することができる。
　また、上記機器において、前記情報付加手段は、前記遠隔操作装置からの指令に基づいて、前記撮影手段によって撮影された映像データに所定のデータをインポーズするミキサであってもよい。
　このような構成によれば、例えば、撮影手段によって取得された映像データはミキサに入力される。このとき、遠隔操作装置から所定のデータをインポーズする旨の指令を受信した場合には、ミキサにおいて、映像データに対して所定のデータがインポーズされる。そして、所定のデータがインポーズされた映像データがデータ変換手段によってデータ送信に適した形式に変換されて、送信手段により遠隔操作装置に送信される。これにより、遠隔操作装置では、所定のデータのインポーズ指令を送信してから所定のデータがインポーズされている映像データを受信するまでの時間を検出することにより、映像データの遅延時間を検出することが可能となる。このように、上記構成によれば、所定のデータをインポーズさせるという簡便な手法により、容易に映像データの遅延時間を検出することができる。
　本発明の第二の態様は、上記いずれかに記載の機器を遠隔操作する遠隔操作装置であって、前記機器に対して、映像データの遅延時間を検出するための前記第１情報を映像データに付加する旨の指令を出力し、前記指令を出してから該第１情報が含まれた映像データを受信するまでの時間を求めることにより、映像データの遅延時間を検出する遠隔操作装置である。
　本発明の第二の態様に係る遠隔操作装置によれば、第１情報を映像データに付加する旨の指令を機器に出力してから該第１情報が付加された映像データを受信するまでの時間を検出することにより、映像データの遅延時間を容易に検出することができる。
　上記遠隔操作装置は、前記映像データの遅延時間が予め設定されている所定の閾値以上であった場合に、前記機器の運転を停止させる構成としてもよい。
　この構成によれば、映像データの遅延時間が所定の閾値以上であった場合には機器の運転を停止させるので、映像データの遅延に起因する操作ミスなどを防止でき、機器の運転の安全性を高めることができる。
　上記遠隔操作装置は、前記映像データの遅延時間が前記所定の閾値未満になった場合に、運転を停止させていた前記機器の運転を再開する構成としてもよい。
　この構成によれば、映像データの遅延時間が所定の閾値未満になった場合には、停止させていた機器の運転を自動的に再開するので、運転の効率アップを図ることができる。
　本発明の第三の態様は、上記のいずれかに記載の機器と、上記のいずれかに記載の遠隔操作装置とを備える遠隔操作システムである。
　本発明の第三の態様に係る遠隔操作システムによれば、映像データの遅延状況を確実に把握でき、遠隔操作システムにおける操作の安全性を高めることができるという効果を奏する。
本発明の一実施形態に係るコンテナターミナルの概略構成斜視図である。 本発明の一実施形態に係るＲＴＧ遠隔操作システムの概略構成図である。 本発明の一実施形態に係るＲＴＧ遠隔操作映像データの遅延時間検出方法の手順を示す説明図である。 本発明の一実施形態に係るＲＴＧ遠隔操作映像データの一例を示した図である。 本発明の他の実施形態に係るＲＴＧ遠隔操作映像データの遅延時間検出方法の手順を示す説明図である。 本発明の他の実施形態に係るＲＴＧ遠隔操作映像データの一例を示した図である。
　以下に、本発明の機器、遠隔操作装置、および遠隔操作システムをコンテナターミナルにおけるゴムタイヤ式トランスファークレーン（以下「ＲＴＧ」という。）の遠隔操作に適用した場合の一実施形態について、図面を参照して説明する。
　図１は本発明の一実施形態に係るコンテナターミナルの概略構成斜視図である。
　図１に示すように、コンテナターミナル１１には、コンテナ船１２に対してコンテナ１３の荷役を行う岸壁クレーン（以下「ＧＣ」という。）１４が設置されているとともに、コンテナ１３を積付け保管する複数のコンテナヤード１５が設けられている。各コンテナヤード１５には多数のコンテナ１３が集積され、コンテナヤード１５に集積されたコンテナ１３を跨ぐようにして搬送機械としての複数のＲＴＧ１６が配置されている。そして、各ＲＴＧ１６は図中実線矢印で示す方向に移動可能とされている。
　一方、コンテナターミナル１１には搬送機械としての複数のトレーラ１７が配置されている。これらトレーラ１７はコンテナヤード１５間を走行するとともに、ＧＣ１４とコンテナヤード１５との間を走行する。例えば、ＲＴＧ１６によってコンテナヤード１５上のコンテナ１３がトレーラ１７上に搭載され、トレーラ１７によってＧＣ１４に運ばれて、ＧＣ１４によって船積みされる。また、コンテナ船１２上のコンテナ１３はＧＣ１４によってトレーラ１７上に搭載され、トレーラ１７によってコンテナヤード１５に搬送され、ＲＴＧ１６によってコンテナヤード１５に積載される。
　コンテナターミナル１１には管理棟１８が配置されており、この管理棟１８に設置された図示しない遠隔操作卓はＲＴＧ１６及びトレーラ１７と無線回線（例えば、無線ＬＡＮ）によって接続され、ＲＴＧ１６はそれぞれ遠隔操作卓によって無線遠隔制御されるようになっている。
　ＲＴＧ１６を例示して図２で説明すると、コンテナターミナルに配置された複数のＲＴＧ１６ａ、１６ｂ～１６ｎの各々が搭載するハブ２０とコンテナターミナルの管理棟１８におけるハブ２１とがそれぞれ無線機２２、２３によって無線ＬＡＮで接続される。
　各ＲＴＧ１６ａ、１６ｂ～１６ｎには、コンテナ１３やトレーラ１７などの状況を捉える複数台（図２では２台）のビデオカメラ（撮影手段）２４ａ，２４ｂと、少なくとも一つのビデオカメラ２４ａによって撮影される範囲内に設置されたランプ（情報付加手段）２９と、有人トレーラの運転手とやり取りするためのマイク２５及びスピーカ２６が搭載されている。ビデオカメラ２４ａ，２４ｂによって取得されたアナログ信号の映像データは、ビデオエンコーダ（データ変換手段・送信手段）２７ａ，２７ｂを介して公衆回線用データであるＩＰ（インターネットプロトコル）データに変換されてハブ（送信手段）２０に入力されるとともに、マイク２５及びスピーカ２６の音声データも制御用コンピュータ２８を介してＩＰデータに変換されてハブ２０に入力される。
　一方、各ＲＴＧ１６ａ、１６ｂ～１６ｎが配置されたコンテナターミナルにおける管理棟１８内のハブ２１には、遠隔運転管理用コンピュータ（ホストコンピュータ）３０と、各ＲＴＧ１６ａ、１６ｂ～１６ｎを遠隔操作するための複数台（図２では２台）の遠隔操作卓（遠隔操作装置）３１ａ、３１ｂが接続されている。
　前記遠隔運転管理用コンピュータ３０は、ＲＴＧ１６ａ、１６ｂ～１６ｎからの遠隔操作要求に基づいて各ＲＴＧ１６ａ、１６ｂ～１６ｎの稼働状況を判断し、この稼働状況に応じて遠隔操作卓３１ａ、３１ｂの送受信可能なＲＴＧ１６ａ、１６ｂ～１６ｎを仕分けるようになっている。
　各遠隔操作卓３１ａ、３１ｂは、図３に示すように、ビデオカメラ２４ａ、２４ｂの映像データを表示するモニタ４０ａと、各ＲＴＧ１６ａ、１６ｂ～１６ｎのマイク２５及びスピーカ２６に対応したマイク４０ｂ及びスピーカ４０ｃと、各ＲＴＧ１６ａ、１６ｂ～１６ｎの制御用コンピュータ２８に対応した制御用コンピュータ４０ｄと、ジョイスティックやボタンなどの操作入力機器（図示略）とを備え、これらは各種ＩＰデータに対応するとともに各ＲＴＧ１６ａ、１６ｂ～１６ｎに送信される運転操作信号などの制御データもＩＰデータに統一されている。
　また、図２に示すように、各ＲＴＧ１６ａ、１６ｂ～１６ｎが配置されたコンテナターミナルにおける管理棟１８内のハブ２１には、距離的に離れた他のコンテナターミナル１１ａにおける管理棟１８ａ内の遠隔操作卓３１ｎがインターネットの公衆回線３２ａで接続されるとともに、距離的に離れた他のコンテナターミナル１１ｂにおける管理棟１８ｂ内の遠隔操作卓３１ｍが専用回線３２ｂで接続される。
　すなわち、遠隔操作卓３１ｎ、３１ｍからも遠隔運転管理用コンピュータ３０で仕分けられることで、コンテナターミナル１１における各ＲＴＧ１６ａ、１６ｂ～１６ｎの遠隔操作が可能とされている。
　また、インターネットの公衆回線３２ａには、光回線や携帯電話のモバイル接続なども含まれる。従って、図示のように、遠隔操作卓３１ｎ、３１ｍに限らず、例えば自宅やオフィスなどのコンテナターミナル以外の操作拠点からも携帯電話３３及びパーソナルコンピュータ３４などで遠隔操作が可能とされている。
　そして、本実施形態では、図３に示す手順により、ＲＴＧ遠隔操作映像データの遅延時間検出が可能とされている。
　図３において、まず、遠隔操作卓（３１ａ、３１ｂ）の制御用コンピュータ４０ｄが、操作先（ＲＴＧ１６ａ、１６ｂ～１６ｎ）の制御用コンピュータ２８に対してランプ２９の点灯指令を出力する（ステップＳ１）。ランプの点灯指令を受信した操作先の制御用コンピュータ２８は、ランプ２９を点灯させる（ステップＳ２）。これにより、点灯したランプが映った映像データがビデオカメラ２４ａによって取得される。点灯したランプ２９が映った映像データやビデオカメラ２４ｂによって取得された映像データは、ビデオエンコーダ２７ａ、２７ｂにおいてＩＰデータに変換され、ハブ２０を介して操作元の制御用コンピュータ４０ｄに送信される（ステップＳ３）。
　送信元の制御用コンピュータ４０ｄでは、受信したＩＰデータの映像データをデコードして操作用のモニタ４０ａに表示させる。ここで、図４に、モニタ４０ａにおける映像データの表示例を示す。図４では、ＲＴＧ１６ａ、１６ｂ～１６ｎが４台のビデオカメラを備えている場合の表示例が示されている。このように、表示された映像データの一つには、点灯状態のランプ５０ａが含まれることとなる。
　続いて、制御用コンピュータ４０ｄは、映像データを画像処理することにより、映像データに含まれているランプ２９の点灯状態を判定し（ステップＳ４）、ランプの点灯指令を出してから点灯したランプ２９の映像が映った映像データを受信するまでの時間を検出して映像の遅延時間を検出する（ステップＳ５）。
　続いて、制御用コンピュータ４０ｄは、検出した映像の遅延時間が所定の時間以上であった場合に、全ての操作信号をゼロにして操作先の制御用コンピュータ２８に送信し、クレーンを停止させる（ステップＳ６）。そして、遠隔操作卓３１ａ、３１ｂの制御用コンピュータ４０ｄが、例えば、一定の時間間隔で、ランプ２９の点灯指令、消灯指令を繰り返し送信して各ＲＴＧ１６、１６ｂ～１６ｎが備えるランプ２９の点灯／消灯を制御し、受信した映像データに映っているランプ２９の点灯状態、消灯状態を確認することで、常時、映像データの遅延状況を把握することができる。
　そして、制御用コンピュータ４０ｄは、映像データの遅延時間が所定の時間以上となることにより、ＲＴＧの運転を停止した後においても映像データの遅延時間の検出処理を継続し、映像データの遅延時間が所定の時間未満となったときに、ゼロとしていた操作信号を通常の操作信号に戻し、運転を再開させる。これにより、ＲＴＧの運転効率を向上させることができる。
　上述した映像データの遅延時間検出は、コンテナターミナル１１における管理棟１８内のハブ２１に公衆回線３２ａで接続された他のコンテナターミナル１１ａにおける管理棟１８ａ内の遠隔操作卓３１ｎや携帯電話３３及びパーソナルコンピュータ３４との間でも実施されるとともに、ハブ２１に専用回線３２ｂで接続された他のコンテナターミナル１１ｂにおける管理棟１８ｂ内の遠隔操作卓３１ｍとの間でも実施される。
　以上説明したように、本実施形態に係る機器、遠隔操作装置、および遠隔操作システムによれば、各ＲＴＧ１６ａ、１６ｂ～１６ｎと遠隔操作卓３１ａ，３１ｂ～３１ｎとの間で送受信される映像データ、音声データ、制御データ等の伝送形式をすべてＩＰ伝送に統一したので、インターネット上でのデータ送受信が可能となる。これにより、遠隔操作卓はＲＴＧ１６ａ、１６ｂ～１６ｎの設置されている拠点だけでなく、該拠点から距離的に離れた場所からＲＴＧ１６ａ、１６ｂ～１６ｎを遠隔操作することができ、遠隔操作場所の範囲を大幅に拡大することが可能となる。この結果、オペレータがＲＴＧ１６ａ、１６ｂ～１６ｎの設置されている拠点に赴く必要もなく、更には、不具合発生時に専門家が遠隔からＲＴＧ１６ａ、１６ｂ～１６ｎの状態を確認でき、迅速な復旧を実現することが可能となる。
　更に、本実施形態に係る機器、遠隔操作装置、および遠隔操作システムによれば、各ＲＴＧ１６ａ、１６ｂ～１６ｎと遠隔操作卓３１ａ，３１ｂ～３１ｎとの間で送受信される映像データの遅延状況を確実に把握でき、遠隔操作システムにおける操作の安全性を高めることができる。特に、本実施形態によれば、映像データをＩＰデータに変換するビデオエンコーダ２７ａ、２７ｂよりも映像データの上流側において、遠隔操作卓側で遅延時間を検出させるためのランプの点灯・消灯情報を入れ込むこととしたので、データ伝送の遅延だけでなく、ビデオエンコーダ２７ａ、２７ｂにおけるエンコードの処理遅延も含めた一連の遅延時間の評価が可能となる。
　なお、本実施形態では、ランプ２９の点灯状態、消灯状態によって映像データの遅延状況を把握することとしたが、他の実施形態として、例えば、図５に示すように、ビデオカメラ２４ａ，２４ｂとビデオエンコーダ２７ａ、２７ｂとの間にミキサ（情報付加手段）６０を設置し、ミキサ６０において、映像データに所定のデータをインポーズし、該データがインポーズされた映像データをＩＰデータとして遠隔操作卓側に送信することとしてもよい。
　この場合、遠隔操作卓３１ａ，３１ｂ側では、データのインポーズをＲＴＧ側に指示してから所定のデータがインポーズされた映像データを受信するまでの時間を検出することで、映像データの遅延時間を検出することとなる。図６に、本実施形態においてモニタ４０ａに表示される映像データの一例を示す。なお、図６は、ビデオカメラを４台搭載している場合の表示例とされている。このように、映像データには、ミキサ６０によって付加された所定のデータ（ここでは「０７」というコード）５０ｂが含まれることとなる。
　ミキサ６０によってインポーズされる所定のデータは常に同じであってもよいし、その時々で変更されてもよい。
　なお、上記実施形態では、本発明の機器、遠隔操作装置、及び遠隔操作システムの適用先として、コンテナターミナル１１におけるＲＴＧを例示して説明したが、本発明の機器、遠隔操作装置、及び遠隔操作システムは、この例に限られず、遠隔から機器を操作する遠隔操作システムに広く適用される。
１１、１１ａ　コンテナターミナル
１２　コンテナ船
１３　コンテナ
１４　岸壁クレーン
１５　コンテナヤード
１６、１６ａ、１６ｂ～１６ｎ　ゴムタイヤ式トランスファークレーン
１７　トレーラ
１８、１８ａ、１８ｂ　管理棟
２０、２１　ハブ
２２、２３　無線機
２４ａ、２４ｂ　ビデオカメラ
２５　マイク
２６　スピーカ
２７ａ、２７ｂ　ビデオエンコーダ
２８　制御用コンピュータ
２９　ランプ
３０　遠隔運転管理用コンピュータ
３１ａ，３１ｂ、３１ｍ、３１ｎ　遠隔操作卓
３２ａ　インターネットの公衆回線
３２ｂ　専用回線
３３　携帯電話
３４　パーソナルコンピュータ
４０ａ　モニタ
４０ｂ　マイク
４０ｃ　スピーカ
４０ｄ　制御用コンピュータ
６０　ミキサ

Claims (7)

  1. 　遠隔操作装置によって遠隔操作されるとともに、該遠隔操作装置に映像データを送信する機器であって、
    　映像データを取得する撮影手段と、
    　前記撮影手段によって取得された映像データをデータ送信に適した形式に変換するデータ変換手段と、
    　前記データ変換手段によって変換された映像データを前記遠隔操作装置に送信する送信手段と、
    　前記データ変換手段よりも映像データの上流側に設けられ、前記遠隔操作装置からの指令に基づいて、映像データの遅延時間を前記遠隔操作装置において検出させるための第１情報を映像データに付加する情報付加手段と、
    　を具備する機器。
  2. 　前記情報付加手段は、前記撮影手段によって撮影される範囲内に設置されたランプであり、前記遠隔操作装置からの指令に基づいて点灯及び消灯する請求項１に記載の機器。
  3. 　前記情報付加手段は、前記遠隔操作装置からの指令に基づいて、前記撮影手段によって撮影された映像データに所定のデータをインポーズするミキサである請求項１に記載の機器。
  4. 　請求項１から請求項３のいずれかに記載の機器を遠隔操作する遠隔操作装置であって、
    　前記機器に対して、映像データの遅延時間を検出するための前記第１情報を映像データに付加する旨の指令を出力し、前記指令を出してから該第１情報が含まれた映像データを受信するまでの時間を求めることにより、映像データの遅延時間を検出する遠隔操作装置。
  5. 　前記映像データの遅延時間が予め設定されている所定の閾値以上であった場合に、前記機器の運転を停止させる請求項４に記載の遠隔操作装置。
  6. 　前記映像データの遅延時間が前記所定の閾値未満になった場合に、運転を停止させていた前記機器の運転を再開する請求項５に記載の遠隔操作装置。
  7. 　請求項１から請求項３のいずれかに記載の機器と、
    　請求項４から請求項６のいずれかに記載の遠隔操作装置と、
    　を備える遠隔操作システム。
     
PCT/JP2011/060113 2010-12-28 2011-04-26 機器、遠隔操作装置、および遠隔操作システム WO2012090525A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-294243 2010-12-28
JP2010294243A JP2012142789A (ja) 2010-12-28 2010-12-28 機器、遠隔操作装置、および遠隔操作システム

Publications (1)

Publication Number Publication Date
WO2012090525A1 true WO2012090525A1 (ja) 2012-07-05

Family

ID=46382651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/060113 WO2012090525A1 (ja) 2010-12-28 2011-04-26 機器、遠隔操作装置、および遠隔操作システム

Country Status (2)

Country Link
JP (1) JP2012142789A (ja)
WO (1) WO2012090525A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105314539B (zh) * 2014-05-27 2017-03-08 上海振华重工电气有限公司 堆场起重机远程操控系统及方法
JP6134301B2 (ja) * 2014-09-29 2017-05-24 日立建機株式会社 建設機械の遠隔操縦用映像伝送システム
JP6891087B2 (ja) * 2017-09-29 2021-06-18 株式会社小松製作所 作業車両、表示装置、および障害判定方法
JP6933545B2 (ja) 2017-10-04 2021-09-08 株式会社小松製作所 作業車両、制御装置、および作業車両の制御方法
JP2021151910A (ja) * 2020-03-24 2021-09-30 住友重機械搬送システム株式会社 Ｒｔｇ遠隔操作システム、及びｒｔｇ遠隔操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08368B2 (ja) * 1989-07-21 1996-01-10 富士通株式会社 ロボットの遠隔操作装置
JP2004192623A (ja) * 2002-11-25 2004-07-08 Nippon Telegr & Teleph Corp <Ntt> 実世界オブジェクト認識方法および装置、ならびに付帯素子
JP2005020463A (ja) * 2003-06-26 2005-01-20 Toshiba Corp 機器制御装置及び機器制御方法
JP4251979B2 (ja) * 2003-12-24 2009-04-08 日本電信電話株式会社 映像遅延時間測定方法及びそのシステムと装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08368B2 (ja) * 1989-07-21 1996-01-10 富士通株式会社 ロボットの遠隔操作装置
JP2004192623A (ja) * 2002-11-25 2004-07-08 Nippon Telegr & Teleph Corp <Ntt> 実世界オブジェクト認識方法および装置、ならびに付帯素子
JP2005020463A (ja) * 2003-06-26 2005-01-20 Toshiba Corp 機器制御装置及び機器制御方法
JP4251979B2 (ja) * 2003-12-24 2009-04-08 日本電信電話株式会社 映像遅延時間測定方法及びそのシステムと装置

Also Published As

Publication number Publication date
JP2012142789A (ja) 2012-07-26

Similar Documents

Publication Publication Date Title
WO2012023308A1 (ja) 遠隔操作映像の遅延検出方法
WO2012090525A1 (ja) 機器、遠隔操作装置、および遠隔操作システム
JP6426079B2 (ja) Ｂｌｕｅｔｏｏｔｈネットワークでデータ通信を中継するための方法および装置
JP2013180857A (ja) エレベータシステム
JP2010205163A (ja) プラント監視制御システム移行装置
WO2012023309A1 (ja) 遠隔操作システム用の操作パネル
JP2012238189A5 (ja)
US10424187B2 (en) Emergency notification device and emergency notification system
JP2015220693A (ja) 撮像装置、撮像システム、及びそれらの制御方法、ならびにプログラム
WO2012023307A1 (ja) 搬送機械の遠隔操作システム
KR101438645B1 (ko) 통합형 무선영상전송장치 및 이를 이용한 영상처리시스템
JP2007274078A (ja) 遠隔制御システム
WO2018150491A1 (ja) 制御伝送装置、保守通信装置、列車保守通信プログラム及び列車保守システム
JP2011151607A (ja) 画像伝送システム
JP2019532574A5 (ja)
JP2007217138A (ja) エレベータの通信装置
JP2005239357A (ja) 港湾用監視システム、ヤードクレーン、及び港湾監視方法
US20200228664A1 (en) Controlled device, communication control method, and program
KR101965809B1 (ko) 전력 시스템
JP2010245578A (ja) 映像監視システム
JP5321231B2 (ja) 同報無線システム及び同報無線方法
JP2008211278A (ja) 遠隔制御装置
JP2006005426A (ja) ワイヤレススピーカシステム
KR20120133240A (ko) 로봇 및 영상 스마트폰 제어 알고리즘 개발
KR200415706Y1 (ko) 씨씨티브이용 무선 모니터링 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11853365

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11853365

Country of ref document: EP

Kind code of ref document: A1