JP5583291B1 - Remote operation reception system, remote operation system and program - Google Patents

Remote operation reception system, remote operation system and program

Info

Publication number
JP5583291B1
JP5583291B1 JP2014017161A JP2014017161A JP5583291B1 JP 5583291 B1 JP5583291 B1 JP 5583291B1 JP 2014017161 A JP2014017161 A JP 2014017161A JP 2014017161 A JP2014017161 A JP 2014017161A JP 5583291 B1 JP5583291 B1 JP 5583291B1
Authority
JP
Japan
Prior art keywords
remote operation
target device
observation
operation command
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014017161A
Other languages
Japanese (ja)
Other versions
JP2015082834A (en
Inventor
華 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Japan
Original Assignee
Neusoft Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Japan filed Critical Neusoft Japan
Priority to JP2014017161A priority Critical patent/JP5583291B1/en
Application granted granted Critical
Publication of JP5583291B1 publication Critical patent/JP5583291B1/en
Publication of JP2015082834A publication Critical patent/JP2015082834A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】操作目的に合致しない処理の実行結果が生じるのを抑える。
【解決手段】ローカルサーバのメインユニットは、遠隔操作装置から受信した遠隔操作コマンドに基づき、対応する処理を対象機器に実行させる(S400)。但し、実行に先駆けては、遠隔操作装置から遠隔操作コマンドと共に受信した管理IDに基づき、この管理IDに関連付けられた対象機器の観測結果を表す履歴データを参照する。そして、この履歴データに基づき、操作基準時刻と現在時刻との間の期間に生じた対象機器の状況変化を検出する(S320〜S345)。操作基準時刻は、遠隔操作が遠隔操作装置に対してなされた時点で遠隔操作装置の画面に表示されていた状況が観測装置で観測された時刻である。そして、状況変化が大きい場合には、遠隔操作コマンドを破棄し(S430)、状況変化が小さい場合には、遠隔操作コマンドに対応する処理を対象機器に実行させる(S400)。
【選択図】図4
An object of the present invention is to suppress an execution result of a process that does not match an operation purpose.
A main unit of a local server causes a target device to execute a corresponding process based on a remote operation command received from a remote operation device (S400). However, prior to execution, based on the management ID received together with the remote operation command from the remote operation device, the history data representing the observation result of the target device associated with this management ID is referred to. Based on the history data, a change in the status of the target device that occurs during the period between the operation reference time and the current time is detected (S320 to S345). The operation reference time is the time when the observation device observes the situation displayed on the screen of the remote operation device when the remote operation is performed on the remote operation device. If the status change is large, the remote operation command is discarded (S430). If the status change is small, the target device is caused to execute a process corresponding to the remote operation command (S400).
[Selection] Figure 4

Description

本発明は、遠隔操作コマンドを受け付けて、対応する処理を対象機器に実行させる遠隔操作受付システムと、このシステムを備える遠隔操作システムと、このシステムが備える機能の少なくとも一部をコンピュータに実現させるためのプログラムとに関する。   The present invention enables a computer to realize a remote operation reception system that receives a remote operation command and causes a target device to execute a corresponding process, a remote operation system including the system, and at least a part of functions included in the system. Related to the program.

従来、ユーザからの指示に従って機器を制御するシステムが知られている。例えば、離れた位置に設置されたロボットを容易に安全かつ確実に動作させることのできるロボットの遠隔操作システムが知られている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, systems that control devices according to instructions from users are known. For example, a remote control system for a robot that can easily and safely operate a robot installed at a distant position is known (see, for example, Patent Document 1).

このシステムによれば、ユーザからの指示に従って、ユーザ側の装置がロボット制御装置に対して動作指令(操作コマンド)を送信する。一方、ユーザ側の装置は、ロボット制御装置から送られてきた実際のロボットの状態を表示する。更に、ユーザ側の装置は、ユーザが離れた位置に設置されたロボットを意図した通り効率よく動作させることができるように、通信による時間遅れのないロボットの状態を推定し、推定した状態を表示する。   According to this system, in accordance with an instruction from the user, the device on the user side transmits an operation command (operation command) to the robot control device. On the other hand, the device on the user side displays the actual state of the robot sent from the robot control device. Furthermore, the device on the user side estimates the state of the robot without time delay due to communication and displays the estimated state so that the user can operate the robot installed at a remote position as efficiently as intended. To do.

特開平8−108387号公報JP-A-8-108387

ところで、車両やロボット等の対象機器を通信により遠隔操作(制御)するシステムでは、通信遅延に起因して、対象機器に隣接する制御装置が、離れたユーザ側の装置からの操作コマンドに基づく対象機器の制御を行ってから、ユーザ側の装置で制御結果が表示されるまでにタイムラグが生じる。更に、ユーザからの指示に従う操作コマンドが上記ユーザ側の装置から制御装置に送信されてから、制御装置が対象機器を制御して、上記操作マンドに対応する処理を対象機器に実行させるまでにタイムラグが生じる。   By the way, in a system that remotely controls (controls) a target device such as a vehicle or a robot, the control device adjacent to the target device is based on an operation command from a remote user device due to a communication delay. There is a time lag between the control of the device and the display of the control result on the user device. Furthermore, there is a time lag from when the operation command according to the instruction from the user is transmitted from the user device to the control device until the control device controls the target device and causes the target device to execute processing corresponding to the operation command. Occurs.

上述した従来技術によれば、対象機器の状態を推定し、その推定結果を表示することでタイムラグの影響を抑えるようにしているが、推定結果には誤差が含まれることから、その誤差に起因して、ユーザが誤った現状認識で、対象機器を遠隔操作する可能性がある。   According to the above-described prior art, the state of the target device is estimated, and the estimation result is displayed to suppress the influence of the time lag. However, the estimation result includes an error. Thus, there is a possibility that the user remotely operates the target device with an erroneous current state recognition.

また、タイムラグが大きい場合には、ユーザが認識する遠隔操作時の対象機器の状況と、対象機器が遠隔操作コマンドに対応する処理を実行する時点での対象機器の状況とが大きく異なる場合がある。この場合には、対象機器が遠隔操作コマンドに対応する処理を実行しても、ユーザの操作目的に合致した実行結果が得られない可能性がある。   When the time lag is large, the status of the target device at the time of remote operation recognized by the user may be significantly different from the status of the target device at the time when the target device executes processing corresponding to the remote operation command. . In this case, even if the target device executes processing corresponding to the remote operation command, there is a possibility that an execution result that matches the user's operation purpose may not be obtained.

本発明は、こうした問題に鑑みなされたものであり、対象機器が遠隔操作コマンドに対応する処理を実行するまでのタイムラグ等に起因して、操作目的に合致しない実行結果が生じるのを抑制可能な技術を提供することを目的とする。   The present invention has been made in view of these problems, and can suppress the occurrence of an execution result that does not match the operation purpose due to a time lag until the target device executes processing corresponding to the remote operation command. The purpose is to provide technology.

本発明の遠隔操作受付システムは、コマンド取得手段と、データ取得手段と、検出手段と、制御手段とを備える。コマンド取得手段は、外部装置からの対象機器に対する遠隔操作コマンドを取得する。コマンド取得手段は、外部装置からの対象機器に対する遠隔操作コマンドを受信する受信手段として構成され得る
データ取得手段は、対象機器及び当該対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得する。観測装置は、対象機器及び対象機器の周辺の少なくとも一方を観測して、その観測結果を表す観測データを出力する装置である。
遠隔操作受付システムは、更に、観測装置からの観測データを外部装置に逐次送信する送信手段、又は、観測装置からの観測データに基づき、対象機器の状況を表す外部装置に対する提供データを生成し、この提供データを外部装置に逐次送信する送信手段を備えた構成にされ得る。
外部装置は、遠隔操作コマンドを遠隔操作受付システムに送信する一方、上記観測データ又は提供データに基づき、観測装置の観測結果又は対象機器の状況を表示する構成にされ得る。
ここで言う対象機器の「状況」は、広義に解釈されるべきであり、その範疇には、対象機器がおかれている環境としての対象機器の周辺環境(雰囲気)や対象機器それ自体の状態が含まれる。また、対象機器が、対象物を掴んで運搬するロボットアーム等の対象物に何らかの作用を与える機器である場合、対象機器の「状況」には、対象機器が作用を与える上記対象物の状態や、対象機器と対象物との相対的な状態が含まれ得る。
The remote operation reception system of the present invention includes command acquisition means, data acquisition means, detection means, and control means. The command acquisition means acquires a remote operation command for the target device from the external device. The command acquisition unit may be configured as a reception unit that receives a remote operation command for the target device from an external device.
The data acquisition means acquires observation data from an observation device that observes at least one of the target device and the periphery of the target device. The observation apparatus is an apparatus that observes at least one of the target device and the periphery of the target device, and outputs observation data representing the observation result.
The remote operation acceptance system further generates transmission data for sequentially transmitting observation data from the observation device to the external device, or data provided to the external device representing the status of the target device based on the observation data from the observation device, The provision data may be configured to include transmission means for sequentially transmitting the provided data to the external device .
The external device may be configured to display the observation result of the observation device or the status of the target device based on the observation data or the provided data while transmitting the remote operation command to the remote operation reception system .
The “situation” of the target device mentioned here should be interpreted in a broad sense. The category includes the surrounding environment (atmosphere) of the target device as the environment in which the target device is placed and the state of the target device itself. Is included. In addition, when the target device is a device that exerts some action on the target object such as a robot arm that grabs and carries the target object, the “status” of the target device includes the state of the target object that the target device acts on, The relative state between the target device and the target object may be included.

検出手段は、コマンド取得手段が受信した遠隔操作コマンドに対応する処理を対象機器が実行する前の時点である実行前時点と、操作基準時点との間に生じた対象機器の状況変化を、観測装置からの観測データに基づき検出する。ここで言う操作基準時点は、遠隔操作コマンドの送信を指示する操作が外部装置に対してなされたときに外部装置から操作元に提供されていた観測装置の観測結果(例えば上記外部装置で表示されていた状況が、観測装置において観測された時点のことである。 The detection means observes a change in the status of the target device that occurs between the pre-execution time point, which is a time point before the target device executes the process corresponding to the remote operation command received by the command acquisition means, and the operation reference time point. Detection is based on observation data from the device. The operation reference time point mentioned here is the observation result of the observation device provided from the external device to the operation source when the operation for instructing transmission of the remote operation command is performed on the external device (for example , displayed on the external device). which was circumstances) is that of the time it is observed in the observation apparatus.

制御手段は、この検出手段により検出された状況変化に基づき、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第一例として、制御手段は、上記状況変化に基づき、遠隔操作コマンドに対応する処理を対象機器に実行させるか否かを切り替えるようにして、又は、遠隔操作コマンドに対応する処理を対象機器に実行させるタイミングを遅らせるか否かを切り替えるようにして、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第二例として、制御手段は、上記状況変化が基準より大きい場合には、対象機器に遠隔操作コマンドに対応する処理を実行させない、又は、対象機器による遠隔操作コマンドに対応する処理の実行を遅らせるようにして、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第三例として、制御手段は、上記状況変化が基準より大きい場合には、遠隔操作コマンドに対応する処理を対象機器に実行させず、状況変化が基準以下であることを条件に、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第四例として、検出手段は、実行前時点と操作基準時点との間における所定事象の発生を、観測データに基づき検出し、制御手段は、検出手段により所定事象の発生が検出された場合には、対象機器に遠隔操作コマンドに対応する処理を実行させない、又は、対象機器による遠隔操作コマンドに対応する処理の実行を遅らせるようにして、遠隔操作コマンドに対応する処理を対象機器に実行させる。上記所定事象は、その発生の有無が遠隔操作コマンドに対応する処理を対象機器に実行させた場合に当該処理の実行結果に影響を与える事象の少なくとも一つである。
The control unit causes the target device to execute processing corresponding to the remote operation command based on the change in the situation detected by the detection unit.
As a first example, the control means switches whether or not to cause the target device to execute a process corresponding to the remote operation command based on the above situation change, or performs a process corresponding to the remote operation command on the target device. The target device is caused to execute processing corresponding to the remote operation command by switching whether to delay the execution timing.
As a second example, the control unit does not cause the target device to execute the process corresponding to the remote operation command when the situation change is larger than the reference, or delays the execution of the process corresponding to the remote operation command by the target device. In this way, the target device is caused to execute processing corresponding to the remote operation command.
As a third example, when the change in the situation is larger than the reference, the control unit does not cause the target device to execute the process corresponding to the remote operation command, and the remote operation command is provided on the condition that the change in the situation is below the reference. Causes the target device to execute the process corresponding to.
As a fourth example, the detection means detects the occurrence of a predetermined event between the pre-execution time point and the operation reference time point based on the observation data, and the control means detects the occurrence of the predetermined event by the detection means. Does not cause the target device to execute processing corresponding to the remote operation command, or delays execution of processing corresponding to the remote operation command by the target device, and causes the target device to execute processing corresponding to the remote operation command. The predetermined event is at least one event that affects the execution result of the process when the target device causes the target device to execute the process corresponding to the remote operation command.

この遠隔操作受付システムによれば、ユーザが認識する遠隔操作時の対象機器の状況と、遠隔操作コマンドに対応する処理実行前の時点での対象機器の状況とが異なる場合に、対象機器が遠隔操作コマンドに対応する処理を実行するのを、例えば、保留したり、禁止したり、中止したりすることができる。   According to this remote operation reception system, when the status of the target device at the time of remote operation recognized by the user is different from the status of the target device at the time before executing the process corresponding to the remote operation command, the target device is remote. For example, the processing corresponding to the operation command can be suspended, prohibited, or stopped.

従って、この遠隔操作受付システムによれば、例えば、遠隔操作から実際に対象機器が当該遠隔操作に対応する処理を実行するまでのタイムラグや、観測動作から対象機器の状況が外部装置で表示されるまでのタイムラグに起因して、ユーザの操作目的に合致しない実行結果が生じるのを抑えることができる。 Therefore, according to the remote operation reception system, for example, the time lag from the remote operation until the target device actually executes the processing corresponding to the remote operation and the status of the target device from the observation operation are displayed on the external device. It is possible to suppress the occurrence of an execution result that does not match the purpose of the user's operation due to the time lag until.

尚、本発明は、上記タイムラグが無視できない程度に、外部装置から離れている遠隔操作受付システムに適用することができる。従って、ここで言う「遠隔」は、広義に解釈されるべきであり、外部装置と遠隔操作受付システムとの間の距離は、具体的に限定されない。例えば、外部装置と遠隔操作受付システムとは、高々数メートル程度の通信ケーブルで接続される場合も有り得るし、インターネット等の広域ネットワークを介して接続される場合も有り得る。   Note that the present invention can be applied to a remote operation reception system that is far from an external device to the extent that the time lag cannot be ignored. Therefore, “remote” as used herein should be interpreted in a broad sense, and the distance between the external device and the remote operation reception system is not specifically limited. For example, the external device and the remote operation acceptance system may be connected by a communication cable of about several meters at most, or may be connected via a wide area network such as the Internet.

また、上述の送信手段は、観測装置からの観測データの一部又は全部を上記提供データとして外部装置に送信する構成にされ得る。この他、送信手段は、観測装置からの観測データを加工して又は加工せずに、これを上記提供データとして外部装置に送信する構成にされ得る。   In addition, the above-described transmission unit may be configured to transmit a part or all of the observation data from the observation device to the external device as the provided data. In addition, the transmission unit may be configured to transmit the observation data from the observation device to the external device as the provision data without or processing the observation data.

また、遠隔操作受付システムは、観測装置からの観測データを、観測時刻毎の履歴データとして記憶装置に記憶させる蓄積手段を備えた構成にされ得る。この場合、検出手段は、記憶装置が記憶する観測時刻毎の履歴データを参照して、対象機器の状況変化を検出する構成にされ得る。   In addition, the remote operation reception system can be configured to include storage means for storing observation data from the observation device in the storage device as history data for each observation time. In this case, the detection unit may be configured to detect a change in the status of the target device with reference to history data for each observation time stored in the storage device.

また、送信手段は、外部装置に対する提供データを、対応する観測時刻の識別コードと併せて外部装置に送信する構成にされ得る。ここで言う識別コードとしては、観測時刻それ自体や、観測時刻を特定可能なデータ管理コード等を一例に挙げることができる。また
、蓄積手段は、観測時刻毎に個別の識別コードを付すようにして上記履歴データを記憶装置に記憶させる構成にされ得る。
Further, the transmission means may be configured to transmit data provided to the external device together with the corresponding observation time identification code to the external device. Examples of the identification code mentioned here include observation time itself and a data management code that can specify the observation time. Further, the storage means may be configured to store the history data in a storage device by attaching an individual identification code for each observation time.

この遠隔操作受付システムの構成に対応して、外部装置は、遠隔操作コマンドの送信を指示する操作がなされたことを条件に、操作に対応する遠隔操作コマンドを、操作時に表示していた状況の情報源である提供データの識別コードと併せて遠隔操作受付システムに送信する構成にされ得る。   Corresponding to the configuration of this remote operation reception system, the external device displays a remote operation command corresponding to the operation at the time of operation on the condition that an operation for instructing transmission of the remote operation command has been performed. A configuration may be adopted in which the data is transmitted to the remote operation reception system together with the identification code of the provided data that is the information source.

この場合、遠隔操作受付システムが備える受信手段は、遠隔操作コマンド及び識別コードを受信する構成にされ得る。また、検出手段は、記憶装置が記憶する観測時刻毎の履歴データを参照して、対象機器の状況変化を検出するが、その際には、受信手段が受信した識別コードに基づき、操作基準時点における対象機器の状況を表す履歴データを特定する構成にされ得る。   In this case, the receiving means included in the remote operation receiving system can be configured to receive a remote operation command and an identification code. The detecting means refers to the history data for each observation time stored in the storage device and detects the change in the status of the target device. In this case, based on the identification code received by the receiving means, the operation reference time point The history data representing the status of the target device in the system may be specified.

この他、観測装置には、対象機器及び対象機器の周辺の少なくとも一方を撮影し、その撮影画像データを上記観測データとして出力するカメラを含ませることができる。
そして、送信手段は、上記提供データとして、カメラからの撮影画像データを外部装置に送信する構成にされ得る。この場合、外部装置は、遠隔操作受付システムから送信されてくる撮影画像データに基づく画像を表示する構成にされ得る。この他、検出手段は、この撮影画像データに基づき、対象機器の状況変化を検出する構成にされ得る。
In addition, the observation apparatus may include a camera that captures at least one of the target device and the periphery of the target device and outputs the captured image data as the observation data.
The transmission unit may be configured to transmit the captured image data from the camera to the external device as the provided data. In this case, the external device may be configured to display an image based on the captured image data transmitted from the remote operation reception system. In addition, the detection means may be configured to detect a change in the status of the target device based on the captured image data.

ユーザは、外部装置で表示される撮影画像から把握される対象機器の状況に基づいて、遠隔操作を行うことが考えられる。上記遠隔操作受付システムの構成によれば、ユーザが遠隔操作時に撮影画像から把握していた対象機器の状況と、上記実行前時点での状況とが異なる場合に、遠隔操作コマンドに対応した処理を対象機器に実行させずに済み、ユーザの操作目的に合致しない処理が対象機器にて実行される可能性を抑えることができる。   It is conceivable that the user performs a remote operation based on the status of the target device ascertained from the captured image displayed on the external device. According to the configuration of the remote operation reception system, when the status of the target device that the user has grasped from the captured image at the time of remote operation is different from the status at the time before execution, processing corresponding to the remote operation command is performed. It is not necessary to execute the process on the target device, and the possibility that a process that does not match the user's operation purpose is executed on the target device can be suppressed.

ところで、検出手段は、実行前時点と操作基準時点との間に生じた対象機器の状況変化として、実行前時点及び操作基準時点の二点のみに着目して、二点における状況差を検出するものであってもよいし、実行前時点と操作基準時点との間における各時点での状況についても考慮し、実行前時点と操作基準時点との間の各時点に発生した状況変化を検出するものであってもよい。   By the way, the detecting means detects a difference in situation between two points, focusing on only two points of the pre-execution time point and the operation reference time point as a change in the state of the target device between the pre-execution time point and the operation reference time point. The situation at each time point between the pre-execution time point and the operation reference time point may also be taken into consideration, and a change in the situation occurring at each time point between the pre-execution time point and the operation reference time point may be detected. It may be a thing.

例えば、検出手段により検出される上記状況変化は、少なくとも一つの注目パラメータについての実行前時点での値と操作基準時点での値との差を数値化したスカラー量又はベクトル量であり得る。この他、上記状況変化は、実行前時点と操作基準時点との間における注目パラメータの変動量(例えば、各時点での変化量絶対値の累積値など)を数値化したものであってもよいし、実行前時点と操作基準時点との間における注目パラメータの変動幅や変動率を数値化したものであってもよい。   For example, the situation change detected by the detecting means may be a scalar amount or a vector amount obtained by quantifying the difference between the value at the pre-execution time and the value at the operation reference time for at least one target parameter. In addition, the change in the situation may be obtained by quantifying the amount of change in the parameter of interest between the pre-execution time point and the operation reference time point (for example, the accumulated value of the absolute value of change amount at each time point). Alternatively, the fluctuation range and fluctuation rate of the parameter of interest between the pre-execution time point and the operation reference time point may be digitized.

付言すれば、上記状況変化は、対象機器の状況変化をもたらす一種類又は複数種類の規定イベントに関しての実行前時点と操作基準時点との間における当該イベントの発生有無で表されるものであってもよいし、発生回数で表されるものであってもよい。制御手段が用いる上記基準は、上記状況変化が数値で表されるものである場合、閾値で表され得る。一方、制御手段は、規定イベントが発生していないことを基準に、規定イベントが発生している場合には、上記状況変化が基準より大きいと判定し、規定イベントが発生していない場合には、上記状況変化が基準以下であると判定する構成にされ得る。   In other words, the status change is expressed by the occurrence or non-occurrence of the event between the pre-execution time and the operation reference time for one or more types of specified events that cause the status change of the target device. Or it may be represented by the number of occurrences. The standard used by the control means can be represented by a threshold value when the situation change is represented by a numerical value. On the other hand, based on the fact that the prescribed event has not occurred, the control means determines that the change in the situation is greater than the reference if the prescribed event has occurred, and if the prescribed event has not occurred, The above situation change may be determined to be below the reference.

また、制御手段は、上記状況変化としての、実行前時点での対象機器の状況と操作基準時点での対象機器の状況との差が基準より大きい場合には、上記差が基準以下となるまで
、遠隔操作コマンドに対応する処理を対象機器に実行させず、上記差が基準以下となったことを条件に、遠隔操作コマンドに対応する処理を対象機器に実行させる構成にされ得る。付言すると、制御手段は、上記差が基準より大きい状態が所定期間以上継続した時点で、遠隔操作コマンドを破棄する構成にされ得る。
In addition, when the difference between the status of the target device at the pre-execution time and the status of the target device at the operation reference time is larger than the reference as the status change, the control means until the difference becomes below the reference. The processing corresponding to the remote operation command may not be executed by the target device, and the processing corresponding to the remote operation command may be executed by the target device on condition that the difference is equal to or less than the reference. In addition, the control means may be configured to discard the remote operation command when the state where the difference is larger than the reference continues for a predetermined period or longer.

制御手段が、上記差が基準より大きい場合に直ちに遠隔操作コマンドを破棄する構成にされている場合には、外部装置と遠隔操作受付システムとの通信環境が悪いときや、対象機器の状況変化が激しいときに、次のような不都合が生じる可能性がある。即ち、ユーザは、遠隔操作コマンドに対応する処理を対象機器に実行させるために、何度も外部装置に対する操作を行わなければならなくなる可能性がある。   When the control means is configured to immediately discard the remote operation command when the difference is larger than the reference, when the communication environment between the external device and the remote operation reception system is bad or the status of the target device changes When severe, the following inconveniences may occur. That is, the user may have to perform operations on the external device many times in order to cause the target device to execute processing corresponding to the remote operation command.

これに対し、上記差が基準以下となるまで待機して、上記差が基準以下となったことを条件に、遠隔操作コマンドに対応する処理を対象機器に実行させるように制御手段を構成すれば、上述のような不都合の発生を抑えることができる。   On the other hand, if the control means is configured to wait until the difference becomes equal to or less than the reference and the target device executes processing corresponding to the remote operation command on condition that the difference is equal to or less than the reference. The occurrence of inconveniences as described above can be suppressed.

この他、遠隔操作受付システムが備える各手段の少なくとも一つの機能は、プログラムによって、外部装置からの対象機器に対する遠隔操作コマンドを受信する情報処理システムのコンピュータに実現させることができる。これらの機能をコンピュータに実現させるためのプログラムは、CD−ROM及びDVD等の光ディスク、磁気ディスク、並びに、半導体製メモリ等のコンピュータ読取可能な記録媒体に記録することができる。   In addition, at least one function of each unit included in the remote operation reception system can be realized by a program in a computer of an information processing system that receives a remote operation command for a target device from an external device. A program for causing a computer to realize these functions can be recorded on a computer-readable recording medium such as an optical disk such as a CD-ROM and a DVD, a magnetic disk, and a semiconductor memory.

また、本発明は、上述した外部装置としての特徴を有する遠隔操作装置と、上述した遠隔操作受付システムと、を備えた遠隔操作システムの形態を採り得る。   In addition, the present invention can take the form of a remote operation system including the above-described remote operation device having the characteristics as the external device and the above-described remote operation reception system.

遠隔操作システムの構成を表すブロック図である。It is a block diagram showing the structure of a remote control system. ローカルサーバのメインユニットが実行する蓄積送信処理を表すフローチャートである。It is a flowchart showing the accumulation | storage transmission process which the main unit of a local server performs. 遠隔操作装置のメインユニットが実行する受信表示処理を表すフローチャートである。It is a flowchart showing the reception display process which the main unit of a remote control device performs. ローカルサーバのメインユニットが実行するコマンド受付処理を表すフローチャートである。It is a flowchart showing the command reception process which the main unit of a local server performs. 対象機器が車載装置であるときに遠隔操作されるGUI画面の変化を示す図である。It is a figure which shows the change of the GUI screen remotely operated when an object apparatus is a vehicle-mounted apparatus. 履歴データ群の第一例を示す図である。It is a figure which shows the 1st example of a historical data group. 履歴データ群の第二例を示す図である。It is a figure which shows the 2nd example of a historical data group. 履歴データ群の第三例を示す図である。It is a figure which shows the 3rd example of a historical data group. 振動変化に基づき、遠隔操作コマンドに対応する処理を対象機器に実行させるか否かを判断する手法を説明した図であり、グラフにより、振動(加速度)の時間変化を示した図である。It is a figure explaining the method of judging whether a target apparatus is made to perform the process corresponding to a remote operation command based on a vibration change, and is the figure which showed the time change of vibration (acceleration) with the graph. 履歴データ群の第四例を示す図である。It is a figure which shows the 4th example of a historical data group.

以下に本発明の実施例について、図面と共に説明する。但し、本発明は、以下に説明する実施例に限定されるものではなく、種々の態様を採り得る。
図1に示す本実施例の遠隔操作システム1は、遠隔操作対象の機器(以下、「対象機器」と表現する。)10と、観測装置群20と、ローカルサーバ30と、遠隔操作装置50とを備える。対象機器10としては、産業用ロボット及び宇宙用ロボットに代表される各種ロボット、車両、飛行機、ロケット及び人工衛星等の移動体、並びに、これらの移動体に搭載される機器を一例に挙げることができる。
Embodiments of the present invention will be described below with reference to the drawings. However, this invention is not limited to the Example demonstrated below, A various aspect can be taken.
A remote operation system 1 according to this embodiment shown in FIG. 1 includes a remote operation target device (hereinafter referred to as “target device”) 10, an observation device group 20, a local server 30, and a remote operation device 50. Is provided. Examples of the target device 10 include various robots typified by industrial robots and space robots, vehicles such as vehicles, airplanes, rockets, and artificial satellites, and devices mounted on these vehicles. it can.

観測装置群20は、対象機器10及び対象機器10の周辺を観測する複数の観測装置21,23,25から構成される。図1には、第一カメラ21、第二カメラ23、及び、複数のセンサ25を備えた観測装置群20の例を示す。第一カメラ21としては、対象機器10を撮影するカメラを一例に挙げることができ、第二カメラ23としては、対象機器10の周辺を撮影するカメラを一例に挙げることできる。   The observation device group 20 includes a target device 10 and a plurality of observation devices 21, 23, 25 that observe the periphery of the target device 10. In FIG. 1, the example of the observation apparatus group 20 provided with the 1st camera 21, the 2nd camera 23, and the some sensor 25 is shown. An example of the first camera 21 is a camera that captures the target device 10, and an example of the second camera 23 is a camera that captures the periphery of the target device 10.

具体的に、第一カメラ21は、対象機器10としてのロボットアームを撮影することができ、第二カメラ23は、このロボットアームが運搬/操作する物体を撮影することができる。この他、第一カメラ21は、対象機器10としての車載装置を撮影することができ、第二カメラ23は、この車載装置が搭載された車両の周辺(車両前方等)を撮影することができる。対象機器10が車載装置である例としては、HMI(Human Machine Interface)として機能し、ユーザからの指示に従って車両内を制御する車載装置を車両に搭載して、遠隔地から車両を遠隔操作(運転)する例を挙げることができる。   Specifically, the first camera 21 can photograph a robot arm as the target device 10, and the second camera 23 can photograph an object that the robot arm carries / operates. In addition, the 1st camera 21 can image | photograph the vehicle-mounted apparatus as the object apparatus 10, and the 2nd camera 23 can image | photograph the periphery (vehicle front etc.) of the vehicle by which this vehicle-mounted apparatus is mounted. . As an example in which the target device 10 is an in-vehicle device, an in-vehicle device that functions as an HMI (Human Machine Interface) and controls the inside of the vehicle according to an instruction from the user is mounted on the vehicle, and the vehicle is remotely operated (driving) ).

複数のセンサ25としては、対象機器10の周辺環境を観測するセンサや、対象機器10の状態を観測するセンサを一例に挙げることができる。例えば、対象機器10周辺の温度/湿度/照度等を検出するセンサや、対象機器10又は対象機器10が備える可動部の位置/速度/加速度/姿勢/進行方位/振動/揺れ等を検出するセンサや、対象機器10の内部温度等を検出するセンサ等を一例に挙げることができる。   Examples of the plurality of sensors 25 include a sensor that observes the surrounding environment of the target device 10 and a sensor that observes the state of the target device 10. For example, a sensor for detecting the temperature / humidity / illuminance, etc. around the target device 10, and a sensor for detecting the position / velocity / acceleration / posture / traveling direction / vibration / shake of the target device 10 or a movable part included in the target device 10. For example, a sensor that detects the internal temperature or the like of the target device 10 can be given as an example.

ローカルサーバ30は、対象機器10及び観測装置群20と、有線接続又は無線接続される。ローカルサーバ30は、例えば、対象機器10及び観測装置群20と同一の移動体(車両等)に搭載される。   The local server 30 is wired or wirelessly connected to the target device 10 and the observation device group 20. For example, the local server 30 is mounted on the same moving body (vehicle or the like) as the target device 10 and the observation device group 20.

このローカルサーバ30は、対象機器10を制御可能に構成される一方、観測装置群20を構成する観測装置21,23,25の夫々からの観測データを取得可能に構成される。観測データとしては、第一カメラ21による対象機器10の撮影画像を表す撮影画像データ、第二カメラ23による対象機器10周辺の撮影画像を表す撮影画像データ、及び、センサ25による物理量の検出値を一例に挙げることができる。   The local server 30 is configured to be able to control the target device 10, and is configured to be able to acquire observation data from each of the observation devices 21, 23, and 25 constituting the observation device group 20. As observation data, photographic image data representing a photographic image of the target device 10 by the first camera 21, photographic image data representing a photographic image around the target device 10 by the second camera 23, and a physical quantity detection value by the sensor 25. An example can be given.

図1に示すローカルサーバ30は、メインユニット31と、記憶ユニット33と、通信ユニット35と、接続インタフェース37とを備える。メインユニット31は、CPU311、各種プログラムを記憶するROM313及び図示しないRAMを主に備える。CPU311は、ROM313が記憶するプログラムに従う処理を実行することにより、ローカルサーバ30が備える各種機能を実現する。   The local server 30 shown in FIG. 1 includes a main unit 31, a storage unit 33, a communication unit 35, and a connection interface 37. The main unit 31 mainly includes a CPU 311, a ROM 313 that stores various programs, and a RAM (not shown). The CPU 311 realizes various functions included in the local server 30 by executing processing according to a program stored in the ROM 313.

記憶ユニット33は、フラッシュメモリやハードディスク装置等から構成される補助記憶装置(換言すれば、電子的にデータ書換可能な不揮発性記憶装置)であり、CPU311による処理実行時に生成されるデータや設定情報等を記憶する。   The storage unit 33 is an auxiliary storage device (in other words, a non-volatile storage device in which data can be electronically rewritten) composed of a flash memory, a hard disk device, etc., and data and setting information generated when the CPU 311 executes processing. Memorize etc.

通信ユニット35は、メインユニット31に制御されて、広域ネットワークNTを介した遠隔操作装置50との通信を実現するものであり、例えば、セルラー通信ユニットや、WiFi通信ユニット等の無線通信ユニットによって構成される。接続インタフェース37は、対象機器10及び観測装置群20に接続されて、対象機器10及び観測装置群20とメインユニット31との間で授受される信号を中継する。   The communication unit 35 is controlled by the main unit 31 and implements communication with the remote control device 50 via the wide area network NT, and is configured by a wireless communication unit such as a cellular communication unit or a WiFi communication unit, for example. Is done. The connection interface 37 is connected to the target device 10 and the observation device group 20 and relays signals exchanged between the target device 10 and the observation device group 20 and the main unit 31.

一方、遠隔操作装置50は、対象機器10から離れた遠隔地に設置され、ユーザからの操作を受け付ける。遠隔操作装置50は、例えば、周知のパーソナルコンピュータに、遠
隔操作装置50としての機能を実現するためのプログラムがインストールされて構成される。
On the other hand, the remote control device 50 is installed in a remote place away from the target device 10 and receives an operation from the user. The remote operation device 50 is configured, for example, by installing a program for realizing a function as the remote operation device 50 in a known personal computer.

図1に示す遠隔操作装置50は、メインユニット51と、記憶ユニット53と、通信ユニット55と、表示ユニット57と、入力ユニット59とを備える。メインユニット51は、CPU511並びに図示しないROM及びRAMを主に備え、CPU511にて各種プログラムに従う処理を実行することにより、遠隔操作装置50が備える各種機能を実現する。各種プログラムは、フラッシュメモリやハードディスク装置等から構成される補助記憶装置としての記憶ユニット53に記憶される。   The remote control device 50 shown in FIG. 1 includes a main unit 51, a storage unit 53, a communication unit 55, a display unit 57, and an input unit 59. The main unit 51 mainly includes a CPU 511 and ROM and RAM (not shown), and the CPU 511 executes various processes according to various programs, thereby realizing various functions provided in the remote operation device 50. Various programs are stored in a storage unit 53 as an auxiliary storage device including a flash memory and a hard disk device.

通信ユニット55は、メインユニット51に制御されて、広域ネットワークNTを介したローカルサーバ30との通信を実現する。表示ユニット57は、液晶ディスプレイ等から構成され、メインユニット51に制御されて、ユーザ向けの情報画面を表示する。この他、入力ユニット59は、マウスやタッチパネル等のポインティングデバイスやキーボード等のユーザが操作可能な機器から構成され、ユーザからの操作情報(指令)をメインユニット51に入力する。   The communication unit 55 is controlled by the main unit 51 to realize communication with the local server 30 via the wide area network NT. The display unit 57 includes a liquid crystal display and the like, and is controlled by the main unit 51 to display an information screen for the user. In addition, the input unit 59 is configured by a user-operable device such as a pointing device such as a mouse or a touch panel or a keyboard, and inputs operation information (command) from the user to the main unit 51.

続いて、ローカルサーバ30のメインユニット31が実行する蓄積送信処理を、図2を用いて説明する。以下では、CPU311が実行する処理を、説明を簡単にするために、メインユニット31を動作主体として説明する。同様に、CPU511が実行する処理を、メインユニット51を動作主体として説明する。   Next, the accumulated transmission process executed by the main unit 31 of the local server 30 will be described with reference to FIG. In the following, the processing executed by the CPU 311 will be described with the main unit 31 as the operating subject in order to simplify the description. Similarly, the processing executed by the CPU 511 will be described with the main unit 51 as the operating subject.

メインユニット31は、図2に示す蓄積送信処理を予め定められたサンプリング周期毎に実行する。蓄積送信処理を開始すると、メインユニット31は、接続インタフェース37に接続された観測装置21,23,25の夫々が出力する観測データを取得する(S110)。S110で取得される観測データの一群は、この時点で観測された対象機器10の状況を表す。ここで言う対象機器10の状況の範疇には、対象機器10の周辺環境(雰囲気)の他、対象機器10それ自体の状態も含まれる。   The main unit 31 executes the accumulation transmission process shown in FIG. 2 for each predetermined sampling period. When the accumulation transmission process is started, the main unit 31 acquires observation data output from each of the observation devices 21, 23, 25 connected to the connection interface 37 (S110). A group of observation data acquired in S110 represents the status of the target device 10 observed at this time. The category of the status of the target device 10 referred to here includes not only the surrounding environment (atmosphere) of the target device 10 but also the state of the target device 10 itself.

その後、メインユニット31は、S110で取得した観測装置毎の観測データをまとめてなる履歴データを、管理IDと関連付けて記憶ユニット33の履歴データベースに登録する(S120)。履歴データベースは、観測時刻毎の履歴データが個別の管理IDに関連付けられて登録されたデータベースである。   Thereafter, the main unit 31 registers history data obtained by collecting the observation data for each observation device acquired in S110 in the history database of the storage unit 33 in association with the management ID (S120). The history database is a database in which history data for each observation time is registered in association with individual management IDs.

S120での処理を終えると、メインユニット31は、S110で取得した観測装置毎の観測データから、遠隔操作装置50に提供する外部提供データを生成し、この外部提供データに、対応する管理IDを付した通信データを、遠隔操作装置50に通信ユニット35を介して送信する(S130)。   When the processing in S120 is completed, the main unit 31 generates externally provided data to be provided to the remote control device 50 from the observation data for each observation device acquired in S110, and assigns a corresponding management ID to the externally provided data. The attached communication data is transmitted to the remote control device 50 via the communication unit 35 (S130).

S130では、S110で取得した観測装置毎の観測データの一部又は全部を格納した外部提供データを生成し、これを遠隔操作装置50に送信することができる。外部提供データは、観測装置21,23,25から出力される観測データそのものを格納したデータであってもよいし、観測データの加工物や観測データから抽出した情報を格納したものであってもよい。例えば、メインユニット31は、観測データを解析して得られた対象機器10の状況を表すパラメータの値を格納した外部提供データを生成することができる。以下では、対象機器10の状況を表すパラメータのことを状況パラメータと表現する。   In S <b> 130, externally provided data storing part or all of the observation data for each observation device acquired in S <b> 110 can be generated and transmitted to the remote control device 50. The externally provided data may be data storing observation data itself output from the observation devices 21, 23, 25, or may be stored data processed from the observation data or information extracted from the observation data. Good. For example, the main unit 31 can generate externally provided data that stores parameter values representing the status of the target device 10 obtained by analyzing observation data. Hereinafter, a parameter representing the status of the target device 10 is expressed as a status parameter.

具体的に、S130では、S110で観測データとして取得した第一カメラ21及び第二カメラ23の撮影画像データ及びセンサ25の検出値の内、第一カメラ21及び第二カメラ23の撮影画像データのみを格納した外部提供データを送信することができる。別例
として、S130では、S110で観測データとして取得した、第一カメラ21及び第二カメラ23の撮影画像データ及びセンサ25の検出値の全てを格納した外部提供データを送信することができる。
Specifically, in S130, only the captured image data of the first camera 21 and the second camera 23 among the captured image data of the first camera 21 and the second camera 23 and the detection value of the sensor 25 acquired as observation data in S110. Can be transmitted. As another example, in S130, it is possible to transmit externally provided data that stores all the captured image data of the first camera 21 and the second camera 23 and the detection values of the sensor 25 acquired as observation data in S110.

この他、メインユニット31は、上記撮影画像データを解析して得られた被写体の位置等を上記状況パラメータとして格納した外部提供データを送信することができる。例えば、対象機器10がロボットアームである場合には、ロボットアームが運搬する対象の物体のロボットアームに対する相対位置を、上記状況パラメータとして格納した外部提供データを送信することができる。   In addition, the main unit 31 can transmit externally provided data in which the position of the subject obtained by analyzing the captured image data is stored as the status parameter. For example, when the target device 10 is a robot arm, it is possible to transmit externally provided data in which the relative position of the object to be transported by the robot arm with respect to the robot arm is stored as the situation parameter.

メインユニット31は、上述したS110〜S130の処理をサンプリング周期毎に実行することにより、観測時刻毎の履歴データを、個別の管理IDを付して記憶ユニット33に保存し、これによって記憶ユニット33に観測時刻毎の履歴データを蓄積する。管理IDは、観測時刻を、日、時、分及び秒等で表したものであってもよいし、履歴データの登録毎に、カウントアップされるシリアル番号であってもよい。管理IDは、履歴データ間の観測時刻の関係を特定できる識別コードであれば十分である。   The main unit 31 stores the history data for each observation time in the storage unit 33 with an individual management ID by executing the above-described processing of S110 to S130 for each sampling period, thereby storing the storage unit 33. The history data for each observation time is stored in The management ID may be an observation time expressed in days, hours, minutes, seconds, or the like, or may be a serial number that is counted up each time history data is registered. The management ID is sufficient if it is an identification code that can specify the relationship of observation times between history data.

続いて、この外部提供データ及び管理IDを含む通信データを受信する遠隔操作装置50の処理動作について図3を用いて説明する。メインユニット51(詳細にはCPU511)は、受信表示処理の実行指令が入力ユニット59を介して入力されると、図3に示す受信表示処理を開始する。   Next, the processing operation of the remote control device 50 that receives the externally provided data and the communication data including the management ID will be described with reference to FIG. The main unit 51 (specifically, the CPU 511) starts the reception display process shown in FIG. 3 when an execution command for the reception display process is input via the input unit 59.

受信表示処理を開始すると、メインユニット51は、情報画面の更新処理を実行する(S210)。具体的に、S210では、通信ユニット55がローカルサーバ30から新たな外部提供データを受信したか否かを判断し、新たな外部提供データを受信した場合には、この外部提供データから特定される最新の対象機器10の状況が表示されるように、表示ユニット57が表示する情報画面を更新する。その後、S220に移行する。一方、新たな外部提供データを受信していない場合には、情報画面を更新せずに、S220に移行する。   When the reception display process is started, the main unit 51 executes an information screen update process (S210). Specifically, in S210, it is determined whether or not the communication unit 55 has received new external provision data from the local server 30. When new external provision data is received, the communication unit 55 is identified from the external provision data. The information screen displayed by the display unit 57 is updated so that the latest status of the target device 10 is displayed. Thereafter, the process proceeds to S220. On the other hand, if new externally provided data has not been received, the process proceeds to S220 without updating the information screen.

初回のS210では、通信ユニット55がローカルサーバ30から受信した外部提供データに基づき、対象機器10の状況を表す情報画面を表示ユニット57に表示させる。この情報画面には、少なくともローカルサーバ30から遠隔操作装置50への外部提供データの送信に要する時間分、実際の観測時刻から遅れて対象機器10の状況が表示される。   In the first S210, based on the externally provided data received by the communication unit 55 from the local server 30, an information screen representing the status of the target device 10 is displayed on the display unit 57. On this information screen, the status of the target device 10 is displayed with a delay from the actual observation time by at least the time required to transmit the externally provided data from the local server 30 to the remote control device 50.

外部提供データに、第一カメラ21及び第二カメラ23の撮影画像データが含まれる場合、上記情報画面には、例えば、第一カメラ21及び第二カメラ23の撮影画像が表示される。この他、外部提供データに、センサ25の検出値が含まれる場合には、例えば、上記情報画面において、センサ25の検出値が、単なる文字情報(数値)として、あるいは、検出値の時間変化を表すグラフとして表示される。   When the externally provided data includes captured image data of the first camera 21 and the second camera 23, for example, captured images of the first camera 21 and the second camera 23 are displayed on the information screen. In addition, when the detection value of the sensor 25 is included in the externally provided data, for example, in the information screen, the detection value of the sensor 25 is simply text information (numerical value) or the detection value changes with time. Displayed as a graph.

S220に移行すると、メインユニット51は、対象機器10に対する遠隔操作がなされたか否かを判断する。遠隔操作は、ユーザが入力ユニット59を操作することによりなされる。   After shifting to S220, the main unit 51 determines whether or not a remote operation has been performed on the target device 10. The remote operation is performed by the user operating the input unit 59.

そして、対象機器10に対する遠隔操作がなされていないと判断すると(S220でNo)、受信表示処理の終了指令が入力ユニット59を介して入力されたか否かを判断する(S240)。そして、終了指令が入力されていない場合には(S240でNo)、S210に移行し、終了指令が入力されている場合には(S240でYes)、当該受信表示処理を終了する。   If it is determined that the remote operation is not performed on the target device 10 (No in S220), it is determined whether or not a reception display processing end command is input via the input unit 59 (S240). If no end command is input (No in S240), the process proceeds to S210. If an end command is input (Yes in S240), the reception display process is ended.

一方、対象機器10に対する遠隔操作がなされたと判断すると(S220でYes)、メインユニット51は、この遠隔操作に対応する処理を対象機器10に実行させるための遠隔操作コマンドを、通信ユニット55を介してローカルサーバ30に送信する(S230)。   On the other hand, if it is determined that the target device 10 has been remotely operated (Yes in S220), the main unit 51 sends a remote operation command for causing the target device 10 to execute processing corresponding to this remote operation via the communication unit 55. To the local server 30 (S230).

但し、ローカルサーバ30への遠隔操作コマンド送信時には、この遠隔操作時点で情報画面に表示されていた対象機器10の状況の情報源とされた最新の外部提供データの管理IDを、遠隔操作コマンドに付した通信データを生成する。そして、この通信データをローカルサーバ30に送信する。送信する管理IDは、上記情報源とされた最新の外部提供データと共にローカルサーバ30から受信した管理IDである。   However, when the remote operation command is transmitted to the local server 30, the management ID of the latest externally provided data used as the information source of the status of the target device 10 displayed on the information screen at the time of the remote operation is used as the remote operation command. The attached communication data is generated. Then, the communication data is transmitted to the local server 30. The management ID to be transmitted is the management ID received from the local server 30 together with the latest externally provided data as the information source.

その後、メインユニット51は、S210以降の処理を再度実行する。メインユニット51は、このようにして最新の対象機器10の状況が表示されるように、表示ユニット57が表示する情報画面を更新しつつ、対象機器10に対する遠隔操作を受け付けて、対応する遠隔操作コマンドを管理IDと併せて送信する。送信される管理IDは、上記遠隔操作が遠隔操作装置50になされた時点で、情報画面に表示されていたユーザが認識する対象機器10の状況を、ローカルサーバ30で特定するために用いられる。   Thereafter, the main unit 51 executes the processes after S210 again. The main unit 51 receives the remote operation for the target device 10 while updating the information screen displayed by the display unit 57 so that the latest status of the target device 10 is displayed in this way, and performs the corresponding remote operation. The command is transmitted together with the management ID. The management ID to be transmitted is used to specify the status of the target device 10 recognized by the user displayed on the information screen at the local server 30 when the remote operation is performed on the remote operation device 50.

続いて、この遠隔操作コマンドを受け付けるために、ローカルサーバ30のメインユニット31が実行するコマンド受付処理の詳細を、図4を用いて説明する。メインユニット31は、図4に示すコマンド受付処理を繰返し実行する。   Next, details of command reception processing executed by the main unit 31 of the local server 30 in order to receive this remote operation command will be described with reference to FIG. The main unit 31 repeatedly executes the command reception process shown in FIG.

コマンド受付処理を開始すると、メインユニット31は、遠隔操作コマンドを遠隔操作装置50から受信するまで待機する(S310)。そして、遠隔操作コマンドを受信すると(S310でYes)、S320以降の処理を実行する。 When the command reception process is started, the main unit 31 waits until a remote operation command is received from the remote operation device 50 (S310). When the remote operation command is received (Yes in S310), the processes after S320 are executed.

S320では、遠隔操作装置50から受信した遠隔操作コマンドに付されていた管理IDに基づき、記憶ユニット33が記憶する当該管理IDに関連付けられた履歴データを参照する。そして、この履歴データに基づき、上記管理IDに対応する観測時刻(以下、「操作基準時刻」とも表現する。)での状況パラメータの値を算出する。この操作基準時刻は、遠隔操作コマンドが遠隔操作装置50から送信される契機となった上記遠隔操作時点において情報画面に表示されていた対象機器10の状況の観測時刻に対応する。換言すると、操作基準時刻は、ユーザが遠隔操作する際に認識していたと推定される対象機器10の状況の観測時刻に対応する。   In S320, based on the management ID attached to the remote operation command received from the remote operation device 50, the history data associated with the management ID stored in the storage unit 33 is referred to. Then, based on the history data, the value of the situation parameter at the observation time corresponding to the management ID (hereinafter also referred to as “operation reference time”) is calculated. This operation reference time corresponds to the observation time of the status of the target device 10 displayed on the information screen at the time of the remote operation when the remote operation command is transmitted from the remote operation device 50. In other words, the operation reference time corresponds to the observation time of the status of the target device 10 that is estimated to have been recognized when the user remotely operated.

ここで値が算出される状況パラメータの一群は、遠隔操作コマンドに対応する処理を対象機器10に実行させた場合に処理の実行結果に影響を与える対象機器10の状況の夫々についての、当該状況を表すパラメータの一群である。ここで値が算出される状況パラメータの一群には、情報画面からユーザが認識可能な対象機器10の状況を表すパラメータだけではなく、情報画面の表示には用いられなかった観測装置の観測データから特定される対象機器10の状況を表すパラメータが含まれる。また、状況パラメータには、履歴データから値が算出されるパラメータの他、履歴データが示すセンサ25の検出値を抽出することにより形式的に算出されるパラメータも含まれる。   The group of status parameters whose values are calculated here is the status of each of the statuses of the target device 10 that affects the execution result of the processing when the target device 10 executes the processing corresponding to the remote operation command. Is a group of parameters representing. Here, the group of status parameters whose values are calculated includes not only parameters representing the status of the target device 10 that the user can recognize from the information screen, but also observation data of an observation device that was not used for displaying the information screen. A parameter representing the status of the identified target device 10 is included. In addition to the parameters whose values are calculated from the history data, the situation parameters include parameters that are formally calculated by extracting the detection value of the sensor 25 indicated by the history data.

更に付言すれば、ここで算出される状況パラメータには、操作基準時刻に対応する一瞬の対象機器10の状態及び対象機器10の周辺の状態を表すパラメータや、操作基準時刻より所定時間前から当該操作基準時刻までの状態変化を表すパラメータも含まれる。この他、状況パラメータの一群には、特定の状況が発生しているか否かを「0」「1」で表現する一種のフラグに該当するパラメータも含まれる。   In addition, the situation parameters calculated here include parameters indicating the instantaneous state of the target device 10 and the surrounding state of the target device 10 corresponding to the operation reference time, and a predetermined time before the operation reference time. A parameter representing a change in state up to the operation reference time is also included. In addition, the group of situation parameters includes parameters corresponding to a kind of flag that expresses whether or not a specific situation has occurred by “0” and “1”.

また、状況パラメータの種類によっては、その値を算出するに際して、操作基準時刻に一致する観測時刻の履歴データだけではなく、それ以前の観測時刻の履歴データをも参照することができる。例えば、状況パラメータとして、時間的に変化する事象の変化量を算出する場合等には、直前の観測時刻の履歴データも参照することができる。   Further, depending on the type of status parameter, when calculating the value, not only the history data of the observation time matching the operation reference time but also the history data of the observation time before that can be referred to. For example, when calculating a change amount of an event that changes with time as a situation parameter, it is also possible to refer to history data at the immediately preceding observation time.

具体的に、履歴データに含まれる撮影画像データから算出される状況パラメータとしては、撮影画像データから特定される対象機器10の位置/速度/加速度/姿勢等のパラメータや、これら位置/速度/加速度/姿勢等の時間変化(例えば軌跡)を、その軌跡形状を表す値や時系列データ等で表すパラメータを一例に挙げることができる。また、撮影画像データが対象機器10のGUI画面を撮影した撮影画像データである場合には、GUI画面に表示されているオブジェクトの種類や表示位置を表すパラメータを、状況パラメータの一例として挙げることができる。   Specifically, the situation parameters calculated from the captured image data included in the history data include parameters such as the position / velocity / acceleration / attitude of the target device 10 specified from the captured image data, and these position / velocity / acceleration. As an example, a parameter representing a time change (for example, a trajectory) such as a posture by a value representing the trajectory shape, time-series data, or the like can be given. In addition, when the captured image data is captured image data obtained by capturing the GUI screen of the target device 10, a parameter indicating the type and display position of the object displayed on the GUI screen may be cited as an example of the situation parameter. it can.

この他、対象機器10がロボットアームである場合には、状況パラメータとして、ロボットアームの状態(可動部の位置、姿勢や振動量等)を表すパラメータや、ロボットアームが運搬/操作する対象の物体の状態(位置、姿勢や振動量等)を表すパラメータを一例に挙げることができる。   In addition, when the target device 10 is a robot arm, parameters representing the state of the robot arm (position, posture, amount of vibration, etc.) of the robot arm, and objects to be transported / operated by the robot arm are included as situation parameters. An example is a parameter representing the state (position, posture, vibration amount, etc.).

S320では、このようにして、状況パラメータの一群として、遠隔操作コマンドに基づく処理を対象機器10に実行させた場合に、その実行結果が変化するパラメータの一群についての操作基準時刻での値を算出する。値を算出すべき状況パラメータの一群は、遠隔操作システム1の設計者が、遠隔操作コマンドの種類毎に予め定めておくことができる。   In S320, when the target device 10 is caused to execute processing based on the remote operation command as a group of status parameters, the value at the operation reference time is calculated for the group of parameters whose execution result changes. To do. A group of situation parameters whose values are to be calculated can be predetermined by the designer of the remote operation system 1 for each type of remote operation command.

S320での処理を終えると、メインユニット31は、S320において値を算出した状況パラメータの夫々に対応する現時刻の各状況パラメータの値を算出する(S330)。即ち、S320では、操作基準時刻での状況パラメータの値を算出したが、S330では、これらの状況パラメータについての現在値を算出する。 When the process in S320 is completed, the main unit 31 calculates the value of each situation parameter at the current time corresponding to each of the situation parameters whose values were calculated in S320 (S330). That is, in S320, the values of the situation parameters at the operation reference time are calculated, but in S330, the current values for these situation parameters are calculated.

S330では、記憶ユニット33が記憶する最新の履歴データを参照して、上記状況パラメータの夫々の現在値を算出することができる。あるいは、観測装置群20から最新の観測データを取得して、上記状況パラメータの夫々の現在値を算出することができる。最新の履歴データだけでは、状況パラメータの値を算出することができない種類のパラメータについては、現在より前の観測データも参照して、対応する状況パラメータの現在値を算出することができる。   In S330, the current value of each of the situation parameters can be calculated with reference to the latest history data stored in the storage unit 33. Alternatively, the latest observation data can be acquired from the observation device group 20, and the current value of each of the situation parameters can be calculated. For the types of parameters whose situation parameter values cannot be calculated only with the latest history data, the current values of the corresponding situation parameters can be calculated with reference to the observation data before the present.

S330での処理を終えると、メインユニット31は、S340に移行し、S320,S330で値が算出された状況パラメータの一群の中から、判定対象の状況パラメータを一つ選択して、選択した状況パラメータの現在値と、操作基準時刻での状況パラメータの値との差を算出する(S345)。そして、差が許容範囲内であるか否かを判断する(S350)。差が許容範囲内であるときには(S350でYes)、合格判定し(S360)、差が許容範囲内にないときには(S350でNo)、不合格判定する(S370)。その後、S380に移行する。 After completing the process in S330, the main unit 31 proceeds to S340, selects one situation parameter to be determined from the group of situation parameters whose values are calculated in S320 and S330, and selects the selected situation. The difference between the current value of the parameter and the value of the situation parameter at the operation reference time is calculated (S345). Then, it is determined whether or not the difference is within an allowable range (S350). When the difference is within the allowable range (Yes at S350), a pass determination is made (S360), and when the difference is not within the allowable range (No at S350), a failure determination is made (S370). Thereafter, the process proceeds to S380.

S350での判断基準に用いられる上記許容範囲は、例えば、遠隔操作コマンドの種類毎、及び状況パラメータの種類毎に予め定めておくことができる。状況パラメータが、上述した特定の状況が発生しているか否かを「0」「1」の二値で表すフラグに該当するパラメータである場合、メインユニット31は、状況パラメータの現在値と操作基準時刻での値とが一致する場合、差が許容範囲内であると判断し、一致しない場合、差が許容範囲内ではないと判断することができる。 The allowable range used for the determination criterion in S350 can be determined in advance for each type of remote operation command and each type of status parameter, for example. When the situation parameter is a parameter corresponding to a flag indicating whether or not the above-described specific situation has occurred with a binary value of “0” and “1”, the main unit 31 determines the current value of the situation parameter and the operation criterion. If the values at the time match, it can be determined that the difference is within the allowable range. If the values do not match, it can be determined that the difference is not within the allowable range.

S380に移行すると、メインユニット31は、全ての状況パラメータについて、これを選択しS350の処理を実行したか否かを判断する。そして、選択していない状況パラメータがある場合には(S380でNo)、S340に移行し、未選択の状況パラメータの一つを新たに選択する。その後、S345以降の処理を実行する。   After shifting to S380, the main unit 31 determines whether or not all the situation parameters have been selected and the process of S350 has been executed. If there is an unselected status parameter (No in S380), the process proceeds to S340, and one of the unselected status parameters is newly selected. Thereafter, the processing after S345 is executed.

そして、全ての状況パラメータについて、S350の処理を実行したと判断すると(S380でYes)、各状況パラメータの合否判定結果に基づき、遠隔操作装置50から受信した遠隔操作コマンドに対応する処理を対象機器10に実行させるか否かを判断する(S390)。   If it is determined that the process of S350 has been executed for all the situation parameters (Yes in S380), the process corresponding to the remote operation command received from the remote operation device 50 is performed based on the pass / fail judgment result of each situation parameter. 10 is determined whether to execute the process (S390).

例えば、全状況パラメータが合格判定された場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断し、一つでも不合格判定された状況パラメータがある場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断することができる。   For example, when all the situation parameters are determined to be acceptable, it is determined that the target device 10 is to execute a process corresponding to the remote operation command. It can be determined that the processing corresponding to the command is not executed by the target device 10.

この他、全状況パラメータの内、合格判定された状況パラメータが所定割合を超えている場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断し、それ以外の場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する判断手法も採用し得る。あるいは、S360,S370での判定に際して合否の程度を点数化し、合計点が基準を超えている場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断し、それ以外の場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する判断手法も採用し得る。   In addition, it is determined that the processing corresponding to the remote operation command is to be executed by the target device 10 when the status parameter determined to be acceptable among all the status parameters exceeds a predetermined ratio, and in other cases A determination method for determining that the target device 10 is not to execute the process corresponding to the remote operation command may be employed. Alternatively, the degree of pass / fail is scored in the determinations at S360 and S370, and when the total score exceeds the reference, it is determined that the process corresponding to the remote operation command is to be executed by the target device 10, and otherwise In addition, a determination method for determining that the target device 10 is not allowed to execute processing corresponding to the remote operation command may be employed.

S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断すると(S390でYes)、メインユニット31は、S400に移行し、遠隔操作コマンドに対応する制御コマンドを対象機器10に接続インタフェース37を介して入力して、対象機器10に、遠隔操作コマンドに対応する処理を実行させる。更に、遠隔操作コマンドに対応する処理が実行された旨のメッセージを記した通信データを、遠隔操作装置50に通信ユニット35を介して送信する(S410)。その後、当該コマンド受付処理を一旦終了する。   In S390, when determining that the target device 10 is to execute processing corresponding to the remote operation command (Yes in S390), the main unit 31 proceeds to S400 and connects the control command corresponding to the remote operation command to the target device 10. Input via the interface 37 causes the target device 10 to execute processing corresponding to the remote operation command. Further, communication data describing a message indicating that the processing corresponding to the remote operation command has been executed is transmitted to the remote operation device 50 via the communication unit 35 (S410). Thereafter, the command reception process is temporarily terminated.

この他、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断すると(S390でNo)、メインユニット31は、S420に移行し、合否の再判定を行うか否かを判断する。S420では、例えば、遠隔操作コマンドを受信してから所定時間内においては、再判定を行うと判断し、遠隔操作コマンドを受信してから所定時間の経過後には、再判定を行わないと判断することができる。   In addition, if it is determined in S390 that the processing corresponding to the remote operation command is not to be executed by the target device 10 (No in S390), the main unit 31 proceeds to S420 and determines whether or not to perform re-judgment. To do. In S420, for example, it is determined that re-determination is performed within a predetermined time after receiving the remote operation command, and it is determined that re-determination is not performed after the elapse of the predetermined time after receiving the remote operation command. be able to.

そして、再判定を行うと判断すると(S420でYes)、メインユニット31は、S330に移行して、再度、現時刻に対応する各状況パラメータの値を算出し、S340以降の処理を実行する。一方、再判定を行わないと判断すると(S420でNo)、メインユニット31は、S430に移行し、遠隔操作コマンドを破棄した旨のメッセージを記した通信データを、遠隔操作装置50に通信ユニット35を介して送信する(S430)。その後、当該コマンド受付処理を一旦終了する。S410,S430で送信された通信データに記されたメッセージは、遠隔操作装置50の情報画面に表示される。   If it is determined that redetermination is to be performed (Yes in S420), the main unit 31 proceeds to S330, calculates again the value of each status parameter corresponding to the current time, and executes the processing from S340 onward. On the other hand, if it is determined not to perform re-determination (No in S420), the main unit 31 proceeds to S430, and transmits communication data describing a message indicating that the remote operation command has been discarded to the remote operation device 50 to the communication unit 35. (S430). Thereafter, the command reception process is temporarily terminated. The message described in the communication data transmitted in S410 and S430 is displayed on the information screen of the remote operation device 50.

以上には、本実施例の遠隔操作システム1の構成について説明したが、S320,S330においては、操作基準時刻での状況パラメータの値、及び、現在時刻での状況パラメータの値を算出するのに代えて、次の処理を実行することができる。即ち、メインユニッ
ト31は、S320をスキップし、S330では、注目する状況についての、操作基準時刻から現在時刻までの期間における変化の有無を検出する処理又は変化量を検出する処理を、操作基準時刻から現在時刻までの履歴データを参照して実行し、この変化の有無又は変化量を表す値を状況パラメータの値として算出してもよい。
The configuration of the remote operation system 1 of the present embodiment has been described above. In S320 and S330, the value of the situation parameter at the operation reference time and the value of the situation parameter at the current time are calculated. Instead, the following processing can be executed. That is, the main unit 31 skips S320, and in S330, the process of detecting the presence or absence of change in the period from the operation reference time to the current time or the process of detecting the change is performed for the state of interest. May be executed by referring to history data from the current time to the current time, and a value indicating the presence or absence of the change or the amount of change may be calculated as the value of the situation parameter.

この種の状況パラメータをS340で選択した場合には、S345をスキップし、S350において、当該状況パラメータが表す変化量が許容範囲内であるか否かを判断することができる。あるいは、当該状況パラメータが、状況変化がないことを表しているか否かを判断し、変化がないことを表している場合には合格判定し(S360)、変化がある場合には不合格判定する(S370)ことができる。   When this kind of situation parameter is selected in S340, S345 can be skipped, and it can be determined in S350 whether or not the amount of change represented by the situation parameter is within an allowable range. Alternatively, it is determined whether or not the situation parameter indicates that there is no change in the situation, and if it indicates that there is no change, a pass determination is made (S360), and if there is a change, a failure determination is made. (S370).

続いて、図5〜図10を用いて遠隔操作システム1の具体例を説明する。
[具体例1]
具体例1は、対象機器10が車載装置である遠隔操作システム1である。車載装置としては、HMIとして機能し、ユーザからの指示に従って車両内(自装置を含む)を制御する車載装置を一例に挙げることができる。具体的には、GUI画面を表示し、このGUI画面に対するユーザからの操作情報に従って、対応する処理を実行する装置を一例に挙げることができる。本例の遠隔操作システム1では、ユーザが遠隔操作装置50を介して、対象機器10としての上記車載装置を遠隔操作し、これにより、車両を遠隔操作する。
Next, a specific example of the remote operation system 1 will be described with reference to FIGS.
[Specific Example 1]
Specific example 1 is remote operation system 1 in which target device 10 is an in-vehicle device. An example of the in-vehicle device is an in-vehicle device that functions as an HMI and controls the inside of the vehicle (including its own device) in accordance with an instruction from a user. Specifically, an apparatus that displays a GUI screen and executes a corresponding process according to operation information from the user on the GUI screen can be given as an example. In the remote operation system 1 of this example, a user remotely operates the in-vehicle device as the target device 10 via the remote operation device 50, thereby remotely operating the vehicle.

ローカルサーバ30には、例えば、車載装置のGUI画面を撮影する第一カメラ21、この車載装置が搭載された車両の前方を撮影する第二カメラ23、並びに、GPS受信機、車速センサ及び加速度センサ等の複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。遠隔操作装置50では、外部提供データに含まれる第一カメラ21の撮影画像データに基づき、車載装置のGUI画面が表示される。   The local server 30 includes, for example, a first camera 21 that captures the GUI screen of the in-vehicle device, a second camera 23 that images the front of the vehicle on which the in-vehicle device is mounted, a GPS receiver, a vehicle speed sensor, and an acceleration sensor. Etc. are connected, and history data including corresponding observation data is stored in the storage unit 33. In the remote operation device 50, the GUI screen of the in-vehicle device is displayed based on the captured image data of the first camera 21 included in the externally provided data.

ユーザが遠隔操作装置50に表示された車載装置のGUI画面に映るメニューウィンドウWn(図5参照)の一項目を押下する遠隔操作を行ったことを契機に、遠隔操作装置50からローカルサーバ30には、GUI画面の選択項目に対応する座標の押下操作を指示する遠隔操作コマンドであって、当該座標の情報を含む遠隔操作コマンドが送信される。   When the user performs a remote operation of pressing one item of a menu window Wn (see FIG. 5) displayed on the GUI screen of the in-vehicle device displayed on the remote operation device 50, the remote operation device 50 changes to the local server 30. Is a remote operation command for instructing a pressing operation of coordinates corresponding to a selection item on the GUI screen, and a remote operation command including information on the coordinates is transmitted.

ここで、この遠隔操作コマンドを遠隔操作装置50からローカルサーバ30に送信するまでの期間に、車載装置のGUI画面において、図5下段に示すようにメニューウィンドウWnが消えてしまったと仮定する。   Here, it is assumed that the menu window Wn disappears as shown in the lower part of FIG. 5 on the GUI screen of the in-vehicle device during the period until the remote operation command is transmitted from the remote operation device 50 to the local server 30.

この場合、ローカルサーバ30のメインユニット31は、操作基準時刻においては、メニューウィンドウWnが表示されている状況であるのに対して、遠隔操作コマンドの受信後の現在においては、メニューウィンドウWnが表示されていない状況であることから、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する。   In this case, the main unit 31 of the local server 30 is in a state in which the menu window Wn is displayed at the operation reference time, whereas the menu window Wn is displayed at the present after receiving the remote operation command. In this case, it is determined in step S390 that the target device 10 is not to execute the process corresponding to the remote operation command.

一方、遠隔操作コマンドの受信後の現在において、メニューウィンドウWnがGUI画面に表示されている状況下では、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断する。   On the other hand, under the situation where the menu window Wn is currently displayed on the GUI screen after receiving the remote operation command, in S390, it is determined that the target device 10 is to execute processing corresponding to the remote operation command.

この例によれば、ユーザがメニューウィンドウWnを操作するためにGUI画面に対する遠隔操作を行ったにも拘わらず、遠隔操作コマンドに対応する処理を対象機器10が実行するときには、メニューウィンドウWnが消えていることにより、操作目的とは異なる処理の実行結果が対象機器10において生じるのを抑えることができる。   According to this example, the menu window Wn disappears when the target device 10 executes a process corresponding to the remote operation command even though the user performs a remote operation on the GUI screen to operate the menu window Wn. Therefore, it is possible to prevent the execution result of the process different from the operation purpose from occurring in the target device 10.

[具体例2]
具体例2は、対象機器10がロボットアームである遠隔操作システム1である。ローカルサーバ30には、例えば、ロボットアームを撮影する第一カメラ21、及び、このロボットアームの周辺を撮影することにより、ロボットアームが運搬する物体を撮影する第二カメラ23が接続される。この他、ローカルサーバ30には、ロボットアームが有する可動アーム部の位置を検出するための複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。記憶ユニット33に蓄積される観測時刻毎の履歴データは、例えば、図6に示すように構成される。
[Specific Example 2]
Specific example 2 is remote control system 1 in which target device 10 is a robot arm. The local server 30 is connected to, for example, a first camera 21 that captures the robot arm and a second camera 23 that captures an object carried by the robot arm by capturing the periphery of the robot arm. In addition, a plurality of sensors 25 for detecting the position of the movable arm part of the robot arm are connected to the local server 30, and history data including corresponding observation data is stored in the storage unit 33. The history data for each observation time accumulated in the storage unit 33 is configured as shown in FIG. 6, for example.

図6に示されるセンサ25としての第一〜第四センサは、位置センサであり、対応する位置に、可動アーム部が存在するときにオン信号を出力し、存在しないときにはオフ信号を出力する。   The first to fourth sensors as the sensor 25 shown in FIG. 6 are position sensors, which output an on signal when the movable arm portion is present at the corresponding position, and output an off signal when it does not exist.

ここで、管理IDが「2」である外部提供データに基づいて可動アーム部が第一位置にあることが遠隔操作装置50の情報画面において表示されているときに、ユーザが、遠隔操作装置50に対して、次の位置(第二位置)に可動アーム部を移動させる遠隔操作を行ったと仮定する。図6においては、管理IDが「2」である履歴データ及び管理IDを太枠で囲って示している。   Here, when the fact that the movable arm portion is in the first position is displayed on the information screen of the remote operation device 50 based on the externally provided data whose management ID is “2”, the user operates the remote operation device 50. In contrast, it is assumed that a remote operation for moving the movable arm unit to the next position (second position) is performed. In FIG. 6, the history data and the management ID whose management ID is “2” are shown surrounded by a thick frame.

一方、対応する遠隔操作コマンド及び管理ID「2」が格納された通信データが遠隔操作装置50からローカルサーバ30に送信され、これをローカルサーバ30が受信して、メインユニット31がS330を実行する時点での最新の履歴データが管理ID「5」の履歴データであると仮定する。図6では、管理IDが「5」である履歴データ及び管理IDについても太枠で囲って示している。   On the other hand, communication data storing the corresponding remote operation command and management ID “2” is transmitted from the remote operation device 50 to the local server 30, which is received by the local server 30 and the main unit 31 executes S 330. It is assumed that the latest history data at the time is history data with the management ID “5”. In FIG. 6, the history data and the management ID whose management ID is “5” are also surrounded by a thick frame.

図6によれば、メインユニット31がS330を実行する時点で、最新の履歴データは可動アーム部が操作基準時刻と同じ第一位置に存在することを示している。この場合、ローカルサーバ30のメインユニット31は、操作基準時刻において、第一センサがオン、第二センサがオフ、第三センサがオフ、第四センサがオフである状況と、現在時刻において、第一センサがオン、第二センサがオフ、第三センサがオフ、第四センサがオフである状況とを比較して、差が許容範囲内であると判断する。そして、S390では、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断する。   According to FIG. 6, when the main unit 31 executes S330, the latest history data indicates that the movable arm portion is present at the same first position as the operation reference time. In this case, the main unit 31 of the local server 30 has the first sensor on, the second sensor off, the third sensor off, and the fourth sensor off at the operation reference time. By comparing the situation where one sensor is on, the second sensor is off, the third sensor is off, and the fourth sensor is off, it is determined that the difference is within an allowable range. In S390, it is determined that the target device 10 is to execute processing corresponding to the remote operation command.

メインユニット31は、S320,S330で、状況パラメータの値として、第一から第四センサの出力値を算出する一方、第一カメラ21の撮影画像から可動アーム部の状態値を算出し、更に、第二カメラ23の撮影画像から運搬対象の物体の状態値を算出することができる。そして、これらの撮影画像から特定された状態値の差も許容範囲内であることを条件に、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断することができる。   In S320 and S330, the main unit 31 calculates the output value of the first to fourth sensors as the value of the situation parameter, calculates the state value of the movable arm unit from the captured image of the first camera 21, and further, The state value of the object to be transported can be calculated from the captured image of the second camera 23. Then, it is possible to determine that the target device 10 is to execute processing corresponding to the remote operation command on the condition that the difference between the state values specified from these captured images is also within the allowable range.

一方、図7に示すように、管理ID「5」の履歴データが表す現在の状況が、管理ID「2」の履歴データが表す操作基準時刻での状況と異なる場合を考える。図7に示す例によれば、何らかの理由により操作基準時刻における第三センサの出力がオフであるにも関わらず、現在時刻における第三センサの出力がオンに変化している。   On the other hand, as shown in FIG. 7, consider a case where the current situation represented by the history data with the management ID “5” is different from the situation at the operation reference time represented by the history data with the management ID “2”. According to the example shown in FIG. 7, the output of the third sensor at the current time changes to ON even though the output of the third sensor at the operation reference time is OFF for some reason.

この場合、ローカルサーバ30のメインユニット31は、操作基準時刻において、第一センサがオン、第二センサがオフ、第三センサがオフ、第四センサがオフである状況と、現在時刻において、第一センサがオン、第二センサがオフ、第三センサがオン、第四センサがオフである状況とを比較して、差が許容範囲外であると判断する。そして、S390
では、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する。
In this case, the main unit 31 of the local server 30 has the first sensor on, the second sensor off, the third sensor off, and the fourth sensor off at the operation reference time. By comparing the situation where one sensor is on, the second sensor is off, the third sensor is on, and the fourth sensor is off, it is determined that the difference is outside the allowable range. And S390
Then, it is determined that the processing corresponding to the remote operation command is not to be executed by the target device 10.

この他、遠隔操作コマンドの種類によっては、遠隔操作時に可動アーム部が等速変位している状況下であったにも関わらず、対応する遠隔操作コマンド受信時において可動アーム部が等速変位していない状況では、S350において差が許容範囲外であると判断することが考えられる。   In addition, depending on the type of remote operation command, the movable arm portion is displaced at a constant speed when the corresponding remote operation command is received, even though the movable arm portion is displaced at a constant velocity during the remote operation. In a situation where the difference is not, it may be determined in S350 that the difference is outside the allowable range.

図8に示す例によれば、操作基準時刻の履歴データ(管理ID「2」の履歴データ)から、最新の状況を表す履歴データ(管理ID「7」の履歴データ)までの履歴データを時系列に参照して、可動アーム部が等速変位していない状況を特定することができる。ローカルサーバ30のメインユニット31は、このようにして、一定期間の履歴データ群を参照して、現在の状況を特定することができる。   According to the example shown in FIG. 8, the history data from the history data of the operation reference time (history data of management ID “2”) to the history data representing the latest situation (history data of management ID “7”) By referring to the series, it is possible to specify a situation in which the movable arm portion is not displaced at a constant speed. In this way, the main unit 31 of the local server 30 can identify the current situation by referring to the history data group for a certain period.

[具体例3]
具体例3は、対象機器10が液晶パネル等の傷つき易い物体を運搬するロボットアームである遠隔操作システム1である。ローカルサーバ30には、例えば、ロボットアームを撮影する第一カメラ21、及び、このロボットアームの周辺を撮影することによりロボットアームが運搬する物体を撮影する第二カメラ23が接続される。この他、ローカルサーバ30には、ロボットアームが有する可動アーム部の振動を検出するセンサを含む複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。
[Specific Example 3]
Specific example 3 is a remote control system 1 in which the target device 10 is a robot arm that transports an easily damaged object such as a liquid crystal panel. For example, a first camera 21 that captures the robot arm and a second camera 23 that captures an object carried by the robot arm by capturing the periphery of the robot arm are connected to the local server 30. In addition, the local server 30 is connected to a plurality of sensors 25 including sensors that detect vibrations of the movable arm portion of the robot arm, and history data including corresponding observation data is stored in the storage unit 33.

この場合、ローカルサーバ30のメインユニット31は、状況パラメータとして、過去所定時間内に振動が発生したか否かを表すパラメータの値を算出する(S320,S330)。   In this case, the main unit 31 of the local server 30 calculates a value of a parameter indicating whether vibration has occurred within the past predetermined time as the situation parameter (S320, S330).

図9に示す例によれば、ユーザが遠隔操作装置50に対してロボットアームの遠隔操作をしたときに情報画面に表示されていた状況は、過去5フレームにおいて加速度が基準値(図9に一点鎖線で示す)を超える大きな振動が発生していない状況である。図9に示す例において、操作基準時刻は、管理ID「6」に対応する時刻である。これに対し、ローカルサーバ30が遠隔操作コマンドを受信した後のS330の実行時刻である管理ID「10」に対応する時刻では、過去5フレームにおいて上記大きな振動が発生している状況である。   According to the example shown in FIG. 9, the situation displayed on the information screen when the user remotely operated the robot arm with respect to the remote control device 50 is that the acceleration is a reference value (one point in FIG. 9) in the past five frames. This is a situation in which no large vibration exceeding (indicated by a chain line) has occurred. In the example illustrated in FIG. 9, the operation reference time is a time corresponding to the management ID “6”. On the other hand, at the time corresponding to the management ID “10”, which is the execution time of S330 after the local server 30 receives the remote operation command, the large vibration has occurred in the past five frames.

この場合、ローカルサーバ30のメインユニット31は、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する。そして、S420で肯定判断して、S330〜S390,S420の処理を繰返し、過去5フレームにおいて上記大きな振動が発生していない状況が到来した時点で、遠隔操作コマンドに対応する処理を対象機器10に実行させる(S400)。   In this case, the main unit 31 of the local server 30 determines in S390 that the target device 10 does not execute the process corresponding to the remote operation command. Then, an affirmative determination is made in S420, and the processes of S330 to S390 and S420 are repeated, and when the situation in which the large vibration has not occurred in the past five frames arrives, the process corresponding to the remote operation command is performed on the target device 10. Execute (S400).

このように動作するローカルサーバ30を用いれば、ユーザがロボットアームを遠隔操作してから遠隔操作コマンドの実行前までに大きな振動が発生した場合に、遠隔操作コマンドに対応する処理の実行を保留することができる。従って、振動が発生しやすい期間に、遠隔操作コマンドに対応する処理をロボットアームに実行させることで運搬対象の物体が傷ついてしまうのを抑制することができ、通信遅延によりユーザが意図しない処理の実行結果が生じるのを抑えることができる。   If the local server 30 operating in this way is used, if a large vibration occurs between the time when the user remotely operates the robot arm and before the execution of the remote operation command, the execution of the processing corresponding to the remote operation command is suspended. be able to. Therefore, it is possible to prevent the object to be transported from being damaged by causing the robot arm to execute processing corresponding to the remote operation command during a period in which vibration is likely to occur. Generation of execution results can be suppressed.

[具体例4]
具体例4は、対象機器10が宇宙空間での作業を行う宇宙用ロボット又は人工衛星である遠隔操作システム1である。ローカルサーバ30には、例えば、この対象機器10を撮
影する第一カメラ21、及び、この対象機器10が有する可動アーム部の先を撮影することにより、対象機器10が運搬/操作する物体を撮影する第二カメラ23が接続される。この他、ローカルサーバ30には、対象機器10の周辺の照度を検出するセンサや対象機器10の太陽発電パネル揺れ量を検出するセンサを含む複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。
[Specific Example 4]
Specific example 4 is a remote control system 1 in which the target device 10 is a space robot or an artificial satellite that performs work in outer space. The local server 30 captures, for example, the first camera 21 that captures the target device 10 and the object that the target device 10 carries / manipulates by capturing the tip of the movable arm portion of the target device 10. The second camera 23 to be connected is connected. In addition, the local server 30 is connected to a plurality of sensors 25 including a sensor that detects the illuminance around the target device 10 and a sensor that detects the amount of shaking of the solar power generation panel of the target device 10, and receives corresponding observation data. The included history data is stored in the storage unit 33.

ここで、管理IDが「1」である外部提供データに基づく対象機器10の状況が遠隔操作装置50の情報画面において表示されているときに、遠隔操作装置50の入力ユニット59を通じて、ユーザが可動アーム部の遠隔操作を行ったと仮定する。図10においては、管理IDが「1」である履歴データ及び管理IDを太枠で囲って示している。   Here, when the status of the target device 10 based on the externally provided data whose management ID is “1” is displayed on the information screen of the remote operation device 50, the user can move through the input unit 59 of the remote operation device 50. Assume that the arm unit is remotely controlled. In FIG. 10, the history data and management ID whose management ID is “1” are shown surrounded by a thick frame.

一方、対応する遠隔操作コマンド及び管理ID「1」が格納された通信データが遠隔操作装置50からローカルサーバ30に送信され、これをローカルサーバ30が受信して、メインユニット31がS330を実行する時点での最新の履歴データが管理ID「6」の履歴データであると仮定する。図10では、管理IDが「6」である履歴データ及び管理IDについても太枠で囲って示している。   On the other hand, communication data storing the corresponding remote operation command and management ID “1” is transmitted from the remote operation device 50 to the local server 30, which is received by the local server 30 and the main unit 31 executes S 330. It is assumed that the latest history data at the time is history data with the management ID “6”. In FIG. 10, the history data and management ID having the management ID “6” are also surrounded by a thick frame.

この場合、ローカルサーバ30のメインユニット31は、操作基準時刻に対応する管理ID「1」の履歴データが示す照度X1と、現在時刻に対応する管理ID「6」の履歴データが示す照度X6との差を算出し、照度差ΔXが許容範囲内であるか否かを判断する。そして、照度差ΔXが許容範囲内であることを条件に、S390では、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断する。   In this case, the main unit 31 of the local server 30 has the illuminance X1 indicated by the history data of the management ID “1” corresponding to the operation reference time and the illuminance X6 indicated by the history data of the management ID “6” corresponding to the current time. To determine whether the illuminance difference ΔX is within the allowable range. Then, on condition that the illuminance difference ΔX is within the allowable range, in S390, it is determined that the process corresponding to the remote operation command is to be executed by the target device 10.

照度は、第一カメラ21及び第二カメラ23の撮影画像に対する画像解析にて検出される対象機器10の位置や姿勢や可動アーム部が運搬/操作する対象の物体の位置や姿勢等の検出誤差に影響を与える。また、太陽発電パネルからの供給電力に影響を与える。従って、照度差ΔXが許容範囲内であることを条件に、S390では、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断すれば、照度差に起因して、ユーザが意図しない処理の実行結果が生じるのを抑えることができる。   The illuminance is a detection error such as the position and posture of the target device 10 detected by image analysis on the captured images of the first camera 21 and the second camera 23, and the position and posture of the target object that the movable arm unit carries / operates. To affect. In addition, the power supplied from the solar power generation panel is affected. Therefore, on the condition that the illuminance difference ΔX is within the allowable range, in S390, if the target device 10 is determined to execute the process corresponding to the remote operation command, the process unintended by the user due to the illuminance difference. It is possible to suppress the occurrence of the execution result.

また、メインユニット31は、操作基準時刻に対応する管理ID「1」の履歴データから現在時刻に対応する管理ID「6」の履歴データまでの各履歴データが示す太陽発電パネル揺れ量Y1〜Y6に基づき、太陽発電パネルの姿勢変動率を算出し、変動率が基準値超えた場合には、対象機器10の振動幅が大きいとみなして、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断することができる。   The main unit 31 also includes the solar power generation panel shaking amounts Y1 to Y6 indicated by the history data from the history data of the management ID “1” corresponding to the operation reference time to the history data of the management ID “6” corresponding to the current time. Based on the above, the attitude fluctuation rate of the solar power generation panel is calculated, and when the fluctuation rate exceeds the reference value, it is assumed that the vibration width of the target device 10 is large and the processing corresponding to the remote operation command is executed on the target device 10 It can be judged not to be allowed.

[作用効果]
以上、本実施例の遠隔操作システム1の構成及び処理動作について説明したが、この遠隔操作システム1によれば、通信遅延等によって、遠隔操作時にユーザが認識する対象機器10の状況と、対象機器が遠隔操作コマンドに対応する処理を実行する時点での対象機器10の状況とが所定より異なる場合に、その遠隔操作に対応した処理を対象機器10に実行させずに済み、ユーザの操作目的とは合致しない処理の実行結果が生じるのを抑えることができる。
[Function and effect]
The configuration and processing operation of the remote operation system 1 according to the present embodiment have been described above. According to the remote operation system 1, the situation of the target device 10 recognized by the user at the time of remote operation and the target device due to communication delay or the like. When the status of the target device 10 at the time of executing the processing corresponding to the remote operation command is different from the predetermined, it is not necessary to cause the target device 10 to execute the processing corresponding to the remote operation. Can suppress the execution result of processing that does not match.

[他の実施例]
上述した実施例は、ローカルサーバ30が記憶ユニット33に履歴データを蓄積し、蓄積された履歴データに基づいて、遠隔操作コマンドに対応する処理を対象機器10に実行させるか否かを判断する例であるが、ローカルサーバ30は、履歴データを蓄積しない構成にされ得る。
[Other embodiments]
In the embodiment described above, the local server 30 accumulates history data in the storage unit 33, and based on the accumulated history data, determines whether or not to cause the target device 10 to execute processing corresponding to the remote operation command. However, the local server 30 may be configured not to accumulate history data.

例えば、ローカルサーバ30は、上記判断に必要な観測装置群20からの観測データを、外部提供データとして遠隔操作装置50に送信し、遠隔操作装置50は、遠隔操作コマンド送信時に、操作基準時刻に対応する観測データをローカルサーバ30に送信する構成にされ得る。この例によれば、ローカルサーバ30は、履歴データを蓄積せずとも、遠隔操作装置50から返された観測データと、観測装置群20から得られる最新の観測データとに基づいて、上記判断を行うことができる。   For example, the local server 30 transmits observation data from the observation device group 20 necessary for the above determination to the remote operation device 50 as externally provided data, and the remote operation device 50 sets the operation reference time at the time of remote operation command transmission. The corresponding observation data may be transmitted to the local server 30. According to this example, the local server 30 makes the above determination based on the observation data returned from the remote control device 50 and the latest observation data obtained from the observation device group 20 without accumulating history data. It can be carried out.

また、上記実施例では、管理IDを履歴データ毎に付して履歴データベースを構成したが、履歴データベースは、履歴データ毎に管理IDが付された構成にされなくてもよい。例えば、ローカルサーバ30は、管理IDに代えて、履歴データの配列順の情報を用いることができる。即ち、ローカルサーバは、外部提供データと、対応する履歴データの配列順の情報とを格納した通信データを、遠隔操作装置50に送信することができ、遠隔操作装置50は、操作基準時刻に対応する履歴データの配列順の情報を、ローカルサーバ30に送信することができる。そして、ローカルサーバ30は、この配列順の情報に基づいて、操作基準時刻の履歴データを特定して、参照することができる。   Moreover, in the said Example, management ID was attached | subjected for every history data, and the history database was comprised, However, The history database does not need to be made the structure by which management ID was attached | subjected for every history data. For example, the local server 30 can use information on the arrangement order of history data instead of the management ID. That is, the local server can transmit the communication data storing the externally provided data and the order information of the corresponding history data to the remote operation device 50. The remote operation device 50 corresponds to the operation reference time. The order information of the history data to be transmitted can be transmitted to the local server 30. Then, the local server 30 can identify and refer to the history data of the operation reference time based on the information on the arrangement order.

この他、管理IDに代えては、操作基準時刻に対応する履歴データを特定できる様々な情報を用いることができる。例えば、履歴データのサイズ情報等である。また、図1には、観測装置群20と対象機器10とが別体であるような遠隔操作システム1の構成を例示したが、観測装置群20を構成する観測装置の一部又は全部は、対象機器10に内蔵されたものであり得る。対象機器10がローカルサーバ30と一体である例も考えられる。   In addition, various information that can specify history data corresponding to the operation reference time can be used instead of the management ID. For example, history data size information. FIG. 1 illustrates the configuration of the remote control system 1 in which the observation device group 20 and the target device 10 are separate. However, part or all of the observation devices constituting the observation device group 20 are It may be built in the target device 10. An example in which the target device 10 is integrated with the local server 30 is also conceivable.

[対応関係]
最後に、用語間の対応関係について説明する。ローカルサーバ30は、遠隔操作受付システム(装置)の一例に対応する。また、メインユニット31が実行するS320〜S345によって実現される機能は、検出手段によって実現される機能の一例に対応し、S350〜S430によって実現される機能は、制御手段によって実現される機能の一例に対応する。この他、メインユニット31が実行するS120によって実現される機能は、蓄積手段によって実現される機能の一例に対応する。
[Correspondence]
Finally, the correspondence between terms will be described. The local server 30 corresponds to an example of a remote operation reception system (apparatus). The functions realized by S320 to S345 executed by the main unit 31 correspond to examples of functions realized by the detection unit, and the functions realized by S350 to S430 are examples of functions realized by the control unit. Corresponding to In addition, the function realized by S120 executed by the main unit 31 corresponds to an example of the function realized by the storage unit.

1…遠隔操作システム、10…対象機器、20…観測装置群、21…第一カメラ、23…第二カメラ、25…センサ、30…ローカルサーバ、31…メインユニット、33…記憶ユニット、35…通信ユニット、37…接続インタフェース、50…遠隔操作装置、51…メインユニット、53…記憶ユニット、55…通信ユニット、57…表示ユニット、59…入力ユニット、311…CPU、511…CPU、NT…広域ネットワーク。 DESCRIPTION OF SYMBOLS 1 ... Remote operation system, 10 ... Target apparatus, 20 ... Observation apparatus group, 21 ... 1st camera, 23 ... 2nd camera, 25 ... Sensor, 30 ... Local server, 31 ... Main unit, 33 ... Memory | storage unit, 35 ... Communication unit 37 ... Connection interface 50 ... Remote operation device 51 ... Main unit 53 ... Storage unit 55 ... Communication unit 57 ... Display unit 59 ... Input unit 311 ... CPU 511 ... CPU, NT ... Wide area network.

Claims (9)

外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手段と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により検出された前記状況変化に基づき、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるか否かを切り替えるようにして、又は、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるタイミングを遅らせるか否かを切り替えるようにして、前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備えること
を特徴とする遠隔操作受付システム。
Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, Detection means for detecting based on the observation data acquired by the data acquisition means;
Based on the status change detected by the detecting means, the target device is switched whether or not to execute the process corresponding to the remote operation command , or the process corresponding to the remote operation command is changed to the target. It is switched whether delaying the timing to be executed by the device, remote control, characterized in that the processing corresponding to the remote operation command said command acquisition unit has acquired and control means for executing the target device Reception system.
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手段と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により検出された前記状況変化が基準より大きい場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備えること
を特徴とする遠隔操作受付システム。
Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, Detection means for detecting based on the observation data acquired by the data acquisition means;
If the status change detected by the detection means is greater than a reference, the target device is not allowed to execute processing corresponding to the remote operation command, or execution of processing corresponding to the remote operation command by the target device And a control unit that causes the target device to execute processing corresponding to the remote operation command acquired by the command acquisition unit.
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手段と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により検出された前記状況変化に基づき、前記状況変化が基準より大きい場合には、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させず、前記状況変化が前記基準以下であることを条件に、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備えること
を特徴とする遠隔操作受付システム。
Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, Detection means for detecting based on the observation data acquired by the data acquisition means;
Based on the status change detected by the detection means, if the status change is greater than a reference, the processing corresponding to the remote operation command is not executed by the target device, and the status change is equal to or less than the reference. And a control unit that causes the target device to execute a process corresponding to the remote operation command.
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手段と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間における所定事象の発生を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により前記所定事象の発生が検出された場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備え、前記所定事象は、その発生の有無が前記遠隔操作コマンドに対応する処理を前記対象機器に実行させた場合に前記処理の実行結果に影響を与える事象の少なくとも一つであること
を特徴とする遠隔操作受付システム。
Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. Occurrence of a predetermined event between the observation result of the observation device provided to the operation source from the external device and the operation reference time point at which the observation result was observed in the observation device. Detecting means for detecting based on the observation data acquired by;
When the detection unit detects the occurrence of the predetermined event, the target device is not allowed to execute processing corresponding to the remote operation command, or the target device is caused to execute processing corresponding to the remote operation command. Control means for causing the target device to execute processing corresponding to the remote operation command acquired by the command acquisition means in a delayed manner, and the occurrence of the predetermined event corresponds to the remote operation command. The remote operation acceptance system, wherein the remote operation acceptance system is at least one of the events that affect the execution result of the process when the target device executes the process.
請求項1〜請求項4のいずれか一項記載の遠隔操作受付システムと、
前記遠隔操作コマンドを前記遠隔操作受付システムに送信する一方、前記観測装置からの前記観測データに基づく前記観測結果を表示することにより前記操作元に前記観測結果を提供する前記外部装置としての遠隔操作装置と、
を備えること
特徴とする遠隔操作システム。
The remote operation reception system according to any one of claims 1 to 4,
Remote operation as the external device that transmits the remote operation command to the remote operation reception system and provides the observation result to the operation source by displaying the observation result based on the observation data from the observation device Equipment,
A remote control system characterized by comprising:
コンピュータに、
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により検出された前記状況変化に基づき、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるか否かを切り替えるようにして、又は、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるタイミングを遅らせるか否かを切り替えるようにして、前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラム。
On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, A detection procedure for detecting based on the observation data acquired by the data acquisition procedure;
Based on the status change detected by the detection procedure, the target device is switched whether or not to execute the process corresponding to the remote operation command , or the process corresponding to the remote operation command is changed to the target. be switched whether delaying the timing to be executed by the apparatus, a program for executing a control procedure for executing a process corresponding to the remote operation command said command acquisition procedure acquires the target device.
コンピュータに、
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により検出された前記状況変化が基準より大きい場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラム。
On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, A detection procedure for detecting based on the observation data acquired by the data acquisition procedure;
When the status change detected by the detection procedure is larger than a reference, the target device is not allowed to execute the process corresponding to the remote operation command, or the target device executes the process corresponding to the remote operation command And a control procedure for causing the target device to execute processing corresponding to the remote operation command acquired by the command acquisition procedure.
コンピュータに、
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により検出された前記状況変化に基づき、前記状況変化が基準より大きい場合には、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させず、前記状況変化が前記基準以下であることを条件に、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラム。
On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, A detection procedure for detecting based on the observation data acquired by the data acquisition procedure;
Based on the status change detected by the detection procedure, if the status change is greater than a reference, the target device is not executed the process corresponding to the remote operation command, and the status change is equal to or less than the reference. And a control procedure for causing the target device to execute a process corresponding to the remote operation command.
コンピュータに、
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間における所定事象の発生を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により前記所定事象の発生が検出された場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラムであって、
前記所定事象は、その発生の有無が前記遠隔操作コマンドに対応する処理を前記対象機器に実行させた場合に前記処理の実行結果に影響を与える事象の少なくとも一つであること
を特徴とするプログラム。
On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. Occurrence of a predetermined event between the observation result of the observation device provided to the operation source from the external device and the operation reference time point at which the observation result was observed in the observation device, the data acquisition procedure A detection procedure for detecting based on the observation data acquired by:
When occurrence of the predetermined event is detected by the detection procedure, the target device is not allowed to execute processing corresponding to the remote operation command, or execution of processing corresponding to the remote operation command by the target device is performed. A program for causing the target device to execute a process corresponding to the remote operation command acquired by the command acquisition procedure in a delayed manner,
The predetermined event is at least one of events that affect the execution result of the process when the target device causes the target device to execute a process corresponding to the remote operation command. .
JP2014017161A 2014-01-31 2014-01-31 Remote operation reception system, remote operation system and program Expired - Fee Related JP5583291B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014017161A JP5583291B1 (en) 2014-01-31 2014-01-31 Remote operation reception system, remote operation system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014017161A JP5583291B1 (en) 2014-01-31 2014-01-31 Remote operation reception system, remote operation system and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013220216A Division JP5499212B1 (en) 2013-10-23 2013-10-23 Remote operation reception system, remote operation system and program

Publications (2)

Publication Number Publication Date
JP5583291B1 true JP5583291B1 (en) 2014-09-03
JP2015082834A JP2015082834A (en) 2015-04-27

Family

ID=51617787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014017161A Expired - Fee Related JP5583291B1 (en) 2014-01-31 2014-01-31 Remote operation reception system, remote operation system and program

Country Status (1)

Country Link
JP (1) JP5583291B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7112910B2 (en) * 2018-08-09 2022-08-04 東京瓦斯株式会社 Remote control server, remote control terminal, and remote control system
JP7222139B1 (en) 2022-08-01 2023-02-14 NEUSOFT Japan株式会社 Processing device, processing program and processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08108387A (en) * 1994-10-11 1996-04-30 Mitsubishi Electric Corp Remote control device for robot and its data display device
JP2006352461A (en) * 2005-06-15 2006-12-28 Toyota Motor Corp Remote controller and service center
WO2012137304A1 (en) * 2011-04-05 2012-10-11 株式会社日立製作所 Remote monitor/control method and system therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08108387A (en) * 1994-10-11 1996-04-30 Mitsubishi Electric Corp Remote control device for robot and its data display device
JP2006352461A (en) * 2005-06-15 2006-12-28 Toyota Motor Corp Remote controller and service center
WO2012137304A1 (en) * 2011-04-05 2012-10-11 株式会社日立製作所 Remote monitor/control method and system therefor

Also Published As

Publication number Publication date
JP2015082834A (en) 2015-04-27

Similar Documents

Publication Publication Date Title
JP5499212B1 (en) Remote operation reception system, remote operation system and program
CN111091200B (en) Updating method and system of training model, intelligent device, server and storage medium
US20190381663A1 (en) Systems and methods for assisting a robotic apparatus
JP6852729B2 (en) Plant management system, plant management method, plant management equipment, and plant management program
EP3754592A1 (en) Image acquisition device and method of controlling the same
US20180005196A1 (en) Information processing apparatus, control method, and program
KR101530581B1 (en) Autonomous Mobile Agent remote control system and method thereof
JP6344319B2 (en) Mobile communication terminal, position information sharing system, in-vehicle device, and program
CN108051010B (en) Method for determining time of arrival at destination and mobile terminal
US20200294329A1 (en) Data collecting device, data collecting system, data collecting method, and on-vehicle device
JPWO2019093098A1 (en) Information processing equipment, mobile devices, and methods, and programs
US11270219B2 (en) Data collection device, data collection system, and data collection method for calculating probability of event for collection of data
CN110795979B (en) Information processing system, non-transitory storage medium storing program, and control method
CN112630799A (en) Method and apparatus for outputting information
JP5583291B1 (en) Remote operation reception system, remote operation system and program
CN106444825A (en) Air vehicle, control terminal, control method and device of air vehicle
WO2016030934A1 (en) Information-processing device, control method, program, and storage medium
US20210133442A1 (en) Element operation division device, element operation division method, storage medium, and element operation division system
JP6004148B1 (en) Image processing apparatus, image processing method, and image processing program
KR20190078222A (en) Electronic device, server and method thereof for recommending fashion item
JP2016195323A (en) Information processing apparatus, information processing method, and program
JP6531356B2 (en) Target tracking device, target tracking method, program
WO2019093297A1 (en) Information processing device, control method, and program
US11548529B2 (en) Control method, control device, and recording medium
JP2019020914A (en) Object identifying system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140715

R150 Certificate of patent or registration of utility model

Ref document number: 5583291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees