JP5583291B1 - Remote operation reception system, remote operation system and program - Google Patents
Remote operation reception system, remote operation system and programInfo
- Publication number
- JP5583291B1 JP5583291B1 JP2014017161A JP2014017161A JP5583291B1 JP 5583291 B1 JP5583291 B1 JP 5583291B1 JP 2014017161 A JP2014017161 A JP 2014017161A JP 2014017161 A JP2014017161 A JP 2014017161A JP 5583291 B1 JP5583291 B1 JP 5583291B1
- Authority
- JP
- Japan
- Prior art keywords
- remote operation
- target device
- observation
- operation command
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】操作目的に合致しない処理の実行結果が生じるのを抑える。
【解決手段】ローカルサーバのメインユニットは、遠隔操作装置から受信した遠隔操作コマンドに基づき、対応する処理を対象機器に実行させる(S400)。但し、実行に先駆けては、遠隔操作装置から遠隔操作コマンドと共に受信した管理IDに基づき、この管理IDに関連付けられた対象機器の観測結果を表す履歴データを参照する。そして、この履歴データに基づき、操作基準時刻と現在時刻との間の期間に生じた対象機器の状況変化を検出する(S320〜S345)。操作基準時刻は、遠隔操作が遠隔操作装置に対してなされた時点で遠隔操作装置の画面に表示されていた状況が観測装置で観測された時刻である。そして、状況変化が大きい場合には、遠隔操作コマンドを破棄し(S430)、状況変化が小さい場合には、遠隔操作コマンドに対応する処理を対象機器に実行させる(S400)。
【選択図】図4An object of the present invention is to suppress an execution result of a process that does not match an operation purpose.
A main unit of a local server causes a target device to execute a corresponding process based on a remote operation command received from a remote operation device (S400). However, prior to execution, based on the management ID received together with the remote operation command from the remote operation device, the history data representing the observation result of the target device associated with this management ID is referred to. Based on the history data, a change in the status of the target device that occurs during the period between the operation reference time and the current time is detected (S320 to S345). The operation reference time is the time when the observation device observes the situation displayed on the screen of the remote operation device when the remote operation is performed on the remote operation device. If the status change is large, the remote operation command is discarded (S430). If the status change is small, the target device is caused to execute a process corresponding to the remote operation command (S400).
[Selection] Figure 4
Description
本発明は、遠隔操作コマンドを受け付けて、対応する処理を対象機器に実行させる遠隔操作受付システムと、このシステムを備える遠隔操作システムと、このシステムが備える機能の少なくとも一部をコンピュータに実現させるためのプログラムとに関する。 The present invention enables a computer to realize a remote operation reception system that receives a remote operation command and causes a target device to execute a corresponding process, a remote operation system including the system, and at least a part of functions included in the system. Related to the program.
従来、ユーザからの指示に従って機器を制御するシステムが知られている。例えば、離れた位置に設置されたロボットを容易に安全かつ確実に動作させることのできるロボットの遠隔操作システムが知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, systems that control devices according to instructions from users are known. For example, a remote control system for a robot that can easily and safely operate a robot installed at a distant position is known (see, for example, Patent Document 1).
このシステムによれば、ユーザからの指示に従って、ユーザ側の装置がロボット制御装置に対して動作指令(操作コマンド)を送信する。一方、ユーザ側の装置は、ロボット制御装置から送られてきた実際のロボットの状態を表示する。更に、ユーザ側の装置は、ユーザが離れた位置に設置されたロボットを意図した通り効率よく動作させることができるように、通信による時間遅れのないロボットの状態を推定し、推定した状態を表示する。 According to this system, in accordance with an instruction from the user, the device on the user side transmits an operation command (operation command) to the robot control device. On the other hand, the device on the user side displays the actual state of the robot sent from the robot control device. Furthermore, the device on the user side estimates the state of the robot without time delay due to communication and displays the estimated state so that the user can operate the robot installed at a remote position as efficiently as intended. To do.
ところで、車両やロボット等の対象機器を通信により遠隔操作(制御)するシステムでは、通信遅延に起因して、対象機器に隣接する制御装置が、離れたユーザ側の装置からの操作コマンドに基づく対象機器の制御を行ってから、ユーザ側の装置で制御結果が表示されるまでにタイムラグが生じる。更に、ユーザからの指示に従う操作コマンドが上記ユーザ側の装置から制御装置に送信されてから、制御装置が対象機器を制御して、上記操作マンドに対応する処理を対象機器に実行させるまでにタイムラグが生じる。 By the way, in a system that remotely controls (controls) a target device such as a vehicle or a robot, the control device adjacent to the target device is based on an operation command from a remote user device due to a communication delay. There is a time lag between the control of the device and the display of the control result on the user device. Furthermore, there is a time lag from when the operation command according to the instruction from the user is transmitted from the user device to the control device until the control device controls the target device and causes the target device to execute processing corresponding to the operation command. Occurs.
上述した従来技術によれば、対象機器の状態を推定し、その推定結果を表示することでタイムラグの影響を抑えるようにしているが、推定結果には誤差が含まれることから、その誤差に起因して、ユーザが誤った現状認識で、対象機器を遠隔操作する可能性がある。 According to the above-described prior art, the state of the target device is estimated, and the estimation result is displayed to suppress the influence of the time lag. However, the estimation result includes an error. Thus, there is a possibility that the user remotely operates the target device with an erroneous current state recognition.
また、タイムラグが大きい場合には、ユーザが認識する遠隔操作時の対象機器の状況と、対象機器が遠隔操作コマンドに対応する処理を実行する時点での対象機器の状況とが大きく異なる場合がある。この場合には、対象機器が遠隔操作コマンドに対応する処理を実行しても、ユーザの操作目的に合致した実行結果が得られない可能性がある。 When the time lag is large, the status of the target device at the time of remote operation recognized by the user may be significantly different from the status of the target device at the time when the target device executes processing corresponding to the remote operation command. . In this case, even if the target device executes processing corresponding to the remote operation command, there is a possibility that an execution result that matches the user's operation purpose may not be obtained.
本発明は、こうした問題に鑑みなされたものであり、対象機器が遠隔操作コマンドに対応する処理を実行するまでのタイムラグ等に起因して、操作目的に合致しない実行結果が生じるのを抑制可能な技術を提供することを目的とする。 The present invention has been made in view of these problems, and can suppress the occurrence of an execution result that does not match the operation purpose due to a time lag until the target device executes processing corresponding to the remote operation command. The purpose is to provide technology.
本発明の遠隔操作受付システムは、コマンド取得手段と、データ取得手段と、検出手段と、制御手段とを備える。コマンド取得手段は、外部装置からの対象機器に対する遠隔操作コマンドを取得する。コマンド取得手段は、外部装置からの対象機器に対する遠隔操作コマンドを受信する受信手段として構成され得る。
データ取得手段は、対象機器及び当該対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得する。観測装置は、対象機器及び対象機器の周辺の少なくとも一方を観測して、その観測結果を表す観測データを出力する装置である。
遠隔操作受付システムは、更に、観測装置からの観測データを外部装置に逐次送信する送信手段、又は、観測装置からの観測データに基づき、対象機器の状況を表す外部装置に対する提供データを生成し、この提供データを外部装置に逐次送信する送信手段を備えた構成にされ得る。
外部装置は、遠隔操作コマンドを遠隔操作受付システムに送信する一方、上記観測データ又は提供データに基づき、観測装置の観測結果又は対象機器の状況を表示する構成にされ得る。
ここで言う対象機器の「状況」は、広義に解釈されるべきであり、その範疇には、対象機器がおかれている環境としての対象機器の周辺環境(雰囲気)や対象機器それ自体の状態が含まれる。また、対象機器が、対象物を掴んで運搬するロボットアーム等の対象物に何らかの作用を与える機器である場合、対象機器の「状況」には、対象機器が作用を与える上記対象物の状態や、対象機器と対象物との相対的な状態が含まれ得る。
The remote operation reception system of the present invention includes command acquisition means, data acquisition means, detection means, and control means. The command acquisition means acquires a remote operation command for the target device from the external device. The command acquisition unit may be configured as a reception unit that receives a remote operation command for the target device from an external device.
The data acquisition means acquires observation data from an observation device that observes at least one of the target device and the periphery of the target device. The observation apparatus is an apparatus that observes at least one of the target device and the periphery of the target device, and outputs observation data representing the observation result.
The remote operation acceptance system further generates transmission data for sequentially transmitting observation data from the observation device to the external device, or data provided to the external device representing the status of the target device based on the observation data from the observation device, The provision data may be configured to include transmission means for sequentially transmitting the provided data to the external device .
The external device may be configured to display the observation result of the observation device or the status of the target device based on the observation data or the provided data while transmitting the remote operation command to the remote operation reception system .
The “situation” of the target device mentioned here should be interpreted in a broad sense. The category includes the surrounding environment (atmosphere) of the target device as the environment in which the target device is placed and the state of the target device itself. Is included. In addition, when the target device is a device that exerts some action on the target object such as a robot arm that grabs and carries the target object, the “status” of the target device includes the state of the target object that the target device acts on, The relative state between the target device and the target object may be included.
検出手段は、コマンド取得手段が受信した遠隔操作コマンドに対応する処理を対象機器が実行する前の時点である実行前時点と、操作基準時点との間に生じた対象機器の状況変化を、観測装置からの観測データに基づき検出する。ここで言う操作基準時点は、遠隔操作コマンドの送信を指示する操作が外部装置に対してなされたときに外部装置から操作元に提供されていた観測装置の観測結果(例えば上記外部装置で表示されていた状況)が、観測装置において観測された時点のことである。 The detection means observes a change in the status of the target device that occurs between the pre-execution time point, which is a time point before the target device executes the process corresponding to the remote operation command received by the command acquisition means, and the operation reference time point. Detection is based on observation data from the device. The operation reference time point mentioned here is the observation result of the observation device provided from the external device to the operation source when the operation for instructing transmission of the remote operation command is performed on the external device (for example , displayed on the external device). which was circumstances) is that of the time it is observed in the observation apparatus.
制御手段は、この検出手段により検出された状況変化に基づき、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第一例として、制御手段は、上記状況変化に基づき、遠隔操作コマンドに対応する処理を対象機器に実行させるか否かを切り替えるようにして、又は、遠隔操作コマンドに対応する処理を対象機器に実行させるタイミングを遅らせるか否かを切り替えるようにして、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第二例として、制御手段は、上記状況変化が基準より大きい場合には、対象機器に遠隔操作コマンドに対応する処理を実行させない、又は、対象機器による遠隔操作コマンドに対応する処理の実行を遅らせるようにして、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第三例として、制御手段は、上記状況変化が基準より大きい場合には、遠隔操作コマンドに対応する処理を対象機器に実行させず、状況変化が基準以下であることを条件に、遠隔操作コマンドに対応する処理を対象機器に実行させる。
第四例として、検出手段は、実行前時点と操作基準時点との間における所定事象の発生を、観測データに基づき検出し、制御手段は、検出手段により所定事象の発生が検出された場合には、対象機器に遠隔操作コマンドに対応する処理を実行させない、又は、対象機器による遠隔操作コマンドに対応する処理の実行を遅らせるようにして、遠隔操作コマンドに対応する処理を対象機器に実行させる。上記所定事象は、その発生の有無が遠隔操作コマンドに対応する処理を対象機器に実行させた場合に当該処理の実行結果に影響を与える事象の少なくとも一つである。
The control unit causes the target device to execute processing corresponding to the remote operation command based on the change in the situation detected by the detection unit.
As a first example, the control means switches whether or not to cause the target device to execute a process corresponding to the remote operation command based on the above situation change, or performs a process corresponding to the remote operation command on the target device. The target device is caused to execute processing corresponding to the remote operation command by switching whether to delay the execution timing.
As a second example, the control unit does not cause the target device to execute the process corresponding to the remote operation command when the situation change is larger than the reference, or delays the execution of the process corresponding to the remote operation command by the target device. In this way, the target device is caused to execute processing corresponding to the remote operation command.
As a third example, when the change in the situation is larger than the reference, the control unit does not cause the target device to execute the process corresponding to the remote operation command, and the remote operation command is provided on the condition that the change in the situation is below the reference. Causes the target device to execute the process corresponding to.
As a fourth example, the detection means detects the occurrence of a predetermined event between the pre-execution time point and the operation reference time point based on the observation data, and the control means detects the occurrence of the predetermined event by the detection means. Does not cause the target device to execute processing corresponding to the remote operation command, or delays execution of processing corresponding to the remote operation command by the target device, and causes the target device to execute processing corresponding to the remote operation command. The predetermined event is at least one event that affects the execution result of the process when the target device causes the target device to execute the process corresponding to the remote operation command.
この遠隔操作受付システムによれば、ユーザが認識する遠隔操作時の対象機器の状況と、遠隔操作コマンドに対応する処理実行前の時点での対象機器の状況とが異なる場合に、対象機器が遠隔操作コマンドに対応する処理を実行するのを、例えば、保留したり、禁止したり、中止したりすることができる。 According to this remote operation reception system, when the status of the target device at the time of remote operation recognized by the user is different from the status of the target device at the time before executing the process corresponding to the remote operation command, the target device is remote. For example, the processing corresponding to the operation command can be suspended, prohibited, or stopped.
従って、この遠隔操作受付システムによれば、例えば、遠隔操作から実際に対象機器が当該遠隔操作に対応する処理を実行するまでのタイムラグや、観測動作から対象機器の状況が外部装置で表示されるまでのタイムラグに起因して、ユーザの操作目的に合致しない実行結果が生じるのを抑えることができる。 Therefore, according to the remote operation reception system, for example, the time lag from the remote operation until the target device actually executes the processing corresponding to the remote operation and the status of the target device from the observation operation are displayed on the external device. It is possible to suppress the occurrence of an execution result that does not match the purpose of the user's operation due to the time lag until.
尚、本発明は、上記タイムラグが無視できない程度に、外部装置から離れている遠隔操作受付システムに適用することができる。従って、ここで言う「遠隔」は、広義に解釈されるべきであり、外部装置と遠隔操作受付システムとの間の距離は、具体的に限定されない。例えば、外部装置と遠隔操作受付システムとは、高々数メートル程度の通信ケーブルで接続される場合も有り得るし、インターネット等の広域ネットワークを介して接続される場合も有り得る。 Note that the present invention can be applied to a remote operation reception system that is far from an external device to the extent that the time lag cannot be ignored. Therefore, “remote” as used herein should be interpreted in a broad sense, and the distance between the external device and the remote operation reception system is not specifically limited. For example, the external device and the remote operation acceptance system may be connected by a communication cable of about several meters at most, or may be connected via a wide area network such as the Internet.
また、上述の送信手段は、観測装置からの観測データの一部又は全部を上記提供データとして外部装置に送信する構成にされ得る。この他、送信手段は、観測装置からの観測データを加工して又は加工せずに、これを上記提供データとして外部装置に送信する構成にされ得る。 In addition, the above-described transmission unit may be configured to transmit a part or all of the observation data from the observation device to the external device as the provided data. In addition, the transmission unit may be configured to transmit the observation data from the observation device to the external device as the provision data without or processing the observation data.
また、遠隔操作受付システムは、観測装置からの観測データを、観測時刻毎の履歴データとして記憶装置に記憶させる蓄積手段を備えた構成にされ得る。この場合、検出手段は、記憶装置が記憶する観測時刻毎の履歴データを参照して、対象機器の状況変化を検出する構成にされ得る。 In addition, the remote operation reception system can be configured to include storage means for storing observation data from the observation device in the storage device as history data for each observation time. In this case, the detection unit may be configured to detect a change in the status of the target device with reference to history data for each observation time stored in the storage device.
また、送信手段は、外部装置に対する提供データを、対応する観測時刻の識別コードと併せて外部装置に送信する構成にされ得る。ここで言う識別コードとしては、観測時刻それ自体や、観測時刻を特定可能なデータ管理コード等を一例に挙げることができる。また
、蓄積手段は、観測時刻毎に個別の識別コードを付すようにして上記履歴データを記憶装置に記憶させる構成にされ得る。
Further, the transmission means may be configured to transmit data provided to the external device together with the corresponding observation time identification code to the external device. Examples of the identification code mentioned here include observation time itself and a data management code that can specify the observation time. Further, the storage means may be configured to store the history data in a storage device by attaching an individual identification code for each observation time.
この遠隔操作受付システムの構成に対応して、外部装置は、遠隔操作コマンドの送信を指示する操作がなされたことを条件に、操作に対応する遠隔操作コマンドを、操作時に表示していた状況の情報源である提供データの識別コードと併せて遠隔操作受付システムに送信する構成にされ得る。 Corresponding to the configuration of this remote operation reception system, the external device displays a remote operation command corresponding to the operation at the time of operation on the condition that an operation for instructing transmission of the remote operation command has been performed. A configuration may be adopted in which the data is transmitted to the remote operation reception system together with the identification code of the provided data that is the information source.
この場合、遠隔操作受付システムが備える受信手段は、遠隔操作コマンド及び識別コードを受信する構成にされ得る。また、検出手段は、記憶装置が記憶する観測時刻毎の履歴データを参照して、対象機器の状況変化を検出するが、その際には、受信手段が受信した識別コードに基づき、操作基準時点における対象機器の状況を表す履歴データを特定する構成にされ得る。 In this case, the receiving means included in the remote operation receiving system can be configured to receive a remote operation command and an identification code. The detecting means refers to the history data for each observation time stored in the storage device and detects the change in the status of the target device. In this case, based on the identification code received by the receiving means, the operation reference time point The history data representing the status of the target device in the system may be specified.
この他、観測装置には、対象機器及び対象機器の周辺の少なくとも一方を撮影し、その撮影画像データを上記観測データとして出力するカメラを含ませることができる。
そして、送信手段は、上記提供データとして、カメラからの撮影画像データを外部装置に送信する構成にされ得る。この場合、外部装置は、遠隔操作受付システムから送信されてくる撮影画像データに基づく画像を表示する構成にされ得る。この他、検出手段は、この撮影画像データに基づき、対象機器の状況変化を検出する構成にされ得る。
In addition, the observation apparatus may include a camera that captures at least one of the target device and the periphery of the target device and outputs the captured image data as the observation data.
The transmission unit may be configured to transmit the captured image data from the camera to the external device as the provided data. In this case, the external device may be configured to display an image based on the captured image data transmitted from the remote operation reception system. In addition, the detection means may be configured to detect a change in the status of the target device based on the captured image data.
ユーザは、外部装置で表示される撮影画像から把握される対象機器の状況に基づいて、遠隔操作を行うことが考えられる。上記遠隔操作受付システムの構成によれば、ユーザが遠隔操作時に撮影画像から把握していた対象機器の状況と、上記実行前時点での状況とが異なる場合に、遠隔操作コマンドに対応した処理を対象機器に実行させずに済み、ユーザの操作目的に合致しない処理が対象機器にて実行される可能性を抑えることができる。 It is conceivable that the user performs a remote operation based on the status of the target device ascertained from the captured image displayed on the external device. According to the configuration of the remote operation reception system, when the status of the target device that the user has grasped from the captured image at the time of remote operation is different from the status at the time before execution, processing corresponding to the remote operation command is performed. It is not necessary to execute the process on the target device, and the possibility that a process that does not match the user's operation purpose is executed on the target device can be suppressed.
ところで、検出手段は、実行前時点と操作基準時点との間に生じた対象機器の状況変化として、実行前時点及び操作基準時点の二点のみに着目して、二点における状況差を検出するものであってもよいし、実行前時点と操作基準時点との間における各時点での状況についても考慮し、実行前時点と操作基準時点との間の各時点に発生した状況変化を検出するものであってもよい。 By the way, the detecting means detects a difference in situation between two points, focusing on only two points of the pre-execution time point and the operation reference time point as a change in the state of the target device between the pre-execution time point and the operation reference time point. The situation at each time point between the pre-execution time point and the operation reference time point may also be taken into consideration, and a change in the situation occurring at each time point between the pre-execution time point and the operation reference time point may be detected. It may be a thing.
例えば、検出手段により検出される上記状況変化は、少なくとも一つの注目パラメータについての実行前時点での値と操作基準時点での値との差を数値化したスカラー量又はベクトル量であり得る。この他、上記状況変化は、実行前時点と操作基準時点との間における注目パラメータの変動量(例えば、各時点での変化量絶対値の累積値など)を数値化したものであってもよいし、実行前時点と操作基準時点との間における注目パラメータの変動幅や変動率を数値化したものであってもよい。 For example, the situation change detected by the detecting means may be a scalar amount or a vector amount obtained by quantifying the difference between the value at the pre-execution time and the value at the operation reference time for at least one target parameter. In addition, the change in the situation may be obtained by quantifying the amount of change in the parameter of interest between the pre-execution time point and the operation reference time point (for example, the accumulated value of the absolute value of change amount at each time point). Alternatively, the fluctuation range and fluctuation rate of the parameter of interest between the pre-execution time point and the operation reference time point may be digitized.
付言すれば、上記状況変化は、対象機器の状況変化をもたらす一種類又は複数種類の規定イベントに関しての実行前時点と操作基準時点との間における当該イベントの発生有無で表されるものであってもよいし、発生回数で表されるものであってもよい。制御手段が用いる上記基準は、上記状況変化が数値で表されるものである場合、閾値で表され得る。一方、制御手段は、規定イベントが発生していないことを基準に、規定イベントが発生している場合には、上記状況変化が基準より大きいと判定し、規定イベントが発生していない場合には、上記状況変化が基準以下であると判定する構成にされ得る。 In other words, the status change is expressed by the occurrence or non-occurrence of the event between the pre-execution time and the operation reference time for one or more types of specified events that cause the status change of the target device. Or it may be represented by the number of occurrences. The standard used by the control means can be represented by a threshold value when the situation change is represented by a numerical value. On the other hand, based on the fact that the prescribed event has not occurred, the control means determines that the change in the situation is greater than the reference if the prescribed event has occurred, and if the prescribed event has not occurred, The above situation change may be determined to be below the reference.
また、制御手段は、上記状況変化としての、実行前時点での対象機器の状況と操作基準時点での対象機器の状況との差が基準より大きい場合には、上記差が基準以下となるまで
、遠隔操作コマンドに対応する処理を対象機器に実行させず、上記差が基準以下となったことを条件に、遠隔操作コマンドに対応する処理を対象機器に実行させる構成にされ得る。付言すると、制御手段は、上記差が基準より大きい状態が所定期間以上継続した時点で、遠隔操作コマンドを破棄する構成にされ得る。
In addition, when the difference between the status of the target device at the pre-execution time and the status of the target device at the operation reference time is larger than the reference as the status change, the control means until the difference becomes below the reference. The processing corresponding to the remote operation command may not be executed by the target device, and the processing corresponding to the remote operation command may be executed by the target device on condition that the difference is equal to or less than the reference. In addition, the control means may be configured to discard the remote operation command when the state where the difference is larger than the reference continues for a predetermined period or longer.
制御手段が、上記差が基準より大きい場合に直ちに遠隔操作コマンドを破棄する構成にされている場合には、外部装置と遠隔操作受付システムとの通信環境が悪いときや、対象機器の状況変化が激しいときに、次のような不都合が生じる可能性がある。即ち、ユーザは、遠隔操作コマンドに対応する処理を対象機器に実行させるために、何度も外部装置に対する操作を行わなければならなくなる可能性がある。 When the control means is configured to immediately discard the remote operation command when the difference is larger than the reference, when the communication environment between the external device and the remote operation reception system is bad or the status of the target device changes When severe, the following inconveniences may occur. That is, the user may have to perform operations on the external device many times in order to cause the target device to execute processing corresponding to the remote operation command.
これに対し、上記差が基準以下となるまで待機して、上記差が基準以下となったことを条件に、遠隔操作コマンドに対応する処理を対象機器に実行させるように制御手段を構成すれば、上述のような不都合の発生を抑えることができる。 On the other hand, if the control means is configured to wait until the difference becomes equal to or less than the reference and the target device executes processing corresponding to the remote operation command on condition that the difference is equal to or less than the reference. The occurrence of inconveniences as described above can be suppressed.
この他、遠隔操作受付システムが備える各手段の少なくとも一つの機能は、プログラムによって、外部装置からの対象機器に対する遠隔操作コマンドを受信する情報処理システムのコンピュータに実現させることができる。これらの機能をコンピュータに実現させるためのプログラムは、CD−ROM及びDVD等の光ディスク、磁気ディスク、並びに、半導体製メモリ等のコンピュータ読取可能な記録媒体に記録することができる。 In addition, at least one function of each unit included in the remote operation reception system can be realized by a program in a computer of an information processing system that receives a remote operation command for a target device from an external device. A program for causing a computer to realize these functions can be recorded on a computer-readable recording medium such as an optical disk such as a CD-ROM and a DVD, a magnetic disk, and a semiconductor memory.
また、本発明は、上述した外部装置としての特徴を有する遠隔操作装置と、上述した遠隔操作受付システムと、を備えた遠隔操作システムの形態を採り得る。 In addition, the present invention can take the form of a remote operation system including the above-described remote operation device having the characteristics as the external device and the above-described remote operation reception system.
以下に本発明の実施例について、図面と共に説明する。但し、本発明は、以下に説明する実施例に限定されるものではなく、種々の態様を採り得る。
図1に示す本実施例の遠隔操作システム1は、遠隔操作対象の機器(以下、「対象機器」と表現する。)10と、観測装置群20と、ローカルサーバ30と、遠隔操作装置50とを備える。対象機器10としては、産業用ロボット及び宇宙用ロボットに代表される各種ロボット、車両、飛行機、ロケット及び人工衛星等の移動体、並びに、これらの移動体に搭載される機器を一例に挙げることができる。
Embodiments of the present invention will be described below with reference to the drawings. However, this invention is not limited to the Example demonstrated below, A various aspect can be taken.
A
観測装置群20は、対象機器10及び対象機器10の周辺を観測する複数の観測装置21,23,25から構成される。図1には、第一カメラ21、第二カメラ23、及び、複数のセンサ25を備えた観測装置群20の例を示す。第一カメラ21としては、対象機器10を撮影するカメラを一例に挙げることができ、第二カメラ23としては、対象機器10の周辺を撮影するカメラを一例に挙げることできる。
The
具体的に、第一カメラ21は、対象機器10としてのロボットアームを撮影することができ、第二カメラ23は、このロボットアームが運搬/操作する物体を撮影することができる。この他、第一カメラ21は、対象機器10としての車載装置を撮影することができ、第二カメラ23は、この車載装置が搭載された車両の周辺(車両前方等)を撮影することができる。対象機器10が車載装置である例としては、HMI(Human Machine Interface)として機能し、ユーザからの指示に従って車両内を制御する車載装置を車両に搭載して、遠隔地から車両を遠隔操作(運転)する例を挙げることができる。
Specifically, the
複数のセンサ25としては、対象機器10の周辺環境を観測するセンサや、対象機器10の状態を観測するセンサを一例に挙げることができる。例えば、対象機器10周辺の温度/湿度/照度等を検出するセンサや、対象機器10又は対象機器10が備える可動部の位置/速度/加速度/姿勢/進行方位/振動/揺れ等を検出するセンサや、対象機器10の内部温度等を検出するセンサ等を一例に挙げることができる。
Examples of the plurality of
ローカルサーバ30は、対象機器10及び観測装置群20と、有線接続又は無線接続される。ローカルサーバ30は、例えば、対象機器10及び観測装置群20と同一の移動体(車両等)に搭載される。
The
このローカルサーバ30は、対象機器10を制御可能に構成される一方、観測装置群20を構成する観測装置21,23,25の夫々からの観測データを取得可能に構成される。観測データとしては、第一カメラ21による対象機器10の撮影画像を表す撮影画像データ、第二カメラ23による対象機器10周辺の撮影画像を表す撮影画像データ、及び、センサ25による物理量の検出値を一例に挙げることができる。
The
図1に示すローカルサーバ30は、メインユニット31と、記憶ユニット33と、通信ユニット35と、接続インタフェース37とを備える。メインユニット31は、CPU311、各種プログラムを記憶するROM313及び図示しないRAMを主に備える。CPU311は、ROM313が記憶するプログラムに従う処理を実行することにより、ローカルサーバ30が備える各種機能を実現する。
The
記憶ユニット33は、フラッシュメモリやハードディスク装置等から構成される補助記憶装置(換言すれば、電子的にデータ書換可能な不揮発性記憶装置)であり、CPU311による処理実行時に生成されるデータや設定情報等を記憶する。
The
通信ユニット35は、メインユニット31に制御されて、広域ネットワークNTを介した遠隔操作装置50との通信を実現するものであり、例えば、セルラー通信ユニットや、WiFi通信ユニット等の無線通信ユニットによって構成される。接続インタフェース37は、対象機器10及び観測装置群20に接続されて、対象機器10及び観測装置群20とメインユニット31との間で授受される信号を中継する。
The communication unit 35 is controlled by the
一方、遠隔操作装置50は、対象機器10から離れた遠隔地に設置され、ユーザからの操作を受け付ける。遠隔操作装置50は、例えば、周知のパーソナルコンピュータに、遠
隔操作装置50としての機能を実現するためのプログラムがインストールされて構成される。
On the other hand, the
図1に示す遠隔操作装置50は、メインユニット51と、記憶ユニット53と、通信ユニット55と、表示ユニット57と、入力ユニット59とを備える。メインユニット51は、CPU511並びに図示しないROM及びRAMを主に備え、CPU511にて各種プログラムに従う処理を実行することにより、遠隔操作装置50が備える各種機能を実現する。各種プログラムは、フラッシュメモリやハードディスク装置等から構成される補助記憶装置としての記憶ユニット53に記憶される。
The
通信ユニット55は、メインユニット51に制御されて、広域ネットワークNTを介したローカルサーバ30との通信を実現する。表示ユニット57は、液晶ディスプレイ等から構成され、メインユニット51に制御されて、ユーザ向けの情報画面を表示する。この他、入力ユニット59は、マウスやタッチパネル等のポインティングデバイスやキーボード等のユーザが操作可能な機器から構成され、ユーザからの操作情報(指令)をメインユニット51に入力する。
The
続いて、ローカルサーバ30のメインユニット31が実行する蓄積送信処理を、図2を用いて説明する。以下では、CPU311が実行する処理を、説明を簡単にするために、メインユニット31を動作主体として説明する。同様に、CPU511が実行する処理を、メインユニット51を動作主体として説明する。
Next, the accumulated transmission process executed by the
メインユニット31は、図2に示す蓄積送信処理を予め定められたサンプリング周期毎に実行する。蓄積送信処理を開始すると、メインユニット31は、接続インタフェース37に接続された観測装置21,23,25の夫々が出力する観測データを取得する(S110)。S110で取得される観測データの一群は、この時点で観測された対象機器10の状況を表す。ここで言う対象機器10の状況の範疇には、対象機器10の周辺環境(雰囲気)の他、対象機器10それ自体の状態も含まれる。
The
その後、メインユニット31は、S110で取得した観測装置毎の観測データをまとめてなる履歴データを、管理IDと関連付けて記憶ユニット33の履歴データベースに登録する(S120)。履歴データベースは、観測時刻毎の履歴データが個別の管理IDに関連付けられて登録されたデータベースである。
Thereafter, the
S120での処理を終えると、メインユニット31は、S110で取得した観測装置毎の観測データから、遠隔操作装置50に提供する外部提供データを生成し、この外部提供データに、対応する管理IDを付した通信データを、遠隔操作装置50に通信ユニット35を介して送信する(S130)。
When the processing in S120 is completed, the
S130では、S110で取得した観測装置毎の観測データの一部又は全部を格納した外部提供データを生成し、これを遠隔操作装置50に送信することができる。外部提供データは、観測装置21,23,25から出力される観測データそのものを格納したデータであってもよいし、観測データの加工物や観測データから抽出した情報を格納したものであってもよい。例えば、メインユニット31は、観測データを解析して得られた対象機器10の状況を表すパラメータの値を格納した外部提供データを生成することができる。以下では、対象機器10の状況を表すパラメータのことを状況パラメータと表現する。
In S <b> 130, externally provided data storing part or all of the observation data for each observation device acquired in S <b> 110 can be generated and transmitted to the
具体的に、S130では、S110で観測データとして取得した第一カメラ21及び第二カメラ23の撮影画像データ及びセンサ25の検出値の内、第一カメラ21及び第二カメラ23の撮影画像データのみを格納した外部提供データを送信することができる。別例
として、S130では、S110で観測データとして取得した、第一カメラ21及び第二カメラ23の撮影画像データ及びセンサ25の検出値の全てを格納した外部提供データを送信することができる。
Specifically, in S130, only the captured image data of the
この他、メインユニット31は、上記撮影画像データを解析して得られた被写体の位置等を上記状況パラメータとして格納した外部提供データを送信することができる。例えば、対象機器10がロボットアームである場合には、ロボットアームが運搬する対象の物体のロボットアームに対する相対位置を、上記状況パラメータとして格納した外部提供データを送信することができる。
In addition, the
メインユニット31は、上述したS110〜S130の処理をサンプリング周期毎に実行することにより、観測時刻毎の履歴データを、個別の管理IDを付して記憶ユニット33に保存し、これによって記憶ユニット33に観測時刻毎の履歴データを蓄積する。管理IDは、観測時刻を、日、時、分及び秒等で表したものであってもよいし、履歴データの登録毎に、カウントアップされるシリアル番号であってもよい。管理IDは、履歴データ間の観測時刻の関係を特定できる識別コードであれば十分である。
The
続いて、この外部提供データ及び管理IDを含む通信データを受信する遠隔操作装置50の処理動作について図3を用いて説明する。メインユニット51(詳細にはCPU511)は、受信表示処理の実行指令が入力ユニット59を介して入力されると、図3に示す受信表示処理を開始する。
Next, the processing operation of the
受信表示処理を開始すると、メインユニット51は、情報画面の更新処理を実行する(S210)。具体的に、S210では、通信ユニット55がローカルサーバ30から新たな外部提供データを受信したか否かを判断し、新たな外部提供データを受信した場合には、この外部提供データから特定される最新の対象機器10の状況が表示されるように、表示ユニット57が表示する情報画面を更新する。その後、S220に移行する。一方、新たな外部提供データを受信していない場合には、情報画面を更新せずに、S220に移行する。
When the reception display process is started, the
初回のS210では、通信ユニット55がローカルサーバ30から受信した外部提供データに基づき、対象機器10の状況を表す情報画面を表示ユニット57に表示させる。この情報画面には、少なくともローカルサーバ30から遠隔操作装置50への外部提供データの送信に要する時間分、実際の観測時刻から遅れて対象機器10の状況が表示される。
In the first S210, based on the externally provided data received by the
外部提供データに、第一カメラ21及び第二カメラ23の撮影画像データが含まれる場合、上記情報画面には、例えば、第一カメラ21及び第二カメラ23の撮影画像が表示される。この他、外部提供データに、センサ25の検出値が含まれる場合には、例えば、上記情報画面において、センサ25の検出値が、単なる文字情報(数値)として、あるいは、検出値の時間変化を表すグラフとして表示される。
When the externally provided data includes captured image data of the
S220に移行すると、メインユニット51は、対象機器10に対する遠隔操作がなされたか否かを判断する。遠隔操作は、ユーザが入力ユニット59を操作することによりなされる。
After shifting to S220, the
そして、対象機器10に対する遠隔操作がなされていないと判断すると(S220でNo)、受信表示処理の終了指令が入力ユニット59を介して入力されたか否かを判断する(S240)。そして、終了指令が入力されていない場合には(S240でNo)、S210に移行し、終了指令が入力されている場合には(S240でYes)、当該受信表示処理を終了する。 If it is determined that the remote operation is not performed on the target device 10 (No in S220), it is determined whether or not a reception display processing end command is input via the input unit 59 (S240). If no end command is input (No in S240), the process proceeds to S210. If an end command is input (Yes in S240), the reception display process is ended.
一方、対象機器10に対する遠隔操作がなされたと判断すると(S220でYes)、メインユニット51は、この遠隔操作に対応する処理を対象機器10に実行させるための遠隔操作コマンドを、通信ユニット55を介してローカルサーバ30に送信する(S230)。
On the other hand, if it is determined that the
但し、ローカルサーバ30への遠隔操作コマンド送信時には、この遠隔操作時点で情報画面に表示されていた対象機器10の状況の情報源とされた最新の外部提供データの管理IDを、遠隔操作コマンドに付した通信データを生成する。そして、この通信データをローカルサーバ30に送信する。送信する管理IDは、上記情報源とされた最新の外部提供データと共にローカルサーバ30から受信した管理IDである。
However, when the remote operation command is transmitted to the
その後、メインユニット51は、S210以降の処理を再度実行する。メインユニット51は、このようにして最新の対象機器10の状況が表示されるように、表示ユニット57が表示する情報画面を更新しつつ、対象機器10に対する遠隔操作を受け付けて、対応する遠隔操作コマンドを管理IDと併せて送信する。送信される管理IDは、上記遠隔操作が遠隔操作装置50になされた時点で、情報画面に表示されていたユーザが認識する対象機器10の状況を、ローカルサーバ30で特定するために用いられる。
Thereafter, the
続いて、この遠隔操作コマンドを受け付けるために、ローカルサーバ30のメインユニット31が実行するコマンド受付処理の詳細を、図4を用いて説明する。メインユニット31は、図4に示すコマンド受付処理を繰返し実行する。
Next, details of command reception processing executed by the
コマンド受付処理を開始すると、メインユニット31は、遠隔操作コマンドを遠隔操作装置50から受信するまで待機する(S310)。そして、遠隔操作コマンドを受信すると(S310でYes)、S320以降の処理を実行する。
When the command reception process is started, the
S320では、遠隔操作装置50から受信した遠隔操作コマンドに付されていた管理IDに基づき、記憶ユニット33が記憶する当該管理IDに関連付けられた履歴データを参照する。そして、この履歴データに基づき、上記管理IDに対応する観測時刻(以下、「操作基準時刻」とも表現する。)での状況パラメータの値を算出する。この操作基準時刻は、遠隔操作コマンドが遠隔操作装置50から送信される契機となった上記遠隔操作時点において情報画面に表示されていた対象機器10の状況の観測時刻に対応する。換言すると、操作基準時刻は、ユーザが遠隔操作する際に認識していたと推定される対象機器10の状況の観測時刻に対応する。
In S320, based on the management ID attached to the remote operation command received from the
ここで値が算出される状況パラメータの一群は、遠隔操作コマンドに対応する処理を対象機器10に実行させた場合に処理の実行結果に影響を与える対象機器10の状況の夫々についての、当該状況を表すパラメータの一群である。ここで値が算出される状況パラメータの一群には、情報画面からユーザが認識可能な対象機器10の状況を表すパラメータだけではなく、情報画面の表示には用いられなかった観測装置の観測データから特定される対象機器10の状況を表すパラメータが含まれる。また、状況パラメータには、履歴データから値が算出されるパラメータの他、履歴データが示すセンサ25の検出値を抽出することにより形式的に算出されるパラメータも含まれる。
The group of status parameters whose values are calculated here is the status of each of the statuses of the
更に付言すれば、ここで算出される状況パラメータには、操作基準時刻に対応する一瞬の対象機器10の状態及び対象機器10の周辺の状態を表すパラメータや、操作基準時刻より所定時間前から当該操作基準時刻までの状態変化を表すパラメータも含まれる。この他、状況パラメータの一群には、特定の状況が発生しているか否かを「0」「1」で表現する一種のフラグに該当するパラメータも含まれる。
In addition, the situation parameters calculated here include parameters indicating the instantaneous state of the
また、状況パラメータの種類によっては、その値を算出するに際して、操作基準時刻に一致する観測時刻の履歴データだけではなく、それ以前の観測時刻の履歴データをも参照することができる。例えば、状況パラメータとして、時間的に変化する事象の変化量を算出する場合等には、直前の観測時刻の履歴データも参照することができる。 Further, depending on the type of status parameter, when calculating the value, not only the history data of the observation time matching the operation reference time but also the history data of the observation time before that can be referred to. For example, when calculating a change amount of an event that changes with time as a situation parameter, it is also possible to refer to history data at the immediately preceding observation time.
具体的に、履歴データに含まれる撮影画像データから算出される状況パラメータとしては、撮影画像データから特定される対象機器10の位置/速度/加速度/姿勢等のパラメータや、これら位置/速度/加速度/姿勢等の時間変化(例えば軌跡)を、その軌跡形状を表す値や時系列データ等で表すパラメータを一例に挙げることができる。また、撮影画像データが対象機器10のGUI画面を撮影した撮影画像データである場合には、GUI画面に表示されているオブジェクトの種類や表示位置を表すパラメータを、状況パラメータの一例として挙げることができる。
Specifically, the situation parameters calculated from the captured image data included in the history data include parameters such as the position / velocity / acceleration / attitude of the
この他、対象機器10がロボットアームである場合には、状況パラメータとして、ロボットアームの状態(可動部の位置、姿勢や振動量等)を表すパラメータや、ロボットアームが運搬/操作する対象の物体の状態(位置、姿勢や振動量等)を表すパラメータを一例に挙げることができる。
In addition, when the
S320では、このようにして、状況パラメータの一群として、遠隔操作コマンドに基づく処理を対象機器10に実行させた場合に、その実行結果が変化するパラメータの一群についての操作基準時刻での値を算出する。値を算出すべき状況パラメータの一群は、遠隔操作システム1の設計者が、遠隔操作コマンドの種類毎に予め定めておくことができる。
In S320, when the
S320での処理を終えると、メインユニット31は、S320において値を算出した状況パラメータの夫々に対応する現時刻の各状況パラメータの値を算出する(S330)。即ち、S320では、操作基準時刻での状況パラメータの値を算出したが、S330では、これらの状況パラメータについての現在値を算出する。
When the process in S320 is completed, the
S330では、記憶ユニット33が記憶する最新の履歴データを参照して、上記状況パラメータの夫々の現在値を算出することができる。あるいは、観測装置群20から最新の観測データを取得して、上記状況パラメータの夫々の現在値を算出することができる。最新の履歴データだけでは、状況パラメータの値を算出することができない種類のパラメータについては、現在より前の観測データも参照して、対応する状況パラメータの現在値を算出することができる。
In S330, the current value of each of the situation parameters can be calculated with reference to the latest history data stored in the
S330での処理を終えると、メインユニット31は、S340に移行し、S320,S330で値が算出された状況パラメータの一群の中から、判定対象の状況パラメータを一つ選択して、選択した状況パラメータの現在値と、操作基準時刻での状況パラメータの値との差を算出する(S345)。そして、差が許容範囲内であるか否かを判断する(S350)。差が許容範囲内であるときには(S350でYes)、合格判定し(S360)、差が許容範囲内にないときには(S350でNo)、不合格判定する(S370)。その後、S380に移行する。
After completing the process in S330, the
S350での判断基準に用いられる上記許容範囲は、例えば、遠隔操作コマンドの種類毎、及び状況パラメータの種類毎に予め定めておくことができる。状況パラメータが、上述した特定の状況が発生しているか否かを「0」「1」の二値で表すフラグに該当するパラメータである場合、メインユニット31は、状況パラメータの現在値と操作基準時刻での値とが一致する場合、差が許容範囲内であると判断し、一致しない場合、差が許容範囲内ではないと判断することができる。
The allowable range used for the determination criterion in S350 can be determined in advance for each type of remote operation command and each type of status parameter, for example. When the situation parameter is a parameter corresponding to a flag indicating whether or not the above-described specific situation has occurred with a binary value of “0” and “1”, the
S380に移行すると、メインユニット31は、全ての状況パラメータについて、これを選択しS350の処理を実行したか否かを判断する。そして、選択していない状況パラメータがある場合には(S380でNo)、S340に移行し、未選択の状況パラメータの一つを新たに選択する。その後、S345以降の処理を実行する。
After shifting to S380, the
そして、全ての状況パラメータについて、S350の処理を実行したと判断すると(S380でYes)、各状況パラメータの合否判定結果に基づき、遠隔操作装置50から受信した遠隔操作コマンドに対応する処理を対象機器10に実行させるか否かを判断する(S390)。
If it is determined that the process of S350 has been executed for all the situation parameters (Yes in S380), the process corresponding to the remote operation command received from the
例えば、全状況パラメータが合格判定された場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断し、一つでも不合格判定された状況パラメータがある場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断することができる。
For example, when all the situation parameters are determined to be acceptable, it is determined that the
この他、全状況パラメータの内、合格判定された状況パラメータが所定割合を超えている場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断し、それ以外の場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する判断手法も採用し得る。あるいは、S360,S370での判定に際して合否の程度を点数化し、合計点が基準を超えている場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断し、それ以外の場合には、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する判断手法も採用し得る。
In addition, it is determined that the processing corresponding to the remote operation command is to be executed by the
S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断すると(S390でYes)、メインユニット31は、S400に移行し、遠隔操作コマンドに対応する制御コマンドを対象機器10に接続インタフェース37を介して入力して、対象機器10に、遠隔操作コマンドに対応する処理を実行させる。更に、遠隔操作コマンドに対応する処理が実行された旨のメッセージを記した通信データを、遠隔操作装置50に通信ユニット35を介して送信する(S410)。その後、当該コマンド受付処理を一旦終了する。
In S390, when determining that the
この他、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断すると(S390でNo)、メインユニット31は、S420に移行し、合否の再判定を行うか否かを判断する。S420では、例えば、遠隔操作コマンドを受信してから所定時間内においては、再判定を行うと判断し、遠隔操作コマンドを受信してから所定時間の経過後には、再判定を行わないと判断することができる。
In addition, if it is determined in S390 that the processing corresponding to the remote operation command is not to be executed by the target device 10 (No in S390), the
そして、再判定を行うと判断すると(S420でYes)、メインユニット31は、S330に移行して、再度、現時刻に対応する各状況パラメータの値を算出し、S340以降の処理を実行する。一方、再判定を行わないと判断すると(S420でNo)、メインユニット31は、S430に移行し、遠隔操作コマンドを破棄した旨のメッセージを記した通信データを、遠隔操作装置50に通信ユニット35を介して送信する(S430)。その後、当該コマンド受付処理を一旦終了する。S410,S430で送信された通信データに記されたメッセージは、遠隔操作装置50の情報画面に表示される。
If it is determined that redetermination is to be performed (Yes in S420), the
以上には、本実施例の遠隔操作システム1の構成について説明したが、S320,S330においては、操作基準時刻での状況パラメータの値、及び、現在時刻での状況パラメータの値を算出するのに代えて、次の処理を実行することができる。即ち、メインユニッ
ト31は、S320をスキップし、S330では、注目する状況についての、操作基準時刻から現在時刻までの期間における変化の有無を検出する処理又は変化量を検出する処理を、操作基準時刻から現在時刻までの履歴データを参照して実行し、この変化の有無又は変化量を表す値を状況パラメータの値として算出してもよい。
The configuration of the
この種の状況パラメータをS340で選択した場合には、S345をスキップし、S350において、当該状況パラメータが表す変化量が許容範囲内であるか否かを判断することができる。あるいは、当該状況パラメータが、状況変化がないことを表しているか否かを判断し、変化がないことを表している場合には合格判定し(S360)、変化がある場合には不合格判定する(S370)ことができる。 When this kind of situation parameter is selected in S340, S345 can be skipped, and it can be determined in S350 whether or not the amount of change represented by the situation parameter is within an allowable range. Alternatively, it is determined whether or not the situation parameter indicates that there is no change in the situation, and if it indicates that there is no change, a pass determination is made (S360), and if there is a change, a failure determination is made. (S370).
続いて、図5〜図10を用いて遠隔操作システム1の具体例を説明する。
[具体例1]
具体例1は、対象機器10が車載装置である遠隔操作システム1である。車載装置としては、HMIとして機能し、ユーザからの指示に従って車両内(自装置を含む)を制御する車載装置を一例に挙げることができる。具体的には、GUI画面を表示し、このGUI画面に対するユーザからの操作情報に従って、対応する処理を実行する装置を一例に挙げることができる。本例の遠隔操作システム1では、ユーザが遠隔操作装置50を介して、対象機器10としての上記車載装置を遠隔操作し、これにより、車両を遠隔操作する。
Next, a specific example of the
[Specific Example 1]
Specific example 1 is
ローカルサーバ30には、例えば、車載装置のGUI画面を撮影する第一カメラ21、この車載装置が搭載された車両の前方を撮影する第二カメラ23、並びに、GPS受信機、車速センサ及び加速度センサ等の複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。遠隔操作装置50では、外部提供データに含まれる第一カメラ21の撮影画像データに基づき、車載装置のGUI画面が表示される。
The
ユーザが遠隔操作装置50に表示された車載装置のGUI画面に映るメニューウィンドウWn(図5参照)の一項目を押下する遠隔操作を行ったことを契機に、遠隔操作装置50からローカルサーバ30には、GUI画面の選択項目に対応する座標の押下操作を指示する遠隔操作コマンドであって、当該座標の情報を含む遠隔操作コマンドが送信される。
When the user performs a remote operation of pressing one item of a menu window Wn (see FIG. 5) displayed on the GUI screen of the in-vehicle device displayed on the
ここで、この遠隔操作コマンドを遠隔操作装置50からローカルサーバ30に送信するまでの期間に、車載装置のGUI画面において、図5下段に示すようにメニューウィンドウWnが消えてしまったと仮定する。
Here, it is assumed that the menu window Wn disappears as shown in the lower part of FIG. 5 on the GUI screen of the in-vehicle device during the period until the remote operation command is transmitted from the
この場合、ローカルサーバ30のメインユニット31は、操作基準時刻においては、メニューウィンドウWnが表示されている状況であるのに対して、遠隔操作コマンドの受信後の現在においては、メニューウィンドウWnが表示されていない状況であることから、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する。
In this case, the
一方、遠隔操作コマンドの受信後の現在において、メニューウィンドウWnがGUI画面に表示されている状況下では、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断する。
On the other hand, under the situation where the menu window Wn is currently displayed on the GUI screen after receiving the remote operation command, in S390, it is determined that the
この例によれば、ユーザがメニューウィンドウWnを操作するためにGUI画面に対する遠隔操作を行ったにも拘わらず、遠隔操作コマンドに対応する処理を対象機器10が実行するときには、メニューウィンドウWnが消えていることにより、操作目的とは異なる処理の実行結果が対象機器10において生じるのを抑えることができる。
According to this example, the menu window Wn disappears when the
[具体例2]
具体例2は、対象機器10がロボットアームである遠隔操作システム1である。ローカルサーバ30には、例えば、ロボットアームを撮影する第一カメラ21、及び、このロボットアームの周辺を撮影することにより、ロボットアームが運搬する物体を撮影する第二カメラ23が接続される。この他、ローカルサーバ30には、ロボットアームが有する可動アーム部の位置を検出するための複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。記憶ユニット33に蓄積される観測時刻毎の履歴データは、例えば、図6に示すように構成される。
[Specific Example 2]
Specific example 2 is
図6に示されるセンサ25としての第一〜第四センサは、位置センサであり、対応する位置に、可動アーム部が存在するときにオン信号を出力し、存在しないときにはオフ信号を出力する。
The first to fourth sensors as the
ここで、管理IDが「2」である外部提供データに基づいて可動アーム部が第一位置にあることが遠隔操作装置50の情報画面において表示されているときに、ユーザが、遠隔操作装置50に対して、次の位置(第二位置)に可動アーム部を移動させる遠隔操作を行ったと仮定する。図6においては、管理IDが「2」である履歴データ及び管理IDを太枠で囲って示している。
Here, when the fact that the movable arm portion is in the first position is displayed on the information screen of the
一方、対応する遠隔操作コマンド及び管理ID「2」が格納された通信データが遠隔操作装置50からローカルサーバ30に送信され、これをローカルサーバ30が受信して、メインユニット31がS330を実行する時点での最新の履歴データが管理ID「5」の履歴データであると仮定する。図6では、管理IDが「5」である履歴データ及び管理IDについても太枠で囲って示している。
On the other hand, communication data storing the corresponding remote operation command and management ID “2” is transmitted from the
図6によれば、メインユニット31がS330を実行する時点で、最新の履歴データは可動アーム部が操作基準時刻と同じ第一位置に存在することを示している。この場合、ローカルサーバ30のメインユニット31は、操作基準時刻において、第一センサがオン、第二センサがオフ、第三センサがオフ、第四センサがオフである状況と、現在時刻において、第一センサがオン、第二センサがオフ、第三センサがオフ、第四センサがオフである状況とを比較して、差が許容範囲内であると判断する。そして、S390では、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断する。
According to FIG. 6, when the
メインユニット31は、S320,S330で、状況パラメータの値として、第一から第四センサの出力値を算出する一方、第一カメラ21の撮影画像から可動アーム部の状態値を算出し、更に、第二カメラ23の撮影画像から運搬対象の物体の状態値を算出することができる。そして、これらの撮影画像から特定された状態値の差も許容範囲内であることを条件に、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断することができる。
In S320 and S330, the
一方、図7に示すように、管理ID「5」の履歴データが表す現在の状況が、管理ID「2」の履歴データが表す操作基準時刻での状況と異なる場合を考える。図7に示す例によれば、何らかの理由により操作基準時刻における第三センサの出力がオフであるにも関わらず、現在時刻における第三センサの出力がオンに変化している。 On the other hand, as shown in FIG. 7, consider a case where the current situation represented by the history data with the management ID “5” is different from the situation at the operation reference time represented by the history data with the management ID “2”. According to the example shown in FIG. 7, the output of the third sensor at the current time changes to ON even though the output of the third sensor at the operation reference time is OFF for some reason.
この場合、ローカルサーバ30のメインユニット31は、操作基準時刻において、第一センサがオン、第二センサがオフ、第三センサがオフ、第四センサがオフである状況と、現在時刻において、第一センサがオン、第二センサがオフ、第三センサがオン、第四センサがオフである状況とを比較して、差が許容範囲外であると判断する。そして、S390
では、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する。
In this case, the
Then, it is determined that the processing corresponding to the remote operation command is not to be executed by the
この他、遠隔操作コマンドの種類によっては、遠隔操作時に可動アーム部が等速変位している状況下であったにも関わらず、対応する遠隔操作コマンド受信時において可動アーム部が等速変位していない状況では、S350において差が許容範囲外であると判断することが考えられる。 In addition, depending on the type of remote operation command, the movable arm portion is displaced at a constant speed when the corresponding remote operation command is received, even though the movable arm portion is displaced at a constant velocity during the remote operation. In a situation where the difference is not, it may be determined in S350 that the difference is outside the allowable range.
図8に示す例によれば、操作基準時刻の履歴データ(管理ID「2」の履歴データ)から、最新の状況を表す履歴データ(管理ID「7」の履歴データ)までの履歴データを時系列に参照して、可動アーム部が等速変位していない状況を特定することができる。ローカルサーバ30のメインユニット31は、このようにして、一定期間の履歴データ群を参照して、現在の状況を特定することができる。
According to the example shown in FIG. 8, the history data from the history data of the operation reference time (history data of management ID “2”) to the history data representing the latest situation (history data of management ID “7”) By referring to the series, it is possible to specify a situation in which the movable arm portion is not displaced at a constant speed. In this way, the
[具体例3]
具体例3は、対象機器10が液晶パネル等の傷つき易い物体を運搬するロボットアームである遠隔操作システム1である。ローカルサーバ30には、例えば、ロボットアームを撮影する第一カメラ21、及び、このロボットアームの周辺を撮影することによりロボットアームが運搬する物体を撮影する第二カメラ23が接続される。この他、ローカルサーバ30には、ロボットアームが有する可動アーム部の振動を検出するセンサを含む複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。
[Specific Example 3]
Specific example 3 is a
この場合、ローカルサーバ30のメインユニット31は、状況パラメータとして、過去所定時間内に振動が発生したか否かを表すパラメータの値を算出する(S320,S330)。
In this case, the
図9に示す例によれば、ユーザが遠隔操作装置50に対してロボットアームの遠隔操作をしたときに情報画面に表示されていた状況は、過去5フレームにおいて加速度が基準値(図9に一点鎖線で示す)を超える大きな振動が発生していない状況である。図9に示す例において、操作基準時刻は、管理ID「6」に対応する時刻である。これに対し、ローカルサーバ30が遠隔操作コマンドを受信した後のS330の実行時刻である管理ID「10」に対応する時刻では、過去5フレームにおいて上記大きな振動が発生している状況である。
According to the example shown in FIG. 9, the situation displayed on the information screen when the user remotely operated the robot arm with respect to the
この場合、ローカルサーバ30のメインユニット31は、S390において、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断する。そして、S420で肯定判断して、S330〜S390,S420の処理を繰返し、過去5フレームにおいて上記大きな振動が発生していない状況が到来した時点で、遠隔操作コマンドに対応する処理を対象機器10に実行させる(S400)。
In this case, the
このように動作するローカルサーバ30を用いれば、ユーザがロボットアームを遠隔操作してから遠隔操作コマンドの実行前までに大きな振動が発生した場合に、遠隔操作コマンドに対応する処理の実行を保留することができる。従って、振動が発生しやすい期間に、遠隔操作コマンドに対応する処理をロボットアームに実行させることで運搬対象の物体が傷ついてしまうのを抑制することができ、通信遅延によりユーザが意図しない処理の実行結果が生じるのを抑えることができる。
If the
[具体例4]
具体例4は、対象機器10が宇宙空間での作業を行う宇宙用ロボット又は人工衛星である遠隔操作システム1である。ローカルサーバ30には、例えば、この対象機器10を撮
影する第一カメラ21、及び、この対象機器10が有する可動アーム部の先を撮影することにより、対象機器10が運搬/操作する物体を撮影する第二カメラ23が接続される。この他、ローカルサーバ30には、対象機器10の周辺の照度を検出するセンサや対象機器10の太陽発電パネル揺れ量を検出するセンサを含む複数のセンサ25が接続されて、対応する観測データを含む履歴データが記憶ユニット33に記憶される。
[Specific Example 4]
Specific example 4 is a
ここで、管理IDが「1」である外部提供データに基づく対象機器10の状況が遠隔操作装置50の情報画面において表示されているときに、遠隔操作装置50の入力ユニット59を通じて、ユーザが可動アーム部の遠隔操作を行ったと仮定する。図10においては、管理IDが「1」である履歴データ及び管理IDを太枠で囲って示している。
Here, when the status of the
一方、対応する遠隔操作コマンド及び管理ID「1」が格納された通信データが遠隔操作装置50からローカルサーバ30に送信され、これをローカルサーバ30が受信して、メインユニット31がS330を実行する時点での最新の履歴データが管理ID「6」の履歴データであると仮定する。図10では、管理IDが「6」である履歴データ及び管理IDについても太枠で囲って示している。
On the other hand, communication data storing the corresponding remote operation command and management ID “1” is transmitted from the
この場合、ローカルサーバ30のメインユニット31は、操作基準時刻に対応する管理ID「1」の履歴データが示す照度X1と、現在時刻に対応する管理ID「6」の履歴データが示す照度X6との差を算出し、照度差ΔXが許容範囲内であるか否かを判断する。そして、照度差ΔXが許容範囲内であることを条件に、S390では、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断する。
In this case, the
照度は、第一カメラ21及び第二カメラ23の撮影画像に対する画像解析にて検出される対象機器10の位置や姿勢や可動アーム部が運搬/操作する対象の物体の位置や姿勢等の検出誤差に影響を与える。また、太陽発電パネルからの供給電力に影響を与える。従って、照度差ΔXが許容範囲内であることを条件に、S390では、遠隔操作コマンドに対応する処理を対象機器10に実行させると判断すれば、照度差に起因して、ユーザが意図しない処理の実行結果が生じるのを抑えることができる。
The illuminance is a detection error such as the position and posture of the
また、メインユニット31は、操作基準時刻に対応する管理ID「1」の履歴データから現在時刻に対応する管理ID「6」の履歴データまでの各履歴データが示す太陽発電パネル揺れ量Y1〜Y6に基づき、太陽発電パネルの姿勢変動率を算出し、変動率が基準値超えた場合には、対象機器10の振動幅が大きいとみなして、遠隔操作コマンドに対応する処理を対象機器10に実行させないと判断することができる。
The
[作用効果]
以上、本実施例の遠隔操作システム1の構成及び処理動作について説明したが、この遠隔操作システム1によれば、通信遅延等によって、遠隔操作時にユーザが認識する対象機器10の状況と、対象機器が遠隔操作コマンドに対応する処理を実行する時点での対象機器10の状況とが所定より異なる場合に、その遠隔操作に対応した処理を対象機器10に実行させずに済み、ユーザの操作目的とは合致しない処理の実行結果が生じるのを抑えることができる。
[Function and effect]
The configuration and processing operation of the
[他の実施例]
上述した実施例は、ローカルサーバ30が記憶ユニット33に履歴データを蓄積し、蓄積された履歴データに基づいて、遠隔操作コマンドに対応する処理を対象機器10に実行させるか否かを判断する例であるが、ローカルサーバ30は、履歴データを蓄積しない構成にされ得る。
[Other embodiments]
In the embodiment described above, the
例えば、ローカルサーバ30は、上記判断に必要な観測装置群20からの観測データを、外部提供データとして遠隔操作装置50に送信し、遠隔操作装置50は、遠隔操作コマンド送信時に、操作基準時刻に対応する観測データをローカルサーバ30に送信する構成にされ得る。この例によれば、ローカルサーバ30は、履歴データを蓄積せずとも、遠隔操作装置50から返された観測データと、観測装置群20から得られる最新の観測データとに基づいて、上記判断を行うことができる。
For example, the
また、上記実施例では、管理IDを履歴データ毎に付して履歴データベースを構成したが、履歴データベースは、履歴データ毎に管理IDが付された構成にされなくてもよい。例えば、ローカルサーバ30は、管理IDに代えて、履歴データの配列順の情報を用いることができる。即ち、ローカルサーバは、外部提供データと、対応する履歴データの配列順の情報とを格納した通信データを、遠隔操作装置50に送信することができ、遠隔操作装置50は、操作基準時刻に対応する履歴データの配列順の情報を、ローカルサーバ30に送信することができる。そして、ローカルサーバ30は、この配列順の情報に基づいて、操作基準時刻の履歴データを特定して、参照することができる。
Moreover, in the said Example, management ID was attached | subjected for every history data, and the history database was comprised, However, The history database does not need to be made the structure by which management ID was attached | subjected for every history data. For example, the
この他、管理IDに代えては、操作基準時刻に対応する履歴データを特定できる様々な情報を用いることができる。例えば、履歴データのサイズ情報等である。また、図1には、観測装置群20と対象機器10とが別体であるような遠隔操作システム1の構成を例示したが、観測装置群20を構成する観測装置の一部又は全部は、対象機器10に内蔵されたものであり得る。対象機器10がローカルサーバ30と一体である例も考えられる。
In addition, various information that can specify history data corresponding to the operation reference time can be used instead of the management ID. For example, history data size information. FIG. 1 illustrates the configuration of the
[対応関係]
最後に、用語間の対応関係について説明する。ローカルサーバ30は、遠隔操作受付システム(装置)の一例に対応する。また、メインユニット31が実行するS320〜S345によって実現される機能は、検出手段によって実現される機能の一例に対応し、S350〜S430によって実現される機能は、制御手段によって実現される機能の一例に対応する。この他、メインユニット31が実行するS120によって実現される機能は、蓄積手段によって実現される機能の一例に対応する。
[Correspondence]
Finally, the correspondence between terms will be described. The
1…遠隔操作システム、10…対象機器、20…観測装置群、21…第一カメラ、23…第二カメラ、25…センサ、30…ローカルサーバ、31…メインユニット、33…記憶ユニット、35…通信ユニット、37…接続インタフェース、50…遠隔操作装置、51…メインユニット、53…記憶ユニット、55…通信ユニット、57…表示ユニット、59…入力ユニット、311…CPU、511…CPU、NT…広域ネットワーク。
DESCRIPTION OF
Claims (9)
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により検出された前記状況変化に基づき、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるか否かを切り替えるようにして、又は、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるタイミングを遅らせるか否かを切り替えるようにして、前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備えること
を特徴とする遠隔操作受付システム。 Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, Detection means for detecting based on the observation data acquired by the data acquisition means;
Based on the status change detected by the detecting means, the target device is switched whether or not to execute the process corresponding to the remote operation command , or the process corresponding to the remote operation command is changed to the target. It is switched whether delaying the timing to be executed by the device, remote control, characterized in that the processing corresponding to the remote operation command said command acquisition unit has acquired and control means for executing the target device Reception system.
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により検出された前記状況変化が基準より大きい場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備えること
を特徴とする遠隔操作受付システム。 Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, Detection means for detecting based on the observation data acquired by the data acquisition means;
If the status change detected by the detection means is greater than a reference, the target device is not allowed to execute processing corresponding to the remote operation command, or execution of processing corresponding to the remote operation command by the target device And a control unit that causes the target device to execute processing corresponding to the remote operation command acquired by the command acquisition unit.
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により検出された前記状況変化に基づき、前記状況変化が基準より大きい場合には、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させず、前記状況変化が前記基準以下であることを条件に、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備えること
を特徴とする遠隔操作受付システム。 Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, Detection means for detecting based on the observation data acquired by the data acquisition means;
Based on the status change detected by the detection means, if the status change is greater than a reference, the processing corresponding to the remote operation command is not executed by the target device, and the status change is equal to or less than the reference. And a control unit that causes the target device to execute a process corresponding to the remote operation command.
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手段と、
前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間における所定事象の発生を、前記データ取得手段が取得した前記観測データに基づき検出する検出手段と、
前記検出手段により前記所定事象の発生が検出された場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手段が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手段と
を備え、前記所定事象は、その発生の有無が前記遠隔操作コマンドに対応する処理を前記対象機器に実行させた場合に前記処理の実行結果に影響を与える事象の少なくとも一つであること
を特徴とする遠隔操作受付システム。 Command acquisition means for acquiring a remote operation command for the target device from an external device;
Data acquisition means for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition means, and an operation for instructing transmission of the remote operation command are performed on the external device. Occurrence of a predetermined event between the observation result of the observation device provided to the operation source from the external device and the operation reference time point at which the observation result was observed in the observation device. Detecting means for detecting based on the observation data acquired by;
When the detection unit detects the occurrence of the predetermined event, the target device is not allowed to execute processing corresponding to the remote operation command, or the target device is caused to execute processing corresponding to the remote operation command. Control means for causing the target device to execute processing corresponding to the remote operation command acquired by the command acquisition means in a delayed manner, and the occurrence of the predetermined event corresponds to the remote operation command. The remote operation acceptance system, wherein the remote operation acceptance system is at least one of the events that affect the execution result of the process when the target device executes the process.
前記遠隔操作コマンドを前記遠隔操作受付システムに送信する一方、前記観測装置からの前記観測データに基づく前記観測結果を表示することにより前記操作元に前記観測結果を提供する前記外部装置としての遠隔操作装置と、
を備えること
特徴とする遠隔操作システム。 The remote operation reception system according to any one of claims 1 to 4,
Remote operation as the external device that transmits the remote operation command to the remote operation reception system and provides the observation result to the operation source by displaying the observation result based on the observation data from the observation device Equipment,
A remote control system characterized by comprising:
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により検出された前記状況変化に基づき、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるか否かを切り替えるようにして、又は、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させるタイミングを遅らせるか否かを切り替えるようにして、前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラム。 On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, A detection procedure for detecting based on the observation data acquired by the data acquisition procedure;
Based on the status change detected by the detection procedure, the target device is switched whether or not to execute the process corresponding to the remote operation command , or the process corresponding to the remote operation command is changed to the target. be switched whether delaying the timing to be executed by the apparatus, a program for executing a control procedure for executing a process corresponding to the remote operation command said command acquisition procedure acquires the target device.
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により検出された前記状況変化が基準より大きい場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラム。 On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, A detection procedure for detecting based on the observation data acquired by the data acquisition procedure;
When the status change detected by the detection procedure is larger than a reference, the target device is not allowed to execute the process corresponding to the remote operation command, or the target device executes the process corresponding to the remote operation command And a control procedure for causing the target device to execute processing corresponding to the remote operation command acquired by the command acquisition procedure.
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間に生じた前記対象機器の状況変化を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により検出された前記状況変化に基づき、前記状況変化が基準より大きい場合には、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させず、前記状況変化が前記基準以下であることを条件に、前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラム。 On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. When the observation result of the observation device provided to the operation source from the external device at the time, the operation reference time point that is the time point observed at the observation device, the status change of the target device, A detection procedure for detecting based on the observation data acquired by the data acquisition procedure;
Based on the status change detected by the detection procedure, if the status change is greater than a reference, the target device is not executed the process corresponding to the remote operation command, and the status change is equal to or less than the reference. And a control procedure for causing the target device to execute a process corresponding to the remote operation command.
外部装置からの対象機器に対する遠隔操作コマンドを取得するコマンド取得手順と、
前記対象機器及び前記対象機器の周辺の少なくとも一方を観測する観測装置からの観測データを取得するデータ取得手順と、
前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器が実行する前の時点である実行前時点と、前記遠隔操作コマンドの送信を指示する操作が前記外部装置に対してなされたときに前記外部装置から操作元に提供されていた前記観測装置の観測結果が、前記観測装置において観測された時点である操作基準時点と、の間における所定事象の発生を、前記データ取得手順が取得した前記観測データに基づき検出する検出手順と、
前記検出手順により前記所定事象の発生が検出された場合には、前記対象機器に前記遠隔操作コマンドに対応する処理を実行させない、又は、前記対象機器による前記遠隔操作コマンドに対応する処理の実行を遅らせるようにして、前記コマンド取得手順が取得した前記遠隔操作コマンドに対応する処理を前記対象機器に実行させる制御手順と
を実行させるためのプログラムであって、
前記所定事象は、その発生の有無が前記遠隔操作コマンドに対応する処理を前記対象機器に実行させた場合に前記処理の実行結果に影響を与える事象の少なくとも一つであること
を特徴とするプログラム。 On the computer,
Command acquisition procedure for acquiring a remote operation command for the target device from an external device,
A data acquisition procedure for acquiring observation data from an observation device for observing at least one of the target device and the periphery of the target device;
A pre-execution time point, which is a time point before the target device executes processing corresponding to the remote operation command acquired by the command acquisition procedure, and an operation for instructing transmission of the remote operation command are performed on the external device. Occurrence of a predetermined event between the observation result of the observation device provided to the operation source from the external device and the operation reference time point at which the observation result was observed in the observation device, the data acquisition procedure A detection procedure for detecting based on the observation data acquired by:
When occurrence of the predetermined event is detected by the detection procedure, the target device is not allowed to execute processing corresponding to the remote operation command, or execution of processing corresponding to the remote operation command by the target device is performed. A program for causing the target device to execute a process corresponding to the remote operation command acquired by the command acquisition procedure in a delayed manner,
The predetermined event is at least one of events that affect the execution result of the process when the target device causes the target device to execute a process corresponding to the remote operation command. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014017161A JP5583291B1 (en) | 2014-01-31 | 2014-01-31 | Remote operation reception system, remote operation system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014017161A JP5583291B1 (en) | 2014-01-31 | 2014-01-31 | Remote operation reception system, remote operation system and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013220216A Division JP5499212B1 (en) | 2013-10-23 | 2013-10-23 | Remote operation reception system, remote operation system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5583291B1 true JP5583291B1 (en) | 2014-09-03 |
JP2015082834A JP2015082834A (en) | 2015-04-27 |
Family
ID=51617787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014017161A Expired - Fee Related JP5583291B1 (en) | 2014-01-31 | 2014-01-31 | Remote operation reception system, remote operation system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5583291B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7112910B2 (en) * | 2018-08-09 | 2022-08-04 | 東京瓦斯株式会社 | Remote control server, remote control terminal, and remote control system |
JP7222139B1 (en) | 2022-08-01 | 2023-02-14 | NEUSOFT Japan株式会社 | Processing device, processing program and processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08108387A (en) * | 1994-10-11 | 1996-04-30 | Mitsubishi Electric Corp | Remote control device for robot and its data display device |
JP2006352461A (en) * | 2005-06-15 | 2006-12-28 | Toyota Motor Corp | Remote controller and service center |
WO2012137304A1 (en) * | 2011-04-05 | 2012-10-11 | 株式会社日立製作所 | Remote monitor/control method and system therefor |
-
2014
- 2014-01-31 JP JP2014017161A patent/JP5583291B1/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08108387A (en) * | 1994-10-11 | 1996-04-30 | Mitsubishi Electric Corp | Remote control device for robot and its data display device |
JP2006352461A (en) * | 2005-06-15 | 2006-12-28 | Toyota Motor Corp | Remote controller and service center |
WO2012137304A1 (en) * | 2011-04-05 | 2012-10-11 | 株式会社日立製作所 | Remote monitor/control method and system therefor |
Also Published As
Publication number | Publication date |
---|---|
JP2015082834A (en) | 2015-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5499212B1 (en) | Remote operation reception system, remote operation system and program | |
CN111091200B (en) | Updating method and system of training model, intelligent device, server and storage medium | |
US20190381663A1 (en) | Systems and methods for assisting a robotic apparatus | |
JP6852729B2 (en) | Plant management system, plant management method, plant management equipment, and plant management program | |
EP3754592A1 (en) | Image acquisition device and method of controlling the same | |
US20180005196A1 (en) | Information processing apparatus, control method, and program | |
KR101530581B1 (en) | Autonomous Mobile Agent remote control system and method thereof | |
JP6344319B2 (en) | Mobile communication terminal, position information sharing system, in-vehicle device, and program | |
CN108051010B (en) | Method for determining time of arrival at destination and mobile terminal | |
US20200294329A1 (en) | Data collecting device, data collecting system, data collecting method, and on-vehicle device | |
JPWO2019093098A1 (en) | Information processing equipment, mobile devices, and methods, and programs | |
US11270219B2 (en) | Data collection device, data collection system, and data collection method for calculating probability of event for collection of data | |
CN110795979B (en) | Information processing system, non-transitory storage medium storing program, and control method | |
CN112630799A (en) | Method and apparatus for outputting information | |
JP5583291B1 (en) | Remote operation reception system, remote operation system and program | |
CN106444825A (en) | Air vehicle, control terminal, control method and device of air vehicle | |
WO2016030934A1 (en) | Information-processing device, control method, program, and storage medium | |
US20210133442A1 (en) | Element operation division device, element operation division method, storage medium, and element operation division system | |
JP6004148B1 (en) | Image processing apparatus, image processing method, and image processing program | |
KR20190078222A (en) | Electronic device, server and method thereof for recommending fashion item | |
JP2016195323A (en) | Information processing apparatus, information processing method, and program | |
JP6531356B2 (en) | Target tracking device, target tracking method, program | |
WO2019093297A1 (en) | Information processing device, control method, and program | |
US11548529B2 (en) | Control method, control device, and recording medium | |
JP2019020914A (en) | Object identifying system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5583291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |