WO2025173166A1 - 装置、操作性推定方法及びプログラム - Google Patents

装置、操作性推定方法及びプログラム

Info

Publication number
WO2025173166A1
WO2025173166A1 PCT/JP2024/005240 JP2024005240W WO2025173166A1 WO 2025173166 A1 WO2025173166 A1 WO 2025173166A1 JP 2024005240 W JP2024005240 W JP 2024005240W WO 2025173166 A1 WO2025173166 A1 WO 2025173166A1
Authority
WO
WIPO (PCT)
Prior art keywords
operability
delay
video
work machine
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/005240
Other languages
English (en)
French (fr)
Inventor
希美 遠藤
正憲 小池
則次 恵木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/005240 priority Critical patent/WO2025173166A1/ja
Publication of WO2025173166A1 publication Critical patent/WO2025173166A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a device, an operability estimation method, and a program.
  • remote control systems In order to reduce the risk of accidents during on-site work and alleviate labor shortages, remote control systems are being offered that allow heavy machinery and other construction equipment in remote locations to be operated from a control room. With these remote control systems, it is necessary to consider the risk of accidents due to reduced operability caused by a decline in network quality during operation.
  • Non-Patent Document 2 ITU-T in Recommendation G.1072 (Non-Patent Document 2), which targets cloud gaming, a service operated via a network, and estimates the quality experienced by users during use from latency, bit rate, packet loss rate, etc.
  • Non-Patent Document 1 When remotely operating work machinery such as heavy machinery, it takes a certain amount of time for the operation to be reflected in the operation of the work machine due to factors such as the resistance of the control lever, the weight of the work machine, and hydraulic pressure. For this reason, delay has the characteristic of having almost no effect on operability as long as it is below a certain delay time (Non-Patent Document 1). However, while Non-Patent Document 1 indicates the effect that changes in delay have on operability, it does not consider the overall effect on operability due to changes in delay and video quality. Therefore, Non-Patent Document 1 cannot make estimates that take into account the effect that changes in video quality have on operability.
  • Non-Patent Document 2 takes into account the overall impact of delay and video quality on operability, it fails to consider the impact that changes in delay have on operability. As a result, when attempting to estimate operability degradation due to delay based on Non-Patent Document 2, operability will be underestimated when delay is low.
  • the solid curve is a curve that shows actual operability relative to delay.
  • the dashed curve is a curve that shows the relationship between delay and operability estimated based on Non-Patent Document 2.
  • "Detectable delay” is the minimum amount of delay at which a difference in operability from when the delay is zero can be detected.
  • Figure 1 shows that Non-Patent Document 2 estimates operability to be smaller than the actual operability for delays less than the "detectable delay” that do not actually result in any degradation in operability.
  • the present invention was made in consideration of the above points, and aims to make it possible to estimate the operability of remotely operating a work machine while taking into account communication delays and video quality.
  • the device has a delay operability estimation unit configured to calculate delay operability, which is an estimate of operability based on the delay, based on the characteristic that the greater the delay in communication related to operation during remote operation of a work machine, the lower the operability of the work machine, but that the operability does not decrease if the delay is less than a predetermined time; a video operability estimation unit configured to calculate video operability, which is an estimate of operability based on the quality of the video, based on the characteristic that, with regard to communication of video of the work machine during remote operation, operability increases up to a certain bit rate, and the higher the packet loss rate, the lower the operability; and an integration unit configured to calculate an estimate of the operability of the work machine based on the delay operability and the video operability.
  • delay operability which is an estimate of operability based on the delay, based on the characteristic that the greater the delay in communication related to operation during remote operation of a work machine, the lower the operability of the work machine, but that the operability does not decrease if the
  • FIG. 10 is a diagram for explaining the relationship between delay and operability.
  • FIG. 10 is a diagram for explaining the influence of delay and video quality on operability.
  • 1 is a diagram illustrating an example of a configuration of a remote control system 20 according to an embodiment of the present invention.
  • 1 is a diagram illustrating an example of a hardware configuration of an operability estimation device 10 according to an embodiment of the present invention.
  • 1 is a diagram illustrating an example of a functional configuration of an operability estimation device 10 according to an embodiment of the present invention.
  • 10 is a flowchart illustrating an example of a processing procedure executed by the operability estimation device 10.
  • FIG. 3 is a diagram showing an example configuration of a remote control system 20 in an embodiment of the present invention.
  • the remote control system 20 is a computer system that enables a work machine 221, such as heavy machinery, located in a remote location 22 to operate from a remote control room 21.
  • An operation device 211 and a monitoring terminal 212 are located in the remote control room 21.
  • a work machine 221 and an imaging device 222 are located in the remote location 22.
  • the operation device 211 is a device that allows the worker to remotely operate the work machine 221.
  • the operation information is transmitted via the network 23, and the work machine 221 receives the operation information.
  • the work machine 221 operates in accordance with the operation information.
  • the imaging device 222 installed on the work machine 221 acquires (captures) video of the work machine 221.
  • the captured video is encoded, and the encoded video (hereinafter referred to as "encoded video”) is transmitted via the network 23 to the monitoring terminal 212.
  • the monitoring terminal 212 displays video that has been decoded from the encoded video. The worker can check the work status by viewing the video.
  • the operability estimation device 10 is one or more computers that output an estimated value of the operability of remotely operating the work machine 221 (hereinafter referred to as "operability o") by inputting information related to video quality obtainable from the remote operation system 20 and information related to communication delays via the network 23.
  • the operability estimation device 10 may be located outside the remote operation system 20, or may be located inside the remote operation system 20, such as in the remote operation room 21.
  • FIG. 4 is a diagram showing an example of the hardware configuration of an operability estimation device 10 according to an embodiment of the present invention.
  • the operability estimation device 10 in FIG. 4 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a processor 104, and an interface device 105, all of which are interconnected via a bus B.
  • FIG. 5 is a diagram showing an example of the functional configuration of an operability estimation device 10 according to an embodiment of the present invention.
  • the operability estimation device 10 has an input unit 11, a delay operability estimation unit 12, a video operability estimation unit 13, an integration unit 14, and an output unit 15. Each of these units is realized by the processor 104 executing one or more programs installed in the operability estimation device 10.
  • the delay time may be measured as the difference between the time when the operation of the operation device 211 begins and the time when the image changes accordingly (for example, the difference between the time when the lever operation for the turning operation begins and the time when the image begins to change due to the turning).
  • the delay time may be the sum of the measurement result of the round trip time of a test packet such as a Ping on the network 23 (because there are two routes, from the operation device 211 to the work machine 221 and from the imaging device 222 to the monitoring terminal 212, for example, the average RTT of these two routes) and the buffer time of each receiving terminal for the encoded image or operation information, and the processing time of the image encoding device and decoding device.
  • the delay time is input as the average measured time in units of one second. Methods other than these may also be used to input the delay time.
  • the receiving terminal for the encoded image is the decoding device.
  • the decoding device may be built into the monitoring terminal 212 or may be connected externally to the monitoring terminal 212.
  • the receiving terminal for the operation information is the work machine 221.
  • the video encoding device may be built into the imaging device 222 or may be externally connected to the imaging device 222.
  • the bit rate of the encoded video is determined using the amount of data transmitted in the encoded video packets and setting information obtained from the encoding device and decoding device in the remote control system 20.
  • the amount of data transmitted can be calculated, for example, from the payload size of the video packet per unit time.
  • Setting information is, for example, the bit rate targeted by the encoding device when encoding. In this case, this bit rate may be used as the bit rate of the encoded video.
  • the packet loss rate is calculated based on the ratio of the amount of transmitted data to the amount of received data for encoded video packets, or the packet loss rate per second calculated based on the results of sending and receiving test packets such as Ping on the network 23 that transfers encoded video within the remote control system 20. Note that other bit rates and packet loss rates may also be used.
  • the delay operability estimation unit 12 calculates the delay operability o delay by applying the delay time d [ms] and the detection limit t to one of the following equations (1-1) to (1-3), which is a model in which if the delay time is less than t, the value of the delay operability o delay is the same as in a state without delay, and if the delay time exceeds the detection limit t, the delay operability o delay decreases (S103).
  • c 1 and c 2 are coefficients that differ for each equation. Note that other equations may be used that take into account the characteristic a.
  • the delay operability o delay is a value obtained by normalizing the delay-based operability to the range of 0-1.
  • the video operability estimation unit 13 calculates the video operability o video, which is an estimated value of operability based on the video quality (encoded video bit rate, packet loss rate), based on the bit rate b [kbps] of the encoded video and the packet loss rate p [%] (S104).
  • Video quality correlates with bit rate, and the higher the bit rate, the higher the operability.
  • the bit rate reaches a certain level
  • the video quality almost reaches its upper limit, and operability does not change even at bit rates above that level.
  • the packet loss rate is negatively correlated with operability, and the higher the loss rate, the lower the operability.
  • the bit rate for the same packet loss rate the greater the decrease in operability.
  • the video operability estimation unit 13 takes into consideration the above characteristic (hereinafter referred to as "characteristic b") and calculates the video operability o video based on the magnitude of the bit rate when the packet loss rate is 0, and calculates the video operability o video from the bit rate and packet loss rate when the packet loss rate is greater than 0, based on one of the following equations (2-1) to (2-5 ) .
  • c3 to c8 are coefficients that differ for each equation.
  • o max is the maximum value that video operability o video can take. That is, the value range of video operability o video is 1 to 5.
  • the value of o max may be the maximum value of operability o obtained in a range of 1 to 5 in a prior subjective evaluation experiment, or it may be 5, which is the theoretical maximum value of operability o.
  • the integration unit 14 calculates the operability o of the entire remote operation system 20 based on both the delay and the video quality, based on the delay operability o delay and the video operability o video (S105).
  • the operability o has a characteristic (hereinafter referred to as "characteristic c") of decreasing synergistically with respect to the delay operability o delay due to the influence of a decrease in video quality, as shown in Figure 2.
  • characteristic c a characteristic of decreasing synergistically with respect to the delay operability o delay due to the influence of a decrease in video quality
  • “synergistic” does not mean that the operability o decreases while maintaining the difference in video quality relative to the overall delay, but rather expresses a tendency that when the delay decreases due to the influence of video quality, in the case of a relatively large delay, the operability o of the delay does not decrease even if the video quality decreases, but in the case of a relatively small delay, the operability o of the delay decreases when the video quality decreases.
  • the integration unit 14 calculates the operability o based on the following formula (3-1) or formula (3-2), taking into consideration the synergistic influence of the decrease in video operability o video and the decrease in delay operability o delay .
  • c 9 is a coefficient that differs for each equation.
  • o max is as described above.
  • the value range of operability o is 1-5, with a larger value indicating higher operability.
  • Each equation includes a term in which video operability o video and delay operability o delay are multiplied. This allows the above synergistic effect to be reflected in each equation. Note that other equations that take characteristic c into account may also be used.
  • the output unit 15 then performs output based on the operability o (S106). For example, the output unit 15 may output (display) the operability o to a specified terminal. Alternatively, the output unit 15 may output control information for the remote control system 20. For example, if the operability o is equal to or less than a certain value, the output unit 15 may transmit control information to the remote control system 20 to stop the remote control system 20.
  • the values of t and each coefficient are derived by optimizing the input and the results of a subjective evaluation of operability for that input using a method such as the least squares method.
  • the values of t and each coefficient may be derived using a method other than the above derivation method, or predetermined coefficients may be used.
  • this embodiment makes it possible to estimate the operability o for the remote operation of the work machine 221, taking into account communication delays and video quality.
  • the operability o By monitoring the operability o, if the operability o continues to drop to a certain value, it becomes possible to notify the operator in the remote control room 21 to stop operation, to make an emergency stop on the work machine 221, or to notify the remote operation manager, thereby contributing to the prevention of accidents and other issues caused by a decline in the operator's operability.
  • Operability estimation device 11 Input unit 12 Delay operability estimation unit 13 Video operability estimation unit 14 Integration unit 15 Output unit 20 Remote operation system 21 Remote operation room 22 Remote location 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 Processor 105 Interface device 211 Operation device 212 Monitoring terminal 221 Work machine 222 Imaging device B Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

装置は、作業機械の遠隔操作における操作に関する通信の遅延が大きいほど前記作業機械の操作性が低下するが、所定時間未満の遅延であれば前記操作性は低下しないという特性に基づいて、前記遅延に基づく操作性の推定値である遅延操作性を算出するように構成されている遅延操作性推定部と、前記遠隔操作における前記作業機械の映像の通信に関して、或る一定のビットレートまでは操作性が高くなり、パケット損失率が大きいほど操作性は低下するという特性に基づいて、前記映像の品質に基づく操作性の推定値である映像操作性を算出するように構成されている映像操作性推定部と、前記遅延操作性と前記映像操作性とに基づいて、前記作業機械の操作性の推定値を算出するように構成されている統合部と、を有することで、作業機械の遠隔操作について通信の遅延と映像品質とを考慮した操作性を推定可能とする。

Description

装置、操作性推定方法及びプログラム
　本発明は、装置、操作性推定方法及びプログラムに関する。
　現場作業の事故リスク抑制、人手不足解消などの背景から、遠隔地にある重機のような作業機械重機を操作室から作業可能にする遠隔操作システムが提供されてきている。これら遠隔操作システムでは、作業時のネットワーク品質低下に起因した操作性の低下による事故のリスクを考慮する必要がある。
　遠隔操作中のネットワーク品質低下による操作性への影響について説明する。遠隔操作では、操作室にある操作用デバイスの操作情報が遠隔地の作業機械に送信されることで作業機械が動作し、当該作業機械の動作の様子がカメラの撮像映像として操作室に送信される。よって、前記操作情報や映像を伝送するネットワークの品質（通信品質）低下により操作者の操作性が低下することが考えられる。例えば、ネットワーク品質低下によるパケット損失率の増加やスループット低下に伴う符号化ビットレートの低下による映像品質の低下によって、遠隔地の状況が目視で把握しづらくなり操作性が低下することが想定される。また、ネットワークの遅延の増大により、操作者の操作に対して映像内の作業機械の反応時間が増大することで、操作者の操作と映像内の作業機械の動作との間にずれが生じ、操作性が低下する（非特許文献１）。
　上記の影響を踏まえると、映像品質や遅延の変化、及びこれらの複合による操作性の低下を早期に把握することが重要となる。そこで、遠隔操作を構成する機器及びネットワークの情報から、操作性低下の原因となる映像品質や遅延の情報を取得し、当該情報が操作性に与える影響をとらえることで操作性を推定する技術が必要となる。操作性を推定する類似の手法として、ネットワークを経由した操作を行うサービスの１つであるクラウドゲームを対象として、利用時にユーザが体感する品質を、遅延時間、ビットレート、パケット損失率等から推定する方法がＩＴＵ－Ｔにより勧告Ｇ．１０７２（非特許文献２）に制定されている。
"建設機械の遠隔操作技術向上に関する共同研究報告書"、国立研究開発法人土木研究所、2016 G.1072: Opinion model predicting gaming quality of experience for cloud gaming services, 2020, ITU-T
　重機のような作業機械の遠隔操作では、操作レバーの抵抗や作業機械の重さや油圧などにより、操作が作業機械の動作に反映されるまでに一定の時間を要する。このため、一定の遅延時間以下であれば遅延は操作性にほとんど影響を与えないという特性がある（非特許文献１）。ただし、非特許文献１では遅延の変化が操作性に与える影響を示しているが、遅延と映像品質の変化による統合的な操作性への影響までは考慮されていない。よって、非特許文献１は、映像品質の変化が操作性に及ぼす影響を加味した推定を行えない。
　非特許文献２では、遅延と映像品質による統合的な操作性への影響を考慮しているが、前記の遅延の変化が操作性に与える影響について考慮できておらず、非特許文献２に基づき遅延による操作性低下を推定しようとした場合に、低遅延時において過少に操作性を推定することとなる。図１において実線の曲線は、遅延に対して実際の操作性を示す曲線である。破線の曲線は、非特許文献２に基づいて推定される遅延と操作性との関係を示す曲線である。「検知可能な遅延」は、遅延が０の時と操作性が異なることを検知できる最小の遅延量である。図１には、「検知可能な遅延」未満における、実際には操作性が一切低下していない遅延に対して、非特許文献２では推定される操作性が実際よりも小さくなることが示されている。
　また、遅延と映像品質による統合的な操作性への影響は、遅延が小さい場合の映像品質低下による操作性への影響に対して、遅延が大きい場合は映像品質低下による操作性の影響は小さくなる（図２）。しかし、非特許文献２では遅延の大小にかかわらず映像品質低下による操作性への影響は一定である。よって、遅延と映像品質による統合的な操作性への影響を考慮できていない。
　本発明は、上記の点に鑑みてなされたものであって、作業機械の遠隔操作について通信の遅延と映像品質とを考慮した操作性を推定可能とすることを目的とする。
　そこで上記課題を解決するため、装置は、作業機械の遠隔操作における操作に関する通信の遅延が大きいほど前記作業機械の操作性が低下するが、所定時間未満の遅延であれば前記操作性は低下しないという特性に基づいて、前記遅延に基づく操作性の推定値である遅延操作性を算出するように構成されている遅延操作性推定部と、前記遠隔操作における前記作業機械の映像の通信に関して、或る一定のビットレートまでは操作性が高くなり、パケット損失率が大きいほど操作性は低下するという特性に基づいて、前記映像の品質に基づく操作性の推定値である映像操作性を算出するように構成されている映像操作性推定部と、前記遅延操作性と前記映像操作性とに基づいて、前記作業機械の操作性の推定値を算出するように構成されている統合部と、を有する。
　作業機械の遠隔操作について通信の遅延と映像品質とを考慮した操作性を推定可能とすることができる。
遅延と操作性の関係を説明するための図である。 遅延と映像品質の操作性への影響を説明するための図である。 本発明の実施の形態における遠隔操作システム２０の構成例を示す図である。 本発明の実施の形態における操作性推定装置１０のハードウェア構成例を示す図である。 本発明の実施の形態における操作性推定装置１０の機能構成例を示す図である。 操作性推定装置１０が実行する処理手順の一例を説明するためのフローチャートである。
　以下、図面に基づいて本発明の実施の形態を説明する。図３は、本発明の実施の形態における遠隔操作システム２０の構成例を示す図である。図３において、遠隔操作システム２０は、遠隔地２２にある重機のような作業機械２２１を遠隔操作室２１から作業可能にするコンピュータシステムである。遠隔操作室２１には、操作用デバイス２１１及び監視端末２１２が配置されている。遠隔地２２には、作業機械２２１及び撮像装置２２２が配置されている。
　操作用デバイス２１１は、作業者が作業機械２２１を遠隔操作するためのデバイスである。作業者が操作用デバイス２１１を操作すると、その操作情報がネットワーク２３を介して送信され、作業機械２２１が当該操作情報を受信する。作業機械２２１は当該操作情報に応じた動作を行う。作業機械２２１の動作の様子や作業現場の様子を遠隔操作室２１で確認するため、作業機械２２１に設置された撮像装置２２２は、作業機械２２１の映像を取得（撮影）する。撮影された映像は符号化され、符号化された映像（以下、「符号化映像」という。）がネットワーク２３を介して監視端末２１２に送信される。監視端末２１２は、符号化映像をから復号された映像を表示する。作業者は、当該映像を視聴することで、作業状況を確認する。
　操作性推定装置１０は、遠隔操作システム２０から取得可能な映像品質に関連する情報、ネットワーク２３を介して通信の遅延に関連する情報を入力とすることで、作業機械２２１の遠隔操作の操作性の推定値（以下、「操作性ｏ」という。）を出力する１以上のコンピュータである。操作性推定装置１０は、遠隔操作システム２０の外部に配置されてもよいし、遠隔操作室２１などの遠隔操作システム２０内部に配置されてもよい。
　図４は、本発明の実施の形態における操作性推定装置１０のハードウェア構成例を示す図である。図４の操作性推定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
　操作性推定装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワーク２３を介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従って操作性推定装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワーク２３に接続するためのインタフェースとして用いられる。
　図５は、本発明の実施の形態における操作性推定装置１０の機能構成例を示す図である。図５において、操作性推定装置１０は、入力部１１、遅延操作性推定部１２、映像操作性推定部１３、統合部１４及び出力部１５を有する。これら各部は、操作性推定装置１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。
　以下、操作性推定装置１０が実行する処理手順について説明する。図６は、操作性推定装置１０が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ１０１において、入力部１１は、遠隔操作システム２０から映像品質に関する情報及び遅延に関する情報を入力する。
　本実施の形態では、符号化映像のビットレート、符号化映像伝送時のパケット損失率が映像品質に関する情報の一例であり、操作用デバイス２１１に操作が入力されてから、作業機械２２１が動作したことを監視端末２１２が表示する映像上で目視できるまでの時間である遅延時間（厳密には、「操作の入力により作業機械２２１が動作を開始するまでの時間」＋「作業機械２２１が動作を開始した映像が遠隔操作室２１のモニタに反映されるまでの時間」）が遅延に関する情報の一例であるとして説明する。操作性推定装置１０には、これらのビットレート、パケット損失率及び遅延時間が入力される。
　遅延時間については、操作用デバイス２１１の操作開始時刻と映像がそれに応じて変化した時刻の差（例えば、旋回動作を行うレバー操作の開始時刻と旋回に伴う映像の変化が始まった時刻の差）によって計測されてもよい。又は、遅延時間は、ネットワーク２３におけるＰｉｎｇ等のテストパケットのRound Trip Timeの測定結果（操作用デバイス２１１から作業機械２２１、撮像装置２２２から監視端末２１２の２つの経路があるため、例えば、これら２つの経路のＲＴＴの平均値）と符号化映像又は操作情報のそれぞれの受信端末のバッファ時間と映像の符号化機器及び復号機器の処理時間を合計したものを用いてもよい。いずれの場合であっても、遅延時間は、１秒単位の平均計測時間を入力する。遅延時間の入力には、これらの手法以外を用いてもよい。なお、符号化映像の受信端末とは、復号機器である。復号機器は、監視端末２１２が内蔵していてもよいし、監視端末２１２の外部に接続されていてもよい。操作情報の受信端末とは作業機械２２１である。映像の符号化機器も同様に、撮像装置２２２が内蔵していてもよいし、撮像装置２２２の外部に接続されていてもよい。
　符号化映像のビットレートについては、符号化映像パケットの送信データ量や、遠隔操作システム２０にある符号化機器及び復号機器から取得した設定情報などを用いる。送信データ量は、例えば、単位時間当たりの映像パケットのペイロードサイズから算出することができる。設定情報とは、例えば、符号化機器が符号化する際にターゲットとするビットレートである。この場合、当該ビットレートが符号化映像のビットレートとして用いられてもよい。
　パケット損失率については、符号化映像のパケットの送信データ量と受信データ量の比や、遠隔操作システム２０内の符号化映像を転送するネットワーク２３におけるＰｉｎｇ等のテストパケットを送受信した結果に基づき算出される１秒単位のパケット損失率を用いる。なお、ビットレート及びパケット損失率は、前記以外を用いてもよい。
　続いて、遅延操作性推定部１２は、単位時間間隔での遅延時間（１秒単位の平均計測時間が遅延時間）ｄ［ｍｓ］に基づいて、遅延に基づく操作性の推定値である遅延操作性ｏｄｅｌａｙ、を算出ための処理をステップＳ１０２及びＳ１０３において実行する。以下では、遅延時間ｄ［ｍｓ］から遅延操作性ｏｄｅｌａｙ、を算出する方法について説明する。
　操作性は遅延と負の相関があり、遅延が大きいほど操作性は低下する。一方で、所定時間未満（以下、「検知限ｔ」という。）の遅延であれば操作者は遅延を検知できず操作性が低下しないという特性（以下、「特性ａ」という。）が有る。遅延操作性推定部１２は、この特性ａを考慮する。
　まず、ステップＳ１０２において、遅延操作性推定部１２は、閾値となる検知限ｔの値を選択する。ｔの値は、事前に主観評価実験等で調べた特性に基づいて定数として予め設定されてもよいし、任意の係数を用いて映像品質の影響などを加味して遅延操作性推定部１２が調整してもよいし、可変としてもよい。
　続いて、遅延操作性推定部１２は、遅延時間ｄ［ｍｓ］と検知限ｔを、遅延時間がｔ未満であれば遅延のない状態と同じ遅延操作性ｏｄｅｌａｙの値を出力し、検知限ｔを超えたら遅延操作性ｏｄｅｌａｙが低下するモデルである、以下の式（１－１）～（１－３）のいずれかに当てはめて、遅延操作性ｏｄｅｌａｙ、を算出する（Ｓ１０３）。
　各式において、ｃ１、ｃ２は式ごとに異なる係数である。なお、特性ａを考慮したこれ以外の式が用いられてもよい。
　なお、遅延操作性ｏｄｅｌａｙ、は、遅延に基づく操作性を０－１の範囲に正規化した値である。
　続いて、映像操作性推定部１３は、符号化映像のビットレートｂ［ｋｂｐｓ］とパケット損失率ｐ［％］に基づき、映像の品質（符号化映像ビットレート，パケット損失率）に基づく操作性の推定値である映像操作性ｏｖｉｄｅｏを算出する（Ｓ１０４）。
　映像の品質はビットレートと相関があり、ビットレートが高いほど操作性が高くなる。一方で一定以上のビットレートに達した場合、映像の品質はほぼ上限に達し、それ以上のビットレートにおいても操作性は変化しない。つまり、或る一定のビットレートまでは操作性が高くなる。したがって、ビットレートが高くなるにしたがって操作性が高くなるが、或る一定のビットレート以上では操作性が変わらなくなるモデルを用いて、ｐ＝０とし場合での映像操作性ｏｖｉｄｅｏ計算される。これに加え、パケット損失が発生した場合の影響については、パケット損失率が操作性と負の相関があり、損失率が大きいほど操作性は低下する。また、パケット損失率よりもパケット損失個数が操作性と負の相関があるケースでは、同一のパケット損失率に対してビットレートが大きいほど操作性の低下が大きくなる。
　そこで、映像操作性推定部１３は、以上のような特性（以下、「特性ｂ」という。）を考慮し、以下の式（２－１）～（２－５）のいずれかに基づいて、パケット損失率が０の場合はビットレートの大小による映像操作性ｏｖｉｄｅｏを算出し、パケット損失率が０より大きい場合はビットレート及びパケット損失率から映像操作性ｏｖｉｄｅｏを算出する。
　ここで、各式において、ｃ３～ｃ８は式ごとに異なる係数である。また、ｏｍａｘは、映像操作性ｏｖｉｄｅｏが取りうる最大値である。すなわち、映像操作性ｏｖｉｄｅｏの値の範囲は１－５である。ｏｍａｘの値は、事前の主観評価実験で１－５の範囲で得られた、操作性ｏの最大値であってもよいし、又は操作性ｏの理論的な最大値である５であってもよい。
　なお、特性ｂを考慮したこれ以外の式が用いられてもよい。
　続いて、統合部１４は、遅延操作性ｏｄｅｌａｙ及び映像操作性ｏｖｉｄｅｏに基づいて、遅延及び映像品質の双方に基づく、遠隔操作システム２０全体の操作性ｏを算出する（Ｓ１０５）。
　操作性ｏは、遅延操作性ｏｄｅｌａｙ、に対して図２に示すように映像品質低下の影響を相乗的に受けて低下する特性（以下、「特性ｃ」という。）がある。ここで、「相乗的」とは、遅延全体に対して映像品質の差を保って操作性ｏが低下するということではなく、映像品質の影響を受けて遅延が低下する場合、相対的に大きな遅延の場合は映像品質が下がっても遅延の操作性ｏは低下しないが、相対的に小さな遅延の場合は映像品質が下がると遅延の操作性ｏは低下するような傾向を表現した言葉である。言い換えると、遅延が小さい場合は映像品質の差が操作性ｏにあらわれるが、遅延に対する操作性ｏが低下し始めたら操作性ｏの低下の傾きが映像品質によって変わる、という傾向を「相乗的」と表現している。
　統合部１４は、映像操作性ｏｖｉｄｅｏの低下と遅延操作性ｏｄｅｌａｙの低下の相乗的な影響を考慮して、以下の式（３－１）又は式（３－２）に基づいて操作性ｏ算出する。
　ここで、各式において、ｃ９は式ごとに異なる係数である。ｏｍａｘは、上記した通りである。操作性ｏの値の範囲は１－５であり、その値が大きい程、操作性が高いことを示す。いずれの式においても、映像操作性ｏｖｉｄｅｏと遅延操作性ｏｄｅｌａｙとが乗算される項を含む。これにより、上記の相乗的な影響が各式に反映されている。なお、特性ｃを考慮したこれ以外の式が用いられてもよい。
　続いて、出力部１５は、操作性ｏに基づく出力を行う（Ｓ１０６）。例えば、出力部１５は、操作性ｏを所定の端末に出力（表示）してもよい。又は、出力部１５は、遠隔操作システム２０に対する制御情報を出力してもよい。例えば、出力部１５は、操作性ｏが一定の値以下であれば、遠隔操作システム２０を停止させるための制御情報を遠隔操作システム２０に対して送信してもよい。
　なお、ｔの値や各係数の値は、例えば、前記入力と、前記入力に対する操作性の主観評価を行った結果とを最小二乗法などの手法で最適化して導出した結果を用いる。ｔの値や各係数の値については前記導出方法以外の方法で導出した結果を用いてもよいし、予め定められた係数を用いてもよい。
　上述したように、本実施の形態によれば、作業機械２２１の遠隔操作について通信の遅延と映像品質とを考慮した操作性ｏを推定可能とすることができる。操作性ｏを監視することで、操作性ｏが一定の値に低下した状態が継続するなどの状況から遠隔操作室２１の操作者への操作中止を通知したり、作業機械２２１を緊急停止したり、遠隔操作の管理者に通知することができるようになり、操作者の操作性低下に起因した事故等の防止に寄与することができる。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　操作性推定装置
１１　　　　　入力部
１２　　　　　遅延操作性推定部
１３　　　　　映像操作性推定部
１４　　　　　統合部
１５　　　　　出力部
２０　　　　　遠隔操作システム
２１　　　　遠隔操作室
２２　　　　　遠隔地
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　プロセッサ
１０５　　　　インタフェース装置
２１１　　　　操作用デバイス
２１２　　　　監視端末
２２１　　　　作業機械
２２２　　　　撮像装置
Ｂ　　　　　　バス

Claims (6)

  1. 　作業機械の遠隔操作における操作に関する通信の遅延が大きいほど前記作業機械の操作性が低下するが、所定時間未満の遅延であれば前記操作性は低下しないという特性に基づいて、前記遅延に基づく操作性の推定値である遅延操作性を算出するように構成されている遅延操作性推定部と、
    　前記遠隔操作における前記作業機械の映像の通信に関して、或る一定のビットレートまでは操作性が高くなり、パケット損失率が大きいほど操作性は低下するという特性に基づいて、前記映像の品質に基づく操作性の推定値である映像操作性を算出するように構成されている映像操作性推定部と、
    　前記遅延操作性と前記映像操作性とに基づいて、前記作業機械の操作性の推定値を算出するように構成されている統合部と、
    を有することを特徴とする装置。
  2. 　前記映像操作性推定部は、更に、同一のパケット損失率に対してビットレートが大きいほど操作性の低下が大きいという特性に基づいて、前記映像操作性を算出するように構成されている、
    ことを特徴とする請求項１記載の装置。
  3. 　前記統合部は、前記遅延に対する前記作業機械の操作性が低下し始めたら当該操作性の低下の傾きが前記映像の品質によって変わるという特性に基づいて、前記作業機械の操作性の推定値を算出するように構成されている、
    ことを特徴とする請求項１記載の装置。
  4. 　作業機械の遠隔操作における操作に関する通信の遅延時間と、前記遠隔操作における前記作業機械の映像に関する映像ビットレート情報及び映像パケット損失率とに基づいて、前記作業機械の操作性の推定値を算出する、
    ことを特徴とする装置。
  5. 　作業機械の遠隔操作における操作に関する通信の遅延が大きいほど前記作業機械の操作性が低下するが、所定時間未満の遅延であれば前記操作性は低下しないという特性に基づいて、前記遅延に基づく操作性の推定値である遅延操作性を算出する遅延操作性推定手順と、
    　前記遠隔操作における前記作業機械の映像の通信に関して、或る一定のビットレートまでは操作性が高くなり、パケット損失率が大きいほど操作性は低下するという特性に基づいて、前記映像の品質に基づく操作性の推定値である映像操作性を算出する映像操作性推定手順と、
    　前記遅延操作性と前記映像操作性とに基づいて、前記作業機械の操作性の推定値を算出する統合手順と、
    をコンピュータが実行することを特徴とする操作性推定方法。
  6. 　作業機械の遠隔操作における操作に関する通信の遅延が大きいほど前記作業機械の操作性が低下するが、所定時間未満の遅延であれば前記操作性は低下しないという特性に基づいて、前記遅延に基づく操作性の推定値である遅延操作性を算出する遅延操作性推定手順と、
    　前記遠隔操作における前記作業機械の映像の通信に関して、或る一定のビットレートまでは操作性が高くなり、パケット損失率が大きいほど操作性は低下するという特性に基づいて、前記映像の品質に基づく操作性の推定値である映像操作性を算出する映像操作性推定手順と、
    　前記遅延操作性と前記映像操作性とに基づいて、前記作業機械の操作性の推定値を算出する統合手順と、
    をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2024/005240 2024-02-15 2024-02-15 装置、操作性推定方法及びプログラム Pending WO2025173166A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/005240 WO2025173166A1 (ja) 2024-02-15 2024-02-15 装置、操作性推定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/005240 WO2025173166A1 (ja) 2024-02-15 2024-02-15 装置、操作性推定方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2025173166A1 true WO2025173166A1 (ja) 2025-08-21

Family

ID=96772562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/005240 Pending WO2025173166A1 (ja) 2024-02-15 2024-02-15 装置、操作性推定方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2025173166A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005125457A (ja) * 2003-10-24 2005-05-19 Yaskawa Electric Corp 作業用移動ロボット
WO2023167979A1 (en) * 2022-03-03 2023-09-07 Interdigital Patent Holdings, Inc. Methods, architectures, apparatuses and systems for multi-modal communication including multiple user devices
US20230337269A1 (en) * 2020-07-02 2023-10-19 Interdigital Patent Holdings, Inc. Methods, architectures, apparatuses and systems for extended reality-assisted radio resource management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005125457A (ja) * 2003-10-24 2005-05-19 Yaskawa Electric Corp 作業用移動ロボット
US20230337269A1 (en) * 2020-07-02 2023-10-19 Interdigital Patent Holdings, Inc. Methods, architectures, apparatuses and systems for extended reality-assisted radio resource management
WO2023167979A1 (en) * 2022-03-03 2023-09-07 Interdigital Patent Holdings, Inc. Methods, architectures, apparatuses and systems for multi-modal communication including multiple user devices

Similar Documents

Publication Publication Date Title
US9825816B2 (en) Method and system for resource-aware dynamic bandwidth control
US8458328B2 (en) Method and system for data packet queue recovery
EP2119204B1 (en) Method and arrangement for video telephony quality assessment
US7894367B2 (en) Methods and systems for bandwidth protection
US8533366B2 (en) Method of determining image transmission method, image supplying system, image supplying device, image display device, program and computer-readable recording medium
US10917643B2 (en) Method and apparatus for detecting scene change frame and system
US20110299589A1 (en) Rate control in video communication via virtual transmission buffer
EP2308199B1 (en) Flow-rate adaptation for a connection of time-varying capacity
US11159834B2 (en) Managing congestion response during content delivery
EP3393125B1 (en) Audio/visual quality estimation device, method for estimating audio/visual quality, and program
US9154820B2 (en) Encoding apparatus, encoding method, and storage medium
KR20150027248A (ko) 비디오 인코딩 압축 품질을 획득하는 방법 및 장치
CN110290428A (zh) 一种拥塞控制方法、装置、终端及存储介质
CN111953978B (zh) 帧率控制方法、装置及存储介质
US9009344B2 (en) Method of sending data and associated device
US20140133316A1 (en) Parameter Estimation Device, Parameter Estimation Method, and Parameter Estimation Program
KR102414155B1 (ko) 비디오 인코더
US20120287794A1 (en) Method and apparatus to estimate the sender's congestion window throughout the life of a tcp flow (socket connection)
US8514858B2 (en) Packet transmission device, packet transmission method and computer program product stored on non-transitory computer-readable medium
CN117641065A (zh) 一种智能网络监测传感器的自适应图像传输方法
KR100932557B1 (ko) 대역폭 산정 모델 및 그 방법
JP5537692B1 (ja) 品質劣化原因推定装置、品質劣化原因推定方法、品質劣化原因推定プログラム
JP2003298557A (ja) データ伝送システム、データ伝送装置及びデータ伝送方法並びにコンピュータによって実行されるデータ伝送プログラム
CN119603490A (zh) 一种视频数据重发方法、装置、设备及介质
KR20210070739A (ko) 비디오 인코딩 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24924860

Country of ref document: EP

Kind code of ref document: A1