JP6706171B2 - Remote control system for construction machinery - Google Patents
Remote control system for construction machinery Download PDFInfo
- Publication number
- JP6706171B2 JP6706171B2 JP2016153807A JP2016153807A JP6706171B2 JP 6706171 B2 JP6706171 B2 JP 6706171B2 JP 2016153807 A JP2016153807 A JP 2016153807A JP 2016153807 A JP2016153807 A JP 2016153807A JP 6706171 B2 JP6706171 B2 JP 6706171B2
- Authority
- JP
- Japan
- Prior art keywords
- data generation
- generation rate
- data
- correction
- construction machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Closed-Circuit Television Systems (AREA)
- Selective Calling Equipment (AREA)
Description
本発明は、建設機械、特に油圧ショベル等の遠隔操作用映像伝送装置、システム、及び方法に関する。 The present invention relates to a construction machine, in particular, a remote control video transmission device, system, and method for a hydraulic excavator or the like.
近年、災害復旧現場、ダム建設現場、トンネル掘削現場、火山活動の影響が懸念される現場など、人が立ち入ることが危険な作業現場において、無人の建設機械を効率良く運用し、施工や監視を安全に行うことが望まれている。このような無人の建設機械の一つとして、遠隔地から操作(操縦)できる遠隔操作型の建設機械が検討されている。例えば特開平11−93220によれば、現場の建設機械にカメラを搭載し、そのカメラで撮像した映像を現場から離れた場所でモニタに表示させ、このモニタの表示映像を見て、建設機械に所定の作業を行うように指示する建設機械用遠隔操作装置が提案されている。 In recent years, unmanned construction machinery has been efficiently operated to perform construction and monitoring at work sites where it is dangerous for people to enter, such as disaster recovery sites, dam construction sites, tunnel excavation sites, and sites where there is concern about the effects of volcanic activity. It is desired to do it safely. As one of such unmanned construction machines, a remote-controlled construction machine that can be operated (operated) from a remote place is under study. For example, according to Japanese Patent Laid-Open No. 11-93220, a construction machine at a site is equipped with a camera, and a video image captured by the camera is displayed on a monitor at a place away from the site. There has been proposed a remote control device for a construction machine that instructs to perform a predetermined work.
しかしながら、特許文献1に示される遠隔操作装置において、現場の建設機械は無線ネットワークで接続されており、移動や旋回など車両本体が大きく動く場合、建設機械の動作に伴って、建設機械に付随するアンテナの向きや位置が変化する。これにより、無線基地局と建設機械の間の電波伝搬環境が変化し、瞬時的に回線容量が減少することによって、データの欠落が生じる可能性がある。データの欠落は、モニタ画像の視認性を低下させ、遠隔操作時の作業効率を低下させる。 However, in the remote control device disclosed in Patent Document 1, the construction machine on site is connected by a wireless network, and when the vehicle body largely moves such as moving or turning, the construction machine accompanies the construction machine along with the operation of the construction machine. The orientation and position of the antenna changes. As a result, the radio wave propagation environment between the radio base station and the construction machine changes, and the line capacity may momentarily decrease, resulting in data loss. The lack of data reduces the visibility of the monitor image and reduces the work efficiency during remote operation.
本発明の一側面は、第1構造物と第2構造物とで構成される本体と、前記本体の周囲を撮像するカメラと、前記本体には掘削作業を行うための作業装置と、前記第1構造物と第2構造物を相対的に回動するための回動装置と、前記本体が走行するための走行装置と、前記カメラを前記本体に設置するための雲台とが備えられ、さらに前記作業装置、前記回動装置、および前記走行装置、各々を駆動するために備えられたアクチュエータとを有する建設機械と、前記アクチュエータへの操作信号を生成する操作部を備える操縦装置と、前記カメラで撮像された映像データと前記操作信号とを相互に無線通信するための無線通信装置が前記建設機械および前記操縦装置に備えられた建設機械の遠隔操縦システムであって、前記建設機械は、前記映像データを圧縮した第1データを生成する映像エンコーダと、前記第1データの一部が失われた場合に、前記第1データを用いて補正のために生成される補正データと前記第1データに対する前記補正データの割合である補正データ生成率が前記アクチュエータ毎に予め設定された設定テーブルを有し、さらに前記アクチュエータ毎に設定された補正データ生成率の内、最も大きい補正データ生成率を選定する補正データ生成率設定部と、前記無線通信装置を介して、前記操作部より送信された操作信号を用いて、前記操作信号により駆動されているアクチュエータを判別する判別部と、前記判別部により判別された前記駆動されているアクチュエータに応じて前記補正データ生成率設定部により求めた補正データ生成率と、前記映像エンコーダで生成された前記第1データとから、第2データを求める第2データ生成部と、前記第1データと前記第2データとを合わせた第3データを生成する第3データ生成部と、を備え、前記操縦装置は、前記無線通信装置を介して前記建設機械から送信された前記第3データを復号するとともに、復号された第3データを表示するモニタを有することを特徴とする。
According to one aspect of the present invention, a main body composed of a first structure and a second structure, a camera for imaging the periphery of the main body, a working device for performing excavation work on the main body, A rotating device for relatively rotating the first structure and the second structure; a traveling device for traveling the main body; and a platform for installing the camera on the main body. Furthermore the working device, said rotating device, and the traveling device, a construction machine having an actuator provided to drive each, a steering device comprising an operating unit for generating an operation signal to the actuator, A wireless communication device for wirelessly communicating image data captured by the camera and the operation signal with each other is a remote control system for a construction machine provided in the construction machine and the control device, wherein the construction machine is A video encoder for generating first data by compressing the video data; correction data generated for correction using the first data when a part of the first data is lost; The correction data generation rate, which is the ratio of the correction data to one data, has a setting table preset for each actuator, and further, the correction data generation rate is the largest among the correction data generation rates set for each actuator. A correction data generation rate setting unit for selecting, and a determination unit for determining an actuator driven by the operation signal using the operation signal transmitted from the operation unit via the wireless communication device; A second data is obtained from the correction data generation rate obtained by the correction data generation rate setting section according to the driven actuator discriminated by the section and the first data generated by the video encoder. A second data generating unit; and a third data generating unit that generates third data that is a combination of the first data and the second data, wherein the control device is the construction machine via the wireless communication device. It is characterized by having a monitor for decoding the third data transmitted from, and displaying the decoded third data.
本発明によると、建設機械の操作対象とするアクチュエータに応じて補正データ生成率を変える制御を行うことができる。これにより、通信環境の変化に対して強靭な通信が可能となり、映像の乱れを削減し、操作時の作業効率を向上させる。 According to the present invention, it is possible to perform control that changes the correction data generation rate according to the actuator that is the operation target of the construction machine. This enables communication that is robust against changes in the communication environment, reduces image distortion, and improves work efficiency during operation.
実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。 Embodiments will be described in detail with reference to the drawings. However, the present invention should not be construed as being limited to the description of the embodiments below. It is easily understood by those skilled in the art that the specific configuration can be changed without departing from the concept or the spirit of the present invention.
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。 In the structures of the invention described below, the same reference numerals are commonly used in different drawings for the same portions or portions having similar functions, and redundant description may be omitted.
本明細書等における「第1」、「第2」、「第3」などの表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。 The notations such as “first”, “second”, and “third” in this specification and the like are provided for identifying components and do not necessarily limit the number or order. Further, the numbers for identifying the constituent elements are used for each context, and the numbers used in one context do not always indicate the same configuration in other contexts. In addition, it does not prevent that a component identified by a certain number also has a function of a component identified by another number.
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。 The position, size, shape, range, etc. of each component shown in the drawings and the like may not represent the actual position, size, shape, range, etc. in order to facilitate understanding of the invention. Therefore, the present invention is not necessarily limited to the position, size, shape, range, etc. disclosed in the drawings and the like.
以下の実施例で説明される典型的な具体例は、操縦装置からの操作信号を無線により受信し、操作信号に基づいて、一部または全部の機械的な動作が制御される建設機械であって、周囲の映像を撮影するカメラと、カメラで撮影した映像信号を圧縮する映像エンコーダと、映像エンコーダから出力される映像データ(第1データ)から誤り訂正符号(第2データ)を生成する誤り訂正符号化部と、第1データと第2データとを合わせた第3データを生成する第3データ生成部と、映像データを誤り訂正符号とともに操縦装置に無線により送信する無線通信装置と、駆動されているアクチュエータ、もしくは操作信号の操作量に基づいて誤り訂正符号の生成条件を制御する通信制御部を有する建設機械である。 A typical concrete example described in the following embodiments is a construction machine in which an operation signal from a control device is wirelessly received and a part or all of mechanical operations are controlled based on the operation signal. An error that generates an error correction code (second data) from the video data (first data) output from the video encoder, the camera that shoots the surrounding video, the video encoder that compresses the video signal shot by the camera, A correction coding unit, a third data generation unit that generates third data that is a combination of the first data and the second data, a wireless communication device that wirelessly transmits video data together with an error correction code to the control device, and a drive unit. The construction machine includes a communication control unit that controls the generation condition of the error correction code based on the operated actuator or the operation amount of the operation signal.
一つの動作例として、通信制御部が建設機械に入力された操作信号を読み取り、建設機械の動作量が大きいと予測される場合に誤り訂正符号の冗長度を上げ、動作量が小さいと予測される場合に誤り訂正符号量の冗長度を下げることができる。 As one operation example, the communication control unit reads the operation signal input to the construction machine, increases the redundancy of the error correction code when the operation amount of the construction machine is predicted to be large, and predicts that the operation amount is small. In this case, the redundancy of the error correction code amount can be reduced.
よく知られているように、誤り訂正符号とは、データを一定の長さごとに区切り、一定の手順で計算を行って誤り訂正符号を算出し、元のデータに付加して一緒に書き込みや送信を行う技術である。読み込みや受信の際にはデータと符号を分離し、一定の計算手順でデータに誤りがないか確認し、誤りが検出されたら符号を元に復元を試みる。 As is well known, the error correction code is divided into data with a certain length, and the error correction code is calculated according to a certain procedure, and the error correction code is added to the original data and written together. It is a technique for transmitting. At the time of reading or receiving, the data and the code are separated, a certain calculation procedure is used to check if the data has an error, and if an error is detected, restoration is attempted based on the code.
誤り訂正符号では、ある長さあたり何ビットまでの誤りを検出可能か、何ビットまでの誤りを訂正可能かが符号により決まっている。符号を長くすれば、すなわち冗長度を上げれば、検出・訂正できる誤りも増えるが、符号の算出・逆算のための計算量が増え、記録や伝送により多くの容量や帯域が必要となる。一方、符号を短くすれば、すなわち冗長度を下げれば、検出・訂正できる誤りが減るが、符号の算出・逆算のための計算量が減り、記録や伝送の容量や帯域が低減できる。 In the error correction code, how many bits an error can be detected per certain length and how many bits an error can be corrected are determined by the code. If the code is made longer, that is, the redundancy is increased, the number of errors that can be detected/corrected will be increased, but the amount of calculation for calculating/inversely calculating the code will be increased, and more capacity and bandwidth will be required for recording and transmission. On the other hand, if the code is shortened, that is, the redundancy is decreased, the number of errors that can be detected/corrected is decreased, but the amount of calculation for calculating/inverse calculation of the code is decreased, and the capacity and band of recording and transmission can be reduced.
このような誤り訂正符号には,ハミング符号、水平垂直パリティ符号、リードソロモン符号、BCH符号などがある。以下の実施例では、上記誤り訂正符号から適宜選択して用いることができる。 Such error correction codes include Hamming code, horizontal/vertical parity code, Reed-Solomon code, BCH code and the like. In the following embodiments, the error correcting code can be appropriately selected and used.
図1を用いて、実施例の概要を説明する。まず遠隔操縦システムの概念を説明する。例えば建設機械105にはカメラ106が取り付けられており、カメラ106で取得した映像信号は、図示しない送信アンテナにより無線で送信され、直接あるいはネットワーク104等を介して取得することができる。直接あるいはネットワーク104から取得した映像はモニタ103に投影され、オペレータ101はモニタ103の映像を見ながら操作部102を操作する。このとき、操作部102からの操作信号は、直接あるいはネットワーク104等を介して建設機械105に伝達され、図示しない受信アンテナで受信され、当該操作信号に応じて建設機械105が所定の動作を行う。
The outline of the embodiment will be described with reference to FIG. First, the concept of the remote control system will be explained. For example, a camera 106 is attached to the
上述のように、図1ではネットワーク104を介して映像信号と制御信号が伝送されているが、建設機械105と操作部102が直接無線で交信するように構成してもよい。ネットワーク104を介して構成する場合には、ネットワーク104は、建設機械105と無線で交信するためのインタフェースを備える。
As described above, in FIG. 1, the video signal and the control signal are transmitted via the network 104, but the
建設機械105としては、油圧ショベル、ホイールローダ、クレーン、ブルドーザ等種々のものが考えられるが、図1では、建設機械105として油圧ショベルを例としている。油圧ショベルは一般に、上部旋回体108(第1構造物)と下部走行体109(第2構造物)からなり、上部旋回体108にブーム、アーム、バケットからなるリンク機構で構成された作業部107(作業装置)が備えられる。上部旋回体108と下部走行体109とは相対的に旋回動作が行えるよう、図示しない旋回装置(回動装置)が備えられている。下部走行体109には建設機械105が走行動作できるよう図示しない走行装置が備えられている。作業部107にはブーム、アーム、バケットが掘削などリンク動作するよう図示しない可動装置が備えられている。旋回装置や走行装置は具体的には油圧モータや電動モータであり、可動装置は油圧シリンダや電動シリンダで構成される。
As the
また、建設機械105はカメラ106の撮影方向を制御する図示しない雲台を有する(以降、旋回装置や走行装置を構成する油圧モータもしくは電動モータ、作業部107の可動装置を構成する油圧シリンダや電動シリンダ、および雲台を制御する電動モータ等、をアクチュエータ204と呼ぶことがある。アクチュエータ204については図2参照)。
Further, the
次にアクチュエータ204の駆動回路について説明する。まずは旋回装置、走行装置、作業部107の可動装置を油圧駆動する回路を例とする。建設機械105には図示しないエンジンが搭載され、エンジンの駆動力により図示しない油圧ポンプが駆動される。これにより油圧ポンプはアクチュエータ204全てが必要とする流量を図示しない流量制御弁へ供給する。流量制御弁はアクチュエータ204毎に備えられ、油圧ポンプからの流量をアクチュエータ204毎へ必要流量を分配する。さらに操作部102からの操作信号を油圧信号に変換し流量制御弁へ出力する図示しない制御装置が備えられる。これらエンジン、油圧ポンプ、流量制御弁、および制御装置は通常上部旋回体108に備えられる。
Next, the drive circuit of the
上部旋回体108、下部走行体109、作業部107は鋼材を用いた構造物で構成されており、しかも自動車等と比べ大型である場合が多い。例えば上部旋回体108が旋回したり、下部走行体109により走行して位置を移動したり、さらに作業部107がリンク動作をしたりすることで、送信アンテナと受信アンテナとの位置関係が変動したり、無線通信の障害となったりなど、無線通信環境に影響を与えることが予想される。
The upper revolving
なお、ホイールローダの場合は、前部構造体(第1構造物)と後部構造体(第2構造物)を備え、前部構造体に前輪、後部構造体に後輪を備え走行する(走行装置)。また前部構造体と後部構造体とはアーテキュレート機構(回動装置)を有し、これによりカーブ走行が可能となる。さらに前部構造体にはバケットを有するリンク機構からなる作業部(作業装置)、後部構造体にはエンジン等、を有する。油圧ショベルと同様これを駆動するアクチュエータが備わっており、アクチュエータは油圧や電動により駆動する。 In the case of a wheel loader, a front structure (first structure) and a rear structure (second structure) are provided, the front structure is provided with front wheels, and the rear structure is provided with rear wheels for traveling (running). apparatus). Further, the front structure and the rear structure have an articulation mechanism (rotating device), which enables curve traveling. Further, the front structure has a working unit (working device) including a link mechanism having a bucket, and the rear structure has an engine. Like a hydraulic excavator, it has an actuator that drives it, and the actuator is driven by hydraulic pressure or electric power.
他のアクチュエータである雲台であるが、電動モータ等で可動する電動雲台を用い操作部102からの操作信号によりオペレータ101が撮影したい方向にカメラ106を制御する。
Although it is a pan head which is another actuator, an electric pan that is movable by an electric motor or the like is used to control the camera 106 in a direction in which the
[システム構成]
図2は本発明の第1の実施形態に係る建設機械105の遠隔操縦システムを示した図である。建設機械105に取り付けられたカメラ106からの映像は、映像エンコーダ206(第1データ生成部)によって第1データとして圧縮され、誤り訂正符号化部(第2データ生成部)207に入力される。誤り訂正符号化部(第2データ生成部)207は入力された第1データに対して誤り訂正符号(第2データ)を生成し、第3データ生成部2071にて第1データと誤り訂正符号とを合わせた第3データとして出力する。第3データ生成部2071から出力された第3データは無線通信部202により、無線伝送路を介して無線基地局201に伝送される。
[System configuration]
FIG. 2 is a diagram showing a remote control system for the
無線基地局201で受信された第3データは誤り訂正復号化部208に送られ、誤り訂正復号化部208は、伝送路上で生じた第1データの誤りや欠損を修復する。修復された第3データを映像デコーダ209で伸長することで、モニタ103に映像が表示される。
The third data received by the wireless base station 201 is sent to the error
一方、操縦装置210の操作部102から送信される操作信号は、無線基地局201を介して建設機械105の無線通信部202に送られ、駆動制御部203へと伝達される。駆動制御部203では、操作信号には各アクチュエータ204の操作指令情報が含まれ、それぞれの操作指令情報は建設機械105のアクチュエータ204の内、操作対象とするアクチュエータと操作量(例えばアクチュエータの目標速度)を伝える。
On the other hand, the operation signal transmitted from the
駆動制御部203は受信した操作信号に基づき、所定のアクチュエータ204を駆動するとともに、通信制御部205(補正データ生成率設定部)に操作対象とするアクチュエータや操作量の情報(以降、制御内容と呼ぶ事がある)を伝達する。通信制御部205は伝えられた制御内容に応じて、誤り訂正符号化部207で生成する第2データを算出するための補正データ生成率を決定する。補正データ生成率の決定方法は後述する。
The
アクチュエータ204の実際の動作は、上述した油圧ポンプより供給された流量をさらに流量制御弁で分配して生じさせるため、駆動制御部203の指示から所定の遅れ時間を持つ。従って、無線伝送路の電波環境の変化が生じる前に、補正データ生成率(冗長度)の制御を行うことが可能となる。つまり,建設機械の操作によって電波環境が劣化する前に補正データ生成率を上げることで,誤り訂正符号(第2データ)を増加し,映像の乱れを防ぐことができる。
The actual operation of the
操作部102、駆動制御部203、通信制御部205、映像エンコーダ206、誤り訂正符号化部207、誤り訂正復号化部208、映像デコーダ209はハードウェア、ソフトウェアのどちらで実装されても良い。ソフトウェアで実装する場合には、上記各構成は一つまたは複数のコンピュータで実現することができる。また、複数の構成を一つのコンピュータで実現することもできる。特に図示しないが、周知のようにコンピュータはプロセッサ、メモリ、および入出力装置を備え、メモリには後に図4,図6に示す各処理を実行するためのプログラムや、図3,図5に定義した各種データが格納される。メモリに格納されたソフトウェア(プログラム)をプロセッサが実行することにより、所定の機能を実現することができる。
The
実施例1における補正データ生成率の決定方法に関する通信制御部205の動作例を説明する。 An operation example of the communication control unit 205 related to the method of determining the correction data generation rate in the first embodiment will be described.
図3は通信制御部205が備える図示しないメモリが記憶している操作アクチュエータに対する補正データ生成率のテーブルである。なお、操作アクチュエータとはアクチュエータ204の内、操作部102からの操作信号により動作しているアクチュエータを指す。各操作アクチュエータの種類を特定する操作アクチュエータ情報310に応じて、補正データ生成率320を定めている。
FIG. 3 is a table of correction data generation rates for operation actuators stored in a memory (not shown) included in the communication control unit 205. It should be noted that the operation actuator refers to one of the
図4は通信制御部205の制御フローである。この制御フローは一定間隔で繰り返し行われる事を想定する。S401は操縦装置210と建設機械105とが停止状態から駆動可能な状態へ移行した事を示す。一例として操縦装置210より図示しないキーをONし、操縦装置210が操縦可能な状態、建設機械105がエンジンが始動し駆動可能な状態に、各々移行する。
FIG. 4 is a control flow of the communication control unit 205. It is assumed that this control flow is repeated at regular intervals. S401 indicates that the control device 210 and the
次にS401からS402へ移る。S402では操作部102から操作信号が通信制御部205へ入力されたかどうか判定し、入力された場合S403へ移り、入力されない場合はS404へ移行する。S402で入力されたと判断された場合、S403では入力された操作信号から操作アクチュエータを把握する。この場合、単数か複数かの情報も生成する。
Then, the process proceeds from S401 to S402. In S402, it is determined whether or not an operation signal is input from the
次にS402もしくはS403からS404へ移行し、操作アクチュエータの補正データ生成率を図3の補正データ生成率テーブルを用いて設定する。図3の例では、S402で操作信号入力無と判断された場合、又はS403で操作アクチュエータを把握した結果、カメラの雲台操作に対しては補正データ生成率を0.1、建設機械105のバケット操作では補正データ生成率を0.5、アームの操作では0.6、ブームの操作では0.7、走行、または旋回操作では補正データ生成率を1.0としている。これは操作信号入力無と判断された場合、又はカメラの雲台操作ではアンテナ設置部の動きの量がほとんどなく、電波環境の変化は小規模、作業部107が動作した場合では電波環境の変化が中規模、さらに走行、または旋回操作ではアンテナ設置部が大きく動くことがあり電波環境の変化が大規模、と各々推定される事を根拠とした設定である。例えば操作部102より旋回指示の操作信号が建設機械105に送信された場合、図3の補正データ生成率テーブルから操作アクチュエータが旋回のため、旋回に対する補正データ生成率1.0を設定する。他アクチュエータも同様に設定される。
Next, the process proceeds from S402 or S403 to S404, and the correction data generation rate of the operation actuator is set using the correction data generation rate table of FIG. In the example of FIG. 3, when it is determined that there is no operation signal input in S402 or as a result of grasping the operation actuator in S403, the correction data generation rate is 0.1 for the camera platform operation, and the
S404で補正データ生成率を設定すると、S405へ移行する。S405では操作アクチュエータが複数かどうかを判定し、複数の場合はS406へ移行し、単数の場合はS407へ移行する。 When the correction data generation rate is set in S404, the process proceeds to S405. In S405, it is determined whether or not there are a plurality of operation actuators. If there is more than one, the process proceeds to S406, and if there is one, the process proceeds to S407.
S406では、複数の操作アクチュエータに対する各補正データ生成率の内、最大値を選択する。例えば操作部102から旋回指示、ブーム指示、雲台指示、の各操作信号が建設機械105に送られた場合、旋回、ブーム、雲台の各補正データ生成率1.0、0.7、0.1から最大値である1.0を選択する。
In S406, the maximum value is selected from the correction data generation rates for the plurality of operation actuators. For example, when each operation signal of a turning instruction, a boom instruction, and a pan head instruction is sent from the
S405またはS406よりS407へ移行すると、S407ではS404もしくはS406で設定された補正データ生成率を誤り訂正符号化部207へ出力する。
When the process proceeds from S405 or S406 to S407, the correction data generation rate set in S404 or S406 is output to the error
次にS407よりS408へ移行する。S408では操縦装置210および建設機械105を停止状態に移行するかどうか判定する。一例として操縦装置210の図示しないキーがOFFされ操縦装置210および建設機械105が停止状態に移行するとともにこの制御フローも停止する。またキーがONであればS402へリターンする。
Then, the process proceeds from S407 to S408. In S408, it is determined whether or not the control device 210 and the
なお、図3の補正データ生成率のテーブルは6つでなくとも良く、電波環境の相違により2以上の任意の数だけ存在してもよい。 It should be noted that the correction data generation rate table in FIG. 3 does not have to be six, and may be present in an arbitrary number of 2 or more depending on the difference in radio wave environment.
また、補正データ生成率は1.0以下に限るものでなく、電波環境により1.0より大きい値に設定してもよい。 The correction data generation rate is not limited to 1.0 or less, and may be set to a value greater than 1.0 depending on the radio wave environment.
次に誤り訂正符号化部207の動作について説明する。誤り訂正符号化部207は通信制御部205で設定された補正データ生成率に基づいて、カメラ106からの映像パケットに対して第2データの生成処理を行う。具体的には映像エンコーダ206で圧縮された第1データに補正データ生成率を乗じて第2データを生成する。
Next, the operation of the error
なお、一般的に誤り訂正符号化処理で用いられる符号化率と補正データ生成率との関係であるが、補正データ生成率をα、第1データをk、第2データをmとした場合、m=αkである。一方、符号化率の定義は、符号化率をrとした場合、r=k/(k+m)である。これら2式から、補正データ生成率αと符号化率rとの関係は、α=(1/r)−1であり、補正データ生成率と符号化率とは一対一で対応する。よって補正データ生成率として符号化率を用いて第1データから第2データを求めてもよい。 It should be noted that the relationship between the coding rate and the correction data generation rate generally used in the error correction coding process is as follows. When the correction data generation rate is α, the first data is k, and the second data is m, m=αk. On the other hand, the definition of the coding rate is r=k/(k+m), where r is the coding rate. From these two equations, the relationship between the correction data generation rate α and the coding rate r is α=(1/r)−1, and the correction data generation rate and the coding rate have a one-to-one correspondence. Therefore, the second data may be obtained from the first data by using the coding rate as the correction data generation rate.
また通信制御部205が映像エンコーダ206の第1データの量を制御してもよく、映像エンコーダ206と誤り訂正符号化部207の補正データ生成率制御を同時に行うことで、例えば映像エンコーダ206からの第1データの量を削減しつつ、誤り訂正符号化部207の補正データ生成率(冗長度)を上げることで、伝送路上でのデータの欠落に対してより高い耐性を持った通信を行うことができる。図3の補正データ生成率のテーブルは、建設機械の種類によっても異なり通信制御部205がアクセス可能なメモリやストレージデバイスなどに格納しておくことができる。
Further, the communication control unit 205 may control the amount of the first data of the
本実施例では、通信制御部205が建設機械105に入力された操作信号を読み取り、建設機械105のアクチュエータ204の内の操作アクチュエータに応じて補正データ生成率を変える制御を行うことができる。これにより、通信環境の変化に対して強靭な通信が可能となり、映像の乱れを削減し、遠隔操作時の作業効率を向上させる。
In the present embodiment, the communication control unit 205 can read the operation signal input to the
なお、一般に通信制御においては、一方向あるいは双方向の通信状態を評価し、送信信号にフィードバックするフィードバック制御が行われることがある。例えば、図2において、無線通信部202で受信信号強度、SN比、エラーレート等をモニタし、例えば受信信号強度が低下した場合、無線基地局201に対して送信出力を強めるべく要求する信号を送信する。このようなフィードバック制御は、上記図3、図4で説明した制御と併用することができる。
Generally, in communication control, there is a case where feedback control is performed in which a unidirectional or bidirectional communication state is evaluated and a feedback is given to a transmission signal. For example, in FIG. 2, the
また、図3の例では油圧ショベルの例を示したが、他の例として、車両に上部旋回体とこれに搭載されたアーム部を供えるクレーン車のような建設機械にも適用可能である。クレーン車では、例えば、操縦装置からの制御信号を無線により受信し、制御信号が上部旋回体の旋回、または下部走行体の移動指示であるとき、誤り訂正符号化部207は通信制御部205にて補正データ生成率を補正データ生成率のテーブルより決定され第2データを生成することができる。このため第一の実施例と同じ効果が得られる。
In addition, although the example of the hydraulic excavator is shown in the example of FIG. 3, as another example, the present invention can be applied to a construction machine such as a crane vehicle in which a vehicle is provided with an upper swing body and an arm portion mounted on the upper swing body. In a mobile crane, for example, when a control signal from a control device is wirelessly received and the control signal is a turn of the upper swing body or a movement instruction of the lower runner, the error
実施例1では、補正データ生成率がアクチュエータ毎に予め設定された設定テーブル(図3)を用いて、補正データ生成率を定めていた。実施例2では、建設機械は、操縦装置より送信された操作信号に応じた操作量を求める操作量演算部と、操作量演算部により求められた操作量が増大するに従い、補正データ生成率が増大する演算テーブルを用いて、修正補正データ生成率を定める。実施例2の構成によれば、アクチュエータの速度による電波環境の変動に対してより精密な補正データ生成率のコントロールが可能となる。基本的な構成は図1、図2と同様であり、異なる部分を以下説明する。 In the first embodiment, the correction data generation rate is set using the setting table (FIG. 3) in which the correction data generation rate is preset for each actuator. In the second embodiment, the construction machine has a correction data generation rate that increases as the operation amount calculation unit that calculates the operation amount according to the operation signal transmitted from the control device and the operation amount calculated by the operation amount calculation unit increase. The corrected correction data generation rate is determined using the increasing calculation table. According to the configuration of the second embodiment, it is possible to more accurately control the correction data generation rate with respect to changes in the radio wave environment due to the speed of the actuator. The basic configuration is the same as in FIGS. 1 and 2, and the different parts will be described below.
図5は通信制御部205が備える図示しないメモリが記憶している、操作アクチュエータに対する操作量とそれに対する補正データ生成率の修正係数のテーブルである。各操作アクチュエータの種類および操作量を特定する操作アクチュエータ情報510に応じて、補正データ生成率の修正係数520を定めている。図5の例では、アクチュエータの種類としてアーム、操作部102をレバー、と各々想定し、そのレバーが中立にある時の操作量Siを0%、フル操作した際の操作量Siを100%としている。補正データ生成率の修正係数520は図3で得られたアクチュエータ204毎の補正データ生成率に乗ずる修正係数で、図5の例では、アームの操作量Siが0%<Si<30%で補正データ生成率の修正係数を0.6とし、30%≦Si<60%では0.8とし、60%≦Si≦100%では1.0としている。なお、図には示していないが、他のアクチュエータであるバケットやブームなどについても、同様に操作量に対して補正データ生成率の修正係数を定めたテーブルを備えている。また、操作信号入力されない場合、修正係数は1.0とする。
FIG. 5 is a table, which is stored in a memory (not shown) included in the communication control unit 205, of the operation amount for the operation actuator and the correction coefficient of the correction data generation rate for the operation amount. The
図6は第2実施例における通信制御部205の動作フローである。基本的に図4の制御フローに補正データ生成率修正係数を乗じたフローS601を追加したものであり、図4と同じ符号については説明を省略する。S402で操作信号が入力された場合、S601では操作アクチュエータと操作量に対して補正データ生成率の修正係数を図5に示す補正データ生成率の修正係数テーブルから求め、S403で求めた補正データ生成率に乗算し、S405〜S407のフローを経て誤り訂正符号化部207へ修正した修正補正データ生成率を出力する。
FIG. 6 is an operation flow of the communication control unit 205 in the second embodiment. Basically, a flow S601 obtained by multiplying the control flow of FIG. 4 by the correction data generation rate correction coefficient is added, and the description of the same reference numerals as those in FIG. 4 will be omitted. When an operation signal is input in S402, the correction coefficient of the correction data generation rate for the operation actuator and the operation amount is calculated from the correction coefficient table of the correction data generation rate shown in FIG. 5 in S601, and the correction data generation calculated in S403. The rate is multiplied, and the corrected corrected data generation rate corrected is output to the error
アームを例にすると、アームの操作量が0%より大きく30%未満で小さい場合は、電波環境の変化は小規模と推定されるため、図5より修正係数0.6を用い、図3のアームの補正データ生成率0.6に乗算して修正した修正補正データ生成率は0.36となる。一方、アーム操作量が60%以上であれば電波環境の変化は大規模と推定されるため、図5より修正係数1.0を用い、図3のアームの補正データ生成率0.6に乗算して修正した修正補正データ生成率は0.6を維持する。なお、第2実施例では修正係数を乗算した例を示したが、それに拘わるものでなく除算や減算など他の演算を用いてもよい。 Taking the arm as an example, when the amount of operation of the arm is greater than 0% and less than 30% and small, the change in the radio wave environment is estimated to be small. Therefore, a correction coefficient of 0.6 is used from FIG. The corrected correction data generation rate obtained by multiplying the correction data generation rate of 0.6 by the arm is 0.36. On the other hand, if the amount of arm operation is 60% or more, it is estimated that the change in the radio wave environment is large. Therefore, from FIG. 5, the correction coefficient 1.0 is used to multiply the correction data generation rate 0.6 of the arm in FIG. The corrected correction data generation rate corrected in this way is maintained at 0.6. In the second embodiment, an example in which a correction coefficient is multiplied is shown, but other operations such as division and subtraction may be used without being related thereto.
また、図5で例とした修正係数はS404で設定した補正データ生成率が操作アクチュエータが最速時で設定される事を想定している。ただし、S404の設定は最速時に拘るものでなく、中速度など比較的に遅い速度で設定し、それに合わせた修正係数を用いてもよい。 Further, the correction coefficient in the example of FIG. 5 is assumed to have the correction data generation rate set in S404 set at the maximum speed of the operation actuator. However, the setting of S404 is not limited to the maximum speed, but may be set at a relatively slow speed such as medium speed and a correction coefficient matching it may be used.
以上の構成によれば、補正データ生成率をアクチュエータで決めるだけでなく、その操作量に応じて修正できるため、補正データ生成率を適切に制御することができる。 According to the above configuration, not only the correction data generation rate can be determined by the actuator but also the correction data generation rate can be corrected according to the operation amount, so that the correction data generation rate can be appropriately controlled.
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施例において、各実施例の構成の一部を他の実施例の構成に追加、または置換することが可能である。また上記各構成、機能、処理部、処理手段は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するためのプログラムを解釈し、実行することで、ソフトウェアとして実現してもよい。 The present invention is not limited to the above-described embodiment, but includes various modifications. For example, in the above-described embodiments, a part of the configuration of each embodiment can be added to or replaced with the configuration of another embodiment. Further, each of the above-mentioned configurations, functions, processing units, and processing means may be realized partially or entirely by hardware, for example, by designing with an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized as software by the processor interpreting and executing a program for realizing each function.
本発明の装置・システムは、その各手順をコンピュータに実行させるための通信プログラム、通信プログラムを記録したコンピュータが読み取り可能な記憶媒体、通信プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。 An apparatus/system of the present invention includes a communication program for causing a computer to execute each procedure, a computer-readable storage medium recording the communication program, a program product that includes the communication program and can be loaded into an internal memory of the computer, It can be provided by a computer such as a server including the program.
101 オペレータ
102 操作部
103 モニタ
104 ネットワーク
105 建設機械
106 カメラ
107 作業部(作業装置)
108 上部旋回体(第1構造物)
109 下部走行体(第2構造物)
201 無線基地局(無線通信装置)
202 無線通信部装置(無線通信装置)
203 駆動制御部
204 アクチュエータ
205 通信制御部(補正データ生成率設定部)
206 映像エンコーダ(第1データ生成部)
207 誤り訂正符号化部(第2データ生成部)
2071 第3データ生成部
208 誤り訂正符号復号化部208
209 映像デコーダ
210 操縦装置
101
108 Upper revolving structure (first structure)
109 Undercarriage (second structure)
201 wireless base station (wireless communication device)
202 wireless communication unit device (wireless communication device)
203
206 Video encoder (first data generator)
207 Error correction coding unit (second data generation unit)
2071 Third
209 Video decoder 210 Control device
Claims (3)
前記アクチュエータへの操作信号を生成する操作部を備える操縦装置と、A control device including an operation unit that generates an operation signal to the actuator,
前記カメラで撮像された映像データと前記操作信号とを相互に無線通信するための無線通信装置が前記建設機械および前記操縦装置に備えられた建設機械の遠隔操縦システムであって、A remote control system for a construction machine, wherein a wireless communication device for mutually wirelessly communicating video data captured by the camera and the operation signal is a construction machine remote control system provided in the construction machine and the control device,
前記建設機械は、The construction machine is
前記映像データを圧縮した第1データを生成する映像エンコーダと、A video encoder that generates first data by compressing the video data;
前記第1データの量に対する補正データの量の割合である補正データ生成率が前記アクチュエータ毎に予め設定された設定テーブルを有し、さらに前記アクチュエータ毎に設定された補正データ生成率の内、操作されている前記アクチュエータの中で最も大きい補正データ生成率を選定する補正データ生成率設定部と、The correction data generation rate, which is the ratio of the amount of correction data to the amount of the first data, has a setting table preset for each of the actuators, and the correction data generation rate set for each actuator is operated. A correction data generation rate setting unit that selects the largest correction data generation rate of the actuators
前記無線通信装置を介して、前記操作部より送信された操作信号を用いて、前記操作信号により駆動されているアクチュエータを判別する判別部と、A discriminating unit that discriminates the actuator driven by the operation signal by using the operation signal transmitted from the operation unit via the wireless communication device.
前記判別部により判別された前記駆動されているアクチュエータに応じて前記補正データ生成率設定部により求めた補正データ生成率と、前記映像エンコーダで生成された前記第1データとから、前記第1データの誤りや欠損を修復する復元手段として前記補正データ生成率に従った量だけ生成される第2データを求める第2データ生成部と、前記第1データと前記第2データとを合わせた第3データを生成する第3データ生成部と、From the correction data generation rate obtained by the correction data generation rate setting section according to the driven actuator determined by the determination section and the first data generated by the video encoder, the first data As a restoring means for repairing the error or loss of the second data, a second data generating unit for obtaining the second data generated by the amount according to the correction data generation rate, and a third data combining the first data and the second data. A third data generation unit for generating data,
を備え、Equipped with
前記操縦装置は、The control device is
前記無線通信装置を介して前記建設機械から送信された前記第3データを受信すると、前記第1データを前記第2データにより修復して復号するとともに、復号された第1データを表示するモニタA monitor that receives the third data transmitted from the construction machine via the wireless communication device, restores the first data with the second data and decodes the same, and displays the decoded first data.
を有することを特徴とする建設機械の遠隔操縦システム。A remote control system for a construction machine, comprising:
前記補正データ生成率設定部は、前記操作量が増大するに従い、前記補正データ生成率を増大させる修正係数の演算テーブルを有し、前記修正係数を用いて前記補正データ生成率を修正した修正補正データ生成率を算出することを特徴とする請求項1記載の建設機械の遠隔操縦システム。 The operation signal to the actuator includes an operation amount that is a target speed of the actuator,
The correction data generation rate setting unit has a calculation table of a correction coefficient that increases the correction data generation rate as the operation amount increases, and the correction correction that corrects the correction data generation rate using the correction coefficient. The remote control system for a construction machine according to claim 1, wherein a data generation rate is calculated.
特徴とする請求項1または2に記載の建設機械の遠隔操縦システム。 The correction data generation rate setting unit selects the largest correction data generation rate when a plurality of the actuators are operated, and outputs the selected correction data generation rate to the third data generation unit. The remote control system for a construction machine according to claim 1 or 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016153807A JP6706171B2 (en) | 2016-08-04 | 2016-08-04 | Remote control system for construction machinery |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016153807A JP6706171B2 (en) | 2016-08-04 | 2016-08-04 | Remote control system for construction machinery |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018021395A JP2018021395A (en) | 2018-02-08 |
JP2018021395A5 JP2018021395A5 (en) | 2019-01-24 |
JP6706171B2 true JP6706171B2 (en) | 2020-06-03 |
Family
ID=61166172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016153807A Active JP6706171B2 (en) | 2016-08-04 | 2016-08-04 | Remote control system for construction machinery |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6706171B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7306260B2 (en) | 2019-12-26 | 2023-07-11 | コベルコ建機株式会社 | Remote control system for construction machinery |
JP7164278B2 (en) | 2020-03-27 | 2022-11-01 | 日立建機株式会社 | Work machine remote control system |
JP7367606B2 (en) | 2020-05-14 | 2023-10-24 | コベルコ建機株式会社 | Remote operation support device and remote operation support method |
JP7491046B2 (en) | 2020-05-15 | 2024-05-28 | コベルコ建機株式会社 | Image processing device and image processing method |
JP2022144495A (en) | 2021-03-19 | 2022-10-03 | コベルコ建機株式会社 | Remote control support system and remote control support method |
JP2022144491A (en) | 2021-03-19 | 2022-10-03 | コベルコ建機株式会社 | Imaging function control system and imaging function control method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003018586A (en) * | 2001-06-29 | 2003-01-17 | Toshiba Corp | Adjustment system for video resolution by video compression distribution on turning camera |
JP2006132265A (en) * | 2004-11-09 | 2006-05-25 | Hitachi Constr Mach Co Ltd | Remote radio control system for construction machine |
JP2008283509A (en) * | 2007-05-11 | 2008-11-20 | Matsushita Electric Ind Co Ltd | Information transmitter for vehicle |
JP5181733B2 (en) * | 2008-03-05 | 2013-04-10 | 日本電気株式会社 | Unmanned mobile data transmission apparatus and method |
US9206589B2 (en) * | 2009-03-31 | 2015-12-08 | Caterpillar Inc. | System and method for controlling machines remotely |
JP2013168776A (en) * | 2012-02-15 | 2013-08-29 | Fujita Corp | Remote control system |
-
2016
- 2016-08-04 JP JP2016153807A patent/JP6706171B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018021395A (en) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6706171B2 (en) | Remote control system for construction machinery | |
JP3364419B2 (en) | Remote radio control system, remote control device, mobile relay station and wireless mobile work machine | |
JP6053714B2 (en) | Excavator | |
US9506480B2 (en) | Apparatus for driving work machine | |
JP6456806B2 (en) | Video transmission system for construction equipment for remote control | |
JP2013168778A (en) | Remote control system | |
EP2370644A1 (en) | Method for calibrating an angle sensor and vehicle with an angle sensor | |
WO2016139853A1 (en) | Hybrid work machine | |
JP5950607B2 (en) | Remote control system | |
WO2021230093A1 (en) | Image processing device and image processing method | |
WO2021193073A1 (en) | Remote control system for work machine | |
WO2019065809A1 (en) | Display control device and display control method | |
JP2019006172A (en) | Automatic oil introduction program, electronic device, oil introducer, steering device and traveling vehicle | |
WO2022201905A1 (en) | Work machine | |
US20230050071A1 (en) | Work machine and remote control system for work machine | |
US11939744B2 (en) | Display system, remote operation system, and display method | |
JP6101974B2 (en) | Construction machinery | |
JP2024050350A (en) | Remote control system for work machine | |
WO2023140372A1 (en) | Image correction device, image correction method, and remote operation system | |
WO2024090225A1 (en) | Operation state switching device, work machine, and operation state switching system | |
JP2018145623A (en) | Shovel | |
WO2023228897A1 (en) | Remote control system, remote-operated work machine system, and work information display control method | |
JP2022144495A (en) | Remote control support system and remote control support method | |
JP2023172568A (en) | Remote maneuver system and communication method for remote maneuver system | |
JP2006274994A (en) | Engine control device for self-propelled working machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6706171 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |