JP7293939B2 - Work machines and work machine support servers - Google Patents

Work machines and work machine support servers Download PDF

Info

Publication number
JP7293939B2
JP7293939B2 JP2019134665A JP2019134665A JP7293939B2 JP 7293939 B2 JP7293939 B2 JP 7293939B2 JP 2019134665 A JP2019134665 A JP 2019134665A JP 2019134665 A JP2019134665 A JP 2019134665A JP 7293939 B2 JP7293939 B2 JP 7293939B2
Authority
JP
Japan
Prior art keywords
state
target position
working mechanism
real space
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019134665A
Other languages
Japanese (ja)
Other versions
JP2021017761A (en
Inventor
昭彦 榮田
智宙 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2019134665A priority Critical patent/JP7293939B2/en
Publication of JP2021017761A publication Critical patent/JP2021017761A/en
Application granted granted Critical
Publication of JP7293939B2 publication Critical patent/JP7293939B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、建物解体機などの作業機械に関する。 The present invention relates to working machines such as building demolition machines.

ショベルの上部旋回体に取り付けられたカメラでは撮像できない空間を、自律式の飛行体に取り付けられたカメラで撮像する技術が提案されている(例えば、特許文献1参照)。 A technique has been proposed in which a camera attached to an autonomous flying vehicle captures an image of a space that cannot be captured by a camera attached to an upper revolving body of an excavator (see, for example, Patent Document 1).

国際公開公報WO2017/131194号International Publication WO2017/131194

しかし、ショベルが飛行体の位置とは無関係に動作した場合、ショベルと飛行体とが接触してしまう可能性が高まる。 However, if the shovel operates independently of the position of the flying object, the possibility of contact between the shovel and the flying object increases.

そこで、本発明は、周囲を飛行している無人飛行機との接触可能性の低減を図りうる作業機械等を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a work machine or the like capable of reducing the possibility of contact with an unmanned airplane flying around.

本発明は、下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械に関する。また、本発明は、作業機械および無人飛行機のそれぞれとの通信機能を有する作業機械支援サーバに関する。 The present invention comprises a lower traveling body, an upper revolving body that can swivel with respect to the lower traveling body, a working mechanism that extends from the upper revolving body, the lower traveling body, the upper revolving body, and the working mechanism. and a control device for controlling each operation mode. The present invention also relates to a work machine support server having communication functions with each of the work machine and the unmanned aerial vehicle.

本発明の作業機械は、
前記制御装置が、
無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする。
The working machine of the present invention is
The control device
a first state recognition element that recognizes the real space position of the unmanned aircraft;
a second state recognition element that recognizes the real space occupation state of the working mechanism;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
characterized by comprising

当該構成の作業機械によれば、無人飛行機の実空間位置および作業機構の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機の目標位置軌道が生成される。このため、無人飛行機が当該目標位置軌道にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる。「認識」とは、作業機構および無人飛行機の接触可能性の高低を判定、推定または予測すること、および、当該判定結果を受信することまたは記憶装置から読み取ることを包含する概念である。 According to the work machine with this configuration, the target position trajectory of the unmanned aircraft is adjusted so as to maintain a low possibility of contact between the two in view of the real space position of the unmanned aircraft and the real space occupation state of the working mechanism. generated. Therefore, by flying the unmanned airplane according to the target position trajectory, the state in which the possibility of contact is low is maintained, or the possibility of contact is reduced. "Recognition" is a concept that includes determining, estimating, or predicting the possibility of contact between the working mechanism and the unmanned aerial vehicle, and receiving or reading the determination result from a storage device.

本発明の作業機械において、前記第2状態認識要素が、前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも1つのための操作機構の操作態様を認識したうえで、当該操作態様に基づいて前記作業機構の実空間占有状態の変化態様を認識し、前記目標位置軌道生成要素が、前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態の変化態様に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成することが好ましい。 In the work machine of the present invention, the second state recognition element recognizes an operation mode of an operation mechanism for at least one of the lower traveling body, the upper revolving body, and the working mechanism, and and the target position trajectory generation element recognizes the real space position of the unmanned aircraft recognized by the first state recognition element and the second state recognition element A target that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state where the possibility of contact with the working mechanism is low based on the recognized changing state of the real space occupation state of the working mechanism. A position trajectory is preferably generated.

当該構成の作業機械によれば、下部走行体、上部旋回体および作業機構のうち少なくとも1つ(以下、適時「作業機構等」という。)を操作するための操作機構の操作態様に鑑みて予測される、作業機構の実空間占有状態の変化態様に鑑みて、将来的に作業機構と無人飛行機との接触可能性が高くならないように無人飛行機の目標位置軌道が生成される。このため、無人飛行機が当該目標位置軌道にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる。 According to the working machine of this configuration, the operating mechanism for operating at least one of the undercarriage, upper revolving body, and working mechanism (hereinafter referred to as "working mechanism, etc." as appropriate) is predicted in view of the operation mode of the operating mechanism. The target position trajectory of the unmanned aerial vehicle is generated so as not to increase the possibility of contact between the working mechanism and the unmanned aerial vehicle in the future, in view of the change in the real space occupation state of the working mechanism. Therefore, by flying the unmanned airplane according to the target position trajectory, the state in which the possibility of contact is low is maintained, or the possibility of contact is reduced.

本発明の作業機械において、前記第1状態認識要素が、前記無人飛行機に搭載されている撮像装置を通じて取得され、前記無人飛行機から前記作業機械に対して送信された、前記作業機構に付されているマーカを含む撮像画像を表わす撮像画像データに基づき、前記無人飛行機の実空間位置を認識することが好ましい。 In the working machine of the present invention, the first state recognition element is attached to the working mechanism obtained through an imaging device mounted on the unmanned airplane and transmitted from the unmanned airplane to the working machine. Preferably, the real space position of the unmanned aerial vehicle is recognized based on the captured image data representing the captured image including the marker.

当該構成の作業機械によれば、無人飛行機に搭載されている撮像装置により取得されるマーカを含む作業機械の撮像画像データが用いられることにより、測距センサが無人飛行機に搭載されていなくても当該無人飛行機の実空間位置が認識されうる。 According to the working machine with this configuration, by using the captured image data of the working machine including the marker acquired by the imaging device mounted on the unmanned airplane, even if the distance measuring sensor is not mounted on the unmanned airplane, A real space position of the unmanned aerial vehicle may be known.

本発明の作業機械支援サーバは、
前記無人飛行機または前記作業機構との通信に基づき、無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構または前記無人飛行機との通信に基づき、前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする。
The work machine support server of the present invention includes:
a first state recognition element that recognizes a real space position of the unmanned aerial vehicle based on communication with the unmanned aerial vehicle or the working mechanism;
a second state recognition element that recognizes a real space occupation state of the working mechanism based on communication with the working mechanism or the unmanned aerial vehicle;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
characterized by comprising

当該構成の作業機械支援サーバによれば、無人飛行機の実空間位置および作業機構の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機の目標位置軌道が生成される。このため、無人飛行機が当該目標位置軌道にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる。 According to the work machine support server with this configuration, the target position of the unmanned airplane is maintained so that the possibility of contact between the two is low, in view of the real space position of the unmanned airplane and the real space occupation state of the working mechanism. A trajectory is generated. Therefore, by flying the unmanned airplane according to the target position trajectory, the state in which the possibility of contact is low is maintained, or the possibility of contact is reduced.

本発明の一実施形態としての作業機械および無人飛行機の構成に関する説明図。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an explanatory diagram relating to the configuration of a working machine and an unmanned aircraft as one embodiment of the present invention; 作業機械の操作機構の構成に関する説明図。Explanatory drawing about the structure of the operating mechanism of a working machine. 本発明の一実施形態としての作業機械の機能に関する説明図。1 is an explanatory diagram relating to the function of a work machine as one embodiment of the present invention; FIG. 画像出力装置における画像出力態様に関する説明図。FIG. 4 is an explanatory diagram relating to an image output mode in the image output device; 作業機械の実空間占有状態に鑑みて生成された無人飛行機の目標位置軌道に関する説明図。FIG. 4 is an explanatory diagram of a target position trajectory of an unmanned aircraft generated in consideration of the real space occupancy state of working machines; 作業機械の実空間占有状態に鑑みて生成された無人飛行機の目標位置軌道に関する説明図。FIG. 4 is an explanatory diagram of a target position trajectory of an unmanned aircraft generated in consideration of the real space occupancy state of working machines; 本発明の一実施形態としての作業機械支援サーバの構成に関する説明図。1 is an explanatory diagram regarding the configuration of a work machine support server as an embodiment of the present invention; FIG.

(構成)
図1に示されている本発明の一実施形態としての作業機械10は、無人飛行機40と連携しながら所定の作業を遂行する。作業機械10は、例えばクローラショベル(建設機械)であり、クローラ式の下部走行体110と、下部走行体110に旋回機構130を介して旋回可能に搭載されている上部旋回体120と、を備えている。上部旋回体120の前方左側部にはキャブ(運転室)122が設けられている。上部旋回体120の前方中央部には作業機構140としての作業アタッチメントが設けられている。
(composition)
A working machine 10 as one embodiment of the present invention shown in FIG. The work machine 10 is, for example, a crawler excavator (construction machine), and includes a crawler-type lower running body 110 and an upper revolving body 120 mounted on the lower running body 110 so as to be able to turn via a revolving mechanism 130 . ing. A cab (driver's cab) 122 is provided on the front left side of the upper revolving body 120 . A working attachment serving as a working mechanism 140 is provided at the front central portion of the upper swing body 120 .

作業機構140は、上部旋回体120に起伏可能に装着されているブーム141と、ブーム141の先端に回動可能に連結されているアーム143と、アーム143の先端に回動可能に連結されているバケット145と、を備えている。作業機構140には、伸縮可能な油圧シリンダにより構成されているブームシリンダ142、アームシリンダ144およびバケットシリンダ146が装着されている。バケット145に代えてニブラなどの他のアタッチメントがアーム143の先端部に取り付けられていてもよい。 The working mechanism 140 includes a boom 141 attached to the upper rotating body 120 so as to be able to rise and fall, an arm 143 rotatably connected to the tip of the boom 141, and a tip of the arm 143 rotatably connected to the boom 141 . a bucket 145 in which the The working mechanism 140 is equipped with a boom cylinder 142, an arm cylinder 144, and a bucket cylinder 146, which are configured by telescopic hydraulic cylinders. Other attachments such as a nibbler may be attached to the tip of the arm 143 instead of the bucket 145 .

ブームシリンダ142は、作動油の供給を受けることにより伸縮してブーム141を起伏方向に回動させるように当該ブーム141と上部旋回体120との間に介在する。アームシリンダ144は、作動油の供給を受けることにより伸縮してアーム143をブーム141に対して水平軸回りに回動させるように当該アーム143と当該ブーム141との間に介在する。バケットシリンダ146は、作動油の供給を受けることにより伸縮してバケット145をアーム143に対して水平軸回りに回動させるように当該バケット145と当該アーム143との間に介在する。 The boom cylinder 142 is interposed between the boom 141 and the upper revolving body 120 so as to expand and contract when supplied with hydraulic oil to rotate the boom 141 in the hoisting direction. The arm cylinder 144 is interposed between the arm 143 and the boom 141 so as to expand and contract when supplied with hydraulic oil to rotate the arm 143 about the horizontal axis with respect to the boom 141 . The bucket cylinder 146 is interposed between the bucket 145 and the arm 143 so as to expand and contract when supplied with hydraulic oil to rotate the bucket 145 about the horizontal axis with respect to the arm 143 .

作業機械10は、作業機械制御装置20と、無線通信機器202と、入力インターフェース210と、出力インターフェース220と、を備えている。作業機械制御装置20は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。 Work machine 10 includes work machine control device 20 , wireless communication device 202 , input interface 210 , and output interface 220 . The work machine control device 20 is configured by an arithmetic processing device (single-core processor or multi-core processor or a processor core that constitutes this), reads necessary data and software from a storage device such as a memory, and processes the data and the software. Arithmetic processing is executed according to

作業機械制御装置20は、第1状態認識要素21と、第2状態認識要素22と、目標位置軌道生成要素23と、を備えている。第1状態認識要素21は、無人飛行機40の実空間位置を認識する。第2状態認識要素22は、作業機構140の実空間占有状態を認識する。目標位置軌道生成要素23は、第1状態認識要素21により認識された無人飛行機40の実空間位置および第2状態認識要素22により認識された作業機構140の実空間占有状態に基づき、無人飛行機40が作業機構140との接触可能性が低い状態で飛行しうるように、当該無人飛行機40の目標位置の時系列である目標位置軌道を生成する。 The work machine control device 20 includes a first state recognition element 21 , a second state recognition element 22 and a target position trajectory generation element 23 . The first state recognition element 21 recognizes the real space position of the unmanned aerial vehicle 40 . The second state recognition element 22 recognizes the real space occupation state of the work mechanism 140 . The target position trajectory generation element 23 is based on the real space position of the unmanned airplane 40 recognized by the first state recognition element 21 and the real space occupancy state of the working mechanism 140 recognized by the second state recognition element 22. A target position trajectory that is a time series of target positions of the unmanned airplane 40 is generated so that the unmanned airplane 40 can fly with a low possibility of contact with the working mechanism 140 .

入力インターフェース210を構成する操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、下部走行体110を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、旋回機構130を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、ブームシリンダ142を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)はアームシリンダ144を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)はバケットシリンダ146を動かすために操作される。 The operating mechanism 211 constituting the input interface 210 includes a travel operating device, a turning operating device, a boom operating device, an arm operating device, and a bucket operating device. Each operating device has an operating lever that receives a rotating operation. An operating lever (running lever) of the operating device for running is operated to move the lower running body 110 . The travel lever may also serve as a travel pedal. For example, a traction pedal may be provided that is fixed to the base or lower end of the traction lever. An operation lever (turning lever) of the turning operation device is operated to move a hydraulic turning motor that constitutes the turning mechanism 130 . An operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 142 . An operating lever (arm lever) of the arm operating device is operated to move the arm cylinder 144 . An operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 146 .

操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートSの周囲に配置されている。シートSは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。 Each operating lever constituting the operating mechanism 211 is arranged around a seat S on which an operator sits, as shown in FIG. 2, for example. The seat S is in the form of a high-back chair with armrests, but may be in any form in which the operator can sit, such as a low-back chair without a headrest, or a chair without a backrest.

シートSの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートSの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図2に示されているシートSの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。 A pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged in a horizontal row in front of the seat S. As shown in FIG. One control lever may serve as a plurality of control levers. For example, the right operation lever 2111 provided in front of the right frame of the seat S shown in FIG. 2 functions as a boom lever when operated in the front-rear direction, and when operated in the left-right direction. may function as a bucket lever. Similarly, a left operating lever 2112 provided in front of the left frame of the seat S shown in FIG. It may function as a swivel lever in some cases. The lever pattern may be arbitrarily changed by an operator's operation instruction.

出力インターフェース220を構成する画像出力装置222は、例えば図2に示されているように、シートSの前方に配置されている。画像出力装置222は、スピーカ(音声出力装置)をさらに備えていてもよい。 An image output device 222 forming the output interface 220 is arranged in front of the seat S as shown in FIG. 2, for example. The image output device 222 may further include a speaker (audio output device).

無人飛行機40は、飛行機制御装置400と、無線通信機器402と、撮像装置410と、測距装置420と、を備えている。無人飛行機40は、作業機械10の構成要素であってもよい。この場合、作業機械10には、無人飛行機40が発着するベースメントを備えていてもよい。無人飛行機40は、回転翼機であり、複数(例えば、4、6または8)の羽根、当該複数の羽根を回転させるための電動モータ(アクチュエータ)およびモータ等に電力を供給するバッテリなどを備えている。無人飛行機40は、遠隔操作装置50を通じて操作可能である。例えば、入力インターフェース210により無人飛行機40の遠隔操作装置が構成されていてもよい。 The unmanned airplane 40 includes an airplane control device 400 , a wireless communication device 402 , an imaging device 410 and a ranging device 420 . Unmanned aerial vehicle 40 may be a component of work machine 10 . In this case, work machine 10 may be provided with a basement from which unmanned aerial vehicle 40 takes off and arrives. The unmanned airplane 40 is a rotary wing aircraft, and includes a plurality of (for example, 4, 6, or 8) blades, an electric motor (actuator) for rotating the plurality of blades, a battery that supplies power to the motor, and the like. ing. Unmanned aerial vehicle 40 is operable through remote controller 50 . For example, the input interface 210 may constitute a remote control device for the unmanned airplane 40 .

(機能)
無人飛行機40において、飛行機制御装置400により、無線通信機器402を通じて、遠隔操作装置50から送信された飛行指令信号が受信される(図3/STEP402)。これに応じて、飛行機制御装置400により、第1の飛行動作制御が実施される(図3/STEP404)。すなわち、当該飛行指令信号にしたがって、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、無人飛行機40は、複数の羽根を回転させることにより生じる気流によって飛行し、その場で上昇もしくは下降し、または、空中にとどまることができる。
(function)
In the unmanned airplane 40, the airplane control device 400 receives the flight command signal transmitted from the remote controller 50 through the wireless communication device 402 (FIG. 3/STEP 402). In response to this, the airplane control device 400 performs the first flight operation control (FIG. 3/STEP 404). That is, according to the flight command signal, the rotation of each of the actuators (electric motors) and the plurality of blades powered by the actuators is controlled. As a result, the unmanned airplane 40 can fly, ascend or descend on the spot, or stay in the air by means of air currents generated by rotating the plurality of blades.

無人飛行機40において、撮像装置410により、アタッチメント先端部としてのバケット145など、作業機構140の特定部位を包含する撮像画像が取得される(図3/STEP406)。これにより、例えば、図4左側に示されているように、作業機械10が建築物を破壊している際に、バケット145が無人飛行機40に搭載されている撮像装置410により斜め左前方かつ上方から撮像される。飛行機制御装置400により、無線通信機器402を通じて、当該撮像画像を表わす撮像画像データが作業機械10に対して送信される(図3/STEP408)。 In the unmanned airplane 40, the imaging device 410 acquires a captured image including a specific portion of the working mechanism 140, such as the bucket 145 as the tip of the attachment (FIG. 3/STEP 406). As a result, for example, as shown on the left side of FIG. 4, when the work machine 10 is destroying a building, the bucket 145 is captured by the imaging device 410 mounted on the unmanned aerial vehicle 40 obliquely forward left and upward. is imaged from Captured image data representing the captured image is transmitted to work machine 10 via wireless communication device 402 by airplane control device 400 (FIG. 3/STEP 408).

作業機械10において、作業機械制御装置20により、無線通信機器202を通じて撮像画像データが受信される(図3/STEP202)。作業機械制御装置20により、撮像画像データに応じた環境画像(撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像)が画像出力装置222に表示される(図3/STEP204)。これにより、例えば、図4右側に示されているように、作業機械10が建築物を破壊している際のバケット145が含まれている環境画像が画像出力装置222に表示される。 In work machine 10, captured image data is received by work machine control device 20 through wireless communication device 202 (FIG. 3/STEP 202). The work machine control device 20 causes the image output device 222 to display an environmental image (all or part of the captured image itself, or a simulated environmental image generated based on the captured image) corresponding to the captured image data (FIG. 3). / STEP 204). As a result, for example, as shown on the right side of FIG. 4, the image output device 222 displays an environment image including the bucket 145 when the work machine 10 is destroying the building.

作業機械制御装置20において、第1状態認識要素21により、作業機構140を基準とした無人飛行機40の相対位置が認識される(図3/STEP206)。例えば、撮像画像におけるバケット145、アーム143およびブーム141のそれぞれの形状およびサイズに基づき、画像データベースを照会することにより、バケット145、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が推定される。また、少なくともアーム143およびブーム141のそれぞれの指定箇所に所定形状のマーカが付され、撮像画像における当該マーカの形状およびサイズに基づき、画像データベースを照会することにより、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が推定されてもよい。無人飛行機40に測距画像センサまたはTOFセンサが搭載され、当該センサを通じて取得された測距データに基づき、バケット145、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が推定されてもよい。 In the work machine control device 20, the first state recognition element 21 recognizes the relative position of the unmanned airplane 40 with respect to the work mechanism 140 (FIG. 3/STEP 206). For example, based on the shape and size of each of bucket 145, arm 143, and boom 141 in the captured image, by querying an image database, unmanned aircraft 40 can be determined based on designated locations of bucket 145, arm 143, and boom 141, respectively. is estimated. Further, a marker having a predetermined shape is attached at least to a designated portion of each of the arm 143 and the boom 141, and based on the shape and size of the marker in the captured image, an image database is referred to, thereby determining each of the arm 143 and the boom 141. A relative position of the unmanned aerial vehicle 40 with respect to the specified location may be estimated. A range-finding image sensor or TOF sensor is mounted on the unmanned aircraft 40, and the relative position of the unmanned aircraft 40 with respect to the specified locations of the bucket 145, the arm 143, and the boom 141 based on the range-finding data acquired through the sensor. may be estimated.

世界座標系(または実空間座標系)における無人飛行機40の位置(および姿勢)が測定され、当該測定結果が無人飛行機40から作業機械10に対して送信されることにより、第1状態認識要素21により、無人飛行機40の実空間位置、または、バケット145、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が測定されてもよい。 The position (and attitude) of the unmanned airplane 40 in the world coordinate system (or the real space coordinate system) is measured, and the measurement result is transmitted from the unmanned airplane 40 to the work machine 10, whereby the first state recognition element 21 may measure the position of unmanned aerial vehicle 40 in real space, or the relative position of unmanned aerial vehicle 40 with respect to designated locations of bucket 145 , arm 143 and boom 141 .

無人飛行機40に搭載されているGPS等の測位装置により、世界座標系(または実空間座標系)における緯度(Y座標値)および経度(X座標値)が測定される。TOFセンサまたは気圧センサにより、世界座標系における絶対高度または気圧高度(Z座標値)が測定される。 A positioning device such as a GPS mounted on the unmanned airplane 40 measures latitude (Y coordinate value) and longitude (X coordinate value) in the world coordinate system (or real space coordinate system). A TOF sensor or barometric sensor measures the absolute altitude or barometric altitude (Z coordinate value) in the world coordinate system.

上部旋回体120およびブーム141の連結機構(または関節機構)、ブーム141およびアーム143の連結機構、ならびに、アーム143およびバケット145の連結機構のそれぞれの角度、さらにはブーム141、アーム143およびバケット145のそれぞれのサイズに基づき、ブーム141、アーム143およびバケット145のそれぞれの作業機械座標系(上部旋回体120に対して位置および姿勢が固定されている座標系)における位置および姿勢が測定される。上部旋回体120に搭載されているGPS等の測位装置により、上部旋回体120、ひいては作業機械座標系の世界座標系における緯度(Y座標値)および経度(X座標値)が測定される。作業機械座標系の世界座標系におけるZ座標値はあらかじめ定められている。上部旋回体120に搭載されている方位センサおよび傾斜角センサにより、作業機械座標系の世界座標系における姿勢が測定される。これらの結果、ブーム141、アーム143およびバケット145のそれぞれの世界座標系における位置および姿勢が測定される。 The respective angles of the coupling mechanism (or joint mechanism) of the upper swing body 120 and boom 141, the coupling mechanism of boom 141 and arm 143, and the coupling mechanism of arm 143 and bucket 145, and boom 141, arm 143 and bucket 145 , the positions and orientations of boom 141, arm 143, and bucket 145 in the work machine coordinate system (the coordinate system whose position and orientation are fixed with respect to upper swing structure 120) are measured. A positioning device such as a GPS mounted on the upper swing structure 120 measures the latitude (Y coordinate value) and longitude (X coordinate value) in the world coordinate system of the upper swing structure 120 and thus the work machine coordinate system. A Z coordinate value in the world coordinate system of the work machine coordinate system is determined in advance. The attitude of the work machine coordinate system in the world coordinate system is measured by the azimuth sensor and the tilt angle sensor mounted on the upper swing body 120 . As a result, the positions and attitudes of boom 141, arm 143 and bucket 145 in the world coordinate system are measured.

作業機械制御装置20において、第2状態認識要素22により、操作機構211を構成する各操作レバーのオペレータによる操作態様が認識される(図3/STEP208)。 In the work machine control device 20, the second state recognition element 22 recognizes the operator's operation mode of each operation lever that constitutes the operation mechanism 211 (FIG. 3/STEP 208).

作業機械制御装置20において、第2状態認識要素22により、操作機構211を構成する各操作レバーのオペレータによる操作態様に基づき、作業機構140の実空間占有状態が認識される(図3/STEP210)。上部旋回体120およびブーム141の連結機構(または関節機構)、ブーム141およびアーム143の連結機構、ならびに、アーム143およびバケット145の連結機構のそれぞれの角度、さらにはブーム141、アーム143およびバケット145のそれぞれのサイズに基づき、ブーム141、アーム143およびバケット145のそれぞれの作業機械座標系(上部旋回体120に対して位置および姿勢が固定されている座標系)における空間占有状態が測定される。各操作レバーの操作態様に基づき、各連結機構の回動角速度が予測されるため、現時点から指定期間にわたるブーム141、アーム143およびバケット145のそれぞれの実空間占有状態の変化態様が認識または予測される。 In the work machine control device 20, the second state recognition element 22 recognizes the actual space occupancy state of the work mechanism 140 based on the operator's operation mode of each operation lever that constitutes the operation mechanism 211 (FIG. 3/STEP 210). . The respective angles of the coupling mechanism (or joint mechanism) of the upper swing body 120 and boom 141, the coupling mechanism of boom 141 and arm 143, and the coupling mechanism of arm 143 and bucket 145, and boom 141, arm 143 and bucket 145 , the space occupation states of boom 141, arm 143, and bucket 145 in the work machine coordinate system (the coordinate system whose position and attitude are fixed with respect to upper swing structure 120) are measured. Since the rotational angular velocity of each coupling mechanism is predicted based on the operation mode of each control lever, the change mode of the real space occupation state of each of boom 141, arm 143 and bucket 145 over a specified period from the current time can be recognized or predicted. be.

例えば、時点t=t1またはその直前におけるアーム143をブーム141に対して持ち上げるための操作レバーのオペレータによる操作態様に基づき、図5に示されているように、アーム143およびバケット145の実空間占有状態が、時点t=t1における実空間占有状態(実線参照)から時点t=t2における実空間占有状態(破線参照)に変化することが予測される。これにより、期間[t1,t2]におけるアーム143およびバケット145の占有空間Occ[t1,t2]の広がり態様が認識されうる(図5斜線部分参照)。 For example, based on operator actuation of the control lever to lift arm 143 relative to boom 141 at or just before time t=t1, the real space occupation of arm 143 and bucket 145, as shown in FIG. The state is predicted to change from the real space occupancy state (see solid line) at time t=t1 to the real space occupancy state (see dashed line) at time t=t2. Thereby, it is possible to recognize how the space Occ[t1, t2] occupied by the arm 143 and the bucket 145 expands during the period [t1, t2] (see the shaded area in FIG. 5).

また、時点t=t1またはその直前における上部旋回体120のための操作レバーのオペレータによる操作態様に基づき、図6に示されているように、ブーム141、アーム143およびバケット145の実空間占有状態が、時点t=t1における実空間占有状態(実線参照)から時点t=t2における実空間占有状態(破線参照)に変化することが予測される。これにより、期間[t1,t2]におけるブーム141、アーム143およびバケット145の占有空間Occ[t1,t2]の広がり態様が認識されうる(図6斜線部分参照)。 Also, based on the operator's manipulation of the control lever for the upper swing structure 120 at or immediately before time t=t1, the actual space occupation state of the boom 141, the arm 143 and the bucket 145 as shown in FIG. is predicted to change from the real space occupied state (see solid line) at time t=t1 to the real space occupied state (see broken line) at time t=t2. Thereby, it is possible to recognize how the space Occ [t1, t2] occupied by the boom 141, the arm 143 and the bucket 145 in the period [t1, t2] spreads (see the shaded area in FIG. 6).

第1状態認識要素21により認識された無人飛行機40の実空間位置および第2状態認識要素22により認識された作業機構140の実空間占有状態に基づき、無人飛行機40が作業機構140との接触可能性が低い状態で飛行しうるように、当該無人飛行機40の目標位置の時系列である目標位置軌道が目標位置軌道生成要素23により生成される(図3/STEP212)。これにより、例えば、図5に示されているように期間[t1,t2]におけるアーム143およびバケット145の占有空間Occ[t1,t2]から脱出するような位置軌道(または当該占有空間Occ[t1,t2]を通過しない位置軌道)が、目標位置軌道P[t1,t2]として生成される。無人飛行機40の実空間位置は、作業機構140の上方に維持されていることが好ましい。また、図6に示されているように期間[t1,t2]におけるブーム141、アーム143およびバケット145の占有空間Occ[t1,t2]から脱出するような位置軌道(または当該占有空間Occ[t1,t2]を通過しない位置軌道)が、目標位置軌道P[t1,t2]として生成される。 The unmanned airplane 40 can contact the working mechanism 140 based on the real space position of the unmanned airplane 40 recognized by the first state recognition element 21 and the real space occupation state of the working mechanism 140 recognized by the second state recognition element 22. A target position trajectory, which is a time series of target positions of the unmanned aerial vehicle 40, is generated by the target position trajectory generating element 23 so that the unmanned aerial vehicle 40 can fly in a state of low stability (FIG. 3/STEP 212). As a result, for example, as shown in FIG. 5, the position trajectory (or the occupied space Occ[t1 , t2]) is generated as the target position trajectory P[t1, t2]. The real space position of unmanned aerial vehicle 40 is preferably maintained above work mechanism 140 . Also, as shown in FIG. 6, the position trajectory (or the occupied space Occ[t1 , t2]) is generated as the target position trajectory P[t1, t2].

作業機械制御装置20により、無線通信機器202を通じて、目標位置軌道(またはこれを特定するための信号)が、無人飛行機40に対して送信される(図3/STEP214)。 The work machine controller 20 transmits the target position trajectory (or a signal for specifying it) to the unmanned aerial vehicle 40 via the wireless communication device 202 (FIG. 3/STEP 214).

無人飛行機40において、飛行機制御装置400により、無線通信機器402を通じて目標位置軌道が受信される(図3/STEP410)。これに応じて、飛行機制御装置400により、第2の飛行動作制御が実施される(図3/STEP412)。すなわち、当該目標位置軌道にしたがって、無人飛行機40が飛行するように、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、例えば、無人飛行機40は、図5および図6のそれぞれに示されている目標位置軌道P[t1,t2]に沿って自律的に飛行することができる。 In the unmanned airplane 40, the target position trajectory is received by the airplane controller 400 through the wireless communication device 402 (FIG. 3/STEP 410). In response to this, the airplane control device 400 performs the second flight operation control (FIG. 3/STEP 412). That is, according to the target position trajectory, the rotational motion of each of the actuators (electric motors) and the plurality of blades powered by the actuators is controlled so that the unmanned airplane 40 flies. Thereby, for example, the unmanned aerial vehicle 40 can fly autonomously along the target position trajectory P[t1, t2] shown in FIGS. 5 and 6, respectively.

遠隔操作装置50に対して目標位置軌道が送信されることにより、オペレータに対して無人飛行機40が当該目標位置軌道にしたがって飛行するように、遠隔操作装置50の操作を促すことができる。作業機構140の動作が停止していることを要件として、遠隔操作装置50に対して目標位置軌道が送信されてもよい。また、第2の飛行動作制御の実行により無人飛行機40が自律的または能動的に飛行している場合、目標位置軌道が遠隔操作装置50の出力インターフェースを構成する画像表示装置に表示される、または、第2の飛行動作制御が実行されていることを表わす情報が表示されることにより、遠隔操作、ひいては第1の飛行動作制御が無効になっている状況をオペレータに認識させることができる。 By transmitting the target position trajectory to the remote controller 50, the operator can be prompted to operate the remote controller 50 so that the unmanned airplane 40 flies according to the target position trajectory. The target position trajectory may be transmitted to the remote control device 50 on condition that the operation of the working mechanism 140 is stopped. Further, when the unmanned airplane 40 is flying autonomously or actively by executing the second flight motion control, the target position trajectory is displayed on the image display device constituting the output interface of the remote control device 50, or By displaying the information indicating that the second flight motion control is being executed, the operator can be made aware of the situation in which the remote control and thus the first flight motion control are disabled.

(効果)
当該構成の作業機械10によれば、無人飛行機40の実空間位置および作業機構140の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機40の目標位置軌道P[t1,t2]が生成される。このため、無人飛行機40が当該目標位置軌道P[t1,t2]にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる(図5および図6参照)。
(effect)
According to the work machine 10 having this configuration, in consideration of the real space position of the unmanned aerial vehicle 40 and the real space occupying state of the working mechanism 140, the unmanned aerial vehicle 40 is maintained in a state in which the possibility of contact between the two is low. A target position trajectory P[t1, t2] is generated. Therefore, by flying the unmanned airplane 40 according to the target position trajectory P[t1, t2], the state in which the possibility of contact is low is maintained or the possibility of contact is reduced (FIGS. 5 and 5). See Figure 6).

(本発明の他の実施形態)
図7に示されている本発明の一実施形態としての作業機械支援サーバ30は、作業機械10および無人飛行機40のそれぞれとの通信機能を有する。作業機械支援サーバ30が、無人飛行機40に搭載され、作業機械10との通信機能を有していてもよい。作業機械支援サーバ30は、第1状態認識要素21と、第2状態認識要素22と、目標位置軌道生成要素23と、を備えている。この場合、作業機械制御装置20は、第1状態認識要素21、第2状態認識要素22および目標位置軌道生成要素23としての機能を備えていなくてもよい。
(Another embodiment of the present invention)
A work machine support server 30 as one embodiment of the present invention shown in FIG. 7 has communication functions with each of the work machine 10 and the unmanned aerial vehicle 40 . The work machine support server 30 may be mounted on the unmanned airplane 40 and have a communication function with the work machine 10 . The work machine assistance server 30 includes a first state recognition element 21 , a second state recognition element 22 and a target position trajectory generation element 23 . In this case, work machine control device 20 does not need to have the functions of first state recognition element 21 , second state recognition element 22 and target position trajectory generation element 23 .

当該構成の作業機械支援サーバ30によれば、無人飛行機40の実空間位置および作業機構140の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機40の目標位置軌道P[t1,t2]が生成され、無人飛行機40に対してして目標位置軌道P[t1,t2]が送信される。これに応じて、当該目標位置軌道P[t1,t2]にしたがって、無人飛行機40が飛行するように、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、無人飛行機40および作業機構140の接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる(図3、図5および図6参照)。 According to the work machine support server 30 having this configuration, the unmanned airplane 40 is positioned in real space and the working mechanism 140 is in the real space occupation state so as to maintain a state in which the possibility of contact between the two is low. 40 target position trajectory P[t1, t2] is generated and the target position trajectory P[t1, t2] is transmitted to the unmanned aerial vehicle 40 . In response to this, the actuator (electric motor) and by extension the rotational motion of each of the plurality of blades powered by the actuator is controlled so that the unmanned airplane 40 flies according to the target position trajectory P[t1, t2]. be done. This maintains a state in which the possibility of contact between the unmanned airplane 40 and the working mechanism 140 is low, or reduces the possibility of contact (see FIGS. 3, 5 and 6).

前記実施形態によれば、作業機構140の実空間占有状態の変化態様に基づいて、無人飛行機40の目標位置軌道P[t1,t2]が生成されたが(図5および図6参照)、他の実施形態において、各時点tにおける作業機構140の実空間占有状態に基づき、当該占有空間と無人飛行機40との間隔が所定間隔以上になるようにまたは維持されるように無人飛行機40の目標位置軌道が生成されてもよい。 According to the above embodiment, the target position trajectory P[t1, t2] of the unmanned aerial vehicle 40 is generated based on the changing aspect of the real space occupation state of the working mechanism 140 (see FIGS. 5 and 6). In the embodiment, based on the actual space occupation state of the work mechanism 140 at each time point t, the distance between the occupied space and the unmanned aerial vehicle 40 is equal to or greater than a predetermined distance, or the target position of the unmanned aerial vehicle 40 is maintained. A trajectory may be generated.

目標位置軌道の生成に際して、指定箇所を基準として無人飛行機40の相対位置が推定された時点t=t1における無人飛行機40の実空間位置としての第1指定位置P(t1)から、時点t=t2(>t1)における無人飛行機40の目標実空間位置としての第2指定位置P(t2)までの目標位置軌道P[t1,t2]が生成されてもよい。具体的には、アーム143の背面において基端側(ブーム141の接続側)に設けられたマーカM1から無人飛行機40が第1指定間隔だけ離間している時点t=t1における当該無人飛行機40の実空間位置としての第1指定位置P(t1)から、アーム143の背面において先端側(バケット145(またはニブラなど)の装着側)に設けられたマーカM2から第2指定間隔だけ離間した時点t=t2(>t1)における無人飛行機40の目標実空間位置としての第2指定位置P(t2)までの目標位置軌道P[t1,t2]が生成されてもよい。これにより、無人飛行機40が時点t=t1よりも時点t=t2においてアーム143の先端側に接近し、当該アーム143の先端側に連結されているバケット145またはニブラなどによる作業状況がより鮮明に把握される。また、バケット145またはニブラなどの点検にも適している。 When generating the target position trajectory, from the first specified position P(t1) as the real space position of the unmanned airplane 40 at the time t=t1 at which the relative position of the unmanned airplane 40 is estimated with reference to the specified point, from the time t=t2. A target position trajectory P[t1, t2] to the second specified position P(t2) as the target real space position of the unmanned airplane 40 at (>t1) may be generated. Specifically, the unmanned airplane 40 at the time t=t1 when the unmanned airplane 40 is separated from the marker M1 provided on the back surface of the arm 143 on the base end side (connection side of the boom 141) by the first specified distance. A time point t at which a marker M2 provided on the back surface of the arm 143 on the tip side (mounting side of the bucket 145 (or nibbler or the like)) is separated from the first specified position P(t1) as the real space position by the second specified distance. A target position trajectory P[t1, t2] to the second specified position P(t2) as the target real space position of the unmanned airplane 40 at =t2 (>t1) may be generated. As a result, the unmanned airplane 40 approaches the tip side of the arm 143 at the time t=t2 rather than the time t=t1, and the work situation by the bucket 145 or the nibbler connected to the tip side of the arm 143 becomes clearer. grasped. It is also suitable for inspecting buckets 145 or nibblers.

また、アーム143の先端側に一のマーカのみが設けられ、無人飛行機40に搭載されている撮像装置410を通じて取得された当該マーカを含む撮像画像に基づき、無人飛行機40からバケット145までの距離が推定され、当該推定距離に応じて定められた実空間位置が第2指定位置P(t2)として設定されてもよい。 Further, only one marker is provided on the tip side of the arm 143, and the distance from the unmanned airplane 40 to the bucket 145 is determined based on the captured image including the marker acquired through the imaging device 410 mounted on the unmanned airplane 40. A real space position estimated and determined according to the estimated distance may be set as the second designated position P(t2).

また、無人飛行機40の目標位置軌道P[t1,t2]の上に解体作業対象である建築物の一部などの障害物の存在が認識された場合、無人飛行機40が第1指定位置P(t1)に戻るまたは留まるようにその飛行動作が制御されてもよい。これにより、無人飛行機40が当該障害物と接触し損傷する事態が防止される。遠隔操作装置50を通じてオペレータにより無人飛行機40が第1指定位置P(t1)に戻るまたは留まるようにその飛行動作が制御されてもよい。 Further, when an obstacle such as a part of the building to be demolished is recognized on the target position trajectory P[t1, t2] of the unmanned airplane 40, the unmanned airplane 40 moves to the first specified position P ( Its flight behavior may be controlled to return or stay at t1). This prevents the unmanned airplane 40 from contacting the obstacle and being damaged. The flight operation may be controlled by the operator through the remote controller 50 so that the unmanned airplane 40 returns to or stays at the first designated position P(t1).

また、作業機構140の実空間占有状態の変化に伴って、第2指定位置P(t2)、ひいては目標位置軌道P[t1,t2]が適応的に変更されてもよい。 In addition, the second specified position P(t2) and, by extension, the target position trajectory P[t1, t2] may be adaptively changed as the real space occupation state of the work mechanism 140 changes.

10‥作業機械、20‥作業機械制御装置、21‥第1状態認識要素、22‥第2状態認識要素、23‥目標位置軌道生成要素、30‥作業機械支援サーバ、40‥無人飛行機、202‥無線通信機器、210‥入力インターフェース、211‥操作機構、220‥出力インターフェース、222‥画像出力装置、140‥作業機構(作業アタッチメント)、400‥飛行機制御装置、402‥無線通信機器、410‥撮像装置。
10 Work machine 20 Work machine control device 21 First state recognition element 22 Second state recognition element 23 Target position trajectory generation element 30 Work machine support server 40 Unmanned airplane 202 Wireless communication device 210 Input interface 211 Operation mechanism 220 Output interface 222 Image output device 140 Work mechanism (work attachment) 400 Airplane control device 402 Wireless communication device 410 Imaging device .

Claims (4)

下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械であって、
前記制御装置が、
無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする作業機械。
Operation modes of a lower traveling body, an upper revolving body capable of turning with respect to the lower traveling body, a working mechanism extending from the upper revolving body, and the lower traveling body, the upper revolving body, and the working mechanism A working machine comprising a control device for controlling
The control device
a first state recognition element that recognizes the real space position of the unmanned aircraft;
a second state recognition element that recognizes the real space occupation state of the working mechanism;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
A working machine comprising:
請求項1記載の作業機械において、
前記第2状態認識要素が、前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも1つのための操作機構の操作態様を認識したうえで、当該操作態様に基づいて前記作業機構の実空間占有状態の変化態様を認識し、 前記目標位置軌道生成要素が、前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態の変化態様に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成することを特徴とする作業機械。
The work machine according to claim 1,
The second state recognition element recognizes an operation mode of an operation mechanism for at least one of the lower traveling body, the upper revolving body, and the working mechanism, and then determines the actual operation of the working mechanism based on the operation mode. The target position trajectory generation element recognizes a change mode of the space occupation state, and the real space position of the unmanned aerial vehicle recognized by the first state recognition element and the working mechanism recognized by the second state recognition element. Generating a target position trajectory, which is a time series of the target position of the unmanned aircraft, based on the changing state of the real space occupation state so that the unmanned aircraft can fly in a state where the possibility of contact with the working mechanism is low. A working machine characterized by:
請求項1または2記載の作業機械において、
前記第1状態認識要素が、前記無人飛行機に搭載されている撮像装置を通じて取得され、前記無人飛行機から前記作業機械に対して送信された、前記作業機構に付されているマーカを含む撮像画像を表わす撮像画像データに基づき、前記無人飛行機の実空間位置を認識することを特徴とする作業機械。
The working machine according to claim 1 or 2,
The first state recognition element is a captured image including a marker attached to the working mechanism, which is acquired through an imaging device mounted on the unmanned aerial vehicle and transmitted from the unmanned aerial vehicle to the working machine. A working machine that recognizes the real space position of the unmanned aircraft based on captured image data.
下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械、および、無人飛行機のそれぞれとの通信機能を有する作業機械支援サーバであって、
前記無人飛行機または前記作業機構との通信に基づき、無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構または前記無人飛行機との通信に基づき、前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする作業機械支援サーバ。
Operation modes of a lower traveling body, an upper revolving body capable of turning with respect to the lower traveling body, a working mechanism extending from the upper revolving body, and the lower traveling body, the upper revolving body, and the working mechanism and a work machine support server having a function of communicating with each of the unmanned aerial vehicles, wherein
a first state recognition element that recognizes a real space position of the unmanned aerial vehicle based on communication with the unmanned aerial vehicle or the working mechanism;
a second state recognition element that recognizes a real space occupation state of the working mechanism based on communication with the working mechanism or the unmanned aerial vehicle;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
A work machine support server characterized by comprising:
JP2019134665A 2019-07-22 2019-07-22 Work machines and work machine support servers Active JP7293939B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019134665A JP7293939B2 (en) 2019-07-22 2019-07-22 Work machines and work machine support servers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019134665A JP7293939B2 (en) 2019-07-22 2019-07-22 Work machines and work machine support servers

Publications (2)

Publication Number Publication Date
JP2021017761A JP2021017761A (en) 2021-02-15
JP7293939B2 true JP7293939B2 (en) 2023-06-20

Family

ID=74563318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019134665A Active JP7293939B2 (en) 2019-07-22 2019-07-22 Work machines and work machine support servers

Country Status (1)

Country Link
JP (1) JP7293939B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013159930A (en) 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd Periphery monitoring device
JP2017097640A (en) 2015-11-25 2017-06-01 株式会社Ihiエアロスペース Remote control image acquisition device, remote control image acquisition method and remote control device
WO2017131194A1 (en) 2016-01-29 2017-08-03 住友建機株式会社 Excavator and autonomous flying body to fly around excavator
WO2017170651A1 (en) 2016-03-31 2017-10-05 住友重機械工業株式会社 Work management system for construction machine, and construction machine
JP2019004399A (en) 2017-06-19 2019-01-10 コベルコ建機株式会社 Work machine periphery monitoring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013159930A (en) 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd Periphery monitoring device
JP2017097640A (en) 2015-11-25 2017-06-01 株式会社Ihiエアロスペース Remote control image acquisition device, remote control image acquisition method and remote control device
WO2017131194A1 (en) 2016-01-29 2017-08-03 住友建機株式会社 Excavator and autonomous flying body to fly around excavator
WO2017170651A1 (en) 2016-03-31 2017-10-05 住友重機械工業株式会社 Work management system for construction machine, and construction machine
JP2019004399A (en) 2017-06-19 2019-01-10 コベルコ建機株式会社 Work machine periphery monitoring system

Also Published As

Publication number Publication date
JP2021017761A (en) 2021-02-15

Similar Documents

Publication Publication Date Title
JP7358349B2 (en) Excavators, information processing equipment
JP6832548B2 (en) Work machine image display system, work machine remote control system, work machine and work machine image display method
JP7521443B2 (en) Work support system and work support complex system
JP2016181119A (en) System for presenting situation surrounding mobile machine
JP2020117982A (en) Work machine
JP2019214836A (en) Remote control system for working machine
JP2020161934A (en) Remote control system
JP7293939B2 (en) Work machines and work machine support servers
JP7293933B2 (en) Work machines and work machine support servers
JP7293934B2 (en) Work machines and work machine support servers
WO2023032970A1 (en) Control system, control method, and control program
JP7225935B2 (en) remote control system
KR20240033070A (en) Systems and methods for controlling working machines
US20210017736A1 (en) Work machine and work machine support server
WO2021106278A1 (en) Work assistance server, work assistance method, and work assistance system
JP2021021253A (en) Work machine and work machine assistance server
JP7443978B2 (en) Work support equipment
JP7472746B2 (en) Work Support Device
JP2021025240A (en) Work machine and work machine support server
WO2023100533A1 (en) Image display system, remote operation assistance system, and image display method
JP7521359B2 (en) Remote operation support device and remote operation support system
US20230359209A1 (en) Stability system for an articulated machine
US20230359203A1 (en) Stability system for an articulated machine in a coasting mode
JP2024120686A (en) Work machine and support system for the work machine
JP2022026596A (en) Work machine and construction support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7293939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150