JP7293939B2 - Work machines and work machine support servers - Google Patents
Work machines and work machine support servers Download PDFInfo
- Publication number
- JP7293939B2 JP7293939B2 JP2019134665A JP2019134665A JP7293939B2 JP 7293939 B2 JP7293939 B2 JP 7293939B2 JP 2019134665 A JP2019134665 A JP 2019134665A JP 2019134665 A JP2019134665 A JP 2019134665A JP 7293939 B2 JP7293939 B2 JP 7293939B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- target position
- working mechanism
- real space
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 claims description 79
- 238000004891 communication Methods 0.000 claims description 20
- 239000003550 marker Substances 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 241000030361 Girellinae Species 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000024703 flight behavior Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、建物解体機などの作業機械に関する。 The present invention relates to working machines such as building demolition machines.
ショベルの上部旋回体に取り付けられたカメラでは撮像できない空間を、自律式の飛行体に取り付けられたカメラで撮像する技術が提案されている(例えば、特許文献1参照)。 A technique has been proposed in which a camera attached to an autonomous flying vehicle captures an image of a space that cannot be captured by a camera attached to an upper revolving body of an excavator (see, for example, Patent Document 1).
しかし、ショベルが飛行体の位置とは無関係に動作した場合、ショベルと飛行体とが接触してしまう可能性が高まる。 However, if the shovel operates independently of the position of the flying object, the possibility of contact between the shovel and the flying object increases.
そこで、本発明は、周囲を飛行している無人飛行機との接触可能性の低減を図りうる作業機械等を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a work machine or the like capable of reducing the possibility of contact with an unmanned airplane flying around.
本発明は、下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械に関する。また、本発明は、作業機械および無人飛行機のそれぞれとの通信機能を有する作業機械支援サーバに関する。 The present invention comprises a lower traveling body, an upper revolving body that can swivel with respect to the lower traveling body, a working mechanism that extends from the upper revolving body, the lower traveling body, the upper revolving body, and the working mechanism. and a control device for controlling each operation mode. The present invention also relates to a work machine support server having communication functions with each of the work machine and the unmanned aerial vehicle.
本発明の作業機械は、
前記制御装置が、
無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする。
The working machine of the present invention is
The control device
a first state recognition element that recognizes the real space position of the unmanned aircraft;
a second state recognition element that recognizes the real space occupation state of the working mechanism;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
characterized by comprising
当該構成の作業機械によれば、無人飛行機の実空間位置および作業機構の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機の目標位置軌道が生成される。このため、無人飛行機が当該目標位置軌道にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる。「認識」とは、作業機構および無人飛行機の接触可能性の高低を判定、推定または予測すること、および、当該判定結果を受信することまたは記憶装置から読み取ることを包含する概念である。 According to the work machine with this configuration, the target position trajectory of the unmanned aircraft is adjusted so as to maintain a low possibility of contact between the two in view of the real space position of the unmanned aircraft and the real space occupation state of the working mechanism. generated. Therefore, by flying the unmanned airplane according to the target position trajectory, the state in which the possibility of contact is low is maintained, or the possibility of contact is reduced. "Recognition" is a concept that includes determining, estimating, or predicting the possibility of contact between the working mechanism and the unmanned aerial vehicle, and receiving or reading the determination result from a storage device.
本発明の作業機械において、前記第2状態認識要素が、前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも1つのための操作機構の操作態様を認識したうえで、当該操作態様に基づいて前記作業機構の実空間占有状態の変化態様を認識し、前記目標位置軌道生成要素が、前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態の変化態様に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成することが好ましい。 In the work machine of the present invention, the second state recognition element recognizes an operation mode of an operation mechanism for at least one of the lower traveling body, the upper revolving body, and the working mechanism, and and the target position trajectory generation element recognizes the real space position of the unmanned aircraft recognized by the first state recognition element and the second state recognition element A target that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state where the possibility of contact with the working mechanism is low based on the recognized changing state of the real space occupation state of the working mechanism. A position trajectory is preferably generated.
当該構成の作業機械によれば、下部走行体、上部旋回体および作業機構のうち少なくとも1つ(以下、適時「作業機構等」という。)を操作するための操作機構の操作態様に鑑みて予測される、作業機構の実空間占有状態の変化態様に鑑みて、将来的に作業機構と無人飛行機との接触可能性が高くならないように無人飛行機の目標位置軌道が生成される。このため、無人飛行機が当該目標位置軌道にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる。 According to the working machine of this configuration, the operating mechanism for operating at least one of the undercarriage, upper revolving body, and working mechanism (hereinafter referred to as "working mechanism, etc." as appropriate) is predicted in view of the operation mode of the operating mechanism. The target position trajectory of the unmanned aerial vehicle is generated so as not to increase the possibility of contact between the working mechanism and the unmanned aerial vehicle in the future, in view of the change in the real space occupation state of the working mechanism. Therefore, by flying the unmanned airplane according to the target position trajectory, the state in which the possibility of contact is low is maintained, or the possibility of contact is reduced.
本発明の作業機械において、前記第1状態認識要素が、前記無人飛行機に搭載されている撮像装置を通じて取得され、前記無人飛行機から前記作業機械に対して送信された、前記作業機構に付されているマーカを含む撮像画像を表わす撮像画像データに基づき、前記無人飛行機の実空間位置を認識することが好ましい。 In the working machine of the present invention, the first state recognition element is attached to the working mechanism obtained through an imaging device mounted on the unmanned airplane and transmitted from the unmanned airplane to the working machine. Preferably, the real space position of the unmanned aerial vehicle is recognized based on the captured image data representing the captured image including the marker.
当該構成の作業機械によれば、無人飛行機に搭載されている撮像装置により取得されるマーカを含む作業機械の撮像画像データが用いられることにより、測距センサが無人飛行機に搭載されていなくても当該無人飛行機の実空間位置が認識されうる。 According to the working machine with this configuration, by using the captured image data of the working machine including the marker acquired by the imaging device mounted on the unmanned airplane, even if the distance measuring sensor is not mounted on the unmanned airplane, A real space position of the unmanned aerial vehicle may be known.
本発明の作業機械支援サーバは、
前記無人飛行機または前記作業機構との通信に基づき、無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構または前記無人飛行機との通信に基づき、前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする。
The work machine support server of the present invention includes:
a first state recognition element that recognizes a real space position of the unmanned aerial vehicle based on communication with the unmanned aerial vehicle or the working mechanism;
a second state recognition element that recognizes a real space occupation state of the working mechanism based on communication with the working mechanism or the unmanned aerial vehicle;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
characterized by comprising
当該構成の作業機械支援サーバによれば、無人飛行機の実空間位置および作業機構の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機の目標位置軌道が生成される。このため、無人飛行機が当該目標位置軌道にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる。 According to the work machine support server with this configuration, the target position of the unmanned airplane is maintained so that the possibility of contact between the two is low, in view of the real space position of the unmanned airplane and the real space occupation state of the working mechanism. A trajectory is generated. Therefore, by flying the unmanned airplane according to the target position trajectory, the state in which the possibility of contact is low is maintained, or the possibility of contact is reduced.
(構成)
図1に示されている本発明の一実施形態としての作業機械10は、無人飛行機40と連携しながら所定の作業を遂行する。作業機械10は、例えばクローラショベル(建設機械)であり、クローラ式の下部走行体110と、下部走行体110に旋回機構130を介して旋回可能に搭載されている上部旋回体120と、を備えている。上部旋回体120の前方左側部にはキャブ(運転室)122が設けられている。上部旋回体120の前方中央部には作業機構140としての作業アタッチメントが設けられている。
(composition)
A working
作業機構140は、上部旋回体120に起伏可能に装着されているブーム141と、ブーム141の先端に回動可能に連結されているアーム143と、アーム143の先端に回動可能に連結されているバケット145と、を備えている。作業機構140には、伸縮可能な油圧シリンダにより構成されているブームシリンダ142、アームシリンダ144およびバケットシリンダ146が装着されている。バケット145に代えてニブラなどの他のアタッチメントがアーム143の先端部に取り付けられていてもよい。
The
ブームシリンダ142は、作動油の供給を受けることにより伸縮してブーム141を起伏方向に回動させるように当該ブーム141と上部旋回体120との間に介在する。アームシリンダ144は、作動油の供給を受けることにより伸縮してアーム143をブーム141に対して水平軸回りに回動させるように当該アーム143と当該ブーム141との間に介在する。バケットシリンダ146は、作動油の供給を受けることにより伸縮してバケット145をアーム143に対して水平軸回りに回動させるように当該バケット145と当該アーム143との間に介在する。
The
作業機械10は、作業機械制御装置20と、無線通信機器202と、入力インターフェース210と、出力インターフェース220と、を備えている。作業機械制御装置20は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械制御装置20は、第1状態認識要素21と、第2状態認識要素22と、目標位置軌道生成要素23と、を備えている。第1状態認識要素21は、無人飛行機40の実空間位置を認識する。第2状態認識要素22は、作業機構140の実空間占有状態を認識する。目標位置軌道生成要素23は、第1状態認識要素21により認識された無人飛行機40の実空間位置および第2状態認識要素22により認識された作業機構140の実空間占有状態に基づき、無人飛行機40が作業機構140との接触可能性が低い状態で飛行しうるように、当該無人飛行機40の目標位置の時系列である目標位置軌道を生成する。
The work
入力インターフェース210を構成する操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、下部走行体110を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、旋回機構130を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、ブームシリンダ142を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)はアームシリンダ144を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)はバケットシリンダ146を動かすために操作される。
The
操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートSの周囲に配置されている。シートSは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。
Each operating lever constituting the
シートSの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートSの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図2に示されているシートSの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
A pair of left and right traveling
出力インターフェース220を構成する画像出力装置222は、例えば図2に示されているように、シートSの前方に配置されている。画像出力装置222は、スピーカ(音声出力装置)をさらに備えていてもよい。
An
無人飛行機40は、飛行機制御装置400と、無線通信機器402と、撮像装置410と、測距装置420と、を備えている。無人飛行機40は、作業機械10の構成要素であってもよい。この場合、作業機械10には、無人飛行機40が発着するベースメントを備えていてもよい。無人飛行機40は、回転翼機であり、複数(例えば、4、6または8)の羽根、当該複数の羽根を回転させるための電動モータ(アクチュエータ)およびモータ等に電力を供給するバッテリなどを備えている。無人飛行機40は、遠隔操作装置50を通じて操作可能である。例えば、入力インターフェース210により無人飛行機40の遠隔操作装置が構成されていてもよい。
The
(機能)
無人飛行機40において、飛行機制御装置400により、無線通信機器402を通じて、遠隔操作装置50から送信された飛行指令信号が受信される(図3/STEP402)。これに応じて、飛行機制御装置400により、第1の飛行動作制御が実施される(図3/STEP404)。すなわち、当該飛行指令信号にしたがって、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、無人飛行機40は、複数の羽根を回転させることにより生じる気流によって飛行し、その場で上昇もしくは下降し、または、空中にとどまることができる。
(function)
In the
無人飛行機40において、撮像装置410により、アタッチメント先端部としてのバケット145など、作業機構140の特定部位を包含する撮像画像が取得される(図3/STEP406)。これにより、例えば、図4左側に示されているように、作業機械10が建築物を破壊している際に、バケット145が無人飛行機40に搭載されている撮像装置410により斜め左前方かつ上方から撮像される。飛行機制御装置400により、無線通信機器402を通じて、当該撮像画像を表わす撮像画像データが作業機械10に対して送信される(図3/STEP408)。
In the
作業機械10において、作業機械制御装置20により、無線通信機器202を通じて撮像画像データが受信される(図3/STEP202)。作業機械制御装置20により、撮像画像データに応じた環境画像(撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像)が画像出力装置222に表示される(図3/STEP204)。これにより、例えば、図4右側に示されているように、作業機械10が建築物を破壊している際のバケット145が含まれている環境画像が画像出力装置222に表示される。
In
作業機械制御装置20において、第1状態認識要素21により、作業機構140を基準とした無人飛行機40の相対位置が認識される(図3/STEP206)。例えば、撮像画像におけるバケット145、アーム143およびブーム141のそれぞれの形状およびサイズに基づき、画像データベースを照会することにより、バケット145、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が推定される。また、少なくともアーム143およびブーム141のそれぞれの指定箇所に所定形状のマーカが付され、撮像画像における当該マーカの形状およびサイズに基づき、画像データベースを照会することにより、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が推定されてもよい。無人飛行機40に測距画像センサまたはTOFセンサが搭載され、当該センサを通じて取得された測距データに基づき、バケット145、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が推定されてもよい。
In the work
世界座標系(または実空間座標系)における無人飛行機40の位置(および姿勢)が測定され、当該測定結果が無人飛行機40から作業機械10に対して送信されることにより、第1状態認識要素21により、無人飛行機40の実空間位置、または、バケット145、アーム143およびブーム141のそれぞれの指定箇所を基準とした無人飛行機40の相対位置が測定されてもよい。
The position (and attitude) of the
無人飛行機40に搭載されているGPS等の測位装置により、世界座標系(または実空間座標系)における緯度(Y座標値)および経度(X座標値)が測定される。TOFセンサまたは気圧センサにより、世界座標系における絶対高度または気圧高度(Z座標値)が測定される。
A positioning device such as a GPS mounted on the
上部旋回体120およびブーム141の連結機構(または関節機構)、ブーム141およびアーム143の連結機構、ならびに、アーム143およびバケット145の連結機構のそれぞれの角度、さらにはブーム141、アーム143およびバケット145のそれぞれのサイズに基づき、ブーム141、アーム143およびバケット145のそれぞれの作業機械座標系(上部旋回体120に対して位置および姿勢が固定されている座標系)における位置および姿勢が測定される。上部旋回体120に搭載されているGPS等の測位装置により、上部旋回体120、ひいては作業機械座標系の世界座標系における緯度(Y座標値)および経度(X座標値)が測定される。作業機械座標系の世界座標系におけるZ座標値はあらかじめ定められている。上部旋回体120に搭載されている方位センサおよび傾斜角センサにより、作業機械座標系の世界座標系における姿勢が測定される。これらの結果、ブーム141、アーム143およびバケット145のそれぞれの世界座標系における位置および姿勢が測定される。
The respective angles of the coupling mechanism (or joint mechanism) of the
作業機械制御装置20において、第2状態認識要素22により、操作機構211を構成する各操作レバーのオペレータによる操作態様が認識される(図3/STEP208)。
In the work
作業機械制御装置20において、第2状態認識要素22により、操作機構211を構成する各操作レバーのオペレータによる操作態様に基づき、作業機構140の実空間占有状態が認識される(図3/STEP210)。上部旋回体120およびブーム141の連結機構(または関節機構)、ブーム141およびアーム143の連結機構、ならびに、アーム143およびバケット145の連結機構のそれぞれの角度、さらにはブーム141、アーム143およびバケット145のそれぞれのサイズに基づき、ブーム141、アーム143およびバケット145のそれぞれの作業機械座標系(上部旋回体120に対して位置および姿勢が固定されている座標系)における空間占有状態が測定される。各操作レバーの操作態様に基づき、各連結機構の回動角速度が予測されるため、現時点から指定期間にわたるブーム141、アーム143およびバケット145のそれぞれの実空間占有状態の変化態様が認識または予測される。
In the work
例えば、時点t=t1またはその直前におけるアーム143をブーム141に対して持ち上げるための操作レバーのオペレータによる操作態様に基づき、図5に示されているように、アーム143およびバケット145の実空間占有状態が、時点t=t1における実空間占有状態(実線参照)から時点t=t2における実空間占有状態(破線参照)に変化することが予測される。これにより、期間[t1,t2]におけるアーム143およびバケット145の占有空間Occ[t1,t2]の広がり態様が認識されうる(図5斜線部分参照)。
For example, based on operator actuation of the control lever to lift
また、時点t=t1またはその直前における上部旋回体120のための操作レバーのオペレータによる操作態様に基づき、図6に示されているように、ブーム141、アーム143およびバケット145の実空間占有状態が、時点t=t1における実空間占有状態(実線参照)から時点t=t2における実空間占有状態(破線参照)に変化することが予測される。これにより、期間[t1,t2]におけるブーム141、アーム143およびバケット145の占有空間Occ[t1,t2]の広がり態様が認識されうる(図6斜線部分参照)。
Also, based on the operator's manipulation of the control lever for the
第1状態認識要素21により認識された無人飛行機40の実空間位置および第2状態認識要素22により認識された作業機構140の実空間占有状態に基づき、無人飛行機40が作業機構140との接触可能性が低い状態で飛行しうるように、当該無人飛行機40の目標位置の時系列である目標位置軌道が目標位置軌道生成要素23により生成される(図3/STEP212)。これにより、例えば、図5に示されているように期間[t1,t2]におけるアーム143およびバケット145の占有空間Occ[t1,t2]から脱出するような位置軌道(または当該占有空間Occ[t1,t2]を通過しない位置軌道)が、目標位置軌道P[t1,t2]として生成される。無人飛行機40の実空間位置は、作業機構140の上方に維持されていることが好ましい。また、図6に示されているように期間[t1,t2]におけるブーム141、アーム143およびバケット145の占有空間Occ[t1,t2]から脱出するような位置軌道(または当該占有空間Occ[t1,t2]を通過しない位置軌道)が、目標位置軌道P[t1,t2]として生成される。
The
作業機械制御装置20により、無線通信機器202を通じて、目標位置軌道(またはこれを特定するための信号)が、無人飛行機40に対して送信される(図3/STEP214)。
The
無人飛行機40において、飛行機制御装置400により、無線通信機器402を通じて目標位置軌道が受信される(図3/STEP410)。これに応じて、飛行機制御装置400により、第2の飛行動作制御が実施される(図3/STEP412)。すなわち、当該目標位置軌道にしたがって、無人飛行機40が飛行するように、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、例えば、無人飛行機40は、図5および図6のそれぞれに示されている目標位置軌道P[t1,t2]に沿って自律的に飛行することができる。
In the
遠隔操作装置50に対して目標位置軌道が送信されることにより、オペレータに対して無人飛行機40が当該目標位置軌道にしたがって飛行するように、遠隔操作装置50の操作を促すことができる。作業機構140の動作が停止していることを要件として、遠隔操作装置50に対して目標位置軌道が送信されてもよい。また、第2の飛行動作制御の実行により無人飛行機40が自律的または能動的に飛行している場合、目標位置軌道が遠隔操作装置50の出力インターフェースを構成する画像表示装置に表示される、または、第2の飛行動作制御が実行されていることを表わす情報が表示されることにより、遠隔操作、ひいては第1の飛行動作制御が無効になっている状況をオペレータに認識させることができる。
By transmitting the target position trajectory to the
(効果)
当該構成の作業機械10によれば、無人飛行機40の実空間位置および作業機構140の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機40の目標位置軌道P[t1,t2]が生成される。このため、無人飛行機40が当該目標位置軌道P[t1,t2]にしたがって飛行することにより、当該接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる(図5および図6参照)。
(effect)
According to the
(本発明の他の実施形態)
図7に示されている本発明の一実施形態としての作業機械支援サーバ30は、作業機械10および無人飛行機40のそれぞれとの通信機能を有する。作業機械支援サーバ30が、無人飛行機40に搭載され、作業機械10との通信機能を有していてもよい。作業機械支援サーバ30は、第1状態認識要素21と、第2状態認識要素22と、目標位置軌道生成要素23と、を備えている。この場合、作業機械制御装置20は、第1状態認識要素21、第2状態認識要素22および目標位置軌道生成要素23としての機能を備えていなくてもよい。
(Another embodiment of the present invention)
A work
当該構成の作業機械支援サーバ30によれば、無人飛行機40の実空間位置および作業機構140の実空間占有用状態に鑑みて、両者の接触可能性が低い状態が維持されるように、無人飛行機40の目標位置軌道P[t1,t2]が生成され、無人飛行機40に対してして目標位置軌道P[t1,t2]が送信される。これに応じて、当該目標位置軌道P[t1,t2]にしたがって、無人飛行機40が飛行するように、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、無人飛行機40および作業機構140の接触可能性が低い状態が維持され、あるいは、当該接触可能性の低減が図られる(図3、図5および図6参照)。
According to the work
前記実施形態によれば、作業機構140の実空間占有状態の変化態様に基づいて、無人飛行機40の目標位置軌道P[t1,t2]が生成されたが(図5および図6参照)、他の実施形態において、各時点tにおける作業機構140の実空間占有状態に基づき、当該占有空間と無人飛行機40との間隔が所定間隔以上になるようにまたは維持されるように無人飛行機40の目標位置軌道が生成されてもよい。
According to the above embodiment, the target position trajectory P[t1, t2] of the unmanned
目標位置軌道の生成に際して、指定箇所を基準として無人飛行機40の相対位置が推定された時点t=t1における無人飛行機40の実空間位置としての第1指定位置P(t1)から、時点t=t2(>t1)における無人飛行機40の目標実空間位置としての第2指定位置P(t2)までの目標位置軌道P[t1,t2]が生成されてもよい。具体的には、アーム143の背面において基端側(ブーム141の接続側)に設けられたマーカM1から無人飛行機40が第1指定間隔だけ離間している時点t=t1における当該無人飛行機40の実空間位置としての第1指定位置P(t1)から、アーム143の背面において先端側(バケット145(またはニブラなど)の装着側)に設けられたマーカM2から第2指定間隔だけ離間した時点t=t2(>t1)における無人飛行機40の目標実空間位置としての第2指定位置P(t2)までの目標位置軌道P[t1,t2]が生成されてもよい。これにより、無人飛行機40が時点t=t1よりも時点t=t2においてアーム143の先端側に接近し、当該アーム143の先端側に連結されているバケット145またはニブラなどによる作業状況がより鮮明に把握される。また、バケット145またはニブラなどの点検にも適している。
When generating the target position trajectory, from the first specified position P(t1) as the real space position of the
また、アーム143の先端側に一のマーカのみが設けられ、無人飛行機40に搭載されている撮像装置410を通じて取得された当該マーカを含む撮像画像に基づき、無人飛行機40からバケット145までの距離が推定され、当該推定距離に応じて定められた実空間位置が第2指定位置P(t2)として設定されてもよい。
Further, only one marker is provided on the tip side of the
また、無人飛行機40の目標位置軌道P[t1,t2]の上に解体作業対象である建築物の一部などの障害物の存在が認識された場合、無人飛行機40が第1指定位置P(t1)に戻るまたは留まるようにその飛行動作が制御されてもよい。これにより、無人飛行機40が当該障害物と接触し損傷する事態が防止される。遠隔操作装置50を通じてオペレータにより無人飛行機40が第1指定位置P(t1)に戻るまたは留まるようにその飛行動作が制御されてもよい。
Further, when an obstacle such as a part of the building to be demolished is recognized on the target position trajectory P[t1, t2] of the
また、作業機構140の実空間占有状態の変化に伴って、第2指定位置P(t2)、ひいては目標位置軌道P[t1,t2]が適応的に変更されてもよい。
In addition, the second specified position P(t2) and, by extension, the target position trajectory P[t1, t2] may be adaptively changed as the real space occupation state of the
10‥作業機械、20‥作業機械制御装置、21‥第1状態認識要素、22‥第2状態認識要素、23‥目標位置軌道生成要素、30‥作業機械支援サーバ、40‥無人飛行機、202‥無線通信機器、210‥入力インターフェース、211‥操作機構、220‥出力インターフェース、222‥画像出力装置、140‥作業機構(作業アタッチメント)、400‥飛行機制御装置、402‥無線通信機器、410‥撮像装置。
10
Claims (4)
前記制御装置が、
無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする作業機械。 Operation modes of a lower traveling body, an upper revolving body capable of turning with respect to the lower traveling body, a working mechanism extending from the upper revolving body, and the lower traveling body, the upper revolving body, and the working mechanism A working machine comprising a control device for controlling
The control device
a first state recognition element that recognizes the real space position of the unmanned aircraft;
a second state recognition element that recognizes the real space occupation state of the working mechanism;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
A working machine comprising:
前記第2状態認識要素が、前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも1つのための操作機構の操作態様を認識したうえで、当該操作態様に基づいて前記作業機構の実空間占有状態の変化態様を認識し、 前記目標位置軌道生成要素が、前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態の変化態様に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成することを特徴とする作業機械。 The work machine according to claim 1,
The second state recognition element recognizes an operation mode of an operation mechanism for at least one of the lower traveling body, the upper revolving body, and the working mechanism, and then determines the actual operation of the working mechanism based on the operation mode. The target position trajectory generation element recognizes a change mode of the space occupation state, and the real space position of the unmanned aerial vehicle recognized by the first state recognition element and the working mechanism recognized by the second state recognition element. Generating a target position trajectory, which is a time series of the target position of the unmanned aircraft, based on the changing state of the real space occupation state so that the unmanned aircraft can fly in a state where the possibility of contact with the working mechanism is low. A working machine characterized by:
前記第1状態認識要素が、前記無人飛行機に搭載されている撮像装置を通じて取得され、前記無人飛行機から前記作業機械に対して送信された、前記作業機構に付されているマーカを含む撮像画像を表わす撮像画像データに基づき、前記無人飛行機の実空間位置を認識することを特徴とする作業機械。 The working machine according to claim 1 or 2,
The first state recognition element is a captured image including a marker attached to the working mechanism, which is acquired through an imaging device mounted on the unmanned aerial vehicle and transmitted from the unmanned aerial vehicle to the working machine. A working machine that recognizes the real space position of the unmanned aircraft based on captured image data.
前記無人飛行機または前記作業機構との通信に基づき、無人飛行機の実空間位置を認識する第1状態認識要素と、
前記作業機構または前記無人飛行機との通信に基づき、前記作業機構の実空間占有状態を認識する第2状態認識要素と、
前記第1状態認識要素により認識された前記無人飛行機の実空間位置および前記第2状態認識要素により認識された前記作業機構の実空間占有状態に基づき、前記無人飛行機が前記作業機構との接触可能性が低い状態で飛行しうるように前記無人飛行機の目標位置の時系列である目標位置軌道を生成する目標位置軌道生成要素と、
前記目標位置軌道生成要素により生成された前記目標位置軌道を前記無人飛行機の遠隔操作装置に対して送信し、当該目標位置軌道を前記遠隔操作装置の出力インターフェースに表示させる無線通信機と、
を備えていることを特徴とする作業機械支援サーバ。 Operation modes of a lower traveling body, an upper revolving body capable of turning with respect to the lower traveling body, a working mechanism extending from the upper revolving body, and the lower traveling body, the upper revolving body, and the working mechanism and a work machine support server having a function of communicating with each of the unmanned aerial vehicles, wherein
a first state recognition element that recognizes a real space position of the unmanned aerial vehicle based on communication with the unmanned aerial vehicle or the working mechanism;
a second state recognition element that recognizes a real space occupation state of the working mechanism based on communication with the working mechanism or the unmanned aerial vehicle;
The unmanned airplane can contact the working mechanism based on the real space position of the unmanned airplane recognized by the first state recognition element and the real space occupancy state of the working mechanism recognized by the second state recognition element. a target position trajectory generation element that generates a target position trajectory that is a time series of target positions of the unmanned aerial vehicle so that the unmanned aerial vehicle can fly in a state of low stability;
a wireless communication device that transmits the target position trajectory generated by the target position trajectory generation element to a remote control device of the unmanned aircraft and displays the target position trajectory on an output interface of the remote control device ;
A work machine support server characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134665A JP7293939B2 (en) | 2019-07-22 | 2019-07-22 | Work machines and work machine support servers |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134665A JP7293939B2 (en) | 2019-07-22 | 2019-07-22 | Work machines and work machine support servers |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021017761A JP2021017761A (en) | 2021-02-15 |
JP7293939B2 true JP7293939B2 (en) | 2023-06-20 |
Family
ID=74563318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134665A Active JP7293939B2 (en) | 2019-07-22 | 2019-07-22 | Work machines and work machine support servers |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7293939B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013159930A (en) | 2012-02-02 | 2013-08-19 | Sumitomo Heavy Ind Ltd | Periphery monitoring device |
JP2017097640A (en) | 2015-11-25 | 2017-06-01 | 株式会社Ihiエアロスペース | Remote control image acquisition device, remote control image acquisition method and remote control device |
WO2017131194A1 (en) | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | Excavator and autonomous flying body to fly around excavator |
WO2017170651A1 (en) | 2016-03-31 | 2017-10-05 | 住友重機械工業株式会社 | Work management system for construction machine, and construction machine |
JP2019004399A (en) | 2017-06-19 | 2019-01-10 | コベルコ建機株式会社 | Work machine periphery monitoring system |
-
2019
- 2019-07-22 JP JP2019134665A patent/JP7293939B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013159930A (en) | 2012-02-02 | 2013-08-19 | Sumitomo Heavy Ind Ltd | Periphery monitoring device |
JP2017097640A (en) | 2015-11-25 | 2017-06-01 | 株式会社Ihiエアロスペース | Remote control image acquisition device, remote control image acquisition method and remote control device |
WO2017131194A1 (en) | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | Excavator and autonomous flying body to fly around excavator |
WO2017170651A1 (en) | 2016-03-31 | 2017-10-05 | 住友重機械工業株式会社 | Work management system for construction machine, and construction machine |
JP2019004399A (en) | 2017-06-19 | 2019-01-10 | コベルコ建機株式会社 | Work machine periphery monitoring system |
Also Published As
Publication number | Publication date |
---|---|
JP2021017761A (en) | 2021-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7358349B2 (en) | Excavators, information processing equipment | |
JP6832548B2 (en) | Work machine image display system, work machine remote control system, work machine and work machine image display method | |
JP7521443B2 (en) | Work support system and work support complex system | |
JP2016181119A (en) | System for presenting situation surrounding mobile machine | |
JP2020117982A (en) | Work machine | |
JP2019214836A (en) | Remote control system for working machine | |
JP2020161934A (en) | Remote control system | |
JP7293939B2 (en) | Work machines and work machine support servers | |
JP7293933B2 (en) | Work machines and work machine support servers | |
JP7293934B2 (en) | Work machines and work machine support servers | |
WO2023032970A1 (en) | Control system, control method, and control program | |
JP7225935B2 (en) | remote control system | |
KR20240033070A (en) | Systems and methods for controlling working machines | |
US20210017736A1 (en) | Work machine and work machine support server | |
WO2021106278A1 (en) | Work assistance server, work assistance method, and work assistance system | |
JP2021021253A (en) | Work machine and work machine assistance server | |
JP7443978B2 (en) | Work support equipment | |
JP7472746B2 (en) | Work Support Device | |
JP2021025240A (en) | Work machine and work machine support server | |
WO2023100533A1 (en) | Image display system, remote operation assistance system, and image display method | |
JP7521359B2 (en) | Remote operation support device and remote operation support system | |
US20230359209A1 (en) | Stability system for an articulated machine | |
US20230359203A1 (en) | Stability system for an articulated machine in a coasting mode | |
JP2024120686A (en) | Work machine and support system for the work machine | |
JP2022026596A (en) | Work machine and construction support system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7293939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |