JP6370686B2 - Excavator support system, excavator support device, and excavator support method - Google Patents

Excavator support system, excavator support device, and excavator support method Download PDF

Info

Publication number
JP6370686B2
JP6370686B2 JP2014235247A JP2014235247A JP6370686B2 JP 6370686 B2 JP6370686 B2 JP 6370686B2 JP 2014235247 A JP2014235247 A JP 2014235247A JP 2014235247 A JP2014235247 A JP 2014235247A JP 6370686 B2 JP6370686 B2 JP 6370686B2
Authority
JP
Japan
Prior art keywords
excavator
output image
information
shovel
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014235247A
Other languages
Japanese (ja)
Other versions
JP2016098535A (en
Inventor
崇昭 守本
崇昭 守本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2014235247A priority Critical patent/JP6370686B2/en
Publication of JP2016098535A publication Critical patent/JP2016098535A/en
Application granted granted Critical
Publication of JP6370686B2 publication Critical patent/JP6370686B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明はショベルによる施工の管理を支援するショベル支援システム及びショベル支援装置に関する。   The present invention relates to an excavator support system and an excavator support device that support the management of construction by an excavator.

ショベルの操作を案内する案内画面を表示する表示システムを搭載したショベルが知られている(特許文献1参照。)。案内画面はバケットの刃先と目標施工面との位置関係を示す画像を含む。   An excavator equipped with a display system that displays a guidance screen for guiding the operation of the excavator is known (see Patent Document 1). The guidance screen includes an image showing the positional relationship between the blade edge of the bucket and the target construction surface.

特開2012−172425号公報JP 2012-172425 A

しかしながら、特許文献1は、ショベルの操作を案内する案内画面をショベルの操作者に対して提示することを開示するのみであり、ショベルによる施工の管理を行う管理者に対して提示する画面については言及していない。   However, Patent Document 1 only discloses that a guidance screen for guiding the operation of the excavator is presented to the operator of the excavator, and the screen presented to the administrator who manages the construction by the excavator is disclosed. Not mentioned.

上述に鑑み、ショベルによる施工の管理を視覚的に支援するショベル支援システム及びショベル支援装置の提供が望まれる。   In view of the above, it is desirable to provide an excavator support system and an excavator support apparatus that visually support management of construction by an excavator.

本発明の一実施形態に係るショベル支援システムは、ショベルによる施工の管理を支援するショベル支援システムであって、施工対象の地形に関する情報を取得する地形情報取得部と、前記ショベルの位置及び動きに関する情報を取得するショベル情報取得部と、前記ショベルの動きに関する情報に基づいて前記ショベルが行った作業の内容を判別する作業内容判別部と、前記施工対象の地形を表す地形画像と前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部と、を有する。   An excavator support system according to an embodiment of the present invention is an excavator support system that supports the management of construction by an excavator, and relates to a terrain information acquisition unit that acquires information on the terrain to be constructed, and the position and movement of the excavator. An excavator information acquisition unit for acquiring information, a work content determination unit for determining the content of work performed by the excavator based on information on the movement of the excavator, a topographic image representing the topography of the construction target, and the excavator And an output image generation unit that generates an output image by synthesizing the work content image representing the content of the selected work.

また、本発明の一実施形態に係るショベル支援装置は、施工対象の地形に関する情報から生成される前記施工対象の地形を表す地形画像と、ショベルの動きに関する情報に基づいて判別される前記ショベルが行った作業の内容から生成される前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部を有する。   The excavator support device according to an embodiment of the present invention includes the excavator that is discriminated based on the terrain image representing the terrain of the construction target generated from information on the terrain of the construction target and the information on the movement of the excavator. An output image generation unit configured to generate an output image by synthesizing with a work content image representing the content of the work performed by the excavator generated from the content of the work performed;

上述の手段により、ショベルによる施工の管理を視覚的に支援するショベル支援システム及びショベル支援装置が提供される。   By the above-mentioned means, an excavator support system and an excavator support device that visually support the management of construction by the shovel are provided.

本発明の実施例に係るショベル支援システムの構成例を示す図である。It is a figure which shows the structural example of the shovel assistance system which concerns on the Example of this invention. ショベル支援システムを構成する通信端末としてのショベルの構成例を示す図である。It is a figure which shows the structural example of the shovel as a communication terminal which comprises a shovel support system. ショベル支援システムを構成する各通信端末の構成例を示す機能ブロック図である。It is a functional block diagram which shows the structural example of each communication terminal which comprises an excavator assistance system. ショベルに搭載されるコントローラによる出力画像生成処理の流れを示す図である。It is a figure which shows the flow of the output image generation process by the controller mounted in the shovel. 出力画像の構成例を示す図である。It is a figure which shows the structural example of an output image. 出力画像の別の構成例を示す図である。It is a figure which shows another structural example of an output image. 出力画像のさらに別の構成例を示す図である。It is a figure which shows another example of a structure of an output image. ショベル支援システムを構成する各通信端末の別の構成例を示す機能ブロック図である。It is a functional block diagram which shows another structural example of each communication terminal which comprises an excavator assistance system.

図1は、本発明の実施例に係るショベル支援システム100の構成例を示す図である。ショベル支援システム100は、主に、建設機械としてのショベルPS1、PS2、移動局としての携帯端末MS1、MS2、及び、固定局としての情報センタFSを含む。ショベルPS1、PS2、携帯端末MS1、MS2、及び情報センタFSは、通信ネットワークCNを通じて互いに接続される通信端末として機能する。なお、携帯端末MS1、MS2は、スマートフォン、タブレットPC、ノートPC等を含む。   FIG. 1 is a diagram illustrating a configuration example of an excavator support system 100 according to an embodiment of the present invention. The excavator support system 100 mainly includes excavators PS1 and PS2 as construction machines, mobile terminals MS1 and MS2 as mobile stations, and an information center FS as a fixed station. The excavators PS1 and PS2, the portable terminals MS1 and MS2, and the information center FS function as communication terminals connected to each other through the communication network CN. Note that the mobile terminals MS1 and MS2 include smartphones, tablet PCs, notebook PCs, and the like.

図2は、図1のショベル支援システム100を構成するショベルPS1の構成例を示す図である。ショベルPS1の下部走行体1には旋回機構2を介して上部旋回体3が搭載される。上部旋回体3にはブーム4が取り付けられ、ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられる。   FIG. 2 is a diagram illustrating a configuration example of the excavator PS1 included in the excavator support system 100 of FIG. An upper swing body 3 is mounted on the lower traveling body 1 of the excavator PS1 via a swing mechanism 2. A boom 4 is attached to the upper swing body 3, an arm 5 is attached to the tip of the boom 4, and a bucket 6 as an end attachment is attached to the tip of the arm 5.

ブーム4、アーム5、及びバケット6は掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。また、ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケットリンクにはバケット角度センサS3が取り付けられる。また、上部旋回体3には機体傾斜センサS4が取り付けられる。   The boom 4, the arm 5, and the bucket 6 constitute an excavation attachment, and are hydraulically driven by the boom cylinder 7, the arm cylinder 8, and the bucket cylinder 9, respectively. A boom angle sensor S1 is attached to the boom 4, an arm angle sensor S2 is attached to the arm 5, and a bucket angle sensor S3 is attached to the bucket link. In addition, a body tilt sensor S4 is attached to the upper swing body 3.

ブーム角度センサS1は、ブーム4の回動角度を検出するセンサである。本実施例では、重力加速度を検出することで水平面に対するブーム4の傾斜角を検出し、ひいては上部旋回体3とブーム4とを連結するブームフートピン回りのブーム4の回動角度を検出する加速度センサである。   The boom angle sensor S <b> 1 is a sensor that detects the rotation angle of the boom 4. In this embodiment, the inclination angle of the boom 4 with respect to the horizontal plane is detected by detecting the gravitational acceleration, and as a result, the acceleration that detects the rotation angle of the boom 4 around the boom foot pin that connects the upper swing body 3 and the boom 4. It is a sensor.

アーム角度センサS2は、アーム5の回動角度を検出するセンサである。本実施例では、重力加速度を検出することで水平面に対するアーム5の傾斜角を検出し、ひいてはブーム4とアーム5とを連結する連結ピン回りのアーム5の回動角度を検出する加速度センサである。   The arm angle sensor S <b> 2 is a sensor that detects the rotation angle of the arm 5. In the present embodiment, the acceleration sensor detects the inclination angle of the arm 5 with respect to the horizontal plane by detecting the gravitational acceleration, and thus detects the rotation angle of the arm 5 around the connecting pin that connects the boom 4 and the arm 5. .

バケット角度センサS3は、バケット6の回動角度を検出するセンサである。本実施例では、重力加速度を検出することで水平面に対するバケット6の傾斜角を検出し、ひいてはアーム5とバケット6を連結する連結ピン回りのバケット6の回動角度を検出する加速度センサである。   The bucket angle sensor S3 is a sensor that detects the rotation angle of the bucket 6. In this embodiment, the acceleration sensor detects the inclination angle of the bucket 6 with respect to the horizontal plane by detecting the gravitational acceleration, and thus detects the rotation angle of the bucket 6 around the connecting pin that connects the arm 5 and the bucket 6.

なお、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3の少なくとも1つは、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。   At least one of the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3 includes a potentiometer that uses a variable resistor, a stroke sensor that detects a stroke amount of a corresponding hydraulic cylinder, and a rotation about a connecting pin. A rotary encoder that detects an angle may be used.

機体傾斜センサS4は、水平面に対する上部旋回体3の傾斜角を検出するセンサである。本実施例では、上部旋回体3の前後軸及び左右軸の水平面に対する傾斜角度を検出する2軸加速度センサである。   The body tilt sensor S4 is a sensor that detects the tilt angle of the upper swing body 3 with respect to the horizontal plane. In the present embodiment, it is a biaxial acceleration sensor that detects an inclination angle of the upper revolving unit 3 with respect to the horizontal plane of the front and rear axes and the left and right axes.

旋回角度センサS5は、旋回機構2の旋回軸回りの回転角度を検出するセンサである。本実施例では、旋回角度センサS5はレゾルバである。なお、旋回角度センサS5はロータリエンコーダ等の他の回転角センサであってもよい。   The turning angle sensor S5 is a sensor that detects the rotation angle of the turning mechanism 2 around the turning axis. In this embodiment, the turning angle sensor S5 is a resolver. The turning angle sensor S5 may be another rotation angle sensor such as a rotary encoder.

圧力センサS6は、ショベルの動きを圧力の形で検出するセンサである。本実施例では、圧力センサS6は、油圧ポンプの吐出圧を検出する吐出圧センサ、油圧シリンダのロッド側油室の圧力を検出するロッド圧センサ、油圧シリンダのボトム側油室の圧力を検出するボトム圧センサ等を含む。   The pressure sensor S6 is a sensor that detects the movement of the excavator in the form of pressure. In the present embodiment, the pressure sensor S6 detects a discharge pressure sensor that detects the discharge pressure of the hydraulic pump, a rod pressure sensor that detects the pressure of the rod side oil chamber of the hydraulic cylinder, and a pressure of the bottom side oil chamber of the hydraulic cylinder. Includes bottom pressure sensor.

パイロット圧センサS7は、操作装置が生成するパイロット圧を検出するセンサである。
なお、操作装置は、ブーム操作レバー、アーム操作レバー、バケット操作レバー、旋回操作レバー、走行ペダル等を含む。また、油圧シリンダは、ブームシリンダ7、アームシリンダ8、バケットシリンダ9等を含む。
The pilot pressure sensor S7 is a sensor that detects a pilot pressure generated by the operating device.
The operation device includes a boom operation lever, an arm operation lever, a bucket operation lever, a turning operation lever, a travel pedal, and the like. The hydraulic cylinder includes a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, and the like.

測位センサS8は、ショベルの位置を測定するセンサである。本実施例では測位センサS8はショベルの座標(緯度、経度、高度)を検出するGNSS受信機である。   The positioning sensor S8 is a sensor that measures the position of the excavator. In this embodiment, the positioning sensor S8 is a GNSS receiver that detects the coordinates (latitude, longitude, altitude) of the shovel.

通信装置D1は、ショベルPS1と他の通信端末との間の通信を制御する装置である。本実施例では、通信装置D1は無線通信を通じたショベルPS1と他の通信端末との間の情報の送受信を制御する。   The communication device D1 is a device that controls communication between the excavator PS1 and another communication terminal. In the present embodiment, the communication device D1 controls transmission and reception of information between the excavator PS1 and other communication terminals through wireless communication.

また、上部旋回体3にはキャビン10が設けられ、キャビン10内には入力装置D2、表示装置D3、記憶装置D4、及びコントローラCRが搭載される。   Further, the upper swing body 3 is provided with a cabin 10, and an input device D2, a display device D3, a storage device D4, and a controller CR are mounted in the cabin 10.

入力装置D2は、ショベルの操作者(管理者)が各種情報を入力するための装置である。本実施例では、入力装置D2は表示装置D3の表示画面の周辺に取り付けられるボタンスイッチである。ショベルの操作者は入力装置D2を通じてコントローラCRに各種情報を入力する。なお、入力装置D2はタッチパネルであってもよい。また、入力装置D2はUSBメモリであってもよい。この場合、操作者はキャビン10内に設置されたUSBコネクタにUSBメモリを差し込むことでUSBメモリ内に記憶された情報をコントローラCRに入力できる。   The input device D2 is a device for an excavator operator (administrator) to input various information. In this embodiment, the input device D2 is a button switch attached around the display screen of the display device D3. The operator of the excavator inputs various information to the controller CR through the input device D2. The input device D2 may be a touch panel. The input device D2 may be a USB memory. In this case, the operator can input information stored in the USB memory to the controller CR by inserting the USB memory into the USB connector installed in the cabin 10.

表示装置D3は各種画像情報を出力する装置である。本実施例では、表示装置D3はキャビン10内に設置された液晶ディスプレイであり、コントローラCRからの表示指令に応じて各種情報を表示する。   The display device D3 is a device that outputs various image information. In the present embodiment, the display device D3 is a liquid crystal display installed in the cabin 10, and displays various types of information in accordance with display commands from the controller CR.

記憶装置D4は各種情報を記憶する装置である。本実施例では、記憶装置D4は半導体メモリであり、施工対象の地形に関する情報(以下、「地形情報」とする。)、ショベルの位置及び動きに関する情報(以下、「ショベル情報」とする。)等を記憶する。   The storage device D4 is a device that stores various types of information. In this embodiment, the storage device D4 is a semiconductor memory, and information on the terrain to be constructed (hereinafter referred to as “terrain information”) and information on the position and movement of the excavator (hereinafter referred to as “excavator information”). Memorize etc.

コントローラCRは、ショベル支援装置の一例であり、ショベルの駆動制御を行う。本実施例では、コントローラCRは、演算部及び記憶部を含む演算処理装置で構成される。そして、コントローラCRの各種機能は演算部が記憶部に格納されたプログラムを実行することで実現される。   The controller CR is an example of an excavator support device, and performs drive control of the excavator. In the present embodiment, the controller CR is configured by an arithmetic processing device including an arithmetic unit and a storage unit. Various functions of the controller CR are realized by the calculation unit executing a program stored in the storage unit.

次に、図3を参照し、ショベル支援システム100を構成する各通信端末の構成例について説明する。なお、図3は、ショベル支援システム100を構成する通信端末としてのショベルPS1、情報センタFS、及び携帯端末MS1の構成例を示す機能ブロック図である。   Next, a configuration example of each communication terminal constituting the excavator support system 100 will be described with reference to FIG. FIG. 3 is a functional block diagram showing a configuration example of the excavator PS1, the information center FS, and the mobile terminal MS1 as communication terminals constituting the excavator support system 100.

本実施例では、ショベルPS1のコントローラCRは、機能要素としての地形情報取得部F1、ショベル情報取得部F2、作業内容判別部F3、出力画像生成部F4、及び出力画像表示部F5を含む。   In the present embodiment, the controller CR of the shovel PS1 includes a terrain information acquisition unit F1, a shovel information acquisition unit F2, a work content determination unit F3, an output image generation unit F4, and an output image display unit F5 as functional elements.

地形情報取得部F1は、施工対象の地形に関する地形情報を取得する機能要素である。本実施例では、地形情報取得部F1は、入力装置D2としてのUSBメモリに記憶された地形情報を読み出してその地形情報を取得する。なお、地形情報取得部F1は通信装置D1を通じて別のショベルPS2、情報センタFS、携帯端末MS1、MS2等に記憶された地形情報を取得してもよい。そして、地形情報取得部F1は、取得した地形情報を記憶装置D4に記憶する。   The terrain information acquisition unit F1 is a functional element that acquires terrain information regarding the terrain to be constructed. In the present embodiment, the terrain information acquisition unit F1 reads the terrain information stored in the USB memory as the input device D2, and acquires the terrain information. Note that the terrain information acquisition unit F1 may acquire terrain information stored in another excavator PS2, information center FS, portable terminal MS1, MS2, etc. through the communication device D1. Then, the terrain information acquisition unit F1 stores the acquired terrain information in the storage device D4.

ショベル情報取得部F2は、ショベルの位置及び動きに関するショベル情報を取得する機能要素である。本実施例では、ショベル情報取得部F2は、ショベルPS1におけるブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、旋回角度センサS5、圧力センサS6、及びパイロット圧センサS7の出力に基づいてショベルPS1の動きに関する情報を取得する。また、ショベル情報取得部F2は、測位センサS8の出力に基づいてショベルPS1の位置に関する情報を取得する。なお、ショベル情報はバケット6の先端(爪先)位置に関する情報を含む。   The excavator information acquisition unit F2 is a functional element that acquires excavator information related to the position and movement of the excavator. In the present embodiment, the excavator information acquisition unit F2 includes the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the machine body inclination sensor S4, the turning angle sensor S5, the pressure sensor S6, and the pilot pressure sensor S7 in the excavator PS1. Information about the movement of the excavator PS1 is acquired based on the output. The excavator information acquisition unit F2 acquires information related to the position of the excavator PS1 based on the output of the positioning sensor S8. The excavator information includes information related to the tip (toe) position of the bucket 6.

また、ショベル情報取得部F2は各種センサS1〜S8が出力するデータをショベル情報として記憶装置D4に時系列的に記憶する。作業内容判別部F3が参照できるようにするためである。   Moreover, the excavator information acquisition part F2 memorize | stores the data which various sensors S1-S8 output in the memory | storage device D4 in time series as excavator information. This is because the work content determination unit F3 can be referred to.

なお、ショベル情報取得部F2は、ショベルPS1以外の1又は複数のショベルからショベル情報を受信し、受信したショベル情報をショベル毎に区別できるように記憶装置D4に時系列的に記憶してもよい。   The excavator information acquisition unit F2 may receive excavator information from one or a plurality of excavators other than the excavator PS1, and store the received excavator information in the storage device D4 in time series so that the excavator information can be distinguished for each excavator. .

作業内容判別部F3は、ショベルが行った作業の内容を判別する機能要素である。本実施例では、作業内容判別部F3は、ショベル情報取得部F2が取得するショベルPS1の位置及び動きに関するショベル情報に基づいてショベルPS1が行った作業の内容を判別する。作業の内容は、例えば、掘削、埋め戻し、土羽打ち(転圧)、均し、盛り土、クレーン作業等を含む。   The work content determination unit F3 is a functional element that determines the content of work performed by the excavator. In the present embodiment, the work content determination unit F3 determines the content of the work performed by the excavator PS1 based on the excavator information regarding the position and movement of the excavator PS1 acquired by the excavator information acquisition unit F2. The contents of the work include, for example, excavation, backfilling, earthing (rolling), leveling, filling, crane work, and the like.

具体的には、作業内容判別部F3は、ショベル情報取得部F2が記憶装置D4に記憶した過去の所定時間に亘る各種センサS1〜S8の出力に基づいてショベルPS1がその所定時間内に行った作業の内容を判別する。なお、作業内容判別部F3は、ショベルPS1以外の1又は複数のショベルのそれぞれから受信したショベル情報に基づき、ショベルPS1以外の1又は複数のショベルのそれぞれがその所定時間内に行った作業の内容を判別してもよい。   Specifically, the work content determination unit F3 performs the excavator PS1 within the predetermined time based on the outputs of the various sensors S1 to S8 over the past predetermined time stored in the storage device D4 by the excavator information acquisition unit F2. Determine the content of the work. The work content determination unit F3 is based on the excavator information received from each of the one or more excavators other than the excavator PS1, and the contents of the work performed by each of the one or more excavators other than the excavator PS1 within the predetermined time. May be determined.

出力画像生成部F4は、出力画像を生成する機能要素である。本実施例では、出力画像生成部F4は、地形情報取得部F1が取得する地形情報から地形画像を生成する。また、出力画像生成部F4は、作業内容判別部F3の判別結果からショベルPS1が行った作業の内容を表す作業内容画像を生成する。そして、出力画像生成部F4は、地形画像と作業内容画像とを合成して出力画像を生成する。なお、出力画像生成部F4は、ショベルPS1以外の1又は複数のショベルのそれぞれの作業内容の判別結果に基づき、ショベルPS1以外の1又は複数のショベルのそれぞれが行った作業の内容を表す作業内容画像を生成してもよい。   The output image generation unit F4 is a functional element that generates an output image. In the present embodiment, the output image generation unit F4 generates a terrain image from the terrain information acquired by the terrain information acquisition unit F1. The output image generation unit F4 generates a work content image representing the content of work performed by the excavator PS1 from the determination result of the work content determination unit F3. Then, the output image generation unit F4 generates an output image by combining the topographic image and the work content image. Note that the output image generation unit F4 represents the work contents representing the work contents performed by each of the one or more shovels other than the shovel PS1 based on the determination result of the work contents of each of the one or more shovels other than the shovel PS1. An image may be generated.

地形画像は、例えば、施工対象の地形を表す3次元メッシュ画像であり、作業内容画像は地形画像上に重畳表示される画像であり、例えば、作業内容の違いを異なる表示方法で表現する画像である。なお、異なる表示方法は、色、模様、輝度等の違いを利用した表示方法を含む。また、地形画像及び作業内容画像の合成画像である出力画像は視点を自由に変更できるように構成される。   The terrain image is, for example, a three-dimensional mesh image representing the terrain to be constructed, and the work content image is an image superimposed and displayed on the terrain image, for example, an image that expresses the difference in the work content by a different display method. is there. Note that different display methods include display methods using differences in color, pattern, brightness, and the like. The output image, which is a composite image of the topographic image and the work content image, is configured so that the viewpoint can be freely changed.

そして、出力画像生成部F4は、生成した出力画像を記憶装置D4に記憶する。また、出力画像生成部F4は、通信装置D1を通じてその出力画像を他のショベルPS2、情報センタFS、携帯端末MS1、MS2等に送信する。   Then, the output image generation unit F4 stores the generated output image in the storage device D4. The output image generation unit F4 transmits the output image to the other excavator PS2, the information center FS, the mobile terminals MS1, MS2, and the like through the communication device D1.

出力画像表示部F5は、出力画像を表示装置上に表示させる機能要素である。本実施例では、出力画像表示部F5は、出力画像生成部F4が生成した出力画像をショベルPS1のキャビン10内に設置された表示装置D3に表示させる。   The output image display unit F5 is a functional element that displays an output image on the display device. In the present embodiment, the output image display unit F5 displays the output image generated by the output image generation unit F4 on the display device D3 installed in the cabin 10 of the excavator PS1.

具体的には、出力画像表示部F5は、出力画像生成部F4が生成した出力画像をショベルPS1のキャビン10内に設置された表示装置D3に表示させ、且つ、入力装置D2を通じた操作者の入力に応じて出力画像を見る視点を変更できるようにする。   Specifically, the output image display unit F5 displays the output image generated by the output image generation unit F4 on the display device D3 installed in the cabin 10 of the excavator PS1, and also displays the output image of the operator through the input device D2. The viewpoint for viewing the output image can be changed according to the input.

また、情報センタFSは、図3に示すように、コントローラCRF、通信装置D1F、入力装置D2F、表示装置D3F、及び記憶装置D4Fを含む。そして、コントローラCRFはショベルPS1のコントローラCRにおける出力画像表示部F5と同様の出力画像表示部F5Fを有する。   As shown in FIG. 3, the information center FS includes a controller CRF, a communication device D1F, an input device D2F, a display device D3F, and a storage device D4F. And controller CRF has the output image display part F5F similar to the output image display part F5 in controller CR of shovel PS1.

具体的には、コントローラCRFは、ショベル支援装置の一例であり、ショベルPS1の出力画像生成部F4が生成し且つ通信装置D1を通じて送信する出力画像を通信装置D1Fで受信して記憶装置D4Fに記憶する。また、出力画像表示部F5Fは、記憶装置D4Fに記憶された出力画像を参照し、情報センタFSに設置された表示装置D3Fにその出力画像を表示させる。また、出力画像表示部F5Fは、情報センタFSにいる管理者による入力装置D2Fを通じた入力に応じて出力画像を見る視点を変更できるようにする。   Specifically, the controller CRF is an example of an excavator support device, and the output image generated by the output image generation unit F4 of the excavator PS1 and transmitted through the communication device D1 is received by the communication device D1F and stored in the storage device D4F. To do. The output image display unit F5F refers to the output image stored in the storage device D4F, and displays the output image on the display device D3F installed in the information center FS. In addition, the output image display unit F5F can change the viewpoint of viewing the output image in accordance with the input through the input device D2F by the administrator in the information center FS.

同様に、携帯端末MS1は、図3に示すように、コントローラCRM、通信装置D1M、入力装置D2M、表示装置D3M、及び記憶装置D4Mを含む。そして、コントローラCRMはショベルPS1のコントローラCRにおける出力画像表示部F5と同様の出力画像表示部F5Mを有する。   Similarly, as shown in FIG. 3, the mobile terminal MS1 includes a controller CRM, a communication device D1M, an input device D2M, a display device D3M, and a storage device D4M. The controller CRM includes an output image display unit F5M similar to the output image display unit F5 in the controller CR of the excavator PS1.

具体的には、コントローラCRMは、ショベル支援装置の一例であり、ショベルPS1の出力画像生成部F4が生成し且つ通信装置D1を通じて送信する出力画像を通信装置D1Mで受信して記憶装置D4Mに記憶する。そして、出力画像表示部F5Mは、記憶装置D4Mに記憶された出力画像を参照し、携帯端末MS1に搭載された表示装置D3Mにその出力画像を表示させる。また、出力画像表示部F5Mは、携帯端末MS1を持つ管理者による入力装置D2Mを通じた入力に応じて出力画像を見る視点を変更できるようにする。なお、携帯端末MS1は、表示装置D3Mに表示される画像をショベルPS1の表示装置D3に表示させてもよい。   Specifically, the controller CRM is an example of an excavator support device, and the output image generated by the output image generation unit F4 of the excavator PS1 and transmitted through the communication device D1 is received by the communication device D1M and stored in the storage device D4M. To do. Then, the output image display unit F5M refers to the output image stored in the storage device D4M and causes the display device D3M mounted on the mobile terminal MS1 to display the output image. In addition, the output image display unit F5M can change the viewpoint of viewing the output image according to the input through the input device D2M by the administrator having the mobile terminal MS1. Note that the mobile terminal MS1 may display an image displayed on the display device D3M on the display device D3 of the excavator PS1.

この構成により、ショベル支援システム100は、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる3次元メッシュ画像を出力画像として生成し、操作者(管理者)が任意の視点からその3次元メッシュ画像を視認できるようにする。   With this configuration, the excavator support system 100 generates, as an output image, a three-dimensional mesh image in which the mesh color, background color, hatching pattern, and the like differ depending on the work content, and an operator (administrator) can arbitrarily The 3D mesh image is made visible from the viewpoint.

次に、図4を参照し、ショベルPS1のコントローラCRが出力画像を生成する処理(以下、「出力画像生成処理」とする。)の具体例について説明する。   Next, a specific example of a process in which the controller CR of the excavator PS1 generates an output image (hereinafter referred to as “output image generation process”) will be described with reference to FIG.

最初に、コントローラCRは、バケット6の姿勢及び位置を導き出す(ステップST1)。本実施例では、コントローラCRのショベル情報取得部F2は、ショベルPS1におけるブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、及び旋回角度センサS5の出力に基づいてバケット6の先端位置を導出する。そして、導出したバケット6の先端位置を時系列的に記憶装置D4に記憶する。   First, the controller CR derives the attitude and position of the bucket 6 (step ST1). In the present embodiment, the excavator information acquisition unit F2 of the controller CR includes the bucket 6 based on the outputs of the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the machine body inclination sensor S4, and the turning angle sensor S5 in the excavator PS1. The tip position of is derived. The derived tip position of the bucket 6 is stored in the storage device D4 in time series.

また、コントローラCRは、ショベルPS1の位置を導き出す(ステップST2)。本実施例では、コントローラCRのショベル情報取得部F2は、測位センサS8の出力に基づいてショベルPS1の中心位置の座標(緯度、経度、高度)を取得する。なお、ショベルPS1の中心位置の座標は、例えば、上部旋回体3における旋回軸上の一点である。また、ショベル情報取得部F2は、取得したショベルPS1の中心位置の座標と、圧力センサS6及びパイロット圧センサS7の出力とを、導出したバケット6の先端位置に対応付けて時系列的に記憶装置D4に記憶する。なお、転圧作業の場合にはバケット6の先端位置ではなくバケット6の背面位置に対応付けて記憶してもよい。また、クレーン作業の場合にはバケット6のフック位置に対応付けて記憶してもよい。   Further, the controller CR derives the position of the excavator PS1 (step ST2). In the present embodiment, the excavator information acquisition unit F2 of the controller CR acquires the coordinates (latitude, longitude, altitude) of the center position of the excavator PS1 based on the output of the positioning sensor S8. Note that the coordinates of the center position of the excavator PS1 are, for example, one point on the swing axis of the upper swing body 3. Further, the excavator information acquisition unit F2 stores the acquired coordinates of the center position of the excavator PS1 and the outputs of the pressure sensor S6 and the pilot pressure sensor S7 in time series in association with the derived tip position of the bucket 6. Store in D4. In the case of a rolling operation, the position may be stored in association with the back position of the bucket 6 instead of the tip position of the bucket 6. Further, in the case of crane work, it may be stored in association with the hook position of the bucket 6.

その後、コントローラCRは、施工対象の地形の変化を演算する(ステップST3)。本実施例では、コントローラCRの出力画像生成部F4は、記憶装置D4に時系列的に記憶されたバケット6の先端位置の推移と、地形情報取得部F1が記憶装置D4に記憶した施工前の地形に関する情報とに基づいて現在の地形に関する情報を演算する。すなわち、ショベルによる掘削作業等が行われた後の地形に関する情報を演算する。そして、出力画像生成部F4は現在の地形に関する情報に基づいて地形画像を生成する。   Thereafter, the controller CR calculates a change in the topography of the construction target (step ST3). In the present embodiment, the output image generation unit F4 of the controller CR includes the transition of the tip position of the bucket 6 stored in time series in the storage device D4 and the pre-construction stored in the storage device D4 by the terrain information acquisition unit F1. Based on the information on the terrain, information on the current terrain is calculated. That is, the information regarding the topography after excavation work by the shovel is performed. Then, the output image generation unit F4 generates a terrain image based on information on the current terrain.

また、コントローラCRは、ショベルPS1の作業内容を判別する(ステップST4)。本実施例では、コントローラCRの作業内容判別部F3は、記憶装置D4に時系列的に記憶された各種センサS1〜S8のそれぞれの出力の推移に基づいてショベルPS1の作業内容を判別する。具体的には、作業内容判別部F3は、施工対象の地形におけるどの領域でどのような作業が行われたかを判別する。そして、出力画像生成部F4は、その判別結果に基づいて作業内容画像を生成する。   Further, the controller CR determines the work content of the excavator PS1 (step ST4). In the present embodiment, the work content determination unit F3 of the controller CR determines the work content of the excavator PS1 based on the transition of the outputs of the various sensors S1 to S8 stored in time series in the storage device D4. Specifically, the work content determination unit F3 determines what work has been performed in which region of the terrain to be constructed. Then, the output image generation unit F4 generates a work content image based on the determination result.

その後、コントローラCRは地形画像と作業内容画像とを合成する(ステップST5)。本実施例では、コントローラCRの出力画像生成部F4は、地形画像と作業内容画像とを合成して出力画像を生成し、生成した出力画像を記憶装置D4に記憶する。   Thereafter, the controller CR combines the topographic image and the work content image (step ST5). In the present embodiment, the output image generation unit F4 of the controller CR generates an output image by combining the topographic image and the work content image, and stores the generated output image in the storage device D4.

その後、コントローラCRは生成した出力画像を表示装置D3上に表示させる。本実施例では、コントローラCRの出力画像表示部F5は、記憶装置D4に記憶された出力画像を参照して表示装置D3Mにその出力画像を表示させ、且つ、管理者による入力装置D2を通じた入力に応じて出力画像を見る視点を変更できるようにする。   Thereafter, the controller CR displays the generated output image on the display device D3. In the present embodiment, the output image display unit F5 of the controller CR refers to the output image stored in the storage device D4, displays the output image on the display device D3M, and inputs the input through the input device D2 by the administrator. The viewpoint for viewing the output image can be changed in accordance with.

次に、図5を参照し、表示装置D3上に表示される出力画像の具体例について説明する。なお、図5(A1)、図5(B1)、及び図5(C1)は施工対象の地面を真上から見た水平面図であり、出力画像の上方が北方に対応する。また、図5(A2)、図5(B2)、及び図5(C2)は施工対象の地面を真横から見た断面図であり、出力画像の上方が鉛直上方に対応する。また、図5(A2)は図5(A1)の線分X−Xにおける断面図を示し、図5(B2)は図5(B1)の線分X−Xにおける断面図を示し、図5(C2)は図5(C1)の線分X−Xにおける断面図を示す。なお、管理者は入力装置D2を通じた入力により水平面図と断面図とを切り替えることができる。例えば、管理者は、タッチパネルに対するスワイプ操作により表示画面を切り替えたり表示領域を移動させたりしてもよく、タッチパネルに対するピンチアウト操作、ピンチイン操作により表示領域を変更(拡大・縮小)してもよい。   Next, a specific example of an output image displayed on the display device D3 will be described with reference to FIG. 5 (A1), FIG. 5 (B1), and FIG. 5 (C1) are horizontal plan views of the construction target ground from directly above, and the upper part of the output image corresponds to the north. 5 (A2), FIG. 5 (B2), and FIG. 5 (C2) are cross-sectional views of the construction target ground from the side, and the upper part of the output image corresponds to the vertically upper part. 5A2 is a cross-sectional view taken along line XX in FIG. 5A1, FIG. 5B2 is a cross-sectional view taken along line XX in FIG. 5B1, and FIG. FIG. 5C is a cross-sectional view taken along line XX in FIG. Note that the administrator can switch between a horizontal plan view and a cross-sectional view by an input through the input device D2. For example, the administrator may switch the display screen or move the display area by a swipe operation on the touch panel, and may change (enlarge / reduce) the display area by a pinch-out operation or a pinch-in operation on the touch panel.

また、図5(A2)、図5(B2)、及び図5(C2)における実線は現在の地面の高さを示し、点線は作業開始前の地面の高さを示し、破線は作業完了後の地面の目標高さを示す。なお、図5は、説明の便宜上、重複を避けるために実線、点線、及び破線の位置を僅かにずらして表示している。   In FIGS. 5A2, 5B2 and 5C2, the solid line indicates the current ground height, the dotted line indicates the ground height before the work starts, and the broken line indicates after the work is completed. Indicates the target height of the ground. In FIG. 5, for convenience of explanation, the positions of the solid line, the dotted line, and the broken line are slightly shifted in order to avoid duplication.

また、図5はショベルPS1による埋め戻し作業の進捗を示す図であり、ドットパターンのハッチングは埋め戻し作業が行われたことを表す作業内容画像である。また、粗いドットパターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さに達していない状態(埋め戻し不足状態)を表し、細かいドットパターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さに達した状態を表す。また、斜線パターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さを超えた状態(埋め戻し過剰状態)を表す。   FIG. 5 is a diagram showing the progress of the backfilling operation by the excavator PS1, and the hatching of the dot pattern is a work content image indicating that the backfilling operation has been performed. In addition, the rough dot pattern hatching indicates that the ground height of the area where the backfilling operation has been performed does not reach the target height (insufficient backfilling state), and the fine dot pattern hatching is performed by the backfilling operation. This represents a state in which the height of the ground in the broken area has reached the target height. In addition, hatching of the hatched pattern represents a state where the height of the ground in the area where the backfilling operation has been performed exceeds the target height (overfilling state).

このように構成される出力画像を視認することで管理者はショベルPS1による埋め戻し作業の進捗状況を容易に把握できる。   By visually recognizing the output image configured as described above, the administrator can easily grasp the progress of the backfilling operation by the excavator PS1.

次に、図6を参照し、表示装置D3上に表示される出力画像の別の具体例について説明する。なお、図6(A)、図6(B1)、及び図6(C1)は施工対象の地面を真上から見た水平面図であり、出力画像の上方が北方に対応する。また、図6(B1)及び図6(C1)は図6(A)の点線矩形で示す領域Rの拡大図である。例えば、管理者はタッチパネルに対するピンチアウト操作により図6(A)の領域Rを拡大して図6(B1)、図6(B2)のように拡大表示させることができる。反対に、管理者はタッチパネルに対するピンチイン操作により図6(B1)、図6(B2)の表示領域を縮小して図6(A)のように縮小表示させることができる。   Next, another specific example of the output image displayed on the display device D3 will be described with reference to FIG. 6A, 6 </ b> B <b> 1, and 6 </ b> C <b> 1 are horizontal plan views of the construction target ground from directly above, and the upper portion of the output image corresponds to the north. 6B1 and 6C1 are enlarged views of a region R indicated by a dotted rectangle in FIG. For example, the administrator can enlarge the area R of FIG. 6A by a pinch-out operation on the touch panel and display the enlarged area as shown in FIGS. 6B1 and 6B2. On the other hand, the administrator can reduce the display area of FIGS. 6B1 and 6B2 to be reduced and displayed as shown in FIG. 6A by a pinch-in operation on the touch panel.

また、図6(B2)及び図6(C2)は施工対象の地面を真横から見た断面図であり、出力画像の上方が鉛直上方に対応する。また、図6(B2)は図6(B1)の線分X−Xにおける断面図を示し、図6(C2)は図6(C1)の線分X−Xにおける断面図を示す。なお、管理者は入力装置D2を通じた入力により水平面図と断面図とを切り替えることができる。例えば、管理者はタッチパネルに対するスワイプ操作により図6(B1)と図6(B2)とを切り替えることができ、或いは、図6(C1)と図6(C2)とを切り替えることができる。   FIGS. 6B2 and 6C2 are cross-sectional views of the construction target ground from the side, and the upper part of the output image corresponds to the vertical upper part. 6B2 is a cross-sectional view taken along line XX in FIG. 6B1, and FIG. 6C2 is a cross-sectional view taken along line XX in FIG. 6C1. Note that the administrator can switch between a horizontal plan view and a cross-sectional view by an input through the input device D2. For example, the administrator can switch between FIG. 6 (B1) and FIG. 6 (B2) by a swipe operation on the touch panel, or can switch between FIG. 6 (C1) and FIG. 6 (C2).

また、図6(B2)及び図6(C2)における実線は現在の地面の高さを示し、点線は作業開始前の地面の高さを示し、破線は作業完了後の地面の目標高さを示す。なお、図6は、説明の便宜上、重複を避けるために実線、点線、及び破線の位置を僅かにずらして表示している。   In addition, the solid line in FIGS. 6B2 and 6C2 indicates the current height of the ground, the dotted line indicates the height of the ground before the work starts, and the broken line indicates the target height of the ground after the work is completed. Show. In FIG. 6, for convenience of explanation, the positions of the solid line, the dotted line, and the broken line are slightly shifted in order to avoid duplication.

また、図6はショベルPS1による掘削・埋め戻し作業の進捗を示す図であり、ドットパターンのハッチングは掘削・埋め戻し作業が行われた領域の地面の高さが目標高さに達した状態を表す。また、クロスパターンのハッチングは掘削作業が行われた領域の地面の高さ(深さ)が目標高さ(深さ)に達していない状態(掘削不足状態)を表し、斜線パターンのハッチングは埋め戻し作業が行われた領域の地面の高さが目標高さを超えた状態(埋め戻し過剰状態)を表す。また、横線パターンのハッチングは転圧作業が行われた領域を表す。なお、掘削作業が行われた領域の地面の高さ(深さ)が目標高さ(深さ)を下回った状態(掘削過剰状態)、埋め戻し作業が行われた領域の地面の高さが目標高さに達し定いない状態(埋め戻し不足状態)等が別のハッチングパターンを用いて表現されてもよい。   FIG. 6 is a diagram showing the progress of excavation and backfilling work by the excavator PS1, and the hatching of the dot pattern indicates the state where the height of the ground in the area where the excavation and backfilling work is performed has reached the target height. Represent. Cross pattern hatching indicates that the ground level (depth) of the area where excavation work has been performed does not reach the target height (depth) (underexcavation state), and hatching in the hatched pattern is filled. This represents a state where the height of the ground in the area where the return operation has been performed exceeds the target height (overfill state). Further, hatching of the horizontal line pattern represents an area where the rolling work has been performed. It should be noted that the ground height (depth) of the area where excavation work has been performed is below the target height (depth) (excessive excavation state), and the ground height of the area where the backfill work has been performed is A state where the target height has not been reached and is not fixed (backfilling insufficient state) or the like may be expressed using another hatching pattern.

このように構成される出力画像を視認することで管理者はショベルPS1による掘削・埋め戻し作業の進捗状況を容易に把握できる。   By visually recognizing the output image configured as described above, the administrator can easily grasp the progress of excavation / backfilling work by the excavator PS1.

次に、図7を参照し、表示装置D3上に表示される出力画像のさらに別の具体例について説明する。なお、図7(A)及び図7(B)のそれぞれは施工対象の地面を真上から見た水平面図であり図5(B1)に対応する。また、図7(A)及び図7(B)のそれぞれは地形画像を3次元メッシュ画像として表示した上で、作業内容画像の違いをハッチングパターンの違いで表す。また、本実施例では3次元メッシュ画像のメッシュ間隔は1メートルに設定されているが、メッシュ間隔は任意の距離に設定され得る。メッシュの表示は、図7(A)に示すように、部分的に省略されてもよい。また、メッシュの属性(例えば、線種、線幅、色等)は、図7(B)に示すように、対応する作業内容画像の種類毎に異なるものであってもよい。その場合、ハッチングパターンは省略されてもよい。   Next, still another specific example of the output image displayed on the display device D3 will be described with reference to FIG. In addition, each of FIG. 7 (A) and FIG. 7 (B) is the horizontal plane view which looked at the ground of construction object from right above, and respond | corresponds to FIG. 5 (B1). Each of FIGS. 7A and 7B displays a topographic image as a three-dimensional mesh image, and represents a difference in work content image by a difference in hatching pattern. In this embodiment, the mesh interval of the three-dimensional mesh image is set to 1 meter, but the mesh interval can be set to an arbitrary distance. The mesh display may be partially omitted as shown in FIG. Further, mesh attributes (for example, line type, line width, color, etc.) may be different for each type of corresponding work content image, as shown in FIG. 7B. In that case, the hatching pattern may be omitted.

このように構成される出力画像を視認することで管理者はショベルPS1による各種作業が完了した領域と完了していない領域とを明確に区別できる。   By visually recognizing the output image configured in this way, the administrator can clearly distinguish the area where various operations by the excavator PS1 are completed and the area where the work is not completed.

次に、図8を参照し、ショベル支援システム100を構成する各通信端末の別の構成例について説明する。なお、図8は、ショベル支援システム100を構成する通信端末としてのショベルPS1、情報センタFS、及び携帯端末MS1の別の構成例を示す機能ブロック図である。   Next, with reference to FIG. 8, another configuration example of each communication terminal constituting the excavator support system 100 will be described. FIG. 8 is a functional block diagram showing another configuration example of the excavator PS1, the information center FS, and the mobile terminal MS1 as communication terminals constituting the excavator support system 100.

図8の構成は、ショベルPS1のコントローラCRの代わりに、情報センタFSのコントローラCRFが地形情報取得部F1F、作業内容判別部F3F、及び出力画像生成部F4Fを有する点で図3の構成と相違するがその他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。   The configuration of FIG. 8 is different from the configuration of FIG. 3 in that the controller CRF of the information center FS includes a terrain information acquisition unit F1F, a work content determination unit F3F, and an output image generation unit F4F instead of the controller CR of the excavator PS1. However, it is common in other points. Therefore, description of common parts is omitted, and different parts are described in detail.

本実施例では、ショベルPS1のコントローラCRにおけるショベル情報取得部F2は、各種センサS1〜S8の出力に基づいてショベルPS1の位置及び動きに関するショベル情報を取得する。また、ショベル情報取得部F2は、各種センサS1〜S8が出力するデータをショベル情報として記憶装置D4に時系列的に記憶し、且つ、通信装置D1を通じてそれら記憶したショベル情報を他のショベルPS2、情報センタFS、携帯端末MS1、MS2等に送信する。   In the present embodiment, the excavator information acquisition unit F2 in the controller CR of the excavator PS1 acquires excavator information related to the position and movement of the excavator PS1 based on the outputs of the various sensors S1 to S8. In addition, the excavator information acquisition unit F2 stores data output from the various sensors S1 to S8 in the storage device D4 as excavator information in time series, and the stored excavator information through the communication device D1 to the other excavators PS2, Information is transmitted to the information center FS, the mobile terminals MS1, MS2, and the like.

情報センタFSのコントローラCRFにおける地形情報取得部F1Fは、図3のコントローラCRにおける地形情報取得部F1と同様、入力装置D2Fを通じて地形情報を取得する。そして、地形情報取得部F1Fは、取得した地形情報を記憶装置D4Fに記憶する。   The terrain information acquisition unit F1F in the controller CRF of the information center FS acquires the terrain information through the input device D2F, similarly to the terrain information acquisition unit F1 in the controller CR of FIG. Then, the terrain information acquisition unit F1F stores the acquired terrain information in the storage device D4F.

また、情報センタFSのコントローラCRFにおける作業内容判別部F3Fは、図3のコントローラCRにおける作業内容判別部F3と同様、ショベルPS1の位置及び動きに関するショベル情報に基づいてショベルPS1が行った作業の内容を判別する。具体的には、作業内容判別部F3Fは通信装置D1Fを通じてショベルPS1のショベル情報取得部F2からのショベル情報を受信して記憶装置D4Fに記憶する。そして、作業内容判別部F3Fは、記憶装置D4Fに記憶した過去の所定時間に亘る各種センサS1〜S8の出力に基づいてショベルPS1がその所定時間内に行った作業の内容を判別する。   Further, the work content determination unit F3F in the controller CRF of the information center FS, like the work content determination unit F3 in the controller CR of FIG. 3, details of the work performed by the excavator PS1 based on the shovel information regarding the position and movement of the excavator PS1. Is determined. Specifically, the work content determination unit F3F receives excavator information from the excavator information acquisition unit F2 of the excavator PS1 through the communication device D1F and stores it in the storage device D4F. Then, the work content determination unit F3F determines the content of work performed by the excavator PS1 within the predetermined time based on the outputs of the various sensors S1 to S8 over the past predetermined time stored in the storage device D4F.

また、情報センタFSのコントローラCRFにおける出力画像生成部F4Fは、図3のコントローラCRにおける出力画像生成部F4と同様、地形情報取得部F1Fが取得する地形情報から地形画像を生成する。また、出力画像生成部F4Fは、作業内容判別部F3Fの判別結果からショベルPS1が行った作業の内容を表す作業内容画像を生成する。そして、出力画像生成部F4Fは、地形画像と作業内容画像とを合成して出力画像を生成する。   Further, the output image generation unit F4F in the controller CRF of the information center FS generates a topographic image from the topographic information acquired by the topographic information acquisition unit F1F, similarly to the output image generation unit F4 in the controller CR of FIG. The output image generation unit F4F generates a work content image representing the content of work performed by the excavator PS1 from the determination result of the work content determination unit F3F. Then, the output image generation unit F4F generates an output image by combining the terrain image and the work content image.

そして、出力画像生成部F4Fは生成した出力画像を記憶装置D4Fに記憶する。また、出力画像生成部F4Fは、通信装置D1Fを通じてその出力画像をショベルPS1、PS2、携帯端末MS1、MS2等に送信する。   Then, the output image generation unit F4F stores the generated output image in the storage device D4F. The output image generation unit F4F transmits the output image to the excavators PS1, PS2, the mobile terminals MS1, MS2, and the like through the communication device D1F.

出力画像表示部F5Fは、出力画像生成部F4Fが生成した出力画像を情報センタFS内に設置された表示装置D3Fに表示させる。   The output image display unit F5F displays the output image generated by the output image generation unit F4F on the display device D3F installed in the information center FS.

具体的には、出力画像表示部F5Fは、出力画像生成部F4Fが生成した出力画像を表示装置D3Fに表示させ、且つ、入力装置D2Fを通じた管理者の入力に応じて出力画像を見る視点を変更できるようにする。   Specifically, the output image display unit F5F displays the output image generated by the output image generation unit F4F on the display device D3F, and sets the viewpoint for viewing the output image according to the administrator's input through the input device D2F. Make it changeable.

この構成により、コントローラCRFは、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる3次元メッシュ画像を出力画像として生成し、管理者が任意の視点からその3次元メッシュ画像を視認できるようにする。   With this configuration, the controller CRF generates, as an output image, a three-dimensional mesh image with different mesh colors, background colors, hatching patterns, etc. depending on the work contents, and the administrator can select the three-dimensional mesh from any viewpoint. Make the image visible.

例えば、ショベルPS1は、図8に示すように、コントローラCR、通信装置D1、入力装置D2、表示装置D3、及び記憶装置D4を含む。また、コントローラCRは出力画像表示部F5を有する。   For example, as shown in FIG. 8, the excavator PS1 includes a controller CR, a communication device D1, an input device D2, a display device D3, and a storage device D4. The controller CR has an output image display unit F5.

そして、コントローラCRは、情報センタFSの出力画像生成部F4Fが生成し且つ通信装置D1Fを通じて送信する出力画像を通信装置D1で受信して記憶装置D4に記憶する。そして、出力画像表示部F5は、記憶装置D4に記憶された出力画像を参照し、ショベルPS1のキャビン10内に設置された表示装置D3にその出力画像を表示させる。また、出力画像表示部F5は、ショベルPS1の操作者による入力装置D2を通じた入力に応じて出力画像を見る視点を変更できるようにする。   Then, the controller CR receives the output image generated by the output image generation unit F4F of the information center FS and transmitted through the communication device D1F by the communication device D1, and stores it in the storage device D4. And the output image display part F5 refers to the output image memorize | stored in the memory | storage device D4, and displays the output image on the display apparatus D3 installed in the cabin 10 of shovel PS1. Further, the output image display unit F5 can change the viewpoint of viewing the output image in accordance with the input through the input device D2 by the operator of the excavator PS1.

同様に、携帯端末MS1は、図8に示すように、コントローラCRM、通信装置D1M、入力装置D2M、表示装置D3M、及び記憶装置D4Mを含む。また、コントローラCRMは出力画像表示部F5Mを有する。   Similarly, as shown in FIG. 8, the mobile terminal MS1 includes a controller CRM, a communication device D1M, an input device D2M, a display device D3M, and a storage device D4M. Further, the controller CRM includes an output image display unit F5M.

そして、コントローラCRMは、情報センタFSの出力画像生成部F4Fが生成し且つ通信装置D1Fを通じて送信する出力画像を通信装置D1Mで受信して記憶装置D4Mに記憶する。そして、出力画像表示部F5Mは、記憶装置D4Mに記憶された出力画像を参照し、携帯端末MS1に搭載された表示装置D3Mにその出力画像を表示させる。また、出力画像表示部F5Mは、携帯端末MS1を持つ管理者による入力装置D2Mを通じた入力に応じて出力画像を見る視点を変更できるようにする。   Then, the controller CRM receives the output image generated by the output image generation unit F4F of the information center FS and transmitted through the communication device D1F by the communication device D1M and stores it in the storage device D4M. Then, the output image display unit F5M refers to the output image stored in the storage device D4M and causes the display device D3M mounted on the mobile terminal MS1 to display the output image. In addition, the output image display unit F5M can change the viewpoint of viewing the output image according to the input through the input device D2M by the administrator having the mobile terminal MS1.

また、情報センタFSは、複数のショベルのそれぞれから送信されるショベル情報を受信し、受信したショベル情報をショベル毎に区別できるように記憶装置D4Fに時系列的に記憶してもよい。この場合、情報センタFSの作業内容判別部F3Fは、記憶装置D4Fに記憶したショベル情報に基づいて複数のショベルのそれぞれがその所定時間内に行った作業の内容を判別する。そして、情報センタFSの出力画像生成部F4Fは、複数のショベルのそれぞれが行った作業の内容を表す作業内容画像を生成する。   The information center FS may receive the excavator information transmitted from each of the plurality of excavators, and store the received excavator information in the storage device D4F in time series so that the excavator information can be distinguished for each excavator. In this case, the work content determination unit F3F of the information center FS determines the content of work performed by each of the plurality of shovels within the predetermined time based on the shovel information stored in the storage device D4F. Then, the output image generation unit F4F of the information center FS generates a work content image representing the content of work performed by each of the plurality of excavators.

この構成により、情報センタFSのコントローラCRFは、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる3次元メッシュ画像を出力画像として生成し、管理者が任意の視点からその3次元メッシュ画像を視認できるようにする。   With this configuration, the controller CRF of the information center FS generates, as an output image, a three-dimensional mesh image with different mesh colors, background colors, hatching patterns, etc. depending on the work contents, and the administrator can select from any viewpoint. The three-dimensional mesh image is made visible.

また、携帯端末MS1のコントローラCRMは、情報センタFSのコントローラCRFと同様に地形情報取得部、作業内容判別部、及び出力画像生成部を有していてもよい。この場合、コントローラCRMの地形情報取得部は、入力装置D2Mを通じて地形情報を取得する。そして、地形情報取得部は、取得した地形情報を記憶装置D4Mに記憶する。   Further, the controller CRM of the mobile terminal MS1 may have a topographic information acquisition unit, a work content determination unit, and an output image generation unit, like the controller CRF of the information center FS. In this case, the terrain information acquisition unit of the controller CRM acquires the terrain information through the input device D2M. Then, the terrain information acquisition unit stores the acquired terrain information in the storage device D4M.

また、コントローラCRMのショベル情報取得部は、1又は複数のショベルのそれぞれから送信されるショベル情報を受信し、受信したショベル情報をショベル毎に区別できるように記憶装置D4Mに時系列的に記憶する。そして、コントローラCRMの作業内容判別部は、記憶装置D4Mに記憶されたショベル情報に基づいて1又は複数のショベルのそれぞれが行った作業の内容を判別する。また、コントローラCRMの出力画像生成部は、地形情報取得部が取得する地形情報から地形画像を生成する。また、出力画像生成部は、作業内容判別部の判別結果から1又は複数のショベルのそれぞれが行った作業の内容を表す作業内容画像を生成する。そして、出力画像生成部は、地形画像と作業内容画像とを合成して出力画像を生成する。そして、出力画像生成部は、生成した出力画像を記憶装置D4Mに記憶する。また、出力画像生成部は、通信装置D1Fを通じてその出力画像をショベルPS1、PS2、情報センタFS、携帯端末MS2等に送信する。また、出力画像表示部F5Mは、出力画像生成部が生成した出力画像を携帯端末MS1に搭載された表示装置D3Mに表示させる。   The excavator information acquisition unit of the controller CRM receives the excavator information transmitted from each of the one or more excavators, and stores the received excavator information in the storage device D4M in time series so that the excavator information can be distinguished for each excavator. . Then, the work content determination unit of the controller CRM determines the content of work performed by each of the one or more shovels based on the shovel information stored in the storage device D4M. Further, the output image generation unit of the controller CRM generates a terrain image from the terrain information acquired by the terrain information acquisition unit. The output image generation unit generates a work content image representing the content of work performed by each of the one or more excavators from the determination result of the work content determination unit. The output image generation unit generates an output image by combining the topographic image and the work content image. Then, the output image generation unit stores the generated output image in the storage device D4M. In addition, the output image generation unit transmits the output image to the excavators PS1, PS2, the information center FS, the portable terminal MS2, and the like through the communication device D1F. Further, the output image display unit F5M displays the output image generated by the output image generation unit on the display device D3M mounted on the mobile terminal MS1.

この構成により、携帯端末MS1のコントローラCRMは、1又は複数のショベルに関し、作業内容の違いに応じてメッシュの色、背景色、ハッチングパターン等が所々異なる3次元メッシュ画像を出力画像として生成し、管理者が任意の視点からその3次元メッシュ画像を視認できるようにする。   With this configuration, the controller CRM of the mobile terminal MS1 generates, as an output image, a three-dimensional mesh image in which the mesh color, background color, hatching pattern, and the like differ depending on the work content regarding one or more excavators, An administrator can visually recognize the three-dimensional mesh image from an arbitrary viewpoint.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。   Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述の実施例では、ショベル支援システム100は、現時点における施工対象の地形を表す地形画像と現時点までにショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、ショベル支援システム100は、過去の特定の時刻における施工対象の地形を表す地形画像とその特定の時刻までにショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成してもよい。この場合、管理者は入力装置D2Fを通じてその特定の時刻を入力すればよい。この構成により、管理者は過去の特定の時刻における施工状況を容易に把握できる。   For example, in the above-described embodiment, the excavator support system 100 generates an output image by synthesizing the terrain image representing the terrain to be constructed at the current time and the work content image representing the work performed by the excavator up to the present time. . However, the present invention is not limited to this configuration. For example, the shovel support system 100 generates an output image by synthesizing a terrain image representing the terrain to be constructed at a specific time in the past and a work content image representing the content of work performed by the excavator up to the specific time. May be. In this case, the administrator may input the specific time through the input device D2F. With this configuration, the administrator can easily grasp the construction status at a specific time in the past.

1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 100・・・ショベル支援システム CN・・・通信ネットワーク CR、CRF、CRM・・・コントローラ D1、D1F、D1M・・・通信装置 D2、D2F、D2M・・・入力装置 D3、D3F、D3M・・・表示装置 D4、D4F、D4M・・・記憶装置 F1、F1F・・・地形情報取得部 F2・・・ショベル情報取得部 F3、F3F・・・作業内容判別部 F4、F4F・・・出力画像生成部 F5、F5F、F5M・・・出力画像表示部 FS・・・情報センタ MS1、MS2・・・携帯端末 PS1、PS2・・・ショベル S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・機体傾斜センサ S5・・・旋回角度センサ S6・・・圧力センサ S7・・・パイロット圧センサ S8・・・測位センサ   DESCRIPTION OF SYMBOLS 1 ... Lower traveling body 2 ... Turning mechanism 3 ... Upper turning body 4 ... Boom 5 ... Arm 6 ... Bucket 7 ... Boom cylinder 8 ... Arm cylinder 9 ... Bucket cylinder 10 ... Cabin 100 ... Excavator support system CN ... Communication network CR, CRF, CRM ... Controller D1, D1F, D1M ... Communication device D2, D2F, D2M ... Input device D3, D3F, D3M ... Display device D4, D4F, D4M ... Storage device F1, F1F ... Terrain information acquisition unit F2 ... Excavator information acquisition unit F3, F3F ... Work content determination unit F4, F4F: Output image generation unit F5, F5F, F5M: Output image display unit FS: Information center MS1, MS2: Mobile terminal PS1, S2 ... Excavator S1 ... Boom angle sensor S2 ... Arm angle sensor S3 ... Bucket angle sensor S4 ... Airframe tilt sensor S5 ... Turning angle sensor S6 ... Pressure sensor S7 ... Pilot pressure sensor S8 ... Positioning sensor

Claims (11)

ショベルによる施工の管理を支援するショベル支援システムであって、
施工対象の地形に関する情報を取得する地形情報取得部と、
ブーム角度センサ、アーム角度センサ、エンドアタッチメント角度センサ、及び、圧力センサを含む複数のセンサの検出値に基づいて前記ショベルの位置及び動きに関する情報を取得するショベル情報取得部と、
前記ショベルの動きに関する情報に基づいて前記ショベルが行った作業の内容を判別する作業内容判別部と、
前記施工対象の地形を表す地形画像と前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部と、
を有するショベル支援システム。
An excavator support system for supporting construction management by an excavator,
A terrain information acquisition unit for acquiring information on the terrain to be constructed;
A shovel information acquisition unit that acquires information on the position and movement of the shovel based on detection values of a plurality of sensors including a boom angle sensor, an arm angle sensor, an end attachment angle sensor, and a pressure sensor ;
A work content discriminating unit for discriminating the content of work performed by the excavator based on information on the movement of the excavator;
An output image generation unit that generates an output image by combining a terrain image representing the terrain to be constructed and a work content image representing the content of work performed by the excavator;
Excavator support system having.
前記出力画像生成部は、前記ショベルが行った作業の内容毎に前記作業内容画像の色を変えて前記地形画像に合成する、
請求項1に記載のショベル支援システム。
The output image generation unit changes the color of the work content image for each content of work performed by the excavator and synthesizes the terrain image.
The shovel support system according to claim 1.
前記出力画像生成部は、複数のショベルのそれぞれが行った作業の内容を表す複数の作業内容画像を前記地形画像に合成する、
請求項1又は2に記載のショベル支援システム。
The output image generation unit synthesizes a plurality of work content images representing the content of work performed by each of the plurality of excavators with the topographic image,
The shovel support system according to claim 1 or 2.
前記ショベルに搭載される請求項1乃至3の何れか一項に記載のショベル支援システム。   The excavator support system according to any one of claims 1 to 3, which is mounted on the excavator. 前記ショベルの外部にある請求項1乃至3の何れか一項に記載のショベル支援システム。   The shovel support system according to any one of claims 1 to 3, wherein the shovel support system is located outside the shovel. 前記出力画像は、水平面の画像を含む、  The output image includes a horizontal plane image,
請求項1乃至5の何れかに記載のショベル支援システム。  The shovel support system according to any one of claims 1 to 5.
エンドアタッチメントの位置は、座標に対応付けられ且つ記憶される、  The position of the end attachment is associated with the coordinates and stored.
請求項1乃至6の何れかに記載のショベル支援システム。  The shovel support system according to any one of claims 1 to 6.
前記ブーム角度センサ、前記アーム角度センサ及び前記エンドアタッチメント角度センサの少なくとも1つは加速度センサである、At least one of the boom angle sensor, the arm angle sensor, and the end attachment angle sensor is an acceleration sensor.
請求項1乃至7の何れかに記載のショベル支援システム。  The shovel support system according to any one of claims 1 to 7.
前記出力画像には、作業の進捗が表示される、  In the output image, the progress of work is displayed.
請求項1乃至8の何れかに記載のショベル支援システム。  The shovel support system according to any one of claims 1 to 8.
施工対象の地形に関する情報から生成される前記施工対象の地形を表す地形画像と、ブーム角度センサ、アーム角度センサ、エンドアタッチメント角度センサ、及び、圧力センサを含む複数のセンサにより取得されるショベルの動きに関する情報に基づいて判別される前記ショベルが行った作業の内容から生成される前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成する出力画像生成部を有するショベル支援装置。 Excavator motion acquired by a plurality of sensors including a topographic image representing the topography of the construction target generated from information on the topography of the construction target, a boom angle sensor, an arm angle sensor, an end attachment angle sensor, and a pressure sensor An excavator having an output image generation unit that generates an output image by synthesizing with a work content image representing the content of the work performed by the shovel generated from the content of the work performed by the shovel determined based on information on Support device. ショベルによる施工の管理を支援するショベル支援方法であって、An excavator support method for supporting construction management by an excavator,
施工対象の地形に関する情報を取得するステップと、  Obtaining information on the topography of the construction object;
ブーム角度センサ、アーム角度センサ、エンドアタッチメント角度センサ、及び、圧力センサを含む複数のセンサの検出値に基づいて前記ショベルの位置及び動きに関する情報を取得するステップと、  Obtaining information on the position and movement of the shovel based on detection values of a plurality of sensors including a boom angle sensor, an arm angle sensor, an end attachment angle sensor, and a pressure sensor;
前記ショベルの動きに関する情報に基づいて前記ショベルが行った作業の内容を判別するステップと、  Determining the content of work performed by the excavator based on information on the movement of the excavator;
前記施工対象の地形を表す地形画像と前記ショベルが行った作業の内容を表す作業内容画像とを合成して出力画像を生成するステップと、を有する、  Combining the terrain image representing the terrain to be constructed and the work content image representing the content of the work performed by the excavator to generate an output image,
ショベル支援方法。  Excavator support method.
JP2014235247A 2014-11-20 2014-11-20 Excavator support system, excavator support device, and excavator support method Active JP6370686B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014235247A JP6370686B2 (en) 2014-11-20 2014-11-20 Excavator support system, excavator support device, and excavator support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014235247A JP6370686B2 (en) 2014-11-20 2014-11-20 Excavator support system, excavator support device, and excavator support method

Publications (2)

Publication Number Publication Date
JP2016098535A JP2016098535A (en) 2016-05-30
JP6370686B2 true JP6370686B2 (en) 2018-08-08

Family

ID=56077217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014235247A Active JP6370686B2 (en) 2014-11-20 2014-11-20 Excavator support system, excavator support device, and excavator support method

Country Status (1)

Country Link
JP (1) JP6370686B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6974217B2 (en) 2018-02-28 2021-12-01 株式会社小松製作所 Construction management equipment
JP7317926B2 (en) * 2018-02-28 2023-07-31 株式会社小松製作所 Construction management device, display device and construction management method
JP7386592B2 (en) * 2018-03-22 2023-11-27 株式会社フジタ Construction machinery operation assistance system
JP7071203B2 (en) * 2018-04-27 2022-05-18 日立建機株式会社 Work machine
JP7134024B2 (en) * 2018-08-29 2022-09-09 日立建機株式会社 construction machinery
JP7171317B2 (en) 2018-08-30 2022-11-15 日立建機株式会社 working machine
JP7286287B2 (en) * 2018-09-14 2023-06-05 株式会社小松製作所 Work machine display system and its control method
JP7235521B2 (en) * 2019-01-31 2023-03-08 日立建機株式会社 working machine
JP2021021245A (en) * 2019-07-29 2021-02-18 コベルコ建機株式会社 Work content determination system and work determination method for construction machine
JP7499098B2 (en) 2020-07-21 2024-06-13 清水建設株式会社 Construction management method
CN116234961A (en) * 2021-03-31 2023-06-06 日立建机株式会社 Work machine management system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3499681B2 (en) * 1996-07-05 2004-02-23 株式会社神戸製鋼所 Hydraulic excavator work type identification device
JP2003064725A (en) * 2001-08-28 2003-03-05 Maeda Corp Unmanned mechanical earth work system
JP3687850B2 (en) * 2002-02-28 2005-08-24 株式会社間組 Precision construction support system for construction work and precision construction method using this system
JP4233932B2 (en) * 2003-06-19 2009-03-04 日立建機株式会社 Work support / management system for work machines
JP2005344482A (en) * 2004-06-07 2005-12-15 Hitachi Constr Mach Co Ltd Control and support system for ground surface treatment, civil engineering and mine removal work
US8340873B2 (en) * 2010-01-20 2012-12-25 Caterpillar Trimble Control Technologies, Llc Machine control and guidance system incorporating a portable digital media device

Also Published As

Publication number Publication date
JP2016098535A (en) 2016-05-30

Similar Documents

Publication Publication Date Title
JP6370686B2 (en) Excavator support system, excavator support device, and excavator support method
US10508417B2 (en) Construction information display device and method for displaying construction information
US10794047B2 (en) Display system and construction machine
AU2022209235B2 (en) Display control device and display control method
EP2799630B1 (en) Image display device for shovel
CN110574078B (en) Display control device, display control method, recording medium, and display system
US11414839B2 (en) Display control device and method for generating target line or control line of work machine
KR102092928B1 (en) Display and display systems for working machines
JP7151392B2 (en) Remote control device for construction machinery
JP2018152738A (en) Display system, display method, and remote control system
CN108432234B (en) Terminal device, control device, data integration device, work vehicle, imaging system, and imaging method
WO2020090985A1 (en) Display control system and display control method
JP7080750B2 (en) Display control system, remote control system, display control device, and display control method
JP2016079677A (en) Area limited excavation control device and construction machine
JP2018162631A (en) Construction machine
JP2020117982A (en) Work machine
AU2022252761A1 (en) Display control system, display control method and remote operation system
CA3187219A1 (en) Display control device and display method
US20230160181A1 (en) Display system, program, and display control method
WO2024117107A1 (en) Work assistance system
WO2024117108A1 (en) Work assisting system
WO2024135603A1 (en) Construction assisting system for shovel
KR20180060078A (en) System for Work Monitoring in Construction Equipment
CA3187228A1 (en) Display control device and display control method
JP2022150641A (en) object recognition system

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20170117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180711

R150 Certificate of patent or registration of utility model

Ref document number: 6370686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150