JP7203616B2 - 作業機械 - Google Patents

作業機械 Download PDF

Info

Publication number
JP7203616B2
JP7203616B2 JP2019011883A JP2019011883A JP7203616B2 JP 7203616 B2 JP7203616 B2 JP 7203616B2 JP 2019011883 A JP2019011883 A JP 2019011883A JP 2019011883 A JP2019011883 A JP 2019011883A JP 7203616 B2 JP7203616 B2 JP 7203616B2
Authority
JP
Japan
Prior art keywords
information
data
terrain
area
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019011883A
Other languages
English (en)
Other versions
JP2020117982A (ja
Inventor
匡士 西澤
博史 坂本
麻里子 水落
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2019011883A priority Critical patent/JP7203616B2/ja
Publication of JP2020117982A publication Critical patent/JP2020117982A/ja
Application granted granted Critical
Publication of JP7203616B2 publication Critical patent/JP7203616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Description

本発明は、地形情報を取得する作業機械に関する。
施工現場においては、工程に沿って適切に施工を行うために、施工の進捗管理が重要である。施工の進捗管理の方法としては、例えば、施工現場で用いる作業機械にステレオカメラ等の計測装置を設置し、この計測装置で取得した地形情報を管制に無線で送信して、管制で施工現場における進捗を管理するものがある。
このような進捗管理に係る技術として、例えば、特許文献1には、作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、前記作業機械の作業機の位置を示す作業機位置データを算出する作業機位置データ算出部と、前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された3次元データである対象データを算出する3次元データ算出部と、を備える作業機械の検出処理装置が開示されている。
また、進捗管理に係る他の技術として、例えば、特許文献2には、地形マッピングシステムであって、現場の現在の表面を定義する複数の現在の点を収集するように構成された少なくとも1つのセンサと、現場の以前の表面を定義するそれ以前に収集された複数の点を含むデータベースと、少なくとも1つのセンサと通信する制御装置であって、複数の現在の点のうちの少なくとも1つの高さを、それに対応する、それ以前に収集された複数の点のうちの少なくとも1つの高さと比較し、比較に基づき、データベースの更新が正当かどうかを判断し、且つ更新が正当であると判断される場合、データベースを更新する、ように構成される制御装置と、を含む、システムが開示されている。
特開2018-59268号公報 特開2011-514455号公報
作業機械に設置された計測装置で得られる地形情報には、他の車両や構造物、周囲の木々等のような地形に関するもの以外の情報が含まれる場合があり、このような場合には、地形情報の質の低下に伴って進捗管理の精度も低下してしまう。したがって、精度良く進捗管理を行うためには、計測装置で得られた地形情報から地形に関するもの以外の情報を除外し、質の高い地形情報を取得する必要がある。
特許文献1に記載の従来技術においては、作業機械の作業位置を示す位置情報によって、作業機械に設けられた計測装置から得られた計測データに含まれる自車両の一部や他車両の機体に関するデータを除外している。しかしながら、他の車両位置を検出不可能な際は、作業機械に設けられた計測装置が得た計測データに車両に関するデータが含まることとなり、計測データの質が低下してしまう。
また、特許文献2に記載の従来技術においては、作業機械から管制側のサーバへ送信された計測データに対して管制側でフィルタリング処理を行い、地形情報から構造物や障害物の写りこんだ部分を除外している。しかしながら、作業機械が管制へ送信する地形情報には構造物などの地形以外の物体の情報が含まれるため、不要な情報の送信によって効率が低下するとともに、管制側のサーバではそれらの地形以外の部分を除去する処理によってサーバに大きな処理負荷がかかる。
本発明は上記に鑑みてなされたものであり、計測装置で取得されて送信される地形情報の質を向上することができる作業機械を提供することを目的とする。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、施工現場で作業を行う作業機械において、前記作業機械の周囲の地形を計測し、計測結果を地形データとして出力する地形計測装置と、前記作業機械の前記施工現場における位置を計測し、計測結果を位置情報として出力する位置計測装置と、前記作業機械の姿勢に関する情報を検出し、検出結果を姿勢情報として出力する姿勢情報検出装置と、前記作業機械に関する情報を制御する情報コントローラとを備え、前記情報コントローラは、前記位置計測装置で計測された位置情報と前記姿勢情報検出装置で検出された姿勢情報とに基づいて、前記作業機械の座標系で示される前記地形データを前記施工現場の座標系で示される現況地形データに変換し、前記地形計測装置によって計測される計測領域が前記作業機械により作業を行う領域として予め設定した作業予定領域内および前記作業予定領域外に存在する場合には、前記作業予定領域内の前記現況地形データのみを前記施工現場の地形の情報である地形情報として抽出して出力するものとする。
本発明によれば、作業機械に設置された計測装置で取得されて送信される地形情報の質を向上することができる。
作業機械の一例である油圧ショベルの外観を模式的に示す図である。 油圧ショベルの制御システムを関連構成とともに抜き出して示す図である。 油圧ショベルが作業を行う施工現場の様子を例示する図である。 作業現場における油圧ショベルの様子を示す上面図である。 車体座標系を示す図である。 車体座標系、センサ座標系、及び、サイト座標系の関係を示す図である。 情報コントローラの地形情報出力装置としての機能を示す機能ブロック図である。 点群データ形式で示されるデータの一例を示す図である。 領域データ形式で表されるデータの一例を示す図である。 領域データ形式で表される領域の形状の一例を示す図である。 領域データ形式で表される領域の形状の一例を示す図である。 設計データ形式で表されるデータの一例を示す図である。 設計データ形式で表されるデータの一例を示す図である。 設計データ形式で表される設計データの形状の一例を示す図である。 作業予定領域設定を行うか作業開始するかを選択する選択画面を示す図である。 作業予定領域の形状選択画面を示す図である。 パラメータ入力画面を示す図である。 作業開始のエラーをオペレータに報知する画面を示す図である。 作業予定設定部における処理を示すフローチャートである。 作業予定領域設定部における作業予定領域の設定の様子を示す図である。 作業予定領域設定部における作業予定領域の設定の様子を示す図である。 現況地形データフィルタリング部における処理を示すフローチャートである。 現況地形データフィルタリング部におけるフィルタリング処理の様子を示す図である。 現況地形データフィルタリング部におけるフィルタリング処理の様子を示す図である。 モニタに表示される施工結果の一例を示す図である。
以下、本発明の実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、作業機械の一例として、フロント作業機を備える油圧ショベルを例示して説明するが、これに限られず、施工現場で稼動する他の作業機械においても本発明を適用することも可能である。
図1は、本実施の形態に係る作業機械の一例である油圧ショベルの外観を模式的に示す図である。また、図2は、油圧ショベルの制御システムを関連構成とともに抜き出して示す図である。
図1及び図2において、油圧ショベル100は、垂直方向にそれぞれ回動する複数の被駆動部材(ブーム111、アーム112、バケット113)を連結して構成された多関節型のフロント作業機110と、車体130を構成する上部旋回体131及び下部走行体132とを備え、上部旋回体131は下部走行体132に対して旋回可能に設けられている。また、フロント作業機110のブーム111の基端は上部旋回体131の前部に垂直方向に回動可能に支持されており、アーム112の一端はブーム111の基端とは異なる端部(先端)に垂直方向に回動可能に支持されており、アーム112の他端にはバケット113が垂直方向に回動可能に支持されている。ブーム111、アーム112、バケット113、上部旋回体131、及び下部走行体132は、油圧アクチュエータであるブームシリンダ121、アームシリンダ122、バケットシリンダ123、旋回モータ124、及び左右の走行モータ125,126(図1では右側の一方のみを図示し、他方については符号のみを括弧書きで示す)によりそれぞれ駆動される。
上部旋回体131の上部前方には、オペレータが搭乗する運転室151が配置されている。運転室151には、油圧アクチュエータ121~126を操作するための操作信号を出力する複数の操作レバー152が設けられている。なお、図2においては、複数の操作レバー152のうちの1つのみを代表して図示している。複数の操作レバー152には、油圧アクチュエータ121~126の操作がそれぞれ割り当てられている。例えば、油圧アクチュエータ121~124の操作には左右一対の操作レバーが割り当てられ、それぞれ前後左右に傾倒可能であり、操作信号であるレバーの傾倒量、すなわちレバー操作量を電気的に検知する図示しない検出装置を含み、検出装置が検出したレバー操作量を油圧ショベル100の制御システムを構成するメインコントローラ162に電気配線を介して出力する。また、同様に、油圧アクチュエータ125,126の操作にも他の左右一対の操作レバーが割り当てられている。
なお、操作レバー152は油圧パイロット方式であってもよく、オペレータにより操作される操作レバー152の操作方向及び操作量に応じたパイロット圧をコントロールバルブ141に駆動信号として供給し、油圧アクチュエータ121~126を駆動するように構成しても良い。
また、運転室151には、オペレータに情報を通知するための表示装置としての機能と、オペレータによる情報の入力を可能とする入力装置としての機能を有するモニタ153や、警告音や音声などによってオペレータに種々の状態を報知するブザー154などが配置されている。モニタ153の画面には、例えば、タッチパネルが表層に形成されており、このタッチパネルの機能によりオペレータからの入力を受け付けることができる。
ブームシリンダ121、アームシリンダ122、バケットシリンダ123、旋回モータ124及び左右の走行モータ125,126の動作制御は、エンジン143などの原動機によって駆動される油圧ポンプ142から各油圧アクチュエータ121~126に供給される作動油の方向及び流量をコントロールバルブ145で制御することにより行う。コントロールバルブ145は、図示しないパイロットポンプからパイロットバルブ144を介して出力される駆動信号(パイロット圧)により行われる。操作レバー152からの操作信号に基づいてメインコントローラ162でパイロットバルブ144を制御することにより、各油圧アクチュエータ121~126の動作が制御される。
上部旋回体131の上部の後方には、2つのGNSS(Global Navigation Satellite System)受信機171,172が左右に並べて配置されている。以降、これらのGNSS受信機171,172を区別する場合は、左側に配置されているものを左GNSS受信機171、右側に配置されているものを右GNSS受信機172と称する。GNSS受信機171,172は、はるか上空を飛行しているGNSS衛星から出力される測位信号を受信し、受信した測位信号に基づいて油圧ショベル100の地球座標系における位置を演算して位置情報として出力する機能を有している。また、GNSS受信機171,172の上部旋回体131に対する相対位置は固定であるので、2つのGNSS受信機171,172で計測される位置情報の偏差から、上部旋回体131の向きを算出することができる。
ここで、GNSS受信機171,172は、作業機械である油圧ショベル100の施工現場における位置を計測し、計測結果を位置情報として出力する位置計測装置を構成している。
ブーム111、アーム112、バケット113、及び上部旋回体131には、それぞれ慣性計測装置(IMU: Inertial Measurement Unit)181~184が配置されている。以降、これらの慣性計測装置181~184を区別する必要が有る場合は、それぞれ、ブーム慣性計測装置181、アーム慣性計測装置182、バケット慣性計測装置183、及び、上部旋回体慣性計測装置184と称する。
慣性計測装置181~184は、角速度及び加速度を計測するものである。慣性計測装置181~184が配置された被駆動部材111~113及び上部旋回体131が静止している場合を考えると、慣性計測装置181~184に設定されたIMU座標系における重力加速度の方向(つまり、鉛直下向き方向)と、慣性計測装置181~184の取り付け状態(つまり、慣性計測装置181~184と被駆動部材111~113や上部旋回体131との相対的な位置関係)とに基づいて、被駆動部材111~113及び上部旋回体131の向き(対地角度)を姿勢情報として検出することができる。そして、慣性計測装置181~184の検出結果から被駆動部材111~113及び上部旋回体131のそれぞれの相対角度を算出することができる。また、慣性計測装置184で検出される角速度に基づいて上部旋回体131の旋回角度を検出することができる。すなわち、慣性計測装置181~184は、被駆動部材111~113及び上部旋回体131の相対角度を検出する角度検出器といえる。なお、慣性計測装置181~184に代えて、被駆動部材111~113の結合部や上部旋回体131の旋回部に設けた角度検出装置を用いても良い。
また、上部旋回体131には、重力方向に対する油圧ショベル100の傾斜角度を姿勢情報として検出する慣性計測装置173が配置されている。
ここで、慣性計測装置181~184,173は、作業機械である油圧ショベル100の姿勢に関する情報を検出し、検出結果を姿勢情報として出力する姿勢情報検出装置を構成している。
上部旋回体131の、例えば、運転室151の上部には、油圧ショベル100の周囲の地形を計測し、計測結果を地形データとして出力する地形計測装置170が配置されている。地形計測装置170は、例えば、ステレオカメラ、レーザスキャナ、ミリ波レーダ等の外界センサである。地形計測装置170から出力される地形データは、例えば、車体130(上部旋回体131)に対して固定で設定される車体座標系(後述)における地形を示す点群データである。地形計測装置170は、例えば、周期的に油圧ショベル100の周囲の地形を自動で計測し、地形データとして出力する。なお、地形計測装置170の搭載位置は上記に限定されるものではなく、油圧ショベル100の周囲の地形の計測が十分に行える位置および姿勢で配置すれば良い。また、地形計測装置170による計測タイミング等についても上記に限定されるものではなく、例えば、油圧ショベル100が決められた姿勢をとったタイミングや、オペレータが指示したタイミングで地形計測を行ってもよい。
油圧ショベル100の制御システムは、油圧ショベル100の全体の動作を制御するメインコントローラ162のほかに、油圧ショベル100に関する情報を制御する情報コントローラ161を備えている。図示しないが、メインコントローラ162は、処理装置(例えばCPU)と、処理装置が実行するプログラム、及びそのプログラムの実行に必要なデータ等が格納される記憶装置(例えばROM、RAM等の半導体メモリ)を有するコンピュータ相当のハードウェアである。同様に、情報コントローラ161は、処理装置としてのCPU(Central Processing Unit)1611と、CPU1611が実行するプログラム、及びそのプログラムの実行に必要なデータ等が格納される記憶装置(例えばROM1613やRAM1612の半導体メモリ)と、外部インタフェース1614とがバス1615により接続されたコンピュータ相当のハードウェアである。尚、情報コントローラ161がASIC(Application Specific Integrated Circuit)やFPGA(field-programmable gate array)などの集積回路を用いて構成されている場合、情報コントローラ161の機能の一部または全部は、これら集積回路によって実現されてもよい。
また、油圧ショベル100の制御システムは、種々の情報を記憶する記憶装置155や、外部との通信を行う無線通信装置157などを有している。記憶装置155は、例えば、ハードディスクドライブや大容量フラッシュメモリなどで構成されており、施工現場の完成形状を表す設計データが記憶された設計データベース230などが構築されている。無線通信装置157は、例えば、無線LAN(Local Area Network)やWi-Fi、Bluetooth(登録商標)、携帯回線などと接続するための通信機器である。
情報コントローラ161は、外部インタフェース1614を介して、メインコントローラ162、GNSS受信機171,172、慣性計測装置173,181~184、モニタ153、ブザー154、記憶装置155、及び、無線通信装置157と接続されている。
以上のように構成した本実施の形態に係る油圧ショベル100の地形情報出力装置によって実現される本発明の機能を以下に詳細に説明する。
<基本原理>
まず、本実施の形態の基本原理について説明する。
図3は、油圧ショベルが作業を行う施工現場の様子を例示する図である。また、図4は、作業現場における油圧ショベルの様子を示す上面図である。
図3に示すように、施工現場300の周囲には、構造物310や、自車以外の作業機320、木々330などがあることが考えられる。このとき、油圧ショベル100に備え付けられた地形計測装置170によって、周囲の地形を計測すると、図4に示すように、施工現場300の地形以外に、構造物310や自車以外の作業機320、木々330の形状を含む情報が得られる可能性がある。すなわち、この状態において地形計測装置170から出力される計測データは、地形のみを計測したデータではない。このため、例えば、この計測データを無線通信装置157等を介してそのまま外部のサーバ上に送信した場合には、計測データから地形以外を除去する必要があり、サーバ上の処理負荷が増大する。
ところで、作業機械は一般に、自車周囲の土砂を掘削、運搬することで施工現場を所望の地形に加工する。したがって、例えば、油圧ショベルのような作業機を有する作業機械が一時に加工する土地は自車周囲の範囲に限られる。もし、複数台の作業機で施工を行う際は、多くの場合、作業機械毎に施工を行う領域を分ける。また、情報化施工では、施工現場の完成形状を表す設計データをあらかじめ作成することが多く、作業機械が加工する範囲は、この設計データが表す領域内である。また、周囲の木々330や構造物310は、多くの場合、この設計データの領域外に存在する。以上の観点から、作業機械に取り付けられた地形計測装置の計測したデータに構造物310や自車以外の作業機320、周囲の木々330の形状が含まれる原因の一つとして、地形計測装置170の計測領域が、作業機械の作業予定領域より広範囲に及んでいることがあげられる。
本願発明は、本願発明者による以上のような知見に基づいており、図4に示したように、油圧ショベル100の施工開始前に作業予定領域800を設定し、地形計測装置170の計測領域340の計測データのうち作業予定領域800内のデータを抽出することで、計測データから作業予定領域800外の計測範囲350のデータを除外し、地形以外の情報を除去した地形情報を取得する。すなわち、本実施の形態においては、事前に作業予定領域を定めて作業機械で処理を行うことで、サーバ上で構造物310などの地形以外のデータを除外する処理をする必要がなくなり、油圧ショベル100の周囲地形について質の高い地形情報を効率よく得ることができる。
<座標系>
本実施の形態で用いる車体座標系、センサ座標系、サイト座標系、及び、これらの座標系の関係について説明する。
図5は、車体座標系を示す図である。また、図6は、車体座標系、センサ座標系、及び、サイト座標系の関係を示す図である。
図5において、車体座標系900は、車体130に対して固定で設定される座標系であり、油圧ショベル100の旋回中心軸と下部走行体132の下部の地面とが交わる点を原点とし、旋回中心軸に垂直となる左右方向に右方向を正とするX軸を、旋回中心軸に垂直となる前後方向に前方を正とするY軸を取り、旋回中心軸に沿う方向に上方を正とするZ軸を取る直交座標系である。
図6において、センサ座標系910は、地形計測装置170に相対的に固定されて設定される座標系であり、例えば、前方を正とするY軸と、右方向を正とするX軸と、上方を正とするZ軸とからなる直行座標系である。同様に、サイト座標系930は、施工現場内に設けられた基準点を原点として設定される座標系であり、水平面上に原点を通るようにY軸をとり、原点からX軸の正方向を見て水平面上の左右方向に右方向を正とするX軸を、鉛直方向に上方向を正とするZ軸をとる直行座標系である。
図6において、ある計測点920を考えると、計測点920はセンサ座標系910上でPs(xs,ys,zs)と表される。また、計測点920は、車体座標系900上ではPv(xv,yv,zy)と表される。つまり、車体座標系900とセンサ座標系910の関係は、下記の(式1)~(式3)で表される。
Figure 0007203616000001
Figure 0007203616000002
Figure 0007203616000003
上記の(式2)で示すRsvは、センサ座標系910から車体座標系900への回転行列であり、変数αs,βs,γsは、それぞれセンサ座標系910と車体座標系900のX軸同士、Y軸同士、Z軸同士がなす角である。地形計測装置170が油圧ショベル100に固定されている場合、これらのなす角は一定となるので、例えば、予め車体座標系900における地形計測装置170の姿勢を測定しておき、記憶装置155に事前に保存しておくことで計算量を削減することができる。なお、地形計測装置170が油圧ショベル100に対して姿勢を変化させながら地形計測を行う場合には、地形計測装置170に姿勢計測センサを備え付けるなどして、姿勢計測センサが検出した角度を用いて座標変換行列を算出してもよい。
上記の(式3)で示すTsvは、車体座標系900の原点からセンサ座標系910の原点への並進ベクトルである。すなわち、(xt,yt,zt)は、車体座標系900におけるセンサ座標系910の原点位置の座標に等しい。地形計測装置170の取り付け位置は、油圧ショベル100に対して固定されている場合が多い。このことから、本実施形態では、予め地形計測装置170の油圧ショベル100への取り付け位置を計測しておき、この計測値を記憶装置155に事前に保存しておく。
また、図6において、計測点920は、車体座標系900上でPv(xv,yv,zv)と表され、サイト座標系930上ではPg(xg,yg,zg)と表される。つまり、車体座標系900とサイト座標系930の関係は、下記の(式4)~(式6)で表される。
Figure 0007203616000004
Figure 0007203616000005
Figure 0007203616000006
上記の(式5)で示すRvgは、車体座標系900からサイト座標系930への回転行列であり、変数θr,θp,θyは、それぞれ車体座標系900とサイト座標系930のX軸同士、Y軸同士、Z軸同士がなす角である。角度θr,θpは、例えば、油圧ショベル100に備え付けられた慣性計測装置173(姿勢情報検出装置)が出力した、油圧ショベル100の姿勢情報を用いることで得られる。また、角度θyは、例えば、油圧ショベル100に備え付けられた右GNSS受信機171および左GNSS受信機172が受信した測位データから算出した油圧ショベル100の向きを用いることで得られる。
上記の(式6)で示すTvgは、サイト座標系930の原点から車体座標系900の原点へのベクトルである。すなわち、(x0,y0,z0)は、サイト座標系930における車体座標系900の原点位置の座標に等しい。これらの値には、例えば、右GNSS受信機171および左GNSS受信機172が受信した測位データから算出した油圧ショベル100の位置を用いる。
<情報コントローラ161>
図7は、情報コントローラの地形情報出力装置としての機能を示す機能ブロック図である。図7においては、情報コントローラ161によって実行される各種演算処理を機能ブロックで示している。
図7において、情報コントローラ161は、慣性計測装置173,181~184からの計測結果と、GNSS受信機171,172からの計測結果とに基づいて、機械状態を取得する機械状態取得部510と、機械状態取得部510で取得された機械状態に基づいて、地形計測装置170で取得された地形データから施工現場の座標系(サイト座標系)で示される現況地形データを取得する現況地形データ取得部520と、無線通信装置157を介して施工管理者により行われる設定、モニタ153によるオペレータの入力、或いは、設計データベース230に記憶された設計データに基づいて、油圧ショベル100により作業を行う領域である作業予定領域を設定する作業予定領域設定部530と、作業予定領域設定部530で設定された作業予定領域に基づいて、現況地形データ取得部520で取得された現況地形データから施工現場の地形の情報である地形情報を抽出する現況地形データフィルタリング部540と、現況地形データフィルタリング部540で得られた現況地形データをメインコントローラ162やモニタ153に出力するほか、無線通信装置157を介して油圧ショベル100の外部に出力する地形情報出力部550とを備えている。
<データ形式>
情報コントローラ161で扱われるデータの形式について説明する。
本実施の形態では、地形計測装置170が出力する計測データに点群データ形式を用い、作業予定領域設定部530により設定される作業予定領域、及び、現況地形データフィルタリング部540で用いられる計測領域に領域データ形式を用い、施工現場300の完成形状を表す設計データに設計データ形式を用いる場合を例示して説明する。
図8は、点群データ形式で示されるデータの一例を示す図である。
本実施形態では、地形計測装置170から、センサ座標系での点群データが出力され、現況地形データ取得部520の処理によってサイト座標系での点群データに変換され、その後、現況地形データフィルタリング部540の処理によって地形情報に変換される。本実施の形態では、センサ座標系での点群データ、サイト座標系での点群データ、及び、地形情報を、点群データ形式で表す。
点群データ形式は、図8が示すように、点データNpt(n)の識別する番号nの数値712と{Xpt(n),Ypt(n),Zpt(n)}の座標値714で表されるリストとして構成されており、これが記憶装置155やRAM1612内に記憶される。
図9は、領域データ形式で表されるデータの一例を示す図である。また、図10及び図11は、領域データ形式で表される領域の形状の一例を示す図である。
無線通信装置157、モニタ153、又は、設計データベース230から得られた入力から作業予定領域設定部530の処理によって出力される作業予定領域には領域データ形式が用いられる。また、現況地形データフィルタリング部540内で用いられる計測領域にも領域データ形式が用いられる。
領域データ形式は、図9に示すように、例えば、点Nw(n)の識別する番号nの数値812と{Xw(n),Yw(n),Zw(n)}の座標値814で表されるリストとして構成されており、これが記憶装置155やRAM1612内に記憶される。このとき、領域データ形式で表される領域の形状は、点Nw(n)が示す直線、または多角形となる。すなわち、領域の形状は、例えば、点Nw(n)の数、および順番で表され、点Nw(n)の数が2点である場合は図10に示すような直線、3点以上の場合は図11に示すような多角形と考えることができる。図10に示すような直線で領域を規定する場合、Nw(1)からNw(2)へ向かう方向において右側を領域と定めることができる。また、図11に示すような多角形で領域を規定する場合、点Nw(n)により多角形を時計回りの順番に設定すると、多角形が囲む内側を領域として設定することができる。なお、点Nw(n)により多角形を反時計回りの順番に設定すると、多角形が囲む外側を領域として設定することができる。
図12及び図13は、設計データ形式で表されるデータの一例を示す図である。また、図14は、設計データ形式で表される設計データの形状の一例を示す図である。
設計データ形式は、図12及び図13に示すように、例えば、各点Nd(n)を識別する番号nの数値641と{Xd(n)、Yd(n)、Zd(n)}の座標値642で表されるリストとして構成される点データ640(図12参照)と、各要素Ed(n)を識別する番号nの数値651と要素をなす点データNd(n)の番号n1,n2,n3の数値652とで表されるリストとして構成される要素データ650(図13参照)とで構成される。例えば、本実施の形態の設計データは、多角形ポリゴンを複数連ねることで構成されたデータとなっており、図14に示すように、多角形ポリゴンとして三角形ポリゴンを採用している。すなわち、本実施の形態においては、要素データ650の各要素Ed(n)は、設計データを構成する局所の三角形ポリゴンのそれぞれを一意に識別するものであり、1つの三角形ポリゴンは、図13に示す要素データ650の各要素Ed(n)のデータの紐づけ関係で示されるとおり、3点のNd(n1)、Nd(n2)、Nd(n3)の各座標値により定義される。
<機械状態取得部510>
機械状態取得部510は、姿勢検出装置としての慣性計測装置173、ブーム慣性計測装置181、アーム慣性計測装置182、バケット慣性計測装置183、上部旋回体慣性計測装置184、右GNSS受信機171、及び、左GNSS受信機172からの検出結果に基づいて、上部旋回体131の測位位置、方位、及び、バケット113の先端位置を算出し、現況地形データ取得部520および現況地形データフィルタリング部540に出力する。尚、本実施形態では、バケット113の先端位置および油圧ショベル100の位置、姿勢のことを、機械状態と呼ぶ。バケット113の先端位置は、車体座標系900の座標値で表される。また、算出された機械状態は、記憶装置155に保持されるとともに、現況地形データ取得部520、および現況地形データフィルタリング部540に出力される。
<現況地形データ取得部520>
現況地形データ取得部520は、機械状態取得部510が算出した油圧ショベル100のサイト座標系930での位置および姿勢を用いて、地形計測装置170から得られる施工現場300の計測結果であるセンサ座標系での点群データを、センサ座標系910から上記の(式1)及び(式2)を用いて、サイト座標系930に変換し、サイト座標の点群データとして現況地形データフィルタリング部540に出力する。
<作業予定領域設定部530>
作業予定領域設定部530は、オペレータがモニタ153を介して設定した内容(選択値、寸法値)に基づく作業予定領域の設定(以降、オペレータ設定と称する)、施工管理者が無線通信装置157を介して設定した作業予定領域データの読込による作業予定領域の設定(以降、管理者設定と称する)、設計データベース230より読み込んだ設計データを作業予定領域とする作業予定領域の設定(以降、設計データ設定と称する)のいずれかまたはすべてを行い、その結果を現況地形データフィルタリング部540に出力する。
図15~図18は、モニタ153に表示される作業予定領域設定画面を示す図であり、図15は作業予定領域設定を行うか作業開始するかを選択する選択画面を、図16は作業予定領域の形状選択画面を、図17はパラメータ入力画面を、図18は作業開始のエラーをオペレータに報知する画面をそれぞれ示す図である。
オペレータが作業予定領域を設定する場合は、モニタ153により実現されるGUI(Graphical User Interface)などを通じて設定を行う。領域の設定方法は、特に限定しないが、例えば、図15に示す選択画面によって作業予定領域設定ボタン430を選択することで表示される形状選択画面(図16参照)により設定する。形状選択画面(図16参照)において、まず、矩形460a、円形460b、直線460cなど単純な形状を選択した状態で、決定ボタン153aにより決定し、続いて表示されるパラメータ入力画面(図17参照)を用いて形状の辺の長さや、油圧ショベル100の線形中心と選択した図形の中心との距離などのパラメータの数値情報を入力する。なお、設計データベース230から設計データを読み込む場合には、形状選択画面(図16参照)で設計データ読み込みボタン470を選択状態にし、また、施工管理者が設定した作業予定領域を無線通信装置157を介してサーバから読み込む場合には、サーバデータ取得ボタン480を選択状態にして、決定ボタン153aにより決定することで、形状選択と同時に設計データとサーバデータの読み込みの一方または両方を同時に行うことができる。なお、形状(矩形460a、円形460b、直線460c)を選択せずに設計データ読み込みボタン470やサーバデータ取得ボタン480を選択状態にした状態で決定ボタン153aにより決定することもできる。また、作業予定領域を設定するデータが1つも読み込まれていない場合には、報知画面(図18参照)を表示してオペレータに報知する。
図19は、作業予定設定部における処理を示すフローチャートである。また、図20及び図21は、作業予定領域設定部における作業予定領域の設定の様子を示す図である。
図19において、作業予定領域設定部530は、まず、作業予定領域の設定のために入力されたデータを取得する(ステップS100)。ステップS100で取得したデータが設計データであるかどうかを判定し(ステップS110)、判定結果がYESの場合には、設計データに基づいて作業予定領域の設定(設計データ設定)を行う(ステップS120)。
設計データ設定により作業予定領域を設定する場合、図20に示すように、設計データベース230に記憶された設計データ600を読込み、設計データ600の外形線を示す点データのみを抽出して領域データ形式(図9参照)に変換することで、作業予定領域800を設定する。設計データの外形線の抽出アルゴリズムは、特に限定するものではないが、例えば、まず、図12及び図13で示した設計データ形式の要素データ650においての三角形要素の辺の組み合わせ、つまり各点Nd(n)を識別する番号nのペアを抽出する。このとき、1つの三角形要素からは必ず3組のNd(n)を識別する番号nの組み合わせを抽出される。このとき、設計データの外形を担う辺を構成する点の組み合わせは要素データ650のリスト内で一度ずつしか現れない。したがって、抽出された三角形要素の辺のリストの中で、複数回出現する辺の組み合わせを排除して残った辺で囲われる閉曲線を、設計データの外形線とすることができる。
ステップS110での判定結果がNOの場合、又は、ステップS120での処理が終了した場合には、続いて、ステップS100で取得したデータがモニタ153を介してオペレータにより入力された選択値や寸法値であるかどうかを判定し(ステップS130)、判定結果がYESの場合には、入力内容に基づいて作業予定領域の設定(オペレータ設定)を行う(ステップS140)。
ステップS130での判定結果がNOの場合、又は、ステップS140での処理が終了した場合には、続いて、作業予定領域の設定のためのデータ取得が終了したかどうかを判定し(ステップS150)、判定結果がNOの場合には、判定結果がYESになるまでステップS100~S150の処理を繰り返す。
また、ステップS150での判定結果がYESの場合には、続いて、作業予定領域として設定されたデータが複数あるかどうかを判定し(ステップS160)、判定結果がNOの場合、すなわち、作業予定領域がオペレータ設定、管理者設定、及び、設計データ設定の何れか1つのみによって設定された場合には、読み込まれた作業予定領域を領域データ形式(図9参照)に変換し、現況地形データフィルタリング部540に出力して(ステップS180)、処理を終了する。
また、ステップS160での判定結果がYESの場合、すなわち、作業予定領域が、オペレータ設定、管理者設定、及び、設計データ設定の2つ以上により複数設定された場合には、それらの共通領域を抽出することで統合して作業予定領域として設定する(ステップS170)。例えば、図21に示すように、オペレータ設定により作業予定領域360が設定され、設計データ設定により作業予定領域370が設定された場合には、それらの共通領域380を抽出し、作業予定領域として領域データ形式(図9参照)に変換する。複数の作業予定領域の共通領域の抽出方法は特に限定するものではないが、例えば、作業予定領域がなす多角形が凸多角形であるとすると、凸多角形同士の共通部分を抽出するという計算幾何の問題として解くことができる。ステップS170での処理が終了すると、作業予定領域を領域データ形式(図9参照)に変換し、現況地形データフィルタリング部540に出力して(ステップS180)、処理を終了する。
<現況地形データフィルタリング部540>
現況地形データフィルタリング部540は、現況地形データ取得部520から出力されたサイト座標系での点群データにおける作業予定領域内の点群データを抽出し、地形情報として地形情報出力部550に出力する。
図22は、現況地形データフィルタリング部における処理を示すフローチャートである。また、図23及び図24は、現況地形データフィルタリング部におけるフィルタリング処理の様子を示す図である。
図22において、現況地形データフィルタリング部540は、まず、現況地形データ取得部520から出力されたサイト座標系での現況地形データ(点群データ)を取得し(ステップS200)、続いて、作業予定領域設定部530から出力された作業予定領域を取得する(ステップS210)。
続いて、機械状態取得部510が算出した機械状態(測位位置、方向)を用いて、計測範囲を表す計測領域データを算出する(ステップS220)。計測範囲を表す形状は、特に指定しないが、センサの実計測範囲に基づいて、車体座標系900を基準にしてあらかじめ定めておき、領域データ形式にてRAM1612または記憶装置155に格納しておく。現況地形データフィルタリング部540は、この格納された計測領域データをサイト座標系930に変換する。
続いて、計測領域がフィルタリング領域(作業予定領域)に内包されるかどうかを判定する(ステップS230)。計測範囲が作業予定領域に内包されるか否かを判定する問題は、計測領域データを構成する多角形の各頂点が作業予定領域データを構成する多角形に内包されているか判定する問題とみなせる。そこで、計測領域データおよび作業予定領域データのX、Y座標値のみを用いた平面の問題とすることで2次元の計算幾何における、点が多角形に含まれるかを判定する問題として扱うことができる。よって、点を計測領域データを構成するデータの各頂点、多角形を作業予定領域データが表すポリゴンデータとすることで、点と多角形の内包判定問題を解くことで、計測領域がフィルタリング領域(作業予定領域)に内包されるかどうかを判定することができる。
ステップS230での判定結果がYESの場合、すなわち、図2に示すように、地形計測装置170が計測を行った際の計測領域340が作業予定領域800に内包されている場合には、現況地形データ取得部520から出力された現況地形データ(点群データ)のすべてを地形情報とし、地形情報出力部550に出力して(ステップS240)、処理を終了する。
また、ステップS230での判定結果がNOの場合、すなわち、図2に示すように、地形計測装置170が計測を行った際の計測領域340が作業予定領域800に内包されていない場合(つまり、作業予定領域外の計測範囲350が存在する場合)には、現況地形データ取得部520から出力された現況地形データ(点群データ)から作業予定領域800内の点データを抽出して地形情報とし(ステップS231)、地形情報出力部550に出力して(ステップS240)、処理を終了する。
作業予定領域800に含まれる点群データの抽出は、サイト座標系の現況地形データ(点群データ)内の各点が作業予定領域800に内包されるかを判定する問題ととらえることができる。よって、ステップS230と同等に、サイト座標系での現況地形データ(点群データ)および作業予定領域のX、Y座標値のみを用いた平面の問題とすることで、2次元の計算幾何における、点が多角形に含まれるかを判定する問題として扱うことができる。すなわち、点をサイト座標系での現況地形データ(点群データ)の点データ、多角形を作業予定領域が表すポリゴンデータとし、点と多角形の内包判定問題を解くことで、作業予定領域800に含まれる点群データの抽出を行うことができる。
<地形情報出力部550>
地形情報出力部550は、現況地形データフィルタリング部540から出力された地形情報を、メインコントローラ162やモニタ153、無線通信装置157などに出力する。メインコントローラ162では、例えば、地形情報出力部550から出力された地形情報を他の施工アプリケーションに用いる。モニタ153では、地形情報出力部550から出力された地形情報を用いて、現在の施工結果をオペレータに提示する。また、地形情報出力部550から出力されて無線通信装置157を介して外部のサーバなどへ送信された地形情報は、施工管理者による施工現場300全体の進捗管理に用いられる。
図25は、モニタに表示される施工結果の一例を示す図である。
図25に示すように、例えば、地形情報出力部550から出力された地形情報を出力結果420として表示し、サイト座標系930のZ座標値の値に応じて出力結果420の色などを変化させて、カラーバー410と伴に表示させてもよい。また、出力結果420の位置を認識しやすくするため、油圧ショベル100との相対関係を表示させてもよい。このときの表示位置には、機械状態取得部510で取得した機械状態を地形情報出力部550を介して出力させることで用いることができる。なお、図25においては、図示の都合上、色の変化をハッチングの種類の違いにより表している。
以上のように構成した本実施の形態における効果を説明する。
作業機械に設置された計測装置で得られる地形情報には、他の車両や構造物、周囲の木々等のような地形に関するもの以外の情報が含まれる場合があり、このような場合には、地形情報の質の低下に伴って進捗管理の精度も低下してしまう。したがって、精度良く進捗管理を行うためには、計測装置で得られた地形情報から地形に関するもの以外の情報を除外し、質の高い地形情報を取得する必要がある。
本実施の形態においては、施工現場で作業を行う油圧ショベル100において、油圧ショベル100の周囲の地形を計測し、計測結果を地形データとして出力する地形計測装置170と、油圧ショベル100の施工現場における位置を計測し、計測結果を位置情報として出力するGNSS受信機171,172と、油圧ショベル100の姿勢に関する情報を検出し、検出結果を姿勢情報として出力する慣性計測装置173,181~184と、油圧ショベル100に関する情報を制御する情報コントローラ161とを備え、情報コントローラ161は、GNSS受信機171,172で計測された位置情報と慣性計測装置173,181~184で検出された姿勢情報とに基づいて、車体座標系で示される地形データをサイト座標系で示される現況地形データに変換し、油圧ショベル100により作業を行う領域として予め設定した作業予定領域に基づいて、現況地形データから施工現場の地形の情報である地形情報を抽出して出力するように構成したので、地形計測装置170で取得されて送信される地形情報の質を向上することができる。
次に上記の各実施の形態の特徴について説明する。
(1)上記の実施の形態では、施工現場で作業を行う作業機械(例えば、油圧ショベル100)において、前記作業機械の周囲の地形を計測し、計測結果を地形データとして出力する地形計測装置170と、前記作業機械の前記施工現場における位置を計測し、計測結果を位置情報として出力する位置計測装置(例えば、GNSS受信機171,172)と、前記作業機械の姿勢に関する情報を検出し、検出結果を姿勢情報として出力する姿勢情報検出装置(例えば、慣性計測装置173,181~184)と、前記作業機械に関する情報を制御する情報コントローラ161とを備え、前記情報コントローラは、前記位置計測装置で計測された位置情報と前記姿勢情報検出装置で検出された姿勢情報とに基づいて、前記作業機械の座標系(例えば、車体座標系)で示される前記地形データを前記施工現場の座標系(例えば、サイト座標系)で示される現況地形データに変換し、前記地形計測装置によって計測される計測領域が前記作業機械により作業を行う領域として予め設定した作業予定領域内および前記作業予定領域外に存在する場合には、前記作業予定領域内の前記現況地形データのみを前記施工現場の地形の情報である地形情報として抽出して出力するものとした。
このように構成することにより、計測装置で取得されて送信される地形情報の質を向上することができる。
(3)また、上記の実施の形態では、(2)の作業機械(例えば、油圧ショベル100)において、前記情報コントローラ161は、前記施工現場における地形の完成形状を示す設計データに基づいて前記作業予定領域を設定するものとした。
(4)また、上記の実施の形態では、(2)の作業機械(例えば、油圧ショベル100)において、前記情報コントローラ161は、前記作業機械のオペレータによる入力に基づいて前記作業予定領域を設定するものとした。
<付記>
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
100…油圧ショベル、110…フロント作業機、111…ブーム、112…アーム、113…バケット、121…ブームシリンダ、122…アームシリンダ、123…バケットシリンダ、124…旋回モータ、125…走行モータ、126…走行モータ、130…車体、131…上部旋回体、132…下部走行体、141…コントロールバルブ、142…油圧ポンプ、143…エンジン、144…パイロットバルブ、145…コントロールバルブ、151…運転室、152…操作レバー、153…モニタ、154…ブザー、155…記憶装置、157…無線通信装置、161…情報コントローラ、162…メインコントローラ、170…地形計測装置、171…右GNSS受信機、172…左GNSS受信機、173…慣性計測装置、181~184…慣性計測装置、230…設計DB、410…カラーバー、420…出力結果、510…機械状態取得部、520…現況地形データ取得部、530…作業予定領域設定部、540…現況地形データフィルタリング部、550…地形情報出力部、900…車体座標系、910…センサ座標系、920…計測点、930…サイト座標系、1611…CPU、1612…RAM、1613…ROM、1614…外部I/F、1615…バス

Claims (3)

  1. 施工現場で作業を行う作業機械において、
    前記作業機械の周囲の地形を計測し、計測結果を地形データとして出力する地形計測装置と、
    前記作業機械の前記施工現場における位置を計測し、計測結果を位置情報として出力する位置計測装置と、
    前記作業機械の姿勢に関する情報を検出し、検出結果を姿勢情報として出力する姿勢情報検出装置と、
    前記作業機械に関する情報を制御する情報コントローラとを備え、
    前記情報コントローラは、
    前記位置計測装置で計測された位置情報と前記姿勢情報検出装置で検出された姿勢情報とに基づいて、前記作業機械の座標系で示される前記地形データを前記施工現場の座標系で示される現況地形データに変換し、
    前記地形計測装置によって計測される計測領域が前記作業機械により作業を行う領域として予め設定した作業予定領域内および前記作業予定領域外に存在する場合には、前記作業予定領域内の前記現況地形データのみを前記施工現場の地形の情報である地形情報として抽出して出力することを特徴とする作業機械。
  2. 請求項記載の作業機械において、
    前記情報コントローラは、前記施工現場における地形の完成形状を示す設計データに基づいて前記作業予定領域を設定することを特徴とする作業機械。
  3. 請求項記載の作業機械において、
    前記情報コントローラは、前記作業機械のオペレータによる入力に基づいて前記作業予定領域を設定することを特徴とする作業機械。
JP2019011883A 2019-01-28 2019-01-28 作業機械 Active JP7203616B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019011883A JP7203616B2 (ja) 2019-01-28 2019-01-28 作業機械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019011883A JP7203616B2 (ja) 2019-01-28 2019-01-28 作業機械

Publications (2)

Publication Number Publication Date
JP2020117982A JP2020117982A (ja) 2020-08-06
JP7203616B2 true JP7203616B2 (ja) 2023-01-13

Family

ID=71890242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019011883A Active JP7203616B2 (ja) 2019-01-28 2019-01-28 作業機械

Country Status (1)

Country Link
JP (1) JP7203616B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7143252B2 (ja) * 2019-06-19 2022-09-28 日立建機株式会社 作業機械
CN112180928B (zh) * 2020-09-30 2023-01-31 上海三一重机股份有限公司 挖掘机控制方法、挖掘机控制装置及挖掘机
CN112302093A (zh) * 2020-11-06 2021-02-02 河北跃进信息技术有限公司 一种挖掘机施工引导与分析装备
CN116472382A (zh) * 2020-11-19 2023-07-21 日立建机株式会社 作业机械
JP7443271B2 (ja) * 2021-01-15 2024-03-05 日立建機株式会社 作業機械
EP4198206A4 (en) * 2021-01-27 2024-09-04 Hitachi Construction Mach Co CONSTRUCTION EQUIPMENT
WO2024053315A1 (ja) * 2022-09-08 2024-03-14 日立建機株式会社 施工履歴演算システム及び地形データ生成システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310652A (ja) 2001-04-18 2002-10-23 Hitachi Constr Mach Co Ltd 走行式建設機械の位置計測システム
JP2017214776A (ja) 2016-05-31 2017-12-07 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
JP2018059268A (ja) 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310652A (ja) 2001-04-18 2002-10-23 Hitachi Constr Mach Co Ltd 走行式建設機械の位置計測システム
JP2017214776A (ja) 2016-05-31 2017-12-07 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
JP2018059268A (ja) 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法

Also Published As

Publication number Publication date
JP2020117982A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP7203616B2 (ja) 作業機械
KR102013761B1 (ko) 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP6674846B2 (ja) 形状計測システム、作業機械及び形状計測方法
JP6289731B2 (ja) 作業機械の制御システム、作業機械の制御方法、及びナビゲーションコントローラ
JP7365122B2 (ja) 画像処理システムおよび画像処理方法
WO2017061511A1 (ja) 形状計測システム及び形状計測方法
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
KR102606049B1 (ko) 건설 기계
JP2018059400A (ja) 施工管理システム
JP7462710B2 (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP2021001436A (ja) 作業機械
CN115917088A (zh) 工程机械
JP2019157569A (ja) 建設機械
JP7227111B2 (ja) 作業機械
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
WO2023032970A1 (ja) 制御システム、制御方法および制御プログラム
WO2023002796A1 (ja) 掘削機械の稼働範囲設定システムおよびその制御方法
JP7536580B2 (ja) 表示制御装置及び表示方法
JP7489344B2 (ja) 地形情報管理システムおよび作業機械
JP7390991B2 (ja) 作業機械および施工支援システム
JP7263287B2 (ja) 作業機械
JP7349956B2 (ja) 施工方法及び施工システム
JP7333551B2 (ja) 作業機械の画像表示システム
JP7065002B2 (ja) 作業機械

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7203616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150