JP7016772B2 - 工事管理装置、工事管理方法、およびプログラム - Google Patents

工事管理装置、工事管理方法、およびプログラム Download PDF

Info

Publication number
JP7016772B2
JP7016772B2 JP2018096427A JP2018096427A JP7016772B2 JP 7016772 B2 JP7016772 B2 JP 7016772B2 JP 2018096427 A JP2018096427 A JP 2018096427A JP 2018096427 A JP2018096427 A JP 2018096427A JP 7016772 B2 JP7016772 B2 JP 7016772B2
Authority
JP
Japan
Prior art keywords
work
target area
area
work target
construction management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018096427A
Other languages
English (en)
Other versions
JP2019200723A (ja
Inventor
正蔵 岸
彰 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2018096427A priority Critical patent/JP7016772B2/ja
Publication of JP2019200723A publication Critical patent/JP2019200723A/ja
Application granted granted Critical
Publication of JP7016772B2 publication Critical patent/JP7016772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、工事管理装置、工事管理方法、およびプログラムに関する。
従来、工事の管理においては、たとえば、特許文献1に示されるように、一定の作業対象領域を固定で撮影し、この作業対象領域を管理することが一般的であった。
特開2004-295543号公報
しかしながら、特許文献1等に開示されている従来技術においては、作業対象領域の位置が作業進捗に応じて変更する工事を管理することが困難であった。
本発明の一態様は、作業対象領域の位置が作業進捗に応じて変更する工事を管理することが可能な、工事管理装置、工事管理方法、およびプログラムを実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る工事管理装置は、作業対象領域の位置が作業進捗に応じて変更する工事を管理する工事管理装置であって、前記作業対象領域の全体が含まれる撮影画像から、前記作業対象領域を特定する対象領域特定部を備えていることを特徴としている。
上記の課題を解決するために、本発明の一態様に係る工事管理方法は、作業対象領域の位置が作業進捗に応じて変更する工事を管理する工事管理方法であって、前記作業対象領域の全体が含まれる撮影画像から、前記作業対象領域を特定する対象領域特定工程を備えていることを特徴としている。
上記の構成によれば、作業対象領域の全体が含まれる撮影画像から、作業対象領域を特定する。これにより、工事の管理を、作業対象領域の位置の変更に追従させることができるため、作業対象領域の位置が作業進捗に応じて変更する工事を管理することが可能となる。
本発明の一態様に係る工事管理装置において、前記作業対象領域は、作業対象領域画定物を配置することにより画定されるものであり、前記対象領域特定部は、前記撮影画像内に含まれる前記作業対象領域画定物を認識し、該認識した前記作業対象領域画定物の配置により定まる領域を前記作業対象領域として特定することが好ましい。
上記の構成によれば、作業対象領域画定物によって、作業対象領域として特定すべき領域を明確化することができるため、作業対象領域の特定が容易となる。
本発明の一態様に係る工事管理装置において、前記対象領域特定部は、前記撮影画像においてトリミングされた領域を、前記作業対象領域として特定することが好ましい。
上記の構成によれば、撮影画像のトリミングによって、作業対象領域として特定すべき領域を明確化することができるため、作業対象領域の特定が容易となる。
本発明の一態様に係る工事管理装置は、作業が既に行われた領域である作業済み領域を特定する作業済み領域特定部をさらに備えていることが好ましい。
上記の構成によれば、作業が既に行われた領域である作業済み領域を特定することが可能となる。
本発明の一態様に係る工事管理装置において、前記工事は、地面の掘削工程および埋戻し工程を含む工事であり、前記作業済み領域特定部は、前記撮影画像における埋戻し済みの地面の色と、未掘削の地面の色との相違に基づき、地面埋戻し済みの領域を埋戻し済み領域として特定することが好ましい。
上記の構成によれば、特定した埋戻し済み領域が作業済み領域とされることにより、作業済み領域の特定が容易となる。
本発明の一態様に係る工事管理装置において、前記工事は、管を地面に敷設する工程を含む工事であり、前記作業済み領域特定部は、前記撮影画像に含まれる敷設済みの管の画像領域を、管敷設済み領域として特定することが好ましい。
上記の構成によれば、特定した管敷設済み領域が作業済み領域とされることにより、作業済み領域の特定が容易となる。
本発明の一態様に係る工事管理装置は、前記撮影画像に基づき、工事における異常を検知する異常検知部を備えていることが好ましい。
上記の構成によれば、工事における異常を検知することが可能となる。
本発明の一態様に係る工事管理装置は、前記撮影画像を用いて、敷設対象の管が吊り上げられている状態を認識するとともに、当該状態から管の敷設に係る作業進捗を把握する作業進捗把握部を備えていることが好ましい。
上記の構成によれば、管の敷設に係る作業進捗を把握することが可能となる。
本発明の一態様に係るプログラムは、上記工事管理装置における各部としてコンピュータを機能させるためのプログラムである。
上記の構成によれば、作業対象領域の位置が作業進捗に応じて変更する工事を管理することが可能なプログラムを実現することができる。
本発明の一態様によれば、作業対象領域の位置が作業進捗に応じて変更する工事を管理することが可能となる。
本発明の実施の形態に係る工事管理システムの構成を示すブロック図である。 図1に示す工事管理システムの具体的な適用例を示すイメージ図である。 作業対象領域の全体が含まれる撮影画像の一例を示す図である。 (a)~(c)は、作業対象領域画定物の具体例を示す図である。 作業対象領域の特定方法の変形例を示す図である。 敷設対象の管が吊り上げられている状態を示す撮影画像の概略図である。
図1は、本発明の実施の形態に係る工事管理システム100の構成を示すブロック図である。図2は、工事管理システム100の具体的な適用例を示すイメージ図である。工事管理システム100は、撮影装置1、管理制御装置2、および作業者端末3を備えている。
撮影装置1は、工事の様子を撮影する。なお、この工事は、作業進捗に応じて、作業対象領域101の位置が変更されるものである。特に、本実施の形態においては、この工事の具体例として、地面102の掘削工程および埋戻し工程を含む工事、より具体的には、管103を地面102に敷設する工程を含む工事を想定している。
管理制御装置2は、例えば前記工事を管理する管理事務所に設置されたパーソナルコンピュータによって構成されている。管理制御装置2は、通信部21、撮影制御部22、対象領域特定部23、作業済み領域特定部24、異常検知部25、および作業進捗把握部26を有している。
管理制御装置2は、工事管理装置としての機能と、制御装置としての機能との、少なくとも一方を有している。工事管理装置としての機能は、対象領域特定部23、作業済み領域特定部24、異常検知部25、および作業進捗把握部26によって実現される機能であって、前記工事を管理する機能である。制御装置としての機能は、撮影制御部22、および対象領域特定部23によって実現される機能であって、撮影装置1を制御する機能である。なお、管理制御装置2における工事管理装置としての機能を持つ各部材と、管理制御装置2における制御装置としての機能を持つ各部材とのそれぞれを備え、これらの機能の両方を実現する構成であってもよい。
通信部21は、撮影装置1と管理制御装置2との通信を実現するためのものである。該通信の形態は、無線であることが一般的であるが、有線であってもよい。該通信により、管理制御装置2は、撮影装置1の撮影によって得られた画像データ(後述する撮影画像108)を受け取ることができると共に、撮影装置1を制御することができる。
撮影制御部22は、撮影装置1を制御するものである。具体的に、撮影制御部22は、上述した作業対象領域101の全体が撮影されるように撮影装置1を制御するものである。
対象領域特定部23は、作業対象領域101の全体が含まれる撮影画像108(図3参照)から、作業対象領域101を特定する。作業済み領域特定部24は、前記工事における作業が既に行われた領域である作業済み領域104を特定する。異常検知部25は、撮影画像108に基づき、前記工事における異常を検知する。作業進捗把握部26は、撮影画像108を用いて、敷設対象の管103が吊り上げられている状態を認識すると共に、該状態から管103の敷設に係る作業進捗を把握する。対象領域特定部23、作業済み領域特定部24、異常検知部25、および作業進捗把握部26のそれぞれの機能についての詳細な説明は後述する。
通信部21は、管理制御装置2と作業者端末3との通信を実現するためのものでもある。該通信の形態は、無線であることが一般的であるが、有線であってもよい。該通信により、管理制御装置2は、作業者端末3に対して、工事管理装置としての機能に基づく指示を送信することができる。
作業者端末3は、前記指示を受信する端末である。例えば、作業者105と作業者106とのそれぞれが、作業者端末3を所持している。作業者105は、前記工事における工程の管理を行う者であり、作業者106は、ショベルカー等の重機107を運転する者である。管理制御装置2は、作業者105が所持する作業者端末3および作業者106が所持する作業者端末3のそれぞれに対して、互いに独立した指示を送信したり、共通の指示を一括で送信したりする。これにより、作業者105および作業者106のそれぞれは、自身が行っている作業内容に適合した指示を、自身が所持する作業者端末3によって受けることができる。作業者106が作業者端末3を所持する替わりに、重機107に作業者端末3を取り付けてもよい。
図3は、作業対象領域101の全体が含まれる撮影画像108の一例を示す図である。撮影画像108には、作業対象領域101を画定すべく配置された4つの作業対象領域画定物109が写っている。対象領域特定部23は、撮影画像108内に含まれるこれらの作業対象領域画定物109を認識し、認識した作業対象領域画定物109の配置により定まる領域を、作業対象領域101として特定する。図3に示す例においては、4つの作業対象領域画定物109によって囲まれた領域を、作業対象領域101としている。
図4の(a)~(c)は、作業対象領域画定物109の具体例を示す図である。図4の(a)に示すとおり、作業対象領域画定物109は、単色または模様入りのカラーコーン(登録商標)109aであってもよい。また、図4の(b)に示すとおり、作業対象領域画定物109は、単色または模様入りのコーンバー109bであってもよい。また、図4の(c)に示すとおり、作業対象領域画定物109は、模様入り、もしくは標識として機能する文字(例:立入禁止)および模様入りのテープ109cであってもよい。他にも、作業対象領域画定物109は、ガードバー、バリアリール、または標識ロープ(トラロープ)であってもよい。なお、図3には、4つの作業対象領域画定物109の各々が、単色のカラーコーンである例を示している。
また、位置情報を取得可能な機器(例:GPS(Global Positioning System)センサ)を作業対象領域画定物109に取り付け、該位置情報を管理制御装置2が参照できるようにしてもよい。これにより、対象領域特定部23が、作業対象領域画定物109の絶対的な位置(例:緯度および/または経度)を認識することができる。
さらに、作業対象領域画定物109の配置をそのままに、作業対象領域101の特定方法を変更することによって、作業対象領域101に該当する領域を変更することも可能である。作業進捗または時間等に応じて、このような作業対象領域101に該当する領域を変更することを行ってもよい。
図5は、作業対象領域101の特定方法の変形例を示す図である。図5によれば、2つの作業対象領域画定物109と、これらの作業対象領域画定物109から隔てられた位置にある建築物等の壁110とによって囲まれた領域を、作業対象領域101としている。前記工事が行われている位置のごく近くに壁110が存在する場合、壁110に近い位置に配置すべき作業対象領域画定物109を適切な位置に配置することが困難な場合がある。この場合、作業対象領域画定物109の替わりに壁110を用いて、作業対象領域101を特定してもよい。つまり、適切に配置することができた作業対象領域画定物109の配置点、または適切に配置することができた2つの作業対象領域画定物109を結んだ直線を起点として定められた所定の範囲を、作業対象領域101としてもよい。
他にも、対象領域特定部23は、撮影画像108においてトリミングされた領域を、作業対象領域101として特定してもよい。また、対象領域特定部23は、作業対象領域101について位置が変更されても、作業対象領域101を追従して特定してもよい。
また、撮影制御部22は、対象領域特定部23により特定される作業対象領域101を少なくとも撮影するように、撮影装置1を制御することとなる。撮影制御部22は、撮影装置1の制御または撮影制御部22自身の機能によって、対象領域特定部23により特定される作業対象領域101を拡大して撮影可能であってもよい。
作業済み領域特定部24は、撮影画像108における埋戻し済みの地面111の色と、未掘削の地面112の色との相違に基づき、地面埋戻し済みの領域(すなわち、当該相違によって特定された埋戻し済みの地面111の領域)を、埋戻し済み領域として特定する。また、図3には詳細を示していないが、作業済み領域特定部24は、撮影画像108に含まれる敷設済みの管103の画像領域を、管敷設済み領域として特定することも可能である。作業済み領域特定部24は、これら埋戻し済み領域および/または管敷設済み領域を、作業済み領域104として特定することができる。
異常検知部25は、掘削後に地下埋設物の存在を検知することで、前記工事における異常を検知する。地下埋設物とは、掘削した場所に存在する大きな岩であったり、同場所に存在する敷設済みの管103であったりする。また、異常検知部25は、前記工事に関わる設備の存在を検知することで、前記工事における異常を検知してもよい。前記工事に関わる設備とは、掘削した場所に残った重機107であったり、同場所に残った作業者105または106の着用物(ヘルメット等)であったりする。特に、作業時間外に前記工事に関わる設備が存在することは、異常検知部25による異常検知の有力な根拠となる。
図6は、敷設対象の管103が吊り上げられている状態を示す撮影画像108´の概略図である。撮影画像108´は、撮影画像108と同じく、作業対象領域101の全体が含まれる撮影画像である。作業進捗把握部26が認識すべき状態は、撮影画像108´に表された状態であると言える。作業進捗把握部26が把握する作業進捗とは、管103の敷設または接合作業がこれから開始されようとしている、あるいは実施中であることである。
なお、管理制御装置2における工事管理装置としての機能に対応する工事管理方法についても、本発明の範疇に含まれる。すなわち、本発明に係る工事管理方法は、作業対象領域101の位置が作業進捗に応じて変更する工事を管理する工事管理方法であって、作業対象領域101の全体が含まれる撮影画像108から、作業対象領域101を特定する対象領域特定工程を備えていると解釈することができる。
同様に、管理制御装置2における制御装置としての機能に対応する制御方法についても、本発明の範疇に含まれる。すなわち、本発明に係る制御方法は、作業対象領域101の位置が作業進捗に応じて変更される工事の様子を撮影する撮影装置1を制御する制御方法であって、作業対象領域101の全体が撮影されるように撮影装置1を制御する撮影制御工程を備えていると解釈することができる。
管理制御装置2の制御ブロック(特に、撮影制御部22、対象領域特定部23、作業済み領域特定部24、異常検知部25、および作業進捗把握部26)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、管理制御装置2は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 撮影装置
2 管理制御装置(工事管理装置、制御装置)
22 撮影制御部
23 対象領域特定部
24 作業済み領域特定部
25 異常検知部
26 作業進捗把握部
101 作業対象領域
102 地面
103 管
104 作業済み領域
108、108´ 撮影画像
109 作業対象領域画定物
111 埋戻し済みの地面
112 未掘削の地面

Claims (9)

  1. 作業対象領域の位置が作業進捗に応じて変更する工事であって、地面の掘削工程および埋戻し工程を含む工事を管理する工事管理装置であって、
    前記作業対象領域の全体が含まれる撮影画像から、前記作業対象領域を特定する対象領域特定部を備えており、
    前記作業対象領域は、作業対象領域画定物を配置することにより画定されるものであり、
    前記対象領域特定部は、前記撮影画像内に含まれる前記作業対象領域画定物を認識し、該認識した前記作業対象領域画定物の配置により定まる領域を前記作業対象領域として特定することを特徴とする工事管理装置。
  2. 作業が既に行われた領域である作業済み領域を特定する作業済み領域特定部をさらに備えていることを特徴とする請求項に記載の工事管理装置。
  3. 記作業済み領域特定部は、前記撮影画像における埋戻し済みの地面の色と、未掘削の地面の色との相違に基づき、地面埋戻し済みの領域を埋戻し済み領域として特定することを特徴とする請求項に記載の工事管理装置。
  4. 前記工事は、管を地面に敷設する工程を含む工事であり、
    前記作業済み領域特定部は、前記撮影画像に含まれる敷設済みの管の画像領域を、管敷設済み領域として特定することを特徴とする請求項に記載の工事管理装置。
  5. 前記撮影画像に基づき、工事における異常を検知する異常検知部を備えていることを特徴とする請求項1からのいずれか1項に記載の工事管理装置。
  6. 前記撮影画像を用いて、敷設対象の管が吊り上げられている状態を認識するとともに、当該状態から管の敷設に係る作業進捗を把握する作業進捗把握部を備えていることを特徴とする請求項に記載の工事管理装置。
  7. 前記作業対象領域画定物と、当該作業対象領域画定物から隔てられた位置にある建築物等の壁とによって囲まれた領域を、前記作業対象領域とすることを特徴とする請求項1から6のいずれか1項に記載の工事管理装置。
  8. 作業対象領域の位置が作業進捗に応じて変更する工事であって、地面の掘削工程および埋戻し工程を含む工事を管理する工事管理方法であって、
    前記作業対象領域の全体が含まれる撮影画像から、前記作業対象領域を特定する対象領域特定工程を備えており、
    前記作業対象領域は、作業対象領域画定物を配置することにより画定されるものであり、
    前記対象領域特定工程では、前記撮影画像内に含まれる前記作業対象領域画定物を認識し、該認識した前記作業対象領域画定物の配置により定まる領域を前記作業対象領域として特定することを特徴とする工事管理方法。
  9. 請求項1からのいずれか1項に記載の工事管理装置における各部としてコンピュータを機能させるためのプログラム。
JP2018096427A 2018-05-18 2018-05-18 工事管理装置、工事管理方法、およびプログラム Active JP7016772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018096427A JP7016772B2 (ja) 2018-05-18 2018-05-18 工事管理装置、工事管理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096427A JP7016772B2 (ja) 2018-05-18 2018-05-18 工事管理装置、工事管理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019200723A JP2019200723A (ja) 2019-11-21
JP7016772B2 true JP7016772B2 (ja) 2022-02-07

Family

ID=68613182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096427A Active JP7016772B2 (ja) 2018-05-18 2018-05-18 工事管理装置、工事管理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP7016772B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295543A (ja) 2003-03-27 2004-10-21 Osaka Gas Co Ltd 工事管理システム
JP2012137943A (ja) 2010-12-27 2012-07-19 Shimizu Corp 施工状況記録システム
JP2014153819A (ja) 2013-02-06 2014-08-25 Ohbayashi Corp 部材設置判定システム
JP2015170141A (ja) 2014-03-07 2015-09-28 株式会社中電工 指定範囲監視システム
JP2017107443A (ja) 2015-12-10 2017-06-15 株式会社大林組 状況判定システム、状況判定方法及び状況判定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295543A (ja) 2003-03-27 2004-10-21 Osaka Gas Co Ltd 工事管理システム
JP2012137943A (ja) 2010-12-27 2012-07-19 Shimizu Corp 施工状況記録システム
JP2014153819A (ja) 2013-02-06 2014-08-25 Ohbayashi Corp 部材設置判定システム
JP2015170141A (ja) 2014-03-07 2015-09-28 株式会社中電工 指定範囲監視システム
JP2017107443A (ja) 2015-12-10 2017-06-15 株式会社大林組 状況判定システム、状況判定方法及び状況判定プログラム

Also Published As

Publication number Publication date
JP2019200723A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
US12013222B2 (en) Blasting plan logger, related methods and computer program products
CN102770604B (zh) 包含便携式数字媒体设备的机械控制和引导系统
AU2017305113B2 (en) Management system
JP5679521B2 (ja) 情報表示装置及び情報表示システム
JP6071746B2 (ja) 情報提供装置及び情報提供システム
JP2021093219A (ja) 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
US10748427B1 (en) Systems and methods for preventing damage to unseen utility assets
JP2007257207A (ja) 作業支援システム、作業支援装置及びコンピュータプログラム
DE60036513T2 (de) Verfahren zum Gruppieren von Kommunikationsgeräten
JP2006220567A (ja) Gps付作業機での圃場位置認識システム
US10379514B2 (en) Systems and methods for controlling a home automation system based on identifying a user location via a wi-fi fingerprint
JP6195809B2 (ja) 監視システム
JP7066519B2 (ja) 制御装置、制御方法、およびプログラム
JP7016772B2 (ja) 工事管理装置、工事管理方法、およびプログラム
JP2009093294A (ja) 画像情報管理システムおよび画像登録閲覧装置
JP6904919B2 (ja) エリア進入通知装置、エリア進入通知システム
JP6932062B2 (ja) 配管竣工図作成システム及び配管施工図作成方法、並びに配管竣工図作成システムに用いる飛行体、管接合位置算出装置
JP2022176523A (ja) 曲がり削孔管理装置及び管理方法
JP7281955B2 (ja) 安全支援装置及び安全監視方法
EP4130395A1 (en) Image acquisition device for work machine, information management system, information terminal, and image acquisition program for work machine
WO2017082388A1 (ja) セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
JP2018091003A (ja) 地中探査システム
CN111343438A (zh) 一种监控系统及监控方法
KR101936389B1 (ko) 드론을 이용한 낙석 감시 시스템 및 방법
JP2006004006A (ja) 管理システムおよび管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220126