JP7145249B2 - Buried object discrimination system and buried object discrimination method - Google Patents
Buried object discrimination system and buried object discrimination method Download PDFInfo
- Publication number
- JP7145249B2 JP7145249B2 JP2021017159A JP2021017159A JP7145249B2 JP 7145249 B2 JP7145249 B2 JP 7145249B2 JP 2021017159 A JP2021017159 A JP 2021017159A JP 2021017159 A JP2021017159 A JP 2021017159A JP 7145249 B2 JP7145249 B2 JP 7145249B2
- Authority
- JP
- Japan
- Prior art keywords
- buried object
- buried
- information
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、埋設物を判別する埋設物判別システムに関する。 The present invention relates to an embedded object identification system for identifying an embedded object.
ガス管や水道管などの地中に埋設された管路は、インフラストラクチャーを維持するため、定期的な交換や新しい管路を敷設している。管路の新設や交換工事のために、対象とする管路の位置だけではなく、付近の管路の敷設状況の把握が必要となる。 Buried pipelines such as gas and water pipes are regularly replaced or new pipelines are installed to maintain the infrastructure. For new construction or replacement of pipelines, it is necessary to grasp not only the position of the target pipeline but also the laying status of nearby pipelines.
本技術分野の背景技術として、特開2015-90345号公報(特許文献1)、特開2017-40547号公報(特許文献2)がある。特開2015-90345号公報には、GPS受信機および慣性計測器を少なくとも備えた3次元位置計測手段と、カメラおよびレーザースキャナを少なくとも備えた路面状態計測手段と、地中レーダアンテナを備えた路面下探査手段と、3次元位置計測手段と路面状態計測手段と路面下探査手段を搭載した移動体と、3次元位置計測手段と路面状態計測手段と路面下探査手段の各出力データを解析するコンピュータと、を少なくとも備える3次元路面下診断システムであって、該3次元路面下診断システム内の時計もしくはGPSから得られる時刻を用いて、3次元位置計測手段の出力データである3次元位置座標、路面状態計測手段の出力データである路面状態カメラ画像および路面状態3次元点群データ、路面下探査手段の出力データである深度方向情報、それぞれに対し時刻情報を付与し、付与した時刻情報を用いて、3次元位置座標と路面状態カメラ画像と路面状態3次元点群データと深度方向情報を同期させ、GPS受信機、カメラ、レーザースキャナ、地中レーダアンテナ、それぞれの前記移動体内の相対位置関係および慣性計測器から得られる移動体姿勢に基づいて、それぞれの3次元位置座標を算出し、路面状態カメラ画像と路面状態3次元点群データと深度方向情報に対して3次元位置座標を付与し、路面状態計測手段が出力した路面状態カメラ画像および路面状態3次元点群データと、路面下探査手段が出力した深度方向情報を統合し得ることを特徴とする3次元路面下診断システムが記載されている(請求項1参照)。 As background art in this technical field, there are JP-A-2015-90345 (Patent Document 1) and JP-A-2017-40547 (Patent Document 2). Japanese Patent Application Laid-Open No. 2015-90345 discloses three-dimensional position measuring means including at least a GPS receiver and an inertial measuring instrument, road surface condition measuring means including at least a camera and a laser scanner, and a road surface including an underground radar antenna. A mobile body equipped with an under investigation means, a three-dimensional position measurement means, a road surface condition measurement means, and an under-road investigation means, and a computer that analyzes each output data of the three-dimensional position measurement means, the road surface condition measurement means, and the under-road investigation means. and a three-dimensional position coordinate, which is output data of the three-dimensional position measuring means, using time obtained from a clock or GPS in the three-dimensional road surface diagnosis system, Time information is assigned to each of the road surface condition camera image and road surface condition 3D point cloud data, which are the output data of the road surface condition measuring means, and the depth direction information, which is the output data of the under road surface exploration means, and the attached time information is used. synchronizing the three-dimensional position coordinates, road surface condition camera image, road surface condition three-dimensional point group data, and depth direction information, and determining the relative positional relationship between the GPS receiver, camera, laser scanner, ground penetrating radar antenna, and each of the moving objects. and based on the attitude of the moving body obtained from the inertial measuring instrument, each 3D position coordinate is calculated, and 3D position coordinates are assigned to the road surface state camera image, road surface state 3D point cloud data, and depth direction information. , a three-dimensional under-road diagnosis system characterized in that the road surface condition camera image and the three-dimensional point cloud data of the road surface condition outputted by the road surface condition measuring means and the depth direction information outputted by the under-road investigation means can be integrated. (see claim 1).
また、特開2017-40547号公報には、基準位置に対して高周波数電磁波レーダ探査機の第1の走査範囲を設定する第1の設定工程と、前記高周波数電磁波レーダ探査機を前記設定した第1 の走査範囲で走査させる第1 の走査工程と、前記第1の走査工程にて得られたデータの解析に基づき、第1の探査対象深度における第1の埋設物の第1の位置情報を得る第1の解析工程と、前記第1の位置情報に基づき、前記第1の埋設物の位置を表示する第1の表示工程と、前記基準位置に対して低周波数電磁波レーダ探査機の第2の走査位置を設定する第2の設定工程と、前記低周波数電磁波レーダ探査機を前記設定した第2の走査位置で走査させる第2の走査工程と、前記第2の走査工程にて得られたデータの解析に基づき、前記第1の探査対象深度よりも深い深度である第2の探査対象深度の第2の埋設物の第2の位置情報を得る第2の解析工程と、前記第2の位置情報に基づき、前記第2の埋設物の位置を表示する第2の表示工程と、を備えることを特徴とする埋設物の探査方法が記載されている(請求項1参照)。 Further, in JP-A-2017-40547, a first setting step of setting a first scanning range of a high-frequency electromagnetic wave radar probe with respect to a reference position, and the high-frequency electromagnetic wave radar probe a first scanning step of scanning in a first scanning range; and first positional information of a first buried object at a first depth to be searched based on analysis of data obtained in the first scanning step , a first display step of displaying the position of the first buried object based on the first position information, and a low-frequency electromagnetic wave radar probe with respect to the reference position a second setting step of setting two scanning positions; a second scanning step of causing the low-frequency electromagnetic wave radar probe to scan at the set second scanning position; a second analysis step of obtaining second position information of a second buried object at a second depth to be searched, which is deeper than the first depth to be searched, based on the analysis of the data obtained; and a second display step of displaying the position of the second buried object based on the positional information of (see claim 1).
従来は、主に図面を用いて管路の位置を把握し、レーダ探査などに基づく試掘によって、管路の位置や付近の埋設物を調査していた。しかし、管路敷設時の図面が最新の状態に更新されていないことがあり、図面と実態が異なる場合がある。また、レーダ探査による埋設物の把握は、熟練者のレーダ反応の目視による判定が必要である。 Conventionally, the locations of pipelines have been determined mainly using drawings, and the locations of pipelines and nearby buried objects have been investigated by test excavation based on radar surveys and the like. However, sometimes the drawings at the time of laying pipelines are not updated to the latest state, and the actual situation may differ from the drawings. In addition, grasping buried objects by radar exploration requires judgment by a skilled person's visual observation of radar responses.
近年、熟練者は減少傾向にあり、熟練者でなくとも地下の埋設状況を判断できる技術の必要性が高まっている。また、対象地域の土質や舗装状況などの外的要因によって、探査レーダの反応が変わるため、熟練者でも一定の品質の判定の維持は困難である。このため、熟練者による埋設物の判断は、複数人による相互チェックや結果協議などが必要であり、期間、費用及び結果の信頼性において、十分に満足できるものではないことがある。 In recent years, the number of skilled workers has been on the decline, and there is a growing need for a technique that allows even non-skilled workers to determine underground burial conditions. In addition, since the response of the exploration radar changes depending on external factors such as the soil quality and pavement conditions of the target area, it is difficult for even skilled workers to maintain a constant quality judgment. For this reason, the judgment of buried objects by skilled workers requires mutual checks and consultations by multiple people, and may not be fully satisfactory in terms of time, cost, and reliability of results.
熟練者によるレーダ反応の目視確認には、Bモード探査データと呼ばれる反射波の輝度変化により表現した画像を用いることが多い。Bモード探査データの画像内のレーダ反応の特徴を見つけやすくする支援技術は多く提案されている。しかし、従来の支援技術では、Bモード探査データの画像内の反応位置の検出は支援できても、埋設物の種類(埋設管か空洞か)を区別したり、埋設物のサイズや位置の判定は困難であるという課題がある。 Visual confirmation of radar response by skilled workers often uses an image expressed by changes in the brightness of reflected waves called B-mode survey data. A number of assistive techniques have been proposed to help locate radar response features in images of B-mode survey data. However, although conventional assistive technology can support the detection of reaction positions in images of B-mode exploration data, it is difficult to distinguish between types of buried objects (buried pipes or cavities) and to determine the size and position of buried objects. is difficult.
また、不正確な情報に基づいて、工事のための事前調査となる試掘を実施すると、多数の箇所を掘削する必要があり、工事が長期化し、費用が増大するという課題がある。加えて、埋設状況の把握が不十分な状況で工事を実施すると、管路損傷事故や意図しない埋設物による工法の変更など、工事リスクが高いという課題がある。 In addition, if trial drilling, which is a preliminary survey for construction work, is carried out based on inaccurate information, it is necessary to excavate a large number of locations, which results in a longer construction period and an increase in costs. In addition, there is a problem of high construction risks such as pipeline damage accidents and construction method changes due to unintended buried objects, etc.
このため、熟練者が作業せずに埋設物を的確に判断する技術が求められている。 Therefore, there is a demand for a technique for accurately judging the buried object without the work of a skilled person.
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、地中探査画像を用いて埋設物の情報を生成する埋設物判別システムであって、所定の演算処理を実行する演算部と、前記演算処理で参照されるデータを記憶する記憶部とを備え、Bモード探査データ及び開口合成探査データを合成して地中探査画像を生成する画像生成部と、埋設物学習モデルを用いて、前記画像生成部が生成した地中探査画像から埋設物の位置及び大きさを含む埋設物情報を導出する埋設物識別部と、前記導出された埋設物情報を格納する埋設物情報部と、前記導出された埋設物情報を出力する出力部とを有することを特徴とする。 A representative example of the invention disclosed in the present application is as follows. That is, a buried object discriminating system for generating information on a buried object using an underground exploration image includes an arithmetic unit for executing predetermined arithmetic processing and a storage unit for storing data referred to in the arithmetic processing. an image generation unit that synthesizes B-mode exploration data and aperture synthesis exploration data to generate an underground exploration image; Having an embedded object identification unit for deriving embedded object information including position and size, an embedded object information unit for storing the derived buried object information, and an output unit for outputting the derived buried object information characterized by
本発明の一態様によれば、熟練者が作業することなく、レーダ探査の結果から埋設物の状況を判断できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。 ADVANTAGE OF THE INVENTION According to one aspect of the present invention, the situation of a buried object can be determined from the results of radar exploration without the need for skilled workers to perform operations. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
図1は、本発明の実施例の埋設物判別システム100の構成を示す図である。
FIG. 1 is a diagram showing the configuration of an embedded
本実施例の埋設物判別システム100は、画像生成部110、埋設物識別部120、埋設物学習モデル130、妥当性判定部140、測位情報統合部150、埋設物情報部160及び2D/3D地図表示部170を有する。埋設物判別システム100は、探査車200から探査データを取得する。また、埋設物判別システム100は、地図情報部300と接続されており、地図情報を取得する。さらに、埋設物判別システム100は、表示端末400と接続されており、プログラムの実行結果を表示端末400に出力する。
The buried
画像生成部110は、探査車200からBモード探査データ及び開口合成探査データを取得し、Bモード探査データと開口合成探査データを合成した三次元データを埋設物識別部120へ出力する。探査データの合成は、例えば、Bモード探査データを赤色、開口合成探査データを青色として、各探査データをRGB空間に配置して、両者を重ね合わせたカラー画像を生成する。画像生成部110が入出力する画像の例は、図5を参照して後述する。なお、画像生成部110がカラー画像を合成せず、探査データ(Bモード探査データ及び開口合成探査データ)を埋設物識別部120に直接入力してもよい。
The
埋設物識別部120は、埋設物学習モデル130を用い、入力されたカラー画像から埋設物によるレーダ反応を抽出し、抽出したレーダ反応を埋設物情報(例えば、埋設物の種類、形状、位置(深度、水平位置)、大きさ)を導出し、導出された埋設物情報を妥当性判定部140に出力する。埋設物識別部120は、人工知能(Artificial Intelligence)による埋設物学習モデル130を用いて埋設物情報を導出しても、ルールベースや多次元クラスタリングを用いて埋設物情報を導出してもよい。
The buried
埋設物学習モデル130は、埋設管等の検知対象、及びノイズ等の除外対象の画像データを学習したニューラルネットワークによって構成されるAI(Artificial Intelligence)モデルである。埋設物学習モデル130は、例えば、図2に示すような、画像データと、埋設物の種類、形状、位置及び大きさが対応付けられた教師データによって学習するとよい。教師データは、埋設物の材質を含んでもよい。教師データに埋設物の材質を含めることによって、埋設物識別部120が探査データから埋設物の材質を導出できる。
The buried
妥当性判定部140は、画像生成部110が生成したカラー画像と埋設物識別部120が出力した埋設物情報を比較し、埋設物情報の妥当性を判定し、修正した埋設物情報を出力する。例えば、埋設物種類(埋設管、空洞、路床など)を修正し、埋設管の不連続区間を補間し、材質の情報を付与する。妥当性判定部140が実行する処理の詳細は図4を参照して後述する。
The validity determination unit 140 compares the color image generated by the
測位情報統合部150は、探査データと同時に取得された測位データを取得し、埋設物情報の位置(緯度・経度情報)を特定し、埋設物情報と関連付けて、埋設物情報部160に格納する。
The positioning
埋設物情報部160は、データを蓄積するストレージ装置によって構成され、埋設物情報と位置情報とを関連付けて格納するデータベースである。例えば、埋設物情報部160は、以下のデータを格納する。
埋設物が埋設管である場合
埋設物種類:埋設管
管種:ガス管、水道管、下水道管、電気通信管、その他
大きさ:直径[cm]
材質:鋼管、硬質ポリエチレン、塩化ビニル、その他
始点座標:緯度、経度、深さ
終点座標:緯度、経度、深さ
埋設物が埋設管以外である場合
埋設物種類:マンホール、空洞、その他
大きさ:幅[cm]、高さ[cm]
材質:コンクリート、石、水、空気、その他
始点座標:緯度、経度、深さ
終点座標:緯度、経度、深さ
The buried
When the buried object is a buried pipe Type of buried object: Buried pipe Pipe type: Gas pipe, water pipe, sewer pipe, telecommunication pipe, etc. Size: Diameter [cm]
Materials: Steel pipes, rigid polyethylene, vinyl chloride, etc. Start point coordinates: latitude, longitude, depth End point coordinates: latitude, longitude, depth When buried objects are other than buried pipes Types of buried objects: manholes, cavities, etc. Size: Width [cm], height [cm]
Material: concrete, stone, water, air, etc. Starting point coordinates: latitude, longitude, depth Ending point coordinates: latitude, longitude, depth
2D/3D地図表示部170は、埋設物情報部160から取得した埋設物情報を、埋設物情報の位置情報に基づいてユーザの要求に応じた形式で、地図情報部300から取得した地図上に重畳して表示するためのデータを生成し、表示端末400に出力する。2D/3D地図表示部170は、二次元又は三次元の形式で地図と重畳した埋設物の画像を表示するとよい(図6、図7参照)。2D/3D地図表示部170は、ウェブサーバ機能を有するとよい。
The 2D/3D
探査車200は、道路を走行しながら、地下の探査データ、測位データ及び地上映像を取得する車両である。具体的には、路面に照射したレーダ波の反射波の強度を測定して探査データ(例えば反射波強度を可視化したBモードデータ画像)を出力する。また、GNSSやジャイロによって探査車200の位置を測定する。さらに、探査車200の前方に設置された全方位カメラによって地上の動画像(例えば、地表面から天頂までを含む全周画像)を撮影する。探査車200から埋設物判別システム100への探査データの転送は、ネットワークを経由してもよく、フラッシュメモリなどの記憶媒体を介してもよい。
The
地図情報部300は、データを蓄積するストレージ装置によって構成され、探査範囲の地図情報を提供する。地図情報部300は、図示したように埋設物判別システム100の外部に設けても、埋設物判別システム100の内部に設けてもよい。
The
表示端末400は、ユーザが操作する計算機(例えば、スマートフォン、タブレット端末、可搬型計算機)によって構成される。表示端末400は、埋設物判別システム100と、例えば、ネットワークを通じて接続されており、2D/3D地図表示部170が生成した表示データを画面に表示する。例えば、表示端末400は専用のアプリケーションでもよいが、埋設物判別システム100がウェブサーバ機能を有する場合、表示端末400ではウェブブラウザが動作すればよい。
The
埋設物判別システム100は、地上(例えば、データセンタ)に設置され、探査車200から無線回線を通じて取得した探査データ(Bモード探査データ、開口合成探査データ)をリアルタイムで解析してもよい。また、埋設物判別システム100を探査車200に搭載して、リアルタイムで探査データを解析してもよい。また、埋設物判別システム100と探査車200の間に、探査車200から取得した探査データを蓄積するデータ収集サーバを設け、埋設物判別システム100は、該データ収集サーバから取得した探査データをバッチ処理で解析してもよい。
The buried
図3は、本発明の実施例の埋設物判別システム100の物理的な構成を示す図である。
FIG. 3 is a diagram showing the physical configuration of the buried
本実施形態の埋設物判別システム100は、プロセッサ(CPU)101、メモリ102、補助記憶装置103及び通信インターフェース104を有する計算機によって構成される。
The buried
プロセッサ101は、メモリ102に格納されたプログラムを実行して、所定の演算処理を実行する演算部である。メモリ102は、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ101が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
The
補助記憶装置103は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサ101が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置103から読み出されて、メモリ102にロードされて、プロセッサ101によって実行される。
The
通信インターフェース104は、所定のプロトコルに従って、他の装置(地図情報部300、表示端末400など)との通信を制御するネットワークインターフェース装置である。
埋設物判別システム100は、入力インターフェース105及び出力インターフェース108を有してもよい。入力インターフェース105は、キーボード106やマウス107などが接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース108は、ディスプレイ装置109やプリンタなどが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。
The buried
プロセッサ101が実行するプログラムは、リムーバブルメディア(CD-ROM、フラッシュメモリなど)又はネットワークを介して埋設物判別システム100に提供され、非一時的記憶媒体である不揮発性の補助記憶装置103に格納される。このため、埋設物判別システム100は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
The program executed by the
埋設物判別システム100は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。また、埋設物判別システム100の各機能部は異なる計算機上で実現されてもよい。
The buried
図4は、妥当性判定部140が実行する処理のフローチャートである。 FIG. 4 is a flowchart of processing executed by the validity determination unit 140 .
妥当性判定部140は、埋設物種類に応じて、埋設物情報が妥当であるかを判定する。例えば、妥当性判定部140は、埋設物の形状から埋設物情報の妥当性を推定する形状識別部、他の埋設物との連続性を識別する連続性識別部、埋設管の連続性に基づいて複数の埋設管を一連の埋設管に補正する埋設管補間部、探査データの画像(例えば、Bモード探査データ)に基づいて素材を識別する波形識別部などをサブプログラムで構成するとよい。前述した識別部以外にも、埋設物の種類に応じて他の要素を識別する識別部を設けてもよい。 The validity determination unit 140 determines whether the buried object information is appropriate according to the buried object type. For example, the validity determination unit 140 includes a shape identification unit that estimates the validity of the buried object information from the shape of the buried object, a continuity identification unit that identifies continuity with other buried objects, and a continuity identification unit based on the continuity of the buried pipe. A buried pipe interpolator for correcting a plurality of buried pipes into a series of buried pipes, a waveform discriminator for discriminating a material based on an image of exploration data (for example, B-mode exploration data), etc. may be configured by subprograms. In addition to the identification section described above, an identification section that identifies other elements according to the type of the buried object may be provided.
まず、妥当性判定部140は、埋設物情報(埋設物の種類、形状、位置、サイズ)を一つ取得すると(ステップ11)、形状識別部が埋設物の種類が「埋設管」であるかを判定する(ステップ12)。 First, when the validity determination unit 140 acquires one piece of buried object information (type, shape, position, size of the buried object) (step 11), the shape identification unit determines whether the type of the buried object is “buried pipe”. is determined (step 12).
埋設物の種類が「埋設管」でなければ(ステップ12でN)、形状識別部が埋設物の種類が「路床」であるかを判定する(ステップ16)。埋設物種類が「路床」でなければ(ステップ16でN)、埋設物情報をステップ19の処理(波形識別部)に送る。一方、埋設物種類が「路床」であれば(ステップ16でY)、形状識別部が埋設物の形状が板状であるかを判定する(ステップ17)。路床は水平に延伸している板状である特徴を有するので、形状が板状であれば(ステップ17でY)、「路床」の埋設物情報は妥当であると判定して、埋設物情報を測位情報統合部150へ送る。一方、形状が板状でなければ(ステップ17でN)、埋設物情報のうち板状部と板状部以外とを分離し、分離した板状部を測位情報統合部150へ送り、分離した残りの埋設物情報をステップ19の処理(波形識別部)に送る。
If the type of buried object is not "buried pipe" (N at step 12), the shape identification unit determines whether the type of buried object is "roadbed" (step 16). If the type of buried object is not "roadbed" (N at step 16), the buried object information is sent to the processing of step 19 (waveform identification unit). On the other hand, if the type of buried object is "roadbed" (Y in step 16), the shape identification unit determines whether the shape of the buried object is a plate (step 17). Since the roadbed is characterized by its horizontally extending plate-like shape, if the shape is plate-like (Y in step 17), it is determined that the buried object information of the "roadbed" is valid, and the buried object is buried. The object information is sent to the positioning
埋設物の種類が「埋設管」であれば(ステップ12でY)、形状識別部が縦横比が正常範囲であるかを判定する(ステップ13)。縦横比が正常範囲でなければ(ステップ13でN)、埋設物情報をステップ19の処理(波形識別部)に送る。一方、縦横比が正常範囲であれば(ステップ13でY)、連続性識別部が、付近の埋設管との連続性を判定する(ステップ14)。連続性がある埋設管が付近になければ(ステップ14でN)、埋設物情報をステップ19の処理(波形識別部)に送る。一方、連続性がある埋設管が付近にあれば(ステップ14でY)、二つの埋設管が分断して検出されていると判定し、埋設管が分断された不連続区間の埋設物情報を埋設管補間部が生成する(ステップ15)。 If the type of buried object is "buried pipe" (Y in step 12), the shape identification unit determines whether the aspect ratio is within the normal range (step 13). If the aspect ratio is not within the normal range (N at step 13), the buried object information is sent to the processing of step 19 (waveform identification section). On the other hand, if the aspect ratio is within the normal range (Y in step 13), the continuity identifying unit determines continuity with the nearby buried pipe (step 14). If there is no continuous buried pipe nearby (N at step 14), the buried object information is sent to the processing of step 19 (waveform identification section). On the other hand, if there is a continuous buried pipe nearby (Y in step 14), it is determined that the two buried pipes are detected as being separated, and the buried object information of the discontinuous section where the buried pipe is separated is displayed. It is generated by the buried pipe interpolation unit (step 15).
例えば、図6に示すように、埋設管511の延伸方向には埋設管512が存在するので、両者は連続していると推定され、両者の間は補間埋設管で補間されるべき不連続区間521であると識別され、埋設管531で補間される。同様に、埋設管512と埋設管513の間、埋設管514と埋設管515の間、及び埋設管516と埋設管517の間は、補間埋設管で補間されるべき不連続区間522、523、524であると識別され、埋設管532、533、534で補間される。
For example, as shown in FIG. 6, since the buried
その後、波形識別部が埋設物の種類が「埋設管」であるかを判定する(ステップ19)。埋設物の種類が「埋設管」でなければ(ステップ19でN)、ステップ22に進む。埋設物の種類が「埋設管」であれば(ステップ19でY)、波形識別部が管の長さが所定値以上であるかを判定する(ステップ20)。管の長さが所定値以上であれば(ステップ20でY)、波形識別部が波形データの特徴に基づき素材を判定し、埋設物情報に素材情報を付与する(ステップ21)。 After that, the waveform identification unit determines whether the type of the buried object is "buried pipe" (step 19). If the type of buried object is not "buried pipe" (N at step 19), go to step 22; If the type of buried object is "buried pipe" (Y in step 19), the waveform identification unit determines whether the length of the pipe is equal to or greater than a predetermined value (step 20). If the length of the pipe is equal to or greater than the predetermined value (Y in step 20), the waveform identifying section determines the material based on the characteristics of the waveform data, and adds the material information to the buried object information (step 21).
管の長さが所定値より短ければ(ステップ20でN)、探査データの画像と空洞特徴を波形識別部が比較し、探査データの画像が空洞特徴を有する場合は埋設物種類を「空洞」に変更し(ステップ23)、探査データの画像が空洞特徴を有さない場合は埋設物種類を「他の埋設物」に変更する(ステップ24)。 If the length of the pipe is shorter than a predetermined value (N in step 20), the waveform identification unit compares the survey data image with cavity features, and if the survey data image has cavity features, the buried object type is set to "cavity". (step 23), and if the image of the exploration data does not have cavity features, the type of buried object is changed to "other buried object" (step 24).
また、フローチャートに示す判定処理の他、管の位置、大きさ、材質によって、以下の判定処理を行ってもよい。
・レーダ反応に一方向の連続性があり、水平方向及び深度方向のサイズが同等な埋設物は埋設管である。
・レーダ反応に独立性があり、反応振幅に空洞固有の特徴がある埋設物は空洞である。
・レーダ反応見られる深さが一定で、水平方向に連続性がある埋設物は路床である。
・レーダ反応はあるが、素材及び形状から埋設物種を判断できない埋設物は他の埋設物である。
・路床より浅い箇所の埋設物反応は空洞である(路床より浅い箇所に埋設物は無い)。
・150cmより浅い位置の管径100cm以上の埋設管は、誤識別の可能性がある。
・他の埋設管と連続せず独立している埋設管は残置管である。
・マンホールと接続されており、傾斜している埋設管は下水道管である。
・150cmより深い位置の管径50cm以上の埋設管は下水道管である。
・材質がコンクリートの埋設管は下水道管である。
・100cmより深い位置のガス管の材質は金属である。
・アスファルト中に識別されている埋設管は、誤識別の可能性がある。
・土、コンクリート等で中が詰まっている埋設管は、残置管である。
In addition to the determination processing shown in the flowchart, the following determination processing may be performed depending on the position, size, and material of the pipe.
・A buried object with unidirectional continuity in radar response and equal horizontal and depth dimensions is a buried pipe.
・A buried object with independent radar response and cavity-specific characteristics in response amplitude is a cavity.
・A subgrade is a buried object that has a constant depth in which radar response can be seen and that has continuity in the horizontal direction.
・A buried object whose type cannot be determined from its material and shape, although there is a radar response, is another buried object.
・The reaction of buried objects in places shallower than the subgrade is hollow (there are no buried objects in places shallower than the subgrade).
・A buried pipe with a diameter of 100 cm or more at a position shallower than 150 cm may be misidentified.
・A buried pipe that is not connected to other buried pipes and is independent is a residual pipe.
・The sloping buried pipe connected to the manhole is a sewage pipe.
・A buried pipe with a diameter of 50 cm or more at a position deeper than 150 cm is a sewage pipe.
- Buried pipes made of concrete are sewage pipes.
・The material of gas pipes deeper than 100 cm is metal.
- Buried pipes identified in the asphalt may be misidentified.
- Buried pipes that are clogged with soil, concrete, etc. are left pipes.
図5は、画像生成部110が入出力する画像の例を示す図である。
5A and 5B are diagrams showing examples of images input and output by the
図5(A)は、画像生成部110に入力されるBモード探査データを示す。Bモード探査データは、地中探査レーダが受信したレーダ反射波の振幅情報を明るさとして表示した画像データである。探査車200には、地中探査レーダの複数のアンテナが車両進行方向(側線方向)と直交するように並んで配置されており、1回の走査で複数のBモード探査データが生成される。
FIG. 5A shows B-mode search data input to the
図5(B)は、画像生成部110に入力される開口合成探査データを示す。開口合成探査データは、地中探査レーダの反射を開口合成し、レーダの反射を3D化した画像データである。
FIG. 5B shows aperture synthesis exploration data input to the
図5(C)は、画像生成部110が出力するカラー画像を示す。画像生成部110が出力するカラー画像は、前述したように、Bモード探査データを赤色、開口合成探査データを青色として、各探査データの強度(画像の輝度)をRGB空間に配置して、両者を重ね合わせた画像である。画像生成部110が出力するカラー画像は、Bモード探査データと開口合成探査データの両方の特徴を含み、両探査データの特徴は独立な軸にマッピングされているので、1種類の画像を埋設物学習モデル130に学習させ、当該1種類の画像を埋設物識別部120に入力すれば、埋設物を適切に判定できる。
FIG. 5C shows a color image output by the
特に、Bモード探査データは、埋設物の深さ、材質の判断に有用だが、水平位置やサイズの判断が困難な性質がある。一方、開口合成探査データは、埋設物の水平位置やサイズの判断に有用だが、材質の判断が困難な性質がある。このため、Bモード探査データと開口合成探査データを合成した画像を用いることによって、処理コストを抑制し、精度の高い識別を実現できる。 In particular, B-mode survey data is useful for judging the depth and material of buried objects, but it has the property of being difficult to judge the horizontal position and size. On the other hand, synthetic aperture survey data is useful for determining the horizontal position and size of buried objects, but it is difficult to determine the material. Therefore, by using an image obtained by synthesizing the B-mode search data and the synthetic aperture search data, the processing cost can be suppressed and highly accurate identification can be realized.
図6は、表示端末400に表示される埋設物表示画面500の一例を示す図である。
FIG. 6 is a diagram showing an example of the buried
2D/3D地図表示部170が生成した表示データは、表示端末400のディスプレイ装置に表示される。
The display data generated by the 2D/3D
前述したように、表示されている探査範囲には埋設管の不連続区間521~524が存在する。一般に、埋設管は道路進行方向に沿って長く埋設され、又は道路を横断する方向に埋設されるもので、途中で途切れることはない。このため、前述した妥当性判定部140の連続性識別部が、不連続区間521~524を埋設管531~534で補間して連続した埋設管であると識別する。埋設物識別部120が識別した埋設管と、不連続区間を補間した補間埋設管とは、区別できるように、異なる態様(例えば、異なる色など)で表示するとよい。
As described above, there are
また、道路進行方向に対して斜行する埋設管541~543が検出されている。前述したように、埋設管は、通常、道路の縦断方向又は横断方向に敷設されるので、斜行埋設管541~543は、誤検出である可能性がある。誤検出である斜行埋設管の情報を埋設物学習モデル130に学習させ、埋設物を識別する精度を向上できる。
In addition, buried
また、複数の空洞が識別されている。例えば、前述したように、浅い位置に識別されている埋設管は誤検出と推定され、空洞であると判定される。 Also, multiple cavities are identified. For example, as described above, a buried pipe identified at a shallow position is assumed to be erroneously detected and determined to be hollow.
図7は、表示端末400に表示される別な埋設物表示画面600の一例を示す図である。
FIG. 7 is a diagram showing an example of another buried
埋設物表示画面600では、認識された埋設物が緯度経度の情報に従って地図上に表示されている。ユーザが埋設物を指定すると、埋設物識別部120が識別した埋設物の情報(例えば、確度スコア)が表示されている。
On the buried
以上に説明したように、本発明の実施例の埋設物判別システムでは、埋設物学習モデル130を用いて、地中探査画像から埋設物の位置及び大きさを含む埋設物情報を導出する埋設物識別部120と、導出された埋設物情報を格納する埋設物情報部160と、導出された埋設物情報を出力する出力部(2D/3D地図表示部170)とを有するので、熟練者が作業することなく、レーダ探査の結果から埋設物の状況を判断できる。また、試掘することなく、工事対象となる埋設管や空洞の位置を把握できる。また、試掘することなく、工事障壁となる埋設物の存在や位置を把握できる。また、図面や試掘による事前調査を行うことなく、新しい管路の敷設設計ができる。
As described above, in the buried object discrimination system of the embodiment of the present invention, the buried
また、埋設物識別部120は、地中探査画像から埋設物の種類及び形状を含む埋設物情報を導出するので、従来は高度の専門性が必要であった埋設物の種類及び形状を容易に判断できる。
In addition, since the buried
また、Bモード探査データ及び開口合成探査データを合成して埋設物識別部120に入力される地中探査画像を生成する画像生成部110を有するので、処理コストを抑制し、精度の高い識別を実現できる。
In addition, since the
また、埋設物学習モデル130は、地中探査画像に対応付けられた埋設物情報で学習したニューラルネットワークによって構成されるので、レーダ反応を識別する専門家の知見をDeepLearningによるAI技術によって代替できる。
In addition, since the buried
また、導出された埋設物の種類及び形状の妥当性を判定する妥当性判定部140を有するので、埋設物識別部120による識別の後処理として、埋設物の種類を精査して、不足する情報を補間できる。
Moreover, since it has a validity determination unit 140 that determines the validity of the type and shape of the derived buried object, as a post-processing of identification by the buried
また、妥当性判定部140は、導出された埋設物の種類及び大きさに基づいて、種類が埋設管であり、当該埋設管の長さが所定値より短い場合、当該埋設物の種類を空洞又は他の埋設物に変更するので、レーダ反応から識別された埋設物の種類を適切な種類に修正できる。 Based on the derived type and size of the buried object, if the type is a buried pipe and the length of the buried pipe is shorter than a predetermined value, the validity determination unit 140 determines the type of the buried object as a hollow pipe. Or change to another buried object, so that the type of buried object identified from the radar response can be corrected to the appropriate type.
また、妥当性判定部140は、導出された埋設物の種類が埋設管であり、当該埋設管の位置が他の埋設管と連続性があると判定される場合、当該埋設物と他の埋設管との間の不連続部分に埋設管を補間する埋設物情報を生成するので、レーダ反応が断続的であっても、不連続部分を補間できる。 Further, when it is determined that the type of the derived buried object is a buried pipe and the position of the buried pipe has continuity with other buried pipes, the validity determination unit 140 determines that the buried object and the other buried pipe Since the buried object information for interpolating the buried pipe in the discontinuous portion between the pipes is generated, the discontinuous portion can be interpolated even if the radar response is intermittent.
また、妥当性判定部140は、Bモード探査データの波形から埋設物の材質を判定するので、材質の判断に有用なBモード探査データを用いて、埋設物の材質を判定できる。 In addition, since the validity determination unit 140 determines the material of the buried object from the waveform of the B-mode exploration data, the material of the buried object can be determined using the B-mode exploration data useful for determining the material.
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。 It should be noted that the present invention is not limited to the embodiments described above, but includes various modifications and equivalent configurations within the scope of the appended claims. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and the present invention is not necessarily limited to those having all the described configurations. Also, part of the configuration of one embodiment may be replaced with the configuration of another embodiment. Moreover, the configuration of another embodiment may be added to the configuration of one embodiment. Further, additions, deletions, and replacements of other configurations may be made for a part of the configuration of each embodiment.
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。 In addition, each configuration, function, processing unit, processing means, etc. described above may be realized by hardware, for example, by designing a part or all of them with an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing a program to execute.
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。 Information such as programs, tables, and files that implement each function can be stored in storage devices such as memories, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs.
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。 In addition, the control lines and information lines indicate those considered necessary for explanation, and do not necessarily indicate all the control lines and information lines necessary for mounting. In practice, it can be considered that almost all configurations are interconnected.
100 埋設物判別システム
101 プロセッサ
102 メモリ
103 補助記憶装置
104 通信インターフェース
110 画像生成部
120 埋設物識別部
130 埋設物学習モデル
140 妥当性判定部
150 測位情報統合部
160 埋設物情報部
170 2D/3D地図表示部
200 探査車
300 地図情報部
400 表示端末
100 buried
Claims (8)
所定の演算処理を実行する演算部と、
前記演算処理で参照されるデータを記憶する記憶部とを備え、
Bモード探査データ及び開口合成探査データを合成して地中探査画像を生成する画像生成部と、
埋設物学習モデルを用いて、前記画像生成部が生成した地中探査画像から埋設物の位置及び大きさを含む埋設物情報を導出する埋設物識別部と、
前記導出された埋設物情報を格納する埋設物情報部と、
前記導出された埋設物情報を出力する出力部とを有することを特徴とする埋設物判別システム。 A buried object identification system that generates information on a buried object using an underground exploration image,
a calculation unit that executes predetermined calculation processing;
A storage unit that stores data referred to in the arithmetic processing,
an image generation unit that generates an underground exploration image by synthesizing the B-mode exploration data and the synthetic aperture exploration data;
a buried object identification unit that uses the buried object learning model to derive buried object information including the position and size of the buried object from the underground exploration image generated by the image generation unit ;
an embedded object information unit that stores the derived embedded object information;
and an output unit for outputting the derived buried object information.
前記埋設物識別部は、前記地中探査画像から埋設物の種類及び形状を含む埋設物情報を導出することを特徴とする埋設物判別システム。 The buried object discrimination system according to claim 1,
The buried object identifying unit derives buried object information including the type and shape of the buried object from the underground exploration image.
前記埋設物学習モデルは、地中探査画像に対応付けられた埋設物情報で学習したニューラルネットワークによって構成されることを特徴とする埋設物判別システム。 A buried object discrimination system, wherein the buried object learning model is composed of a neural network learned from buried object information associated with an underground exploration image.
前記導出された埋設物の種類及び形状の妥当性を判定する妥当性判定部を有することを特徴とする埋設物判別システム。 An embedded object determination system, comprising a validity determination unit that determines validity of the derived type and shape of the embedded object.
前記妥当性判定部は、前記導出された埋設物の種類及び大きさに基づいて、前記種類が埋設管であり、当該埋設管の長さが所定値より短い場合、当該埋設物の種類を空洞又は他の埋設物に変更することを特徴とする埋設物判別システム。 If the type is a buried pipe and the length of the buried pipe is shorter than a predetermined value based on the derived type and size of the buried object, the validity determination unit determines the type of the buried object as a hollow pipe. or another buried object.
前記妥当性判定部は、前記導出された埋設物の種類が埋設管であり、当該埋設管の位置が他の埋設管と連続性があると判定される場合、当該埋設物と前記他の埋設管との間の不連続部分に埋設管を補間する埋設物情報を生成することを特徴とする埋設物判別システム。 When it is determined that the derived buried object is a buried pipe and the position of the buried pipe is continuous with another buried pipe, the validity determination unit determines whether the buried object and the other buried pipe A buried object identification system characterized by generating buried object information that interpolates an buried pipe at a discontinuous portion between pipes.
前記妥当性判定部は、Bモード探査データの波形から埋設物の材質を判定することを特徴とする埋設物判別システム。 The buried object determination system, wherein the validity determination unit determines the material of the buried object from the waveform of the B-mode exploration data.
前記埋設物判別システムは、所定の演算処理を実行する演算部と、前記演算処理で参照されるデータを記憶する記憶部とを有する計算機で構成され、 The buried object identification system is composed of a computer having a calculation unit that executes predetermined calculation processing and a storage unit that stores data referred to in the calculation processing,
前記埋設物判別方法は、 The buried object discrimination method includes:
Bモード探査データ及び開口合成探査データを合成して地中探査画像を生成する画像生成手順と、 an image generation procedure for synthesizing the B-mode exploration data and the synthetic aperture exploration data to generate an underground exploration image;
埋設物学習モデルを用いて、前記画像生成手順で生成された地中探査画像から埋設物の位置及び大きさを含む埋設物情報を導出する埋設物識別手順と、 a buried object identification procedure for deriving buried object information including the position and size of the buried object from the underground exploration image generated in the image generation procedure using the buried object learning model;
前記導出された埋設物情報を格納する埋設物情報格納手順と、 a buried object information storing procedure for storing the derived buried object information;
前記導出された埋設物情報を出力する出力手順とを含むことを特徴とする埋設物判別方法。 and an output procedure for outputting the derived buried object information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021017159A JP7145249B2 (en) | 2021-02-05 | 2021-02-05 | Buried object discrimination system and buried object discrimination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021017159A JP7145249B2 (en) | 2021-02-05 | 2021-02-05 | Buried object discrimination system and buried object discrimination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022120327A JP2022120327A (en) | 2022-08-18 |
JP7145249B2 true JP7145249B2 (en) | 2022-09-30 |
Family
ID=82848931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021017159A Active JP7145249B2 (en) | 2021-02-05 | 2021-02-05 | Buried object discrimination system and buried object discrimination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7145249B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024202611A1 (en) * | 2023-03-30 | 2024-10-03 | 日本電気株式会社 | Object detection system, processing system, method for generating teacher data, object detection method, and recording medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198195A (en) | 2002-12-17 | 2004-07-15 | Kawasaki Heavy Ind Ltd | Method and device for detecting subterranean object, and moving object |
US20050156776A1 (en) | 2003-11-25 | 2005-07-21 | Waite James W. | Centerline and depth locating method for non-metallic buried utility lines |
JP2006064420A (en) | 2004-08-25 | 2006-03-09 | Mitsui Eng & Shipbuild Co Ltd | Underground installation mapping system |
JP2016080482A (en) | 2014-10-15 | 2016-05-16 | 大阪瓦斯株式会社 | Survey method |
JP2019190998A (en) | 2018-04-25 | 2019-10-31 | 株式会社日立情報通信エンジニアリング | Cavity identification system and cavity identification method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01217287A (en) * | 1988-02-25 | 1989-08-30 | Japan Radio Co Ltd | Positional accuracy enhancing method of structure searching apparatus |
JPH055785A (en) * | 1991-06-27 | 1993-01-14 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus and method for detecting underground embedded matter using neural network |
-
2021
- 2021-02-05 JP JP2021017159A patent/JP7145249B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198195A (en) | 2002-12-17 | 2004-07-15 | Kawasaki Heavy Ind Ltd | Method and device for detecting subterranean object, and moving object |
US20050156776A1 (en) | 2003-11-25 | 2005-07-21 | Waite James W. | Centerline and depth locating method for non-metallic buried utility lines |
JP2006064420A (en) | 2004-08-25 | 2006-03-09 | Mitsui Eng & Shipbuild Co Ltd | Underground installation mapping system |
JP2016080482A (en) | 2014-10-15 | 2016-05-16 | 大阪瓦斯株式会社 | Survey method |
JP2019190998A (en) | 2018-04-25 | 2019-10-31 | 株式会社日立情報通信エンジニアリング | Cavity identification system and cavity identification method |
Also Published As
Publication number | Publication date |
---|---|
JP2022120327A (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9646415B2 (en) | System and method for visualizing multiple-sensor subsurface imaging data | |
RU2414743C2 (en) | Method for interactive automatic processing of interruption simulation, including method for intelligent recognition of interruption-interruption interrelationships | |
Zhang et al. | A modified method of discontinuity trace mapping using three-dimensional point clouds of rock mass surfaces | |
Guo et al. | Towards automatic discontinuity trace extraction from rock mass point cloud without triangulation | |
Cao et al. | Automatic fracture detection based on Terrestrial Laser Scanning data: A new method and case study | |
WO2021243967A1 (en) | Three-dimensional resistivity tomography method and system | |
KR102357109B1 (en) | Tunnel surface mapping system under construction | |
CN1191594A (en) | Excavator data acquisition and control system and process | |
CN107923744A (en) | Point cloud based surface construction | |
Chen et al. | A novel image-based approach for interactive characterization of rock fracture spacing in a tunnel face | |
JP7145249B2 (en) | Buried object discrimination system and buried object discrimination method | |
Schneiderwind et al. | Innovative tidal notch detection using TLS and fuzzy logic: Implications for palaeo-shorelines from compressional (Crete) and extensional (Gulf of Corinth) tectonic settings | |
Lynch et al. | Mobile LiDAR-based convergence detection in underground tunnel environments | |
CN101680962A (en) | Methods and systems for processing acoustic waveform data | |
Olsen et al. | Real-time change and damage detection of landslides and other earth movements threatening public infrastructure | |
Mehrishal et al. | A semi-automatic approach for joint orientation recognition using 3D trace network analysis | |
JP2020186994A (en) | Buried object measurement device, method, and program | |
Yusoff et al. | Discontinuity pattern detection and orientation measurement for tunnel faces by using structure from motion photogrammetry | |
Gabryś et al. | GPR surveying method as a tool for geodetic verification of GESUT database of utilities in the light of BSI PAS128 | |
US20230029746A1 (en) | Mapping subsurface infrastructure | |
JPH09288188A (en) | Method and apparatus for detecting object buried underground | |
Pereira et al. | Photogrammetry and augmented reality for underground infrastructure sensing, mapping and assessment | |
KR102205080B1 (en) | Method for process of gpr data | |
CN109633760B (en) | Underground fluid monitoring method based on natural potential equivalent fusion imaging | |
Hussein et al. | Integrating GPR with ArcGIS Pro to map the Central Arkansas Water pipelines beneath the old Broadway Bridge, Little Rock |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210531 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145249 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |