JP7149117B2 - Deformation scale measurement system and deformation scale measurement program - Google Patents

Deformation scale measurement system and deformation scale measurement program Download PDF

Info

Publication number
JP7149117B2
JP7149117B2 JP2018124660A JP2018124660A JP7149117B2 JP 7149117 B2 JP7149117 B2 JP 7149117B2 JP 2018124660 A JP2018124660 A JP 2018124660A JP 2018124660 A JP2018124660 A JP 2018124660A JP 7149117 B2 JP7149117 B2 JP 7149117B2
Authority
JP
Japan
Prior art keywords
deformation
image data
deformed
angle
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018124660A
Other languages
Japanese (ja)
Other versions
JP2020003402A (en
Inventor
淳眞 小澤
胤雄 筒井
征 船田
崇徳 山崎
禎人 本田
誠史 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2018124660A priority Critical patent/JP7149117B2/en
Publication of JP2020003402A publication Critical patent/JP2020003402A/en
Application granted granted Critical
Publication of JP7149117B2 publication Critical patent/JP7149117B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、変状規模計測システム及び変状規模計測プログラムに関する。 The present invention relates to a deformation scale measuring system and a deformation scale measuring program.

従来、河川点検等により堤防、護岸その他の河川管理施設で発見された、損傷等の変状の大きさを計測する場合には、作業員による現地測量、写真測量技術による図化、あるいはオルソ写真や3次元データを作成して、変状の大きさを計測していた。 Conventionally, when measuring the size of deformation such as damage found in embankments, revetments and other river management facilities during river inspections, field surveying by workers, plotting using photogrammetry technology, or orthophotography and created 3D data to measure the size of the deformation.

しかし、作業員による現地測量は、測量できる場所に制限がある。また、写真測量技術による図化、あるいはオルソ写真や3次元データを作成して変状の大きさを計測する方法は、高精度な計測を行うことができるが、高性能な計測機器が必要となるためコストが増大し、また、計測したデータが膨大になるため処理時間を要し、迅速に変状範囲を計測することができなかった。 However, field surveying by workers has limitations on the places that can be surveyed. Plotting using photogrammetric technology, orthophotos, and methods for measuring the size of deformations by creating 3D data are capable of high-precision measurement, but require high-performance measuring equipment. Therefore, the cost increases, and the amount of measured data becomes enormous, requiring a long processing time.

例えば、下記特許文献1には、3次元座標値が既知の地点から可視光を測量面に向かって複数照射し、照射した複数の可視光照射点の3次元座標値を既知の地点の3次元座標値から算出し、デジタルカメラにて撮影した撮影画像と、照射した複数の可視光照射点を利用して、正射投影画像を作成する方法が開示されている。 For example, in Patent Document 1 below, a plurality of visible light beams are irradiated from points with known three-dimensional coordinate values toward a survey surface, and the three-dimensional coordinate values of the irradiated plurality of visible light irradiation points A method of creating an orthographic projection image by calculating from coordinate values and using a photographed image photographed by a digital camera and a plurality of irradiated visible light irradiation points is disclosed.

しかし、可視光照射点が複数照射できない測量面や地形の特徴が加味されていない照射点から正射投影画像を作成した場合、精度の良い正射投影画像を作成することができなかった。そのため、作成した正射投影画像から精度よく変状の大きさを計測することができないという問題があった。 However, when an orthographic projection image is created from a survey surface that cannot be irradiated with multiple visible light irradiation points or from irradiation points that do not take into account the features of the topography, it is not possible to create an orthographic projection image with high accuracy. Therefore, there is a problem that the magnitude of the deformation cannot be accurately measured from the created orthographic projection image.

特開2009-186402号公報JP 2009-186402 A

本発明は、低コストで高精度に変状の規模を計測できる変状規模計測システム及び変状規模計測プログラムを提供することを目的とする。 An object of the present invention is to provide a deformation scale measuring system and a deformation scale measuring program capable of measuring the scale of deformation with high precision at low cost.

上記目的を達成するために、本発明の一実施形態は、変状規模計測システムであって、変状箇所の画像データである変状画像データを取得する変状画像データ取得手段と、前記変状画像データの範囲内にある点から撮像装置までの距離を取得する撮像距離データ取得手段と、前記変状画像データの対象領域における地形特徴情報を取得する地形特徴情報取得手段と、前記撮像装置の画角を取得する画角取得手段と、前記変状画像データにおいて、変状面積を演算する変状箇所の範囲を受け付ける変状範囲受付手段と、前記変状範囲受付手段が受け付けた変状箇所の範囲と、前記撮像装置の画角と、前記地形特徴情報取得手段が取得した前記地形特徴情報とに基づき、前記変状箇所の面積を演算する変状面積演算手段と、を備えることを特徴とする。 In order to achieve the above object, one embodiment of the present invention is a deformation scale measuring system comprising deformation image data obtaining means for obtaining deformation image data which is image data of a deformation location; imaging distance data acquisition means for acquiring a distance from a point within the range of the deformed image data to the imaging device; terrain feature information acquisition means for acquiring terrain feature information in a target area of the deformed image data; and the imaging device angle of view acquisition means for acquiring the angle of view of the deformation image data, deformation range reception means for receiving a range of a deformation location for calculating a deformation area in the deformation image data, and deformation received by the deformation range reception means deformation area calculation means for calculating the area of the deformed portion based on the range of the location, the angle of view of the imaging device, and the terrain feature information acquired by the terrain feature information acquisition means. Characterized by

上記、変状画像データは、堤防、護岸その他の河川管理施設における変状箇所の画像データであるのが好適である。 The deformation image data described above is preferably image data of a deformation location in a bank, a bank protection, or other river management facilities.

また、上記画角は、前記撮像装置の焦点距離とイメージセンサーサイズとに基づいて前記画角取得手段が演算してもよい。 Further, the angle of view may be calculated by the angle of view obtaining means based on the focal length of the imaging device and the size of the image sensor.

また、上記撮像距離データ取得手段が取得する距離は、前記撮像装置の撮影レンズの中心の延長に設置されたレーザ測距装置により測定した距離であるのが好適である。 Further, it is preferable that the distance acquired by the imaging distance data acquiring means is a distance measured by a laser rangefinder installed in the extension of the center of the imaging lens of the imaging device.

また、上記地形特徴情報は、堤防、護岸その他の河川管理施設の法面の傾斜情報であるのが好適である。 Moreover, it is preferable that the topographical feature information is inclination information of slopes of embankments, revetments and other river management facilities.

また、上記撮像距離データ取得手段が取得した距離と、前記画角と、前記変状画像データのピクセルサイズとに基づき、1ピクセル当たりの長さを演算するピクセル長さ演算手段と、前記傾斜情報に基づき前記ピクセル長さ演算手段が演算した1ピクセル当たりの長さを補正するピクセル長さ補正手段と、をさらに備え、前記変状面積演算手段は、前記ピクセル長さ補正手段が補正した前記ピクセル長さを使用して前記変状箇所の面積を演算するのが好適である。 Further, a pixel length computing means for computing a length per pixel based on the distance acquired by the imaging distance data acquiring means, the angle of view, and the pixel size of the deformed image data, and the inclination information. pixel length correction means for correcting the length per pixel calculated by the pixel length calculation means based on Preferably, the length is used to calculate the area of the deformity.

また、本発明の他の実施形態は、変状規模計測プログラムであって、コンピュータを、変状箇所の画像データである変状画像データを取得する変状画像データ取得手段、前記変状画像データの範囲内にある点から撮像装置までの距離を取得する撮像距離データ取得手段、前記変状画像データの対象領域における地形特徴情報を取得する地形特徴情報取得手段、前記撮像装置の画角を取得する画角取得手段、前記変状画像データにおいて、変状面積を演算する変状箇所の範囲を受け付ける変状範囲受付手段、前記変状範囲受付手段が受け付けた変状箇所の範囲と、前記撮像装置の画角と、前記地形特徴情報取得手段が取得した前記地形特徴情報とに基づき、前記変状箇所の面積を演算する変状面積演算手段、として機能させる、ことを特徴とする。 Further, another embodiment of the present invention is a deformation scale measuring program, comprising: a computer comprising a deformation image data obtaining means for obtaining deformation image data which is image data of a deformation location; imaging distance data acquisition means for acquiring the distance from a point within the range to the imaging device, terrain feature information acquisition means for acquiring terrain feature information in the target area of the deformed image data, and acquisition of the angle of view of the imaging device a deformation area receiving means for receiving a range of a deformed portion for calculating a deformed area in the deformed image data; a range of the deformed portion received by the deformed range receiving means; It is characterized by functioning as deformation area calculation means for calculating the area of the deformed portion based on the angle of view of the device and the land feature information acquired by the land feature information acquisition means.

本発明によれば、低コストで高精度に変状の規模を計測できる変状規模計測システム及び変状規模計測プログラムを実現できる。 ADVANTAGE OF THE INVENTION According to this invention, the deformation scale measuring system and deformation scale measuring program which can measure the scale of a deformation with high precision at low cost are realizable.

実施形態にかかる変状規模計測システムの例の機能ブロック図である。1 is a functional block diagram of an example of a deformation scale measuring system according to an embodiment; FIG. 実施形態にかかる変状面積演算部が、変状箇所の大きさ(変状規模)を演算する方法の説明図である。FIG. 4 is an explanatory diagram of a method for calculating a size (deformation scale) of a deformed portion by a deformation area calculation unit according to the embodiment; 実施形態にかかる変状面積演算部が、計測対象の面が撮影方向に対して傾いている場合に、変状箇所の大きさ(変状規模)を演算する方法の説明図である。FIG. 7 is an explanatory diagram of a method for calculating the size of a deformed portion (deformation scale) when the surface to be measured is tilted with respect to the imaging direction by the deformed area calculator according to the embodiment; 変状箇所の範囲の指定方法の説明図である。FIG. 4 is an explanatory diagram of a method of specifying a range of a deformed portion; 実施形態にかかる地形特徴情報取得部が、完成図(出来形情報)から、計測対象Oの面Fの傾きを地形特徴情報として取得する方法の説明図である。FIG. 10 is an explanatory diagram of a method of acquiring the inclination of the surface F of the measurement target O as the terrain feature information from the finished drawing (finished shape information) by the terrain feature information acquisition unit according to the embodiment; 実施形態にかかる変状規模計測システムの動作例のフロー図である。It is a flowchart of an operation example of the deformation scale measurement system according to the embodiment.

以下、本発明を実施するための形態(以下、実施形態という)を、図面に従って説明する。 EMBODIMENT OF THE INVENTION Hereafter, the form (henceforth embodiment) for implementing this invention is demonstrated according to drawing.

図1には、実施形態にかかる変状規模計測システムの例の機能ブロック図が示される。図1において、変状規模計測システム100は、変状画像データ取得部10、撮像距離データ取得部12、地形特徴情報取得部14、画角取得部16、変状範囲受付部18、変状面積演算部20、ピクセル長さ演算部22、ピクセル長さ補正部24、表示制御部26、通信部28、記憶部30及びCPU32を含んで構成されている。上記変状規模計測システム100は、CPU32、ROM、RAM、不揮発性メモリ、I/O、通信インターフェース等を備え、装置全体の制御及び各種演算を行うコンピュータとして構成されており、上記各機能は、例えばCPU32とCPU32の処理動作を制御するプログラムとにより実現される。 FIG. 1 shows a functional block diagram of an example of a deformation scale measuring system according to an embodiment. In FIG. 1, the deformation scale measurement system 100 includes a deformation image data acquisition unit 10, an imaging distance data acquisition unit 12, a topography feature information acquisition unit 14, an angle of view acquisition unit 16, a deformation range reception unit 18, a deformation area It includes a calculation unit 20 , a pixel length calculation unit 22 , a pixel length correction unit 24 , a display control unit 26 , a communication unit 28 , a storage unit 30 and a CPU 32 . The deformation scale measuring system 100 includes a CPU 32, a ROM, a RAM, a nonvolatile memory, I/O, a communication interface, etc., and is configured as a computer that controls the entire device and performs various calculations. For example, it is implemented by the CPU 32 and a program that controls the processing operation of the CPU 32 .

変状画像データ取得部10は、変状箇所の画像データである変状画像データを取得する。ここで、変状箇所とは、堤防、護岸その他の河川管理施設等に生じた亀裂、陥没、沈下等、山の斜面の崩落(崖崩れ)等の損傷箇所をいう。また、変状画像データは、デジタルカメラ等の撮像装置で撮影した変状箇所の画像データである。変状画像データ取得部10は、上記画像データを、デジタルカメラから直接読み出す方法、適宜なサーバコンピュータから送信された画像データを通信部28を介して受け取る方法、フラッシュメモリ、ディスク装置等の適宜な記憶装置から読み出す方法等により取得し、記憶部30に記憶させる。 The deformed image data acquisition unit 10 acquires deformed image data, which is image data of a deformed portion. Here, the deformed portion means a damaged portion such as a crack, depression, subsidence, or the like in a bank, revetment, or other river management facilities, or a collapse of a mountain slope (clump). Further, the deformation image data is image data of a deformation location photographed by an imaging device such as a digital camera. The deformed image data acquisition unit 10 obtains the image data by reading out the image data directly from a digital camera, by receiving image data transmitted from an appropriate server computer via the communication unit 28, by using a flash memory, a disk device, or the like. It is acquired by a method of reading from a storage device or the like, and stored in the storage unit 30 .

撮像距離データ取得部12は、変状画像データの範囲内にある点から撮像装置までの距離を取得する。また、上記点から撮像装置までの距離は、例えばデジタルカメラ等の撮像装置に設置したレーザ測距装置により測定した距離であり、撮像距離データ取得部12は、上記変状画像データと同時に取得して記憶部30に記憶させる。 The imaging distance data acquisition unit 12 acquires the distance from a point within the range of the deformed image data to the imaging device. Further, the distance from the point to the imaging device is a distance measured by a laser distance measuring device installed in an imaging device such as a digital camera, and the imaging distance data acquisition unit 12 acquires the deformation image data at the same time. and store it in the storage unit 30.

地形特徴情報取得部14は、上記変状画像データの対象領域における地形特徴情報を取得して記憶部30に記憶させる。ここで、地形特徴情報とは、変状画像データの対象領域における地形の特徴に関する情報であり、例えば堤防、護岸その他の河川管理施設の法面の傾斜情報(傾斜角度)、山の斜面の形状等が含まれる。堤防、護岸その他の河川管理施設の法面の傾斜角度は、当該施設の完成図(出来形情報)から得ることができ、山の斜面の形状等は当該地域の数値地形モデル(DTM)から得た斜面の傾斜情報(傾斜角度)等である。得られた地形特徴情報は、グリッドデータ、TINデータ等の位置情報付3次元データとして記憶部30に記憶させる。 The terrain feature information acquisition unit 14 acquires the terrain feature information in the target area of the deformed image data and stores it in the storage unit 30 . Here, the terrain feature information is information about the features of the terrain in the target area of the deformation image data. etc. are included. The inclination angle of the slopes of levees, revetments and other river management facilities can be obtained from the completion drawing (finished shape information) of the facility, and the shape of the slope of the mountain can be obtained from the digital terrain model (DTM) of the area concerned. slope information (angle of inclination) and the like. The obtained terrain feature information is stored in the storage unit 30 as three-dimensional data with position information such as grid data and TIN data.

画角取得部16は、デジタルカメラ等の撮像装置の画角を取得して記憶部30に記憶させる。撮像装置の画角は、デジタルカメラ等の撮像装置から出力される情報を画角取得部16が取得してもよいし、使用者が撮影時の画角をキーボード、マウス等のポインティングデバイス、タッチパネル等の適宜な入力手段により入力し、画角取得部16に取得させる構成としてもよい。また、撮像装置の焦点距離とイメージセンサーサイズとから画角取得部16が演算して取得する構成としてもよい。 The angle of view acquisition unit 16 acquires the angle of view of an imaging device such as a digital camera and stores it in the storage unit 30 . The angle of view of the imaging device may be obtained by the angle of view acquisition unit 16 from information output from an imaging device such as a digital camera, or the user may obtain the angle of view at the time of shooting from a keyboard, a pointing device such as a mouse, or a touch panel. A configuration may be adopted in which the angle of view acquisition unit 16 acquires the angle of view by inputting it using an appropriate input means such as the above. Alternatively, the angle of view acquisition unit 16 may calculate and acquire the focal length of the imaging device and the image sensor size.

変状範囲受付部18は、上記変状画像データにおいて、変状面積を演算する対象である変状箇所の範囲(変状範囲)として使用者が指定した変状画像上の領域を受け付けて記憶部30に記憶させる。この場合、変状範囲受付部18が、変状画像データ取得部10が取得した変状画像データを記憶部30から読み出し、変状画像データが表す変状画像を、表示制御部26を介して液晶表示装置その他の適宜な表示装置で表示させ、使用者は、キーボード、マウス等のポインティングデバイス、タッチパネル等の適宜な入力手段により上記表示装置の画面上で変状範囲を指定し、変状範囲受付部18が指定された変状範囲を受け付ける構成とすることができる。 The deformation range reception unit 18 receives and stores a region on the deformation image specified by the user as a deformation area range (deformation range) for which the deformation area is to be calculated in the deformation image data. stored in the unit 30; In this case, the deformation range reception unit 18 reads out the deformation image data acquired by the deformation image data acquisition unit 10 from the storage unit 30, and transmits the deformation image represented by the deformation image data via the display control unit 26. Displayed on a liquid crystal display device or other appropriate display device, the user designates a deformation range on the screen of the display device by appropriate input means such as a keyboard, a pointing device such as a mouse, a touch panel, etc. The receiving unit 18 may be configured to receive the designated deformation range.

変状面積演算部20は、上記変状範囲受付部18が受け付けた変状箇所の範囲と、上記画角取得部16が取得した撮像装置の画角と、上記地形特徴情報取得部14が取得した地形特徴情報とを記憶部30から読み出し、これらに基づいて上記変状箇所の面積を演算する。変状箇所の面積を演算する方法は後述する。演算した変状箇所の面積は記憶部30に記憶させる。 The deformation area calculation unit 20 receives the range of the deformation location received by the deformation range receiving unit 18, the angle of view of the imaging device obtained by the angle of view obtaining unit 16, and the terrain characteristic information obtaining unit 14. The landform characteristic information and the landform feature information thus obtained are read out from the storage unit 30, and the area of the deformed portion is calculated based on these. A method for calculating the area of the deformed portion will be described later. The calculated area of the deformed portion is stored in the storage unit 30 .

ピクセル長さ演算部22は、上記撮像距離データ取得部12が取得した距離と、上記画角取得部16が取得した画角と、上記変状画像データ取得部10が取得した変状画像データのピクセルサイズ(画像の縦方向及び横方向における総ピクセル数)とに基づき、変状画像データの対象領域における1ピクセル当たりの実際の長さを演算し、記憶部30に記憶させる。演算方法は後述する。 The pixel length calculation unit 22 calculates the distance acquired by the imaging distance data acquisition unit 12, the angle of view acquired by the angle of view acquisition unit 16, and the deformed image data acquired by the deformed image data acquisition unit 10. Based on the pixel size (the total number of pixels in the vertical and horizontal directions of the image), the actual length per pixel in the target area of the deformed image data is calculated and stored in the storage section 30 . A calculation method will be described later.

ピクセル長さ補正部24は、上記ピクセル長さ演算部22が演算した、上記対象領域における1ピクセル当たりの実際の長さを記憶部30から読み出し、上記地形特徴情報としての傾斜情報に基づき1ピクセル当たりの長さを補正して、補正後の値を記憶部30に記憶させる。 The pixel length correction unit 24 reads out the actual length per pixel in the target area calculated by the pixel length calculation unit 22 from the storage unit 30, and corrects the length of one pixel based on the slope information as the terrain feature information. The hit length is corrected, and the corrected value is stored in the storage unit 30. - 特許庁

表示制御部26は、変状範囲受付部18が表示させる変状画像、変状面積演算部20が演算した変状箇所の面積等を、液晶表示装置その他の適宜な表示装置を制御して表示する。 The display control unit 26 displays the deformation image displayed by the deformation range reception unit 18, the area of the deformation location calculated by the deformation area calculation unit 20, and the like by controlling a liquid crystal display device or other suitable display device. do.

通信部28は、適宜なインターフェースにより構成され、無線または有線の通信回線を介して、CPU32が外部のサーバ等と変状画像データ等のデータをやり取りするために使用する。 The communication unit 28 is composed of an appropriate interface, and is used by the CPU 32 to exchange data such as deformed image data with an external server or the like via a wireless or wired communication line.

記憶部30は、ハードディスク装置、ソリッドステートドライブ(SSD)等の不揮発性メモリで構成され、上記各種情報等、及びCPU32の動作プログラム等の、地表変状可視化装置が行う各処理に必要な情報を記憶させる。なお、記憶部30としては、デジタル・バーサタイル・ディスク(DVD)、コンパクトディスク(CD)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、電気的消去および書き換え可能な読出し専用メモリ(EEPROM)、フラッシュ・メモリ等を使用してもよい。また、記憶部30には、主としてCPU32の作業領域として機能するランダムアクセスメモリ(RAM)、及びBIOS等の制御プログラムその他のCPU32が使用するデータが格納される読み出し専用メモリ(ROM)を含めるのが好適である。 The storage unit 30 is composed of a non-volatile memory such as a hard disk device and a solid state drive (SSD), and stores information necessary for each process performed by the ground surface deformation visualization device, such as the above-mentioned various information and the operation program of the CPU 32. Memorize. The storage unit 30 includes a digital versatile disk (DVD), a compact disk (CD), a magneto-optical disk (MO), a flexible disk (FD), a magnetic tape, an electrically erasable and rewritable read-only memory ( EEPROM), flash memory, etc. may be used. The storage unit 30 includes a random access memory (RAM) that mainly functions as a work area for the CPU 32, and a read-only memory (ROM) that stores control programs such as BIOS and other data used by the CPU 32. preferred.

図2(a)、(b)、(c)には、実施形態にかかる変状面積演算部20が、変状箇所の大きさ(変状規模)を演算する方法の説明図が示される。図2(a)において、変状規模の計測対象(堤防、護岸その他の河川管理施設等)Oに対して、距離Hの地点から撮像装置であるデジタルカメラDにより変状箇所を撮影している。デジタルカメラDで撮影した変状箇所の画像データを上記変状画像データ取得部10が取得する。ここで、距離Hは、デジタルカメラDのカメラ中心Cから計測対象Oまでの光軸上の距離である。また、デジタルカメラDに設置されたレーザ測距装置Mlでは、レーザ照射口から計測対象Oまでの距離Hを測定する。この距離Hは、撮像距離データ取得部12が取得する。なお、H=Hとなるようにレーザ測距装置Mlが設置されている。また、デジタルカメラDのカメラ中心Cから変状箇所内の点Bまでの距離がLxyで示される。また、デジタルカメラDの縦方向(上下方向)の画角がα、横方向の画角がβで示されており、これらは画角取得部16が取得した値である。 FIGS. 2(a), (b), and (c) show explanatory diagrams of a method for calculating the size (deformation scale) of a deformed portion by the deformation area calculator 20 according to the embodiment. In FIG. 2(a), a digital camera D, which is an imaging device, photographs a deformation location from a point at a distance H 0 to an object for measurement of the deformation scale (embankment, revetment and other river management facilities) O. there is The image data of the deformed portion photographed by the digital camera D is obtained by the deformed image data obtaining section 10 . Here, the distance H0 is the distance on the optical axis from the camera center C of the digital camera D to the object O to be measured. Further, the laser distance measuring device Ml installed in the digital camera D measures the distance H from the laser irradiation opening to the measurement object O. FIG. This distance H is acquired by the imaging distance data acquisition unit 12 . Note that the laser rangefinder Ml is installed so that H 0 =H. Also, the distance from the camera center C of the digital camera D to the point B within the deformed portion is indicated by Lxy. The angle of view in the vertical direction (vertical direction) of the digital camera D is indicated by α, and the angle of view in the horizontal direction is indicated by β.

上述したように、デジタルカメラDには、計測対象Oまでの距離を測定するためのレーザ測距装置Mlが設置されている。図2(b)には、デジタルカメラDとこれに設置されたレーザ測距装置Mlとの関係が示される。図2(b)において、デジタルカメラDのカメラ中心C(撮影レンズの中心)から左斜め上に延長した距離lcの位置にレーザ測距装置Mlが設置されている。なお、カメラ中心Cとレーザ測距装置Mlとの縦方向距離がlcyで示され、横方向距離がlcxで示されている。また、レーザ測距装置Mlで測定した計測対象Oまでの距離Hは、上記光軸と平行な線上での距離である。 As described above, the digital camera D is provided with the laser rangefinder Ml for measuring the distance to the object O to be measured. FIG. 2(b) shows the relationship between the digital camera D and the laser rangefinder Ml installed therein. In FIG. 2(b), a laser rangefinder Ml is installed at a distance lc extending obliquely upward to the left from the camera center C (the center of the photographing lens) of the digital camera D. As shown in FIG. Note that the vertical distance between the camera center C and the laser rangefinder Ml is indicated by lcy, and the horizontal distance is indicated by lcx. Further, the distance H to the measurement target O measured by the laser rangefinder Ml is the distance on a line parallel to the optical axis.

図2(c)には、デジタルカメラDの背後から見た各点の位置関係が示される。なお、図2(c)の例は、各点を計測対象Oの平面上に投影した場合の位置が示されており、計測対象Oの面が鉛直方向と平行であることを前提としている。図2(c)では、座標軸としてデジタルカメラDの縦方向にPy軸、横方向にPxが設定されており、それぞれデジタルカメラDの画像のピクセル数で長さを表している。従って、上記計測対象Oの平面は、デジタルカメラDで撮影した画像上の平面である。 FIG. 2(c) shows the positional relationship of each point viewed from behind the digital camera D. As shown in FIG. Note that the example of FIG. 2C shows the positions when each point is projected onto the plane of the measurement target O, and it is assumed that the plane of the measurement target O is parallel to the vertical direction. In FIG. 2C, the Py axis is set in the vertical direction of the digital camera D, and the Px is set in the horizontal direction as the coordinate axes, and the length is represented by the number of pixels of the image of the digital camera D, respectively. Therefore, the plane of the measurement object O is a plane on the image taken by the digital camera D. As shown in FIG.

図2(c)において、デジタルカメラDのカメラ中心の座標が原点(0,0)、変状箇所内の点Bの座標が(x,y)で表されている。ここで、縦方向における1ピクセル当たりの画角をdα、横方向における1ピクセル当たりの画角をdβとすると、 In FIG. 2(c), the coordinates of the camera center of the digital camera D are represented by the origin (0, 0), and the coordinates of the point B within the deformed portion are represented by (x, y). Let dα be the angle of view per pixel in the vertical direction, and dβ be the angle of view per pixel in the horizontal direction.

Figure 0007149117000001
Figure 0007149117000001

ただし、Y、Xは、それぞれ縦方向、横方向における、デジタルカメラDで撮影した画像の総ピクセル数であり、ピクセル長さ演算部22が使用するピクセルサイズに相当する。 However, Y and X are the total number of pixels of the image captured by the digital camera D in the vertical and horizontal directions, respectively, and correspond to the pixel size used by the pixel length calculator 22 .

仮に、点Bの座標(x,y)においてy=0とすると、変状箇所の画像における1ピクセル当たりの、計測対象Oでの縦方向の実際の長さLxy×dαは、 Assuming that y=0 at the coordinates (x, y) of point B, the actual length Lxy×dα in the vertical direction of measurement object O per pixel in the image of the deformed portion is

Figure 0007149117000002
となる。
Figure 0007149117000002
becomes.

また、上記1ピクセル当たりの、計測対象Oでの横方向の実際の長さLxy×dβは、 Also, the actual horizontal length Lxy×dβ per pixel of the measurement object O is

Figure 0007149117000003
となる。
Figure 0007149117000003
becomes.

ここで、y≠0であれば、上記Lxy×dα、Lxy×dβは、それぞれ、 Here, if y≠0, the above Lxy×dα and Lxy×dβ are respectively

Figure 0007149117000004
となる。
Figure 0007149117000004
becomes.

以上に述べた縦方向、横方向における、1ピクセル当たりの計測対象Oでの実際の長さは、ピクセル長さ演算部22が演算する。 The pixel length calculator 22 calculates the actual length of each pixel in the measurement object O in the vertical and horizontal directions described above.

なお、上記y≠0の場合には、Lxyと原点を通り、計測対象Oの面に直交する直線(図2(a)においてHで示される距離を表す直線)とのなす角度を(dα×y)で近似している。 When y ≠ 0, the angle between Lxy and a straight line passing through the origin and perpendicular to the surface of the object to be measured O (the straight line representing the distance indicated by H 0 in Fig. 2(a)) is (dα xy).

変状面積演算部20は、変状範囲受付部18が受け付けた変状箇所の範囲を記憶部30から読み出し、変状箇所の範囲内の画素数を積算して、上記縦方向、横方向における1ピクセル当たりの実際の長さLxy×dα、Lxy×dβから求められる1ピクセル当たりの計測対象Oでの実際の面積を使用して、指定された変状箇所の面積を演算する。なお、変状箇所の範囲の指定方法の具体例は後述する。 The deformation area calculation unit 20 reads the range of the deformation location received by the deformation range receiving unit 18 from the storage unit 30, integrates the number of pixels within the range of the deformation location, and calculates the number of pixels in the vertical and horizontal directions. Using the actual area of the measurement target O per pixel obtained from the actual lengths Lxy×dα and Lxy×dβ per pixel, the area of the designated deformed portion is calculated. A specific example of how to specify the range of the deformed portion will be described later.

図3には、変状面積演算部20が、計測対象の面が撮影方向に対して傾き、水平面に対して傾斜角度がついている場合に、変状箇所の大きさ(変状規模)を演算する方法の説明図が示される。図3において、計測対象Oの面Fの傾きは、予め完成図(出来形情報)から地形特徴情報取得部14が取得した傾斜情報であって、変状面積演算部20が記憶部30から読み出して使用する。 In FIG. 3, the deformation area calculation unit 20 calculates the size of the deformation portion (deformation scale) when the surface to be measured is inclined with respect to the photographing direction and has an inclination angle with respect to the horizontal plane. An illustration of how to do so is shown. In FIG. 3, the inclination of the surface F of the object to be measured O is inclination information acquired in advance by the terrain feature information acquisition unit 14 from the finished drawing (finished shape information), and the deformation area calculation unit 20 reads it from the storage unit 30. to use.

図3の例では、計測対象Oの、デジタルカメラDで撮影される面Fとの距離は、デジタルカメラDのカメラ中心から計測対象Oまでの距離がHで示され、デジタルカメラDのカメラ中心から計測対象Oの面Fにおける変状箇所内の点Bまでの距離がLxyで示されている。また、LxyとHとの差分がΔHで示されている。なお、上記距離Hは、上記レーザ測距装置Mlで測定した距離である。 In the example of FIG. 3, the distance between the measurement object O and the surface F photographed by the digital camera D is indicated by H, the distance from the camera center of the digital camera D to the measurement object O, and the camera center of the digital camera D to a point B in the deformed portion on the surface F of the measurement object O is indicated by Lxy. Also, the difference between Lxy and H is indicated by ΔH. The distance H is the distance measured by the laser rangefinder Ml.

ピクセル長さ補正部24は、上記ピクセル長さ演算部22が演算した、計測対象Oの面が鉛直方向と平行である場合の縦方向、横方向における、1ピクセル当たりの計測対象Oでの実際の長さLxy×dα、Lxy×dβを、上記ΔHを使用して、以下のように補正する。 The pixel length correction unit 24 calculates the actual number of pixels per pixel in the measurement object O in the vertical direction and the horizontal direction when the surface of the measurement object O is parallel to the vertical direction, as calculated by the pixel length calculation unit 22. are corrected as follows using ΔH.

Figure 0007149117000005
Figure 0007149117000005

なお、(Lxy×dα)c及び(Lxy×dβ)cは、上記点Bにおける1ピクセル当たりの実際の長さであり、補正後の値である。 Note that (Lxy×dα)c and (Lxy×dβ)c are actual lengths per pixel at the point B, and are values after correction.

変状面積演算部20は、上述したように、変状箇所の範囲内の画素数と(Lxy×dα)c及び(Lxy×dβ)cとを使用して、指定された変状箇所の面積を演算する。 As described above, the deformation area calculation unit 20 uses the number of pixels within the range of the deformation location and (Lxy×dα)c and (Lxy×dβ)c to calculate the area of the designated deformation location. to calculate

図4には、変状箇所の範囲の指定方法の説明図が示される。図4において、変状箇所Ahが液晶表示装置その他の適宜な表示装置に表示されており、使用者は、キーボード、マウス等のポインティングデバイス、タッチパネル等の適宜な入力手段によりの変状箇所Ahの範囲(例えば、変状箇所と正常箇所との境界線)を画面上でなぞり、変状画像上の領域を指定する。なお、変状箇所の画像の特徴量から画像認識処理が実行され、他の領域(正常箇所)と切り分けるソフトウエアを使用して変状画像上の領域を指定する構成としてもよい。または、変状箇所の画像の特徴量から特徴量毎にグループ分けをし、グループ毎に分けられた領域を変状箇所としてもよい。変状範囲受付部18は、上記のようにして指定された変状画像上の領域を受け付けて記憶部30に記憶させる。 FIG. 4 shows an explanatory diagram of how to specify the range of the deformed portion. In FIG. 4, the deformed portion Ah is displayed on a liquid crystal display device or other appropriate display device, and the user can view the deformed portion Ah using appropriate input means such as a keyboard, a pointing device such as a mouse, or a touch panel. A range (for example, a boundary line between a deformed portion and a normal portion) is traced on the screen to designate a region on the deformed image. Note that an image recognition process may be executed from the feature amount of the image of the deformed portion, and the region on the deformed image may be specified using software for separating from other regions (normal portions). Alternatively, the feature amount of the image of the deformed portion may be grouped for each feature amount, and the regions divided into each group may be used as the deformed portion. The deformation range accepting unit 18 accepts the region on the deformed image specified as described above and stores it in the storage unit 30 .

図5には、地形特徴情報取得部14が、完成図(出来形情報)から、計測対象Oの面Fの傾きを地形特徴情報として取得する方法の説明図が示される。図5において、各面Fの勾配は1:nで表されている。使用者は、上記nをキーボード等の入力手段から入力し、地形特徴情報取得部14が以下の式に基づいて勾配θを演算して取得する。 FIG. 5 shows an explanatory diagram of a method for the terrain feature information acquisition unit 14 to acquire the inclination of the surface F of the measurement target O as the terrain feature information from the finished drawing (finished shape information). In FIG. 5, the slope of each face F is represented by 1:n. The user inputs the above n from an input means such as a keyboard, and the terrain feature information acquisition unit 14 calculates and acquires the gradient θ based on the following equation.

Figure 0007149117000006
Figure 0007149117000006

なお、θの値を直接入力する構成としてもよい。 Alternatively, the value of θ may be directly input.

以上の場合、いずれの面Fの勾配であるかを指定する必要があるが、面Fを撮影する都度、当該画像の属性として入力してもよいし、変状面積演算部20が変状箇所の面積を演算する際にパラメータとして入力してもよい。入力された勾配(傾斜角度)は、地形特徴情報取得部14が受け付けて記憶部30に記憶させる。 In the above case, it is necessary to specify which surface F the gradient is. may be input as a parameter when calculating the area of . The input slope (inclination angle) is received by the terrain feature information acquisition unit 14 and stored in the storage unit 30 .

図6には、実施形態にかかる変状規模計測システム100の動作例のフロー図が示される。図6において、変状画像データ取得部10が、デジタルカメラ等の撮像装置で撮影した変状箇所の画像データを取得し(S1)、撮像距離データ取得部12が、変状画像データの範囲内にある点から撮像装置までの距離(撮像距離H)を取得する(S2)。 FIG. 6 shows a flowchart of an operation example of the deformation scale measuring system 100 according to the embodiment. In FIG. 6, a deformation image data acquisition unit 10 acquires image data of a deformation location photographed by an imaging device such as a digital camera (S1), and an imaging distance data acquisition unit 12 captures images within the range of the deformation image data. A distance (imaging distance H) from a certain point to the imaging device is acquired (S2).

また、地形特徴情報取得部14は、上記変状画像データの対象領域における地形特徴情報を取得する(S3)。上述したとおり、地形特徴情報は、堤防、護岸その他の河川管理施設の法面の傾斜情報(傾斜角度)や山の斜面の形状等の情報である。 Further, the terrain feature information acquisition unit 14 acquires terrain feature information in the target area of the deformed image data (S3). As described above, the terrain feature information is information such as slope information (inclination angle) of slopes of embankments, revetments and other river management facilities, and information such as the shape of mountain slopes.

また、画角取得部16は、使用者が入力したデジタルカメラ等の撮像装置の画角を取得する(S4)。 Also, the angle-of-view acquisition unit 16 acquires the angle of view of the imaging device such as a digital camera input by the user (S4).

次に、変状範囲受付部18は、変状画像データが表す変状画像を、表示制御部26を介して液晶表示装置その他の適宜な表示装置に表示させ、当該画面上で使用者が適宜な入力手段により指定した変状範囲を受け付ける(S5)。 Next, the deformation range reception unit 18 causes the display control unit 26 to display the deformation image represented by the deformation image data on a liquid crystal display device or other appropriate display device, and the user can display the deformation image on the screen as appropriate. The deformation range specified by the input means is accepted (S5).

変状面積演算部20は、上記変状範囲受付部18が受け付けた変状箇所の範囲と、上記画角取得部16が取得した撮像装置の画角と、上記地形特徴情報取得部14が取得した地形特徴情報とに基づいて上記変状箇所の面積を演算する(S6)。 The deformation area calculation unit 20 receives the range of the deformation location received by the deformation range receiving unit 18, the angle of view of the imaging device obtained by the angle of view obtaining unit 16, and the terrain characteristic information obtaining unit 14. The area of the deformed portion is calculated based on the land feature information obtained (S6).

上述した図6の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えても良い。 The program for executing each step in FIG. 6 described above can be stored in a recording medium, or the program can be provided by communication means. In that case, for example, the program described above may be regarded as an invention of a "computer-readable recording medium on which a program is recorded" or an invention of a "data signal."

10 変状画像データ取得部、12 撮像距離データ取得部、14 地形特徴情報取得部、16 画角取得部、18 変状範囲受付部、20 変状面積演算部、22 ピクセル長さ演算部、24 ピクセル長さ補正部、26 表示制御部、28 通信部、30 記憶部、32 CPU、100 変状規模計測システム。

10 deformation image data acquisition unit 12 imaging distance data acquisition unit 14 topography feature information acquisition unit 16 angle of view acquisition unit 18 deformation range reception unit 20 deformation area calculation unit 22 pixel length calculation unit 24 Pixel length correction unit 26 Display control unit 28 Communication unit 30 Storage unit 32 CPU 100 Deformation scale measurement system.

Claims (4)

変状箇所の画像データである変状画像データを取得する変状画像データ取得手段と、
前記変状画像データの範囲内にある点から撮像装置までの距離を取得する撮像距離データ取得手段と、
前記変状画像データの対象領域における河川管理施設の法面の傾斜情報または山の斜面の傾斜情報である地形特徴情報を取得する地形特徴情報取得手段と、
前記撮像装置の画角を取得する画角取得手段と、
前記変状画像データにおいて、変状面積を演算する変状箇所の範囲を受け付ける変状範囲受付手段と、
前記撮像距離データ取得手段が取得した距離と、前記画角と、前記変状画像データのピクセルサイズとに基づき、1ピクセル当たりの長さを演算するピクセル長さ演算手段と、
前記傾斜情報に基づき前記ピクセル長さ演算手段が演算した1ピクセル当たりの長さを補正するピクセル長さ補正手段と、
前記変状範囲受付手段が受け付けた変状箇所の範囲と、前記撮像装置の画角と、前記ピクセル長さ補正手段が補正した前記ピクセル長さとに基づき、前記変状箇所の面積を演算する変状面積演算手段と、
を備えることを特徴とする変状規模計測システム。
a deformed image data obtaining means for obtaining deformed image data, which is image data of a deformed portion;
imaging distance data acquisition means for acquiring a distance from a point within the range of the deformed image data to an imaging device;
terrain feature information acquiring means for acquiring terrain feature information , which is inclination information of slopes of river management facilities or inclination information of mountain slopes in the target area of the deformed image data;
an angle of view acquisition means for acquiring an angle of view of the imaging device;
Deformation range receiving means for receiving a range of a deformed portion for calculating a deformed area in the deformed image data;
pixel length calculation means for calculating the length per pixel based on the distance acquired by the imaging distance data acquisition means, the angle of view, and the pixel size of the deformed image data;
pixel length correction means for correcting the length per pixel calculated by the pixel length calculation means based on the tilt information;
The area of the deformed portion is calculated based on the range of the deformed portion accepted by the deformed range accepting means, the angle of view of the imaging device, and the pixel length corrected by the pixel length correcting means . deformation area calculation means;
A deformation scale measurement system comprising:
前記変状画像データは、前記河川管理施設における変状箇所の画像データである、請求項1に記載の変状規模計測システム。 2. The deformation scale measuring system according to claim 1, wherein said deformation image data is image data of a deformation location in said river management facility. 前記画角は、前記撮像装置の焦点距離とイメージセンサーサイズとに基づいて前記画角取得手段が演算する、請求項1または請求項2に記載の変状規模計測システム。 3. The deformation scale measuring system according to claim 1, wherein said angle of view is calculated by said angle of view obtaining means based on a focal length of said imaging device and an image sensor size. コンピュータを、
変状箇所の画像データである変状画像データを取得する変状画像データ取得手段、
前記変状画像データの範囲内にある点から撮像装置までの距離を取得する撮像距離データ取得手段、
前記変状画像データの対象領域における河川管理施設の法面の傾斜情報または山の斜面の傾斜情報である地形特徴情報を取得する地形特徴情報取得手段、
前記撮像装置の画角を取得する画角取得手段、
前記変状画像データにおいて、変状面積を演算する変状箇所の範囲を受け付ける変状範囲受付手段、
前記撮像距離データ取得手段が取得した距離と、前記画角と、前記変状画像データのピクセルサイズとに基づき、1ピクセル当たりの長さを演算するピクセル長さ演算手段、
前記傾斜情報に基づき前記ピクセル長さ演算手段が演算した1ピクセル当たりの長さを補正するピクセル長さ補正手段、
前記変状範囲受付手段が受け付けた変状箇所の範囲と、前記撮像装置の画角と、前記ピクセル長さ補正手段が補正した前記ピクセル長さとに基づき、前記変状箇所の面積を演算する変状面積演算手段、
として機能させる、変状規模計測プログラム。
the computer,
Deformed image data obtaining means for obtaining deformed image data, which is image data of a deformed portion;
imaging distance data acquisition means for acquiring a distance from a point within the range of the deformed image data to an imaging device;
terrain feature information acquisition means for acquiring terrain feature information , which is inclination information of slopes of river management facilities or inclination information of mountain slopes in the target area of the deformed image data;
an angle-of-view acquiring means for acquiring an angle of view of the imaging device;
Deformation range receiving means for receiving a range of a deformed portion for calculating a deformed area in the deformed image data;
Pixel length calculation means for calculating the length per pixel based on the distance acquired by the imaging distance data acquisition means, the angle of view, and the pixel size of the deformed image data;
pixel length correction means for correcting the length per pixel calculated by the pixel length calculation means based on the tilt information;
The area of the deformed portion is calculated based on the range of the deformed portion accepted by the deformed range accepting means, the angle of view of the imaging device, and the pixel length corrected by the pixel length correcting means . deformation area calculation means,
A deformation scale measurement program that functions as a
JP2018124660A 2018-06-29 2018-06-29 Deformation scale measurement system and deformation scale measurement program Active JP7149117B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018124660A JP7149117B2 (en) 2018-06-29 2018-06-29 Deformation scale measurement system and deformation scale measurement program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018124660A JP7149117B2 (en) 2018-06-29 2018-06-29 Deformation scale measurement system and deformation scale measurement program

Publications (2)

Publication Number Publication Date
JP2020003402A JP2020003402A (en) 2020-01-09
JP7149117B2 true JP7149117B2 (en) 2022-10-06

Family

ID=69099451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018124660A Active JP7149117B2 (en) 2018-06-29 2018-06-29 Deformation scale measurement system and deformation scale measurement program

Country Status (1)

Country Link
JP (1) JP7149117B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328022A (en) 2001-05-02 2002-11-15 Komatsu Ltd System for measuring topographical form and guidance system
JP2006010312A (en) 2004-06-21 2006-01-12 Constec Engi Co Imaging device
JP2016194515A (en) 2015-04-01 2016-11-17 Terra Drone株式会社 Imaging method of image for point group data generation, and point group data generation method using image
JP2016206022A (en) 2015-04-23 2016-12-08 株式会社日立プラントコンストラクション Area size calculation method, and area size calculation system
JP2017049152A (en) 2015-09-03 2017-03-09 株式会社 日立産業制御ソリューションズ Crack width measuring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328022A (en) 2001-05-02 2002-11-15 Komatsu Ltd System for measuring topographical form and guidance system
JP2006010312A (en) 2004-06-21 2006-01-12 Constec Engi Co Imaging device
JP2016194515A (en) 2015-04-01 2016-11-17 Terra Drone株式会社 Imaging method of image for point group data generation, and point group data generation method using image
JP2016206022A (en) 2015-04-23 2016-12-08 株式会社日立プラントコンストラクション Area size calculation method, and area size calculation system
JP2017049152A (en) 2015-09-03 2017-03-09 株式会社 日立産業制御ソリューションズ Crack width measuring system

Also Published As

Publication number Publication date
JP2020003402A (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR100912715B1 (en) Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors
JP5832341B2 (en) Movie processing apparatus, movie processing method, and movie processing program
Schneider Terrestrial laser scanning for area based deformation analysis of towers and water dams
Scaioni et al. Photogrammetric techniques for monitoring tunnel deformation
JP3530978B2 (en) Image measurement method and recording medium recording image measurement program
Martinez Espejo Zaragoza et al. The use of image and laser scanner survey archives for cultural heritage 3D modelling and change analysis
JP6201252B1 (en) Position measuring apparatus and position measuring method
Cardenal et al. Close range digital photogrammetry techniques applied to landslide monitoring
JP5532454B2 (en) 3D displacement measurement system for structures using digital cameras
JP7149117B2 (en) Deformation scale measurement system and deformation scale measurement program
CN116839539A (en) Automatic monitoring and measuring system for tunnel engineering construction
CN113538668A (en) Geological model construction method, geological model construction system, storage medium and electronic equipment
JP2009169676A (en) Sketch figure creation/recording support system for exposure stratum and exposure base rock
NL2027547B1 (en) Method of and apparatus for determining deformations of quay walls using a photogrammetric system
CN114266835A (en) Deformation monitoring control method and system for non-measuring camera
KR20060087649A (en) Laser photogrammetry
JP2013124954A (en) Method and system for measuring shape of civil engineering structure
Dlesk et al. Possibilities of processing archival photogrammetric images captured by Rollei 6006 metric camera using current method
KR200202691Y1 (en) A survey equipment for rock excavation surface, using linear and undulous laser beam
JP2004325072A (en) Photogrammetry and photogrammetric program
Gabara et al. Study on 3d point clouds accuracy of elongated object reconstruction in close range–comparison of different software
CN117274499B (en) Unmanned aerial vehicle oblique photography-based steel structure processing and mounting method
Cerminaro Implementation of photogrammetry to improve proactive assessment of retaining walls along transportation corridors
JP7137230B2 (en) Fixed point photography system and program
WO2024029057A1 (en) Position correction device, displacement amount extraction system, and position correction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7149117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150