JP6874987B2 - Feature shape extraction device, feature shape extraction method, and program - Google Patents
Feature shape extraction device, feature shape extraction method, and program Download PDFInfo
- Publication number
- JP6874987B2 JP6874987B2 JP2017131517A JP2017131517A JP6874987B2 JP 6874987 B2 JP6874987 B2 JP 6874987B2 JP 2017131517 A JP2017131517 A JP 2017131517A JP 2017131517 A JP2017131517 A JP 2017131517A JP 6874987 B2 JP6874987 B2 JP 6874987B2
- Authority
- JP
- Japan
- Prior art keywords
- height
- region
- boundary
- clusters
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、三次元点群データから建物等の地物の形状を抽出するための、地物形状抽出装置、及び地物形状抽出方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention relates to a feature shape extraction device for extracting the shape of a feature such as a building from three-dimensional point cloud data, and a feature shape extraction method, and further relates to a program for realizing these.
近年、コンピュータ上で立体地図を作成する際の基礎データとして、地表面の地形、植生及び建築物を数値データで表現した数値表層モデル(DSM:Digital Surface Model)が利用されている(例えば、非特許文献1参照)。また、数値標高モデルから植生及び建築物を除いた地形だけのモデルは、特に、数値地形モデル(DTM:Digital Terrain Model)と呼ばれている。 In recent years, a digital surface model (DSM) that expresses the topography, vegetation, and buildings on the ground surface with numerical data has been used as basic data when creating a three-dimensional map on a computer (for example, non-digital surface model). See Patent Document 1). In addition, a model containing only terrain excluding vegetation and buildings from a digital elevation model is particularly called a digital terrain model (DTM: Digital Terrain Model).
一般に、数値表層モデルは、航空写真の解析によって作成される。具体的には、写真測量と同様の原理により、連続して航空機から撮影された航空写真をステレオマッチング処理することにより、自動的に視差を求め、視差情報から算出された高さと、計測時の航空機の位置とが関連付けられた三次元点群データが生成され、この三次元点群データが数値表層モデルとなる。 In general, numerical surface models are created by analysis of aerial photographs. Specifically, based on the same principle as photogrammetry, the aerial photographs taken from the aircraft are continuously stereo-matched to automatically obtain the parallax, and the height calculated from the parallax information and the height at the time of measurement are measured. Three-dimensional point cloud data associated with the position of the aircraft is generated, and this three-dimensional point cloud data becomes a numerical surface model.
また、このような数値表層モデルは、地方自治体において、存在する建物を把握するために利用されている。更に、数値表層モデルにおいて、建物を把握するためには、まず、家屋形状図を作成する必要がある。通常、家屋形状図の作成は、図化機を用いて航空写真から作図するなど、人手によって建物の輪郭を抽出することによって行なわれている。 In addition, such a numerical surface layer model is used in local governments to grasp existing buildings. Furthermore, in order to grasp the building in the numerical surface layer model, it is first necessary to create a house shape diagram. Usually, the shape drawing of a house is created by manually extracting the outline of the building, such as drawing from an aerial photograph using a plotting machine.
但し、人手による航空写真からの建物の輪郭の抽出には、作業効率が悪いという問題点、作業者の技量によって抽出精度が変動するという問題点がある。このため、特許文献1は、自動的に建物の輪郭を抽出する装置を開示している。
However, manual extraction of the outline of a building from an aerial photograph has a problem of poor work efficiency and a problem that the extraction accuracy varies depending on the skill of the worker. Therefore,
具体的には、特許文献1に開示された装置は、まず、地物を含まない地表の標高を表す数値地形モデルを用いて、対象領域の数値表層モデルを正規化する。これにより、対象領域の三次元点群データにおける地表の高さは一定となる。次に、特許文献1に開示された装置は、高層の建物を抽出するため、正規化された数値表層モデルに対して、閾値でフィルタリングを行ない、高さが閾値未満となっている部分のデータを除去する。
Specifically, the apparatus disclosed in
これにより、対象領域の数値表層モデルにおいては、閾値以上の高さの部分のみが抽出される。よって、特許文献1に開示された装置は、高さが閾値未満となっている部分のデータが抽出された数値表層モデルから、植生部分を除去し、その後、高層の建物の輪郭を抽出する。具体的には、特許文献1に開示された装置は、対応するオルソ画像から得られる色情報又はテクスチャ情報を用いて、植生部分を除去した後、建物の輪郭を抽出する。
As a result, in the numerical surface layer model of the target area, only the portion having a height equal to or higher than the threshold value is extracted. Therefore, the apparatus disclosed in
続いて、特許文献1に開示された装置は、低層の建物を抽出するため、正規化された数値表層モデルにおいて、上述の閾値以上となったデータの高さをゼロにして、低層の建物のみの三次元点群データを補正する。そして、特許文献1に開示された装置は、対応するオルソ画像から得られる色情報又はテクスチャ情報を用いて、補正後の数値表層モデルから、低層の建物の輪郭を抽出する。
Subsequently, in the apparatus disclosed in
このように、上記特許文献1に開示された装置によれば、人手によることなく、自動的に、数値表層モデルから建物の輪郭を抽出することができる。しかしながら、上記特許文献1に開示された装置では、低層の建物の輪郭の抽出は、高層の建物のデータが除去された数値表層モデルに、オルソ画像から得られる色情報又はテクスチャ情報を適用することによって行なわれる。このため、建物の側に車輌等の物体が存在した場合、閾値未満の高さの植物が建物の一部又は全部を覆っている場合等において、建物の輪郭の抽出精度が大きく低下してしまう可能性がある。
As described above, according to the apparatus disclosed in
また、上記特許文献1に開示された装置では、数値表層モデルと数値地形モデルとがほぼ同時期の地表面及び地物を対象に作成されていなければ、地物又は地表面形状のうちどちらか一方の変化により、正規化処理における矛盾が発生してしまう。この場合、正確な建物の輪郭抽出が出来なくなる可能性がある。更に、上記特許文献1に開示された装置には、数値地形モデルを作成するためのコストも問題となる可能性がある。
Further, in the apparatus disclosed in
本発明の目的の一例は、上記問題を解消し、三次元点群データからの建物等の地物の形状の抽出精度を向上し得る、地物形状抽出装置、地物形状抽出方法、及びプログラムを提供することにある。 An example of an object of the present invention is a feature shape extraction device, a feature shape extraction method, and a program that can solve the above problems and improve the extraction accuracy of the shape of a feature such as a building from three-dimensional point cloud data. Is to provide.
上記目的を達成するため、本発明の一側面における地物形状抽出装置は、
対象領域における地物の位置座標及び高さを含む三次元点群データを取得する、データ取得部と、
前記三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを行なう、フィルタリング部と、
フィルタリング後の前記三次元点群データから、前記対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、当該部分を囲む境界を設定する、境界設定部と、
設定された前記境界毎に、当該境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成し、生成した前記複数のクラスタのうち設定条件を満たすクラスタが地面を示していると判定する、クラスタリング部と、
設定された前記境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、そして、設定した前記基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する、外形領域抽出部と、
を備えている、ことを特徴とする。
In order to achieve the above object, the feature shape extraction device in one aspect of the present invention is
A data acquisition unit that acquires 3D point cloud data including the position coordinates and height of features in the target area,
A filtering unit that removes data whose height value is less than the threshold value from the three-dimensional point cloud data and performs filtering.
From the filtered three-dimensional point cloud data, a boundary setting unit that detects a portion whose height value on the target region is equal to or higher than a threshold value and sets a boundary surrounding the portion for each detected portion.
For each set boundary, clustering is performed based on the height value in the area within the boundary to generate a plurality of clusters, and among the generated clusters, the cluster satisfying the setting condition indicates the ground. The clustering part that determines that
For each set boundary, a reference height is set based on the average height of the clusters determined to indicate the ground, and a cluster having an average height higher than the set reference height is specified. Then, based on the identified cluster, the outer area area extraction unit that extracts the area showing the outer shape of the feature,
It is characterized by having.
また、上記目的を達成するため、本発明の一側面における地物形状抽出方法は、
(a)対象領域における地物の位置座標及び高さを含む三次元点群データを取得する、ステップと、
(b)前記三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを行なう、ステップと、
(c)フィルタリング後の前記三次元点群データから、前記対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、当該部分を囲む境界を設定する、ステップと、
(d)設定された前記境界毎に、当該境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成し、生成した前記複数のクラスタのうち設定条
件を満たすクラスタが地面を示していると判定する、ステップと、
(e)設定された前記境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、そして、設定した前記基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する、ステップと、
を有する、ことを特徴とする。
Further, in order to achieve the above object, the feature shape extraction method in one aspect of the present invention is:
(A) Acquiring 3D point cloud data including the position coordinates and height of the feature in the target area,
(B) A step of removing data having a height value less than a threshold value from the three-dimensional point cloud data and performing filtering.
(C) From the filtered three-dimensional point cloud data, a portion where the height value on the target region is equal to or higher than the threshold value is detected, and a boundary surrounding the portion is set for each detected portion. ,
(D) For each set boundary, clustering is performed based on the height value in the area within the boundary to generate a plurality of clusters, and among the generated clusters, the cluster satisfying the setting condition is selected. Steps that determine that they are pointing to the ground,
(E) For each of the set boundaries, a reference height is set based on the average height of the clusters determined to indicate the ground, and the average height is higher than the set reference height. Steps and steps to identify clusters and extract areas that outline features based on the identified clusters.
It is characterized by having.
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
(a)対象領域における地物の位置座標及び高さを含む三次元点群データを取得する、ステップと、
(b)前記三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを行なう、ステップと、
(c)フィルタリング後の前記三次元点群データから、前記対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、当該部分を囲む境界を設定する、ステップと、
(d)設定された前記境界毎に、当該境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成し、生成した前記複数のクラスタのうち設定条件を満たすクラスタが地面を示していると判定する、ステップと、
(e)設定された前記境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、そして、設定した前記基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する、ステップと、
を実行させることを特徴とする。
Further, in order to achieve the above object, the program in one aspect of the present invention is:
On the computer
(A) Acquiring 3D point cloud data including the position coordinates and height of the feature in the target area,
(B) A step of removing data having a height value less than a threshold value from the three-dimensional point cloud data and performing filtering.
(C) From the filtered three-dimensional point cloud data, a portion where the height value on the target region is equal to or higher than the threshold value is detected, and a boundary surrounding the portion is set for each detected portion. ,
(D) For each set boundary, clustering is performed based on the height value in the area within the boundary to generate a plurality of clusters, and among the generated clusters, the cluster satisfying the setting condition is selected. Steps that determine that they are pointing to the ground,
(E) For each of the set boundaries, a reference height is set based on the average height of the clusters determined to indicate the ground, and the average height is higher than the set reference height. Steps and steps to identify clusters and extract areas that outline features based on the identified clusters.
Is characterized by executing.
以上のように、本発明によれば、三次元点群データからの建物等の地物の形状の抽出精度を向上することができる。 As described above, according to the present invention, it is possible to improve the accuracy of extracting the shape of a feature such as a building from the three-dimensional point cloud data.
(実施の形態)
以下、本発明の実施の形態における、地物形状抽出装置、地物形状抽出方法、及びプログラムについて、図1〜図14を参照しながら説明する。
(Embodiment)
Hereinafter, the feature shape extraction device, the feature shape extraction method, and the program according to the embodiment of the present invention will be described with reference to FIGS. 1 to 14.
[装置構成]
最初に、図1を用いて、本実施の形態における地物形状抽出装置の構成について説明する。図1は、本発明の実施の形態における地物形状抽出装置の構成を示すブロック図である。
[Device configuration]
First, the configuration of the feature shape extraction device in the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of a feature shape extraction device according to an embodiment of the present invention.
図1に示す本実施の形態における地物形状抽出装置10は、三次元点群データからの建物等の地物の形状、具体的には、上方から見た地物の輪郭を抽出する装置である。図1に示すように、地物形状抽出装置10は、データ取得部11と、フィルタリング部12と、境界設定部13と、クラスタリング部14と、外形領域抽出部15とを備えている。
The feature
データ取得部11は、対象領域における地物の位置座標及び高さを含む三次元点群データ、具体的には、対象領域の数値表層モデル(DSM)を取得する。フィルタリング部12は、三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを実行する。
The
境界設定部13は、フィルタリング後の三次元点群データから、対象領域上の高さの値が閾値以上となる部分を検出する。また、境界設定部13は、検出した部分毎に、その部分を囲む境界を設定する。
The
クラスタリング部14は、設定された境界毎に、その境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成する。また、クラスタリング部14は、生成した複数のクラスタのうち設定条件を満たすクラスタが地面を示していると判定する。
The
外形領域抽出部15は、設定された境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定する。そして、外形領域抽出部15は、設定した基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する。
The external
このように、地物形状抽出装置10は、地面を示すクラスタを用いて、基準高さを設定し、それから、地物の外形を示す領域の抽出に適したクラスタを特定するため、建物の側に車輌等の物体が存在した場合に、車輌等の物体の形状を除去することができる。また、地物形状抽出装置10は、地物三次元点群データのみを用いて、地物の外形を示す領域を抽出することができる。このため、地物形状抽出装置10によれば、三次元点群データからの建物等の地物の形状の抽出精度を向上することができる。
In this way, the feature
続いて、図2〜図13を用いて、本実施の形態における地物形状抽出装置10の各部の機能についてより具体的に説明する。図2は、本発明の実施の形態で用いられる三次元点
群データの一例を示す図である。図3は、図2に示す三次元点群データを用いて作成された地物の一例を示す図である。
Subsequently, with reference to FIGS. 2 to 13, the functions of each part of the feature
まず、本実施の形態において用いられる三次元点群データは、図2に示すように、位置座標(x、y)と高さzとを含んでいる。位置座標としては、緯度及び経度、または世界測地系などが挙げられ、高さとしては標高などが挙げられる。また、図2に示す三次元点群データにおいて、位置座標(x、y)毎に、高さzの値に応じた画素値を設定して、二次元のグレースケール画像を生成することで、図3に示すように地物が表現される。 First, as shown in FIG. 2, the three-dimensional point cloud data used in the present embodiment includes the position coordinates (x, y) and the height z. Examples of position coordinates include latitude and longitude, or a world geodetic system, and examples of height include altitude. Further, in the three-dimensional point cloud data shown in FIG. 2, a pixel value corresponding to the value of the height z is set for each position coordinate (x, y) to generate a two-dimensional grayscale image. The feature is represented as shown in FIG.
フィルタリング部12は、本実施の形態では、適応的閾値処理(Adaptive Thresholding)を行なって、高さの値の閾値を適宜設定しながら、周辺より高さが高くなっている部分を特定し、三次元点群データから、特定されなかった部分のデータを除去する。図4は、本発明の実施の形態においてフィルタリングされた三次元点群データの一例を示す図である。図4の例では、フィルタリングによって抽出された部分が白色で表現されている。
In the present embodiment, the
また、本実施の形態では、フィルタリング部12は、建物が傾斜しているところに建築されている場合を考慮し、周辺の高さが一定でない場合は、周辺の高さの平均値を求め、求めた平均値を基準として、周辺より高さが高くなっている部分を特定する。
Further, in the present embodiment, the
境界設定部13は、本実施の形態では、まず、フィルタリング部12によってフィルタリングされた三次元点群データに対して、ノイズ除去処理、小領域の削減処理等を実行することができる。続いて、境界設定部13は、フィルタリング部12による適応的閾値処理で抽出された部分を囲む境界20を設定する。
In the present embodiment, the
具体的には、境界設定部13は、例えば、図5に示すように、抽出された部分を囲むことが可能な最小の矩形の境界20を設定する。境界の形状は、特に限定されず、抽出された領域に沿った形状に設定されていても良い。また、このようにして設定された各境界20内には、1つの建物が存在していると推定される。図5は、本発明の実施の形態において設定された境界の一例を示す図である。また、図5において、境界20は、白色の矩形で示されている。
Specifically, the
クラスタリング部14は、図6に示すように、境界20毎に、その境界20内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成する。図6は、本発明の実施の形態におけるクラスタリングによって生成された複数のクラスタの一例を示す図である。図6の例では、特定の境界20で囲まれた領域内に形成された複数のクラスタが示されている。
As shown in FIG. 6, the
また、本実施の形態では、クラスタリング部14は、まず、複数のクラスタを、平均高さが低い順にソートする。そして、クラスタリング部14は、クラスタの占める面積が一定以上であり、且つ、クラスタの中で高さの平均が最も低いことを、設定条件として、設定条件を満たすクラスタを特定し、特定したクラスタは地面を示していると判定する。
Further, in the present embodiment, the
外形領域抽出部15は、本実施の形態では、境界設定部13が設定した境界20毎に、平均高さが最も高いクラスタを特定し、その特定したクラスタの平均高さを地物の高さとする。そして、外形領域抽出部15は、地面を示していると判定されたクラスタの平均高さと、平均高さが最も高いクラスタの平均高さとの平均値を求め、求めた平均値に基づいて、基準高さを設定する。
In the present embodiment, the external
また、上記の場合において、外形領域抽出部15は、クラスタの占める面積が一定以上であることを条件に追加して、平均高さが高いクラスを特定しても良い。また、本実施の
形態では、基準高さは、予め実験等によって設定されていても良いし、機械学習によって設定されていても良い。
Further, in the above case, the external
基準高さの設定後、外形領域抽出部15は、基準高さよりも平均高さが高いクラスタを特定する。図7は、本発明の実施の形態において特定された、基準高さよりも平均高さが高いクラスタの一例を示す図である。図7においては、特定されたクラスタは、白色で示されている。
After setting the reference height, the external
また、本実施の形態では、外形領域抽出部15は、2m、3m、4m、5m、6m、7mといったように基準高さの候補を設定し、候補毎に、それよりも平均高さが高いクラスタを特定し、特定した候補毎のクラスタの中から、いずれかの候補のクラスタを選択しても良い。
Further, in the present embodiment, the external
続いて、外形領域抽出部15は、図8に示すように、図7に示したクラスタに基づいて、地物の外形を示す領域を抽出する。図8は、図7に示したクラスタに基づいて抽出された領域の一例を示す図である。図8においては、抽出された領域は白色で示されている。図8の例では、外形領域抽出部15は、例えば、抽出した領域に対して、緑領域(植え込み等の建物周辺の植物が生えている領域)の除去、オクルージョンとなっているなどの理由で高さデータが欠落している領域やノイズ領域の除去等を行なっている。
Subsequently, as shown in FIG. 8, the outer shape
また、緑領域の除去は、例えば、処理対象となっている領域のオルソ画像を取得し、取得したオルソ画像から緑領域を特定し、そして、処理対象となっている領域から、特定した緑領域に対応する部分を除去することによって行なわれる。 Further, in the removal of the green region, for example, an ortho image of the region to be processed is acquired, the green region is specified from the acquired ortho image, and the specified green region is specified from the region to be processed. It is done by removing the part corresponding to.
また、外形領域抽出部15は、図9に示すように、抽出した領域から、この領域内で仮想の円を転がすことによって得られる円転領域30を抽出することができる。図9は、図8に示した領域から抽出された円転領域の一例を示す図である。図9の例では、円転領域30の外縁が破線で示されている。
Further, as shown in FIG. 9, the external
この場合、外形領域抽出部15は、図10に示すように、抽出した円転領域30に対して、ハフ変換処理によって、その外縁の2箇所と接するように、直交する2直線を設定する。図10は、本発明の実施の形態で行なわれるハフ変換処理の一例を示す図である。なお、図10の例では、図9に示した上側の円転領域30に2直線が設定される場合が示されている。
In this case, as shown in FIG. 10, the external
具体的には、図10に示すように、外形領域抽出部15は、円転領域30のエッジ部分を特定し、特定したエッジ部分毎に、ハフ変換を実行し、強い反応があった上位一定数の線を抽出する。そして、外形領域抽出部15は、抽出した線を用いて2直線の組を設定し、組毎に2直線が交わる角度を算出する。続いて、外形領域抽出部15は、角度の算出結果に基づいて、各組の中から直交する2本の直線の組合せを特定する。なお、ここでいう直交には、2本の直線のなす角度が90度丁度である場合だけでなく、本発明の目的が達成できる範囲で、90度前後である場合も含まれる。
Specifically, as shown in FIG. 10, the external
また、外形領域抽出部15は、特定した組合せのうち、反応の強い直線の組合せを最終的に選択する。例えば、外形領域抽出部15は、予め、ハフ変換時の反応の強さ毎に、各直線に順位を設定し、そして、2本の直線の組毎に、順位の和を求め、求めた和が最も小さい組を選択する。例えば、5位と10位との組では和は15となり、6位と7位との組では和は13となる。この場合、外形領域抽出部13は、6位と7位との組を選択する。なお、組の選択のための値の計算は、上述した足し算に限定されるものではなく、適切な数式が用いられれば良い。
Further, the external
続いて、外形領域抽出部15は、図11に示すように、直交する2直線を設定すると、設定した直線毎に、その直線に垂直に交わる直線を想定し、円転領域30の外縁と想定した直線との重なり度合が高い程値が高くなるヒストグラム31及び32を作成する。図11は、本発明の実施の形態において作成されるヒストグラムの一例を示す図である。
Subsequently, as shown in FIG. 11, the external
また、外形領域抽出部15は、ヒストグラム31及び32の作成の際、ヒストグラム31及び32の外周に小さな凹凸が発生しないようにするため、ヒストグラム31及び32の外周の各点の値に、その点の左右の点の値を加算して平均値を算出し、その点の値を平均値で補正することもできる。更に、外形領域抽出部15は、ヒストグラム31及び32の外周に対して、直線近似処理を施すこともできる。
Further, when creating the
続いて、外形領域抽出部15は、図11に示すように、生成した2つのヒストグラム31及び32それぞれの頂点の位置に基づいて、円転領域を分割し、分割結果に基づいて、地物の外形を確定する。
Subsequently, as shown in FIG. 11, the external
具体的には、外形領域抽出部15は、分割によって得られた矩形の区画毎に、その区画において円転領域30が占める割合を算出し、算出した割合が閾値(例えば50%)以上である場合は、その区画は有効であると判定する。その後、外形領域抽出部15は、有効であると判定した区画をつなぎ合わせて1つの領域33とし、この領域33の外形を地物の外形とする。
Specifically, the external
図12は、本発明の実施の形態において抽出された地物の外形の一例を示す図である。図12の例では、地物の外形は、建物のオルソ画像上に示されている。 FIG. 12 is a diagram showing an example of the outer shape of the feature extracted in the embodiment of the present invention. In the example of FIG. 12, the outer shape of the feature is shown on the ortho image of the building.
[装置動作]
次に、本発明の実施の形態における地物形状抽出装置10の動作について図13を用いて説明する。図13は、本発明の実施の形態における地物形状抽出装置の動作を示すフロー図である。以下の説明においては、適宜図1〜図12を参酌する。また、本実施の形態では、地物形状抽出装置を動作させることによって、地物形状抽出方法が実施される。よって、本実施の形態における地物形状抽出方法の説明は、以下の地物形状抽出装置10の動作説明に代える。
[Device operation]
Next, the operation of the feature
最初に、図13に示すように、データ取得部11は、対象領域における地物の位置座標及び高さを含む三次元点群データを取得する(ステップA1)。
First, as shown in FIG. 13, the
次に、フィルタリング部12は、三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを実行する(ステップA2)。
Next, the
次に、境界設定部13は、フィルタリング後の三次元点群データから、対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、その部分を囲む境界20を設定する(ステップA3)。
Next, the
次に、クラスタリング部14は、ステップA3で設定された境界20毎に、その境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成する(ステップA4)。また、ステップA4では、クラスタリング部14は、クラスタの占める面積が一定以上であり、且つ、クラスタの中で高さの平均が最も低いことを、設定条件として、設定条件を満たすクラスタを特定し、特定したクラスタは地面を示していると判定する。
Next, the
次に、外形領域抽出部15は、ステップA3で設定された境界20毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、設定した基準高さよりも平均高さが高いクラスタを特定する(ステップA5)。
Next, the external
次に、外形領域抽出部15は、ステップA5で特定したクラスタに基づいて、地物の外形を示す領域を抽出し、更に、抽出した領域から、この領域内で仮想の円を転がすことによって得られる円転領域30を抽出する(ステップA6)。
Next, the outer shape
次に、外形領域抽出部15は、ステップA6で抽出した円転領域30に対して、ハフ変換処理によって、その外縁の2箇所と接するように、直交する2直線を設定する(ステップA7)。
Next, the external
次に、外形領域抽出部15は、ステップA7で設定した直線毎に、その直線に垂直に交わる直線を想定し、円転領域30の外縁と想定した直線との重なり度合が高い程値が高くなるヒストグラムを作成する(ステップA8)。
Next, the external
次に、外形領域抽出部15は、ステップA8で作成した2つのヒストグラムそれぞれの頂点の位置に基づいて、円転領域30を分割し、分割結果に基づいて、地物の外形を確定する(ステップA9)。
Next, the outer shape
[実施の形態における効果]
以上のように本実施の形態によれば、オルソ画像から建物の形状を抽出する必要がなく、加えて、数値表層モデルと数値地形モデルとの両方を用いる必要もないため、三次元点群データからの建物等の地物の形状の抽出精度を向上することができる。
[Effect in the embodiment]
As described above, according to the present embodiment, it is not necessary to extract the shape of the building from the ortho image, and in addition, it is not necessary to use both the digital surface layer model and the digital terrain model, so that the three-dimensional point cloud data It is possible to improve the extraction accuracy of the shape of features such as buildings from.
また、本実施の形態では、上記ステップA3において、境界20が設定され、境界20毎に、クラスタリング、円転領域30の抽出、2直線の設定、ヒストグラムの作成、地物の外形の確定が行なわれる。また、各境界20内には、1つの建物が存在していると推定される。これらの点から、本実施の形態では、隣接する別の建物の影響による地物形状の抽出精度の低下が抑制される。更に、本実施の形態では、境界20毎に、基準高さを設定してから、クラスタリングが行なわれるので、建物の高さ及び形状に依存することなく、地物形状の抽出が可能となる。
Further, in the present embodiment, the
更に、本実施の形態では、ハフ変換によって直交する2直線が設定され、それから得られたヒストグラムを用いて、地物の形状が確定されるので、直線が多い建物の形状をより正確に抽出することが可能となる。 Further, in the present embodiment, two orthogonal straight lines are set by the Hough transform, and the shape of the feature is determined by using the histogram obtained from the two straight lines, so that the shape of the building having many straight lines is extracted more accurately. It becomes possible.
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図13に示すステップA1〜A9を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における地物形状抽出装置10と地物形状抽出方法とを実現することができる。この場合、コンピュータのCPU(Central Processing
Unit)は、データ取得部11、フィルタリング部12、境界設定部13、クラスタリング部14、及び外形領域抽出部15として機能し、処理を行なう。
[program]
The program in this embodiment may be any program that causes a computer to execute steps A1 to A9 shown in FIG. By installing this program on a computer and executing it, the feature
The Unit) functions as a
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部11、フィルタリング部12、境界設定部13、クラスタリング部14、及び外形領域抽出部15のいずれかとして機能しても良い。
Further, the program in the present embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer may function as any of a
ここで、本実施の形態におけるプログラムを実行することによって、地物形状抽出装置10を実現するコンピュータについて図14を用いて説明する。図14は、本発明の実施の形態における地物形状抽出装置を実現するコンピュータの一例を示すブロック図である。
Here, a computer that realizes the feature
図14に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
As shown in FIG. 14, the
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
The
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
Further, specific examples of the
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
The data reader /
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
Specific examples of the
なお、本実施の形態における地物形状抽出装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、地物形状抽出装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
The feature
以上のように、本発明によれば、三次元点群データからの建物等の地物の形状の抽出精度を向上することができる。本発明は、上空からの画像に基づいて、地物の形状を抽出することが必要な分野に有用である。 As described above, according to the present invention, it is possible to improve the accuracy of extracting the shape of a feature such as a building from the three-dimensional point cloud data. The present invention is useful in fields where it is necessary to extract the shape of a feature based on an image from the sky.
10 地物形状抽出装置
11 データ取得部
12 フィルタリング部
13 境界設定部
14 クラスタリング部
15 外形領域抽出部
20 境界
30 円転領域
31 ヒストグラム
32 ヒストグラム
33 円転領域から求められた領域
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
10 Feature
112
Claims (15)
前記三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを行なう、フィルタリング部と、
フィルタリング後の前記三次元点群データから、前記対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、当該部分を囲む境界を設定する、境界設定部と、
設定された前記境界毎に、当該境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成し、生成した前記複数のクラスタのうち設定条件を満たすクラスタが地面を示していると判定する、クラスタリング部と、
設定された前記境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、そして、設定した前記基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する、外形領域抽出部と、
を備えている、ことを特徴とする地物形状抽出装置。 A data acquisition unit that acquires 3D point cloud data including the position coordinates and height of features in the target area,
A filtering unit that removes data whose height value is less than the threshold value from the three-dimensional point cloud data and performs filtering.
From the filtered three-dimensional point cloud data, a boundary setting unit that detects a portion whose height value on the target region is equal to or higher than a threshold value and sets a boundary surrounding the portion for each detected portion.
For each set boundary, clustering is performed based on the height value in the area within the boundary to generate a plurality of clusters, and among the generated clusters, the cluster satisfying the setting condition indicates the ground. The clustering part that determines that
For each set boundary, a reference height is set based on the average height of the clusters determined to indicate the ground, and a cluster having an average height higher than the set reference height is specified. Then, based on the identified cluster, the outer area area extraction unit that extracts the area showing the outer shape of the feature,
A feature shape extraction device characterized by being equipped with.
ハフ変換処理によって、抽出した前記領域に対して、その外縁の2箇所と接するように、直交する2直線を設定し、
設定した前記2直線それぞれ毎に、当該直線に垂直に交わる直線を想定し、抽出した前記領域の外縁と想定した直線との重なり度合が高い程値が高くなるヒストグラムを作成し、生成した2つの前記ヒストグラムそれぞれの頂点の位置に基づいて、抽出した前記領域を分割し、分割結果に基づいて、前記地物の外形を確定する、
請求項1に記載の地物形状抽出装置。 The external region extraction unit
Two orthogonal straight lines are set with respect to the extracted region by the Hough transform process so as to be in contact with two points on the outer edge thereof.
For each of the two set straight lines, a straight line that intersects the straight line is assumed, and a histogram is created in which the value increases as the degree of overlap between the extracted outer edge of the region and the assumed straight line increases, and the two generated histograms are created. The extracted region is divided based on the positions of the vertices of each of the histograms, and the outer shape of the feature is determined based on the division result.
The feature shape extraction device according to claim 1.
請求項2に記載の地物形状抽出装置。 The external region extraction unit further extracts a circular rotation region obtained by rolling a virtual circle in the extracted region, and sets the two straight lines for the extracted circular rotation region. To do
The feature shape extraction device according to claim 2.
請求項1〜3のいずれかに記載の地物形状抽出装置。 The external region extraction unit obtains an average value of the average height of the clusters determined to indicate the ground and the average height of the cluster having the highest average height for each set region, and the obtained average. Set the reference height based on the value,
The feature shape extraction device according to any one of claims 1 to 3.
請求項1〜4のいずれかに記載の地物形状抽出装置。 For each detected portion, the boundary setting unit sets the smallest rectangular boundary that can surround the portion.
The feature shape extraction device according to any one of claims 1 to 4.
(b)前記三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを行なう、ステップと、
(c)フィルタリング後の前記三次元点群データから、前記対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、当該部分を囲む境界を設定する、ステップと、
(d)設定された前記境界毎に、当該境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成し、生成した前記複数のクラスタのうち設定条
件を満たすクラスタが地面を示していると判定する、ステップと、
(e)設定された前記境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、そして、設定した前記基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する、ステップと、
を有する、ことを特徴とする地物形状抽出方法。 (A) Acquiring 3D point cloud data including the position coordinates and height of the feature in the target area,
(B) A step of removing data having a height value less than a threshold value from the three-dimensional point cloud data and performing filtering.
(C) From the filtered three-dimensional point cloud data, a portion where the height value on the target region is equal to or higher than the threshold value is detected, and a boundary surrounding the portion is set for each detected portion. ,
(D) For each set boundary, clustering is performed based on the height value in the area within the boundary to generate a plurality of clusters, and among the generated clusters, the cluster satisfying the setting condition is selected. Steps that determine that they are pointing to the ground,
(E) For each of the set boundaries, a reference height is set based on the average height of the clusters determined to indicate the ground, and the average height is higher than the set reference height. Steps and steps to identify clusters and extract areas that outline features based on the identified clusters.
A method for extracting a feature shape, which comprises.
ハフ変換処理によって、抽出した前記領域に対して、その外縁の2箇所と接するように、直交する2直線を設定し、
設定した前記2直線それぞれ毎に、当該直線に垂直に交わる直線を想定し、抽出した前記領域の外縁と想定した直線との重なり度合が高い程値が高くなるヒストグラムを作成し、生成した2つの前記ヒストグラムそれぞれの頂点の位置に基づいて、抽出した前記領域を分割し、分割結果に基づいて、前記地物の外形を確定する、
請求項6に記載の地物形状抽出方法。 In step (e) above,
Two orthogonal straight lines are set with respect to the extracted region by the Hough transform process so as to be in contact with two points on the outer edge thereof.
For each of the two set straight lines, a straight line that intersects the straight line is assumed, and a histogram is created in which the value increases as the degree of overlap between the extracted outer edge of the region and the assumed straight line increases, and the two generated histograms are created. The extracted region is divided based on the positions of the vertices of each of the histograms, and the outer shape of the feature is determined based on the division result.
The feature shape extraction method according to claim 6.
請求項7に記載の地物形状抽出方法。 In the step (e), a circular rotation region obtained by rolling a virtual circle in the extracted region is further extracted, and the two straight lines are drawn with respect to the extracted circular rotation region. Set,
The feature shape extraction method according to claim 7.
請求項6〜8のいずれかに記載の地物形状抽出方法。 In the step (e), the average value of the average height of the clusters determined to indicate the ground and the average height of the cluster having the highest average height was obtained and obtained for each of the set areas. The reference height is set based on the average value.
The feature shape extraction method according to any one of claims 6 to 8.
請求項6〜9のいずれかに記載の地物形状抽出方法。 In the step (c), for each detected portion, the smallest rectangular boundary that can surround the portion is set.
The feature shape extraction method according to any one of claims 6 to 9.
(a)対象領域における地物の位置座標及び高さを含む三次元点群データを取得する、ステップと、
(b)前記三次元点群データから、高さの値が閾値未満のデータを除去して、フィルタリングを行なう、ステップと、
(c)フィルタリング後の前記三次元点群データから、前記対象領域上の高さの値が閾値以上となる部分を検出し、検出した部分毎に、当該部分を囲む境界を設定する、ステップと、
(d)設定された前記境界毎に、当該境界内の領域における高さの値に基づいてクラスタリングを行なって、複数のクラスタを生成し、生成した前記複数のクラスタのうち設定条件を満たすクラスタが地面を示していると判定する、ステップと、
(e)設定された前記境界毎に、地面を示していると判定されたクラスタの平均高さに基づいて、基準高さを設定し、そして、設定した前記基準高さよりも平均高さが高いクラスタを特定し、特定したクラスタに基づいて、地物の外形を示す領域を抽出する、ステップと、
を実行させる、プログラム。 On the computer
(A) Acquiring 3D point cloud data including the position coordinates and height of the feature in the target area,
(B) A step of removing data having a height value less than a threshold value from the three-dimensional point cloud data and performing filtering.
(C) From the filtered three-dimensional point cloud data, a portion where the height value on the target region is equal to or higher than the threshold value is detected, and a boundary surrounding the portion is set for each detected portion. ,
(D) For each set boundary, clustering is performed based on the height value in the area within the boundary to generate a plurality of clusters, and among the generated clusters, the cluster satisfying the setting condition is selected. Steps that determine that they are pointing to the ground,
(E) For each of the set boundaries, a reference height is set based on the average height of the clusters determined to indicate the ground, and the average height is higher than the set reference height. Steps and steps to identify clusters and extract areas that outline features based on the identified clusters.
A program that runs.
ハフ変換処理によって、抽出した前記領域に対して、その外縁の2箇所と接するように、直交する2直線を設定し、
設定した前記2直線それぞれ毎に、当該直線に垂直に交わる直線を想定し、抽出した前記領域の外縁と想定した直線との重なり度合が高い程値が高くなるヒストグラムを作成し、生成した2つの前記ヒストグラムそれぞれの頂点の位置に基づいて、抽出した前記領域を分割し、分割結果に基づいて、前記地物の外形を確定する、
請求項11に記載のプログラム。 In step (e) above,
Two orthogonal straight lines are set with respect to the extracted region by the Hough transform process so as to be in contact with two points on the outer edge thereof.
For each of the two set straight lines, a straight line that intersects the straight line is assumed, and a histogram is created in which the value increases as the degree of overlap between the extracted outer edge of the region and the assumed straight line increases, and the two generated histograms are created. The extracted region is divided based on the positions of the vertices of each of the histograms, and the outer shape of the feature is determined based on the division result.
The program according to claim 11.
請求項12に記載のプログラム。 In the step (e), a circular rotation region obtained by rolling a virtual circle in the extracted region is further extracted, and the two straight lines are drawn with respect to the extracted circular rotation region. Set,
The program according to claim 12.
請求項11〜13のいずれかに記載のプログラム。 In the step (e), the average value of the average height of the clusters determined to indicate the ground and the average height of the cluster having the highest average height was obtained and obtained for each of the set areas. The reference height is set based on the average value.
The program according to any one of claims 11 to 13.
請求項11〜14のいずれかに記載のプログラム。 In the step (c), for each detected portion, the smallest rectangular boundary that can surround the portion is set.
The program according to any one of claims 11 to 14.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017131517A JP6874987B2 (en) | 2017-07-04 | 2017-07-04 | Feature shape extraction device, feature shape extraction method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017131517A JP6874987B2 (en) | 2017-07-04 | 2017-07-04 | Feature shape extraction device, feature shape extraction method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019016066A JP2019016066A (en) | 2019-01-31 |
JP6874987B2 true JP6874987B2 (en) | 2021-05-19 |
Family
ID=65357520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017131517A Active JP6874987B2 (en) | 2017-07-04 | 2017-07-04 | Feature shape extraction device, feature shape extraction method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6874987B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7253414B2 (en) * | 2019-03-20 | 2023-04-06 | 旭化成ホームズ株式会社 | Average ground height calculation device, method of using average ground height calculation device, average ground height calculation method and program |
CN111984026A (en) * | 2019-05-23 | 2020-11-24 | 广州极飞科技有限公司 | Control method and device of unmanned aerial vehicle |
KR102407729B1 (en) * | 2020-04-10 | 2022-06-13 | 주식회사 엘지유플러스 | System and method for providing three dimensional volumetric content service |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003296706A (en) * | 2002-04-05 | 2003-10-17 | Asahi Koyo Kk | Method and device for extracting building, and method and device for vectorizing sample data |
JP2004094427A (en) * | 2002-08-30 | 2004-03-25 | Hitachi Ltd | Slip image processor and program for realizing the same device |
JP4229154B2 (en) * | 2006-08-31 | 2009-02-25 | ソニー株式会社 | Image processing method |
JP2011170599A (en) * | 2010-02-18 | 2011-09-01 | Mitsubishi Electric Corp | Outdoor structure measuring instrument and outdoor structure measuring method |
JP6080642B2 (en) * | 2013-03-25 | 2017-02-15 | 株式会社ジオ技術研究所 | 3D point cloud analysis method |
JP6054831B2 (en) * | 2013-09-03 | 2016-12-27 | 国立大学法人 東京大学 | Image processing apparatus, image processing method, and image processing program |
-
2017
- 2017-07-04 JP JP2017131517A patent/JP6874987B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019016066A (en) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI713366B (en) | Method and device for target sampling of images | |
JP4378571B2 (en) | MAP CHANGE DETECTION DEVICE, MAP CHANGE DETECTION METHOD, AND PROGRAM | |
CN111324145B (en) | Unmanned aerial vehicle autonomous landing method, device, equipment and storage medium | |
EP3889833A1 (en) | Method and apparatus for extracting a satellite image-based building footprint | |
WO2021017471A1 (en) | Point cloud filtering method based on image processing, apparatus, and storage medium | |
JP6874987B2 (en) | Feature shape extraction device, feature shape extraction method, and program | |
CN107977992A (en) | A kind of building change detecting method and device based on unmanned plane laser radar | |
JP6341264B2 (en) | Deposition object recognition method, apparatus, and sorting system using equipment | |
CN108197567B (en) | Method, apparatus and computer readable medium for image processing | |
CN112348836A (en) | Method and device for automatically extracting building outline | |
CN112945196B (en) | Strip mine step line extraction and slope monitoring method based on point cloud data | |
TW201616450A (en) | System and method for selecting point clouds using a brush tool | |
CN116721228B (en) | Building elevation extraction method and system based on low-density point cloud | |
CN111783721A (en) | Lane line extraction method of laser point cloud and electronic equipment | |
CN114299242A (en) | Method, device and equipment for processing images in high-precision map and storage medium | |
WO2018159468A1 (en) | Building height calculation device, building height calculation method, and computer-readable recording medium | |
Dahiya et al. | Object oriented approach for building extraction from high resolution satellite images | |
CN111860084B (en) | Image feature matching and positioning method and device and positioning system | |
CN113379826A (en) | Method and device for measuring volume of logistics piece | |
CN115565072A (en) | Road garbage recognition and positioning method and device, electronic equipment and medium | |
CN110472538B (en) | Image recognition method and storage medium of electronic drawing | |
CN112884026A (en) | Image recognition assisted power transmission line laser LiDAR point cloud classification method | |
CN102884565A (en) | Precision improving device for three dimensional topographical data, precision improving method for three dimensional topographical data and recording medium | |
JP2004102402A (en) | Partition data creating method and device | |
KR102389295B1 (en) | Method and Apparatus for Instance Segmentation Based Object Size Estimation from Single Indoor Image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6874987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |