JP6635649B2 - Data overlay program and data overlay method - Google Patents
Data overlay program and data overlay method Download PDFInfo
- Publication number
- JP6635649B2 JP6635649B2 JP2014197627A JP2014197627A JP6635649B2 JP 6635649 B2 JP6635649 B2 JP 6635649B2 JP 2014197627 A JP2014197627 A JP 2014197627A JP 2014197627 A JP2014197627 A JP 2014197627A JP 6635649 B2 JP6635649 B2 JP 6635649B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- point
- point cloud
- cloud data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000005259 measurement Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
本発明はデータ重ね合わせプログラム及びデータ重ね合わせ方法に関する。 The present invention relates to a data overlay program and a data overlay method.
近年、航空機にレーザーセンサーを搭載し、このレーザーセンサー用いて地上にレーザーを照射し、その反射を測定することで、地面、建物、樹木等を含めた地上の三次元データを取得することができるようになってきている。 In recent years, a laser sensor is mounted on an aircraft, and a laser is radiated to the ground using this laser sensor and its reflection is measured, so that three-dimensional data on the ground including the ground, buildings, trees, etc. can be acquired. It is becoming.
一方で、フリーハンドで撮影された複数枚の連続写真上で、オーバーラップした場所を自動で認識し、その多視点画像から三次元データを作成するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）という技術が、例えば下記非特許文献１にされている。 On the other hand, a technique called SfM (Structure from Motion), which automatically recognizes an overlapping place on a plurality of continuous photographs taken freehand and creates three-dimensional data from the multi-viewpoint image, is described below. It is described in Non-Patent Document 1.
そして、ＳｆＭを応用して、例えば下記非特許文献２で示されるように、多視点で撮影される高解像度カメラから三次元データを容易に取得できる装置が開発され、三次元データを航空機から詳細に取得できるようになってきている。 By applying SfM, for example, as shown in Non-Patent Document 2 below, a device capable of easily acquiring three-dimensional data from a high-resolution camera photographed from multiple viewpoints has been developed. You can get it.
上記のとおり、上空から三次元データを取得する技術が確立されてきているが、森林域について上空からデータを取得しようとする場合、樹木の葉等によって光が遮られ、得られる三次元データは森林上部表面に限られてしまい、森林バイオマスの評価に必要な樹木の幹部データを取得することができないといった課題が残る。この課題に対しては、森林内にレーザーセンサー等の装置を持ち込み、三次元データを取得する必要がある。 As described above, technology for acquiring three-dimensional data from the sky has been established.However, when trying to acquire data from the sky in a forest area, light is blocked by leaves of trees, etc. The problem remains that it is limited to the upper surface and it is not possible to obtain tree trunk data necessary for evaluating forest biomass. To solve this problem, it is necessary to bring a device such as a laser sensor into the forest to acquire three-dimensional data.
この結果、上空からの測定や撮影等によって得た三次元データと、森林内に装置を持ち込み取得した三次元データそれぞれが独立して取得されることとなるが、これらは異なる方法によって取得された三次元データであって、データの融合は極めて困難であった。これに対しＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いてデータの融合を図ろうとしても、森林内においては障害物が多く、１ｍ〜５ｍ程度のＧＰＳの位置ずれは不可避であり、正確に上空からの撮影等によって得られた三次元データと森林内において取得した三次元データの融合はやはり極めて困難であった。 As a result, the three-dimensional data obtained by measurement or photographing from the sky and the three-dimensional data obtained by bringing the device into the forest are obtained independently, but these are obtained by different methods. It was three-dimensional data, and it was extremely difficult to fuse the data. On the other hand, even if an attempt is made to fuse data using a GPS (Global Positioning System), there are many obstacles in the forest, and a GPS position shift of about 1 m to 5 m is unavoidable, so that accurate shooting from the sky is required. Fusion of the three-dimensional data obtained by the method and the like with the three-dimensional data obtained in the forest was also extremely difficult.
そこで、本発明は、上記課題に鑑み、より容易に、二つの三次元データ群（点群データ）を融合することのできるデータ重ね合わせプログラム及びデータ重ね合わせ方法を提供することを目的とする。 In view of the above problem, an object of the present invention is to provide a data superimposition program and a data superimposition method that can more easily fuse two three-dimensional data groups (point cloud data).
上記課題を解決する本発明の一観点に係るデータ重ね合わせプログラムは、コンピュータに、第一の点群データに基づき少なくとも３点の第一の特徴点を抽出する処理、第二の点群データに基づき少なくとも３点の第二の特徴点を抽出する処理、第一の特徴点と前記第二の特徴点を重ね合わせる処理、第一の点群データ及び前記第二の点群データの融合処理、を行わせるためのものである。 A data superimposition program according to one aspect of the present invention that solves the above-described problem is a computer that performs processing for extracting at least three first feature points based on first point cloud data, A process of extracting at least three second feature points based on the first feature point, a process of overlapping the first feature point and the second feature point, a fusion process of the first point group data and the second point group data, Is performed.
また、本発明の他の一観点に係るデータ重ね合わせ方法は、第一の点群データに基づき少なくとも３点の第一の特徴点を抽出し、第二の点群データに基づき少なくとも３点の第二の特徴点を抽出し、第一の特徴点と前記第二の特徴点を重ね合わせ、第一の点群データ及び前記第二の点群データの融合を行う。 Further, in a data superimposing method according to another aspect of the present invention, at least three first feature points are extracted based on the first point cloud data, and at least three first feature points are extracted based on the second point cloud data. A second feature point is extracted, the first feature point is superimposed on the second feature point, and the first point cloud data and the second point cloud data are fused.
以上、本発明によって、より容易に、二つの三次元データ群（点群データ）を融合することのできるデータ重ね合わせプログラム及びデータ重ね合わせ方法を提供することができる。 As described above, according to the present invention, it is possible to provide a data superimposition program and a data superimposition method that can easily fuse two three-dimensional data groups (point cloud data).
以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例に記載された例示にのみ限定されるわけではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the present invention can be implemented in many different forms, and is not limited to the examples described in the following embodiments and examples.
（点群データ同士の重ね合わせ処理）
まず、本実施形態に係るデータ重ね合わせプログラム（以下「本プログラム」という。）は、コンピュータに、（１）第一の点群データに基づき少なくとも３点の第一の特徴点を抽出する処理、（２）第二の点群データに基づき少なくとも３点の第二の特徴点を抽出する処理、（３）第一の特徴点と前記第二の特徴点を重ね合わせる処理、第一の点群データ及び前記第二の点群データの融合処理、を行わせるためのものである。図１に、本プログラムが行う処理のフローのイメージを示しておく。
(Overlay processing of point cloud data)
First, a data superimposing program (hereinafter, referred to as “the present program”) according to the present embodiment is provided to a computer to (1) extract at least three first feature points based on first point group data; (2) a process of extracting at least three second feature points based on the second point group data; (3) a process of overlapping the first feature point with the second feature point; a first point group This is for performing a fusion process of the data and the second point cloud data. FIG. 1 shows an image of a flow of a process performed by this program.
本実施形態において、「点群データ」とは、平面及び高さ方向の位置情報を含むデータの集合をいう。より具体的にはｘ、ｙ、ｚ方向における三次元的な位置情報を含む点データの集合であってもよいが、円座標、円柱座標等の極座標系を採用して三次元的に表現された点データの集合であっても良い。なお本実施形態では説明の観点から直交座標系の点データの集合からなる点群の場合を採用するが、上記のとおり円座標、円柱座標等の極座標系を採用した点データの集合からなる点群データであっても良い。なお、本実施形態において、「第一の点群データ」、「第二の点群データ」とは、異なる点群データであることを意味するものであって、「第一」「第二」自体に特別の技術的意味は含まれない。この点群データのイメージ図について図２に示しておく。 In the present embodiment, “point group data” refers to a set of data including position information in a plane and a height direction. More specifically, it may be a set of point data including three-dimensional position information in the x, y, and z directions, but is represented three-dimensionally by employing a polar coordinate system such as circular coordinates and cylindrical coordinates. It may be a set of point data. In the present embodiment, a point group consisting of a set of point data in a rectangular coordinate system is adopted from the viewpoint of description. However, as described above, a point consisting of a set of point data employing a polar coordinate system such as circular coordinates and cylindrical coordinates is used. It may be group data. In the present embodiment, “first point cloud data” and “second point cloud data” mean different point cloud data, and include “first”, “second” It does not have any special technical meaning in itself. FIG. 2 shows an image diagram of this point cloud data.
本プログラムは、点群データ二つを重ね合わせることができる限りにおいて、様々な点群データを採用することができる。その種類は限定されるわけではないが、一方は航空機等を用いて計測された点群データとし他方を森林内において計測された森林内の点群データとすることは好ましい一例である。航空機等を用いた計測により取得できる点群データは広い面積に対して計測を行うことができる一方で、深さ方向、特に樹木等の内部の計測が容易でないところ、森林内での計測はこの内部の情報を含んでいる。これらのデータを融合させることで非常に正確で有用な情報を得ることができる。 This program can employ various point cloud data as long as two point cloud data can be superimposed. Although the type is not limited, it is a preferable example that one is point cloud data measured using an aircraft or the like and the other is point cloud data in a forest measured in a forest. Point cloud data that can be obtained by measurement using an aircraft, etc., can be measured over a large area, but measurement in the depth direction, especially inside trees, etc., is not easy. Contains internal information. By fusing these data, very accurate and useful information can be obtained.
また、本実施形態では、点群データに基づき、特徴点を抽出する。ここで「特徴点」とは、点群データによって表現される三次元的形状のうち特徴的な位置の点をいう。本実施形態において「特徴点」としては、上記である限りにおいて限定されるわけではないが、例えば樹木の頂点に相当する位置の点データであることは好ましく、更には、樹木の頂点のうち上位三点の樹木の頂点データであることがより好ましい。 In the present embodiment, feature points are extracted based on point cloud data. Here, the “feature point” refers to a point at a characteristic position in the three-dimensional shape represented by the point cloud data. In the present embodiment, the “feature point” is not limited as long as it is as described above. For example, it is preferably point data at a position corresponding to a vertex of a tree. More preferably, it is the vertex data of three trees.
なお、本実施形態において、「第一の特徴点」とは、「第一の点群データ」に基づき抽出される特徴点をいい、「第二の特徴点」とは、「第二の点群データ」に基づき抽出される特徴点をいい、上記と同様、「第一」、「第二」自体に特別の技術的な意味は含まれない。 In the present embodiment, the “first feature point” refers to a feature point extracted based on “first point cloud data”, and the “second feature point” refers to a “second feature point”. It refers to a feature point extracted based on "group data", and similarly to the above, "first" and "second" themselves do not include a special technical meaning.
また本実施形態において、特徴点を抽出する処理は、上記意味の特徴点を抽出することができる限りにおいて限定されるわけではなく、様々な処理を採用することができるが、最大点抽出フィルタ処理、又は、最小点抽出フィルタ処理を用いることが好ましい。 In the present embodiment, the process of extracting a feature point is not limited as long as a feature point having the above meaning can be extracted, and various processes can be adopted. Alternatively, it is preferable to use minimum point extraction filter processing.
ここで、最大点抽出フィルタ処理について説明する。本実施形態に係る最大点抽出フィルタ処理は具体的には、（１）メッシュを設定する処理、（２）メッシュ内における最大値を抽出する処理、（３）メッシュの中心点の値を、上記（２）で抽出した最大値に置き換える処理、（４）メッシュの位置をずらして上記（２）〜（３）の処理を繰り返し行い最大点抽出フィルタを作成する処理、（５）処理前の点群データに対して上記最大点抽出フィルタをかけて特徴点を抽出する処理、を備えている。この処理のフローの概略図を図３に示しておく。 Here, the maximum point extraction filter processing will be described. Specifically, the maximum point extraction filter processing according to the present embodiment includes (1) processing for setting a mesh, (2) processing for extracting the maximum value in the mesh, and (3) the value of the center point of the mesh as described above. (4) a process of replacing with the maximum value extracted in (2), (4) a process of repeating the above processes (2) to (3) by shifting the mesh position to create a maximum point extraction filter, and (5) a point before the process. Processing of applying the maximum point extraction filter to the group data to extract feature points. FIG. 3 shows a schematic diagram of the flow of this processing.
図４乃至図８は、本フィルタ処理を説明するための図である。本図において枠の縦横は、平面方向における座標（ｘｙ座標）に応じた位置を示し、その枠内の数値はその座標における高さ（ｚ座標）のデータを示す。 4 to 8 are diagrams for explaining the present filter processing. In this figure, the vertical and horizontal directions of the frame indicate positions corresponding to the coordinates (xy coordinates) in the plane direction, and the numerical values in the frame indicate data of the height (z coordinates) at the coordinates.
本フィルタ処理は、まず、（１）メッシュを設定する。より具体的にはメッシュの大きさを設定する。ここでメッシュとは、点群に対して一度にどの程度の範囲の点群を処理するのかといった範囲を示す値である。例えばメッシュを３×３とすれば、ｘｙ方向において３×３＝９個の点群をメッシュとすることを意味する。図４の例では、３×３のメッシュを設定した場合の例を示している。 In this filter processing, first, (1) a mesh is set. More specifically, the size of the mesh is set. Here, the mesh is a value indicating a range such as how much point group is processed at a time with respect to the point group. For example, if the mesh is 3 × 3, it means that 3 × 3 = 9 point groups in the xy direction are used as the mesh. FIG. 4 shows an example in which a 3 × 3 mesh is set.
次に、本フィルタ処理では、（２）メッシュ内における最大値を抽出する処理を行う。具体的には、メッシュ内にある高さのデータのうちから最大のものを抽出する。この最大のものがメッシュ内の位置の最大点ということになる。図４の例では最大値は８であることがわかる。 Next, in the present filter process, (2) a process of extracting the maximum value in the mesh is performed. Specifically, the largest data is extracted from the height data in the mesh. This maximum is the maximum point in the mesh. It can be seen that the maximum value is 8 in the example of FIG.
そして、本フィルタ処理では、（３）メッシュの中心点の値を、上記（２）で抽出した最大値に置き換える。図５の例では、メッシュの中心点の値が８に置き換えた場合の例を示している。 Then, in this filter processing, (3) the value of the center point of the mesh is replaced with the maximum value extracted in (2). FIG. 5 shows an example in which the value of the center point of the mesh is replaced with 8.
そして、本フィルタ処理では、（４）メッシュの位置をずらして上記（１）〜（３）の処理を繰り返し行い、最大点抽出フィルタを作成する処理を行う。図６は一つ位置をずらしてメッシュを設定しなおした場合の例を示す。なお、隣接するメッシュは少なくとも一部重複していることが好ましい。このようにすることでよりフィルタの精度を高めることができる。またこの結果作成されたフィルタのイメージを図７に示しておく。 In this filter processing, (4) the processing of (1) to (3) is repeated by shifting the mesh position, and processing of creating a maximum point extraction filter is performed. FIG. 6 shows an example in which a mesh is set again by shifting one position. Note that adjacent meshes preferably overlap at least partially. By doing so, the accuracy of the filter can be further improved. FIG. 7 shows an image of the filter created as a result.
そして、本フィルタ処理では、（５）処理前の点群データに対して上記最大点抽出フィルタをかけて特徴点を抽出する処理を行う。より具体的には、高さの差分をとり、差分の少ない点を特徴点として特定する処理を行う。図８の例では、最大点抽出フィルタに設定された高さデータから当初の高さデータを差し引いた場合の例を示している。最大点抽出フィルタでは、メッシュ内の最大の点を抽出していく処理を行うため、当初の点群データにおける最大点ではその差分は小さく、その他の点では差分は大きくなるという傾向を示す。したがって、この最大点抽出フィルタとの差分の小さな点を特定し、これを特徴点として採用することができる。なお、本実施形態では少なくとも３つの特徴点を特定するため、差分の少ない点から上位３点を特徴点として採用することができる。もちろん、特徴点は３以上あってもよい。 In the present filter processing, (5) a process of extracting a feature point by applying the maximum point extraction filter to the point group data before the processing is performed. More specifically, a process of obtaining a difference in height and specifying a point having a small difference as a feature point is performed. FIG. 8 shows an example in which the initial height data is subtracted from the height data set in the maximum point extraction filter. Since the maximum point extraction filter performs a process of extracting the maximum point in the mesh, the difference is small at the maximum point in the initial point group data, and the difference is large at other points. Therefore, a point having a small difference from the maximum point extraction filter can be specified, and this can be adopted as a feature point. In the present embodiment, since at least three feature points are specified, the top three points with small differences can be adopted as feature points. Of course, there may be three or more feature points.
以上の処理によって、特徴点を抽出することができる。なお、上記は最大点抽出フィルタ処理について説明したが、これを最小値とすれば最小点抽出フィルタ処理が可能となる。またこの場合、上記説明で「最大点」とあるのを「最小点」とし、適宜微修正を行うことで対応することができる。 Through the above processing, feature points can be extracted. The maximum point extraction filter processing has been described above. However, if this is set to the minimum value, the minimum point extraction filter processing becomes possible. Also, in this case, the "maximum point" in the above description can be treated as a "minimum point", and a fine correction is made as appropriate.
そして、本プログラムでは、上記のように、各点群データに対し３点以上の特徴点を抽出した後、第一の特徴点と第二の特徴点を重ね合わせる処理を行う。 In this program, as described above, after extracting three or more feature points from each point group data, a process of superimposing the first feature point and the second feature point is performed.
第一の特徴点と第二の特徴点の重ね合わせは、それぞれの位置座標が最も近い関係にある、好ましくは一致する関係となるよう移動、回転、又は拡大若しくは縮小を行う処理である。本実施形態では、それぞれの点群において三点の特徴点を抽出しているため、この三点で三角形を形成し、この三角形同士が最も重なりの良い状態となるよう計算により求めることが好ましい。この場合のイメージ図を図９に示しておく。 The superposition of the first feature point and the second feature point is a process of moving, rotating, or enlarging or reducing the position coordinates so that the respective position coordinates have the closest relationship, preferably the same relationship. In the present embodiment, since three feature points are extracted in each point group, it is preferable that a triangle is formed by these three points and the triangle is obtained by calculation such that the triangles are in the state of the best overlap. FIG. 9 shows an image diagram in this case.
上記において、三角形同士を重ね合わせる方法としては、特に限定されるわけではないが、例えば、三角形の重心点を求め、この三角形の重心点から各頂点に線を伸ばし、この線間のなす角度を求め、この角度が一致するよう回転、移動、拡大若しくは縮小のそれぞれの量を求める処理を行う。 In the above, the method of superimposing triangles is not particularly limited. Then, processing is performed to determine the respective amounts of rotation, movement, enlargement, or reduction so that the angles match.
そして、本プログラムでは、第一の特徴点と第二の特徴点を重ね合わせる処理を行った際、求めた移動、回転、又は拡大若しくは縮小のそれぞれの量を点群データの各点に対し行い、重ね合わせの処理を行う。 In this program, when the first feature point and the second feature point are overlapped, the obtained amount of movement, rotation, or enlargement or reduction is performed for each point of the point cloud data. Then, a superposition process is performed.
そして、本プログラムでは、第一の点群と第二の点群を融合して一つの三次元データとして格納する。なお、点群データ同士の融合は、完全に融合させることとしてもよいが、位置データを融合する一方、後の他の処理や使用者の視覚上のわかりやすさの観点から、第一の点群データ、第二の点群データのいずれであったかを示すデータ（例えば色データ）を付加する構成としても良い。この場合のイメージを図１０に示しておく。 In this program, the first point group and the second point group are merged and stored as one three-dimensional data. The point cloud data may be completely fused.However, while the position data is fused, the first point cloud data may be fused from the viewpoint of other processing and visual clarity of the user later. Alternatively, data (for example, color data) indicating which of the second point group data was added may be added. An image in this case is shown in FIG.
本実施形態では、データの取り扱いの容易性の観点から第一の点群データと第二の点群データを融合させる処理としているが、場合によっては、第一の点群データと、第二の点群データとを別に保持し、他方の点群データと融合させるための変換後の点群データを第一の点群データ又は第二の点群データとは別に作成し、保持しておくことも好ましい。 In the present embodiment, the first point cloud data and the second point cloud data are merged from the viewpoint of ease of data handling, but in some cases, the first point cloud data and the second point cloud data are combined. Create and hold the converted point cloud data separately from the first point cloud data or the second point cloud data for holding the point cloud data separately and fusing it with the other point cloud data Is also preferred.
以上、発明によって、より容易に、二つの三次元データ群（点群データ）を融合することのできるデータ重ね合わせプログラムを提供することができ、上記プログラムは、コンピュータによって実行されることで、データ重ね合わせ方法を行うこととなる。また具体的に説明すると、通常、地形等の形状に関する情報を含む点群データの場合、ＧＰＳ等のデータ（以下単に「ＧＰＳデータ」という。）が付加されていればこのＧＰＳデータを利用することで二つの点群データ同士の位置合わせを行うことができると考える。しかしながら、ＧＰＳデータは取得の状況によって誤差が生じてしまうため、この誤差を解消しない限り正確な重ね合わせはできない。特に森林内における計測の場合は森林内の樹木による電波の乱反射等の障害により誤差は大きく、この誤差の解消は非常に困難を極める。ところが、本プログラムによる処理を用いると、特徴点を抽出し、これらの融合を図ることで、ＧＰＳデータを有していなくても正確に特徴点を抽出し、これらの重ね合わせを行うことができるといった極めて優れた効果を有する。 As described above, according to the present invention, it is possible to provide a data superimposition program that can easily fuse two three-dimensional data groups (point cloud data). The superposition method will be performed. More specifically, in the case of point cloud data including information on the shape of the terrain or the like, usually, if data such as GPS (hereinafter simply referred to as “GPS data”) is added, the GPS data is used. It can be considered that the two point cloud data can be aligned with each other. However, since errors occur in the GPS data depending on the situation of acquisition, accurate overlay cannot be performed unless the errors are eliminated. Particularly in the case of measurement in a forest, an error is large due to obstacles such as irregular reflection of radio waves by trees in the forest, and it is extremely difficult to eliminate this error. However, by using the processing according to this program, by extracting feature points and fusing them, it is possible to accurately extract feature points even if they do not have GPS data and to superimpose them. It has an extremely excellent effect.
なお、第一の点群データと第二の点群データの重ね合わせは、一方の点群データに対して移動等の変換処理を施して他方の点群データに重ね合わせる処理を行うが、一方の点群データがＧＰＳデータを含む航空機からの計測による点群データである場合、ＧＰＳデータの誤差は比較的小さくなるため、こちらの点群データに合わせておくことがＧＰＳによる位置データを含ませることができるため好ましい。一方、双方の点群データにＧＰＳデータが含まれていない場合、森林内における計測の方が正確であるため、森林内において取得した点群データに重ね合わせることが好ましい。 Note that the first point cloud data and the second point cloud data are superimposed by performing a conversion process such as movement on one point cloud data and superimposing it on the other point cloud data. If the point cloud data of the above is point cloud data obtained by measurement from an aircraft including GPS data, the error of the GPS data becomes relatively small. It is preferable because it can be performed. On the other hand, when the GPS data is not included in both the point cloud data, since the measurement in the forest is more accurate, it is preferable to overlap the point cloud data acquired in the forest.
（一方の点群データの融合）
ところで、一方の点群データにおいて、点群データは複数の点群データの融合によって作成される場合がある。これは、例えば点群データが森林内にレーザーセンサー等の装置を用いて作成される場合に有用である。具体的に説明すると、森林内にレーザーセンサー等の装置を配置する場合、森林中の樹木の幹等によってレーザーが遮断され影の部分が生じる。そのため、この影をなくすよう複数の位置にレーザーセンサー等を配置し、そのそれぞれの位置において点群データを取得し、データ同士を融合して一つの点群データとすることが好ましいのである。
(Fusion of one point cloud data)
By the way, in one point cloud data, the point cloud data may be created by fusing a plurality of point cloud data. This is useful, for example, when point cloud data is created in a forest using a device such as a laser sensor. More specifically, when a device such as a laser sensor is disposed in a forest, a laser is cut off by a tree trunk or the like in the forest, and a shadow portion is generated. Therefore, it is preferable to arrange laser sensors and the like at a plurality of positions so as to eliminate the shadow, obtain point cloud data at each of the positions, and fuse the data into one point cloud data.
ところが、森林内の測定により取得される森林点群データ（以下「森林点群データ」という。）においても、位置あわせが非常に困難であるといった課題がある。たとえＧＰＳを利用しようとしても、上記のとおり、森林内においては幹や葉による電波の乱反射による障害によってＧＰＳデータの誤差が大きく、融合は容易でないといった問題がある。 However, even in the forest point cloud data (hereinafter referred to as "forest point cloud data") acquired by measurement in the forest, there is a problem that alignment is extremely difficult. Even if it is attempted to use GPS, as described above, there is a problem that errors in GPS data are large in forests due to obstacles due to irregular reflection of radio waves by stems and leaves, and fusion is not easy.
そこで、本実施形態では、複数の森林点群データを融合して一つの点群データを得ようとする場合、（１）第一の森林点群データに基づき第一の地表面データを作成する処理、（２）第二の森林点群データに基づき第二の地表面データを作成する処理、（３）第一の森林点群データに基づき少なくとも３つの第一の樹木幹中心点データを作成する処理、（４）第二の森林点群データに基づき少なくとも３つの第二の樹木幹中心点データを作成する処理、（５）第一の樹木幹中心データと前記第二の樹木幹中心データを重ね合わせる処理、（６）第一の森林点群データと前記第二の森林点群データを融合する処理を行う。このフローの概略図を図１１に示しておく。 Therefore, in the present embodiment, when one point cloud data is to be obtained by fusing a plurality of forest point cloud data, (1) first ground surface data is created based on the first forest point cloud data. Processing, (2) processing of generating second ground surface data based on the second forest point cloud data, (3) generating at least three first tree trunk center point data based on the first forest point cloud data (4) a process of creating at least three second tree trunk center point data based on the second forest point cloud data; (5) a first tree trunk center data and the second tree trunk center data And (6) a process of fusing the first forest point cloud data with the second forest point cloud data. A schematic diagram of this flow is shown in FIG.
まず、（１）第一の森林点群データに基づき第一の地表面データを作成する。ここで「地表面データ」とは、地表形状、具体的には地表高さの情報を含む点群データをいう。 First, (1) first ground surface data is created based on the first forest point cloud data. Here, “ground surface data” refers to point cloud data including information on the ground surface shape, specifically, the ground surface height.
地表面データの作成方法としては、上記地表面データを作成することができる限りにおいて限定されるわけではないが、平面方向に沿って高さデータ及び隣接する点データ間の変化量（地表面の傾き）を求めていき、この変化量が所定の閾値を超えている場合は地表ではなくなっている部分（例えば穴や木の幹の部分）になったと判断し、この部分のデータを削除する。そして、この処理を平面全体に行い、残った部分の点データの集合を地表面データとして作成、記録することができる。なお、除去された部分のデータについては、データのある部分の端部同士を接続することで平坦面を形成することができる。この場合のイメージ図（断面）を図１２に示しておく。 The method of creating the ground surface data is not limited as long as the ground surface data can be created, but the height data along the plane direction and the amount of change between adjacent point data (the ground surface Slope) is obtained, and if the amount of change exceeds a predetermined threshold value, it is determined that the portion is no longer on the ground surface (for example, a hole or a trunk of a tree), and the data of this portion is deleted. This processing is performed on the entire plane, and a set of point data of the remaining portion can be created and recorded as ground surface data. As for the data in the removed portion, a flat surface can be formed by connecting the ends of the data portion. FIG. 12 shows an image diagram (cross section) of this case.
なお、本実施形態において、「第一の森林点群データ」、「第二の森林点群データ」とは、異なる点群データであること、「第一の地表面データ」「第二の地表面データ」とは、異なる地表面データを意味するものであって、「第一」「第二」自体に特別な技術的意味は含まれない。 In the present embodiment, “first forest point cloud data” and “second forest point cloud data” are different point cloud data, “first forest surface data”, “second forest point cloud data” “Surface data” means different ground surface data, and “first” and “second” do not have any special technical meaning.
次に、本実施形態では、（２）第二の森林点群データに基づき第二の地表面データを作成する処理を行うが、これは上記（１）と同様の処理を第二の森林点群データに同様の処理を行うことで実現できる。 Next, in the present embodiment, (2) a process of creating second ground surface data based on the second forest point cloud data is performed. This can be realized by performing similar processing on the group data.
次に、本方法では、（３）第一の森林点群データに基づき少なくとも３つの第一の樹木幹中心点データを作成する。「樹木幹中心点データ」とは、樹木の幹の中心点の位置に対応するデータをいう。 Next, in the present method, (3) at least three first tree trunk center point data are created based on the first forest point cloud data. “Tree trunk center point data” refers to data corresponding to the position of the center point of the tree trunk.
なおここで、樹木幹中心点データを作成するに当たり、本方法では、地形図に基づき森林点群データに対して高さ補正を行っておくことが好ましい。このようにすることで樹木の地面からの高さを正確に算出することができるようになる。具体的には、当初の点群データから地表面データを差し引いておくことが好ましい。このようにすることで、地面の高さをデータ処理から除去することができるようになる。 Here, in creating the tree trunk center point data, in the present method, it is preferable to perform height correction on the forest point cloud data based on the topographic map. By doing so, the height of the tree from the ground can be accurately calculated. Specifically, it is preferable to subtract the ground surface data from the initial point cloud data. In this way, the height of the ground can be removed from the data processing.
また第一の樹木幹中心点データを作成する手順としては、様々な方法を採用することができ、限定されるわけではないが、例えば、（３−１）樹木の断面データを抽出し、（３−２）この断面データから樹木幹中心データを算出する手順を例示することができる。 As a procedure for creating the first tree trunk center point data, various methods can be adopted and are not limited. For example, (3-1) section data of a tree is extracted, and 3-2) A procedure for calculating tree trunk center data from this cross-sectional data can be exemplified.
ここで、樹木の断面データの抽出は、特に限定されるわけではないが、地表面から所定の高さの点群データを抽出し、その集合の度合いの強い所定の範囲にある点群データの集合を幹の断面データとして抽出する処理が好ましい。このような処理により、樹木の断面を効率的に抽出することができる。またこの場合において、予め抽出対象とする特徴のある幹を少なくとも３本特定しておくことが好ましい。このようにしておくことで、後述の重ね合せ処理及び融合処理の対象を簡単に行うことができるようになる。なお、この場合において、抽出した樹木の断面データのイメージ図を図１３に示しておく。 Here, the extraction of the cross-sectional data of the tree is not particularly limited, but the point cloud data having a predetermined height is extracted from the ground surface, and the point cloud data in the predetermined range where the degree of the set is strong is extracted. A process of extracting a set as stem section data is preferable. Through such processing, the cross section of the tree can be efficiently extracted. In this case, it is preferable that at least three trunks having characteristics to be extracted are specified in advance. By doing so, it becomes possible to easily perform the target of the superimposition processing and the fusion processing described later. In this case, FIG. 13 shows an image diagram of the cross-sectional data of the extracted tree.
またここで断面データから樹木幹中心データを算出する手順としては、特に限定されるわけではないが、抽出した樹木の断面データの形成する形状を円形状の一部として仮定し、この中心点を求める方法としておくことは好ましい一例である。より具体的には、樹木の断面データのいずれか２点の点データを抽出し、この２点を結んだ直線の中心を通る垂線を求め、これら処理を複数回行い、この交点を樹木幹中心データとしておくことが好ましい。この場合のイメージ図を図１４に示しておく。ただしこの場合において、樹木の幹形状は必ずしも円形状ではないため、複数の垂線が同じ点で交差しない場合も想定される。したがって、複数交点が生じるような場合は、更にこれらの点の中心又は重心点を樹木幹中心データとして採用しておくことが好ましい。 The procedure for calculating the tree trunk center data from the cross-sectional data is not particularly limited, but the shape formed by the extracted tree cross-sectional data is assumed to be a part of a circular shape, and the center point is defined as It is a preferable example to determine the method. More specifically, point data of any two points of the cross-sectional data of the tree is extracted, a perpendicular line passing through the center of a straight line connecting the two points is obtained, and these processes are performed a plurality of times. It is preferable to store the data. FIG. 14 shows an image diagram in this case. However, in this case, since the trunk shape of the tree is not necessarily circular, a case where a plurality of perpendiculars do not intersect at the same point is also assumed. Therefore, when a plurality of intersections occur, it is preferable to further adopt the center or the center of gravity of these points as tree trunk center data.
なお、樹木幹中心データを算出した後、ｒａｄｉａｌ ｂａｓｉｓ Ｆｆｕｎｃｔｉｏｎ（ＲＤＦ）を用いて、樹木の断面形状を推定する処理を行っておくことも好ましい一例である。このようにすることで、樹木の断面データにおける点群データの密度の濃淡によらず、中心点からの距離による分布を推定することができ、この推定に基づき樹木の断面形状を推定することができる。 In addition, it is also a preferable example that after calculating the tree trunk center data, a process of estimating the cross-sectional shape of the tree is performed by using radial basis function (RDF). By doing so, it is possible to estimate the distribution according to the distance from the center point, regardless of the density of the point cloud data in the cross-sectional data of the tree, and to estimate the cross-sectional shape of the tree based on this estimation. it can.
また、本実施形態では（４）第二の森林点群データに基づき少なくとも３つの第二の樹木幹中心点データを作成する処理を行うが、これは上記第一の森林点群データに対する処理と同様の処理を行っておくことが好ましい。なおこの場合において、抽出する樹木幹中心点データは同じ樹木を指定しておくことが好ましい。 In the present embodiment, (4) a process of creating at least three second tree trunk center point data based on the second forest point cloud data is performed. It is preferable to perform the same processing. In this case, it is preferable that the same tree is designated as the tree trunk center point data to be extracted.
また第一の樹木幹中心データと前記第二の樹木幹中心データを重ね合わせる処理は、限定されるわけではないが、各森林点群データ中における少なくとも３つの樹木幹中心データが形成する三角形同士を重ね合わせる処理とすることができる。この処理は、上記において述べた第一の点群データ及び第二の点群データの重ね合わせと同様の処理を採用することができる。 Further, the processing of superimposing the first tree trunk center data and the second tree trunk center data is not limited, but the triangles formed by at least three tree trunk center data in each forest point cloud data are not limited. Can be superimposed. This processing can employ the same processing as the above-described superimposition of the first point cloud data and the second point cloud data.
そして、本プログラムでは、（６）第一の森林点群データと前記第二の森林点群データを融合する。なお、点群データ同士の融合は、完全に融合させることとしてもよいが、位置データを融合する一方、後の他の処理や使用者の視覚上のわかりやすさの観点から、第一の森林点群データ、第二の森林点群データのいずれであったかを示すデータ（例えば色データ）を付加する構成としても良い。 In this program, (6) the first forest point cloud data and the second forest point cloud data are merged. In addition, the fusion of the point cloud data may be completely merged.However, while the position data is fused, the first forest point cloud is considered from the viewpoint of later processing and visual clarity of the user. Data (for example, color data) indicating which of the data and the second forest point cloud data may be added.
以上、本プログラムによると、森林内の複数個所で撮影した森林点群データを簡便に重ね合せ、融合させることができるようになる。特に、本方法によると、幹の中心を少なくとも３点特定し、これらによって特定される特徴を一致させる処理（具体的な例としては三角形を重ね合せる処理）を行わせることで、簡便に二つの異なる森林点群データを抽出することができ、重ね合せ、融合することができるようになる。 As described above, according to this program, forest point cloud data photographed at a plurality of locations in the forest can be easily superimposed and fused. In particular, according to the present method, at least three points of the center of the trunk are specified, and a process of matching the features specified by these (specifically, a process of overlapping triangles) is performed. Different forest point cloud data can be extracted, superimposed and merged.
ここで、上記実施形態に係る方法について実際に点群データを取得し、このデータ融合について処理を行った。以下具体的に説明する。 Here, in the method according to the above embodiment, point cloud data was actually obtained, and processing was performed for this data fusion. This will be specifically described below.
まず、飛行機で取得した航空写真データ及びＳｆＭを用いて第一の点群データを取得した。この結果取得した第一の点群データについて図１５（ａ）に示しておく。 First, first point cloud data was obtained using aerial photograph data and SfM obtained by an airplane. FIG. 15A shows the first point group data acquired as a result.
次に、森林内にレーザー測定装置を用い、森林内における点群データの取得を行った。 Next, using a laser measurement device in the forest, point cloud data in the forest was obtained.
そして、上記実施形態において用いた手法により、第一の点群データと第二の点群データから３点ずつ特徴点を抽出し、これらを重ね合わせることで第一の点群データと第二の点群データとを重ね合わせ、融合した。この結果を図１５（ｂ）に示しておく。なお本図において、これらの点群データは色を異ならせて表示している。 Then, according to the method used in the above embodiment, feature points are extracted from the first point cloud data and the second point cloud data by three points, and by superimposing these, the first point cloud data and the second point cloud data are extracted. Point cloud data was superimposed and fused. The result is shown in FIG. In the figure, these point group data are displayed in different colors.
この結果、正確なＧＰＳデータを用いずとも、二つの点群データを正確に重ね合わせ、融合することができることを確認し、本発明の効果について確認することができた。 As a result, it was confirmed that the two point cloud data could be accurately overlapped and fused without using accurate GPS data, and the effect of the present invention could be confirmed.
本発明は、データ重ね合わせプログラム及びデータ重ね合わせ方法として産業上利用可能性がある。 INDUSTRIAL APPLICABILITY The present invention has industrial applicability as a data overlay program and a data overlay method.
Claims (4)
地上における森林測定によって取得された点群データを第二の点群データとし、
特徴点を樹木の頂点とし、
コンピュータに、
前記第一の点群データに基づき少なくとも３点の第一の特徴点を抽出する処理、
前記第二の点群データに基づき少なくとも３点の第二の特徴点を抽出する処理、
前記第一の特徴点と前記第二の特徴点を重ね合わせる処理、
前記第一の点群データ、前記第二の点群データのいずれであったかを示すデータを付加する処理、
を行わせるためのデータ重ね合わせプログラム。 Point cloud data obtained by forest measurement from the sky by aircraft as the first point cloud data,
Point cloud data obtained by forest measurement on the ground is used as second point cloud data,
The feature point is the top of the tree,
On the computer,
A process of extracting first feature points of at least three points on the basis of the first point group data,
A process of extracting second feature points of at least three points on the basis of the second point group data,
A process of superimposing the first feature point and the second feature point,
A process of adding data indicating which of the first point cloud data and the second point cloud data,
Data overlay program to make
前記第一の特徴点と前記第二の特徴点を重ね合わせる処理の後に、
前記第一の点群データと前記第二の点群データを融合する融合処理を付加したことを特徴とするデータ重ね合わせプログラム。 The data overlay program according to claim 1,
After the process of superimposing the second aspect and the first feature points,
Data superimposed program, characterized in that the addition of the fusion process of fusing the second point group data and the first point group data.
地上における森林測定によって取得された点群データを第二の点群データとし、
特徴点を樹木の頂点とし、
前記第一の点群データに基づき少なくとも３点の第一の特徴点を抽出し、
前記第二の点群データに基づき少なくとも３点の第二の特徴点を抽出し、
前記第一の特徴点と前記第二の特徴点を重ね合わせ、
前記第一の点群データ、前記第二の点群データのいずれであったかを示すデータを付加する、データ重ね合わせ方法。 Point cloud data obtained by forest measurement from the sky by aircraft as the first point cloud data,
Point cloud data obtained by forest measurement on the ground is used as second point cloud data,
The feature point is the top of the tree,
Extracting a first feature point of at least three points on the basis of the first point group data,
Extracting a second aspect of at least three points on the basis of the second point group data,
Superimposing the first feature point and the second feature point,
A data superimposition method, wherein data indicating whether the data is the first point cloud data or the second point cloud data is added .
前記第一の特徴点と前記第二の特徴点を重ね合わせた後に、
前記第一の点群データと前記第二の点群データを融合する融合処理を付加したことを特徴とするデータ重ね合わせ方法。
4. The data superposition method according to claim 3,
After superposition of the second aspect and the first feature points,
How superimposed data, characterized in that the addition of the fusion process of fusing the second point group data and the first point group data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014197627A JP6635649B2 (en) | 2014-09-26 | 2014-09-26 | Data overlay program and data overlay method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014197627A JP6635649B2 (en) | 2014-09-26 | 2014-09-26 | Data overlay program and data overlay method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016070708A JP2016070708A (en) | 2016-05-09 |
| JP6635649B2 true JP6635649B2 (en) | 2020-01-29 |
Family
ID=55866677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014197627A Active JP6635649B2 (en) | 2014-09-26 | 2014-09-26 | Data overlay program and data overlay method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6635649B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6400252B2 (en) * | 2016-06-01 | 2018-10-03 | 三菱電機株式会社 | Alignment device, alignment method, and alignment program |
| JP6684029B2 (en) * | 2016-12-22 | 2020-04-22 | 日立Ｇｅニュークリア・エナジー株式会社 | Point cloud processing device and point cloud processing method |
| JP6869125B2 (en) * | 2017-06-30 | 2021-05-12 | 株式会社パスコ | Measurement means decision support device and measurement means decision support program |
| JP7123366B2 (en) * | 2018-02-26 | 2022-08-23 | 株式会社 ジツタ | Evaluation method for standing trees in a forest area and boundary survey method suitable for identifying the evaluation target area in this evaluation method |
| JP7298823B2 (en) * | 2019-08-22 | 2023-06-27 | 株式会社 ジツタ | Evaluation method for standing trees in a forest area and boundary survey method suitable for identifying the evaluation target area in this evaluation method |
| JP7217855B2 (en) * | 2020-10-14 | 2023-02-06 | 株式会社興和 | Forest resource information generation structure |
| JP7228070B1 (en) | 2022-07-20 | 2023-02-22 | 株式会社ダイヘン | Point cloud data synthesizing device, point cloud data synthesizing program, point cloud data synthesizing method, and point cloud data synthesizing system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09237346A (en) * | 1995-12-26 | 1997-09-09 | Ainesu:Kk | Method for composing partial stereoscopic model and method for preparing perfect stereoscopic model |
| JP3054108B2 (en) * | 1997-08-15 | 2000-06-19 | 理化学研究所 | Free-form surface measurement data synthesis method |
| WO2010032495A1 (en) * | 2008-09-16 | 2010-03-25 | 株式会社アドイン研究所 | Tree information measuring method, tree information measuring device, and program |
| US8352410B2 (en) * | 2009-12-17 | 2013-01-08 | Utility Risk Management Corporation, Llc | Method and system for estimating vegetation growth relative to an object of interest |
| JP5963353B2 (en) * | 2012-08-09 | 2016-08-03 | 株式会社トプコン | Optical data processing apparatus, optical data processing system, optical data processing method, and optical data processing program |
| JP6150531B2 (en) * | 2013-01-21 | 2017-06-21 | 三菱重工業株式会社 | Terrain information acquisition device, terrain information acquisition system, terrain information acquisition method and program |
-
2014
- 2014-09-26 JP JP2014197627A patent/JP6635649B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016070708A (en) | 2016-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6635649B2 (en) | Data overlay program and data overlay method | |
| US10580204B2 (en) | Method and device for image positioning based on 3D reconstruction of ray model | |
| DK3144881T3 (en) | PROCEDURE FOR 3D PANORAMA MOSAIC CREATION OF A SCENE | |
| US8315425B2 (en) | Method for comparison of 3D computer model and as-built situation of an industrial plant | |
| CN104361628B (en) | A kind of three-dimensional live modeling based on aviation oblique photograph measurement | |
| KR100912715B1 (en) | Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors | |
| JP6298035B2 (en) | Model generation device, position and orientation calculation device, and handling robot device | |
| KR101668006B1 (en) | Satellite Based Method and System for Constructing 3D GIS Data | |
| JP6631206B2 (en) | Earthwork management method | |
| CN105513119B (en) | A kind of road and bridge three-dimensional rebuilding method and device based on unmanned plane | |
| CN111737790B (en) | Method and equipment for constructing simulated city model | |
| JP6238101B2 (en) | Numerical surface layer model creation method and numerical surface layer model creation device | |
| KR20110070660A (en) | Three-dimensional urban modeling apparatus and three-dimensional urban modeling method | |
| EP3413266B1 (en) | Image processing device, image processing method, and image processing program | |
| Cosso et al. | Surveying and mapping a cave using 3d laser scanner: the open challenge with free and open source software | |
| JP2012137933A (en) | Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device | |
| Cefalu et al. | Image based 3D Reconstruction in Cultural Heritage Preservation. | |
| KR100732915B1 (en) | Method for three-dimensional determining of basic design road route using digital photommetry and satellite image | |
| JP2015125092A (en) | Consistency determination method of measurement result and consistency determination apparatus of measurement result | |
| US10970929B2 (en) | Boundary detection using vision-based feature mapping | |
| ITRM20130115A1 (en) | PROCEDURE AND MATCHING DEVICE FOR THE DIGITAL MODELING OF OBJECTS BY STEREOSCOPIC IMAGES | |
| KR20190004086A (en) | Method for generating three-dimensional object model | |
| JP2005251035A (en) | Device, method and program for creating three-dimensional model | |
| JP2015141147A (en) | Charting method by point group image, and charting device by point group image | |
| JP6514901B2 (en) | Survey data processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20141023 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170831 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20170913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180730 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6635649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |