JP6334281B2 - Forest phase analysis apparatus, forest phase analysis method and program - Google Patents

Forest phase analysis apparatus, forest phase analysis method and program Download PDF

Info

Publication number
JP6334281B2
JP6334281B2 JP2014119575A JP2014119575A JP6334281B2 JP 6334281 B2 JP6334281 B2 JP 6334281B2 JP 2014119575 A JP2014119575 A JP 2014119575A JP 2014119575 A JP2014119575 A JP 2014119575A JP 6334281 B2 JP6334281 B2 JP 6334281B2
Authority
JP
Japan
Prior art keywords
forest
fauna
region
statistical distribution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014119575A
Other languages
Japanese (ja)
Other versions
JP2015023858A (en
Inventor
秀樹 島村
秀樹 島村
林 朱
林 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2014119575A priority Critical patent/JP6334281B2/en
Publication of JP2015023858A publication Critical patent/JP2015023858A/en
Application granted granted Critical
Publication of JP6334281B2 publication Critical patent/JP6334281B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、上空から森林を撮影した画像と当該画像とは別の時期の既存の林相区分図とから森林の変化領域を抽出する林相解析装置、林相解析方法及びプログラムに関する。   The present invention relates to a forest facies analysis apparatus, a forest facies analysis method, and a program for extracting a forest change region from an image obtained by photographing a forest from the sky and an existing forest facies division map at a different time from the image.

航空機などによる上空からのリモートセンシングは、広範囲での地上の状況把握が可能であり、伐採や風倒被害等による森林変化の検出や、森林の林相区分図の作成に利用されている。ちなみに、我が国では一般に数年を単位として森林の計画・管理が行われており、これに対応して森林の調査や林相区分図の更新も数年程度ごとに行われる。   Remote sensing from the sky by aircraft or the like can grasp the situation on the ground over a wide range, and is used to detect forest changes due to felling, wind damage, etc., and to create a forest fauna classification map. Incidentally, in Japan, forest planning and management is generally carried out in units of several years, and in response to this, forest surveys and forest fauna classification maps are also updated every few years.

既存の林相区分図と新しく取得した航空写真等の高分解能画像データとを利用した森林変化の検出や林相区分図の更新は従来、基本的に人間が目視判読によって行っている。しかしながら、広範囲にわたる目視判読には膨大な時間を要するため、より効率的な森林変化検出、並びに林相区分図更新の手法が求められている。   Conventionally, human detection of forest changes and updates of forest phase classification maps using existing forest phase classification maps and newly acquired high-resolution image data such as aerial photographs are basically carried out by visual interpretation. However, since a large amount of time is required for visual interpretation over a wide area, more efficient methods for detecting forest changes and updating the forest fauna classification map are required.

森林変化を自動判読する従来技術として、新年度の画像から作成された林相区分図を既存の林相区分図と比較する手法が知られている。また、森林を撮影した画像から林相区分図を自動生成する技術に関しては、当該画像を領域分割して、類似した特徴を持つ複数の小領域である林相区画を生成し、当該林相区画ごとに林相分類を行う手法が研究されている。   As a conventional technique for automatically interpreting forest changes, there is known a method for comparing a forest phase map created from an image of a new year with an existing forest phase map. In addition, regarding the technology for automatically generating a forest fauna map from an image of forests, the image is divided into regions to generate forest fauna compartments that are a plurality of small regions with similar characteristics, and forest fauna compartments for each forest fauna compartment. Methods for classification are being studied.

特開2008−046837号公報JP 2008-046837 A 特開2011−024471号公報JP 2011-024471 A

森林変化の自動検出において、既存の林相区分図と比較される新年度の林相区分図を自動生成する際に、森林を撮影した画像から取得した教師データを用いて林相分類が行われる。従来、教師データの取得に際しては人間が各林相に該当する領域を選択し、当該領域から各林相の教師データが抽出される。そのため、林相区分図の作成は完全には自動化されておらず、森林変化の検出作業も十分に効率化・自動化されていなかった。   In the automatic detection of forest changes, when automatically generating a forest phase map for the new year to be compared with the existing forest phase map, forest phase classification is performed using teacher data acquired from images of forests. Conventionally, when acquiring teacher data, a human selects a region corresponding to each forest phase, and the teacher data of each forest phase is extracted from the region. For this reason, the creation of forest facies map has not been fully automated, and the detection of forest changes has not been sufficiently efficient and automated.

また、上述の林相に関する教師データの取得は人間の作業負荷に起因して画像の一部分から行われる。ここで、同じ林相であってもその特徴は画像内でばらつきを有する。そのため、画像の一部分から得られた教師データを用いて生成した林相区分図には誤分類が生じやすい。そのため、自動生成された林相区分図を直接利用して森林の変化検出を行うと誤検出が発生しやすいという問題があった。   In addition, the acquisition of the teacher data regarding the above-mentioned forestry is performed from a part of the image due to the human workload. Here, even in the same forest phase, the characteristics vary within the image. For this reason, misclassification is likely to occur in the forest fauna map generated using the teacher data obtained from a part of the image. For this reason, there is a problem that erroneous detection is likely to occur when forest change detection is directly performed using the automatically generated forest phase classification map.

本発明は上記問題点を解決するためになされたものであり、既存の林相区分図と航空写真等の高分解能の画像とを利用して森林の変化領域を高精度で自動的に検出することを可能とし、ひいては林相区分図の自動生成を可能とする林相解析装置、林相解析方法及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-mentioned problems, and automatically detects a forest change region with high accuracy using an existing forest fauna map and high-resolution images such as aerial photographs. It is an object of the present invention to provide a forest facies analysis apparatus, a forest facies analysis method, and a program that enable automatic generation of forest facies division maps.

(1)本発明に係る林相解析装置は、森林を含む対象地域の第1の時期における既知の林相区分図での各林相の領域に対応して、前記対象地域を第2の時期に上空から撮影した原画像に注目領域を設定し、前記各林相の前記注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める統計分布作成手段と、前記各注目領域での前記統計分布における外れ値を検出し、当該外れ値を与える前記要素領域を当該注目領域において前記第1の時期との間で前記林相が変化した変化領域として検出する変化領域検出手段と、を有する。   (1) The forest fauna analysis apparatus according to the present invention corresponds to each forest fauna area in the known forest fauna division map in the first period of the target area including the forest, and the target area is viewed from the sky in the second period. Statistical distribution creating means for setting a region of interest in the captured original image and obtaining a statistical distribution for image feature information extracted for each predetermined element region in the region of interest of each forest phase; Change area detection means for detecting an outlier in the statistical distribution and detecting the element area that gives the outlier as a change area in which the forest phase has changed between the first period in the attention area. .

(2)上記(1)に記載する林相解析装置において、さらに、前記第1の時期の前記林相区分図に前記変化領域を反映させて前記第2の時期の林相区分図を生成する林相区分図生成手段を有する構成とすることもできる。   (2) In the forest fauna analysis apparatus described in (1) above, further, the forest fauna segmentation diagram that generates the forest fauna segmentation diagram of the second time period by reflecting the change region in the forest fauna segmentation diagram of the first time period. It can also be set as the structure which has a production | generation means.

(3)上記(1)又は(2)に記載する林相解析装置において、さらに、前記原画像の1又は複数種類の区画用特徴量の類似性に基づいて前記対象地域を複数領域に分割して前記森林の林相区画を生成し出力する林相区画生成手段を備え、前記統計分布作成手段及び前記変化領域検出手段における前記要素領域が前記林相区画である構成とすることもできる。   (3) In the forest fauna analysis apparatus described in the above (1) or (2), the target area is further divided into a plurality of regions based on the similarity of one or more types of partition feature quantities of the original image. A forest fauna compartment generating means for generating and outputting the forest fauna compartment may be provided, and the element area in the statistical distribution creating means and the change area detecting means may be the forest fauna compartment.

(4)上記(3)に記載する林相解析装置において、さらに、前記原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させた劣化画像を生成する画像劣化手段を備え、前記林相区画生成手段が、前記劣化画像を、その1又は複数種類の前記区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画手段と、隣接する林相区画をそれらの1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画手段と、を備え、前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行う構成とすることができる。   (4) In the forest fauna analysis apparatus described in (3) above, image degradation means for generating a degraded image in which the resolution is reduced from the original image using a region composed of a plurality of adjacent pixels of the original image as a pixel. An initial compartment means for dividing the degraded image into a plurality of regions based on the similarity of the one or a plurality of types of feature values, and creating a forest fauna compartment; and an adjacent forest fauna compartment Are combined on the basis of the similarity of the one or a plurality of types of the feature values for the partition to generate a new forest fauna partition once or a plurality of times, and the forest fauna partition of the forest in the target area is obtained. And subsequent partition means for outputting, the succeeding partition means performs at least one sequential partition processing on the partition feature amount of the original image, or each of the sections of the original image and the degraded image. It can be configured to perform, based on the use feature amount.

(5)上記(3)又は(4)に記載する林相解析装置において、前記原画像からテクスチャ情報を抽出するテクスチャ情報抽出手段を備え、前記統計分布作成手段が、前記林相区画生成手段から出力される前記各林相区画から抽出された前記テクスチャ情報を前記特徴情報として前記統計分布を求める構成とすることができる。   (5) In the forest fauna analyzing apparatus described in (3) or (4), the forest fauna analyzing apparatus includes texture information extracting means for extracting texture information from the original image, and the statistical distribution creating means is output from the forest fauna section generating means. The statistical distribution can be obtained by using the texture information extracted from the forest stand sections as the feature information.

(6)上記(5)に記載する林相解析装置において、前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段を備え、前記統計分布作成手段が、前記林相区画生成手段から出力される前記各林相区画から抽出された前記テクスチャ情報及び前記スペクトル情報を前記特徴情報として前記統計分布を求める構成とすることができる。   (6) The forest fauna analysis apparatus according to (5), further including spectrum information extraction means for extracting spectrum information from the original image, wherein the statistical distribution creation means is the forest fauna output from the forest fauna section generation means. The statistical distribution can be obtained by using the texture information and the spectrum information extracted from the section as the feature information.

(7)上記(3)又は(4)に記載する林相解析装置において、前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段を有し、前記統計分布作成手段は、前記林相区画生成手段から出力される前記各林相区画から抽出された前記スペクトル情報を前記特徴情報として前記統計分布を求める構成とすることができる。   (7) In the forest fauna analysis apparatus according to (3) or (4), the forest fauna analyzing apparatus includes a spectrum information extracting unit that extracts spectrum information from the original image, and the statistical distribution creating unit outputs from the forest fauna section generating unit. The statistical distribution can be obtained using the spectrum information extracted from each forest fauna section as the feature information.

(8)本発明に係る林相解析方法は、森林を含む対象地域の第1の時期における既知の林相区分図での各林相の領域に対応して、前記対象地域を第2の時期に上空から撮影した原画像に注目領域を設定し、前記各林相の前記注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める統計分布作成ステップと、前記各注目領域での前記統計分布における外れ値を検出し、当該外れ値を与える前記要素領域を当該注目領域において前記第1の時期との間で前記林相が変化した変化領域として検出する変化領域検出ステップと、を有する。   (8) The forest fauna analysis method according to the present invention corresponds to each forest fauna area in the known forest fauna division map in the first period of the target area including the forest, and the target area from the sky in the second period. A statistical distribution creating step for obtaining a statistical distribution for the feature information of the image extracted for each predetermined element area in the attention area of each forestry phase by setting an attention area in the captured original image; and in each of the attention areas A change area detection step of detecting an outlier in the statistical distribution and detecting the element area that gives the outlier as a change area in which the forest phase has changed between the first period and the attention area. .

(9)本発明に係るプログラムは、コンピュータに、森林を含む対象地域における林相解析を行わせるためのプログラムであって、当該コンピュータを、森林を含む対象地域の第1の時期における既知の林相区分図での各林相の領域に対応して、前記対象地域を第2の時期に上空から撮影した原画像に注目領域を設定し、前記各林相の前記注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める統計分布作成手段、及び、前記各注目領域での前記統計分布における外れ値を検出し、当該外れ値を与える前記要素領域を当該注目領域において前記第1の時期との間で前記林相が変化した変化領域として検出する変化領域検出手段、として機能させる。   (9) A program according to the present invention is a program for causing a computer to perform a forest facies analysis in a target area including a forest, and the computer is used to identify a known forest facies classification in a first period of the target area including a forest. Corresponding to the area of each forest fauna in the figure, the target area is set in the original image taken from the sky in the second period, and extracted for each predetermined element area in the attention area of each forest fauna Statistical distribution creating means for obtaining a statistical distribution for the feature information of the image to be detected, and an outlier in the statistical distribution in each region of interest is detected, and the element region that gives the outlier is the first region in the region of interest It is made to function as a change area detection means for detecting as a change area in which the forest phase has changed between the two times.

本発明によれば、既存の林相区分図と航空写真等の高分解能の画像とを利用して森林の変化領域を高精度で自動的に検出することが可能となり、ひいては林相区分図の自動生成が可能となる。   According to the present invention, it is possible to automatically detect a forest change region with high accuracy by using an existing forest phase map and a high-resolution image such as an aerial photograph, and thus automatic generation of a forest phase map. Is possible.

本発明の第1の実施形態である林相解析システムの概略の構成を示すブロック図である。It is a block diagram which shows the structure of the outline of the forest facies analysis system which is the 1st Embodiment of this invention. 日向/日陰分布パターンの例を示す説明図である。It is explanatory drawing which shows the example of a sunshine / shade distribution pattern. 日向/日陰境界パターンの例を示す説明図である。It is explanatory drawing which shows the example of a sunny / shade boundary pattern. LBP画像の例を示す説明図である。It is explanatory drawing which shows the example of a LBP image. 正規化処理前のオルソ画像の例を示す画像である。It is an image which shows the example of the ortho image before a normalization process. 図5の画像を正規化処理して得られた画像である。6 is an image obtained by normalizing the image of FIG. 本発明の実施形態である林相解析システムにおける概略のデータフロー図である。It is a schematic data flow figure in the forest facies analysis system which is an embodiment of the present invention. 林相区画生成部による林相区画の生成処理を説明する概略のフロー図である。It is a general | schematic flowchart explaining the production | generation process of the forest fauna compartment by a forest fauna compartment production | generation part. 階層的な領域分割処理の最初の階層にて低分解能画像から生成された林相区画の例を示す画像である。It is an image which shows the example of the forest fauna division produced | generated from the low-resolution image in the first hierarchy of a hierarchical area | region division process. 階層的な領域分割処理の途中階層にて生成された林相区画の例を示す画像である。It is an image which shows the example of the forest fauna division produced | generated in the middle hierarchy of the hierarchical area | region division process. 図10に示す階層より後の階層にて生成された林相区画の例を示す画像である。It is an image which shows the example of the forest fauna division produced | generated in the hierarchy after the hierarchy shown in FIG. テクスチャ解析部及びスペクトル解析部による特徴情報データの抽出処理を説明する概略のフロー図である。It is a general | schematic flowchart explaining the extraction process of the feature information data by a texture analysis part and a spectrum analysis part. 注目領域に関する統計分布の模式図である。It is a schematic diagram of the statistical distribution regarding an attention area. 本発明の第2の実施形態である林相解析システムの概略の構成を示すブロック図である。It is a block diagram which shows the structure of the outline of the forest facies analysis system which is the 2nd Embodiment of this invention.

以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。   Hereinafter, embodiments of the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings.

[第1の実施形態]
図1は、第1の実施形態である林相解析システム2の概略の構成を示すブロック図である。本システムは、演算処理装置4、記憶装置6、入力装置8及び出力装置10を含んで構成される。演算処理装置4として、本システムの処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置4は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of a forest facies analysis system 2 according to the first embodiment. The system includes an arithmetic processing device 4, a storage device 6, an input device 8, and an output device 10. As the arithmetic processing unit 4, it is possible to make dedicated hardware for performing the processing of this system. However, in this embodiment, the arithmetic processing unit 4 is constructed using a computer and a program executed on the computer. Is done.

演算処理装置4は、コンピュータのCPU(Central Processing Unit)からなり、後述する林相区画生成部20、テクスチャ解析部22、スペクトル解析部24、統計分布作成部26、変化領域検出部28、林相区分図生成部30として機能する。   The arithmetic processing unit 4 is composed of a CPU (Central Processing Unit) of a computer, and will be described later with reference to a forest phase section generation unit 20, a texture analysis unit 22, a spectrum analysis unit 24, a statistical distribution creation unit 26, a change region detection unit 28, and a forest phase division diagram. It functions as the generation unit 30.

記憶装置6はROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置である。記憶装置6は演算処理装置4にて実行される各種のプログラムや、本システムの処理に必要な各種データを記憶し、演算処理装置4との間でこれらの情報を入出力する。例えば、記憶装置6には、オルソ画像データ40、林相区分図データ42、林相区画に関するスペクトル条件44及び幾何条件46が予め格納される。   The storage device 6 is a memory device such as a ROM (Read Only Memory) or a RAM (Random Access Memory). The storage device 6 stores various programs executed by the arithmetic processing device 4 and various data necessary for processing of the present system, and inputs / outputs such information to / from the arithmetic processing device 4. For example, the storage device 6 stores in advance ortho image data 40, forest facies section map data 42, spectral conditions 44 and geometric conditions 46 relating to forest facies sections.

オルソ画像データ40は航空機等から撮影された空中写真画像に基づいて生成される。本システムではオルソ画像データ40は、森林を含む対象地域を上空から撮影した原画像として用いられる高分解能画像データであり、例えば、赤(R)、緑(G)、青(B)の3成分からなる3バンドのマルチスペクトル画像、又はこれらに近赤外(NIR)を加えた4成分からなる4バンドのマルチスペクトル画像である。   The ortho image data 40 is generated based on an aerial photograph image taken from an aircraft or the like. In this system, the ortho image data 40 is high-resolution image data used as an original image obtained by photographing a target area including a forest from the sky. For example, three components of red (R), green (G), and blue (B) are used. Or a four-band multispectral image composed of four components obtained by adding the near infrared (NIR) to the three-band multispectral image.

林相区分図データ42は、オルソ画像データ40に映る対象地域についての既存の林相区分図を表すデータである。林相区分図データ42は対象地域を領域分割して得られる要素領域である林相区画と、当該区画における林相とを表す。ここで、林相区分図データ42は時期T1に関するものであり、一方、オルソ画像データ40は時期T1とは異なる時期T2に関するものであるとする。T1とT2との前後関係は任意であるが、本実施形態に示す例ではT1がT2に先行するものとする。   The forest phase map data 42 is data representing an existing forest phase map for the target area shown in the ortho image data 40. The forest fauna division map data 42 represents forest fauna sections that are elemental areas obtained by dividing the target area into regions and forest faunas in the sections. Here, it is assumed that the forest phase classification map data 42 relates to the time T1, while the ortho image data 40 relates to the time T2 different from the time T1. Although the anteroposterior relationship between T1 and T2 is arbitrary, in the example shown in the present embodiment, T1 is assumed to precede T2.

スペクトル条件44及び幾何条件46は、原画像を領域分割して生成されるオブジェクト領域である林相区画が満たすべき条件である。スペクトル条件44は林相区画を構成する画素群の色(Color)や濃度・明るさから抽出されるスペクトル特徴量に関する条件を規定する。例えば、スペクトル特徴量として各色(バンド)の平均値、標準偏差などの統計量を用いることができる。一方、幾何条件46は林相区画の幾何特徴量である形状(Shape)に関する条件を規定する。例えば、形状は、コンパクトネス(Compactness)やスムースネス(Smoothness)といったパラメータで表される。   The spectral condition 44 and the geometric condition 46 are conditions that should be satisfied by the forest section that is an object region generated by dividing the original image into regions. The spectrum condition 44 defines a condition relating to a spectral feature amount extracted from the color, density, and brightness of the pixel group constituting the forest fauna compartment. For example, a statistical quantity such as an average value or standard deviation of each color (band) can be used as the spectral feature quantity. On the other hand, the geometric condition 46 defines a condition related to a shape (Shape) which is a geometric feature amount of the forest fauna section. For example, the shape is represented by parameters such as compactness and smoothness.

入力装置8は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。   The input device 8 is a keyboard, a mouse, or the like, and is used for a user to operate the system.

出力装置10は、ディスプレイ、プリンタなどであり、本システムにより生成された林相区画や林相区分図(林分図)を画面表示、印刷等によりユーザに示す等に用いられる。また、林相区画や林相区分に関するデータを他のシステムで利用できるよう、データとして出力してもよい。   The output device 10 is a display, a printer, or the like, and is used to display a forest stand section or a forest stand division map (forest stand map) generated by the present system to a user by screen display, printing, or the like. Moreover, you may output as data so that the data regarding forest facies division and forest facies classification can be used in other systems.

林相区画生成部20は、オルソ画像データ40に対して階層的に領域分割処理を行って林相区画を生成する。林相区画生成部20は、低分解能画像生成部70、初期区画部72及び後続区画部74を有する。   The forest phase section generation unit 20 performs a region division process on the ortho image data 40 in a hierarchical manner to generate forest phase sections. The forest phase section generation unit 20 includes a low resolution image generation unit 70, an initial partition section 72, and a subsequent partition section 74.

低分解能画像生成部70は、高分解能のオルソ画像データ40をディグラデーション処理して分解能を低下させた低分解能画像(劣化画像)を生成する画像劣化手段であり、低分解能画像の画素はオルソ画像データ40における隣接する複数画素からなる領域に対応する。ここでは区別を容易にするために、オルソ画像データ40の画素を原画素、低分解能画像の画素を拡大画素と表現する。例えば、低分解能画像はオルソ画像データ40を一様なサンプリング密度でダウンサンプリングして生成することができ、拡大画素の画素値はオルソ画像データ40にて対応する領域内の複数の原画素を代表する値に設定することができる。例えば、低分解能画像生成部70は、原画像に対し所定のフィルタを用いた畳み込みにより平滑化処理を行い、拡大画素の画素値を当該拡大画素内の所定位置の原画素での平滑化処理後の画素値に設定することができる。一般的な画像では、注目画素に距離が近い画素の輝度値は注目画素の輝度値と近くなる場合が多く、注目画素から遠ざかるほど、注目画素の輝度値との差が大きくなる場合が多い。このような性質を考慮し、注目画素に近いほど平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくするように2次元ガウス分布を用いて画像の平滑化を行うガウシアンフィルタが知られている。拡大画素の画素値を求める際の平滑化処理に、このガウシアンフィルタを採用することができる。また、より簡単な手法として例えば、拡大画素の画素値はそれに対応する複数の原画素の画素値の平均値、中央値などで定義することもできる。   The low-resolution image generation unit 70 is an image deterioration unit that generates a low-resolution image (degraded image) in which the resolution is lowered by performing a gradation process on the high-resolution ortho-image data 40, and the pixels of the low-resolution image are ortho-images. This corresponds to a region composed of a plurality of adjacent pixels in the data 40. Here, for easy discrimination, the pixels of the ortho image data 40 are expressed as original pixels, and the pixels of the low resolution image are expressed as enlarged pixels. For example, the low-resolution image can be generated by down-sampling the ortho-image data 40 at a uniform sampling density, and the pixel value of the enlarged pixel is representative of a plurality of original pixels in the corresponding region in the ortho-image data 40. Can be set to a value. For example, the low-resolution image generation unit 70 performs smoothing processing on the original image by convolution using a predetermined filter, and the pixel value of the enlarged pixel is subjected to smoothing processing at the original pixel at a predetermined position in the enlarged pixel. Can be set to the pixel value. In a general image, the luminance value of a pixel that is close to the target pixel often becomes closer to the luminance value of the target pixel, and the difference from the luminance value of the target pixel often increases as the distance from the target pixel increases. Considering these properties, a Gaussian filter that smoothes an image using a two-dimensional Gaussian distribution is known so that the weight when calculating an average value increases as it is closer to the target pixel, and the weight decreases as it is further away. It has been. This Gaussian filter can be employed for the smoothing process when obtaining the pixel value of the enlarged pixel. As a simpler method, for example, the pixel value of the enlarged pixel can be defined by an average value, a median value, or the like of the pixel values of a plurality of original pixels corresponding thereto.

初期区画部72は階層的な領域分割処理の最初の階層の処理を行う。具体的には画像のスペクトル特徴量及び幾何特徴量のいずれか、又は両方を区画用特徴量とし、初期区画部72は低分解能画像生成部70により生成された低分解能画像を区画用特徴量の類似性に基づいて複数領域に分割し1次の林相区画を生成する。例えば、初期区画部72は、互いに隣接する複数の拡大画素からなる領域を1次の林相区画とするか否かを、それら拡大画素の画素値のスペクトル特徴量の類似性(スペクトル条件)と、それら拡大画素を結合して得られる領域についての幾何特徴量の類似性(幾何条件)とに基づいて決定する。   The initial partition unit 72 performs processing of the first hierarchy of hierarchical area division processing. Specifically, one or both of the spectral feature quantity and the geometric feature quantity of the image are set as the feature values for partitioning, and the initial partition unit 72 uses the low resolution image generated by the low resolution image generation unit 70 as the feature value for partitioning. Based on the similarity, it is divided into a plurality of regions, and primary forest fauna sections are generated. For example, the initial partition unit 72 determines whether or not a region composed of a plurality of adjacent enlarged pixels is a primary forest phase compartment, similarity of spectral feature amounts (spectral conditions) of pixel values of these enlarged pixels, and It is determined based on the similarity (geometric condition) of the geometric feature amount for the region obtained by combining these enlarged pixels.

後続区画部74は階層的な領域分割処理の第2の階層以降の処理を行う。具体的には後続区画部74は、隣接する林相区画を結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行う。逐次区画処理は、互いに隣接する複数の低次の林相区画について、それらのスペクトル特徴量の類似性と、それらを結合して得られる高次の林相区画についての幾何特徴量の類似性とに基づいて、それら低次の林相区画を結合するか否かを決める。   The succeeding partition unit 74 performs processing after the second layer of the hierarchical area division processing. Specifically, the succeeding partition unit 74 performs a sequential partition process once or a plurality of times by combining adjacent forest fauna partitions to generate a new forest fauna partition. Sequential parcel processing is based on the similarity of their spectral features for a plurality of adjacent low-order forest fauna compartments and the similarity of geometric features for higher-order forest fauna compartments obtained by combining them. Decide whether or not to join these lower forest fauna compartments.

本実施形態では後続区画部74は逐次区画処理として、初期区画部72にて生成された低分解能画像の領域分割処理結果である林相区画内における低分解能画像と高分解能画像(原画像)との両方、あるいは高分解能画像のみを用いて領域分割処理を行う。低分解能画像からは、林相区画の結合可否の判断に用いる画素値のスペクトル特徴量として、林相区画内に包含される拡大画素群についてのスペクトル特徴量を求める。一方、高分解能画像からは、林相区画の結合可否の判断に用いる画素値のスペクトル特徴量として、林相区画内に包含される原画素群についてのスペクトル特徴量を求める。なお、後続区画部74は少なくとも1回の逐次区画処理が、高分解能画像の画素値のスペクトル特徴量、又は高分解能画像及び低分解能画像それぞれの画素値のスペクトル特徴量に基づいて行う領域分割処理である構成とすることもできる。すなわち、後続区画部74が複数回の逐次区画処理を行う場合に、そのうち一部の回数は低分解能画像の画素値だけからスペクトル特徴量を抽出し、それに基づいて領域分割処理を行ってもよい。   In the present embodiment, the subsequent partitioning unit 74 performs the sequential partitioning process between the low resolution image and the high resolution image (original image) in the forest phase partitioning that are the result of the region division processing of the low resolution image generated by the initial partitioning unit 72. Region segmentation processing is performed using both or only high-resolution images. From the low-resolution image, the spectral feature amount for the enlarged pixel group included in the forest phase section is obtained as the spectral feature amount of the pixel value used for determining whether or not the forest phase section can be combined. On the other hand, from the high-resolution image, a spectral feature amount for the original pixel group included in the forest phase section is obtained as a spectral feature amount of the pixel value used for determining whether or not the forest phase section can be combined. The subsequent partitioning unit 74 performs at least one sequential partitioning process based on the spectral feature amount of the pixel value of the high resolution image or the spectral feature amount of the pixel value of each of the high resolution image and the low resolution image. It can also be set as the structure which is. That is, when the subsequent partitioning unit 74 performs a plurality of sequential partitioning processes, a part of the number of times may extract a spectral feature amount from only the pixel values of the low resolution image, and perform the region partitioning process based thereon. .

画像領域分割には、例えば領域併合(region merging)に基づく手法を利用することができる。この手法において画像領域分割処理の対象とされる画像に存在する隣接する2つのオブジェクトを統合するかどうかは、統合後に生成される新しいオブジェクトの異質性(heterogeneity)と統合前のオブジェクトの異質性との間の変化を評価することによって決定される。ちなみに、初期区画部72での処理ではオブジェクトは低分解能画像の画素であり、後続区画部74での処理ではオブジェクトは既に生成されている林相区画である。   For example, a technique based on region merging can be used for image region segmentation. In this method, whether or not two adjacent objects existing in an image to be subjected to image region division processing are integrated depends on the heterogeneity of a new object generated after integration and the heterogeneity of an object before integration. Is determined by evaluating the change between. Incidentally, the object is a pixel of a low-resolution image in the process in the initial partition unit 72, and the object is a forest phase partition that has already been generated in the process in the subsequent partition unit 74.

具体的には、領域併合によるオブジェクトの異質性の変化Δhは、併合前後におけるスペクトル異質性の変化Δhと形状異質性の変化Δhとから次式によって算出される。 Specifically, the object heterogeneity change Δh due to region merging is calculated from the spectral heterogeneity change Δh p and the shape heterogeneity change Δh t before and after merging by the following equation.

Figure 0006334281
Figure 0006334281

ここで、wはスペクトル異質性の重み、wは形状異質性の重みである。 Here, w p is a spectral heterogeneity weight, and w t is a shape heterogeneity weight.

併合前後のスペクトル異質性の変化Δhは、対象画像の各バンドにおける併合前後のオブジェクト内の画素値の標準偏差を用いて、次式によって計算される。 The change in spectral heterogeneity Δh p before and after merging is calculated by the following equation using the standard deviation of the pixel values in the object before and after merging in each band of the target image.

Figure 0006334281
Figure 0006334281

ここで、Nは画像のバンド数、wはバンドiの重み、nabは併合後の新しいオブジェクトの画素数、n,nは併合前の2つのオブジェクトの画素数、σi,abは併合後のオブジェクトのバンドiにおける標準偏差、σi,a,σi,bは併合前の2つのオブジェクトのバンドiにおける標準偏差である。 Here, N is the number of bands of the image, w i is the weight of band i, n ab is the number of pixels of the new object after merging, n a and n b are the number of pixels of the two objects before merging, σ i, ab Is the standard deviation in band i of the object after merging, and σ i, a , σ i, b is the standard deviation in band i of the two objects before merging.

また、併合前後の形状異質性の変化Δhは、コンパクトネスとスムースネスという2つの基準で次式により定義される。 The change Delta] h t in shape heterogeneity around merging is defined by the following equation in two criteria of compactness and smooth ness.

Figure 0006334281
Figure 0006334281

ここで、Δhは併合前後のコンパクトネスの変化、Δhは併合前後のスムースネスの変化、wはコンパクトネスの重み、wはスムースネスの重みである。 Here, Δh c is a change in compactness before and after merging, Δh s is a change in smoothness before and after merging, w c is a weight for compactness, and w s is a weight for smoothness.

オブジェクトのコンパクトネス基準はオブジェクトの周囲長と面積から計算され、一方、スムースネス基準はオブジェクトの周囲長と境界ボックスの直径(長軸)から計算される。具体的にはΔh,Δhは次式で定義される。 The object compactness criterion is calculated from the object perimeter and area, while the smoothness criterion is calculated from the object perimeter and the bounding box diameter (major axis). Specifically, Δh c and Δh s are defined by the following equations.

Figure 0006334281
Figure 0006334281

ここで、labは併合後のオブジェクトの周囲長、l,lは併合前の2つのオブジェクトの周囲長、sabは併合後のオブジェクトの面積、s,sは併合前の2つのオブジェクトの面積、babは併合後のオブジェクトの境界ボックスの直径、b,bは併合前の2つのオブジェクトの境界ボックスの直径、nabは併合後の新しいオブジェクトの画素数、n,nは併合前の2つのオブジェクトの画素数である。 Here, l ab is the perimeter of the object after merging, l a and l b are the perimeter of the two objects before merging, s ab is the area of the object after merging, and s a and s b are the two before the merging. The area of one object, b ab is the diameter of the bounding box of the object after merging, b a , b b are the diameters of the bounding box of the two objects before merging, n ab is the number of pixels of the new object after merging, n a , Nb is the number of pixels of the two objects before merging.

併合前後のオブジェクトの異質性の変化Δhが設定されたしきい値を超えない場合、領域の併合処理が実施され、しきい値を上回る場合、領域の併合処理を停止する。設定されたしきい値はスケールパラメータ(scale parameter)と呼ばれ、画像の分割処理によって生成されるオブジェクトの大きさを表している。スケールパラメータが大きいほど、より多くのオブジェクトが併合され、領域分割によって最終的に生成されるオブジェクトのサイズが大きくなる。   When the change Δh of the object heterogeneity before and after merging does not exceed the set threshold value, the region merging process is performed, and when it exceeds the threshold value, the region merging process is stopped. The set threshold value is called a scale parameter, and represents the size of an object generated by the image division process. The larger the scale parameter, the more objects are merged, and the size of the object that is finally generated by area division increases.

(1)式に示すように、初期区画部72における拡大画素の結合の判断、又は後続区画部74における低次の林相区画の結合の判断に対するスペクトル特徴量及び幾何特徴量それぞれの寄与比率は重みw,wにより調節することができる。ここで、初期区画部72及び後続区画部74の一方又は両方は、林相区画の生成判断において、幾何条件を用いずスペクトル特徴量の類似性だけに基づいて行う構成にすることもできる。 As shown in the equation (1), the contribution ratio of each of the spectral feature quantity and the geometric feature quantity to the judgment of the combination of the enlarged pixels in the initial partition section 72 or the judgment of the combination of the lower order forest fauna sections in the subsequent partition section 74 is a weight. It can be adjusted by w p and w c . Here, one or both of the initial partition unit 72 and the subsequent partition unit 74 may be configured to perform determination based on the similarity of the spectral feature amount without using the geometric condition in the determination of the forest phase partition generation.

テクスチャ解析部22は、オルソ画像データ40からテクスチャ情報を抽出するテクスチャ情報抽出手段である。テクスチャ解析部22は、日向/日陰分布パターン情報抽出部80、日向/日陰境界パターン情報抽出部82及びLBP画像情報抽出部84を有する。   The texture analysis unit 22 is a texture information extraction unit that extracts texture information from the ortho image data 40. The texture analysis unit 22 includes a sunshine / shade distribution pattern information extraction unit 80, a sunshine / shade boundary pattern information extraction unit 82, and an LBP image information extraction unit 84.

日向/日陰分布パターン情報抽出部80はオルソ画像データ40を二値化処理して日向と日陰とが区別された日向/日陰分布パターンをテクスチャ情報として抽出する。図2は日向/日陰分布パターンの例を示す説明図である。図2(a)〜(d)はそれぞれスギ林、ヒノキ林、広葉樹林、非森林の例であり、左右に並ぶ2つの画像のうち左側がオルソ画像データ40、右側が日向/日陰分布パターンである。当該日向/日陰分布パターンにおいて白領域が日向、黒領域が日陰である。ちなみに、ここでの二値化のしきい値は大津の手法により決定している。   The sun / shade distribution pattern information extraction unit 80 binarizes the ortho image data 40 to extract the sun / shade distribution pattern in which the sun and the shade are distinguished as texture information. FIG. 2 is an explanatory diagram showing an example of the sunny / shade distribution pattern. FIGS. 2A to 2D are examples of a cedar forest, a cypress forest, a broadleaf forest, and a non-forest, respectively. Of the two images arranged on the left and right, the left side is the ortho image data 40, and the right side is the sunshine / shade distribution pattern. is there. In the sunshine / shade distribution pattern, the white area is sunshine and the black area is shade. Incidentally, the threshold for binarization here is determined by Otsu's method.

日向/日陰境界パターン情報抽出部82はオルソ画像データ40における輝度勾配を二値化処理して日向と日陰との境界領域が現れた日向/日陰境界パターンをテクスチャ情報として抽出する。図3は日向/日陰境界パターンの例を示す説明図である。図3(a)〜(d)は図2と同様、それぞれスギ林、ヒノキ林、広葉樹林、非森林の例であり、左右に並ぶ2つの画像のうち左側がオルソ画像データ40、右側が日向/日陰境界パターンである。当該日向/日陰境界パターンにおいて白領域が輝度勾配がしきい値以上の領域であり、黒領域がしきい値未満の領域である。ここでも、しきい値は大津の手法により決定している。日向/日陰境界パターンからは日向と日陰とが切り替わる空間的な頻度の多寡が読み取れる。   The sun / shade boundary pattern information extraction unit 82 binarizes the luminance gradient in the ortho image data 40 and extracts the sun / shade boundary pattern in which the boundary region between the sun and the shade appears as texture information. FIG. 3 is an explanatory diagram showing an example of a sunny / shade boundary pattern. FIGS. 3A to 3D are examples of cedar forest, cypress forest, broadleaf forest, and non-forest, respectively, as in FIG. 2. Of the two images arranged side by side, the left side is ortho image data 40 and the right side is Hinata. / Shade boundary pattern. In the sun / shade boundary pattern, the white area is an area where the luminance gradient is greater than or equal to the threshold value, and the black area is an area where the brightness gradient is less than the threshold value. Again, the threshold is determined by Otsu's method. From the Hinata / Shade boundary pattern, the spatial frequency of switching between the Hinata and the Shade can be read.

LBP画像情報抽出部84はオルソ画像データ40から局所二値パターン演算子を用いて得られるLBP(Local Binary Pattern)画像をテクスチャ情報として抽出する。図4はLBP画像の例を示す説明図である。図4(a)〜(d)は図2及び図3と同様、それぞれスギ林、ヒノキ林、広葉樹林、非森林の例であり、左右に並ぶ2つの画像のうち左側がオルソ画像データ40、右側がLBP画像である。LBP画像は原画像の詳細な模様構造パターンを反映しており、しかも画像のコントラストの影響を受けにくいという特性を有する。   The LBP image information extraction unit 84 extracts an LBP (Local Binary Pattern) image obtained from the ortho image data 40 using a local binary pattern operator as texture information. FIG. 4 is an explanatory diagram showing an example of an LBP image. 4A to 4D are examples of a cedar forest, a cypress forest, a broad-leaved forest, and a non-forest, respectively, as in FIG. 2 and FIG. The right side is an LBP image. The LBP image reflects the detailed pattern structure pattern of the original image and has a characteristic that it is not easily affected by the contrast of the image.

テクスチャ解析部22は抽出された日向/日陰分布パターン、日向/日陰境界パターン及びLBP画像の特徴量として、それぞれの平均値や標準偏差などの統計量を算出する。   The texture analysis unit 22 calculates statistics such as an average value and a standard deviation as the feature values of the extracted sunny / shade distribution pattern, sunny / shade boundary pattern, and LBP image.

スペクトル解析部24はオルソ画像データ40からスペクトル情報を抽出するスペクトル情報抽出手段である。本実施形態ではスペクトル解析部24はR,G,B,NIRの4バンドのマルチスペクトル画像に対して次式で示される正規化処理を行い、正規化後の成分R’,G’,B’からなる画像からスペクトル特徴量を抽出する。またスペクトル解析部24は日向/日陰分布パターン情報に基づいて各林相区画における日向領域のみからスペクトル特徴量を抽出する。   The spectrum analysis unit 24 is a spectrum information extraction unit that extracts spectrum information from the ortho image data 40. In the present embodiment, the spectrum analysis unit 24 performs a normalization process represented by the following expression on the 4-band multispectral image of R, G, B, and NIR, and normalizes the components R ′, G ′, and B ′. A spectral feature amount is extracted from the image consisting of. Further, the spectrum analysis unit 24 extracts a spectrum feature amount only from the sunny area in each forest phase section based on the sunny / shade distribution pattern information.

Figure 0006334281
Figure 0006334281

図5及び図6はオルソ画像データ40に対する正規化処理の例を示す画像であり、図5は原画像、すなわち正規化処理前のオルソ画像、図6は図5に対応するオルソ画像データ40を正規化処理して得られた画像である。図5及び図6はグレースケールで表示しているが本来、図5はRGB合成のカラー画像であり、図6はR’G’B’合成のカラー画像である。例えば、樹種等の違いに応じた近赤外成分の大きさの相違により、原画像と正規化処理画像との間には色合いなどに違いが生じる。図5と図6とにおける原画像と正規化処理画像との相違は、画像内での濃淡の変化が両画像間にて相違していることから読み取れる。   5 and 6 are images showing an example of normalization processing for the ortho image data 40. FIG. 5 shows an original image, that is, an ortho image before normalization processing, and FIG. 6 shows the ortho image data 40 corresponding to FIG. It is an image obtained by normalization processing. Although FIGS. 5 and 6 are displayed in gray scale, FIG. 5 is originally an RGB composite color image, and FIG. 6 is an R′G′B ′ composite color image. For example, due to the difference in the size of the near-infrared component according to the difference in the tree species or the like, a difference in hue or the like occurs between the original image and the normalized image. The difference between the original image and the normalized image in FIG. 5 and FIG. 6 can be read because the change in shading in the image is different between the two images.

なお、スペクトル解析部24は正規化処理を行わずにスペクトル特徴量を抽出する構成や、日陰を含んだ各林相区画の全体におけるスペクトル特徴量を抽出する構成とすることもできる。   In addition, the spectrum analysis part 24 can also be set as the structure which extracts a spectrum feature-value without performing a normalization process, or the structure which extracts the spectrum feature-value in the whole each forest fauna division including a shade.

統計分布作成部26は林相区分図データ42として与えられている時期T1の既知の林相区分図での各林相の領域に対応して、オルソ画像データ40で与えられる時期T2の原画像に注目領域を設定し、各林相の注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める。   The statistical distribution creation unit 26 corresponds to the region of each forest phase in the known forest phase map at time T1 given as the forest phase map data 42, and focuses on the original image at time T2 given in the ortho image data 40. And a statistical distribution is obtained for the feature information of the image extracted for each predetermined element region in the attention region of each forest phase.

特徴情報は原画像からテクスチャ解析部22、スペクトル解析部24により抽出されるテクスチャ情報、スペクトル情報である。本実施形態では統計分布を求める画像の特徴情報としてテクスチャ情報を用いることに対応して、例えば、原画像について生成した林相区画を要素領域とする。なお、統計分布を求める画像の特徴情報としてスペクトル情報だけを用いるような場合には、画素を要素領域とすることもできる。   The feature information is texture information and spectrum information extracted from the original image by the texture analysis unit 22 and the spectrum analysis unit 24. In the present embodiment, corresponding to using texture information as feature information of an image for which a statistical distribution is obtained, for example, a forest fauna section generated for an original image is set as an element region. In addition, when only the spectrum information is used as the feature information of the image for obtaining the statistical distribution, the pixel can be used as the element region.

例えば、時期T1の林相区分図におけるスギ林の林相区画の集合に対応して、原画像にスギ林に関する注目領域が設定される。当該注目領域は、時期T1の林相区分図におけるスギ林の林相区画の集合からなる領域と同一又は近似的に同一の領域である。具体的には、原画像について生成した林相区画のうち、時期T1のスギ林領域に対応する位置に存在するものの集合をスギ林に関する注目領域として設定することができる。ここで、原画像の或る林相区画が時期T1の複数の林相の領域に跨がる場合には、例えば、当該林相区画は、時期T1の林相別領域のうち当該林相区画との重なりが最も大きいものに対応した林相の注目領域に含めることができる。また、重なりの面積の割合に応じて重み付けをして統計分布に反映させることもできる。   For example, a region of interest related to a cedar forest is set in the original image corresponding to a set of forest facies sections of a cedar forest in the forest fauna division map at the time T1. The region of interest is the same or approximately the same region as a region composed of a set of cedar forest facies sections in the forest facies section diagram at time T1. Specifically, a set of forest phase sections generated for the original image that are present at a position corresponding to the cedar forest area at time T1 can be set as an attention area regarding the cedar forest. Here, when a certain forest fauna section of the original image straddles a plurality of forest fauna areas at the time T1, for example, the forest fauna section has the most overlap with the forest fauna section among the forest fading areas at the time T1. It can be included in the attention area of the forest fauna corresponding to the larger one. In addition, weighting can be performed according to the ratio of the overlapping area and reflected in the statistical distribution.

統計分布として、画像の特徴情報であるテクスチャ情報やスペクトル情報を表す特徴量を変数とした度数分布を求める。変数は1種類だけであってもよいし複数であってもよい。度数は単純に要素領域の数としてもよいし、林相区画を要素領域とする場合には、林相区画の面積に応じて重み付けをした値を積算してもよい。   As a statistical distribution, a frequency distribution is obtained using a feature amount representing texture information and spectrum information as image feature information as variables. There may be only one type of variable or a plurality of variables. The frequency may be simply the number of elemental areas, or in the case of using forest stand sections as element areas, values weighted according to the area of forest stand sections may be integrated.

変化領域検出部28は各注目領域での統計分布における外れ値を検出し、当該外れ値を与える要素領域を当該注目領域において時期T1との間で林相が変化した変化領域として検出する。外れ値は統計において他の値から大きく外れた値である。ここで、既に述べたように通常、林相区分図は数年程度ごとに更新される。つまり、時期T1と時期T2との間隔は基本的に数年程度である。林相解析システム2は航空機などによる撮影されたオルソ画像データ40を用いて広範囲の林相解析を効率的に行うものであり、その広範囲の対象地域にて数年程度の短期間に大規模な林相変化が起こることはあまりない。つまり、通常は、時期T1と時期T2との間にて林相が変化する領域は広範囲な対象地域のごく一部であることが期待でき、時期T2の原画像について設定された各注目領域において、既存の林相区分図が得られている時期T1との間で林相が変わらない無変化領域が大半を占めることを前提として統計的解析を行うことが可能である。そこで、変化領域検出部28は或る林相に対応した注目領域について得られた統計分布において、無変化領域について所定の形の確率密度関数を仮定し、当該確率密度関数から大きく外れている標本である要素領域を当該林相とは異なる領域、つまり変化領域であると判定する。   The change area detection unit 28 detects an outlier in the statistical distribution in each attention area, and detects an element area that gives the outlier as a change area in which the forest phase has changed between the time T1 in the attention area. Outliers are values that deviate significantly from other values in statistics. Here, as already mentioned, the forest phase map is usually updated every few years. That is, the interval between the time T1 and the time T2 is basically about several years. The forest phase analysis system 2 efficiently performs a wide range of forest phase analysis using the ortho image data 40 taken by an aircraft or the like, and a large-scale forest phase change within a short period of about several years in the wide target area. There is not much that happens. That is, normally, it can be expected that the area where the forest fauna changes between time T1 and time T2 is a small part of the wide target area, and in each attention area set for the original image of time T2, It is possible to perform a statistical analysis on the assumption that most of the unchanged areas where the forest fauna does not change from the time T1 when the existing forest fauna classification map is obtained. Therefore, the change area detection unit 28 assumes a probability density function of a predetermined form for the unchanged area in the statistical distribution obtained for the attention area corresponding to a certain forest aspect, and is a sample that is greatly deviated from the probability density function. It is determined that a certain element region is a region different from the forest type, that is, a change region.

或る林相に対応した注目領域における統計分布は基本的に、対象地域にて当該林相を有する全ての林相区画における特徴情報を反映し、林相が共通する林相区画における特徴情報のばらつきの影響を受けにくい。よって、当該統計分布に基づいて変化領域を判定することで、信頼性が高い変化領域が得られる。   The statistical distribution in the attention area corresponding to a certain forest fauna basically reflects the feature information in all the forest fauna compartments that have that forest fauna in the target area, and is affected by variations in feature information in the forest fauna compartments that share the forest fauna. Hateful. Therefore, a change area with high reliability can be obtained by determining the change area based on the statistical distribution.

林相区分図生成部30は、時期T1の林相区分図に変化領域を反映させて時期T2の林相区分図を生成する。具体的には、林相区分図生成部30は、時期T1の林相区分図における各林相に対応して設定した時期T2の原画像における注目領域にて、変化領域と判定された林相区画は伐採や風倒被害等による非森林とし、無変化領域である残りの林相区画は当該注目領域に対応する林相に分類し、時期T2の林相区分図を生成する。ちなみに、時期T1,T2の間隔は数年程度の期間である。当該期間は森林の生長からすれば比較的短く、当該期間に例えば、スギ林がヒノキ林に変化するといった林相の変化は基本的にないので、ここでは変化領域は非森林に分類している。なお、各林相についてテクスチャやスペクトルについての特徴情報を例えば、予め記憶装置6に格納しておき、これを用いて変化領域がどの林相の特徴を有しているかを判定し、当該変化領域の林相を決定してもよい。   The forest phase map generation unit 30 reflects the change region in the forest phase map of time T1 and generates the forest phase map of time T2. Specifically, the forest fauna division map generation unit 30 cuts forest parcel sections that are determined to be changed areas in the attention area in the original image at the time T2 set corresponding to each forest fauna in the forest fauna division map at the time T1. The remaining forest facies section, which is a non-change area, is classified as a forest facies corresponding to the region of interest, and a forest facies division map at time T2 is generated. Incidentally, the interval between the times T1 and T2 is a period of several years. The period is relatively short in terms of the growth of the forest, and there is basically no change in the forest fauna such as changing from a cedar forest to a cypress forest during the period, so the change area is classified as non-forest here. For example, the feature information about the texture and spectrum is stored in advance in the storage device 6 for each forest fauna, and using this, it is determined which forest fauna the change region has, and the forest fauna of the change region. May be determined.

図7は林相解析システム2における概略のデータフロー図であり、以下、図7に沿って林相解析システム2の処理を説明する。   FIG. 7 is a schematic data flow diagram in the forest facies analysis system 2. Hereinafter, the processing of the forest facies analysis system 2 will be described with reference to FIG.

林相区画生成部20は時期T2のオルソ画像データ40から時期T2における林相区画データ100を生成する。図8は林相区画生成部20による林相区画の生成処理を説明する概略のフロー図である。林相区画生成部20は低分解能画像生成部70によりオルソ画像データ40から低分解能画像を生成する(S10)。さらに林相区画生成部20は低分解能画像を領域分割した林相区画を階層的に領域分割して、内部が一様な林相からなる領域に対応した林相区画を生成する(S20)。この領域分割処理S20は初期区画部72及び後続区画部74により行われる。領域分割処理は低分解能画像から開始され、低分解能画像を構成する拡大画素の画素値を用いた区画処理が最初に少なくとも1回行われ、その後、オルソ画像データ40を構成する原画素及び拡大画素あるいは原画素のみの画素値を用いた区画処理が少なくとも1回行われる。具体的には、初期区画部72は低分解能画像を領域分割してスケールが小さい林相区画を生成する(S22)。後続区画部74は低分解能画像と高分解能画像とを併用し、林相区画同士を結合することによりスケールが大きくなった林相区画を生成する(S24)。   The forest phase section generation unit 20 generates forest phase section data 100 at the time T2 from the ortho image data 40 at the time T2. FIG. 8 is a schematic flow diagram illustrating the forest fauna compartment generation process by the forest fauna compartment generator 20. The forest phase section generation unit 20 generates a low resolution image from the ortho image data 40 by the low resolution image generation unit 70 (S10). Further, the forest facies section generation unit 20 hierarchically divides the forest fauna section obtained by dividing the low resolution image into regions, and generates a forest fauna section corresponding to a region composed of a uniform forest fauna (S20). The area dividing process S20 is performed by the initial partition unit 72 and the subsequent partition unit 74. The region division processing is started from the low resolution image, and the division processing using the pixel values of the enlarged pixels constituting the low resolution image is first performed at least once, and thereafter, the original pixel and the enlarged pixels constituting the ortho image data 40 Alternatively, the partition process using the pixel value of only the original pixel is performed at least once. Specifically, the initial partition unit 72 divides the low-resolution image into regions and generates a forest stand partition with a small scale (S22). The succeeding section 74 uses the low resolution image and the high resolution image together, and generates a forest fauna section having a larger scale by combining the forest fauna sections (S24).

領域分割処理はスペクトル条件44及び幾何条件46を満たすように行われる。その際、スペクトル条件44と幾何条件46との比重、つまりそれぞれを領域分割に寄与させる度合は調節することができる。   The region division process is performed so as to satisfy the spectrum condition 44 and the geometric condition 46. At that time, the specific gravity between the spectral condition 44 and the geometric condition 46, that is, the degree to which each contributes to the region division can be adjusted.

ここで、領域分割処理の階層ごとに、林相区画を生成する際の条件は異なり得る。すなわち、初回の拡大画素を結合して初期の林相区画を生成する際や、低次の林相区画同士を結合して高次の林相区画を生成する際に、スケールパラメータであるΔhは生成される林相区画のスケールが徐々に大きくなることを可能とするように設定される。Δhの増加により、スペクトル条件44に関しては、結合対象となる複数の拡大画素又は林相区画についてのスペクトル特徴量の類似性の判断基準(Δh)が領域分割処理が高階になるにつれ緩和される。また、幾何条件46に関しても幾何特徴量の類似性の判断基準(Δh)が緩和され、領域分割処理が高階になるにつれより複雑な形状あるいは大きな面積を有する林相区画が許容されるようになり結合が促進される。一方、スペクトル条件44と幾何条件46とで総合的に結合が緩和されればよいので、スペクトル条件44により結合を緩和しつつ、幾何条件46は結合を或る程度抑制する方向に変化させより単純な形状の林相区画の生成を促す条件に設定することもできる。例えば、そのような調整は(1)式の重みw,wを変えることで可能であり、具体的にはwを低下させ、一方、wを増加させて、ΔhがΔhに寄与しにくくし、ΔhがΔhに寄与しやすくすることで実現できる。 Here, the conditions at the time of generating the forest fauna division may be different for each layer of the region division processing. That is, Δh, which is a scale parameter, is generated when the initial enlarged pixels are combined to generate an initial forest fauna section, or when lower order forest fauna sections are combined to generate a higher order forest fauna section. It is set to allow the scale of the forest fauna compartment to gradually increase. Due to the increase of Δh, regarding the spectral condition 44, the similarity criterion (Δh p ) for the similarity of spectral features for a plurality of enlarged pixels or forestry sections to be combined is relaxed as the region division processing becomes higher. Also, the geometric feature similarity criterion (Δh t ) is relaxed with respect to the geometric condition 46, and as the region segmentation process becomes higher, forest facies sections with more complex shapes or larger areas are allowed. Bonding is promoted. On the other hand, since it is sufficient that the coupling is relaxed comprehensively in the spectral condition 44 and the geometric condition 46, the geometric condition 46 is changed in a direction to suppress the coupling to some extent while the coupling is relaxed by the spectral condition 44, and the simpler. It is also possible to set conditions that encourage the generation of forest-shaped sections of various shapes. For example, such adjustment is possible by changing the weights w p and w t in equation (1). Specifically, w p is decreased, while w t is increased and Δh p is changed to Δh. This can be realized by making it difficult to contribute and making Δh t easily contribute to Δh.

さて、既に述べたように、高分解能画像では森林の日向と日陰の違いにより同じ林相内でも画素値のばらつきが大きいので、従来、隣接している林相を区別して正確に区画するのが困難であるという問題があった。これに対し、林相解析システム2は原画像を低分解能化し、階層的な領域分割処理のうち少なくとも最初の1回を低分解能画像にて行う。画像を低分解能化すると同じ林相内での画素値のばらつきが平滑化・緩和されるので、低分解能画像に基づく区画処理は日向と日陰とでの画素値の違いの影響を受けにくくなり、隣接する異なる林相を区別し易い。なお、低分解能での区画処理を階層的な複数回の区画処理のうちの早い段階で行う方が、当該効果は高くなることが期待できる。   Now, as already mentioned, in high resolution images, there are large variations in pixel values even within the same forest fauna due to the difference between the sun and shade of the forest, and it has been difficult to distinguish and accurately separate adjacent forest fauna. There was a problem that there was. On the other hand, the forest phase analysis system 2 reduces the resolution of the original image and performs at least the first one of the hierarchical region segmentation processes on the low resolution image. When the image is reduced in resolution, the variation in pixel values within the same forest phase is smoothed and alleviated, so the partition processing based on the low-resolution image is less affected by the difference in pixel values between the sun and the shade, and adjacent It is easy to distinguish different forest fauna. It should be noted that the effect can be expected to be higher when the partition processing at a low resolution is performed at an earlier stage of a plurality of hierarchical partition processing.

一方、階層的な区画処理の中で、低分解能画像と高分解能画像との両方、あるいは高分解能画像のみを用いて区画処理を行うことで、最終的に得られる林相区画に高分解能画像の情報を反映させることができる。   On the other hand, information on the high resolution image is obtained in the final forest fauna compartment by performing the compartment processing using both the low resolution image and the high resolution image or only the high resolution image in the hierarchical compartment processing. Can be reflected.

図9〜図11は林相区画生成部20の処理の例を示す画像であり、それぞれ同じ森林の空中写真画像に林相区画の境界を黒線で描いている。図9は初期区画部72による処理結果であり、低分解能画像を利用して生成された初期の林相区画を示している。図10及び図11は後続区画部74による処理結果であり、図11の画像は図10の画像より高階の領域分割処理の結果を示している。すなわち、図9、図10、図11の順に階層的に領域分割が行われる。ここで、上述したように林相区画の生成は低分解能画像と高分解能画像とを併用して行われる。具体的には、図9〜図11に示す3階層が林相区画を生成する領域分割処理の全階層である場合には、図9の林相区画は低分解能画像を利用して生成され、図10及び図11の林相区画は、先行する領域分割の処理結果である林相区画内における低分解能画像と高分解能画像との両方、あるいは高分解能画像のみを利用して生成される。そして、図11の林相区画が最終的に抽出された林相区画となる。   9 to 11 are images showing examples of processing of the forest fauna compartment generating unit 20, and the boundaries of the forest fauna compartments are drawn with black lines in the aerial photograph images of the same forest. FIG. 9 shows a result of processing by the initial partition unit 72, and shows an initial forest phase partition generated using a low resolution image. 10 and 11 show the results of processing by the subsequent partition unit 74, and the image of FIG. 11 shows the result of the region dividing process of higher floors than the image of FIG. That is, area division is performed hierarchically in the order of FIG. 9, FIG. 10, and FIG. Here, as described above, the forest stand section is generated by using both the low resolution image and the high resolution image. Specifically, in the case where the three layers shown in FIGS. 9 to 11 are all layers of the region dividing process for generating the forest fauna compartment, the forest fauna compartment of FIG. 9 is generated using the low resolution image, and FIG. 11 are generated using both the low-resolution image and the high-resolution image in the forest-facing zone, which are the processing results of the preceding region division, or only the high-resolution image. And the forest fauna compartment of FIG. 11 becomes the forest fauna compartment finally extracted.

上述した林相区画生成部20の処理により対象地域から最終的に抽出された林相区画のデータ100はテクスチャ解析部22及びスペクトル解析部24、並びに林相区分図生成部30にて利用される。   The forest block data 100 finally extracted from the target area by the processing of the forest block section generation unit 20 described above is used by the texture analysis unit 22, the spectrum analysis unit 24, and the forest phase division map generation unit 30.

さて、説明を図7に戻す。テクスチャ解析部22及びスペクトル解析部24はオルソ画像データ40及び林相区画データ100とから、時期T2における林相区画ごとに画像の特徴情報データ102を抽出する。図12はテクスチャ解析部22及びスペクトル解析部24による特徴情報データ102の抽出処理を説明する概略のフロー図である。   Now, the description returns to FIG. The texture analysis unit 22 and the spectrum analysis unit 24 extract the image feature information data 102 for each forest phase section at the time T2 from the ortho image data 40 and the forest phase section data 100. FIG. 12 is a schematic flowchart for explaining the feature information data 102 extraction processing by the texture analysis unit 22 and the spectrum analysis unit 24.

林相解析システム2はテクスチャ解析部22によりオルソ画像データ40からテクスチャ情報を抽出する(S40,S50,S60)。具体的には、テクスチャ解析部22は日向/日陰分布パターン情報抽出部80により日向/日陰分布パターンを抽出し(S40)、日向/日陰境界パターン情報抽出部82により日向/日陰境界パターンを抽出し(S50)、またLBP画像情報抽出部84により、原画像における詳細な模様構造パターンが現れるLBP画像を抽出し(S60)、テクスチャ情報を求める。   The forest phase analysis system 2 extracts texture information from the ortho image data 40 by the texture analysis unit 22 (S40, S50, S60). Specifically, the texture analysis unit 22 extracts the sun / shade distribution pattern by the sun / shade distribution pattern information extraction unit 80 (S40), and extracts the sun / shade boundary pattern by the sun / shade boundary pattern information extraction unit 82. (S50) Further, the LBP image information extraction unit 84 extracts an LBP image in which a detailed pattern structure pattern in the original image appears (S60), and obtains texture information.

さらに林相解析システム2はスペクトル解析部24によりオルソ画像データ40を正規化処理し、正規化後の画像からスペクトル特徴情報を抽出する(S70)。さらにスペクトル解析部24は日向/日陰分布パターン情報抽出部80により抽出した日向/日陰分布パターンを用いて、森林のスペクトルの特徴が良好に現れ得る日向部分のみからスペクトル特徴情報を抽出する(S80)。   Further, the forest phase analysis system 2 normalizes the ortho image data 40 by the spectrum analysis unit 24, and extracts spectral feature information from the normalized image (S70). Further, the spectrum analysis unit 24 uses the sunny / shade distribution pattern extracted by the sunny / shade distribution pattern information extracting unit 80 to extract spectral feature information only from the sunny part where the forest spectral features can be satisfactorily displayed (S80). .

そしてテクスチャ解析部22及びスペクトル解析部24は林相区画生成部20により抽出された林相区画ごとに画像の特徴情報を取得し(S90)、特徴情報データ102を生成する。この特徴情報データ102は統計分布作成部26にて利用される。   Then, the texture analysis unit 22 and the spectrum analysis unit 24 acquire image feature information for each forest phase section extracted by the forest phase section generation unit 20 (S90), and generate feature information data 102. This feature information data 102 is used by the statistical distribution creation unit 26.

再び図7に戻る。統計分布作成部26は時期T1の林相区分図データ42と時期T2の林相区画ごとの画像の特徴情報データ102とから、時期T2の原画像にて林相ごとに設定される注目領域それぞれについて画像の特徴情報の統計分布を求める。変化領域検出部28は統計分布作成部26から出力される統計分布データ104に基づいて、各注目領域に含まれる変化領域を示す変化領域データ106を生成する。   Returning again to FIG. The statistical distribution creation unit 26 uses the feature map data 42 for the forest phase at the time T1 and the feature information data 102 for the image for each forest phase at the time T2 to generate an image of each region of interest set for each forest phase in the original image at the time T2. Find the statistical distribution of feature information. Based on the statistical distribution data 104 output from the statistical distribution creation unit 26, the change region detection unit 28 generates change region data 106 indicating the change region included in each region of interest.

図13は1つの林相に対応した注目領域に関する統計分布の模式図であり、横軸が特徴情報に関する特徴量Xで表される変数に対応し、縦軸が度数Yに対応する。ここでは図示の都合上、統計分布108は変数が1つである1次元の分布としているが、統計分布作成部26は変数が複数である多次元の統計分布を求めてもよい。例えば、変数はユーザにより、注目領域に対応する林相と、当該注目領域にて時期T1,T2間に生じることが想定される森林変化、具体的には伐採や風倒被害等に対応する林相とを弁別するのに好適な単一の特徴量又は複数の特徴量の組み合わせに設定される。上述したテクスチャ解析部22及びスペクトル解析部24により算出される各特徴情報は当該弁別に好適であり、統計分布の変数はそれら複数種類の特徴情報のうちの一部又は全部で定義することができる。   FIG. 13 is a schematic diagram of a statistical distribution related to a region of interest corresponding to one forest phase. The horizontal axis corresponds to a variable represented by the feature amount X related to feature information, and the vertical axis corresponds to the frequency Y. Here, for convenience of illustration, the statistical distribution 108 is a one-dimensional distribution having one variable, but the statistical distribution creating unit 26 may obtain a multi-dimensional statistical distribution having a plurality of variables. For example, the variables are the forest fauna corresponding to the attention area by the user, and the forest fauna corresponding to the forest change that is expected to occur between the times T1 and T2 in the attention area, specifically the felling or wind damage damage. It is set to a single feature value or a combination of a plurality of feature values suitable for discriminating. Each feature information calculated by the texture analysis unit 22 and the spectrum analysis unit 24 described above is suitable for the discrimination, and a statistical distribution variable can be defined by some or all of the plurality of types of feature information. .

林相が共通する要素領域(林相区画、画素等)についての特徴量の統計分布は、基本的には平均値の付近に集積してピークを形成するような分布となり、例えば、正規分布を仮定することができる。既に述べたように、対象地域において時期T1から林相が変化する変化領域は、変化しない領域に比べて少数であるとすることができる。よって、各注目領域についての統計分布108は当該注目領域に対応する林相の特徴量の分布に近似したものとなる。つまり当該林相の要素領域は統計分布108において最大のピークの近傍の特徴量を有する確率が高い。一方、統計分布の変数とする特徴量Xは上述のように林相の変化の有無を弁別容易とするものに設定され、林相が変化した要素領域は統計分布108においてピークから離れた範囲(例えば図13における範囲R)に属する特徴量を有することが期待できる。そこで、変化領域検出部28は或る林相に対応した注目領域について得られた統計分布108において外れ値となる要素領域を検出し、当該要素領域を示す情報を変化領域データ106として出力する。例えば、林相区画生成部20は生成した林相区画を識別する識別子(ID)を定義し、林相区画データ100及び特徴情報データ102はそれぞれ当該IDに対応付けられた林相区画の情報、特徴情報とされる。変化領域検出部28は変化領域データ106として例えば、当該IDを抽出することができる。 The statistical distribution of feature values for element regions (forest stand sections, pixels, etc.) with common forest phases is basically a distribution that accumulates near the average value to form a peak. For example, a normal distribution is assumed. be able to. As already described, it can be assumed that the number of change areas in which the forest fauna changes from the time T1 in the target area is smaller than the area that does not change. Therefore, the statistical distribution 108 for each region of interest approximates the distribution of feature values of the forest fauna corresponding to the region of interest. That is, there is a high probability that the element region of the forest fauna has a feature quantity near the maximum peak in the statistical distribution 108. On the other hand, the feature quantity X as a variable of the statistical distribution is set to facilitate discrimination of the presence or absence of changes in the forest fauna as described above, and the element region in which the forest fauna has changed is a range away from the peak in the statistical distribution 108 (for example, FIG. 13 can be expected to have a feature value belonging to the range R E ). Therefore, the change area detection unit 28 detects an element area that is an outlier in the statistical distribution 108 obtained for the attention area corresponding to a certain forest phase, and outputs information indicating the element area as the change area data 106. For example, the forest fauna compartment generating unit 20 defines an identifier (ID) for identifying the created forest fauna compartment, and the forest fauna compartment data 100 and the feature information data 102 are information on the forest fauna compartment associated with the ID and feature information, respectively. The The change area detection unit 28 can extract, for example, the ID as the change area data 106.

変化領域検出部28は例えば、或る林相に対応する注目領域の統計分布が当該林相の特徴情報について想定される分布に従っているかを検証する仮説検定を用い、仮説を棄却する原因となっている標本を探索して、それを外れ値とする。   The change region detection unit 28 uses, for example, a hypothesis test that verifies whether the statistical distribution of the region of interest corresponding to a certain forest phase conforms to the distribution assumed for the feature information of the forest phase, and samples that cause the hypothesis to be rejected And make it an outlier.

例えば、各林相の特徴量の統計分布が正規分布である場合に、カイ2乗(χ)検定を用いることができる。変化領域検出部28は、林相の特徴情報が従うべき正規分布の平均値の推定値として注目領域の統計情報の平均値を用いてχ値を計算する。χ値がχ分布において所定の有意水準(例えば、1%)での棄却域にある場合は、注目領域にて観測された特徴情報からなる標本の集合うち分散が最大のものを除去した残りの集合についてχ値を計算し直す。この作業をχ値が採択域に入るまで反復する。変化領域検出部28は、この処理にて元の標本の集合から除去された標本を外れ値とし、変化領域として検出する。 For example, a chi-square (χ 2 ) test can be used when the statistical distribution of feature values of each forest phase is a normal distribution. The change area detection unit 28 calculates the χ 2 value by using the average value of the statistical information of the attention area as the estimated value of the average value of the normal distribution to be followed by the feature information of the forest fauna. When the χ 2 value is in the rejection area at a predetermined significance level (for example, 1%) in the χ 2 distribution, the sample set consisting of feature information observed in the region of interest has the largest variance. Recalculate χ 2 values for the remaining set. This operation is repeated until the χ 2 value falls within the acceptance range. The change region detection unit 28 detects the sample removed from the original sample set by this processing as an outlier, and detects it as a change region.

なお、外れ値の検出は例えば、スミルノフ・グラブス検定などの他の周知の検定手法を用いて行うこともできる。   In addition, the detection of an outlier can also be performed using other well-known test methods, such as a Smirnov-Grubbs test.

林相区分図生成部30は林相区画データ100で与えられる各林相区画について、時期T1の林相区分図データ42に基づいていずれの林相の注目領域に属するかを判定し、さらに変化領域データ106に基づいて当該注目領域における変化領域であるか否かを判定する。これにより時期T2の各林相区画の林相が決定され、時期T2についての林相区分図(林相区分図データ110)が生成される。   The forest fauna section map generation unit 30 determines, for each forest fauna section given by the forest fauna section data 100, which forest fauna the target area belongs to based on the forest fauna section map data 42 at the time T <b> 1, and further based on the change area data 106. It is then determined whether or not the region of interest is a change region. As a result, the forest fauna of each forest fauna section at time T2 is determined, and a forest fauna map (forest fauna map data 110) for time T2 is generated.

なお、テクスチャ情報は上述の3種類以外のものを用いることもできる。例えば、ウェーブレット解析により抽出した画像テクスチャを用いることができる。具体的には、ウェーブレット解析で抽出した高周波成分の情報をテクスチャ情報として画像のスペクトル特徴情報と併用して林相を判定することができる。   Note that texture information other than the above three types can also be used. For example, an image texture extracted by wavelet analysis can be used. Specifically, the forest phase can be determined using the high-frequency component information extracted by the wavelet analysis as texture information together with the spectral feature information of the image.

本実施形態ではオルソ画像データ40は航空写真としたが、本発明は、例えば衛星写真などの他の高分解能画像を用いた林相解析にも適用可能である。また、本実施形態ではオルソ画像を例に説明したが、必ずしもオルソ画像を用いる必要は無く、上空から撮影した画像を適宜用いることができる。   In the present embodiment, the ortho image data 40 is an aerial photograph, but the present invention can also be applied to forest facies analysis using other high resolution images such as satellite photographs. In the present embodiment, an ortho image is described as an example, but it is not always necessary to use an ortho image, and an image taken from the sky can be used as appropriate.

[第2の実施形態]
第2の実施形態の林相解析システムにおいて上記第1の実施形態と同じ構成要素は同一の符号を付して説明を省略する。以下、第2の実施形態の林相解析システム200について第1の実施形態の林相解析システム2との相違点を説明する。
[Second Embodiment]
In the forest phase analysis system of the second embodiment, the same components as those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted. Hereinafter, differences between the forest facies analysis system 200 of the second embodiment and the forest facies analysis system 2 of the first embodiment will be described.

図14は第2の実施形態である林相解析システム200の概略の構成を示すブロック図である。林相解析システム200と林相解析システム2との相違点は林相区画をどのような条件に基づいて行うかという点にある。第1の実施形態では林相区画生成部20はスペクトル特徴量についてのスペクトル条件44及び幾何特徴量についての幾何条件46を満たすように領域分割処理を行って林相区画を生成している。これに対し、第2の実施形態の林相解析システム200では、領域併合前後のオブジェクト、つまり、劣化画像の画素又は林相区画の色、形状、テクスチャ及び面積を区画用特徴量とし、これらについての色条件202、形状条件204、テクスチャ条件206及び面積条件208を満たすように領域分割処理を行って林相区画を生成する。   FIG. 14 is a block diagram showing a schematic configuration of a forest facies analysis system 200 according to the second embodiment. The difference between the forest facies analysis system 200 and the forest facies analysis system 2 is in what conditions the forest facies division is performed. In the first embodiment, the forest facies section generation unit 20 generates a forest facies section by performing region division processing so as to satisfy the spectrum condition 44 for the spectral feature quantity and the geometric condition 46 for the geometric feature quantity. On the other hand, in the forest analysis system 200 of the second embodiment, the object before and after the region merging, that is, the color, shape, texture, and area of the pixel of the degraded image or the forest phase partition are used as the feature amount for the partition, and the colors for these Region division processing is performed so as to satisfy the condition 202, the shape condition 204, the texture condition 206, and the area condition 208, and forest stand sections are generated.

色条件202、形状条件204、テクスチャ条件206及び面積条件208は、オルソ画像(オルソ画像データ40)を領域分割して生成されるオブジェクト領域である林相区画が満たすべき条件である。色条件202は林相区画におけるオルソ画像の画素値に関する条件を規定する。ちなみに「色条件」における「色」はオルソ画像の画素値を意味し、RGBの情報からなるスペクトル情報よりも広義で用いている。具体的には、ここでの「色」は第1の実施形態のスペクトル特徴量に相当し、例えば、NIRの情報を含むマルチスペクトル画像の画素値もここでの色の概念に含まれ得る。形状条件204は林相区画の形状に関する条件を規定する。テクスチャ条件206は林相区画の画像テクスチャに関する条件を規定する。画像テクスチャはテクスチャ特徴量で評価される。面積条件208は林相区画の面積に関する条件を規定する。なお、林相区画の形状、面積は林相区画の幾何特徴量である。   The color condition 202, the shape condition 204, the texture condition 206, and the area condition 208 are conditions that must be satisfied by a forest section that is an object region generated by dividing an ortho image (ortho image data 40). The color condition 202 defines a condition regarding the pixel value of the ortho image in the forest block. Incidentally, “color” in “color condition” means a pixel value of an ortho image and is used in a broader sense than spectral information composed of RGB information. Specifically, the “color” here corresponds to the spectral feature amount of the first embodiment, and for example, the pixel value of a multispectral image including NIR information can also be included in the color concept here. The shape condition 204 defines a condition regarding the shape of the forest fauna compartment. The texture condition 206 defines a condition related to the image texture of the forest fauna section. The image texture is evaluated by the texture feature amount. The area condition 208 defines a condition relating to the area of the forest land section. In addition, the shape and area of the forest fauna compartment are geometric feature quantities of the forest fauna compartment.

初期区画部72は、互いに隣接する複数の画素からなる領域を1次の林相区画とするか否かを、それら画素の画素値の類似性、領域の画像テクスチャの類似性、及び領域の形状や面積などの幾何特徴量の類似性に基づいて決定する。ここで、結合される領域間や結合前後の領域間での画素値の類似性は、画素値の平均値などの統計量などの特徴量に基づいて判断することができる。   The initial partition unit 72 determines whether or not a region composed of a plurality of pixels adjacent to each other is a primary forest phase partition, the similarity of pixel values of these pixels, the similarity of the image texture of the region, the shape of the region, It is determined based on the similarity of geometric features such as area. Here, the similarity of the pixel values between the regions to be combined or between the regions before and after the combination can be determined based on a feature amount such as a statistic such as an average value of the pixel values.

後続区画部74は第1の実施形態と同様、逐次区画処理を行う。本実施形態では逐次区画処理は、互いに隣接する複数の低次の林相区画について、それらにおける画素値の類似性に関する色条件202と、それらを結合して得られる高次の林相区画についての形状条件204と、テクスチャ条件206と、面積条件208とに基づいて、それら低次の林相区画を結合するか否かを決める。   The subsequent partition unit 74 performs sequential partition processing as in the first embodiment. In the present embodiment, the sequential partition processing is performed on the plurality of low-order forest facies partitions adjacent to each other, the color condition 202 regarding the similarity of pixel values in them, and the shape condition on the higher-order forest tract partitions obtained by combining them. Based on 204, texture condition 206 and area condition 208, it is determined whether or not to combine these lower-order forest fauna sections.

画像領域分割には第1の実施形態と同様、領域併合に基づく手法を利用する。本実施形態では、領域併合によるオブジェクトの異質性の変化Δhは、併合前後における色の異質性の変化Δhcolorと、形状の異質性の変化Δhshapeと、テクスチャの異質性の変化Δhtextureと、面積の異質性の変化Δhaeraとから次式によって算出される。 Similar to the first embodiment, a method based on region merging is used for image region division. In this embodiment, the change in object heterogeneity Δh due to region merging includes a change in color heterogeneity Δh color before and after merging, a change in shape heterogeneity Δh shape , a change in texture heterogeneity Δh texture , The area heterogeneity change Δhaera is calculated by the following equation.

Figure 0006334281
Figure 0006334281

ここで、wcolorは色の異質性の重み、wshapeは形状の異質性の重み、wtextureはテクスチャの異質性の重み、wareaは面積の異質性の重みである。 Here, w color is the weight of the heterogeneity of the color, w shape is the weight of the heterogeneity of the shape, w texture is the weight of the heterogeneity of the texture, and w area is the weight of the heterogeneity of the area.

併合前後の色の異質性の変化Δhcolor、形状の異質性の変化Δhshape、テクスチャの異質性の変化Δhtexture、面積の異質性の変化Δhaeraは、例えば、それぞれ次式によって計算される。 The change in color heterogeneity Δh color before and after merging, the change in shape heterogeneity Δh shape , the change in texture heterogeneity Δh texture , and the change in area heterogeneity Δhaera are calculated by the following equations, for example.

Figure 0006334281
Figure 0006334281

ここで、nabは併合後の新しいオブジェクトの画素数、n,nは併合前の2つのオブジェクトの画素数である。また、CIabは併合後のオブジェクトの色情報指数(例えば、画素値)、CI,CIは併合前の2つのオブジェクトの色情報指数、SIabは併合後のオブジェクトの形状情報指数(例えば、スムースネス)、SI,SIは併合前の2つのオブジェクトの形状情報指数、TIabは併合後のオブジェクトのテクスチャ情報指数(例えば、画素値の標準偏差値)、TI,TIは併合前の2つのオブジェクトのテクスチャ情報指数、AIabは併合後のオブジェクトの面積情報指数(例えば、面積値)、AI,AIは併合前の2つのオブジェクトの面積情報指数である。 Here, n ab is the number of pixels of the new object after merging, and n a and n b are the number of pixels of the two objects before merging. CI ab is the color information index (for example, pixel value) of the object after merging, CI a and CI b are the color information indices of the two objects before merging, and SI ab is the shape information index of the object after merging (for example, , Smoothness), SI a and SI b are the shape information indices of the two objects before merging, TI ab is the texture information index of the object after merging (for example, the standard deviation value of the pixel value), and TI a and TI b are The texture information index of the two objects before merging, AI ab is the area information index (for example, area value) of the object after merging, and AI a and AI b are the area information indices of the two objects before merging.

(6)式に示すように、初期区画部72における画素の結合の判断、又は後続区画部74における低次の林相区画の結合の判断に対する色条件、形状条件、テクスチャ条件及び面積条件それぞれの寄与比率は重みwcolor,wshape,texture,areaにより調節することができる。ここで、初期区画部72及び後続区画部74の一方又は両方は、林相区画の生成判断において、色条件、形状条件、テクスチャ条件及び面積条件の何れか1つもしくは複数の組み合わせに基づいて行う構成にすることもできる。 As shown in the equation (6), each of the color condition, the shape condition, the texture condition, and the area condition contributes to the determination of the combination of pixels in the initial partition section 72 or the determination of the combination of low-order forest facies sections in the subsequent partition section 74. The ratio can be adjusted by weights w color , w shape, w texture, w area . Here, one or both of the initial partition unit 72 and the subsequent partition unit 74 are configured based on any one or a combination of a color condition, a shape condition, a texture condition, and an area condition in the generation determination of the forest block section. It can also be.

2,200 林相解析システム、4 演算処理装置、6 記憶装置、8 入力装置、10 出力装置、20 林相区画生成部、22 テクスチャ解析部、24 スペクトル解析部、26 統計分布作成部、28 変化領域検出部、30 林相区分図生成部、40 オルソ画像データ、42 時期T1の林相区分図データ、44 スペクトル条件、46 幾何条件、70 低分解能画像生成部、72 初期区画部、74 後続区画部、80 日向/日陰分布パターン情報抽出部、82 日向/日陰境界パターン情報抽出部、84 LBP画像情報抽出部、100 林相区画データ、102 特徴情報データ、104 統計分布データ、106 変化領域データ、110 時期T2の林相区分図データ、202 色条件、204 形状条件、206 テクスチャ条件、208 面積条件。   2,200 Forest phase analysis system, 4 arithmetic processing device, 6 storage device, 8 input device, 10 output device, 20 forest phase section generation unit, 22 texture analysis unit, 24 spectrum analysis unit, 26 statistical distribution creation unit, 28 change area detection , 30 Forest phase division map generation unit, 40 Ortho image data, 42 Time phase T1 forest phase map data, 44 Spectral conditions, 46 Geometric conditions, 70 Low resolution image generation unit, 72 Initial partition unit, 74 Subsequent partition unit, 80 Hyuga / Shade distribution pattern information extraction unit, 82 Hinata / shade boundary pattern information extraction unit, 84 LBP image information extraction unit, 100 forest phase section data, 102 feature information data, 104 statistical distribution data, 106 change area data, 110 forest phase at time T2 Section map data, 202 color conditions, 204 shape conditions, 206 texture conditions, 208 Area condition.

Claims (9)

森林を含む対象地域の第1の時期における既知の林相区分図での各林相の領域に対応して、前記対象地域を第2の時期に上空から撮影した原画像に注目領域を設定し、前記各林相の前記注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める統計分布作成手段と、
前記各注目領域について、前記原画像の前記統計分布を、前記林相区分図での当該注目領域に対応する林相の領域での前記特徴情報について想定される統計分布と比較して、前記原画像の当該注目領域での前記統計分布における外れ値を検出し、当該外れ値を与える前記要素領域を当該注目領域において前記第1の時期と前記第2の時期との間で前記林相が変化した変化領域として検出する変化領域検出手段と、
を有することを特徴とする林相解析装置。
Corresponding to the area of each forest fauna in the known forest fauna division map in the first period of the target area including the forest, the target area is set to the original image taken from the sky in the second period, Statistical distribution creating means for obtaining a statistical distribution for the feature information of the image extracted for each predetermined element region in the attention region of each forest phase;
For each region of interest, the statistical distribution of the original image is compared with the statistical distribution assumed for the feature information in the region of the forest fauna corresponding to the region of interest in the forest fauna division map, detecting outliers in the statistical distribution of in the region of interest, the change area where the said element region for applying the outlier between said second timing and the first timing in the attention area forest physiognomy has changed Change area detection means for detecting as,
A forest phase analysis apparatus characterized by comprising:
請求項1に記載の林相解析装置において、
前記第1の時期の前記林相区分図に前記変化領域を非森林として反映させて前記第2の時期の林相区分図を生成する林相区分図生成手段を有すること、を特徴とする林相解析装置。
In the forest phase analysis apparatus according to claim 1,
A forest facies analysis apparatus comprising forest facies segment map generation means for generating the forest facies segment map of the second time period by reflecting the change region as a non-forest in the forest fauna segment map of the first period.
請求項1又は請求項2に記載の林相解析装置において、
前記原画像の1又は複数種類の区画用特徴量の類似性に基づいて前記対象地域を複数領域に分割して前記森林の林相区画を生成し出力する林相区画生成手段を有し、
前記統計分布作成手段及び前記変化領域検出手段における前記要素領域は前記林相区画であること、
を特徴とする林相解析装置。
In the forest fauna analysis apparatus according to claim 1 or 2,
A forest fauna compartment generating means for generating and outputting the forest fauna compartment of the forest by dividing the target area into a plurality of regions based on the similarity of one or more kinds of compartment features of the original image;
The element region in the statistical distribution creation means and the change region detection means is the forest fauna compartment;
Forest phase analysis device characterized by
請求項3に記載の林相解析装置において、
前記原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させた劣化画像を生成する画像劣化手段を有し、
前記林相区画生成手段は、
前記劣化画像を、その1又は複数種類の前記区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画手段と、
隣接する林相区画をそれらの1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画手段と、
を有し、
前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行うこと、
を特徴とする林相解析装置。
In the forest phase analysis apparatus according to claim 3,
From the original image, having an image deterioration means for generating a deteriorated image in which the resolution is reduced with a region composed of a plurality of adjacent pixels of the original image as a pixel,
The forest fauna compartment generating means includes:
An initial partition means for dividing the degraded image into a plurality of regions based on the similarity of the one or more types of the feature values for the partition, and generating a forest fauna partition;
The adjacent forest fauna compartments are combined based on the similarity of the one or more types of the feature values for the compartments to generate a new forest fauna compartment once or multiple times, and the forest in the target area Subsequent compartment means for outputting the forest fauna compartment,
Have
The subsequent partition means performs at least one sequential partition processing based on the partition feature of the original image or the partition feature of each of the original image and the degraded image;
Forest phase analysis device characterized by
請求項3又は請求項4に記載の林相解析装置において、
前記原画像からテクスチャ情報を抽出するテクスチャ情報抽出手段を有し、
前記統計分布作成手段は、前記林相区画生成手段から出力される前記各林相区画から抽出された前記テクスチャ情報を前記特徴情報として前記統計分布を求めること、
を特徴とする林相解析装置。
In the forest fauna analysis apparatus according to claim 3 or claim 4,
Texture information extracting means for extracting texture information from the original image;
The statistical distribution creating means obtains the statistical distribution using the texture information extracted from each forest fauna compartment output from the forest fauna compartment generating means as the feature information;
Forest phase analysis device characterized by
請求項5に記載の林相解析装置において、
前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段を有し、
前記統計分布作成手段は、前記林相区画生成手段から出力される前記各林相区画から抽出された前記テクスチャ情報及び前記スペクトル情報を前記特徴情報として前記統計分布を求めること、
を特徴とする林相解析装置。
In the forest phase analysis apparatus according to claim 5,
Spectral information extracting means for extracting spectral information from the original image;
The statistical distribution creating means obtains the statistical distribution using the texture information and the spectrum information extracted from each forest fauna compartment output from the forest fauna compartment generating means as the feature information,
Forest phase analysis device characterized by
請求項3又は請求項4に記載の林相解析装置において、
前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段を有し、
前記統計分布作成手段は、前記林相区画生成手段から出力される前記各林相区画から抽出された前記スペクトル情報を前記特徴情報として前記統計分布を求めること、
を特徴とする林相解析装置。
In the forest fauna analysis apparatus according to claim 3 or claim 4,
Spectral information extracting means for extracting spectral information from the original image;
The statistical distribution creating means obtains the statistical distribution using the spectral information extracted from each forest fauna compartment output from the forest fauna compartment generating means as the feature information;
Forest phase analysis device characterized by
森林を含む対象地域の第1の時期における既知の林相区分図での各林相の領域に対応して、前記対象地域を第2の時期に上空から撮影した原画像に注目領域を設定し、前記各林相の前記注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める統計分布作成ステップと、
前記各注目領域について、前記原画像の前記統計分布を、前記林相区分図での当該注目領域に対応する林相の領域での前記特徴情報について想定される統計分布と比較して、前記原画像の当該注目領域での前記統計分布における外れ値を検出し、当該外れ値を与える前記要素領域を当該注目領域において前記第1の時期と前記第2の時期との間で前記林相が変化した変化領域として検出する変化領域検出ステップと、
を有することを特徴とする林相解析方法。
Corresponding to the area of each forest fauna in the known forest fauna division map in the first period of the target area including the forest, the target area is set to the original image taken from the sky in the second period, A statistical distribution creating step for obtaining a statistical distribution for feature information of an image extracted for each predetermined element region in the attention region of each forest phase;
For each region of interest, the statistical distribution of the original image is compared with the statistical distribution assumed for the feature information in the region of the forest fauna corresponding to the region of interest in the forest fauna division map, detecting outliers in the statistical distribution of in the region of interest, the change area where the said element region for applying the outlier between said second timing and the first timing in the attention area forest physiognomy has changed A change area detection step to detect as,
The forest phase analysis method characterized by having.
コンピュータに、森林を含む対象地域における林相解析を行わせるためのプログラムであって、当該コンピュータを、
森林を含む対象地域の第1の時期における既知の林相区分図での各林相の領域に対応して、前記対象地域を第2の時期に上空から撮影した原画像に注目領域を設定し、前記各林相の前記注目領域にて所定の要素領域ごとに抽出される画像の特徴情報について統計分布を求める統計分布作成手段、及び、
前記各注目領域について、前記原画像の前記統計分布を、前記林相区分図での当該注目領域に対応する林相の領域での前記特徴情報について想定される統計分布と比較して、前記原画像の当該注目領域での前記統計分布における外れ値を検出し、当該外れ値を与える前記要素領域を当該注目領域において前記第1の時期と前記第2の時期との間で前記林相が変化した変化領域として検出する変化領域検出手段、
として機能させることを特徴とするプログラム。
A program for causing a computer to perform forest fauna analysis in a target area including forests,
Corresponding to the area of each forest fauna in the known forest fauna division map in the first period of the target area including the forest, the target area is set to the original image taken from the sky in the second period, A statistical distribution creating means for obtaining a statistical distribution for the feature information of the image extracted for each predetermined element region in the target region of each forest phase; and
For each region of interest, the statistical distribution of the original image is compared with the statistical distribution assumed for the feature information in the region of the forest fauna corresponding to the region of interest in the forest fauna division map, detecting outliers in the statistical distribution of in the region of interest, the change area where the said element region for applying the outlier between said second timing and the first timing in the attention area forest physiognomy has changed Change area detection means for detecting,
A program characterized by functioning as
JP2014119575A 2013-06-20 2014-06-10 Forest phase analysis apparatus, forest phase analysis method and program Active JP6334281B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014119575A JP6334281B2 (en) 2013-06-20 2014-06-10 Forest phase analysis apparatus, forest phase analysis method and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013130058 2013-06-20
JP2013130058 2013-06-20
JP2014119575A JP6334281B2 (en) 2013-06-20 2014-06-10 Forest phase analysis apparatus, forest phase analysis method and program

Publications (2)

Publication Number Publication Date
JP2015023858A JP2015023858A (en) 2015-02-05
JP6334281B2 true JP6334281B2 (en) 2018-05-30

Family

ID=52489093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014119575A Active JP6334281B2 (en) 2013-06-20 2014-06-10 Forest phase analysis apparatus, forest phase analysis method and program

Country Status (1)

Country Link
JP (1) JP6334281B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055846B2 (en) * 2016-01-26 2018-08-21 The Boeing Company Normalized probability of change algorithm for image processing
CN108665489B (en) * 2017-03-27 2023-03-21 波音公司 Method for detecting changes in geospatial images and data processing system
JP7013886B2 (en) * 2018-01-25 2022-02-01 富士フイルムビジネスイノベーション株式会社 Information processing equipment and programs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4131930B2 (en) * 2002-12-16 2008-08-13 株式会社日立製作所 Map update program and map update device
JP4512778B2 (en) * 2004-04-26 2010-07-28 株式会社エヌ・ティ・ティ・データ Illegal dumping point detection device, method, and program
JP2006285310A (en) * 2005-03-31 2006-10-19 Kanazawa Univ Evaluation method of canopy of forest, and its canopy evaluation program
JP4129879B2 (en) * 2005-07-25 2008-08-06 株式会社エヌ・ティ・ティ・データ Image analysis apparatus, image analysis method, and program
JP2012208046A (en) * 2011-03-30 2012-10-25 Fujitsu Ltd Plant species identification method and plant species identification device

Also Published As

Publication number Publication date
JP2015023858A (en) 2015-02-05

Similar Documents

Publication Publication Date Title
Huang et al. Morphological building/shadow index for building extraction from high-resolution imagery over urban areas
Zhang et al. An unsupervised evaluation method for remotely sensed imagery segmentation
CN110309781B (en) House damage remote sensing identification method based on multi-scale spectrum texture self-adaptive fusion
JP6200826B2 (en) Forest phase analysis apparatus, forest phase analysis method and program
JP6358862B2 (en) Forest phase analysis apparatus and program
JP2006285310A (en) Evaluation method of canopy of forest, and its canopy evaluation program
Guimarães et al. A hierarchical image segmentation algorithm based on an observation scale
JP6497579B2 (en) Image composition system, image composition method, image composition program
KR102170260B1 (en) Apparatus and method for fusing synthetic aperture radar image and multispectral image, method for detecting change using it
CN110705634B (en) Heel model identification method and device and storage medium
Li et al. GIS-based detection of grain boundaries
Bandyopadhyay et al. Classification and extraction of trees and buildings from urban scenes using discrete return LiDAR and aerial color imagery
JP6334281B2 (en) Forest phase analysis apparatus, forest phase analysis method and program
Huang et al. Cloud detection for high-resolution remote-sensing images of urban areas using colour and edge features based on dual-colour models
Teodoro et al. Identification of beach hydromorphological patterns/forms through image classification techniques applied to remotely sensed data
JP6218678B2 (en) Forest phase analysis apparatus, forest phase analysis method and program
Erener et al. A methodology for land use change detection of high resolution pan images based on texture analysis
JP4285640B2 (en) Object identification method, apparatus and program
Manandhar et al. Segmentation based building detection in high resolution satellite images
JP2009123234A (en) Object identification method, apparatus and program
JP5663685B2 (en) Forest phase analysis apparatus, forest phase analysis method and program
CN116883303A (en) Infrared and visible light image fusion method based on characteristic difference compensation and fusion
Chochia Image segmentation based on the analysis of distances in an attribute space
DadrasJavan et al. An object-level strategy for pan-sharpening quality assessment of high-resolution satellite imagery
JP5305485B2 (en) Ground height data generating apparatus, ground height data generating method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180426

R150 Certificate of patent or registration of utility model

Ref document number: 6334281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350