JP7172605B2 - 情報生成方法、情報生成装置、プログラム - Google Patents
情報生成方法、情報生成装置、プログラム Download PDFInfo
- Publication number
- JP7172605B2 JP7172605B2 JP2018568009A JP2018568009A JP7172605B2 JP 7172605 B2 JP7172605 B2 JP 7172605B2 JP 2018568009 A JP2018568009 A JP 2018568009A JP 2018568009 A JP2018568009 A JP 2018568009A JP 7172605 B2 JP7172605 B2 JP 7172605B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- vegetation
- area
- vegetation information
- environmental stress
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0098—Plants or trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Description
従って植物の良好な育成のためには、環境の状態を把握することや、植物の種類や育成ステージごとに時間的変化を伴う植物の内部状態をモニタし、その状態に応じて育成環境を制御することが重要である。
特許文献2には、水ストレスの測定方法として赤から近赤外域の分光反射率の変化点の移動を用いることが開示されている。
特許文献3には、基準地区と近傍の圃場を重なるようにリモートセンシングにより撮像し、基準地区の撮像情報と作物情報(携帯型測定器を用いた現地調査による)により、近傍の圃場の作物情報を補正することが開示されている。
そして特に環境条件が一定ではなく、複数の環境ストレスが生ずる野外環境等においては、植物の育成に影響を与えている環境条件の特定や定量化、もしくは状態に応じた対処を行う事が困難である。
例えば上記各特許文献に記載の技術を用いる場合も、複数のストレスが同時に起こり得る場合に、特定の環境ストレスを弁別して観測することが難しい。
例えば土壌水分センサで土壌水分量を計測できれば灌漑水量を適切に設定できるものの、広大な圃場では高コストとなり実現できていない。
カメラによる撮像で植物の分光計測は安価に可能であるが、植物の環境ストレス反応という形で間接的に計測するため、圃場で複数の環境ストレスが同時に起こっている場合にその原因(例えば水不足)の弁別ができない。例えば灌漑水量を削減した場合に、水不足が生育に悪影響を与えているのか、他の環境ストレスが原因なのかがわからず、このため灌漑水量の適切な削減量の判断が困難になる。
植生の環境ストレスは複数あるが、ある特定の環境ストレスに関する情報を算出する。例えば温度状況や乾燥状況などのストレスがほぼ同じ状態において、特定の環境ストレス(例えば水ストレス)の情報を算出する。このために特定の環境ストレスが無い状態における基準植生情報と、特定の環境ストレスがありうる状態の植生情報の差分を求め、これを特定の環境ストレスに関する情報とする。
例えば圃場の一部をリファレンス区域とする。そのリファレンス区域は例えば水ストレスが無い状態とする。圃場の他の部分を被計測区域とし、灌漑条件が異なる状態とする。そしてそれらの撮像信号に基づいて特定の環境ストレスに関する情報を算出する。
例えば圃場をリファレンス区域と被計測区域に分ける。
即ち被計測区域内の一部に特定の環境ストレス状態が無い区域を用意し、これをリファレンス区域とする。
撮像装置の数、種類、性能などの機材的事情や、農場の広さなどの事情により、被計測区域とリファレンス区域について、同時刻帯に撮像することができる場合もあれば、同時刻帯には撮像できない場合もある。時刻帯が異なると、日照条件や気温など環境条件が変化することで、算出したい特定の環境ストレス以外の条件が変化してしまう。そこで、撮像信号に付加されている撮像日時情報を用いて基準植生情報を算出するための植生情報を選択するようにする。
例えば被計測区域としての圃場について特定の環境ストレス状態を可変制御できるようにしておく。そして特定の環境ストレスをかけていないときの第1の撮像信号に基づいて基準植生情報を生成する。この基準植生情報と、特定の環境ストレスをかけたときの第2の撮像信号から求めた植生情報との間で差分演算を行う。
また上記した情報生成方法においては、前記差分取得手順では、前記差分情報としての画像情報を生成することが考えられる。
例えば前記特定の環境ストレスがありうる状態の植生の撮像画像から得られた植生情報と基準植生情報との差分を表す画像情報を生成する。
特定の環境ストレスが無い状態における撮像画像から求められる植生情報についてある程度のばらつきはある。そこで、その植生情報の代表値となる基準植生情報を、平均値演算で得られた値を用いて求める。
また上記した情報生成方法においては、前記植生情報は、PRI、クロロフィル蛍光の大きさ、クロロフィル蛍光インデックス、又はステート遷移反射率のいずれかであることが考えられる。
また前記特定の環境ストレスがない状態の植生の撮像信号から得た植生情報を用いて前記基準植生情報を求める基準植生情報取得部を更に備える。
この情報生成装置により、例えば水ストレスなどの特定の環境ストレスが無い状態を基準として基準植生情報を求め、例えば特定の環境ストレスがありうる区域の撮像信号から得られた植生情報についての基準植生情報との差分を求めることができる。
即ち外部の撮像装置で撮像された植生の撮像画像をストレス測定処理に用いるデータとして取得する。
撮像画像が例えばリファレンス区域の画像であるか、被計測区域の画像であるかを区別するための情報を取得する。
これにより特定の環境ストレスがない状態の植生情報を適切に選択して基準植生情報を求めることができる。
1つの撮像画像内に例えばリファレンス区域の画像と被計測区域の画像が混在する場合に、それらの区域の画像を分割抽出する。
例えば被計測区域の撮像信号から求めた植生情報に対する基準植生情報を、同じ時刻帯に撮像したリファレンス区域の撮像信号から求めた植生情報を用いて算出する。
例えば灌漑設備を制御して、或る圃場を水ストレスがありうる状態とない状態に変更できるようにする。
上記した情報生成装置においては、前記差分取得部により得られた差分情報に基づいて、環境ストレス可変設備を制御する指示部を備えることが考えられる。
例えば基準植生情報との差分情報に基づいて灌漑量を調整するバルブ等を自動制御することなどができるようにする。
上記した情報生成装置においては、前記差分取得部では、前記差分情報としての画像情報を生成するとともに、前記画像情報を出力する画像出力部を備えることが考えられる。
例えば圃場(被計測区域)に対応するように差分情報を示した画像を出力する。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.第1の実施の形態>
<2.第2の実施の形態>
<3.第3の実施の形態>
<4.第4の実施の形態>
<5.灌漑量の設定>
<6.灌水路の破損検出>
<7.他の環境ストレスの測定>
<8.まとめ及び変形例>
図1は第1の実施の形態として、植生に対する特定の環境ストレスを算出する情報生成装置1を含むシステム構成を示している。
情報生成装置1は、算出対象となる圃場についての撮像信号である撮像画像を用いて特定の環境ストレス算出を行う。
なお各実施の形態では、特定の環境ストレスとして水ストレスを計測するケースを例に挙げて説明する。
リファレンス区域Arefには例えば灌水チューブによる灌水路12-Rがひかれており、その灌水量は灌漑設定バルブ11-Rによってコントロールされる。
また被計測区域A1,A2・・・には、それぞれ同様に例えば灌水チューブによる灌水路12-1,12-2・・・がひかれている。灌水路12-1,12-2・・・による灌水量は、それぞれ灌漑設定バルブ11-1,11-2・・・によってコントロールされる。
この例では灌漑制御装置10は、オペレータの指示等に応じて各灌漑量設定バルブ11を制御するとともに、各灌漑量設定バルブ11の開放水量の情報を区分情報PIとして情報生成装置1に供給できるものとしている。
従って図示するリファレンス区域Arefは、灌漑制御装置10によって十分灌漑されるように灌漑設定バルブ11が制御されている区域となる。このリファレンス区域Arefは固定的な場所として設定されてもよいが、あくまでも環境ストレス算出を行う際に水ストレスが無い状態にコントロールされた区域であればよく、リファレンス区域Arefは変更されてもかまわない。
一方、被計測区域A1,A2・・・は、場所毎、気象毎、育成ステージ毎に、灌漑量をなるべく最低限にする区域としている。従って、被計測区域A1,A2・・・は、灌漑制御装置10によってある程度灌水量が制限されるように灌漑設定バルブ11が制御されている区域となる。
このことから、灌漑制御装置10が区分情報PIとして、各区域の灌水量の情報(灌漑設定バルブ11の制御情報)を情報生成装置1に供給すると、情報生成装置1は、どの区域(どの灌漑設定バルブ11の区域)がリファレンス区域Arefでどの区域が被計測区域A1,A2であるかが判別できることになる。
なお、これらの各部は、それぞれハードウエアにより構成されてもよいが、後述するコンピュータ装置においてソフトウエア(環境ストレス情報生成プログラム)によって実現される機能とされてもよい。以下では、これら各部がソフトウエアによる機能ブロックとして実現される例で説明する。
そして画像取得部21は、少なくともリファレンス区域Arefの植生を撮像した画像データとしての画像ファイルRefと、被計測区域A1,A2・・・の植生を撮像した画像データとしての画像ファイルM1,M2・・・を取得する。
なお、取得する画像ファイル(Ref,M1,M2・・・)は、撮像装置250や中継装置から有線伝送又は無線伝送として送信され情報生成装置1で受信した画像データファイルであったり、撮像装置250側や他の記録装置によって記録媒体に記録され、情報生成装置1が記録媒体を再生することで取得する画像データファイルである。
また画像取得部21による撮像された画像ファイル(Ref,M1,M2・・・)の取得は、リアルタイム(撮像時)でも良いし、後の時点でもよい。少なくとも環境ストレス情報生成の時点で、リファレンス区域Arefや被計測区域A1,A2・・・の画像が取得されれば良い。
さらに撮像画像を得るための撮像装置として飛行体200に搭載された撮像装置250を例に挙げているが、画像取得部21は、圃場に設置された定点カメラによる撮像画像や、人が所持する撮像装置を用いて撮像した画像を取得するものとしてもよい。
図3に画像ファイルRef、画像ファイルM1に含まれるデータの一例を示している。これらの画像ファイルには、「λ1」「λ2」「λ3」「λ4」として示す複数の波長の画像が含まれている。ここでは4つ示しているが、少なくとも2つの波長の画像を有するものとする。
また画像ファイルには、タグ情報TGが付加されている。タグ情報TGには撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、撮像装置情報(カメラの個体識別情報や機種情報等)、各画像データの情報(画サイズ、波長、撮像パラメータ等の情報)などが含まれている。
環境ストレスの測定に用いる指数として植生指数演算部22が演算する指数は、
・PRI(photochemical reflectance index)
・クロロフィル蛍光の大きさ
・クロロフィル蛍光インデックス
・ステート遷移反射率
等がある。
クロロフィル蛍光の大きさは、太陽光によって励起されるクロロフィル蛍光の大きさ(solar-induced chlorophyll fluorescence(SIF))でもよいし、太陽光ではなくレーザーやLEDを用いてクロロフィル蛍光を励起させてもよい。
クロロフィル蛍光インデックスは、クロロフィル蛍光をいくつかの波長に分けて測定し、例えば685nm、735nmの2波長の比で表すものである。
本実施の形態ではPRIを求める例を挙げて説明する。
ここではPRIは、
PRI=(R570-R531)/(R570+R531)
として算出されるものとする。なお、「R570」は波長570nmの反射光強度、「R531」は波長531nmの反射光強度である。
図3には画像ファイルRefから植生指数画像ファイルRef_Pを生成し、画像ファイルM1から植生指数画像ファイルM1_Pを生成することを示している。
即ちこれらの植生指数画像ファイルは、「λ1」画像(例えば波長570nmの画像)、「λ2」画像(例えば波長531nmの画像)を用いて求める。これら各画像を構成するピクセル毎の値(反射光強度に応じた輝度値)について、上記のPRIの演算を行い、植生指数画像としての各ピクセル毎のPRI値を求める。そのピクセル毎のPRI値の画像データを含むファイルが、植生指数画像ファイルとなる。
なお、上記定義のPRI値の場合では、ストレスが増加するとPRI値も増加するものとなる。
クロロフィル蛍光を用いてストレス検出を行うこともできる。クロロフィル蛍光は植物の光合成に伴い植物から発せられる蛍光で、光により電子が励起した反応中心から一定時間内にエネルギーが抜き取られないと、高等植物では680nm~770nm前後の波長の蛍光としてエネルギーが放出される現象である。
放出されるエネルギーは入力光のエネルギーに対し0.5%~3%で、植物の光合成の状態に応じて変動し、強光や、水ストレスに伴う気孔閉塞といった光合成しきれない過剰な光エネルギーが多い場合に大きくなる。
PRIやクロロフィル蛍光はいずれも、ストレスに対し数分内に変化がみられる反応である。
また、正規化植生指数(NDVI:Normalized Difference Vegetation Index)などを用い、瞬時のストレスを見分けられなくとも、恒常的なストレスが結果として成長差として現れることを利用してもよい。
植生指数演算部22は、これらPRI以外の値による植生指標画像ファイルを、取得した画像ファイルRef,M1,M2・・・を用いて求めるようにしてもよい。
少なくとも区分情報PIは、どのファイルが、リファレンス区域Arefに対応する植生指数画像ファイルRef_Pであり、どのファイルが被計測区域A1,A2・・・に対応する植生指数画像ファイルM1_P、M2_P・・・であるかを区別する情報である。
上述のように区分情報PIは、灌漑制御装置10から供給される場合がある。また画像取得部21が取得した画像ファイル(Ref,M1,M2・・・)におけるタグ情報TGが区分情報PIとして用いられる場合もある。さらに図1には示していないが、スタッフによる入力情報が区分情報PIとされる場合もある。
区分取得部24は、区分情報PI、もしくは区分情報PIに基づいて生成したファイル指定のための情報をリファレンス値算出部25に供給する。
リファレンス値Vrefは植生指数画像ファイルRef_Pを用いて算出する。このためリファレンス値Vrefは、区分取得部24からの情報に基づいて、植生指数バッファ23に記憶されている植生指数画像ファイルのうちで、リファレンス区域Arefに対応する植生指数画像ファイルRef_Pを選択して読み出す。
そして植生指数画像ファイルRef_Pにおける画像データの各ピクセルの値、即ちリファレンス区域Arefにおける各部のPRI値を用いてリファレンス値Vrefを算出する。
また、本実施の形態の処理は、植物に関するストレス測定を目的とするものであるが、撮像画像に土の部分が含まれている場合もある。土の部分の画像、換言すれば土の部分に相当する植生指数画像のピクセル値は、植物のPRI値としてのノイズとなっている。
そこで土を除外し植物が写っている箇所(ピクセル)のみ抽出し、その抽出したピクセルのPRI値の平均値を求め、それをリファレンス値Vrefとしても良い。
画像において植物の部分と土の部分を判別するには、他の植生指数(例えばNDVI)を用いることも考えられる。
或いは、植物の日が当たっていない箇所のみ抽出して平均値を求め、リファレンス値Vrefとしても良い。
これらは、例えばNDVI等の他の植生指数で植物と土を判別したうえで、輝度の高いピクセルを選んだり、或いは輝度の低いピクセルを選ぶなどの手法により可能である。
図3には、被計測区域A1についてのストレス情報を、植生指数画像ファイルM1_Pとリファレンス値Vrefの差分として得た差分画像ファイルM1_DPとして生成することを示している。
具体的には、被計測区域A1についてのストレス情報は、植生指数画像ファイルM1_Pの各ピクセル値のそれぞれについて、リファレンス値Vrefを減算した差分値を求め、この差分値がそのままピクセル値とされる画像データとして生成される。この画像データを差分画像ファイルM1_DPとする。
同様に、被計測区域A2についてのストレス情報は、植生指数画像ファイルM2_Pの各ピクセル値のそれぞれについて、リファレンス値Vrefを減算した差分値を求め、この差分値がそのままピクセル値とされる画像データとして生成される。この画像データを差分画像ファイルM2_DPとする。
この出力画像は、差分演算部26で求めたピクセル毎の差分値に応じた画像である。従ってその出力画像は、水ストレスがないリファレンス区域Arefを基準として、水ストレスがありうる被計測区域A1,A2・・・について、各部の植生の水ストレスの度合いを表現する画像となる。
或いは出力データ生成部29は、さらに差分画像ファイルM1_DPの差分値を解析し、水ストレスの観測情報、被計測区域A1内での分布状況、その他の情報を生成し、出力データDoutとするものとしてもよい。これらにより、多様或いは高度な分析情報が得られるようになる。
水ストレスが起きないように十分灌漑をしたリファレンス区域Arefの植生指数の演算結果の例えば平均値であるリファレンス値Vrefを、各被計測区域の植生指数の演算結果から差し引くことで、水ストレスが異なる別個体の間での差分を求める。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インターフェース55も接続されている。
入力部57は、コンピュータ装置100を使用するユーザが用いる入力デバイスを意味する。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。例えば撮像装置250との通信なども可能である。
また植生指数バッファ23、出力バッファ27は、例えばRAM53の記憶領域を用いて実現される。
区分情報PIも同様である。或いは区分情報PIは、入力部57を用いたオペレータ入力として取り込まれることもある。
画像出力部28、出力データ生成部29による情報の出力は、ディスプレイ56、スピーカ58により画像や音声として出力されたり、記憶部59に記憶されたり、通信部60により外部機器に送信されたり、ドライブ61により記憶媒体に記憶されるという各種形態で実行されることになる。
またこの図4のコンピュータ装置100は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置100としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報生成装置1を搭載することができる。
図5,図6は情報生成装置1としての図1に示した機能を有するコンピュータ装置100のCPU51の処理例である。
ステップS103でCPU51は、読み込んだ画像ファイルRefに付加されているタグ情報TGを読み取る。
タグ情報は必要に応じてリファレンス区域Arefや被計測区域A1,A2・・・の区別のための情報(区分情報PI)として用いる
図6は1つの画像ファイルから1つの植生指数画像ファイルを生成する処理を示している。即ちCPU51は画像ファイルRefについて図6の処理を行い植生指数画像ファイルRef_Pを生成する。
またステップS142でCPU51は分光計測画像ファイル(この場合、画像ファイルRef)の531nmの波長の計測値として1画素(1ピクセル)の値を読み込む。
そしてこれら読み込んだ1画素の値を用いて、ステップS143で、PRI=(R570-R531)/(R570+R531)の演算を行い、当該1画素についてのPRI値を算出する。
この処理を繰り返すことで、分光計測画像ファイルの全ピクセルについて、PRI値が算出される。即ちステップS144で画像ファイルRefについて全ての画素の演算を終えたと判断される時点では、全ピクセル値がPRI値とされた植生指数画像ファイルRef_Pが生成できたことになる。そこで1つの分光計測画像ファイル(例えば画像ファイルRef)についての図6の処理を終える。
ステップS106でCPU51は、現在作成した植生指数画像ファイルが、リファレンス区域Arefに対応するものであるか(「Ref_P」であるか)否かを確認する。
即ちCPU51は区分情報PIとして得られた灌漑区分の情報とタグ情報TGを比較して、植生指数画像ファイルRef_Pを生成したのか否かを確認する。
この場合、例えば灌漑区分の情報と画像ファイルRefに付加されたタグ情報TG内の位置情報の比較により、今回生成したのはリファレンス区域Arefに対応する植生指数画像ファイルRef_Pであると判断することができる。
なお、植生指数バッファ23には、植生指数画像ファイルRef_Pは、少なくともステップS107で読み出される時点まで記憶されていれば良い。
そしてCPU51は例えば読み出した植生指数画像ファイルRef_Pの全ピクセルの平均値を求めるなど、上述した手法でリファレンス値Vrefを算出する。そしてステップS108に進む。
例えば次に画像ファイルM1についてステップS102~S106の処理を行うことになる。従ってCPU51はステップS102で画像ファイルM1を読み込み、ステップS103でタグ情報TGを読み取り、ステップS104で植生指数の演算を行う。つまり画像ファイルM1を対象として図6の処理を行う。これにより被計測区域A1に対応する植生指数画像ファイルM1_Pが生成されることになる。
図5のステップS105でCPU51は植生指数画像ファイルM1_Pを植生指数バッファ23に書き込む。
全ての分光計測画像ファイルについて植生指数の演算が終わったらCPU51はステップS109に進む。ここでは被計測区域A1,A2・・・の植生指数画像ファイルM1_P、M2_P・・・について順次、差分画像ファイルM1_DP、M2_DP・・・を生成していく処理を行う。
CPU51はステップS111で、差分画像ファイルM1_DPを出力バッファ27に書き出す。
そしてCPU51はステップS109で、他の植生指数画像ファイルM2_Pを植生指数バッファ23から読み出し、ステップS110で、植生指数画像ファイルM2_Pの画素毎に植生指数の値からリファレンス値Vrefを減算する。これにより全ての画素が差分値となった差分画像ファイルM2_DPが生成される。CPU51はステップS111で、差分画像ファイルM2_DPを出力バッファ27に書き出す。
これにより、被計測区域A1,A2・・・について生成されたストレス情報が出力されたことになる。
しかしこの場合、基準が存在しないため、正確な判断が困難である。例えば灌水量90%の区域A2についてはストレス情報として水ストレスが少ないという結果が得られたとしても、それが最適かどうかは判断できない。
なお、ここでの100%とは既存の灌漑手法における値で、場所・気象・育成ステージに合わせていない一定の値か、あるいはそれらの条件に十分に個別最適化できていない設定値である。例えばA0,A1,A2,A3というように場所が違っても一律十分な灌漑値を使うことを意味する。一般的に場所だけ考えても、その場所の排水性や土壌の成分の差で必要な灌漑量は異なる。
このために図7Cのように、例えば区域A0をリファレンス区域Arefとし、100%の灌水量とする。その他の区域A1,A2,A3を、被計測区域A1,A2,A3とし、それぞれ然るべき灌水量を設定する。
このようにした上で上述のとおり水ストレスの情報を生成すれば、灌水量を削減したい場合に、灌水量が適切かを明確に判断できることになる。
第2の実施の形態について図8で説明する。
なお、以降の各実施の形態の説明において説明済みの実施の形態と同様の構成部位については同一符号を付し、重複説明を避ける。
例えば図8に示すように、被計測区域A1内にはリファレンス区域Aref1が設けられ、被計測区域A2内にはリファレンス区域Aref2が設けられる。(この第2の実施の形態の場合、“Aref”はAref1、Aref2・・・の総称とする)
このため、撮像された分光計測画像としての画像ファイルM1,M2・・・には、被計測区域A(A1,A2・・・)の画像とリファレンス区域Aref(Aref1、Aref2・・・)の画像が混在することになる。
入力部33は、例えば図4の入力部57に相当するキーボード、マウス、リモートコントローラであったり、或いはスマートフォン等の携帯端末機器であって、スタッフが情報生成装置1に情報入力を行うことのできる機器である。
例えば、各被計測区域Aに対してリファレンス区域Arefがどのように配置されているかの情報が、区分情報PIとして入力される。
スタッフは、圃場にリファレンス区域Arefを形成したら、それに応じて情報(圃場における位置、範囲の情報)を入力すればよい。
そのため、1つの画像ファイルM1,M2・・・については、それぞれ被計測区域Aとしての画像領域とリファレンス区域Arefとしての画像領域を分割する必要がある。
このため情報生成装置1では、画像分割部30としての機能を設けている。
画像分割部30は、区分取得部24が取得した区分情報PIに基づいて分割処理を行う。例えば分光計測画像としての画像ファイルM1から、被計測区域A1の画像領域とリファレンス区域Aref1の画像領域を分割する。
この場合、リファレンス区域Arefが被計測区域A毎に設けられているため、画像ファイルM1からは植生指数画像ファイルRef_P1,M1_Pが生成され、画像ファイルM2からは植生指数画像ファイルRef_P2,M2_Pが生成されていくということになる。
但し、上述のように画像ファイルM1,M2・・・にリファレンス区域Arefの画像が混在するため、図5のステップS103とS104(図9のステップS104A)の間に、リファレンス区域Arefの画像と被計測区域Aの画像を分割する画像分割処理S120が加わることになる。
ステップS105Aでは、これら植生指数画像ファイルRef_P1と植生指数画像ファイルM1_Pを植生指数バッファ23に書き出す。
そしてステップS107Aに進み、植生指数画像ファイルRef_P1を用いてリファレンス値Vref1を算出する。
図10には被計測区域A1,A2,A3,A4を示している。各被計測区域Aには、例えば灌漑チューブによる灌水路12-1,12-2,12-3,12-4が配設されている。
なお、2本埋めるほかに、リファレンス区域Arefとする箇所のみ、灌漑チューブの穴の径を太いものあるいは穴の間隔が短いものとしてもよい。
このようにすることで、圃場全体の灌漑量設定を減らしても部分的には十分灌漑できる区域を低コストで実現できる。
なお、この例では灌漑設定バルブ11-1,11-2,11-3,11-4の開放量を50%、60%、90%、70%というように設定した場合としている。
第3の実施の形態の構成例を図11で説明する。
これは、第1の実施の形態と同様に被計測区域A1,A2・・・とは離間したリファレンス区域Arefを設ける場合において、リファレンス区域Arefの撮像及び植生指数画像ファイル生成を、被計測区域A1,A2・・・とは別個に随時行う例である。
そしてそのたびに植生指数画像ファイルRef_Pを生成していく。つまり各時刻に生成されたリファレンス区域Arefの植生指数画像ファイルRef_P(t1),Ref_P(t2),Ref_P(t3)・・・が生成されていく。
撮像時刻抽出部31は、画像ファイルRef,M1,M2・・・について撮像時刻情報を抽出する。撮像時刻情報は区分情報PIとして区分取得部24に入力される。また撮像時刻情報は時刻同期部32に供給される。
これらの画像ファイルRef(t1),Ref(t2)・・・に対しては、CPU51は逐次図12のステップS101~S105の処理を行い、植生指数画像ファイルRef_P(t1),Ref_P(t2)・・・を生成していく。但し、この段階ではリファレンス値Vrefの算出は行われなくてよい。
例えばCPU51は画像ファイルM1についてステップS101~S105の処理を行い、植生指数画像ファイルM1_Pを生成する。
この同期処理により、例えば植生指数画像ファイルM1_Pについては、植生指数画像ファイルRef_P(t1)が同時刻帯のものとして該当したとする。
その場合ステップS161でCPU51は、植生指数画像ファイルRef_P(t1)を用いてリファレンス値Vref(t1)を生成する。CPU51は、このリファレンス値Vref(t1)を植生指数画像ファイルM1_Pに対応する値として記憶する。
このときCPU51はステップS106Bで、被計測区域A2の画像を対象としていると判定することで、処理をステップS160に進め、画像ファイルM2と同時刻帯に撮像したリファレンス区域Arefの画像ファイルRefについての植生指数画像ファイルRef_Pを選択する。そして植生指数画像ファイルM2_Pについては、植生指数画像ファイルRef_P(t2)が該当したとする。
その場合ステップS161でCPU51は、植生指数画像ファイルRef_P(t2)を用いてリファレンス値Vref(t2)を生成する。CPU51は、このリファレンス値Vref(t2)を植生指数画像ファイルM2_Pに対応する値として記憶する。
例えば1つの被計測区域Aの撮像のために飛行体200の飛行が10分を要するとし、被計測区域Aが20個あるとすると、被計測区域A1の撮像時刻と被計測区域A20の撮像時刻に200分の差が生じる。
このように被計測区域Aの計測に時間がかかると、リファレンス区域Arefの計測の時間と大きく異なる被計測区域Aが生じる。すると日照条件や気温などの環境条件が変化するから、被計測区域Aとリファレンス区域Arefで算出したい環境ストレス以外の条件が変化してしまう。
そこでリファレンス区域Arefの撮像は逐次行っておくようにする。すると各被計測区域A1~A20とほぼ同時刻で撮像されたリファレンス区域Arefの画像が存在することになり、それらにより対応する同時刻帯のリファレンス値Vrefを得ることができる。
従って特定の環境ストレス以外の環境条件をほぼ同一とした場合のリファレンス値Vrefにより、差分画像ファイルM1_DP,M2_DP・・・を得ることができる。
同時刻帯の判断は、他の環境条件がほぼ同じとみなすことのできる時間幅として設定されればよい。農地の場所、設備、気候等に応じて決められればよい。
第4の実施の形態の構成例を図13に示す。
この実施の形態は、情報生成装置1において灌漑指示部35を設けたものである。また圃場においては特にリファレンス区域Arefを設けていない。
灌漑指示部35は、灌漑制御装置10に対して灌漑量を指示する。灌漑制御装置10は被計測区域A1についての灌漑設定バルブ11-1を駆動制御して被計測区域A1の灌水量をコントロールする。
例えば灌漑指示部35は、灌水量として100%灌水、90%灌水、80%灌水などを指示することができる。灌漑制御装置10はこの指示に応じて灌漑設定バルブ11-1を駆動制御する。
また灌漑指示部35は各時刻での灌水量の指示情報をリファレンス値算出部25に伝えるようにしている。
情報生成装置1としてのコンピュータ装置100(CPU51)のストレス情報生成処理は図5、図6と同様となる。
但しステップS106では、作成した植生指数画像ファイルが、リファレンスとしての植生指数画像ファイルRef_Pとなるか、被計測区域A1の植生指数画像ファイルM_Pとなるかを判定する。そしてリファレンスとしての植生指数画像ファイルRef_Pであった場合に、ステップS107でリファレンス値Vrefを算出するようにすればよい。
例えばCPU51は、100%灌水としたときの時刻が既知であるため、その時刻の画像ファイルを用いて生成された植生指数画像ファイルを植生指数画像ファイルRef_Pとして扱えばよい。
期間TM1は、灌漑制御を抑制状態(例えば灌水量70%とするなど)とする期間である。
この期間TM1において撮像される画像ファイルM(分光計測画像)からは、PRI値として高いストレス反応が観測される。
期間TM2は、灌漑制御を一時的に増加させた状態(例えば灌水量100%とするなど)とする期間である。
この期間TM2において撮像される画像ファイルRef(分光計測画像)からは、PRI値が低下し、ストレスなし状態が観測される。
従って、この期間TM2についての植生指数画像ファイルRef_Pから求めたリファレンス値Vrefを用いて、期間TM1についての植生指数画像ファイルM_Pとの差分演算を行えば、水ストレスに関して適切な差分画像ファイルM_DPが得られることになる。
例えば、事前にさまざまな環境条件下(特定の環境ストレスに影響する条件を除く)での最適な環境設定値を記録しておき、差分値がプラス(ストレスあり)の場合にはその時点で最も近い条件下での環境設定値を目標値とした制御を行うようにする。具体的には灌漑指示部35によって灌漑制御装置10に指示を出し、被計測区域A1の灌水量(灌漑設定バルブ11-1)を制御する。すなわち、環境ストレス可変設備は、植物の環境ストレスが減少する方向に環境の状態を変化させるように制御される。
即ちリファレンス値Vrefとの差分情報に基づいて灌漑量等を調整する灌漑設定バルブ11-1を自動制御することで、観測結果に基づく望ましい灌漑制御が可能となる。
続いて、以上の各実施の形態に採用できる灌漑量の設定手法の他の例について述べる。
各区域の灌漑量の設定の手法については先に図7、図10で例を述べたが、図15はさらに他の例を示している。
図15Aは灌水路12として用いる灌漑チューブ120を示している。灌漑チューブ120を購入した時点では、特に穴が空けられていない。例えば灌漑チューブ120を圃場へ設置する際に用いるトラクターに穴あけ機構を装備させる。そして灌漑チューブ120の設置時に、図15Cのように穴120Hを空けながら設置していくようにする。
この場合に、穴120Hの間隔を可変したり、穴径を異なるようにすることで、灌漑チューブ120の区間毎に灌水量を異なるようにすることができる。
図15Bには灌漑チューブ120の区間毎に灌水量を80%~200%にまで異なるように設定した例を示している。
この図16Aの灌漑チューブ120を、図16Bのように被計測区域A1,A2,A3,A4の灌水路12-1,12-2,12-3,12-4として用いる。なお、図16Bでは被計測区域A1のみ全体として複数本の灌漑チューブ120を並列配置した状態を示し、被計測区域A2,A3,A4は省略して一部のみを示している。但し各被計測区域Aは複数本の灌漑チューブ120を並列配置することに限らず、1本の灌漑チューブ120を設置するものでもよい。
灌漑設定バルブ11-1,11-2,11-3,11-4については、それぞれバルブの開放を50%,60%,90%,70%としている。
そして各灌水量の区域を被計測区域A1,A2・・・とすれば、多様な灌水量について水ストレスの情報(差分画像ファイルM1_DP、M2_DP・・・)を得ることができる。
例えば灌漑量が50%に設定された被計測領域A1で、灌漑量がほぼ100%のリファレンス区域Aref1に加え、40%~90%の区域が存在する。50%までストレスが計測されない場合、最適の灌漑設定は50%が正しいことがわかる。これによって灌水量を変えながら測定を行うようなカットアンドトライを繰り返さなくても、どの程度の灌水量が最適かがわかりやすくなる。
ところで実施の形態の情報生成装置1によれば、灌漑チューブ120等によって形成される灌水路12の破損検出も可能である。
例えば図17では、4つのリファレンス区域Aref1,Aref2,Aref3,Aref4を示している。各リファレンス区域Aref1,Aref2,Aref3,Aref4は灌漑設定バルブ11-R1,11-R2,11-R3,11-R4によって灌水量が調整される。全てリファレンス区域Arefであるため、全て灌水量100%としている。
この4つのリファレンス区域Aref1,Aref2,Aref3,Aref4についての画像ファイルRefから植生指数画像ファイルRef_Pを生成し、リファレンス値Vrefを求める。
全て同じ水ストレスの状態であるため、それぞれのリファレンス値Vrefは、ほぼ同等の値になるはずである。
ところが例えばリファレンス区域Aref3は、灌漑設定バルブ11-R3に至る灌水路12が破損しており、ほぼ全域(斜線部)の灌水量が0%となっているとする。またリファレンス区域Aref4は、灌水路12-4の一部が破損し、斜線部に適切な灌水が行われていないとする。
このような場合、リファレンス区域Aref3やリファレンス区域Aref4について求めたリファレンス値Vrefは、リファレンス区域Aref1、Aref2について求めたリファレンス値Vrefと大きく異なる値となる。
これによりリファレンス区域Aref3、Aref4として例示したような場合、灌水チューブに破損が発生するなどして、適切な灌水が行われていないことが検出できる。
リファレンス区域Arefに異常が生じていると、環境ストレス測定が適切に行うことができないため、この異常検出手法は有用となる。
これによりリファレンス区域Arefの一部が異常となっても、適切なストレス測定を行うことができる。
リファレンス区域Arefをいくつ設置するかは、灌漑システムの故障率を踏まえて決めればよい。
例えば広大な農場において灌漑チューブ120の破損等による灌水路12の異常を見つけることは容易ではない。そのため情報生成装置1の処理動作を利用して灌水路異常を検出できることはシステム活用としても好適である。
以上の実施の形態では、特定の環境ストレスとして水ストレスを計測する場合を例にして説明してきたが、もちろん他の環境ストレスについても実施の形態の技術は同様に適用できる。
例えば窒素ストレスを測定することも可能である。
第1の実施の形態のように、リファレンス区域Arefを設ける場合、図18Aのように区域設定を行う。リファレンス区域Arefは、施肥量を100%とし、被計測区域A1,A2,A3はそれぞれ施肥量を90%、80%、70%とする。
このようにした状態で、第1の実施の形態の処理を行うことで、どの程度の施肥量が適切であるかを判断するための差分画像ファイルM1_DP,M2_DP,M3_DPを得ることができる。
このようにした状態で、第2の実施の形態の処理を行うことで、どの程度の施肥量が適切であるかを判断するための差分画像ファイルM1_DP,M2_DP,M3_DP,M4_DPを得ることができる。
NDVI画像を目視でみてラインが見られたら、施肥が適切で無いと判断できる。リファレンス区域Arefのラインが目視できる場合とは、リファレンス区域Arefと被計測区域Aの植生状態が異なる状態となっている場合であるためである。
以上の実施の形態によれば以下の効果が得られる。
実施の形態の情報生成装置1によるストレス情報生成方法は、植生の撮像画像を用いて植生情報を求める植生情報取得手順(図5のS104、図6)と、特定の環境ストレスがない状態の植生情報の基準植生情報(リファレンス値Vref)を求める基準植生情報取得手順(図5のS107、図9のS107A、図12のS161)と、環境ストレスに関する情報として、特定の環境ストレスがありうる状態の植生の撮像画像から得られた植生情報と基準植生情報との差分情報を得る差分取得手順(S109,S110,S111)とを行う。
特に野外の圃場のような複数の環境ストレスが同時に起こりうる環境で、特定の環境ストレスを把握することが可能になり、環境ストレス原因の弁別とその結果を用いた作物管理の最適化が可能になる。
またこれにより、灌漑水量の削減や肥料の削減などが望まれる場合などに、それらの実行による環境ストレスが植生に影響を与えない範囲を的確に把握できる。従って適切な灌漑水量の削減や肥料の削減のための極めて有用な情報を提供できる。
なお、撮像画像に基づく処理について説明したが、画像に限られない。例えば波長帯成分などを撮像した植生の撮像信号を用いて植生情報を求めることもできる。
例えば圃場の一部をリファレンス区域Arefとする。そのリファレンス区域Arefは例えば水ストレスが無い状態とする。圃場の他の部分を被計測区域A(A1,A2・・・)とし、灌漑条件が異なる状態とする。
このように区域を分けることで、他の環境ストレスを略同様にしたうえで、例えば水ストレスなど特定の環境ストレスが異なる状態を形成することができる。そしてリファレンス区域Arefと被計測区域Aについてほぼ同時刻に撮像を行うことで、それらの撮像画像から例えば水ストレスに関する情報(差分画像ファイルM1_DP,M2_DP等)を精度良く得ることができる。
この場合、リファレンス区域Arefを特定の環境ストレスが無い区域とし、被計測区域Aを特定の環境ストレスがありうる区域とすることが容易になる。
例えば灌漑設備が被計測区域Aとは異なる区域としてリファレンス区域Arefを設ければ、各灌漑設備による灌水量を調整することで、水ストレスがないリファレンス区域Arefと水ストレスがありうる被計測区域Aの設定が容易である。
例えば被計測区域Aと同じ灌漑制御単位内に、リファレンス区域Arefを設ける。
これによりリファレンス区域Arefと被計測区域Aを、ほぼ同時刻で撮像することが容易となる。例えばリファレンス区域Arefを被計測区域Aと同じ撮像画像内に納めることも可能となる。
特に、広大な農場を想定した場合、第1の実施の形態のようにリファレンス区域Arefを離間して設けると、同時刻帯の撮像が困難になることが生ずる場合がある。この場合、リファレンス区域Arefと被計測区域Aでの、他の環境条件が異なってしまう恐れがある。これを避けてなるべく同じ時刻に撮像するには、複数の飛行体250により撮像を行ったり、各所に定点カメラを設けるなどが必要になり、設備コスト、運用コストが高くなる。
第2の実施の形態のようにすることで、これらのコストアップを生じさせずに、リファレンス区域Arefと被計測区域Aを、ほぼ同時刻で撮像することが可能となる。つまりリファレンス区域Arefと被計測区域Aの画像として、特定の環境ストレスのみが異なった環境条件の画像を得ることが容易かつ低コストで可能となる。
撮像装置の数、種類、性能などの機材的事情や、農場の広さなどの事情により、被計測区域Aとリファレンス区域Arefについて、同時刻帯に撮像することができる場合もあれば、同時刻帯には撮像できない場合もある。時刻帯が異なると、日照条件や気温など環境条件が変化することで、算出したい特定の環境ストレス以外の条件が変化してしまう。そこで、撮像画像に付加されている撮像日時情報を用いてリファレンス値Vrefを算出するための植生情報を選択するようにする。
これによりリファレンス区域Arefと被計測区域Aを同時刻で撮像できない場合でも、同時刻帯でほぼ同じ環境条件における被計測区域Aの植生情報と、リファレンス区域Arefの植生情報(植生情報から求めたリファレンス値Vref)の比較を行うことができる。従って差分情報は、測定したい特定の環境ストレス(例えば水ストレス)を的確に表現した値となり、測定の信頼性を向上させることができる。
なお同時刻帯とは、他の環境条件がほぼ同一と推定される時間幅などとして設定されればよい。
同一の被計測区域Aにおいて、例えば水ストレス等の特定の環境ストレスを可変制御することで、差分演算による特定の環境ストレスの情報を精度良く得ることができる。
またこの場合、被計測区域とは別にリファレンス区域Arefを用意する必要はない。
また、育成環境を動的に制御し、環境ストレスを変えて測定することによれば、環境によらず(例えば天候待ちにならず)、特定の環境ストレスに関する計測が可能にもなる。
なお、この第4の実施の形態では、水ストレスを計測するために、灌漑システムの灌漑量を制御し土壌水分量を変化させる例を述べたが、特定の環境ストレスの制御としては、次のような手法が考えられる。
例えば低温・高温ストレスを計測するために、空調を制御し気温を変化させるようにすることが考えられる。
また乾燥ストレスを計測するために、空調を制御し飽差を変化させることが考えられる。
またCO2不足によるストレスを計測するために、二酸化炭素発生装置を制御しCO2濃度を変化させることが考えられる。
このような圃場の各位置に対応したストレス状態を表す画像情報を生成することで、人(スタッフ)が各場所のストレス状態を容易に認識できる情報を提供できる。
算出過程で平均値を用いることで、例えばリファレンス区域内での固体毎のばらつきを吸収して適切なリファレンス値Vrefを得ることができる。
この情報生成装置1により、或る植生の状態を基準として測定対象の区域の撮像画像から得られた植生情報についての基準植生情報との差分を求めることができる。この差分によって基準状態と比較した植生に対するストレス状態の評価を行うことが可能となる。
なお、基準植生情報は、予め取得しておいたものを用いる場合もある。
また、差分演算部26が生成する差分情報は、定量的な数値を示すものであってもよいし、プラス/マイナスのように大小関係だけを示すものであってもよい。例えばプラスの場合にはストレス有り、マイナスの場合にはストレスなしを示すような値でもよい。
つまり差分情報はストレスの有無または度合を示すものであればよい。
例えば外部の撮像装置として、撮像装置250を搭載した飛行体200や、定点カメラ、或いは人が所持するカメラ等が想定される。
これらの撮像装置から有線伝送又は無線伝送で送信されてくる画像を受信したり、記憶媒体から読み出すことなどにより、情報生成装置1は圃場における植生の撮像画像を得ることができる。この撮像画像を処理対象として取得することで、コンピュータ装置100等において情報生成装置1としての処理を行うことができる。
画像取得部21で取得した画像については、リファレンス区域Arefの画像か被計測区域Aの画像であるかを区別する必要がある。
そこで位置情報、時刻情報、手動入力による指定情報などを区分情報として受け付け、画像の区別ができるようにしている。これにより取得した画像を正しく扱って、ストレス情報生成を行うことができる。
これにより基準植生情報を正確に特定の環境ストレスがない状態の植生情報から求めることができる。即ちリファレンス区域Arefの植生指数画像ファイルRef_Pを用いてリファレンス値Vrefを算出することができる。
即ち第2の実施の形態の場合、画像取得部21で取得した画像ファイル(M1,M2・・・)については、リファレンス区域Arefの画像と被計測区域A(A1,A2・・・)の画像が混在する。このように1つの撮像画像内にリファレンス区域Arefの画像と被計測区域Aの画像が混在する場合に、それらの区域の画像を分割抽出する。
これにより取得した画像を正しく扱って、ストレス情報生成を行うことができる。
第3の実施の形態の場合のように、時刻帯を考慮して植生指数画像ファイルRef_Pを選択することで、植生指数画像ファイルM1_P、M2_P・・・と同時刻帯の撮像画像に基づくリファレンス値Vrefを算出することができる。これは例えばPRI値などの特定の環境ストレス以外の環境条件をほぼ同一とした場合の基準植生情報とすることができるため、求められる差分画像ファイルM1_DP、M2_DP・・・は、特定の環境ストレスを適切に表現した情報となる。即ち特定の環境ストレスの計測情報の精度を向上させることができる。
なお、第1,第2の実施の形態も、基本的には同一時刻帯の画像を用いてリファレンス値Vrefを算出できるため、同様に高精度の測定が可能である。
これにより、同一の区域についても特定の環境ストレスがない状態と、特定の環境ストレスがありうる状態を設定することができる。
画像として出力することで、農場スタッフが視覚的にはわかりやすく環境ストレスを認識できる情報を提供できる。
また第1~第4の実施の形態の情報生成装置1においては、基準植生情報取得部(リファレンス値算出部25)は、植生指数演算部22が特定の環境ストレスがない状態の植生の撮像画像から得た植生情報を用いて基準植生情報(リファレンス値Vref)を求めるようにしている。
この情報生成装置1により、例えば水ストレスなどの特定の環境ストレスが無い状態を基準としてリファレンス値Vrefを求め、特定の環境ストレスがありうる区域の撮像画像から得られた植生情報についてのリファレンス値Vrefとの差分を求めることができる。
より具体的には、コンピュータ装置100のCPU51に、植生の撮像画像を用いて植生情報を求める植生情報演算処理と、特定の環境ストレスがない状態の植生情報の基準植生情報を求める基準植生情報取得処理と、環境ストレスに関する情報として、特定の環境ストレスがありうる状態の植生の撮像画像から得られた植生情報と基準植生情報との差分情報を得る差分取得処理とを実行させるプログラムである。
即ち図5、図6(又は図9,図12)の処理をコンピュータ100に実行させるプログラムである。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)植生の撮像信号を用いて植生情報を求める植生情報取得手順と、
前記植生情報と特定の環境ストレスに関する基準植生情報との差分情報を得る差分取得手順と、
を行う情報生成方法。
(2)前記植生情報取得手順では、前記特定の環境ストレスがない状態とされたリファレンス区域の撮像信号から前記リファレンス区域の植生情報を求めるとともに、前記特定の環境ストレスがありうる状態とされた被計測区域の撮像信号から前記被計測区域の植生情報を求め、
基準植生情報取得手順として、前記リファレンス区域の植生情報を用いて前記基準植生情報を取得し、
前記差分取得手順では、前記被計測区域の植生情報と前記基準植生情報の差分演算を行う
上記(1)に記載の情報生成方法。
(3)前記基準植生情報取得手順では、
前記被計測区域についての植生情報との差分演算を行う前記基準植生情報を、当該植生情報を求めた撮像信号と同時刻帯と判定される前記リファレンス区域の撮像信号から求めた植生情報を用いて算出する
上記(2)に記載の情報生成方法。
(4)前記植生情報取得手順では、被計測区域を前記特定の環境ストレスがない状態としたときに撮像した第1の撮像信号から植生情報を求めるとともに、前記被計測区域を前記特定の環境ストレスがありうる状態としたときに撮像した第2の撮像信号から植生情報を求め、
前記基準植生情報取得手順では、前記第1の撮像信号から求めた植生情報を用いて前記基準植生情報を算出し、
前記差分取得手順では、前記第2の撮像信号から求めた植生情報と前記基準植生情報の差分演算を行う
上記(2)に記載の情報生成方法。
(5)前記撮像信号は、撮像画像である
請求項1に記載の情報生成方法。
上記(1)乃至(4)のいずれかに記載の情報生成方法。
(6)前記差分取得手順では、前記差分情報としての画像情報を生成する
上記(1)乃至(5)のいずれかに記載の情報生成方法。
(7)前記基準植生情報取得手順では、
前記基準植生情報の算出において、前記特定の環境ストレスがない状態の植生情報の平均値算出を行う
上記(2)乃至(4)のいずれかに記載の情報生成方法。
(8)前記特定の環境ストレスは、水ストレス、低温ストレス、高温ストレス、乾燥ストレス、二酸化炭素不足ストレス、窒素ストレスのうちのいずれかである
上記(1)乃至(7)のいずれかに記載の情報生成方法。
(9)前記植生情報は、PRI、クロロフィル蛍光の大きさ、クロロフィル蛍光インデックス、又はステート遷移反射率のいずれかである
上記(1)乃至(8)のいずれかに記載の情報生成装置。
(10)植生の撮像信号を用いて植生情報を求める植生情報取得部と、
前記植生情報と特定の環境ストレスに関する基準植生情報との差分情報を得る差分取得部と、を備えた
情報生成装置。
(11)前記特定の環境ストレスがない状態の植生の撮像信号から得た植生情報を用いて前記基準植生情報を求める基準植生情報取得部を更に備えた、
上記(10)に記載の情報生成装置。
(12)外部の撮像装置による撮像信号として撮像画像データを取得する画像取得部を更に備えた
上記(10)又は(11)に記載の情報生成装置。
(13)前記画像取得部で取得した撮像画像データについて、
前記特定の環境ストレスがない状態の植生情報の撮像画像と、前記特定の環境ストレスがありうる状態の植生情報の撮像画像とを区分するための区分情報を取得する区分取得部を備えた
上記(12)に記載の情報生成装置。
(14)前記基準植生情報取得部は、前記区分情報に基づいて、前記特定の環境ストレスがない状態の植生情報の撮像画像から求められた植生情報を判定し、該判定した植生情報を用いて前記基準植生情報を求める
上記(13)に記載の情報生成装置。
(15)前記画像取得部で取得した撮像画像データについて、
前記特定の環境ストレスがない状態の植生情報の撮像画像と、前記特定の環境ストレスがありうる状態の植生情報の撮像画像とに分割する画像分割部を備えた
上記(12)に記載の情報生成装置。
(16)前記基準植生情報取得部は、
前記特定の環境ストレスがありうる状態の植生情報に対する前記基準植生情報を、当該植生情報を求めた撮像信号と同時刻帯と判定される、前記特定の環境ストレスがない状態の撮像信号から求めた植生情報を用いて算出する
上記(11)に記載の情報生成装置。
(17)圃場を、前記特定の環境ストレスがない状態と、前記特定の環境ストレスがありうる状態に変更する指示を行う指示部を備えた
上記(10)乃至(16)のいずれかに記載の情報生成装置。
(18)前記差分取得部により得られた差分情報に基づいて、環境ストレス可変設備を制御する指示部を備えた
上記(10)乃至(17)のいずれかに記載の情報生成装置。
(19)前記差分取得部では、前記差分情報としての画像情報を生成するとともに、
前記画像情報を出力する画像出力部を備えた
上記(10)乃至(18)のいずれかに記載の情報生成装置。
(20)前記基準植生情報取得部は、
前記植生情報取得部が前記特定の環境ストレスがない状態の植生の撮像信号から得た植生情報を用いて前記基準植生情報を求める
上記(11)に記載の情報生成装置。
(21)植生の撮像信号を用いて植生情報を求める植生情報演算処理と、
前記植生情報と特定の環境ストレスに関する基準植生情報との差分情報を得る差分取得処理と
をコンピュータに実行させるプログラム。
Claims (21)
- 植生の撮像信号を用いて植生情報を求める植生情報取得手順と、
特定の環境ストレスがない状態とされたリファレンス区域又は被計測区域の植生情報を用いて前記特定の環境ストレスに関する基準植生情報を取得する、基準植生情報取得手順と、
前記被計測区域の前記植生情報と前記基準植生情報を用いて差分情報を得る差分取得手順と、
を行う情報生成方法。 - 前記植生情報取得手順では、前記特定の環境ストレスがない状態とされた前記リファレンス区域の撮像信号から前記リファレンス区域の植生情報を求めるとともに、前記特定の環境ストレスがありうる状態とされた前記被計測区域の撮像信号から前記被計測区域の植生情報を求め、
前記基準植生情報取得手順では、前記リファレンス区域の植生情報を用いて前記基準植生情報を取得し、
前記差分取得手順では、前記被計測区域の植生情報と前記基準植生情報の差分演算を行う
請求項1に記載の情報生成方法。 - 前記基準植生情報取得手順では、
前記被計測区域についての植生情報との差分演算を行う前記基準植生情報を、当該植生情報を求めた撮像信号と同時刻帯と判定される前記リファレンス区域の撮像信号から求めた植生情報を用いて算出する
請求項2に記載の情報生成方法。 - 前記植生情報取得手順では、前記被計測区域を前記特定の環境ストレスがない状態としたときに撮像した第1の撮像信号から植生情報を求めるとともに、前記被計測区域を前記特定の環境ストレスがありうる状態としたときに撮像した第2の撮像信号から植生情報を求め、
前記基準植生情報取得手順では、前記第1の撮像信号から求めた植生情報を用いて前記基準植生情報を算出し、
前記差分取得手順では、前記第2の撮像信号から求めた植生情報と前記基準植生情報の差分演算を行う
請求項1に記載の情報生成方法。 - 前記撮像信号は、撮像画像である
請求項1に記載の情報生成方法。 - 前記差分取得手順では、前記差分情報としての画像情報を生成する
請求項1に記載の情報生成方法。 - 前記基準植生情報取得手順では、
前記基準植生情報の算出において、前記特定の環境ストレスがない状態の植生情報の平均値算出を行う
請求項2に記載の情報生成方法。 - 前記特定の環境ストレスは、水ストレス、低温ストレス、高温ストレス、乾燥ストレス、二酸化炭素不足ストレス、窒素ストレスのうちのいずれかである
請求項1に記載の情報生成方法。 - 前記植生情報は、PRI、クロロフィル蛍光の大きさ、クロロフィル蛍光インデックス、又はステート遷移反射率のいずれかである
請求項1に記載の情報生成方法。 - 植生の撮像信号を用いて植生情報を求める植生情報取得部と、
特定の環境ストレスがない状態とされたリファレンス区域又は被計測区域の植生情報を用いて前記特定の環境ストレスに関する基準植生情報を取得する、基準植生情報取得部と、
前記被計測区域の前記植生情報と前記基準植生情報を用いて差分情報を得る差分取得部と、を備えた
情報生成装置。 - 前記基準植生情報取得部は、
前記特定の環境ストレスがない状態の植生の撮像信号から得た植生情報を用いて前記基準植生情報を求める
請求項10に記載の情報生成装置。 - 外部の撮像装置による撮像信号として撮像画像データを取得する画像取得部を更に備えた
請求項10に記載の情報生成装置。 - 前記画像取得部で取得した撮像画像データについて、
前記特定の環境ストレスがない状態の植生情報の撮像画像と、前記特定の環境ストレスがありうる状態の植生情報の撮像画像とを区分するための区分情報を取得する区分取得部を備えた
請求項12に記載の情報生成装置。 - 前記基準植生情報取得部は、前記区分情報に基づいて、前記特定の環境ストレスがない状態の植生情報の撮像画像から求められた植生情報を判定し、該判定した植生情報を用いて前記基準植生情報を求める
請求項13に記載の情報生成装置。 - 前記画像取得部で取得した撮像画像データについて、
前記特定の環境ストレスがない状態の植生情報の撮像画像と、前記特定の環境ストレスがありうる状態の植生情報の撮像画像とに分割する画像分割部を備えた
請求項12に記載の情報生成装置。 - 前記基準植生情報取得部は、
前記特定の環境ストレスがありうる状態の植生情報に対する前記基準植生情報を、当該植生情報を求めた撮像信号と同時刻帯と判定される、前記特定の環境ストレスがない状態の撮像信号から求めた植生情報を用いて算出する
請求項11に記載の情報生成装置。 - 圃場を、前記特定の環境ストレスがない状態と、前記特定の環境ストレスがありうる状態に変更する指示を行う指示部を備えた
請求項10に記載の情報生成装置。 - 前記差分取得部により得られた差分情報に基づいて、環境ストレス可変設備を制御する指示部を備えた
請求項10に記載の情報生成装置。 - 前記差分取得部では、前記差分情報としての画像情報を生成するとともに、
前記画像情報を出力する画像出力部を備えた
請求項10に記載の情報生成装置。 - 前記基準植生情報取得部は、
前記植生情報取得部が前記特定の環境ストレスがない状態の植生の撮像信号から得た植生情報を用いて前記基準植生情報を求める
請求項11に記載の情報生成装置。 - 植生の撮像信号を用いて植生情報を求める植生情報演算処理と、
特定の環境ストレスがない状態とされたリファレンス区域又は被計測区域の植生情報を用いて前記特定の環境ストレスに関する基準植生情報を取得する、基準植生情報取得処理と、
前記被計測区域の前記植生情報と前記基準植生情報を用いて差分情報を得る差分取得処理と、
をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017026458 | 2017-02-15 | ||
JP2017026458 | 2017-02-15 | ||
PCT/JP2017/043823 WO2018150691A1 (ja) | 2017-02-15 | 2017-12-06 | 情報生成方法、情報生成装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018150691A1 JPWO2018150691A1 (ja) | 2019-12-12 |
JP7172605B2 true JP7172605B2 (ja) | 2022-11-16 |
Family
ID=63169343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018568009A Active JP7172605B2 (ja) | 2017-02-15 | 2017-12-06 | 情報生成方法、情報生成装置、プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11763457B2 (ja) |
EP (1) | EP3583840B1 (ja) |
JP (1) | JP7172605B2 (ja) |
CN (1) | CN110267525B (ja) |
AU (1) | AU2017399173A1 (ja) |
WO (1) | WO2018150691A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102631597B1 (ko) * | 2023-06-29 | 2024-02-02 | 주식회사 리플로그 | 엽록소 형광값을 이용한 딸기의 스트레스 지수 산출방법 및 재배관리 시스템 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7474031B2 (ja) | 2019-03-29 | 2024-04-24 | 株式会社トプコン | 圃場情報管理装置、圃場情報管理システム、圃場情報管理装置の制御方法及び圃場情報管理プログラム |
CN113008843B (zh) * | 2019-12-22 | 2022-02-18 | 中国科学院空天信息创新研究院 | 基于tropomi叶绿素荧光遥感的冬小麦旱情监测方法 |
CN111325760B (zh) * | 2020-01-26 | 2023-07-04 | 四川大学 | 仿真植被阻水面积的确定方法 |
JP7433105B2 (ja) * | 2020-03-27 | 2024-02-19 | 本田技研工業株式会社 | 情報提供装置、草刈り車両及び草刈り管理システム |
US20240015375A1 (en) * | 2020-11-10 | 2024-01-11 | Sony Group Corporation | Imaging device |
KR102433570B1 (ko) * | 2021-03-29 | 2022-08-19 | 전북대학교산학협력단 | 상추 유전자원의 건조 스트레스 지수 제공 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012063455A1 (ja) | 2010-11-08 | 2012-05-18 | 国立大学法人 愛媛大学 | 植物健康診断方法および植物健康診断装置 |
JP2015204788A (ja) | 2014-04-21 | 2015-11-19 | パナソニックIpマネジメント株式会社 | 栽培支援方法、栽培支援装置、およびコンピュータプログラム |
JP2016049102A (ja) | 2014-08-29 | 2016-04-11 | 株式会社リコー | 圃場管理システム、圃場管理方法、プログラム |
JP2016211899A (ja) | 2015-04-30 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 植物ストレス検出装置及び植物ストレス検出方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6178253B1 (en) | 1997-10-10 | 2001-01-23 | Case Corporation | Method of determining and treating the health of a crop |
JP4524473B2 (ja) | 2004-03-25 | 2010-08-18 | 長崎県 | 植物の受ける水分ストレスの測定方法及び装置 |
US8208680B2 (en) | 2006-11-07 | 2012-06-26 | The Curators Of The University Of Missouri | Method of predicting crop yield loss due to N-deficiency |
JP5162890B2 (ja) | 2006-12-01 | 2013-03-13 | 株式会社サタケ | リモートセンシングにおける補正方法 |
RU2462025C2 (ru) * | 2007-03-23 | 2012-09-27 | Хелиоспектра Актиеболаг | Устройство для управления ростом или свойствами растений |
JP5186635B2 (ja) | 2007-10-30 | 2013-04-17 | 長崎県 | 植物の水ストレス計測方法 |
CN102564593B (zh) * | 2011-12-30 | 2013-10-02 | 河海大学常州校区 | 基于计算机视觉及物联网的植物生长状况监测系统 |
CN102706328A (zh) * | 2012-04-28 | 2012-10-03 | 中国神华能源股份有限公司 | 地面沉陷区域的检测方法和装置及数据处理设备 |
CN102788752B (zh) | 2012-08-08 | 2015-02-04 | 江苏大学 | 基于光谱技术的农作物内部信息无损检测装置及方法 |
KR101415933B1 (ko) * | 2012-11-08 | 2014-07-08 | 재단법인대구경북과학기술원 | 식물 생장 모니터링 시스템 |
US20150027041A1 (en) * | 2013-03-07 | 2015-01-29 | Blue River Technology, Inc. | System and method for plant cauterization |
EP3171327A4 (en) * | 2014-07-16 | 2017-05-24 | Ricoh Company, Ltd. | Information processing device, method for generating control signal, information processing system, and program |
US9943046B2 (en) * | 2014-09-29 | 2018-04-17 | International Business Machines Corporation | Targeted irrigation using a central pivot irrigation system with a sensor network |
US9886016B2 (en) * | 2015-01-08 | 2018-02-06 | International Business Machines Corporation | Automated irrigation control system |
WO2017049204A1 (en) * | 2015-09-18 | 2017-03-23 | SlantRange, Inc. | Systems and methods for determining statistics of plant populations based on overhead optical measurements |
JP6770802B2 (ja) * | 2015-12-28 | 2020-10-21 | 川崎重工業株式会社 | プラント異常監視方法およびプラント異常監視用のコンピュータプログラム |
CN106323880A (zh) * | 2016-07-29 | 2017-01-11 | 河南科技大学 | 基于soc高光谱指数的植物叶片花青素含量估算方法及装置 |
-
2017
- 2017-12-06 EP EP17896604.0A patent/EP3583840B1/en active Active
- 2017-12-06 JP JP2018568009A patent/JP7172605B2/ja active Active
- 2017-12-06 US US16/482,620 patent/US11763457B2/en active Active
- 2017-12-06 AU AU2017399173A patent/AU2017399173A1/en not_active Abandoned
- 2017-12-06 CN CN201780085949.8A patent/CN110267525B/zh active Active
- 2017-12-06 WO PCT/JP2017/043823 patent/WO2018150691A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012063455A1 (ja) | 2010-11-08 | 2012-05-18 | 国立大学法人 愛媛大学 | 植物健康診断方法および植物健康診断装置 |
JP2015204788A (ja) | 2014-04-21 | 2015-11-19 | パナソニックIpマネジメント株式会社 | 栽培支援方法、栽培支援装置、およびコンピュータプログラム |
JP2016049102A (ja) | 2014-08-29 | 2016-04-11 | 株式会社リコー | 圃場管理システム、圃場管理方法、プログラム |
JP2016211899A (ja) | 2015-04-30 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 植物ストレス検出装置及び植物ストレス検出方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102631597B1 (ko) * | 2023-06-29 | 2024-02-02 | 주식회사 리플로그 | 엽록소 형광값을 이용한 딸기의 스트레스 지수 산출방법 및 재배관리 시스템 |
Also Published As
Publication number | Publication date |
---|---|
CN110267525B (zh) | 2023-03-07 |
EP3583840A4 (en) | 2020-01-22 |
CN110267525A (zh) | 2019-09-20 |
JPWO2018150691A1 (ja) | 2019-12-12 |
US20200013166A1 (en) | 2020-01-09 |
EP3583840B1 (en) | 2023-07-19 |
WO2018150691A1 (ja) | 2018-08-23 |
US11763457B2 (en) | 2023-09-19 |
AU2017399173A1 (en) | 2019-08-22 |
EP3583840A1 (en) | 2019-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7172605B2 (ja) | 情報生成方法、情報生成装置、プログラム | |
Zhang et al. | Maize canopy temperature extracted from UAV thermal and RGB imagery and its application in water stress monitoring | |
Bai et al. | A multi-sensor system for high throughput field phenotyping in soybean and wheat breeding | |
Virlet et al. | Field Scanalyzer: An automated robotic field phenotyping platform for detailed crop monitoring | |
Gonzalez-Dugo et al. | Using high resolution UAV thermal imagery to assess the variability in the water status of five fruit tree species within a commercial orchard | |
BR112018005893B1 (pt) | Método implantado por computador e um ou mais meios de armazenamento não transitório | |
Toda et al. | Estimation of plant area index and phenological transition dates from digital repeat photography and radiometric approaches in a hardwood forest in the Northeastern United States | |
BR112017026437B1 (pt) | Sistema de computador e método implantado por computador para monitorar operações de um ou mais campos | |
JP7229864B2 (ja) | リモートセンシング画像取得時期決定システム、および、作物生育状況分析方法 | |
EP3502663B1 (en) | Signal processing device and signal processing method, and program | |
US20200311915A1 (en) | Growth status prediction system and method and computer-readable program | |
US20190258859A1 (en) | Systems and methods for mapping emerged plants | |
Elvanidi et al. | Crop water status assessment in controlled environment using crop reflectance and temperature measurements | |
Solvin et al. | Use of UAV photogrammetric data in forest genetic trials: measuring tree height, growth, and phenology in Norway spruce (Picea abies L. Karst.) | |
CA3178928A1 (en) | Real-time projections and estimated distributions of agricultural pests, diseases, and biocontrol agents | |
Fan et al. | A simple visible and near-infrared (V-NIR) camera system for monitoring the leaf area index and growth stage of Italian ryegrass | |
Meivel et al. | Monitoring of potato crops based on multispectral image feature extraction with vegetation indices | |
JP2022082636A (ja) | 情報処理装置 | |
Ma et al. | Identification of forest disturbance and estimation of forest age in subtropical mountainous areas based on Landsat time series data | |
Narayanan et al. | Improving soybean breeding using UAS measurements of physiological maturity | |
US20180077857A1 (en) | Growth information management device, method for controlling growth information management device, and growth information management program | |
Pandey et al. | Precision farming and its application | |
Lacerda et al. | Correlation of UAV and satellite-derived vegetation indices with cotton physiological parameters and their use as a tool for scheduling variable rate irrigation in cotton | |
BR112021000146A2 (pt) | Aparelho e método de processamento de informação, mídia legível por computador, e, dispositivo de armazenamento | |
US20240008389A1 (en) | Systems, methods and devices for using machine learning to optimize crop residue management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7172605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |