JP6872137B2 - 信号処理装置および信号処理方法、並びにプログラム - Google Patents

信号処理装置および信号処理方法、並びにプログラム Download PDF

Info

Publication number
JP6872137B2
JP6872137B2 JP2018534340A JP2018534340A JP6872137B2 JP 6872137 B2 JP6872137 B2 JP 6872137B2 JP 2018534340 A JP2018534340 A JP 2018534340A JP 2018534340 A JP2018534340 A JP 2018534340A JP 6872137 B2 JP6872137 B2 JP 6872137B2
Authority
JP
Japan
Prior art keywords
vegetation index
signal processing
value
average value
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018534340A
Other languages
English (en)
Other versions
JPWO2018034166A1 (ja
Inventor
孝英 大谷
孝英 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018034166A1 publication Critical patent/JPWO2018034166A1/ja
Application granted granted Critical
Publication of JP6872137B2 publication Critical patent/JP6872137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits

Description

本開示は、信号処理装置および信号処理方法、並びにプログラムに関し、特に、植生の育成状況を確認し易くすることができるようにした信号処理装置および信号処理方法、並びにプログラムに関する。
従来、植物の分布状況や活性度を示す指標として、正規化植生指数(NDVI:Normalized Difference Vegetation Index)が利用されている。
例えば、特許文献1には、作物を撮像したRGB画像および近赤外線画像から得られるNDVI画像に基づいて、作物の育成指標を算出する情報処理システムが開示されている。
特開2014−183788号公報
しかしながら、例えば、植生の検査を行う際の環境条件が変化する場合には、NDVIが変動することになるため、従来のNDVI画像では、植生の育成状況を確認することが困難になることがあった。
本開示は、このような状況に鑑みてなされたものであり、植生の育成状況を確認し易くすることができるようにするものである。
本開示の一側面の信号処理装置は、センシング画像に基づき算出された、検査対象物の育成状況を表す植生指標から、前記植生指標の平均値に対する相対値を算出する相対値算出部と、前記相対値に基づいた前記検査対象物の育成状況を表す画像を表示させる処理を行う表示処理部と、前記植生指標を、前記検査対象物の全体について平均化した前記植生指標の平均値を算出する平均値算出部と、前記平均値算出部により算出された前記植生指標の平均値を、所定の規定値にあわせる相関係数を算出する相関係数算出部とを備え、前記相対値算出部は、前記検査対象物に対する測定が行われる測定単位ごとに、前記相関係数を適用して、前記植生指標の平均値に対して相対的となる前記植生指標の相対値を算出する
本開示の一側面の信号処理方法またはプログラムは、センシング画像に基づき算出された、検査対象物の育成状況を表す植生指標から、前記植生指標の平均値に対する相対値を算出し、前記相対値に基づいた前記検査対象物の育成状況を表す画像を表示させる処理を行い、前記植生指標を、前記検査対象物の全体について平均化した前記植生指標の平均値を算出し、算出された前記植生指標の平均値を、所定の規定値にあわせる相関係数を算出するステップを含み、前記検査対象物に対する測定が行われる測定単位ごとに、前記相関係数を適用して、前記植生指標の平均値に対して相対的となる前記植生指標の相対値を算出するステップを含む。
本開示の一側面においては、センシング画像に基づき算出された、検査対象物の育成状況を表す植生指標から、植生指標の平均値に対する相対値が算出され、その相対値に基づいた検査対象物の育成状況を表す画像を表示させる処理が行われ、植生指標を検査対象物の全体について平均化した植生指標の平均値が算出され、その植生指標の平均値を所定の規定値にあわせる相関係数が算出される。そして、検査対象物に対する測定が行われる測定単位ごとに、相関係数を適用して、植生指標の平均値に対して相対的となる植生指標の相対値が算出される。
本開示の一側面によれば、植生の育成状況を確認し易くすることができる。
本技術を適用した植生検査装置の一実施の形態の構成例を示すブロック図である。 IR(近赤外)画素の配置例を示す図である。 信号処理ブロックの構成例を示すブロック図である。 信号処理ブロックにおいて行われる信号処理を説明するフローチャートである。 従来のNDVI画像および相対的NDVI画像の一例を示す図である。 注目領域ごとに相対的NDVI画像を生成する例を示す図である。 植生検査システムの構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<植生検査装置の実施の形態>
図1は、本技術を適用した植生検査装置の一実施の形態の構成例を示すブロック図である。
図1に示すように、植生検査装置11は、太陽光などの環境光が照射されている状態の芝生を検査対象物として検査を行い、芝生の状態や活性度などの育成状況を表す画像(例えば、後述する相対的NDVI画像)を表示部12に表示する。
例えば、植生検査装置11は、光学系21、絞り22、スペクトルセンサ23、信号処理ブロック24、および制御ブロック25を備えて構成され、スペクトルセンサ23は、分光器31およびセンシング素子32を有している。
光学系21は、1枚または複数枚のレンズを有して構成される。例えば、光学系21は、環境光が芝生において反射した反射光など、植生検査装置11に入射する光を集光して、スペクトルセンサ23のセンシング素子32の検出面に被写体の像を結像する。
絞り22は、光学系21を介してスペクトルセンサ23に集光される光の光量を制御することで、スペクトルセンサ23において取得される画像の露出を調整する。
スペクトルセンサ23は、環境光が芝生で反射した反射光について複数の異なる波長域の成分を検出する。即ち、スペクトルセンサ23は、反射光を分光器31により複数の波長域の光に分光して、それぞれの波長域の光(分光成分)の明るさをセンシング素子32の画素ごとに検出した検出信号を信号処理ブロック24に供給する。
分光器31は、所定の波長域の光を透過する複数の光学フィルタが、センシング素子32の画素ごとに配置されて構成される。そして、分光器31は、センシング素子32の検出面に照射される光を、それぞれの光学フィルタによって分光する。なお、このような光学フィルタであって、可視光の光を色ごとに分光するものはカラーフィルタと称される。
図1には、分光器31として配置する光学フィルタの一例が示されており、例えば、縦×横が2×4となる8画素を測定単位とし、その測定単位を構成する各画素に対応して、それぞれ異なる波長域の光を透過する8種類の光学フィルタが配置される。即ち、測定単位の8画素に対応して、波長の短い方から順に、第1の青色光を透過する光学フィルタB1、第2の青色光を透過する光学フィルタB2、第1の緑色光を透過する光学フィルタG1、第2の緑色光を透過する光学フィルタG2、第1の赤色光を透過する光学フィルタR1、第2の赤色光を透過する光学フィルタR2、第1の赤外光を透過する光学フィルタIR1、および第2の赤外光を透過する光学フィルタIR2が配置される。
そして、分光器31は、このような8画素の光学フィルタを1測定単位として、n測定単位(n=1以上の自然数)分の光学フィルタが、センシング素子32の検出面の全面に連続的に配置されて構成される。なお、光学フィルタの測定単位は、8画素を1測定単位とした構成に限定されることなく、例えば、4画素(R,G,B,IR)を1測定単位とした構成など、他の形態を採用することができる。
例えば、いわゆるベイヤ配列で、R画素、G画素、およびB画素が配置される構成のうち、一部の画素をIR画素に置き換えた配置例の光学フィルタを用いてもよい。即ち、ベイヤ配列で画素数の多いG画素のうち、図2のAに示すように、R画素の行に配置されるG画素をIR画素に置き換えた光学フィルタを用いることができる。また、視認性の低いB画素をIR画素に置き換えた光学フィルタを用いることができ、この場合、図2のBに示すように、全てのB画素をIR画素に置き換えるのではなく、B画素の一部がIR画素に置き換えられる構成とすることができる。
センシング素子32は、例えば、複数の画素が行列状に検出面に配置されて構成される撮像素子である。そして、センシング素子32は、分光器31の各光学フィルタにより分光された分光成分の明るさを画素ごとに検出して、それぞれの分光成分の明るさに応じた検出信号(センシング信号)を出力する。
なお、センシング素子32としては、対象物を面で捉えるエリアセンサのほか、対象物を線で捉えるラインセンサを用いることができる。また、センシング素子32に、R画素とIR画素が1画素ずつしか配置されていない場合でも、センサ又は測定対象物を移動させるための機構を設けることで、対象物をスキャンすることができる。
信号処理ブロック24は、スペクトルセンサ23から出力される検出信号(即ち、センシング素子32によりセンシングされたセンシング画像)に対する信号処理を行うことで、芝生の育成状況を検査した結果を表す画像を生成し、その画像を表示部12に表示する。なお、信号処理ブロック24の詳細な構成については、図3を参照して後述する。
制御ブロック25は、植生検査装置11において芝生の育成状況を良好に検査することができるように、センシング素子32や信号処理ブロック24など、植生検査装置11を構成する各ブロックに対する制御を行う。
このように構成される植生検査装置11は、育成状況を数値的に表す植生正規化植生指数NDVIを用いて芝生の育成状況を検査することができ、植生正規化植生指数NDVIにより構築されるNDVI画像を、芝生の育成状況を検査した結果として取得することができる。正規化植生指数NDVIは、センシング素子32において赤色光を検出する画素の画素値R、および、近赤外光を検出する画素の画素値IRを用いて、次の式(1)を演算することによって求められる。
Figure 0006872137
ここで、植生正規化植生指数NDVIは、茎葉の生育の指標として使用されるものである。なお、近赤外光の反射率(画素値IR)および赤色光の反射率(画素値R)は、RGB画像、および近赤外線画像において、対象物領域ではない領域であって、例えば、空などの領域における赤色光強度、および近赤外線強度を入射光強度として求め、対象物領域における赤色光強度、および近赤外線強度を反射光強度として求めることで、算出される。また、近赤外光、および赤色光の反射率は、既知の反射率を持つ拡散板をリファレンスにして、入射光の強度を計測し、対象の反射輝度との比から反射係数を計算した後、反射率に変換するようにして求めるようにしてもよい。さらに、植生検査装置11は、対象物領域のみのNDVIの平均値、分散、または高次分散などによりNDVI画像を算出する。このようにすることで、対象物領域内の画素から得られた情報のみからNDVI画像が算出されることで、より高い精度でNDVI画像を算出することが可能となる。
ところで、植生検査装置11では、屋外の環境において芝生の検査を行うことより、例えば、太陽の位置や、天候(晴れ/曇り)、芝目の向きなどの環境条件の変化によって、スペクトルセンサ23において検出される検出信号が変動することがある。その結果、スペクトルセンサ23から出力される検出信号をそのまま用いてNDVI画像を生成した場合には、検出信号の変動がNDVI画像に与える影響によって、芝生の育成状況の判断が困難になることがあると想定される。
そこで、植生検査装置11では、環境条件の変化による検出信号の変動がNDVI画像に与える影響を抑制するように、信号処理ブロック24において検出信号に対する信号処理が行われる。これにより、植生の育成状況を確認し易くすることができ、例えば、芝生の育成の良好な箇所と、そうでない箇所とを見分ける判断を容易に行うことができる。
図3は、信号処理ブロック24の構成例を示すブロック図である。
図3に示すように、信号処理ブロック24は、NDVI平均値算出部41、相関係数算出部42、NDVI相対値算出部43、および表示処理部44を備えて構成される。
NDVI平均値算出部41は、図1のセンシング素子32が芝生を実際にセンシングすることで取得される検出信号を用いて、芝生の全体について正規化植生指数NDVIを平均化したNDVI平均値Naを算出して、相関係数算出部42に供給する。
例えば、NDVI平均値算出部41は、スペクトルセンサ23から出力される検出信号に含まれる赤色光の画素値Rのうちの、芝生の領域で検出された全ての赤色光の画素値Rの平均値Raを算出する。同様に、NDVI平均値算出部41は、スペクトルセンサ23から出力される検出信号に含まれる近赤外光の画素値IRのうちの、芝生の領域で検出された全ての近赤外光の画素値IRの平均値IRaを算出する。そして、NDVI平均値算出部41は、次の式(2)に基づいて、赤色光の平均値Raおよび近赤外光の平均値IRaから、芝生の全体に対するNDVI平均値Naを求めることができる。
Figure 0006872137
相関係数算出部42は、NDVI平均値算出部41により求められたNDVI平均値Naを、所定のNDVI規定値Ndにあわせる相関係数αを算出して、NDVI相対値算出部43に供給する。ここで、植生検査装置11では、芝生の全体に対する正規化植生指数NDVIの平均値が、予め規定値として定められたNDVI規定値Ndであると仮定される。そして、NDVI規定値Ndは、次の式(3)に示すように、赤色光の平均値Raおよび近赤外光の平均値IRa、並びに、相関係数αを用いて表される。
Figure 0006872137
そして、この式(3)から、本来はNDVI平均値Naであった正規化植生指数NDVIの平均値を、NDVI規定値Ndに一致させる相関係数αは、次の式(4)に示すように表される。
Figure 0006872137
NDVI相対値算出部43は、図1のセンシング素子32が芝生を実際にセンシングすることで取得される検出信号の測定単位ごとに(例えば、NDVI画像全体ではなく1画素ごとのセンシング信号に基づいて)、相関係数算出部42により算出された相関係数αを適用して、NDVI平均値Naに対して相対的となるNDVI相対値Nrを算出する。なお、NDVI平均値Naは、相関係数αを説明するために用いており、NDVI相対値Nrを求める演算上は必要とされない。即ち、NDVI相対値算出部43は、次の式(5)に示すように、センシング素子32の1測定単位(x,y)ごとの赤色光の画素値R(x,y)および赤外光の画素値IR(x,y)に基づいて、NDVI相対値Nr(x,y)を求めることができる。
Figure 0006872137
表示処理部44は、NDVI相対値算出部43により算出されるNDVI相対値Nrに基づいたNDVI画像を生成して、表示部12に表示させる表示処理を行う。例えば、表示処理部44は、ヒートマップのように、NDVI相対値Nr(x,y)に応じて設定されている色を、測定単位(x,y)ごとにマッピングすることで、NDVI画像を生成することができる。なお、上述したように、NDVI相対値Nr(x,y)は、NDVI平均値Naに対して相対的なものであり、NDVI相対値Nr(x,y)から生成されるNDVI画像を、以下、適宜、相対的NDVI画像と称する。
このように植生検査装置11は構成されており、芝生の育成状況を検査した結果を表す相対的NDVI画像が、表示部12に表示される。
さらに、植生検査装置11では、例えば、正規化植生指数NDVIの変化が大きなところにNDVI規定値Ndを設定(例えば、検査対象物が芝生であれば0.5〜0.7に設定)することができる。これにより、NDVI規定値Ndを基準としてNDVI相対値Nrが算出されるため、正規化植生指数NDVIの変化が大きなところ、即ち、芝生の育成状況の変化が大きなところを確認し易い相対的NDVI画像を生成することができる。このような相対的NDVI画像を生成することにより、植生検査装置11は、正規化植生指数NDVIをそのまま使用した従来のNDVI画像よりも、芝生の育成状況を確認し易くすることができる。
そして、植生検査装置11は、従来のNDVI画像では目視では確認できないレベルの芝生の育成状況について、NDVI相対値Nrを利用することで、定量化および可視化を実現することができる。即ち、植生検査装置11は、NDVI平均値NaをNDVI規定値Ndにあわせる(常に一定とする)ことで、センシング素子32から出力される検出信号を信号正規化することによって、環境条件の変化が検出信号に与える影響を抑制することができ、芝生の育成状況を確認し易い相対的NDVI画像を生成することができる。
<信号処理について>
次に、図4のフローチャートを参照して、信号処理ブロック24において行われる信号処理について説明する。
例えば、ステップS11において、1枚の相対的NDVI画像分の検出信号が、センシング素子32から信号処理ブロック24に供給され、NDVI平均値算出部41は、その検出信号を取得する。ステップS12において、NDVI平均値算出部41は、センシング素子32から供給される検出信号から、赤色光の平均値Raおよび近赤外光の平均値IRaを求め、上述した式(2)に基づいて、NDVI平均値Naを算出する。
ステップS13において、相関係数算出部42は、上述した式(4)に基づいて、ステップS11でNDVI平均値算出部41により求められたNDVI平均値NaをNDVI規定値Ndにあわせる相関係数αを算出する。
ステップS14において、NDVI相対値算出部43は、センシング素子32から供給される検出信号の測定単位ごとに、ステップS12で相関係数算出部42により求められた相関係数αを適用し、上述した式(5)に基づいて、NDVI相対値Nrを算出する。
ステップS15において、表示処理部44は、ステップS13でNDVI相対値算出部43により測定単位ごとに求められたNDVI相対値Nrに基づいて相対的NDVI画像を生成し、表示部12に表示する表示処理を行う。
ステップS15の処理後、信号処理ブロック24における信号処理は終了される。
以上のように、信号処理ブロック24は、環境条件の変化が検出信号に与える影響を抑制して、従来のNDVI画像よりも、芝生の育成状況を確認し易い相対的NDVI画像を生成することができる。
例えば、図5には、従来のNDVI画像および相対的NDVI画像の一例が示されている。
図5の上側には、従来のNDVI画像が示されており、図5の下側には、相対的NDVI画像が示されている。図5に示す従来のNDVI画像および相対的NDVI画像は、どちらも同一の検出信号を用いて生成されたものである。
例えば、植生検査装置11は、相対的NDVI画像のみを表示部12に表示してもよいし、従来のNDVI画像と相対的NDVI画像とを並べて同時に表示部12に表示することで、両者を比較できるようにしてもよい。また、植生検査装置11は、従来のNDVI画像の表示と、相対的NDVI画像の表示とを、ユーザ操作により切り替えられるようにしてもよい。さらに、植生検査装置11は、従来のNDVI画像と相対的NDVI画像の表示について、それらを同時に表示したり、それらを切り替えて表示したりすることに限定されることなく、例えば、通常の撮像装置で撮影されたライブ画像や、その他の画像などを、同時に、または、切り替えて表示することができる。
植生検査装置11は、センシングして得られた画像から正規化植生指数NDVIを算出することで、芝生の分布や活性度を、図5の上側に示すようなヒートマップとして表示することができる。さらに、植生検査装置11は、上述したように、NDVI平均値Naに対して相対的となるようにNDVI相対値Nrを求めることで、図5の下側に示すように、芝生の育成状況の良い箇所と悪い箇所とを強調して表す相対的NDVI画像を生成することができる。例えば、植生検査装置11は、NDVI規定値Ndを適切に設定することで、芝生の育成状況の悪い箇所が目立つような相対的NDVI画像を生成することができる。
ここで、芝生の育成状況の良い箇所と悪い個所との強調表示としては、ヒートマップの色表示について、例えば、芝生の育成状況の良い箇所が青色になるように表示し、芝生の育成状況の悪い個所が赤色になるように表示することができる。また、所定の基準に対して、芝生の育成状況の良い個所または悪い個所にだけ色表示がなされてもよい。なお、強調表示は色表示に限らず、画像の濃淡や、輝度、彩度を変更することにより提示されてもよい。これら表示態様は、ユーザによる設定や操作により程度を切り替えることができる。特に、ユーザがNDVI規定値Ndを変更したり、相関係数αをかけ合わせることで、芝生の育成状況の悪い個所の目立たせ方を変化させられるようにすることができる。
ところで、図5では、芝生の全体について相対的NDVI画像が生成されているが、植生検査装置11は、特定の領域ごとに注目して、その特定した注目領域ごとに相対的NDVI画像を生成してもよい。
例えば、図6のAに示すように、植生検査装置11は、太陽光が芝生に照射されている日向領域(ハッチングのない領域)と、太陽光が芝生に照射されていない日陰領域(ハッチングの領域)を特定することができる。そして、植生検査装置11は、日向領域および日陰領域それぞれの相対的NDVI画像を個別に生成することができる。
即ち、植生検査装置11は、スペクトルセンサ23によりセンシングされる芝生全体の中から、明るさに基づいて注目領域を設定し、注目領域ごとに信号処理ブロック24による信号処理を行わせることができる。この場合、NDVI平均値算出部41は、芝生の注目領域におけるNDVI平均値Naを算出し、相関係数算出部42は、芝生の注目領域についての相関係数αを算出する。そして、NDVI相対値算出部43は、芝生の注目領域ごとに、NDVI平均値Naに対して相対的となるNDVI相対値Nrを算出することができる。
これにより、植生検査装置11は、注目領域ごと、例えば、日向領域と日陰領域とのそれぞれについて、より詳細に、芝生の育成状況を検査することができる。なお、注目領域の特定は、日向領域および日陰領域に限られず、例えば、試合用コートのうち半分を指定するなど、任意の領域を特定することができる。
また、図6のBに示すように、植生検査装置11は、画像全体のうちの芝生領域(ハッチングのない領域)と、芝生以外の領域(ハッチングの領域)とを区別して、芝生領域だけを注目領域として特定し、芝生領域の相対的NDVI画像を生成することができる。このとき、芝生領域の特定は、通常の画像認識に基づいて行ったり、正規化植生指数NDVIに基づいて行うことができる。なお、このように、植生検査装置11が自動的に注目領域を判別して特定する他、例えば、ユーザの設定に従って、画像全体のうちの任意の領域を注目領域として特定することができる。
なお、本実施の形態では、正規化植生指数NDVIを用いた説明を行うが、植生検査装置11では、正規化植生指数NDVI以外の植生指数(例えば、RVI(Ratio Vegetation Index)やGNDVI(Green NDVI)など)を用いてもよい。また、植生検査装置11は、育成状況を検査する対象となる検査対象物として、上述したような芝生の他、森林や農作物などを対象とすることができる。
例えば、他の植生指数として、次の式(6)を演算することで算出される比植生指数(RVI:Ratio Vegetation Index)や、次の式(7)を演算することで算出される差植生指数(DVI:Difference Vegetation Index)などを用いることができる。
Figure 0006872137
Figure 0006872137
ただし、式(6)および式(7)において、IRは、近赤外領域の反射率(近赤外光を検出する画素の画素値)を表し、Rは、可視領域赤の反射率(赤色光を検出する画素の画素値)を表している。なお、ここでは、IRとRをパラメータとする植生指数のみを例示しているが、赤以外の他の可視領域の光の反射率などをパラメータとして用いて他の植生指数を測定することは、勿論可能である。また、スペクトル比率は、RとIRとの組み合わせには限られるものではない。
また、本技術は、植生検査装置11のような装置単体で構成する他、例えば、ネットワークを介して接続される植生検査システムに適用することができる。
例えば、図7に示すように、植生検査システム51は、植生検査用の撮像装置52および信号処理装置53がネットワーク54を介して接続されて構成される。
撮像装置52は、図1のスペクトルセンサ23を備えて構成されており、環境光が芝生で反射した反射光について複数の異なる波長域の成分を検出し、その検出結果を示す検出信号を、ネットワーク54を介して信号処理装置53に送信する。
信号処理装置53は、図1の信号処理ブロック24と同様の機能を備えており、植生検査用の撮像装置52からネットワーク54を介して送信されてくる検出信号を受信して、上述したような相対的NDVI画像を生成する信号処理を行う。そして、信号処理装置53は、ネットワーク54に接続されている蓄積装置(図示せず)に、相対的NDVI画像を蓄積させることで、芝生の育成状況の変化を観察することができる。
このように、本技術は、ネットワーク54を介して遠隔地にある芝生を検査することができ、芝生の管理者は、どこでも芝生の管理を行うことができる。また、図示しないが、複数台の撮像装置52がネットワーク54に接続される構成とすることで、複数の箇所の芝生を一元的に管理することができる。さらに、複数台の撮像装置52が互いに連携したマルチカメラにより芝生の育成状況を観察したり、いわゆるドローンなどのUAV(Unmanned Aerial Vehicle:無人航空機)により移動しながら芝生の育成状況を観察することができる。
なお、本実施の形態では、芝生などの植物を検査対象物とし、その植物による光の反射に基づく植生指標について説明を行ったが、本技術は、植物以外を検査対象物としてもよく、植生指標以外の指標を用いて、様々な検査対象物の検査に適用することができる。また、植生指標は、植物の育成状態を表すだけでなく、例えば、光合成の状態などのように直接的に育成状態とはみなせなくても、間接的に育成状態に寄与し、植物の状態を把握するのに用いることができる指標である。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
また、上述した一連の処理(信号処理方法)は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
(1)
センシング信号に基づき算出された、検査対象物の状態を表す指標から、前記指標の平均値に対する相対値を算出する相対値算出部と、
前記相対値に基づいた前記検査対象物の状態を表す画像を表示させる処理を行う表示処理部と
を備える信号処理装置。
(2)
前記指標を、前記検査対象物の全体について平均化した前記指標の平均値を算出する平均値算出部と、
前記平均値算出部により算出された前記指標の平均値を、所定の規定値にあわせる相関係数を算出する相関係数算出部と
をさらに備え、
前記相対値算出部は、前記検査対象物に対する測定が行われる測定単位ごとに、前記相関係数を適用して、前記指標の平均値に対して相対的となる前記指標の相対値を算出する
上記(1)に記載の信号処理装置。
(3)
前記センシング信号は、少なくとも近赤外光および赤色光の明るさに応じた検出値を含んで構成されており、
前記相対値算出部は、前記相関係数を前記赤色光の検出値に乗算して前記近赤外光の検出値から減算した値を、前記相関係数を前記赤色光の検出値に乗算して前記近赤外光の検出値に加算した値で除算することにより、前記相対値を算出する
上記(2)に記載の信号処理装置。
(4)
環境光が前記検査対象物で反射した反射光について、複数の異なる波長域の成分を検出するスペクトルセンサ
をさらに備える上記(1)から(3)までのいずれかに記載の信号処理装置。
(5)
前記スペクトルセンサは、複数の画素が行列状に検出面に配置されて構成されるセンシング素子と、前記センシング素子の画素ごとに、所定の波長域の光を透過する複数の光学フィルタが配置される分光器とを有する
上記(4)に記載の信号処理装置。
(6)
前記表示処理部は、前記相対値算出部により前記測定単位ごとに算出される前記指標の相対値に基づいて、前記検査対象物の状態を表す画像を生成して表示部に表示させる
上記(2)から(5)までのいずれかに記載の信号処理装置。
(7)
前記平均値算出部は、前記センシング信号からなるセンシング画像に映されている前記検査対象物の所定の領域を注目領域として特定し、前記注目領域における前記指標の平均値を算出する
上記(2)から(6)までのいずれかに記載の信号処理装置。
(8)
前記相関係数算出部は、前記注目領域についての前記相関係数を求め、
前記相対値算出部は、前記注目領域における前記指標の相対値を算出する
上記(7)に記載の信号処理装置。
(9)
前記注目領域として、前記検査対象物に太陽光が照射されている日向領域と、前記検査対象物に太陽光が照射されていない日陰領域とが特定される
上記(7)に記載の信号処理装置。
(10)
前記注目領域として、前記センシング画像全体のうちの前記検査対象物が映されている領域が特定される
上記(7)に記載の信号処理装置。
(11)
前記注目領域として、ユーザの設定に従って、前記センシング画像全体のうちの任意の領域が特定される
上記(7)に記載の信号処理装置。
(12)
前記検査対象物は、植物であり、
前記状態は、前記植物の育成状況を表す
上記(1)から(11)までのいずれかに記載の信号処理装置。
(13)
前記指標は、前記植物による光の反射に基づく植生指標である
上記(12)に記載の信号処理装置。
(14)
前記植生指標は、NDVI(Normalized Difference Vegetation Index)である
上記(13)に記載の信号処理装置。
(15)
センシング信号に基づき算出された、検査対象物の状態を表す植生指標から、前記植生指標の平均値に対する相対値を算出し、
前記相対値に基づいた前記検査対象物の状態を表す画像を表示させる処理を行う
ステップを含む信号処理方法。
(16)
センシング信号に基づき算出された、検査対象物の状態を表す植生指標から、前記植生指標の平均値に対する相対値を算出し、
前記相対値に基づいた前記検査対象物の状態を表す画像を表示させる処理を行う
ステップを含む信号処理をコンピュータに実行させるプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
11 植生検査装置, 12 表示部, 21 光学系, 22 絞り, 23 スペクトルセンサ, 24 信号処理ブロック, 25 制御ブロック, 31 分光器, 32 センシング素子, 41 NDVI平均値算出部, 42 相関係数算出部, 43 NDVI相対値算出部, 44 表示処理部, 51 植生検査システム, 52 撮像装置, 53 信号処理装置, 54 ネットワーク

Claims (13)

  1. センシング画像に基づき算出された、検査対象物の育成状況を表す植生指標から、前記植生指標の平均値に対する相対値を算出する相対値算出部と、
    前記相対値に基づいた前記検査対象物の育成状況を表す画像を表示させる処理を行う表示処理部と
    前記植生指標を、前記検査対象物の全体について平均化した前記植生指標の平均値を算出する平均値算出部と、
    前記平均値算出部により算出された前記植生指標の平均値を、所定の規定値にあわせる相関係数を算出する相関係数算出部と
    を備え
    前記相対値算出部は、前記検査対象物に対する測定が行われる測定単位ごとに、前記相関係数を適用して、前記植生指標の平均値に対して相対的となる前記植生指標の相対値を算出する
    信号処理装置。
  2. 前記センシング画像は、少なくとも近赤外光および赤色光の画素値を含んで構成されており、
    前記相対値算出部は、前記相関係数を前記赤色光の画素値に乗算して前記近赤外光の画素値から減算した値を、前記相関係数を前記赤色光の画素値に乗算して前記近赤外光の画素値に加算した値で除算することにより、前記相対値を算出する
    請求項1に記載の信号処理装置。
  3. 環境光が前記検査対象物で反射した反射光について、複数の異なる波長域の成分を検出するスペクトルセンサ
    をさらに備える請求項1に記載の信号処理装置。
  4. 前記スペクトルセンサは、複数の画素が行列状に検出面に配置されて構成されるセンシング素子と、前記センシング素子の画素ごとに、所定の波長域の光を透過する複数の光学フィルタが配置される分光器とを有する
    請求項3に記載の信号処理装置。
  5. 前記表示処理部は、前記相対値算出部により前記測定単位ごとに算出される前記植生指標の相対値に基づいて、前記検査対象物の育成状況を表す画像を生成して表示部に表示させる
    請求項1に記載の信号処理装置。
  6. 前記平均値算出部は、前記検査対象物の所定の領域を注目領域として特定し、前記注目領域における前記植生指標の平均値を算出する
    請求項1に記載の信号処理装置。
  7. 前記相関係数算出部は、前記注目領域についての前記相関係数を求め、
    前記相対値算出部は、前記注目領域における前記植生指標の相対値を算出する
    請求項6に記載の信号処理装置。
  8. 前記注目領域として、前記検査対象物に太陽光が照射されている日向領域と、前記検査対象物に太陽光が照射されていない日陰領域とが特定される
    請求項6に記載の信号処理装置。
  9. 前記注目領域として、前記センシング画像全体のうちの前記検査対象物が映されている領域が特定される
    請求項6に記載の信号処理装置。
  10. 前記注目領域として、ユーザの設定に従って、前記センシング画像全体のうちの任意の領域が特定される
    請求項6に記載の信号処理装置。
  11. 前記植生指標は、NDVI(Normalized Difference Vegetation Index)である
    請求項1に記載の信号処理装置。
  12. センシング画像に基づき算出された、検査対象物の育成状況を表す植生指標から、前記植生指標の平均値に対する相対値を算出し、
    前記相対値に基づいた前記検査対象物の育成状況を表す画像を表示させる処理を行い、
    前記植生指標を、前記検査対象物の全体について平均化した前記植生指標の平均値を算出し、
    算出された前記植生指標の平均値を、所定の規定値にあわせる相関係数を算出する
    ステップを含み、
    前記検査対象物に対する測定が行われる測定単位ごとに、前記相関係数を適用して、前記植生指標の平均値に対して相対的となる前記植生指標の相対値を算出する
    信号処理方法。
  13. センシング画像に基づき算出された、検査対象物の育成状況を表す植生指標から、前記植生指標の平均値に対する相対値を算出し、
    前記相対値に基づいた前記検査対象物の育成状況を表す画像を表示させる処理を行い、
    前記植生指標を、前記検査対象物の全体について平均化した前記植生指標の平均値を算出し、
    算出された前記植生指標の平均値を、所定の規定値にあわせる相関係数を算出する
    ステップを含み、
    前記検査対象物に対する測定が行われる測定単位ごとに、前記相関係数を適用して、前記植生指標の平均値に対して相対的となる前記植生指標の相対値を算出する
    信号処理をコンピュータに実行させるプログラム。
JP2018534340A 2016-08-17 2017-08-03 信号処理装置および信号処理方法、並びにプログラム Active JP6872137B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016159862 2016-08-17
JP2016159862 2016-08-17
PCT/JP2017/028289 WO2018034166A1 (ja) 2016-08-17 2017-08-03 信号処理装置および信号処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018034166A1 JPWO2018034166A1 (ja) 2019-06-13
JP6872137B2 true JP6872137B2 (ja) 2021-05-19

Family

ID=61197238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018534340A Active JP6872137B2 (ja) 2016-08-17 2017-08-03 信号処理装置および信号処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US11047793B2 (ja)
EP (2) EP3502663B1 (ja)
JP (1) JP6872137B2 (ja)
CN (1) CN109564155B (ja)
WO (1) WO2018034166A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235240A1 (ja) * 2018-06-06 2019-12-12 株式会社Nttドコモ 情報処理装置
US20220139082A1 (en) * 2019-03-01 2022-05-05 Sony Group Corporation Image processing device, image processing method, and program
WO2021100430A1 (ja) * 2019-11-18 2021-05-27 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JPWO2021192642A1 (ja) * 2020-03-25 2021-09-30
DE102021200400A1 (de) 2021-01-18 2022-07-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erfassung von Pflanzen oder Pflanzenbestandteilen, Computerprogrammprodukt, Erfassungseinrichtung und landwirtschaftliches Fahrzeug
WO2023177274A1 (ko) * 2022-03-18 2023-09-21 주식회사 마인스소프트 경기장 통합 운영 관리 시스템 및 통합 운영 관리 방법
CN114596234B (zh) * 2022-03-21 2022-12-16 昆明理工大学 一种复杂山地的ndvi地形阴影效应校正方法
JP2024024495A (ja) * 2022-08-09 2024-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び固体撮像システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824201B2 (ja) * 1999-04-09 2006-09-20 株式会社サタケ 作物の栄養診断方法
JP4314683B2 (ja) 1999-08-12 2009-08-19 株式会社サタケ 作物の診断方法
JP2001350517A (ja) * 2000-06-05 2001-12-21 Hitachi Ltd 携帯型電力監視装置
EP1411758B1 (en) * 2001-07-24 2009-03-11 The Board Of Regents For Oklahoma State University A process for in-season nutrient application based on predicted yield potential
AU2003211938B2 (en) * 2002-02-13 2008-04-10 The General Environmental Technos Co., Ltd. Method of biomass estimation for forests and trees by remote sensing high-resolution data
US7580549B2 (en) * 2005-07-01 2009-08-25 Deere & Company Method and system for vehicular guidance using a crop image
JP5021293B2 (ja) * 2006-12-29 2012-09-05 株式会社パスコ 作物の生育状況分析方法、作物の生育状況分析装置及び作物の生育状況分析プログラム
JP5361862B2 (ja) * 2008-03-21 2013-12-04 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JP5410323B2 (ja) 2009-11-27 2014-02-05 国立大学法人九州大学 光学的植生指数センサ
JP5593255B2 (ja) 2011-03-04 2014-09-17 株式会社日立製作所 植生制御装置、植物育成システム
JP5930185B2 (ja) * 2012-04-27 2016-06-08 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JP5950166B2 (ja) 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
US9886016B2 (en) 2015-01-08 2018-02-06 International Business Machines Corporation Automated irrigation control system
US10586353B2 (en) 2015-01-09 2020-03-10 Maxell Holdings, Ltd. Plant information acquisition system, plant information acquisition device, plant information acquisition method, crop management system and crop management method
CN105277491A (zh) * 2015-09-24 2016-01-27 中国农业科学院农业资源与农业区划研究所 叶绿素含量测量方法及装置
CN106372592B (zh) * 2016-08-29 2019-07-16 中国农业科学院农业资源与农业区划研究所 一种基于冬小麦面积指数的冬小麦种植面积计算方法
CN107271372A (zh) * 2017-06-02 2017-10-20 西北农林科技大学 一种苹果叶片叶绿素遥感估测方法
US9984455B1 (en) * 2017-06-05 2018-05-29 Hana Resources, Inc. Organism growth prediction system using drone-captured images

Also Published As

Publication number Publication date
JPWO2018034166A1 (ja) 2019-06-13
EP3502663A1 (en) 2019-06-26
US11047793B2 (en) 2021-06-29
WO2018034166A1 (ja) 2018-02-22
EP3502663B1 (en) 2020-09-30
CN109564155A (zh) 2019-04-02
EP3502663A4 (en) 2019-08-14
CN109564155B (zh) 2022-03-11
EP3748335A1 (en) 2020-12-09
US20190310184A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
JP6750621B2 (ja) 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
US9207072B2 (en) Leaf area index measurement system, device, method, and program
JP2007171033A (ja) 葉面積指数の間接測定方法および間接測定システム
JP6764577B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20070177029A1 (en) Color correction apparatus
US20090033755A1 (en) Image acquisition and processing engine for computer vision
WO2021002279A1 (en) Multi-spatial resolution measurements for generation of vegetation states
US20190285541A1 (en) Sensing system, sensing method, and sensing device
Svensgaard et al. Can reproducible comparisons of cereal genotypes be generated in field experiments based on UAV imagery using RGB cameras?
US11631242B2 (en) Information processing apparatus, information processing method, and program
EP3969899A1 (en) Systems and methods for phenotyping
JP5564812B2 (ja) 植物体の生育変化の連続測定方法
JP6768203B2 (ja) 検査装置および検査方法、並びにプログラム
US11570371B2 (en) Imaging apparatus, imaging method, and program
US20220139082A1 (en) Image processing device, image processing method, and program
JP2017009396A (ja) 撮像装置
Han-Ya et al. Satellite and aerial remote sensing for production estimates and crop assessment
JP3960989B2 (ja) 色推定システム及び色推定方法
CN113514402A (zh) 一种冬小麦叶绿素含量的预测系统及方法
US11768152B2 (en) Information processing system and spectroscopic measuring instrument
Yang et al. Practical methods for aerial image acquisition and reflectance conversion using consumer-grade cameras on manned and unmanned aircraft
JP2023163061A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
Shajahan et al. Phenocam color image calibration using image analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R151 Written notification of patent or utility model registration

Ref document number: 6872137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151