JP6933211B2 - センシングシステム、センシング方法、及び、センシング装置 - Google Patents

センシングシステム、センシング方法、及び、センシング装置 Download PDF

Info

Publication number
JP6933211B2
JP6933211B2 JP2018523889A JP2018523889A JP6933211B2 JP 6933211 B2 JP6933211 B2 JP 6933211B2 JP 2018523889 A JP2018523889 A JP 2018523889A JP 2018523889 A JP2018523889 A JP 2018523889A JP 6933211 B2 JP6933211 B2 JP 6933211B2
Authority
JP
Japan
Prior art keywords
sensing
plant
region
reflectance
sensing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523889A
Other languages
English (en)
Other versions
JPWO2017221756A1 (ja
Inventor
高嶋 昌利
昌利 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017221756A1 publication Critical patent/JPWO2017221756A1/ja
Application granted granted Critical
Publication of JP6933211B2 publication Critical patent/JP6933211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274Calibration, base line adjustment, drift correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本技術は、センシングシステム、センシング方法、及び、センシング装置に関し、特に、より精度の高い測定を行うことができるようにしたセンシングシステム、センシング方法、及び、センシング装置に関する。
従来から、ある場所に生育している植物の状態や活性度などの検査を行う検査装置が知られている(例えば、特許文献1参照)。
特開2003−9664公報
ところで、検査対象物の検査指標の測定を行うに際し、その測定時の測定光源の変化を補正するために、基準反射領域を用いる場合があるが、検査対象物の反射率分光特性によっては、基準反射領域の反射率との差が大きくなって、精度の高い測定を行うことができない可能性がある。
本技術はこのような状況に鑑みてなされたものであり、基準反射領域を用いて、検査対象物の検査指標の測定を行うに際し、より精度の高い測定を行うことができるようにするものである。
本技術の一側面のセンシングシステムは、検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、をセンシングするセンサと、前記植物のセンシングの対象となる波長帯ごとに、前記センサの露光時間を制御する制御部と、前記センサによるセンシングで得られる測定結果に基づいて、前記植物の検査指標を算出する算出部とを備え、前記複数の基準反射領域は、それぞれが異なる反射率を有し、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応しているセンシングシステムである。
本技術の一側面のセンシング方法は、センサを備えたセンシングシステムのセンシング方法において、前記センサが、検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、をセンシングするステップを含み、前記複数の基準反射領域は、それぞれが異なる反射率を有し、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応しているセンシング方法である。
本技術の一側面のセンシング装置は、検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、をセンシングするセンサを備え、前記複数の基準反射領域は、それぞれが異なる反射率を有し、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応しているセンシング装置である。
なお、本技術の一側面のセンシング装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術の一側面のセンシングシステム、センシング方法、及び、センシング装置においては、検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、がセンシングされる。また、前記複数の基準反射領域は、それぞれが異なる反射率を有しており、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応している。
本技術の一側面によれば、より精度の高い測定を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
移動測定装置による測定の例を示す図である。 近赤外領域(NIR)の成分のセンシング結果を示す図である。 可視領域の赤(R)の成分のセンシング結果を示す図である。 本技術を適用した移動測定装置による測定の例を示す図である。 本技術を適用した場合の近赤外領域(NIR)の成分のセンシング結果を示す図である。 本技術を適用した場合の可視領域の赤(R)の成分のセンシング結果を示す図である。 本技術を適用した指標測定システムの一実施の形態の構成を示す図である。 センシング装置の構成例を示す図である。 指標演算装置の構成例を示す図である。 指標演算システムの他の構成を示す図である。 フィルタとセンサの特性の例を示す図である。 単一の基準反射板の構成を採用した場合の基準反射板と検査対象物の特性の例を示す図である。 単一の基準反射板の構成を採用した場合のセンシング装置の測定時の信号処理の流れを示す図である。 複数の基準反射板の構成を採用した場合の基準反射板の特性の例を示す図である。 複数の基準反射板の構成を採用した場合のセンシング装置の測定時の信号処理の流れを示す図である。 検査指標の測定処理の流れを説明するフローチャートである。 測定装置の他の構成例を示す図である。 基準透過板を用いた場合の構成の例を示す図である。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の概要
2.システムの構成
3.センシング装置の測定例
4.検査指標の測定処理
5.変形例
6.コンピュータの構成
<1.本技術の概要>
(移動測定装置による測定)
図1は、移動観測を行う移動測定装置による測定の例を示す図である。
図1において、移動測定装置50は、例えば無人航空機(UAV:Unmanned Aerial Vehicle)であって、プロペラ状の回転翼2が回転することで飛行し、上空から、圃場の植物等の検査対象物1を含む領域をセンシング(空撮)する。
移動測定装置50は、センシング装置101−1とセンシング装置101−2を有している。センシング装置101−1とセンシング装置101−2の前方には、所定の形状(例えば、矩形の形状)からなる基準反射板20が取り付けられている。
これにより、移動測定装置50においては、センシング装置101−1とセンシング装置101−2によりセンシングされる対象物(被写体)として、圃場の植物等の検査対象物1と基準反射板20とが、同一の画角内に存在することになる。例えば、基準反射板20としては、反射率が一定となるグレー反射板を用いることができる。
すなわち、例えば、図1に示した圃場の植物等を検査対象物1とする場合には、太陽光等の光源の状態を補正するために、既知の反射率を有する基準反射板20を、検査対象物1と同時にセンシングする必要がある。そして、センシング装置101−1とセンシング装置101−2によるセンシングで得られる測定値に基づいて、検査対象物1の検査指標を求めることができる。
検査対象物1の検査指標としては、例えば、正規化植生指数(NDVI:Normalized Difference Vegetation Index)を求めることができる。正規化植生指数(NDVI)は、植生の分布状況や活性度を示す指標である。なお、正規化植生指数(NDVI)は、植生指数の一例である。以下、正規化植生指数(NDVI)を、NDVI値とも記述する。
NDVI値は、下記の式(1)で算出されることから、例えば、センシング装置101−1により、近赤外領域(NIR:Near Infrared)の成分をセンシングし、センシング装置101−2により、可視領域の赤(R)の成分をセンシングする必要がある。
NDVI = (IR - R) / (IR + R) = (1- R/IR) / (1 + R/IR) ・・・(1)
ただし、式(1)において、IRは、近赤外領域(NIR)の反射率を表し、Rは、可視領域の赤(R)の反射率を表している。
ここで、センシング装置101−1とセンシング装置101−2においては、検査対象物1の反射率分光特性の測定時に、例えば植物のように、その反射率分光特性が、可視領域で非常に小さく、近赤外領域で非常に大きく変化する場合には、基準反射板20との反射率の差が大きくなるため、測定対象の波長帯(測定帯域)ごとに、最適な露光時間を設定するのが難しくなる。以下、その理由について説明する。
(NIR成分のセンシング結果)
図2は、センシング装置101−1による、近赤外領域(NIR)の成分のセンシング結果を示す図である。
図2において、図2のAは、NIR成分のセンシングの結果得られるセンシング画像IIRを示す。また、図2のBは、横軸を、図2のAのセンシング画像IIRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
図2のAのセンシング画像IIRには、図1に示した検査対象物1としての圃場の植物と、センシング装置101−1の前方に取り付けられた基準反射板20が含まれる。ここで、図2のAのセンシング画像IIRにおいて、圃場の植物を含む領域を、対象領域T1とし、基準反射板20を含む領域を、対象領域T2とすれば、それらの対象領域T1,T2のヒストグラムは、図2のBに示すようになる。
図2のBにおいては、センシング装置101−1が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているため、対象領域T1(圃場の植物)は、ダイナミックレンジ内に収まっている一方で、対象領域T2(基準反射板20)は、出力レベルが低い方に、アンダー露出となっている(いわゆる黒つぶれ)。
(R成分のセンシング結果)
図3は、センシング装置101−2による、可視領域の赤(R)の成分のセンシング結果を示す図である。
図3において、図3のAは、R成分のセンシングの結果得られるセンシング画像IRを示す。また、図3のBは、縦軸を、図3のAのセンシング画像IRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
図3のAのセンシング画像IRには、図2のAのセンシング画像IIRと同様に、検査対象物1としての圃場の植物と、センシング装置101−2の前方に取り付けられた基準反射板20が含まれる。図3のAのセンシング画像IRにおいても、圃場の植物を含む領域を、対象領域T1とし、基準反射板20を含む領域を、対象領域T2とすれば、それらの対象領域T1,T2のヒストグラムは、図3のBに示すようになる。
図3のBにおいては、センシング装置101−2が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているため、対象領域T1(圃場の植物)は、ダイナミックレンジ内に収まっている一方で、対象領域T2(基準反射板20)は、出力レベルが高い方に、オーバー露出となっている(いわゆる白とび)。
以上、図2及び図3を参照して説明したように、検査対象物1の反射率と、基準反射板20の反射率との差が大きいと、測定帯域ごとに、最適な露光時間を設定するのが難しくなり、結果として、太陽光等の光源の特定に失敗したり、著しく測定精度が低下したりすることに繋がるため、このような問題を解決することが望まれていた。
本技術では、検査対象物1の測定しようとする波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有する基準反射板20を複数用意し、測定帯域ごとに、検査対象物1と、当該検査対象物1に対応した反射率を有する基準反射板20とを同時にセンシングすることで、検査対象物1の反射率と、基準反射板20の反射率との差が広がらないようにする。次に、図4乃至図6を参照して、本技術の構成を説明する。
(本技術の移動測定装置による測定)
図4は、本技術を適用した移動測定装置による測定の例を示す図である。
図4において、移動測定装置50は、センシング装置101−1とセンシング装置101−2を有しているが、センシング装置101−1とセンシング装置101−2の前方には、所定の形状からなる基準反射板20−1と基準反射板20−2が取り付けられている。
これにより、センシング装置101−1とセンシング装置101−2によりセンシングされる対象物(被写体)として、圃場の植物等の検査対象物1と、基準反射板20−1及び基準反射板20−2が、同一の画角内に存在することになる。
ここで、基準反射板20−1及び基準反射板20−2は、検査対象物1の測定しようとする波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有している。例えば、検査対象物1が圃場の植物である場合、基準反射板20−1は、植物の測定帯域のうち、近赤外領域(NIR)における反射率に合致する反射率を有している。また、例えば、基準反射板20−2は、植物の測定帯域のうち、可視領域の赤(R)における反射率に合致する反射率を有している。
(本技術のNIR成分のセンシング結果)
図5は、本技術を適用した場合のセンシング装置101−1による、近赤外領域(NIR)の成分のセンシング結果を示す図である。
図5において、図5のAは、NIR成分のセンシングの結果得られるセンシング画像IIRを示す。また、図5のBは、横軸を、図5のAのセンシング画像IIRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
図5のAのセンシング画像IIRには、図4に示した検査対象物1としての圃場の植物と、センシング装置101−1の前方に取り付けられた基準反射板20−1及び基準反射板20−2が含まれる。ここで、図5のAのセンシング画像IIRにおいて、圃場の植物を含む領域を、対象領域T1とし、複数の基準反射板20のうち、基準反射板20−1を含む領域を、対象領域T3とすれば、それらの対象領域T1,T3のヒストグラムは、図5のBに示すようになる。
図5のBにおいては、センシング装置101−1が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているが、基準反射板20−1が、検査対象物1の測定帯域のうち、近赤外領域(NIR)における反射率に合致する反射率を有しているため、対象領域T1(圃場の植物)とともに、対象領域T3(基準反射板20−1)についても、ダイナミックレンジ内に収まっている。
なお、図5のAのセンシング画像IIRにおいて、複数の基準反射板20のうち、基準反射板20−2は、近赤外領域(NIR)における反射率に合致する反射率を有していないため(可視領域の赤(R)の反射率に合致する反射率を有しているため)、出力レベルが低い方に、アンダー露出となっている(いわゆる黒つぶれ)。
(本技術のR成分のセンシング結果)
図6は、本技術を適用したセンシング装置101−2による、可視領域の赤(R)の成分のセンシング結果を示す図である。
図6において、図6のAは、R成分のセンシングの結果得られるセンシング画像IRを示す。また、図6のBは、縦軸を、図6のAのセンシング画像IRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
図6のAのセンシング画像IRには、図5のAのセンシング画像IIRと同様に、検査対象物1としての圃場の植物と、センシング装置101−2の前方に取り付けられた基準反射板20−1及び基準反射板20−2が含まれる。図6のAのセンシング画像IRにおいても、圃場の植物を含む領域を、対象領域T1とし、基準反射板20−2を含む領域を、対象領域T4とすれば、それらの対象領域T1,T4のヒストグラムは、図6のBに示すようになる。
図6のBにおいては、センシング装置101−2が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているが、基準反射板20−1が、検査対象物1の測定帯域のうち、可視領域の赤(R)における反射率に合致する反射率を有しているため、対象領域T1(圃場の植物)とともに、対象領域T4(基準反射板20−2)についても、ダイナミックレンジ内に収まっている。
なお、図6のAのセンシング画像IRにおいて、複数の基準反射板20のうち、基準反射板20−1は、可視領域の赤(R)における反射率に合致する反射率を有していないため(近赤外領域(NIR)の反射率に合致する反射率を有しているため)、出力レベルが高い方に、オーバー露出となっている(いわゆる白とび)。
以上、図4乃至図6を参照して説明したように、本技術では、検査対象物1の測定しようとする波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有する基準反射板20を複数用意し、測定帯域ごとに、検査対象物1を含む領域と、当該検査対象物1に対応した反射率を有する基準反射板20とを同時にセンシングする。これにより、検査対象物1の反射率と、基準反射板20の反射率との差が広がるのが抑制され、測定帯域ごとに、最適な露光時間が設定され、結果として、太陽光等の光源の特定を確実に行い、より精度の高い測定を行うことができる。
なお、図4において、移動測定装置50は、無線操縦のほか、例えば、飛行ルートを座標データとしてあらかじめ記憶しておくことで、GPS(Global Positioning System)などの位置情報を用いて自律飛行するようにしてもよい。また、図4では、移動測定装置50が、回転翼51を有する回転翼機であるとして説明したが、移動測定装置50は、固定翼機であってもよい。
<2.システムの構成>
(指標測定システムの構成)
図7は、本技術を適用した指標測定システムの一実施の形態の構成を示す図である。
指標測定システム10は、圃場の植物等の検査対象物1を含む領域のセンシングを行い、そのセンシングの結果に基づいて、NDVI値等の検査指標を算出するためのシステム(センシングシステム)である。
図7において、指標演算システム10は、センシング装置101−1、センシング装置101−2、及び指標演算装置103から構成される。センシング装置101−1、センシング装置101−2、及び指標演算装置103は、ハブ104を介して相互に接続されている。
センシング装置101−1は、検査対象物1を含む領域をセンシングして、そのセンシングで得られるデータを出力する。ここで、センシングとは、検査対象物1を含む領域を測定することを意味する。また、センシングには、検査対象物1を含む領域を撮像することが含まれる。
センシング装置101−1は、検査対象物1を含む領域をセンシングし、その測定結果を、指標測定データとして、ハブ104を介して指標演算装置103に出力する。ここで、指標測定データは、NDVI値などの検査指標を測定するためのデータである。
センシング装置101−2は、センシング装置101−1と同様に、検査対象物1を含む領域をセンシングし、その測定結果を、指標測定データとして、ハブ104を介して指標演算装置103に出力する。
図4に示したように、センシング装置101−1とセンシング装置101−2は、移動測定装置50として構成することができる。また、センシング装置101−1とセンシング装置101−2の前方(画角内)には、基準反射板20−1や基準反射板20−2などの複数の基準反射板20が用意される。
なお、センシング装置101−1とセンシング装置101−2の詳細な構成は、図8を参照して後述する。また、以下、センシング装置101−1とセンシング装置101−2を、特に区別する必要がない場合、単に、センシング装置101と称して説明する。
指標演算装置103は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等の回路による演算機能を有する装置である。例えば、指標演算装置103は、パーソナルコンピュータや専用の端末装置などとして構成される。指標演算装置103には、センシング装置101−1とセンシング装置101−2からの指標測定データが、ハブ104を介して入力される。
指標演算装置103は、指標測定データに基づいて、検査対象物1の検査指標を算出する。ここでは、例えば、指標測定データから得られるNIR信号と、R信号に基づいて、上述した式(1)を演算することで、NDVI値を算出することができる。
また、指標演算装置103は、ハブ104を介して、センシング装置101−1とセンシング装置101−2を遠隔で制御することができる。例えば、指標演算装置103は、センシング装置101−1とセンシング装置101−2での測定時の露光を制御する。
なお、指標演算装置103の詳細な構成は、図9を参照して後述する。
指標測定システム10は、以上のように構成される。
(センシング装置の構成)
図8は、図7のセンシング装置101の構成例を示す図である。
図8において、センシング装置101は、レンズ141、露光部142、フィルタ143、及びセンサ144を有する測定部121と、信号処理部145及びI/F部146を有する処理部122とから構成される。
センシング装置101において、検査対象物1や基準反射板20等の対象物(被写体)からの光(反射光)は、レンズ141とフィルタ143を介してセンサ144に入射される。
露光部142は、センサ144において、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ141等の光学系やアイリス(絞り)による開口量などを調整することで、露光制御を行う。ただし、この露光制御は、指標演算装置103からの遠隔制御で行うことができる。
フィルタ143は、測定対象の検査指標に応じた光学フィルタである。フィルタ143は、レンズ141を介して入射された光のうち、所定の波長帯域の光を、センサ144に透過させる。
センサ144は、そのセンサ面に、複数の画素が繰り返しパターンで2次元配列されたセンシング素子から構成されるイメージセンサである。センサ144は、フィルタ143を通過した光を、センシング素子により検出することで、光の光量に応じた測定信号(測定データ)を、信号処理部145に出力する。
ここで、例えば、検査指標としてNDVI値を算出する場合には、R信号が必要になるので、フィルタ143として、RフィルタとNIRカットフィルタを組み合わせたものが設けられる。この場合、センサ144のセンシング素子では、例えば、図8の配列パターン144Aに示すように、すべての画素が、赤(R)の成分に対応したR画素として、2次元に配列される。
すなわち、上述したセンシング装置101−2(図4)では、フィルタ143として、RフィルタとIRカットフィルタを組み合わせたものが設けられることになる。
ただし、センサ144のセンシング素子に2次元配列される複数の画素の配列パターンとしては、配列パターン144Aに示した画素の配列に限らず、R信号がとれれば、他の配列パターンが採用されるようにしてもよい。ここでは、例えば、ベイヤー配列により、複数の画素を2次元配列することができる。ベイヤー配列とは、緑(G)のG画素が市松状に配され、残った部分に、赤(R)のR画素と、青(B)のB画素とが一列ごとに交互に配される配列パターンである。特に、RフィルタとIRフィルタだけでなく、緑(G)や青(B)などの可視領域のフィルタを備えることで、検査指標だけでなく、ユーザに提示するための画像を撮像でき、それらを同時に提示することが可能になる。
また、例えば、検査指標として、NDVI値を算出する場合には、NIR信号が必要になるので、フィルタ143として、NIRフィルタが設けられる。この場合、センサ144のセンシング素子では、例えば、図8の配列パターン144Bに示すように、すべての画素が、近赤外領域(NIR)に対応したIR画素として、2次元状に配列される。
すなわち、上述したセンシング装置101−1(図4)では、フィルタ143として、NIRフィルタが設けられることになる。
さらに、図8の配列パターン144Aでは、NIRカットフィルタを設けた構成を説明したが、NIRカットフィルタを設けない構成としてもよい。この場合、センサ144のセンシング素子では、例えば、図8の配列パターン144Cに示すように、赤(R)、緑(G)、及び青(B)の可視光の波長を透過するRGBフィルタに対応したR,G,B画素のほかに、近赤外領域(NIR)に対応したIR画素が配されるようにすることができる。
図8の配列パターン144Cでは、例えば、横方向に4個の画素が配され、縦方向に2個の画素が配された4×2画素(2個のR画素(R1,R2)、2個のG画素(G1,G2)、2個のB画素(B1,B2)、2個のIR画素(IR1,IR2))が、1セットとされる。そして、このような8画素を1セットとして、n(nは1以上の整数)セットを構成する複数の画素が、センシング素子のセンサ面に繰り返し配置されることになる。なお、1セット当たりの画素数は、8画素に限定されることなく、例えば、R,G,B,IR画素を1つずつ含んだ4画素を、1セットとした構成などの他の形態を採用することができる。
ここで、検査指標として、NDVI値を算出する場合、R画素とIR画素を有するセンサ144を用いることができれば、1つのセンサ144で、R信号とNIR信号が得られるので、図4や図7に示したように、2つのセンシング装置101−1,101−2を設ける必要はない。すなわち、この場合には、例えば、R画素やIR画素などの画素ごとに独立してゲインを制御したり、複数のストリームで同時に異なる画を出力したりすることで、1つのセンシング装置101(のセンサ144)で、2つのセンシング装置101−1,101−2の役割を果たすことが可能となる。
なお、図8の配列パターン144Cでは、R画素、G画素、B画素、及びIR画素の4種類の画素が配列される場合を例示したが、検査指標として、NDVI値を算出する場合には、少なくとも、R画素とIR画素が配列パターンに含まれていればよい。
信号処理部145は、センサ144から出力される測定データに対し、データを並び替える処理などの所定の信号処理を行い、I/F部146に出力する。
なお、本実施の形態では、NDVI値などの検査指標は、後段の指標演算装置103により算出されるとして説明するが、信号処理部145が、CPUやFPGA等の回路などにより構成されるようにすることで、測定データに基づいて、NDVI値などの検査指標を算出するようにしてもよい。
I/F部146は、外部出力インターフェース回路などにより構成され、信号処理部145から供給される測定データを、指標測定データとして、ハブ104を介して指標演算装置103に出力する。
センシング装置101は、以上のように構成される。
なお、本実施の形態の説明では、指標演算システム10において、センシング装置101が複数設けられる場合に、符号として、「−1」や「−2」を追加して記述することで、区別するものとする。また、センシング装置101内のフィルタ143やセンサ144などについても同様に区別するものとする。
(指標演算装置の構成)
図9は、図7の指標演算装置103の構成例を示す図である。
図9において、指標演算装置103は、I/F部161、処理部162、記憶部163、及び表示部164から構成される。
I/F部161は、外部入力インターフェース回路などにより構成され、センシング装置101−1とセンシング装置101−2から入力される指標測定データを、処理部162に供給する。
処理部162は、例えば、CPUやFPGA等の回路などにより構成される。処理部162は、算出部171及び制御部172を含む。
算出部171は、I/F部161から供給される指標測定データに基づいて、所定の信号処理を行うことで、検査対象物1の検査指標を算出する。この信号処理の詳細な内容は後述するが、ここでは、例えば、指標測定データから得られるNIR信号と、R信号に基づいて、上述した式(1)を演算することで、NDVI値を算出することができる。
制御部172は、指標演算装置103の各部の動作を制御する。また、制御部172は、ハブ104を介して、センシング装置101−1とセンシング装置101−2を遠隔で制御する。例えば、制御部172は、センシング装置101−1とセンシング装置101−2での測定時の露光を制御する。
記憶部163は、例えば、半導体メモリやハードディスクなどから構成される。記憶部163は、制御部172からの制御に従い、算出部171により算出された検査指標に関するデータ(例えば、数値データや画像データ等)を記憶する。
表示部164は、例えば、LCD(Liquid Crystal Display)やOELD(Organic Electroluminescence Display)などのディスプレイにより構成される。表示部164は、制御部172からの制御に従い、算出部171により算出された検査指標に関するデータ(例えば、数値データや画像データ等)を表示する。また、表示部164は、制御部172からの制御に従い、記憶部163に記憶された各種のデータを表示することができる。
なお、図9においては、記憶部163及び表示部164は、指標演算装置103の内部に設けられるとして説明したが、記憶装置又は表示装置として、指標演算装置103の外部に設けられるようにしてもよい。この場合、制御部172は、信号処理で得られた数値データや画像データ等の各種のデータを、外部の記憶装置に記憶させたり、あるいは外部の表示装置に表示させたりすることができる。
指標演算装置103は、以上のように構成される。
(指標演算システムの他の構成)
ところで、図7に示した指標演算システム10では、パーソナルコンピュータ等の指標演算装置103が、ハブ104を介したローカル環境で、検査対象物1の検査指標(例えばNDVI値)を算出していたが、ネットワークを介したクラウド環境で、検査対象物1の検査指標が算出されるようにしてもよい。
図10には、指標演算システムの他の構成例として、クラウド環境に対応した指標演算システム11の構成例を示している。
図10の実効指標演算システム11において、センシング装置101−1とセンシング装置101−2は、図7のセンシング装置101−1とセンシング装置101−2と同様に、センシングの結果得られる指標測定データを、ハブ104を介してクライアント装置105に出力する。ただし、センシング装置101−1とセンシング装置101−2は、図4に示したように、移動測定装置50に搭載されるようにすることができる。
クライアント装置105は、パーソナルコンピュータ等から構成され、ハブ104を介して、センシング装置101−1とセンシング装置101−2からから入力される指標測定データを、ルータ106に出力する。すなわち、クライアント装置105は、図7の指標演算装置103に対応しているが、検査対象物1の検査指標を算出するための信号処理は行わない。
ルータ106は、例えばモバイル用のルータであり、基地局107を介して、インターネット等のネットワーク108に接続することができる。ルータ106は、クライアント装置105から入力される指標測定データを、ネットワーク108を介して、サーバ109に送信する。
サーバ109は、ネットワーク108を介して、クライアント装置105から送信されてくる指標測定データを受信する。ここで、サーバ109は、図9に示した指標演算装置103が有する機能のうち、少なくとも、処理部162と同様の機能を有している。
すなわち、サーバ109において、処理部162の算出部171は、クライアント装置105から受信した指標測定データに基づいて、検査対象物1の検査指標(例えば、NDVI値)を算出する。サーバ109で算出された検査対象物1の検査指標に関するデータ(例えば、数値データや画像データ)は、ストレージ110に記憶することができる。
また、サーバ109が表示部164を有しているか、あるいはサーバ109と表示部164とが通信可能な場合には、検査対象物1の検査指標に関するデータを、表示部164に表示させることができる。また、サーバ109は、ストレージ110に記憶されたデータを読み出し、表示部164に表示させてもよい。
指標演算システム11は、以上のように構成される。
<3.センシング装置の測定例>
次に、図11乃至図15を参照して、センシング装置101−1とセンシング装置101−2による測定の例を説明する。
以下の説明では、複数の基準反射板20を用意する本技術の構成との比較のため、単一の基準反射板20を用いた構成についても説明する。すなわち、単一の基準反射板20を用いた構成は、上述した図1の測定時の構成に対応し、複数の基準反射板を用いた構成が、上述した図4の測定時の構成(本技術の構成)に対応している。
なお、以下の説明では、センシング装置101−1は、レンズ141−1、露光部142−1、フィルタ143−1(NIRフィルタ143−1)、センサ144−1、信号処理部145−1、及びI/F部146−1から構成されるものとして説明する。また、センシング装置101−2は、レンズ141−2、露光部142−2、フィルタ143−2(Rフィルタ143−2とNIRカットフィルタ)、センサ144−2、信号処理部145−2、及びI/F部146−2から構成されるものとして説明する。
(フィルタとセンサの特性)
図11は、フィルタとセンサの特性の例を示す図である。
図11のAには、センシング装置101−1におけるフィルタ143−1とセンサ144−1の特性を示している。すなわち、図11のAは、横軸を波長(nm)とし、縦軸をゲインとしたときのNIRフィルタ143−1とセンサ144−1の特性を示している。
図11のAに示すように、NIRフィルタ143−1は、例えば、800〜940nmの範囲などの近赤外領域(NIR)の光を透過する特性を有している。したがって、図11のAにおいて、センサ144−1が、線L1で示すような分光感度特性を有している場合、斜線の部分の領域A1に応じた帯域の信号が、NIR信号として積分され、出力される。
図11のBは、センシング装置101−2におけるフィルタ143−2とセンサ144−2の特性を示している。すなわち、図11のBは、横軸を波長(nm)とし、縦軸をゲインとしたときのRフィルタ143−2とセンサ144−2の特性を示している。
図11のBに示すように、Rフィルタ143−2は、例えば、580〜680nmの範囲などの可視領域の赤(R)の光を透過する特性を有している。したがって、図11のBにおいて、センサ144−2が、線L2で示すような分光感度特性を有している場合、斜線の部分の領域A2に応じた帯域の信号が、R信号として積分され、出力される。
(1)単一の基準反射板の構成
ここでは、まず、本技術の構成との比較のため、上述した図1の測定時の構成に対応する、単一の基準反射板20を用いた構成について説明する。
(基準反射板と検査対象物の特性)
図12は、単一の基準反射板の構成を採用した場合における、基準反射板20と検査対象物1の特性の例を示す図である。
図12のAには、横軸を波長(nm)とし、縦軸を反射率としたときの基準反射板20(図1)の特性の例を示している。例えば、基準反射板20としては、一般的に利用されるグレー反射板を用いることができる。図12のAに示すように、基準反射板20の反射率は、約0.18で一定であり、分光反射率の特性がフラットになっている。
図12のBには、横軸を波長(nm)とし、縦軸を反射率としたときの検査対象物1(図1)の特性の例を示している。図12のBに示すように、検査対象物1の反射率は、700nm付近までは0に近い値となっているが、700nmの近傍で上昇し、700nmを超える範囲では、約0.8(80%)に近い値となっている。すなわち、例えば、圃場の植物等の植物が、検査対象物1となる場合には、可視領域では反射率が小さくなる一方で、近赤外領域では、反射率は大きくなる。
(センシング装置の測定時の信号処理の流れ)
図13は、単一の基準反射板の構成を採用した場合における、センシング装置101−1とセンシング装置101−2の測定時の信号処理の流れを説明する図である。
なお、図13においては、基準反射板20又は検査対象物1からの反射光に対し、図中の上側の系列が、NIRフィルタ143−1が取り付けられたセンシング装置101−1で処理される信号の流れを示し、図中の下側の系列が、Rフィルタ143−2が取り付けられたセンシング装置101−2で処理される信号の流れを示している。
図13においては、太陽光(環境光)が基準反射板20に反射し、その反射光が、センシング装置101−1とセンシング装置101−2に入射される。この太陽光の分光特性を、分光特性S1で表している。また、基準反射板20の反射光の分光特性を、分光特性S2で表している。すなわち、基準反射板20は、図12のAに示したフラットな分光特性を有しているので、基準反射板20の反射光の分光特性は、分光特性S2のようになる。
また、太陽光は、圃場の植物等の検査対象物1に反射し、その反射光が、センシング装置101−1とセンシング装置101−2に入射される。検査対象物1の反射光の分光特性を、分光特性S3で表している。すなわち、検査対象物1は、図12のBに示した形状の反射特性を有しているので、検査対象物1の反射光の分光特性は、分光特性S3のようになる。
センシング装置101−1においては、基準反射板20と検査対象物1の反射光が、レンズ141−1に入射され、NIRフィルタ143−1を通過して、センサ144−1のセンサ面に像を結ぶことになる。ただし、圃場の植物等の植物が、検査対象物1となる場合には、近赤外領域での反射率が大きくなるので、NIRフィルタ143−1によりNIR成分の光を透過させるセンシング装置101−1では、露光部142−1によって、NIR成分の光量に応じて露光時間が短く設定される。
センシング装置101−1において、NIRフィルタ143−1の特性を、分光特性S4と分光特性S6で表している。この分光特性S4,S6において、NIRフィルタ143−1の特性は、図11のAに示したNIRフィルタの透過特性に対応している。なお、分光特性S4には、NIRフィルタ143−1の特性に対し、基準反射板20の特性(分光特性S2)が重ねられている。また、分光特性S6には、NIRフィルタ143−1の特性に対し、検査対象物1の特性(分光特性S3)が重ねられている。
そして、NIRフィルタ143−1の特性に対し、基準反射板20の反射光の特性(分光特性S2)を重ねた分光特性S5に示すように、センサ144−1は、そのセンサ面で受光された基準反射板20からの反射光を、基準反射板20を含む領域(図2の対象領域T2)のNIR成分のレベルとして出力する。
また、NIRフィルタ143−1の特性に対し、検査対象物1の反射光の特性(分光特性S3)を重ねた分光特性S7に示すように、センサ144−1は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図2の対象領域T1)のNIR成分のレベルとして出力する。
すなわち、これらのNIR成分のレベルに応じた信号が、センシング装置101−1により基準反射板20と検査対象物1を含む領域をセンシングして得られたNIRデータ(NIR信号)となる。信号処理部145−1は、センサ144−1からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146−1を介して出力する。
このようにして、図13のセンシング装置101−1によるセンシングで得られるセンシング画像IIRは、検査対象物1の反射光のNIR成分の光量に応じて露光時間が設定されているため、分光特性S6,S7に示すように、NIR成分の帯域の光を適度にとらえている。なお、ここでは、R成分の光は、レベルが小さく、アンダー露出となっている。
また、このとき、基準反射板20の反射光のNIR成分の光は、分光特性S4,S5に示すように、そのレベルが小さすぎるため、アンダー露出となっている。
一方で、センシング装置101−2においては、基準反射板20と検査対象物1の反射光が、レンズ141−2に入射され、Rフィルタ143−2を通過して、センサ144−2のセンサ面に像を結ぶことになる。ただし、圃場の植物が、検査対象物1となる場合には、可視領域での反射率が小さくなるので、Rフィルタ143−2によりR成分の光を透過させるセンシング装置101−2では、露光部142−2によって、R成分の光量に応じて露光時間が長く設定される。
センシング装置101−2において、Rフィルタ143−2の特性を、分光特性S8と分光特性S10で表している。この分光特性S8,S10において、Rフィルタ143−2の特性は、図11のBに示したRフィルタの透過特性に対応している。なお、分光特性S8には、Rフィルタ143−2の特性に対し、基準反射板20の特性(分光特性S2)が重ねられている。また、分光特性S10には、Rフィルタ143−2の特性に対し、検査対象物1の特性(分光特性S3)が重ねられている。
そして、Rフィルタ143−2の特性に対し、基準反射板20の反射光の特性(分光特性S2)を重ねた分光特性S9に示すように、センサ144−2は、そのセンサ面で受光された基準反射板20からの反射光を、基準反射板20を含む領域(図3の対象領域T2)のR成分のレベルとして出力する。
また、Rフィルタ143−2の特性に対し、検査対象物1の反射光の特性(分光特性S3)を重ねた分光特性S11に示すように、センサ144−2は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図2の対象領域T1)のR成分のレベルとして出力する。
すなわち、これらのR成分のレベルに応じた信号が、センシング装置101−2により基準反射板20と検査対象物1を含む領域をセンシングして得られたRデータ(R信号)となる。信号処理部145−2は、センサ144−2からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146−2を介して出力する。
このようにして、図13のセンシング装置101−2によるセンシングで得られるセンシング画像IRは、検査対象物1の反射光のR成分の光量に応じて露光時間が設定されているため、分光特性S10,S11に示すように、R成分の帯域の光を適度にとらえている。なお、ここでは、NIR成分の光は、レベルが大きく、オーバー露出となっている。
また、このとき、基準反射板20の反射光のR成分の光は、分光特性S8,S9に示すように、そのレベルが大きすぎるため、オーバー露出となっている。
以上のように、上述した図1の測定時の構成に対応する、単一の基準反射板の構成を採用した場合には、測定帯域ごとに、検査対象物1の反射率と、基準反射板20の反射率との差が大きいため、最適な露光時間を設定するのが難しくなり、結果として、太陽光等の光源の特定に失敗したり、著しく測定精度が低下したりすることに繋がっていた。
(2)複数の基準反射板の構成
次に、上述した図4の測定時の構成に対応する、複数の基準反射板20を用いた構成、すなわち、本技術の構成について説明する。
なお、複数の基準反射板の構成を採用した場合でも、検査対象物1は、圃場の植物となるので、その特性は、図12のBに示した特性と同じである。
(複数の基準反射板の特性)
図14は、複数の基準反射板の構成を採用した場合における、基準反射板20−1と基準反射板20−2の特性の例を示す図である。
図14のAには、横軸を波長(nm)とし、縦軸を反射率としたときの基準反射板20−1(図4)の特性の例を示している。図14のAに示すように、基準反射板20−1の反射率は、検査対象物1の近赤外領域(NIR)の反射率に合致するようにする。例えば、図14のAにおいては、「Ref1」で示すように、基準反射板20−1の反射率を、80%としている。
すなわち、検査対象物1が、圃場の植物である場合、その反射率は、上述した図12のBに示した特性となり、例えば、800〜940nmの範囲などの近赤外領域(NIR)の反射率は、約0.8(80%)となる。したがって、この検査対象物1の近赤外領域(NIR)の反射率に応じて、基準反射板20−1の反射率を、80%とすることができる。
図14のBには、横軸を波長(nm)とし、縦軸を反射率としたときの基準反射板20−2(図4)の特性の例を示している。図14のBに示すように、基準反射板20−2の反射率は、検査対象物1の可視領域の赤(R)の反射率に合致するようにする。例えば、図14のBにおいては、「Ref2」で示すように、基準反射板20−2の反射率を、5%としている。
すなわち、検査対象物1が、圃場の植物である場合、その反射率は、上述した図12のBに示した特性となり、例えば、580〜680nmの範囲などの可視領域の赤(R)の反射率は、約0.05(5%)となる。したがって、この検査対象物1の可視領域の赤(R)の反射率に応じて、基準反射板20−2の反射率を、5%とすることができる。
なお、センシング装置101−1とセンシング装置101−2において、通過帯域が、ある帯域だけに固定される場合には、その帯域以外の帯域の反射率は、いわゆる「don't care」の扱いとされる。例えば、基準反射板20−1を測定する場合の近赤外領域(NIR)以外の帯域や、基準反射板20−2を測定する場合の可視領域の赤(R)以外の帯域が、そのような帯域に相当する。
(センシング装置の測定時の信号処理の流れ)
図15は、複数の基準反射板の構成を採用した場合における、センシング装置101−1とセンシング装置101−2の測定時の信号処理の流れを説明する図である。
なお、図15においては、図13と同様に、図中の上側の系列が、NIRフィルタ143−1が取り付けられたセンシング装置101−1で処理される信号の流れを示し、図中の下側の系列が、Rフィルタが143−2取り付けられたセンシング装置101−2で処理される信号の流れを示している。
図15においては、太陽光(環境光)が、基準反射板20−1と基準反射板20−2に反射し、その反射光が、センシング装置101−1とセンシング装置101−2に入射される。この太陽光の分光特性を、分光特性S31で表している。また、基準反射板20−1と基準反射板20−2の反射光の分光特性を、分光特性S32で表している。
すなわち、基準反射板20−1は、図14のAに示した分光特性を有しているので、基準反射板20−1の反射光の分光特性は、分光特性S32−1のようになる。また、基準反射板20−2は、図14のBに示した分光特性を有しているので、基準反射板20−2の反射光の分光特性は、分光特性S32−2のようになる。
ここでは、基準反射板20−1と基準反射板20−2のうち、NIRフィルタ143−1に対応して反射率が大きい特性(分光特性S32−1)を有する基準反射板20−1が、センシング装置101−1によるセンシングで用いられる。また、Rフィルタに対応して反射率が小さい特性(分光特性S32−2)を有する基準反射板20−2が、センシング装置101−2によるセンシングで用いられる。
また、太陽光は、圃場の植物等の検査対象物1に反射し、その反射光が、センシング装置101−1とセンシング装置101−2に入射される。検査対象物1の反射光の分光特性を、分光特性S33で表している。
すなわち、図15の分光特性を、図13の分光特性と比べれば、太陽光の分光特性S31は、図13の分光特性S1と同じである。また、圃場の植物等の検査対象物1の分光特性S33は、図13の分光特性S3と同じであって、図12のBに示した形状の反射特性を有している。一方で、図15では、複数の基準反射板20−1,20−2が用意されており、それらの反射光の分光特性S32−1,S32−2は、図13の分光特性S2とは異なっている。
センシング装置101−1においては、基準反射板20−1と検査対象物1の反射光が、レンズ141−1に入射され、NIRフィルタ143−1を通過して、センサ144−1のセンサ面に像を結ぶことになる。ただし、圃場の植物等の植物が、検査対象物1となる場合には、近赤外領域での反射率が大きくなるので、NIRフィルタ143−1によりNIR成分の光を透過させるセンシング装置101−1では、露光部142−1によって、NIR成分の光量に応じて露光時間が短く設定される。
センシング装置101−1において、NIRフィルタ143−1の特性を、分光特性S34と分光特性S36で表している。この分光特性S34,S36において、NIRフィルタ143−1の特性は、図11のAに示したNIRフィルタの透過特性に対応している。なお、分光特性S34には、NIRフィルタ143−1の特性に対し、基準反射板20−1の特性(分光特性S32−1)が重ねられている。また、分光特性S36には、NIRフィルタ143−1の特性に対し、検査対象物1の特性(分光特性S33)が重ねられている。
そして、NIRフィルタ143−1の特性に対し、基準反射板20−1の反射光の特性(分光特性S32−1)を重ねた分光特性S35に示すように、センサ144−1は、そのセンサ面で受光された基準反射板20−1からの反射光を、基準反射板20−1を含む領域(図5の対象領域T3)のNIR成分のレベルとして出力する。
また、NIRフィルタ143−1の特性に対し、検査対象物1の反射光の特性(分光特性S33)を重ねた分光特性S37に示すように、センサ144−1は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図5の対象領域T1)のNIR成分のレベルとして出力する。
すなわち、これらのNIR成分のレベルに応じた信号が、センシング装置101−1により基準反射板20−1と検査対象物1を含む領域をセンシングして得られたNIRデータ(NIR信号)となる。信号処理部145−1は、センサ144−1からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146−1を介して出力する。
このようにして、図15のセンシング装置101−1によるセンシングで得られるセンシング画像IIRは、検査対象物1の反射光のNIR成分の光量に応じて露光時間が設定されているため、分光特性S36,S37に示すように、NIR成分の帯域の光を適度にとらえている。なお、ここでは、R成分の光は、レベルが小さく、アンダー露出となっている。
また、このとき、基準反射板20−1の反射光のNIR成分の光は、分光特性S34,S35に示すように、NIR成分の波長帯域の光を適度にとらえている。ここで、基準反射板20−1は、その反射率が、検査対象物1の近赤外領域(NIR)での反射率に合致するように、あらかじめ用意しておいたものである。そして、NIRフィルタ143−1を有するセンシング装置101−1が、基準反射板20−1を光源情報と利用することで、検査対象物1の反射光だけでなく、基準反射板20−1の反射光についても、NIR成分の波長帯域の光を適度にとらえることができる。
一方で、センシング装置101−2においては、基準反射板20−2と検査対象物1の反射光が、レンズ141−2に入射され、Rフィルタ143−2を通過して、センサ144−2のセンサ面に像を結ぶことになる。ただし、圃場の植物が、検査対象物1となる場合には、可視領域での反射率が小さくなるので、Rフィルタ143−2によりR成分の光を透過させるセンシング装置101−2では、露光部142−2によって、R成分の光量に応じて露光時間が長く設定される。
センシング装置101−2において、Rフィルタ143−2の特性を、分光特性S38と分光特性S40で表している。この分光特性S38,S40において、Rフィルタ143−2の特性は、図11のBに示したRフィルタの透過特性に対応している。なお、分光特性S38には、Rフィルタ143−2の特性に対し、基準反射板20−2の特性(分光特性S32−2)が重ねられている。また、分光特性S40には、Rフィルタ143−2の特性に対し、検査対象物1の特性(分光特性S33)が重ねられている。
そして、Rフィルタ143−2の特性に対し、基準反射板20−2の反射光の特性(分光特性S32−2)を重ねた分光特性S39に示すように、センサ144−2は、そのセンサ面で受光された基準反射板20−2からの反射光を、基準反射板20−2を含む領域(図6の対象領域T4)のR成分のレベルとして出力する。
また、Rフィルタ143−2の特性に対し、検査対象物1の反射光の特性(分光特性S33)を重ねた分光特性S41に示すように、センサ144−2は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図6の対象領域T1)のR成分のレベルとして出力する。
すなわち、これらのR成分のレベルに応じた信号が、センシング装置101−2により基準反射板20−2と検査対象物1を含む領域をセンシングして得られたRデータ(R信号)となる。信号処理部145−2は、センサ144−2からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146−2を介して出力する。
このようにして、図15のセンシング装置101−2によるセンシングで得られるセンシング画像IRは、検査対象物1の反射光のR成分の光量に応じて露光時間が設定されているため、分光特性S40,S41に示すように、R成分の帯域の光を適度にとらえている。なお、ここでは、NIR成分の光は、レベルが大きく、オーバー露出となっている。
また、このとき、基準反射板20−2の反射光のR成分の光は、分光特性S38,S39に示すように、R成分の波長帯域の光を適度にとらえている。ここで、基準反射板20−2は、その反射率が、検査対象物1の可視領域の赤(R)での反射率に合致するように、あらかじめ用意しておいたものである。そして、Rフィルタ143−2を有するセンシング装置101−2が、基準反射板20−2を光源情報と利用することで、検査対象物1の反射光だけでなく、基準反射板20−2の反射光についても、R成分の波長帯域の光を適度にとらえることができる。
以上のように、上述した図4の測定時の構成に対応する、複数の基準反射板の構成を採用した場合において、センシング装置101−1では、NIR成分の波長帯域の光として、検査対象物1と基準反射板20−1からの反射光のNIR成分がともに、ダイナミックレンジ内に収まっている。また、センシング装置101−2では、R成分の波長帯域の光として、検査対象物1と基準反射板20−2からの反射光のR成分がともに、ダイナミックレンジ内に収まっている。
このように、複数の基準反射板の構成を採用した場合、センシング装置101−1とセンシング装置101−2において、測定帯域ごとに、検査対象物1の反射率と、基準反射板20−1又は基準反射板20−2の反射率との差が小さくなり、結果として、光源の特定と、検査対象物1の測定波長の反射率を、精度良くとらえることが可能となる。
<4.検査指標の測定処理>
上述した複数の基準反射板の構成で、センシング装置101−1とセンシング装置101−2によるセンシングで得られた指標測定データは、ハブ103を介して、指標演算装置103に出力される。そして、指標演算装置103は、指標測定データに基づいて、検査対象物1の検査指標(NDVI値)を算出する。そこで、次に、図16のフローチャートを参照して、図7の指標演算システム10により実行される、検査指標の測定処理の全体の流れについて説明する。
ステップS101において、センシング装置101−1とセンシング装置101−2は、指標演算装置103の制御部172からの遠隔制御に従い、露光制御を行う。ここでは、検査対象物1の測定波長に合わせて、露光時間が決定される。ここでは、検査対象物1の測定波長に合わせて、露光時間が決定される。
例えば、圃場の植物等の植物が、検査対象物1となる場合、近赤外領域での反射率が大きくなるので、NIRフィルタ143−1を有するセンシング装置101−1では、NIR成分の光量に応じて露光時間が短くなるように制御される。また、植物は、可視領域での反射率が小さくなるので、Rフィルタ143−2を有するセンシング装置101−2では、R成分の光量に応じて露光時間が長くなるように制御される。
ステップS102において、センシング装置101−1とセンシング装置101−2は、ステップS101の処理での露光制御に従い、センシングを行う。ここでは、図15に示したように、センシング装置101−1によって、検査対象物1と基準反射板20−1からのNIR成分の波長帯域の光がセンシングされ、センシング装置101−2によって、検査対象物1と基準反射板20−2からのR成分の波長帯域の光がセンシングされる。
ステップS103において、指標演算装置103の処理部162は、ハブ104を介して、ステップS102の処理で得られた指標測定データを取得する。
ステップS104において、指標演算装置103の算出部171は、ステップS103の処理で取得された指標測定データに対し、センシング装置101−1とセンシング装置101−2との間のゲインを調整する。ここでは、センシング装置101−1とセンシング装置101−2との露光時間の差に応じたゲインの調整が行われる。
例えば、センシング装置101−1でのNIR成分の光量に応じた露光時間が10msである場合に、センシング装置101−2でのR成分の光量に応じた露光時間が40msとなるときには、センシング装置101−2から得られるR信号のレベルを1/4にすればよい。
ステップS105において、指標演算装置103の算出部171は、ステップS104の処理でゲイン調整が施された指標測定データに対応したセンシング画像から、処理エリアを特定する。ここでは、処理エリアとして、センシング画像(例えば、図5のセンシング画像IIR又は図6のセンシング画像IR)に含まれる、検査対象物1を含む領域(例えば、図5又は図6の対象領域T1に相当する領域)と、基準反射板20−1を含む領域(例えば、図5の対象領域T3に相当する領域)と、基準反射板20−2(例えば、図6の対象領域T4に相当する領域)を含む領域が特定される。
ステップS106において、指標演算装置103の算出部171は、ステップS104及びステップS105の処理結果に基づいて、補正ゲインを算出する。
ここでは、センシング装置101−1で得られたセンシング画像IIRに含まれる基準反射板20−1の領域(図5の対象領域T3に相当にする領域)のレベルを平均化して、NIR信号を生成する。また、センシング装置101−2で得られたセンシング画像IRに含まれる基準反射板20−2の領域(図6の対象領域T4に相当する領域)のレベルを平均化して、R信号を生成する。ただし、このR信号のレベルは、露光時間を考慮して、上述の例の場合には、1/4になっている。
また、基準反射板20−1と基準反射板20−2の反射率を考慮して、R信号のレベルに対し、基準板反射係数(C)を乗ずる。ただし、この基準板反射係数(C)は、下記の式(2)により求められる。例えば、基準反射板20−1の反射率が、80%で、基準反射板20−2の反射率が、5%である場合には、R信号のレベルに対し、16(= 0.8 / 0.05)を乗ずることになる。
C = 反射率@基準板1 / 反射率@基準板2 ・・・(2)
ただし、式(2)において、「C」は、基準板反射係数を表している。また、「反射率@基準板1」は、基準反射板20−1の反射率を表し、「反射率@基準板2」は、基準反射板20−2の反射率を表している。
このようにして得られるR信号と、NIR信号との比(Red/NIR)を求めることで、入射される光の分光特性を把握することができる。そして、この比の逆数が、補正ゲイン(G)となる。すなわち、この補正ゲイン(G)は、下記の式(3)により求められる。つまり、反射率がフラットとなる光源が入力されたときの検査対象物1の反射光の強度を調べることで、検査対象物1の反射率分光特性を測定することが可能となる。
G = 1 / (Red@基準板2 / NIR@基準板1) × (反射率@基準板2 / 反射率@基準板1) ・・・(3)
ただし、式(3)において、「G」は、補正ゲインを表している。また、「Red@基準板2」は、センシング装置101−2が基準反射板20−2をセンシングして得られるR信号を表し、「NIR@基準板1」は、センシング装置101−1が基準反射板20−1をセンシングして得られるNIR信号を表している。さらに、「反射率@基準板2」は、基準反射板20−2の反射率を表し、「反射率@基準板1」は、基準反射板20−1の反射率を表している。
ステップS107において、指標演算装置103の算出部171は、ステップS106の処理で算出された補正ゲインを用いて、ステップS105の処理で特定された検査対象物1を含む領域のデータを補正する。
ここでは、例えば、センシング装置101−1で得られたセンシング画像IIRに含まれる検査対象物1の領域(図5の対象領域T1に相当する領域)の各画素のNIR成分と、センシング装置101−2で得られたセンシング画像IRに含まれる検査対象物1の領域(図6の対象領域T1に相当する領域)の各画素のR成分を抽出する。ただし、このR信号のレベルは、露光時間を考慮して、上述の場合には、1/4になっている。
そして、このようにして抽出された各画素のR信号とNIR信号との比(Red/NIR)に、補正ゲイン(G)を乗じることで、検査対象物1を含む領域のデータを補正することができる。補正後の値(A)は、下記の式(4)により求められる。
A = G × (Red@対象物 / NIR@対象物) ・・・(4)
ただし、式(4)において、「A」は、補正後の値を表し、「G」は、補正ゲインを表している。また、「Red@対象物」は、センシング装置101−2が検査対象物1を含む領域をセンシングして得られるR信号を表し、「NIR@対象物」は、センシング装置101−1が検査対象物1を含む領域をセンシングして得られるNIR信号を表している。
ステップS108において、指標演算装置103の算出部171は、ステップS107の処理で得られる補正後の値(A)を用いて、検査対象物1の検査指標として、植生指数を算出する。
ここでは、植生指数として、NDVI値を算出することができる。NDVI値は、上述の式(1)で求めることができるが、ステップS107の処理で得られる補正後の値(A)を用いる場合には、下記の式(5)のように表すことができる。
NDVI = (1 - A) / (1 + A) ・・・(5)
ステップS109において、指標演算装置103の算出部171は、ステップS108の処理で算出された植生指数(NDVI値)のデータを、記憶部163に保存する。
ステップS110においては、処理を終了するかどうかが判定される。ステップS110において、処理を終了しないと判定された場合、処理は、ステップS101に戻り、それ以降の処理が繰り返される。一方で、ステップS110において、処理を終了すると判定された場合、図16の検査指標の測定処理は終了される。
以上、検査指標の測定処理の流れを説明した。
なお、図16の説明では、検査指標の測定処理のうち、ステップS101乃至S102の処理が、センシング装置101−1とセンシング装置101−2により実行され、ステップS103乃至S110の処理が、指標演算装置103により実行されるとして説明したが、ステップS103乃至S110の処理は、例えば、センシング装置101など、指標演算装置103以外の他の装置が実行するようにしてもよい。また、ローカル環境としての指標演算システム10(図7)の構成ではなく、クラウド環境としての指標演算システム11(図10)の構成を採用した場合には、例えば、サーバ109が、ステップS103乃至S110の処理を実行することができる。
<5.変形例>
(基準反射板の他の例)
上述した説明では、複数の基準反射板20として、板状の形状からなる基準反射板を用いるとして説明したが、基準反射板は、板状の形状に限らず、検査対象物1に応じた特性を有する所定の領域(基準反射領域)であればよい。例えば、基準反射領域としては、1枚の板の面の領域を2分割して、一方の領域の反射率が、検査対象物1の近赤外領域(NIR)の反射率に合致するような反射率を有し、他方の領域が、検査対象物1の可視領域の赤(R)の反射率に合致するような反射率を有するようにすることができる。
また、上述した説明では、1つの波長帯(測定帯域)に対し、1つの基準反射板20のみが設けられる構成を説明したが、1つの波長帯(測定帯域)に対し、複数の基準反射板20(基準反射領域)が設けられるようにしてもよい。このようにして設けられる複数の基準反射板20(基準反射領域)は、例えば、反射率や、センシング装置101(センサ144)に対する角度や位置が、互いに異なっていてもよい。
また、図4に示したように、基準反射板20は、センシング装置101の前方に、所定の部材により固定することができるが、センシング装置101(センサ144)に対する、基準反射板20の取り付け角を可変にすることが可能な機構を設けるようにしてもよい。これにより、例えば、基準反射板20の反射具合に応じて、センシング装置101(センサ144)に対する基準反射板20の角度を調整することが可能となる。
(センシング装置が1つの場合)
また、上述した説明では、複数の基準反射板20(基準反射板20−1,20−2)に対し、複数のセンサ144(センシング装置101−1のセンサ144−1,センシング装置101−2のセンサ144−2)が設けられるとして説明したが、基準反射板20の数に応じたセンサ144を設ける必要はない。
例えば、複数の基準反射板20に対し、1つのセンサ144を設けて、この1つのセンサ144によって、検査対象物1の測定帯域ごとに、検査対象物1と基準反射板20を、時間をずらして、複数回センシングすればよい。また、時分割で行うほか、例えば、上述した図8で説明したように、センサ144が、R画素とIR画素を少なくとも含む配列パターンを有するようにすることで、1回のセンシングで、R信号とNIR信号を同時に得ることができる。
(測定装置の他の例)
上述した説明では、移動観測を行う移動測定装置50(図4等)について説明したが、測定装置としては、移動測定装置50に限らず、例えば、定点観測を行う定点測定装置など、他の測定装置を用いるようにしてもよい。図17には、測定装置の他の例として、定点観測を行う定点測定装置60と、人工衛星からの測定を行う衛星測定装置70を例示している。
図17のAに示した定点測定装置60は、固定脚61によって、検査対象物1(例えば圃場の植物)をセンシング(撮像)することが可能な位置に固定され、そこで測定された指標測定データを、ハブ104を介して指標演算装置103に出力する。指標演算装置103は、定点測定装置60から出力される指標測定データを処理することで、定点測定装置60により定点測定された検査対象物1の指標(NDVI値)を求めることができる。
図17のBに示した衛星測定装置70は、人工衛星71に搭載される。この人工衛星71において、衛星測定装置70による測定(人工衛星71からの撮像)で得られる指標測定データ(例えば衛星画像に応じた測定値)は、所定の通信経路を介して指標演算装置103に送信される。指標演算装置103は、衛星測定装置70から送信されてくる指標測定データを処理することで、人工衛星71から測定された検査対象物1の検査指標(NDVI値)を求めることができる。
なお、図7に示したローカル環境ではなく、図10に示したクラウド環境で処理を行う場合には、定点測定装置60又は衛星測定装置70からの指標測定データが、サーバ109に提供されるようにすることで、サーバ109が、指標測定データを処理して、検査対象物1の検査指標(NDVI値)を算出することになる。
また、互いに通信接続された複数のセンシング装置101(カメラ)が同期して、センシング可能(撮像可能)なマルチセンシングシステム(マルチカメラシステム)の構成において、基準反射板20を、当該マルチセンシングシステムにおける複数のセンシング装置101と同じ数だけ設ける必要はなく、例えば、任意のセンシング装置101に対してのみ、基準反射板20が設けられるような構成を採用することができる。この場合、任意のセンシング装置101で得られた指標測定データが、メタデータとして、他のセンシング装置101に送られることになる。
(他の植生指標)
また、上述した説明では、植物を検査対象物1としたときの検査指標として、正規化植生指数(NDVI値)を一例に説明したが、正規化植生指数(NDVI値)以外の他の植生指数が測定されるようにしてもよい。例えば、他の植生指数としては、比植生指数(RVI:Ratio Vegetation Index)や差植生指数(DVI:Difference Vegetation Index)などを用いることができる。
ここで、比植生指数(RVI値)は、下記の式(6)を演算することで算出される。
RVI = IR / R ・・・(6)
また、差植生指数(DVI値)は、下記の式(7)を演算することで算出される。
DVI = IR - R ・・・(7)
ただし、式(6)と、式(7)において、IRは、近赤外領域の反射率を表し、Rは、可視領域赤の反射率を表している。なお、ここでは、IRとRをパラメータとする植生指数のみを例示しているが、赤以外の他の可視領域の光の反射率などをパラメータとして用いて他の植生指数を測定することは、勿論可能である。このようなスペクトル比率は、RとIRとの組み合わせには限られるものではない。センサ144からは、RGBIRの出力として、RとIR以外のGやB等、他の波長帯域の成分が出力されてもよい。
(基準反射板以外を用いた構成)
上述した説明では、波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有する基準反射板20を複数用意し、測定帯域ごとに、検査対象物1と基準反射板20をセンシングする場合を説明したが、基準反射板20以外を用いた構成を採用するようにしてもよい。例えば、図18には、基準反射板20の代わりに、検査対象物1に対応した透過率を有する基準透過板80を用いた場合の構成を示している。
図18のAにおいて、定点測定装置60は、固定脚61によって、検査対象物1(例えば圃場の植物)をセンシングすることが可能な位置に固定されている。また、定点測定装置60の前方には、所定の部材により基準透過板80が設置されており、例えば、図18のBに示すように、植物と空とが同じ画角内に映るようにしたとき、空が映る部分に、基準透過板80が設置される。
すなわち、基準透過板80が設置される領域は、太陽光(環境光)の状態を確かめるのが目的となるため、図18のAの経路L1で示すような植物に反射した光(反射光)が入射してはならず、図18のAの経路L2で示すような光が入射する必要がある。そして、このようにして得られる指標測定データを用いて、検査対象物1の検査指標を算出することができる。ただし、基準透過板80を用いる場合には、植物等の反射光が入射してしまい、外乱となる可能性がある。一方で、基準反射板20を用いた場合には、このようなノイズの影響を受けることはない。
なお、図18においては、説明の簡略化のため、1つの基準透過板80が設けられた場合を例示したが、実際には、赤(R)に対応した領域を有する基準透過板80と、近赤外領域(NIR)に対応した領域を有する基準透過板80が、それぞれ設けられる。ただし、基準透過板80は、例えば、1枚の板の面の領域を2分割して、一方の領域を赤(R)に対応した領域とし、他方の領域を近赤外領域(NIR)に対応した領域とするなど、所定の領域(基準透過領域)であればよい。
また、図18においては、定点測定装置60により定点観測を行う場合を例示したが、移動観測を行う移動測定装置50(図4等)に、基準透過板80を設け、上空から、圃場の植物等の検査対象物1を含む領域をセンシング(空撮)するようにしてもよい。さらに、図18においては、定点測定装置60の外側、すなわち、カメラモジュールの外側に、基準透過板80を設置した構成を例示したが、当該カメラモジュールの内のレンズ等の光学系(光学要素)の一部が、基準透過板としての役割をなすように構成されるようにしてもよい。このような構成を採用することで、定点測定装置60の外側に部材を設ける必要がなくなるという効果がある。
<6.コンピュータの構成>
上述した一連の処理(図16の検査指標の測定処理のステップS104乃至S108の処理)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。
コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記憶媒体1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブル記憶媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した複数の実施の形態の全て又は一部を組み合わせた形態を採用することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えた
センシングシステム。
(2)
前記センサによるセンシングで得られる測定結果に基づいて、前記検査対象物の検査指標を算出する算出部をさらに備える
(1)に記載のセンシングシステム。
(3)
前記センサは、前記複数の波長帯に対応した複数のセンサからなる
(1)又は(2)に記載のセンシングシステム。
(4)
前記センサは、前記検査対象物を含む領域と前記基準反射領域とを同時にセンシングする
(1)乃至(3)のいずれかに記載のセンシングシステム。
(5)
前記検査対象物のセンシングの対象となる波長帯ごとに、前記センサの露光時間を制御する制御部をさらに備える
(1)乃至(4)のいずれかに記載のセンシングシステム。
(6)
前記算出部は、前記検査対象物のセンシングの対象となる波長帯ごとに得られる、前記検査対象物の測定スペクトル情報に基づいて、前記検査指標を算出する
(2)に記載のセンシングシステム。
(7)
前記算出部は、前記検査対象物のセンシングの対象となる波長帯ごとに得られる前記基準反射領域の測定スペクトル情報、及び、前記基準反射領域の反射率に基づいて、前記検査対象物の測定スペクトル情報を補正する
(6)に記載のセンシングシステム。
(8)
前記検査対象物は、植物であり、
前記検査指標は、正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
(7)に記載のセンシングシステム。
(9)
前記センサを有するセンシング装置を備える
(1)乃至(8)のいずれかに記載のセンシングシステム。
(10)
前記算出部を有する演算装置を備える
(2)に記載のセンシングシステム。
(11)
前記センサのダイナミックレンジは、前記検査対象物に対するセンシングの対象となる波長帯に対応したダイナミックレンジに設定されている
(1)乃至(10)のいずれかに記載のセンシングシステム。
(12)
前記センサは、前記複数の波長帯に対応した複数のセンサからなり、前記複数のセンサのダイナミックレンジはそれぞれ、センシングの対象となる波長帯に対応したダイナミックレンジに設定されている
(11)に記載のセンシングシステム。
(13)
前記複数のセンサのダイナミックレンジは、互いに異なる範囲に設定されている
(12)に記載のセンシングシステム。
(14)
センサを備えたセンシングシステムのセンシング方法において、
前記センサが、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングする
ステップを含むセンシング方法。
(15)
検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えた
センシング装置。
(16)
コンピュータを、
検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサによるセンシングで得られる測定結果に基づいて、前記検査対象物の検査指標を算出する算出部
として機能させるためのプログラム。
10,11 指標演算システム, 20,20−1,20−1 基準反射板, 101,101−1,101−2 センシング装置, 103 指標演算装置, 105 クライアント装置, 108 ネットワーク, 109 サーバ, 110 ストレージ, 121 測定部, 122 処理部, 141,141−1,141−2 レンズ, 142,142−1,142−2 露光部, 143 フィルタ, 143−1 NIRフィルタ, 143−2 Rフィルタ, 144,144−1,144−2 センサ, 145,141−5,145−2 信号処理部, 146 I/F部, 161 I/F部, 162 処理部, 163 記憶部, 164 表示部, 171 算出部, 172 制御部, 1000 コンピュータ, 1001 CPU

Claims (14)

  1. 検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、をセンシングするセンサと、
    前記植物のセンシングの対象となる波長帯ごとに、前記センサの露光時間を制御する制御部と、
    前記センサによるセンシングで得られる測定結果に基づいて、前記植物の検査指標を算出する算出部と
    を備え
    前記複数の基準反射領域は、それぞれが異なる反射率を有し、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応している
    センシングシステム。
  2. 前記複数の基準反射領域は、前記植物の近赤外領域の反射率に応じた第1の反射率を有する第1の基準反射領域と、前記植物の可視領域の反射率に応じた第2の反射率を有する第2の基準反射領域を含み、前記植物と同一の画角内に存在している
    請求項1に記載のセンシングシステム。
  3. 前記センサは、前記複数の波長帯に対応した複数のセンサからなる
    請求項1又は2に記載のセンシングシステム。
  4. 前記センサは、前記植物を含む領域と前記基準反射領域とを同時にセンシングする
    請求項1乃至3のいずれかに記載のセンシングシステム。
  5. 前記算出部は、前記植物のセンシングの対象となる波長帯ごとに得られる、前記植物の測定スペクトル情報に基づいて、前記検査指標を算出する
    請求項1に記載のセンシングシステム。
  6. 前記算出部は、前記植物のセンシングの対象となる波長帯ごとに得られる前記基準反射領域の測定スペクトル情報、及び、前記基準反射領域の反射率に基づいて、前記植物の測定スペクトル情報を補正する
    請求項5に記載のセンシングシステム。
  7. 前記検査指標は、正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
    請求項1に記載のセンシングシステム。
  8. 前記センサを有するセンシング装置を備える
    請求項1乃至7のいずれかに記載のセンシングシステム。
  9. 前記算出部を有する演算装置を備える
    請求項1に記載のセンシングシステム。
  10. 前記センサのダイナミックレンジは、前記植物に対するセンシングの対象となる波長帯に対応したダイナミックレンジに設定されている
    請求項1乃至9のいずれかに記載のセンシングシステム。
  11. 前記センサは、前記複数の波長帯に対応した複数のセンサからなり、前記複数のセンサのダイナミックレンジはそれぞれ、センシングの対象となる波長帯に対応したダイナミックレンジに設定されている
    請求項10に記載のセンシングシステム。
  12. 前記複数のセンサのダイナミックレンジは、互いに異なる範囲に設定されている
    請求項11に記載のセンシングシステム。
  13. センサを備えたセンシングシステムのセンシング方法において、
    前記センサが、検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、をセンシングする
    ステップを含み、
    前記複数の基準反射領域は、それぞれが異なる反射率を有し、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応している
    センシング方法。
  14. 検査対象物である植物に応じた特性を有する複数の基準反射領域と、前記植物を含む領域と、をセンシングするセンサを備え
    前記複数の基準反射領域は、それぞれが異なる反射率を有し、前記植物に対するセンシングの対象となる近赤外領域と可視領域を含む複数の波長帯に対応している
    センシング装置。
JP2018523889A 2016-06-22 2017-06-12 センシングシステム、センシング方法、及び、センシング装置 Active JP6933211B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016123596 2016-06-22
JP2016123596 2016-06-22
PCT/JP2017/021607 WO2017221756A1 (ja) 2016-06-22 2017-06-12 センシングシステム、センシング方法、及び、センシング装置

Publications (2)

Publication Number Publication Date
JPWO2017221756A1 JPWO2017221756A1 (ja) 2019-04-18
JP6933211B2 true JP6933211B2 (ja) 2021-09-08

Family

ID=60784695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523889A Active JP6933211B2 (ja) 2016-06-22 2017-06-12 センシングシステム、センシング方法、及び、センシング装置

Country Status (5)

Country Link
US (1) US11181470B2 (ja)
EP (1) EP3477279A4 (ja)
JP (1) JP6933211B2 (ja)
CN (1) CN109313125B (ja)
WO (1) WO2017221756A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909751B2 (ja) * 2018-03-30 2021-07-28 株式会社フジタ 無人飛行機及び相対反射率の算出方法
JP6973829B2 (ja) * 2018-07-23 2021-12-01 株式会社ナイルワークス 圃場撮影用カメラ
JP6690106B1 (ja) * 2019-03-26 2020-04-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、撮像システム、及び移動体
US11068701B2 (en) * 2019-06-13 2021-07-20 XMotors.ai Inc. Apparatus and method for vehicle driver recognition and applications of same
GB201917600D0 (en) * 2019-12-02 2020-01-15 Univ Of Essex Enterprises Limited Improved reflectance measurement

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650558B2 (ja) * 1999-11-09 2005-05-18 株式会社日立製作所 反射率測定装置
JP5020444B2 (ja) 2001-06-29 2012-09-05 独立行政法人農業・食品産業技術総合研究機構 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP2005062095A (ja) 2003-08-19 2005-03-10 Minolta Co Ltd 反射光測定装置及び反射光測定方法
JP4798354B2 (ja) * 2006-02-02 2011-10-19 凸版印刷株式会社 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
AU2009226465B2 (en) * 2008-03-21 2011-11-17 Ito En, Ltd. Plucking propriety assessment method, plucking propriety assessment apparatus and plucking propriety assessment system for tea leaf, and computer-usable medium.
JP5224906B2 (ja) * 2008-05-23 2013-07-03 株式会社Ihi 植生検出装置および方法
JP5102718B2 (ja) 2008-08-13 2012-12-19 株式会社Ihi 植生検出装置および方法
CN101382488B (zh) * 2008-10-14 2010-09-29 江苏吟春碧芽茶叶研究所有限公司 利用可见-近红外漫反射光谱技术检测茶鲜叶氮含量的方法
BRPI1010727A2 (pt) * 2009-06-11 2016-03-15 Pa Llc índices de vegetação para medir densidade e crescimento de microcultura de múltiplas camadas.
CN201766649U (zh) * 2010-08-17 2011-03-16 原相科技股份有限公司 感测装置及其影像感测系统
US20150206255A1 (en) * 2011-05-13 2015-07-23 HydroBio, Inc Method and system to prescribe variable seeding density across a cultivated field using remotely sensed data
US8902413B2 (en) * 2012-02-21 2014-12-02 Trimble Navigation Limited Cell phone NDVI sensor
JPWO2013161664A1 (ja) 2012-04-24 2015-12-24 富士フイルム株式会社 呈色解析装置
JP5930185B2 (ja) * 2012-04-27 2016-06-08 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
US9488630B2 (en) * 2013-11-08 2016-11-08 Dow Agrosciences Llc Integrated remote aerial sensing system
CN103674855B (zh) * 2013-12-13 2017-05-17 南京农业大学 一种用于作物生长信息监测的光路系统
CN103970996A (zh) * 2014-05-04 2014-08-06 江苏优图空间信息科技有限公司 一种建立通用型植被指数模型的方法
EP3171327A1 (en) * 2014-07-16 2017-05-24 Ricoh Company, Ltd. Information processing device, method for generating control signal, information processing system, and program
CN106687877A (zh) * 2014-07-16 2017-05-17 株式会社理光 系统,机械,控制方法和程序
JP6750621B2 (ja) * 2015-06-26 2020-09-02 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
WO2017010258A1 (ja) * 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
US20180188160A1 (en) * 2015-07-10 2018-07-05 Sony Corporation Inspection apparatus, inspection method, and program
CN105352895B (zh) * 2015-11-02 2018-04-06 北京理工大学 高光谱遥感数据植被信息提取方法
CN105445214B (zh) * 2015-11-27 2018-02-13 安徽科技学院 一种农业工程遥感监测方法
WO2017094559A1 (ja) * 2015-12-04 2017-06-08 コニカミノルタ株式会社 反射特性測定システム

Also Published As

Publication number Publication date
US11181470B2 (en) 2021-11-23
CN109313125B (zh) 2022-05-27
US20190285541A1 (en) 2019-09-19
WO2017221756A1 (ja) 2017-12-28
EP3477279A1 (en) 2019-05-01
EP3477279A4 (en) 2019-05-22
CN109313125A (zh) 2019-02-05
JPWO2017221756A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP6933211B2 (ja) センシングシステム、センシング方法、及び、センシング装置
JP6750621B2 (ja) 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
JP6863279B2 (ja) 検査装置、検査方法、及び、プログラム
JP6863280B2 (ja) 検査装置、検査方法、及び、プログラム
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
US10684166B2 (en) Information processing device, information processing method, and program
JP2007171033A (ja) 葉面積指数の間接測定方法および間接測定システム
US10600162B2 (en) Method and system to compensate for bidirectional reflectance distribution function (BRDF)
JP2008136411A (ja) リモートセンシングにおける補正方法
JP6507927B2 (ja) 植物生育指標測定装置、該方法および該プログラム
JP6796789B2 (ja) 映像撮影装置
JP5145716B2 (ja) 作物情報を算出するリモートセンシングにおける検量線の作成方法
JPWO2019208537A1 (ja) 情報処理装置
Svensgaard et al. Can reproducible comparisons of cereal genotypes be generated in field experiments based on UAV imagery using RGB cameras?
WO2019026619A1 (ja) 画像処理装置、画像処理方法、並びにプログラム
Latif et al. Mapping wheat response to variations in N, P, Zn, and irrigation using an unmanned aerial vehicle
WO2016171007A1 (ja) 検査装置および検査方法、並びにプログラム
CN112513874A (zh) 作物生长状况评估方法和装置
JPWO2016098353A1 (ja) 画像情報処理装置、画像情報処理システム、画像情報処理方法、及び、画像情報処理プログラム
JP4904377B2 (ja) ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
AU2016290604A1 (en) Method and system for transforming spectral images
Minařík et al. Rapid radiometric calibration of multiple camera array using in-situ data for uav multispectral photogrammetry
JP2020091256A (ja) 処理装置、撮像装置、処理方法、およびプログラム
Yang et al. Practical methods for aerial image acquisition and reflectance conversion using consumer-grade cameras on manned and unmanned aircraft
WO2020257252A1 (en) Enhanced measurement of photosynthetically active radiation (par) and image conversion therefor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R151 Written notification of patent or utility model registration

Ref document number: 6933211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151