JP6768203B2 - 検査装置および検査方法、並びにプログラム - Google Patents

検査装置および検査方法、並びにプログラム Download PDF

Info

Publication number
JP6768203B2
JP6768203B2 JP2017514067A JP2017514067A JP6768203B2 JP 6768203 B2 JP6768203 B2 JP 6768203B2 JP 2017514067 A JP2017514067 A JP 2017514067A JP 2017514067 A JP2017514067 A JP 2017514067A JP 6768203 B2 JP6768203 B2 JP 6768203B2
Authority
JP
Japan
Prior art keywords
inspection
angle
sensing
sensing data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514067A
Other languages
English (en)
Other versions
JPWO2016171007A1 (ja
Inventor
高嶋 昌利
昌利 高嶋
小川 哲
哲 小川
村上 芳弘
芳弘 村上
松井 啓
啓 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016171007A1 publication Critical patent/JPWO2016171007A1/ja
Application granted granted Critical
Publication of JP6768203B2 publication Critical patent/JP6768203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098Plants or trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Botany (AREA)
  • Quality & Reliability (AREA)
  • Wood Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Environmental Sciences (AREA)
  • Forests & Forestry (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Ecology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Description

本開示は、検査装置および検査方法、並びにプログラムに関し、特に、より正確な検査結果を得ることができるようにした検査装置および検査方法、並びにプログラムに関する。
従来、ある場所に生育している植物の状態や活性度などの植生を検査する検査装置が知られている(例えば、特許文献1参照)。
特開2003−9664号公報
しかしながら、このような検査装置では、正確な検査結果を得ることが困難であった。
本開示は、このような状況に鑑みてなされたものであり、より正確な検査結果を得ることができるようにするものである。
本開示の一側面の検査装置は、検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出する算出処理部を備え、前記算出処理部は、前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を、前記植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
本開示の一側面の検査方法は、検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出することを含み、前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を、前記植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
本開示の一側面のプログラムは、検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出する算出処理部として、コンピュータを機能させ、前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を、前記植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
本開示の一側面においては、検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて検査対象物を検査するための検査値が算出される。そして、検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理が、植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行われることにより、植物の生える方向に応じてセンシングデータに含まれる角度に依存した成分を低減させる。
本開示の一側面によれば、より正確な検査結果を得ることができる。
本技術を適用した植生検査システムの一実施の形態の構成例を示す図である。 芝目の角度、撮像方向の角度、および、照射方向の角度の定義について説明する図である。 角度依存の影響を排除した状態を説明する図である。 第1の検査条件について説明する図である。 第2の検査条件について説明する図である。 第3の検査条件について説明する図である。 第4の検査条件について説明する図である。 第5の検査条件について説明する図である。 第6の検査条件について説明する図である。 第7の検査条件について説明する図である。 第8の検査条件について説明する図である。 第9の検査条件について説明する図である。 第10の検査条件について説明する図である。 植生検査装置の構成例を示すブロック図である。 演算処理部において行われる処理について説明する図である。 植生指数を求める処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<植生検査システムの一実施の形態>
図1を参照して、本技術を適用した植生検査システムの一実施の形態の構成例について説明する。
図1に示すように、植生検査システム11は、2台の撮像装置12−1および12−2、並びに、植生検査装置13を備えて構成される。そして、植生検査システム11は、例えば、フィールド14で育成されている芝や、稲、サトウキビなどの様々な植物を検査対象物として、植物の植生を検査する。また、植生検査システム11により植物の植生を検査する際には、太陽からの光がフィールド14に照射されたり、その光が雲により遮られたりする。
撮像装置12−1および12−2は、フィールド14に対して所定の配置条件に従って固定され、有線または無線によって構築される通信ネットワークを介して植生検査装置13と通信を行う。そして、撮像装置12−1および12−2は、植生検査装置13による制御に従ってフィールド14をそれぞれ撮像し、その結果得られるフィールド14の画像を植生検査装置13に送信する。
例えば、撮像装置12−1および12−2は、フィールド14の中央を通る直線上におけるフィールド14の中央から同一の距離、かつ、フィールド14から同一の高さであって、フィールド14の中央に向かって同一の仰角となる配置条件で固定される。つまり、図1に示すように、撮像装置12−1および12−2は、互いに対向する方位を向き、平坦なフィールド14の中央における垂直線に対して、撮像装置12−1および12−2それぞれの光軸の成す角度が等しくなるように固定される。
植生検査装置13は、撮像装置12−1および12−2がフィールド14を撮像するタイミングを制御する。そして、植生検査装置13は、撮像装置12−1および12−2により撮像されたフィールド14の画像に基づいて、フィールド14に育成されている植物の植生を検査するための植生指数を求める。なお、植生検査装置13の詳細な構成については、図14を参照して後述する。
このように構成される植生検査システム11は、フィールド14で育成されている植物が生えている方向、撮像装置12−1および12−2がフィールド14を撮像する方向、および、太陽からフィールド14に照射される光の方向について、それぞれの角度に依存する影響を排除(低減)した植生指数を求めることができる。
例えば、フィールド14に芝が育成されている場合、その芝の芝刈りによって、芝の生える方向(以下、芝目と称する)が大きく変化するため、常に同じ条件で植生を検査することは困難である。そこで、以下では、サッカースタジアムのような芝が育成されているフィールド14における芝を、植生検査システム11の検査の対象として説明を行う。もちろん、植生検査システム11では、上述した稲やサトウキビの他、様々な植物を検査の対象とすることができる。
例えば、図1におけるフィールド14のハッチングの方向は、フィールド14に育成されている芝の芝目を表しており、植生検査システム11は、所定のエリアごとに芝目が異なる方向となるように育成された芝について、その芝目の角度の影響を排除して植生を検査することができる。なお、以下適宜、撮像装置12−1および12−2それぞれを区別する必要がない場合、単に、撮像装置12と称する。
<方位角および仰角の定義>
図2を参照して、フィールド14における芝目の角度、撮像装置12による撮像方向の角度、および、フィールド14への光の照射方向の角度の定義について説明する。
例えば、図2のAに示すように、フィールド14における芝目の角度Pは、所定の基準方位に対する芝目の方位角θ、および、鉛直方向の上方向に対する芝目の仰角φに基づいて定義される。即ち、芝目の方位角θがaであり、芝目の仰角φがbである場合、芝目の角度P(a,b)と定義される。なお、芝目が鉛直方向の上方向を向いている場合には、芝目の角度P(0,0)となる。
また、図2のBに示すように、撮像装置12による撮像方向の角度Cは、所定の基準方位に対する撮像方向の方位角θ、および、鉛直方向の下方向に対する撮像方向の仰角φに基づいて定義される。即ち、撮像方向の方位角θがcであり、撮像方向の仰角φがdである場合、撮像方向の角度C(c,d)と定義される。なお、撮像方向が鉛直方向の下方向を向いている場合には、撮像方向の角度C(0,0)となる。
同様に、図2のCに示すように、フィールド14への光の照射方向の角度Lは、所定の基準方位に対する照射方向の方位角θ、および、鉛直方向の下方向に対する照射方向の仰角φに基づいて定義される。即ち、照射方向の方位角θがeであり、照射方向の仰角φがfである場合、照射方向の角度L(e,f)と定義される。なお、照射方向が鉛直方向の下方向を向いている場合には、照射方向の角度L(0,0)となる。
そして、図3に示すように、芝目の角度P(0,0)、撮像方向の角度C(0,0)、および照射方向の角度L(0,0)の全てが満たされるとき、これらの角度に依存する影響を排除した検査を行うことができる。
しかしながら、芝目の角度P(0,0)、撮像方向の角度C(0,0)、および照射方向の角度L(0,0)の全てを満たすように検査を行うことは困難である。そこで、植生検査システム11では、図4乃至図13を参照して説明するような検査条件により、これらの角度に依存する影響を排除することができる。即ち、芝目、撮像方向、照射方向の角度は、植生検査装置13によるフィールド14の検査に関する角度であって、撮像装置12により撮像される画像には、これらの角度に依存する影響が表れることになる。従って、植生検査システム11は、このような検査に関する角度に依存した成分(例えば、方位角θ、仰角φ)が相反するような検査条件で撮像された画像を用いて植生検査を行う。
<角度依存の影響を排除する検査条件>
図4を参照して、角度依存の影響を排除する第1の検査条件について説明する。
図4に示すように、芝目の角度P(0,0)、かつ、撮像方向の角度C(0,0)であるとき、照射方向が角度L(e,f)および角度L(−e,f)となる2回の撮像を行うことにより、角度依存の影響を排除することができる。即ち、第1の検査条件では、芝目が鉛直方向の上向きであり、その真上から鉛直方向の下向きの撮像が、光の照射方向が鉛直方向に対して対称な角度(方位角が逆向き)となる2回のタイミングで行われる。
このような検査条件で撮像された2枚の画像を加算平均することで、照射方向の角度の違いがキャンセルされ(照射方向が角度L(0,0)と同等となり)、照射方向の角度に依存する影響を排除することができる。
図5を参照して、角度依存の影響を排除する第2の検査条件について説明する。
図5に示すように、芝目の角度P(0,0)、かつ、照射方向の角度L(0,0)であるとき、撮像方向が角度C(c,d)および角度C(−c,d)となる2方向から撮像を行うことにより、角度依存の影響を排除することができる。即ち、第2の検査条件では、芝目が鉛直方向の上向きであり、その真上から鉛直方向の下向きに光が照射されるタイミングで、撮像方向が鉛直方向に対して対称な角度となる2方向から撮像が行われる。
このような第2の検査条件で撮像された2枚の画像を加算平均することで、撮像方向の角度の違いがキャンセルされ(撮像方向が角度C(0,0)と同等となり)、撮像方向の角度に依存する影響を排除することができる。
図6を参照して、角度依存の影響を排除する第3の検査条件について説明する。
図6に示すように、芝目の角度P(0,0)に対し、照射方向の角度L(e,f)かつ撮像方向の角度C(c,d)で1回目の撮像を行い、照射方向の角度L(−e,f)かつ撮像方向の角度C(−c,d)で2回目の撮像を行うことにより、角度依存の影響を排除することができる。即ち、第3の検査条件では、芝目が鉛直方向の上向きであり、光の照射方向が鉛直方向に対して対称な角度となる2回のタイミングそれぞれにおいて、撮像方向が鉛直方向に対して対称な角度となる2方向から撮像が行われる。
このような第3の検査条件で撮像された2枚の画像を加算平均することで、撮像方向の角度の違い、および、照射方向の角度の違いがキャンセルされ(撮像方向が角度C(0,0)と同等となり、照射方向が角度L(0,0)と同等となり)、撮像方向および照射方向の角度に依存する影響を排除することができる。
図7を参照して、角度依存の影響を排除する第4の検査条件について説明する。
図7に示すように、照射方向の角度L(0,0)、かつ、撮像方向の角度C(0,0)であるとき、芝目が角度P(a,b)および角度P(−a,b)である2カ所のエリアを撮像することにより、角度依存の影響を排除することができる。即ち、第4の検査条件では、鉛直方向の下向きに光が照射されるタイミングで、鉛直方向の下向きの撮像が、芝目が鉛直方向の上向きに対して対称な角度となる2カ所のエリアに対して行われる。
このような第4の検査条件で撮像された2枚の画像を加算平均することで、芝目の角度の違いがキャンセルされ(芝目が角度P(0,0)と同等となり)、芝目の角度に依存する影響を排除することができる。例えば、後述するように、1枚の画像に芝目の角度の成分が相反する2カ所のエリアが含まれる場合、各エリアのセンシング値をセンシングデータとして、2つのエリアのセンシング値を加算平均することによって、芝目の角度に依存する影響を低減することができる。
図8を参照して、角度依存の影響を排除する第5の検査条件について説明する。
図8に示すように、照射方向の角度L(0,0)であるとき、芝目の角度P(a,b)であるエリアを撮像方向の角度C(c,d)で撮像し、芝目の角度P(−a,b)であるエリアを撮像方向の角度C(−c,d)で撮像することにより、角度依存の影響を排除することができる。即ち、第5の検査条件では、鉛直方向の下向きに光が照射されるタイミングで、芝目が鉛直方向の上向きに対して対称な角度となる2カ所のエリアそれぞれに対し、鉛直方向の下向きに対して対称な角度となる2方向から撮像が行われる。
このような第5の検査条件で撮像された2枚の画像を加算平均することで、芝目の角度の違い、および、撮像方向の角度の違いがキャンセルされ(芝目が角度P(0,0)と同等となり、撮像方向が角度C(0,0)と同等となり)、芝目および撮像方向の角度に依存する影響を排除することができる。
図9を参照して、角度依存の影響を排除する第6の検査条件について説明する。
図9に示すように、芝目が角度P(a,b)となるエリアを、撮像方向の角度C(c,d)から、照射方向が角度L(e,f)となるタイミングで1回目の撮像を行い、かつ、芝目が角度P(−a,b)となるエリアを、撮像方向の角度C(−c,d)から、照射方向が角度L(−e,f)となるタイミングで2回目の撮像を行うことにより、角度依存の影響を排除することができる。即ち、第6の検査条件では、芝目が鉛直方向の上向きに対して対称な角度となる2カ所のエリアそれぞれに対し、鉛直方向の下向きに対して対称な角度となる2方向からの撮像が、光の照射方向が鉛直方向に対して対称な角度となる2回のタイミングで行われる。
このような第6の検査条件で撮像された2枚の画像を加算平均することで、芝目の角度の違い、撮像方向の角度の違い、および、照射方向の角度の違いがキャンセルされ(芝目が角度P(0,0)と同等となり、撮像方向が角度C(0,0)と同等となり、照射方向が角度L(0,0)と同等となり)、芝目、撮像方向、および照射方向の角度に依存する影響を排除することができる。
ところで、図4乃至図9では、芝に照射される光の照射方向の角度に依存する影響を受ける状況、即ち、昼間に太陽が出ている状態における状況について説明した。但し、太陽の位置が真上に来る場所は限られており、ほとんどの状況では、東西の組み合わせだけで照射方向の角度に依存する影響を完全に排除することは困難であると想定される。そこで、照射方向の角度に依存する影響を排除するために、太陽からの光が直接的に照射されない状態、つまり、曇りや、雨、日の出前、日の入り後などにおける拡散光の状態を活用することができる。
つまり、フィールド14に直接的に太陽からの光が照射されないような、天候が曇りである場合には、照射方向の角度に依存する影響については考慮する必要がない(照射方向が角度L(0,0)と同等としてよい)ことになる。以下、角度依存の影響を排除する第7乃至第10の検査条件では、天候が曇りである時に撮像が行われる。
図10を参照して、角度依存の影響を排除する第7の検査条件について説明する。
図10に示すように、芝目の角度P(0,0)であるとき、撮像方向の角度C(0,0)で1回の撮像を行うことにより、角度依存の影響を排除することができる。即ち、第7の検査条件では、芝目が鉛直方向の上向きであり、その真上から鉛直方向の下向きの撮像が行われる。つまり、この場合、1回の撮像で得られる画像で、角度依存の影響を排除することができる。
図11を参照して、角度依存の影響を排除する第8の検査条件について説明する。
図11に示すように、芝目の角度P(0,0)であるとき、撮像方向が角度C(c,d)および角度C(−c,d)となる2方向から撮像を行うことにより、角度依存の影響を排除することができる。即ち、第8の検査条件では、芝目が鉛直方向の上向きであり、撮像方向が鉛直方向に対して対称な角度となる2方向から撮像が行われる。
このような第8の検査条件で撮像された2枚の画像を加算平均することで、撮像方向の角度の違いがキャンセルされ(撮像方向が角度C(0,0)と同等となり)、撮像方向の角度に依存する影響を排除することができる。
図12を参照して、角度依存の影響を排除する第9の検査条件について説明する。
図12に示すように、撮像方向の角度C(0,0)であるとき、芝目が角度P(a,b)および角度P(−a,b)である2カ所のエリアを撮像することにより、角度依存の影響を排除することができる。即ち、第9の検査条件では、鉛直方向の下向きの撮像が、芝目が鉛直方向の上向きに対して対称な角度となる2カ所のエリアに対して行われる。
このような第9の検査条件で撮像された2枚の画像を加算平均することで、芝目の角度の違いがキャンセルされ(芝目が角度P(0,0)と同等となり)、芝目の角度に依存する影響を排除することができる。
図13を参照して、角度依存の影響を排除する第10の検査条件について説明する。
図13に示すように、芝目の角度P(a,b)であるエリアを撮像方向の角度C(c,d)で撮像し、芝目の角度P(−a,b)であるエリアを撮像方向の角度C(−c,d)で撮像することにより、角度依存の影響を排除することができる。即ち、第10の検査条件では、芝目が鉛直方向の上向きに対して対称な角度となる2カ所のエリアそれぞれに対し、鉛直方向の下向きに対して対称な角度となる2方向から撮像が行われる。
このような第10の検査条件で撮像された2枚の画像を加算平均することで、芝目の角度の違い、および、撮像方向の角度の違いがキャンセルされ(芝目が角度P(0,0)と同等となり、撮像方向が角度C(0,0)と同等となり)、芝目および撮像方向の角度に依存する影響を排除することができる。
<植生検査装置の構成例>
図14は、植生検査装置13の構成例を示すブロック図である。
図14に示すように、植生検査装置13は、通信部21、データサーバ22、天候情報取得部23、撮像制御部24、および演算処理部25を備えて構成され、植生検査装置13には、撮像装置12−1および12−2が接続される。ここで、撮像装置12−1および12−2は、例えば、可視光帯域の赤色、緑色、および青色それぞれの光を検出するための検出素子に加えて、可視光帯域外の近赤外(NIR:Near-infrared)を検出するための検出素子が二次元的に配置されたセンサを備えて構成され、フィールド14からの光をセンシングするセンシング装置として用いられる。即ち、撮像装置12−1および12−2は、異なる波長帯域の光を、それぞれの波長帯域ごとに検出する画素(検出素子)が二次元的に配置された撮像センサを有し、その撮像センサによって撮像される各波長帯域の画像(センシング値を含む画像データ)は、センシングにより得られるセンシングデータの一例である。
通信部21は、撮像装置12−1および12−2との通信を行う。例えば、通信部21は、撮像装置12−1および12−2で撮像された画像を構成する画像データ(例えば、R,G,B,IRの画素値からなるRawデータ)を受信して、データサーバ22に供給する。また、通信部21は、撮像装置12−1および12−2に対して撮像を指示する撮像コマンドが撮像制御部24から供給されると、その撮像コマンドを撮像装置12−1および12−2に送信する。
データサーバ22は、通信部21から供給される画像データを蓄積し、演算処理部25からの要求に応じて、演算処理部25に画像データを供給する。また、データサーバ22は、撮像装置12−1および12−2において画像が撮像されたときの天候情報を、天候情報取得部23を介して取得し、その画像に対応する画像データに対して紐付して、記憶する。
天候情報取得部23は、例えば、フィールド14に設置された観測器(図示せず)により観測される天候情報や、インターネットなどの外部のネットワークを介して配信されるフィールド14の近隣における天候情報などを取得し、随時、撮像制御部24に供給する。また、天候情報取得部23は、データサーバ22に蓄積された画像データの撮像時刻における天候情報を、データサーバ22に供給する。
撮像制御部24は、内蔵するタイマーにより計時される時間情報(例えば、日付、時、分、秒を含むデータ)、または、天候情報取得部23から供給される天候情報に従い、通信部21を介して、撮像装置12−1および12−2に対して撮像を指示する撮像コマンドを送信する。これにより、撮像制御部24は、撮像装置12−1および12−2がフィールド14を撮像するタイミングを制御する。
例えば、撮像制御部24は、内蔵するタイマーにより計時される時間情報に従って、図5、図7、および図8を参照して上述したように、フィールド14への光の照射方向が角度L(0,0)となったタイミングで、撮像コマンドを送信する。また、撮像制御部24は、内蔵するタイマーにより計時される時間情報に従って、図4、図6、および図9を参照して上述したように、フィールド14への光の照射方向が角度L(e,f)および角度L(−e,f)となったタイミングで、撮像コマンドを送信する。また、撮像制御部24は、天候情報取得部23から供給される天候情報に従い、図10乃至図13を参照して上述したように、フィールド14の天候が曇りとなったときに撮像コマンドを送信する。
演算処理部25は、データサーバ22に蓄積されている画像データを読み出し、撮像装置12−1および12−2により撮像された一組の画像を用いて、角度依存の影響を排除したフィールド14の植生指数を算出する。即ち、演算処理部25は、図示するように、植生指数算出部31、レンズ歪補正部32、加算処理部33、キャンセル処理部34、および統合処理部35を備えて構成される。
植生指数算出部31は、撮像装置12−1および12−2により撮像された一組の画像の画像データがデータサーバ22に蓄積されると、それらの画像データをデータサーバ22から読み出して、植生を検査するための検査値として用いる植生指数を算出する。
例えば、植生検査システム11において、植生の分布状況や活性度を示す指標である正規化植生指数NDVI(Normalized Difference Vegetation Index)を用いる場合、次の式(1)を演算することによって正規化植生指数NDVIを算出することができる。式(1)に示すように、正規化植生指数NDVIは、可視域赤の成分を表す画素値R、および、近赤外域の成分を表す画素値IRを用いて求められる。
Figure 0006768203
従って、植生指数算出部31は、撮像装置12−1および12−2それぞれがフィールド14を撮像することにより得られた画像データの画素値Rと画素値IRとを用いて、それぞれの画像を構成する画素ごとに正規化植生指数NDVIを求める。そして、植生指数算出部31は、撮像装置12−1および12−2により撮像された2枚の画像の画素値に基づいて、2枚のNDVI画像を生成する。
レンズ歪補正部32は、植生指数算出部31により生成される2枚のNDVI画像のレンズ歪を補正する。
即ち、図1に示したように、フィールド14に対して所定の仰角となる撮像方向から撮像された画像には、フィールド14の全体を撮像するために、画角の広い広角レンズ(例えば、魚眼レンズ)を撮像装置12−1および12−2に装着していたとき、レンズ歪が発生している。従って、そのような画像に基づいて生成されるNDVI画像にも同様のレンズ歪が発生しており、例えば、フィールド14における直線が、NDVI画像の周辺部分においては曲線に歪んでいる。従って、レンズ歪補正部32は、フィールド14における直線が、NDVI画像の周辺部分においても直線となるように、NDVI画像に発生しているレンズ歪を補正する。
加算処理部33は、レンズ歪補正部32によりレンズ歪が補正された2枚のNDVI画像を加算平均する処理を行うことで、撮像方向の角度の違いがキャンセルされた1枚のNDVI画像を生成する。
キャンセル処理部34には、フィールド14に育成されている芝の芝目により区別されるエリアごとの芝の方位角の情報(例えば、どのエリアが、どのような芝目であるかを示す情報)が事前に登録されている。そして、キャンセル処理部34は、加算処理部33により生成されたNDVI画像において、芝目の方位角が互いに逆向きとなる二次元のセンシングデータの中の一部のエリア内の画素値どうしを加算することにより、芝目の角度の違いをキャンセルする。
統合処理部35は、キャンセル処理部34により芝目の角度の違いがキャンセルされた正規化植生指数NDVIについて、キャンセル処理部34において加算されたエリアのデータを平均化して、芝目により区別されるエリア単位に分割し、統合する処理を行う。
このように構成される植生検査装置13により、芝目の角度、撮像方向の角度、および照射方向の角度に依存した影響を排除した植生情報(NDVI画像)を得ることができる。
図15を参照して、例えば、図13に示した第10の検査条件のときに、演算処理部25において行われる処理について説明する。
例えば、フィールド14には、芝目の角度P(a,b)が異なる4つのエリアが交互に配置されるように、芝が育成されている。即ち、芝目が角度P(a1,b1)であるエリア、芝目が角度P(a2,b2)であるエリア、芝目が角度P(a3,b3)であるエリア、および、芝目が角度P(a4,b4)であるエリアが、縦×横が2×2となるように配置され、これらの4つのエリアが、フィールド14の全体に敷き詰められている。
そして、天候が曇りであるときに、撮像装置12−1により角度C(c,d)の撮像方向からフィールド14が撮像され、撮像装置12−2により角度C(−c,d)の撮像方向からフィールド14が撮像される。
このとき、撮像装置12−1の撮像方向の角度C(c,d)に応じて、撮像装置12−1により撮像された画像から植生指数算出部31により生成されるNDVI画像P1には、レンズ歪が発生している。同様に、撮像装置12−2の撮像方向の角度C(−c,d)に応じて、撮像装置12−2により撮像された画像から植生指数算出部31により生成されるNDVI画像P2には、レンズ歪が発生している。
従って、レンズ歪補正部32は、NDVI画像P1のレンズ歪を補正したNDVI画像P3を生成し、NDVI画像P2のレンズ歪を補正したNDVI画像P4を生成する。ここで、NDVI画像P3およびNDVI画像P4に升目状に図示されている各矩形は、芝目の角度P(a,b)に従って区別される各エリアを表しており、それぞれの矩形に記されている矢印は、芝目の角度P(a,b)を示している。
このとき、NDVI画像P3を構成する各画素の正規化植生指数NDVIには、芝目の角度P(a,b)に依存した成分、および、撮像方向の角度C(c,d)に依存した成分が含まれている。同様に、NDVI画像P4を構成する各画素の正規化植生指数NDVIには、芝目の角度P(a,b)に依存した成分、および、撮像方向の角度C(−c,d)に依存した成分が含まれている。
そして、加算処理部33が、NDVI画像P3およびNDVI画像P4を加算平均化する処理を行うことで、撮像方向の角度C(c,d)に依存した成分と、撮像方向の角度C(−c,d)に依存した成分とがキャンセルされたNDVI画像P5が生成される。即ち、NDVI画像P5は、撮像方向の角度C(0,0)と同等となる。なお、天候が曇りであるときに撮像が行われていることより、照射方向は角度L(0,0)である。
次に、キャンセル処理部34は、NDVI画像P5に含まれている芝目の角度P(a,b)に依存した成分をキャンセルする処理を行う。
例えば、芝目の角度P(a1,b1)と芝目の角度P(a3,b3)とは、方位角θが互いに逆方向であり、芝目の角度P(a2,b2)と芝目の角度P(a4,b4)とは、方位角θが互いに逆方向である。従って、キャンセル処理部34は、芝目が角度P(a1,b1)であるエリアの正規化植生指数NDVI、芝目が角度P(a2,b2)であるエリアの正規化植生指数NDVI、芝目が角度P(a3,b3)であるエリアの正規化植生指数NDVI、および、芝目が角度P(a4,b4)であるエリアの正規化植生指数NDVIを加算することで、芝目の角度P(a,b)に依存した成分をキャンセルすることができる。
このとき、キャンセル処理部34は、NDVI画像P5の右側に示すように、加算する対象とする4つのエリアのうち、2つのエリアが重なるように、正規化植生指数NDVIを加算する処理を行う。
これにより、正規化植生指数NDVIから角度に依存した成分が全てキャンセルされ、芝目の角度P(0,0)、撮像方向の角度C(0,0)、および照射方向の角度L(0,0)と同等の正規化植生指数NDVIが得られる。
その後、統合処理部35は、4つのエリアのデータを平均化して、芝目の角度P(a,b)ごとのエリア単位の情報に分割し、統合する処理を行うことで、角度依存が排除されたフィールド14全体の正規化植生指数NDVIからなるNDVI画像P6を出力する。即ち、統合処理部35は、NDVI画像P6の右側に示すように、あるエリアを中心としたときに、そのエリアを右下に含む4つのエリアの平均と、そのエリアを左下に含む4つのエリアの平均と、そのエリアを右上に含む4つのエリアの平均と、そのエリアを左上に含む4つのエリアの平均とを加算することにより平均化し、そのエリアの正規化植生指数NDVIとする。このような平均化を、統合処理部35は、全てのエリアに対して行う。
これにより、統合処理部35は、角度依存が排除されたフィールド14全体の正規化植生指数NDVIからなるNDVI画像P6を出力することができる。なお、演算処理部25は、可視域赤の成分を表す画素値R、可視域緑の成分を表す画素値G、可視域青の成分を表す画素値B、および、近赤外域の成分を表す画素値IRを用いて、正規化植生指数NDVI以外の植生指数(例えば、RVI(Ratio Vegetation Index)やGNDVI(Green NDVI)など)を求めてもよい。
<植生指数を求める処理>
図16は、植生検査システム11において植生指数を求める処理の例を説明するフローチャートである。
ステップS11において、天候情報取得部23は、フィールド14における天候情報を取得して、撮像制御部24に供給する。
ステップS12において、撮像制御部24は、撮像装置12−1および12−2によりフィールド14の撮像を行うタイミングであるか否かを判定する。例えば、撮像制御部24は、ステップS11で天候情報取得部23から供給される天候情報に基づいて、フィールド14が、太陽からの光の照射方向の角度L(θ,φ)の影響を受けない程度に、天候が曇りであるとき、撮像を行うタイミングであると判定する。また、上述したように、撮像制御部24は、時間情報に従って、撮像を行うタイミングであるか否かを判定してもよい。
ステップS12において、撮像制御部24が、撮像装置12−1および12−2によりフィールド14の撮像を行うタイミングでないと判定した場合、処理はステップS11に戻り、以下、同様の処理が繰り返される。一方、ステップS12において、撮像制御部24が、撮像装置12−1および12−2によりフィールド14の撮像を行うタイミングであると判定した場合、処理はステップS13に進む。
ステップS13において、撮像制御部24は、通信部21を介して、撮像装置12−1および12−2に対して撮像を指示する撮像コマンドを送信し、撮像装置12−1および12−2は、撮像コマンドに従ってフィールド14を撮像する。そして、撮像装置12−1および12−2は、フィールド14を撮像した画像をそれぞれ送信し、通信部21が、それらの画像の画像データを取得して、データサーバ22に蓄積する。
ステップS14において、植生指数算出部31は、データサーバ22から処理の対象とする2枚分の画像データを読み出して、上述の式(1)を演算し、それぞれの画像を構成する画素ごとに正規化植生指数NDVIを求めて、2枚のNDVI画像を生成する。
ステップS15において、レンズ歪補正部32は、ステップS14で植生指数算出部31により生成される2枚のNDVI画像それぞれに対してレンズ歪を補正する処理を施し、レンズ歪を補正した2枚のNDVI画像を生成する。
ステップS16において、加算処理部33は、ステップS15でレンズ歪補正部32によりレンズ歪が補正された2枚のNDVI画像を加算平均する処理を行うことで、撮像方向の角度に依存した成分をキャンセルした1枚のNDVI画像を生成する。
ステップS17において、キャンセル処理部34は、ステップS16で加算処理部33により生成されたNDVI画像において、芝目の角度が互いに逆方向となるエリアどうしを加算することで、芝目の角度に依存した成分をキャンセルする。
ステップS18において、統合処理部35は、ステップS17でキャンセル処理部34により芝目の角度に依存した成分がキャンセルされたNDVI画像において、芝目のエリア単位で分割し統合する処理を行う。
そして、ステップS18の処理後、処理はステップS11に戻り、以下、同様の処理が繰り返される。
以上のように、植生検査システム11では、芝目の角度に依存した成分をキャンセルし、撮像方向の角度に依存した成分をキャンセルして、フィールド14全体の正規化植生指数NDVI からなるNDVI画像を得ることができる。従って、植生検査システム11により、芝目の角度、撮像方向の角度、および照射方向の角度に依存する影響を排除して、フィールド14に育成されている芝の植生を検査することができる。
なお、本実施の形態においては、説明を分かり易く行うために、芝目、撮像方向、および照射方向の角度の影響をキャンセルする際に、それぞれ対応する角度のプラス成分とマイナス成分とが完全に相反するような画像を用いて加算平均処理が行われている。例えば、撮像方向については、角度C(c,d)および角度C(−c,d)となる2方向からの画像を用いて加算平均処理が行われている。これに対し、実際には、このように角度のプラス成分とマイナス成分とが、完全に相反するような画像を用いなくても、例えば、5%や10%などの所定の基準値以内で相反していれば、そのような画像を用いて、角度に依存する影響を低減させることができる。また、芝目、撮像方向、および照射方向の角度は、フィールド14の検査に関する角度の一例であって、これら以外の角度を利用してもよい。
なお、本実施の形態では、2台の撮像装置12−1および12−2により2枚の画像を撮像する構成について説明したが、例えば、1台の撮像装置12を移動させて順次、2枚の画像を撮像し、それらの画像から正規化植生指数NDVIを算出してもよい。例えば、撮像装置12をUAV(Unmanned Aerial Vehicle)に搭載して、任意の位置で撮像が行えるようにしてもよい。さらに、撮像装置12を2台以上使用してもよく、例えば、東西方向および南北方向から4台の撮像装置12を用いて撮像した4枚の画像から正規化植生指数NDVIを算出してもよい。
また、レンズ歪が発生しないように画像を撮像することができれば、レンズ歪補正部32を設ける必要はない。なお、撮像装置12および植生検査装置13が通信ネットワークを介して接続される構成とする他、撮像装置12および植生検査装置13をオフライン状態として、例えば、記憶媒体などを介して画像を供給するようにしてもよい。この場合、データサーバ22を設ける必要はない。また、撮像装置12および植生検査装置13が一体の装置として構成されていてもよい。
さらに、例えば、撮像装置12において植生指数を求めて植生検査装置13に送信し、植生検査装置13では、角度依存の影響を排除する処理を行うようにすることができる。また、角度依存の影響を排除する処理では、例えば、図3に示したように、芝目の角度P(0,0)、撮像方向の角度C(0,0)、および照射方向の角度L(0,0)のように鉛直方向に限定されることはなく、これらの角度が鉛直方向以外の一定角度となればよい。即ち、植生を比較する際に、常に同一の条件となるように、角度依存の影響を排除すればよい。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体111の情報を記録および再生するドライブ110が接続されている。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
(1)
検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出する算出処理部
を備える検査装置。
(2)
前記算出処理部は、前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
上記(1)に記載の検査装置。
(3)
前記センシングデータは、異なる波長帯域の光を、それぞれの波長帯域ごとに検出する検出素子が二次元的に配置されたセンサに基づいて取得された各波長帯域のセンシング値を含む画像データである
上記(1)または(2)に記載の検査装置。
(4)
前記センシングデータは、赤色、緑色、青色、および近赤外のそれぞれの波長帯域におけるセンシング値を含む
上記(3)に記載の検査装置。
(5)
前記検査対象物は植物であり、前記検査値は正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
上記(1)から(4)までのいずれかに記載の検査装置。
(6)
前記算出処理部は、前記センシングデータをセンシングする際のセンシング方向の方位角が互いに逆向きでセンシングされた2枚の前記センシングデータを用いた演算処理を行うことにより、前記検査対象物をセンシングするセンシング方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
上記(1)から(5)までのいずれかに記載の検査装置。
(7)
前記算出処理部は、前記センシングデータをセンシングする際に前記検査対象物に照射される光の照射方向の方位角が互いに逆向きでセンシングされた2枚の前記センシングデータを用いた演算処理を行うことにより、前記検査対象物に照射される光の照射方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
上記(1)から(6)までのいずれかに記載の検査装置。
(8)
前記検査対象物をセンシングするセンシング装置に対する制御を行うセンシング制御部
をさらに備える上記(1)から(7)までのいずれかに記載の検査装置。
(9)
前記検査対象物である植物が育成されているフィールドにおける天候を示す天候情報を取得する天候情報取得部をさらに備え、
前記センシング制御部は、前記フィールドにおける天候が曇りであるときに、前記センシング装置により前記植物をセンシングさせる
上記(8)に記載の検査装置。
(10)
前記センシング制御部は、前記検査対象物をセンシングするセンシング方向、および、前記検査対象物に照射される光の照射方向に従ったタイミングで、前記センシング装置により前記検査対象物をセンシングさせる
上記(8)または(9)に記載の検査装置。
(11)
前記センシングデータは、異なる波長帯域の光を、それぞれの波長帯域ごとに検出する検出素子が二次元的に配置されたセンサに基づいて取得された各波長帯域のセンシング値を含む画像データである
上記(1)に記載の検査装置。
(12)
前記センシングデータは、赤色、緑色、青色、および近赤外のそれぞれの波長帯域におけるセンシング値を含む
上記(11)に記載の検査装置。
(13)
前記検査対象物は植物であり、前記検査値は正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
上記(12)に記載の検査装置。
(14)
検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出すること
を含む検査方法。
(15)
検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出する算出処理部
として、コンピュータを機能させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
11 植生検査システム, 12−1および12−2 撮像装置, 13 植生検査装置, 14 フィールド, 21 通信部, 22 データサーバ, 23 天候情報取得部, 24 撮像制御部, 25 演算処理部, 31 植生指数算出部, 32 レンズ歪補正部, 33 加算処理部, 34 キャンセル処理部, 35 統合処理部

Claims (13)

  1. 検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出する算出処理部
    を備え
    前記算出処理部は、前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を、前記植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
    検査装置。
  2. 前記算出処理部は、前記角度に依存した成分が相反するようにセンシングされた2枚の前記センシングデータを加算平均することで、前記角度に依存した成分を低減する
    請求項1に記載の検査装置。
  3. 前記植物の生える方向の方位角が異なる4つのエリアが縦×横が2×2となるように交互に配置されてフィールドの全体に敷き詰められており、
    前記算出処理部は、あるエリアを中心としたときに、そのエリアを右下に含む4つのエリアの平均と、そのエリアを左下に含む4つのエリアの平均と、そのエリアを右上に含む4つのエリアの平均と、そのエリアを左上に含む4つのエリアの平均とを加算することにより平均化する処理を、前記フィールドの全てのエリアに対して行う
    請求項1に記載の検査装置。
  4. 前記センシングデータは、異なる波長帯域の光を、それぞれの波長帯域ごとに検出する検出素子が二次元的に配置されたセンサに基づいて取得された各波長帯域のセンシング値を含む画像データである
    請求項1乃至のいずれかに記載の検査装置。
  5. 前記センシングデータは、赤色、緑色、青色、および近赤外のそれぞれの波長帯域におけるセンシング値を含む
    請求項に記載の検査装置。
  6. 前記検査対象物は植物であり、前記検査値は正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
    請求項1乃至のいずれかに記載の検査装置。
  7. 前記算出処理部は、前記センシングデータをセンシングする際のセンシング方向の方位角が互いに逆向きでセンシングされた2枚の前記センシングデータを用いた演算処理を行うことにより、前記検査対象物をセンシングするセンシング方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
    請求項1乃至のいずれかに記載の検査装置。
  8. 前記算出処理部は、前記センシングデータをセンシングする際に前記検査対象物に照射される光の照射方向の方位角が互いに逆向きでセンシングされた2枚の前記センシングデータを用いた演算処理を行うことにより、前記検査対象物に照射される光の照射方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
    請求項1乃至のいずれかに記載の検査装置。
  9. 前記検査対象物をセンシングするセンシング装置に対する制御を行うセンシング制御部
    をさらに備える請求項1乃至のいずれかに記載の検査装置。
  10. 前記検査対象物である植物が育成されているフィールドにおける天候を示す天候情報を取得する天候情報取得部をさらに備え、
    前記センシング制御部は、前記フィールドにおける天候が曇りであるときに、前記センシング装置により前記植物をセンシングさせる
    請求項に記載の検査装置。
  11. 前記センシング制御部は、前記検査対象物をセンシングするセンシング方向、および、前記検査対象物に照射される光の照射方向に従ったタイミングで、前記センシング装置により前記検査対象物をセンシングさせる
    請求項9または10に記載の検査装置。
  12. 検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出すること
    を含み、
    前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を、前記植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
    検査方法。
  13. 検査の対象となる検査対象物をセンシングして得られたセンシングデータに含まれる検査に関する角度に依存した成分が低減されるように、検査に関する角度の方向が互いに逆向きとなって、その角度に依存した成分が相反するセンシングデータを用いて前記検査対象物を検査するための検査値を算出する算出処理部
    として、コンピュータを機能させ
    前記検査対象物である植物の生える方向の方位角が互いに逆向きとなる少なくとも2箇所のエリアを用いた演算処理を、前記植物の生える方向の方位角により区別されるエリアを示す情報に基づいて行うことにより、前記植物の生える方向に応じて前記センシングデータに含まれる前記角度に依存した成分を低減する
    ためのプログラム。
JP2017514067A 2015-04-24 2016-04-08 検査装置および検査方法、並びにプログラム Active JP6768203B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015089013 2015-04-24
JP2015089013 2015-04-24
PCT/JP2016/061521 WO2016171007A1 (ja) 2015-04-24 2016-04-08 検査装置および検査方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2016171007A1 JPWO2016171007A1 (ja) 2018-02-15
JP6768203B2 true JP6768203B2 (ja) 2020-10-14

Family

ID=57142996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514067A Active JP6768203B2 (ja) 2015-04-24 2016-04-08 検査装置および検査方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20180052114A1 (ja)
EP (1) EP3287003B1 (ja)
JP (1) JP6768203B2 (ja)
CN (1) CN107529726B (ja)
WO (1) WO2016171007A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7156282B2 (ja) * 2017-07-18 2022-10-19 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム
CN109190497A (zh) * 2018-08-09 2019-01-11 成都天地量子科技有限公司 一种基于时序多光谱卫星影像的耕地识别方法
JPWO2021084907A1 (ja) * 2019-10-30 2021-05-06
DE102021210960A1 (de) * 2021-09-30 2023-03-30 Robert Bosch Gesellschaft mit beschränkter Haftung Vegetationsüberwachungsvorrichtung, Vegetationsüberwachungssystem mit der Vegetationsüberwachungsvorrichtung und Verfahren zur Überwachung einer Vegetationsgesundheit in einem Garten

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160902A (en) * 1997-10-10 2000-12-12 Case Corporation Method for monitoring nitrogen status using a multi-spectral imaging system
US7058197B1 (en) * 1999-11-04 2006-06-06 Board Of Trustees Of The University Of Illinois Multi-variable model for identifying crop response zones in a field
JP4140052B2 (ja) * 2002-05-28 2008-08-27 株式会社サタケ 作物の生育診断方法における画像の補正方法
JP4493050B2 (ja) * 2005-06-27 2010-06-30 パイオニア株式会社 画像分析装置および画像分析方法
WO2007035427A1 (en) * 2005-09-16 2007-03-29 U.S. Environmental Protection Agency Optical system for plant characterization
JP2007293558A (ja) * 2006-04-25 2007-11-08 Hitachi Ltd 目標物認識プログラム及び目標物認識装置
US8492721B2 (en) * 2009-10-15 2013-07-23 Camtek Ltd. Systems and methods for near infra-red optical inspection
LT5858B (lt) * 2010-10-20 2012-08-27 Uab "Žemdirbių Konsultacijos" Augalo augimo sąlygų diagnostikos būdas ir įrenginys
JP5762251B2 (ja) * 2011-11-07 2015-08-12 株式会社パスコ 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
CN102999918B (zh) * 2012-04-19 2015-04-22 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
JP5921330B2 (ja) * 2012-05-17 2016-05-24 礼治 大島 画像処理方法
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
CN104243967B (zh) * 2013-06-07 2017-02-01 浙江大华技术股份有限公司 一种图像检测方法及装置

Also Published As

Publication number Publication date
EP3287003A4 (en) 2019-01-16
CN107529726A (zh) 2018-01-02
CN107529726B (zh) 2020-08-04
EP3287003A1 (en) 2018-02-28
JPWO2016171007A1 (ja) 2018-02-15
WO2016171007A1 (ja) 2016-10-27
US20180052114A1 (en) 2018-02-22
EP3287003B1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
US10292321B2 (en) Agricultural work machine for avoiding anomalies
JP6768203B2 (ja) 検査装置および検査方法、並びにプログラム
WO2017080102A1 (zh) 飞行装置、飞行控制系统及方法
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
JP6750621B2 (ja) 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
EP3467702A1 (en) Method and system for performing data analysis for plant phenotyping
US10600162B2 (en) Method and system to compensate for bidirectional reflectance distribution function (BRDF)
US10776901B2 (en) Processing device, processing method, and non-transitory computer-readable medium program with output image based on plurality of predetermined polarization directions and plurality of predetermined wavelength bands
JP6764577B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Xiang et al. An automated stand-alone in-field remote sensing system (SIRSS) for in-season crop monitoring
US20190285541A1 (en) Sensing system, sensing method, and sensing device
CN107610066B (zh) 一种叶面积指数测量方法
WO2020000043A1 (en) Plant growth feature monitoring
CN111095339A (zh) 作物栽培支持装置
Yun et al. Use of unmanned aerial vehicle for multi-temporal monitoring of soybean vegetation fraction
US20190026554A1 (en) Multilayer UAS Image Ortho-Mosaics for Field-Based High-Throughput Phenotyping
US11570371B2 (en) Imaging apparatus, imaging method, and program
US10204405B2 (en) Apparatus and method for parameterizing a plant
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
AU2021204034A1 (en) Information processing device, information processing method and program
JP5648546B2 (ja) 通路検出装置、方法、及びプログラム
EP2878972B1 (en) Long-range image reconstruction using measured atmospheric characterization
KR102373278B1 (ko) 지상기반 전천 영상자료를 이용한 야간 전운량 산출방법
CN105809632B (zh) 从预定农作物的雷达影像去除噪声的方法
Dorj et al. A novel technique for tangerine yield prediction using flower detection algorithm

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R151 Written notification of patent or utility model registration

Ref document number: 6768203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151