JP6662570B2 - 植物情報取得システム、植物情報取得装置および植物情報取得方法 - Google Patents

植物情報取得システム、植物情報取得装置および植物情報取得方法 Download PDF

Info

Publication number
JP6662570B2
JP6662570B2 JP2015003086A JP2015003086A JP6662570B2 JP 6662570 B2 JP6662570 B2 JP 6662570B2 JP 2015003086 A JP2015003086 A JP 2015003086A JP 2015003086 A JP2015003086 A JP 2015003086A JP 6662570 B2 JP6662570 B2 JP 6662570B2
Authority
JP
Japan
Prior art keywords
plant
color
value
information
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015003086A
Other languages
English (en)
Other versions
JP2016127806A (ja
Inventor
裕之 芳村
裕之 芳村
寛了 寺澤
寛了 寺澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Holdings Ltd
Original Assignee
Maxell Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Holdings Ltd filed Critical Maxell Holdings Ltd
Priority to JP2015003086A priority Critical patent/JP6662570B2/ja
Priority to US15/511,059 priority patent/US10586353B2/en
Priority to PCT/JP2016/050687 priority patent/WO2016111376A1/ja
Priority to CN201680002923.8A priority patent/CN106954385B/zh
Publication of JP2016127806A publication Critical patent/JP2016127806A/ja
Application granted granted Critical
Publication of JP6662570B2 publication Critical patent/JP6662570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits

Description

本発明は、植物の表面の色から植物の情報を取得する植物情報取得システム、植物情報取得装置および植物情報取得方法に関する。
農業、特に稲の栽培においては、水稲の施肥管理の指標となる葉色濃度の色見本である葉色カラースケールが用いられる場合がある。葉色カラースケールは、最も淡い1から最も濃い7まで葉色が段階的に示されており、各値の中間値まで読むと葉色を13段階で測定することができるもので、簡易に葉色を判断できる。ただし、測定にあたっては太陽を背にするなどの注意が必要であり、測定する時間帯によっては葉色の判断が難しくなる。また、稲等の植物において、植物の窒素含有量が高くなると、緑色が濃くなること(葉緑素含有量が高くなる)ことが知られており、例えば、所定の地域で所定の時期の所定の品種の稲の葉の緑色が所定の濃さより薄い場合に、窒素系の肥料を施すことが好ましいなどの施肥の時期や量等の判断材料とすることができる。
この稲の葉の色から例えば肥料を施すタイミング等が記載された資料にしたがって、施肥管理を行うことになる。この資料は、気候や土壌の環境等が有る程度似通っている地域毎に作成される必要があり、例えば、月日等の日付と、そのときの葉色カラースケール上の色から施肥管理等を行うことができるようになっている。上述のように葉色カラースケールによる例えば施肥管理で使用される資料は、県や市町村単位等の比較的狭い範囲毎に作成される必要があり、例えば、農業に関係する公的機関(県の農業試験場等)やその他の組織(農業協同組合等)によって作成される。
上述のような葉色カラースケールの使用にあっては、時刻(太陽の位置)や天候による外光の違いによって、測定結果にずれがでる可能性がある。また、測定者の経験や熟練度によっても、測定結果にばらつきが生じる可能性が高い。このような葉色カラースケールの問題点を解決することが可能な葉緑素計が知られている。
この葉緑素計は、クロロフィル(葉緑素)の光学特性に基づいて、葉緑素の含有量を求める。葉緑素は、可視光の600〜700nmの赤の範囲に吸収のピークを有するとともに、700nmより長波長側となる赤外光をほとんど吸収しないことが知られている。そこで、赤の領域の光を出力するLEDと、赤外光を出力するLEDを用い、これら赤の領域の反射光による光学濃度と、赤外光の反射光による光学濃度の差に基づいて、測定された葉に含まれる葉緑素の量を算出するようになっている。
この葉緑素計の測定結果も、上述の葉色カラースケールによる測定結果と同様に、例えば、窒素肥料の施肥量が適切か否かの判断等に使用することができ、測定結果を施肥管理の指標として用いることができる。なお、葉緑素計では、葉緑素の含有量の指標となるSPAD(Soil & Plant Analyzer Development)値を出力するようになっているとともに、SPAD値と葉色カラースケールの測定結果としての葉色値とが関連付けられている。これにより、SPAD値でも葉色値でも、同じ稲の栽培に関する上述の資料を用いて施肥管理が可能である。
上述の葉緑素計は、葉緑素の含有量の測定を目的とするとともに、葉緑素の含有量に基づいて、植物の窒素量を計測することを目的としているが、植物の光学的測定により窒素を測定する分光分析装置も提案されている(例えば、特許文献1参照)。この場合には、直接窒素含有量を測定可能であり、施肥管理に用いることができる。
特開平8−327538号公報
ところで、葉色カラースケールは、比較的安価という利点があるが、上述のように測定時刻、天候、測定者等による測定結果にばらつきがあることが問題となる。また、葉緑素計や分光分析装置は、どうしてもコストに見合った価格設定となり、小規模農家が購入をためらう可能性がある。なお、植物の生育状態を比較的広い範囲で測定する方法としては、人工衛星を用いたリモートセンシングが知られているが、1回の測定に高額の費用がかかる。
また、これら各種装置による測定結果を利用するためには、上述のように利用される地域に対応して測定結果に基づいた施肥の管理を記載した資料が必要となる。葉色カラースケールの場合には、測定結果は測定者が決定するものであり、そのままでは、デジタルデータではなく、例えば、測定結果に対応する施肥管理を資料から求めるのは致し方ないが、例えば、葉緑素計や分光分析装置では、測定結果をデジタルデータとして扱っている可能性が高いが、基本的に測定結果を出力するだけであり、測定結果から施肥管理についてのデータを直接得ることはできない。
本発明は、上記事情に鑑みてなされたものであり、植物を撮像した画像データから植物の表面の色に基づく当該植物の情報を取得するようにしたことにより葉緑素計や分光分析装置に比べて低コストで植物の情報を取得可能とした植物情報取得システム、植物情報取得装置および植物情報取得方法を提供することを目的とする。
前記課題を解決するために、本発明の植物情報取得システムは、撮像素子と、
前記撮像素子に被写体としての植物の像を結ばせるレンズを有する光学系と、
前記撮像素子を用いた撮像の際に前記植物を照らす照明用の光源と、
前記撮像素子を用いた撮像の際に外光を遮断する遮光手段とを備え、
前記植物を撮像した前記撮像素子から出力される画像信号から得られる前記植物の色の色情報と、前記植物中の葉緑素の量を示す情報との相関関係から前記植物の葉緑素の量を示す情報を出力することを特徴とする。
また、本発明の植物情報取得システムは、撮像素子と、
前記撮像素子に被写体としての植物の像を結ばせるレンズを有する光学系と、
前記撮像素子を用いた撮像の際に前記植物を照らす照明用の光源と、
前記撮像素子を用いた撮像の際に外光を遮断する遮光手段と、
前記撮像素子から出力される画像信号に基づいて、前記植物の色を示す色情報を取得する画像処理手段と、
前記色情報と、当該色情報に対して相関性がある前記植物に関する植物情報との相関関係に基づいて前記色情報から前記植物情報を取得する植物情報取得手段を備えることを特徴とする。
また、本発明の植物情報取得方法は、撮像素子と、
前記撮像素子に被写体としての植物の像を結ばせるレンズを有する光学系と、
前記撮像素子を用いた撮像の際に前記植物を照らす照明用の光源と、
前記撮像素子を用いた撮像の際に外光を遮断する遮光手段と、
前記撮像素子から出力される画像信号に基づいて、前記植物の色を示す色情報を取得する画像処理手段とを備える植物情報取得装置を用いた植物情報取得方法であって、
前記色情報と、当該色情報に対して相関性がある前記植物に関する植物情報との相関関係に基づいて前記色情報から前記植物情報を取得することを特徴とする。
これらのような構成によれば、例えば、植物における葉緑素の含有量や、窒素の含有量といった植物情報を、撮像素子とレンズを備える光学系と照明用光源とを備える所謂カメラで植物を撮影することで得ることができる。すなわち、比色分析計等の高価な測定装置を用いなくても、安価に作成可能なカメラで葉緑素濃度等の植物情報を得ることができる。
また、遮光手段により外光を遮断した状態で、照明用の光源の光で植物を撮像するので、外光の影響を受けることがなく、安定した光量や光の向きで撮像が可能になるので、屋外の田圃等での測定において、太陽の位置等によって、測定結果が変わってしまうのを防止できる。なお、植物情報は、例えば、葉緑素や窒素や糖分やポリフェノール等の植物に含まれる成分(化合物、分子)の含有量や、植物の生育度や、植物の果実の成熟度や、病気を発症しているか否かなどの情報が含まれてもよい。
本発明の前記植物情報取得システムおよび植物情報取得方法において、前記植物情報は、前記植物に含有される所定の成分の含有量の指標となる数値であり、前記植物の色を示す前記色情報は、前記撮像素子で撮像された画像データの各画素の色空間を構成する複数種類の変数の値のうちの1種類以上の前記変数の値で表され、かつ、前記画像データの所定範囲内の複数画素にそれぞれ対応する当該変数の値を代表する代表値であることが好ましい。
このような構成によれば、色情報は、色空間を構成する変数、例えば、RGB色空間のR、G、Bの各変数や、HSV色空間のH、S、Vの各変数やこれらにGray(灰色、輝度)の変数を加えた色空間の変数の少なくとも1種類の値で表されるものであり、かつ、撮像素子で撮像された画像データの所定範囲内の複数画素の前記変数の代表値(例えば、平均値)である。また、植物情報を植物に含有される成分の含有量の値としている。したがって、色情報の値と、植物情報の値との間に相関関係があれば、色情報の値から植物情報の値を、相関式を用いて算出したり、相関関係に基づいて、色情報の値と、植物情報の値とを対応付けたデータテーブルを用いて色情報の値から植物情報の値を求めたりすることができる。なお、上述のように植物の生育度や果実の成熟度や発病の有無を色情報としての色空間の変数のうちの1つ以上の変数の上述の代表値から求めるようにするものとしてもよい。
本発明の前記植物情報取得システムにおいて、前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を従属変数とし、前記植物の前記色を示す前記色情報としての前記色空間を構成する前記変数の前記代表値を独立変数として回帰分析または重回帰分析を行うことにより、前記独立変数から前記従属変数を算出するための相関式を求めておき、
前記植物情報取得手段は、前記相関式を用いて、前記撮像素子から出力される前記画像信号に基づく前記色情報としての前記代表値から、前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を算出することが好ましい。
また、本発明の植物情報取得方法において、前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を従属変数とし、前記植物の前記色を示す前記色情報としての前記色空間を構成する前記変数の前記代表値を独立変数として回帰分析または重回帰分析を行うことにより、前記独立変数から前記従属変数を算出するための相関式を求めておき、
前記相関式を用いて、前記撮像素子から出力される前記画像信号に基づく前記色情報としての前記代表値から、前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を算出することが好ましい。
これらの構成によれば、植物情報となる値を従属変数(目的変数)とし、色情報となる値を独立変数(説明変数)として、回帰分析または重回帰分析により相関式を求め、当該相関式により色情報となる値から植物情報となる値を算出することができる。したがって、色情報の値との間に相関関係が認められる植物情報の値があれば、色情報から植物に含有される成分の含有量を示す指標となる値を求めることができる。なお、含有量の指標となる値は、そのまま含有量を示すものであってもよい。
また、本発明の前記構成において、前記植物情報が所定の前記成分としての葉緑素の前記含有量の前記指標となるSPAD値であり、前記色空間が前記変数の種類としてR(赤)、G(緑)、B(青)およびGray(灰色)を有するか、またはH(色相)、S(彩度)、V(明度)およびGray(灰色)を有することが好ましい。
このような構成によれば、従来のSPAD値の測定に用いられる専用の比色分析装置を搭載した葉緑素計に比較して、低コストでSPAD値の測定が可能となる。これによりSPAD値を用いた稲の施肥管理を比較的少ない負担で行うことが可能になり、小規模農家におけるSPAD値を用いた稲の施肥管理の導入を推進することが可能になる。
また、葉色カラースケールのように測定に際して外光の影響を受けることがなく、測定時期や測定時刻、測定場所、測定者等による測定データのばらつきを抑制することができ、葉色カラースケールより精度の高い施肥管理等の運用が可能になる。
また、本発明の植物情報取得システムの前記構成において、前記撮像素子、前記光学系、前記光源、前記遮光手段および前記画像処理手段を備える植物情報取得装置と、前記植物情報取得手段を備える携帯端末とを備え、
前記植物情報取得装置は、前記色情報を送信可能に前記携帯端末に接続されていることが好ましい。
また、本発明の植物情報取得システムの前記構成において、前記植物情報に対応して、前記植物の栽培に関する情報が記憶されたデータベースを有するサーバを備え
前記携帯端末は、無線通信によりインターネットを介して前記サーバとデータ通信可能に接続可能とされ、
前記サーバは、前記携帯端末から前記植物情報を受信した場合に、受信した前記植物情報に対応する前記植物の栽培に関する前記情報を前記データベースから抽出し、抽出された前記植物の栽培に関する前記情報を前記携帯端末に送信することが好ましい。
また、本発明の植物情報取得方法の前記構成において、前記植物情報を取得した後に、
前記植物情報に対応して前記植物の栽培に関する情報が記憶されたデータベースから前記植物情報に対応する前記植物の前記栽培に関する前記情報を抽出することが好ましい。
また、本発明の植物情報取得装置は、前記植物情報取得システムに備えられ、前記植物を撮像して前記植物の色を示す前記色情報を出力することを特徴とする。
これらの構成によれば、主に撮像を行う植物情報取得装置と、主に演算処理やデータの表示等を行う携帯端末とから植物情報取得システムが構成されることになる。携帯端末は、例えば、スマートフォンや、タブレット型のパソコンや、ノートパソコンとなるが、一般的にスマートフォンの普及率が高く、スマートフォンを好適に利用することができる。
この場合に、例えば、データの表示等は、スマートフォンのディスプレイを用いることが可能であり、音声出力を行う場合には、スマートフォンのスピーカを用いることができる。したがって、植物情報取得装置側には、ディスプレイやスピーカを設ける必要がない。また、植物情報取得装置側では、撮像素子から出力される画像信号から色情報を求めて出力すればいいだけなので、遮光手段を除けば基本的にカメラの構成であり、かつ、植物の比較的狭い範囲を近距離から撮影するだけなので、撮像素子に多くの画素数を必要としないとともに、高密度に画素が配列された撮像素子を必要とせず、画素数の少ない安価な撮像素子を用いることができる。したがって、カメラとしては葉緑素計などと比べて安価な構成のものを用いることができる。
以上のことから、ユーザがスマートフォンを所持している場合に、葉緑素計などと比べて安価なカメラに相当する植物情報取得装置を購入すればよいので、ユーザの金銭的負担を軽減することができる。また、色情報から植物情報を取得する演算処理は、スマートフォン側で行うので、携帯機器としては、演算能力の高いスマートフォンで容易に処理することができる。また、測定日時、測定場所等は、スマートフォン側の計時機能や、GPSセンサによる現在位置の測定等により自動的に得ることができる。この場合に、植物情報取得装置側には、時計やGPSセンサを必要としないことから、計時機能や位置測定機能に対するコストの低減を図ることができる。
また、スマートフォン等の携帯端末は、wifiや、公衆無線通信網によりインターネットを用いたデータ通信が可能であり、取得した植物情報を、インターネットを介してサーバにアクセスし、取得した植物情報に対応付けられた植物の栽培に関する情報を短時間で得ることが可能となり、例えば、測定データに対応する植物の栽培に関する情報を紙に記載された資料から探し出すような手間を必要としない。また、サーバ側では、多くのユーザが測定した植物情報として例えばSPAD値を測定日時と測定場所に関連付けて収集できることになり、SPAD値に対応する施肥管理等において、有用な情報を得ることが可能となる。
本発明によれば、撮像素子で撮像される植物の色を示す色情報から植物情報を取得することができる。この場合に、基本的にカメラとしての基本構成を有する植物情報取得装置により植物情報が得られることになり、専用の比色分析装置より安価に植物情報を取得することができる。
本発明の実施の形態の植物情報取得システムの植物情報取得装置を示すブロック図である。 同、植物情報取得装置を示す概略図である。 同、植物情報取得システムを示す概略図である。 同、植物情報取得装置で行われる植物情報取得処理を説明するためのフローチャートである。 同、携帯端末で行われる植物情報取得処理を説明するためのフローチャートである。 同、サーバで行われる植物情報取得処理を説明するためのフローチャートである。 同、植物情報取得装置で行われる校正方法を説明するための工程図である。 同、植物情報取得装置で行われる校正方法を説明するための図である。 本発明の実施例における実験条件を説明するための図である。 同、単回帰分析の結果を示すグラフである。 同、重回帰分析における独立変数の絞り込み方法を説明するための図である。 同、重回帰分析における独立変数の絞り込みに使用した独立変数となるデータを示す図である。 同、重回帰分析における独立変数の絞り込みの分析結果を示す図である。 同、重回帰分析における独立変数の絞り込みの分析結果における相関係数R、自由度調整済決定係数R、説明変数選択基準Ruを示す図である。 同、実験条件毎の重回帰分析の結果としての(重)決定係数Rと、有意Fとを示す図である。 同、実験条件毎の重回帰分析の結果としての(重)決定係数Rを示すグラフである。 同、実験条件毎の重回帰分析結果のうちの(重)決定係数Rの上位2つの実験条件の分析結果を示す図である。 同、全実験条件から選択された実験条件に対して得られた相関式で計算されるSPAD値と、葉緑素計で測定されたSPAD値との相関関係を示すグラフである。 図18の重回帰直線と各プロットとの最短距離の算出方法を説明するための図である。 図18の重回帰直線と各プロットの最短距離の同数分布を示すグラフである。
以下、本発明の実施の形態について説明する。
本実施の形態の植物情報取得システムは、植物の表面を撮影した画像データに基づいて、植物の情報を取得するものである。本実施の形態では、画像データにおける例えばRGB(赤、緑、青)等の色空間を構成する複数の変数の値から葉緑素濃度を求めるようになっている。
図1および図2に示すように、本実施の形態の植物情報取得システムの植物情報取得装置1は、装置本体2と、装置本体2に対向する受面を備える受部材3とからなっており、受部材3は、装置本体2に対して基部が回動自在に固定され、例えば、ステープラ(ホッチキス)状の構造となっている。すなわち、受部材3の基端部が回転自在に装置本体2に接続されていることにより、受部材3の先端部側と装置本体2との間に測定対象となる例えば葉を挟むようになっている。
なお、装置本体2に対して受部材3は所定範囲の角度だけ回転可能となっているとともに、図示しないばね等の付勢手段により、所定範囲内で最大角度となるように付勢されている。この状態で付勢力に抗して受部材3の先端部を装置本体2に近づけることにより、葉を挟んだ状態に保持可能となっている。また、図2において、点線は光の経路を示し、実線がデータ(信号)の経路を示すものである。
装置本体2には、撮像装置として、撮像素子(イメージセンサ)11、撮像素子11上に像を結ばせるための光学系としてのレンズ10、照明用の白色LED(光源)12、反射光防止用の偏光板13(13a,13b)と、外光遮断用フード4と、オン・オフ用のスイッチ5とを備える。また、装置本体2には、白色LED12、撮像素子11および各種回路の少なくともオン・オフを制御する制御回路20、撮像素子11から出力されるRGBの各信号を処理する画像処理回路21、画像処理回路21から出力されるRGB空間の画像データから独立変数を算出するデータ処理回路22および後述の携帯端末30とのデータ通信を行う通信回路23を備える。後述のように、通信回路23と携帯端末30の間は無線(BT,WiFi)あるいは有線(USBケーブル等)で接続される。
撮像素子11は、カラーフィルタを備えるCCD(Charged・coupled devices)センサまたはCMOS(Complementary Metal―Oxide―Semiconductor)センサである。レンズ10は、例えば、接写用の単焦点レンズである。白色LED12は、葉を撮影するための照明であり、本実施の形態では、葉の撮影時に上述のフード4が葉の表面に押し付けられ、外光が遮断された状態で、白色LED12の光によって撮影されるようになっている。この際には、装置本体2と受部材3により葉が挟まれた状態であり、受部材3が葉を透過する方向の外光を遮断した状態となっている。したがって、上述のフード4と受部材3とから撮像時に外光を遮断する遮光手段が構成されている。
また、被写体に近い白色LED12の反射光が例えば葉の表面に映り込んだ状態(例えば、鏡に映るのに近い状態)となるのを防止するために、偏光板13が用いられている。偏光板13は、図2に示すように、白色LED12の照明光が通過する偏光板13aと、被写体としての葉の反射光が通過する偏光板13bとからなり、かつ、偏光板13aと偏光板13bとでは、偏光方向が直交した状態となっている。これにより、偏光板13aを介して葉に照射された白色LED12の照明光の直接的な反射光は、一対の偏光板13a、13bに遮られることになり、例えば、白色LED12が葉の表面に映り込んだ状態となるのを防止し、葉の表層の色が見えるようになっている。すなわち、一枚目の偏光板13aを通過した光の偏光方向と異なる変更方向の反射光が2枚目の偏光板13bを通過して撮像素子11に入射する。
また、この例では、ハーフミラー14を用いて、ハーフミラー14を透過させて照明光を葉に当てるとともに、葉からの反射光をハーフミラー14に反射させてレンズ10に導くようになっている。また、上述のように装置本体2と受部材3との間のフード4の位置に葉を挟むことにより、葉に円筒状のフード4が押し付けられた状態となり、撮像用の開口から侵入する外光が撮像素子11側に向かうのを防止できる。すなわち、外光の遮断を図ることができる。また、フード4は、撮像範囲を制限するようになっており、撮像範囲は、撮像素子11の有効画素部分より狭くなっている。なお、葉を挟んだ場合に、葉が傷つくと、葉が変色する虞があるので、フード4は、その表面に突起等の無い滑らかな形状となっていることが好ましい。また、フード4は、遮光性の向上と、葉の損傷の防止のために、手で挟む操作を行った際に弾性変形するような柔軟性の高い素材を用いてもよい。
本実施の形態は、葉の色から例えば植物情報として葉緑素の含有量を示す指標としてSPAD値を求めることになるが、そのために、例えば、撮像された画像データの所定範囲(所定面積)の各画素のRGBの各値とRGBの各値から求められるGrayの値を用いる。なお、各画素のRGB値を求める際に、撮像素子11から出力される例えばRGBの信号は、画像処理回路(画像処理手段)21で画像処理されて、RGBの各色の信号として出力される。また、撮像素子11が単板式の場合に、カラーフィルタのパターンに対応して各画素はRの画素、Gの画素、Bの画素から構成されることになるが、同時化処理(内挿処理)により各画素のRGB値を求める。
本実施の形態において、光学系に基づく撮影範囲内のさらに所定範囲内の複数画素からの信号が用いられる。上述の所定範囲は、例えば、2mm×2mmで、200画素×200画素程度とするが、特にこれに限定されるものではない。この所定範囲に含まれる各画素のRGBの各値と、RGBの値から求められるGrayの値を用いるようになっている。Grayの値は、次式によりRGBの各値から求められる。
Gray=R×0.3+G×0.59+B×0.11
なお、画像データとしては、RGBおよびGrayに限られるものではなく、HSVやHLSやYUVやYCbCrやYPbPr等を用いるものとしてもよい。基本的には、求めるべき植物情報としての葉緑素濃度(SPAD値)との相関関係があれば、RGB以外の色空間を用いてもよい。
また、RGBの各値やGrayの値を求めることになるが、上述の撮像範囲のうちの利用される所定範囲の各画素の値は、必ずしも必要はなく、撮影された画像データの所定範囲内の各画素の色に関するデータの代表値、すなわち、RGBの各値と、Grayの値のそれぞれの代表値を求め、当該代表値との相関関係に基づいて例えば葉緑素濃度を示す指標としてのSPAD値を求めることになる。集団の中心的傾向を示す代表値としては、平均値、中央値、最頻値や、その他にも積分値や、代表値と成り得る各種値を採用することができる。本実施の形態では、画像データの所定範囲の各画素のRGBの各値とGrayの値のそれぞれの平均値を代表値として求める。
なお、取得可能な植物情報としては、葉緑素濃度やSPAD値に限られるものではなく、例えば、葉緑素濃度やSPAD値と相関性が認められる窒素含有量であってもよい。基本的には、画像データを構成する各画素のRGB等の変数の値と、相関関係がある値を取得可能な植物情報とすることができる。例えば、果実の色と、糖濃度やクエン酸濃度やその他の酸濃度やポリフェノール濃度や、成熟度等の生育状況との間に相関関係が認められれば植物情報として糖の濃度や各種酸の濃度の情報や各種ポリフェノールの濃度や、生育状況の情報を取得するものとしてもよい。また、所定の病気か否かの判定に上述のRGB等の値を用いるものとしてもよい。
また、スイッチ5は、制御回路20を介して白色LED12と撮像素子11のオン、オフを行うものであり、例えば、照明のオン・オフとシャッタとを兼ねるものである。スイッチ5は、受部材3を装置本体2に上述のように付勢手段の付勢力に抗して近づけると、装置本体2側にあるスイッチ5が受部材3に押されてオンとなり、受部材3を装置本体2から離すとオフとなる。スイッチ5がオンとなると、制御回路20や、撮像素子11や画像処理回路21等を搭載する回路基板の電源がオンになる。また、これによりオンとなった制御回路20の制御により、照明用の白色LED12がオンとなった後に、シャッタがオンとなる。この際に、受部材3と装置本体2のフード4との間に葉が挟まれていれば、葉の表面がフード4に遮光された状態で撮影される。この際には、受部材3により、葉を透過する光が遮光される。なお、スイッチ5は、1つに限られるものではなく、撮像素子11や画像処理回路21等を搭載する回路基板の電源スイッチ、照明用白色LED12の電源スイッチ、シャッタ用のスイッチ等がそれぞれ設けられていても良い。
また、本実施の形態において、スイッチ5は、受部材3に当たることでオンとなるが、スイッチ5は、例えば、受部材3が所定角度だけ回転移動した場合に、オンとなるものであってもよいし、所定箇所に設けられたタッチセンサであってもよい。また、スイッチ5は、フード内に設けられた照度センサ(例えば、受光素子)であってもよく、外光が遮られて照度が低下した際に照明用白色LED12を点灯し、白色LED12の点灯を照度センサで検知してシャッタをオンにするものであってもよい。
レンズ10は、例えば、接写用の単焦点のマクロレンズであり、フード4の先端に接触して、フード4を閉塞する被写体(葉)に焦点(ピント)が合うようになっている。
制御回路20は、上述のように白色LED12および撮像素子11の駆動等の制御を行うものであるが、それに加えて画像処理回路21やデータ処理回路22や通信回路23の駆動等の制御を行うものとしてもよい。
画像処理回路21は、撮像素子11から出力される画像信号に基づき上述の同時化処理を行うとともに、所定範囲の各画素のRGBの値から各画素のGrayの値を求め、各画素のRGBの各値とGrayの値を出力する。データ処理回路(画像処理手段)22では、各画素のRGBの各値それぞれの平均値(代表値)、および各画素のGrayの平均値(代表値)を求める。すなわち、Rの平均値、Gの平均値、Bの平均値、Grayの平均値を求め、これらの値を通信回路23に出力する。通信回路23では、有線、例えば、USBや有線LAN(イーサネット(登録商標)を用いた有線通信や、無線、例えば、WIFI(無線LAN)やbluetooth(登録商標)を用いた無線通信により植物情報取得装置1が携帯端末30としてのスマートフォン(以下、スマホと略す場合がある)と通信可能となっており、上述の葉を撮影した画像データのRGBの各平均値とGrayの平均値を送信するようになっている。
すなわち、図3に示すように、植物情報取得装置1は、携帯端末30と接続されるとともに、携帯端末30は、無線公衆回線網とインターネット42を介してサーバ43と接続可能となっている。携帯端末30は、携帯電話として無線公衆回線網を介して音声通信およびデータ通信を行うための無線通信手段と、各種通信の制御を行うとともに、インストールされたアプリケーション(以下、省略してアプリと称する)を実行する制御手段と、アプリやシステム(OS)の実行に基づく表示を行うためのディスプレイと、ディスプレイにアプリ等の実行に基づいて画像を表示する表示制御手段と、音の入出力を制御する音制御手段と、GPSを含む各種センサを備える。
また、携帯端末30は、アプリやアプリで使用されるストレージとしてのフラッシュメモリを備える。なお、アプリ等のプログラムで使用されるメモリとしてのRAMは、例えば、制御手段に備えられている。
また、フラッシュメモリには植物情報取得処理用アプリ(植物情報取得手段)がプリインストールされており、植物情報取得装置1から送信される上述のRGBおよびGrayの代表値(平均値)に対して葉緑素量の指標であるSPAD値を算出するようになっている。
植物情報取得処理用アプリには、例えば、回帰分析や重回帰分析で求めた上述の代表値とSPAD値との(重)回帰式(相関式)が登録されている。例えば、RGBの各平均値のうちのGの平均値と、Grayの平均値とからSPAD値を算出する重回帰式が登録されている。これにより、植物情報取得装置1からRGBの各平均値とGrayの平均値が受信された場合に、Gの平均値と、Grayの平均値とに基づいてSPAD値が携帯端末30から出力されるようになっている。
重回帰式は、例えば、SPAD値をY,Gの平均値をX1、Grayの平均値をX2とすると、Y=a(X1)+b(X2)+cとなる。この式に撮影された画像データの所定範囲の複数画素のGの値の平均値(独立変数)をX1に代入し、画像データの所定範囲の複数画素のGrayの平均値(独立変数)をX2に代入することで、Y(従属変数)であるSPAD値を算出する。
また、求められたSPAD値と、携帯端末30に入力された稲の品種、稲を栽培している地域(住所)、現在の日付、稲の高さとが施肥管理を行うためのデータとしてサーバ43に送信される。サーバ43には、基本的に地域と現在の日付と品種に対応してSPAD値および稲の高さが記憶されている。この地域と、現在の日付と、品種に対応するSPAD値を地域(住所)と現在の日付とで検索して抽出し、登録されているSPAD値と、測定されたSPAD値とを比較する。同様に登録されている稲の高さと、入力された稲の高さとを比較する。なお、稲の高さは、例えば、携帯端末30にインストールされた高さ測定用のソフトにより計測された値が送信されるようになっていてもよい。
登録されているSPAD値より測定されているSPAD値が小さければ窒素肥料が不足していると判断可能であり、逆に登録されているSPAD値より測定されるSPAD値の方が大きければ窒素肥料が足りているか、必要量より窒素肥料が多い可能性がある。また、登録されたSPAD値より測定されたSPAD値が低く、かつ、登録された稲の高さより測定された稲の高さが低ければ、肥料不足が裏付けられたことになり、登録されたSPAD値より測定されたSPAD値の方が高く、登録された稲の高さより、測定された稲の高さが高ければ、肥料のやり過ぎの可能性が高くなる。
サーバ43には、地域、日付(または種蒔きや田植えからの日数)、品種に応じて上述のように標準となるSPAD値が登録されるとともに、例えば、測定されたSPAD値の値に対してアドバイスが登録されている。例えば、標準となるSPAD値より測定されたSPAD値が低ければ、基本的に窒素肥料等の施肥を促すアドバイスが登録されており、標準となるSPAD値より測定されたSPAD値が高ければ肥料を控えるようなアドバイスが登録されている。
また、季節と地域と品種に応じて、施肥管理だけではなく、水の管理や、除草や、病気対策等のアドバイスが得られるようになっている。これらにはSPAD値に関連するものと、関連しないものが含まれる。なお、現在、SPAD値に対して各地域の稲作に関係する組織(農協や農業試験場や役所等)において、測定されたSPAD値に対する施肥管理を含むアドバイスの提供が行われており、これを利用することも可能である。
このような植物情報取得装置1による植物情報取得方法においては、例えば、図4のフローチャートに示すように、カメラの一種である本実施の形態の植物情報取得装置1による直物情報取得処理がお行われる。この際には、葉の撮像を行うことになる。葉の撮像においては、例えば、他の葉と略同様の異常のない葉を選択する。この葉を植物情報取得装置1のフード4の位置で装置本体2と受部材3との間に挟み込む。この動作によりスイッチ5がオフからオンとなり(ステップS1)、植物情報取得装置1の各回路が搭載された回路基板の電源がオンとなって、制御回路20がオンとなり、制御回路20の制御に基づいて、白色LED12の点灯、撮像素子11の起動、画像処理回路21の起動、データ処理回路22の起動、通信回路23の起動が行われる(ステップS2)。これらの回路は、1つのチップ上にあってもよい。
次いで、自動的に撮像が行われる(ステップS3)。撮像素子11から出力された信号が画像処理回路21において、上述のように同時化処理されて画像データが生成される。この際にGrayのデータもRGBのデータから算出される。すなわち、各画素のRGBおよびGrayの値が算出されて画像データとされ(ステップS4)、この画像データがデータ処理回路22に送られる(ステップS5)。データ処理回路22では、画像データの所定範囲内の各画素のRの値、Gの値、Bの値、Grayの値から、Rの代表値、Gの代表値、Bの代表値、Grayの代表値とが算出される(ステップS6)。Rの代表値、Gの代表値、Bの代表値、Grayの代表値と画像データが通信回路23を介して携帯端末30に送信される(ステップS7)。
携帯端末30では、図5のフローチャートに示すように、植物情報取得装置1から上述の各代表値が入力された場合(ステップS11)に、上述の代表値とSPAD値との関係式に代入してSPAD値を算出する(ステップS12)。すなわち、SPAD値と、上述の各色の代表値との相関に基づく重回帰式に、Gの代表値とGrayの代表値が代入されて、SPAD値が求められる。
求められたSPAD値は、他のデータとしての上述の住所、日付、品種等のデータとともに、携帯端末30のディスプレイに表示される(ステップS13)。この際には、撮像された画像データを表示してもよい。ディスプレイに表示されたデータは、サーバ43に送信可能であるが、SPAD値以外のデータ表示は、直接変更可能に表示されている。ユーザがデータを変更した場合(ステップS14)には、それに対応して携帯端末30に記憶されているデータが変更されて更新記憶される(ステップS15)。次に稲の高さを入力する(ステップS16)。なお、稲の高さは、ユーザが計測して入力するものとしてもよいが、植物情報取得処理アプリに周知の高さ計測機能を設けておき、携帯端末30のカメラで撮影することにより、稲の高さを算出して入力するようになっていてもよい。
求められたSPAD値は、サーバ43に登録されているデータベースに送られる(ステップS17)。サーバ43では、図6のフローチャートに示すように、携帯端末30からSPAD値等のデータが受信されると(ステップS21)、サーバ43のデータベースを上述の地域、日付、稲の品種、SPAD値、稲の高さに基づいて検索し(ステップS22)、肥料を施すか否か、肥料を施す場合の単位面積当たりの施肥量等の施肥管理に関するデータを得られることになる(ステップS23)。検索により得られた施肥管理に関する情報は、携帯端末30に送信される(ステップS24)。
携帯端末30では、施肥管理に関する情報が受信されると(ステップS18)、この情報を表示する(ステップS19)。上述の肥料を施すか否や、施す場合の単位面積当たりの肥料の量や、その他の稲の農作業に関する情報が携帯端末30に受信されて、携帯端末30に表示されることになる。
カメラである植物情報取得装置1では、色によって植物情報を得ることになる。この際に、各カメラの固体差や経時変化等を校正する必要がある。また、SPAD値と緑色の葉色カラースケールによる読み取り値は、相関関係があることが知られており、SPAD値の計測には、RGB+GrayのうちのGとGrayの値を用いる。
以上のことから、図7に示す校正方法の工程図に示すように、葉緑素計で測定した場合に所定のSPAD値(校正用の基準値)となるカラーチップを例えば植物情報取得装置1の販売時に同梱する(ステップSt1)。このカラーチップを用いてユーザが校正を行う(ステップSt2)。校正は、使用開始時に行うとともに、できるだけ設定された期間毎に略定期的に行うことが好ましい。
まず、植物情報取得装置1を携帯端末30に接続するとともに、植物情報取得処理用アプリ(以下、取得アプリと省略する)を起動する。
ここまでのステップは、校正処理の準備段階のステップである。校正処理は、植物情報取得装置1が接続された携帯端末30で行われる処理であり、以下のステップS31からの処理が携帯端末30で行われる処理となる。
取得アプリが起動した携帯端末30のディスプレイには、例えば、測定、設定、校正等の項目がボタンとして表示されたメニューが表示される。校正処理を行う場合には、ユーザが校正ボタンを押すことにより、携帯端末30では、ディスプレイの校正のボタンが表示された範囲で、タッチスクリーンがタッチされることを検知する(ステップS31)。ここでは、取得アプリ起動後に、メニューとして表示された各ボタンへのタッチの検出を監視して待機する状態となっており、校正ボタンへのタッチが検知されることにより、校正処理を開始する(ステップS32)。
携帯端末30のディスプレイには、同梱のカラーチップを所定回数(例えば、5回や10回)撮影するように促し、装置本体2と受部材3との間にカラーチップを挟んで撮影することを示す表示が表示され、植物情報取得装置1から撮影された画像データが入力するのを監視して待機する状態となる。この際に、画像データの入力回数をカウントし、入力回数のカウント値が上述の所定回数となるまで、ディスプレイにカラーチップの撮影を継続するように促す表示が行われる。これに対応してユーザがカラーチップの撮影を行うことにより、画像データが順次、携帯端末30に入力することになる(ステップS33)。
携帯端末30では、入力した画像データを取得して、携帯端末30のフラッシュメモリ等の記憶装置に記憶する(ステップS34)。
携帯端末30の制御手段では、カラーチップを撮影した所定数の画像データの所定範囲の各画素のRGBの値のうちのGの値の代表値としての平均値と、所定範囲の各画素のGrayの値をRGBの値から算出するとともに、所定範囲の各画素のGrayの値の代表値として平均値を求める。すなわち、所定範囲内の各画素のG値およびGray値の平均値を求める。これを所定数の画像データの全てに対して行って、各画像データに平均化された1つずつのG値とR値とを求めた後に、所定枚数の画像データ毎のG値とGray値との平均値(代表値)を求める。
算出されたG値と、Gray値とを上述の回帰式に代入してSPAD値を求める。このカラーチップの撮影により得られたSPAD値と、カラーチップに設定された基準となるSPAD値との差を補正値として算出する(ステップS35)。
算出された補正値は、携帯端末30であるスマホに自動的に入力されて、以下のように回帰式に設定された補正項に代入される(ステップS36)。これにより校正が終了し、上述のように補正項に補正値が代入された相関式を用いて、Gの平均値とGrayの平均値とから校正された状態でSPAD値を求めることができる(ステップS37)。
重回帰式は、上述のように、Y=a(X1)+b(X2)+cとあらわされるが、これに補正項(α)を使い、Y=a(X1)+b(X2)+c+αとするように補正する。すなわち、上述のように算出された補正値をαに代入してから従属変数YとしてのSPAD値を求める。
例えば、図8には、葉の画像データから計算により得られたSPAD値を独立変数Xとし、前記葉を葉緑素計で測定した場合のSPAD値を従属変数Yとして回帰分析を行い、その回帰分析の結果として、色情報から算出されたSPAD値(X)と、葉を葉緑素計で測定したSPAD値(Y)の相関式(回帰式)が、Y=0.8762X+4.6722とされている。図8において縦軸が色情報から算出されたSPAD値(X)であり、横軸が葉を葉緑素計で測定したSPAD値(Y)である。プロットされた点は、測定された稲の各株に対応することになる。
この際にカラーチップの基準値(葉緑素計で測定した測定値に略等しい値)となるSPAD値が40で校正時のSPAD値の色情報からの算出値が34とすると、基準値−算出値=+6となり、相関式がY=0.8762X+4.6722+6に補正される。これにより、相関式が示す回帰直線が右に移動することになる。なお、図8の決定係数R=0.8762は、上述の相関式における寄与率を示すものである。すなわち、決定係数Rは測定結果の変動を説明変数でどの程度説明できているかを示すもので、1に近づくほど精度が高いことを表わす。また、図8は、SPAD値を計算により求めた場合と、葉緑素計で測定した場合との相関関係を示すものであり、実際の校正では、上述のようにGの代表値と、Grayの代表値とからSPAD値を求めるための相関式であるY=a(X1)+b(X2)+cをY=a(X1)+b(X2)+c+αに補正する。
このような植物情報取得装置1および植物情報取得方法によれば、基本的な構造はカメラであり、外光を遮断していつでも所定の照明を行うことができ、かつ、画素数の多い撮像素子11を必要とせず、少ない画素数の撮像素子11で測定可能である。また、演算処理の一部や、データの表示等を携帯端末30としてのスマホ側で行うことが可能となっている。以上のことから葉色カラースケールよりは高価になるが、カメラではなく専用の比色分析装置を備えるような葉緑素計に比較して低コストに製造可能となる。
また、外光をカットしてLED照明を用いることにより、安定した撮影が可能となり、季節や時刻や天候や環境によって、測定結果が変わってしまうのを抑制可能であり、誤差の少ない測定を行うことができる。また、植物の葉、茎、実、根等の各種部位の表面の色と、植物の各種情報との間に相関関係があれば、各種情報の測定が可能となる。この際には、植物情報取得装置1が、植物の表面を撮影して得られた画像データの各画素のRGBの各値、または、RGBから求められるGrayを含む各値を出力できる機能を有するものならば、携帯端末30側の植物情報取得処理アプリに登録されている関係式を追加することで葉緑素以外の物質の含有量の測定が可能となる。例えば、SPAD値だけではなく、実際に葉を破砕して葉緑素を抽出することにより葉緑素量を実測し、上述の代表値と、葉緑素の実測された濃度との相関式を求めて、SPAD値ではなく葉緑素量を求めるようにしてもよい。また、葉緑素量と相関関係がある窒素量を実測し、実測した窒素量と上述の代表値との相関関係を求めて窒素量を測定するものとしてもよい。また、果実等において、その色と果実に含まれる糖、酸、色素成分であるポリフェノール等の濃度との相関関係が認められれば、これらの測定に植物情報取得装置1を用いることができる。
なお、本実施の形態では、Gの代表値とGrayの代表値を用いるので、Rの代表値とBの代表値とを算出しないものとしてもよい。回帰式からSPAD値が求められると、このSPAD値と、携帯端末30に入力された地域(住所)と、日付と、稲の品種と、稲の高さとがインターネット42を介して、サーバ43に送られる。なお、地域の情報は、例えば、携帯端末30に設けられたGPSに読み取られた携帯端末30の位置情報を用いるものとしてもよい。また、日付の入力の機能は携帯端末30の時計機能やカレンダー機能から今日の日付を入力させるものとしてもよい。
また、本実施の形態では、データ処理回路22を植物情報取得装置1に設けたが、携帯端末30の取得アプリの機能にデータ処理回路22の機能を加えるものとしてもよい。この場合に、植物情報取得装置1は、基本的に画像データとしてRGBの各値とGrayの値を出力することになる。なお、相関関係の高さにもよるが、RGB+Grayの全てを独立変数としても良いし、Bを除く残りRG+Grayを独立変数としてもよいし、GまたはGrayだけを独立変数としてもよい。
以下に、本発明の実施例として、植物情報取得装置1で撮影された画像データのRGBおよびGrayの値と、SPAD値との相関関係に基づく重回帰式を求めるために行った実験を説明する。
図9に示すように、実験条件は、測定期間(データ期間)として、2014年の6月25日から8月18日までの約50日の間に、5回測定を行った。測定日は、6月25日、7月4日、7月11日、7月25日、8月18日の5日であるが、実験条件として、測定期間の後半となる7月11日、7月25日、8月18日だけ測定したパターンも設定した。測定に使用した植物情報取得装置1としてのカメラは、受部材3が無い開発中のものを使用した。受部材3がないため、測定に際しては、葉をテーブルや各種台等に置いた状態でフード4の先端を押し付ける必要があり、稲をその場で測定するのではなく、稲を採取した後に建物内で撮影とSPAD値の測定を行った。
測定に際しては、複数の稲田に、複数の試験区を設定し、各試験区から代表となる稲の一株を採取した。なお、測定日によって、サンプルの稲を採取した試験区やその数が異なる場合がある。各稲の株から茎を10本抜き取るとともに、各茎の完全展開第2葉の中央部を植物情報取得装置1で撮影して画像データを取得するとともに、同じ場所で葉緑素計を用いてSPAD値を測定した。SPAD値の測定には、SPAD−502Plus(コニカミノルタ製)を用いた。したがって、1回の試験に際して各試験区で一株の稲の10枚の葉の測定を行った。また、回帰分析に際して、データ処理方法として、一株の稲の異なる葉に対する10回の測定の値をそのまま用いた場合と、一株の稲の10枚の葉の測定の値の代表値として平均値を求め、この平均値を用いて重回帰分析を行った場合とがある。なお、代表値は、上述のように中央値や最頻値等の一般的に代表値として用いられるものを用いることができる。
また、植物情報取得装置1における撮影条件は、以下の4種類とした。開発中の植物情報取得装置1には、白色LED12が3つ搭載されているが、白色LED12を2灯点灯する2灯モードと、3灯点灯する3灯モードとでの撮影が可能であり、撮影時に2灯モードでの撮影と3灯モードでの撮影を行った。また、撮影に際し、葉を卓上に配置してフード4を押し付けて外光を遮断し、白色LED12の照明で撮影した卓上パターンと、窓に葉をフード4で押し付けた状態で白色LED12を点灯して、葉を透過する外光と、白色LED12の照明との両方で撮影した窓透かしパターンとで撮影を行った。窓透かしパターンでは、外光の影響を受けることになるとともに、反射光だけではなく反射光と透過光の両方で撮影することになる。なお、卓上パターンでは、透過光はなく、反射光だけで撮影される。
この実施例では、画像解析方法として画像解析に用いたカラーモード(色空間)を、RGB+GrayとHSV+Grayとする。上述のように葉を撮影した画像データの所定範囲の各画素のRGBの各値とGrayの値またはHSVの各値とGrayの値を説明変数(独立変数)とし、SPAD値を目的変数(従属変数)として、重回帰分析を行った。なお、重回帰分析を行う前に上述のカラーモードとしてRGB+Grayを用い、測定方法が2灯卓上であり、かつ、一株の稲の10枚の葉の測定結果の平均値を用いて、SPAD値を従属変数とし、RGB+Grayの各値をそれぞれ1つの独立変数として、単回帰分析を行った結果を図10のグラフに示す。
図10のグラフにおいて、横軸がSPAD値であり、縦軸がRGB+Grayの各値(強度)である。また、四角のドットがGであり、菱形のドットがRであり、三角のドットがBであり、丸のドットがGrayである。また、グラフ上の各直線は、上から1番目がGとSPAD値との回帰式(回帰直線)を示し、上から2番目がGrayとSPAD値との回帰式(回帰直線)を示し、上から3番目がRとSPAD値との回帰式(回帰直線)を示し、上から4番目がBとSPAD値との回帰式(回帰直線)を示す。
SPAD値をYとし、GをXとすると回帰式はY=−0.0076X+0.47で、決定係数Rが0.7892である。また、GrayをXとすると回帰式はY=−0.0054X+0.3289で、決定係数Rが0.7719である。また、RをXとすると回帰式はY=−0.0035X+0.1794で、決定係数Rが0.7461である。また、BをXとすると回帰式はY=−0.0003X+0.0198で、決定係数Rが0.0589である。なお、決定係数Rは相関係数Rの2乗に等しく、寄与率とも呼ばれる。以上のことからRGB+Grayの各値を個別に独立変数とし、SPAD値を従属変数とした場合に、GとGrayとは寄与率が高いか、Bは寄与率が低い。
そこで、重回帰分析の重回帰式において、RGB+Grayの各値の全てを独立変数とするのではなく、相関が強い変数だけを独立変数として重回帰式を作成することにした。そこで、図11に示すように、4つのステップでRGB+Grayの4つの独立変数から独立変数を1つずつ減らして重回帰分析を行った。すなわち、ステップ1として4つの独立変数を全て用いた重回帰分析と、ステップ2として前述の4つの独立変数のうちの有意性を示すt値の絶対値が最も低い独立変数を除いて3つの独立変数を用いた重回帰分析と、ステップ3として前述の3つの独立変数のうちのt値の絶対値が最も低い独立変数を除いて2つの独立変数を用いた重回帰分析と、ステップ4として前述の2つの独立変数のうちのt値の絶対値が最も低い独立変数を除いて1つの独立変数を用いた回帰分析とを行った。
これら4回の(重)回帰分析において、相関係数R、補正(自由度調整済決定係数)R、説明変数選択基準Ruを参照して、使用する独立変数を決定する。補正Rは、決定係数Rと同様に寄与率を示すものであるが、決定係数Rは独立変数が増加すると増加傾向となるのに対して、補正Rは、独立変数の数を考慮したものであり、最適な独立変数を判定するのに有効である。また、自由度修正決定係数(補正)Rは、決定係数Rよりも小さく1以下の値となり、マイナスもあり得るものとなっている。
また、説明変数選択基準Ruは、有効な独立変数(説明変数)かどうかを判断するための指標であり、上述の各独立変数の組み合わせで重回帰分析を行った場合に、Ruが大きいほど有効と判定できる。また、上述のt値は、回帰係数の有意性を示すもので、図13に示す係数を同じく図13に示す標準誤差で割ったもので、目的変数への影響度を意味する。t値の絶対値が2より小さい場合は統計的にはその説明変数は目的変数に影響しないと判断される。t値は理論的に、−無限大から+無限大の値をとる。t値の絶対値が大きいほど、t値に対応する独立変数を重回帰式に取り入れることが有効であることを示している。
図12は、図9に示す実験条件のうちの照明が白色LED12を2灯用いた2灯モードで、撮影方法が卓上で外光を遮断しての撮影である卓上パターンで、一株当たり10枚の葉を測定した場合の10回の測定の平均値を用いて重回帰分析を行う場合の各データを示すものである。測定日とサンプルを採取した試験区毎に、測定結果としての画像データのRの平均値、Gの平均値、Bの平均値およびGrayの平均値と、葉緑素計で測定したSPAD値の平均値が示されている。なお、Rの平均値(R値)、Gの平均値(G値)、Bの平均値(B値)およびGrayの平均値(Gray値)は、1回の測定で撮影された画像データの所定範囲内の各画素の平均であるとともに、10枚の葉を用いて10回行われた測定の平均である。
図13には、図12に示すSPAD値を従属変数とし、R値、G値、B値およびGray値を独立変数として、図11に示すステップ1〜4にしたがって重回帰分析を行った結果を示す。重回帰分析には、Microsoft Excel(登録商標)の分析ツールの回帰分析を用いて行った。
図13に示すように、R値、G値、B値およびGray値の4つの独立変数で重回帰分析を行った結果、R値、G値、B値およびGray値の中で上述の各独立変数の有意性を示すt値の絶対値が最も小さいのは、B値であった。そこで、ステップ2では、B値を除いて、R値、G値およびGray値の3つの独立変数で、重回帰分析を行った。ステップ2でt値の絶対値が最も低いのは、R値であった。そこで、ステップ3では、R値を除いて、G値およびGray値の2つの独立変数で、重回帰分析を行った。ステップ3でt値の絶対値が低いのは、Gray値であった。そこで、ステップ4では、G値を独立変数として回帰分析を行った。
図14には、上述のステップ1〜4において用いた4つの独立変数の組み合わせパターンと、各パターンにおけるステップ1〜4の(重)回帰分析における相関係数R、補正(自由度調整済決定係数)R2、説明変数選択基準Ruを示す。
ここでは、図14に示すように相関係数Rは、ステップ1の4つの独立変数を用いた場合が少し高いが、補正R2、説明変数選択基準Ruは、ステップ3のGとGrayの2つの独立変数を用いたものが最も大きくなっている。また、独立変数が多いほど相関係数Rは、高くなる傾向があることから、独立変数が2つのステップ3の相関係数Rは、独立変数4つのステップ1の相関係数Rより少し低くなるが、各独立変数のt値は、ステップ1よりステップ3の方が高く、各独立変数の有意性は、ステップ1よりステップ3の場合の方が大きくなっている。以上のことから、RGB+Grayの色空間を用いる重回帰分析においては、独立変数が4より少ない2であり、かつ、補正R2、説明変数選択基準Ruが最も高くなる、GとGrayの2つの独立変数を用いるステップ3のパターンを採用する。なお、HSV+Grayの場合には、独立変数の最適化を行わずに、H値、S値、V値およびGray値の4つの変数を用いて重回帰分析を行った。
図15には、図9に示す実験条件の組み合わせで行われた実験条件の異なる測定結果を用いた重回帰分析における(重)決定係数Rと有意Fとが示されている。有意Fは、回帰式の全ての係数が、0でありそうな」確率を表し、約5%未満(0.05未満)ならば、統計的に「回帰式の全ての係数が、0では無い」ということができ。有意Fが0に近ければ、近いほど、回帰式の信頼性は高いことになる。
また、図16には、図15の実験条件の各組合せに付けられたグラフ横軸名称に対応して、(重)決定係数Rを棒グラフで示したものである。なお、図15に示す有意Fは、全ての実験条件で回帰式の信頼性が高いことを示している。
(重)決定係数Rについては、図15の上から1番目で図16のグラフの左から1番目のHSV−2灯卓上(平均)と、図15の上から3番目で図16のグラフの左から3番目のRGB−2灯卓上(平均)とが高い値を示している。図15に示すように、HSV−2灯卓上(平均)は、上述のように卓上で2灯モードにより葉の撮影を行い、色空間の変数としてHSV+Grayを用い、10回の測定結果の平均値を重回帰分析のデータとしたものである。
また、RGB−2灯卓上(平均)は、上述のように卓上で2灯モードにより葉の撮影を行い、色空間の変数としてRGB+Grayを用い、10回の測定結果の平均値を重回帰分析のデータとしたものである。なお、カラーモードとしてRGB+Grayを用いる場合には、重回帰分析に際して上述のように独立変数として、Gの値と、Grayの値だけを用い、HSV+Grayを用いる場合は、Hの値と、Sの値と、Vの値と、Grayの値の全てを用いている。
図17に、HSV−2灯卓上(平均)とRGB−2灯卓上(平均)との重回帰分析結果を示す。基本的に独立変数が多いHSV−2灯卓上(平均)の方が、相関係数R、決定係数R、補正Rの値が僅かに大きいが、RGB−2灯卓上(平均)は、独立変数が2つで、各独立変数のt値が大きなものとなっているのに対して、HSV−2灯卓上(平均)は、独立変数が4つで独立変数がRGB−2灯卓上(平均)の2倍となっているとともに、各独立変数のt値がRGB−2灯卓上(平均)に比較して小さい。
上述のように重回帰分析を行った結果、単回帰分析に比べてより高い相関係数を得ることができた。
単回帰分析の場合に、重決定係数R=0.6171(色空間をRGBとするとともにGを独立変数とし、2灯卓上、10点平均、全区間とした条件)であったのに対して、重回帰分析では重決定係数R2=0.87619(色空間をRGBとし、独立変数をGとGrayとし、2灯卓上、10点平均、全区間とした条件)となった。
個別データの重回帰分析より、各測定ポイント10点の平均とSPAD値との相関が高いという結果が得られた。すなわち、相関関係の高さは、平均>個別データの順となり、2灯卓上>3灯卓上>3灯窓すかし>2灯窓透かしの順となると考えられる。
そして、2灯卓上、10点平均、全区間とした条件でHSV画像解析またはRGB画像解析で高い相関係数を示した。HSV画像解析とRGB画像解析とを比較した結果は、t値がRGB画像解析の方が高い値を示している(影響度が高い)。上述のように変数がRGB画像解析の方が少ない。すなわち、少ない変数で高い相関係数を示していることから、それぞれの要因(独立変数)の影響度が高いことになる。
以上のことから重回帰分析に用いるデータとしては、RGB−2灯卓上(平均)の条件で、RGB画像解析を用いるものとした。
この際の重回帰式(相関式)は、SPAD値)=−701.166x(Gの平均値)+785.3087x(Grayの平均値)+68.92808となる。すなわち、植物情報取得装置1で10枚の葉を撮影した10個の画像データのそれぞれの所定範囲の画素のGの平均値(代表値)とGrayの平均値(代表値)を求めて、これらをGの値とGrayの値とした後に、10個の画像データのGの値の平均値(代表値)と10個の画像データのGrayの値の平均値(代表値)を求め、これらGの平均値と、Grayの平均値を上記重回帰式に代入することによりSPAD値を求めることになる。なお、必ずしも測定を10回行って、10回の測定結果の平均値を相関式に代入する必要はなく、測定回数を変更してもよい。
図18には、上述のRGB−2灯卓上(平均)の条件で取得された画像データのGの平均値とGrayの平均値とから重回帰式により求められた計算値としての各SPAD値と、上述のように植物情報取得装置1で撮影を行った際に葉緑素計で計測されたSPAD値の10回の測定結果の平均値とを回帰分析して得られた回帰直線とが示されている。
縦軸が重回帰式から求められた計算結果としてのSPAD値を示し、横軸が葉緑素計の測定結果としてのSPAD値を示している。また、各ドットは、稲の同じ株の10枚の葉に対応する計算結であるSPAD値と測定結果としてのSPAD値とを示すものである。
図18に示すように、計算結果としてのSPAD値と測定結果としてのSPAD値の相関式は、y=0.8762x+4.6772であり決定係数Rは、0.8762であった。図18における回帰直線と各ドットの最短距離を図19に示すように求めた。図20は、横軸が回帰直線からの各ドットの最短距離を図18のSPAD値で示したものであり、縦軸は、上述の最短距離を0.1の範囲ずつに区切った場合の各区間に含まれるドットの数であり、図20のグラフは度数分布を示すものとなっている。
各ドットの回帰直線からの最短距離は、大部分のドットにおいてSPAD値あで2以下となっている。なお、3つのドットだけ最短距離が2を超えている。葉緑素計のスペック上の測定精度は、プラス・マイナス1であるのに対して、上述のように各ドットの回帰直線からの最短距離が略2以下であることから、測定精度範囲内に各ドットが分布しているということができる。すなわち、葉緑素計のSPAD値との相関性が高いということができる。
なお、使用するカラーモード(色空間)は、RGB+Grayに限られるものではなく、上述のようにHSV+Grayでも良いし、その他の色空間を用いてもよい。また、HSV+Gray等のRGB+Gray以外の色空間を用いる場合も、上述のように重回帰分析においてt値の最も低い独立変数を順次減らしながら、重回帰分析を繰り返し行い。独立変数の数に影響を受けにくい補正Rと説明変数選択基準Ruとに基づいて、重回帰分析に用いる独立変数を絞り込んでもよい。
1 植物情報取得装置
3 受部材(遮光手段)
4 フード(遮光手段)
10 レンズ(光学系)
11 撮像素子(イメージセンサ)
12 白色LED(光源)
20 制御回路
21 画像処理回路(画像処理手段)
22 データ処理回路(画像処理手段)
23 通信回路
30 携帯端末

Claims (13)

  1. 撮像素子と
    記撮像素子を用いた撮像の際に植物を照らす照明用の光源と、
    前記光源により照らされた前記植物の反射光による像を前記撮像素子に結ばせるレンズを有する光学系と、
    前記光源から発せられた照明光が通過する第1の偏光板と、
    前記植物の反射光が通過する第2の偏光板と、
    前記撮像素子を用いた撮像の際に外光を遮断する遮光手段とを備え、
    前記第1の偏光板と前記第2の偏光板とでは、偏光方向が直交した状態となっており、
    前記植物を撮像した前記撮像素子から出力される画像信号から得られる前記植物の色の色情報と、前記植物中の葉緑素の量を示す情報との相関関係から前記植物の葉緑素の量を示す情報を出力することを特徴とする植物情報取得システム。
  2. 撮像素子と
    記撮像素子を用いた撮像の際に植物を照らす照明用の光源と、
    前記光源により照らされた前記植物の反射光による像を前記撮像素子に結ばせるレンズを有する光学系と、
    前記光源から発せられた照明光が通過する第1の偏光板と、
    前記植物の反射光が通過する第2の偏光板と、
    前記撮像素子を用いた撮像の際に外光を遮断する遮光手段と、
    前記撮像素子から出力される画像信号に基づいて、前記植物の色を示す色情報を取得する画像処理手段と、
    前記色情報と、当該色情報に対して相関性がある前記植物に関する植物情報との相関関係に基づいて前記色情報から前記植物情報を取得する植物情報取得手段と、を備え、
    前記第1の偏光板と前記第2の偏光板とでは、偏光方向が直交した状態となっていることを特徴とする植物情報取得システム。
  3. 前記植物情報は、前記植物に含有される所定の成分の含有量の指標となる数値であり、前記植物の色を示す前記色情報は、前記撮像素子で撮像された画像データの各画素の色空間を構成する複数種類の変数の値のうちの1種類以上の前記変数の値で表され、かつ、前記画像データの所定範囲内の複数画素にそれぞれ対応する当該変数の値を代表する代表値であることを特徴とする請求項2に記載の植物情報取得システム。
  4. 前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を従属変数とし、前記植物の前記色を示す前記色情報としての前記色空間を構成する前記変数の前記代表値を独立変数として回帰分析または重回帰分析を行うことにより、前記独立変数から前記従属変数を算出するための相関式を求めておき、
    前記植物情報取得手段は、前記相関式を用いて、前記撮像素子から出力される前記画像信号に基づく前記色情報としての前記代表値から、前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を算出することを特徴とする請求項3に記載の植物情報取得システム。
  5. 前記植物情報が所定の前記成分としての葉緑素の前記含有量の前記指標となるSPAD値であり、前記色空間が前記変数の種類としてR(赤)、G(緑)、B(青)およびGray(灰色)を有するか、またはH(色相)、S(彩度)、V(明度)およびGray(灰色)を有することを特徴とする請求項3または請求項4に記載の植物情報取得システム。
  6. 前記撮像素子、前記光学系、前記光源、前記遮光手段および前記画像処理手段を備える植物情報取得装置と、前記植物情報取得手段を備える携帯端末とを備え、
    前記植物情報取得装置は、前記色情報を送信可能に前記携帯端末に接続されていることを特徴とする請求項2から請求項5のいずれか1項に記載の植物情報取得システム。
  7. 前記植物情報に対応して、前記植物の栽培に関する情報が記憶されたデータベースを有するサーバを備え
    前記携帯端末は、無線通信によりインターネットを介して前記サーバとデータ通信可能に接続可能とされ、
    前記サーバは、前記携帯端末から前記植物情報を受信した場合に、受信した前記植物情報に対応する前記植物の栽培に関する前記情報を前記データベースから抽出し、抽出された前記植物の栽培に関する前記情報を前記携帯端末に送信することを特徴とする請求項6に記載の植物情報取得システム。
  8. 請求項6または請求項7に記載の植物情報取得システムに備えられ、前記植物を撮像して前記植物の色を示す前記色情報を出力することを特徴とする植物情報取得装置。
  9. 撮像素子と
    記撮像素子を用いた撮像の際に植物を照らす照明用の光源と、
    前記光源により照らされた前記植物の反射光による像を前記撮像素子に結ばせるレンズを有する光学系と、
    前記光源から発せられた照明光が通過する第1の偏光板と、
    前記植物の反射光が通過する第2の偏光板と、
    前記撮像素子を用いた撮像の際に外光を遮断する遮光手段と、
    前記撮像素子から出力される画像信号に基づいて、前記植物の色を示す色情報を取得する画像処理手段とを備え、前記第1の偏光板と前記第2の偏光板とでは、偏光方向が直交した状態となっている植物情報取得装置を用いた植物情報取得方法であって、
    前記色情報と、当該色情報に対して相関性がある前記植物に関する植物情報との相関関係に基づいて前記色情報から前記植物情報を取得することを特徴とする植物情報取得方法。
  10. 前記植物情報は、前記植物に含有される所定の成分の含有量の指標となる数値であり、前記植物の色を示す前記色情報は、前記撮像素子で撮像された画像データの各画素の色空間を構成する複数種類の変数の値のうちの1種類以上の前記変数の値で表され、かつ、前記画像データの所定範囲内の複数画素にそれぞれ対応する当該変数の値を代表する代表値であることを特徴とする請求項9に記載の植物情報取得方法。
  11. 前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を従属変数とし、前記植物の前記色を示す前記色情報としての前記色空間を構成する前記変数の前記代表値を独立変数として回帰分析または重回帰分析を行うことにより、前記独立変数から前記従属変数を算出するための相関式を求めておき、
    前記相関式を用いて、前記撮像素子から出力される前記画像信号に基づく前記色情報としての前記代表値から、前記植物に含有される所定の前記成分の前記含有量の前記指標となる前記数値を算出することを特徴とする請求項10に記載の植物情報取得方法。
  12. 前記植物情報が所定の前記成分としての葉緑素の前記含有量の前記指標となるSPAD値であり、前記色空間が前記変数の種類としてR(赤)、G(緑)、B(青)およびGray(灰色)を有するか、またはH(色相)、S(彩度)、V(明度)およびGray(灰色)を有することを特徴とする請求項10または請求項11に記載の植物情報取得方法。
  13. 前記植物情報を取得した後に、
    前記植物情報に対応して前記植物の栽培に関する情報が記憶されたデータベースから前記植物情報に対応する前記植物の前記栽培に関する前記情報を抽出することを特徴とする請求項9から請求項12のいずれか1項に記載の植物情報取得方法。
JP2015003086A 2015-01-09 2015-01-09 植物情報取得システム、植物情報取得装置および植物情報取得方法 Active JP6662570B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015003086A JP6662570B2 (ja) 2015-01-09 2015-01-09 植物情報取得システム、植物情報取得装置および植物情報取得方法
US15/511,059 US10586353B2 (en) 2015-01-09 2016-01-12 Plant information acquisition system, plant information acquisition device, plant information acquisition method, crop management system and crop management method
PCT/JP2016/050687 WO2016111376A1 (ja) 2015-01-09 2016-01-12 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
CN201680002923.8A CN106954385B (zh) 2015-01-09 2016-01-12 植物信息取得系统、植物信息取得装置和植物信息取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015003086A JP6662570B2 (ja) 2015-01-09 2015-01-09 植物情報取得システム、植物情報取得装置および植物情報取得方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020022060A Division JP2020074795A (ja) 2020-02-13 2020-02-13 植物情報取得システム、植物情報取得装置および植物情報取得方法

Publications (2)

Publication Number Publication Date
JP2016127806A JP2016127806A (ja) 2016-07-14
JP6662570B2 true JP6662570B2 (ja) 2020-03-11

Family

ID=56383709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015003086A Active JP6662570B2 (ja) 2015-01-09 2015-01-09 植物情報取得システム、植物情報取得装置および植物情報取得方法

Country Status (1)

Country Link
JP (1) JP6662570B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6812131B2 (ja) * 2015-04-30 2021-01-13 日本電産コパル株式会社 薄厚体撮影装置
CA3019100A1 (en) * 2016-08-22 2018-03-01 National University Corporation Hokkaido University Object state detection and transmission system
KR20180077980A (ko) * 2016-12-29 2018-07-09 주식회사 계수나무 민화 제작을 위한 야생초 이미지 제공시스템
KR20180077977A (ko) * 2016-12-29 2018-07-09 주식회사 계수나무 민화 제작을 위한 야생초 이미지 제공방법
JP2019146489A (ja) * 2018-02-26 2019-09-05 マクセルホールディングス株式会社 色指標値算出システムおよび色指標値算出方法
CN110567892B (zh) * 2019-09-17 2020-11-24 中国水利水电科学研究院 一种基于临界氮浓度的夏玉米氮素高光谱预测方法
JP7228860B1 (ja) 2022-02-07 2023-02-27 国立大学法人北海道大学 分光計測器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090066A (ja) * 1996-09-12 1998-04-10 Yazaki Corp 植物葉面撮影装置
JP3932222B2 (ja) * 1998-02-23 2007-06-20 ヤンマー農機株式会社 精密農法
JP4012554B2 (ja) * 2005-11-02 2007-11-21 独立行政法人農業・食品産業技術総合研究機構 植物生育情報処理システム
JP2013158277A (ja) * 2012-02-02 2013-08-19 Panasonic Corp 栽培システム、および、植物観察方法
CA2896035A1 (en) * 2012-12-19 2014-06-26 Alan Shulman Methods and systems for automated micro farming

Also Published As

Publication number Publication date
JP2016127806A (ja) 2016-07-14

Similar Documents

Publication Publication Date Title
JP6662570B2 (ja) 植物情報取得システム、植物情報取得装置および植物情報取得方法
WO2016111376A1 (ja) 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
Petach et al. Monitoring vegetation phenology using an infrared-enabled security camera
Wang et al. Estimating rice chlorophyll content and leaf nitrogen concentration with a digital still color camera under natural light
JP5361862B2 (ja) 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
Saberioon et al. Assessment of rice leaf chlorophyll content using visible bands at different growth stages at both the leaf and canopy scale
JP6774544B2 (ja) 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
JP2017125705A (ja) 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
Intaravanne et al. Android-based rice leaf color analyzer for estimating the needed amount of nitrogen fertilizer
JP2017012138A (ja) 作物管理システムおよび作物管理方法
US7995838B2 (en) Color chart processing apparatus, color chart processing method, and color chart processing program
Kendal et al. Quantifying plant colour and colour difference as perceived by humans using digital images
Casadesús et al. Using vegetation indices derived from conventional digital cameras as selection criteria for wheat breeding in water‐limited environments
JP5930185B2 (ja) 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JPWO2004036162A1 (ja) 画像処理システム
CN110114800B (zh) 用于确定植物状态的手持设备和方法
Stamford et al. Development of an accurate low cost NDVI imaging system for assessing plant health
Friedman et al. Assessment of leaf color chart observations for estimating maize chlorophyll content by analysis of digital photographs
CN109564155A (zh) 信号处理装置,信号处理方法及程序
Sunoj et al. Digital image analysis estimates of biomass, carbon, and nitrogen uptake of winter cereal cover crops
JP2010272097A (ja) 緑視率測定装置、方法及びプログラム
JP2020074795A (ja) 植物情報取得システム、植物情報取得装置および植物情報取得方法
WO2019163249A1 (ja) 色指標値算出システムおよび色指標値算出方法
Jabari et al. Improving UAV imaging quality by optical sensor fusion: an initial study
JP2019138831A (ja) 色指標値取得システムおよび色指標値取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R150 Certificate of patent or registration of utility model

Ref document number: 6662570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250