JP4982769B2 - 作物の生育診断方法及び生育診断システム - Google Patents

作物の生育診断方法及び生育診断システム Download PDF

Info

Publication number
JP4982769B2
JP4982769B2 JP2009075279A JP2009075279A JP4982769B2 JP 4982769 B2 JP4982769 B2 JP 4982769B2 JP 2009075279 A JP2009075279 A JP 2009075279A JP 2009075279 A JP2009075279 A JP 2009075279A JP 4982769 B2 JP4982769 B2 JP 4982769B2
Authority
JP
Japan
Prior art keywords
laser pulse
crop
cloud data
point cloud
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009075279A
Other languages
English (en)
Other versions
JP2010226968A (ja
Inventor
一義 高橋
厚 力丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagaoka University of Technology
Original Assignee
Nagaoka University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagaoka University of Technology filed Critical Nagaoka University of Technology
Priority to JP2009075279A priority Critical patent/JP4982769B2/ja
Priority to CN2010800020611A priority patent/CN102088839B/zh
Priority to PCT/JP2010/053793 priority patent/WO2010110040A1/ja
Publication of JP2010226968A publication Critical patent/JP2010226968A/ja
Application granted granted Critical
Publication of JP4982769B2 publication Critical patent/JP4982769B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00—Cultivation of specific crops or plants not otherwise provided for
    • A01G22/20—Cereals
    • A01G22/22—Rice
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00—Cultivation of specific crops or plants not otherwise provided for
    • A01G22/40—Fabaceae, e.g. beans or peas
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Botany (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、作物の生育診断方法及び生育診断システムに関する。より詳細には、レーザスキャナ技術によって得られた作物茎葉の三次元点群データから植被率を算出する生育診断方法及び生育診断システムに関する。
従来、農作物の生育度の診断には、作物の草丈、茎数、葉色等を計測する現場観察が慣行されている。しかしながら、従来の現場観察では、何れの項目を計測するにあたっても人が田畑に入り、煩雑な作業をしなければならず、多大な労力を要する。また、１株毎、あるいは１葉毎の計測しかできないため、代表値を得ることが困難であり、１圃場内の生育度を把握しようとすると膨大な数のサンプリングが必要となる。実際には１圃場当たり十数株程度のサンプリングにとどまっており、圃場全体の生育度を正確に把握できているとは言えない状況にある。
また、計測作業の労力軽減や計測時間の短縮等を目的として、作物の生育度を光学的に計測する試みもなされており、例えば、植物からの反射太陽光を受光し、その受光強度をもとに植物の生育指標（茎葉窒素含有量等）を求める生育度計測装置が提案されている（例えば、特許文献１参照）。このような太陽光の分光反射情報を用いた生育度計測装置では、従来のように１株毎の計測ではなく瞬時に計測結果が得られるため計測作業の労力軽減及び計測時間の短縮が図られるが、太陽光（受動的に光）を利用するため、計測時に天候の影響を受け易い（つまり、雨天時や極端な暑天時、夜間は計測不可能となる）といった欠点がある。
さらに、能動的に光を植物に照射し、その反射光を受光して、その受光強度をもとに植物の生育指標を求める生育度計測装置が提案されている（例えば、特許文献２参照）が、計測に際し、計測対象の植物を覆うように装置を構成する必要があるために、大規模な面積に生育した作物の生育度を診断するに当たっては、なお多大な労力と計測時間を要することになってしまう。また、この計測方法では、受光強度をもとに植物の生育指標として茎葉窒素含有量を算出しているが、植物の茎葉高さや植被率を算出するものではない。
一方で、レーザスキャナを用いて作物や森林の生育度を診断する技術も開示されている（例えば、非特許文献１〜５参照）。レーザスキャナとは、本体を回転、あるいは移動させながら高速高密度でレーザパルスを発射し、レーザパルスがレーザセンサ（例えば、照射部及び受光部）と計測対象を往復する伝播時間とレーザパルスを発射した方向とから、計測対象の表面形状を三次元座標の集まり（点群）として計測する装置である。
レーザスキャナは、装置本体を航空機に搭載して計測を行う航空機搭載型と、装置本体を地上に設置して計測を行う地上設置型と、に分類される。前者は広大な領域の三次元形状、例えば森林、都市構造、地形等の計測に利用され、後者は比較的局所的な領域の三次元形状、例えば作物、微地形、構造物等の計測に利用されている。なお地上設置型には、装置を車に搭載した車搭載型も含まれる。
しかしながら、いずれのタイプのレーザスキャナにおいても、計測データ（三次元点群データ）から計測対象物のデータを抽出する際、計測データから地表面を検出し、地表面と計測対象物とを分離する処理が必要であり、地表面の検出処理（アルゴリズム）や計測が別途必要となってしまう。
さらに航空機搭載型レーザスキャナの場合には、地表面を基準とした計測上の精度は、航空機の位置決定絶対精度およびレーザスキャナの距離計測精度を合成したものとなり、鉛直方向の絶対精度は１５ｃｍ程度と言われており、森林等の大型植物の生育度の計測には適用できるが、寸法の小さな水稲等の作物の生育度の計測には不向きである。
他方、地上設置型レーザスキャナの場合には、作物が茂り、計測データから地表面検出が困難となる状態においても、計測対象物（作物、樹木）の計測死角が無くなるよう複数の観測方向において通常計測されている（非特許文献１では計測対象を取り巻くような形態で計測されている）。従って、計測対象の構造や生育パラメータを推定するには、複数の観測方向から取得した計測データ（三次元点群データ）を合成することが必要となってしまい、データ取得に時間が掛かる等、解析処理が複雑になってしまう問題があった。
特開２００６−３１７１９５号公報 特開２００８−０７６３４６号公報
本多嘉明、他２名、「３Ｄレーザスキャナを用いた植生物理量計測」、雑誌「写真測量とリモートセンシング」、２０００年、第３９巻、第２号、p.46−47 片岡崇、他７名、「３Ｄイメージセンサーによる作物高さの計測」、農業機械学会北海道支部会報、２００３年、第４３号、p.43−48 武田知己、他３名、「レーザスキャナを用いたカラマツ群落の三次元構造の測定」、日本農業気象学会、２００５年、第６１巻、第１号、p.39−47 Ｆｕｍｉｋｉ Ｈｏｓｏｉ（細井文樹）、他１名、「Estimating vertical plantarea density profile and growth parameters of a wheat canopy at differentgrowth stages using three-dimensional portable lidar imaging」、ISPRS、Journal of Photogrammetry& Remote Sensing、エルゼビア(Elsevier)、２００８年９月３日 日下部朝子、他２名、「シベリア亜寒帯林を対象とした航空レーザ測距法による葉面積指数の広域推定」、日本林学会誌、２００６年、第８８巻、第１号、p.21−29
つまり、本発明では、天候の影響を受けにくくかつ地表面の計測・検出処理を要することの無い、作物の生育診断方法を提供することを目的とする。
さらに、本発明では、レーザスキャナ技術によって得られた作物茎葉の三次元点群データから植被率を算出する作物の生育診断方法を提供することを目的とする。
本願発明の発明者は、鋭意検討の末、レーザスキャナ技術によって得られた作物茎葉の三次元点群データから、地表面を基準とせずに作物の草冠部を基準としたレーザパルス侵入深さが求められること、及び、レーザパルス侵入深さと植被率との間に相関が存在し得ることに着目し、これらの点を従来のレーザ計測技術に応用すれば、地表面を基準とした場合に必要であった地表面の検出に伴う複雑な計測処理や計測精度低下を排除でき、かつ、簡便・簡素な作物の生育診断方法を提供できることを見出し、本発明を完成するに至った。
すなわち、本発明の作物の生育診断方法は次の形態・構成をとるものである。
（１）本発明の作物の生育診断方法の一形態は、
作物茎葉より上方の照射点から複数のレーザパルスを該作物茎葉に向けて照射するステップと、
前記作物茎葉又は地表面にて反射された前記レーザパルスを受光点にて受光するステップと、
前記レーザパルスの照射から受光までに要する伝播時間を少なくとも計測することにより前記照射点から反射点までの距離を含んだ前記作物茎葉の三次元点群データを取得するステップと、
前記作物茎葉の前記三次元点群データに基づき前記作物茎葉の草冠位置を算出するステップと、
前記草冠位置と前記三次元点群データとから、前記草冠位置より下方で反射されたレーザパルスの三次元点群データについて、前記草冠位置から前記反射点までのレーザパルス侵入深さとレーザパルス侵入率とを算出するステップと、
前記レーザパルス侵入深さと前記レーザパルス侵入率とから植被率を推定するステップと、
を備えることを特徴とする。
さらに、（２）本発明の作物の生育診断方法は、推定された前記植被率から作物内窒素量を推定するステップをさらに備えることが好ましい。
さらに、（３）本発明の作物の生育診断方法は、前記照射ステップと前記受光ステップと前記三次元点群データを取得するステップとは、前記照射点及び前記受光点を前記地表面に対して平行移動させながら実行されることが好ましい。
さらに、（４）本発明の作物の生育診断方法では、前記草冠位置は、前記三次元点群データ全てを、前記照射点から前記反射点までの前記距離について小さい順に並べて１〜２０％までに相当する三次元点群データを選択して算出されることが好ましい。
さらに、（５）本発明の作物の生育診断方法では、前記植被率の推定ステップは、前記レーザパルス侵入率の値が３５％〜９８％の範囲内のある少なくとも一点を選択し、該値に対応するレーザパルス侵入深さを、前記レーザパルス侵入率の該値について予め導出されたレーザパルス侵入深さと植被率との関係式によって入力することが好ましい。
加えて、本発明の作物の生育診断システムは次の形態・構成をとるものである。
（６）本発明の作物の生育診断システムの一形態は、
作物茎葉より上方の照射点から複数のレーザパルスを該作物茎葉に向けて照射する手段と、
前記作物茎葉又は地表面にて反射された前記レーザパルスを受光する手段と、
前記レーザパルスの照射から受光までに要する伝播時間を少なくとも計測することにより前記照射点から反射点までの距離を含んだ前記作物茎葉の三次元点群データを取得する手段と、
前記作物茎葉の前記三次元点群データに基づき前記作物茎葉の草冠位置を算出する手段と、
前記草冠位置と前記三次元点群データとから、前記草冠位置より下方で反射されたレーザパルスの三次元点群データについて、前記草冠位置から前記反射点までのレーザパルス侵入深さとレーザパルス侵入率とを算出する手段と、
前記レーザパルス侵入深さと前記レーザパルス侵入率とから植被率を推定する手段と、を備え、かつ、
前記手段がレーザスキャナ計測装置とコンピュータとを利用することにより実現されることを特徴とする。
さらに、（７）本発明の作物の生育診断システムは、推定された前記植被率から作物内窒素量を推定する手段をさらに備えることが好ましい。
さらに、（８）本発明の作物の生育診断システムでは、前記レーザスキャナ計測装置が前記地表面に対して平行移動する移動体に設置されることが好ましい。
さらに、（９）本発明の作物の生育診断システムでは、前記草冠位置は、前記三次元点群データ全てを、前記照射点から前記反射点までの前記距離について小さい順に並べて１〜２０％までに相当する三次元点群データを選択して算出されることが好ましい。
さらに、（１０）本発明の作物の生育診断システムでは、前記植被率の推定手段は、前記レーザパルス侵入率の値が３５％〜９８％の範囲内のある少なくとも一点を選択し、該値に対応するレーザパルス侵入深さを、前記レーザパルス侵入率の該値について予め導出されたレーザパルス侵入深さと植被率との関係式によって入力することが好ましい。
本発明によれば、太陽光を利用することのないレーザスキャナ技術を利用するとともに作物の草冠部を基準にしたレーザパルス侵入深さを計測するために、作物が茂り、計測データから地表面検出が困難となる状態（時期）においても安定した生育パラメータの推定が可能となり、天候や作物の生育状況の影響を受けにくくなる。従って、生育診断の安定性が向上し、生育診断の利用可能時期が拡大するものとなる。
本発明によれば、地表面を基準とする作物の高さ情報を利用せず、作物の草冠部を基準としたレーザパルス侵入深さにより生育パラメータを推定するため、計測データから地表面を判定する処理が不要となり、データ解析時の処理速度や計測精度を向上することができる。例えば、航空機等にレーザスキャナ装置を搭載した場合、本発明の草冠位置基準のレーザパルス侵入深さ計測には、従来必要としていた航空機の位置決定絶対精度（約１５ｃｍ程度の誤差）が関与しなくなり、本発明の計測精度はレーザスキャナの距離計測精度（約１ｃｍ程度の誤差）のみが反映した程度に抑えることが可能になる。
また、本発明によれば、対象物（作物）を一方向（上空）のみから観測したデータに基づいて生育パラメータを推定し、さらにレーザスキャナを平行移動する移動体（航空機や自動車）に搭載することで、生育パラメータを面的に取得することが可能となり、ひいては計測時の労力が軽減されることとなる。
また、本発明では、生育パラメータとして、草冠位置を基準にしたレーザパルス侵入深さから相関関係を有する植被率を取得することができ、ひいては作物中の窒素量（水稲の場合は、稲体窒素量）を推定することも可能である。
本発明の生育診断方法の各ステップを示すフローチャートである。 レーザスキャナ計測装置によって計測された稲株茎葉の高さ分布の一例を示した図である。図２（ａ）は平面的に表示し、図２（ｂ）は鳥瞰的に表示した図である。 異なる植被率における茎葉高さの観測頻度のヒストグラムを示した図である。 本発明の計測パラメータを説明した図である。 異なる植被率におけるレーザパルスの侵入率Ｒａｐと侵入深さＬｄとの関係を示した図である。 レーザパルス侵入深さＬｄと植被率との関係を示した図である。図６（ａ）はレーザパルス侵入率Ｒａｐ＝９０％の場合であり、図６（ｂ）はレーザパルス侵入率Ｒａｐ＝７５％の場合である。 植被率と稲体窒素量との関係を示した図である。 本発明の一実施形態に係る作物の生育診断システム１を説明するための図である。 図８に示したコンピュータ３の動作を説明するための機能ブロック図である。
以下、本発明の作物の生育診断方法の一実施形態について、図面を参照しながら説明する。
図１は本発明の生育診断方法の各ステップを示すフローチャートである。まず、レーザスキャナ計測装置等の照射部を用いて、レーザパルスを計測対象物（作物）に一観測方向（上空）から照射する（ステップＳ１）。
ここで、レーザスキャナ計測装置とは、本体を回転、あるいは移動させながら高速高密度でレーザパルスを発射し、レーザパルスがレーザセンサ（例えば、照射部及び受光部）と計測対象を往復する伝播時間とレーザパルスを発射した方向とから、計測対象の表面形状を三次元座標の集まり（点群）として計測する装置である。
本発明のレーザスキャナ計測装置が備える仕様として、距離分解能が１５ｍｍ以下、角度分解能が０．２５度以下となることが望ましい。
計測対象物には、時間の経過に伴い生育状況が変化する作物、植物、森林等が挙げられる。本実施形態では、一例として計測対象を水稲に設定し、試験圃場内に栽植密度６０株／坪で移植されたコシヒカリを使用した。この水稲の生育状況を診断するために、上記仕様を満足するレーザスキャナ計測装置を水稲から上空へ２．６ｍの高さで固定するための観測スタンドを試験圃場に設置した。
また、計測期間及び計測回数（間隔）については、作物が生育する期間であれば特に限定されず、計測回数も特段限定する必要はないが、本実施形態では一例として、水稲の生育度の進行が顕著な６月中旬〜７月中旬の間に設定し、約７日間隔で計測した。
次に、レーザスキャナ計測装置等の受光部を利用して、作物の各点又は地表面に照射かつ反射されたレーザパルスを受光する（ステップＳ２）。
さらに、レーザパルスの照射から受光までに要する伝播時間を少なくとも計測することにより計測対象物の各点からレーザスキャナ計測装置までの距離等（つまり、作物茎葉の三次元点群データ）が取得される（ステップＳ３）。
なお、作物などの計測対象物の計測対象領域がレーザスキャナ計測装置による１回分のスキャニングエリアより広範である場合には、レーザスキャナ計測装置のスキャニングエリアを計測対象領域のうち未だ計測されていない領域に移動させて、再度、上述したステップＳ１からステップＳ３まで実行するようにしてもよい。すなわち、未計測領域が無くなるまでステップＳ１〜Ｓ３からなるルーチンを繰り返すように処理してもよい。例えば、レーザスキャナ計測装置を地表面に対して平行移動する移動体（航空機や自動車）に搭載して（上記スキャニングエリアを移動させて）計測することで、生育パラメータを面的に取得することが可能となり、ひいては計測時の労力が軽減されることとなる。
図２は、レーザスキャナ計測装置によって計測された稲株茎葉の高さ分布の一例を示した図である。図２（ａ）は平面的に表示し、図２（ｂ）は鳥瞰的に表示した図である。これらの図より、それぞれの稲株の茎葉の位置や高さが視覚的にも十分判別できているといえる。
さらに、図３は、ステップＳ１〜３により異なる計測日（つまり異なる植被率）に取得された茎葉高さのヒストグラム（計６つ）を示した図である。図３の各ヒストグラムをみると、縦軸には、茎葉高さ（観測点から距離 単位ｃｍ）が所定範囲毎（１ｃｍ毎）に表示され、横軸には、茎葉高さの度数（観測された頻度）が表示されている。また、図３の各ヒストグラムの上部には、計測日と、該計測日において取得したデジタルカメラ画像を処理し算出した植被率とを併せて表示している。
ここで、「植被率」とは、作物が土壌を被覆している割合を意味し、本実施形態の例ではデジタルカメラで取得された画像から作物部分と土壌部分とを識別し、単位面積当たりに占める作物部分の面積比率を植被率として算出している。
次に、取得した作物茎葉の三次元点群データに基づき作物茎葉の草冠位置を算出する（ステップＳ４）。
ここで、本発明で用いる「草冠部」とは作物等の茎や葉が茂り始める作物茎葉の上部を意味し、「草冠位置」とは、観測点を基準にした上記草冠部の位置を意味し、本実施例では、観測点（つまり、作物より上空にあるレーザスキャナ計測装置の照射部（照射点））から鉛直方向に所定の距離（以下「鉛直距離」と呼ぶ。）だけ下方にある位置を意味する。
上記草冠位置をより具体的に特定するために、図４を用いながら説明する。まず、レーザスキャナ計測装置のレーザ照射によって計測される計測対象の全領域（スキャニングエリア）Ｖｓが破線によって囲まれている。この破線によって囲まれた全領域Ｖｓを計測したレーザパルスの総数（点群データ総数）をＮｓとする。また、計測全領域のうちの一部であるレーザスキャナ計測装置から鉛直距離Ｄの局所領域Ｖ（図４中ハッチングされた領域）内に含まれる点群データ数をＮとする。
次に、草冠位置を破線Ａに設定し、観測点（レーザスキャナ計測装置の照射点）から草冠位置までの鉛直距離をＤｃとした場合、Ｄｃは、点群データ総数Ｎｓのデータを鉛直距離Ｄの小さい順に並べた際、Ｎｓの１〜２０％のデータが存在する鉛直距離に設定する。つまり、点群データが１００個（Ｎｓ＝１００）であった場合に、１〜２０番目に鉛直距離が小さい点群データの距離ＤがＤｃになる。また、草冠位置までの鉛直距離Ｄｃにまで含まれるデータ総数をＮｃとする。上記例ではＮｃは１〜２０となる。
また、草冠位置を基準とした各計測地点までの鉛直距離Ｌｄは、Ｌｄ＝Ｄ−Ｄｃとして算出される。
次に、草冠位置を基準としたレーザパルス侵入深さＬｄの分布情報を算出する（ステップＳ５）。
レーザパルス侵入深さＬｄの分布を表現するために、レーザパルス侵入率Ｒａｐ（％）をＲａｐ＝（Ｎ−Ｎｃ）／Ｎｓのように定義する。つまり、局所領域Ｖ内に含まれる点群データ数Ｎから草冠位置より上方に含まれる点群データ数Ｎｃを引いた値（図４中の距離Ｌｄが幅となる領域に含まれる点群データ数の値）を計測領域全体に含まれる点群データ総数Ｎｓで除した値である。草冠位置より上方に存在するデータ数をＮｓの５%に設定した場合、レーザパルス侵入率Ｒａｐの範囲は、０〜９５％となる。
以上の方法（ステップＳ１〜５）により、各計測日によりレーザスキャナ計測装置によって取得されたデータから、草冠部（草冠位置）を基準にしたレーザパルス侵入深さＬｄと、レーザパルス侵入率Ｒａｐと、が算出される。
図５は、異なる計測日（すなわち異なる植被率）におけるレーザパルスの侵入率Ｒａｐ（単位：％）と侵入深さＬｄ（単位：ｃｍ）との関係を示した図である。凡例の各計測日の右横の括弧内に記載された値は、各計測日に対応する植被率を示す。図５から計測期間の前半時期では、全体的に侵入深さＬｄの値が小さく、侵入率Ｒａｐが５０％より大きくなると、侵入深さＬｄが横ばい（ほぼ一定）になることがわかる。これは、水稲茎葉の生育はさほど進んでおらず、多くのレーザパルスが茎葉に照射されずに地表面まで到達していると考えられ、Ｒａｐが５０〜９０％の範囲内にある点群データは草冠位置から地表面までの距離を示しているといえる。
計測時期の後半になると、各レーザパルス侵入率Ｒａｐにおける侵入深さＬｄの値が計測時期の前半の値に比べて増大していることがわかる。加えて、これらの点群データ（侵入深さＬｄ）を結んだ曲線の勾配は大きくなり、レーザパルス侵入率Ｒａｐが最大になるまで侵入深さＬｄは増大していることがわかる。これは、水稲の生育が進展し、茎葉が繁茂しているため、照射された大半のレーザパルスが地表面まで到達せず、その前に計測対象物である作物で反射されていることを意味する。
次に、レーザパルス侵入深さＬｄの分布情報から植被率を推定する（ステップＳ６）。
図６は、レーザパルスの侵入深さＬｄと植被率との関係を示した図である。図６（ａ）はレーザパルス侵入率Ｒａｐ＝９０％の場合であり、図６（ｂ）はレーザパルス侵入率Ｒａｐ＝７５％の場合である。これらの図は、図５の横軸に示すレーザパルス侵入率Ｒａｐを上記所定の値に設定し、各計測日（各植被率）における上記侵入率Ｒａｐでの侵入深さＬｄを求めることにより描くことができる。
レーザパルス侵入率Ｒａｐ＝９０％の（図６（ａ））の場合、植被率と侵入深さＬｄとの関係は、ＶＣＲ＝１．８６Ｌｄ−１１．６０（ここで、ＶＣＲ：植被率）、Ｒ２＝０．９９、及びＲＭＳＥ＝３％となり、植被率と侵入深さＬｄとは、一次直線の比例関係が得られている（図６（ａ）内の数式参照）。ここで、Ｒ２は、決定係数で、回帰直線（曲線）の当てはめの良さを表す尺度である。一方、ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）は、推定値と実測値のズレを表す尺度である。
従って、Ｒ２及びＲＭＳＥの結果により、推定された直線は適切に当てはめられ、実測値を適切に再現しているといえる。
レーザパルス侵入率Ｒａｐ＝７５％の（図６（ｂ））の場合、植被率と侵入深さＬｄとの関係は、ＶＣＲ＝０．１９Ｌｄ ２−５．２０Ｌｄ＋５３．８２（ここで、ＶＣＲ：植被率）、Ｒ２＝０．９８及びＲＭＳＥ＝３％となり、植被率と侵入深さＬｄとは、二次曲線の関係が得られている。また、Ｒ２及びＲＭＳＥの結果により、推定された二次曲線は適切に当てはめられ、実測値を適切に再現しているといえる。
上述のような処理をすることによって、侵入率Ｒａｐ毎に植被率と侵入深さＬｄとの関係式が予め得られることになる。従って、ステップＳ６では、ステップＳ５で取得された草冠位置を基準としたレーザパルス侵入深さＬｄの分布情報から所望の侵入率Ｒａｐと、その侵入率Ｒａｐでの侵入深さＬｄと、を選択し、上述のように予め得られている、所望の侵入率Ｒａｐに対応する換算式（例えば、図６の各グラフで表される植被率と侵入深さＬｄとの関係式）に侵入深さＬｄを付与することで、植被率を推定することが可能になる。
さらに、推定された植被率から作物内窒素量を推定する（ステップＳ７）ことも可能である。例えば、水稲の場合、発明者らが既に報告している研究成果（竹峰秀祐、力丸厚、高橋一義、樋口泰浩、簡易画像計測法を用いた水稲植被率による稲体窒素量の推定に関する基礎研究、「写真測量とリモートセンシング」、Ｖｏｌ．４６，Ｎｏ．４，２００７，ｐｐ．６１−６５）から、稲体窒素量と植被率とは、図７に示すような関係となることが判明している。
したがって、本発明の上述したステップＳ１〜６によって植被率が求まれば、ステップＳ７により稲体窒素量も簡単に算出できることになる。
また、以上の各ステップを含んだ作物の生育診断方法は、以下に説明するような作物の生育診断システム１により実現できる。
図８は、本発明の一実施形態に係る作物の生育診断システム１を説明するための図である。作物の生育診断システム１は、例えば、レーザスキャナ計測装置２と、コンピュータ３と、を有する。レーザスキャナ計測装置２は、計測対象の作物の上方（鉛直方向上方）に組み上げた定置式観測台に設けられてもよいし、作物の上方を作物水平面に対して平行移動する移動体（例えば、航空機、ヘリコプター、自動車、レール付き観測台の該レール上に移動する移動装置等）に搭載するようにしてもよい。
レーザスキャナ計測装置２は、例えば図８に示すように、照射部２１、受光部２２、三次元点群データ演算部２３、及び三次元点群データ記憶部２４を有する。照射部２１は、上空から計測対象物である作物に向けてレーザパルスを照射する。受光部２２は、作物茎葉や地表面に反射されたレーザパルスを受光し、レーザパルス照射から受光までの伝播時間と受光部に入射する角度の情報を三次元点群データ演算部２３に送信する。三次元点群データ演算部２３は、受光部２２から送信された情報を基に各レーザパルスの照射点から反射点までの距離や方位角などの三次元点群データを取得する。三次元点群データ記憶部２４は取得された三次元点群データを記憶する。
本実施形態に係るコンピュータ３は、例えば図８に示すように、表示部３１、操作入力部３２、記憶部３３、及び制御回路（ＣＰＵ）３４を有する。各構成要素は、例えばバス（データ通信線）３５により接続されている。
表示部３１は、例えばレーザスキャナ計測装置２により取得された三次元点群データやこの三次元点群データを上述したような生育診断方法で解析を行うための画面を表示する。表示部３１は、例えばＬＣＤ表示パネルや有機ＥＬ発光パネル、ＣＲＴ（Cathode Ray Tube）等の表示装置により構成されている。
操作入力部３２は、例えばキーボード、各種ボタン、ポインティングデバイス、タッチパネル等の入力装置により構成され、ユーザによる操作に応じた信号ＳＩＧ３２を制御回路３４に出力する。制御回路３４は、その信号ＳＩＧ３２に基づいて本発明に係る生育診断解析処理を行う。
記憶部３３は、例えば制御回路３４による処理のワークスペースとして用いられる。記憶部３３は、例えばメモリ３３１、およびデータベース３３２を有する。メモリ３３１は、例えばＲＡＭやＲＯＭ等の記憶装置により構成されている。メモリ３３１は、例えば本発明に係る機能を有するプログラムＰＲＧ３を記憶する。データベース３３２は、例えば後述する本発明に係る各種処理により生成されるデータ情報や初期変数データ情報、過去のデータ情報等のデータＤ３を記憶する。データベース３３２は、例えばハードディスクドライブや光ディスク記憶装置等の記憶装置により構成されている。
制御回路３４は、例えばシステム全体を統括的に制御する。制御回路３４は、例えばプログラムＰＲＧ３を実行することにより本発明に係る機能を実現する。
図９は、図８に示したコンピュータ３の動作を説明するための機能ブロック図である。記憶部３３は、例えば図９に示すように、３次元点群データ情報３０１、草冠位置情報３０２、レーザパルス侵入深さ分布情報３０３、植被率関連情報３０４、窒素量関連情報３０５等の各種データＤ３を関連付けて記憶する。
ここで、３次元点群データ情報３０１は、上述したようにレーザスキャナ計測装置２の三次元点群データ演算部２３及び三次元点群データ記憶部２４で取得された（その後、コンピュータ３の記憶部３３によって保存・記憶された）作物茎葉の３次元点群データに関する情報である。
また、草冠位置情報３０２及びレーザパルス侵入深さ分布情報３０３は、この点群データ３０１等を用いて、上述の生育診断方法を実現するプログラムＰＲＧ３によって演算された情報（例えば、上述のＤｃ、Ｎｃ、Ｌｄ、Ｒａｐ等の情報）である。
また、植被率関連情報３０４及び窒素量関連情報３０５は、同様に、プログラムＰＲＧ３によって演算された情報を含むとともに、プログラムＰＲＧ３が植被率及び窒素量を演算（推定）するためのパラメータを含む。これらのパラメータには、例えば、上述の診断方法において説明したような、レーザパルス侵入率毎のレーザパルス侵入深さと植被率との関係式（例えば、図６（ａ）及び（ｂ）中に示した近似式）における勾配、切片、定数等の情報とが挙げられる。
制御回路３４は、プログラムＰＲＧ３を実行することにより例えば図９に示すように、草冠位置決定部３４１、レーザパルス侵入深さ分布情報演算部３４２、植被率推定部３４３、窒素量推定部３４４等の各機能を実現する。
以上説明したような本発明の生育診断システム１がレーザスキャナ計測装置２の照射部２１と受光部２２とを備えることにより、作物茎葉より上方の照射点から複数のレーザパルスを作物茎葉に向けて照射すること（上記ステップＳ１に対応）と、作物茎葉又は地表面にて反射されたレーザパルスを受光点にて受光すること（上記ステップＳ２に対応）と、が実現される。
また、レーザスキャナ計測装置２の３次元点群データ演算部２３を備えることにより、レーザパルスの照射から受光までに要する伝播時間を少なくとも計測することにより照射点から反射点までの距離を含んだ作物茎葉の三次元点群データを取得すること（上記ステップＳ３に対応）が実現される。
また、コンピュータ３の記憶部３３や制御回路３４の各要素３０１〜３０５及び３４１〜３４４を備え、かつ、制御回路３４にて例えばプログラムＰＲＧ３を実行することにより、作物茎葉の三次元点群データに基づき前記作物茎葉の草冠位置を算出すること（上記Ｓ４に対応）と、草冠位置と三次元点群データとから、草冠位置より下方で反射されたレーザパルスの三次元点群データについて、草冠位置から反射点までのレーザパルス侵入深さＬｄとレーザパルス侵入率Ｒａｐとを算出すること（上記ステップＳ５に対応）と、レーザパルス侵入深さＬｄとレーザパルス侵入率Ｒａｐとから植被率を推定すること（上記ステップＳ６に対応）が実現される。
本発明の作物の生育診断方法及び生育診断システムは、以上のように構成されているので、以下のような作用効果を奏する。
本発明によれば、太陽光を利用することのないレーザスキャナ技術を利用するとともに作物の草冠部を基準にしたレーザパルス侵入深さを計測するために、作物が茂り、計測データから地表面検出が困難となる状態（時期）においても安定した生育パラメータの推定が可能となり、天候や作物の生育状況の影響を受けにくくなる。従って、生育診断の安定性が向上し、生育診断の利用可能時期が拡大するものとなる。
本発明によれば、地表面を基準とする作物の高さ情報を利用せず、作物の草冠部を基準としたレーザパルス侵入深さにより生育パラメータを推定するため、計測データから地表面を判定する処理が不要となり、データ解析時の処理速度や計測精度を向上することができる。例えば、航空機等にレーザスキャナ装置を搭載した場合、本発明の草冠位置基準のレーザパルス侵入深さ計測には、従来必要としていた航空機の位置決定絶対精度（約１５ｃｍ程度の誤差）が関与しなくなり、本発明の計測精度はレーザスキャナの距離計測精度（約１ｃｍ程度の誤差）のみが反映した程度に抑えることが可能になる。
また、本発明によれば、対象物（作物）を一方向（上空）のみから観測したデータに基づいて生育パラメータを推定し、さらにレーザスキャナを平行移動する移動体（航空機や自動車）に搭載することで、生育パラメータを面的に取得することが可能となり、ひいては計測時の労力が軽減されることとなる。
また、本発明では、生育パラメータとして、草冠位置を基準にしたレーザパルス侵入深さから相関関係を有する植被率を取得することができ、ひいては作物中の窒素量（水稲の場合は、稲体窒素量）を推定することも可能である。
本発明は、水稲、大豆などの作物の生育診断に限らず、植物や森林の生育診断にも適用可能であり、様々な産業分野で利用可能性を有する。
本発明は上記実施例に限定されることなく、特許請求の記載した発明の範囲内で種々の変更が可能であり、それらも本発明の範囲に含まれることはいうまでもない。
１ 生育診断システム
２ レーザスキャナ計測装置
３ コンピュータ
２１ 照射部
２２ 受光部
２３ ３次元点群データ演算部
２４ ３次元点群データ記憶部
３１ 表示部
３２ 操作入力部
３３ 記憶部
３４ 制御回路（ＣＰＵ）
３５ バス（データ通信線）
３０１ ３次元点群データ情報
３０２ 草冠位置情報
３０３ レーザパルス侵入深さ分布情報
３０４ 植被率関連情報
３０５ 窒素量関連情報
３３１ メモリ
３３２ データベース
３４１ 草冠位置決定部
３４２ レーザパルス侵入深さ分布情報演算部
３４３ 植被率推定部
３４４ 窒素量推定部
ＳＩＧ３２ 信号
Ｄ３ データ
ＰＲＧ３ プログラム
Ｄ 観測点から作物茎葉又は地表面上の反射点までの鉛直距離
Ｄｃ 観測点から草冠位置までの距離
Ｎｓ 三次元点群データの総数
Ｎｃ 観測点から草冠位置までの領域内に含まれる三次元点群データの数
Ｌｄ レーザパルス侵入深さ
Ｒａｐ レーザパルス侵入率
Ｖ 観測点から鉛直距離Ｄまでの局所領域
Ｖｓ 計測対象の全領域（スキャニングエリア）

Claims (10)

  1. 作物茎葉より上方の照射点から複数のレーザパルスを該作物茎葉に向けて照射するステップと、
    前記作物茎葉又は地表面にて反射された前記レーザパルスを受光点にて受光するステップと、
    前記レーザパルスの照射から受光までに要する伝播時間を少なくとも計測することにより前記照射点から反射点までの距離を含んだ前記作物茎葉の三次元点群データを取得するステップと、
    前記作物茎葉の前記三次元点群データに基づき前記作物茎葉の草冠位置を算出するステップと、
    前記草冠位置と前記三次元点群データとから、前記草冠位置より下方で反射されたレーザパルスの三次元点群データについて、前記草冠位置から前記反射点までのレーザパルス侵入深さとレーザパルス侵入率とを算出するステップと、
    前記レーザパルス侵入深さと前記レーザパルス侵入率とから植被率を推定するステップと、
    を備えることを特徴とする作物の生育診断方法。
  2. 推定された前記植被率から作物内窒素量を推定するステップをさらに備えることを特徴とする請求項１に記載の作物の生育診断方法。
  3. 前記照射ステップと前記受光ステップと前記三次元点群データを取得するステップとは、前記照射点及び前記受光点を前記地表面に対して平行移動させながら実行されることを特徴とする請求項１又は２に記載の作物の生育診断方法。
  4. 前記草冠位置は、前記三次元点群データ全てを、前記照射点から前記反射点までの前記距離について小さい順に並べて１〜２０％までに相当する三次元点群データを選択して算出されることを特徴とする請求項１〜３のいずれか１項に記載の作物の生育診断方法。
  5. 前記植被率の推定ステップは、前記レーザパルス侵入率の値が３５％〜９８％の範囲内のある少なくとも一点を選択し、該値に対応するレーザパルス侵入深さを、前記レーザパルス侵入率の該値について予め導出されたレーザパルス侵入深さと植被率との関係式によって入力することを特徴とする請求項１〜４のいずれか１項に記載の作物の生育診断方法。
  6. 作物茎葉より上方の照射点から複数のレーザパルスを該作物茎葉に向けて照射する手段と、
    前記作物茎葉又は地表面にて反射された前記レーザパルスを受光する手段と、
    前記レーザパルスの照射から受光までに要する伝播時間を少なくとも計測することにより前記照射点から反射点までの距離を含んだ前記作物茎葉の三次元点群データを取得する手段と、
    前記作物茎葉の前記三次元点群データに基づき前記作物茎葉の草冠位置を算出する手段と、
    前記草冠位置と前記三次元点群データとから、前記草冠位置より下方で反射されたレーザパルスの三次元点群データについて、前記草冠位置から前記反射点までのレーザパルス侵入深さとレーザパルス侵入率とを算出する手段と、
    前記レーザパルス侵入深さと前記レーザパルス侵入率とから植被率を推定する手段と、を備え、かつ、
    前記手段がレーザスキャナ計測装置とコンピュータとを利用することにより実現されることを特徴とする作物の生育診断システム。
  7. 推定された前記植被率から作物内窒素量を推定する手段をさらに備えることを特徴とする請求項６に記載の作物の生育診断システム。
  8. 前記レーザスキャナ計測装置が前記地表面に対して平行移動する移動体に設置されることを特徴とする請求項６又は７に記載の作物の生育診断システム。
  9. 前記草冠位置は、前記三次元点群データ全てを、前記照射点から前記反射点までの前記距離について小さい順に並べて１〜２０％までに相当する三次元点群データを選択して算出されることを特徴とする請求項６〜８のいずれか１項に記載の作物の生育診断システム。
  10. 前記植被率の推定手段は、前記レーザパルス侵入率の値が３５％〜９８％の範囲内のある少なくとも一点を選択し、該値に対応するレーザパルス侵入深さを、前記レーザパルス侵入率の該値について予め導出されたレーザパルス侵入深さと植被率との関係式によって入力することを特徴とする請求項６〜９のいずれか１項に記載の作物の生育診断システム。
JP2009075279A 2009-03-25 2009-03-25 作物の生育診断方法及び生育診断システム Expired - Fee Related JP4982769B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009075279A JP4982769B2 (ja) 2009-03-25 2009-03-25 作物の生育診断方法及び生育診断システム
CN2010800020611A CN102088839B (zh) 2009-03-25 2010-03-08 作物生长发育诊断方法及生长发育诊断系统
PCT/JP2010/053793 WO2010110040A1 (ja) 2009-03-25 2010-03-08 作物の生育診断方法及び生育診断システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009075279A JP4982769B2 (ja) 2009-03-25 2009-03-25 作物の生育診断方法及び生育診断システム

Publications (2)

Publication Number Publication Date
JP2010226968A JP2010226968A (ja) 2010-10-14
JP4982769B2 true JP4982769B2 (ja) 2012-07-25

Family

ID=42780734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009075279A Expired - Fee Related JP4982769B2 (ja) 2009-03-25 2009-03-25 作物の生育診断方法及び生育診断システム

Country Status (3)

Country Link
JP (1) JP4982769B2 (ja)
CN (1) CN102088839B (ja)
WO (1) WO2010110040A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608620B (zh) * 2012-03-12 2013-09-18 北京北科安地科技发展有限公司 一种依据反射强度与地形形态的激光扫描点云植被过滤方法
WO2014122800A1 (ja) * 2013-02-05 2014-08-14 国立大学法人千葉大学 魚眼画像データ作成プログラム及びｌａｉ算出プログラム
CN103293156B (zh) * 2013-05-20 2015-04-15 北京农业智能装备技术研究中心 一种田间作物长势评估的系统和方法
JP6526474B2 (ja) * 2015-04-30 2019-06-05 株式会社トプコン 植物用センサ装置
CN105891211B (zh) * 2016-05-13 2023-12-01 内蒙古自治区林业科学研究院 一种草本植被盖度激光测量仪
US11262186B2 (en) 2017-04-21 2022-03-01 Farmote Limited Products and processes for measuring the surface profile of a crop or pasture
CN107152662A (zh) * 2017-04-29 2017-09-12 桂林苏桥瑞芯科技股份有限公司 一种自动监测植物生长高度的调光系统
CN113341410B (zh) * 2020-08-04 2022-11-04 中南大学 一种大范围林下地形估计方法、装置、设备及介质
CN112068153B (zh) * 2020-08-24 2022-07-29 电子科技大学 一种基于地基激光雷达点云的冠层间隙率估算方法
AU2021232847A1 (en) * 2020-09-25 2022-04-14 Topcon Corporation Method for detecting plant growth amount, plant sensor, and fertilizing apparatus
CN115529998B (zh) * 2022-10-18 2024-01-26 中国科学院新疆生态与地理研究所 干旱区胡杨断根萌蘖的轮灌修复方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1197208A (zh) * 1996-12-23 1998-10-28 中国科学院长春光学精密机械研究所 对漫反射体反射和透过三维空间光分布的测量装置
CN2405216Y (zh) * 1999-12-10 2000-11-08 中国科学院上海技术物理研究所 一种基于红外傅里叶光谱仪的反射各向异性光谱装置
CN1971213B (zh) * 2005-11-24 2010-04-14 中国科学院自动化研究所 遥控直升机地形检测装置
JP3865764B1 (ja) * 2006-08-15 2007-01-10 アルスマエヤ株式会社 森林資源調査方法および森林資源調査装置
JP2008111725A (ja) * 2006-10-30 2008-05-15 Tokyo Electric Power Co Inc:The 葉面積指数算出装置、葉面積指数算出方法及びそのプログラム

Also Published As

Publication number Publication date
JP2010226968A (ja) 2010-10-14
CN102088839A (zh) 2011-06-08
CN102088839B (zh) 2012-08-08
WO2010110040A1 (ja) 2010-09-30

Similar Documents

Publication Publication Date Title
JP4982769B2 (ja) 作物の生育診断方法及び生育診断システム
CN108921885B (zh) 一种综合三类数据源联合反演森林地上生物量的方法
Friedli et al. Terrestrial 3D laser scanning to track the increase in canopy height of both monocot and dicot crop species under field conditions
Gobakken et al. Comparing biophysical forest characteristics estimated from photogrammetric matching of aerial images and airborne laser scanning data
Omasa et al. 3D lidar imaging for detecting and understanding plant responses and canopy structure
Rosell et al. Obtaining the three-dimensional structure of tree orchards from remote 2D terrestrial LIDAR scanning
CN108732129B (zh) 一种用图像表示农田土壤成分的系统及其方法
Hosoi et al. Estimation and error analysis of woody canopy leaf area density profiles using 3-D airborne and ground-based scanning lidar remote-sensing techniques
Zhang et al. Estimation of forest leaf area index using height and canopy cover information extracted from unmanned aerial vehicle stereo imagery
WO2011102520A1 (ja) 水稲収量予測モデル生成方法、及び水稲収量予測方法
EP3846611A1 (en) Method and system for plant stress determination and irrigation based thereon
Liang et al. Close-Range Remote Sensing of Forests: The state of the art, challenges, and opportunities for systems and data acquisitions
Ku et al. Assessment of available rangeland woody plant biomass with a terrestrial LIDAR system
Tilly et al. Precise plant height monitoring and biomass estimation with Terrestrial Laser Scanning in paddy rice
Thi Phan et al. Method for estimating rice plant height without ground surface detection using laser scanner measurement
Simpson et al. UAS-based high resolution mapping of evapotranspiration in a Mediterranean tree-grass ecosystem
細井文樹 et al. Estimating the leaf inclination angle distribution of the wheat canopy using a portable scanning lidar
CN104236486A (zh) 一种棉花叶面积指数快速无损测定方法
Wagner et al. Robust filtering of airborne laser scanner data for vegetation analysis
Tilly et al. Multi-temporal crop surface models derived from terrestrial laser scanning for accurate plant height measurement and biomass estimation of barley
Hoffmeister Laser scanning approaches for crop Monitoring
Leanza et al. Novel measurements and features for the characterization of soil surface roughness
Tsoulias et al. Estimating the canopy volume using a 2D LiDAR in apple trees
Yrttimaa et al. Tree height and stem growth dynamics in a Scots pine dominated boreal forest
Giora et al. Preliminary study on the application of a commercial LAI ceptometer for estimation of leaf production on low vigour mulberry trees

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120307

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120307

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120330

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees