JP5396484B2 - 植物の葉片の成長を測定するための方法およびそれに適した装置 - Google Patents
植物の葉片の成長を測定するための方法およびそれに適した装置 Download PDFInfo
- Publication number
- JP5396484B2 JP5396484B2 JP2011538827A JP2011538827A JP5396484B2 JP 5396484 B2 JP5396484 B2 JP 5396484B2 JP 2011538827 A JP2011538827 A JP 2011538827A JP 2011538827 A JP2011538827 A JP 2011538827A JP 5396484 B2 JP5396484 B2 JP 5396484B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- leaf
- leaf pieces
- growth
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000008635 plant growth Effects 0.000 title claims description 3
- 230000012010 growth Effects 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 19
- 241000196324 Embryophyta Species 0.000 description 18
- 238000005286 illumination Methods 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 8
- 239000012530 fluid Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 241000208125 Nicotiana Species 0.000 description 3
- 244000061176 Nicotiana tabacum Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002363 herbicidal effect Effects 0.000 description 3
- 235000015097 nutrients Nutrition 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000007799 cork Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004009 herbicide Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000002015 leaf growth Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000029553 photosynthesis Effects 0.000 description 2
- 238000010672 photosynthesis Methods 0.000 description 2
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 241000819038 Chichester Species 0.000 description 1
- 239000005562 Glyphosate Substances 0.000 description 1
- 241000239226 Scorpiones Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- XDDAORKBJWWYJS-UHFFFAOYSA-N glyphosate Chemical compound OC(=O)CNCP(O)(O)=O XDDAORKBJWWYJS-UHFFFAOYSA-N 0.000 description 1
- 229940097068 glyphosate Drugs 0.000 description 1
- 244000038280 herbivores Species 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 239000003375 plant hormone Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、葉片の成長を測定するための方法およびそれに適した装置に関する。
植物の成長は、重要な栽培特性の1つであり、代謝過程および成長に対する作用物質の影響の研究において非常に興味深いものである。
植物をそのまま(ganz)使用する場合には、広い面積が必要となる。さらに、葉をそのまま測定するのに適しているのは、特定の成長形態(とりわけロゼット植物;非特許文献1)のみである。植物が年を取るにつれて日陰となる部分が増加するため、そのような方法は、非常に若い段階の植物に使用が限定される。
従来技術によれば、植物そのままではなく、打ち抜かれた葉片も使用されている。打ち抜かれた葉片は、適切な栄養液中でさらに数日間成長する(非特許文献2)。それにより、場所を取らずに、多くの植物の成長の測定を高いスループットで行うことができる。さらに、葉片は、作用物質を容易に使用できるようにする。
葉の成長を光学的に測定するための従来の方法は、通常、植物をそのまま使用する。個々の植物の表面の光学的決定は、2次元で、すなわち投影された葉片を測定することによって(非特許文献3;非特許文献1)、または3次元で、すなわちレーザスキャンまたはステレオカメラによって得られる表面モデルによって(非特許文献4)行われる。さらに、固定台の上に載せた葉片の面積を測定するための市販のシステムが存在する(例えば、LemnaTec GmbH)。そのようなシステムは、例えば、草食動物による食い荒らし被害、または細菌病によって引き起こされる被害の定量化に使用される。
固定台は成長を大きく妨げるので、成長実験のためには、葉片が溶液中で自由に浮動しなければならない。実験が進むうちに流体水位が低下すると、投影面積が減少し、実際の面積増加分がそこに重なる。したがって、2Dでの従来の光学的測定法は、実際の成長率を求めることができない。高い成長率の葉片の場合、流体水位の低下は、実際の成長率の過小評価をもたらすだけであるが、(水位低下によって見掛け上は負の成長が測定されるようなオーダーの値を有する)低い成長率の葉片では、有意な測定を全く行うことができない。多くの植物が、1日の間に顕著な成長過程を示すので、実際の成長率の測定が非常に重要である。
葉片が斜めに置かれているとき、または湾曲しているとき(これは例えば植物ホルモンの作用下で生じる)、投影面積がより小さくなる。したがって、非ステレオ法を用いた成長の測定も可能でない。
Walter A., Scharr H., Gilmer F., Zierer R., Nagel K. A., Ernst M., Wiese A., Virnich O., Christ M. M., Uhlig B., Juenger S. & Schurr U. (2007) Dynamics of seedling growth acclimation towards altered light conditions can be quantified via GROWSCREEN: a setup and procedure designed for rapid optical phenotyping of different plant species. New Phytol. 174, 447−455.
Walter A. (2000) Raeumliche und zeitliche Wachstumsmuster in Wurzeln und Blaettern dikotyler Pflanzen. Dissertation, Univ. Heidelberg.
Granier C, Aguirrezabal L., Chenu K., Cookson S. J., Dauzat M., Hamard P., Thioux J., Rolland G., Bouchier−Combaud S., Lebaudy A., Muller B., Simonneau T. & Tardieu F. (2006) PHENOPSIS, an automated platform for reproducible phenotyping of plant responses to soil water deficit in Arabidopsis thaliana permitted the identification of an accession with low sensitivity to soil water deficit. New Phytol. 169, 623−635.
Kaminuma E., Heida N., Tsumoto Y., Yamamoto N., Goto N., Okamoto N., Konagaya A., Matsui M., and Toyoda T. (2004) Automatic quantification of morphological traits via three−dimensional measurement of Arabidopsis. Plant J. 38, 358−65.
Bouguet 2005
Faugeras et al. 1996
Scharr et al., 2007
Scharr H. (2004). Optimal filters for extended optical flow. In International Workshop on Complex Motion (IWCM) 14−29.
Jaehne B. (2002) Digital Image Processing (3rd ed.): Concepts, algorithms, and scientific applications. Springer−Verlag, London, UK
Biskup B., Scharr H., Schurr U. & Rascher U. (2007) A Stereo imaging System for measuring structural parameters of plant canopies. Plant, Cell and Environ. 30, 1299−1308.
Knutson & Westin, 1993
Jenness JS (2004) Calculating landscape surface area from digital elevation modeis. Wildlife Society Bulletin 32, 829−839
Russ J. C. (2002) The image processing handbook. CRC Press, Inc., Boca Raton, FL
Ellis CA. (1999) Workflow technology. In: Beaudouin−Lafon, M. (Ed.), Computer Supported Co−operative Work Trends in Software 7, 29−54. John Wiley & Sons Ltd., Chichester, UK
Zhang Z. (1999) Flexible camera calibration by viewing a plane from unknown orientations. In: Int. J. Comput. Vision 666−673.
Zhang Z. (2000) A flexible new technique for camera calibration. IEEE T. Pattern Anal. 22: 1330−1334.
Dijkstra E.W. (1959) A note on two problems in connexion with graphs. Numer. Math. 1: 269−271
Faugeras O., Hotz B., Mathieu H., Vieville T., Zhang Z., Fua P., Theron E., Moll L., Berry G., Vuillemin J., Bertin P., Proy C. (1993) Real time correlation−based Stereo: algorithm implementations and applications. Technical Report 2013, INRIA Sophia Antipolis
Hartley and Zisserman, 2004
Trucco and Verri, 1998
Klette R., Zamperoni P., (1995) Handbuch der Operatoren fuer die Bildverarbeitung. Braunschweig−Vieweg, 2.Aufl.
Walter A, Schurr U (1999) The modular character of growth in Nicotiana tabacum plants under steady−state nutrition. J. Exp. Bot. 50: 1 169−1177
Van Rossum, 2006
したがって、本発明の課題は、成長(すなわち葉片の面積成長)を正確に測定し、1日の間の成長のダイナミクスを解明することができるようにする方法を提供することである。さらに、本発明の目的は、多様な植物種の標準化された成長測定を行うことができるようにすることである。
この課題は、本発明によれば、請求項1の前提部を基に、請求項1の特徴部に記載の特徴によって解決される。さらに、この課題は、本発明によれば、請求項7の前提部を基に、請求項7の特徴部に記載の特徴によって解決される。
本発明による方法および装置を用いて、高いスループットで、例えば約500枚の葉片という標本量で成長測定を行うことができ、その際、成長および約1〜1.5時間の間隔での1日の間の成長のダイナミクスを把握または解明することができることが示された。本発明による方法および装置は、時間に関して高い分解能での葉片成長の分析を可能にする。本方法および装置は、調節および較正後、さらに手を加える必要はなく、人手をかけずに自動で2〜5日から約2週間にわたって動作させることができる。
本発明による方法および装置により、葉片に基づいて、植物の(光学的検出に関する)実際の成長率を実現することができる。これは、これまで、従来技術で知られている光学的測定法では可能でなかった。
本発明の方法は、葉片の成長を測定するための方法であって、以下の方法ステップを特徴とする方法に関する。
1.撮影システムの較正:
カメラの較正は、例えば非特許文献5に従って標準的な方法で行うことができる。しかし、従来技術により知られている別の方法も可能である。カメラ位置の相対位置が事前に与えられているので、別途のステレオ較正は必要ない。後の3D再構成のために、較正パラメータが分かっている必要がある。このステップで決定されるパラメータは、焦点距離、中心点(=光軸と像面の交点)、半径方向および接線方向歪みである。
カメラの較正は、例えば非特許文献5に従って標準的な方法で行うことができる。しかし、従来技術により知られている別の方法も可能である。カメラ位置の相対位置が事前に与えられているので、別途のステレオ較正は必要ない。後の3D再構成のために、較正パラメータが分かっている必要がある。このステップで決定されるパラメータは、焦点距離、中心点(=光軸と像面の交点)、半径方向および接線方向歪みである。
2.撮像:
選択するステレオ法に応じて、1枚の葉片につき、a)相関ベースの方法(非特許文献6)では2枚の画像を撮影することができ、b)微分フィルタによってオプティカルフローを求める方法(非特許文献7)では3つ以上の画像を撮影することができる。本方法において画像数をより多くすると、系統的誤差を大幅に減少させることができるようになる(非特許文献8)。上記のカメラを第3のスライドテーブルによって摺動させることによって、十分に小さいステレオ基線が実現される。第3のスライドテーブルの代わりに、2台のカメラを使用することもできる。カメラとしては、例えば産業用カメラまたはステレオカメラを使用することができる。
選択するステレオ法に応じて、1枚の葉片につき、a)相関ベースの方法(非特許文献6)では2枚の画像を撮影することができ、b)微分フィルタによってオプティカルフローを求める方法(非特許文献7)では3つ以上の画像を撮影することができる。本方法において画像数をより多くすると、系統的誤差を大幅に減少させることができるようになる(非特許文献8)。上記のカメラを第3のスライドテーブルによって摺動させることによって、十分に小さいステレオ基線が実現される。第3のスライドテーブルの代わりに、2台のカメラを使用することもできる。カメラとしては、例えば産業用カメラまたはステレオカメラを使用することができる。
3.画像データの処理:
画像データを解析するために、栄養液中で自由に浮動する葉片と背景とを区別しなければならず、または葉片の画像データをセグメント化しなければならない。赤外線フィルタを使用するので、セグメント化のためにグレースケール画像しか使用することができない。
画像データを解析するために、栄養液中で自由に浮動する葉片と背景とを区別しなければならず、または葉片の画像データをセグメント化しなければならない。赤外線フィルタを使用するので、セグメント化のためにグレースケール画像しか使用することができない。
まず、a)しきい値セグメント化(例えば、非特許文献9)を行う。従来技術で知られているしきい値セグメント化のための別の方法も適している。この場合、画素が順次に選択されて、背景か葉片かに従って選別される。
その後、はじめに、b)複数回の形態学的侵食ステップによって縁部領域(例えば容器の壁、流体表面での反射)を除去し、次いで、残っている物体を(画素単位で)最小限の大きさで選択することによって、葉片と考えられる部分を識別する。
次いで、c)葉片が入っている容器の縁部を除外するエッジ補正を行う。(図9参照)。
4.3D再構成:
ステレオアルゴリズム(例えば、非特許文献10)によって、視差マップを作成する。
ステレオアルゴリズム(例えば、非特許文献10)によって、視差マップを作成する。
ステレオカメラ、ステレオビジョン、深さ画像解析に関連して視差があり、あるいはまた2つの異なる像面上での投影図中で同一の物体が占める位置のオフセットのずれがある。その際、像面に属する焦点は、基線長(Basis)bによって空間的に互いに分離される。次いで、2つのレンズの焦点距離fを用いて、以下の関係が得られる:r=bf/D。ここで、Dは視差を表す。したがって、ステレオ画像における視差の測定により、物体に対する距離rを算出することができる。
視差画像の後処理
外れ値、すなわち周辺の点から大きくかけ離れた個々の3D点を、メジアンフィルタ(例えば、非特許文献9)によって除去する。例えばコントラストが低すぎるために視差評価が可能でない領域は、正規化された畳み込み(非特許文献11)によって閉じる。次いで、事前に決定された較正パラメータに基づいて、視差マップから3D表面モデルを計算する(例えば、非特許文献12)。
外れ値、すなわち周辺の点から大きくかけ離れた個々の3D点を、メジアンフィルタ(例えば、非特許文献9)によって除去する。例えばコントラストが低すぎるために視差評価が可能でない領域は、正規化された畳み込み(非特許文献11)によって閉じる。次いで、事前に決定された較正パラメータに基づいて、視差マップから3D表面モデルを計算する(例えば、非特許文献12)。
5.表面の平滑化および測定:
雑音による面積測定の過大評価を妨げるために、前に得られた表面モデルを、Z画像のガウスフィルタ処理によって平滑化する(例えば、非特許文献9)。
雑音による面積測定の過大評価を妨げるために、前に得られた表面モデルを、Z画像のガウスフィルタ処理によって平滑化する(例えば、非特許文献9)。
6.成長率:
相対成長率を、面積値の時系列から求める。測定した成長率は、さらなる解析のためにデータバンク内に用意しておく。
相対成長率を、面積値の時系列から求める。測定した成長率は、さらなる解析のためにデータバンク内に用意しておく。
本発明の核心は、正確な面積測定を可能にする葉片の3D表面モデルが得られるステレオ撮像の使用である。
葉片を、例えば水平な面上でマイクロタイタープレートまたはペトリ皿に載せる。少なくとも1台のカメラと、LEDアレイと、スライドテーブルとからなる撮影システムによって、葉片の光学的検出を行う。X−Y−スライドテーブルによって、カメラシステムをそれぞれの葉片の上に位置決めすることができる。カメラシステムは、例えば、撮影対象の植物を均質に照明する複数の赤外LED照明群からなる。照明の位置は静止したままであり、一方、様々なカメラの位置は3基のスライドテーブルによって移動される。植物への生理学的な作用を避けるために、撮像用の照明が赤外範囲内で行われることが好ましい。それに対応して、外部照明に依存せずにできるだけ一定の照明強度を保証するために、カメラに赤外線フィルタが装備される。光合成で利用できる波長を放出する蛍光灯または別の光源によって、規定の明暗周期で光合成活性照明を行うことができる。規定の温度および湿度を保証するために、この方法は人工気候室内で実施することができる。
本発明による方法は、例えば約500枚の葉片の同時測定を可能にする。様々な作用物質を用いた実験から、除草剤作用の下で成長率がより低い場合に、本発明による方法によって正確な(すなわち投影効果によって歪曲されていない)成長率が求められることが示されている。それに対して、投影面積を使用する場合には、除草剤作用の下では、見掛け上は負の成長率が生じた。
例えば、ベルトコンベアによって、周期的に測定されるマイクロタイタープレートの数を増加させることができる。
例えば、マイクロタイタープレート用の保管装置およびロボットアームによって、周期的に測定されるマイクロタイタープレートの数を増加させることができる。
本発明による装置は、大型で高価な人工気候室ではなく、例えば空調管理された筐体内に置くことができる。それにより、本発明による方法および装置は、例えば空調管理されていない実験室で、ほぼ自立式に使用可能である。
さらに、本発明は、上述した方法に適した装置に関する。
この装置は、赤外線フィルタを有する少なくとも1台のカメラと、赤外線照明と、カメラおよび赤外線照明用のX/Y平面内でのスライドテーブルと、葉片用の保管容器と、電子解析および制御ユニットとを備える。
有利な発展形態は、従属請求項に記載される。
図面は、本発明による方法および装置の例示的実施形態、ならびに成長測定の結果を示す。
以下、本発明による方法および本発明による装置を詳細に説明する例示的実施形態を提示する。
・例示的実施形態
・本発明による方法の精度
投影される葉面積Ap(投影葉面積)を求める精度のテストとして、タバコ(Nicotiana tabacum)の葉片24枚に穿孔し、すぐにフラットベッドスキャナ(Epson Perfection 2480 Photo,Epson(日本国長野県諏訪市))を用いて、400dpiの解像度で白い背景の前でスキャンした。スキャナによって生成されたRGB画像を、HSV(色相、彩度、明度値)色空間に変換した。次いで、チャネルH、S、Vでのしきい値(最小/最大)を使用することによって、葉標本を葉と背景にセグメント化した。この方法は、フルカラー情報を利用できるので、葉緑素の識別に最適である(非特許文献13;非特許文献1;非特許文献10)。このようにして求められたApのばらつき係数(CV)は3.8%であり、すなわち、コルク穿孔器によって穿孔された葉片の面積は3.8%のばらつきがあった。それに対し、本発明による方法によって測定された24枚の葉片の面積ApのCVは3.2%であり、CV A3D(本発明による3次元測定法によって再構成された葉面積の面積値)は3.8%であった。一般に、CV(A3D)はCV(AP)よりも大きい値を取るはずである。なぜなら、コルク穿孔器が、葉片をほぼ完全な円形の周縁で抜き取るが、表面は、隆起していたり波打っていたりする可能性があるからである。この精度決定から、本発明による方法により、色情報がないにも関わらず、従来の画像処理法よりも良くはないにせよ同等に良好なセグメント化結果を得られることが分かった。
・本発明による方法の精度
投影される葉面積Ap(投影葉面積)を求める精度のテストとして、タバコ(Nicotiana tabacum)の葉片24枚に穿孔し、すぐにフラットベッドスキャナ(Epson Perfection 2480 Photo,Epson(日本国長野県諏訪市))を用いて、400dpiの解像度で白い背景の前でスキャンした。スキャナによって生成されたRGB画像を、HSV(色相、彩度、明度値)色空間に変換した。次いで、チャネルH、S、Vでのしきい値(最小/最大)を使用することによって、葉標本を葉と背景にセグメント化した。この方法は、フルカラー情報を利用できるので、葉緑素の識別に最適である(非特許文献13;非特許文献1;非特許文献10)。このようにして求められたApのばらつき係数(CV)は3.8%であり、すなわち、コルク穿孔器によって穿孔された葉片の面積は3.8%のばらつきがあった。それに対し、本発明による方法によって測定された24枚の葉片の面積ApのCVは3.2%であり、CV A3D(本発明による3次元測定法によって再構成された葉面積の面積値)は3.8%であった。一般に、CV(A3D)はCV(AP)よりも大きい値を取るはずである。なぜなら、コルク穿孔器が、葉片をほぼ完全な円形の周縁で抜き取るが、表面は、隆起していたり波打っていたりする可能性があるからである。この精度決定から、本発明による方法により、色情報がないにも関わらず、従来の画像処理法よりも良くはないにせよ同等に良好なセグメント化結果を得られることが分かった。
面積決定の精度に対するカメラと対象物の離隔距離の影響を調べるために、様々な流体液位で浮動する葉片の画像を撮影した(図7)。投影された葉面積Apは、明らかに離隔距離に依存していた。すなわち、カメラ距離を10mm縮めると、葉面積は14%増大した。逆に、A3Dはほぼ一定であり、最大のばらつきが2%であった。これは、測定期間が非常に長く、蒸発により流体水位が著しく低下するときに正確な成長測定を行うために、ここで提示する本発明による3D再構成法が必要であることを明らかに示す。
成長分析
成長測定の事例研究のために、計458枚のタバコ(Nicotiana tabacum)の葉片を使用した。可能な最速の撮像では、各葉片を1.5時間で一回撮影した(1枚の葉片につき1対の画像)。これは、カメラの位置決めを含めて、1枚の葉片につき11.8秒の平均撮影時間に相当する。72時間後にこの実験を終了した。合計で約22000枚の画像を撮影した。
成長測定の事例研究のために、計458枚のタバコ(Nicotiana tabacum)の葉片を使用した。可能な最速の撮像では、各葉片を1.5時間で一回撮影した(1枚の葉片につき1対の画像)。これは、カメラの位置決めを含めて、1枚の葉片につき11.8秒の平均撮影時間に相当する。72時間後にこの実験を終了した。合計で約22000枚の画像を撮影した。
画像処理システム
ハードウェア構造(図1および図2)は、2DスクリーニングシステムGROWSCREEN(非特許文献1)の設計に基づく。本発明によるシステムは、58cm×58cmの矩形の測定領域を検出する。Point Grey Scorpion SCOR−20SOMカメラ(Point Grey Research,Vancouver,BC,カナダ)を用いて画像を撮影し(2メガ画素;最大解像度1600×1200画素)、FireWire400ケーブルによって制御計算機に伝送する(IEEE 1394a;最大転送率:400Mビット)。赤外線(IR)フィルタ(Model 27 093;Schneider−Kreuznach,Bad−Kreuznach,Germany;800nmよりも長い波長で透過性)を有するC−Mount−Objektiv(15mm;Rodenstock,Muenchen,Germany)によって画像を撮影する。カメラは、垂直下方向に向ける。撮像用の照明として、それぞれ18個のLED(λmax=800nm;Conrad Electornic,Hirschau,Germany)を有する4つのIR−LEDアレイを使用する。IR照明は、生理学的に活性でなく、かつより高いコントラストで植物標本が見えるようにするという追加の利点を有する。
ハードウェア構造(図1および図2)は、2DスクリーニングシステムGROWSCREEN(非特許文献1)の設計に基づく。本発明によるシステムは、58cm×58cmの矩形の測定領域を検出する。Point Grey Scorpion SCOR−20SOMカメラ(Point Grey Research,Vancouver,BC,カナダ)を用いて画像を撮影し(2メガ画素;最大解像度1600×1200画素)、FireWire400ケーブルによって制御計算機に伝送する(IEEE 1394a;最大転送率:400Mビット)。赤外線(IR)フィルタ(Model 27 093;Schneider−Kreuznach,Bad−Kreuznach,Germany;800nmよりも長い波長で透過性)を有するC−Mount−Objektiv(15mm;Rodenstock,Muenchen,Germany)によって画像を撮影する。カメラは、垂直下方向に向ける。撮像用の照明として、それぞれ18個のLED(λmax=800nm;Conrad Electornic,Hirschau,Germany)を有する4つのIR−LEDアレイを使用する。IR照明は、生理学的に活性でなく、かつより高いコントラストで植物標本が見えるようにするという追加の利点を有する。
照明強度の温度依存ドリフトを防ぐために、実験全体を通じてLED照明を点けておく。使用したLEDアレイは、20分超経過してからようやく、安定強度の1%に近づいた。画像雑音を減少させるために、1つの撮影位置につき5枚の画像を撮影し、その平均値を取る。画像は、1280×960画素の解像度で撮影し、TIFF形式で、損失のないPackBits圧縮で記憶した。
2基の高精度スライドテーブル(「X」および「Y」;Pico−Maxi,Type FMD−LPT80.550.1205−SM,Laser 2000 GmbH,Muenchen,Germany;マイクロステップモータ:MDrive 23 Plus;Intelligent Motion Systems,Marlborough,USA)によって、カメラとIR照明ユニットを水平面内で移動させる。第3のスライドテーブル(「X2」)が、1対または1列のステレオ画像の撮影時にカメラをX方向に摺動させるように働き、一方、IR照明ユニットの位置は変化しない。これは、照明が一定であることがステレオ撮影の前提条件であるので必須である。撮影および位置決めシステム全体が、X−95プロファイル要素(Linos Photonics,Goettingen,Germany)からなる安定な骨組みに取り付けられる。
調べる葉片は、24個の凹部を有するマイクロタイタープレートに保管する(図8;Nunc,Roskilde,デンマーク)。凹部は、均等に配列され、それぞれ体積が2.5mlである。実験期間にわたって、プレートの蓋を外して、妨げのないガス交換を可能にし、曇りを防止する。リフトテーブル(Swiss BOY 110,Rudolf Grauer AG,Degersheim,スイス)の上に検査対象物を載せ、このリフトテーブルによって撮像に適した距離を調節することができる。水準器によって、位置決めシステムも検査対象物も水平向きであることが保証される。コントラストを向上させる(ひいては、それによりセグメント化を容易にする)ために、台を黒色のプラスチックで覆う。
コンピュータシステム
図13は、本発明による方法のハードウェアコンポーネントと個別の計算機システム上で実行されるソフトウェアコンポーネントとを示す概略図である。撮像は、パーソナルコンピュータ(PC)上で行われる(「MASTER」と表されている;Intel(登録商標)Pentium(登録商標)4 DualCore,2 GB DDR400 RAM(Intel,Santa Clara,USA),SuSE Linux 10.2;SuSE,2006)。このPC上で、マルチユーザデータバンクが実行される(下記参照)。スクリーニングシステムは、自動画像解析のために、複数のさらなるPC(クラスターノード;1 GB DDR 400 RAM,SuSE Linux 10.2 (Novell,Provo,USA))を利用できる。大量のデータを処理するために、使用するすべての計算機がギガビットネットワークを介して接続される。
図13は、本発明による方法のハードウェアコンポーネントと個別の計算機システム上で実行されるソフトウェアコンポーネントとを示す概略図である。撮像は、パーソナルコンピュータ(PC)上で行われる(「MASTER」と表されている;Intel(登録商標)Pentium(登録商標)4 DualCore,2 GB DDR400 RAM(Intel,Santa Clara,USA),SuSE Linux 10.2;SuSE,2006)。このPC上で、マルチユーザデータバンクが実行される(下記参照)。スクリーニングシステムは、自動画像解析のために、複数のさらなるPC(クラスターノード;1 GB DDR 400 RAM,SuSE Linux 10.2 (Novell,Provo,USA))を利用できる。大量のデータを処理するために、使用するすべての計算機がギガビットネットワークを介して接続される。
データ管理
得られたデータは、MySQLデータバンク(MySQL AB,Uppsala,Sweden)およびデータサーバ上で管理する。スクリーニングシステムの基本データおよび動的データをデータバンクに記憶し、ネットワークを介して呼び出すことができる。データバンクは、コアアプリケーションとクラスターノードの間の通信の主インターフェースを構成する。
得られたデータは、MySQLデータバンク(MySQL AB,Uppsala,Sweden)およびデータサーバ上で管理する。スクリーニングシステムの基本データおよび動的データをデータバンクに記憶し、ネットワークを介して呼び出すことができる。データバンクは、コアアプリケーションとクラスターノードの間の通信の主インターフェースを構成する。
画像データおよび他の大容量データがデータサーバ上に保存される。このサーバには、MASTERおよびすべてのノードが、CIFS(共通インターネットファイルシステム(Common internet file system))を介してアクセスできる。このサーバ上のデータは、そのパス名に基づいて参照される。データバンクは、大容量データに関して、メタ情報(データタイプ、作成日、作成者)を記憶する。
並列化およびワークフロー概念
撮影された画像の処理を、ワークフローパラダイム(非特許文献14)に従って実施した。ここで、タスク全体を、一連の別個のワークフローステップに分ける。このようにすると、1.)処理ステップを別のワークフローで再利用することができ、2.)解析を容易に並列化することができ、3.)例えば構成パラメータの変更に従って、個別のステップを簡単に再び行うことができる。図14は、葉片の3D面積を計算する個別のステップを示す。
撮影された画像の処理を、ワークフローパラダイム(非特許文献14)に従って実施した。ここで、タスク全体を、一連の別個のワークフローステップに分ける。このようにすると、1.)処理ステップを別のワークフローで再利用することができ、2.)解析を容易に並列化することができ、3.)例えば構成パラメータの変更に従って、個別のステップを簡単に再び行うことができる。図14は、葉片の3D面積を計算する個別のステップを示す。
1.)撮影システムの較正
a)カメラ較正
実験を行う前に、確立されている方法によってカメラを較正した(非特許文献15;非特許文献16)。様々な向きから、少なくとも30枚の市松模様の画像を撮影した。J.Y.Bouguet(Intel,Santa Clara,CA,USA)のカメラ較正ツールボックスのOpenCV実装によって、カメラの内因性パラメータ(焦点距離、中心点、半径方向および接線方向歪み)を評価した。
a)カメラ較正
実験を行う前に、確立されている方法によってカメラを較正した(非特許文献15;非特許文献16)。様々な向きから、少なくとも30枚の市松模様の画像を撮影した。J.Y.Bouguet(Intel,Santa Clara,CA,USA)のカメラ較正ツールボックスのOpenCV実装によって、カメラの内因性パラメータ(焦点距離、中心点、半径方向および接線方向歪み)を評価した。
b)ステレオ較正
ステレオシステムのパラメータ(左のカメラシステムに対する右のカメラシステムの回転および並進)を以下のように決定した。ステレオ基線は、使用される高精度スライドテーブルにより既知である。しかし、カメラのCCDセンサは、取付けにより、摺動方向に対してわずかに回転していることがあるので、修正が必要なことがある。回転している場合、これは摺動距離に線形に依存する。これは、ステレオ対応付け試行の質を低下させることがある。なぜなら、使用されるアルゴリズムは、(X方向での)カメラセンサの列に沿ったカメラ摺動を行うことに基づいており、したがって対応付け試行も1列でしか予想することができないからである。したがって、修正のために、パノラマステッチソフトウェアHuginを用いて少なくとも40点の対応付けを求め、その後、回転を評価する。次いで、画像列と摺動方向が再び一致するように右の画像を回転させる。このプロセスは、カメラの取付け後に1回だけ実施すればよい。あるいは、例えば上記のJ.Y.Bouguet(Intel,Santa Clara,CA,USA)によるカメラ較正ツールボックスを用いてステレオ較正を行うこともできる。
ステレオシステムのパラメータ(左のカメラシステムに対する右のカメラシステムの回転および並進)を以下のように決定した。ステレオ基線は、使用される高精度スライドテーブルにより既知である。しかし、カメラのCCDセンサは、取付けにより、摺動方向に対してわずかに回転していることがあるので、修正が必要なことがある。回転している場合、これは摺動距離に線形に依存する。これは、ステレオ対応付け試行の質を低下させることがある。なぜなら、使用されるアルゴリズムは、(X方向での)カメラセンサの列に沿ったカメラ摺動を行うことに基づいており、したがって対応付け試行も1列でしか予想することができないからである。したがって、修正のために、パノラマステッチソフトウェアHuginを用いて少なくとも40点の対応付けを求め、その後、回転を評価する。次いで、画像列と摺動方向が再び一致するように右の画像を回転させる。このプロセスは、カメラの取付け後に1回だけ実施すればよい。あるいは、例えば上記のJ.Y.Bouguet(Intel,Santa Clara,CA,USA)によるカメラ較正ツールボックスを用いてステレオ較正を行うこともできる。
2.)撮像
位置決め時間を最短にするために、(Dijkstraのアルゴリズムに従って;非特許文献17)最適な順序で、予め定義された撮像位置(図3)を取る。各撮影位置で、基線長(カメラ中心間の距離)b=20mmで2枚の画像を撮影する。それによって得られるより大きな視差が、より良い深さ解像度を可能にするので、bをできるだけ大きく選択することが望ましい。他方で、bは、視野および葉片の大きさによって制限される。基線長b=20mmが選択される場合、実験期間にわたって左右の画像内で葉片を見ることができることが保証された。
位置決め時間を最短にするために、(Dijkstraのアルゴリズムに従って;非特許文献17)最適な順序で、予め定義された撮像位置(図3)を取る。各撮影位置で、基線長(カメラ中心間の距離)b=20mmで2枚の画像を撮影する。それによって得られるより大きな視差が、より良い深さ解像度を可能にするので、bをできるだけ大きく選択することが望ましい。他方で、bは、視野および葉片の大きさによって制限される。基線長b=20mmが選択される場合、実験期間にわたって左右の画像内で葉片を見ることができることが保証された。
3.)葉片のセグメント化/認識
撮像時に白色光ではなく赤外線照明を使用するという生物学的な必要性が、セグメント化を難しくする。カラー画像は、簡単に、かつ正確にセグメント化することができる(非特許文献13;非特許文献1)。それに対し、IR照明の下では、限定されたスペクトルにより、グレー値画像しか撮影することができない。暗い背景の使用は有利であるが、グレー値だけに基づいてマイクロタイタープレートの凹部壁と葉片を区別することはできない。したがって、以下のセグメント化プロセスを使用した。
撮像時に白色光ではなく赤外線照明を使用するという生物学的な必要性が、セグメント化を難しくする。カラー画像は、簡単に、かつ正確にセグメント化することができる(非特許文献13;非特許文献1)。それに対し、IR照明の下では、限定されたスペクトルにより、グレー値画像しか撮影することができない。暗い背景の使用は有利であるが、グレー値だけに基づいてマイクロタイタープレートの凹部壁と葉片を区別することはできない。したがって、以下のセグメント化プロセスを使用した。
・撮影された画像Iacq内の強度のばらつき(不均質な照明による)を、基準背景画像によって較正する(非特許文献9)。
・しきい値セグメント化:最小および最大しきい値を使用することによって、撮影された画像のバイナリマスク(Mt)を生成する。これらの値は、葉片の照明強度および輝度に応じて、生成されたマスクを段階的に変化させて、視覚的に認識できる葉片の境界と比較することによって求める。
・形態学的侵食:マスクの縁部を形態学的に侵食する(非特許文献9)。それにより、物体輪郭の不整をなくす。次いで、残った画素から、葉片と考えられる部分それぞれの重心Ciを計算する。
・エッジ補正:葉片の縁部を認識するために、ciからの距離rの増加に伴う画素数(画素面積)の増加
を使用する。
が葉片の理論上の増大2πrの0.6倍未満に低下するときの半径rmaxを、セグメント化の縁部基準として使用する(図9および図10)。このようにして、最終的なセグメント化マスクMsが得られる。1対の画像の両画像からの葉片と考えられる部分を、実際の予想される視差に基づいて一致させる。
所定の位置で事前に葉片が検出されなかった場合、一意の識別子、すなわち植物識別番号を有する新たな葉片をデータバンクに登録する。
投影された葉面積Apは、所定の位置での1対の画像のうち第1の画像のMsにおける非ゼロ画素の和として計算される。
データ量を減少させるために、さらなる処理ステップに関して、葉片がある画像部分のみを使用する。
4.)ステレオ対応付け試行および3D再構成
前の処理ステップからの葉片の1対の画像を使用して、2カメラステレオによって深さマップを計算する。
前の処理ステップからの葉片の1対の画像を使用して、2カメラステレオによって深さマップを計算する。
・画像を調整する、すなわち真直ぐにする。その際、ずれ(視差)がx方向のみで生じるように画像の向きを真直ぐにするか、または修正する。それにより、カメラセンサのスキャンラインがカメラの移動方向と一致する(「ステレオ較正」参照)。
・相関ベースのステレオアルゴリズム(非特許文献18;非特許文献10)が、調整された1対の画像に対して使用される。アルゴリズムは、画像内の各画像点ごとに、別の画像内での対応する点のずれを求めることを試行する(=対応付け試行)。例えば非特許文献18からの相関関数c2を使用して、矩形の画像範囲を比較する。使用するステレオ幾何形状および事前に実施された調整に基づいて、水平方向での摺動のみを行うことができるようになる。したがって、対応付け試行は、2D問題ではなく1D問題のみを提示する(非特許文献19;非特許文献20)。対応付け試行の結果が、視差画像Dである。
・後処理:Dでの外れ値をメジアンフィルタ(半径:25画素)によって取り除く(非特許文献21)。外れ値とは、暗に、周辺に比べて非常に小さいか、または非常に大きい画素である。周辺にあるすべての画素をそれらの値に従ってソートし、リストの中央の値を取る。そのようにして順序付けを行う。
処理ステップの最後に面積値を計算すべきであるので、再構成された葉片において、存在することがあり得る穴は閉じなければならない。これは、正規化された畳み込みにより、視差評価が可能でなかった点の補間によって行う(非特許文献11)。後処理により、平滑化された視差画像Dgegが得られる。
・ステレオシステムの内因性および外因性パラメータに基づいて、Dgeg内のすべての点の3D位置を三角測量で測定する。このようにして、ユークリッド座標系X、Y、およびZが定められた座標格子Wが得られる。
5.)表面モデルの平滑化
再較正された3D点群の深さZを、円板状のメジアンフィルタ(非特許文献9)(半径:15画素)によって平滑化し、表面の小さい起伏を取り除く。
再較正された3D点群の深さZを、円板状のメジアンフィルタ(非特許文献9)(半径:15画素)によって平滑化し、表面の小さい起伏を取り除く。
・3Dモデルから副標本を抽出し(unterabgetastet)(X方向とY方向で各7点)、葉片の3D面積A3Dを、表面上の個々の点の既知の隣接関係に基づいて求める。
ここで、
h=画像の高さ
w=画像の幅
AΔ=三角形面積
W=座標格子
Wxy=格子位置
三角形面積AΔは3つのベクトルによって定義される。
h=画像の高さ
w=画像の幅
AΔ=三角形面積
W=座標格子
Wxy=格子位置
三角形面積AΔは3つのベクトルによって定義される。
6.)成長率の算出
式
の指数的な成長率を仮定すると、葉組織の相対成長率(relative growth rates;RGR)は、
によって定義され、ここで、A(t2)およびA(t1)は、それぞれ2つの連続する時点t2およびt1に関する投影されたか、または3D葉面積であり、d−1=1日当たりである(例えば、非特許文献22参照)
式
ソフトウェアアーキテクチャ
本発明による方法は、主にオープンソースソフトウェアを使用する。クライアントソフトウェア(プログラムCLIENT)は、C++/Qt(Trolltech,Oslo,Norwegen)で実装される。CLIENTプログラムの主なタスクは、1.)新規の測定キャンペーンをパラメータ化すること(測定時間間隔など);2.)カメラおよびスライドテーブルを調節すること;3.)作業範囲全体の概要画像を生成し、それを用いて、次いで撮影すべき葉片を選択することができること;4.)実行されているシステムを監視すること(解析やシステム負荷などの状態)。プログラムCLIENTは、LinuxおよびWin32オペレーティングシステム上で実行される。
本発明による方法は、主にオープンソースソフトウェアを使用する。クライアントソフトウェア(プログラムCLIENT)は、C++/Qt(Trolltech,Oslo,Norwegen)で実装される。CLIENTプログラムの主なタスクは、1.)新規の測定キャンペーンをパラメータ化すること(測定時間間隔など);2.)カメラおよびスライドテーブルを調節すること;3.)作業範囲全体の概要画像を生成し、それを用いて、次いで撮影すべき葉片を選択することができること;4.)実行されているシステムを監視すること(解析やシステム負荷などの状態)。プログラムCLIENTは、LinuxおよびWin32オペレーティングシステム上で実行される。
性能特性
分散システムの性能特性を測定するために、様々な人工的な解析ジョブの平均実行時間を分析した(表1)。様々な数のクラスターノードで測定を繰り返して、スケーラビリティを求めた。性能テスト用の分散システムは、MySQLデータバンクおよび撮影ソフトウェアを備える64ビット2.6GHz DualCoreコンピュータと、解析用の5台の32ビットIntel(登録商標)Pentium(登録商標)4 DualCoreコンピュータ(クラスターノード)とからなる。最大構成では、各クラスターノードで、並列して2つのコンシューマプロセスを行った。
分散システムの性能特性を測定するために、様々な人工的な解析ジョブの平均実行時間を分析した(表1)。様々な数のクラスターノードで測定を繰り返して、スケーラビリティを求めた。性能テスト用の分散システムは、MySQLデータバンクおよび撮影ソフトウェアを備える64ビット2.6GHz DualCoreコンピュータと、解析用の5台の32ビットIntel(登録商標)Pentium(登録商標)4 DualCoreコンピュータ(クラスターノード)とからなる。最大構成では、各クラスターノードで、並列して2つのコンシューマプロセスを行った。
図15は、様々な人工的なジョブを実行する際のスケーラビリティを示す。EMPTYとCPU_BOUNDジョブは、類似した特性を有する。それらは、1〜10台の範囲の使用されるCPUにわたってほぼ線形にスケールする。IO_BOUNDジョブは、それらに比べてスケーリングが良好でない。使用されるCPUが10台の場合に、使用されるCPUが1台の場合に比べてスループットが200%しか上昇しない。典型的な解析ジョブは、むしろCPU_BOUNDジョブのように機能する。なぜなら、データサーバからの、およびデータサーバへのデータトラフィックのみが別のノードの実行速度に影響を及ぼし、ローカルデータトラフィックは影響を及ぼさないからである。
サーバプログラム
サーバプログラムは、プログラミング言語Python(非特許文献23)で実装されている。性能が重視される部分は、C++で実装されている。CおよびC++ライブラリ用のPython接続は、SWIG Wrapper Generatorによって生成した。
サーバプログラムは、プログラミング言語Python(非特許文献23)で実装されている。性能が重視される部分は、C++で実装されている。CおよびC++ライブラリ用のPython接続は、SWIG Wrapper Generatorによって生成した。
プログラムWORKFLOWは、タイムアウトに達しているジョブ、または実行したところエラーが返された(状態ERRORの)ジョブについて、データバンクテーブルjobを定期的に検査し、それらのジョブを新たに実行させる。さらに、ワークフロー規則を使用し、それにより、場合によっては新規のジョブを生成する。
プログラムCONSUMERは、各クラスターノード上で実行され、そこで、状態NEWでジョブを実行する。マルチコアマシン上で、CONSUMERを、存在するプロセッサコア1つにつき一回開始させる。
プログラムWATCHDOGは、データバンクおよびデータシステムの問題(機能不良、メモリ領域の不足)を定期的に検査し、場合によっては、電子メールを介してシステム管理者に通知する。
Claims (6)
- 植物の葉片の成長を測定するための方法であって、
a)撮影システムを較正し、撮影システムの較正パラメータを決定するステップと、
b)前記較正された撮影システムを用いて、1枚の葉片の少なくとも1対のステレオ画像を撮像するステップと、
c)撮影された各画像を処理するステップであって、
i)しきい値セグメント化によって前記葉片をセグメント化することと、
ii)前記セグメント化された画像に対して形態学的侵食ステップを行うことと、
iii)前記形態学的侵食を施された画像上で、保管容器の縁部を除去するためにエッジ補正を行い、前記葉片の縁部を認識することと
を含むステップと、
d)前記エッジ補正を施された画像から、前記葉片の投影される葉面積値A p を算出するステップと、
e)3D再構成を行うステップであって、前記撮影された1対の画像から、ステレオアルゴリズムによって視差画像Dを生成し、事前に決定された較正パラメータに基づいて、視差画像から3D表面モデルを計算するステップと、
f)前記取得された3D表面モデルを平滑化するステップと、
g)前記平滑化された表面モデルから、前記葉片の3D面積値A 3D を算出するステップと、
h)異なる時点で、前記ステップb)による撮像を繰り返すステップと、
i)前記ステップc)〜g)に従って異なる時点に撮影された撮像の解析によって、前記算出された面積値の時系列を生成するステップと、
j)前記算出された面積値の前記時系列から、前記葉片の成長率を算出するステップと
を含む方法。 - 撮影システムの較正時に、少なくとも30枚の市松模様の画像が様々な向きから撮影され、カメラパラメータ、すなわち焦点距離、光軸と像面の交点、ならびに半径方向および接線方向歪みが決定されることを特徴とする請求項1に記載の方法。
- 各撮影位置での撮像時に、2枚の画像が撮影され、基線長bが、左右の画像内で前記葉片を見ることができるような大きさに選択されることを特徴とする請求項1または2に記載の方法。
- しきい値セグメント化時に、最小および最大しきい値の使用によってバイナリマスク(Mt)が生成され、前記最小および最大しきい値が、生成されるバイナリマスクを段階的に変化させて、視覚的に認識できる葉片の境界と比較することによって決定されることを特徴とする請求項1〜3のいずれか一項に記載の方法。
- ある画像での各画像点に関するステレオアルゴリズムによる視差画像Dの生成時に、別の画像内での対応する点のずれが求められることを特徴とする請求項1〜5のいずれか一項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008060141.1 | 2008-12-03 | ||
DE102008060141.1A DE102008060141B4 (de) | 2008-12-03 | 2008-12-03 | Verfahren zur Vermessung des Wachstums von Blattscheiben sowie eine dazu geeignete Vorrichtung |
PCT/DE2009/001601 WO2010063252A1 (de) | 2008-12-03 | 2009-11-11 | Verfahren zur vermessung des wachstums von blattscheiben von pflanzen sowie eine dazu geeignete vorrichtung |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012510276A JP2012510276A (ja) | 2012-05-10 |
JP5396484B2 true JP5396484B2 (ja) | 2014-01-22 |
Family
ID=41728181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011538827A Expired - Fee Related JP5396484B2 (ja) | 2008-12-03 | 2009-11-11 | 植物の葉片の成長を測定するための方法およびそれに適した装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8391591B2 (ja) |
EP (1) | EP2353146B1 (ja) |
JP (1) | JP5396484B2 (ja) |
CN (1) | CN102246205B (ja) |
DE (1) | DE102008060141B4 (ja) |
WO (1) | WO2010063252A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130094753A1 (en) * | 2011-10-18 | 2013-04-18 | Shane D. Voss | Filtering image data |
WO2013083146A1 (en) | 2011-12-09 | 2013-06-13 | Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts | Method and device for estimating development parameters of plants |
CN103309310B (zh) * | 2013-05-21 | 2015-03-25 | 江苏大学 | 一种基于激光扫描的穴盘苗移栽机器人作业监控方法 |
KR20140147343A (ko) * | 2013-06-19 | 2014-12-30 | 한국전자통신연구원 | 온실 작물의 생육 정보 수집 시스템 |
GB2516282B (en) * | 2013-07-17 | 2017-07-26 | Vision Rt Ltd | Method of calibration of a stereoscopic camera system for use with a radio therapy treatment apparatus |
CN103412141B (zh) * | 2013-08-29 | 2015-04-15 | 北京农业信息技术研究中心 | 一种基于机器视觉的葡萄新梢生长速率测量系统及方法 |
CN104705080B (zh) * | 2015-03-20 | 2016-11-30 | 温弘成 | 瓶养植株种植控制方法 |
CN105812739B (zh) * | 2016-03-23 | 2019-07-30 | 中国农业大学 | 一种自动采集植物生长信息的系统和方法 |
KR101822410B1 (ko) * | 2016-07-22 | 2018-01-29 | 아인정보기술 주식회사 | 작물 영상을 사용한 작물 생육 진단 장치 |
CN110414491B (zh) * | 2019-08-29 | 2024-06-14 | 新疆农业科学院经济作物研究所 | 一种棉花单株形态照片的拍摄方法及其辅助装置 |
EP3798679B1 (en) * | 2019-09-30 | 2023-06-21 | STMicroelectronics (Research & Development) Limited | Laser safety verification |
CN111627059B (zh) * | 2020-05-28 | 2023-05-30 | 桂林市思奇通信设备有限公司 | 一种棉花叶片中心点位置定位方法 |
CN111681216B (zh) * | 2020-05-29 | 2022-05-20 | 浙江省农业科学院 | 一种金针菇高通量表型信息获取的方法 |
KR102430150B1 (ko) * | 2020-08-25 | 2022-08-08 | 서울대학교산학협력단 | 식생 모니터링을 위한 분광 센서 회로 및 이를 포함하는 스마트 분광 센서 |
CN114820743A (zh) * | 2021-01-12 | 2022-07-29 | 富泰华工业(深圳)有限公司 | 植物生长高度确定方法、装置、电子设备及介质 |
CN113674407B (zh) * | 2021-07-15 | 2024-02-13 | 中国地质大学(武汉) | 基于双目视觉图像的三维地形重建方法、装置及存储介质 |
CN115930845B (zh) * | 2022-12-19 | 2023-08-11 | 驻马店市自然资源调查监测中心 | 一种基于空间定位的土地面积测量系统及方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
US4656594A (en) * | 1985-05-06 | 1987-04-07 | National Biomedical Research Foundation | Operator-interactive automated chromosome analysis system producing a karyotype |
US5253302A (en) * | 1989-02-28 | 1993-10-12 | Robert Massen | Method and arrangement for automatic optical classification of plants |
DE3906215A1 (de) * | 1989-02-28 | 1990-08-30 | Robert Prof Dr Ing Massen | Automatische klassifikation von pflaenzlingen |
US5659623A (en) * | 1995-03-17 | 1997-08-19 | Ball Horticultural Company | Method and apparatus for assessing the quality of a seed lot |
JPH0923748A (ja) * | 1995-07-11 | 1997-01-28 | Iseki & Co Ltd | 穂木本葉位置検出方法 |
JPH1118571A (ja) * | 1997-06-25 | 1999-01-26 | Ball Horticultural Co | 種ロットの品質を評価するための装置及び方法 |
US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
JP3225269B2 (ja) * | 1999-03-05 | 2001-11-05 | 農林水産省北海道農業試験場長 | 作物個体別追肥方法及び装置 |
ID26384A (id) * | 1999-06-17 | 2000-12-21 | Satake Eng Co Ltd | Metode diagnosa kondisi nutrisi dari panenan pada ladang tanaman |
DE10221948B4 (de) * | 2001-05-14 | 2004-03-11 | Kümmel, Knut, Dipl., -Ing. | Verfahren und System zum volumenspezifischen Beeinflussen von Boden und Pflanzen |
DE102009023896B4 (de) * | 2009-06-04 | 2015-06-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erfassen einer Pflanze |
-
2008
- 2008-12-03 DE DE102008060141.1A patent/DE102008060141B4/de not_active Withdrawn - After Issue
-
2009
- 2009-11-11 CN CN2009801489703A patent/CN102246205B/zh not_active Expired - Fee Related
- 2009-11-11 EP EP09801918A patent/EP2353146B1/de not_active Not-in-force
- 2009-11-11 JP JP2011538827A patent/JP5396484B2/ja not_active Expired - Fee Related
- 2009-11-11 WO PCT/DE2009/001601 patent/WO2010063252A1/de active Application Filing
- 2009-11-11 US US12/998,663 patent/US8391591B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102246205B (zh) | 2013-12-04 |
JP2012510276A (ja) | 2012-05-10 |
WO2010063252A1 (de) | 2010-06-10 |
DE102008060141A1 (de) | 2010-06-10 |
EP2353146A1 (de) | 2011-08-10 |
US20110222737A1 (en) | 2011-09-15 |
CN102246205A (zh) | 2011-11-16 |
EP2353146B1 (de) | 2012-08-22 |
US8391591B2 (en) | 2013-03-05 |
DE102008060141B4 (de) | 2017-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5396484B2 (ja) | 植物の葉片の成長を測定するための方法およびそれに適した装置 | |
Medina et al. | A rapid and cost-effective pipeline for digitization of museum specimens with 3D photogrammetry | |
Golbach et al. | Validation of plant part measurements using a 3D reconstruction method suitable for high-throughput seedling phenotyping | |
Xu et al. | Aerial images and convolutional neural network for cotton bloom detection | |
JP6855587B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
CN110383038A (zh) | 用于对空气样本进行自动分析的系统和方法 | |
Gaillard et al. | Voxel carving‐based 3D reconstruction of sorghum identifies genetic determinants of light interception efficiency | |
CN113920106B (zh) | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 | |
CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
Harandi et al. | How to make sense of 3D representations for plant phenotyping: a compendium of processing and analysis techniques | |
Song et al. | Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera | |
Kochi et al. | All-around 3D plant modeling system using multiple images and its composition | |
CN105574516B (zh) | 可见光图像中基于logistic回归的观赏凤梨叶绿素检测方法 | |
US10204405B2 (en) | Apparatus and method for parameterizing a plant | |
Rossi et al. | A comparison of high-throughput imaging methods for quantifying plant growth traits and estimating above-ground biomass accumulation | |
CN116797824A (zh) | 一种基于视觉系统的鸡蛋活性自动检测方法及系统 | |
CN115880429A (zh) | 一种蔬菜壮苗判断模型确定方法和系统 | |
Nguyen et al. | Towards high-throughput 3D insect capture for species discovery and diagnostics | |
JP2020115283A (ja) | 特徴量決定方法、学習用データ生成方法、学習用データセット、評価システム、プログラム、及び、学習方法 | |
Xu et al. | TIPS: A three-dimensional phenotypic measurement system for individual maize tassel based on TreeQSM | |
Wu et al. | Seedscreener: A novel integrated wheat germplasm phenotyping platform based on NIR-feature detection and 3D-reconstruction | |
Sun et al. | Three-dimensional cotton plant shoot architecture segmentation and phenotypic trait characterization using terrestrial LiDAR point cloud data | |
Zhu et al. | Stem-leaf segmentation and phenotypic trait extraction of maize shoots from three-dimensional point cloud | |
AU2013273789A1 (en) | Thickness estimation for Microscopy | |
Tang | Computational optimisation of optical projection tomography for 3D image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |