JPWO2019097892A1 - 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体 - Google Patents

圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JPWO2019097892A1
JPWO2019097892A1 JP2019553741A JP2019553741A JPWO2019097892A1 JP WO2019097892 A1 JPWO2019097892 A1 JP WO2019097892A1 JP 2019553741 A JP2019553741 A JP 2019553741A JP 2019553741 A JP2019553741 A JP 2019553741A JP WO2019097892 A1 JPWO2019097892 A1 JP WO2019097892A1
Authority
JP
Japan
Prior art keywords
image
data
canopy
field
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019553741A
Other languages
English (en)
Other versions
JP7218870B2 (ja
Inventor
和樹 関谷
和樹 関谷
谷口 賀春
賀春 谷口
神谷 俊之
俊之 神谷
宏章 落合
宏章 落合
有里可 名越
有里可 名越
威 郭
威 郭
ユエ ム
ユエ ム
平藤 雅之
雅之 平藤
正士 二宮
正士 二宮
大輔 ▲高▼田
大輔 ▲高▼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
University of Tokyo NUC
Original Assignee
NEC Solution Innovators Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd, University of Tokyo NUC filed Critical NEC Solution Innovators Ltd
Publication of JPWO2019097892A1 publication Critical patent/JPWO2019097892A1/ja
Priority to JP2023004694A priority Critical patent/JP2023052423A/ja
Application granted granted Critical
Publication of JP7218870B2 publication Critical patent/JP7218870B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00Methods for working soil
    • A01B79/005Precision agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Botany (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Human Resources & Organizations (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

実際に農作物が育種されている実圃場について、容易にフェノタイピングのためのデータを取得できる新たなシステムを提供する。本発明の育種データ収集装置1は、圃場情報、撮影条件、および撮影条件と紐づけた圃場の空撮画像を保持する情報記憶部101、空撮画像を、撮影条件の撮影高度に基づき撮影高度範囲が異なる複数の画像群に分類する分類部111、複数の画像群のうち一つの画像群と撮影条件とから、画像処理データ(2次元オルソモザイク、数値表層モデル、およびポイントクラウド)を生成し、画像処理データから圃場の植物形質を解析する画像処理部112、画像処理部112で得られたデータを処理する可視化部113、画像処理部112および可視化部113で得られたデータを処理情報として保持する処理情報記憶部102、画像処理部112および可視化部113で得られたデータを出力する出力部120を有することを特徴とする。

Description

本発明は、圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、育種における特徴解析方法、プログラム、および記録媒体に関する。
育種研究において、作物の表現タイピング(フェノタイピング)は、一般的に、研究者が圃場に入り、前記圃場を区画(プロット)に分け、目視観察することによって行われている。しかしながら、この方法によると、評価にかかる労力が大きく、作業コストも大きいため、計測範囲、計測頻度にも制限がある。このため、フェノタイピングは、例えば、実際に植物の育種が行われている実圃場ではなく、試験用の特別な圃場等での実施にとどまっている。
そこで、本発明は、例えば、試験用の特別な圃場のみならず、実際に植物の育種が行われている実圃場についても、容易にフェノタイピングを行うためのデータを得ることができる新たなシステムの提供を目的とする。
前記目的を達成するために、本発明の圃場の育種データ収集装置は、
圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する情報記憶部、
前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する分類部、
前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する画像処理部、
前記画像処理部で得られたデータを可視化処理する可視化部、
前記画像処理部で得られたデータおよび前記可視化部で得られたデータを、処理情報として保持する処理情報記憶部、
前記画像処理部で得られたデータおよび前記可視化部で得られたデータの少なくとも一方を出力する出力部
を有することを特徴とする。
本発明の育種における特徴解析装置は、前記本発明の圃場の育種データ収集装置に通信回線網を介して接続可能であり、
前記育種データ収集装置の可視化データを入力する入力部と、
前記可視化データを解析して、前記圃場または前記植物の特徴を抽出する特徴解析部とを有することを特徴とする。
本発明の圃場の育種データ収集方法は、
圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する情報記憶工程、
前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する分類工程、
前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する画像処理工程、
前記画像処理工程で得られたデータを可視化処理する可視化工程、
前記画像処理工程で得られたデータおよび前記可視化工程で得られたデータを、処理情報として保持する処理情報記憶工程、
前記画像処理工程で得られたデータおよび前記可視化工程で得られたデータの少なくとも一方を出力する出力工程
を有することを特徴とする。
本発明の育種における特徴解析方法は、前記本発明の圃場の育種データ収集方法によるデータ収集工程と、
前記画像の特徴量、前記画像処理データ、前記形質解析データ、およびセンシングデータからなる群から選択された少なくとも一つの可視化データを解析して、前記圃場または前記植物の特徴を抽出する特徴解析工程とを有することを特徴とする。
本発明のプログラムは、前記本発明の圃場の育種データ収集方法または育種における特徴解析方法をコンピュータに実行させることを特徴とする。
本発明の記録媒体は、前記本発明のプログラムを記録したコンピュータ読み取り可能である。
本発明によれば、例えば、空撮画像等を利用して、圃場の撮影画像を撮影高度に基づいて分類し、分類された画像群から、圃場、前記圃場の区画、前記圃場における植物について、3D画像データ等を再構築し、さらに、前記圃場条件または前記撮像条件に基づく可視化データへの変換を行う。このため、本発明は、例えば、限られた面積の試験用圃場ではなく、実圃場の広範囲における可視化データを得ることができる。その結果、これらの可視化データを、実圃場やそこで育成される植物の解析に広く利用でき、例えば、表現型に関する新たな知見の取得の支援にもつながる。
図1は、実施形態1の育種データ収集装置の一例を示すブロック図である。 図2は、実施形態1の育種データ収集装置のその他の例を示すブロック図である。 図3は、実施形態1の育種データ収集装置のその他の例を示すブロック図である。 図4は、実施形態1の育種データ収集装置における画像処理部の例を示すブロック図である。 図5は、実施形態1の育種データ収集方法の一例を示すフローチャートである。 図6は、実施形態2の育種データ収集装置の例を示すブロック図である。 図7は、実施形態3の育種データ収集装置の例を示す模式図である。 図8は、実施形態5の同定装置の一例を示すブロック図である。 図9は、実施形態5の同定装置のハードウエア構成の例を示すブロック図である。 図10は、実施形態5における画像の例である。 図11は、実施形態5における画像の例である。 図12は、実施形態5における画像の例である。 図13は、実施形態5における画像の例である。 図14は、実施形態5における画像の例である。 図15は、実施形態5における画像の例である。 図16は、実施形態5の同定方法の一例を示すフローチャートである。 図17は、実施形態1の育種データ収集装置のハードウエア構成の例を示すブロック図である。
本発明の実施形態について、図面を参照して説明する。なお、本発明は、以下の実施形態には限定されない。各図において、同一部分には、同一符号を付している。各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
[実施形態1]
図1は、本実施形態の圃場の育種データ収集装置1の一例の構成を示すブロック図である。育種データ収集装置1は、記憶部100、処理部110、出力部120を含む。処理部110は、分類部111、画像処理部112、可視化部113を含み、記憶部100は、情報記憶部101、処理情報記憶部102を含む。
育種データ収集装置1は、例えば、育種データ収集システムともいう。育種データ収集装置1は、例えば、前記各部を含む1つの育種データ収集装置でもよいし、前記各部が、通信回線網を介して接続可能な育種データ収集装置であってもよい。前記通信回線網は、特に制限されず、公知の通信回線網を使用でき、例えば、有線でも無線でもよく、具体例として、インターネット回線、電話回線、LAN(Local Area Network)等があげられる。
さらに、図17に、育種データ収集装置1のハードウエア構成のブロック図を例示する。育種データ収集装置1は、例えば、プロセッサであるCPU(中央処理装置)50、メモリ51、バス52、入力装置53、ディスプレイ54、通信デバイス55、記憶装置56等を有する。育種データ収集装置1の各部は、例えば、それぞれのインターフェース(I/F)により、バス52を介して、相互に接続されている。
CPU50は、育種データ収集装置1の制御を担う。育種データ収集装置1において、CPU50により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、育種データ収集装置1は、例えば、CPU50が、処理部110として機能する。
育種データ収集装置1は、例えば、バス52に接続された通信デバイス55により、通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続できる。前記外部機器に情報を出力する場合、例えば、通信デバイス55が出力部120として機能する。
メモリ51は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。CPU50が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム103を、メモリ51が読み込み、CPU50は、メモリ51からデータを受け取って、プログラム103を実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。メモリ51は、例えば、さらに、ROM(読み出し専用メモリ)を含む。
記憶装置56は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。記憶装置56は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、FD(フロッピー(登録商標)ディスク)、CD−ROM、CD−R、CD−RW、MO、DVD、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置56は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ(HDD)も例示できる。記憶装置56には、例えば、前述のように、プログラム103が格納され、前述のように、CPU50を実行させる際、メモリ51が、記憶装置56からプログラム103を読み込む。記憶装置56は、例えば、記憶部100であり、例えば、育種データ収集装置1に入力された情報、育種データ収集装置1で処理された情報等を記憶する。
育種データ収集装置1は、例えば、さらに、入力装置53、ディスプレイ54を有する。入力装置53は、例えば、タッチパネル、マウス、キーボード等である。ディスプレイ54は、例えば、LEDディスプレイ、液晶ディスプレイ等があげられる。育種データ収集装置1において情報を表示する場合、例えば、ディスプレイ54が出力部120として機能する。
育種データ収集装置1は、例えば、図2に示すように、クライアント端末2から、インターフェイス(I/F)31を介して、情報記憶部101に処理対象の情報が入力される。インターフェイス31の種類は、特に制限されず、例えば、GUI(グラフィカルユーザーインターフェース)、CUI(キャラクターユーザーインターフェース)、API(アプリケーションプログラムインターフェース)等が利用できる。
育種データ収集装置1は、例えば、図3に示すように、クライアント端末2と、通信回線網32を介して接続されてもよい。前記通信回線網は、特に制限されず、公知の通信回線網を使用でき、例えば、有線でも無線でもよく、具体例として、インターネット回線、電話回線、LAN(Local Area Network)等があげられる。
情報記憶部101は、前述のように、圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する。
前記圃場情報は、特に制限されず、例えば、圃場の地図情報、圃場を分割する各区画(プロット)の情報、圃場で育種している植物の情報、目視観察情報等があげられる。前記圃場の区画情報とは、例えば、前記圃場を複数に分けた各区画の位置情報、具体的には、座標等である。前記目視観察情報とは、例えば、前記圃場における植物の実測情報である。
前記圃場の撮影画像は、圃場の空撮画像を含む。前述のように、研究者が、実際に圃場に入り、植物を確認する際、目視の他に、カメラを用いた地上撮影を行い、地上撮影画像を利用して、フェノタイプの評価を行うことがある。しかしながら、研究者が圃場において地上撮影をする場合も、目視と同様に、その労力が大きく、計測範囲および計測頻度に制限がある。これに対して、前記空撮画像は、例えば、ドローン等の無人航空機により撮影できることから、圃場の広さに関わらず、容易に広範囲にわたる画像を得ることができ、また、容易に経時的な画像を得ることもできる。このため、本実施形態によれば、空撮画像を使用することにより、高速フェノタイピングが可能となる。前記撮像画像は、例えば、さらに、地上撮影画像を含んでもよい。
前記撮影条件は、撮影高度を含み、その他に、例えば、撮影の日時等を含む。また、前述のように、前記空撮画像の場合、前記撮影条件は、例えば、撮影を行う無人航空機のフライトログを含む。前記フライトログは、例えば、撮影に使用した前記無人航空機の飛行条件等も含む。前記飛行条件は、例えば、飛行ルート、飛行速度、飛行時間、飛行に伴う撮影日時、撮影時間等を含む。
分類部111は、前述のように、前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する。前記空撮画像を撮影高度に基づいて分類することにより、適した空撮画像を、例えば、後述する画像処理部112での処理において、圃場全体、圃場の区画、圃場または圃場の区画における植物群についての、画像処理データの生成に使用できる。前記撮影高度範囲は、特に制限されず、任意に設定できる。
前記撮影高度範囲に基づき分類する画像群の数は、特に制限されず、2以上が好ましい。具体例として、2つの画像群に分類する場合、例えば、第1画像群は、前記撮影高度が、第2画像群よりも高い範囲の画像群に設定できる。各画像群の撮影高度は、特に制限されず、例えば、以下のような具体例があげられる。後述する画像処理部において、圃場の全体について、前記画像処理データを生成する場合、前記第1画像群は、例えば、空撮画像であり、その撮影高度は、例えば、地上から100m程度であり、その撮影範囲は、5ha程度である。前記画像処理部において、圃場の区画における植物群について、前記画像処理データを生成する場合、前記第2画像群は、例えば、空撮画像であり、その撮影高度は、例えば、地上から30m程度であり、撮影範囲は、0.5ha程度である。前記空撮の場合、例えば、前記無人航空機に搭載されているイメージセンサの種類、焦点距離、前記無人航空機の垂直ホバリング精度等から、撮影範囲を計算可能である。
画像処理部112は、まず、前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成する。前記2次元オルソモザイクは、例えば、正射投影画像ともいう。前記数値表層モデルは、DSM(Digital Surface Model)ともいう。前記ポイントクラウド(Point Cloud)は、例えば、点群、3次元再構成データともいう。前記画像処理データは、後述するように、前記圃場、前記圃場の区画、または前記圃場における植物について、2次元データの可視化、3次元データの可視化(3D画像データへの再構築)等に使用できる。
そして、画像処理部112は、前記画像処理データから、前記圃場における植物の植物形質を解析し、形質解析データを得る。
前記画像群に含まれる複数の画像を用いた画像処理の生成および植物形質の解析は、特に制限されず、例えば、既存のソフトウェアを利用して行うことができる。本実施形態の育種データ収集装置1においては、例えば、処理部110に前記ソフトウェアを実装してもよい。
画像処理部112は、例えば、複数の画像処理部を有してもよい。具体例として、図4に、第1画像処理部1121、第2画像処理部1122、第3画像処理部1123を有する形態を示す。本実施形態において、例えば、第1画像処理部1121が、前記圃場全体に関する画像処理データを生成し(例えば、圃場全体の3D画像の再構築)、第2画像処理部1122が、前記圃場の区画、具体的には、前記圃場の区画における植物群に関する画像処理データを生成する(例えば、圃場の区画の3D画像の再構築)。第3画像処理部1123は、例えば、任意の画像処理データの生成に使用できる。
画像処理部112は、例えば、図4に示すように、複数の画像処理を行う場合、前記複数の画像処理をパイプライン方式で実行してもよい。
第1画像処理部1121は、例えば、前記第1画像群の複数の撮影画像(好ましくは空撮画像)から、前記画像処理データを生成する。具体的に、例えば、前記複数の画像をアライメントして、前記圃場全体の3D画像を再構築することができる。この際、例えば、前記圃場情報、前記撮影画像の撮影情報等に基づいて、前記撮影画像のアライメントおよびトリミングを行い、前記圃場全体の3D画像を再構築してもよい。そして、第1画像処理部1121は、さらに、例えば、前記画像処理データから、前記圃場の全体について、植物の植物形質を解析してもよい。前記植物形質とは、例えば、前記圃場における植物の植被率、植物の草丈、植物の生長速度等であり、また、圃場の状態を含んでもよい。
第2画像処理部1122は、例えば、前記第2画像群の複数の撮影画像(好ましくは空撮画像)から、前記画像処理データを生成する。具体的に、例えば、前記複数の画像をアライメントして、前記圃場の区画の3D画像を再構築することができる。そして、第2画像処理部1122は、さらに、例えば、前記画像処理データから、前記圃場情報、前記撮影画像の撮影情報等に基づいて、前記圃場の区画について、植物の植物形質を解析してもよい。前記植物形質とは、前述と同様であり、例えば、任意の領域(任意の区画)における植被率、植物の草丈、植物の生長速度等である。
第3画像処理部1123は、例えば、任意の画像群の複数の撮影画像(好ましくは地上撮影画像)から、任意の前記画像処理データを生成する。具体的に、例えば、前記複数の画像から、前記圃場における植物の3D画像を再構築することができる。
可視化部113は、画像処理部112で得られたデータを可視化処理する。画像処理部112で得られたデータは、例えば、前記画像処理データおよび前記植物形質の形質解析データである。可視化部113は、これらのデータを、例えば、前記圃場条件および前記撮影条件の少なくとも一方に基づいて、可視化処理する。具体例として、前記圃場全体の3D画像データは、例えば、圃場の地図データと紐づけて可視化でき、また、撮影時間と紐づけて可視化できる。圃場全体の3D画像データと、圃場の地図データとは、例えば、QGIS等の地理情報に関するソフトウェアにより、位置合わせを行うことができる。このため、さらに、前記撮影時間と紐づけることで、時系列の可視化となるように可視化処理できる。以下、可視化部113に使用されるデータを、可視化データといい、可視化部113で得られたデータを、処理データという。
処理情報記憶部102は、画像処理部112で得られたデータ(例えば、画像処理データおよび形質解析データ)、可視化部113で得られた処理データを保持する。処理情報記憶部102は、例えば、さらに、分類部111の分類データを記憶してもよい。
出力部120は、画像処理部112で得られたデータおよび可視化部113で得られたデータの少なくとも一方を出力する。出力部120は、例えば、クライアント端末への出力でもよいし、表示画面への出力でもよい。育種データ収集装置1から外部への出力は、例えば、インターフェイスを介して出力されてもよい。
つぎに、本実施形態の育種データ収集方法について、一例として、図5のフローチャートを用いて説明する。
本実施形態の育種データ収集方法は、例えば、図1に示す本実施形態の育種データ収集装置1を用いて、次のように実施する。なお、本実施形態の育種データ収集方法は、図1の育種データ収集装置1の使用には限定されない。
まず、(S1)情報記憶工程において、圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する。そして、(S2)分類工程において、前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する。
つぎに、(S3)画像処理工程において、前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する。本実施形態では、3つの画像群(第1、第2、第3)に分類した場合を例にあげて説明する。(S3−1)第1画像処理工程において、前記第1画像群から、前記圃場全体の3D画像を再構築し、(S3−2)第2画像処理工程において、前記第2画像群から、前記圃場の区画の3D画像を再構築し、前記圃場の区画における植物群の植物形質を解析する。(S3−3)第3画像処理工程は、任意であり、例えば、前記任意の画像群から、任意の画像処理を行う。
つぎに、(S4)可視化工程において、前記得られた画像処理データを、可視化処理する。具体的には、(S4−1)第1可視化工程において、(S3−1)第1画像処理工程で得られた画像処理データを、可視化処理し、(S4−2)第2可視化工程において、(S3−2)第2画像処理工程で得られた画像処理データを、可視化処理し、(S4−3)第3可視化工程において、(S3−3)第3画像処理工程で得られた画像処理データを、可視化処理する。
そして、(S5)処理情報記憶工程において、画像処理部112で得られたデータおよび可視化部113で得られたデータを処理情報として保持し、(S6)出力工程において、画像処理部112で得られたデータおよび可視化部113で得られたデータの少なくとも一方を出力する。
(変形例1)
本実施形態1の育種データ収集装置1は、例えば、情報記憶部101が、さらに、前記圃場のセンシングデータと、前記圃場におけるセンシングの位置情報とを紐づけて、保持してもよい。前記センシングデータは、特に制限されず、例えば、温度、湿度、二酸化炭素濃度および日射量(例えば、光合成光量子束密度)等である。
育種データ収集装置1において、可視化部113は、さらに、前記圃場情報に基づいて、前記センシングの位置情報に紐づけられた前記圃場のセンシングデータを、可視化処理してもよい。可視化部113で得られるデータは、例えば、グラフデータである。
本発明によれば、例えば、可視化部113で得られた処理データを利用することによって、例えば、圃場の撮影におけるドローンの飛行経路の設計、画像の撮影条件の設定、フェノタイピングデータの取得、圃場環境に関するセンシングデータの管理等を、効率的に行うことができる。このため、例えば、高速フェノタイピングにも有用である。
また、本発明の育種データ収集装置1は、例えば、プラットフォーム化が可能であるため、例えば、他の様々なデータとの統合も可能である。
研究者が圃場において直接データを収集する場合、研究者の経験や勘等によって、客観的な評価、定量的な評価が困難な場合があった。また、データの収集が、研究者独自の手法で行われており、その手法の共有が困難であった。これに対して、本発明の育種データ収集装置によれば、例えば、様々な研究者が、独自の条件で集めた撮影画像等を、前記情報記憶部に記憶させることができ、それらの撮影画像を、撮影高度に基づいて分類し、前記画像処理および前記可視化処理を行うことができる。このため、個人によって得られる情報だけでなく、様々な研究者による異なる条件で集めた撮影画像と、それから得られる処理情報が蓄積できるため、より効率的に、新たな知見の発見の支援にもつながる。
[実施形態2]
前記実施形態1の育種データ収集装置について、さらに他の形態の一例を、図6のブロック図に示す。図6において、育種データ収集装置6は、さらに、特徴解析部114を有する。特徴解析部114は、例えば、処理部110に含まれる。本実施形態の育種データ収集装置は、例えば、特徴解析装置または特徴解析システムともいう。
特徴解析部114は、可視化データを解析して、前記圃場または前記植物の特徴を抽出する。前記可視化データとしては、例えば、種々のデータが使用でき、具体例として、前記画像の特徴量、前記生成データ、前記形質解析データ、センシングデータ等である。前記特徴の抽出は、特に制限されず、例えば、SVM等を用いた外れ値から抽出することができる。
[実施形態3]
本実施形態の育種データ収集装置の一例を、図7に示す。図7(A)は、本実施形態の育種データ収集装置を含む概要の一例であり、図7(B)は、前記育種データ収集装置における画像処理部の一例である。本発明は、これには制限されない。
[実施形態4]
本実施形態のプログラムは、実施形態1、2または3の育種データ収集方法または育種における特徴解析方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
[実施形態5]
本発明において対象となる圃場が果樹圃場の場合、例えば、空撮画像からの果樹個体の同定には、例えば、本実施形態における同定装置および同定方法が利用できる。
果樹の育種においては、枝が伸びるための空間を確保し、また、摘蕾や摘果の作業性を向上させるため、一つ一つの果樹個体について樹冠の状態を確認して、整枝剪定を行うことが重要である。このような点から、例えば、本発明の対象を果樹圃場とする場合、植物(すなわち果樹)の形質を解析するにあたって、果樹個体の樹冠の同定を、精度よく行えることが好ましい。そこで、本実施形態においては、果樹個体の樹冠の同定に関して、一例を示す。
図8は、本実施形態の同定装置40の一例の構成を示すブロック図である。同定装置40は、同定基準決定部41および樹冠同定部42を有する。同定基準決定部41は、第1画像取得部411、スケルトン抽出部412、頂点抽出部413、同定基準抽出部414を有し、樹冠同定部42は、第2画像取得部421、全体樹冠抽出部422、樹冠同定部423を有する。同定装置40は、例えば、さらに、果樹形質解析部43および記憶部44を備えてもよい。同定装置40は、例えば、同定システムともいう。
同定装置40は、例えば、前記各部を含む1つの提示装置でもよいし、前記各部が、通信回線網を介して接続可能な提示装置であもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、LAN(Local Area Network)、WiFi(Wireless Fidelity)等があげられる。
同定装置40は、さらに、出力部を備えてもよい。同定装置40は、例えば、前記出力部として、後述するようにディスプレイ等の表示部を有し、同定装置40により得られた情報を、前記表示部に出力してもよい。また、同定装置40は、例えば、前記出力部として、後述するように通信デバイスを有し、外部装置と、通信回線網を介して接続可能であってもよい。この場合、同定装置40は、前記通信回線網を介して、同定装置40により得られた情報を、前記外部装置に出力してもよい。前記外部装置は、特に制限されず、例えば、カメラ等の撮像デバイス、パーソナルコンピュータ(PC)、携帯電話、スマートフォン、タブレット等の端末があげられる。前記通信回線網は、特に制限されず、前述と同様である。
さらに、図9に、同定装置40のハードウエア構成のブロック図を例示する。同定装置40は、例えば、プロセッサであるCPU(中央処理装置)50、メモリ51、バス52、入力装置53、ディスプレイ54、通信デバイス55、記憶装置56等を有する。同定装置40の各部は、例えば、それぞれのインターフェイス(I/F)により、バス52を介して、相互に接続されている。
CPU50は、同定装置40の全体の制御を担う。同定装置40において、CPU50により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、同定装置40は、例えば、CPU50が、同定基準決定部41、樹冠同定部42、および果樹形質解析部43等として機能する。
同定装置40は、例えば、バス52に接続された通信デバイス55により、通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続できる。
メモリ51は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。CPU50が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム57を、メモリ51が読み込み、CPU50は、メモリ51からデータを受け取って、プログラム57を実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。メモリ51は、例えば、さらに、ROM(読み出し専用メモリ)を含む。
記憶装置56は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。記憶装置56は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、FD(フロッピー(登録商標)ディスク)、CD−ROM、CD−R、CD−RW、MO、DVD、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置56は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ(HDD)も例示できる。記憶装置56には、例えば、前述のように、プログラム57が格納され、前述のように、CPU50を実行させる際、メモリ51が、記憶装置56からプログラム57を読み込む。記憶装置56は、例えば、記憶部44であり、同定装置40に入力された情報、同定装置40で処理された情報等を記憶する。
同定装置40は、例えば、さらに、入力装置53、ディスプレイ54を有する。入力装置53は、例えば、タッチパネル、マウス、キーボード等である。ディスプレイ54は、例えば、LEDディスプレイ、液晶ディスプレイ等があげられる。
同定基準決定部41は、前述のように、第1画像取得部411、スケルトン抽出部412、頂点抽出部413、および同定基準抽出部414を有する。
第1画像取得部411は、果樹圃場について、複数の果樹個体を含む落葉期の第1空撮画像Fを取得する。第1画像取得部411は、例えば、前記第1空撮画像Fを、入力装置53を用いて入力することにより取得してもよいし、前記通信回線網を介して、前記外部装置から受信することにより取得してもよい。
前記第1空撮画像Fは、落葉期における果樹圃場の画像であり、画像内に複数の果樹個体が含まれていればよい。落葉期とは、例えば、葉が枝幹から離れ落ちる時期をいい、果樹の場合、一般的に、例えば、冬期、具体的には、日本の場合、11月〜3月頃である。落葉期における果樹圃場の空撮画像とは、例えば、葉が落ちた状態の果樹圃場の空撮画像ともいえる。前記第1空撮画像Fは、例えば、ドローン等の無人航空機により撮影できる。
スケルトン抽出部412は、前記第1空撮画像Fから、画像処理によって、前記複数の果樹個体を含む全体の樹冠スケルトンFを抽出する。前記画像処理の方法は、特に制限されない。具体例として、図10を用いて説明する。図10(A)に示すような前記空撮画像は、例えば、撮影条件等を参照することで、図10(B)に示すように、果樹の樹高等を反映した3D画像を再構築でき、この3D画像から、図10(C)に示すように、果樹の樹冠のスケルトン(骨格)Fを抽出できる。樹冠とは、一般に、樹木の枝、葉、茎等、地面より上にある樹木の部分を意味する。
前記樹冠スケルトンFの抽出は、例えば、適応フィルタリング、画像モルフォロジー処理等が利用できる。
頂点抽出部413は、各果樹個体について、対応する樹冠スケルトンの頂点を抽出する。そして、同定基準抽出部414は、前記各果樹個体について、同定基準として、樹冠候補領域Fを抽出し、前記各果樹個体について、同定基準として、前記樹冠候補領域Fから、その重心Fを抽出する。前記樹冠候補領域Fとは、対応する樹冠スケルトンの頂点を全て含む最小多角形の領域であり、具体的には、例えば、凸状の最小多角形の領域である。
前記樹冠候補領域Fの抽出について、具体例として、図11を参照して説明する。図10(C)の樹冠のスケルトンFの画像には、12個の果樹個体の樹冠スケルトンが含まれる。頂点抽出部413により、図11(A)に示すように、各果樹個体について、対応する樹冠スケルトンから、その全ての頂点が抽出される。そして、同定基準抽出部414により、図11(B)に示すように、全ての頂点を含む、グレーの線で囲んだ最小多角形の領域(ポリゴンともいう)を、それぞれの樹冠候補領域Fとして抽出できる。
図11(B)を、より具体的に、図12に示す。図12(A)の白線で示すように、前記全ての頂点を含む最小多角形のポリゴンにより、同定基準となる樹冠候補領域Fの外枠を抽出できる。また、図12(B)に、図12(A)における樹冠候補領域Fを示す外枠を白黒マスク画像で示す。
また、同定基準抽出部414により、前記樹冠候補領域Fから、その重心Fが抽出される。前記樹冠候補領域Fの重心Fの決定方法は、特に制限されず、前記図12(B)の白黒マスク画像のモーメントから、一般的な手法により求めることができる。
つぎに、樹冠同定部42は、第2画像取得部421、全体樹冠抽出部422、および樹冠同定部423を有する。
第2画像取得部421は、前記果樹圃場について、前記第1空撮画像と同じスケールであり、樹冠を同定する時期の第2空撮画像Sを取得する。前記第2空撮画像Sは、特に制限されず、整枝剪定のために果樹の樹冠を同定する必要がある時期の画像であればよい。また、第2空撮画像Sは、例えば、特定の一時期の画像(例えば、S1)のみでもよいし、経時的に撮影した複数の時期に撮影した複数の画像(例えば、S1、S2、S3・・・Sn。nは、正の整数)であってもよい。
本発明において、樹冠の同定には、同定基準決定部41により、前記第1空撮画像Fに基づいて抽出した同定基準である樹冠候補領域Fと重心Fとを利用することから、前記第2空撮画像Sは、前記第1空撮画像Fと同じスケールの画像である。前記第2空撮画像Sは、例えば、前記第1空撮画像Fと同じ条件で撮像することにより同じスケールとしてもよいし、前記第1空撮画像Fと異なる条件であっても、予め、画像処理によって、前記第1空撮画像Fと同じスケールとしたものを使用してもよい。
全体樹冠抽出部422は、前記第2空撮画像Sから、画像処理によって、前記複数の果樹個体を含む全体の樹冠画像Sを抽出する。樹冠の同定が必要な時期は、前述のように、果樹の枝や葉が、隣接する果樹と重複するため、空撮画像においては、その臨界が判別し難い状態である。そこで、全体樹冠抽出部422は、前記第2空撮画像Sから、画像処理によって、前記複数の果樹個体のそれぞれについてではなく、前記複数の果樹個体の全体の樹冠画像Sを抽出する。
前記画像処理の方法は、特に制限されない。具体例として、図13を用いて説明する。図13(A)に示すような前記空撮画像は、例えば、撮影条件等を参照することで、図13(B)に示すように、果樹の樹高等を反映した3D画像を再構築でき、この3D画像から、図13(C)に示すように、果樹個体の全体の樹冠画像Sを抽出できる。前記全体の樹冠画像Sの抽出は、例えば、前述と同様に、適応フィルタリング、画像モルフォロジー処理等が利用できる。
樹冠同定部423は、前記全体の樹冠画像Sに、前記同定基準の樹冠候補領域Fおよび重心Fを照合し、前記各果樹個体の樹冠領域Sを同定する。前述のように、前記第1空撮画像Fについては、果樹個体のそれぞれについて樹冠領域Fおよび重心Fが抽出されている。そして、前記第1空撮画像Fと前記第2空撮画像Sとは、同じスケールである。このため、前記第2空撮画像S由来の前記全体の樹冠画像Sに対して、前記同定基準の樹冠候補領域Fおよび重心Fを照合することによって、前記第2空撮画像Sにおける各果樹個体の樹冠領域の同定が可能になる。
樹冠同定部423は、例えば、前記全体の樹冠画像Sに基づいて、樹冠候補領域を抽出してから、最終的な樹冠領域を同定してもよい。すなわち、まず、前記全体の樹冠画像Sに、前記同定基準の樹冠候補領域Fおよび重心Fを照合し、前記各果樹個体の樹冠候補領域Sを抽出してから、前記樹冠候補領域Sと、前記樹冠候補領域Sの周囲の微小領域とから、前記各果樹個体の樹冠領域Sを同定してもよい。前記同定基準の樹冠領域Fおよび重心Fに基づく樹冠候補領域Sの抽出、および、前記樹冠候補領域Sからの樹冠領域Sの同定を、以下に、より詳細に説明する。
前記全体の樹冠画像Sを、一般Watershed transformation法で処理することにより、図14(A)に示すように、各果樹個体の樹冠の画像は、それぞれが、複数領域に分割される。そこで、図14(A)の画像に対して、候補領域Fと重心Fとを、Watershed transformation法の初期値として利用することで、図14(B)に示すように、前記複数の領域を統合し、樹冠候補領域Sを抽出する。
図15(A)(図14(B)と同じ図)に示す各樹冠候補領域Sには、それぞれ、図15(B)に示すように、その周囲に凹凸状の微小領域Sが存在する(例えば、点線の丸で囲んだ領域)。そこで、前記樹冠候補領域Sと周囲の微小領域Sとのユークリッド距離を計算し、図15(C)に示すように、前記樹冠候補領域Sと微小領域と統合することによって、図15(D)に示すように、最終の樹冠領域Sを同定できる。
同定装置40は、前述のように、さらに、果樹形質解析部43を有してもよく、果樹形質解析部43は、例えば、同定した樹冠領域の形質を解析する。前記樹冠領域の形質とは、例えば、樹冠投影面積、樹冠径、樹冠形状等である。これらの形質の情報は、例えば、前記画像における樹冠領域から、統計解析により得られる。
つぎに、本実施形態の同定方法について、一例として、図16のフローチャートを用いて説明する。本実施形態の同定方法は、例えば、図8の同定装置40を用いて、次のように実施できる。なお、本実施形態の同定方法は、図8の同定装置40の使用には限定されない。
まず、同定基準決定工程として、前記第1画像取得工程、前記スケルトン抽出工程、前記頂点抽出工程、および前記同定基準抽出工程を実行する。
具体的には、前記第1画像取得工程において、第1画像取得部411により、果樹圃場について、複数の果樹個体を含む落葉期の第1空撮画像を取得する(S10)。そして、前記スケルトン抽出工程において、スケルトン抽出部412により、前記第1空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠スケルトンを抽出し(S11)、前記頂点抽出工程において、頂点抽出部413により、各果樹個体について、対応する樹冠スケルトンの頂点を抽出する(S12)。つぎに、前記同定基準抽出工程において、同定基準抽出部414により、前記各果樹個体について、同定基準として、前記頂点を全て含む最小多角形の樹冠候補領域を抽出し(S13)、前記各果樹個体について、同定基準として、前記樹冠候補領域から、その重心を抽出する(S14)。
他方、前記樹冠同定工程として、前記第2画像取得工程、前記全体樹冠抽出工程、および前記樹冠同定工程を実行する。
具体的には、前記第2画像取得工程において、第2画像取得部421により、前記果樹圃場について、前記第1空撮画像と同じスケールであり、樹冠を同定する時期の第2空撮画像を取得する(S15)。つぎに、前記全体樹冠抽出工程において、全体樹冠抽出部422により、前記第2空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠画像を抽出する(S16)。
そして、前記樹冠同定工程において、樹冠同定部423により、前記全体の樹冠画像に、前記同定基準の樹冠候補領域および重心を照合し、前記各果樹個体の樹冠候補領域を抽出する(S17)。この樹冠候補領域を、最終的な樹冠領域として同定してもよい。また、さらに、例えば、前記樹冠候補領域と前述のような微小領域とから、樹冠領域を同定してもよい(S18)。このようにして同定した樹冠領域を、出力してもよいし(S20)、さらに、前記同定した樹冠領域に基づいて、果樹の形質を解析し(S19)、その解析結果を出力してもよい(S20)。
本実施形態における果樹個体の樹冠の同定方法は、例えば、前記実施形態1の育種データ収集方法における、空撮画像の取得(例えば、(S1)工程)から、植物形質を解析するための画像処理(例えば、(S3)工程)において利用できる。前記実施形態1では、前述のように、空撮画像を取得し(前記(S1)工程)、それを画像群に分類し(前記(S2)工程)、分類した画像群から前記画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質が解析される(前記(S3)工程)。そこで、果樹圃場における果樹の育種データを収集する際には、例えば、果樹圃場の空撮画像から、画像処理データの生成(例えば、3D画像の再構築)を行う。そして、この画像処理データから、本実施形態に示すように、前記第1空撮画像については、例えば、スケルトンの抽出から同定基準の抽出までを行う。一方、この画像処理データから、本実施形態に示すように、前記第2空撮画像については、例えば、全体の樹冠画像の抽出から、樹冠領域の同定までを行う。このようにして、同定された樹冠領域について、形質を解析することで、前記実施形態1に示すように、植物(すなわち果樹)の形質を解析できる。
[実施形態6]
本実施形態のプログラムは、前記実施形態5の同定方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2017年11月15日に出願された日本出願特願2017−220504および2018年3月23日に出願された日本出願特願2018−057035を基礎とする優先権を主張し、その開示の全てをここに取り込む。
<付記>
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記A1)
圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する情報記憶部、
前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する分類部、
前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する画像処理部、
前記画像処理部で得られたデータを可視化処理する可視化部、
前記画像処理部で得られたデータおよび前記可視化部で得られたデータを、処理情報として保持する処理情報記憶部、
前記画像処理部で得られたデータおよび前記可視化部で得られたデータの少なくとも一方を出力する出力部
を有することを特徴とする圃場の育種データ収集装置。
(付記A2)
前記複数の画像群は、
少なくとも第1画像群、および第2画像群を含み、
前記第1画像群は、前記撮影高度が、前記第2画像群よりも高い範囲の画像群である、付記A1記載の育種データ収集装置。
(付記A3)
前記画像処理部において、前記圃場全体の3D画像を再構築する、付記A1またはA2記載の育種データ収集装置。
(付記A4)
前記画像処理部において、前記圃場の区画の3D画像を再構築し、前記圃場の区画における植物群の生育状態を判定する、付記A1からA3のいずれかに記載の育種データ収集装置。
(付記A5)
前記植物形質が、前記圃場における植物の植被率、植物の草丈、および植物の成長速度からなる群から選択された少なくとも一つである、付記A1からA4のいずれかに記載の育種データ収集装置。
(付記A6)
前記画像処理部において、前記植物の3D画像を再構築し、前記植物のさらに詳細な形質を判定する、付記A1からA5のいずれかに記載の圃場の育種データ収集装置。
(付記A7)
前記画像処理部が、第1画像処理部、および第2画像処理部を含み、
前記第1画像処理部が、前記第1画像群を処理し、
前記第2画像処理部が、前記第2画像群を処理する、付記A1からA6のいずれかに記載の育種データ収集装置。
(付記A8)
前記画像処理部が、複数の画像処理をパイプライン方式で実行する、付記A7記載の育種データ収集装置。
(付記A9)
前記可視化部が、前記画像処理部で得られるデータに含まれる2次元データを可視化処理し、前記画像処理部で得られるデータに含まれる3次元データを可視化処理する、付記A1からA8のいずれかに記載の育種データ収集装置。
(付記A10)
前記2次元データが、2次元オルソモザイク、数値表層モデル、およびグラフのデータを含み、
前記3次元データが、ポイントクラウドのデータを含む、付記A9記載の育種データ収集装置。
(付記A11)
前記撮影条件が、撮影時間を含み、
前記可視化部において、時系列となるように可視化処理する、付記A1からA10のいずれかに記載の圃場の育種データ収集装置。
(付記A12)
前記情報記憶部は、さらに、前記圃場のセンシングデータと、前記圃場におけるセンシングの位置情報とを紐づけて、保持する、付記A1からA11のいずれかに記載の育種データ収集装置。
(付記A13)
前記可視化部は、さらに、前記圃場情報に基づいて、前記センシングの位置情報に紐づけられた前記圃場におけるセンシングデータを、可視化処理する、付記A12記載の育種データ収集装置。
(付記A14)
前記可視化部で得られるデータが、グラフデータである、付記A13記載の育種データ収集装置。
(付記A15)
前記センシングデータが、温度、湿度、二酸化炭素濃度、および日射量からなる群から選択された少なくとも一つのデータである、付記A13またはA14記載の育種データ収集装置。
(付記A16)
前記圃場情報は、前記圃場を分割する各プロットの座標情報、および、前記圃場で育成している植物情報を含み、前記座標情報に前記植物情報が紐づけられている、付記A1からA15のいずれかに記載の育種データ収集装置。
(付記A17)
前記植物情報は、前記植物の画像解析情報である、付記A16記載の育種データ収集装置。
(付記A18)
前記情報記憶部が、さらに、撮影条件と、前記撮影条件に紐づけられた地上撮影画像を保持する、付記A1からA17のいずれかに記載の圃場の育種データ収集装置。
(付記A19)
前記空撮画像が、無人航空機による撮影画像である、付記A1からA18のいずれかに記載の育種データ収集装置。
(付記A20)
前記無人航空機が、ドローンである、付記A19記載の育種データ収集装置。
(付記A21)
さらに、特徴解析部を有し、
前記特徴解析部は、可視化データを解析して、前記圃場または前記植物の特徴を抽出し、
前記可視化データは、前記画像の特徴量、前記生成データ、前記形質解析データ、センシングデータからなる群から選択された少なくとも一つである、付記A1からA20のいずれかに記載の育種データ収集装置。
(付記A22)
付記A1からA21のいずれかに記載の圃場の育種データ収集装置に通信回線網を介して接続可能であり、
前記装置の可視化データを入力する入力部と、
前記可視化データを解析して、前記圃場または前記植物の特徴を抽出する特徴解析部とを有することを特徴とする育種における特徴解析装置。
(付記A23)
圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する情報記憶工程、
前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する分類工程、
前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する画像処理工程、
前記画像処理工程で得られたデータを可視化処理する可視化工程、
前記画像処理工程で得られたデータおよび前記可視化工程で得られたデータを、処理情報として保持する処理情報記憶工程、
前記画像処理工程で得られたデータおよび前記可視化工程で得られたデータの少なくとも一方を出力する出力工程
を有することを特徴とする圃場の育種データ収集方法。
(付記A24)
前記複数の画像群は、
少なくとも第1画像群、および第2画像群を含み、
前記第1画像群は、前記撮影高度が、前記第2画像群よりも高い範囲の画像群である、付記A23記載の育種データ収集方法。
(付記A25)
前記画像処理工程において、前記圃場全体の3D画像を再構築する、付記A23またはA24記載の育種データ収集方法。
(付記A26)
前記画像処理工程において、前記圃場の区画の3D画像を再構築し、前記圃場の区画における植物群の生育状態を判定する、付記A23からA25のいずれかに記載の育種データ収集方法。
(付記A27)
前記植物形質が、前記圃場における植物の植被率、植物の草丈、および植物の成長速度からなる群から選択された少なくとも一つである、付記A23からA26のいずれかに記載の育種データ収集方法。
(付記A28)
前記画像処理工程において、前記植物の3D画像を再構築し、前記植物のさらに詳細な生育状態を判定する、付記A23からA27のいずれかに記載の圃場の育種データ収集方法。
(付記A29)
前記画像処理工程が、第1画像処理工程、および第2画像処理工程を含み、
前記第1画像処理工程において、前記第1画像群を処理し、
前記第2画像処理工程において、前記第2画像群を処理する、付記A23からA28のいずれかに記載の育種データ収集方法。
(付記A30)
前記画像処理工程において、複数の画像処理をパイプライン方式で実行する、付記A29記載の育種データ収集方法。
(付記A31)
前記可視化工程において、前記画像処理工程で得られるデータに含まれる2次元データを可視化処理し、前記画像処理工程で得られるデータに含まれる3次元データを可視化処理する、付記A23からA30のいずれかに記載の育種データ収集方法。
(付記A32)
前記2次元データが、2次元オルソモザイク、数値表層モデル、およびグラフのデータを含み、
前記3次元データが、ポイントクラウドのデータを含む、付記A31記載の育種データ収集方法。
(付記A33)
前記撮影条件が、撮影時間を含み、
前記可視化工程において、時系列となるように可視化処理する、付記A23からA32のいずれかに記載の圃場の育種データ収集方法。
(付記A34)
前記情報記憶工程において、さらに、前記圃場のセンシングデータと、前記圃場におけるセンシングの位置情報とを紐づけて、保持する、付記A23からA33のいずれかに記載の育種データ収集方法。
(付記A35)
前記可視化工程において、さらに、前記圃場情報に基づいて、前記センシングの位置情報に紐づけられた前記圃場におけるセンシングデータを、可視化処理する、付記A34記載の育種データ収集方法。
(付記A36)
前記可視化工程で得られるデータが、グラフデータである、付記A35記載の育種データ収集方法。
(付記A37)
前記センシングデータが、温度、湿度、二酸化炭素濃度、および日射量からなる群から選択された少なくとも一つのデータである、付記A35またはA36記載の育種データ収集方法。
(付記A38)
前記圃場情報は、前記圃場を分割する各プロットの座標情報、および、前記圃場で育成している植物情報を含み、前記座標情報に前記植物情報が紐づけられている、付記A23からA37のいずれかに記載の育種データ収集方法。
(付記A39)
前記植物情報は、前記植物の画像解析情報である、付記A38記載の育種データ収集方法。
(付記A40)
前記情報記憶工程において、さらに、撮影条件と、前記撮影条件に紐づけられた地上撮影画像を保持する、付記A23からA39のいずれかに記載の圃場の育種データ収集方法。
(付記A41)
前記空撮画像が、無人航空機による撮影画像である、付記A23からA40のいずれかに記載の育種データ収集方法。
(付記A42)
前記無人航空機が、ドローンである、付記A41記載の育種データ収集方法。
(付記A43)
さらに、特徴解析工程を有し、
前記特徴解析工程は、可視化データを解析して、前記圃場または前記植物の特徴を抽出し、
前記可視化データは、前記画像の特徴量、前記生成データ、前記形質解析データ、センシングデータからなる群から選択された少なくとも一つである、付記A23からA42のいずれかに記載の育種データ収集方法。
(付記A44)
付記A23からA43のいずれかに記載の圃場の育種データ収集方法によるデータ収集工程と、
前記画像の特徴量、前記画像処理データ、前記形質解析データ、およびセンシングデータからなる群から選択された少なくとも一つの可視化データを解析して、前記圃場または前記植物の特徴を抽出する特徴解析工程とを有することを特徴とする育種における特徴解析方法。
(付記A45)
付記A23からA43のいずれかに記載の圃場の育種データ収集方法をコンピュータに実行させることを特徴とするプログラム。
(付記A46)
付記A44記載の育種における特徴解析方法をコンピュータに実行させることを特徴とするプログラム。
(付記A47)
付記A45またはA46記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
また、上記の実施形態5、6および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記B1)
同定基準決定部と、樹冠同定部とを有し;
前記同定基準決定部は、
第1画像取得部、スケルトン抽出部、頂点抽出部、および同定基準抽出部を有し、
前記第1画像取得部は、果樹圃場について、複数の果樹個体を含む落葉期の第1空撮画像を取得し、
前記スケルトン抽出部は、前記第1空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠スケルトンを抽出し、
前記頂点抽出部は、各果樹個体について、対応する樹冠スケルトンの頂点を抽出し、
前記同定基準抽出部は、前記各果樹個体について、同定基準として、前記頂点を全て含む最小多角形の樹冠候補領域を抽出し、前記各果樹個体について、同定基準として、前記樹冠候補領域から、その重心を抽出し;
前記樹冠同定部は、
第2画像取得部、全体樹冠抽出部、および樹冠同定部を有し、
前記第2画像取得部は、前記果樹圃場について、前記第1空撮画像と同じスケールであり、樹冠を同定する時期の第2空撮画像を取得し、
前記全体樹冠抽出部は、前記第2空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠画像を抽出し、
前記樹冠同定部は、前記全体の樹冠画像に、前記同定基準の樹冠候補領域および重心を照合し、前記第2空撮画像における前記各果樹個体の樹冠領域を同定する
ことを特徴とする画像における果樹個体の樹冠の同定装置。
(付記B2)
前記樹冠同定部は、
前記全体の樹冠画像に、前記同定基準の樹冠領域および重心を照合し、前記各果樹個体の樹冠候補領域を抽出し、
前記樹冠候補領域と、前記樹冠候補領域の周囲の微小領域とから、前記各果樹個体の樹冠領域を同定する、付記B1記載の同定装置。
(付記B3)
さらに、果樹形質解析部を有し、
前記果樹形質解析部は、同定した樹冠領域の形質を解析する、付記B1またはB2記載の同定装置。
(付記B4)
さらに、出力部を有し、前記出力部は、前記樹冠領域を出力する、付記B1からB3のいずれかに記載の同定装置。
(付記B5)
同定基準決定工程と、樹冠同定工程とを有し;
前記同定基準決定工程は、
第1画像取得工程、スケルトン抽出工程、頂点抽出工程、および同定基準抽出工程を有し、
前記第1画像取得工程は、果樹圃場について、複数の果樹個体を含む落葉期の第1空撮画像を取得し、
前記スケルトン抽出工程は、前記第1空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠スケルトンを抽出し、
前記頂点抽出工程は、各果樹個体について、対応する樹冠スケルトンの頂点を抽出し、
前記同定基準抽出工程は、前記各果樹個体について、同定基準として、前記頂点を全て含む最小多角形の樹冠候補領域を抽出し、前記各果樹個体について、同定基準として、前記樹冠候補領域から、その重心を抽出し;
前記樹冠同定工程は、
第2画像取得工程、全体樹冠抽出工程、および樹冠同定工程を有し、
前記第2画像取得工程は、前記果樹圃場について、前記第1空撮画像と同じスケールであり、樹冠を同定する時期の第2空撮画像を取得し、
前記全体樹冠抽出工程は、前記第2空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠画像を抽出し、
前記樹冠同定工程は、前記全体の樹冠画像に、前記同定基準の樹冠候補領域および重心を照合し、前記第2空撮画像における前記各果樹個体の樹冠領域を同定する
ことを特徴とする画像における果樹個体の樹冠の同定方法。
(付記B6)
前記樹冠同定工程は、
前記全体の樹冠画像に、前記同定基準の樹冠領域および重心を照合し、前記各果樹個体の樹冠候補領域を抽出し、
前記樹冠候補領域と、前記樹冠候補領域の周囲の微小領域とから、前記各果樹個体の樹冠領域を同定する、付記B5記載の同定方法。
(付記B7)
さらに、果樹形質解析工程を有し、
前記果樹形質解析工程は、同定した樹冠領域の形質を解析する、付記B5またはB6記載の同定方法。
(付記B8)
さらに、出力工程を有し、前記出力工程は、前記樹冠領域を出力する、付記B5からB7のいずれかに記載の同定方法。
(付記B9)
付記B5からB8のいずれかに記載の果樹個体の樹冠の同定方法をコンピュータに実行させることを特徴とするプログラム。
(付記B10)
付記B9記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
本発明によれば、例えば、空撮画像等を利用して、圃場の撮影画像を撮影高度に基づいて分類し、分類された画像群から、圃場、前記圃場の区画、前記圃場における植物について、3D画像データ等を再構築し、さらに、前記圃場条件または前記撮像条件に基づく可視化データへの変換を行う。このため、本発明は、例えば、限られた面積の試験用圃場ではなく、実圃場の広範囲における可視化データを得ることができる。その結果、これらの可視化データを、実圃場やそこで育成される植物の解析に広く利用でき、例えば、表現型に関する新たな知見の取得の支援にもつながる。
1、6 育種データ収集装置
100 記憶部
101 情報記憶部
102 処理情報記憶部
110 処理部
111 分類部
112 画像処理部
113 可視化部
120 出力部
2 クライアント端末
32 通信回線網
40 同定装置
41 同定基準決定部
411 第1画像取得部
412 スケルトン抽出部
413 頂点抽出部
414 同定基準抽出部
42 樹冠同定部
421 第2画像取得部
422 全体樹冠抽出部
423 樹冠同定部
43 果樹形質解析部
44 記憶部

Claims (57)

  1. 圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する情報記憶部、
    前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する分類部、
    前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する画像処理部、
    前記画像処理部で得られたデータを可視化処理する可視化部、
    前記画像処理部で得られたデータおよび前記可視化部で得られたデータを、処理情報として保持する処理情報記憶部、
    前記画像処理部で得られたデータおよび前記可視化部で得られたデータの少なくとも一方を出力する出力部
    を有することを特徴とする圃場の育種データ収集装置。
  2. 前記複数の画像群は、
    少なくとも第1画像群、および第2画像群を含み、
    前記第1画像群は、前記撮影高度が、前記第2画像群よりも高い範囲の画像群である、請求項1記載の育種データ収集装置。
  3. 前記画像処理部において、前記圃場全体の3D画像を再構築する、請求項1または2記載の育種データ収集装置。
  4. 前記画像処理部において、前記圃場の区画の3D画像を再構築し、前記圃場の区画における植物群の生育状態を判定する、請求項1から3のいずれか一項に記載の育種データ収集装置。
  5. 前記植物形質が、前記圃場における植物の植被率、植物の草丈、および植物の成長速度からなる群から選択された少なくとも一つである、請求項1から4のいずれか一項に記載の育種データ収集装置。
  6. 前記画像処理部において、前記植物の3D画像を再構築し、前記植物のさらに詳細な形質を判定する、請求項1から5のいずれか一項に記載の圃場の育種データ収集装置。
  7. 前記画像処理部が、第1画像処理部、および第2画像処理部を含み、
    前記第1画像処理部が、前記第1画像群を処理し、
    前記第2画像処理部が、前記第2画像群を処理する、請求項1から6のいずれか一項に記載の育種データ収集装置。
  8. 前記画像処理部が、複数の画像処理をパイプライン方式で実行する、請求項7記載の育種データ収集装置。
  9. 前記可視化部が、前記画像処理部で得られるデータに含まれる2次元データを可視化処理し、前記画像処理部で得られるデータに含まれる3次元データを可視化処理する、請求項1から8のいずれか一項に記載の育種データ収集装置。
  10. 前記2次元データが、2次元オルソモザイク、数値表層モデル、およびグラフのデータを含み、
    前記3次元データが、ポイントクラウドのデータを含む、請求項9記載の育種データ収集装置。
  11. 前記撮影条件が、撮影時間を含み、
    前記可視化部において、時系列となるように可視化処理する、請求項1から10のいずれか一項に記載の圃場の育種データ収集装置。
  12. 前記情報記憶部は、さらに、前記圃場のセンシングデータと、前記圃場におけるセンシングの位置情報とを紐づけて、保持する、請求項1から11のいずれか一項に記載の育種データ収集装置。
  13. 前記可視化部は、さらに、前記圃場情報に基づいて、前記センシングの位置情報に紐づけられた前記圃場におけるセンシングデータを、可視化処理する、請求項12記載の育種データ収集装置。
  14. 前記可視化部で得られるデータが、グラフデータである、請求項13記載の育種データ収集装置。
  15. 前記センシングデータが、温度、湿度、二酸化炭素濃度、および日射量からなる群から選択された少なくとも一つのデータである、請求項13または14記載の育種データ収集装置。
  16. 前記圃場情報は、前記圃場を分割する各プロットの座標情報、および、前記圃場で育成している植物情報を含み、前記座標情報に前記植物情報が紐づけられている、請求項1から15のいずれか一項に記載の育種データ収集装置。
  17. 前記植物情報は、前記植物の画像解析情報である、請求項16記載の育種データ収集装置。
  18. 前記情報記憶部が、さらに、撮影条件と、前記撮影条件に紐づけられた地上撮影画像を保持する、請求項1から17のいずれか一項に記載の圃場の育種データ収集装置。
  19. 前記空撮画像が、無人航空機による撮影画像である、請求項1から18のいずれか一項に記載の育種データ収集装置。
  20. 前記無人航空機が、ドローンである、請求項19記載の育種データ収集装置。
  21. さらに、特徴解析部を有し、
    前記特徴解析部は、可視化データを解析して、前記圃場または前記植物の特徴を抽出し、
    前記可視化データは、前記画像の特徴量、前記生成データ、前記形質解析データ、センシングデータからなる群から選択された少なくとも一つである、請求項1から20のいずれか一項に記載の育種データ収集装置。
  22. 請求項1から21のいずれか一項に記載の圃場の育種データ収集装置に通信回線網を介して接続可能であり、
    前記育種データ収集装置の可視化データを入力する入力部と、
    前記可視化データを解析して、前記圃場または前記植物の特徴を抽出する特徴解析部とを有することを特徴とする育種における特徴解析装置。
  23. 圃場情報、空撮のフライトログを含む撮影条件、および前記撮影条件と紐づけられた前記圃場の空撮画像を保持する情報記憶工程、
    前記空撮画像を、前記撮影条件に含まれる撮影高度に基づいて、撮影高度範囲が異なる複数の画像群に分類する分類工程、
    前記複数の画像群のうち少なくとも一つの画像群と、前記撮影条件とから、2次元オルソモザイク、数値表層モデル、およびポイントクラウドからなる群から選択された少なくとも一つの画像処理データを生成し、前記画像処理データから、前記圃場における植物の植物形質を解析する画像処理工程、
    前記画像処理工程で得られたデータを可視化処理する可視化工程、
    前記画像処理工程で得られたデータおよび前記可視化工程で得られたデータを、処理情報として保持する処理情報記憶工程、
    前記画像処理工程で得られたデータおよび前記可視化工程で得られたデータの少なくとも一方を出力する出力工程
    を有することを特徴とする圃場の育種データ収集方法。
  24. 前記複数の画像群は、
    少なくとも第1画像群、および第2画像群を含み、
    前記第1画像群は、前記撮影高度が、前記第2画像群よりも高い範囲の画像群である、請求項23記載の育種データ収集方法。
  25. 前記画像処理工程において、前記圃場全体の3D画像を再構築する、請求項23または24記載の育種データ収集方法。
  26. 前記画像処理工程において、前記圃場の区画の3D画像を再構築し、前記圃場の区画における植物群の生育状態を判定する、請求項23から25のいずれか一項に記載の育種データ収集方法。
  27. 前記植物形質が、前記圃場における植物の植被率、植物の草丈、および植物の成長速度からなる群から選択された少なくとも一つである、請求項23から26のいずれか一項に記載の育種データ収集方法。
  28. 前記画像処理工程において、前記植物の3D画像を再構築し、前記植物のさらに詳細な生育状態を判定する、請求項23から27のいずれか一項に記載の圃場の育種データ収集方法。
  29. 前記画像処理工程が、第1画像処理工程、および第2画像処理工程を含み、
    前記第1画像処理工程において、前記第1画像群を処理し、
    前記第2画像処理工程において、前記第2画像群を処理する、請求項23から28のいずれか一項に記載の育種データ収集方法。
  30. 前記画像処理工程において、複数の画像処理をパイプライン方式で実行する、請求項29記載の育種データ収集方法。
  31. 前記可視化工程において、前記画像処理工程で得られるデータに含まれる2次元データを可視化処理し、前記画像処理工程で得られるデータに含まれる3次元データを可視化処理する、請求項23から30のいずれか一項に記載の育種データ収集方法。
  32. 前記2次元データが、2次元オルソモザイク、数値表層モデル、およびグラフのデータを含み、
    前記3次元データが、ポイントクラウドのデータを含む、請求項31記載の育種データ収集方法。
  33. 前記撮影条件が、撮影時間を含み、
    前記可視化工程において、時系列となるように可視化処理する、請求項23から32のいずれか一項に記載の圃場の育種データ収集方法。
  34. 前記情報記憶工程において、さらに、前記圃場のセンシングデータと、前記圃場におけるセンシングの位置情報とを紐づけて、保持する、請求項23から33のいずれか一項に記載の育種データ収集方法。
  35. 前記可視化工程において、さらに、前記圃場情報に基づいて、前記センシングの位置情報に紐づけられた前記圃場におけるセンシングデータを、可視化処理する、請求項34記載の育種データ収集方法。
  36. 前記可視化工程で得られるデータが、グラフデータである、請求項35記載の育種データ収集方法。
  37. 前記センシングデータが、温度、湿度、二酸化炭素濃度、および日射量からなる群から選択された少なくとも一つのデータである、請求項35または36記載の育種データ収集方法。
  38. 前記圃場情報は、前記圃場を分割する各プロットの座標情報、および、前記圃場で育成している植物情報を含み、前記座標情報に前記植物情報が紐づけられている、請求項23から37のいずれか一項に記載の育種データ収集方法。
  39. 前記植物情報は、前記植物の画像解析情報である、請求項38記載の育種データ収集方法。
  40. 前記情報記憶工程において、さらに、撮影条件と、前記撮影条件に紐づけられた地上撮影画像を保持する、請求項23から39のいずれか一項に記載の圃場の育種データ収集方法。
  41. 前記空撮画像が、無人航空機による撮影画像である、請求項23から40のいずれか一項に記載の育種データ収集方法。
  42. 前記無人航空機が、ドローンである、請求項41記載の育種データ収集方法。
  43. さらに、特徴解析工程を有し、
    前記特徴解析工程は、可視化データを解析して、前記圃場または前記植物の特徴を抽出し、
    前記可視化データは、前記画像の特徴量、前記生成データ、前記形質解析データ、センシングデータからなる群から選択された少なくとも一つである、請求項23から42のいずれか一項に記載の育種データ収集方法。
  44. 請求項23から43のいずれか一項に記載の圃場の育種データ収集方法によるデータ収集工程と、
    前記画像の特徴量、前記画像処理データ、前記形質解析データ、およびセンシングデータからなる群から選択された少なくとも一つの可視化データを解析して、前記圃場または前記植物の特徴を抽出する特徴解析工程とを有することを特徴とする育種における特徴解析方法。
  45. 請求項23から43のいずれか一項に記載の圃場の育種データ収集方法をコンピュータに実行させることを特徴とするプログラム。
  46. 請求項44記載の育種における特徴解析方法をコンピュータに実行させることを特徴とするプログラム。
  47. 請求項45または46記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  48. 同定基準決定部と、樹冠同定部とを有し;
    前記同定基準決定部は、
    第1画像取得部、スケルトン抽出部、頂点抽出部、および同定基準抽出部を有し、
    前記第1画像取得部は、果樹圃場について、複数の果樹個体を含む落葉期の第1空撮画像を取得し、
    前記スケルトン抽出部は、前記第1空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠スケルトンを抽出し、
    前記頂点抽出部は、各果樹個体について、対応する樹冠スケルトンの頂点を抽出し、
    前記同定基準抽出部は、前記各果樹個体について、同定基準として、前記頂点を全て含む最小多角形の樹冠候補領域を抽出し、前記各果樹個体について、同定基準として、前記樹冠候補領域から、その重心を抽出し;
    前記樹冠同定部は、
    第2画像取得部、全体樹冠抽出部、および樹冠同定部を有し、
    前記第2画像取得部は、前記果樹圃場について、前記第1空撮画像と同じスケールであり、樹冠を同定する時期の第2空撮画像を取得し、
    前記全体樹冠抽出部は、前記第2空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠画像を抽出し、
    前記樹冠同定部は、前記全体の樹冠画像に、前記同定基準の樹冠候補領域および重心を照合し、前記第2空撮画像における前記各果樹個体の樹冠領域を同定する
    ことを特徴とする画像における果樹個体の樹冠の同定装置。
  49. 前記樹冠同定部は、
    前記全体の樹冠画像に、前記同定基準の樹冠領域および重心を照合し、前記各果樹個体の樹冠候補領域を抽出し、
    前記樹冠候補領域と、前記樹冠候補領域の周囲の微小領域とから、前記各果樹個体の樹冠領域を同定する、請求項48記載の同定装置。
  50. さらに、果樹形質解析部を有し、
    前記果樹形質解析部は、同定した樹冠領域の形質を解析する、請求項48または49記載の同定装置。
  51. さらに、出力部を有し、前記出力部は、前記樹冠領域を出力する、請求項48から50のいずれか一項に記載の同定装置。
  52. 同定基準決定工程と、樹冠同定工程とを有し;
    前記同定基準決定工程は、
    第1画像取得工程、スケルトン抽出工程、頂点抽出工程、および同定基準抽出工程を有し、
    前記第1画像取得工程は、果樹圃場について、複数の果樹個体を含む落葉期の第1空撮画像を取得し、
    前記スケルトン抽出工程は、前記第1空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠スケルトンを抽出し、
    前記頂点抽出工程は、各果樹個体について、対応する樹冠スケルトンの頂点を抽出し、
    前記同定基準抽出工程は、前記各果樹個体について、同定基準として、前記頂点を全て含む最小多角形の樹冠候補領域を抽出し、前記各果樹個体について、同定基準として、前記樹冠候補領域から、その重心を抽出し;
    前記樹冠同定工程は、
    第2画像取得工程、全体樹冠抽出工程、および樹冠同定工程を有し、
    前記第2画像取得工程は、前記果樹圃場について、前記第1空撮画像と同じスケールであり、樹冠を同定する時期の第2空撮画像を取得し、
    前記全体樹冠抽出工程は、前記第2空撮画像から、画像処理によって、前記複数の果樹個体を含む全体の樹冠画像を抽出し、
    前記樹冠同定工程は、前記全体の樹冠画像に、前記同定基準の樹冠候補領域および重心を照合し、前記第2空撮画像における前記各果樹個体の樹冠領域を同定する
    ことを特徴とする画像における果樹個体の樹冠の同定方法。
  53. 前記樹冠同定工程は、
    前記全体の樹冠画像に、前記同定基準の樹冠領域および重心を照合し、前記各果樹個体の樹冠候補領域を抽出し、
    前記樹冠候補領域と、前記樹冠候補領域の周囲の微小領域とから、前記各果樹個体の樹冠領域を同定する、請求項52記載の同定方法。
  54. さらに、果樹形質解析工程を有し、
    前記果樹形質解析工程は、同定した樹冠領域の形質を解析する、請求項52または53記載の同定方法。
  55. さらに、出力工程を有し、前記出力工程は、前記樹冠領域を出力する、請求項52から54のいずれか一項に記載の同定方法。
  56. 請求項52から55のいずれか一項に記載の果樹個体の樹冠の同定方法をコンピュータに実行させることを特徴とするプログラム。
  57. 請求項56記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2019553741A 2017-11-15 2018-10-05 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体 Active JP7218870B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023004694A JP2023052423A (ja) 2017-11-15 2023-01-16 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017220504 2017-11-15
JP2017220504 2017-11-15
JP2018057035 2018-03-23
JP2018057035 2018-03-23
PCT/JP2018/037372 WO2019097892A1 (ja) 2017-11-15 2018-10-05 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023004694A Division JP2023052423A (ja) 2017-11-15 2023-01-16 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019097892A1 true JPWO2019097892A1 (ja) 2020-12-24
JP7218870B2 JP7218870B2 (ja) 2023-02-07

Family

ID=66539455

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019553741A Active JP7218870B2 (ja) 2017-11-15 2018-10-05 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体
JP2023004694A Pending JP2023052423A (ja) 2017-11-15 2023-01-16 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023004694A Pending JP2023052423A (ja) 2017-11-15 2023-01-16 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体

Country Status (4)

Country Link
US (1) US11462008B2 (ja)
JP (2) JP7218870B2 (ja)
CN (1) CN111344738B (ja)
WO (1) WO2019097892A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230351744A1 (en) * 2020-01-30 2023-11-02 Sagri Co., Ltd. Information processing device
CN114548926B (zh) * 2022-02-22 2023-04-07 河南省农业科学院农业经济与信息研究所 一种基于机器视觉的小麦育种材料表型性状快速采集方法
CN114879585B (zh) * 2022-07-11 2022-10-25 黑龙江省农业科学院黑河分院 一种面向精准农业的网络化大豆低温育种的智能监控系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088252A1 (en) * 2004-03-15 2005-09-22 Fm-Kartta Oy Method for determination of stand attributes and a computer program for performing the method
JP2007033931A (ja) * 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP2007066050A (ja) * 2005-08-31 2007-03-15 Kokusai Kogyo Co Ltd 樹冠円抽出システム
JP2008152425A (ja) * 2006-12-15 2008-07-03 Hitachi Software Eng Co Ltd 農地区画データ作成システム
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212670B1 (en) * 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
CN101672915B (zh) 2009-09-23 2012-08-29 中国林业科学研究院资源信息研究所 一种高空间分辨率遥感影像树冠轮廓勾绘系统及方法
JP4858793B2 (ja) 2009-11-12 2012-01-18 国立大学法人信州大学 樹木本数算定方法及び樹木本数算定装置
US9064151B2 (en) 2012-10-04 2015-06-23 Intelescope Solutions Ltd. Device and method for detecting plantation rows
JP6273473B2 (ja) 2012-11-20 2018-02-07 小平アソシエイツ株式会社 森林情報管理装置
CN104182925B (zh) * 2013-05-22 2019-04-09 东芝医疗系统株式会社 图像处理装置、图像处理方法和医学图像设备
CN103793686B (zh) 2014-01-16 2017-12-15 中国农业大学 一种果树产量早期预测的方法
CN103942838A (zh) 2014-05-13 2014-07-23 福州大学 基于点云数据的单树三维建模与形态参数提取的方法
JP2016000024A (ja) 2014-06-12 2016-01-07 清水建設株式会社 植栽防火性評価装置及び植栽防火性評価方法
CN104463164B (zh) 2014-09-03 2018-02-13 中国科学院遥感与数字地球研究所 一种基于伞骨法与冠高比的树木冠层结构信息提取方法
JP6656038B2 (ja) 2016-03-25 2020-03-04 忠士 岩下 ブドウの栽培管理方法
CN106598090A (zh) * 2016-12-14 2017-04-26 江苏蒲公英无人机有限公司 一种用于果树喷药的无人机控制系统
CN106778888A (zh) * 2016-12-27 2017-05-31 浙江大学 一种基于无人机遥感的果园病虫害普查系统和方法
CN106969730B (zh) * 2017-05-19 2019-03-26 中国农业大学 一种基于无人机探测技术的果树树冠体积测量方法
WO2019066391A1 (en) 2017-09-27 2019-04-04 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ANALYZING COMMUNICATION ENVIRONMENTS AND NETWORK DESIGN IN TAKING ACCOUNT OF THE PRESENCE OF TREES

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088252A1 (en) * 2004-03-15 2005-09-22 Fm-Kartta Oy Method for determination of stand attributes and a computer program for performing the method
JP2007033931A (ja) * 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP2007066050A (ja) * 2005-08-31 2007-03-15 Kokusai Kogyo Co Ltd 樹冠円抽出システム
JP2008152425A (ja) * 2006-12-15 2008-07-03 Hitachi Software Eng Co Ltd 農地区画データ作成システム
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
山本 英詞、外2名: ""衛星画像と地上計測データの樹冠マッチング"", 電子情報通信学会技術研究報告, vol. 106, no. 156, JPN6022053745, 7 July 2006 (2006-07-07), JP, pages 23 - 28, ISSN: 0004947437 *
延原 肇: ""農作物を対象にしたUAVによる時空間アーカイビング"", 日本ロボット学会誌, vol. 34, no. 2, JPN6018050249, 15 March 2016 (2016-03-15), JP, pages 51 - 54, ISSN: 0004892855 *
杉浦 綾、外2名: ""UAVからの時系列画像によるバレイショ疫病の病徴評価"", 第57回 システム制御情報学会 研究発表講演会講演論文集, JPN6018050250, 15 May 2013 (2013-05-15), JP, pages 1 - 3, ISSN: 0004892856 *
杉浦 綾: ""ドローン空撮画像による高速フィールドフェノタイピング"", 日本ロボット学会誌, vol. 35, no. 5, JPN6018050251, 15 June 2017 (2017-06-15), JP, pages 9 - 11, ISSN: 0004892857 *
村本 健一郎: ""地球環境のセンシング技術 −画像・電磁波・光技術の様々な時空間スケールへの適用−"", 映像情報メディア学会技術報告, vol. 29, no. 35, JPN6022053744, 24 June 2005 (2005-06-24), JP, pages 13 - 20, ISSN: 0004947436 *
熊谷 樹一郎、外2名: ""延焼遮断機能に着目した都市内植生分布の分析手法の開発"", GIS−理論と応用, vol. 17, no. 2, JPN6018050252, 31 December 2009 (2009-12-31), JP, pages 45 - 56, ISSN: 0004947435 *

Also Published As

Publication number Publication date
CN111344738B (zh) 2024-03-29
JP7218870B2 (ja) 2023-02-07
WO2019097892A1 (ja) 2019-05-23
US20200372251A1 (en) 2020-11-26
US11462008B2 (en) 2022-10-04
JP2023052423A (ja) 2023-04-11
CN111344738A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
JP2023052423A (ja) 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体
JP7144779B2 (ja) 樹冠の同定装置、同定方法、プログラム、および記録媒体
Andujar et al. Using depth cameras to extract structural parameters to assess the growth state and yield of cauliflower crops
Rist et al. High-precision phenotyping of grape bunch architecture using fast 3D sensor and automation
Jayathunga et al. Digital aerial photogrammetry for uneven-aged forest management: Assessing the potential to reconstruct canopy structure and estimate living biomass
Tagle Casapia et al. Identifying and quantifying the abundance of economically important palms in tropical moist forest using UAV imagery
Méndez et al. In-field estimation of orange number and size by 3D laser scanning
Adak et al. Temporal vegetation indices and plant height from remotely sensed imagery can predict grain yield and flowering time breeding value in maize via machine learning regression
Katal et al. Deep learning in plant phenological research: A systematic literature review
Zhang et al. Rapeseed stand count estimation at leaf development stages with UAV imagery and convolutional neural networks
Brocks et al. Toward an automated low-cost three-dimensional crop surface monitoring system using oblique stereo imagery from consumer-grade smart cameras
Yrttimaa et al. Structural changes in boreal forests can be quantified using terrestrial laser scanning
Gholamrezaie et al. Automatic mapping of burned areas using Landsat 8 time-series images in Google Earth engine: A case study from Iran
Zhang et al. A method for calculating the leaf inclination of soybean canopy based on 3D point clouds
Ponce et al. A methodology for the automated delineation of crop tree crowns from UAV-based aerial imagery by means of morphological image analysis
Balestra et al. Geomatic data fusion for 3D tree modeling: The case study of monumental chestnut trees
Ciocîrlan et al. Predicting leaf phenology in forest tree species using uavs and satellite images: a case study for European beech (Fagus sylvatica L.)
Goëau et al. Can artificial intelligence help in the study of vegetative growth patterns from herbarium collections? An evaluation of the tropical flora of the French Guiana Forest
Chen et al. An efficient approach to monitoring pine wilt disease severity based on random sampling plots and UAV imagery
Zhao et al. A dataset of pomegranate growth stages for machine learning-based monitoring and analysis
Osińska-Skotak et al. The methodology for identifying secondary succession in non-Forest Natura 2000 habitats using multi-source airborne remote sensing data
Souza et al. The more fractal the architecture the more intensive the color of flower: A Superpixel-Wise analysis towards high-throughput phenotyping
Schwarz et al. Forest canopy mortality during the 2018-2020 summer drought years in Central Europe: The application of a deep learning approach on aerial images across Luxembourg
Psiroukis et al. Cotton Growth Modelling Using UAS-Derived DSM and RGB Imagery
CN109632799A (zh) 基于机器视觉的水稻叶片氮含量移动检测分级方法、系统和计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R150 Certificate of patent or registration of utility model

Ref document number: 7218870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150