JP7368916B1 - 学習による花粉の識別装置 - Google Patents

学習による花粉の識別装置 Download PDF

Info

Publication number
JP7368916B1
JP7368916B1 JP2023104151A JP2023104151A JP7368916B1 JP 7368916 B1 JP7368916 B1 JP 7368916B1 JP 2023104151 A JP2023104151 A JP 2023104151A JP 2023104151 A JP2023104151 A JP 2023104151A JP 7368916 B1 JP7368916 B1 JP 7368916B1
Authority
JP
Japan
Prior art keywords
pollen
box
color
bee
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023104151A
Other languages
English (en)
Other versions
JP2024115496A (ja
Inventor
ムヒュン キム
インソク ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Farmconnect Co ltd
Original Assignee
Farmconnect Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Farmconnect Co ltd filed Critical Farmconnect Co ltd
Application granted granted Critical
Publication of JP7368916B1 publication Critical patent/JP7368916B1/ja
Publication of JP2024115496A publication Critical patent/JP2024115496A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K47/00—Beehives
    • A01K47/06—Other details of beehives, e.g. ventilating devices, entrances to hives, guards, partitions or bee escapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Environmental Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Processing (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】蜂の形態や、蜂や花粉の色等の特徴を、ディープラーニングモデルを介して、学習して得られた学習データを用いて、蜂に付着した花粉の有無及び量を正確に識別する花粉識別装置及び方法を提供する。【解決手段】花粉識別装置１００は、養蜂箱の近くで撮影された蜂の映像を、蜂の形態や、蜂や花粉の色等の特徴を、ディープラーニングモデルを介して学習して得られた学習データと比較して、蜂の軌跡を追跡し、蜂に付着した花粉の有無及び量を正確に識別する。【選択図】図１

Description

本発明は、花粉の識別装置及び方法に関する。特に、蜂の形態や、蜂や花粉の色等の特徴を、ディープラーニングモデルを介して、学習して得られた学習データを用いて、蜂に付着した花粉の有無及び量を正確に識別する装置および方法に関する。
ミツバチ（Ｈｏｎｅｙ ｂｅｅ）は、蜂蜜を収集し保存・生産する目的で用いられる蜂であり、マルハナバチ（Ｂｕｍｂｌｅ ｂｅｅ）は、植物の受精を目的として用いられる蜂であり、振動受粉（Ｂｕｓｓ ｐｏｌｌｉｎａｔｉｏｎ）によって花の受粉を行う。
振動受粉とは、蜂が花に接近し、胸の筋肉を振動させることによって花の雄蕊から花粉を解放し、空中に放出された花粉がまた蜂の振動に反応して花の雌蕊に落ちることで受粉が行われる。この振動受粉の際に、空中の花粉が蜂の体毛にも付着する。
したがって、マルハナバチは蜂蜜を生産しないため、ミツバチでは受精が難しいトマト、茄子、唐辛子などのような茄子科植物の受粉作業や桃、プラム、リンゴ、アプリコット、イチゴ、メロン、梨、ブルーベリー、覆盆子、マンゴーなどの作物栽培に多く使われている。
例えば、トマト栽培の場合、マルハナバチを導入すると、通常、蜂群の１０～２０％に当たる働きバチが一日５～１２回の花粉採集を行い、１回の採集活動の際、５０～２２０本の花を訪れると知られている。
花の本数に比べてマルハナバチが多すぎると、過剰な受精により畸形果が発生するなど、受精が不良になる可能性があるため、出入口と回収口が別々に設けられた養蜂箱を使用し、時間帯や蜂の活動に合わせて開閉を調節することによりマルハナバチの採集活動を制御することができる。
マルハナバチは養蜂箱の設置後、所定の期間が経過すると個体数が減少し、動きも少なくなり、養蜂箱を替える必要がある。周囲の温度が３０度を超え始めると、養蜂箱の温度を下げるための換気目的でより多くのマルハナバチが養蜂箱内に留まり、受粉活動を減少させ、周囲の温度が３３度を超えると、マルハナバチは生存モードに入り、幼虫を殺し、受粉活種を中断する。それで、このような状況を確認するためにマルハナバチの様子を遠隔でモニタリングするマルハナバチの管理方法が提案されている。
韓国特許公開第１０－２０１６－０１４１２２４号「マルハナバチ管理装置および管理システム」は、マルハナバチの養蜂箱の出入口から出入するマルハナバチの出入回数を感知するセンサを用いてマルハナバチの交代時期を知らせてくれる技術を開示している。また、韓国特許第１０－１９６３６４８号「温室でのマルハナバチの管理システムおよび方法、マルハナバチの養蜂箱」は、複数のセンサを用いてマルハナバチの養蜂箱に出入する蜂の出入方向と出入回数を感知して出入門の開閉を制御する技術を開示している。
しかし、前記従来技術はマルハナバチを識別するレベルに留まっており、蜂に付着した花粉の量を分析したり、蜂の受粉活動の適正性に関する情報を提供したり、養蜂箱や温室管理に必要な情報を提供してくれるまでは及ばなかった。
韓国特許公開第１０－２０１６－０１４１２２４号（２０１６．１２．０８公開）
韓国特許第１０－１９６３６４８号（２０１９．０４．０１公告）
前記問題を解決するため、本発明は、養蜂箱の近くで撮影された蜂の映像を学習データと比較して蜂の軌跡を追跡する装置および方法を提供することを目的とする。
また、本発明は、撮影された映像を用いて蜂が採集した花粉量、蜂の受粉活動の適正性、蜂の健康状態などを分析する装置及び方法を提供することを目的とする。
また、本発明は、撮影された映像における蜂の軌跡と花粉の状態を分析して蜂の受粉活動の適正性を判断し、それに応じて必要時に養蜂箱の替える時期を決められる装置及び方法を提供することを目的とする。
本発明の一実施例の学習による花粉識別装置は、蜂と花粉の形態学的特徴を、ディープラーニングモデルを介して、学習させた、学習データを保存する保存部と、撮影された映像と、前記保存部に保存された学習データとを用いて、前記撮影された映像から蜂と花粉を識別する制御部を含む。
また、前記制御部は、前記撮影された映像の映像処理によって境界線を検出し、花粉と推定される境界線を花粉の輪郭線として識別する。
また、前記学習データは、様々な種類の蜂に対する学習データと、様々な種類の花粉に対する学習データとを含み、前記制御部は、前記学習データを用いて蜂と推定される領域にハチボックスを設定し、花粉と推定される領域に花粉ボックスを設定して蜂と花粉をそれぞれ識別する。
また、前記制御部は、前記ハチボックスと前記花粉ボックスの積集合であるＩｏＵ値を用いて、花粉の有無を識別する。
また、前記制御部は、前記撮影された映像の映像処理によって境界線を検出し、花粉と推定される境界線を花粉の輪郭線として識別し、前記花粉ボックス内に存在する輪郭線のみを花粉と見なす。
また、前記制御部は、前記撮影された映像の映像処理によって境界線を検出し、花粉と推定される境界線を花粉の輪郭線として識別し、前記ハチボックス内に存在する輪郭線のみを花粉と見なす。
また、前記制御部は、前記花粉ボックスの少なくとも一部が前記ハチボックスの内側に存在する場合にのみ有効な花粉ボックスとみなし、前記ハチボックスの外側に存在する花粉ボックスは無視する（蜂と花粉の識別に使用しない）。
また、前記制御部は、前記撮影された映像の映像処理によって境界線を検出し、花粉と推定される境界線を花粉の輪郭線として識別し、前記有効な花粉ボックス内に存在する前記輪郭線のみを花粉と見なす。
また、前記制御部は、前記輪郭線を花粉の色または濃度を把握する基準線として設定する。
また、前記制御部は、前記輪郭線に内接する四角形を設定し、前記四角形の内側を前記花粉の色または濃度を把握する対象領域として設定する。
また、前記制御部は、前記ハチボックスと花粉ボックスの面積比率（Ｒ）、前記輪郭線の曲率（Ｅ）、前記花粉の色と背景色との差（Ｄ）、前記輪郭線内の色比率（Ｐ）のうちの少なくとも１つの情報に基づいて、花粉の有無を判断する。
また、前記制御部は、前記ハチボックスと花粉ボックスの面積比率（Ｒ）、前記輪郭線の曲率（Ｅ）、前記花粉の色と背景色との差（Ｄ）、前記四角形内の色比率（Ｐ）の少なくとも一つの情報に基づいて、花粉の有無を判断する。
また、前記制御部は、前記花粉ボックス領域の画像に対して二値化処理を施してカラー色の色の値を標準化し、数値積分法で前記の値を分析して、前記花粉の濃度または量を定量的に判断する。
また、前記制御部は、前記二値化処理の際、前記花粉ボックス内で、前記輪郭線の外側領域は色の値を０に設定する。
また、前記制御部は、前記花粉ボックス領域の映像に対してカラー色の値をＺ軸として花粉の分布を立体的に表示する。
また、前記映像を撮影するカメラ部と、前記映像をディスプレーするための表示部をさらに含み、前記制御部は、前記ハチボックス、花粉ボックスおよび輪郭線を前記表示部に表示する。
本発明の一形態によれば、養蜂箱の近くで撮影された蜂の動きを学習データと比較して蜂の軌跡を追跡するための装置および方法が提供される。
また、本発明の一形態によれば、撮影された映像を用いて蜂が採集した花粉量、蜂の受粉活動の適正性、蜂の健康状態などを分析する装置及び方法が提供される。
また、本発明の一形態によれば、撮影された映像における蜂の軌跡と花粉の状態を分析して蜂の受粉活動の適正性を判別し、それに応じて必要時に養蜂箱の交換時期を決定することができる装置及び方法が提供される。
本発明の一実施例の学習による花粉識別装置の構成図である。 ～ 本発明の一実施例の学習による花粉識別装置の画面例示である。 ～ 本発明の一実施例の学習による花粉識別装置における花粉映像の例示である。 本発明の一実施形態による学習による花粉識別装置と共に用いられるハチボックスの例示である。 本発明の一実施例の学習による花粉識別装置において正常な花粉を識別した場合の例示である。 本発明の一実施例の学習による花粉識別装置において異常な花粉を識別した場合の例示である。 本発明の一実施例の学習による花粉識別装置における二値化処理された花粉映像の例示である。 本発明の一実施例の学習による花粉識別装置における花粉定量分析図である。 本発明の一実施例の学習による花粉識別装置における移動距離及び出現回数の分析図である。 ～ 本発明の一実施例の学習による花粉識別装置を用いた蜂の軌跡追跡の例示である。
本発明の利点および特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述される実施形態の例を参照することによって明らかになるであろう。しかしながら、本発明は、以下に開示される実施形態に限定されるものではなく、様々な形態で実現することができる。但し、本実施形態は、本発明の開示が完全になるように本発明が属する技術分野における通常の知識を有する者に発明の範囲を正確に伝えるために提供するものであり、本発明は、特許請求の範囲により定義される。明細書全体にわたって、同じ図面符号は同じ構成要素を指す。
本明細書で用いられる用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味を有しない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定しようとするものであり、1つまたは複数の他の特徴や数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を事前に排除しないことと理解すべきである。
本明細書において、「部」、「モジュール」、「装置」、「端末」、「サーバ」、または「システム」などの用語は、ハードウェアおよび、そのハードウェアによって駆動されるソフトウェアの組み合わせを指すことを意図した。例えば、ハードウェアは、ＣＰＵまたは他のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を含むデータ処理装置の場合もあり得る。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、個体（Ｏｂｊｅｃｔ）、実行ファイル（Ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（Ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（Ｐｒｏｇｒａｍ）などを指すことができる。
以下では、添付の図面を参照して本発明の望ましい実施形態を詳細に説明する。
図１は、本発明の一実施例の学習による花粉識別装置の構成図である。
装置１００は、軌跡追跡モジュール１２０と花粉分析モジュール１３０を介して蜂の軌跡を追跡し、採集された花粉量を分析する制御部１１０、および蜂と花粉に関する様々な情報をディープラーニングモデルを介して学習して得られた学習データを保存する保存部１５０を含む。
その他、養蜂箱の付近での蜂の動きを撮影するためのカメラ部１４０、撮影された映像を表示するための表示部１６０、外部機器と有無線通信を行うための通信部１７０などを含む。
カメラ部１４０を内蔵する代わりに外部カメラ（図示しない）を用いる場合、装置１００は通信部１７０を介して外部カメラとデータの送受信を行うことができ、装置１００に内蔵された表示部１６０の代わりに外部表示装置（図示しない）を用いてもよい。また、表示部１６０と並行して外部表示装置を活用してもよい。
本発明の装置は、マルハナバチの特徴、すなわち身体構造や色分布などを、ディープラーニングモデルを介して、学習させ、学習データとして保存部１５０に保存し、カメラ部１４０で受信して保存部に保存された動画、または、カメラ部１４０からのストリーミング映像データをフレーム毎に学習データと比較して映像からマルハナバチを探し、移動経路を追跡することによって、花粉を探し、花粉の量を分析することができる。
図２～図４は、本発明の一実施例の学習による花粉識別装置の画面例図である。
本発明の装置によって提供される表示画面は、図２のような構成を有することができる。
基本的にマルハナバチの認識は、養蜂箱の入り口付近に仮想で描き込んだ複数の四角形ボックス（以下、「ゲート」と称する）と蜂を認識する際に自動的に描かれる四角形ボックス（以下、「ハチボックス」と称する）との積集合を計算する方法で行われる。
図２では、養蜂箱の出入口を中心に外側に領域１（Ａｒｅａ１、内側ゲート内部）、領域２（Ａｒｅａ２、外側ゲート内部）、領域３（Ａｒｅａ３、外側ゲート外部）を区分するようにゲートが定義されている。蜂の周りをハチボックスとして定義する。ハチボックスは、例えば、蜂の画像を含む最小の四角形により表される。
本発明の装置は、ゲートの内部領域とハチボックスとの間に積集合が発生する順序を記録または追跡する方法で、蜂が養蜂箱に入るか、または養蜂箱から出るかを区別する。
たとえば、ハチボックスの動き（またはハチボックスとゲートの積集合部分）が領域１－＞領域２－＞領域３の順序で記録された場合、養蜂箱から出るもので、領域３－＞領域２－＞領域１の順序で記録された場合は、養蜂箱に入るものであり、領域１でしばらく滞在して消えたら、養蜂箱に入ったこととみなす。
図２において、「Ｈｉｖｅ」は養蜂箱に入っている蜂の数を表し、それは蜂たちの出入り回数を計算して得られた値である。
「ｐｏｌｌｉｎａｔｉｏｎ」は、蜂の採集した花粉の量を表し、「Ｈｅａｖｙ」は花粉の採集が優秀な状態を、「Ｌｉｇｈｔ」は花粉の採集が相対的に不足している状態を表す。
「ＬｏＣ」は、蜂（またはハチボックス）の位置がどの領域にあるかを表す。
一方、本発明におけるオブジェクト検出（Ｏｂｊｅｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）の精度を評価する指標であるＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）の定義は次の通りである。
計算された積集合の値は図２の画面に表示される。右上端にある「ｐＩｏＵ１」、「ｐＩｏＵ２」、「ｃＩｏＵ１」、「ｃＩｏＵ２」がそれで、プレフィックスｐは前の値（Ｐａｓｔ）を意味し、プレフィックスｃは現在（Ｃｕｒｒｅｎｔ）の値を意味する。
「ｐＩｏＵ１」は領域１（赤色ゲート）で測定された前のフレームの値を表し、「ｐＩｏＵ２」は領域２（青いゲート）で測定された前のフレームの値を表し、「ｃＩｏＵ１」は領域１で測定された現在のフレームの値を表し、「ｃＩｏＵ２」は、領域２で測定された現在のフレームの値をそれぞれ表す。
「ＩｏＵ」だけでなく、「Ｈｉｖｅ」、「Ｐｏｌｌｉｎａｔｉｏｎ」などの値も、映像のフレームごとに更新される値である。
一方、蜂と花粉の認識は、保存された学習データと撮影した映像との比較によって行われる。蜂の検出では、蜂が属する領域（領域１、２、または３）とハチボックスのＩｏＵを計算し、花粉検出では、該当するハチボックスと花粉のＩｏＵを計算して、花粉の有無を一次的に区別する。
蜂や花粉のような個体を学習したデータと撮影された映像に適用した際、任意の時間帯に獲得した映像の個体が蜂や花粉である確率はハチボックスまたは花粉ボックスの近くに数値で示すことができる。例えば、ハチボックスの横に「０．９９」と表示された場合、その個体が「蜂」である確率が９９％という意味である。
花粉ボックスはハチボックス内に設けられ、花粉ボックスの横に表示される数値は、ハチボックスと重畳している花粉のイメージが花粉として推定できる確率を表す。
花粉と推定される領域を探すためにイメージ前処理を経て当該領域に輪郭線を描き、その輪郭線内部領域の色と濃度（すなわち、特定の色が占める画素の割合）を計算する。花粉の色は、蜂が受精する果実の花によってその違いが表れる。花粉と認識した部分に輪郭線を引いて、その内部領域の色と濃度の平均値を計算する方式で花粉を識別する。
例えば、蜂の体に付着した花粉の分布形態と蜂の受粉活動の程度に所定の関連性があることを確認し、輪郭線の形態と曲率半径を基準に、蜂の受粉活動の程度を区分する基準を設定することができる。例えば、輪郭線が楕円で花粉分布面積が広い場合には受粉活動が少ないか円滑でないことを表し、花粉分布の面積が小さく円に近い場合には受粉活動が旺盛で円滑に行っている蜂であると判断することができる。
図３は、蜂が採集した花粉の量が所定の基準を超え、相対的に十分（Ｈｅａｖｙ）である場合の、花粉量を数値（例えば、０．０９９８）で表した場合であり、図４は、蜂が採集した花粉の量が所定の基準に足りておらず、比較的不足（Ｌｉｇｈｔ）である場合の、花粉量を数値（例えば、０．４４８）で表した場合である。
図５は、図３の場合、すなわち、花粉の量が十分な場合の花粉の映像を図示したものであり、比較的に明確で明るい色で花粉が表示され、その輪郭線も明確な特徴を有する。それに比べ、図６は、図４の場合、すなわち、花粉の量が十分でない場合の花粉の映像を図示したものであり、比較的に淡いまたは、暗い色で花粉が表示され、その輪郭線もぼやけており、花粉が複数の領域に分散していて、輪郭線の内部の面積も広い特徴を有する。
図７を参照して、花粉を識別し、花粉の量を測定する方法を説明する。
花粉であると推定される領域は、その周辺に緑色の輪郭線が生成される。映像処理により境界線を検出し、その境界線を輪郭線で表示する。しかしながら、境界線の検出法に依存しすぎると、花粉と類似のものと判断しても、実際に花粉ではない場合も含まれる。
したがって、花粉の形に対する学習データを用いる必要がある。花粉に対する学習データを介して花粉と推定される領域に花粉ボックス（すなわち、画像の左側の黄色の四角形）を設定し、花粉ボックス内でのみ輪郭線を生成することによって花粉識別の精度を高めることができる。
蜂の場合も、蜂に対する学習データを用いて蜂と推定される領域にハチボックス（すなわち、画像の右側の青い四角形）を設定し、ハチボックス内に存在する輪郭線のみ花粉であると認識する方法を用いることもできる。右側の映像にはハチボックスの内側と外側にそれぞれ緑色の輪郭線が生成されるが、蜂の体に付着した場合のみ花粉と認められるので、ハチボックスの外側の緑色の輪郭線は無視され、花粉の認識に使用されない。
左側の画像では、花粉ボックス内に緑色の輪郭線が形成される。花粉ボックスの外側に緑色の輪郭線が形成される場合もまた、無視される。まとめると、ハチボックスと花粉ボックスを別々に生成し、ハチボックス内に花粉ボックスが位置し、花粉ボックス内に輪郭線が位置する場合に初めて輪郭線の内部領域を花粉と認識することが望ましい。このように形成された輪郭線は、花粉の色、濃度などを把握する基準領域を設定する。
一方、右側の映像においてハチボックスから外れた緑色の輪郭線は、偽の花粉であると解釈することができる。この際、ハチボックスと花粉領域の積集合の大きさに対応するＩｏＵ値を用いると、ＩｏＵ値は非常に低いか、値が存在しないため、それによって花粉の有無に対する識別結果を補正することができる。
ディープラーニングでによって学習されたデータを用いて、分類作業は非常に多様な分野で活用できる。学習が可能なほどの品質を有するデータだけあれば可能である。しかしながら、本発明の核心は、単純な学習・推定ではなく、アルゴリズムによる個体の分類にある。
これは、推定モデルの改善と向上という側面から新しい方法論を提示する。ミツバチ、マルハナバチ、花粉など各種の個体の学習の際に入力されるイメージは、ディープラーニングモデルを介して、イメージの注釈（ａｎｎｏｔａｔｉｏｎ）（クラス種類：ハナバチ、ミツバチ、マルハナバチ、花粉、その他の個体）と特徴（形態、色分布、濃度など）を共に学習する。学習されたイメージに対するクラス別、固有の特徴に基づいてモデルの精度を計算できる。
撮影された映像全体に対して正確な学習と推定が可能であれば、最も優れた品質の結果を導き出すことができる。しかし、膨大なデータを扱うという点では、コンピュータの性能と作業の効率性に対する考慮が必要である。このような問題を解決するために、識別を必要とする個体のみ注釈処理（ａｎｎｏｔａｔｉｏｎ）をする方法を用いる。本発明は、各個体に対する全体的な学習を排除し、各個体またはクラスを代表する特徴のみ学習させることにより、性能の低いコンピュータでも高い効率を示すように設計された。さらに、ＩｏＵ値を異なるクラス（すなわち蜂と花粉）の分類に適用して信頼度を高めるように設計された。
学習データは、映像における各個体（蜂または花粉）の精度を知らせてくれる。したがって、昆虫のように複雑・微細な構造を有する場合は、その精度が学習の際に入力される映像の品質に大きく影響を受ける。特に、蜂のように速い物体の場合、カメラの解像度、周囲の明るさ、物体の動きに応じて映像の画質に大きな影響を与える。それにより、関心領域ではないところ、すなわち、花粉が実際に存在しない領域を花粉として識別するエラーを犯す場合がある。
したがって、このような問題を解決するために、本発明では、花粉の色を検出するアルゴリズムをさらに適用する。このために、学習データが花粉として認知した領域のみをイメージ前処理で区分する。色は一般にＲＧＢ（赤、緑、青）で示され、それをまた、黒から白までのスペクトルに１：１対応させる二値化処理を用いて色を抽出する。二値化処理については後述する。
一方、養蜂箱の色が花粉に似た黄色である場合が多く、このような場合、蜂の出入りの際、出入り口の周辺領域を花粉であると誤認することがある。それを防ぐために、養蜂箱周辺の色を抽出した後に比較する方式で花粉の有無を判断するアルゴリズムを用いることができる。
同一の個体に対するイメージであっても、周囲の明るさに応じて認識の差が生じる。その際は、養蜂箱周辺の色を補色に用いることでそのような問題を解決できる。すなわち、時間（または、緯度と経度による太陽の位置）に応じて周囲の明るさを変えながら補正するのではなく、定期的に養蜂箱を撮影して花粉として認知できる色を取り除く方法を用いる。
それについては、図８を参照して説明する。
例えば、図８における養蜂箱の主な色は黄色である。花粉の色も主に黄色の場合、養蜂箱と花粉の色が混同される可能性がある。その際、養蜂箱の色彩値を色の類似性検査に対する基準色として用いて、識別された個体が花粉であるかどうかを調べる。
花粉の色と養蜂箱の色は、互いに類似しているが、同じではない。養蜂箱の色は所定の領域内で均一であるが、花粉の色は分布状態に応じて不均一であるため、この前提は適切である。
ある領域において、花粉と推定される個体を識別した際、輪郭線内部の色を養蜂箱の色と比較して、両者間の類似性が非常に高い場合（例えば、色の差が２０％未満の場合）は、それが花粉ではなく、養蜂箱の領域であると判断し、類似性が所定の範囲内である場合（例えば、色の差が２０％～４０％の際）は、それを花粉とみなす。また、類似性が低い場合（例えば、色の差が４０％を超える場合）は、花粉ではないか、花粉の量が少ないと判断する。パーセントで表示される基準値（Ｃｒｉｔｅｒｉａ）は、データの更新と学習によって変更することができる。
養蜂箱の色のような背景色を補色に用いて、花粉の色または蜂の色を正確に識別する方法論は、その色の種類に関係なく適用可能である。
図９は、本発明の一実施例の学習による花粉識別装置において、正常に花粉を識別した場合の例示として、ハチボックス（Ｂｅｅ）、花粉ボックス（Ｐｏｌｌ）及び花粉の色データ（Ｃｏｌｏｒ）をそれぞれ表す。
学習データの利用とＩｏＵ値の照合作業を通じて映像内の蜂の領域を先に見つけた後、蜂の領域内で花粉として認識される領域を探す。次に、花粉として認識された領域における輪郭線を見つけ出し、その内部の情報を取り出す順番で行う。
花粉の色データ（Ｃｏｌｏｒ）には、蜂と花粉の面積率（または、蜂ボックスと花粉ボックスの面積の割合）（Ｒ）、輪郭線の曲率（または楕円の離心率）（Ｅ）、花粉の色と背景色（つまり、養蜂箱の色）との差（Ｄ）、輪郭線内部の色の割合（Ｐ）などの情報がさらに表示される。下部にゲート（Ｇａｔｅ）で表示された部分は養蜂箱の入口の色に関する情報を表し、下部に花粉（Ｐｏｌｌ）で表示される部分は、花粉の色に関する情報を表す。色の割合（Ｐ）を測定するために輪郭に内接するボックス（赤色ボックス）を設定し、そのボックス内で色の分布を測定することがより計算を容易にする。
図９の場合は、蜂と花粉の面積比率（Ｒ）が３％と低く、花粉の色と背景色との差（Ｄ）が所定の範囲に属し、輪郭線内の花粉の色の割合（Ｐ）が均一である（～１００％）ため、当該する個体が花粉である可能性が非常に高いと判断する場合を示す。
それに比べて図１０の場合は、一次的に花粉の領域として判断した所（すなわち、緑の輪郭線が表示された所）のパラメータ（Ｒ、Ｅ、Ｄ、Ｐ）を確認した結果、当該する個体が花粉ではないと決定された場合を示す。図１０のように、花粉ではないと判断された場合には、花粉の色データ（Ｃｏｌｏｒ）の下部に花粉（Ｐｏｌｌ）で表示された領域を花粉の色ではなく識別の容易な特定の色（例えば黒）に置き換える。
図１１は、本発明の一実施例の学習による花粉識別装置において、二値化処理された花粉映像の例示である。
映像の二値化処理を経て、Ｒ、Ｇ、Ｂで表現されるカラー色の大きさを０～２５５の間の値で標準化し、数値積分法によってこの値を分析すると、花粉の濃度や花粉の量を定量的に把握できる。図１１は、二値化処理を経た値を用いて花粉の領域のみを抽出した結果である。
これを図９と比較すると、花粉の領域で見つけ出した輪郭線内部の色彩値のみを抽出したことが確認できる。図１１において、花粉の領域ではない所は全て０で埋め、花粉の量を計算する際、影響を及ぼさないようにする。図１１は、リアルタイムで入力される映像の色を二値化処理で表したものであるため、花粉として認識された領域の定量的な分析が可能である。
図１２は、本発明の一実施例の学習による花粉識別装置における花粉の定量分析図である。
図１２は、図１１のイメージを立体的に表したものであり、色の値はＺ軸に表示し、花粉の濃度によって色が変わるように表現して、濃度の変化を容易に観測するようにしたものである。これにより、花粉の輪郭線内での花粉の分布をより容易に識別できる。
一方、本発明の装置は、撮影された映像を分析して図１３のように蜂の軌跡を分析した図表を生成することができる。
図１３は、本発明の一実施例の学習による花粉識別装置における蜂の移動距離および出現回数を分析した図である。
図１３は、蜂の軌跡（Ｔｒｅｖｅｌｌｉｎｇ ｄｉｓｔａｎｃｅ，移動距離）と出現回数(Ｎｕｍｂｅｒ ｏｆ ａｐｐｅａｒａｎｃｅｓ)を一緒に示す軌跡図であり、養蜂箱の出入口からハチボックスの距離を示す蜂の軌跡線（青）とハチボックスの出現回数を示す出現回数線（赤）を複合的に分析することにより、蜂の動きと状態を把握できる。
図１４～図１６は、本発明の一実施例による花粉識別装置を用いた蜂の状態を分析した例示である。
３つの図面を比較すると、養蜂箱に入る正常な蜂の軌跡（図１４）と、養蜂箱から出る正常な蜂の軌跡（図１５）に比べて、図１６のように、出入口周辺で動きを止めるので、蜂が落ちて死んでしまったことを確実に判断できる。
本発明の装置は、他の様々な形態の蜂の状態を分析した例示を提供することができる（図示しない）。例えば、Ｘ―Ｙ座標系上で蜂の飛行軌跡を示す蜂の軌跡（Ｆｌｉｔｅ Ｔｒａｊｅｃｔｏｒｙ ｏｆ Ｂｅｅ）グラフと、映像内での蜂の累積出現頻度を示す蜂の出現状態（Ｏｂｓｅｒｖａｔｉｏｎ ｏｆ Ｂｅｅ’ｓ Ｓｔａｙｉｎｇ）グラフ、および基準点からの蜂の移動距離（Ｔｒａｖｅｌｌｉｎｇ Ｄｉｓｔａｎｃｅ ｏｆ Ｂｅｅ）と蜂の出現状態グラフを含むように構成してもよい。
他にも蜂が養蜂箱に入ってから出て来るまでにかかる時間を測定して蜂の老化、活動性などを把握できる。また、花粉の形や色などのデータを学習することができる。したがって、撮影された映像から花粉の色を区別することができ、蜂が目的の植物と異なる種類の植物を訪れるかどうかを確認し、蜂の動きを分析して正常であるか異常であるかを判断できる。それにより、蜂の動きを分析して、環境変化または、蜂の受粉活動の適正性に関する情報を提供したり、養蜂箱や温室管理に必要な情報を提供したりすることができる。
以上、本発明は、具体的な構成要素などの特定の事項と限定した実施例及び図面により説明したが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明が前記実施例に限定されるものではない。本発明が属する技術分野において通常の知識を有する者であれば、これらの基材から様々な修正及び変形を図ることができる。
したがって、本発明の思想は前記説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等にまたは等価的に変更されたすべてのものは、本発明の思想の範囲に属する。

Claims (11)

  1. 蜂と花粉の形態学的な特徴をディープラーニングモデルを介して学習して得られた学習データを保存する保存部と、
    撮影された映像と、前記保存部に保存された学習データを用いて、前記撮影された映像から蜂と花粉を識別する制御部と、を含み、
    前記学習データは、蜂に対する学習データと、花粉に対する学習データとを含み、
    前記制御部は、前記学習データを用いて蜂と推定される領域にハチボックスを設定し、前記ハチボックスの内側における花粉と推定される領域に花粉ボックスを設定して蜂と花粉をそれぞれ識別する、
    学習による花粉識別装置。
  2. 前記制御部は、前記ハチボックスと前記花粉ボックスとの積集合の大きさに対応するＩｏＵ値を用いて花粉の有無を識別する、
    請求項１に記載の学習による花粉識別装置。
  3. 前記制御部は、前記撮影された映像の映像処理を行い、当該映像において境界線を検出し、花粉と推定される境界線を花粉の輪郭線として識別し、前記花粉ボックス内に存在する前記輪郭線のみを花粉とみなす、
    請求項１に記載の学習による花粉識別装置。
  4. 前記制御部は、前記輪郭線を花粉の色または濃度を把握する基準線として設定する、
    請求項３に記載の学習による花粉識別装置。
  5. 前記制御部は、前記輪郭線に内接する四角形を設定し、前記四角形の内部を前記花粉の色または濃度を把握する対象領域として設定する、
    請求項３に記載の学習による花粉識別装置。
  6. 前記制御部は、前記ハチボックスと花粉ボックスの面積比率（Ｒ）、前記輪郭線の曲率（Ｅ）、前記花粉の色と背景色との差（Ｄ）、前記輪郭線内の色の割合（Ｐ）のうち少なくとも一つの情報に基づいて花粉の有無を判断する、
    請求項３に記載の学習による花粉識別装置。
  7. 前記制御部は、前記ハチボックスと花粉ボックスの面積比率（Ｒ）、前記輪郭線の曲率（Ｅ）、前記花粉の色と背景色との差（Ｄ）、前記輪郭線に内接する四角形内の色の割合（Ｐ）のうち少なくとも一つの情報に基づいて花粉の有無を判断する、
    請求項３に記載の学習による花粉識別装置。
  8. 前記制御部は、前記花粉ボックスに対応する領域の映像に対して二値化処理を経てカラー色の値を標準化し、数値積分法で前記値を分析し、前記花粉の濃度や量を定量的に判定する、
    請求項３に記載の学習による花粉識別装置。
  9. 前記制御部は、前記二値化処理の際、前記花粉ボックス内で、前記輪郭線の外領域は色の値を０に設定する、
    請求項８に記載の学習による花粉識別装置。
  10. 前記制御部は、前記花粉ボックスに対応する領域の映像に対して、カラー色の値をＺ軸として設定して、花粉の分布を立体的に表示する、
    請求項１に記載の学習による花粉識別装置。
  11. 前記映像を撮影するカメラ部と、
    前記映像を表示するための表示部をさらに含み、
    前記制御部は、前記ハチボックス、花粉ボックス及び輪郭線を前記表示部に表示する、
    請求項１に記載の学習による花粉識別装置。
JP2023104151A 2023-02-14 2023-06-26 学習による花粉の識別装置 Active JP7368916B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2023-0019250 2023-02-14
KR1020230019250A KR102711047B1 (ko) 2023-02-14 2023-02-14 학습을 통한 화분 식별 장치 및 방법

Publications (2)

Publication Number Publication Date
JP7368916B1 true JP7368916B1 (ja) 2023-10-25
JP2024115496A JP2024115496A (ja) 2024-08-26

Family

ID=86942854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023104151A Active JP7368916B1 (ja) 2023-02-14 2023-06-26 学習による花粉の識別装置

Country Status (5)

Country Link
US (1) US20240273928A1 (ja)
EP (1) EP4417045A1 (ja)
JP (1) JP7368916B1 (ja)
KR (1) KR102711047B1 (ja)
CN (1) CN118489624A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220211013A1 (en) * 2015-06-03 2022-07-07 Keltronix, Inc. Agricultural monitoring system using image analysis
CN115220132A (zh) * 2022-07-04 2022-10-21 山东浪潮智慧医疗科技有限公司 一种预报大气中花粉浓度的方法
US20220361471A1 (en) * 2021-05-11 2022-11-17 The Penn State Research Foundation Intelligent insect trap and monitoring system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160141224A (ko) 2015-05-29 2016-12-08 주식회사 성광 수정벌 관리장치 및 관리 시스템
KR101963648B1 (ko) 2017-09-22 2019-04-01 한국과학기술연구원 온실 수정벌 관리 시스템 및 방법, 수정벌 상자
SE545381C2 (en) * 2019-09-05 2023-07-25 Beescanning Global Ab Method for calculating the deviation relation of a population registered on image for calculating pest infestation on a bee population

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220211013A1 (en) * 2015-06-03 2022-07-07 Keltronix, Inc. Agricultural monitoring system using image analysis
US20220361471A1 (en) * 2021-05-11 2022-11-17 The Penn State Research Foundation Intelligent insect trap and monitoring system
CN115220132A (zh) * 2022-07-04 2022-10-21 山东浪潮智慧医疗科技有限公司 一种预报大气中花粉浓度的方法

Also Published As

Publication number Publication date
KR102711047B1 (ko) 2024-09-27
EP4417045A1 (en) 2024-08-21
US20240273928A1 (en) 2024-08-15
JP2024115496A (ja) 2024-08-26
CN118489624A (zh) 2024-08-16
KR20240126595A (ko) 2024-08-21

Similar Documents

Publication Publication Date Title
Chen et al. An AIoT based smart agricultural system for pests detection
Millan et al. On‐the‐Go Grapevine Yield Estimation Using Image Analysis and Boolean Model
Parham et al. Animal population censusing at scale with citizen science and photographic identification
CN102915446A (zh) 基于svm机器学习的植物病虫害检测方法
US20240037724A1 (en) Plant detection and display system
Dewangan et al. CNN-LSTM framework to automatically detect anomalies in farmland using aerial images from UAVs
JP7368916B1 (ja) 学習による花粉の識別装置
Fang et al. Classification system study of soybean leaf disease based on deep learning
JP7384506B1 (ja) 学習による昆虫個体の識別装置
Mahenthiran et al. Smart pest management: an augmented reality-based approach for an organic cultivation
Chen et al. Instance Segmentation of Grape Berry Images Based on Improved Mask R-Cnn
JP7368915B1 (ja) 学習による蜂の軌跡追跡及び分析装置及び方法
Putra et al. Vision-Based Object Detection for Efficient Monitoring in Smart Hydroponic Systems
Surige et al. IOT-based monitoring system for oyster Mushroom Farms in Sri Lanka
US20190096045A1 (en) System and Method for Realizing Increased Granularity in Images of a Dataset
Malloci Predictive Analytics Models and Tools for Decision Support of Stakeholders in Digital Agriculture
Wang et al. Deep Learning Technique and UAV Imagery Dataset for Paddy Rice Panicle Detection at Early Stage
Bastidas-Rodriguez et al. Estimating wingbeat frequency on hummingbirds by using a no-labeling learning computer vision approach
KR20240066873A (ko) 군집 사육 가축의 운동 활력도 측정 장치 및 방법
Matsuo et al. Development of a growth state estimation system using a moving camera in strawberry cultivation
Yadav et al. A Novel Approach: Pests Detection Using Artificial Neural Network and Image Processing.
Dembski et al. Towards bees detection on images: study of different color models for neural networks
Ariza-Sentís et al. Grape counting in RGB videos–comparing two instance segmentation models
Sheema et al. FAW Detection using IoT on Amended Faster R-CNN algorithm based on Odor cues in Maize crop
Janota et al. Towards Robotic Mapping of a Honeybee Comb

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230626

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7368916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150