JP7458089B2 - 虫同定用画像データの生成方法及び虫同定システム - Google Patents

虫同定用画像データの生成方法及び虫同定システム Download PDF

Info

Publication number
JP7458089B2
JP7458089B2 JP2022058795A JP2022058795A JP7458089B2 JP 7458089 B2 JP7458089 B2 JP 7458089B2 JP 2022058795 A JP2022058795 A JP 2022058795A JP 2022058795 A JP2022058795 A JP 2022058795A JP 7458089 B2 JP7458089 B2 JP 7458089B2
Authority
JP
Japan
Prior art keywords
insect
image data
information
point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022058795A
Other languages
English (en)
Other versions
JP2023149958A (ja
Inventor
淳一郎 片山
友志 川竹
崇文 田之江
達也 亀本
一輔 武津
庸介 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEST VISION SOLUTIONS CO., LTD.
Original Assignee
PEST VISION SOLUTIONS CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEST VISION SOLUTIONS CO., LTD. filed Critical PEST VISION SOLUTIONS CO., LTD.
Priority to JP2022058795A priority Critical patent/JP7458089B2/ja
Priority to PCT/JP2023/011675 priority patent/WO2023190096A1/ja
Priority to TW112112076A priority patent/TW202347252A/zh
Publication of JP2023149958A publication Critical patent/JP2023149958A/ja
Priority to JP2024037408A priority patent/JP2024060036A/ja
Application granted granted Critical
Publication of JP7458089B2 publication Critical patent/JP7458089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/14Catching by adhesive surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pest Control & Pesticides (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Insects & Arthropods (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Environmental Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Catching Or Destruction (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、虫同定用画像データの生成方法及び虫同定システムに関する。
従来、捕獲された虫類を同定する捕獲虫類同定システムとして、特許文献1に記載のシステムが知られている。捕獲虫類同定システムは、虫類が粘着した粘着シートの画像を読み込む画像読み込み手段と、読み込まれた画像を解析して捕獲された虫類を同定する解析装置と、を備える。解析装置は、読み込まれた画像に対して、虫が写った領域である虫領域と背景とを区別するための画像処理をする前処理手段と、前処理された画像から虫類のメルクマールデータを取得する特徴抽出手段と、虫類の形態的特徴のメルクマールを標準化した標準メルクマールデータを記憶するデータ記憶手段と、特徴抽出手段によって抽出されたメルクマールデータとデータ記憶手段に記憶された標準メルクマールデータとを比較して虫類の同定をする同定手段と、を備える。
上記のような捕獲虫類同定システムによれば、人手によって虫類の同定をする場合に比べて客観性及び一貫性のある同定結果を得ることができるとされている。
特開2014-142833号公報
特許文献1に記載のような捕獲虫類同定システムでは、捕獲された虫が様々な姿勢を取るため、例えば、虫が折れ曲がった状態で粘着シートに粘着している場合に、虫類の形態的特徴を適切に抽出できず、誤認識し同定の精度が低くなることがあった。
そこで、本発明は、画像データに含まれる虫の同定精度を高めることができる虫同定用画像データの生成方法及び虫同定システムを提供することを目的とする。
本発明の虫同定用画像データの生成方法は、画像中に虫が含まれる処理前画像データを処理して、虫同定用画像データを生成する虫同定用画像データの生成方法であって、前記処理前画像データから虫に関する虫データを抽出する虫抽出工程と、前記抽出された虫データに対して少なくとも3点を指定して点情報を付与する点情報付与工程と、該点情報付与工程によって指定された前記少なくとも3点の点情報に順番に関する順情報を付与する順情報付与工程と、を有する。
かかる構成によれば、抽出された虫に対して点情報及び順情報が付与されるので、該点情報や順情報に基づいて虫の姿勢を割り出すことができ、例えば虫が折れ曲がっていても適切に虫の種類を同定することができる。よって、画像データに含まれる虫の同定精度を高めることができる。
また、前記虫抽出工程は、前記画像中に含まれる虫を囲う枠に関する枠情報を付与する枠情報付与工程を含み、該枠情報付与工程で付与された枠情報に基づいて、虫データを抽出するよう構成することもできる。
かかる構成によれば、抽出した虫に枠情報が付与されるので、複数の虫が重なり合っている場合でも適切に虫を判別しやすい。よって、画像データに含まれる虫の同定精度を高めることができる。
また、前記点情報付与工程は、虫が有する複数の部位のうち、2以上の部位に対して少なくとも3点が対応するように点情報を付与する工程であり、前記順情報付与工程は、前記2以上の部位の並び順に基づいて前記順情報を前記点情報に付与するよう構成することもできる。
かかる構成によれば、2以上の部位に対して点情報を指定し、部位の並び順に基づいて点情報を付与するので、虫が折れ曲がっている場合に適切に虫の姿勢を判断できる。よって、画像データに含まれる虫の同定精度を高めることができる。
また、前記点情報付与工程は、前記虫データに対応する虫の頭部に対応した頭部対応点、前記虫の腹部に対応した腹部対応点、並びに、前記頭部対応点及び前記腹部対応点の間に位置する中間点、の少なくとも3点を前記虫データに対して指定して点情報を付与するよう構成することもできる。
かかる構成によれば、頭部対応点、腹部対応点及び中間点を含む少なくとも3点を基に虫の姿勢を判断できるため、虫が折れ曲がっている場合でも適切に虫の姿勢を判断できる。よって、画像データに含まれる虫の同定精度を高めることができる。
また、前記点情報付与工程は、前記中間点として、前記頭部対応点及び前記腹部対応点の間に位置する特徴点に点情報を付与するよう構成することもできる。
かかる構成によれば、中間点として特徴点に点情報を付与するので、同じ種類の虫に対しては、虫における略同じ位置に点情報を付与できる。よって、画像データに含まれる虫の同定精度を高めることができる。
また、前記処理前画像データは、捕獲面に虫が捕獲された捕獲済試料における前記捕獲面を撮像するように該捕獲面に対して離間して配置され、且つ前記捕獲面の面方向に沿って走行するカメラと、該カメラが走行する走行エリアの両サイドから前記捕獲面に光を照射する照射装置と、を備える撮像装置によって生成され、該撮像装置は、カメラを走行させて複数の画像を撮像し、該撮像された複数の画像をつなげて処理前画像データを生成するよう構成することもできる。
かかる構成によれば、撮像装置は、走行エリアの両サイドから光を照射するので、虫が影になることを抑制でき、かつ、複数の画像をつなげて処理前画像データを生成するので、処理前画像データの虫がぼやけることを抑制できる。よって、画像データに含まれる虫の同定精度を高めることができる。
また、機械学習に用いられる教師データとしての虫同定用画像データを生成する虫同定用画像データの生成方法であって、前記抽出された虫データに対して、虫の種類に関する種類情報を付与する種類情報付与工程を含むよう構成することもできる。
かかる構成によれば、虫の種類に関する種類情報を付与する種類情報付与工程を含むので、画像データに含まれる虫が折れ曲がっている場合であっても、該折れ曲がった虫を含む画像データを教師データとして用いることができる。
また、本発明の虫同定システムは、画像中に同定対象の虫が含まれる対象画像データを取得する画像データ取得部と、前記対象画像データに含まれる虫の種類を同定する虫同定部と、を備え、前記虫同定部は、教師データを用いた機械学習によって構築された学習済モデルによって前記画像データ取得部が取得した前記対象画像データに含まれる虫の種類を同定するように構成され、前記学習済モデルは、画像中に虫が含まれる教師画像データと、該教師画像データに含まれる虫に関する虫データに対して少なくとも3点を指定して付与された点情報、及び、該点情報に付与された順番に関する順情報、を含む姿勢情報と、前記教師画像データに含まれる虫の種類に関する種類情報と、を含む教師データを用いた機械学習によって構築される。
かかる構成によれば、学習済モデルは、教師画像データに含まれる虫データに対して指定された少なくとも3点に関する点情報と順情報を含む姿勢情報を含んだ教師データを用いた機械学習によって構築されるので、例えば虫が折れ曲がっていても適切に虫の種類を同定することができる。
本発明によれば、画像データに含まれる虫の同定精度を高めることができる虫同定用画像データの生成方法及び虫同定システムを得ることができる。
本発明の一実施形態に係る虫同定用画像の生成方法における処理前画像データを撮影する撮影装置を示す概略図である。 同虫同定用画像の生成方法における処理を示すフローチャートである。 同虫同定用画像の生成方法における部位抽出工程の処理を示すフローチャートである。 同虫同定用画像の生成方法において枠情報が付与された処理前画像データに対応する画像を示す図である。 同虫同定用画像の生成方法において部位抽出工程が完了した虫データに対応した虫を示す図であり、(a)は、部位判定可能な虫データに対応した虫を示し、(b)は部位判定不能な虫データに対応した虫を示す。 同虫同定用画像の生成方法において点情報及び順情報が付与された虫データに対応した虫を示す図であり、(a)は部位の境界が認識可能な虫データに対応した虫を示し、(b)は部位の境界が認識不能な虫データに対応した虫を示す。 本発明の一実施形態に係る虫同定システムの概要を示す図である。 同虫同定システムを示すブロック図である。 対処制御を行う防除システムを示すブロック図である。 対処制御を行う防除システムにおける虫の増加判定、発生源、処理方法判定工程の処理を示すフローチャートである。 対処制御を行う防除システムにおける薬剤処理方法の判定工程の処理を示すフローチャートである。 対処制御を行う防除システムにおける実施可否判断工程の処理を示すフローチャートである。 対処制御を行う防除システムにおける各種処理判定の判断に用いるデータテーブルである。 予防制御を実行する防除システムを示すブロック図である。 予防制御を実行する防除システムにおける処理の流れを示すフローチャートである。 予防制御を実行する防除システムにおける虫の増殖環境情報判定の判断に用いるデータテーブルである。
本発明の一実施形態に係る虫同定用画像データの生成方法及び虫同定システム6について図1乃至図8を参照して説明する。
初めに、本実施形態の虫同定用画像データの生成方法で処理される処理前画像データについて図1を参照して説明する。処理前画像データは、虫1を捕獲可能な捕獲面2aを有する捕獲済試料2における、虫1が捕獲された捕獲面2aを撮像可能な撮像装置3によって生成される。本実施形態の捕獲済試料2は、捕獲面2aに虫1が粘着可能に構成され、複数の虫1が捕獲面2aに粘着した状態で捕獲されている試料であり、具体的には、虫1が捕獲された捕虫紙である。ここで、「虫」とは、哺乳類、鳥類、魚介類以外のすべての小動物を含み、本実施形態では節足動物(特に昆虫や蜘蛛)を指す。また、捕獲面2aは、面方向が一方向(本実施形態では図1の紙面を貫く方向)に延伸する平坦な形状である。さらに、捕獲面2aは、無地であり、本実施形態では全体が黄色の面であり、罫線などが設けられていない面である。
捕獲済試料2の捕獲面2aには、複数の虫1が粘着している。本実施形態の捕獲済試料2としては、捕獲面2aに虫1の死骸を振りかけて粘着させて作成された試料や、虫1を光や匂いで誘引し捕獲面2aに粘着させて作成された試料が採用されるが、これらに限らない。
撮像装置3は、捕獲済試料2を撮像して処理前画像データを生成する装置である。具体的に、撮像装置3は、箱型で外光を遮断可能な筐体31と、筐体31の内部に設けられ、捕獲面2aの面方向が一方向に延伸する状態(本実施形態では、図1の紙面を貫く方向に延伸する状態)で捕獲済試料2を保持可能な保持手段(図示しない)と、筐体31の内部に設けられ、捕獲済試料2における捕獲面2aを撮像可能な撮像手段32と、筐体31の内部に設けられ、捕獲済試料2における捕獲面2aに光を照射可能な照射装置33と、撮像手段32が撮像した画像を処理して処理前画像データを生成する撮像処理部(図示しない)と、を備える。
撮像手段32は、保持手段に保持された捕獲済試料2における捕獲面2aを撮像するように捕獲面2aに対して離間して配置されるカメラ34と、保持手段に保持された捕獲済試料2における捕獲面2aの面方向に沿ってカメラ34を走行させる走行手段(図示しない)と、を備える。カメラ34は、走行手段によって捕獲面2aの面方向に沿って移動(走行)可能であり、捕獲面2aの面方向に移動しつつ、捕獲面2aの面方向における複数の位置で捕獲面2aを撮像可能である。また、本実施形態のカメラ34は、捕獲面2aに対向する位置に配置される。また、カメラ34は、捕獲面2aのうち、カメラ34に対向する部分にのみピントが合う程度の焦点距離を有する。
照射装置33は、カメラ34が走行する走行エリアの両サイドから捕獲面2aに対して光を照射するように構成されている。具体的に、照射装置33は、走行エリアをまたいだ一方側と他方側とにそれぞれ照明部35を有し、各照明部35が捕獲面2aに対して光を照射する。また、照明部35は、捕獲面2aの幅方向(面方向と直交する方向)の中心から上方に略45度離間した位置から光を照射するように設けられている。本実施形態の照射装置33は、走行エリアに沿って複数の照明部35が並んで設けられるように構成されており、走行エリアの一方向における全域に光を照射可能である。また、本実施形態の照射装置33は、白色光を捕獲面2aに照射する。
撮像処理部は、撮像手段32が撮像した複数の画像をつなげて処理前画像データを生成する。具体的に、撮像処理部は、カメラ34が撮像した複数の画像について、各画像のピントが合っている部分をつなぎ合わせる加工をして処理前画像データを生成する。本実施形態で撮像処理部は、カメラ34が撮像した複数の画像について、捕獲面2aのうちカメラ34と対向している部分の画像をつなぎ合わせて処理前画像データを生成する。
以上のように生成された処理前画像データは、例えば、図4に示すように、捕獲面2aの上に虫1が乗った状態の画像を表すデータである。本実施形態の処理前画像データは、捕獲面2aを背景とし、該背景上に複数の虫1が写された画像を表す画像データであり、処理前画像データには、虫1に関する虫データDが複数含まれている。虫データDとは、処理前画像データのうち、虫1を示す部分の画像データである。
次に、処理前画像データを処理して虫同定用画像データを生成する方法について図2乃至図6を参照して説明する。本実施形態の虫同定用画像データの生成方法は、機械学習に用いられる教師データとしての虫同定用画像データを生成する方法である。
図2に示すように、本実施形態の虫同定用画像データの生成方法は、上述のように画像中に虫1が含まれる処理前画像データを処理して、虫同定用画像データを生成する方法である。具体的に、虫同定用画像データの生成方法は、処理前画像データから虫1に関する虫データDを抽出する虫抽出工程S1と、抽出された虫データDに含まれる虫1の部位を抽出する部位抽出工程S2と、抽出された虫データDに対して点情報4を付与する点情報付与工程S3と、点情報4に対して順番に関する順情報5を付与する順情報付与工程S4と、を備える。本実施形態の虫同定用画像データの生成方法では、上記各工程をすべての虫データDに対して実行してから次の工程を実行する。また、本実施形態では、各工程を人が行う。
虫抽出工程S1は、処理前画像データに対応する画像に含まれる虫1を発見する虫発見工程S11と、発見した虫1を特定するための虫特定工程S12と、を実行する工程である。即ち、虫抽出工程S1では、虫発見工程S11で虫1を発見し、虫特定工程S12では発見した虫1を特定するための情報を付加したデータを虫データDとして抽出する。
虫発見工程S11は、処理前画像データを処理して、処理前画像データに対応する画像に含まれる虫1を発見する工程である。本実施形態の虫発見工程S11では、処理前画像データに対応する画像から、虫1の特徴を有する部分を探す工程であり、具体的には、背景と異なる色の部分が所定の形状の輪郭を有している場合に、該輪郭で囲まれた部分を1頭の虫1として判定する。
図4に示すように、虫特定工程S12は、虫発見工程S11において発見された虫1を囲う枠Fに関する情報である枠情報を付与する工程である枠情報付与工程と、枠情報付与工程で付与された枠情報に基づいて虫データを抽出する抽出工程と、発見された虫1の種類に関する種類情報を付与する種類情報付与工程と、を実行する工程である。即ち、本実施形態の虫特定工程S12では、処理前画像データに対応する画像中に含まれる虫1の範囲と、虫1の種類と、に関する情報を特定し、該特定された虫1に関する虫データDを抽出する。
枠情報付与工程は、処理前画像データのうち、発見された虫1が占める範囲を特定し、該虫1が占める範囲を囲う枠Fに関する枠情報を付与する工程である。具体的に、枠情報付与工程は、虫発見工程S11で発見された虫1の外縁を特定し、該外縁を囲うような枠Fに関する情報を付与する工程である。本実施形態で付与される枠情報に対応した枠Fは、方形状、とくには長方形状であり、例えば、長方形状の枠Fのうち、対角に位置する2点の座標を枠情報として付与する。
抽出工程では、枠情報に基づいて虫データDを抽出する工程である。具体的に、抽出工程では、虫発見工程S11で発見された虫1が位置する範囲を枠Fで囲ったデータを虫データDとして抽出する。即ち、虫データDは、処理前画像データのうち、虫1が位置する範囲を枠Fで囲って抽出された画像データである。
種類情報付与工程は、発見された虫1の種類(具体的には、後述する虫1の発生源を特定するために必要な程度の分類における種類であって、例えば、虫1が属する、生物の分類階級における科(Family))を特定し、虫1の種類についての情報を虫データDに付与する工程である。ここで、付与される種類に関する情報とは、虫1の種類を特定可能な情報であり、例えば、虫1の種類名や虫1の種類に関する識別子である。種類情報付与工程では、枠情報に対応する枠Fに囲まれた虫1の種類名に関する情報を虫データDに付与する。
図2及び図3に示すように、部位抽出工程S2は、抽出された各虫データDに対応した虫1の部位を抽出する工程である。また、本実施形態の部位抽出工程S2では、各虫データDに対応した虫1について、部位特定が可能であるか否かを判断し、部位特定可能である場合に各虫データDに対応した虫1の部位を特定し抽出する。具体的に、部位抽出工程S2は、処理対象の虫データDに対応した虫1を選ぶ選択工程S21と、選択工程S21において選択された虫データDに対応した虫1の部位を特定可能であるかを判断する可否判断工程S22と、部位を特定可能な虫データDに対応した虫1について部位を特定し抽出する特定工程S23と、部位を特定できない虫データDに対応した虫1に対して部位を特定しないことを指定する不指定処理工程S24と、を実行する工程である。本実施形態の部位抽出工程S2では、未処理の虫データDがあるかどうかを判定し、未処理の虫データDがいる場合には部位抽出工程S2における各処理を繰り返す繰り返し工程S25を実行する。
ここで、虫1の体の構成について図4乃至図6を参照して説明する。虫1は、頭部13、及び、頭部13と連結され、少なくとも腹部16を含む胴部14を有する体本体11と、体本体11から外方に延びる付属部12と、を備える。付属部12は、例えば、触角や脚部、翅等を含む。体本体11の構成は虫1によって異なる。例えば、昆虫の体本体11は、頭部13と、胴部14としての胸部15及び腹部16と、を備える。また、蜘蛛の体本体11は、頭部13としての頭胸部と、胴部14としての腹部16と、を備える。本実施形態において、虫1の部位とは、虫1の体本体11における各部位を指すものとして説明する。
図3に示すように、選択工程S21は、抽出された複数の虫データDに対応した虫1から1頭の虫1を処理対象として選択する工程である。また、選択工程S21では、部位抽出工程S2における処理完了していない未処理の虫データDに対応した虫1を選択する。
可否判断工程S22は、選択された虫データDに対応した虫1の部位を特定可能であるかを判断する工程である。本実施形態の可否判断工程S22では、選択された虫データDに対応した虫1の画像に各部位が判別可能な程度表れているか否かを判断し、各部位が判別可能な程度表れている場合には、選択された虫データDに対応した虫1の部位を特定可能であると判断する。本実施形態の可否判断工程S22では、少なくとも頭部13と胴部14とを判別可能であれば部位を判別可能であると判断する。例えば、図5(a)に示すように、虫データDに対応した虫1の体本体11における各部位(頭部13と胴部14)の境界が認識可能である場合に、虫1の部位を特定可能であると判断する。一方、図5(b)に示すように、虫データDに対応した虫1の体本体11が付属部12(具体的には翅)、他の虫1や塵等によって隠れ、頭部13と胴部14の境界が判別不能である場合には、部位特定不可であると判断する。また、可否判断工程S22では、虫1が捕獲面2a上で潰れたり、破損して部位の一部が紛失又は体本体11から離れたりしている場合のような、虫データDに対応した虫1の部位を判別できないような場合にも部位特定不可であると判断する。本実施形態では、虫データDに対応した虫1の一部がつぶれたり隠れたりしていたとしても、虫1の部位を判定可能な程度に体本体11が認識できれば虫1の部位を特定可能であると判断する。
特定工程S23は、可否判断工程S22において、虫データDに対応した虫1の部位を特定可能であると判断された虫1について各部位を特定し、抽出する工程である。具体的に、特定工程S23は、虫データDに対応した虫1画像データのうち、各部位が位置している範囲を特定し、抽出する。例えば、図5(a)に示すように、特定工程S23で、虫データDに対応した虫1の体本体11全体が認識可能であり頭部13、胸部15、及び腹部16の境界が認識できる場合には、虫1の体本体11のうち、頭部13が位置している範囲と、胸部15が位置している範囲と、腹部16が位置している範囲と、を特定して抽出し、抽出した各範囲に各部位と対応した情報を付与する。また、特定工程S23では、虫データDに対応した虫1の頭部13と胸部15との境界は認識可能であるが、胸部15と腹部16の境界が認識できない場合、又は、胴部14が胸部15及び腹部16の少なくとも一方を備えない虫1(例えば蜘蛛)である場合(例えば図6(b)に示すような場合)には、頭部13が位置している範囲と、胴部14が位置している範囲と、の少なくとも2以上の部位を特定して抽出し、抽出した各範囲に各部位と対応した情報を付与する。
不指定処理工程S24は、可否判断工程S22において、部位判定不可であると判断された虫データDに対応した虫1について、部位の特定をしないと指定する工程である。不指定処理工程S24によって、部位特定不可であると判断された虫データDに対応した虫1には、例えば図5(b)に示すように、部位判定不可であるという情報が付与される。
繰り返し工程S25は、部位抽出工程S2における処理をしていない未処理の虫データDに対応した虫1がいるかどうかを判定し、未処理の虫1がいる場合には部位抽出工程S2における各処理を繰り返す工程である。具体的に繰り返し工程S25では、処理前画像データに含まれる複数の虫データDに、特定工程S23における処理又は不指定処理工程S24における処理が完了していない虫データDが含まれている場合には、未処理の虫データDに対応した虫1がいると判断し、選択工程S21に移行する処理をする。また、繰り返し工程S25は、処理前画像データに含まれるすべての虫データDについて、特定工程S23における処理又は不指定処理工程S24における処理が完了している場合には、部位抽出工程S2を終了させる。
図2に示すように、点情報付与工程S3は、虫データDに対して、少なくとも3点を指定して点情報4を付与する工程である。また、点情報付与工程S3では、虫データDに対応した虫1の表面に載る3点を指定して点情報4を付与し、具体的には、虫1の体本体11の全長方向(虫1の頭と腹を結ぶ方向)に離間した3点を指定して点情報4を付与する。即ち、点情報付与工程S3は、処理前画像データのうち、虫データDに対応した虫1が位置する範囲内に少なくとも3点の点情報4を付与する工程であり、具体的には、部位抽出工程S2で抽出された虫1の各部位が位置する範囲内の少なくとも3点に点情報4を付与する。本実施形態の点情報付与工程S3では、虫データDに対応した虫1の体本体11を構成する複数の部位のうち、2以上の部位に対して3点が対応するように点情報4を付与する工程であり、例えば、頭部13及び胴部14に3点が対応するように点情報4を付与する。図6に示すように、本実施形態の点情報付与工程S3では、各虫データDに対応した虫1について、少なくとも虫1の頭部13に対応した位置及び虫1の胴部14に対応した位置に点情報4を付与し、具体的には、虫1の頭部13に対応した頭部対応点41と、虫1の腹部16に対応した腹部対応点42と、頭部対応点41及び腹部対応点42の間に位置した中間点43と、の3点を指定して点情報4を付与する。このように、本実施形態の点情報付与工程S3では、虫データDに対応した虫1の部位を基準として点情報4を付与するので、部位抽出工程S2において、部位が抽出された虫データDに対して点情報4を付与するが、部位抽出工程S2において部位判定不可と判断された虫データDに対しては点情報4を付与しない。
頭部対応点41は、頭部13の先端(体本体11の全長方向で頭側の端部)に指定される点であり、また、体本体11の幅方向(虫データDに対応した虫1の画像において体本体11の全長方向に直交する方向)で略中央に指定される点である。即ち、頭部対応点41は、虫1の体本体11の先端、かつ、体本体11の幅方向で略中央に指定される点である。腹部対応点42は、腹部16の後端(体本体11の全長方向で腹側の端部)に指定される点であり、また、体本体11の幅方向で略中央に指定される点である。即ち、腹部対応点42は、胴部14の後端(虫1の体本体11の後端)、かつ、体本体11の幅方向で略中央に指定される点である。
中間点43は、虫1の体本体11のうち、全長方向における中途部分に指定される点である。また、中間点43は、虫1の幅方向で略中央に指定される点であり、本実施形態では、胴部14に位置する点である。さらに、中間点43は、虫1の体本体11のうち、特徴点に位置する点である。特徴点とは、虫1の外見上の特徴がある点であり、例えば、部位同士の境目や、翅の付け根又は虫1の模様、虫1の各部位の先端と後端の中央位置のような、部位内で特徴がある点に基づいて判別可能な位置等である。虫1の各部位の先端と後端の中央位置とは、例えば腹部の先端と後端の中央位置や、胴部の先端と後端の中央位置である。例えば、図6(a)に示す虫1の場合には、胸部15と腹部16の境界位置のうち、幅方向の中央部分を特徴点として、中間点43の位置が指定される。また、図6(b)に示す虫1(例えばコウチュウ目)の場合には、胴部14のうち、翅の付け根部分を特徴点として中間点43の位置が指定される。本実施形態の点情報付与工程S3では、虫データDに対応した虫1の体本体11の部位同士の境目が認識可能な場合には、部位同士の境目を特徴点として扱い、虫データDに対応した虫1の体本体11の部位同士の境目を認識不能、かつ、部位内で特徴がある点を認識可能な場合には、部位内で特徴がある点を特徴点として扱う。
順情報付与工程S4は、点情報付与工程S3で付与された3点の点情報4に順番に関する順情報5を付与する工程である。順情報5は、虫データDに対応した虫1の姿勢を特定するために点情報4に対して付与される順番に関する情報であり、具体的には、頭部対応点41、中間点43、及び、腹部対応点42を所定の順に並べた順番に関する情報である。また、順情報5は、虫1の体本体11の全長方向に並ぶ順番に関する情報であり、本実施形態では、図6に示すように、先端側(頭側)から後端側(腹側)に向かう順番に関する情報である。即ち、順情報付与工程S4では、虫1の体本体11の部位の並び順に基づいて点情報4に対して順情報5を付与し、本実施形態では、頭部対応点41、中間点43、腹部対応点42の順になる順番に関する順情報5を付与する。また、本実施形態の順情報付与工程S4では、点情報4に対して順情報5を付与するので、点情報付与工程S3において点情報4を付与されていない虫データD(部位抽出工程S2において部位判定不可と判断された虫データD)に対しては順情報5を付与しない。
以上のように、本実施形態の虫同定用画像データの生成方法では、処理前画像データに対して上記工程における各処理をして虫同定用画像データを生成する。
次に、虫同定システム6について図7及び図8を参照して説明する。
図7に示すように、虫同定システム6は、インターネットIを介してクライアント端末C(本実施形態では撮像装置3)から送信された画像データに含まれる虫1を同定するシステムである。具体的に、虫同定システム6は、クライアントが虫捕獲済試料を撮像した対象画像データを処理して、対象画像データに含まれる虫1を同定して出力するシステムである。本実施形態で、対象画像データは、前述の撮像装置3によって撮像され、撮像装置3に内蔵された通信手段で虫同定システム6に対して送信させる。
図8に示すように、虫同定システム6は、外部と通信する通信部61と、外部から対象画像データを取得する画像データ取得部62と、対象画像データに含まれる虫1の種類を同定する虫同定部63と、虫同定部63の同定結果を出力する出力部64と、を備える。画像データ取得部62は、通信部61及びインターネットIを介してクライアント端末C(撮像装置3)から対象画像データを取得する。出力部64は、通信部61及びインターネットIを介して同定結果をクライアント端末C(具体的には、クライアントのコンピュータPやタブレット端末等)に出力する。また、このような虫同定システム6は、コンピュータによって実現される。具体的に、本実施形態の虫同定システム6は、コンピュータが、外部と通信する通信部61と、外部から対象画像データを取得する画像データ取得部62と、対象画像データに含まれる虫1の種類を同定する虫同定部63と、虫同定部63の同定結果を出力する出力部64と、として機能するように構成されて実現される。
虫同定部63は、教師データを用いた機械学習によって構築された学習済モデル65によって、対象画像に含まれる虫1の種類を同定するように構成されている。学習済モデル65は、上記虫同定用画像データの生成方法によって生成された虫同定用画像データを教師データとして用いた機械学習によって構築される。
学習済モデル65の教師データは、画像中に虫1が含まれる教師画像データとしての処理前画像データと、教師画像データに含まれる虫1に関する虫データDに対して少なくとも3点を指定して付与された点情報4、及び、該点情報4に付与された順番に関する順情報5、を含む姿勢情報と、教師画像データに含まれる虫1の種類に関する種類情報と、を含む。点情報4は、点情報付与工程S3において付与される点情報4と同一であり、順情報5は、順情報付与工程S4において付与される順情報5と同一であり、種類情報は、種類情報付与工程において付与される種類情報と同一である。また、本実施形態の教師データは、教師画像データに含まれる虫1を囲う枠Fに関する枠情報が付与されたデータである。枠情報は、枠情報付与工程において付与される枠情報と同一である。
学習済モデル65は、上述の虫同定用画像データの生成方法によって生成された虫同定用画像データを教師データとした、いわゆる教師あり学習によって構築される。即ち、学習済モデル65は、機械学習アルゴリズムに対して、種類情報が付加された虫同定用画像データを多数与えて構築されたモデルである。
このような虫同定部63は、対象画像データを処理して、対象画像データに含まれる虫1を発見し、該発見した虫1の種類を同定する。本実施形態の虫同定部63は、対象画像データに対して、発見された虫1の種類情報を付与し、種類ごとの虫1の数を同定結果として出力する。本実施形態では、虫1の種類として、科レベルでの分類を採用する。
以上のような構成の虫同定用画像データの生成方法によれば、抽出された虫1に対して点情報4及び順情報5が付与されるので、該点情報4や順情報5に基づいて虫1の姿勢を割り出すことができ、例えば虫1が折れ曲がっていても適切に虫1の種類を同定することができる。よって、画像データに含まれる虫1の同定精度を高めることができる。
また、抽出した虫1に枠情報が付与されるので、複数の虫1が重なり合っている場合でも適切に虫1を判別しやすい。
さらに、2以上の部位に対して点情報4を指定し、部位の並び順に基づいて点情報4を付与するので、虫1が折れ曲がっている場合に適切に虫1の姿勢を判断できる。
また、頭部対応点41、腹部対応点42及び中間点43を含む少なくとも3点を基に虫1の姿勢を判断できるため、虫1が折れ曲がっている場合でも適切に虫1の姿勢を判断できる。
さらに、中間点43として特徴点に点情報4を付与するので、同じ種類の虫1に対しては、虫1における略同じ位置に点情報4を付与できる。
また、撮像装置3は、走行エリアの両サイドから光を照射するので、虫1が影になることを抑制でき、かつ、複数の画像をつなげて処理前画像データを生成するので、処理前画像データの虫1がぼやけることを抑制できる。
さらに、虫1の種類に関する種類情報を付与する種類情報付与工程を含むので、画像データに含まれる虫1が折れ曲がっている場合であっても、該折れ曲がった虫1を含む画像データを教師データとして用いることができる。
また、点情報付与工程S3の前に抽出された虫データDから該虫データDに対応する虫1の部位を抽出する部位抽出工程S2を有し、部位抽出工程S2は、少なくとも虫1の頭部13及び腹部16を抽出する。よって、点情報付与工程S3において、虫1の体本体11の部位に対して適切に点情報4を付与できる。
また、部位抽出工程S2は、抽出された虫データDについて部位抽出可能であるか否かを判定する可否判断工程S22を有し、抽出された虫データDのうち、可否判断工程S22において部位抽出可能であると判断された虫データDに対してのみ部位抽出を行い、点情報付与工程S3では、部位抽出された虫データDに対してのみ点情報4を付与する。よって、確実に虫データDに対応した虫1の部位に点情報4を付与できる。
さらに、点情報付与工程S3では、虫1の体本体11の少なくとも3点を指定して点情報4を付与する。よって、例えば昆虫の付属肢のような、付属部12の状態にかかわらず虫1の姿勢を確実に判別できる。
また、順情報付与工程S4では、頭部対応点41、中間点43、腹部対応点42の順、又は腹部対応点42、中間点43、頭部対応点41の順に順情報5を付与する。よって、体本体11の全長方向に沿って順情報5を付与するので、虫1の姿勢を確実に判別できる。
さらに、以上のような構成の虫同定システム6によれば、学習済モデル65は、教師画像データに含まれる虫データDに対して指定された少なくとも3点に関する点情報4と順情報5を含む姿勢情報を含んだ教師データを用いた機械学習によって構築されるので、例えば虫1が折れ曲がっていても適切に虫1の種類を同定することができる。
発明者が、上記の学習済モデル65を用いた虫同定システム6と、前記点情報4及び順情報5のような虫の姿勢に関する情報を含まず、虫の画像に対して虫の種類に関する情報のみを付与した教師データとして構築された従来型学習済モデルを用いた従来型虫同定システムと、を比較した結果を以下に記載する。同じ虫捕獲済試料を用いて虫1の同定をしたところ、従来型虫同定システムの同定精度は約60.0%であったのに対して、本発明に係る学習済モデル65を用いた虫同定システム6の同定精度は約79.1%であった。また、従来型虫同定システムでは、処理前画像に虫1が密集している場合に、虫1を虫1として判定できず虫1を検出する精度が下がる(具体的には、90.0%以上から80.0%以下まで下がる)ことがあったが、上記学習済モデル65用いた虫同定システム6では、虫1が密集している場合であっても虫1を検出する精度を維持(おおむね90.0%以上)することができた。
以上、本発明の実施形態について一例を挙げて説明したが、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
例えば、虫同定用画像データの生成方法を用いて教師データとしての画像データを作成する場合について説明したが、このような場合に限らず、例えば、人や機械によって画像データに含まれる虫1を同定する作業における前処理として本虫同定用画像データの生成方法を用いることもできる。具体的には、捕獲済試料2を撮像した試料撮像データに対して、本発明に係る虫同定用画像データの生成方法を適用し、処理前画像データとしての試料撮像データを、同定作業に際して用いられる、虫同定用画像データとしての同定作業用データとすることもできる。
また、人が処理前画像データに情報を付与して虫同定用画像データを作成する場合について説明したが、このような場合に限らず、例えば、全て又は一部の工程において処理前画像データに機械が情報を付与するように構成することもできる。全ての工程において、機械が処理前画像データに情報を付与するように構成する場合には、コンピュータが、虫抽出工程S1と、部位抽出工程S2と、点情報付与工程S3と、順情報付与工程S4と、を実行して虫同定用画像を生成する虫同定用画像の生成方法として構成することができる。
さらに、各工程をすべての虫1に対して実行してから次の工程に進む場合について説明したが、このような場合に限らず、例えば1頭の虫1に対してすべての工程を実行してから、次の虫1に対してすべての工程を実行するように構成することもできる。複数の虫1に対して独立して各工程を実行することもできる。
また、虫抽出工程S1で抽出された虫データDに対して、虫1の種類に関する種類情報を付与する種類情報付与工程を含む場合について説明したが、このような場合に限らず、例えば、虫1を同定する作業における前処理として本虫同定用画像データの生成方法を用いる場合には、虫1の種類情報を付与しないように構成することもできる。
さらに、虫抽出工程S1では、枠情報付与工程として、画像中の虫1を囲う四角形状の枠Fに関する枠情報を付与する場合について説明したが、このような構成に限らず、例えば、丸型や、虫1の輪郭に沿った形状のような、四角形状以外の枠に関する枠情報を付与することもできるし、枠Fを付与しない、つまり枠情報付与工程を含まないようにすることもできる。
また、部位抽出工程S2では、虫データDに対応した虫1に対して部位抽出の可否を判断し、部位抽出可能と判断された虫データDに対してのみ虫1の部位を抽出する場合について説明したが、このような構成に限らず、全ての虫データDに対して虫1の部位を抽出するように構成することもできる。
さらに、部位抽出工程S2を備える場合について説明したが、部位抽出工程S2を備えない構成とすることもできる。部位抽出工程S2を備えない場合には、例えば、点情報付与工程S3において虫データDに対して、体本体11の一端部、他端部、両端部の間位置の3点に点情報4を付与し、順情報付与工程S4において点情報4に一端部から他端部に向かって順に順情報5を付与するように構成することもできる。この場合、実質的には、虫1の2以上の部位に対して少なくとも3点が対応するように点情報4が付与される。なお、上記のような構成の場合、例えば体本体11の一端部は、虫1の触角がある場所として判定することもできる。また、頭部13が小さく、胴部14が大きい虫1等の場合には、胴部14に3点以上の点情報4を付与し、例えば頭部13側から順に順情報5を付与することもできる。さらに、体本体11にのみ点情報4を付与する場合について説明したが、このような構成に限らず、付属部12としての触角や脚部、翅部に点情報4を付与することもできる。例えば、触角の先端、体本体11、及び、脚部にそれぞれ1つ以上の点情報4を付与し、触角から順に順情報5を付与することもできる。いずれにしても、虫1の姿勢を推定できる程度に間隔をあけて3つ以上の点情報4及び順情報5を付与することで、虫1の姿勢を割り出して、虫1の同定精度を高めることができる。なお、4つ以上の点情報4を付与する場合には、精度よく姿勢を割り出すことができる。
また、虫データDに対して順情報付与工程S4において付与した順情報5に従って点情報4をつないだ線情報を付与するように構成することもできる。線情報を付与した場合には、付与された線情報によって、虫1の姿勢を判別しやすい。また、虫データDに対して点情報付与工程S3において付与した各点を結んだ線に囲まれたエリアに関する情報を付与することもできる。エリアに関する情報を付与した場合には、例えば、点情報付与工程S3で付与された3点の点情報4に囲まれたエリアの面積が広い場合には、虫1が大きく折れ曲がっていると判断することができる。
さらに、虫同定システム6における画像データ取得部62は、インターネットIを介して画像データを取得する場合について説明したが、このような構成に限らず、捕虫紙などを撮像した装置から直接画像データを取得するように構成することもできる。
また、対象画像データは、教師画像データを撮像した方法と同じ方法で撮像される場合について説明したが、このような構成に限らず、教師画像データと別の方法で撮像することもできる。
さらに、虫1の種類として生物の分類階級における「科(Family)」を用いる場合について説明したが、このような場合に限らず、「目(Order)」や、「属(Genus)」、「種(species)」などを用いることもできるし、分類階級に基づかない分類(例えば「ガガンボ類」のような見た目に基づく分類)を採用することもできる。
次に、防除システム7について、図9乃至図16を参照して説明する。防除システム7は、虫が増加した場合や、虫が増加する可能性が高い場合に、虫による悪影響を抑制するための処理を行うシステムであり、本実施形態では、建物内(例えば食品工場)の虫及び/又は建物に侵入する虫の防除を行うためのシステムである。本実施形態の防除システム7では、上記虫同定システム6を用いる。
防除システム7は、虫の増加に対応して、建物内の虫及び/又は建物に侵入する虫を減らすための処理をする対処制御(フィードバック制御)と、建物内の虫及び/又は建物に侵入する虫が増加する可能性がある場合に、虫の増加を予防するための処理をする予防制御(フィードフォワード制御)と、を実行する。まず、対処制御ついて説明する。
図9に示すように、対処制御を行う防除システム7は、虫同定システム6から同定結果に関する情報を受信して処理を行う制御部71と、各種情報を記憶する記憶手段72と、を備え、制御部71の処理結果を処理部8に出力する。本実施形態の防除システム7に同定結果に関する情報を出力する虫同定システム6は、建物内及び建物外に設置され、定点観測するように設けられた撮像装置3が生成(具体的には、撮像及び画像処理)した対象画像データについて、対象画像データに含まれる虫の種類ごとの数を同定結果として制御部71に対して出力する。撮像装置3は、建物内及び建物外に設けられた複数の捕虫装置(例えば捕虫紙)に捕虫された虫を撮像して対象画像データを生成する。即ち、本実施形態の虫同定システム6は、捕虫装置に捕虫された虫について、虫の種類ごとの数に関する同定結果を出力する。また、本実施形態で、虫同定システム6は、所定時間毎に同定結果を出力するように構成される。
防除システム7は、所定の処理を実行する制御部71と、虫同定システム6から受信した同定結果に関する情報を記憶する記憶手段72と、を備える。本実施形態の防除システム7は、虫同定システム6から受信した同定結果に関する情報に基づいて、虫の数が閾値以上増加している種類を特定し、特定された虫の種類に対応した処理方法D4を出力するように構成されたシステムである。また、本実施形態の防除システム7は、クラウドコンピューティングによって実現されるが、これに限定されない。
記憶手段72は、虫同定システム6から受信した同定結果について、少なくとも前回受信分の同定結果を記憶する。また、記憶手段72は、記憶している前回受信分の同定結果を制御部71に対して送信可能である。さらに、記憶手段72は、制御部71が各種判定に用いるデータベース(例えば図13に示すテーブルT1)を記憶し、制御部71の要求に応じて制御部71に対して送信する。図13に示すように、本実施形態の記憶手段72が記憶するデータベースは、虫の種類(種類情報)に対して、侵入経路情報D2及び発生源情報D3と、処理方法D4に関する情報と、が関係付けられたデータベースである。
制御部71は、虫同定システム6から受信した同定結果及び記憶手段72が記憶する前回受信分の同定結果を比較して、虫の種類ごとの虫の数が閾値以上増えたか否かを判定する増加判定部711と、増加判定部711が閾値以上増えたと判定した虫の種類について、当該種類の虫の侵入経路に関する侵入経路情報D2及び発生源に関する発生源情報D3を判定する発生源判定部712と、発生源判定部712の判定に基づいて建物内の虫を減らすための処理方法D4を判定する処理方法判定部713と、を備える。
増加判定部711は、虫同定システム6から同定結果を受信しつつ、記憶手段72から前回受信分の同定結果を受信し、前回受信分の同定結果と今回受信分の同定結果とを比較して、虫の種類ごとに虫の数が閾値以上増加したか否かを判定する。即ち、本実施形態の増加判定部711は、虫同定システム6によって前回同定結果が出力されてから、今回の同定結果が出力されるまでの間に、捕虫装置に新たに捕獲された虫の数が閾値以上であるか否かを、虫の種類ごとに判定する。このような増加判定部711によれば、所定時間(虫同定システム6が同定結果を出力する間隔)において、捕虫装置に新たに捕獲された虫の数が閾値以上であるか否かを、虫の種類ごとに判定できるので、捕虫装置が設置された環境に特定の種類の虫が多い場合に、該種類の虫が多いことを判定できる。なお、本実施形態での閾値は、予め設定された数値であるが、このような構成に限らず、例えば、平常時の増加量の2倍の数値を閾値として扱うこともできる。
発生源判定部712は、増加判定部711が閾値以上増加したと判定した虫の種類について、当該種類の虫の発生源に関する発生源情報D3を判定する。即ち、発生源判定部712では、捕虫装置が設置された環境に特定の種類の虫が多い場合に、当該種類の虫の発生源を特定する。本実施形態の発生源判定部712は、増加したと判定された種類の虫の侵入経路に関する侵入経路情報D2及び虫の発生源に関する発生源情報D3を判定する。侵入経路情報D2は、その種類の虫が、建物外で発生して建物内に侵入する外部侵入型であるか、建物内で発生する内部発生型であるかを区別する情報である。本実施形態の発生源判定部712は、虫の種類ごとの侵入経路情報D2と発生源情報D3に関する予め用意されたデータベースに基づいて増加した種類の虫の侵入経路情報D2及び発生源情報D3を特定する。
図13に示すように、発生源情報D3は、その種類の虫が建物内における発生源を特定するための情報であり、外部侵入型の種類の虫については、その虫の建物内への侵入方法を特定するための情報であり、内部発生型の種類の虫については、建物内部のどのような環境で発生するかを特定するための情報である。具体的に、発生源情報D3は、外部侵入型の虫については、飛翔して建物内に侵入する虫であって、大型ハエに属する飛翔性大型ハエ(例えば、イエバエ類、ニクバエ類、クロバエ類等が属する)、飛翔して建物内に侵入する虫であって大型ハエ以外の飛翔性その他(例えば、大型ハエを除くハエ目の虫や、アザミウマ類、ガ類、トビケラ類、ハリアリ類、ハチ類、ウンカ類、ヨコバイ類、アブラムシ類等が属する)、徘徊又は匍匐して建物内に侵入する徘徊・匍匐性(例えば、アリ類、ハサミムシ類、コオロギ類、トビムシ類、ムカデ類、ヤスデ類、ゲジ類、ワラジムシ類、ダニ類、クモ類、ゴミムシ類、カメムシ類等が属する)、又は、上記に該当しないその他類(例えばネズミ類が属する)の4類型のいずれに属するかに関する情報である。また、発生源情報D3は、内部発生型の虫については、排水などの水回り系から発生する虫である排水・水回り系(例えば、チョウバエ類、ショウジョウバエ類、ノミバエ類、ニセケバエ類、ハヤトビバエ類、ヤマトクロコバエ類等が属する)、菌類から発生する虫である菌食性系(例えば、有翅チャタテ類、コナチャタテ類、ヒメマキムシ類、ハネカクシ類等が属する)、室内の埃や食品から発生する虫である室内埃・食品系(例えば、チャタテムシ類、シミ類、カツオブシムシ類、コナダニ類、シバンムシ類、ヒラタムシ類、ヒョウホンムシ類、メイガ類等が属する)、昆虫類を餌として発生する昆虫捕食系(例えば、チリグモ科、ユウレイグモ科、ハエトリグモ科などのクモ目の虫等が属する)、熱源や間隙から発生する虫である熱源・間隙系(例えば、ゴキブリ類等が属する)、又は、内部発生型の虫で、上記類型に属しないその他類(例えば、トコジラミ類が属する)の6類型のいずれに属するかに関する情報である。
本実施形態の発生源判定部712は、図13に示すようなテーブルT1を参照して、増加判定部711が増加したと判定した種類について、侵入経路情報D2及び発生源情報D3を判定し、具体的には、テーブルT1の種類情報D1を参照して、増加したと判定された種類に対応した侵入経路情報D2及び発生源情報D3を取得する。具体的に、発生源判定部712は、増加したと判定された種類が、a1,a2,a3のいずれかである場合には、増加している虫が外部侵入型であり発生源は飛翔性大型ハエの類型であると判定する。また、発生源判定部712は、発生源情報D3に関する類型が同一の虫が増加している場合には、増加している虫の類型として1類型のみを出力する。例えば、増加したと判定された種類が、a4,a5,a6,a7,a8のうちの複数である場合には、発生源判定部712は、増加している虫が外部侵入型であり発生源は飛翔性その他の類型であると判定する。
処理方法判定部713は、発生源判定部712が判定した発生源情報D3に基づいて、虫を減らすための処理方法D4を判定して出力する。本実施形態の処理方法判定部713は、虫を減らすための処理方法D4として、物理的防除D41による処理方法D4及び化学的防除D42(薬剤処理)による処理方法D4の両方を出力する。また、本実施形態の処理方法判定部713は、処理方法D4に関するデータベースを参照して処理方法D4を判定し、具体的には、図13に示すようなテーブルT1を参照して処理方法D4を判定する。例えば、発生源判定部712が、増加している種類の発生源に関する類型が飛翔性大型ハエであると判定した場合には、飛翔性大型ハエの類型に対応した処理方法D4における物理的防除D41として、発生源となりうる動物類の死骸の確認、防虫ネットの設置、開口部分を確認、及び、シャッター開放時間等注意指示を出力し、化学的防除D42として、侵入部での薬剤空間噴霧を出力する。また、処理方法判定部713は、発生源判定部712が、外部侵入型で発生源情報D3がその他の類型の虫が増加していると判定した場合には、その他の類型に対応した処理方法D4における物理的防除D41として、外部侵入孔となりうる通路の確認を出力する。このように、処理方法判定部713では、発生源情報D3における類型ごとの処理方法D4を物理的防除D41と化学的防除D42に分けて出力する。
また、処理方法判定部713は、化学的防除D42について、使用する薬剤の種類及び分量、並びに薬剤処理の方法及び処理をする場所を決定し、決定された方法による薬剤処理を直ちに行うか否かを判断する。具体的な処理の流れについては後述する。
処理部8は、処理方法判定部713の出力に応じて所定の処理をするように構成されている。本実施形態の処理部8は、処理方法判定部713が出力した物理的防除D41及び化学的防除D42に関する処理方法D4を防除対象の建物の管理者等に通知するように構成されている通知手段81と、処理方法判定部713が出力した化学的防除D42に関する薬剤処理を実行する薬剤処理手段82と、を備える。
以上のような構成の防除システム7における処理の流れについて図10乃至図12を参照して説明する。
図10に示すように、防除システム7は、今回結果取得工程S51と、前回結果取得工程S52と、増加判定工程S53と、発生源判定工程S54と、処理方法判定工程S55と、処理出力工程S56と、繰り返しを実行する。
今回結果取得工程S51は、虫同定システム6が出力した同定結果を取得し、同定結果に含まれる種類ごとの虫の数を取得する工程である。本実施形態の今回結果取得工程S51は、増加判定部711が実行し、虫同定システム6が所定時間毎に同定結果を出力することにより、所定時間毎に同定結果を取得することができる。また、今回結果取得工程S51では、取得した同定結果を記憶手段72に記憶させる。
前回結果取得工程S52は、虫同定システム6が前回出力した同定結果を取得し、同定結果に含まれる前回の同定結果における種類ごとの虫の数を取得する工程である。本実施形態の前回結果取得工程S52は、増加判定部711が実行し、記憶手段72から前回の同定結果を取得する。
増加判定工程S53は、虫同定システム6が今回出力した同定結果に含まれる種類ごとの虫の数と前回出力した同定結果に含まれる種類ごとの虫の数とを比較し、各種類について、閾値以上虫の数が増えたか否かを判定し、閾値以上虫の数が増加した種類を出力する工程である。増加判定工程S53において、閾値以上虫の数が増えた種類がないと判定された場合(増加判定工程S53においてNO)には、今回結果取得工程S51に移行し、閾値以上虫の数が増えた種類が1種類以上あると判定された場合(増加判定工程S53においてYES)には、発生源判定工程S54に移行する。また、本実施形態の増加判定工程S53は、増加判定部711が実行する。
発生源判定工程S54は、増加判定工程S53において閾値以上虫の数が増加したと判定された虫について、侵入経路情報D2と発生源情報D3を判定する工程である。具体的に、発生源判定工程S54では、増加判定工程S53において、閾値以上虫の数が増加したと判定された種類について、データベース(本実施形態では図13に示すテーブルT1)を参照して、侵入経路情報D2と発生源情報D3を参照し、増加している種類の発生源を特定する工程である。例えば、増加判定工程S53において、a1,a2、a3のうち1又は複数の種類が増加している場合には、外部侵入型の飛翔性大型ハエの類型が増加していると判定し、a4,a5、a6,a7、a8のうち1又は複数の種類が増加している場合には、外部侵入型の飛翔性その他の類型が増加していると判定し、b1,b2,b3,b4,b5のうち1又は複数の種類が増加している場合には、外部侵入型の徘徊・匍匐性の類型が増加していると判定し、c1又はc2が増加している場合には、外部侵入型のその他の類型が増加していると判定する。また、発生源判定工程S54において、d1,d2,d3,d4,d5のうち1又は複数の種類が増加している場合には、内部発生型の排水・水回り系の類型が増加していると判定し、e1,e2,e3,e4,e5のうち1又は複数の種類が増加している場合には、内部発生型の菌食性系の類型が増加していると判定し、f1,f2,f3,f4,f5のうち1又は複数の種類が増加している場合には、内部発生型の室内埃・食品類の類型が増加していると判定し、g1,g2,g3のうち1又は複数の種類が増加している場合には、内部発生型の昆虫捕食系の類型が増加していると判定し、h1が増加している場合には、内部発生型の熱源・間隙系の類型が増加していると判定し、i1が増加している場合には、内部発生型のその他の類型が増加していると判定する。発生源判定工程S54では、増加判定工程S53において閾値以上増加していると判定されたすべての種類について発生源を判定する。また、発生源判定工程S54は、発生源判定部712が実行する。
処理方法判定工程S55は、増加している種類の虫の発生源に対応した処理方法D4を判定する工程である。具体的には、発生源判定工程S54で判定された侵入経路情報D2と発生源情報D3に基づいて増加している虫を減らすための処理を判定する工程である。本実施形態の処理方法判定工程S55では、発生源情報D3に対応した処理方法D4を、データベース(例えば図13に示すテーブルT1)を参照して出力する。また、処理方法判定工程S55では、処理方法D4における物理的防除D41と化学的防除D42を分けて出力する。例えば、処理方法判定工程S55では、飛翔性大型ハエの類型が増加している場合には、物理的防除D41として、発生源となりうる動物類の死骸の確認、防虫ネットの設置、開口部分を確認、及び、シャッター開放時間等注意指示を出力し、化学的防除D42として侵入部での薬剤空間噴霧及び/又は発生源への薬剤散布処理指示を出力する。を出力する。飛翔性その他の類型が増加している場合には、物理的防除D41として、防虫ネットの設置、開口部分を確認、シャッター開放時間等注意指示、並びに、建物周囲の誘引灯配置及びLED切替灯指示を、化学的防除D42として、侵入部での薬剤空間噴霧及び/又は発生源への薬剤散布処理指示を出力する。また、徘徊・匍匐性の類型が増加している場合には、物理的防除D41として粘着性トラップの設置を、化学的防除D42として建物周囲への薬剤散布及び侵入可能部への予防的薬剤処理を出力し、外部侵入型のその他の類型が増加している場合には、物理的防除D41として、外部侵入孔となり得る通路の確認を支持する。さらに、処理方法判定工程S55では、侵入経路情報D2が内部発生型の種類が増加している場合には、物理的防除D41として、発生源情報D3に対応した位置の清掃指示を出力し、化学的防除D42として、発生虫駆除のための薬剤処理及び発生源に対する予防薬剤処理を出力する。具体的に、処理方法判定工程S55では、物理的防除D41として、排水・水回り系の類型が増加している場合には、排水系・水回り等の発生源除去を、菌食性系が増加している場合には、発生源となり得るカビ等の清掃除去を、室内埃・食品系の類型が増加している場合には、発生源となり得る埃などの清掃除去を、昆虫捕食系の類型が増加している場合には、発生・誘引源となり得る虫類の発生チェックを、熱源・間隙系の類型が増加している場合には、発生源となり得る食品残渣等の清掃除去を、出力する。また、化学的防除D42として、排水・水回り系、菌食性系、室内埃・食品系、又は、熱源・間隙系が増加している場合には、発生虫駆除のための薬剤処理及び発生源に対する予防薬剤処理を出力し、昆虫捕食系が増加している場合には、発生虫駆除のための薬剤処理及び誘引・発生源となる虫の発生予防薬剤処理を出力する。さらに、内部発生型のその他の類型(具体的にはトコジラミ類)が増加している場合には、物理的防除D41として、トコジラミ検出通知をし、化学的防除D42として、発生虫駆除のための薬剤処理及び予防薬剤処理を出力する。また、処理方法判定工程S55は、処理方法判定部713が実行する。
以上のように、処理方法判定工程S55では、外部侵入型の種類が増加している場合には、その他の類型を除いて、物理的防除D41として、増加している虫の侵入防止の方法を出力し、化学的防除D42として、侵入部及び発生源の少なくとも一方での薬剤処理を出力する。また、内部発生型の種類が増加している場合には、その他の類型を除いて、物理的防除D41として発生源の清掃除去を出力し、化学的防除D42として発生虫駆除のための薬剤処理及び発生源に対する予防薬剤処理を出力する。
また、処理方法判定工程S55では、化学的防除D42としての薬剤処理について、使用する薬剤の種類及び分量、並びに薬剤処理の方法及び処理をする場所を決定する。具体的に、図11に示すように、薬剤処理において、どの種類の薬剤を用いてどのような方法で処理を実行するかを決定する処理方法決定工程S57と、処理に用いられる薬剤の量を決定する処理量決定工程S58と、直ちに薬剤処理を実行するか否かを判断する実施可否判断工程S59と、を実行する。
処理方法決定工程S57では、発生源に対応して選択された薬剤を、発生源及び虫が検出された場所に散布するように決定する。例えば、データベース(図示しない)に基づいて、発生源情報D3に対応した薬剤処理の方法を決定する。
処理量決定工程S58では、処理方法決定工程S57で選択された薬剤を処理に用いる量を決定する。処理に用いられる薬剤の量は、薬剤処理の方法や、発生した虫の数に応じて決定することができる。例えば、データベース(図示しない)に基づいて、処理方法D4及び虫の数に対応した薬剤処理量を導出して決定するように構成できる。
実施可否判断工程S59は、薬剤処理を実行するか否かを判断する工程である。具体的に、実施可否判断工程S59では、薬剤処理がされる箇所の状況に応じて、薬剤処理を実行するか否かを判断する。本実施形態の実施可否判断工程S59では、図12に示すように、薬剤処理をする場所に人がいるかどうかを判断する人判断工程S591と、薬剤処理をする場所について、前回の薬剤処理から所定時間経過しているかを判断する時間判断工程S592と、薬剤の散布を許可された日時であるかを判断する処理可能日時判断工程S593を実行する。人判断工程S591では、例えば、薬剤処理をする箇所に設置された人感センサやカメラなどの情報を取得し、該薬剤処理をする箇所に人がいるかどうかを判断する。また、処理可能日時判断工程S593は、予め設定された薬剤処理可能な日時であるかどうかを判断する工程であり、例えば、薬剤処理可能な日時は、時間や曜日に基づいて設定される。本実施形態では、人判断工程S591において、人がいないと判断され(人判断工程S591においてYES)、かつ、時間判断工程S592において、前回の薬剤処理から所定時間経過していると判断された場合(時間判断工程S592においてYES)、かつ、処理可能日時判断工程S593において、処理可能日時であると判断された場合(処理可能日時判断工程S593においてYES)に、薬剤処理が実行可能であると判断し、処理部8に対して薬剤処理を実行するように指示する(薬剤処理実行指示工程S594)。また、人判断工程S591において、人がいると判断され(人判断工程S591においてNO)、又は、時間判断工程S592において、前回の薬剤処理から所定時間経過していないと判断され(時間判断工程S592においてNO)、また、処理可能日時判断工程S593において処理可能日時ではないと判断された場合(処理可能日時判断工程S593においてNO)には、薬剤処理を直ちに実行しないと判断し、スキップ処理S595を実行する。スキップ処理S595では、処理部8の通知手段81によって、管理者等に薬剤処理の必要性を通知し、管理者が手動で薬剤処理を実行すること、又は、管理者が薬剤処理を行う日時を指定することを促す。
処理出力工程S56では、処理方法判定工程S55で出力された内容に基づいて、処理部8に対して各種指示をする。具体的に、処理方法判定工程S55で物理的防除D41に関する出力がされた場合には、出力された内容を通知手段81で建物の管理者等に通知し、管理者などが物理的防除D41を実行するように促す。また、化学的防除D42に関する出力がされた場合には、薬剤処理手段82を制御して薬剤処理を実行、又は、スキップ処理S595を実行する。また、通知手段81で通知する場合には、対処制御における通知である旨を合わせて通知することができる。
以上のように、本実施形態の防除システム7によれば、虫同定システム6が出力した同定結果に基づいて、虫が閾値以上増加している種類があるか否かを判定し、虫が閾値以上増加した種類がある場合に、増加した種類に対応した処理方法D4が出力されるので、虫による悪影響を抑制できる。
また、増加した種類について、発生源情報D3を判定して、発生源情報D3に対応した処理方法D4が出力されるので、例えば、同じ発生源から複数種類の虫が発生している場合に、重複した処理方法D4を出力することを抑制できる。
なお、対処制御を行う防除システム7について一例を挙げて説明したが、このような構成に限られない。
例えば、同定結果として、上記虫同定システム6が出力した同定結果を利用する場合について説明したが、このような構成に限らず、例えば、従来型の虫同定システム6が出力した同定結果や、人が判定した同定結果を利用するように構成することもできる。また、捕虫装置に捕獲された虫についての同定結果を利用する場合に限らず、建物内を移動する虫を検知して、該虫の種類を同定し、種類ごとの同定結果を出力する虫同定システム6(例えば、臭いセンサに基づいて、虫の種類及び数を同定結果として出力する虫同定システム6)を採用することもできる。
また、防除システム7は、処理方法D4を判定して出力する場合について説明したが、このような構成に限らず、例えば、侵入経路情報D2や発生源情報D3を出力して、建物の管理者等に通知するように構成することもできる。このような構成によれば、通知された侵入経路情報D2や発生源情報D3に基づいて建物の管理者などが防除に必要な作業をすることができる。
さらに、発生源判定部712が発生源情報D3を判定し、処理方法判定部713が発生源情報D3に対応した処理方法D4を出力する場合について説明したが、このような構成に限らず、例えば、処理方法判定部713は、発生源情報D3に基づかず、増加判定部711が出力した数が増加した種類に対応した処理方法D4を出力するように構成することもできる。
また、処理方法判定部713は、物理的防除D41と化学的防除D42の両方を防除方法として出力する場合について説明したが、物理的防除D41及び化学的防除D42のいずれか一方のみを出力するように構成することもできる。このような構成を採用する場合には、処理方法判定部713が虫の数などの情報に基づいて、物理的防除D41及び化学的防除D42から適切な処理方法D4を選択して出力するように構成することもできる。
さらに、物理的防除D41の処理方法D4は、通知手段81によって建物の管理者等に通知される場合について説明したが、このような構成に限らず、物理的防除D41を自動で実行するように構成することもできる。例えば、開口部分を確認が出力された場合に、処理部8が開口部分を閉じるように構成することもできる。
また、増加判定工程S53において、前回の同定結果を用いて判定する場合について説明したが、このような構成に限らず、例えば、虫の種類ごとに、過去数回分の同定結果における虫の数の平均値に対して今回の数が閾値以上増加しているか否かを判定することもできる。
さらに、処理方法D4が発生源情報D3に基づいて決定される場合について説明したが、このような構成に限らず、例えば、種類情報D1にもとづいて決定されるように構成することもできるし、侵入経路情報D2に基づいて決定されるように構成することもできる。
次に、予防制御を実行する防除システム7について、図14乃至図16を参照して説明する。
図14に示すように、予防制御を実行する防除システム7は、虫同定システム6から受信した同定結果と建物内外の環境を監視する要因センサ部9から受信した建物内外の環境に関する環境情報とに基づいて、虫が増加する恐れがあるか否かを判定し、虫が増加する恐れがある場合に虫の増加を予防するための予防方法を出力する制御部71と、制御部71の各種判定に必要なデータベース(例えば図13及び図16に示すテーブルT1,T2)及び要因センサから受信した環境情報を記憶する記憶手段72と、を備える。虫同定システム6の構成及び処理部8の構成は対処制御を実行する防除システム7における構成と同様である。
要因センサ部9は、建物内外の環境を監視するセンサであり、具体的には、少なくとも湿度及び気温を監視するセンサである。本実施形態の要因センサ部9は、建物内における、内部発生型の虫が発生しうる場所の環境(具体的には、図13で示す内部発生型の虫における発生源情報D3で示される場所)及び建物外(具体的には建物の周囲)の環境を監視するように設けられる。また、要因センサ部9は、監視によって得られた環境に関する環境情報を防除システム7に対して出力する。
記憶手段72は、要因センサ部9から受信した環境情報を所定期間分(例えば1年分)記憶する。また、記憶手段72は、制御部71が各種判定に用いるデータベース(例えば図13及び16に示すテーブルT1,T2)を記憶し、制御部71の要求に応じて制御部71に対して送信する。具体的に、記憶手段72は、図16に示すような、虫の種類と増加要因(予防条件D7)が関係付けられたデータベースと、図13に示すような、虫の種類(種類情報D1)に対して、侵入経路情報D2及び発生源情報D3と、処理方法D4に関する情報と、が関係付けられたデータベースと、を記憶する。また、図16に示すデータベースでは、虫の種類に対して、発育零点D5と発生に必要な有効積算温度D6が関係づけられている。
制御部71は、虫同定システム6から受信した同定結果から、閾値以上の数存在する虫の種類を抽出する虫種抽出部714と、虫種抽出部714が抽出した存在する種類が増加する要因(予防条件D7)を抽出する要因抽出部715と、要因抽出部715が抽出した増加する要因(予防条件D7)が満たされているか否かを判定する条件判定部716と、条件判定部716が増加する要因(予防条件D7)を満たしていると判断した種類について、増加を予防する方法を判定し、処理部8に出力する予防方法判定部717と、を備える。
虫種抽出部714は、虫同定システム6から同定結果として出力された、虫の種類ごとの数を参照して、数が閾値以上の種類を抽出する。本実施形態の虫種抽出部714は、同定結果から、数が1頭以上存在する種類を抽出するように構成される。
要因抽出部715は、虫種抽出部714が抽出した種類が増加する要因(予防条件D7)を抽出する。具体的に、要因抽出部715は、記憶手段72が記憶するデータベース(具体的には図16に示すテーブルT2)を参照して、虫種抽出部714が抽出した種類の虫が増加する要因(予防条件D7)を抽出する。要因抽出部715は、図16に示すテーブルT2において、予防条件D7として記録された条件を要因として抽出し、具体的には、有効積算温度D6(発育零点D5を超えた温度を日で積算した数値、本実施形態では、日度)、平均気温(本実施形態では1日の平均気温)及び相対湿度のうち1又は複数の条件を要因として抽出する。例えば、要因抽出部715は、種類a1について、有効積算温度が250日度より高いことを増加する要因(予防条件D7)として、種類a4について、有効積算温度が1300日度より高いこと又は日の平均気温が25度より高いことを増加する要因(予防条件D7)として、種類d2について、有効積算温度が300日度より高いことかつ日の平均気温が20度より低いことを増加する要因(予防条件D7)として、種類f1について、有効積算温度が50日度より高いこと上かつ相対湿度が90%未満であることを増加する要因(予防条件D7)として、それぞれ抽出する。さらに、要因抽出部715は、上記各要因を満たしているかどうかを判断するための情報(具体的には発育零点D5)をデータベースから抽出する。
条件判定部716は、要因センサ部9が出力した環境情報と要因抽出部715が抽出した要因とに基づいて、虫が増加する要因(予防条件D7)が満たされているかどうかを種類ごとに判定する。具体的に、条件判定部716は、要因センサ部9が出力して記憶手段72に記憶された環境情報、及び、要因抽出部715が抽出した各要因を満たしているかどうかを判断するための情報(例えば発育零点D5)、に基づいて、平均気温や相対湿度、有効積算温度等を導出し、導出した結果に基づいて要因抽出部715が抽出した要因が満たされているかどうかを判定する。また、条件判定部716は、外部侵入型の種類の虫については、建物外の環境情報に基づいて要因が満たされているかどうかを判定し、内部発生型の種類の虫については、建物内の環境情報(詳しくは、建物内における内部発生型の虫が発生しうる場所の環境情報)に基づいて要因が満たされているかどうかを判定する。
予防方法判定部717は、条件判定部716が要因を満たしていると判定した種類について増加を予防する方法を判定する。予防方法判定部717は、図13に示すようなテーブルT1を参照して、条件判定部716が要因を満たしていると判定した種類について、虫の増加を予防する予防方法を判定する。本実施形態の予防方法判定部717は、要因を満たしていると判定された種類に対応した侵入経路情報D2及び発生源情報D3を判定し、具体的には、テーブルT1の種類情報D1を参照して、増加したと判定された種類に対応した侵入経路情報D2及び発生源情報D3を取得する。また、予防方法判定部717は、取得した発生源情報D3に基づいて、虫の増加を予防する予防方法を判定して処理部8に出力する。
本実施形態の予防方法判定部717は、上述した処理方法判定部713において出力される処理方法D4と同様の処理方法D4を予防方法として出力する。なお、このような構成に限らず、処理方法D4と予防方法で異なる方法を出力するように構成することもできる。例えば、予防方法では、化学的防除D42を出力せず、物理的防除D41のみを出力するようにすることや、温湿度(環境)を調整することを出力することもできるし、化学的防除D42において、処理方法D4において採用される薬剤よりも忌避性の低い遅効性の薬剤を用いた薬剤処理をするように出力することもできる。
以上のような防除システム7における処理の流れについて、図15を参照して説明する。
図15に示すように、防除システム7は、同定結果取得工程S61と、種類情報抽出工程S62と、増加要因抽出工程S63と、要因情報取得工程S64と、要因判定工程S65と、発生源情報取得工程S66と、予防方法取得工程S67と、処理出力工程S56と、を繰り返し実行する。
同定結果取得工程S61は、虫同定システム6が出力する同定結果を取得する工程である。本実施形態の同定結果取得工程S61は所定時間毎に実行される。また、本実施形態の同定結果取得工程S61は、虫同定システム6が所定時間毎に同定結果を出力することにより実行される。同定結果取得工程S61は、虫種抽出部714が実行する。
種類情報抽出工程S62は、同定結果取得工程S61が取得した同定結果から、数が閾値以上存在している種類を抽出する工程である。本実施形態では、同定結果において、1頭以上存在している虫の種類を抽出する工程である。種類情報抽出工程S62は、虫種抽出部714が実行する。
増加要因抽出工程S63は、種類情報抽出工程S62で抽出された種類について、増加する要因(予防条件D7)をデータベースから抽出する工程である。具体的に、増加要因抽出工程S63では、記憶手段72が記憶するデータベースを参照して、種類情報抽出工程S62で抽出された種類の虫が増加する要因(予防条件D7)及び増加する要因(予防条件D7)を満たしているかどうかを判断するための情報(具体的には発育零点D5)を抽出する。増加要因抽出工程S63は、要因抽出部715が実行する。
要因情報取得工程S64は、増加要因抽出工程S63で抽出された虫が増加する要因(予防条件D7)に関する環境情報を取得する工程である。具体的に、要因情報取得工程S64では、記憶手段72が記憶する環境情報を取得し、取得した環境情報及び増加要因抽出工程S63で抽出された増加する要因(予防条件D7)を満たしているかどうかを判断するための情報に基づいて、平均気温や相対湿度、有効積算温度等の要因情報を導出する工程である。要因情報取得工程S64は、要因抽出部715が実行する。
要因判定工程S65は、増加要因抽出工程S63で抽出された虫が増加する要因(予防条件D7)を要因情報取得工程S64で導出した要因情報が満たしているか否かを判定する工程である。種類情報抽出工程S62で抽出されたすべての種類について、要因判定工程S65において予防条件D7を要因情報が満たしていないと判断した場合(要因判定工程S65においてNO)には、同定結果取得工程S61に移行し、種類情報抽出工程S62で抽出された少なくとも1の種類について、要因判定工程S65において予防条件D7を要因情報が満たしていると判断した場合(要因判定工程S65においてYES)には、発生源情報取得工程S66に移行する。要因判定工程S65は条件判定部716が実行する。
発生源情報取得工程S66は、虫が増加する要因(予防条件D7)を満たした種類について、発生源情報D3及び侵入経路情報D2を特定する工程である。具体的に、発生源情報取得工程S66では、虫が増加する条件(予防条件D7)を満たしたと判定された種類について、データベース(本実施形態では図13に示すテーブルT1)を参照して、侵入経路情報D2と発生源情報D3を参照し、増加する種類の発生源を特定する工程である。発生源情報取得工程S66における具体的な処理は、対処制御を実行する防除システム7における発生源判定工程S54と同様である。発生源情報取得工程S66は、予防方法判定部717が実行する。
予防方法取得工程S67は、増加する要因を満たすと判定された種類の虫の発生源に対応した処理方法D4を判定する工程である。具体的には、発生源情報取得工程S66で判定された侵入経路情報D2と発生源情報D3に基づいて増加している虫が増加することを抑制するための処理を判定する工程である。本実施形態の処理方法判定工程S55では、発生源情報D3に対応した処理方法D4を、データベース(例えば図13に示すテーブルT1)を参照して出力する。本実施形態の予防方法取得工程S67は、対処制御を実行する防除システム7における処理方法判定工程S55と同様である。即ち、予防方法取得工程S67では、化学的防除D42における薬剤処理の具体的な方法や、薬剤処理実施の可否を判断する工程を含む。
処理出力工程S68は、予防方法取得工程S67で出力された内容に基づいて、処理部8に対して各種指示をする。本実施形態の処理出力工程S68は、対処制御を実行する防除システム7における処理出力工程S56と同様である。具体的に、予防方法取得工程S67で物理的防除D41に関する出力がされた場合には、出力された内容を通知手段81で建物の管理者等に通知し、管理者などが物理的防除D41を実行するように促す。また、化学的防除D42に関する出力がされた場合には、薬剤処理手段82を制御して薬剤処理を実行、又は、スキップ処理S595を実行する。
以上のような構成の防除システム7によれば、虫が閾値以上の数存在する種類について、その種類の虫が増加する要因を満たしているか否かを判定し、増加する要因を満たしている場合には、予防のための処理をすることができるので、虫の増加を抑制できる。
また、増加する要因を満たした種類について、発生源情報D3を判定して、発生源情報D3に対応した処理方法D4が出力されるので、例えば、同じ発生源から複数種類の虫が増加する要因を見たしている場合に、重複した処理方法D4を出力することを抑制できる。
なお、上記防除システム7において、要因センサ部9から環境情報を取得する場合について説明したが、このような構成に限らず、例えば、建物の外部の環境に関する環境情報を、センサによらず、気象情報等から取得することもできる。
また、虫が増加する要因として、有効積算温度D6、平均気温、及び相対湿度を例に挙げて説明したが、このような構成に限らず、例えば、季節や天候、日照時間に関する情報などを採用することもできる。
さらに、対処制御を行う防除システム7と予防制御を行う防除システム7を分けて説明したが、このような構成に限らず、1のシステムで対処制御と予防制御を両方実行するように構成することもできる。このような構成の場合には、例えば、虫同定システム6が同定結果を出力した際に、対処制御と予防制御を両方実行し、対処のために必要な処理及び予防のために必要な処理の両方を処理部8に出力することができる。
1…虫、11…体本体、12…付属部、13…頭部、14…胴部、15…胸部、16…腹部、2…捕獲済試料、2a…捕獲面、3…撮像装置、31…筐体、32…撮像手段、33…照射装置、34…カメラ、35…照明部、4…点情報、41…頭部対応点、42…腹部対応点、43…中間点、5…順情報、6…虫同定システム、61…通信部、62…画像データ取得部、63…虫同定部、64…出力部、65…学習済モデル、7…防除システム、71…制御部、711…増加判定部、712…発生源判定部、713…処理方法判定部、714…虫種抽出部、715…要因抽出部、716…条件判定部、717…予防方法判定部、72…記憶手段、8…処理部、81…通知手段、82…薬剤処理手段、C…クライアント端末、D…虫データ、F…枠、I…インターネット、P…コンピュータ

Claims (9)

  1. 画像中に虫が含まれる処理前画像データを処理して、虫同定用画像データを生成する虫同定用画像データの生成方法であって、
    前記処理前画像データに含まれる虫に関する虫データに対して少なくとも3点を指定して点情報を付与する点情報付与工程と、
    該点情報付与工程によって指定された前記少なくとも3点の点情報に順番に関する順情報を付与する順情報付与工程と、を有し、
    前記点情報付与工程は、虫が有する複数の部位のうち、2以上の部位に対して前記少なくとも3点が対応するように前記点情報を付与する工程であり、
    前記順情報付与工程は、前記2以上の部位の並び順に基づいて前記順情報を前記点情報に付与する虫同定用画像データの生成方法。
  2. 前記点情報付与工程は、前記虫データに対応する虫の頭部に対応した頭部対応点、前記虫の腹部に対応した腹部対応点、並びに、前記頭部対応点及び前記腹部対応点の間に位置する中間点、の少なくとも3点を前記虫データに対して指定して点情報を付与する請求項1に記載の虫同定用画像データの生成方法。
  3. 画像中に虫が含まれる処理前画像データを処理して、虫同定用画像データを生成する虫同定用画像データの生成方法であって、
    前記処理前画像データに含まれる虫に関する虫データに対して少なくとも3点を指定して点情報を付与する点情報付与工程と、
    該点情報付与工程によって指定された前記少なくとも3点の点情報に順番に関する順情報を付与する順情報付与工程と、を有し、
    前記点情報付与工程は、前記虫データに対応する虫の頭部に対応した頭部対応点、前記虫の腹部に対応した腹部対応点、並びに、前記頭部対応点及び前記腹部対応点の間に位置する中間点、の少なくとも3点を前記虫データに対して指定して点情報を付与する虫同定用画像データの生成方法。
  4. 前記点情報付与工程は、前記中間点として、前記頭部対応点及び前記腹部対応点の間に位置する特徴点に点情報を付与する
    請求項2又は3に記載の虫同定用画像データの生成方法。
  5. 前記処理前画像データから虫に関する虫データを抽出する虫抽出工程を備える請求項1乃至4のいずれか1項に記載の虫同定用画像データの生成方法。
  6. 前記虫抽出工程は、前記画像中に含まれる虫を囲う枠に関する枠情報を付与する枠情報付与工程を含み、該枠情報付与工程で付与された枠情報に基づいて、虫データを抽出する請求項5に記載の虫同定用画像データの生成方法。
  7. 前記処理前画像データは、捕獲面に虫が捕獲された捕獲済試料における前記捕獲面を撮像するように該捕獲面に対して離間して配置され、且つ前記捕獲面の面方向に沿って走行するカメラと、該カメラが走行する走行エリアの両サイドから前記捕獲面に光を照射する照射装置と、を備える撮像装置によって生成され、
    該撮像装置は、カメラを走行させて複数の画像を撮像し、該撮像された複数の画像をつなげて処理前画像データを生成する請求項1乃至6のいずれか1項に記載の虫同定用画像データの生成方法。
  8. 機械学習に用いられる教師データとしての虫同定用画像データを生成する虫同定用画像データの生成方法であって、前記虫データに対して、虫の種類に関する種類情報を付与する種類情報付与工程を含む請求項1乃至7のいずれか1項に記載の虫同定用画像データの生成方法。
  9. 画像中に同定対象の虫が含まれる対象画像データを取得する画像データ取得部と、前記対象画像データに含まれる虫の種類を同定する虫同定部と、を備え、
    前記虫同定部は、教師データを用いた機械学習によって構築された学習済モデルによって前記画像データ取得部が取得した前記対象画像データに含まれる虫の種類を同定するように構成され、
    前記学習済モデルは、
    画像中に虫が含まれる教師画像データと、
    該教師画像データに含まれる虫に関する虫データに対して少なくとも3点を指定して付与された点情報、及び、該点情報に付与された順番に関する順情報、を含む姿勢情報と、
    前記教師画像データに含まれる虫の種類に関する種類情報と、を含み、
    前記点情報は、虫が有する複数の部位のうち、2以上の部位に対して少なくとも3点が対応するように付与されており、
    前記順情報は、前記2以上の部位の並び順に基づいて付与された教師データを用いた機械学習によって構築される虫同定システム。
JP2022058795A 2022-03-31 2022-03-31 虫同定用画像データの生成方法及び虫同定システム Active JP7458089B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022058795A JP7458089B2 (ja) 2022-03-31 2022-03-31 虫同定用画像データの生成方法及び虫同定システム
PCT/JP2023/011675 WO2023190096A1 (ja) 2022-03-31 2023-03-24 虫同定用画像データの生成方法及び虫同定システム
TW112112076A TW202347252A (zh) 2022-03-31 2023-03-29 蟲鑑定用影像資料之生成方法以及蟲鑑定系統
JP2024037408A JP2024060036A (ja) 2022-03-31 2024-03-11 虫同定用画像データの生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022058795A JP7458089B2 (ja) 2022-03-31 2022-03-31 虫同定用画像データの生成方法及び虫同定システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024037408A Division JP2024060036A (ja) 2022-03-31 2024-03-11 虫同定用画像データの生成方法

Publications (2)

Publication Number Publication Date
JP2023149958A JP2023149958A (ja) 2023-10-16
JP7458089B2 true JP7458089B2 (ja) 2024-03-29

Family

ID=88202185

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022058795A Active JP7458089B2 (ja) 2022-03-31 2022-03-31 虫同定用画像データの生成方法及び虫同定システム
JP2024037408A Pending JP2024060036A (ja) 2022-03-31 2024-03-11 虫同定用画像データの生成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024037408A Pending JP2024060036A (ja) 2022-03-31 2024-03-11 虫同定用画像データの生成方法

Country Status (3)

Country Link
JP (2) JP7458089B2 (ja)
TW (1) TW202347252A (ja)
WO (1) WO2023190096A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242712A (ja) 2007-03-27 2008-10-09 Olympus Imaging Corp 画像認識装置および画像認識方法
CN106886758A (zh) 2017-01-20 2017-06-23 北京农业信息技术研究中心 基于三维姿态估计的昆虫识别装置及方法
JP2018197940A (ja) 2017-05-23 2018-12-13 アース環境サービス株式会社 捕獲虫類の同定方法
JP2019016106A (ja) 2017-07-05 2019-01-31 富士通株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
JP2020182045A (ja) 2019-04-24 2020-11-05 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242712A (ja) 2007-03-27 2008-10-09 Olympus Imaging Corp 画像認識装置および画像認識方法
CN106886758A (zh) 2017-01-20 2017-06-23 北京农业信息技术研究中心 基于三维姿态估计的昆虫识别装置及方法
JP2018197940A (ja) 2017-05-23 2018-12-13 アース環境サービス株式会社 捕獲虫類の同定方法
JP2019016106A (ja) 2017-07-05 2019-01-31 富士通株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
JP2020182045A (ja) 2019-04-24 2020-11-05 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Also Published As

Publication number Publication date
WO2023190096A1 (ja) 2023-10-05
JP2024060036A (ja) 2024-05-01
JP2023149958A (ja) 2023-10-16
TW202347252A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Staller et al. Identifying predators at northern bobwhite nests
Vale Development of baits for tsetse flies (Diptera: Glossinidae) in Zimbabwe
Schaefer Video monitoring of shrub-nests reveals nest predators
Anne et al. Dwarf mongoose and hornbill mutualism in the Taru Desert, Kenya
Hinkle et al. External parasites and poultry pests
US20190124893A1 (en) Aquatic animal identification and passage control device
CN114097762A (zh) 诱卵器
Ulrich et al. Ability of bed bug (H emiptera: C imicidae) defensive secretions (E)‐2‐hexenal and (E)‐2‐octenal to attract adults of the common bed bug C imex lectularius
Enserink What mosquitoes want: secrets of host attraction
Ellison et al. Nest defense-grassland bird responses to snakes
CN109496622A (zh) 害虫的识别方法及装置、施药信息的确定方法、植保系统
US20240008458A1 (en) System, method, and apparatus for active pest denial, apiary monitoring and management
Robertson et al. Trojan females and Judas goats: evolutionary traps as tools in wildlife management
JP7458089B2 (ja) 虫同定用画像データの生成方法及び虫同定システム
KR20230159811A (ko) 무산쇠족제비 안전 포획장치
Moore Attractiveness of baited and unbaited lures to apple maggot and beneficial flies
Linnell et al. Predator–prey interactions in the canopy
US20230206626A1 (en) Plant disease and pest control method using spectral remote sensing and artificial intelligence
WO2021207782A1 (en) Pest management system
JP2021193984A (ja) 家畜への鳥獣害・害虫対策システム
Obin Spiders living at wasp nesting sites: what constrains predation by mud-daubers?
KR20210101382A (ko) 야생동물 퇴치 시스템 및 그 방법
Freund et al. The roles of vision and antennal olfaction in enemy avoidance by three predatory heteropterans
US11839878B2 (en) System and method for sex sorting of mosquitoes
Gingrich et al. Pest birds: Biology and management at food processing facilities

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230810

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7458089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150