JP7455061B2 - システムおよび方法 - Google Patents

システムおよび方法 Download PDF

Info

Publication number
JP7455061B2
JP7455061B2 JP2020538713A JP2020538713A JP7455061B2 JP 7455061 B2 JP7455061 B2 JP 7455061B2 JP 2020538713 A JP2020538713 A JP 2020538713A JP 2020538713 A JP2020538713 A JP 2020538713A JP 7455061 B2 JP7455061 B2 JP 7455061B2
Authority
JP
Japan
Prior art keywords
pest
detection
data
remote camera
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538713A
Other languages
English (en)
Other versions
JP2021510303A (ja
Inventor
ロバート ジョン クレイトン フライヤーズ,
ニール デスーザ-マシュー,
ガレス デーヴィッド フンク,
Original Assignee
スポッタ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スポッタ リミテッド filed Critical スポッタ リミテッド
Publication of JP2021510303A publication Critical patent/JP2021510303A/ja
Priority to JP2023195277A priority Critical patent/JP2024023320A/ja
Application granted granted Critical
Publication of JP7455061B2 publication Critical patent/JP7455061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/02Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/026Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects combined with devices for monitoring insect presence, e.g. termites
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/02Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/023Attracting insects by the simulation of a living being, i.e. emission of carbon dioxide, heat, sound waves or vibrations
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/02Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/04Attracting insects by using illumination or colours
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M31/00Hunting appliances
    • A01M31/002Detecting animals in a given area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/1966Wireless systems, other than telephone systems, used to communicate with a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Description

本開示は、害虫の存在を検出するためのネットワーク化された検出システムのためのシステム、方法および装置に関する。
げっ歯類、ハエ、ナンキンムシ、ゴキブリ、およびその他の有害な昆虫や動物(以下、まとめて「害虫」と呼ぶ)は、健康問題を引き起こし、とりわけ、様々な家庭および商業環境(以下、「資産」と呼ぶ)を台無しにする。これらは、多くの場合、所有者、占有者、または問題の環境に責任のある他の人にとって重大な懸念である(以下、このような人々を総称して「資産所有者」と呼ぶ)。
多くの資産所有者は、そのような害虫の検出および/または排除を保証するために、ビジネスの物理的敷地および施設全体に様々なトラップおよび/または監視装置を配備する。これらの措置は、検査の遵守を保証し、衛生状態を維持し、腐敗を減らし、適用される法律および規制を遵守し、および/または消費者の信頼を高めるために行うことができる。しかしながら、多くの場合、物理的な場所から害虫が完全に排除されたとしても、害虫は、敷地内に戻ることができる。したがって、害虫が減少または排除された場合でも、害虫の活動の存在を検出するために、害虫監視装置またはトラップが継続的に使用される。
多くの資産は物理的に大きいため、多くの場合、施設を適切に覆うために非常に多くのトラップが必要になる。トラップの数が増加すると、トラップを物理的に検査するのに必要な時間と労力も増加する。現在、施設のありとあらゆるトラップの物理的検査は、所望の時間間隔(例えば、毎週または毎月)で実施されている。これらの検査により、捕捉された害虫がトラップから取り除かれていること、トラップが正常に動作していること、およびトラップが依然として適切な場所にあることが保証される。しかしながら、各トラップが検査される間、そのような検査は各トラップに多くの場合必要とされないことが理解されるであろう。例えば、多くの場合、所与の時間間隔で多数のトラップが害虫を捕まえない場合でも、トラップは正常に動作しており、トラップは適切に載置されている。
背景技術は、米国特許第4,517,557号、同第4,884,064号、同第5,949,636号)、同第7,212,129号、同第7,348,890号、同第6,445,301号、同第4,862,145、同第7,656,300、同第7,026,942、同第8,156,683号、同第8,026,822号、同第8,830,071号、同第9,542,835号、同第8,599,026号、同第8,635,806号、同第7,317,399号、同第6,792,395号、同第6,775,946号、同第6,052,066号、同第9,015,987号、同第7,504,956号、US6707384、米国特許出願US2008/0204253号、US2003/0160699、およびカナダ特許出願第2,897,534号に見出され得る。
発明者は、トラップの上または近くのトラップ活動の表示を提供する(インジケータライトまたは可聴アラートなどによる)既知のシステムの問題を認識し、または近距離通信を使用して検出結果を近くの監視デバイスに送信する。このような解決策は、検査に必要な時間を短縮するが、オペレータがインジケータを観察したり、近距離デバイスを使用したりするために十分に近づく必要があるため、検査を完全に排除することはできない。
発明者らはまた、検出器に近接するオペレータを必要とせずにセンサー検出結果が自動的に送信され、またいくつかの例では、結果がインターネットを介して通信することができる既知の害虫駆除システムの問題を認識している。これらのシステムは、害虫が存在するかどうかを決定し、結果を送信する。これは、センサーが単純なアナログまたはバイナリレベルを出力する、スイッチや導電性要素などの単純なセンサーで実行可能な場合がある。しかしながら、撮像センサーなどのより洗練されたセンサーの場合、リモートデバイスで分析を実施するために必要なデータ処理能力と処理ハードウェアのコストは大きな欠点である。
発明者らはまた、生のセンサーデータが送信され、処理が中央基地局、コンピュータ、サーバーなどで行われる既知のシステムの問題を認識した。これらのシステムは、生の感知データを送信するため、電力消費とデータ送信コストにおける欠点に悩まされる。このような解決策は、スイッチなどの単純なセンサーでは実行可能であり得るが、はるかに大量のデータが生成され、送信する必要がある撮像センサーなどのより洗練されたセンサーにとっては大きな欠点である。
発明者らはまた、撮像または視覚センサーを使用する既知の害虫検出器は、リモート監視を提供しないか、またはデータ送信の頻度における厳しい制限に悩まされることを認識した。
本開示の一態様によれば、害虫の存在を検出するためのシステムが提供され、このシステムは、少なくとも1つのリモートカメラシステムであって、少なくとも1つのリモートカメラシステムの各々が、プロセッサに結合された画像捕捉デバイスおよび無線送信機を備え、少なくとも1つのリモートカメラシステムの各々が、害虫検出表面を有し、かつ害虫検出表面の1つ以上の画像を捕捉することと、捕捉された1つ以上の画像を処理して、害虫検出表面上に標的害虫が存在する可能性を認識することと、1つ以上の標的害虫の存在可能性を認識することに応答して、捕捉された1つ以上の画像からのデータを送信することと、を行うように構成された、リモートカメラシステムと、サーバーであって、送信されたデータを受信することと、送信されたデータを処理して、害虫検出表面上に標的害虫が存在する可能性を検証することと、検証を示す出力を提供することと、を行うように構成された、サーバーと、を備える。
少なくとも1つのリモートカメラシステムは、1つ以上の捕捉された画像からのデータを処理し、時間および空間のうちの一方または両方に制限がある1つ以上の捕捉された画像からデータセグメントを選択することによって送信されるデータの量を減らすようにさらに構成され得る。
画像捕捉デバイスは、害虫検出表面と固定された空間関係で取り付けられるように構成され得る。
害虫検出表面は、少なくとも1つのリモートカメラシステムのハウジングの一部を含むか、またはそれに取り付けられ得る。
害虫検出表面は、画像捕捉デバイスから30cm以下にあり得る。すなわち、害虫検出表面は、画像捕捉デバイスから30cm以下の距離にあり得る。
少なくとも1つのリモートカメラシステムは、標的害虫を検出して画像の捕捉をトリガーするトリガーセンサーをさらに備え得る。
少なくとも1つのリモートカメラシステムは、害虫誘引剤をさらに含み得る。
害虫誘引物質は、フェロモンまたはカイロモンを含み得る。
害虫誘引剤は、パターン化された表面、紫外線反射体、物理的構造、熱源、および標的害虫のための食物のうちの1つまたは任意の組み合わせを含み得る。
標的害虫は、ミバエ、ナンキンムシ、シルバーフィッシュ、ゴキブリ、昆虫、節足動物のうちの1つまたは任意の組み合わせを含み得る。
少なくとも1つのリモートカメラシステムは、外部環境情報を入力するように構成され得、少なくとも1つのカメラシステムによる画像捕捉および画像処理のうちの一方または両方は、外部環境情報に応答する。
サーバーは、外部環境情報を入力することと、送信されたデータと入力された外部環境情報の両方を処理して、害虫検出表面上に標的害虫が存在する可能性を検証することと、を行うように構成され得る。
外部環境情報は、時刻、気象情報、季節、温度情報、湿度情報、昆虫個体数データ、少なくとも1つのリモートカメラシステムの環境がいつ害虫駆除により処理されたかを指定するユーザー入力データのうちの1つ以上を含み得る。
サーバーおよび少なくとも1つのリモートカメラシステムのうちの一方または両方は、送信されたデータに応答して少なくとも1つのリモートカメラシステムを適合させるように構成され得る。
少なくとも1つのリモートカメラシステムは、第1の検出確率を決定するために参照データを使用して1つ以上の捕捉された画像を処理することと、第1の検出確率を第1の所定の確率閾値と比較することと、第1の検出確率が第1の所定の確率閾値よりも大きいことに基づいて、害虫検出表面上に標的害虫が存在する可能性を認識することと、を行うようにさらに構成され得る。
第1の所定の確率閾値は、可変であり得、少なくとも1つのリモートカメラシステムの各々は、第1の所定の確率閾値を動的に設定するようにさらに構成され得る。
少なくとも1つのリモートカメラシステムの各々は、(i)リモートカメラシステムのバッテリーのバッテリーレベル、(ii)1つ以上の以前に捕捉された画像の処理から決定された検出確率、(iii)時刻、(iv)標的害虫を検出して画像の捕捉をトリガーするように配設されたリモートカメラシステムのトリガーセンサーから受信したセンサーデータ、(v)季節、(vi)リモートカメラシステムのローカル環境条件を感知するように構成されたリモートカメラシステムのセンサーから受信した環境センサーデータ、(vii)リモートカメラシステムの最後のサービスからの経過時間、および(viii)サーバーから受信したコマンド、のうちの1つ以上に基づいて第1の所定の確率閾値を動的に設定するように構成され得る。
サーバーは、第2の検出確率を決定するために参照データを使用して送信されたデータを処理することと、第2の検出確率を第2の所定の確率閾値と比較することと、第2の検出確率が第2の所定の確率閾値よりも大きいことに基づいて、害虫検出表面上に標的害虫が存在する可能性を検証することと、を行うようにさらに構成され得る。第2の所定の確率閾値は、第1の所定の確率閾値よりも大きい可能性がある。
代替的に、サーバーは、コンピュータデバイスに、コンピュータデバイスのディスプレイ上に表示するためにデータを送信することにより、送信されたデータを処理することと、コンピュータデバイスからのユーザー検証信号の受信に基づいて、害虫検出表面上に標的害虫が存在する可能性を検証することと、を行うように構成され得、当該ユーザー検証信号は、コンピュータデバイスのユーザーが害虫検出表面上の標的害虫の存在を検証したことを示す。
サーバーは、検証に応答して出力を提供するようにさらに構成され得る。
少なくとも1つのリモートカメラシステムは、複数の害虫種を検出するように構成され得る。
本開示の別の態様によれば、上記で定義されたサーバーが提供される。
本開示の別の態様によれば、上記で定義されたリモートカメラシステムが提供される。
本開示の別の態様によれば、少なくとも1つのリモートカメラシステムと、サーバーと、を含むシステムで害虫の存在を検出するための方法が提供され、この方法は、
少なくとも1つのリモートカメラシステムが、
少なくとも1つのリモートカメラシステムの画像捕捉デバイスを使用して、少なくとも1つのリモートカメラシステムの害虫検出表面の1つ以上の画像を捕捉することと、
害虫検出表面上に標的害虫が存在する可能性を認識するために、画像捕捉デバイスに結合されたプロセッサを使用して、捕捉された1つ以上の画像を処理することと、
プロセッサに結合された無線送信機を介して、1つ以上の標的害虫が存在する可能性を認識することに応答して、捕捉された1つ以上の画像からのデータを送信することと、を含み、この方法は、
サーバーが、
送信されたデータを受信することと、
送信されたデータを処理して、害虫検出表面上に標的害虫が存在する可能性を検証することと、
検証を示す出力を提供することと、をさらに含む。
本開示の別の態様によれば、リモートカメラシステムを使用して害虫が存在する可能性を検出するための方法が提供され、この方法は、少なくとも1つのリモートカメラシステムの画像捕捉デバイスを使用して、少なくとも1つのリモートカメラシステムの害虫検出表面の1つ以上の画像を捕捉することと、
害虫検出表面上に標的害虫が存在する可能性を認識するために、画像捕捉デバイスに結合されたプロセッサを使用して、捕捉された1つ以上の画像を処理することと、
プロセッサに結合された無線送信機を介して、1つ以上の標的害虫が存在する可能性を認識することに応答して、捕捉された1つ以上の画像からのデータを害虫検出表面上に標的害虫が存在する可能性を検証するためにサーバーに送信することと、を含む。
これらおよび他の態様は、以下に説明される実施形態から明らかになるであろう。本開示の範囲は、この要約によって限定されることも、記載された欠点の一部またはすべてを必然的に解決する実装に限定されることも意図されていない。
本開示をよりよく理解し、実施形態がどのように実施され得るかを示すために、添付の図面が参照される。
システムによって使用される決定ロジックの1つの可能な実施形態のフロー図である。 リモートユニットの主構成要素の好ましい実施形態を示すブロック図である。 リモートユニットの1つの可能な実施形態を示す。 リモートユニットの1つの可能な実施形態を示す。 リモートユニットの別の可能な実施形態を示す。 クラウドサーバーの主構成要素の好ましい実施形態を示すブロック図である。
本開示は、リモート検出、監視、および管理システムによって生成されたデータの新規の収集、送信、処理、保存、アクセス、提示、および使用を可能にするソフトウェアデータ処理システムとともにシステムハードウェアおよび通信アーキテクチャを提供する。本開示は、害虫の検出、監視および管理アプリケーションに関する現在好ましい実施形態に関して説明されているが、本開示の特徴は、状態のリモート検出、監視、管理、および監視の状態に関連するデータのリモート収集、処理、保存、アクセス、表示、使用を必要とする任意のアプリケーションに適用できることが理解される。
本開示は、1つ以上の害虫監視場所から情報を収集、通信、および分析するための方法、装置、およびシステムを提供する。監視される場所には、害虫検出デバイスが含まれる。これらのデバイスには、トラップやおよび/またはトラッピング機能または殺虫機能を有している場合と有していない場合がある、受動的および能動的な監視デバイスを含めることができる。トラップは、所与の害虫駆除プログラムの活動感知害虫デバイスの大部分を構成する可能性があるが、害虫の活動のみを監視するデバイスが、場所やアプリケーションによっては好ましい場合がある。したがって、両方のタイプのデバイスを、本発明を使用することができる様々な環境で利用することができる。さらに、文脈が別段の定めをしない限り、トラップおよび受動的または能動的害虫監視デバイスの両方が、本明細書で使用される「害虫検出器」という用語の範囲内に含まれる。
本開示は、実用的で安価であり、リモート場所から同時に各検出器またはいくつかの検出器の自動監視を可能にするそのような方法、装置およびシステムを提供する。
この方法、装置、およびシステムは、継続的な感知のための高いデータ、電力、または処理要件を備えたセンサーの使用を可能にする。そのようなセンサーには、カメラおよび他の撮像センサーが含まれるが、これらに限定されない。
この方法、装置およびシステムにより、ユーザーは、検出器の関連パラメータおよび検出された活動に関するデータに容易にアクセスすることができる。これには、検出器のステータス、測定された害虫の活動、検出された種の識別情報、および/または将来の活動の予測が含まれるが、これらに限定されない。
1つ以上のリモートデバイスとサーバーまたは他の中央コンピュータとの間のセンサーデータ処理の分割は、上記の利点に貢献する。
本開示は、概して、害虫駆除に関し、より具体的には、これに限定されないが、害虫駆除デバイスからのデータを感知、通信、格納、および評価するための技術に関する。より具体的には、本発明は、ネットワーク化された害虫駆除システムおよび関連するデータ処理における画像センサーの使用に関する。
この説明において、「害虫検出器」という用語は、害虫が遭遇し、検出またはトラップされる可能性のある場所に載置される任意のトラップ、センサー、リモートデバイスまたは同様のデバイスまたはシステムを指す。これらのデバイスには、トラップおよび/またはトラッピング機能や殺虫機能を有していない受動的および能動的な監視デバイスを含めることができる。
本開示の実施形態で検出される害虫は、蛾、シロアリ、ゾウムシ、アブラムシ、シルバーフィッシュ、アザミウマ、カブトムシ、アリ、クモ、ハエ、ノミ、ダニおよびげっ歯類を含み得る。特に、本開示の実施形態で検出された害虫は、ゴキブリ、カーペットカブトムシ、衣蛾、欧州トウモロコシ穿孔虫、レッドパームゾウムシ、ミルモス、赤ダニ、マツゾウムシ、赤ヒアリ、綿毛虫、トウモロコシ耳虫、蚊、タバコ青虫、アジアカミキリムシ、ヒメアカカツオブシムシ、小菜蛾、斑点翼ショウジョウバエ、ハチ、およびスズメバチが含まれ得る。
本開示の検出、監視および管理システムによって収集されたデータの収集、送信、処理、保存、アクセス、提示および使用を可能にするために、システムハードウェアおよび通信アーキテクチャとソフトウェアデータ処理システムの両方が提供される。
ここで、実施形態は、例としてのみ説明される。
図1を参照すると、本発明を有利に実装するシステムの実施形態が示されている。システムは、リモートユニット1(別様に、本明細書ではリモートカメラシステムとも呼ばれる)および中央サーバー11を含む。この図に示されるリモートユニットは、サーバーと通信する多くのそのようなリモートユニットの1つであり得ることが理解されるであろう。リモートユニットは、感知されているパラメータの対象となる位置に位置する。害虫駆除の適用において、これは、害虫が頻繁に出現すると予想される場所、または害虫が以前に観察されていた場所であり得る。好ましい実施形態では、サーバーは、インターネットに接続されており、世界中のどこに位置していてもよい。単一のサーバーが示されているが、本明細書で説明されるサーバー11の機能は、たとえば分散コンピューティング環境において、1つ以上のサーバーによって実装され得ることが理解されよう。
リモートユニットおよびサーバーは、ネットワーク20を介して通信する。このネットワークの性質は、本発明にとって重要ではなく、当技術分野で知られている様々な異なる要素から構成され得る。これらは、当分野の専門家にはよく知られており、様々な実施形態では、これらに限定されないが、Zigbeeなどのテクノロジーを使用したリモートデバイスのメッシュネットワーク、WiFi、LoRaWAN、Bluetooth、携帯電話ネットワーク、Wireless HARTなどの無線通信、シリアル、USB、イーサネットなどの有線通信を含むことができる。ネットワークは、上記または他の方法の組み合わせで構成され得る。図1は、リモートユニット1とサーバー11との間の直接通信を示しているが、リモートユニット1は、1つ以上の中間デバイスまたはネットワークエンティティを介して間接的にサーバー11と通信できることが理解されよう。
好ましい実施形態では、リモートユニットは、撮像センサー23(別様に、本明細書では画像捕捉デバイスと呼ばれる)および図2で見られる関連する他のハードウェア21~27から構成され、以下に詳細に説明される。撮像センサーは、定期的に起動され2、結果の画像データはプロセッサ24によって分析3のために記録される。この分析は、画像の様々なパラメータの処理の1つ以上の段階で構成される。この処理で使用される画像処理技術は、この分野の専門家にはよく知られており、Haarカスケード、カーネルフィルタリング、画像記述子法、および特徴変換などの方法が含まれる。これらの処理技術は、リモートデバイスの処理負荷を最小限に抑えるために、最も信頼性の高い検出インジケータを提供するように選択される。分析の結果は、検出確率4を定量化するために参照データ5と比較される。参照データ5は、例えば、標的害虫に関連し、センサーデータが標的害虫を含むかどうかを評価するために使用され得るサイズ、色または他の特性パラメータに関する情報を含み得る。この定量化の結果は、標的害虫の存在の有無の決定的な決定ではなく、画像に害虫(複数可)が含まれている確率である。確率は、事前定義されたレベル「閾値A」6と比較され、これが送信のエネルギーまたは経済的コストを正当化するのに十分である場合、元のセンサーデータの一部またはすべてを含むデータが送信用にパッケージ化される7。次に、このデータパッケージは、ネットワーク20を介してサーバー11に送信される8。
「閾値A」の値はアプリケーション固有であり、トリガーの数が少なく、検出されなかった場合の結果が高い、ナンキンムシの検出では、送信に低い閾値、例えば25%が使用される。検出が多数あり、昆虫の数に関する全体的な印象(小麦畑のアブラムシなど)が資産所有者にとって十分であるため、通信がより困難であり、時々の検出の欠落が問題にならない他のアプリケーションの場合、より高い閾値、例えば75%、を使用することができる。
すなわち、リモートユニット1からサーバーへ送信するか否かのイエス/ノーの決定がある。この決定は、例えば、加重和から合計信頼レベルを計算すること、または3つのうち2つを超える異なる計算で肯定的な結果が得られた場合に、送信を決定する異なる方法の間で投票することなどの、様々な方法で行うことができる。
検出確率が決定6について不十分であった場合、センサーは、非アクティブ化され、センサーが再アクティブ化されるまでの時間10の間、リモートユニットは低電力モードに戻る。
送信されたデータパッケージは、サーバー11によってバッファ12で受信される。メッセージは、ログに記録され、データは、データベース18に保存される。サーバー11は、受信したデータに対して追加のデータ分析を実施する。サーバー11は、リモートデバイスよりも処理能力、データ保存および電力消費に関してはるかに低い制限を有する。その結果、サーバー11は、より詳細な分析13を実施し、これをより大量の参照データ19と比較して、検出確率を決定することができる。これにより、検出確率の定量化において、リモートデバイスの6で可能な信頼性よりもはるかに高い信頼性14が可能になる。検出確率が第2の閾値B16を超える場合、サーバーは、検出の要約および検出確率を含むメッセージを資産所有者17に自動的に送信することができる。第2の閾値Bの値はアプリケーション固有であり、第2の閾値Bは、第1の閾値である閾値Aよりも高い場合がある。
検出確率が閾値B未満の場合、ルーチンは、次のメッセージの処理を待つ。検出確率が閾値Bを超える場合、サーバー11は、標的害虫が存在する可能性を検証する。したがって、サーバー11は、リモートユニット1から受信したデータを処理して、害虫が画像内に存在するかどうかに関してリモートユニット1によって実施される決定の信頼性を高め、それによって、害虫が存在するかどうかの不確定性を低減することが見られる。閾値Bは、検出確率が閾値Bを上回っている場合、サーバーが害虫の存在について十分な信頼を得ている(害虫が存在することを100%確信しているのではなく)ことを示すレベルに設定することができることに留意されたい。
資産所有者17に通知するかどうかの第2の決定は、アプリケーション固有であり、常に発生するとは限らない。単一の検出でさえ資産所有者にとって重要である一部のアプリケーションでは、検出があった場合は資産所有者17に通知することが適切である。この場合、いかなる検出も、すぐにユーザーに送信され、システムが行うべき決定が明確になる。しかしながら、資産所有者が検出された全体的な活動の日次または週次の要約に関心がある可能性が高い農業などのアプリケーションでは、特定のメッセージを送信する決定がない場合がある。これらの場合、システムが毎日多くの昆虫を検出する可能性がある場合、サーバー11は、後で参照するために検出の総数を単純に計算して保存することができる。
この実施形態では、受信したメッセージのデータベース18を使用して、参照データ19を向上することができる。好ましい実施形態では、これは、当技術分野で知られている機械学習技術によるものとすることができる。
他の実施形態では、システムは、初期検出確率計算の信頼性を向上させるために、サーバーがリモートユニット上の参照データを変更する能力を含むことができる。また、リモートユニットの他のシステムパラメータを変更して、検出確率の信頼性を増加させ、電力消費量を減らし、またはネットワークを介して送信されるデータ量を減らすことで、パフォーマンスを向上させることもできる。このようなパラメータには、遅延10、デバイスがアクティブである時刻、送信されたデータの圧縮または近似が含まれるが、これらに限定されない。
他の実施形態では、サーバーは、リモートユニットにメッセージを送信して、センサーの起動およびリモートユニットからの送信、またはリモートユニットの状態データの送信を要求する機能を有することができる。このような状態データには、バッテリー状態または分析された候補検出の数などのパラメータが含まれる。リモートユニット1は、サーバー11からの呼び出しなしに、ユニットの状態データを自動的にサーバー11に送信することができる。これは定期的に行うことができ、例えば、リモートユニット1が、リモートユニットの状態データを毎日サーバー11に送信することができる。
「閾値A」は固定される場合がある。代替的に、「閾値A」は動的に変化させることができ、プロセッサ24によって制御される。「閾値A」を動的に変更すると、画像分析の結果以外の要因により確率が許容レベルを下回る検出を送信するリソース(バッテリエネルギー、リモートユニットのプロセッサリソース、ネットワークリソースなど)の無駄を省くことができる。別の方法で表現すると、リモートユニットに既知のデータがセンサーデータ(例えば、時刻)内に含まれていないため、所与の検出が真である可能性が高い場合、害虫の存在をシステムが資産所有者に正しく警告する可能性が高くなる。
「閾値A」は、システムに既知の要因に基づいて動的に変化する場合があり、これには、以下の要因の1つまたは組み合わせが含まれる場合がある。
i)リモートユニット1のバッテリー28のバッテリーレベル-バッテリー28のバッテリーレベルが低い場合、残りのエネルギーを節約し、低確率検出で浪費するのではなく、最も高い確率の検出でのみ使用する方が有利な場合がある。その結果、プロセッサ24は、バッテリーが消耗すると「閾値A」を増加させることができる。プロセッサ24は、リモートユニット1のバッテリー28のバッテリーレベルを決定し、バッテリーレベルの値に従って「閾値A」を変更することができる。
ii)最近のトリガーイベント-「閾値A」は、初期値に設定され得る。最初に捕捉された画像の処理中に、プロセッサ24が、検出確率が「閾値A」の初期値より大きいと判断した場合、プロセッサは「閾値A」を最初に補足された画像から決定された検出確率まで増加させ得る。このプロセスは、後で捕捉された画像を処理するときに繰り返すことができる。したがって、リモートユニット1は、データが最近の以前の検出イベントよりも信頼度が高い(すなわち、より高品質の画像を示す)場合にのみ送信するため、リモートユニット1は、資産所有者に追加の値を追加しない電力送信の繰り返しを無駄にしない。代替的に、害虫が社会的または単性であることがわかっている場合、所与の検出が真である確率は、所与の時間内に検出された数と(それぞれ正または負に)相関することが期待され得る。これを使用して、閾値を高くまたは低く設定することにより、システム全体の感度と特異性を向上させることができる。
iii)時刻-リモートユニット1は、時刻を示す時計をさらに備えることができる。標的害虫が一日の特定の時間に活動している場合、「閾値A」は、時間に応じて変化する可能性がある。プロセッサ24は、時計を問い合わせることにより時刻を決定し、「閾値A」を時刻に割り当てられた値に設定することができる。例えば、蚊は、夜明けと夕暮れ時に最も活動的であるため、それらの時間での検出は真実である可能性が高いため、低い閾値を使用することができる。
iv)トリガーセンサーから受信したセンサーデータ-実施形態では、リモートユニットは、主撮像センサー23をアクティブにするために使用される二次センサー(本明細書ではトリガーセンサーとも呼ばれる)を含むことができる。このトリガーセンサーの性質が、バイナリの結果以外の出力を提供することであり、出力の値が所与の害虫と相関していることがわかっている場合、次に、トリガーセンサーの出力を使用して「閾値A」を調整し、全体的な感度または特異度を向上させることもできる。例えば、トリガーセンサーが重量センサーであり、測定された重量が害虫の予想される重量と非常に異なる場合、体重が間違っていることによる害虫ではない可能性を打ち消すために、画像結果の信頼性を高める必要があるため、「閾値A」をより高いレベルに設定することができる。
v)1年の季節-対象の害虫が、1年の特定の季節に活動している場合、季節に応じて閾値を変更することができる。プロセッサ24は、(例えば、時計を問い合わせることによって)季節を決定し、「閾値A」をその年の季節に割り当てられた値に設定することができる。
vi)ローカル環境条件-リモートユニット1は、ローカル環境条件を感知し、環境センサーデータ(温度や光レベルなど)を出力するように配設された1つ以上のセンサーで構成される。例えば、標的害虫は高温で最も活動的である可能性があるため、それらの時点での検出は真実である可能性が高いため、より低い閾値を使用することができる。プロセッサ24は、受信した環境センサーデータに基づいてローカル環境条件を決定し、「閾値A」を環境センサーデータに割り当てられた値に設定することができる。
vii)最後のサービスからの時間-光学系22上のほこりの蓄積または照明源29の劣化により感度が低下する可能性があるため、これを補正するために低い閾値を使用することができる。すなわち、プロセッサ24は、ユーザーによるリモートユニット1の最後のサービスからの経過時間を決定し、この経過時間に応じて「閾値A」を制御することができる。
viii)サーバー11から受信されたコマンド-サーバー11は「閾値A」の修正された値または「閾値A」を増加/減少するための命令とともにコマンドをリモートユニット1に送信することができる。例えば、リモートユニット1が多数の低品質の結果を送信している場合(これにより、サーバー11は実際には害虫が存在しないと判断する)、サーバーは、プロセッサ24に「閾値A」を増やして電力を節約するように指示する。
図1は、(ブロック13、14、16で)リモートユニット1から受信した画像データに対して追加のデータ分析を実施するサーバー11を示しているが、代替の実施形態では、サーバー11は、コンピュータデバイスのディスプレイ上に表示するためにコンピュータデバイスに送信することによって画像データを処理するように構成される。次に、人間は、コンピュータデバイスのディスプレイに表示される画像データを見て、害虫検出表面上に標的害虫が存在するかどうかに関わらず、入力記録を提供する。サーバー11は、コンピュータデバイスからのユーザー検証信号の受信に基づいて、害虫検出表面上に標的害虫が存在する可能性を検証し、当該ユーザー検証信号は、コンピュータデバイスのユーザーが害虫検出表面上の標的害虫の存在を検証したことを示す。ユーザー検証信号を受信すると、サーバー11は資産所有者17に通知することができる。
図2を参照すると、リモートユニット1の好ましい実施形態のブロック図である、撮像センサー23は、プロセッサ24へのインターフェースを有する。一実施形態では、撮像センサーは、特定の感知アプリケーションのための好適なフレームレート、解像度および電力消費のために選択された、小型のCMOSまたはCCDセンサーの形をとる。しかしながら、本発明は、光学撮像センサーに固有のものではなく、アプリケーションのニーズに応じて、センサーは、コストまたは電力の理由で製品の実行可能性を制限する電力および処理要件を持つ任意のセンサーであり得る。そのようなセンサーは、分光センサー、電磁センサー、干渉計、超音波センサーおよび磁気共鳴センサー、および/または音声センサーを含むが、これらに限定されない。
図2に示す実施形態では、撮像センサー23は、光学系22に動作可能に接続されている。これは、画像処理システムのために有利にカメラに標的領域を提示する、レンズ、ミラー、フィルターおよび他の光学要素の任意の配置を含み得る。
プロセッサ24は、システムを管理し、この実施形態では、図1に示される論理を実施する。さらに、プロセッサは、時間を監視して、センサーをアクティブ化および非アクティブ化するタイミングを決定する。いくつかの実施形態では、プロセッサ構成要素内に含まれ得る不揮発性データ保存部26は、参照データ5を保存するために使用される。標準的な構成要素であってもよく、一般的な通信プロトコルのいずれかを使用するように選択されてもよく、または特定の用途のために特別に設計されてもよい無線送信機25は、データ8の送信に使用され、サーバーからの指示や追加データの受信にも使用することができる。
リモートユニットは、いくつかの実施形態ではバッテリーからなる電源28を含む。他の実施形態では、低電力センサーシステムの分野の専門家にはよく知られているように、太陽電池、スーパーキャパシタ、またはエネルギーハーベスティングシステムで構成されてもよい。電源は、電力管理回路21によって管理される。一実施形態では、この回路は、当技術分野で一般的なタイプのバックブーストスイッチモードのDC-DCコンバータからなる。一実施形態では、この電力管理回路の機能は、システムの全体的な電力消費をさらに向上するためにプロセッサによって制御される。
システム全体はハウジング27に囲まれ、内部または外部の場所または特徴の任意の組み合わせを観察するように撮像センサーおよび光学系を配設することができる。害虫駆除のための1つの実施形態(以下の図4を参照してより詳細に参照される)において、撮像センサーは外部に取り付けられ得、生成された画像が、害虫が頻繁に通る経路であるように、または任意の組み合わせでリモートユニットが取り付けられ得る。そのような配置の例としては、ユニットを壁に取り付け、害虫が頻繁に通る道またはルートで下に向けることである。
上述のように、リモートユニットは、主撮像センサー23を作動させるために使用される二次センサー(本明細書ではトリガーセンサーとも呼ばれる)を含むことができる。これは、二次センサーが低消費電力で動作できる場合に有利である。そのような配置の例は、可能性のある対象が主センサーの検出領域にあるときを検出するための単純な光ゲートまたはカーテンの使用である。この場合、遅延10に加えて、二次センサーが交換または機能する。
プロセッサ24は、可能性のある害虫の存在を検出し、画像をさらに分析するかどうかを決定するために、画像データの低電力分析(例えば、10番目ごとの画素)を実装してもよい。この技術では、遅延が終了するか、二次センサーがトリガーされると、プロセッサ24はカメラから各行と列の特定の画素(例えば、1番目、11番目、21番目など)のみを読み取る。これは、本質的に画像全体の低解像度バージョンを提供する。次に、プロセッサ24によるこの低解像度バージョンの分析は、標的対象が画像のどこにあるかを識別する。次に、プロセッサ24は、標的位置の周囲の領域のフル解像度画像データを読み出し、これをより詳細に分析する。この高解像度データは、選択したカメラに応じて、新しい画像または元の画像からのものである可能性がある。
例示的な一実装形態では、二次センサーは、害虫検出表面上のどこに標的害虫があるかを示すことができ、プロセッサ24は、この場所の周りの画像の一部の画像データのみを収集して処理し、プロセッサ24の処理要件、したがって、リモートユニット1の消費電力を低減することができる。
実施形態では、プロセッサ24は、それ自体の機能および無線送信機25、電力管理回路21、および不揮発性データ保存部26に低電力モードを使用して、リモートユニットの全体的な電力消費を低減することができる。また、他のデータを使用して、これらの低電力モードで費やした時間と遅延を適合させることもある10。このデータには、以前の検出の計算された確率、時刻、および最近の期間に行われた検出の数が含まれるが、これらに限定されない。
害虫駆除のための実施形態では、リモートユニットはまた、誘引剤を利用して、標的をセンサーの範囲内に誘い込むことができる。害虫誘引剤の例は、これらに限定されないが、パターン化された表面、紫外線反射体、物理的構造、熱源、標的害虫の種によって生成された自然フェロモンおよび標的害虫のための食物を含む。「パターン化表面」という用語は、本明細書では、標的害虫にとって魅力的な表面の質感、材料または色を意味するために使用される。
例えば、特定の昆虫は、毛皮や木の質感に引きつけられ、通常は食べるものに対応している。他の昆虫は、巣箱や巣に見られる形を模倣した特定の形、例えばハニカム形や波形などに引きつけられる。最後に、多くの飛んでいる昆虫は、花の外観と質感を模倣する表面に引き付けられ、それによって色(非可視IRおよびUVスペクトルを含む)が昆虫を引き付ける。
さらなる実施形態では、リモートユニットは、新しい誘引剤が経時的に消費または枯渇した場合に、定期的または継続的に分配または露出するための機構を含み得る。
本発明の下では、多数の他の可能な実施形態が可能であり、各々が異なる感知タスクに好適であることが理解されよう。
図3aおよび図3bは、リモートユニット1の1つの可能な実施形態の斜視図である。害虫駆除のためのこの実施形態では、撮像センサーおよび光学系は、ハウジング内の害虫検出表面300の実質的に画像を捕捉するように構成される。すなわち、害虫検出表面は、リモートユニット1のハウジング27の一部を構成するか、またはそれに取り付けられる。そのような実施形態では、ハウジング27は、害虫が1つ以上の開口部302a、bを介して内部空間にアクセスできるように設計され、ハウジング27内には誘引剤または餌があり、検出される空間に移動するように促すことができる。
図4は、リモートユニットの別の可能な実施形態の斜視図を示す。
図4は、図3に示すものと同様の実施形態を示し、この実施形態では、害虫検出表面400は、リモートユニット1のハウジング27の一部ではなく、それに取り付けられていないという大きな違いがある。リモートユニット1は、検出表面400に対してカメラの位置が制御されるように構築されている。この実施形態では、これは、害虫検出表面400から設定された距離にカメラを位置決めするためのポストまたは脚の使用を通じて達成される。標的用途に応じて、害虫検出表面400は、地面、壁、床、幅木、または他の屋内要素(例えば、ベッドフレーム、マットレス、ヘッドボード、シーツ、または他の柔らかな家具)、木の幹または植物の他の部分、粘着性のあるフライペーパーまたはその他の商業用害虫トラップであり得るが、これらに限定されない。
図3a、図3bおよび図4に示すように、1つ以上の光源29(例えば、LED)を使用して、害虫検出表面に照明を提供することができる。
図5を参照すると、クラウドサーバー11の主構成要素の実施形態を示すブロック図であり、リモートユニット1から受信されたメッセージは、メッセージングインターフェース29によって処理される。このメッセージングインターフェースは、通信プロトコルにインターフェースし、リモートユニットから受信した、またはリモートユニットに送信されるメッセージ用の送信および受信バッファ12を提供する。一実施形態では、メッセージングインターフェースは、リモートユニットがメッセージを送信する電子メールサーバーと通信する。インターフェースはメッセージをサーバーにダウンロードし、メッセージのタイプを識別して、メッセージにセンサーデータ処理が必要かどうかを決定し、データを処理に好適な形式に抽出する。メッセージングインターフェースは、メッセージの内容をメッセージロギングモジュール32に渡し、これは、メッセージを(18ごとに)ユーザー記録データベース33に保存し、メッセージをフリート管理データベース31の対応するエントリに関連付ける。
センサーが撮像センサーであるシステムを説明するこの実施形態では、メッセージングインターフェース29はまた、任意のメッセージのセンサーデータコンテンツを、画像処理モジュール34として示されるデータ処理モジュールに渡す。データ処理は、参照データを含む既存の参照データベース35を参照して、画像処理モジュール34によって実施される。参照データは、標的対象に関連し、センサーデータが標的対象を含むかどうかを評価するために使用され得るトレーニングデータ、閾値、サイズ、色または他の特性パラメータを含み得る。画像処理モジュール34は、リモートユニット4で行われるよりも詳細または厳密な分析13を実行する。この段階での追加の詳細または厳密さは、より大量の参照データ、より高いレベルの処理、例えば、Haarカスケードで多数のフィルター段階を実行すること、または両方の組み合わせのいずれかから生じる。
画像処理モジュール34は、訓練されたニューラルネットワークを含み得る。これらの実施形態では、参照データは、訓練されたニューラルネットワークにおける重み係数を含み得る。すなわち、サーバー11は、(参照データベースに保存された)画像データを直接参照せずに、いくつかの前処理された比較メトリックに基づいて画像を処理することができる。
データ処理の結果は、画像処理モジュール34から検出決定論理モジュール36に渡される。このモジュールは、データ処理の結果を分析して、検出確率が資産所有者17に通知するのに十分かどうかを決定する。好ましい実施形態では、この論理は、外部データ源37によって提供される外部環境情報によって影響を受ける。外部環境情報は、限定されないが、時刻、気象情報、季節、温度情報、湿度情報、昆虫個体数データ、少なくとも1つのリモートカメラシステムの環境がいつ害虫駆除により処理されたかを指定するユーザー入力データ、近くの他のリモートユニットのアクティビティ、およびリモートユニットには知られていないが、検出が真陽性である確率に影響を与えるその他の要因を含む。
検出決定ロジックの結果は、検出ログデータベース38に保存される。このデータベースのエントリは、ユーザー記録データベースを参照して、個々の検出イベント、特定のリモートユニット、および特定の資産所有者間の関係がすべて維持されるようにする。
検出ログデータベース38、ユーザー記録データベース33、フリート管理データベース31のコンテンツへのアクセスは、ウエブサーバー40を介して資産所有者に提供される。これは、資産所有者41が資産に関連するリモートユニットを管理し、すべての検出イベントの概要を調べるために使用できるウエブサイトを提供する。
一実施形態では、ウエブサーバー40に加えて、ユーザーメッセージングインターフェース39が提供される。検出決定ロジック36によって肯定的な検出が決定された場合、このユーザーメッセージングインターフェースはアラートを資産所有者41に送信する。
サーバー11は、サーバー11に関連するリモートユニットの記録を含むフリート管理データベース31を維持する。このような記録は、シリアル番号、ソフトウェアバージョン、およびリモートユニットの場所を含み得る。データベースは、ユーザー記録データベース33および検出ログデータベース38に関連付けられている。
好ましい実施形態では、サーバー11は、リモートユニットを再プログラミングする機能、またはファームウェア更新モジュール30によってそれらの参照データを更新する機能を提供する。
好ましい実施形態では、ウエブサーバー40は、SSL、HTTPS、ユーザー名とパスワードの組み合わせ、または2要素認証などの業界標準のセキュリティ対策を使用して保護され、他の当事者が、資産の所有者または権限のある代表者でない限り、特定の資産に関連するデータにアクセスできないようにする。
別の実施形態では、ウエブサーバー40は、害虫の検出頻度と真の個体数との間の関係についてのデータを含み得る参照データベースに機能的にリンクされる。そのようなデータは、制御された実験から、または本発明からのデータを、当技術分野で知られている手動システムなどの二次検出システムと相関させることによって計算することができる。ウエブサーバーは、このデータを使用して、検出ログデータベース38のデータから真の個体数を推定する。
別の実施形態では、ウエブサーバー40は、検出ログデータベース内の記録を使用して、将来の検出活動の予測を行うことができる。例えば、本発明がアブラムシなどの農業害虫の管理に使用される場合、ウエブサーバーは、個体数の前方予測を行うことができる。
様々な実施形態の場合、ウエブサーバー40は、資産所有者が正しい行動方針をより簡単に決定できるように、検出データの一連の提示を提供する。そのような一実施形態では、ウエブインターフェースは、時間の関数として検出イベントのグラフを提供する。付加的に、または代替的に、ウエブインターフェースは、経過時間、バッテリーの状態、交換までの残り時間、リモートユニットとの最新の通信時間、各リモートユニットによる検出回数の詳細を有する特定の資産に関連付けられているすべてのリモートユニットの概要を提供する。付加的に、または代替的に、ウエブインターフェースは、資産所有者の資産の1つ以上を表す図またはマップ上にリモートユニットの場所を提示する。検出データは、ヒートマップ、トポロジカルマップ、3D表面、または検出アクティビティの他のグラフィック表現によって、上記の図またはマップ上に表すことができる。付加的に、または代替的に、ウエブインターフェースは、システムを使用することによるユーザーへの経済的利益の要約を提供する。
害虫駆除の別の実施形態では、ウエブサーバー40は、検出イベントまたは検出イベントの要約を第三者に送信する統合された方法を提供する。例えば、データを資産所有者が希望する害虫駆除会社に送信するためのボタンと、資産を訪問して侵入を解決するための指示が提供される場合がある。
サーバー11は害虫の存在を検出するための専用サーバーとして示されているが、サーバー11の機能は、害虫検出以外の追加機能を実施する資産所有者の既存のシステム(例えば、1つ以上のサーバー)に統合されてもよい。
本開示は、上述の好ましい実施形態に関して説明されてきたが、これらの実施形態は、単なる例示であり、特許請求の範囲は、それらの実施形態に限定されないことを理解されたい。当業者は、添付の特許請求の範囲内にあると考えられる開示を考慮して、修正および代替を行うことができるであろう。本明細書で開示または例示される各特徴は、単独で、または本明細書で開示または例示される他の特徴との任意の適切な組み合わせで、開示に組み込まれ得る。
以上のように、本発明のシステムは、センサーを含むリモートデバイスとサーバーとの間で処理を分けたシステムである。センサーは、撮像システム/カメラであり得る。リモートデバイスは、害虫検出器であり得る。リモートデバイスは、低電力センサー(ライトゲートなど)を使用してセンサーをアクティブ化(「ゲート」)することができる。システムは、消費電力を低減するために低電力モードを使用することができる。システムは、利用可能な電力に従ってその感知パラメータを適合させる。システムは、外部要因に従って感知パラメータを適合させることができる。システムは、データをサーバーからリモートデバイスに送信できるようにし得る。システムは、他のリモートデバイスのアクティビティの変化に合わせて、1つ以上のリモートデバイスの感知パラメータを適合させることができる。
サーバーは、ユーザーにメッセージを送信することができる。システムは、電力消費を低減するために誘引剤を使用することができる。システムには、誘引剤を更新または更新するメカニズムが含まれている。システムは、害虫の個体数のサンプルを検出し、これを使用して総個体数を推定し得る。標的害虫は、デバイス自体に入るか、デバイスによって少なくとも部分的に囲まれた表面の領域に入る場合がある。標的害虫は、デバイスによって殺虫され得る。システムは、資産所有者(PCCや農学者など)に加えて、データを第三者に自動的に渡す能力を提供し得る。サーバーは、ユーザーにウエブインターフェースを提供し、このユーザーインターフェースは、保護され得る。システムは、リモートデバイス状態の要約を提供し得る。システムは、リモートデバイスの交換スケジュールの要約を提供し得る。システムは、将来の活動の予測を提供することができ、この予測は、外部データ、例えば天気予報を引き込むことによって行われ得る。システムは、システムの経済的利益の推定値を計算してユーザー/資産所有者に示すことができる。システムは、図またはマップ上にリモートユニットの物理的な位置を示し得る。システムは、検出されたアクティビティに関するデータを示し得る。

Claims (23)

  1. なくとも1つのリモートカメラシステムを備えるとともに、サーバーを備え、害虫の存在を検出するシステムであって、
    記リモートカメラシステムの各々害虫検出表面を有し、さらにプロセッサに結合された画像捕捉デバイスおよび無線送信機を備えていて
    前記害虫検出表面の1つ以上の画像を捕捉
    第1の参照データを使用して、捕捉された1つ以上の画像を処理して第1の検出確率を決定し、
    前記第1の検出確率を第1の所定の確率閾値と比較し、
    前記第1の検出確率が前記第1の所定の確率閾値よりも大きい場合に、前記害虫検出表面上に標的害虫が存在する可能性を認識
    1つ以上の標的害虫が存在する可能性を認識した際に、前記捕捉された1つ以上の画像のデータを送信するように構成され、
    前記サーバー
    前記送信されたデータを受信
    第2の参照データを使用して、前記送信されたデータを処理して第2の検出確率を決定し、
    前記第2の検出確率を、前記第1の所定の確率閾値よりも大きい第2の所定の確率閾値と比較し、
    前記第2の検出確率が前記第2の所定の確率閾値よりも大きい場合に、前記害虫検出表面上に標的害虫が存在する可能性を検証
    前記検証の結果を出力するように構成されている、システム。
  2. 前記リモートカメラシステム、捕捉された1つ以上の画像のデータを処理し、時間および空間のうちの一方または両方に制限がある捕捉された1つ以上の画像からデータセグメントを選択することによって送信されるデータの量を減らすように構成されている、請求項1に記載のシステム。
  3. 前記画像捕捉デバイス、前記害虫検出表面と固定された空間関係で取り付けられるように構成されている、請求項1または2に記載のシステム。
  4. 前記害虫検出表面、前記リモートカメラシステムのハウジングの一部を含むか、またはそれに取り付けられている、請求項1または2に記載のシステム。
  5. 前記害虫検出表面、前記画像捕捉デバイスから30cm以下にある、請求項1~4のいずれかに記載のシステム。
  6. 前記リモートカメラシステム、標的害虫を検出して画像の捕捉をトリガーするトリガーセンサーをさらに備える、請求項1~5のいずれかに記載のシステム。
  7. 前記リモートカメラシステム、害虫誘引剤をさらに含む、請求項1~6のいずれかに記載のシステム。
  8. 前記害虫誘引剤、フェロモンまたはカイロモンを含む、請求項7に記載のシステム。
  9. 前記害虫誘引剤、パターン化された表面、紫外線反射体、物理的構造、熱源、および前記標的害虫のための食物のうちの1つまたは任意の組み合わせを含む、請求項7または8に記載のシステム。
  10. 前記標的害虫、ミバエ、ナンキンムシ、シルバーフィッシュ、ゴキブリ、昆虫、および節足動物のうちの1つまたは任意の組み合わせを含む、請求項1~9のいずれかに記載のシステム。
  11. 前記リモートカメラシステム、外部環境情報を入力するように構成され、前記リモートカメラシステムによる画像捕捉および画像処理のうちの一方または両方が、前記外部環境情報に応答する、請求項1~10のいずれかに記載のシステム。
  12. 前記サーバー、外部環境情報を入力し、送信されたデータおよび入力された外部環境情報の両方を処理して、前記害虫検出表面上に標的害虫が存在する可能性を検証するように構成されている、請求項1~11のいずれかに記載のシステム。
  13. 前記外部環境情報、時刻、気象情報、季節、温度情報、湿度情報、昆虫個体数データ、前記リモートカメラシステムの環境がいつ害虫駆除により処理されたかを指定するユーザー入力データのうちの1つ以上を含む、請求項11または12に記載のシステム。
  14. 前記サーバーおよび前記リモートカメラシステムのうちの一方または両方、送信されたデータに応じて前記リモートカメラシステムを適合させるように構成されている、請求項1~13のいずれかに記載のシステム。
  15. 前記第1の所定の確率閾値、可変であり、前記リモートカメラシステムの各々は、前記第1の所定の確率閾値を動的に設定するように構成されている、請求項1に記載のシステム。
  16. 前記リモートカメラシステムの各々、(i)前記リモートカメラシステムのバッテリーのバッテリーレベル、(ii)1つ以上の以前に捕捉された画像の処理から決定された検出確率、(iii)時刻、(iv)前記標的害虫を検出して画像の捕捉をトリガーするように構成された前記リモートカメラシステムのトリガーセンサーから受信したセンサーデータ、(v)季節、(vi)前記リモートカメラシステムのローカル環境条件を感知するように配設された前記リモートカメラシステムのセンサーから受信した環境センサーデータ、(vii)前記リモートカメラシステムの最後のサービスからの経過時間、および(viii)前記サーバーから受信したコマンド、のうちの1つ以上に基づいて前記第1の所定の確率閾値を動的に設定するように構成されている、請求項15に記載のシステム。
  17. 前記サーバー、コンピュータデバイスに対し、ディスプレイ上に表示するためにデータを送信することにより、送信されたデータを処理し、前記コンピュータデバイスからのユーザー検証信号の受信に基づいて、前記害虫検出表面上に標的害虫が存在する可能性を検証するように構成され、前記ユーザー検証信号、前記コンピュータデバイスのユーザーが前記害虫検出表面上標的害虫の存在を検証したことを示す、請求項1~16のいずれかに記載のシステム。
  18. 前記サーバー、前記検証に応答して検証結果を出力するように構成されている、請求項1~17のいずれかに記載のシステム。
  19. 前記少なくとも1つのリモートカメラシステム、複数の害虫種を検出するように構成されている、請求項1~1のいずれかに記載のシステム。
  20. 請求項1~19のいずれか1項に記載のサーバー。
  21. 請求項1~19のいずれか1項に記載のリモートカメラシステム。
  22. 少なくとも1つのリモートカメラシステムとサーバーとを備えるシステムにおいて害虫の存在を検出する方法であって、
    前記リモートカメラシステムは、
    前記リモートカメラシステムの画像捕捉デバイスを用いて、前記リモートカメラシステムの害虫検出表面の1つ以上の画像を捕捉し、
    前記画像捕捉デバイスに結合したプロセッサを用いて、捕捉された1つ以上の画像を処理し、第1の参照データを用いて第1の検出確率を決定し、
    前記第1の検出確率を第1の所定の確率閾値と比較し、
    前記第1の検出確率が前記第1の所定の確率閾値より大きい場合に、前記害虫検出表面上に標的害虫が存在する可能性を認識し、
    前記害虫検出表面上に標的害虫が存在する可能性を認識した際に、前記プロセッサに結合した無線送信機を介して、捕捉された1つ以上の画像のデータを送信し、
    前記サーバーは、
    前記送信されたデータを受信し、
    第2の参照データを使用して、前記送信されたデータを処理して第2の検出確率を決定し、
    前記第2の検出確率を、前記第1の所定の検出閾値よりも大きい第2の所定の確率閾値と比較し、
    前記第2の検出確率が前記第2の所定の確率閾値よりも大きい場合に、前記害虫検出表面上に標的害虫が存在する可能性を検証し、
    前記検証の結果を出力する、
    方法。
  23. 少なくとも1つのリモートカメラシステムを使用して害虫の存在を検出する方法であって、
    前記リモートカメラシステムの画像捕捉デバイスを使用して、前記リモートカメラシステムの害虫検出表面の1つ以上の画像を捕捉し、
    前記画像捕捉デバイスに結合されたプロセッサを使用して、捕捉された1つ以上の画像を処理し、第1の参照データを用いて第1の検出確率を決定し、
    前記第1の検出確率を第1の所定の確率閾値と比較し、
    前記第1の検出確率が前記第1の所定の確率閾値より大きい場合に、前記害虫検出表面上に標的害虫が存在する可能性を認識し
    前記害虫検出表面上に標的害虫が存在する可能性を認識した際に、前記プロセッサに結合した無線送信機を介して、捕捉された1つ以上の画像のデータを検証のためにサーバーに送信し、
    前記サーバーでは前記害虫検出表面上に標的害虫が存在する可能性を検証する工程として、
    第2の参照データを使用して前記送信されたデータを処理して第2の検出確率を決定し、
    前記第2の検出確率を、前記第1の所定の確率閾値よりも大きい第2の所定の確率閾値と比較し、
    前記第2の検出確率が前記第2の所定の確率閾値よりも大きい場合に、前記害虫検出表面上に標的害虫が存在する可能性を検証する、
    方法。
JP2020538713A 2018-01-12 2019-01-11 システムおよび方法 Active JP7455061B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023195277A JP2024023320A (ja) 2018-01-12 2023-11-16 システムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1800518.1 2018-01-12
GB1800518.1A GB2570138B (en) 2018-01-12 2018-01-12 System and methods
PCT/GB2019/050075 WO2019138242A1 (en) 2018-01-12 2019-01-11 System and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023195277A Division JP2024023320A (ja) 2018-01-12 2023-11-16 システムおよび方法

Publications (2)

Publication Number Publication Date
JP2021510303A JP2021510303A (ja) 2021-04-22
JP7455061B2 true JP7455061B2 (ja) 2024-03-25

Family

ID=61256332

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020538713A Active JP7455061B2 (ja) 2018-01-12 2019-01-11 システムおよび方法
JP2023195277A Pending JP2024023320A (ja) 2018-01-12 2023-11-16 システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023195277A Pending JP2024023320A (ja) 2018-01-12 2023-11-16 システムおよび方法

Country Status (10)

Country Link
US (2) US11160263B2 (ja)
EP (1) EP3737229A1 (ja)
JP (2) JP7455061B2 (ja)
CN (1) CN111726986B (ja)
AU (1) AU2019206306B2 (ja)
BR (1) BR112020014142A2 (ja)
CA (1) CA3087946A1 (ja)
GB (1) GB2570138B (ja)
WO (1) WO2019138242A1 (ja)
ZA (1) ZA202003999B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180249696A1 (en) * 2017-03-02 2018-09-06 Woodstream Corporation Remote monitoring of live catch rodent traps
US11087446B2 (en) * 2018-03-25 2021-08-10 Matthew Henry Ranson Automated arthropod detection system
EP4344540A2 (en) 2018-06-29 2024-04-03 Smart Wave Technologies, Inc. Pest control system having event monitoring
US10524461B1 (en) * 2018-09-25 2020-01-07 Jace W. Files Pest detector to identify a type of pest using machine learning
US20220217962A1 (en) * 2019-05-24 2022-07-14 Anastasiia Romanivna ROMANOVA Mosquito monitoring and counting system
CN110830776A (zh) * 2019-11-26 2020-02-21 湖州赛龙网络技术有限公司 无线智能仓虫监测系统
GB2591804B (en) * 2020-02-07 2024-02-28 Spotta Ltd System for detecting pests
EP4149255B1 (en) 2020-05-13 2024-03-13 Syngenta Crop Protection AG A pest monitoring device
US20220192171A1 (en) * 2020-12-17 2022-06-23 OTS INVESTCO INC. (Ontario Corporation No 00243119) Pest control system and method for use thereof
US11810343B2 (en) * 2021-05-11 2023-11-07 Asio Advanced Control Solutions Ltd Artificial intuition based visual data extraction for distributed systems
CN113749068A (zh) * 2021-08-13 2021-12-07 广州隆昇科技有限公司 一种红火蚁监测方法及系统
CN113973791A (zh) * 2021-11-26 2022-01-28 杭州坝地环境科技有限公司 一种低功耗白蚁蚁情监测方法和系统
DE102022203065A1 (de) * 2022-03-29 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben einer Überwachungsvorrichtung, Computerprogramm, Speichermedium und Überwachungsvorrichtung
CN117178970A (zh) * 2022-05-31 2023-12-08 青岛海尔空调器有限总公司 车辆灭虫方法、装置、设备、介质及其车辆
WO2024055065A1 (en) * 2022-09-14 2024-03-21 Jasgo R&D Pty Ltd Technology configured to enable capture and/or identification of insects and other creatures

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168181A (ja) 2001-11-29 2003-06-13 Kansai Sogo Kankyo Center:Kk 環境測定装置及び当該装置を用いた環境監視システム及び害虫監視システム
JP2007523613A (ja) 2003-06-16 2007-08-23 レナウ デベロップメント アンパートセルスカブ 有害生物管理システム
JP2009260801A (ja) 2008-04-18 2009-11-05 Fujifilm Corp 撮像装置
JP2012019697A (ja) 2010-07-12 2012-02-02 Ikari Shodoku Kk 捕虫装置および遠隔閲覧システム
JP2012161269A (ja) 2011-02-04 2012-08-30 Univ Of Tokushima 虫の画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記憶媒体
JP2014142833A (ja) 2013-01-24 2014-08-07 Earth Kankyo Service Kk 捕獲虫類の同定方法及び同定システム
US20140279600A1 (en) 2013-03-15 2014-09-18 Mitchell Barry Chait Automated monitoring of pest traps in a distributed work environment
JP2015154732A (ja) 2014-02-20 2015-08-27 日本電気株式会社 害虫発生予測システム、端末装置、サーバ装置、および害虫発生予測方法
US20160245916A1 (en) 2014-02-18 2016-08-25 Onvector Technology Llc Object Detection Systems
US20170231213A1 (en) 2016-02-17 2017-08-17 International Business Machines Corporation Pest abatement utilizing an aerial drone
US20170273290A1 (en) 2016-03-22 2017-09-28 Matthew Jay Remote insect monitoring systems and methods
WO2017168412A1 (en) 2016-03-28 2017-10-05 Agrint Sensing Solutions Ltd Improved system and method for detecting agricultural pests

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8026822B2 (en) * 2008-09-09 2011-09-27 Dow Agrosciences Llc Networked pest control system
CN202906981U (zh) * 2012-10-26 2013-04-24 杭州职业技术学院 水稻病虫害远程在线诊断系统
US9750238B2 (en) * 2014-07-23 2017-09-05 Metecs, LLC Alerting system for automatically detecting, categorizing, and locating animals using computer aided image comparisons
US10948491B2 (en) * 2015-08-11 2021-03-16 University Of Central Florida Research Foundation, Inc. Passive insect surveillance sensor device
US10028452B2 (en) * 2016-04-04 2018-07-24 Beesprout, Llc Horticultural monitoring system
WO2018119407A1 (en) * 2016-12-22 2018-06-28 Iron Ox, Inc. System and method for automating transfer of plants within an agricultural facility
US20180177178A1 (en) * 2016-12-22 2018-06-28 Ria Bhakta Animal Deterrent Apparatus
GB201700921D0 (en) * 2017-01-19 2017-03-08 Killgerm Group Ltd Insect trap and method
WO2018140679A1 (en) * 2017-01-27 2018-08-02 The Johns Hopkins University A system for insect surveillance and tracking
CN206744351U (zh) * 2017-03-17 2017-12-15 合肥创巢信息技术有限公司 一种基于物联网果蝇诱捕监测装备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168181A (ja) 2001-11-29 2003-06-13 Kansai Sogo Kankyo Center:Kk 環境測定装置及び当該装置を用いた環境監視システム及び害虫監視システム
JP2007523613A (ja) 2003-06-16 2007-08-23 レナウ デベロップメント アンパートセルスカブ 有害生物管理システム
JP2009260801A (ja) 2008-04-18 2009-11-05 Fujifilm Corp 撮像装置
JP2012019697A (ja) 2010-07-12 2012-02-02 Ikari Shodoku Kk 捕虫装置および遠隔閲覧システム
JP2012161269A (ja) 2011-02-04 2012-08-30 Univ Of Tokushima 虫の画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記憶媒体
JP2014142833A (ja) 2013-01-24 2014-08-07 Earth Kankyo Service Kk 捕獲虫類の同定方法及び同定システム
US20140279600A1 (en) 2013-03-15 2014-09-18 Mitchell Barry Chait Automated monitoring of pest traps in a distributed work environment
US20160245916A1 (en) 2014-02-18 2016-08-25 Onvector Technology Llc Object Detection Systems
JP2015154732A (ja) 2014-02-20 2015-08-27 日本電気株式会社 害虫発生予測システム、端末装置、サーバ装置、および害虫発生予測方法
US20170231213A1 (en) 2016-02-17 2017-08-17 International Business Machines Corporation Pest abatement utilizing an aerial drone
US20170273290A1 (en) 2016-03-22 2017-09-28 Matthew Jay Remote insect monitoring systems and methods
WO2017168412A1 (en) 2016-03-28 2017-10-05 Agrint Sensing Solutions Ltd Improved system and method for detecting agricultural pests
US20190104715A1 (en) 2016-03-28 2019-04-11 Agrint Sensing Solutions Ltd Improved system and method for detecting agricultural pests

Also Published As

Publication number Publication date
US20210029984A1 (en) 2021-02-04
JP2024023320A (ja) 2024-02-21
EP3737229A1 (en) 2020-11-18
GB2570138A (en) 2019-07-17
US11160263B2 (en) 2021-11-02
BR112020014142A2 (pt) 2020-12-08
CA3087946A1 (en) 2019-07-18
CN111726986B (zh) 2023-01-10
AU2019206306B2 (en) 2024-01-18
US20220007630A1 (en) 2022-01-13
ZA202003999B (en) 2021-05-26
JP2021510303A (ja) 2021-04-22
GB201800518D0 (en) 2018-02-28
CN111726986A (zh) 2020-09-29
WO2019138242A1 (en) 2019-07-18
AU2019206306A1 (en) 2020-07-09
GB2570138B (en) 2020-07-08

Similar Documents

Publication Publication Date Title
JP7455061B2 (ja) システムおよび方法
Preti et al. Insect pest monitoring with camera-equipped traps: Strengths and limitations
US11659826B2 (en) Detection of arthropods
US7656300B2 (en) Pest control system
US11417197B2 (en) Pest control system having event monitoring
US20200117897A1 (en) Adaptive Artificial Intelligence Training Data Acquisition and Plant Monitoring System
US20030184442A1 (en) Method and apparatus for capacitively sensing pests
US20220076141A1 (en) Insect attack risk prediction system and method
Sciarretta et al. Development of automated devices for the monitoring of insect pests.
Goldshtein et al. An automatic system for Mediterranean fruit fly monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240312

R150 Certificate of patent or registration of utility model

Ref document number: 7455061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150