JP6625786B2 - 異常検知システム、異常検知方法及びプログラム - Google Patents

Description

本発明は、撮影した画像を解析して異常を検知する異常検知システム、異常検知方法及びプログラムに関する。

近年のＩｏＴ（Internet of Things）化により、農業や漁業などの一次産業においても、現場にセンサーやカメラを配置し、ビッグデータを取得する試みが行われている。取得したデータや画像を人工知能等で学習することにより、実際の現場に行かずとも、作物の品質や、農場や漁場の環境等を遠隔から知ることができる。

例えば、特許文献１では、農場から取得した画像を画像解析して、家畜の飼育環境を求め、コンサルティングを行う畜産コンサルティングシステムが開示されている。

特開２００３−６２７６号公報

しかしながら、このような従来の方法では、画像解析を行うにあたり、撮影した時期の日光の照射具合によって、解析結果が変わってくる。例えば、海面の画像を撮影した場合に、ＲＧＢ値で示される海面の色は日光の照射状態で異なったり、日光や月光の照り返し部分は、白色で認識されてしまう場合もある。そのため、このような画像解析結果を用いて、海面の異常検知を行う場合、誤検知となり得る。

例えば、海面の海苔を撮影し、赤腐れによる異常を検知する際に、日光の照り返し等の白色部分を異常と認識してしまう。加えて、白色のように、明確に色を識別できる場合のみならず、照射具合によって、微妙に海面の色が異なってくる場合にも、異常検知が望ましくない場合が発生する。

そこで、本発明は、農場や海面等を撮影し、撮影した画像を解析して、異常検知する際に、光の照射による誤検知を回避する異常検知システム、異常検知方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、光が照射している状態で分析された画像データを画像解析することで、画像全体のＲＧＢ値を取得し、平均値や分散値等の数値を求め、この値を、統計的な平均値や分散値と比較して、統計的に乖離があるデータである場合に、分析対象の異常を検知する異常検知手段と、
前記画像データ内の光の照射状態によって、前記分析対象の異常を誤検知しているか否かを判断する誤検知判断手段と、を備え、
前記誤検知判断手段は、前記分析対象の異常を誤検知するか否かを判断するとは、前記画像データ内の領域に、前記光の照射によるＲＧＢ値の乖離を検知し、判断することであって、
前記画像データ内の領域に、ＲＧＢ値の乖離を検知し、前記分析対象の異常を誤検知すると判断した場合には、当該領域に該当する位置を再撮影するように指示する再撮影指示手段と、を備える異常検知システムを提供する。

上記発明によれば、光が照射している状態で分析された画像データを画像解析することで、前記分析対象の異常を検知し、
前記画像データ内の光の照射状態によって、分析対象の異常を誤検知しているか否かを判断する。

したがって、本発明によれば、農場や海面等を撮影し、撮影した画像を解析して、異常検知する際に、光の照射による誤検知を回避することが可能となる。

図１は、ドローン１０と異常検知コンピュータ１００の機能ブロック図を示す。 図２は、異常検知コンピュータ１００が実行する異常検知処理を示す。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［ドローン１０と異常検知コンピュータ１００の構成］
図１は、ドローン１０と異常検知コンピュータ１００のハードウェア構成とソフトウェア機能を説明するためのブロック図である。ドローン１０と異常検知コンピュータ１００は通信可能に接続され、所定のデータ通信が可能である。なお、ドローン１０と異常検知コンピュータ１００とからなるシステムを、異常検知クラウドシステム１とする。

ドローン１０は、無人で移動する移動体であって、例えば、無人の飛行機、車輪で移動する移動体であってよい。ドローン１０は、農場、海、畑、田、森林、都市などのフィールドを飛行し、撮影を行う。ドローン１０は、撮影されたデータを、逐次、異常検知コンピュータ１００等の外部のコンピュータに送信する。

ドローン１０は、図１に示すように、光が照射した状態で分析対象の画像を撮影するカメラ１２と、現在の位置情報を検知するＧＰＳ１３と、データを制御する制御部１５と、データの送受信を行う通信部１６とを備える。撮影モジュール１７は、制御部１５に記憶された所定のプログラムを読み込むことで、カメラ１２、通信部１６との協働で実現される。

ドローン１０は、静止画又は動画が撮影できる通常のビデオカメラ又は連続撮影できるカメラ１２、例えば、スチルカメラ、ＣＣＤ（Charge-Coupled Device）カメラ、ＣＭＯＳ（Complementary MOS）カメラ等を備える。また、ドローン１０は、カメラが搭載されたコンピュータやスマートフォン等の通信端末等を取付け式で備えることが可能であってもよい。

制御部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。通信部１６は、所定のコントローラ、基地局、ルータ、コンピュータ等と無線通信可能なモジュールであってよい。

ＧＰＳ１３は、ドローン１０が移動した際の現在の位置情報を検知する。制御部１５が所定のプログラムを読み込むことで、ＧＰＳ１３で検知した位置情報を、カメラで撮影した画像のデータに対応付ける。

異常検知コンピュータ１００は、ドローン１０等のカメラ撮影する移動体と通信可能なコンピュータ、サーバであって、少なくとも、画像解析等のデータ制御・演算・記憶等を行う制御部１５０と、外部のドローン１０やコンピュータと通信する通信部１６０とを備える。制御部１５０が所定のプログラムを読み込むことで、通信部１６０と協働して、異常検知モジュール１４０、誤検知判断モジュール１７０、再撮影指示モジュール１８０を実現する。

異常検知コンピュータ１００は、制御部１５０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１６０として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３〜５世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。

なお、異常検知コンピュータ１００の各機能が複数のコンピュータから構成されていてもよく、異常検知コンピュータ１００は、単数又は複数のコンピュータによって、異常検知システムを形成する。

［異常検知処理］
図４は、ドローン１０と異常検知コンピュータ１００が実行する異常検知処理のフローチャートである。上述した各ハードウェアと、ソフトウェアモジュールが実行する処理について、本処理に併せて説明する。

はじめに、ドローン１０は、移動を開始し、農場、海、川等のフィールドを上空や地面から撮影する。この画像データは、これらのフィールドを、光や月光（その他、照明等の人工的な光でもよい）が照らしている状態で撮影されたデータである。ドローン１０は、この画像データを、異常検知コンピュータ１００に、所定のタイミングで送信する。これに応じて、異常検知コンピュータ１００は、分析対象の画像データを受信する（ステップＳ１０）。

次に、異常検知モジュール１４０が、受信した画像データを解析して、撮影されたフィールド内の異常の検知を行う。具体的には、異常検知モジュール１４０は、ＲＧＢ値の乖離の判断を行う。（ステップＳ１１）。画像解析による異常検知とは、通常予測される画像データとは異なる画像データを取得した場合に、この画像内の分析対象物が通常とは異なった状態（異常）であると判断する検知である。例えば、フィールドを撮影した一枚の静止画像データにおいて、画像全体のＲＧＢ値を取得し、平均値や分散値等の数値を求める。この値を、統計的な平均値や分散値と比較して、統計的に乖離があるデータである場合は異常を検知する。

例えば、海苔の養殖を行っている養殖場を撮影した場合に、海苔が赤腐れをすると、海苔の色が赤紫色になる傾向があり、取得した画像全体のＲＧＢ値の平均値が、通常の海苔の画像のＲＧＢ値とは異なる場合がある。この場合に、異常を検知する。

ここで画像データは、静止画で撮影された画像の一枚一枚であってもよい。この場合、一枚一枚の画像データは、ぞれぞれ、ＧＰＳ１３により、撮影した位置の位置情報が対応付けられる。そのため、一枚毎の画像データが位置情報と対応付けられてパノラマ画像のような一枚の大きな画像データを形成してもよい。前者であっても、後者であっても、画像データを特定の所定領域に区切って、その領域毎に画像解析して、その領域での異常を検知する。

次に、ＲＧＢ値の乖離を検知した場合は、誤検知判断モジュール１７０は、光が照射していることでＲＧＢ値の乖離があるか否かを判断する（ステップＳ１２）。すなわち、光が照射していることでＲＧＢ値の乖離がある場合は、異常を誤検知していると判断する。この判断は、例えば、光の照り返しで乖離が発生していることは、海面のＲＧＢ値が白色である場合に、誤検知であると判断する。また、乖離の判断を、一般的な海面等のＲＧＢ値との比較ではなく、その海面を、ほぼ同一の月日時で撮影し、ほぼ同一位置・ほぼ同一方向で撮影された画像データのＲＧＢ値と比較して、乖離があるかを判断してもよい。

誤検知判断モジュール１７０は、異常を誤検知していると判断した場合（ステップＳ１２「ＹＥＳ」）には、誤検知を確認するために、再撮影モジュール１８０が、異常を誤検知（検知）した領域の画像データの位置情報に基づいて、ドローン１０で再撮影すべき位置と時間を決定する（ステップＳ１３）。

再撮影すべき時間は、管理者が任意に決定して良いが、誤検知した画像データを取得した時間以外で、光の照射度を考慮した時間が自動的に設定（画像データを取得した時間の３，４時間前後等）されてよい。再撮影指示モジュール１８０は、決定された時間に、ドローン１０に、決定された位置を撮影するように、飛行指示を行う（ステップＳ１４）。

なお、再撮影する時間は、改めて決定せずに、次回にドローン１０が飛行するタイミングで、その位置を撮影すべきことを管理者に通知し、管理者の許可に基づいて、ドローン１０に撮影指示を与えてもよい。

誤検知判断モジュール１７０は、異常を誤検知していない（異常を検知している）と判断した場合（ステップＳ１２「ＮＯ」）には、異常を検知したとして、通知を行う（ステップＳ１５）。ここでの異常の通知は、単に、異常であると警報してもよいが、異常の確率を数字で示してもよい。

なお、誤検知の判断は、過去に誤検知した画像データを教師データとして学習し、その学習結果に基づいて、誤検知か否かを判断してもよい。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭ等）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 異常検知クラウドシステム、１０ ドローン、１００ 異常検知コンピュータ

Claims (5)

1. 光が照射している状態で撮影された画像データを画像解析することで、画像全体のＲＧＢ値を取得し、平均値や分散値等の数値を求め、この値を、統計的な平均値や分散値と比較して、統計的に乖離があるデータである場合に、分析対象の異常を検知する異常検知手段と、
   前記画像データ内の光の照射状態によって、前記分析対象の異常を誤検知しているか否かを判断する誤検知判断手段と、を備え、
   前記誤検知判断手段は、前記分析対象の異常を誤検知するか否かを判断するとは、前記画像データ内の領域に、前記光の照射によるＲＧＢ値の乖離を検知し、判断することであって、
   前記画像データ内の領域に、ＲＧＢ値の乖離を検知し、前記分析対象の異常を誤検知すると判断した場合には、当該領域に該当する位置を再撮影するように指示する再撮影指示手段と、を備える異常検知システム。
2. 前記誤検知判断手段は、前記分析対象の異常を検知する際に、過去に撮影された分析対象の画像データを学習して誤検知を判断する請求項１記載の異常検知システム。
3. ドローンが、光が照射している状態で分析対象を撮影する撮影手段を備え、
   前記ドローンと通信可能に接続されたコンピュータが、
   前記ドローンから当該撮影された分析対象の画像データを画像解析することで、画像全体のＲＧＢ値を取得し、平均値や分散値等の数値を求め、この値を、統計的な平均値や分散値と比較して、統計的に乖離があるデータである場合に、前記分析対象の異常を検知する異常検知手段と、
   撮影した画像データ内の光の照射状態によって、分析対象の異常を誤検知しているか否かを判断する誤検知判断手段と、を備え、
   前記誤検知判断手段は、前記分析対象の異常を誤検知するか否かを判断するとは、前記画像データ内の領域に、前記光の照射によるＲＧＢ値の乖離を検知し、判断することであって、
   前記画像データ内の領域に、ＲＧＢ値の乖離を検知し、前記分析対象の異常を誤検知すると判断した場合には、当該領域に該当する位置を再撮影するように指示する再撮影指示手段と、を備える異常検知クラウドシステム。
4. コンピュータが実行する異常検知方法であって、
   光が照射している状態で分析対象を撮影する撮影ステップと、
   前記分析対象を撮影した画像データを画像解析することで、画像全体のＲＧＢ値を取得し、平均値や分散値等の数値を求め、この値を、統計的な平均値や分散値と比較して、統計的に乖離があるデータである場合に、前記分析対象の異常を検知する異常検知ステップと、
   撮影した画像データ内の光の照射状態によって、分析対象の異常を誤検知しているか否かを判断する誤検知判断ステップと、を備え、
   前記誤検知判断ステップにおいて、前記分析対象の異常を誤検知するか否かを判断するとは、前記画像データ内の領域に、前記光の照射によるＲＧＢ値の乖離を検知し、判断することであって、
   前記画像データ内の領域に、ＲＧＢ値の乖離を検知し、前記分析対象の異常を誤検知すると判断した場合には、当該領域に該当する位置を再撮影するように指示する再撮影指示ステップと、を備える異常検知方法。
5. コンピュータに、
   光が照射している状態で撮影された画像データを画像解析することで、画像全体のＲＧＢ値を取得し、平均値や分散値等の数値を求め、この値を、統計的な平均値や分散値と比較して、統計的に乖離があるデータである場合に、分析対象の異常を検知するステップ、
   前記画像データ内の光の照射状態によって、前記分析対象の異常を誤検知しているか否かを判断するステップ、を実行させるとともに、
   前記異常を誤検知しているか否かを判断するステップにおいて、前記分析対象の異常を誤検知するか否かを判断するとは、前記画像データ内の領域に、前記光の照射によるＲＧＢ値の乖離を検知し、判断することであって、
   前記画像データ内の領域に、ＲＧＢ値の乖離を検知し、前記分析対象の異常を誤検知すると判断した場合には、当該領域に該当する位置を再撮影するように指示する再撮影指示ステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images