JP6527729B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、有害動物の撮像画像を画像処理する画像処理装置及び画像処理プログラムに関する。

有害動物を撮像または検出するシステムは、特許文献１〜特許文献３で公知である。
特許文献１は、ねずみ検出対象範囲をビデオカメラによって動画撮影した撮影動画像データに基づいて、ねずみの存在証明のみならず、ねずみの移動経路や行動パターンの把握するシステムが開示されている。このシステムでは、ねずみセンサがネズミを検出した場合、その検出時を含む前後の所定時間分の撮像した動画像を格納するようにしている。

特許文献２では、１つのねずみについて重複して計数しないようにするとともに、ねずみの検出を人の検出と区別するねずみ検出装置が開示されている。
特許文献３の検出装置は、領域を相互に交叉する２本の境界設定直線によって、ねずみの出入り口を含む第１の領域〜第４の領域に区画し、投光部と受光部を有する第１、第２のセンサを２本の境界設定直線の両側に配置するようにしている。そして、第１の投光部からの光が第１の領域になるように設定し、２つのセンサの信号に基づいて第１の領域から第２、第３の領域へのねずみの移動が近別されたときにのみセンサの信号を有効とするようにしている。

特開２０１１−２５９３７６号公報 特開平０８−１８２４５６号公報 特開２００４−１２９５９４号公報

特許文献１のシステムでは、後でこの記録済みの動画像を、観察する場合、ねずみがどこから侵入したかの指摘、及び、ねずみが施設のどこからフレームアウトしたかの指摘がなされていない。

特許文献２及び特許文献３の検出装置では、害獣が撮像された動画像に対する画像処理は行われておらず、ねずみが施設のどこからフレームアウトしたかの指摘がなされていない。

本発明は、施設における有害動物の侵入の撮像画像の観察において、有害動物が侵入していない時間が長時間に亘ることがあっても、観察時間を短くして、効率的にその侵入箇所及び退出箇所を人が判定することなく指摘することができる画像処理装置を提供することにある。

本発明の画像処理装置は、動物を撮像した動画像の時間的な前後のフレームに基づいて、背景部分を除いた差分画像を作成する差分画像生成部と、前記差分画像に基づいて前記動物のフレームイン画像のフレームと、前記動物が出現していない非フレームイン画像のフレームとを探索する探索部と、前記動物のフレームイン画像のフレームがあった場合、そのフレームイン画像のフレームよりも以前の前記動物の非フレームイン画像のフレームに対して、その動物の侵入箇所をマークするとともに前記動物のフレームイン画像が途絶えた後の非フレームイン画像のフレームに対して、当該動物のフレームアウトした箇所をマークするマーク付与部と、前記マークした非フレームイン画像のフレーム及び前記フレームイン画像のフレームを記憶する記憶部とを有するものである。

また、前記マーク付与部は、前記侵入箇所のマークと、前記動物のフレームアウトした箇所のマークの形状または色が相互に異なるようにマークしてもよい。

また、前記動物のフレームイン画像のフレームに対して、該動物を囲む境界ボックスを生成して付与する境界ボックス生成部を備えることが好ましい。
また、本発明の画像処理プログラムは、コンピュータを、動物を撮像した動画像の時間的な前後のフレームに基づいて、背景部分を除いた差分画像を作成する差分画像生成部と、前記差分画像に基づいて前記動物のフレームイン画像のフレームと、前記動物が出現していない非フレームイン画像のフレームとを探索する探索部と、前記動物のフレームイン画像のフレームがあった場合、そのフレームイン画像のフレームよりも以前の前記動物の非フレームイン画像のフレームに対して、その動物の侵入箇所をマークするとともに前記動物のフレームイン画像が途絶えた後の非フレームイン画像のフレームに対して、当該動物のフレームアウトした箇所をマークするマーク付与部と、前記マークした非フレームイン画像のフレーム及び前記フレームイン画像のフレームを記憶する記憶部として、機能させるものである。

また、前記画像処理プログラムにおいて、前記マーク付与部は、前記侵入箇所のマークと、前記動物のフレームアウトした箇所のマークの形状または色が相互に異なるようにマークしてもよい。

また、前記画像処理プログラムにおいて、前記コンピュータを、さらに、前記動物のフレームイン画像のフレームに対して、該動物を囲む境界ボックスを生成して付与する境界ボックス生成部として機能させるようにしてもよい。

本発明によれば、施設における有害動物の侵入の撮像画像の観察において、有害動物が侵入していない時間が長時間に亘ることがあっても、観察時間を短くして、効率的にその侵入箇所及び退出箇を所人が判定することなく指摘することができる。

一実施形態の画像処理装置のブロック図。 画像処理装置が実行するフローチャート。 （ａ）は、侵入箇所にマークが付与されたフレームイン画像の説明図、（ｂ）はマーク及び境界ボックスが付与されたフレームイン画像の説明図、（ｃ）は、侵入箇所及び退出箇所が付与された非フレームイン画像の説明図。 （ａ）は有害動物に境界ボックスが付与されたフレームイン画像の一例を示す図、（ｂ）は侵入箇所を示す実画像の一例を示す図、（ｃ）は退出箇所を示す実画像の一例を示す図。

以下、本発明を具体化した一実施形態の画像処理装置を図１〜図４を参照して説明する。図１に示すように、画像処理装置１０は、カメラ４０と、ディスプレイ５０とが接続されている。

画像処理装置１０は、インターフェイス１２、ＣＰＵ（中央演算処理装置）２０、及び記憶部３０を備えている。ＣＰＵ２０は、原画像入力部２１、差分画像生成部２３、２値化画像作成部２４、探索部２５、境界ボックス生成部２６、及びマーク付与部２７を備えている。また、記憶部３０は、原画像記憶部３１、背景画像記憶部３２、差分画像記憶部３３、２値化画像記憶部３４、マーク・境界ボックス付与画像記憶部３５を備える。なお、差分画像生成において後述するフレーム間差分で行う場合には、背景画像記憶部３２は省略してもよい。

なお、本実施形態では、原画像入力部２１、差分画像生成部２３、２値化画像作成部２４、探索部２５、境界ボックス生成部２６、及びマーク付与部２７は、コンピュータのソフトウエアによって実現している。各記憶部は、半導体メモリ、或いはハードディスク等の記憶装置からなる。

カメラ４０は、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子等を有する赤外線カメラであって、夜間において暗い施設内を撮像可能であり、有害動物（害獣、害鳥、害虫を含む）の出現する施設内を動画で撮像する。有害動物は、人が所有する財産物、或いは人を害する動物を含む。本実施形態では、有害動物としてねずみであるが、有害動物は、ねずみに限定するものではなく、他の動物であってもよい。

（実施形態の作用）
上記のように構成された画像処理装置１０の作用を図２、図３に従って説明する。
まず、原画像入力部２１は、カメラ４０から入力した２次元の動画像（デジタルデータ）を、インターフェイス１２を介して入力し、ノイズ除去等の前処理を行う。この動画像の撮像期間は、施設の用途、有害動物が出現すると期待される期間を含む。動画像のフレームレートは、例えば、２０〜３０ｆｐｓであるが、この値に限定されず、この範囲よりも多くても、少なくてもよい。

原画像記憶部３１は、画像処理前の画像及び処理途中の画像のデータを保存するためのものである。また、原画像入力部２１によって入力された原画像は原画像記憶部３１に保持される。ここで、原画像記憶部３１は、施設を長時間（例えば、少なくとも１日分の夜間を含む時間帯を含む）に亘って、動画像（原画像）を記憶する。

図２は、ＣＰＵ２０が、記憶部３０格納した画像処理プログラムに従って前記原画像記憶部３１に記憶された原画像に対して画像処理を行うフローチャートである。
（Ｓ１０）
Ｓ１０では、ＣＰＵ２０は原画像を取り込みして次フレームがあるか否かを判定し、なければ、このフローチャートにおける処理を省略する。

（Ｓ２０）
Ｓ１０において、次フレームがある場合は、Ｓ２０において、背景画像生成部２２は、原画像記憶部３１に記憶している原画像に基づいて背景画像を生成し、背景画像記憶部３２に格納する。

（Ｓ３０）
Ｓ３０では、差分画像生成部２３は、原画像記憶部３１に保持されている前処理が行われた原画像に基づいて差分画像を生成する。

本実施形態では、差分画像生成方法は、背景差分法を使用するが、この方法に限定するものではなく、フレーム間差分等の公知の方法でもよい。
背景差分法は、予めカメラ４０で、背景となる画像を複数撮像し、平均化処理して背景画像を用意しておき、そのときどきに入力される原画像と前記背景画像との差分を差分画像として得る方法である。この差分画像は、差分画像記憶部３３に格納される。

なお、フレーム間差分は、連続する３フレーム（撮像順にａ，ｂ，ｃフレームとする）の原画像のうち、時間軸で前の２つの画像（ａフレームとｂフレーム）間の差分画像Ａと、時間軸で後の２つの画像（ｂフレームとｃフレーム）間の差分画像Ｂを得た後、さらに差分画像Ａ，Ｂ間の差分画像Ｃを得る方法である。得られた差分画像Ｃを差分画像記憶部３３に格納すればよい。この場合は、背景画像を生成することがないため、Ｓ２０の処理を省略できる。

（Ｓ４０）
Ｓ４０では、２値化画像作成部２４は、差分画像記憶部３３に格納された差分画像を２値化処理して２値化画像を作成する。この２値化処理は、各画素の階調を所定の閾値と比較して、大小関係を判別することにより、画像毎の濃淡を２値で表わすものである。２値化画像は２値化画像記憶部３４に格納される。

（Ｓ５０）
Ｓ５０では、探索部２５は、２値化画像記憶部３４に格納された２値化画像を読み出して、動物（有害動物）に関するブロブの探索を行う。

（Ｓ６０）
Ｓ５０において、ブロブ探索の結果、ブロブがない場合は、Ｓ１０に戻り、ブロブがある場合は、Ｓ７０に移行する。

（Ｓ７０）
Ｓ７０では、探索部２５は、ブロブ解析を行う。ブロブ解析は、ブロブの大きさ、数、面積、位置、長さ、方向などの形状特徴の解析である。

（Ｓ８０）
Ｓ８０では、境界ボックス生成部２６は、探索部２５で得られた動物（有害動物）に関するブロブの大きさに応じて、当該動物に関するブロブに関連したフレームに対して、その動物のブロブを囲むように、境界ボックスを生成して付与する。境界ボックスは、ブロブの輪郭部分から、所定個数の画素分離間するように生成される。ブロブを囲む境界ボックスは、ブロブの形状に合わせて作成されるため、動物の位置（カメラ４０からの離間距離）、及び姿勢の変化に応じて、その形状も変化する。図３（ｂ）は、動物が撮像されたフレームイン画像において、動物Ｔの周囲に境界ボックスＤが付与された状態が図示されている。また、図４（ａ）は、実画像であって、動物（ネズミ）の周囲に枠状の境界ボックスが付与された状態が図示されている。なお、図４（ａ）では、説明の便宜上、出現部位マークＭ１は省略している。

なお、境界ボックスの大きさは、前記ブロブを囲む大きさでもよいが、その動物のブロブに重ねるようにしてもよい。ブロブを囲む大きさの場合は、その動物の全体が良好に見える効果がある。

（Ｓ９０）
Ｓ９０では、マーク付与部２７は、探索部２５のブロブ探索により、動物を探索（検出）できたフレーム（フレームイン画像のフレーム）と、動物を探索できなかった（検出できなかった）フレーム（非フレームイン画像のフレーム及びフレームアウト画像のフレーム）とを判別する。

そして、マーク付与部２７は、フレームイン画像のフレームであって、最初に動物が出現したフレームにおける侵入箇所（画素領域）の位置Ｐｉｎを記憶する。また、マーク付与部は、フレームイン画像のフレームにおいて、動物がフレームアウトしたフレームにおける退出箇所（画素領域）の位置Ｐｏｕｔを記憶する。

そして、マーク付与部２７は、動物を探索（検出）できたフレームイン画像のフレームよりも以前に接続される非フレームイン画像のフレーム、及びその非フレームイン画像に連続する所定の数のフレームに対し動物が最初に撮像されたフレームにおける動物の侵入箇所（画素領域）の位置Ｐｉｎに出現部位マークＭ１を付与する。図３（ａ）では、一点鎖線で示す出現部位マークＭ１が画像に付与されているところが示されている。また、図４（ｂ）には、侵入箇所に枠状のマークが付与された実画像の一例が示されている。

マーク付与部２７は、動物を探索できたフレームイン画像のフレームに接続される非フレームイン画像としてのフレームアウト画像のフレーム、及びフレームアウト画像に連続する所定の数のフレームに対して、動物が最後に撮像されたフレームイン画像のフレームにおける動物の退出箇所（画素領域）の位置Ｐｏｕｔに退出部位マークＭ２を付与する。図３（ｃ）には、二点鎖線で示す退出部位マークＭ２が画像に付与されているところが示されている。また、図４（ｃ）には、退出箇所に枠状のマークが付与された実画像の一例が示されている。

出現部位マークＭ１の形状は、最初のフレームイン画像のフレームに付与する境界ボックスＤの形状でもよく、その形状は限定するものではない。
また、退出部位マークＭ２の形状は、最後のフレームイン画像のフレームに付与する境界ボックスＤの形状でもよく、その形状は限定するものではない。また、出現部位マークＭ１と退出部位マークＭ２の形状は同一でもよいが、相互に違う形状にすると、出現箇所と退出箇所の識別がしやすくなる。

また、出現部位マークＭ１と退出部位マークＭ２は、同一色でもよいが、色が異なった場合は、形状が相違した場合と同様に出現箇所と退出箇所の識別がしやすくなる。
境界ボックスＤ及びマークが付与された連続フレームは、マーク・境界ボックス付与画像記憶部３５に格納される。この後、Ｓ１０に戻る。

上記のようにして、一連の動画像が処理された後、画像処理装置１０は、マーク・境界ボックス付与画像記憶部に格納された前記境界ボックス及びマークが付与された連続フレームのみを読み出して、ディスプレイ５０に表示する。この場合、ディスプレイ５０には、マーク及び境界ボックスが付与された画像のフレームが表示されることになる。

この場合、長時間分の原画像が撮像されている場合においても、ディスプレイ５０に表示される画像は、動物が出現しているフレームイン画像のフレーム群と、それらのフレーム群の前後に接続されてマークが付与された非フレームイン画像のフレーム及びフレームアウト画像のフレームである。このため、作業者は撮像されている全ての動画像を観察する必要がなくなる。

また、動物（有害動物）が侵入した箇所がマークされるため、この画像を観察する場合、前もって侵入箇所が分かっているため、観察者に動物（有害動物）が侵入する際の様子も注意して観察することが可能である。

また、動物（有害動物）が退出した箇所が、退出後もマークの表示が継続されるため、この画像を観察する場合、退出後における背景の様子も注意して観察することが可能である。

以上説明した本実施形態の評価方法によれば、以下の効果を奏することができる。
（１）本実施形態の画像処理装置１０では、動物を撮像した動画像の時間的な前後のフレームに基づいて、背景部分を除いた差分画像を作成する差分画像生成部２３と、前記差分画像に基づいて前記動物のフレームイン画像のフレームと、前記動物が出現していない非フレームイン画像のフレームとを探索する探索部２５として機能する。また、画像処理装置１０は、動物のフレームイン画像のフレームがあった場合、そのフレームイン画像のフレームよりも以前の前記動物の非フレームイン画像のフレームに対して、その動物の侵入箇所をマークするマーク付与部２７と、マークした非フレームイン画像のフレーム及びフレームイン画像のフレームを記憶する記憶部３０とを有する。

また、画像処理プログラムは、コンピュータであるＣＰＵ２０を上記各部として機能させる。
この結果、本実施形態は、施設における有害動物の侵入の撮像画像の観察において、有害動物が侵入していない時間が長時間に亘ることがあっても、観察時間を短くして、効率的にその侵入箇所を指摘することができる。

なお、撮像画像を取り溜めて、後で、ディスプレイに再生して有害動物の出現場所を確認したり、退出場所を確認する場合、有害動物が出現していない撮像画像が長時間連続してあった場合、有害動物が出現するまで観察を長時間継続する必要がある。このため、有害動物の観察記録である撮像画像を、後にディスプレイで観察する場合は無駄な時間を要する問題があった。

また、特許文献１では、ネズミ検出時と、そのネズミ検出時の前後に亘って連続撮影した撮影動画像データを抽出して格納することが行われている。このネズミ検出時の前の時間を、検出前抽出時間範囲とし、ネズミ検出の後の時間を検出後抽出時間範囲としている。しかし、この方法においては、観察者は、前記検出前抽出時間範囲中は、どこからねずみが出てくるのかが分からないため、その時間中は継続して観察する必要がある。

本実施形態によれば、動物が出現していない非フレームイン画像に侵入箇所（画素領域）の位置Ｐｉｎを示す出現部位マークＭ１が画像に付与されているため、そのマークが付与された範囲のみを、注視することにより、有害動物が出てきたときの挙動をより注意深く観察できることになる。

（２）本実施形態の画像処理装置１０では、マーク付与部２７は、動物のフレームイン画像が途絶えた後の非フレームイン画像のフレームに対して、当該動物のフレームアウトした箇所、すなわち、退出箇所をマークする。

また、画像処理プログラムは、コンピュータであるＣＰＵ２０を上記マーク付与部２７として機能させる。この結果、本実施形態によれば、有害動物がフレームアウトした退出箇所がマークされるため、その施設における有害動物の退出箇所を、注視して観察することができる。

（３）本実施形態の画像処理装置１０は、動物のフレームイン画像のフレームに対して、該動物を囲む境界ボックスＤを生成して付与する境界ボックス生成部２６を備える。また、画像処理プログラムは、コンピュータであるＣＰＵ２０を、境界ボックス生成部２６として機能させる。この結果、本実施形態によれば、マークが付与された侵入箇所から引き続いて有害動物を境界ボックスで囲むため、その有害動物の移動を、境界ボックスを注視することにより、侵入箇所からの有害動物の行動パターンをよりよく観察することができる。

なお、前記実施形態は、以下のように変更して実施することもできる。
・前記実施形態は、原画像入力部２１、差分画像生成部２３、２値化画像作成部２４、探索部２５、境界ボックス生成部２６、及びマーク付与部２７は、コンピュータのソフトウエアによって実現したが、電気回路の専用のハードウエアで実現してもよい。

・前記実施形態では、カメラ４０は、赤外線カメラを使用したが、昼間の明るい場所、または照明がされている場所では、赤外カメラに限定するものではなく、可視光で撮像するカメラであってもよい。

・前記実施形態において、境界ボックス生成部２６を省略してもよい。

１０…画像処理装置、１２…インターフェイス、２０…ＣＰＵ、
２１…原画像入力部、２２…差分画像生成部、
２３…差分画像生成部、２４…２値化画像作成部、
２５…探索部、２６…境界ボックス生成部、２７…マーク付与部、
３０…記憶部、３１…原画像記憶部、３２…背景画像記憶部、
３３…差分画像記憶部、３４…２値化画像記憶部、
３５…境界ボックス付与画像記憶部、４０…カメラ、５０…ディスプレイ、
Ｍ１…出現部位マーク、Ｍ２…退出部位マーク、Ｄ…境界ボックス、
Ｔ…動物、Ｐｉｎ…侵入箇所の位置、Ｐｏｕｔ…退出箇所の位置。

Claims (6)

1. 動物を撮像した動画像の時間的な前後のフレームに基づいて、背景部分を除いた差分画像を作成する差分画像生成部と、
   前記差分画像に基づいて前記動物のフレームイン画像のフレームと、前記動物が出現していない非フレームイン画像のフレームとを探索する探索部と、
   前記動物のフレームイン画像のフレームがあった場合、そのフレームイン画像のフレームよりも以前の前記動物の非フレームイン画像のフレームに対して、その動物の侵入箇所をマークするとともに前記動物のフレームイン画像が途絶えた後の非フレームイン画像のフレームに対して、当該動物のフレームアウトした箇所をマークするマーク付与部と、
   前記マークした非フレームイン画像のフレーム及び前記フレームイン画像のフレームを記憶する記憶部とを有する画像処理装置。
2. 前記マーク付与部は、前記侵入箇所のマークと、前記動物のフレームアウトした箇所のマークの形状または色が相互に異なるようにマークする請求項１に記載の画像処理装置。
3. 前記動物のフレームイン画像のフレームに対して、該動物を囲む境界ボックスを生成して付与する境界ボックス生成部を備える請求項１または請求項２に記載の画像処理装置。
4. コンピュータを、
   動物を撮像した動画像の時間的な前後のフレームに基づいて、背景部分を除いた差分画像を作成する差分画像生成部と、
   前記差分画像に基づいて前記動物のフレームイン画像のフレームと、前記動物が出現していない非フレームイン画像のフレームとを探索する探索部と、
   前記動物のフレームイン画像のフレームがあった場合、そのフレームイン画像のフレームよりも以前の前記動物の非フレームイン画像のフレームに対して、その動物の侵入箇所をマークするとともに前記動物のフレームイン画像が途絶えた後の非フレームイン画像のフレームに対して、当該動物のフレームアウトした箇所をマークするマーク付与部と、
   前記マークした非フレームイン画像のフレーム及び前記フレームイン画像のフレームを記憶する記憶部として、
   機能させる画像処理プログラム。
5. 前記マーク付与部は、前記侵入箇所のマークと、前記動物のフレームアウトした箇所のマークの形状または色が相互に異なるようにマークする請求項４に記載の画像処理プログラム。
6. 前記コンピュータを、さらに、前記動物のフレームイン画像のフレームに対して、該動物を囲む境界ボックスを生成して付与する境界ボックス生成部として機能させる請求項４または請求項５に記載の画像処理プログラム。