JP6429272B2 - 物体数計測装置、プログラムおよび物体数計測方法 - Google Patents

Description

この発明は、所定の物体の数を計測する物体数計測装置に関するものである。

従来、物体の数を計測する装置として、例えば魚数計測装置が提案されている（例えば特許文献１を参照）。

特許文献１の魚数計測装置は、魚の通過する所定範囲に超音波を発射し、得られたエコーの画像から魚数を計測するものである。

また、非特許文献１，２では、音響ビデオカメラで水中を撮影した画像データから、カルマンフィルタを用いて魚のエコーをトラッキングし、魚数を計測する手法が提案されている。

特許第２５８９０４６号公報

Jun Han, Naoto Honda, Akira Asada, and Koji Shibata「Automated AcousticMethod for Farmed Fish Counting and Sizingduring Its Transfer Using DIDSON」,Sixth InternationalSymposium on Underwater Technology UT2009, Wuxi, China, April 2009 Jun Han, Akira Asada, Masahiko Mizoguchi, 「DIDSON-basedAcoustic Counting Method for Juvenile Ayu Plecoglossus altivelis MigratingUpstream 」J.Marine Acoust. Soc. Jpn. Vol.36 No.4 Oct.2009, p.250-257

しかし、従来の手法では、例えば物体が移動して距離方向（深度方向）で重なると、遠方側の物体を認識することができなくなる。

そこで、この発明は、物体が移動して距離方向で重なることがある場合であってもそれぞれの物体を認識して、計測精度を向上させる物体数計測装置、プログラムおよび物体数計測方法を提供することを目的とする。

本発明の物体数計測装置は、所定のタイミング毎に画像データを取得する画像取得部と、前記画像取得部で取得した画像データに含まれている物体を認識する認識部と、前記認識部で認識された物体を追尾する追尾部と、前記追尾部で追尾中の物体を時間方向に遡って逆追尾する逆追尾部と、前記追尾部による追尾結果と前記逆追尾部による逆追尾結果とに基づいて、前記画像取得部で取得した画像データに含まれている前記物体の数を計測する計測部とを備えている。

このように、本発明の物体数計測装置は、画像データに含まれている各物体を追尾する。このとき、物体数計測装置は、追尾中の物体を時間方向に遡って逆追尾する。そして、物体数計測装置は、追尾部による追尾結果に加えて、逆追尾部による逆追尾結果を加味しながら、物体の数を計測する。したがって、本発明の物体数計測装置は、あるタイミングで複数の物体が距離方向で重なり、物体が１つしか認識できないタイミングが存在したとしても、各物体が個別に逆追尾されていれば、それぞれ個別の物体として認識することが可能になる。また、あるタイミングでノイズ等を物体として誤認識した場合であっても、当該物体が逆追尾されていたか否かを確認することにより、認識精度を向上させることができる。

上記構成において、前記追尾部は、前記認識部で認識された各物体のベクトルを演算して位置変化を推定する推定部を含んでいる。前記推定部は、今回のタイミングにおいて取得した画像データで認識された物体と、前回のタイミングで演算したベクトルと、に基づいて今回のタイミングにおけるベクトルを演算する。また、前記逆追尾部は、前記推定部で演算した各物体のベクトルに基づいて、前回のタイミングにおける各物体の位置を逆推定する逆推定部と、前記逆推定部が逆推定した位置に、前回のタイミングで前記認識部により物体が認識されていたか否かを確認する確認部と、を含んでいる。さらに、前記計測部は、前記確認部により前回のタイミングで前記認識部により物体が認識されていたと確認された物体の数を計測することを特徴とする。

この物体数計測装置は、例えばカルマンフィルタ等を用いて物体のベクトルを演算し、各物体の位置変化を予測する。このとき、物体数計測装置は、演算したベクトルから前回のタイミングにおける物体の位置を逆推定する。そして、物体数計測装置は、前回のタイミングで取得した画像データにおいて、逆推定した位置に物体が認識されていた場合に、当該物体の数を計測する。したがって、本発明の物体数計測装置は、あるタイミングで複数の物体が距離方向で重なり、物体が１つしか認識できないタイミングが存在したとしても、前回のタイミングで各物体が個別に認識されていれば、それぞれ個別の物体として認識することが可能になる。また、あるタイミングでノイズ等を物体として誤認識した場合であっても、前回のタイミングで逆推定した位置に当該物体が認識されていたか否かを確認することにより、認識精度を向上させることができる。

なお、認識部は、前記推定部が推定した位置を含む所定領域内の物体を認識することが好ましい。

計測対象が例えば魚（例えばマグロ）であり、生簀内の魚の数を計測する場合において、認識部は、一般的なマグロの遊泳速度を想定して、所定領域を設定する。認識部は、この所定領域内の物体を認識することで、画像データ内の全画像を認識する必要がなくなり、計算量を低減することができる。

また、確認部は、誤差等を考慮して前記逆推定部が逆推定した位置を含む所定領域内に物体が認識されていたか否かを確認する態様としてもよい。

前記逆推定部は、前記推定部で演算した各物体のベクトルの逆ベクトルに基づいて、前回のタイミングにおける物体の位置を逆推定することが好ましい。

また、画像取得部は、複数のセンサからなり、前記計測部は、それぞれのセンサで取得した画像データについて物体の数を計測することが好ましい。

また、画像取得部は、ソナー等の音響探知装置であってもよいが、光学式のカメラであってもよい。特に、カメラである場合、距離方向の分解能が低く、水質（透明度）または照度等の影響が大きくなるため、本願発明の構成を用いることには好適である。

また、前記物体は、魚であることが好ましい。例えば、生簀内に存在する養殖魚等の数を管理する場合に、本願発明の構成を用いることは好適である。

また、前記計測部は、計測した前記物体の数をスムージング処理することが好ましい。

また、この物体数計測装置は、前記画像データの取得時の外部環境を検出する外部環境検出部と、前記外部環境検出部で検出された検出結果に応じて、前記計測部で計測した前記物体の数に関する信頼度を表示する表示部と、をさらに備えていることが好ましい。

また、この物体数計測装置は、前記画像データの取得時の外部環境を検出する外部環境検出部をさらに備え、前記認識部、前記追尾部、前記逆追尾部および前記計測部の少なくとも一つの処理内容が、前記外部環境検出部で検出された検出結果に応じて変更されうるように構成されていることが好ましい。

本発明のプログラムは、所定のタイミング毎に画像データを取得する画像取得ステップと、前記画像取得ステップで取得した画像データに含まれている物体を認識する認識ステップと、前記認識ステップで認識された物体を追尾する追尾ステップと、前記追尾ステップで追尾中の物体を時間方向に遡って逆追尾する逆追尾ステップと、前記追尾ステップによる追尾結果と前記逆追尾ステップによる逆追尾結果とに基づいて、前記画像取得ステップで取得した画像データに含まれている前記物体の数を計測する計測ステップとを、情報処理装置に実行させることを特徴とする。

このプログラムにおいて、前記追尾ステップは、前記認識ステップで認識された各物体のベクトルを演算して位置変化を推定する推定ステップ含み、前記推定ステップは、今回のタイミングにおいて取得した画像データで認識された物体と、前回のタイミングで演算したベクトルと、に基づいて今回のタイミングにおけるベクトルを演算し、前記逆追尾ステップは、前記推定ステップで演算した各物体のベクトルに基づいて、前回のタイミングにおける各物体の位置を逆推定する逆推定ステップと、前記逆推定ステップで逆推定した位置に、前回のタイミングで前記認識ステップにより物体が認識されていたか否かを確認する確認ステップと、を含み、前記計測ステップは、前記確認ステップにより前回のタイミングで前記認識ステップにより物体が認識されていたと確認された物体の数を計測することが好ましい。

本発明の物体数計測方法は、所定のタイミング毎に画像データを取得する画像取得ステップと、前記画像取得ステップで取得した画像データに含まれている物体を認識する認識ステップと、前記認識ステップで認識された物体を追尾する追尾ステップと、前記追尾ステップで追尾中の物体を時間方向に遡って逆追尾する逆追尾ステップと、前記追尾ステップによる追尾結果と前記逆追尾ステップによる逆追尾結果とに基づいて、前記画像取得ステップで取得した画像データに含まれている前記物体の数を計測する計測ステップとを備えたことを特徴とする。

この物体数計測方法において、前記追尾ステップは、前記認識ステップで認識された各物体のベクトルを演算して位置変化を推定する推定ステップ、を含み、前記推定ステップは、今回のタイミングにおいて取得した画像データで認識された物体と、前回のタイミングで演算したベクトルと、に基づいて今回のタイミングにおけるベクトルを演算し、前記逆追尾ステップは、前記推定ステップで演算した各物体のベクトルに基づいて、前回のタイミングにおける各物体の位置を逆推定する逆推定ステップと、前記逆推定ステップで逆推定した位置に、前回のタイミングで前記認識ステップにより物体が認識されていたか否かを確認する確認ステップと、を含み、前記計測ステップは、前記確認ステップにより前回のタイミングで前記認識ステップにより物体が認識されていたと確認された物体の数を計測することが好ましい。

この発明によれば、物体が移動して距離方向で重なることがある場合であってもそれぞれの物体を認識して、計測精度を向上させることができる。

図１（Ａ）は、生簀１０１を側面から見た模式図であり、図１（Ｂ）は、カメラ２１で撮影した画像データ１０５を示す模式図である。 図２（Ａ）は、物体数計測装置１の構成を示すブロック図であり、図２（Ｂ）は、信号処理部１３の機能的ブロック図である。 物体数計測装置１の動作を示すフローチャートである。 各物体の位置変化を示す図である。 各物体の位置変化を示す図である。 各物体の軌跡を示す図である。 図７（Ａ）は、複数カメラを用いる場合の構成例を示すブロック図であり、図７（Ｂ）は、複数カメラを用いる場合の各カメラの設置状態を示す模式図である。 ソナーを用いて生簀１０１を探知する場合の例を示す図である。

本発明の物体数計測装置について、図面を参照して説明する。図１（Ａ）は、生簀１０１を側面から見た模式図であり、図１（Ｂ）は、カメラ２１で取得した画像データ１０５を示す模式図である。図２（Ａ）は、物体数計測装置１の構成を示すブロック図である。図３は、物体数計測装置１の動作を示すフローチャートである。

本実施形態に係る物体数計測装置１は、画像取得装置（本実施形態では光学式のカメラ）２１で取得した画像データ１０５から、生簀１０１内に存在する魚の数を計測するものである。カメラ２１は、生簀１０１の下部に設置されている。またカメラ２１は、生簀１０１を平面視した時の中心付近に設置されている。これにより、カメラ２１は、生簀１０１を平面視した全体を撮影する。ただし、カメラ２１の設置位置はこの例に限らず、例えば上部から撮影してもよいし、側面から撮影してもよい。

カメラ２１で取得された画像データは、物体数計測装置１に入力される。図２（Ａ）に示すように、物体数計測装置１は、操作部１０、制御部１１、入力部１２、信号処理部１３、出力部１４、および記憶部１５を備えている。物体数計測装置１は、一般的な情報処理装置（例えばパーソナルコンピュータ）により実現される。

制御部１１は、ＣＰＵを含み、記憶部１５に記憶されているプログラムを読み出して、物体数計測装置１を統括的に制御する。操作部１０は、利用者の操作を受け付けるユーザインタフェースである。入力部（特許請求の範囲の「画像取得部」に相当）１２は、カメラ２１と接続され、所定のタイミング毎にカメラ２１から画像データを取得する。入力部１２で取得された画像データは、信号処理部１３に入力される。

信号処理部１３は、例えばＤＳＰを含み、各種の画像処理を行う。図２（Ｂ）は、信号処理部１３の機能ブロック図である。信号処理部１３は、機能的に認識部１３１、追尾部１３２（推定部１３２Ａ）、逆追尾部１３３（逆推定部１３３Ａ、確認部１３３Ｂ）、および計測部１３４を備えている。なお、信号処理部１３は、ハードウェアとして設ける必要はなく、制御部１１によるソフトウェア（プログラム）により実現される態様としてもよい。このプログラムは、例えば記憶部１５（あるいは、記憶部１５以外の他の記憶媒体）に記憶されている。このプログラムには、後述するような、画像取得ステップ、認識ステップ、追尾ステップ、逆追尾ステップ、および計測ステップが含まれている。

図３のフローチャートを参照しながら、信号処理部１３の動作について説明する。まず、カメラ２１において生簀１０１内が撮影され（ｓ１１）、カメラ２１で取得された画像データが信号処理部１３に入力される（ｓ１２：画像取得ステップ）。

信号処理部１３における認識部１３１は、入力された画像データから、所定の物体を認識する（ｓ１３：認識ステップ）。

この実施形態では、図１（Ａ）および図１（Ｂ）で示したように、魚（例えばマグロ）の画像を認識する。画像認識の手法は、どのような手法であってもよいが、例えば輝度分布に基づくマスク画像（粒子画像）との比較により魚の画像を認識する手法で行う。

認識部１３１は、予め用意したマスク画像データとの相関処理を行い、対象とする魚の画像に対応する粒子画像を抽出する。粒子画像は、中心位置において最も輝度が高く、中心から離れるにしたがって急激に輝度が低下する輝度分布を有する。すなわち、粒子画像は、２次元正規分布に近い輝度分布であるため、マスク画像データは、例えば２次関数によって表される。この２次関数は、固定であってもよいが、実際の画像データにおける粒子画像に近づくように、最小自乗法等を用いて更新するようにしてもよい。特に、生簀１０１が大きく、生簀１０１内の魚数が膨大である場合、各魚の画像は粒子画像とほぼ同様の輝度分布を示すため、マスク画像データとの相関処理を行い、当該マスク画像データを更新する手法が好適である。

次に、追尾部１３２は認識部１３１で認識された物体を追尾する（追尾ステップ）。

より具体的には、追尾部１３２の推定部１３２Ａは、認識部１３１で認識された各物体（魚）についてベクトルの演算を行う（ｓ１４：推定ステップ）。ベクトルの演算はどの様な手法であってもよいが、例えばカルマンフィルタによる位置変化の推定手法を用いる。カルマンフィルタでは、現在入力された画像データにおける各物体の位置と、前回推定したベクトルと、に基づいて、ベクトルを更新することで、次のタイミングにおける物体の位置を予測する。

例えば、図４（Ａ）に示すように、物体Ｐおよび物体Ｑが、時刻ｔにおいてそれぞれ位置Ｐｉ（ｔ）および位置Ｑｉ（ｔ）で認識されていた場合において、それぞれベクトルＶｐ（ｔ）およびベクトルＶｑ（ｔ）が算出されていたとする。ここで、図４（Ｂ）に示すように各物体が時刻ｔ＋Δｔにおいてそれぞれ位置Ｐｉ（ｔ＋Δｔ）および位置Ｑｉ（ｔ＋Δｔ）で認識されると、推定部１３２Ａは、前回のタイミングで予測された物体の位置と、今回のタイミングで認識された物体の位置との差分を求め、当該差分に所定のゲインを乗算する。そして、乗算後の値を誤差成分として前回のタイミングで演算したベクトル（Ｖｐ（ｔ）およびＶｑ（ｔ））を補正する。これにより、図４（Ｃ）に示すように、今回のタイミングにおけるベクトルＶｐ（ｔ＋Δｔ）およびベクトルＶｑ（ｔ＋Δｔ）を演算して、次のタイミングにおける物体の位置を予測する。なお、前回のタイミングで演算したベクトル（Ｖｐ（ｔ）およびＶｑ（ｔ））の補正については、これに限定されるものではなく、他の様々な補正手法が適用されてもよい。

なお、認識部１３１は、推定部１３２Ａが予測した位置を中心とする所定範囲内についてのみ当該物体を認識する動作を行うことが好ましい。例えば、物体Ｐについては、位置Ｐｉ（ｔ＋Δｔ）およびベクトルＶｐ（ｔ＋Δｔ）で予測される位置を中心として半径ｐ１内に存在する物体Ｐを探索する。なお、探索領域となる半径の大きさは、計測対象が魚（例えばマグロ）である場合、一般的なマグロの遊泳速度を想定して設定される。これにより、画像データ内の全画像について物体を認識する必要がなくなり、計算量を低減することができる。

次に、逆追尾部１３３は追尾部１３２で追尾中の物体を時間方向に遡って逆追尾する（逆追尾ステップ）。

より具体的には、逆追尾部１３３の逆推定部１３３Ａは、推定部１３２Ａで求められたベクトルに基づいて、前回のタイミングにおける物体の位置を逆推定する（ｓ１５：逆推定ステップ）。例えば、図４（Ｄ）に示すように、逆推定部１３３Ａは、物体Ｐについて、位置Ｐｉ（ｔ＋Δｔ）からベクトルＶ’ｐ（ｔ＋Δｔ）で求められる位置Ｐ’ｉ（ｔ）に存在したものと逆推定する。同様に、逆推定部１３３Ａは、物体Ｑについて、位置Ｑｉ（ｔ＋Δｔ）からベクトルＶ’ｑ（ｔ＋Δｔ）で求められる位置Ｑ’ｉ（ｔ）に存在したものと逆推定する。ここで、ベクトルＶ’ｐ（ｔ＋Δｔ）はベクトルＶｐ（ｔ＋Δｔ）の逆ベクトルであり、ベクトルＶ’ｑ（ｔ＋Δｔ）はベクトルＶｑ（ｔ＋Δｔ）の逆ベクトルである。

そして、逆追尾部１３３の確認部１３３Ｂは、逆推定部１３３Ａで逆推定された位置において、実際に前回のタイミングで当該物体が認識されていたか否かを確認する（ｓ１６：確認ステップ）。なお、前回のタイミングにおける各物体の位置に関する情報は、記憶部１５に一時記憶しておく。

確認部１３３Ｂは、逆推定部１３３Ａで逆推定した位置に前回のタイミングで物体が認識されていない場合には、当該物体についてはノイズ等であると判断して認識結果から除外（解除）し（ｓ１７）、逆推定した位置に前回のタイミングで物体が認識されていた場合には、当該物体（魚画像）を確定させる（ｓ１８）。

例えば、図４（Ｄ）に示すように、物体Ｐについては、逆推定した位置Ｐ’ｉ（ｔ）と、前回のタイミングで認識した物体の位置Ｐｉ（ｔ）がほぼ一致するため、当該物体Ｐは魚画像として確定し、物体Ｑについては、逆推定した位置Ｑ’ｉ（ｔ）と、前回のタイミングで認識した物体の位置Ｑｉ（ｔ）が一致しないため、ノイズ等と判断して、認識結果から除外する。

なお、確認部１３３Ｂは、誤差等を考慮して、逆推定部１３３Ａで逆推定した位置を含む所定領域内に物体が認識されていたか否かを確認する態様としてもよい。すなわち、確認部１３３Ｂは、逆推定部１３３Ａで逆推定した位置を含む所定領域内に物体が認識されていた場合には、当該物体を確定する。

その後、確認部１３３Ｂは、認識部１３１で認識された全ての物体について処理が完了したか否かを確認する（ｓ１９）。未処理の物体が存在する場合には、物体数計測装置１は、以上の処理（ｓ１４〜ｓ１８の処理）を繰り返す。

全ての物体について、処理が完了した場合には、計測部１３４は、確定した物体（魚画像）の数を計測する（ｓ２０：計測ステップ）。このようにして、物体数計測装置１は、カメラ２１で取得した画像データ１０５から、生簀１０１内に存在する魚数を計測する。

計測結果は、制御部１１に出力される。制御部１１は、計測された物体数（魚数）の結果を表示するための画像データを生成し、該生成した画像データを出力部１４を介して表示装置３１に出力する。これにより、表示装置（特許請求の範囲の「表示部」に相当）３１に計測結果が表示される。

このようにして、物体数計測装置１は、追尾部１３２による追尾結果と逆追尾部１３３による逆追尾結果とに基づいて、より具体的には、カルマンフィルタ等により予測される各物体の位置変化から、前回のタイミングにおける各物体の位置を逆推定して、前回のタイミングにおいて実際に各物体が認識されていたかどうかを確認することで、従来よりも物体の認識精度を向上させて、計測精度を向上させることができる。

また、カメラ２１で取得する画像データは、生簀１０１を平面視した画像であるため、魚が距離方向（深度方向）で重なった場合に、遠方側の魚の画像を認識できない場合がある。特に、生簀１０１が大きく、生簀１０１内の魚数が膨大である場合、魚が深度方向で重なる頻度が高くなる。しかし、物体数計測装置１は、複数の魚が深度方向で重なり、１つの魚しか認識できないタイミングが存在したとしても、前回のタイミングで各魚の画像が個別に認識されていれば、それぞれ個別の魚であると認識することができる。

例えば、図５（Ａ）に示すように、物体Ｐおよび物体Ｑが、時刻ｔにおいてそれぞれ位置Ｐｉ（ｔ）および位置Ｑｉ（ｔ）で認識されていたとする。ここで、図５（Ｂ）に示すように各物体がそれぞれ時刻ｔ＋Δｔにおいて重なる場合、各物体の画像は、同じ位置Ｐｉ（ｔ＋Δｔ）（または位置Ｑｉ（ｔ＋Δｔ））で認識される。

この場合においても、図５（Ｂ）に示すように、推定部１３２Ａは、前回のタイミングで演算したベクトルを用いて、新たなベクトルを演算して、次のタイミングにおける物体の位置を予測する。また、図５（Ｃ）に示すように、逆推定部１３３Ａは、推定部１３２Ａで演算したベクトルに基づいて、前回のタイミングにおける物体Ｐおよび物体Ｑの位置を逆推定する。その結果、逆推定した位置Ｐ’ｉ（ｔ）およびＱ’ｉ（ｔ）と、前回のタイミングで認識した物体の位置Ｐｉ（ｔ）およびＱｉ（ｔ）との位置がほぼ一致した場合に、確認部１３３Ｂは、位置Ｐｉ（ｔ＋Δｔ）（または位置Ｑｉ（ｔ＋Δｔ））で認識されている物体を、別個の物体Ｐおよび物体Ｑとして確定する。したがって、計測部１３４では、物体Ｐおよび物体Ｑの数をそれぞれ計測することができる。

このように、物体数計測装置１は、複数の物体が深度方向で重なるタイミングが存在したとしても、それぞれ個別の物体として認識することが可能になる。したがって、生簀における魚数が膨大となった場合であっても、これら魚数を正確に計測することができる。

また、本実施形態の手法を用いることで、物体数を計測するだけでなく、図６に示すように、各物体の軌跡を算出することもできる。生簀のような閉空間に多数の物体が存在する場合には、深度方向で複数の物体が重なるタイミングが多くなり、従来の手法では物体の認識が途切れ、追尾することができなくなる場合が多くなり、軌跡を算出することが困難であったが、本実施形態で示した手法を用いることで、深度方向で複数の物体が重なったとしても追尾を継続することができるため、軌跡を算出することが可能となる。

次に、図７（Ａ）は、複数カメラを用いる場合の構成例を示すブロック図であり、図７（Ｂ）は、複数カメラを用いる場合の各カメラの設置状態を示す模式図である。

この例では、複数のカメラ（カメラ２１Ａ、カメラ２１Ｂ、およびカメラ２１Ｃ）を設置して、複数の視点から生簀１０１内の物体（魚）を撮影するものである。各カメラには、同期装置８１が接続されている。この同期装置８１により各カメラ２１Ａ〜２１Ｃの画像データの出力タイミングが同期されている。入力部１２は、これら同期された複数の画像データが入力される。

信号処理部１３は、複数の画像データのそれぞれについて、物体の認識および物体数の計測を行う。これにより、複数の視点から物体数を計測することができ、より高精度に物体数を計測することができる。

なお、本実施形態では、画像取得部の一例として光学式のカメラを示したが、画像を取得するセンサとしては、他にもソナー等の音響探知装置を用いることも可能である。例えば、図８（Ｂ）に示すように生簀１０１の上部にソナー５１を設置し、図８（Ａ）に示すように、ソナー５１で取得したエコー画像のデータを入力部１２に入力する。これにより、信号処理部１３は、カメラを用いる場合と同様に、複数の画像データのそれぞれについて、物体の認識および物体数の計測を行うこともできる。

なお、本実施形態では、追尾部１３２は、カルマンフィルタを用いた物体の追尾を行っていたが、これに限定されるものではなく、他のフィルタや他の追尾手法を用いて、物体を追尾するための追尾ベクトルを生成して、物体の追尾を行ってもよい。なお、この場合、逆追尾部１３３は、この追尾ベクトルの逆ベクトルに基づいて、物体を逆追尾することは言うまでもない。

また、本実施形態では、逆追尾部１３３は、２つの画像データの逆追尾を行っていたが、これ以上の画像データの逆追尾を行うように構成されてもよい。この構成により、連続する所定数の画像データにおいて物体が重なっている場合にも、所定数以上の画像データの逆追尾を行うことで、重なった物体を個別に認識することが可能となる。

なお、本実施形態では、計測部１３４は、計測した物体の数をスムージング処理することも可能である。計測部１３４は、例えば、所定数（例えば１０個）の連続する画像データ毎に、計測した物体の数を平均化処理することで、物体の数を安定的に計測することが可能となる。

なお、本実施形態では、物体数計測装置１は、画像データの取得時の外部環境を検出する外部環境検出部をさらに備えた構成とすることもできる。

例えば、外部環境検出部を光量検出センサとし、この外部環境検出部（光量検出センサ）で検出された検出結果（例えば、昼間等の明るい状態と夜間等の暗い状態と）に応じて、計測部１３４で計測した物体の数に関する信頼指標（例えば、明るい状態では信頼度９５％、明るい状態では信頼度８５％等）が算出され、該算出された信頼指標が表示装置３１に表示されるように、物体数計測装置１を構成することもできる。

この構成によれば、算出された信頼指標により、計測された物体の数に対する信頼性を利用者が知ることができる点で、非常に有益となる。

また、例えば、外部環境検出部を水中の透明度等を検出する水質検出センサとし、認識部１３１、追尾部１３２、逆追尾部１３３および計測部１３４の少なくとも一つの処理内容が、外部環境検出部（水質検出センサ）で検出された検出結果に応じて変更されうるよう（例えば、水中の透明度が低い状態では、透明度が高い状態の場合と比べて、認識部１３１等の認識感度を上げたり認識処理手法が変更されたりする等して）、物体数計測装置１を構成することもできる。

１…物体数計測装置
１０…操作部
１１…制御部
１２…入力部
１３…信号処理部
１４…出力部
２１，２１Ａ，２１Ｂ，２１Ｃ…カメラ
３１…表示装置
５１…ソナー
８１…同期装置
１０１…生簀
１０５…画像データ
１３１…認識部
１３２…追尾部
１３２Ａ…推定部
１３３…逆追尾部
１３３Ａ…逆推定部
１３３Ｂ…確認部
１３４…計測部

Claims (16)

1. 所定のタイミング毎に画像データを取得する画像取得部と、
   前記画像取得部で取得した画像データに含まれている物体を認識する認識部と、
   前記認識部で認識された物体を追尾する追尾部と、
   前記追尾部で追尾中の物体を時間方向に遡って逆追尾する逆追尾部と、
   前記追尾部による追尾結果と前記逆追尾部による逆追尾結果とに基づいて、前記画像取得部で取得した画像データに含まれている前記物体の数を計測する計測部と
   を備えたことを特徴とする物体数計測装置。
2. 請求項１に記載の物体数計測装置において、
   前記追尾部は、
   前記認識部で認識された各物体のベクトルを演算して位置変化を推定する推定部を含み、
   前記推定部は、
   今回のタイミングにおいて取得した画像データで認識された物体と、前回のタイミングで演算したベクトルと、に基づいて今回のタイミングにおけるベクトルを演算し、
   前記逆追尾部は、
   前記推定部で演算した各物体のベクトルに基づいて、前回のタイミングにおける各物体の位置を逆推定する逆推定部と、
   前記逆推定部が逆推定した位置に、前回のタイミングで前記認識部により物体が認識されていたか否かを確認する確認部と、を含み、
   前記計測部は、
   前記確認部により前回のタイミングで前記認識部により物体が認識されていたと確認された物体の数を計測することを特徴とする物体数計測装置。
3. 請求項２に記載の物体数計測装置において、
   前記逆推定部は、前記推定部で演算した各物体のベクトルの逆ベクトルに基づいて、前回タイミングにおける物体の位置を逆推定することを特徴とする物体数計測装置。
4. 請求項２または請求項３に記載の物体数計測装置において、
   前記認識部は、前記推定部が推定した位置を含む所定領域内の物体を認識することを特徴とする物体数計測装置。
5. 請求項２乃至請求項４のいずれかに記載の物体数計測装置において、
   前記確認部は、前記逆推定部が逆推定した位置を含む所定領域内に物体が認識されていたか否かを確認する物体数計測装置。
6. 請求項１乃至請求項５のいずれかに記載の物体数計測装置において、
   前記画像取得部は、複数のセンサからなり、
   前記計測部は、それぞれのセンサで取得した画像データについて物体の数を計測することを特徴とする物体数計測装置。
7. 請求項１乃至請求項６のいずれかに記載の物体数計測装置において、
   前記画像取得部は、光学カメラを含むことを特徴とする物体数計測装置。
8. 請求項１乃至請求項７のいずれかに記載の物体数計測装置において、
   前記物体は、魚であることを特徴とする物体数計測装置。
9. 請求項１乃至請求項８のいずれかに記載の物体数計測装置において、
   前記計測部は、計測した前記物体の数をスムージング処理することを特徴とする物体数計測装置。
10. 請求項１乃至請求項９のいずれかに記載の物体数計測装置において、
    前記画像データの取得時の外部環境を検出する外部環境検出部と、
    前記外部環境検出部で検出された検出結果に応じて、前記計測部で計測した前記物体の数に関する信頼度を表示する表示部と、
    をさらに備えたことを特徴とする物体数計測装置。
11. 請求項１乃至請求項９のいずれかに記載の物体数計測装置において、
    前記画像データの取得時の外部環境を検出する外部環境検出部をさらに備え、
    前記認識部、前記追尾部、前記逆追尾部および前記計測部の少なくとも一つの処理内容が、前記外部環境検出部で検出された検出結果に応じて変更されうるように構成されていることを特徴とする物体数計測装置。
12. 請求項１１に記載の物体数計測装置において、
    前記外部環境検出部で検出された検出結果に応じて、前記計測部で計測した前記物体の数に関する信頼度を表示する表示部をさらに備えたことを特徴とする物体数計測装置。
13. 所定のタイミング毎に画像データを取得する画像取得ステップと、
    前記画像取得ステップで取得した画像データに含まれている物体を認識する認識ステップと、
    前記認識ステップで認識された物体を追尾する追尾ステップと、
    前記追尾ステップで追尾中の物体を時間方向に遡って逆追尾する逆追尾ステップと、
    前記追尾ステップによる追尾結果と前記逆追尾ステップによる逆追尾結果とに基づいて、前記画像取得ステップで取得した画像データに含まれている前記物体の数を計測する計測ステップと
    を、情報処理装置に実行させることを特徴とするプログラム。
14. 請求項１３に記載のプログラムにおいて、
    前記追尾ステップは、
    前記認識ステップで認識された各物体のベクトルを演算して位置変化を推定する推定ステップを含み、
    前記推定ステップは、
    今回のタイミングにおいて取得した画像データで認識された物体と、前回のタイミングで演算したベクトルと、に基づいて今回のタイミングにおけるベクトルを演算し、
    前記逆追尾ステップは、
    前記推定ステップで演算した各物体のベクトルに基づいて、前回のタイミングにおける各物体の位置を逆推定する逆推定ステップと、
    前記逆推定ステップで逆推定した位置に、前回のタイミングで前記認識ステップにより物体が認識されていたか否かを確認する確認ステップと、を含み、
    前記計測ステップは、
    前記確認ステップにより前回のタイミングで前記認識ステップにより物体が認識されていたと確認された物体の数を計測することを特徴とするプログラム。
15. 所定のタイミング毎に画像データを取得する画像取得ステップと、
    前記画像取得ステップで取得した画像データに含まれている物体を認識する認識ステップと、
    前記認識ステップで認識された物体を追尾する追尾ステップと、
    前記追尾ステップで追尾中の物体を時間方向に遡って逆追尾する逆追尾ステップと、
    前記追尾ステップによる追尾結果と前記逆追尾ステップによる逆追尾結果とに基づいて、前記画像取得ステップで取得した画像データに含まれている前記物体の数を計測する計測ステップと
    を備えたことを特徴とする物体数計測方法。
16. 請求項１５に記載の物体数計測方法において、
    前記追尾ステップは、
    前記認識ステップで認識された各物体のベクトルを演算して位置変化を推定する推定ステップを含み、
    前記推定ステップは、
    今回のタイミングにおいて取得した画像データで認識された物体と、前回のタイミングで演算したベクトルと、に基づいて今回のタイミングにおけるベクトルを演算し、
    前記逆追尾ステップは、
    前記推定ステップで演算した各物体のベクトルに基づいて、前回のタイミングにおける各物体の位置を逆推定する逆推定ステップと、
    前記逆推定ステップで逆推定した位置に、前回のタイミングで前記認識ステップにより物体が認識されていたか否かを確認する確認ステップと、を含み、
    前記計測ステップは、
    前記確認ステップにより前回のタイミングで前記認識ステップにより物体が認識されていたと確認された物体の数を計測することを特徴とする物体数計測方法。

Images