JP7287430B2 - 魚検出装置、魚検出方法及びプログラム - Google Patents

Description

本開示は、魚を検出する技術に関する。

近年、海洋資源の持続的な利用のため、魚の養殖のための技術開発が盛んとなっている。養殖における魚の管理ためには、魚のサイズ及び数を正確に把握することが求められる。

特許文献１には、一対のステレオカメラによって撮像された右画像及び左画像において魚の検出及び追跡を行うシステムが記載されている。このシステムは、検出された魚のキーポイントに基づいて生成した魚の３次元モデルから、魚のサイズおよび形状の推定値を推定し、魚の予想重量を決定する。

特許文献２には、水中生物の撮影画像と撮影画像に映る水中生物の形状特徴を示す特徴点とに基づく機械学習によって得られた学習データに基づいて、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴推定装置が記載されている。

特表２０２１－５１０８６１号公報 国際公開第２０１９／１９８６１１号

特許文献１及び２の技術は、画像に映っている魚が検出される。従って、魚が、例えば他の魚などの遮蔽物によって遮蔽されると、遮蔽されている魚の位置の情報を得ることはできない。

本開示の目的の１つは、魚が遮蔽されうる環境であっても、魚の位置を把握し得る魚検出装置などを提供することである。

本開示の一態様に係る魚検出装置は、複数の動画像の各々から魚の特徴点を抽出する抽出手段と、前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する追跡手段と、前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定する推定手段と、を備え、前記追跡手段は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する。

本開示の一態様に係る魚検出方法は、複数の動画像の各々から魚の特徴点を抽出し、前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡し、前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定し、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する。

本開示の一態様に係るプログラムは、複数の動画像の各々から魚の特徴点を抽出する抽出処理と、前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する追跡処理と、前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定する推定処理と、をコンピュータに実行させ、前記追跡処理は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する。

本開示には、魚が遮蔽されうる環境であっても、魚の位置を把握し得るという効果がある。

図１は、本開示の第１の実施形態に係る魚検出装置の構成の例を表すブロック図である。 図２は、本開示の第１の実施形態に係る魚検出装置の動作の例を表すフローチャートである。 図３は、本開示の第２の実施形態に係る魚検出システム１の構成の例を表すブロック図である。 図４は、本開示の第２の実施形態に係る魚検出装置の動作の例を表すフローチャートである。 図５は、本開示の実施形態に係る魚検出装置の各々を実現することができる、コンピュータのハードウェア構成の一例を表す図である。

次に、本開示の実施形態について詳細に説明する。

＜第１の実施形態＞
まず、本開示の第１の実施形態について、図面を使用して詳細に説明する。

＜構成＞
図１は、本開示の第１の実施形態に係る魚検出装置の構成の例を表すブロック図である。図１に示す例では、魚検出装置１０は、抽出部１２０と、追跡部１３０と、推定部１４０と、を含む。抽出部１２０は、複数の動画像の各々から魚の特徴点（以下、魚特徴点とも表記）を抽出する。追跡部１３０は、前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する。推定部１４０は、前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を推定する。具体的には、推定部１４０は、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて、検出されなかった特徴点を推定する。そして、追跡部１３０は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する。なお、動画像は、時間順の静止画像の集合とみなせる。上述のフレームは、動画像に含まれる静止画像を意味する。本開示の動画像のデータの形式は、時間順の静止画像の集合に変換可能な既存の様々な形式の動画像のデータのいずれかであってよい。

＜動作＞
図２は、本開示の第１の実施形態に係る魚検出装置の動作の例を表すフローチャートである。図２に示す例では、まず、抽出部１２０が、複数の動画像の各々から、魚の特徴点を抽出する（ステップＳ１１）。抽出部１２０は、具体的には、複数の動画像の各々のフレームの各々から、魚の特徴点を抽出してよい。次に、追跡部１３０が、複数の動画像の各々において、抽出された特徴点に基づいて、魚の追跡を行う（ステップＳ１２）。追跡部１３０は、動画像ごとに、抽出された魚の特徴点の座標を利用して、魚の追跡を行う。追跡部１３０は、追跡中の魚の未検出の特徴点の有無を判定する（ステップＳ１３）。追跡部１３０は、いずれかの動画像のいずれかのフレームにおいて、直前のフレームまで追跡されていたが、検出できなくなった特徴点の有無を判定する。

未検出の特徴点が存在しない場合（ステップＳ１５においてＮＯ）、すなわち、いずれかの動画像のいずれかのフレームにおいて、直前のフレームまで追跡されていたが、検出できなくなった特徴点が存在しない場合、魚検出装置１０は、図２に示す動作を終了する。未検出の特徴点が存在しない場合（ステップＳ１５においてＮＯ）、すなわち、いずれかの動画像のいずれかのフレームにおいて、直前のフレームまで追跡されていたが、検出できなくなった特徴点が存在する場合、魚検出装置１０は、ステップＳ１５の動作を行う。ステップＳ１５において、推定部１４０は、検出された特徴点と、キャリブレーション情報とに基づいて、未検出の特徴点の位置を推定する（ステップＳ１５）。未検出の特徴点の位置を推定する奉納については、後で詳細に説明する。

＜効果＞
本実施形態には、魚が遮蔽されうる環境であっても、魚の位置を把握し得るという効果がある。その理由は、推定部１４０が、複数の動画像の少なくともいずれかのフレームにおいて追跡中の魚の特徴点が検出されなかった場合、検出されなかった魚の特徴点を推定するからである。従って、追跡中の魚の特徴点が遮蔽されても、魚の位置を把握できる。

＜第１の実施形態の詳細＞
魚の特徴点は、例えば、口、第１背びれ、第２背びれ、胸びれ、尾などの位置を示す、画像における点である。この場合、特徴点の種類は、口、第１背びれ、第２背びれ、胸びれ、尾などである。抽出部１２０は、例えば、機械学習による学習によって得られた、魚の特徴点を検出する特徴点検出器を用いて、複数の動画像の各々のフレームの各々から、これらの魚の特徴点を検出してもよい。

魚の特徴点は、例えば、魚の領域（以下、魚領域とも表記）の外接矩形（以下、魚矩形領域とも表記）の頂点及び重心の少なくともいずれかであってもよい。この場合、特徴点の種類は、魚矩形領域における特徴点の位置（例えば、左上の頂点、右下の頂点等）である。抽出部１２０は、例えば、機械学習による学習によって得られた、魚の領域を検出する魚領域検出器を用いて、複数の動画像の各々のフレームの各々から、魚の領域を検出してもよい。そして、抽出部１２０は、検出された魚の領域の外接矩形から、魚の外接矩形の頂点及び重心のうちあらかじめ定められた少なくともいずれか点の位置を、魚の特徴点の位置として特定してもよい。

ある魚の特徴点、すなわち、その魚の領域によって定まる特徴点を、その魚を表す特徴点と表記する。

複数の動画像は、それぞれ、複数の撮像装置によって撮像される。複数の撮像装置は、魚が泳いでいる領域を撮像可能であるように設置される。また、複数の撮像装置の各々は、少なくとも１つの他の撮像装置が撮像できる範囲の少なくとも一部を撮像できるように設置される。魚が泳いでいる領域は、例えば、２つの生簀をつなぐ、魚の通路の一部であってよい。魚の通路は、例えば、養殖されている魚が内部を通過可能であるが外部に逃げられないように、筒状に形成された網などである。

複数の撮像装置のキャリブレーションは予め行われている。言い換えると、複数の撮像装置のキャリブレーション情報は、あらかじめ得られている。キャリブレーション情報は、複数のカメラのカメラパラメータ及び相対的な位置関係を含む情報であってよい。キャリブレーション情報は、例えば、複数のカメラのうち２つのカメラの組み合わせの各々に対する基礎行列（Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘ）を含む。

追跡部１３０は、魚の特徴点に基づく既存の様々な追跡方法のいずれかによって、魚の追跡を行う。追跡部１３０は、例えば、魚の特徴点を個別に追跡してもよい。具体的には、追跡部１３０は、動画像ごとに、連続するフレーム間で、同じ特徴点を関連づけてもよい。この場合の同じ特徴点は、異なるフレームに映る同じ魚の同じ種類の特徴点を表す。そして、追跡部１３０は、連続するフレーム間における、特徴点の動きに基づいて、検出された特徴点から、同じ魚の特徴点の組み合わせを抽出してもよい。追跡部１３０は、例えば、特徴点間の相対位置及び相対速度が、同じ魚の特徴点として可能な、特徴点の組み合わせを、同じの魚の特徴点の組み合わせの候補として抽出してよい。そして、追跡部１３０は、例えば所定フレーム数以上のフレームで継続して同じ魚の特徴点の組み合わせの候補として抽出された特徴点の組み合わせを、同じ魚の特徴点の組み合わせとしてよい。

追跡部１３０は、例えば、連続するフレーム間で、テンプレートマッチングによって、特徴点の追跡を行ってもよい。追跡部１３０は、例えば、連続するフレーム間で、テンプレートマッチングによって、魚領域の追跡を行ってもよい。そして、追跡部１３０は、追跡している魚領域において特徴点の位置を特定してもよい。追跡部１３０は、追跡している魚領域の特徴点を、追跡する特徴点としてよい。

追跡部１３０は、さらに、複数の動画像に映っている魚の中で、同じ魚を関連付ける。

追跡部１３０は、例えば、２台の撮像装置によって得られた２つの動画像の同じタイミングで撮像された２枚のフレームにおいてそれぞれ検出された魚の領域のうち、同じ魚の領域を、既存の様々な方法のいずれかによって特定する。追跡部１３０は、２台の撮像装置の位置及び方向が近い場合、同じタイミングで撮像された上述の２枚のフレームにおいてそれぞれ検出された魚の領域のうち、同じ魚の領域を、例えばテンプレートマッチングによって特定してもよい。

追跡部１３０は、２台の撮像装置のキャリブレーション情報を使用して、同じタイミングで撮像された上述の２枚のフレームにおいてそれぞれ検出された魚の領域のうち、同じ魚の領域を特定してもよい。３次元空間内の点を２台の撮像装置によって撮像する場合、得られる２枚の画像の各々に、３次元空間内の点の像（以下、対応点と表記）が存在する。この場合、一方の画像上の対応点は、上述の２台の撮像装置のキャリブレーション情報（基礎行列）と、他方の画像の対応点の座標とによって定まるエピポーラ線上に存在する。追跡部１３０は、２台の撮像装置の間に定まる基礎行列と、一方の撮像装置によって撮像された動画像のフレームにおいて検出された魚領域の魚特徴点の座標から、他方の撮像装置によって撮像された動画像のフレームにおけるエピポーラ線を算出してよい。以下の追跡部１３０の説明において、２台の撮像装置のうち一方の撮像装置によって撮像された動画像のフレームを第１フレームと表記し、他方の撮像装置によって撮像された動画像のフレームを第１フレームと表記する。追跡部１３０は、第２フレームにおける同じ魚の特徴点と、第１フレームにおける同じ魚の特徴点によって定まるエピポーラ線との距離に基づいて、第１フレームにおける魚領域と、第２フレームにおける魚領域とを関連付けてよい。具体的には、追跡部１３０は、第１フレームにおける同じ魚の特徴点の組み合わせと、第２フレームにおける同じ魚の特徴点の組み合わせと、の組の各々について、以下の処理を行う。まず、追跡部１３０は、第１フレームと第２フレームの同じ魚の同じ種類の特徴点の組の各々について、第１フレームの特徴点によって定まるエピポーラ線と、第２フレームの特徴点との距離を算出する。追跡部１３０は、算出された距離の統計値（平均値、中央値、又は、中間値など）を算出する。追跡部１３０は、算出された統計値が所定値よりも小さい場合、第１フレームの特徴点の組み合わせと、第２領域の特徴点の組み合わせとが、同じ魚の魚領域の特徴点であると判定してよい。

追跡部１３０は、複数の撮像装置のうち２台の撮像装置の組み合わせの各々について、同じ魚の領域を特定する。そして、追跡部１３０は、複数の撮像装置によって撮像された動画像において、同じ魚の領域として特定された魚領域の組み合わせごとに、識別子（以下、魚識別子とも表記）を付与する。また、追跡部１３０は、同じ魚の同じ種類の魚特徴点に、魚特徴点の識別子（以下、特徴点識別子とも表記）を付与する。

推定部１４０は、複数の動画像の、同じタイミングで撮像された少なくともいずれかのフレームにおいて、追跡中の特徴点が検出されなかった場合、例えば以下のように、追跡中の特徴点の位置を推定する。上述のように、３次元空間内の点を２台の撮像装置によって撮像する場合、得られる１対の画像の各々に、３次元空間内の点の像（以下、対応点と表記）が存在する。この場合、一方の画像上の対応点は、上述の２台の撮像装置のキャリブレーション情報（基礎行列）と、他方の画像の対応点の座標とによって定まるエピポーラ線上に存在する。

以下の推定部１４０の説明では、２つの動画像を第１動画像及び第２動画像と表記し、同じタイミングで撮像された、第１動画像のフレームと第２動画像のフレームとを、それぞれ、第１フレーム及び第２フレームと表記する。この第１フレーム及び第２フレームは、上述の追跡部１３０の説明における第１フレーム及び第２フレームと必ずしも同一でなくてよい。そして、以下では、第１動画像の第１フレームの前のフレーム及び第２動画像の第２のフレームの前のフレームにおいて、それぞれ対応点として追跡されていた特徴点が、第１フレームにおいて検出されず、第２のフレームにおいて検出された場合について説明する。ここでは、第１動画像の第１フレームの前のフレームまで追跡され、第１フレームで検出されなかった特徴点を、未検出特徴点と表記する。未検出特徴点の、第２のフレームにける対応点を、対応特徴点と表記する。第１動画像の各フレームにおいて、未検出特徴点によって表される魚（対象魚とも表記）を表す特徴点を、第１対象魚特徴点と表記する。第２動画像の各フレームにおいて、未検出特徴点の対応特徴点によって表される魚（すなわち対象魚）を表す特徴点を、第２対象魚特徴点と表記する。第１のフレーム及び第２のフレームに映る魚のうち、対象魚ではない、適宜選択された魚の１つを、近接魚と表記する。第１動画像の各フレームにおいて近接魚を表す特徴点を、第１近接魚特徴点と表記する。第２動画像の各フレームにおいて近接魚を表す特徴点を、第２近接魚特徴点と表記する。

まず、推定部１４０は、例えば、未検出特徴点が存在する第１フレームを含む第１画像を撮像した撮像装置と、方向及び距離が最も近い撮像装置によって撮像された動画像を、第２動画像とする。推定部１４０は、例えば、未検出特徴点が存在する第１フレームを含む第１画像を撮像した撮像装置に対する相対的な一致関係が、方向及び距離の記述を満たす複数の撮像装置によって撮像された動画像を、第２動画像としてもよい。その場合、推定部１４０は、複数の第２の動画像の各々について、以下の動作を行う。

推定部１４０は、第２のフレームの対応特徴点の座標と基礎行列とによって定まるエピポーラ線と、第１対象魚特徴点、第２対象魚特徴点、第１近接魚特徴点、及び第２近接魚特徴点の少なくともいずれかと、に基づいて、未検出特徴点の座標を推定してよい。

具体的には、例えば、推定部１４０は、未検出特徴点の、第１フレームの前のフレームまでの追跡特徴点の位置の推移から、第１フレームの前のフレームと第１フレームとの間における、未検出特徴点の速度、又は、速度及び加速度を推定する。そして、推定部１４０は、第１フレームの前のフレームにおける未検出特徴点の追跡特徴点の位置と、推定された、速度、又は、速度及び加速度とから、未検出特徴点の仮位置を推定してよい。なお、未検出特徴点の追跡特徴点は、第１フレームの前のフレームまで追跡され第１フレームにおいて追跡されなかった、第１フレームの前のフレームまでの特徴点の列である。そして、推定部１４０は、第２のフレームの対応特徴点の座標と基礎行列とによって定まるエピポーラ線の上の点のうち、未検出特徴点の仮位置に最も近い点が、未検出特徴点の位置であると推定する。

推定部１４０は、例えば、第１フレームの前のフレームにおける第１対象魚特徴点の位置と、第１フレームにおける未検出特徴点を除く第１対象魚特徴点の位置とに基づいて、未検出特徴点の仮位置を推定してよい。この場合、まず、推定部１４０は、第１フレームの前のフレームにおける、未検出特徴点の追跡特徴点以外の第１対象魚特徴点の位置を、第１フレームにおける未検出特徴点を除く第１対象魚特徴点の位置に変換する座標変換を算出してよい。次に、推定部１４０は、算出した座標変換によって、第１フレームの前のフレームにおける、未検出特徴点の追跡特徴点の座標を変換することによって、未検出特徴点の仮位置を推定してよい。そして、推定部１４０は、第２のフレームの対応特徴点の座標と基礎行列とによって定まるエピポーラ線の上の点のうち、未検出特徴点の仮位置に最も近い点が、未検出特徴点の位置であると推定する。

推定部１４０は、第２フレームにおける、対象魚の魚矩形領域及び近接魚の魚矩形領域と、第１フレームにおける近接魚の魚矩形領域と、第１フレームにおける未検出特徴点を除く第１対象魚特徴点の位置とに基づいて、未検出特徴点の仮位置を推定してもよい。なお、推定部１４０は、第１フレームにおける近接魚の魚矩形領域を、第１近接魚特徴点の座標によって定めてもよい。推定部１４０は、第２フレームにおける近接魚の魚矩形領域を、第２近接魚特徴点の座標によって定めてもよい。推定部１４０は、第２フレームにおける対象魚の魚矩形領域を、第２対象魚特徴点の座標によって定めてもよい。

この場合、推定部１４０は、まず、第２フレームにおいて、魚矩形領域のサイズと魚矩形領域間の距離とに基づいて、近接魚の魚矩形領域を選択する。具体的には、推定部１４０は、例えば、第２フレームにおける対象魚の魚矩形領域のサイズとの差が所定サイズ差以内のサイズを持つ、近接魚の魚矩形領域を選択してよい。魚矩形領域のサイズは、面積であってもよい。この場合のサイズの差は、例えば、面積の差の絶対値である。魚矩形領域のサイズは、対角線の長さであってもよい。この場合のサイズの差は、例えば、対角線の長さの差の絶対値である。魚矩形領域のサイズは、縦方向の長さ及び横方向の長さであってもよい。この場合のサイズの差は、例えば、縦方向の長さの差の絶対値と、横方向の長さの差の絶対値との和である。サイズおよびサイズの差はこれらの例に限られない。推定部１４０は、さらに、選択された近接魚の魚矩形領域の中で、対象魚の魚矩形領域に対する距離が最も小さい近接魚の魚矩形領域を選択してよい。２つの魚矩形領域の間の距離は、２つの魚矩形領域の各々に所定の方法で定めた基準点（例えば、所定の頂点又は重心）の間の距離である。なお、推定部１４０は、近接魚の魚矩形領域の中で、対象魚の魚矩形領域に対する距離が所定距離以下である、近接魚の魚矩形領域を選択してよい。この場合、推定部１４０は、さらに、選択された近接魚の魚矩形領域の中で、対象魚の魚矩形領域のサイズとの差が最も小さい、近接魚の魚矩形領域を選択する。

そして、推定部１４０は、第２フレームにおける、対象魚の魚矩形領域と近接魚の魚矩形領域のサイズの比を算出する。推定部１４０は、第１フレームにおける、対象魚の魚矩形領域と近接魚の魚矩形領域のサイズの比が、算出した比と同じになるように、第１フレームにおける対象魚の魚矩形領域のサイズを算出してよい。魚矩形領域における魚特徴点の位置は、魚特徴点の種類に応じた魚特徴点間の相対的な位置関係によって推定できる。例えば、口の特徴点が魚外接矩形の左辺に存在する場合、尾の特徴点は魚外接矩形の右辺に存在することが推定される。また、第１背びれの特徴点が魚外接矩形の上辺に存在する場合、腹びれの特徴点は、魚外接矩形の下辺に存在するはずである。魚特徴点の魚外接矩形の辺上の相対位置は、魚の種類によって定まる。魚の種類、及び、魚の種類に応じた魚特徴点の魚外接矩形の辺上の相対位置は、予め与えられていてよい。推定部１４０は、第１フレームにおける未検出特徴点を除く第１対象魚特徴点の位置と、算出された、第１フレームにおける対象魚の魚矩形領域のサイズから、第１フレームにおける対象魚の魚矩形領域の位置を推定する。推定部１４０は、魚外接矩形の位置と、未検出特徴点の種類と、魚特徴点の種類に応じた魚外接矩形の辺上の魚な特徴点の相対位置とから、未検出特徴点の仮位置を推定する。そして、推定部１４０は、第２のフレームの対応特徴点の座標と基礎行列とによって定まるエピポーラ線の上の点のうち、未検出特徴点の仮位置に最も近い点が、未検出特徴点の位置であると推定する。

推定部１４０は、複数の第２の動画像について、第１フレームにおける未検出特徴点の位置を推定した場合、推定した複数の未検出特徴点の位置の座標の統計値を、第１フレームにおける未検出特徴点の位置としてよい。座標の統計値は、例えば、座標軸ごとの座標値の平均値、中央値、又は、中間値などである。

＜第２の実施形態＞
次に、本開示の第２の実施形態について、図面を使用して詳細に説明する。

＜構成＞
図３は、本開示の第２の実施形態に係る魚検出システム１の構成の例を表すブロック図である。図３に示す例では、魚検出システム１は、魚検出装置１００と、複数の撮像装置２００と、出力装置３００とを含む。魚検出装置１００は、複数の撮像装置２００、及び、出力装置３００と、通信可能に接続されている。本実施形態の複数の撮像装置２００は、第１の実施形態の複数の撮像装置と同じである。

魚検出装置１００は、受取部１１０と、抽出部１２０と、追跡部１３０と、推定部１４０と、カウント部１５０と、出力部１６０とを含む。本実施形態の抽出部１２０、追跡部１３０、及び、推定部１４０は、それぞれ、第１の実施形態の抽出部１２０、追跡部１３０、及び、推定部１４０と同じである。実施形態の抽出部１２０、追跡部１３０、及び、推定部１４０は、それぞれ、第１の実施形態の抽出部１２０、追跡部１３０、及び、推定部１４０と同様に動作する。以下の抽出部１２０、追跡部１３０、及び、推定部１４０の説明では、補足と第１の実施形態に対する相違点とを中心に説明する。

＜受取部１１０＞
受取部１１０は、複数の撮像装置２００から、動画像を受け取る。受取部１１０は、受け取った動画像を、抽出部１２０に送出する。具体的には、受取部１１０は、複数の撮像装置２００の各々から、動画像のデータを受け取る。受取部１１０は、受け取った動画像のデータから、動画像のフレームのデータを生成し、生成した動画像のフレームのデータを抽出部１２０に送出する。

＜抽出部１２０＞
抽出部１２０は、受取部１１０から、複数の動画像を受け取る。具体的には、抽出部１２０は、受取部１１０から、複数の動画像のフレームのデータを受け取る。抽出部１２０は、複数のフレームの各々から、魚特徴点を抽出する。抽出部１２０は、複数の動画像のフレームにおいて抽出した魚特徴点の位置を表すデータを、追跡部１３０に送出する。

＜追跡部１３０＞
追跡部１３０は、複数の動画像のフレームにおいて抽出された魚特徴点の位置を表すデータを、抽出部１２０から受け取る。追跡部１３０は、受け取った、抽出された魚特徴点の位置を表すデータを保持する。

追跡部１３０は、複数の動画像のフレームにおいて抽出された魚特徴点に基づいて、魚を追跡する。言い換えると、追跡部１３０は、複数の動画像から抽出された魚特徴点の位置の時系列情報を使用して、動画像ごとに、同じ魚の魚特徴点の位置及び魚矩形領域の位置の推移を特定し、さらに、複数の動画像の間で同じ魚（具体的には、同じ魚の特徴点及び魚矩形領域）に、同じ識別子を付与する。

また、追跡部１３０は、最新のフレームにおける未検出特徴点を検出する。追跡部１３０は、未検出特徴点が検出された場合、第１の実施形態の説明で説明した、未検出特徴点の位置の推定に使用する情報を、推定部１４０に送出する。未検出特徴点の位置の推定に使用する情報は、例えば、未検出特徴点の魚特徴点識別子と、その魚特徴点識別子によって表される魚特徴点が表す魚（すなわち、上述の対象魚）の魚識別子、その魚識別子が示す魚を表す魚特徴点の識別子及び位置などである。未検出特徴点の位置の推定に使用する情報は、近接魚の識別子、近接魚を表す魚特徴点の魚特徴点識別子及び位置などを含んでいてもよい。また、追跡部１３０は、推定部１４０から、推定された、未検出特徴点の位置のデータを受け取る。

追跡部１３０は、受け取った未検出特徴点の位置を、その未検出特徴点が検出された位置として使用して、魚を追跡する。

追跡部１３０は、追跡している魚の位置の情報（例えば、複数の動画像の各々における、追跡している魚の魚特徴点の位置を表す情報）を、カウント部１５０に送出する。

＜推定部１４０＞
推定部１４０は、追跡部１３０から、未検出特徴点の位置の推定に使用する情報を受け取る。推定部１４０は、キャリブレーション情報と、未検出特徴点の位置の推定に使用する情報とを使用して、未検出特徴点の位置を推定する。推定部１４０は、推定した、未検出特徴点の位置のデータを、追跡部１３０に送出する。

＜カウント部１５０＞
カウント部１５０は、複数の動画像の各々における、追跡している魚の位置の情報を、追跡部１３０から受け取る。

カウント部１５０は、所定の撮像装置によって撮像された動画像に設定されたカウント領域への魚の進入及び退去を検出する。そして、カウント部１５０は、カウント領域への魚の進入及び退去の検出の結果を使用して、カウント領域を所定の方向（以下、カウント方向と表記）に通過した魚の数をカウントする。カウント領域の、カウント方向と垂直な方向のサイズは、動画像のサイズと同じである。カウント領域の、カウント方向と平行な方向のサイズは、動画像のサイズよりも小さくてよい。例えば、カウント方向が方向である場合、カウント部１５０は、カウント領域を右から左に通過する魚の数をカウントする。この場合、カウント領域の上下方向の長さ（言い換えると、カウント領域の高さ）は、動画像の上下方向の長さと同じでよい。また、この場合、カウント領域の左右方向の長さ（言い換えると、カウント領域の幅）は、動画像の左右方向の長さよりも小さくてよい。そして、カウント領域の右端は、動画像の右端よりも中央に近い位置に設定されてよい。また、カウント領域の左端は、動画像の左端よりも中央に近い位置に設定されてよい。

カウント領域は、２つの生簀をつなぐ魚の通路が撮像された動画像に設定されていてもよい。この場合、２つの生簀のあらかじめ定められた一方の生簀から他方の生簀に魚が向かう方向が、カウント方向であってよい。この場合、動画像を撮像する撮像装置は、通路を通過する魚が必ず撮像されるように設置されていてもよい。言い換えると、動画像を撮像する撮像装置は、例えば、魚の通路のカウント方向と平行でない断面の少なくとも１つが撮像されるように設置されていてもよい。この場合、カウント領域及び動画像の幅又は高さが一致していなくてよい。

以下の説明において、魚がカウント方向でカウント領域を通過する場合に、カウント領域に侵入する際に通過する端を、上流端と表記する。魚がカウント方向でカウント領域を通過する場合に、カウント領域から退去する際に通過する端を、下流端と表記する。

カウント部１５０は、例えば、魚領域の特定の魚特徴点（例えば、口、又は、尾等）が、下流端を、カウント方向に通過し、カウント領域から退去した場合に、魚の通過数を１増加させる。カウント部１５０は、例えば、魚領域の特定の魚特徴点が、下流端を、カウント方向とは逆方向に通過し、カウント領域に侵入した場合に、魚の通過数を１減少させる。

さらに、カウント部１５０は、魚領域の特定の魚特徴点が、上流端を、カウント方向に通過し、カウント領域に侵入した場合に、魚の滞留数を１増加させてもよい。カウント部１５０は、例えば、魚領域の特定の魚特徴点が、上流端を、カウント方向とは逆方向に通過し、カウント領域から退去した場合に、魚の滞留数を１減少させてもよい。

なお、カウント部１５０は、魚領域の特定の魚特徴点が、上流端を、カウント方向に通過し、カウント領域に侵入した場合に、魚の通過数を１増加させてもよい。カウント部１５０は、例えば、魚領域の特定の魚特徴点が、上流端を、カウント方向とは逆方向に通過し、カウント領域から退去した場合に、魚の通過数を１減少させてもよい。この場合、カウント部１５０は、魚の滞留数をカウントしなくてよい。

なお、カウント領域は、線であってもよい。この場合、カウント部１５０は、魚領域の特定の魚特徴点が、カウント領域である線を、カウント方向に通過し、カウント領域から退去した場合に、魚の通過数を１増加させる。カウント部１５０は、例えば、魚領域の特定の魚特徴点が、カウント領域である線を、カウント方向とは逆方向に通過し、カウント領域に侵入した場合に、魚の通過数を１減少させる。

カウント部１５０は、魚の通過数のデータを、出力部１６０に送出する。カウント部１５０は、魚の通過数のデータを、あらかじめ定められたタイミングで出力部１６０に送出してもよい。例えば、カウント部１５０は、魚の通過数のデータを、所定の時間ごとに、出力部１６０に送出してもよい。カウント部１５０は、魚の通過数のデータを、魚の通過数が変化するたびに、出力部１６０に送出してもよい。

＜出力部１６０＞
出力部１６０は、魚の通過数のデータを、カウント部１５０から受け取る。出力部１６０は、受け取った魚の通過数のデータを、出力装置３００に出力する。

出力部１６０は、さらに、少なくとも１つの動画像の、追跡中の魚の位置を表すデータを出力してもよい。この場合、出力部１６０は、カウント部１５０を介して、追跡部１３０から、出力される、追跡中の魚の位置を表すデータ（例えば、魚外接矩形の位置を表すデータ、具体的には、頂点の座標）を受け取ってもよい。出力部１６０は、少なくとも１つの動画像に、追跡中の魚の位置を表す情報を動画像に重畳し、追跡中の魚の位置を表す情報が重畳された動画像を出力してもよい。この場合、追跡中の魚の位置を表す情報は、魚外接矩形を表す図形である。出力部１６０は、少なくとも１つの動画像の、追跡中の魚の領域（魚領域又は魚外接矩形の内部）の、色又は明るさの少なくとも一方を変更する処理を行い、そのような処理が適用された結果である動画像を週力してもよい。動画像を出力する場合、出力部１６０は、追跡部１３０及びカウント部１５０を介して、抽出部１２０から、動画像を受け取ってよい。出力部１６０は、少なくとも１つの動画像に追跡中の魚の魚識別子を表す文字列を、その魚の位置を示すように重畳し、追跡中の魚の魚識別子を表す文字列が重畳された動画像を出力してもよい。この場合、出力部１６０は、さらに、魚の魚識別子を表す文字列と、その魚の魚外接矩形を示す図形とをつなぐ線を、動画像に重畳してもよい。出力部１６０は、魚の魚外接矩形を示す図形に近接する位置に、魚の魚識別子を表す文字列を重畳してもよい。これらの場合、出力部１６０は、追跡中の魚の魚識別子と追跡中の魚の位置を表す情報とを、カウント部１５０を介して、追跡部１３０から受け取ってよい。

＜出力装置３００＞
出力装置３００は、魚の通過数のデータを出力部１６０から受け取り、魚の通過数を出力する。

出力装置３００は、例えばディスプレイである。この場合、出力装置３００は、魚の通過数のデータを表示する。出力装置３００は、例えば、コンピュータ、携帯端末、プリンタ、サーバ等であってもよい。出力装置３００は、受け取ったデータを記憶してもよい。

出力装置３００は、出力部１６０から動画像を受け取り、受け取った動画像を含む画面を表示してもよい。その場合、その画面は、魚の通過数を表す文字または図形を含む。

＜動作＞
次に、本実施形態に係る魚検出装置１００の動作を、図面を使用して詳細に説明する。

図４は、本開示の第２の実施形態に係る魚検出装置の動作の例を表すフローチャートである。図４に示す例では、まず、受取部１１０が、複数の動画像を受け取る（ステップＳ０１０１）。次に、抽出部１２０が、複数の動画像の各々のフレームにおいて、魚の特徴点を抽出する（ステップＳ１０２）。次に、追跡部１３０が、動画像ごとに、抽出された特徴点に基づいて、魚の追跡を行う（ステップＳ１０３）。追跡部１３０は、つい移籍中の魚の未検出の特徴点の有無を判定する（ステップＳ１０４）。未検出の特徴点が存在しない場合（ステップＳ１０５においてＮＯ）、魚検出装置１００は、次に、ステップＳ１０７の動作を行う。未検出の特徴点が存在する場合（ステップＳ１０５においてＹＥＳ）、推定部１４０が、検出された特徴点（具体的には、特徴点の位置）と、キャリブレーション情報とに基づいて、未検出の特徴点の位置を推定する（ステップＳ１０６）。追跡部１３０は、推定された未検出の特徴点の位置を、その特徴点が検出された位置として使用して、魚特徴点の追跡及び魚特徴点の追跡を継続する。

ステップＳ１０７において、カウント部１５０は、カウント領域を通過した魚の数をカウントする（ステップＳ１０７）。そして、出力部１６０が、カウント領域を通過した魚の数を含む、出力情報を出力する（ステップＳ１０８）。出力情報は、上述の出力部１６０によって、追跡中の魚の位置、又は、追跡中の魚の位置と識別子とを表す情報が重畳された動画を含んでいてもよい。そして、魚検出装置１００は、図４に示す動作を終了する。

なお、魚検出装置１００は、複数の動画像の、同じタイミングで撮像された複数のフレームの組み合わせの各々に対して、図４に示す動作を繰り返してよい。

＜効果＞
本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。

＜他の実施形態＞
本開示の実施形態に係る魚検出装置の各々は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現できる。本開示の実施形態に係る魚検出装置の各々は、専用のハードウェアによって実現することもできる。本開示の実施形態に係る魚検出装置の各々は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。

図５は、本開示の実施形態に係る魚検出装置の各々を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図５を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、撮像装置２００及び出力装置３００にアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、本開示の実施形態に係る魚検出装置として動作させるプログラムが格納されている。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、本開示の実施形態に係る魚検出装置として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、本開示の実施形態に係る魚検出装置として動作する。

受取部１１０、抽出部１２０、追跡部１３０、推定部１４０、カウント部１５０、出力部１６０は、例えば、メモリ１００２にロードされたプログラムを実行するプロセッサ１００１により実現することができる。受取部１１０、抽出部１２０、追跡部１３０、推定部１４０、カウント部１５０、出力部１６０の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。

（付記１）
複数の動画像の各々から魚の特徴点を抽出する抽出手段と、
前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する追跡手段と、
前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定する推定手段と、
を備え、
前記追跡手段は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する
魚検出装置。

（付記２）
前記複数の動画像の少なくともいずれかの動画像に設定されたカウント領域への前記魚の進入の情報と当該魚の前記カウント領域からの退去の情報とに基づいて、前記カウント領域を通過する前記魚の数をカウントするカウント手段
をさらに備える付記１に記載の魚検出装置。

（付記３）
前記カウント領域は、第１の生簀と第２の生簀とをつなぐ通路の領域に設定され、
前記カウント手段は、前記第１の生簀から前記第２の生簀に向かって前記カウント領域を通過する前記魚の数をカウントする
付記２に記載の魚検出装置。

（付記４）
前記カウント手段は、前記カウント領域への前記魚の進入と当該魚の前記カウント領域からの退去とを検出する
付記２又は３に記載の魚検出装置。

（付記５）
前記推定手段は、前記魚の検出されなかった特徴点である未検出特徴点の位置を、前記他の動画像において検出された、前記未検出特徴点に対応する前記特徴点の位置と、前記キャリブレーション情報と、に基づくエピポーラ線を使用して推定する
付記１乃至４のいずれか１項に記載の魚検出装置。

（付記６）
前記追跡手段は、前記キャリブレーション情報に基づいて、前記複数の動画像において検出された同一の前記魚の前記特徴点を関連付ける
付記１乃至５のいずれか１項に記載の魚検出装置。

（付記７）
複数の動画像の各々から魚の特徴点を抽出し、
前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡し、
前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定し、
前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する
魚検出方法。

（付記８）
前記複数の動画像の少なくともいずれかの動画像に設定されたカウント領域への前記魚の進入の情報と当該魚の前記カウント領域からの退去の情報とに基づいて、前記カウント領域を通過する前記魚の数をカウントする
付記７に記載の魚検出方法。

（付記９）
前記カウント領域は、第１の生簀と第２の生簀とをつなぐ通路の領域に設定され、
前記第１の生簀から前記第２の生簀に向かって前記カウント領域を通過する前記魚の数をカウントする
付記８に記載の魚検出方法。

（付記１０）
前記カウント領域への前記魚の進入と当該魚の前記カウント領域からの退去とを検出する
付記８又は９に記載の魚検出方法。

（付記１１）
前記魚の検出されなかった特徴点である未検出特徴点の位置を、前記他の動画像において検出された、前記未検出特徴点に対応する前記特徴点の位置と、前記キャリブレーション情報と、に基づくエピポーラ線を使用して推定する
付記７乃至１０のいずれか１項に記載の魚検出方法。

（付記１２）
前記キャリブレーション情報に基づいて、前記複数の動画像において検出された同一の前記魚の前記特徴点を関連付ける
付記７乃至１１のいずれか１項に記載の魚検出方法。

（付記１３）
複数の動画像の各々から魚の特徴点を抽出する抽出処理と、
前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する追跡処理と、
前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定する推定処理と、
をコンピュータに実行させ、
前記追跡処理は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡する
プログラム。

（付記１４）
前記複数の動画像の少なくともいずれかの動画像に設定されたカウント領域への前記魚の進入の情報と当該魚の前記カウント領域からの退去の情報とに基づいて、前記カウント領域を通過する前記魚の数をカウントするカウント処理
をさらにコンピュータに実行させる付記１３に記載のプログラム。

（付記１５）
前記カウント領域は、第１の生簀と第２の生簀とをつなぐ通路の領域に設定され、
前記カウント処理は、前記第１の生簀から前記第２の生簀に向かって前記カウント領域を通過する前記魚の数をカウントする
付記１４に記載のプログラム。

（付記１６）
前記カウント処理は、前記カウント領域への前記魚の進入と当該魚の前記カウント領域からの退去とを検出する
付記１４又は１５に記載のプログラム。

（付記１７）
前記推定処理は、前記魚の検出されなかった特徴点である未検出特徴点の位置を、前記他の動画像において検出された、前記未検出特徴点に対応する前記特徴点の位置と、前記キャリブレーション情報と、に基づくエピポーラ線を使用して推定する
付記１３乃至１６のいずれか１項に記載のプログラム。

（付記１８）
前記追跡処理は、前記キャリブレーション情報に基づいて、前記複数の動画像において検出された同一の前記魚の前記特徴点を関連付ける
付記１３乃至１７のいずれか１項に記載のプログラム。

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 魚検出システム
１０ 魚検出装置
１００ 魚検出装置
１１０ 受取部
１２０ 抽出部
１３０ 追跡部
１４０ 推定部
１５０ カウント部
１６０ 出力部
２００ 撮像装置
３００ 出力装置
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体

Claims (6)

1. 複数の動画像の各々から魚の特徴点を抽出する抽出手段と、
   前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する追跡手段と、
   前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定する推定手段と、
   前記複数の動画像の少なくともいずれかの動画像に設定されたカウント領域への前記魚の進入の情報と当該魚の前記カウント領域からの退去の情報とに基づいて、前記カウント領域を通過する前記魚の数をカウントするカウント手段と
   を備え、
   前記追跡手段は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡し、
   前記カウント領域は、第１の生簀と第２の生簀とをつなぐ通路の領域に設定され、
   前記カウント手段は、前記第１の生簀から前記第２の生簀に向かって前記カウント領域を通過する前記魚の数をカウントする
   魚検出装置。
2. 前記カウント手段は、前記カウント領域への前記魚の進入と当該魚の前記カウント領域からの退去とを検出する
   請求項１に記載の魚検出装置。
3. 前記推定手段は、前記魚の検出されなかった特徴点である未検出特徴点の位置を、前記他の動画像において検出された、前記未検出特徴点に対応する前記特徴点の位置と、前記キャリブレーション情報と、に基づくエピポーラ線を使用して推定する
   請求項１又は２に記載の魚検出装置。
4. 前記追跡手段は、前記キャリブレーション情報に基づいて、前記複数の動画像において検出された同一の前記魚の前記特徴点を関連付ける
   請求項１乃至３のいずれか１項に記載の魚検出装置。
5. 複数の動画像の各々から魚の特徴点を抽出し、
   前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡し、
   前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定し、
   前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡し、
   前記複数の動画像の少なくともいずれかの動画像の第１の生簀と第２の生簀とをつなぐ通路の領域に設定されたカウント領域への前記魚の進入の情報と当該魚の前記カウント領域からの退去の情報とに基づいて、前記第１の生簀から前記第２の生簀に向かって前記カウント領域を通過する前記魚の数をカウントする
   魚検出方法。
6. 複数の動画像の各々から魚の特徴点を抽出する抽出処理と、
   前記複数の動画像の各々において、検出された前記特徴点に基づいて、前記魚を追跡する追跡処理と、
   前記複数の動画像の少なくともいずれかのフレームにおいて追跡中の前記魚の前記特徴点が検出されなかった場合、当該魚の特徴点を、他の動画像のフレームにおいて検出された前記魚の前記特徴点と、前記複数の動画像を撮像した複数の撮像装置のキャリブレーション情報とに基づいて推定する推定処理と、
   前記複数の動画像の少なくともいずれかの動画像に設定されたカウント領域への前記魚の進入の情報と当該魚の前記カウント領域からの退去の情報とに基づいて、前記カウント領域を通過する前記魚の数をカウントするカウント処理と、
   をコンピュータに実行させ、
   前記追跡処理は、前記特徴点が推定された場合、推定された当該特徴点に基づいて、前記魚を追跡し、
   前記カウント領域は、第１の生簀と第２の生簀とをつなぐ通路の領域に設定され、
   前記カウント処理は、前記第１の生簀から前記第２の生簀に向かって前記カウント領域を通過する前記魚の数をカウントする
   プログラム。

Images