JP7237789B2 - 魚計数システム、魚計数方法及びプログラム - Google Patents

Description

本開示は、魚計数システム、魚計数方法及びプログラムに関する。

マグロ等の魚の養殖において正確な魚数を把握し、餌代の削減や計画的な生産を行うことが好ましい。従来は、魚を第１生簀から第２生簀へ移動させ、移動する魚を撮影することで魚を計数する。撮影した動画をスロー再生しながら、目視で魚数をカウントしていたため、工数増および正確性に欠けていた。

特許文献１には、撮影した複数の画像に基づき魚を計測するシステムが開示されている。このシステムは、複数の過去画像に写る魚の位置から、注目画像における魚の位置を推測し、注目画像における推測位置に魚が写っている場合に、魚と判断したことが正しいとして魚数をカウントする。

特開２０１６－１６５２３８号公報

しかしながら、上記のように複数画像に基づく魚の移動量の推定に合致することのみを計数の条件とする方法では、その魚が真に計数すべき魚か否かを判断することができず、誤計数を招来するおそれがある。特に、別の生簀から到来した計数すべき魚と、計測済で生簀内を回遊する魚との判断ができず、計数すべきでない回遊魚を計測してしまうおそれがある。

本開示は、誤計数を低減可能な魚計数システム、魚計数方法及びプログラムを提供する。

本開示の魚計数システムは、魚を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する画像取得部と、各々の画像について魚を抽出する抽出部と、魚の数を計数する計数部と、を備え、前記撮影領域は、第１領域および第２領域を有し、前記計数部は、前記第１領域にいた魚が前記第２領域に移動した場合に、当該魚を計数する。

このように、第１領域にいた魚が第２領域に移動したと判断した場合に魚を計数するので、別生簀等から到来する計数すべき魚を計数可能となる。それでいて、画像内で回遊する魚が写ったとしても、回遊魚は第１領域から第２領域に移動しないので、回遊魚の誤計数を低減又は防止することが可能となる。

本実施形態の魚計数システムを示すブロック図 撮影した画像を示す図 魚計数システムが実行する処理を示すフローチャート 魚計数システムが実行するラベル付与処理を示すフローチャート 抽出した魚から処理対象として除去する除去処理に関する説明図 ラベル付与の第１処理に関する説明図 ラベル付与の第２処理に関する説明図 ラベル付与の第３処理に関する説明図 ラベル付与の第５処理に関する説明図 ラベル付与の第７処理に関する説明図 ラベル付与の第８処理に関する説明図 ステータス設定部が設定するステータスを示す遷移図 加算対象の魚と加算対象でない魚とが交差する場合の説明図 報知部が実行する処理の一例を示すフローチャート 報知部が実行する処理の他の例を示すフローチャート

以下に、本開示の実施形態について図面を参照しながら説明する。

図１に示すように、魚計数システム３は、複数枚の画像に基づいて魚の数を計数する。複数枚の画像は、魚１を含む流体が流れる撮影領域をカメラ２で経時的に撮影して得られる。図１は例示であり、第１生簀と第２生簀を直接接続して、第１生簀から第２生簀にマグロなどの魚を移動させる。第２生簀の入り口近傍にカメラを配置することで、第２生簀に移動した魚を計数し、全体の魚の数を把握する。

図２は、撮影した画像を示す図である。カメラ２の向きを所定向きに設置する。所定向きは、図２に示すように、画像の縁の一部を第１領域Ａｒ１とし、その他の縁を第２領域Ａｒ２とし、第１領域Ａｒ１が第１生簀に近くなるようにする。このような所定向きにカメラ２を設置することで、第１生簀から第２生簀に移動する魚が、必ず第１領域Ａｒ１を通ってから第２領域Ａｒ２を至るようになる。図２では、４辺のうち１辺を第１領域Ａｒ１とし、残りの３辺を第２領域Ａｒ２に設定しているが、これに限定されない。

また、画像の中央部を魚が通過することが多いため、撮影領域は、第１領域Ａｒ１と第２領域Ａｒ２の間には第３領域Ａｒ３を有する。第３領域Ａｒ３は画像の中央部に配置されている。このような配置にすることで、第１領域Ａｒ１を出た魚１が即座に第２領域Ａｒ２に到達せず、複数枚の画像において第３領域Ａｒ３に魚が写るため、認識精度を向上させることが可能となる。なお、第３領域Ａｒ３を省略することも可能である。

魚計数システム３は、図１に示すように、画像取得部３０と、抽出部３１と、ラベル付与部３２と、ステータス設定部３３と、計数部３４と、を有する。必要に応じて、魚計数システム３が報知部３５を有してもよい。これら各部３０～３５は、コンピュータ上における１又は複数のプロセッサに所定プログラムが実行されることにより、ハードウェア及びソフトウェアが協働して実現される。

図１に示す画像取得部３０は、魚１を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する。カメラ２は、例えば３０ｆｐｓ（Flames Per Second）で動画を撮影し、システム３に動画が保存される。画像取得部３０は、動画から複数枚の画像を取得する。複数枚の画像は時系列に並んでいる。この明細書において、１枚の画像を１フレーム（frame）と称する場合がある。

図１に示す抽出部３１は、各々の画像について魚１を抽出する。ここでは、画像処理で物体を認識するため、厳密に魚と認識するわけではなく、水中における物体を認識する。したがって、魚だけでなく、浮遊物も魚と認識される場合がある。抽出部３１は、除去部３１ａを有することが好ましい。除去部３１ａは、抽出した魚１のうち、所定の除去条件に合致する魚を抽出済の魚から除去する。所定の除去条件は、魚のサイズが規定範囲外であること、又は、魚のアスペクト比が規定範囲外であること等が挙げられる。例えば、図５に示すように、抽出した魚１ａ、１ｂ、１ｃのうち、魚１ｂが正方形に近くアスペクト比が規定範囲外であり、魚１ｃが大きすぎてサイズが規定範囲外である。よって、魚１ｂと魚１ｃが抽出済の魚から除去される。実際には、除去部３１ａがステータス設定部３３に、除去する魚に対してerr_no_target_no_trackというステータスを設定させる。このステータスは、加算対象はなく且つ追跡処理を実行しないことを示す。

図１に示すラベル付与部３２は、抽出部３１によって抽出された魚１に対して個体を識別するためのラベルを付与する。複数枚の画像において同じラベルが付与される魚は、同一個体であり、同じラベルの魚の位置の変化によって魚の軌道を知ることが可能となる。本実施形態では、ラベルをＩＤとし、ＩＤとして数字を用いているが、これに限定されない。詳細は後述する。

図１に示すステータス設定部３３は、ラベル付与部３２によりラベルが付与された魚に対してステータスを設定する。ステータスは、例えば加算対象であることを示すステータスや、加算対象ではないことを示すステータス、追跡対象であることを示すステータスなどを含む。詳細は後述するが、少なくとも加算対象であることを示すステータスが設定可能であればよい。

図１に示す計数部３４は、魚の数を計数する。計数部３４は、第１領域Ａｒ１にいた魚１が第２領域Ａｒ２に移動した場合に、当該魚１を計数（加算）するように構成されている。この動作を実現するための具体的な構成は、次のとおりである。

＜全体フロー＞
まず、魚計数システム３の動作の全体を説明する。図３に示すように、ステップＳＴ１において、画像取得部３０が、魚を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する。ステップＳＴ２～６は、各々の画像に対して実行する。すなわち、ステップＳＴ２～６の処理は、１枚～Ｍ枚（Ｍは取得した画像枚数）までの全ての画像に対して実行される。次のステップＳＴ２において、抽出部３１は、各々の画像について魚を抽出する。次にステップＳＴ３において、除去部３１ａは、抽出した魚のうち、所定の除去条件に合致する魚を抽出済の魚から除去する。次のステップＳＴ４において、ラベル付与部３２は、抽出された魚に対して個体を識別するためのラベルを付与する。次のステップＳＴ５において、ステータス設定部３３は、ラベルが付与された魚に対してステータスを設定する。次のステップＳＴ６において、計数部３４は、所定の計数条件に合致する魚を計数する。所定の計数条件は、第１領域Ａｒ１にいた魚が第２領域Ａｒ２に移動したことを表すが、具体的には、加算対象であることを示すステータスに設定されていることを条件とする。ステップＳＴ３は、別の方法でも実装が可能であるので、省略可能である。

＜ラベル付与；追跡処理＞
図１に示すラベル付与部３２は、同一の個体に対して同一のラベルを付与する追跡処理を実行する。追跡処理は、注目画像における第１魚と、注目画像よりも過去の１又は複数の画像における第２魚とが、第１追跡成立条件を満たす場合に、第１魚に対して第２魚と同じラベルを付与する。これは、１枚の注目画像と１枚の過去画像との比較でもよいし、１枚の注目画像と２枚以上の過去画像との比較でもよいことを意味する。

具体的には、図４に示すように、ラベル付与部３２は、追跡処理として複数処理（第１～第８処理）を順に実行する。それゆえ、第１追跡成立条件は、複数条件（第１～第８条件）を含み、第１～８条件のいずれかの条件が成立すれば、第１追跡成立条件が成立するとして、条件が成立した魚に対する追跡処理が完了する。図４に示すように、ラベル付与処理は、既存のラベルと同じラベルを付与する第１～８処理と、新規の個体を識別するためのラベルを付与する第９処理と、を有する。

［ラベル付与：第１処理］
第１処理（target tracking）は、加算対象の魚に対する処理である。第１処理は、図６に示すように、注目画像（ラベルを付与する画像）における第１魚１ｄと、注目画像よりも１～２枚過去の画像における第２魚１ｅ，１ｆとが、第１条件に合致する場合に、第１魚１ｄに対して第２魚１ｅ，１ｆと同じラベルを付与する処理である。具体的には、第１条件は、注目画像よりも１枚及び２枚前の過去画像における第２魚１ｅ，１ｆの位置に基づき注目画像における魚の位置を推定し（移動量に基づく推定）、推定した魚の位置を中心とする所定サイズの円の中に第１魚１ｄが存在することである。図６では、第１魚１ｄに、第２魚１ｅ，１ｆと同じラベル（ＩＤ：１）を付与することになる。

［ラベル付与：第２処理］
第２処理（no target tracking）は、加算対象ではない魚に対する処理である。第２処理は、図７に示すように、注目画像（ラベルを付与する画像）における第１魚１ｇと、注目画像よりも１～２枚過去の画像における第２魚１ｈ，１ｉとが、第２条件に合致する場合に、第１魚１ｇに対して第２魚１ｈ，１ｉと同じラベルを付与する処理である。具体的には、第２条件は、注目画像よりも１枚及び２枚前の過去画像における第２魚１ｈ，１ｉの位置に基づき注目画像における魚の位置を推定し（移動量に基づく推定）、推定した魚の位置を中心とする所定サイズの円の中に第１魚１ｄが存在することである。図７では、第１魚１ｄに、第２魚１ｈ，１ｉと同じラベル（ＩＤ：１０２）を付与することになる。

［ラベル付与：第３処理及び第４処理］
第３処理（target tracking(1 frame lost)）は、加算対象の魚に対する処理である。第４処理（no target tracking(1 frame lost)）は、加算対象でない魚に対する処理である。第３処理及び第４処理は、共に、注目画像の直前の過去画像（１枚前）にて魚が認識できないロスト状態になったとしても、追跡を可能とする処理である。

第３処理は、図８に示すように、注目画像における第４魚１ｊと、注目画像よりも２～３枚過去の画像における第３魚１ｋ，１Ｌとが、第３条件に合致する場合に、第４魚１ｊに対して第３魚１ｋ，１Ｌと同じラベルを付与する処理である。具体的には、第３条件は、注目画像よりも２及び３枚前の過去画像における第３魚１ｋ，１Ｌの位置に基づいて注目画像における魚の位置を推定し（移動量に基づく推定）、注目画像における魚のうち、推定された魚の位置と第２追跡成立条件を満たす第４魚１ｊが存在することである。第２追跡成立条件は、推定した魚の位置に対して最も近くにいることであるが、適宜変更してもよい。第４処理は、処理対象の魚が加算対象でない魚であり、処理の内容が第３処理と同じであるために説明を省略する。

すなわち、第３処理及び第４処理は、注目画像よりも２及び３枚前の過去画像における第３魚１ｋ，１Ｌの位置に基づいて注目画像における魚の位置を推定し、注目画像における魚のうち推定された魚の位置と第２追跡成立条件を満たす第４魚１ｊに対して第３魚１ｋ，１Ｌと同じラベルを付与する。

［ラベル付与：第５処理及び第６処理］
第５処理（target tracking(2 frame lost)）は、加算対象の魚に対する処理である。第６処理（no target tracking(2 frame lost)）は、加算対象でない魚に対する処理である。第５処理及び第６処理は、共に、注目画像の直前の過去画像（１枚前及び２枚前）にて魚が認識できないロスト状態になったとしても、追跡を可能とする処理である。

第５処理は、図９に示すように、注目画像における第４魚１ｏと、注目画像よりも３～４枚過去の画像における第３魚１ｐ，１ｑとが、第５条件に合致する場合に、第４魚１ｏに対して第３魚１ｐ，１ｑと同じラベルを付与する処理である。具体的には、第５条件は、注目画像よりも３及び４枚前の過去画像における第３魚１ｐ，１ｑの位置に基づいて注目画像における魚の位置を推定し（移動量に基づく推定）、注目画像における魚のうち、推定された魚の位置と第２追跡成立条件を満たす第４魚１ｏが存在することである。第２追跡成立条件は、推定した魚の位置に対して最も近くにいることであるが、適宜変更してもよい。第６処理は、処理対象の魚が加算対象でない魚であり、処理の内容が第５処理と同じであるために説明を省略する。

すなわち、第５処理及び第６処理は、注目画像よりも３及び４枚前の過去画像における第３魚１ｐ，１ｑの位置に基づいて注目画像における魚の位置を推定し、注目画像における魚のうち推定された魚の位置と第２追跡成立条件を満たす第４魚１ｏに対して第３魚１ｐ，１ｑと同じラベルを付与する。

［ラベル付与：第３～第６処理の総括］
すなわち、第３～６処理は、注目画像よりもＮ（Ｎは２以上の自然数）及びＮ＋１枚前の過去画像における第３魚１ｋ，１Ｌ［１ｐ，１ｑ］の位置に基づいて注目画像における魚の位置を推定し、注目画像における魚のうち推定された魚の位置と第２追跡成立条件を満たす第４魚１ｊ［１ｏ］に対して第３魚１ｋ，１Ｌ［１ｐ，１ｑ］と同じラベルを付与する。本実施形態では、Ｎ＝２、３を実施しているが、Ｎ≧４の処理を採用することも可能である。

［ラベル付与：第７処理］
第１～６処理は、複数枚の過去画像を用いて移動量の推定に基づきラベルを付与する処理であるが、魚が画像の端に近い場合には、推定が正しくない場合がある。画像の端で止まる場合に第１～６処理では補足できない場合がある。第７処理（no predict）は、そのための処理であり、必ず第１～６処理の後に実行する必要がある。第７処理は、注目画像の１枚前の過去画像における加算対象である第６魚１ｓに対し、注目画像において最も近い位置にいる第７魚１ｒに対して、第６魚１ｓと同じラベルを付与する。

第７処理を実行することにより、複数の過去画像を用いた移動量の推定により同一個体を識別できない場合（例えば魚が急に止まった場合等）であっても、同一個体であるとしてラベルの付与が可能となり、魚の追跡が可能となる。

［ラベル付与：第８処理］
第８処理は、図１１に示すように、注目画像の１枚前の過去画像において、互いに重なることにより１つの魚であると認識されていた複数の魚が、二手に分かれた場合に対する適切な処理である。具体的には、図１１に示すように、第８処理は、追跡処理（第１～６処理）が実行された後の注目画像におけるラベルが付与されていない第５魚１ｕに対して新規個体としてのラベル（ＩＤ＝２）を付与する。その後、ステータス設定部３３が、注目画像の１枚前の過去画像において第５魚１ｕに最も近い魚１ｔと同じのステータスを、第５魚１ｕのステータスに設定する。これにより、魚１ｔが加算対象のステータスであれば、第５魚１ｕも加算対象となる。したがって、加算対象の魚１ｔが分岐したとしても、第５魚１ｕも加算対象となるので、加算対象の魚の計数漏れを抑制又は防止することが可能となる。

［ラベル付与：第９処理］
第９処理は、第１～８処理でラベルが付与されなかった新規の個体に対して新たなラベルを付与する処理である。

［ラベル付与：処理順序］
第１～６処理の実行順序は、任意に変更可能である。しかし、第１～６処理の実行順序が任意であれば、次の不具合が生じる場合がある。例えば、図１３に示すように、加算対象である魚１ｄと、加算対象でない魚１ｇとが、現フレーム（注目画像）において交差する場合に、ラベル（ＩＤ）の入れ替わりが生じる場合がある。図１３の例では、注目画像における魚１ｄにＩＤ：１を付与し、注目画像における魚１ｇにＩＤ：１０２を付与することが正しい。しかし、例えば、加算対象に設定されている魚１ｅよりも先に、加算対象に設定されていない魚１ｈに対する追跡処理を行うと、注目画像における魚１ｄにＩＤ：１０２を付与してしまい、その後、加算対象である魚１ｅに対する追跡処理で、注目画像における魚１ｇにＩＤ：１が付与されてしまい、ラベルの入れ替わりが生じてしまう場合がある。特に、加算対象である魚のラベルを間違えてしまうと、計数漏れに直結することになり、好ましいとはいえない。

そこで、本実施形態では、追跡処理は、加算対象に設定されていない魚１ｈよりも、加算対象に設定された魚１ｅに対して先に実行されるように構成している。具体的には、ラベル付与部３２は、加算対象である魚のＩＤが小さくなり、加算対象でない魚のＩＤが大きくなるように、番号を付与する。そして、ＩＤが小さい魚の追跡処理を先に実行し、ＩＤが大きいも魚の追跡処理を後にしている。

［ステータス及び計数］
ステータス設定部３３は、図１２に示すステータスを設定する。ステータス「even」は、初期値である。ステータス「even」からステータス「target」又は「no_target_but_track」へ遷移可能である。ステータス「target」は、加算対象であることを示し、魚１の最も外側の座標が第１領域Ａｒ１内である場合に設定される。ステータス「target」からステータス「target_and_track」へ遷移可能である。ステータス「target_and_track」は、魚１の最も外側の座標が第３領域Ａｒ３内である場合に設定される。ステータス「target_and_track」において、第３領域Ａｒ３内にて連続する所定枚数の画像にて追跡可能になった場合（第１追跡成立条件が連続して所定回成立）に、ステータス「countable」へ遷移する。所定回は２以上の数である。ステータス「countable」は、加算対象であって、計数可能であることを示し、このステータスで第２領域Ａｒ２へ移動すると、計数部３４が魚の数を計数する（１加算する）。すなわち、計数部３４は、加算対象に設定された魚が、複数の画像における第３領域Ａｒ３内で第１追跡成立条件を連続して所定回満たした後、第２領域Ａｒ２に移動した場合に、当該魚を計数するように構成されている。勿論、ステータス「countable」を設けずに、ステータス「target_and_track」が第２領域Ａｒ２へ移動したときに魚を計数するようにしてもよい。

ステータス「no_target_but_track」は、加算対象ではないが追跡対象であることを示し、魚の最も外側の座標が第１領域Ａｒ１、第２領域Ａｒ２及び第３領域Ａｒ３のいずれの領域でもない場合（魚が所定の最外縁領域にいる場合）に設定される。ステータス「no_target_but_track」から「track_subtraction」へ遷移可能である。ステータス「track_subtraction」は、減算対象であることを示し、第３領域Ａｒ３にいる場合に設定される。ステータス「track_subtraction」から「subtractable」へ遷移可能である。ステータス「track_subtraction」において、第３領域Ａｒ３内にて連続する所定枚数の画像にて追跡可能になった場合（第１追跡成立条件が連続して所定回成立）に、ステータス「subtractable」へ遷移する。ステータス「subtractable」は、減算対象であって、減算可能であることを示し、このステータスで第１領域Ａｒ１へ移動すると、計数部３４が魚の数を減算する（１減算する）。勿論、ステータス「subtractable」を設けずに、ステータス「track_subtraction」が第１領域Ａｒ１へ移動したときに魚を計数するようにしてもよい。すなわち、本実施形態では、第２領域Ａｒ２を経て第１領域Ａｒ１に移動した魚が減算対象に設定されている場合に、当該魚を減算により計数する。

なお、ステータス「err_no_target_no_track」は、上記の通り、魚の抽出時に所定の除去条件に基づき設定される。

［報知部］
図１に示す報知部３５は、少なくとも１枚の画像に基づいて、撮影条件が異常であるか否かを判定し、撮影条件が異常であると判定した場合には、撮影条件が異常であることを外部に報知する。報知される内容として、カメラの向きが正しいかを判断した結果、カメラの設置方向を改善するためのアドバイス、パン方向に何度、チルト方向に何度に補正してくださいというメッセージ、ユーザによるカメラの向きを変更する画面において正常か異常であるかの表示、ログへの出力、カメラ向き自動補正部への補正指示などが挙げられる。

例えば、画像処理によってフラットネスを算出し、フラットネスが規定範囲を超える場合には、異常として報知する。フラットネスの異常は、太陽の映りこみ、魚網、構造物又は大型の浮遊物の映り込みなどが挙げられる。また、海水の混濁を算出し、混濁が規定範囲を超える場合には、異常として報知する。海水の混濁は、魚と背景のコントラスト比を用いて判断可能である。また、輝度を算出して輝度飽和状態であるかを判定し、輝度飽和状態である場合には異常として報知する。直射日光の移りこみは輝度飽和を招来する。また、輝度異常を報知することも可能である。背景に網や構造物等が写りこむと輝度低下が招来されるからである。

一例として、図１４に示す例が挙げられる。図１４に示すように、ステップＳＴ１０１において画像データの分散値を算出する。次のステップＳＴ１０２において分散値が規定値よりも小さいかを判定する。ステップＳＴ１０２において、分散値が規定値よりも小さいと判定した場合（ＳＴ１０２：ＹＥＳ）に、次のステップＳＴ１０３において、正常であると報知する。ステップＳＴ１０２において、分散値が規定値よりも小さくないと判定した場合（ＳＴ１０２：ＮＯ）に、次のステップＳＴ１０４において、異常であると報知する。

他の例として、図１５に示す例が挙げられる。図１５に示すように、ステップＳＴ２０１において画像データの分散値を算出する。次のステップＳＴ２０２において分散値が規定値よりも小さいかを判定する。ステップＳＴ２２０２において、分散値が規定値よりも小さいと判定した場合（ＳＴ２０２：ＹＥＳ）に、次のステップＳＴ２０３において、正常であると報知する。ステップＳＴ２０２において、分散値が規定値よりも小さくないと判定した場合（ＳＴ２０２：ＮＯ）に、次のステップＳＴ２０４において、画像データの輝度ピーク位置を算出する。次のステップＳＴ２０５において、明るさを均一にするためのカメラ方向を算出する。次のステップＳＴ２０６において、カメラ設置方向を変更するための変更情報を報知する。変更情報は、例えば現在のカメラ向きからの補正角度であってもよい。補正角度としては、例えばパン＋３０度やチルト－１０度といった情報が挙げられる。

以上のように、本実施形態の魚計数システム３は、魚１を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する画像取得部３０と、各々の画像について魚を抽出する抽出部３１と、魚の数を計数する計数部３４と、を備える。撮影領域は、第１領域Ａｒ１および第２領域Ａｒ２を有する。計数部３４は、第１領域Ａｒ１にいた魚が第２領域Ａｒ２に移動した場合に、魚を計数する。

本実施形態の魚計数方法は、魚を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得することと、各々の画像について魚を抽出することと、魚の数を計数することと、を含み、前記撮影領域は、第１領域および第２領域を有し、前記魚の数を計数することは、前記第１領域にいた魚が前記第２領域に移動した場合に、当該魚を計数する。

このように、第１領域Ａｒ１にいた魚が第２領域Ａｒ２に移動した場合に魚を計数するので、別生簀等から到来する方向を第１領域Ａｒ１から第２領域Ａｒ２に向かう方向に設定すれば、別生簀等から到来する計数すべき魚を計数可能となる。それでいて、画像内で回遊する魚が写ったとしても、回遊魚は第１領域Ａｒ１から第２領域Ａｒ２に移動しないので、回遊魚の誤計数を低減又は防止することが可能となる。

本実施形態のように、抽出された魚に対して個体を識別するためのラベルを付与するラベル付与部３２と、ラベルが付与された魚に対してステータスを設定するステータス設定部３３と、を備え、ステータス設定部３３は、第１領域Ａｒ１にいる魚に対して加算対象であることを示すステータスを設定し、計数部３４は、加算対象に設定された第１領域Ａｒ１にいた魚が第２領域Ａｒ２に移動したと判断した場合に、魚を計数することが好ましい。

このように、ラベルを付与することで魚の個体を識別して魚の挙動を追跡可能となり、加算対象であることを示すステータスを設定することで、第１領域Ａｒ１にいた魚が第２領域Ａｒ２に移動したことを判定可能となる。第１領域Ａｒ１にいた魚が第２領域Ａｒ２に移動したことを判定するための一つの好ましい構成である。

本実施形態のように、計数部３４は、第２領域Ａｒ２を経て第１領域Ａｒ１に移動した魚が減算対象に設定されている場合に、魚を計数することが好ましい。

この構成によれば、逆行する魚がいたとしても、減算対象に設定して減算することが可能となり、計数の精度を向上させることが可能となる。

本実施形態のように、前記撮影領域は、前記第１領域と前記第２領域との間に第３領域を有することが好ましい。

このように、第１領域Ａｒ１と第２領域Ａｒ２との間に第３領域Ａｒ３を有するので、第１領域Ａｒ１から出た加算対象の魚が即座に第２領域Ａｒ２に入るわけではなく、第１領域Ａｒ１から第２領域Ａｒ２に至るまでに、第３領域Ａｒ３を通過しなければならない場合が多くなる。魚は泳いでいるために直線状に進むことが多く、第１領域Ａｒ１から第３領域Ａｒ３を経て第２領域Ａｒ２に到達しやすいが、魚であると誤認識された浮遊物は第３領域Ａｒ３を経て第２領域Ａｒ２に至りにくい。よって、魚であると誤認識された浮遊物を魚として誤計数することを低減することが可能となる。

本実施形態のように、ラベル付与部３２は、注目画像における第１魚１ｄ［１ｇ］と、注目画像よりも過去の１又は複数の画像における第２魚１ｅ，１ｆ［１ｈ，１ｉ］とが、第１追跡成立条件を満たす場合に、第１魚１ｄ［１ｇ］に対して第２魚１ｅ，１ｆ［１ｈ，１ｉ］と同じラベルを付与する追跡処理を実行し、計数部３４は、加算対象に設定された魚が、複数の画像における第３領域Ａｒ３内で第１追跡成立条件を連続して所定回満たした後、第２領域Ａｒ２に移動した場合に、当該魚を計数することが好ましい。

第１追跡成立条件を満たす場合には、浮遊物の挙動ではなく、魚の挙動であると認識する場合が多い。そして、上記のように、第３領域Ａｒ３内で第１追跡成立条件を連続して所定回満たす場合は、浮遊物ではなく、魚である可能性が極めて高くなる。したがって、誤計数を低減することが可能となる。

本実施形態のように、ラベル付与部３２は、注目画像における第１魚１ｄ［１ｇ］と、注目画像よりも過去の１又は複数の画像における第２魚１ｅ，１ｆ［１ｈ，１ｉ］とが、第１追跡成立条件を満たす場合に、第１魚１ｄ［１ｇ］に対して第２魚１ｅ，１ｆ［１ｈ，１ｉ］と同じラベルを付与する追跡処理を実行し、追跡処理は、加算対象に設定されていない魚よりも、加算対象に設定された魚に対して先に実行されることが好ましい。

このように構成すれば、加算対象である魚１ｄと、加算対象でない魚１ｇとが、現フレーム（注目画像）において交差する場合であってもラベル（ＩＤ）の入れ替わりが生じることを低減又は防止することが可能となる。

本実施形態のように、ラベル付与部３２は、注目画像よりもＮ（Ｎは２以上の自然数）及びＮ＋１枚前の過去画像における第３魚１ｋ，１Ｌ［１ｐ，１ｑ］の位置に基づいて注目画像における魚の位置を推定し、注目画像における魚のうち推定された魚の位置と第２追跡成立条件を満たす第４魚１ｊ［１ｏ］に対して第３魚１ｋ，１Ｌ［１ｐ，１ｑ］と同じラベルを付与することが好ましい。

この構成によれば、注目画像の直前の過去画像（１～（Ｎ－１）枚前）にて魚が認識できないロスト状態になったとしても、追跡が可能となり、計数精度を向上させることが可能となる。

本実施形態のように、ラベル付与部３２は、注目画像における第１魚１ｄ［１ｇ］と、注目画像よりも過去の１又は複数の画像における第２魚１ｅ，１ｆ［１ｈ，１ｉ］とが、第１追跡成立条件を満たす場合に、第１魚１ｄ［１ｇ］に対して第２魚１ｅ，１ｆ［１ｈ，１ｉ］と同じラベルを付与する追跡処理を実行し、追跡処理が実行された後の注目画像におけるラベルが付与されてない第５魚１ｕに対して新規個体としてのラベルを付与し、ステータス設定部３３は、注目画像の１枚前の過去画像において第５魚１ｕに最も近い魚と同じステータスを第５魚１ｕに設定することが好ましい。

この構成によれば、過去画像において２つの魚が重なっている場合には、１つの魚と認識される。その後、魚が進んで二手に分かれても、近くの魚のステータスと同じステータスを新たな第５魚１ｕに設定する。よって、加算対象の魚１ｔが分岐して新たな第５魚１ｕが出現したとしても、第５魚１ｕも加算対象となるので、加算対象の魚の計数漏れを抑制又は防止することが可能となる。

本実施形態のように、少なくとも１枚の画像に基づいて、撮影条件が異常であると判定した場合に、撮影条件が異常であることを外部に報知する報知部３５を備えることが好ましい。

この構成によれば、撮影条件が異常である状態で撮影して計数することを低減し、誤計数を低減することが可能となる。

本実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。また、本実施形態に係るコンピュータに読み取り可能な一時記録媒体は、上記プログラムを記憶している。

図１に示す各部３０～３５は、所定プログラムを１又はプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。

上記実施形態のシステム３は、コンピュータのプロセッサによって各部３０～３５が実現されているが、各部３０～３５を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を１又は複数のプロセッサで実行してもよい。

以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

１ 魚
３０ 画像取得部
３１ 抽出部
３２ ラベル付与部
３３ ステータス設定部
３４ 計数部
３５ 報知部
Ａｒ１ 第１領域
Ａｒ２ 第２領域
Ａｒ３ 第３領域

Claims (11)

1. 魚を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する画像取得部と、
   各々の画像について魚を抽出する抽出部と、
   魚の数を計数する計数部と、を備え、
   前記撮影領域は、第１領域および第２領域を有し、
   前記計数部は、前記第１領域にいた魚が前記第２領域に移動した場合に、当該魚を計数する、魚計数システム。
2. 抽出された魚に対して個体を識別するためのラベルを付与するラベル付与部と、
   前記ラベルが付与された魚に対してステータスを設定するステータス設定部と、を備え、
   前記ステータス設定部は、前記第１領域にいる魚に対して加算対象であることを示すステータスを設定し、
   前記計数部は、前記加算対象に設定された前記第１領域にいた魚が前記第２領域に移動したと判断した場合に、当該魚を計数する、請求項１に記載のシステム。
3. 前記撮影領域は、前記第１領域と前記第２領域との間に第３領域を有する、請求項２に記載のシステム。
4. 前記計数部は、前記第２領域を経て前記第１領域に移動した魚が、前記第３領域内にて連続する所定枚数の画像にて追跡可能になった場合に設定される減算対象である場合に、当該魚を減算により計数する、請求項３に記載のシステム。
5. 前記ラベル付与部は、注目画像における第１魚と、前記注目画像よりも過去の１又は複数の画像における第２魚とが、第１追跡成立条件を満たす場合に、前記第１魚に対して前記第２魚と同じラベルを付与する追跡処理を実行し、
   前記計数部は、前記加算対象に設定された魚が、複数の画像における前記第３領域内で前記第１追跡成立条件を連続して所定回満たした後、前記第２領域に移動した場合に、当該魚を計数し、
   前記第１追跡成立条件は、前記過去の１又は複数の画像における前記第２魚の位置に基づいて推定される前記注目画像における所定範囲に、前記第１魚が存在することである、請求項３または４に記載のシステム。
6. 前記ラベル付与部は、注目画像における第１魚と、前記注目画像よりも過去の１又は複数の画像における第２魚とが、第１追跡成立条件を満たす場合に、前記第１魚に対して前記第２魚と同じラベルを付与する追跡処理を実行し、
   前記追跡処理は、前記加算対象に設定されていない魚よりも、前記加算対象に設定された魚に対して先に実行され、
   前記第１追跡成立条件は、前記過去の１又は複数の画像における前記第２魚の位置に基づいて推定される前記注目画像における所定範囲に、前記第１魚が存在することである、請求項２～５のいずれかに記載のシステム。
7. 前記ラベル付与部は、注目画像よりもＮ（Ｎは２以上の自然数）及びＮ＋１枚前の過去画像における第３魚の位置に基づいて前記注目画像における魚の位置を推定し、前記注目画像における魚のうち前記推定された魚の位置と最も近い第４魚に対して前記第３魚と同じラベルを付与する請求項２～６のいずれかに記載のシステム。
8. 前記ラベル付与部は、注目画像における第１魚と、前記注目画像よりも過去の１又は複数の画像における第２魚とが、第１追跡成立条件を満たす場合に、前記第１魚に対して前記第２魚と同じラベルを付与する追跡処理を実行し、
   前記追跡処理が実行された後の前記注目画像におけるラベルが付与されてない第５魚に対して新規個体としてのラベルを付与し、
   前記第１追跡成立条件は、前記過去の１又は複数の画像における前記第２魚の位置に基づいて推定される前記注目画像における所定範囲に、前記第１魚が存在することであり、 前記ステータス設定部は、前記注目画像の１枚前の過去画像において前記第５魚に最も近い魚と同じステータスを前記第５魚に設定する、請求項２～７のいずれかに記載のシステム。
9. 少なくとも１枚の前記画像に基づいて、撮影条件が異常であると判定した場合に、撮影条件が異常であることを外部に報知する報知部を備える、請求項１～８のいずれかに記載のシステム。
10. 魚計数方法であって、
    前記方法は、魚を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得することと、
    各々の画像について魚を抽出することと、
    魚の数を計数することと、を含み、
    前記撮影領域は、第１領域および第２領域を有し、
    前記魚の数を計数することは、前記第１領域にいた魚が前記第２領域に移動した場合に、当該魚を計数する、魚計数方法。
11. 請求項１０に記載の方法を１又は複数のプロセッサに実行させるプログラム。

Images