JP7006776B2 - 分析装置、分析方法、プログラムおよび水中生物監視システム - Google Patents

Description

本発明は、分析装置、分析方法、プログラムおよび水中生物監視システムに関する。

生簀や水槽で育成される水中生物（魚介類や海洋生物など）を監視するシステムの開発が求められている。監視システムは、例えば、生簀内の魚介類の大きさを推定し、市場に出荷するか否かの判定を行う。また、監視システムは、水槽や海などの水中に生息する生物の状態を検出も行う。なお、水槽や海中における魚類を撮影画像に基づいて判別する技術が、特許文献１及び特許文献２に開示されている。

特許文献１は、水棲生物の育成状態監視方法を開示しており、槽内を移動する魚類等の水棲生物の３次元位置を精度良く測定し、水棲生物の行動状態を監視するものである。すなわち、水槽の上方側（又は底側）と横側から撮影された魚の背側（又は腹側）の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれなどの部位毎に形状や大きさを推定する。また、魚の部位毎の形状や大きさを部位毎に与えられている複数のテンプレート画像を利用して推定する。

特許文献２は、移動体（魚類）の画像判別装置を開示しており、例えば、海中の魚類の生息量調査に適用される。すなわち、水中の魚を動画カメラと静止画カメラとによって撮影し、その動画及び静止画に基づいて魚影を観測する。なお、魚の大きさは画像サイズ（又は画素数）によって推定される。

特開２００３－２５０３８２号公報 特開２０１３－２０１７１４号公報

海中や水槽における水中生物を監視する際に、水質条件や気象条件などの撮影条件に応じて撮影画像の色味や輝度が変化するため、撮影画像に映る水中生物の特徴点を十分に認識できない可能性がある。一方、撮影画像に基づいて推定した水中生物の大きさは、魚類の育成状態に係る有用な情報として利用者に提供することができる。なお、魚類の育成状態に係る情報の提供を受ける利用者は、その情報提供サービスに対する対価を支払う前に、撮影画像における水中生物の特定度合（例えば、水中生物の特定数など）を知る必要がある。しかし、従来技術では、撮影画像に基づいて水中生物の数や種類を正確に判別することが困難であり、水中生物の育成状態に係る正確な情報を利用者に提供することが困難であった。

本発明は、上述の課題を解決するためになされたものであり、水中生物に関して正確な情報を提供することができる分析装置、分析方法、プログラムおよび水中生物監視システムを提供することを目的とする。

本発明の第一態様によれば、分析装置は、水中生物の撮影画像を取得する撮影画像取得部と、撮影画像における水中生物の特定度合に基づいて分析開始の判断資料情報を生成する事前分析部とを備える。

本発明の第二態様によれば、分析方法は、水中生物の撮影画像を取得し、撮影画像における水中生物の特定度合に基づいて分析開始の判断資料情報を生成する。

本発明の第三態様によれば、プログラムは、コンピュータに、水中生物の撮影画像を取得する処理過程と、撮影画像における水中生物の特定度合に基づいて分析開始の判断資料情報を生成する処理過程と、を実行させるプログラムである。

本発明の第四態様によれば、水中生物監視システムは、水中生物の画像を撮影する撮影装置と、撮影装置の撮影画像に映る水中生物の形状特徴を示す複数の特徴点について自動認識処理を行い、水中生物の特定度合を算出して分析開始の判断資料情報を生成する分析装置とを備える。分析装置は、判断資料情報に応じて分析開始指示を受けた場合に、水中生物の大きさについて統計情報を算出し、統計情報を含む監視報告情報を生成する。

本発明によれば、水中生物の撮影画像を取得し、撮影画像における水中生物の特定度合に基づいて分析開始の判断資料情報を生成するため、利用者（又は作業者）は、撮影画像における水中生物の特定度合を本分析開始前に知ることができる。

本発明の一実施形態に係る分析装置を備えた水中生物監視システムを示すシステム構成図である。 本発明の一実施形態に係る分析装置のハードウェア構成図である。 本発明の一実施形態に係る分析装置の機能ブロック図である。 水中生物監視システムのステレオカメラにより撮影された画像の一例を示す。 本発明の一実施形態に係る分析装置の情報取得処理を示すフローチャートである。 ステレオカメラにより撮影された第一撮影画像と第二撮影画像の例を示す。 本発明の一実施形態に係る分析装置の学習処理を示すフローチャートである。 本発明の一実施形態に係る分析装置の事前分析処理を示すフローチャートである。 本発明の一実施形態に係る分析装置により自動認識処理が施された撮影画像の一例を示す。 本発明の一実施形態に係る分析装置の本分析処理を示すフローチャートである。 本発明の一実施形態に係る分析装置による自動認識処理の結果に基づく自動認識画像の一例を示す。 本発明の一実施形態に係る分析装置による自動認識処理の結果に基づく自動認識画像の他の例を示す。 本発明の一実施形態に係る分析装置の最小構成を示すブロック図である。

本発明に係る水中生物の分析装置、分析方法、プログラムおよび水中生物監視システムについて、添付図面を参照して、実施形態とともに説明する。図１は、本発明による一実施形態に係る分析装置１を備えた水中生物監視システム１００を示すシステム構成図である。水中生物監視システム１００は、分析装置１、ステレオカメラ２、及び端末３を備える。ステレオカメラ２は、海中に設置された生簀４内で育成される水中生物を撮影できる位置に設置される。例えば、ステレオカメラ２は、直方体形状の生簀４の角に設置されており、生簀４の中心に撮影方向を向けて配置される。本実施形態では、生簀４内で魚を育成するものとして水中生物監視システム１００の機能及び動作を説明する。

生簀４の水中に設置されるステレオカメラ２は、端末３と通信接続される。ステレオカメラ２は、撮影方向の画像を撮影して、撮影画像を端末３へ送信する。端末３は、分析装置１と通信接続される。端末３は、ステレオカメラ２から受信した撮影画像を分析装置１へ送信する。分析装置１は、例えば、インターネットなどの通信ネットワークに接続されたサーバ装置である。また、分析装置１は、サービス提供先端末５（以下、「端末５」と称する）と通信接続される。

分析装置１は、端末３を介してステレオカメラ２から受信した撮影画像と、その撮影画像に映る水中生物の形状特徴を特定するための特徴点と、に基づいて機械学習を行う。分析装置１は、機械学習により生成された学習データを用いて自動認識処理を行い、撮影画像内における水中生物の形状特徴を特定する特徴点を推定する。分析装置１は、撮影画像に映る水中生物の特徴点に基づいて、水中生物の大きさに関する報告を端末５へ送出する。一例として、分析装置１は、生簀４で育成する魚の特徴点に基づいて、魚体サイズを推定する。分析装置１は、魚体サイズの統計情報を含む監視報告を生成する。

上記の監視報告を生成するにあたり、分析装置１は、事前分析を行い、事前分析において撮影画像内の水中生物の特定度合を含む分析開始の判断資料情報を生成する。分析装置１は、判断資料情報を端末５へ送出する。端末５の利用者（又は、作業者）は、判断資料情報に含まれる水中生物（魚）の特定度合を確認して、本分析の開始を指示するか判断する。作業者は、端末５を操作して、本分析を開始するか否かを示す本分析開始指示を分析装置１へ送信する。分析装置１は、端末５から受信した本分析開始指示に従って本分析を開始する。

図２は、分析装置１のハードウェア構成図である。分析装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、データベース１０４、及び通信モジュール１０５を具備する。分析装置１は、通信モジュール１０５を介して端末３と通信する。なお、端末３及び５も分析装置１と同様のハードウェア構成を備える。

図３は、分析装置１の機能ブロック図である。分析装置１の起動後、ＣＰＵ１０１はＲＯＭ１０２などの記憶部に予め記憶されたプログラムを実行することにより、図２に示す機能部を実現する。
具体的には、分析装置１の起動後、記憶部に予め記憶された情報取得プログラムを実行することにより、分析装置１には、撮影画像取得部１１及び特徴指定受付部１２が実装される。また、分析装置１の起動後に、記憶部に予め記憶された機械学習プログラムを実行することにより、分析装置１には、学習部１３が実装される。さらに、分析装置１の起動後に、記憶部に予め記憶された特徴推定プログラムを実行することにより、分析装置１には、学習データ取得部１４、事前分析部１０１、特徴点推定部１５、同一個体特定部１６、データ破棄部１７、大きさ推定部１８、報告書情報生成部１０２、及び出力部１９が実装される。

撮影画像取得部１１は、端末３を介してステレオカメラ２から撮影画像を取得する。特徴指定受付部１２は、撮影画像に映る魚体一体が収まる矩形範囲や魚体一体における複数の特徴点の入力を受け付ける。学習部１３は、ステレオカメラ２から受信した撮影画像と、撮影画像に映る水中生物の形状特徴を特定するための特徴点とに基づいて機械学習を行う。なお、機械学習については後述する。学習データ取得部１４は、学習部１３により生成された学習データを取得する。特徴点推定部１５は、学習データを用いた自動認識処理により撮影画像に映る魚の形状特徴を特定する特徴点を推定する。事前分析部１０１は、撮影画像における魚の特定度合に基づいて分析開始の判断資料情報を生成し、その判断資料情報を端末５へ送出する。同一個体特定部１６は、ステレオカメラ２から得られた２つの撮影画像それぞれに映る同一個体の魚を特定する。データ破棄部１７は、自動認識処理により推定した魚の複数の特徴点の関係が異常である場合に、その推定結果を破棄する。大きさ推定部１８は、撮影画像内の魚の特徴点に基づいて魚の大きさを推定する。なお、魚の大きさは、本実施形態においては、魚の体長、体高、重量などである。報告書情報生成部１０２は、撮影画像から特定された魚の尾叉長、体高、重量、並びにそれらの数値の統計情報を用いて監視報告情報を生成する。出力部１９は、大きさ推定部１８の推定した魚の大きさに基づいて出力情報を生成し、その出力情報を所定の出力先へ送出する。

図４は、ステレオカメラ２により撮影された画像の一例を示す。ステレオカメラ２は、所定間隔を隔てて配置された２つのレンズ２１、２２を備え、左右のレンズ２１、２２に入射した光を撮像素子で捉えて２つの撮影画像を同一タイミングで撮影する。また、ステレオカメラ２は、所定の時間間隔で画像を撮影する。ここで、右側レンズ２１に対応して第一撮影画像を生成し、左側レンズ２２に対応して第二撮影画像を生成するものとする。図４は、第一撮影画像と第二撮影画像のうちの一方の撮影画像を示す。第一撮影画像と第二撮影画像の映る同一の魚の個体の位置は、レンズ２１、２２の位置に応じて画像中の位置に僅かな差異が生じる。ステレオカメラ２は、例えば、１秒間に数枚又は数十枚の撮影画像を生成する。ステレオカメラ２は、撮影画像を分析装置１へ順次送信する。分析装置１は、撮影画像の取得時刻、撮影時刻、第一撮影画像、第二撮影画像を紐づけてデータベース１０４へ順次記録する。

図５は、分析装置１の情報取得処理を示すフローチャートである（ステップＳ１０１～Ｓ１０６）。図６は、第一入力画像と第入力二画像の例を示す。
次に、分析装置１の情報取得処理について説明する。分析装置１は、起動後に、端末３を介してステレオカメラ２から撮影画像を順次取得する（Ｓ１０１）。このとき、撮影画像取得部１１は、ステレオカメラ２により同時刻に撮影された第一撮影画像と第二撮影画像との組み合わせを順次取得する。分析装置１は、新たに入力した撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１や特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４が自動認識できる程度の学習データが生成できる数量の撮影画像を順次取得する。撮影画像取得部１１は、第一撮影画像と第二撮影画像のそれぞれに識別情報（ＩＤ）を付与する。撮影画像取得部１１は、第一撮影画像とＩＤ、第二撮影画像とＩＤをそれぞれ紐づけるとともに、同時刻に生成された第一撮影画像と第二撮影画像とを紐づけてデータベース１０４に記録する（Ｓ１０２）。

そして、作業者の操作に応じて特徴指定受付部１２が処理を開始する。特徴指定受付部１２は、ステレオカメラ２から得た撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１と、魚体一体の複数の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受け付ける（Ｓ１０３）。具体的には、特徴指定受付部１２は、作業者により指定された撮影画像において第一矩形範囲Ａ１と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受付けるための第一入力画像Ｇ１、第二入力画像Ｇ２を含む入力アプリケーション画面を生成してモニタに表示する（Ｓ１０４）。このとき、特徴指定受付部１２は、ステレオカメラ２の左右のレンズ２１、２２で撮影された第一撮影画像と第二撮影画像のそれぞれについて、第一矩形範囲Ａ１と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受け付けるための入力アプリケーション画面を生成してモニタに表示してもよい。

特徴指定受付部１２は、入力アプリケーション画面上で作業者により指定された撮影画像を示す第一入力画像Ｇ１をモニタに表示する。作業者は、第一入力画像Ｇ１において魚体が含まれるようマウスなどの入力装置を用いて、第一矩形範囲Ａ１を指定する。特徴指定受付部１２は、第一矩形範囲Ａ１を拡大した第二入力画像Ｇ２を示す入力アプリケーション画面を生成してモニタに表示する。

作業者は、第二入力画像Ｇ２において、魚の形状特徴を特定するための特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指定する。なお、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、複数の画素を含む所定の円形範囲であってもよい。特徴点Ｐ１は、魚の口先端位置を示す円形範囲である。特徴点Ｐ２は、魚の尾ひれが二股に分かれる中央凹み部分の外縁の位置を示す円形範囲である。特徴点Ｐ３は、魚の背ひれ前方の付根位置を示す円形範囲である。特徴点Ｐ４は、魚の腹ひれ前方の付根位置を示す円形範囲である。作業者は、これらの位置に対応する特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を指定する必要があることを認識しているものとする。また、入力アプリケーション画面において、作業者が指摘できる円形範囲の大きさは予め規定されている。特徴指定受付部１２は、入力アプリケーション画面におけるマウスポインタの位置や、作業者のマウスボタンのクリック操作に応じて、第一入力画像Ｇ１から指定された第一矩形範囲Ａ１を示す座標と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を示す座標と、をＲＡＭ１０３などの記憶部に一時的に記憶する。これらの座標は、撮影画像の基準位置（例えば、撮影画像の矩形範囲の左上角の画素位置）を原点として決めてもよい。

特徴指定受付部１２は、入力アプリケーション画面において指定された第一矩形範囲Ａ１の座標と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の座標と、撮影画像のＩＤと、魚体一体に関する情報を識別するための魚体ＩＤとを紐づけてデータベース１０４に記録する（Ｓ１０５）。

特徴指定受付部１２は、第一撮影画像と第二撮影画像のそれぞれについて上述の処理を行うようにしてもよい。このとき、特徴指定受付部１２は、魚体に関する情報を識別するための魚体ＩＤと、第一撮影画像ＩＤと第一撮影画像の第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の組み合わせと、同一魚体に関する情報を識別するための魚体ＩＤと、第二撮影画像ＩＤと第二撮影画像の第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の組み合わせと、が紐づくようにデータベース１０４に記録する。通常、撮影画像には複数の魚が撮影されている。作業者は、１つの撮影画像に映る複数の魚のうち魚体全体が写っている魚について、第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指定することにより、特徴指定受付部１２がそれらの情報を取得して、データベース１０４に記録する。

特徴指定受付部１２は、作業者による撮影画像の指定が終了したか判定する（Ｓ１０６）。作業者が、次の撮影画像を指定した場合、特徴指定受付部１２は、上述のステップＳ１０３乃至Ｓ１０５を繰り返す。

次に、分析装置１の学習処理について説明する。図７は、分析装置１の学習処理を示すフローチャートである（ステップＳ２０１～Ｓ２０５）。作業者が指定した全ての撮影画像について上述の情報取得処理を終了すると、作業者の操作に応じて学習部１３が学習処理を開始する（Ｓ２０１）。学習部１３は、データベース１０４に記録されている１つの魚体ＩＤを選択し、その魚体ＩＤに紐づく情報を取得する（Ｓ２０２）。この情報は、撮影画像、第一矩形範囲Ａの座標、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の座標を含む。学習部１３は、撮影画像における第一矩形範囲Ａ１内の座標における画素値と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲内の座標における画素値を正解データとして、ＡｌｅｘＮｅｔなどの畳み込みニューラルネットワークを用いた機械学習を行う（Ｓ２０３）。学習部１３は、第一矩形範囲Ａ１における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲内の座標における画素値、及び第一矩形範囲Ａ１内の座標における画素値などに基づいて機械学習を行う。その後、学習部１３は、次の魚体ＩＤに紐づく情報がデータベース１０４に記録されているか否かを判定する（Ｓ２０４）。学習部１３は、次の魚体ＩＤが存在する場合には、その魚体ＩＤについてステップＳ２０２乃至Ｓ２０３を繰り返す。

そして、学習部１３は、撮影画像に映る魚体一体が収まる矩形範囲を自動特定するための第一学習データを生成する。また、学習部１３は、撮影画像に映る魚体一体の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を自動特定するための第二学習データを生成する。第一学習データは、例えば、新たに取得した撮影画像内に設定した矩形範囲が魚体一体のみを含む矩形範囲であるか否かの判定結果を出力するためのニューラルネットワークを決定するためのデータである。第二学習データは、例えば、撮影画像内に設けた範囲が特徴点Ｐ１を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ２を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ３を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ４を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を含まない範囲かの判定結果を出力するためのニューラルネットワークを決定するためのデータである。学習部１３は、第一学習データと第二学習データとをデータベース１０４に記録する（Ｓ２０５）。

上述の学習処理により、分析装置１は、撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１と、魚体一体の複数の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４と、を自動認識するための学習データを生成することができる。

上述の機械学習処理において、学習部１３は、データベース１０４に記録されている正解データとなる撮影画像に対して増殖処理（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を行って、増殖された多くの正解データを用いて第一学習データや第二学習データを生成するようにしてもよい。なお、正解データの増殖処理につては、公知の手法を用いることができる。例えば、Ｒａｎｄｏｍ Ｃｒｏｐ手法、Ｈｏｒｉｚｏｎｔａｌ Ｆｌｉｐ手法、第一Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法、第二Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法、第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法などを利用することができる。

Ｒａｎｄｏｍ Ｃｒｏｐ手法では、学習部１３は、例えば、撮影画像を２５６画素×２５６画素の画像にリサイズし、そのリサイズ画像から２２４画素×２２４画素の画像をランダムに複数取り出して、新たな撮影画像とする。学習部１３は、新たな撮影画像を用いて上述の機械学習処理を行う。Ｈｏｒｉｚｏｎｔａｌ Ｆｌｉｐ手法では、学習部１３は、撮影画像の画素を水平方向に反転して新たな撮影画像とする。学習部１３は、新たな撮影画像を用いて上述の機械学習処理を行う。

第一Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法は、撮影画像内の画素のＲＧＢ値を３次元ベクトルの集合とみなして、分析装置１が３次元ベクトルの主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行う。そして、学習部１３は、ガウス分布を用いてノイズを生成し、撮影画像の画素に対して主成分分析によるＲＧＢの３次元ベクトルの固有ベクトル方向にノイズを加えて新たな画像を生成する。学習部１３は、新たな画像を用いて機械学習処理を行う。この手法は、学習部１３が、撮影画像の色情報の主成分分析により定めた色空間における色情報の主成分の分散が最大となる方向（軸方向）に撮影画像の色情報を変化させた複数の撮影画像を用いて学習データを生成する手法の一態様である。学習部１３により、撮影画像の色の主成分の傾向に応じて正解データの増殖を行い、その増殖後の正解データを用いて学習処理を行うので、増殖後の色成分について増殖前の色成分と離れた正解データを用いることなく、学習処理を行うことができる。これにより、分析装置１は、学習処理により得られた学習データによる自動認識処理の精度を高めることができる。

第二Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法では、学習部１３は、撮影画像の画素のコントラスト、明度、及びＲＧＢ値を例えば０．５倍乃至１．５倍の範囲でランダムに変更する。その後、学習部１３は、第一Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法と同様の手法により、新たな画像を生成する。学習部１３は、新たな画像を用いて機械学習処理を行う。

第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎでは、学習部１３は、異なる撮影環境条件下において撮影された異なる色味の撮影画像を、基準撮影条件下における撮影画像の色彩に補正する。そして、学習部１３は、その補正を施した後の撮影画像における第一矩形範囲と複数の特徴点とに基づいて、第一学習データと第二学習データを生成するよう機械学習処理を行う。水中で魚を撮影する場合、撮影場所や水質、季節、天候によって、撮影画像の色彩が変化することがある。正解データがカラー映像の場合、分析装置１は、色味が異なる撮影画像に基づいて学習データを生成すると、その学習データを用いて特徴点を正確に認識できないことが想定される。従って、学習部１３は、正解データとして、撮影場所や水質、季節、天候などについて様々な撮影条件下で撮影された撮影画像を取得する。そして、学習部１３は、それらの撮影画像を用いて学習処理を行う際に、全ての正解データの撮影画像における水の色が同じ色になるように、撮影画像全体に色補正を行う。分析装置１の特徴点推定部１５は、色補正に係る情報（例えば、色補正係数など）を撮影条件とともに記憶する。その後、特徴点推定部１５は新たな撮影画像から魚体を含む矩形範囲や魚体の特徴点を認識する際に、撮影条件ンと色補正情報の組み合わせを取得する。特徴点推定部１５は、複数の撮影条件から最も撮影画像に近い撮影条件を選択し、その撮影条件に対応する色補正情報を用いて撮影画像に色補正を施す。特徴点推定部１５は、その色補正後の撮影画像を用いて自動認識処理を行う。上述のように、学習部１３は、異なる色味に対応する異なる撮影条件下で撮影された撮影画像について色彩を統一することにより、正解データとなる撮影画像の撮影条件を仮想的に統一して正解データを生成し、その正解データを用いて適切に学習処理を行うことができる。このため、分析装置１は、学習処理により得られた学習データによる自動認識処理の精度を高めることができる。

学習部１３は、撮影画像に対する複数の増殖処理手法のうち１つを用いてもよく、或いは、複数の増殖処理を用いてもよい。作業者は、複数の増殖処理手法の全部を組み合わせて一度に用いずに、１つの手法、２つの手法、３つの手法のように徐々に複数の手法の組み合わせ数を増加して生成した学習データに基づく評価を行う。なお、作業者は、増殖処理手法を追加して撮影画像の第一矩形範囲Ａ１や特徴点を特定しても、その認識精度が改善しない場合には、複数の手法の組み合わせにより生成した学習データの採用を中止する。

学習部１３は、増殖した正解データとなる複数の撮影画像を記憶し、複数の撮影画像中に類似度が一致する撮影画像が含まれる場合には、類似度の高い撮影画像を学習処理に使用しないようにしてもよい。例えば、学習部１３は、増殖した正解データとなる複数の撮影画像それぞれに対してスコア（例えば、スカラー値、ベクトル値）を生成して、撮影画像間のスコアを比較する。学習部１３は、スコアの近い撮影画像のうちの一方を不要な画像と判定する。学習部１３は、不要と判定した撮影画像の傾向を捉えるために、それらの撮影画像の画素のＲＧＢ値について主成分分析を行う。学習部１３は、主成分分析により算出した主成分（固有ベクトル）とその閾値を記憶する。学習部１３は、新たに増殖処理により生成された撮影画像に対して固有ベクトルを用いて主成分得点（固有ベクトルとＲＧＢ値の内積）を画素毎に求めて集計する。その集計値と閾値とを比較して、集計値が閾値を超える場合には、新たに生成した撮影画像を学習処理に利用しないと判定する。上述の処理により、無駄な撮影画像の増殖を抑えることができる。

次に、分析装置１の事前分析処理について説明する。図８は、分析装置１の事前分析処理を示すフローチャートである（ステップＳ８０１～Ｓ８１５）。分析装置１は、生簀４で育成される魚のサイズの統計情報を生成する前に、事前分析処理を行う。事前分析処理を行う前に、分析装置１は、ステレオカメラ２が所定時間中に生成した撮影画像データを受信する（Ｓ８０１）。分析装置１は、撮影画像データに含まれる所定時間間隔で撮影した撮影画像を順次取得する。このとき、撮影画像取得部１１は、同時刻に撮影された第一撮影画像と第二撮影画像とを取得する。撮影画像取得部１１は、第一撮影画像と第二撮影画像にそれぞれ識別情報（ＩＤ）を付与する。撮影画像取得部１１は、第一撮影画像とＩＤ、第二撮影画像とＩＤ、を紐づけるとともに、第一撮影画像と第二撮影画像とを紐づけて、新たな自動認識処理対象の撮影画像としてデータベース１０４に記録する（Ｓ８０２）。ステレオカメラ２は、撮影開始から所定の撮影時間経過後に撮影を終了する。所定の撮影時間は、例えば、撮影対象である魚が生簀４の中心を軸として一方向に連続して回遊する場合、一個体が生簀４内を一回転回遊する時間であってもよい。なお、所定の撮影時間は、予め定めてもよい。撮影画像取得部１１は、撮影画像データの受信が停止すると、撮影画像取得処理を停止する。これにより、所定の時間間隔で生成された第一撮影画像と第二撮影画像との組み合わせが複数データベース１０４に記録される。なお、撮影画像データは、動画像データを構成する撮影画像であってもよく、或いは、静止画像データを構成する撮影画像であってもよい。

撮影画像取得部１１は、ステレオカメラ２の左右のレンズ２１、２２に対応する動画像データを取得した場合、動画像データを構成する複数の撮影画像のうち所定時間間隔の撮影時刻に対応する撮影画像を魚の特徴点の自動認識対象として、順次取得してもよい。所定時間間隔は、例えば、魚が矩形範囲の撮影画像の左右の一端から他端まで通り過ぎる時間としてもよい。分析装置１は、所定時間間隔で取得した撮影画像を用いて、その撮影画像に映る一体又は複数体の魚体の特徴点を推定する。

そして、作業者の事前分析開始指示又は撮影画像の取得完了を検出して、事前分析部１０１は事前分析処理を開始する（Ｓ８０３）。事前分析部１０１は、学習データ取得部１４に学習データの取得を指示する。学習データ取得部１４は、データベース１０４に記録されている第一学習データと第二学習データとを取得して、事前分析部１０１へ送出する。事前分析部１０１は、データベース１０４から１つ目の対の第一撮影画像と第二撮影画像とをそれらの画像ＩＤに応じて取得する（Ｓ８０４）。事前分析部１０１は、撮影画像に対して第一学習データに基づいて特定されたニューラルネットワークを用いて自動認識処理を開始し、撮影画像において魚体一体が含まれる第二矩形範囲Ａ２（図９参照）を特定する（Ｓ８０５）。

次に、事前分析部１０１は、第二矩形範囲Ａ２の画素と、第二学習データに基づいて特定されるニューラルネットワークとを用いて自動認識処理を開始し、第二矩形範囲Ａ２における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する（Ｓ８０６）。このとき、事前分析部１０１は、第二矩形範囲Ａ２の中心座標を基準に上下左右に例えば数ピクセルから数十ピクセル程度拡大して第三矩形範囲Ａ３を設定するか、或いは、第二矩形範囲Ａ２の大きさを数十パーセント拡大した第三矩形範囲Ａ３を設定し、その第三矩形範囲Ａ３の画素と、第二学習データに基づいて特定されたニューラルネットワークとを用いて自動認識処理を行う。第二矩形範囲Ａ２を第三矩形範囲Ａ３に拡大することにより、背景画像をより多く取り込むことができるので、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の認識精度を向上することができる。

図９は、上述の自動認識処理を施した撮影画像の一例を示す。事前分析部１０１は、撮影画像に映る複数の魚体のうち何れかの魚体を囲む第二矩形範囲Ａ２、又は第二矩形範囲Ａ２を拡大した第三矩形範囲Ａ３を特定する。なお、事前分析部１０１は、撮影画像の上下左右の端部において魚の頭や尾ひれなどが切れているような撮影画像についても推定処理により特徴点を特定する。しかし、データ破棄部１７は、撮影画像の端部の外に推定された特徴点を含む推定結果を特徴点の座標に基づいて検出し、その推定結果に係るデータを破棄するようにしてもよい。

事前分析部１０１は、同時刻に撮影された第一撮影画像と第二撮影画像のそれぞれについて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する。第一撮影画像に映る魚体と第二撮影画像に映る魚体とが同一個体を示す魚体となるよう機械学習によって調整されるため、第一学習データは、学習部１３によって生成された学習データである。これにより、ステレオカメラ２から取得した２つの撮影画像における同一魚体を示す第二矩形範囲Ａ２を特定するための学習データを生成することができる。また、事前分析部１０１は、第一撮影画像と第二撮影画像のそれぞれに映る魚の同一個体を囲む第二矩形範囲Ａ２を特定する。事前分析部１０１は、第一撮影画像と第二撮影画像それぞれにおいて特定した第二矩形範囲Ａ２に含まれる魚体の魚体ＩＤを生成し、その魚体ＩＤと撮影画像において特定した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の代表座標（例えば、中心の座標）を、魚の特徴点の自動認識結果としてデータベース１０４に記録する（Ｓ８０７）。

事前分析部１０１は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は、第二矩形範囲Ａ２を拡大した第三矩形範囲Ａ３を特定できるか判定する（Ｓ８０８）。事前分析部１０１は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できる場合、上述のステップＳ８０５乃至Ｓ８０７を繰り返す。他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できない場合、事前分析部１０１は、事前分析処理に必要な数の撮影画像の処理を終了したか判定する（Ｓ８０９）。事前分析処理に必要な数の撮影画像は、一例としては、ステップＳ８０１で取得した撮影画像データに含まれる複数の撮影画像のうち、所定の割合の数の撮影画像や、所定のデータ量に含まれる数の撮影画像であってもよい。例えば、事前分析部１０１は、ステップＳ８０１で取得した撮影画像データが動画像データである場合、最初の５分間の動画像データに含まれる撮影画像の枚数を、事前分析処理の対象と特定する。

事前分析部１０１は、事前分析処理に必要な数の撮影画像の処理を終了していない場合、ステップＳ８０４乃至Ｓ８０８を繰り返す。特徴点推定部１５は、事前分析処理に必要な数の撮影画像の処理を終了した場合には、本分析開始の判断資料情報の生成を開始する（Ｓ８１０）。

事前分析部１０１は、判断資料情報の生成にあたり、ステップＳ８０７により繰り返しデータベース１０４に記録された自動認識処理結果の情報を取得する（Ｓ８１１）。事前分析部１０１は、自動認識処理結果の情報に含まれる複数の魚体ＩＤの数をカウントする。事前分析部１０１は、事前分析処理に用いた撮影画像の数と、それら撮影画像から特定した魚体を示す魚体ＩＤの数を処置の特定度合算出式に入力し、撮影画像における魚の特定度合を算出してもよい。事前分析部１０１は、魚体ＩＤの数に応じた魚の特定数などを示す特定度合（又は、特定度数）を含む本分析開始の判断資料情報を生成する（Ｓ８１２）。事前分析部１０１は、判断資料情報を、ステップＳ８０１にて受信した撮影画像データの送信元のステレオカメラ２に対応して予め定められたサービス提供先端末５へ送信する（Ｓ８１３）。

サービス提供先端末５を利用して生簀４を回遊する魚を監視する利用者は、判断資料情報に含まれる魚の特定数などの特定度合に基づいて、本分析の開始を依頼するか判定する。利用者は、本分析の開始を依頼する場合、端末５へ本分析開始指示を入力する。端末５は、本分析開始指示を分析装置１へ送信する。分析装置１の事前分析部１０１は、本分析開始指示を受信すると（Ｓ８１４）、特徴点推定部１５へ本分析開始の指示を行う（Ｓ８１５）。本分析開始指示には、事前分析を行った撮影画像の送信元のステレオカメラ２の情報や、ステレオカメラ２が設置されている生簀４の魚を監視する利用者の識別情報（ＩＤ）などが含まれている。

上述の処理により、端末５の利用者は、生簀４で育成される魚などの水中生物を撮影した撮影画像における魚体の特定度合を本分析の開始前に事前に知ることができる。利用者は、特定度合に応じて本分析開始の指示を分析装置１に行い、分析装置１は、生簀４の魚などの水中生物の大きさに関する統計情報を含む監視報告情報を生成することができる。

なお、事前分析部１０１は、魚体ＩＤの数の代わりに、撮影画像の画素のＲＧＢ値から撮影画像の色味の統計値を判定し、その色味を示すＲＧＢ値の統計値の色空間における座標に基づいて、魚体の特定度合を示す数値を算出してもよい。例えば、撮影画像のＲＧＢ値の統計値による特定度合の数値が水質や撮影画像の明度が十分であることを示す所定範囲内である場合には、利用者は、魚などの水中生物の形態特徴が撮影画像に基づいて十分に特定できる環境であると判断することができる。この場合、事前分析部１０１は、１つ又は複数の撮影画像の画素のＲＧＢ値の統計値を特定度合算出式に入力して、魚体の特定度合を示す数値を算出することができる。

次に、分析装置１の本分析処理について説明する。図１０は、分析装置１の本分析処理を示すフローチャートである（ステップＳ９０１～Ｓ９１４）。
特徴点推定部１５は、事前分析部１０１から本分析開始指示を受信すると、学習データ取得部１４に学習データの取得を指示する。学習データ取得部１４は、データベース１０４に記録されている第一学習データと第二学習データとを取得して、特徴点推定部１５へ送出する。特徴点推定部１５は、１つ目の対の第一学習データと第二学習データを、それらの画像ＩＤやステレオカメラ２のＩＤや利用者識別情報（ユーザＩＤ）に応じてデータベース１０４から取得する（Ｓ９０１）。特徴点推定部１５は、撮影画像に対して、第一学習データに基づいて特定されたニューラルネットワークを用いた自動認識処理を開始し、撮影画像において魚体一体が含まれる第二矩形範囲Ａ２を特定する（Ｓ９０２）。

なお、学習部１３により第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法により基準撮影条件における色彩に補正した撮影画像を用いて学習処理が行われていることを前提として特徴点推定部１５の処理を説明する。この場合、特徴点推定部１５は、ステップＳ９０１で取得した撮影画像を第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法と同様に補正し、その補正後の撮影画像に映る水中生物の特徴点を推定する。このように、特徴点推定部１５により第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法を用いて生成された学習データを用いて自動認識処理を行うことにより、水中生物の特徴点の自動認識精度を高めることができる。

次に、特徴点推定部１５は、第二矩形範囲Ａ２の画素と、第二学習データに基づいて特定されるニューラルネットワークとを用いて自動認識処理を開始し、第二矩形範囲Ａ２における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する（Ｓ９０３）。なお、第二矩形範囲Ａ２の中心座標を基準に上下左右に数ピクセルから数十ピクセル程度拡大して第三矩形範囲Ａ３を設定するか、或いは、第二矩形範囲Ａ２の大きさを数十パーセント拡大して第三矩形範囲Ａ３を設定してもよい。すなわち、特徴点推定部１５は、第三矩形範囲Ａ３の画素について自動認識処理を行って、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定してもよい。第三矩形範囲Ａ３を用いることで、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の認識精度を向上することができる。

特徴点推定部１５は、同時刻に撮影された第一撮影画像と第二撮影画像とのそれぞれについて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する。第一学習データは、第一撮影画像に映る魚体と第二撮影画像に映る魚体とが同一個体の魚体を示すように機械学習により調整されているため、学習部１３により生成された学習データである。これにより、特徴点推定部１５は、第一撮影画像と第二撮影画像のそれぞれに映る同一個体の魚体を含む第二矩形範囲Ａ２を特定する。特徴点推定部１５は、第一撮影画像と第二撮影画像のそれぞれについて特定した第二矩形範囲Ａ２に含まれる魚体に魚体ＩＤを付して、その魚体ＩＤと撮影画像において特定した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の代表座標（例えば、中心座標）を、魚の特徴点の自動認識処理の結果としてデータベース１０４に記録する（Ｓ９０４）。特徴点推定部１５は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できるか判定する（Ｓ９０５）。特徴点推定部１５は、他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できる場合には、ステップＳ９０２乃至Ｓ９０４を繰り返す。他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できない場合には、特徴点推定部１５は、次の未処理の自動認識処理に供する撮影画像の画像ＩＤがデータベース１０４に記録されているか否か判定する（Ｓ９０６）。次の未処理の自動認識処理に供する撮影画像の画像ＩＤがデータベース１０４に記録されている場合、特徴点推定部１５は、ステップＳ９０１乃至Ｓ９０５を繰り返す。一方、次の未処理の自動認識処理に供する撮影画像の画像ＩＤがデータベース１０４に記録されていない場合、特徴点推定部１５は、自動認識処理を終了する。

図１１は、自動認識処理の結果に基づく自動認識画像の一例を示す。図１１に示すように、特徴点推定部１５は、第一撮影画像（例えば、右側レンズ２１により撮影された画像）において、第二矩形範囲Ａ２－Ｒ１又は第三矩形範囲Ａ３－Ｒ１を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｒ１又は第三矩形範囲Ａ３－Ｒ１において、特徴点Ｐ１－Ｒ１、Ｐ２－Ｒ２、Ｐ３－Ｒ１、Ｐ４－Ｒ１を特定する。また、特徴点推定部１５は、第二撮影画像（例えば、左側レンズ２２により撮影された画像）において、第二矩形範囲Ａ２－Ｌ１又は第三矩形範囲Ａ３－Ｌ１を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｌ１又は第三矩形範囲Ａ３－Ｌ１において、特徴点Ｐ１－Ｌ１、Ｐ２－Ｌ２、Ｐ３－Ｌ１、Ｐ４－Ｌ１を特定する。

図１２は、自動認識処理の結果に基づく自動認識画像の他の例を示す。特徴点推定部１５は、第一撮影画像に映る他の魚の特徴点も特定する。具体的には、特徴点推定部１５は、第一撮影画像において他の第二矩形範囲Ａ２―Ｒ２又は他の第三矩形範囲Ａ３―Ｒ２を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｒ２又は第三矩形範囲Ａ３－Ｒ２において、特徴点Ｐ１－Ｒ２、Ｐ２－Ｒ２、Ｐ３－Ｒ２、Ｐ４－Ｒ２を特定する。また、特徴点推定部１５は、第一撮影画像においてさらに第二矩形範囲Ａ２―Ｒ３又は他の第三矩形範囲Ａ３―Ｒ３を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｒ３又は第三矩形範囲Ａ３－Ｒ３において、特徴点Ｐ１－Ｒ３、Ｐ２－Ｒ３、Ｐ３－Ｒ３、Ｐ４－Ｒ３を特定する。

特徴点推定部１５は、第二撮影画像に映る他の魚の特徴点も特定する。具体的には、特徴点推定部１５は、第二撮影画像において他の第二矩形範囲Ａ２―Ｌ２又は他の第三矩形範囲Ａ３―Ｌ２を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｌ２又は第三矩形範囲Ａ３－Ｌ２において、特徴点Ｐ１－Ｌ２、Ｐ２－Ｌ２、Ｐ３－Ｌ２、Ｐ４－Ｌ２を特定する。また、特徴点推定部１５は、第二撮影画像においてさらに第二矩形範囲Ａ２―Ｌ３又は他の第三矩形範囲Ａ３―Ｌ３を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｌ３又は第三矩形範囲Ａ３－Ｌ３において、特徴点Ｐ１－Ｌ３、Ｐ２－Ｌ３、Ｐ３－Ｌ３、Ｐ４－Ｌ３を特定する。

特徴点推定部１５は、撮影画像に含まれる魚体の特徴点や第二矩形範囲Ａ２や第三矩形範囲Ａ３に係る情報を魚体ＩＤに紐づけてデータベース１０４に記録する。出力部１９は、自動認識処理の結果に基づく自動認識画像（図１２）を作業者が利用する端末３（又は、端末５）のモニタに表示してもよい。この場合、作業者が選択した画像ＩＤに対応する第一撮影画像と第二撮影画像において、それぞれ対応する魚体を含む第二矩形範囲Ａ２や第三矩形範囲Ａ３と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４をモニタに表示する。第一撮影画像や第二撮影画像において、複数の魚体を認識できた場合は、出力部１９は、例えば、同一個体に係る魚体を含む第二矩形範囲Ａ２や第三矩形範囲Ａ３の枠の色を同じ色に設定するか、或いは、魚体の個体毎に異なる色を設定して、モニタに表示してもよい。

特徴点推定部１５は、全ての自動認識処理対象の撮影画像について魚の特徴点の自動認識処理を終了すると、大きさ推定部１８に魚体の大きさの推定処理の開始を指示する。大きさ推定部１８は、魚の特徴点の自動認識処理の結果から、未選択の魚体ＩＤに紐づく第一撮影画像から抽出した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の代表座標と、第二撮影画像から抽出した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の代表座標を読み取る（Ｓ９０７）。大きさ推定部１８は、一例として、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）手法などの公知の３次元座標換算手法を用いて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応する３次元空間における３次元座標を算出する（Ｓ９０８）。ＤＬＴ手法では、撮影画像中の点の座標と実際の２次元座標及び３次元座標との関係を表す較正係数を予め計算しておき、較正係数を用いて撮影画像内の点から３次元座標を求める。

大きさ推定部１８は、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の３次元座標に基づいて、特徴点Ｐ１に対応する３次元座標と特徴点Ｐ２に対応する３次元座標とを結ぶ尾叉長と、特徴点Ｐ３に対応する３次元座標と特徴点Ｐ４に対応する３次元座標とを結ぶ体高とを算出する（Ｓ９０９）。大きさ推定部１８は、尾叉長と体高を変数として魚の重量を算出する重量算出式に、尾叉長と体高とを代入して、魚の重量を算出する（Ｓ９１０）。大きさ推定部１８は、魚の特徴点の自動認識処理の結果から全ての魚体ＩＤを選択して魚の大きさを算出したか判定する（Ｓ９１１）。魚の特徴点の自動認識処理の結果から全ての魚体ＩＤを選択して魚の大きさを算出していない場合には、大きさ推定部１８はステップＳ９０７乃至Ｓ９１０を繰り返す。

報告書情報生成部１０２は、魚体ＩＤに対応する尾叉長、体高、及び重量に基づいて、生簀４で育成されている魚の統計情報を算出する（Ｓ９１２）。報告書情報生成部１０２は、魚体ＩＤに対応する尾叉長、体高、重量やそれらの統計情報を示す監視報告情報を生成する（Ｓ９１３）。出力部１９は、監視報告情報をサービス提供先端末５へ送信する（Ｓ９１４）。サービス提供先端末５の利用者は、監視報告情報に含まれる魚の尾叉長、体高、重量やそれらの統計情報を確認し、生簀４で育成される魚の状態を確認して出荷時期を決定する。

上述のように、第一学習データや第二学習データを用いた自動認識処理により、撮影画像に映る魚などの水中生物の形状特徴を特定する特徴点を推定する。分析装置１は、第一学習データや第二学習データを予め生成しておくことで、認識処理対象である多数の魚のテンプレート画像をデータベースに記録することなく、学習データを用いた自動認識処理により、魚の特徴点を高い精度で特定することができる。また、分析装置１は、撮影画像に映る多数の魚の特徴に基づいて魚の大きさの統計情報を生成することができる。これにより、魚などの水中生物の統計情報の提供サービスを受ける利用者は、監視対象となる水中生物の育成状態を統計情報の取得する度に知ることができる。

なお、事前分析処理は、ステレオカメラ２や端末３に事前分析処理部１０１を備えて行うようにしてもよい。また、事前分析処理によって生成される本分析開始の判断資料情報は、統計情報提供サービスの対価を課金する前に利用者に提供される。そのため、利用者は、無償で数回の判断資料情報の提供を受けてもよい。

上述の処理において、同一個体特定部１６は、第一撮影画像と第二撮影画像に映る同一個体の魚体を認識する。具体的には、同一個体特定部１６は、特徴点推定部１５からの要求に応じて、第一撮影画像と第二撮影画像のそれぞれにおいて特定された第二矩形範囲Ａ２の座標を特徴点推定部１５から取得する。同一個体特定部１６は、第一撮影画像から特定した第二矩形範囲Ａ２と、第二撮影画像から特定した第二矩形範囲Ａ２のいずれか一方において、他方と重なる範囲が、所定閾値（例えば、７０％）以上であるか判定する。第一撮影画像の第二矩形範囲Ａ２と、第二撮影画像の第二矩形範囲Ａ２のいずれか一方において、他方と重なる範囲が所定閾値以上である場合、同一個体特定部１６は、２つの第二矩形範囲Ａ２に含まれる魚体は同一個体であると判定する。なお、第一撮影画像と第二撮影画像の何れか一方において認識した複数の第二矩形範囲Ａ２が、他方において認識した一つ又は複数の第二矩形範囲Ａ２と、所定閾値（例えば、７０％）以上で重なっていることがある。この場合、同一個体特定部１６は、第一撮影画像と第二撮影画像との間で最も重なる範囲が広い第二矩形範囲Ａ２の組み合せを特定し、その組み合わせに係る第二矩形範囲Ａ２に映る魚体は同一個体であると判定してもよい。

また、同一個体特定部１６は、第一撮影画像から特定した特徴点と、第二撮影画像か特定した特徴点との位置のずれに基づいて、第一撮影画像と第二撮影画像における第二矩形範囲Ａ２に映る魚体が同一個体であると判定してもよい。具体的には、同一個体特定部１６は、第一撮影画像の第二矩形範囲Ａ２から特定した特徴点それぞれについて、第二撮影画像の第二矩形範囲Ａ２から特定した特徴点との位置ずれを算出する。同一個体特定部１６は、この位置ずれが所定値未満である場合、２つの第二矩形範囲Ａ２に映る魚体は同一個体であると判定する。或いは、同一個体特定部１６は、第一撮影画像と第二撮影画像とにおいて選択した第二矩形範囲Ａ２内に占める魚体の面積を算出する。同一個体特定部１６は、２つの第二矩形範囲Ａ２に占める魚体の面積の差が所定閾値（例えば、１０％）以内であれば、それらの第二矩形範囲Ａ２に映る魚体は同一個体であると判定する。

上記の説明においては、魚の特徴点を推定する事例について分析装置１の処理を説明したが、水中生物は魚に限定されるものではなく、他の水中生物（例えば、イカ、イルカ、クラゲなど）であってもよい。すなわち、分析装置１は、所定の水中生物に応じた特徴点を推定してもよい。

データ破棄部１７は、大きさ推定部１８により算出された魚の尾叉長、体高、及び重量の推定値が正確でないと判定できる所定条件に合致する場合には、それらの推定値を破棄してもよい。例えば、データ破棄部１７は、推定値が「推定値の平均値＋標準偏差×２」の範囲に含まれない場合には、その推定値は正確ではないと判定してもよい。

また、データ破棄部１７は、魚などの水中生物に対する自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係が、特徴点の平均位置関係や事前に登録されている基準位置関係と比較して著しく乖離している場合には、その自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄してもよい。例えば、特徴点Ｐ１とＰ２を結ぶ尾叉長の線より腹ひれの特徴点Ｐ４が撮影画像において上方に位置する場合には、データ破棄部１７は、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄する。また、尾叉長と体高との比が、平均値や基準値と比較して２０％以上乖離している場合には、データ破棄部１７は、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄する。

データ破棄部１７は、情報が正確でないと判定できる所定条件に関する基準スコア値を記憶し、所定条件に応じた自動認識処理の結果のスコア値を算出して、そのスコア値が基準スコア値以上或いは未満の場合に、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を自動的に破棄してもよい。また、データ破棄部１７は、データ破棄の判定がなされた自動認識処理の結果の情報を含む確認情報をモニタに表示し、作業者からデータ破棄了承の操作を受け付けた場合に、データ破棄の判定がなされた自動認識処理の結果の情報を破棄してもよい。上記のデータ破棄部１７の処理により、水中生物の特徴点に基づいて算出する水中生物の大きさの統計情報の精度を高めることができる。

図１３は、分析装置１の最小構成を示す。分析装置１は、撮影画像取得部１１と事前分析部１０１とを備える。撮影画像取得部１１は、ステレオカメラ２などの撮影装置から水中生物の撮影画像を取得し、事前分析部１０１は、撮影画像における水中生物の特定度合に基づく分析開始お判断資料情報を生成する。

図３において、分析装置１は、学習データ取得部１４と、特徴点推定部１５とを備えればよい。学習データ取得部１４は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を特定するための特徴点とに基づいて機械学習により生成された学習データを取得する。特徴点推定部１５は、学習データを用いた自動認識処理により撮影画像に映る水中生物の形状特徴を特定する特徴点を推定する。

分析装置１は、内部にコンピュータシステムを有しており、上述の処理過程はコンピュータプログラムとしてコンピュータ読取可能な記憶媒体に記憶されており、コンピュータがコンピュータプログラムを読み出して実行することにより、上述の処理過程を実現する。ここで、コンピュータ読取可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどを意味する。また、コンピュータプログラムを通信回線経由でコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。

上記のコンピュータプログラムは、前述の分析装置１の機能の一部を実現するものであってもよい。また、前述の機能をコンピュータシステムに既に記録されているプリインストールプログラムとの組み合わせで実現するような差分ファイル（差分プログラム）であってもよい。

最後に、本発明について上述の実施形態を用いて詳細に説明したが、本発明は実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内における種々の改造や設計変更をも包含するものである。

本願は、２０１８年４月１３日に、日本国に出願された特願２０１８－７７８５３号に基づき優先権を主張し、その内容をここに援用する。

本発明は、生簀などで育成される魚などの水中生物の形状特徴を分析して監視し、その監視報告を利用者に提供するものであるが、水中生物は魚に限定されず、他の水中生物であってもよい。また、監視対象は、生簀内の水産物に限定されるものではなく、例えば、海洋における水棲生物の形状特徴を分析して監視することも可能である。

１ 分析装置
２ ステレオカメラ
３、５ 端末
１１ 撮影画像取得部
１２ 特徴指定受付部
１３ 学習部
１４ 学習データ取得部
１５ 特徴点推定部
１６ 同一個体特定部
１７ データ破棄部
１８ 大きさ推定部
１９ 出力部
１００ 水中生物監視システム
１０１ 事前分析部
１０２ 報告書情報生成部

Claims (10)

1. 水中生物の撮影画像を取得する撮影画像取得部と、
   前記撮影画像において特定した前記水中生物の数に基づいて前記水中生物の特定度合を算出し、当該特定度合に基づいて分析開始の判断資料情報を生成する事前分析部と、
   を備える分析装置。
2. 前記事前分析部は、自動認識処理に従って前記撮影画像に映る前記水中生物を特定し、前記自動認識処理の結果に基づいて前記水中生物の特定度合を算出する、
   請求項１に記載の分析装置。
3. 前記事前分析部は、同時刻に撮影された複数の撮影画像において特定した前記水中生物の数に基づいて前記特定度合を算出する、
   請求項１に記載の分析装置。
4. 前記判断資料情報に応じて分析開始指示を受けた場合、前記撮影画像に映る前記水中生物の特徴点に基づいて前記水中生物の大きさを推定する大きさ推定部を更に備える、
   請求項１に記載の分析装置。
5. 前記大きさ推定部により推定された前記水中生物の大きさに基づいて、複数の撮影画像において特定した複数の水中生物の統計情報を含む監視報告情報を生成する報告書情報生成部を更に備える、
   請求項４に記載の分析装置。
6. 前記撮影画像に映る前記水中生物の形状特徴を特定する複数の特徴点について学習処理を行って学習データを生成する学習部と、
   前記学習データを用いた自動認識処理により、前記撮影画像に映る前記水中生物の形状特徴を特定する前記複数の特徴点を推定する特徴点推定部と、
   を更に備え、
   前記事前分析部は、前記自動認識処理の結果に基づいて前記水中生物の特定度合を算出する、
   請求項１に記載の分析装置。
7. 前記特徴点推定部は、前記撮影画像において前記水中生物を含む矩形範囲を設定し、前記矩形範囲内の前記水中生物の形状特徴を示す前記複数の特徴点を前記自動認識処理により推定する、
   請求項６に記載の分析装置。
8. 水中生物の撮影画像を取得し、
   前記撮影画像において特定した前記水中生物の数に基づいて前記水中生物の特定度合を算出し、当該特定度合に基づいて分析開始の判断資料情報を生成する、
   分析方法。
9. コンピュータに、
   水中生物の撮影画像を取得する処理過程と、
   前記撮影画像において特定した前記水中生物の数に基づいて前記水中生物の特定度合を算出し、当該特定度合に基づいて分析開始の判断資料情報を生成する処理過程と、
   を実行させるプログラム。
10. 水中生物の画像を撮影する撮影装置と、
    前記撮影装置の撮影画像に映る前記水中生物の形状特徴を示す複数の特徴点について自動認識処理を行い、前記水中生物の数に基づいて前記水中生物の特定度合を算出し、当該特定度合に基づいて分析開始の判断資料情報を生成する分析装置と、
    を備え、
    前記分析装置は、前記判断資料情報に応じて分析開始指示を受けた場合に、前記水中生物の大きさについて統計情報を算出し、前記統計情報を含む監視報告情報を生成する、
    水中生物監視システム。

Images