JPWO2019198611A1 - 特徴推定装置および特徴推定方法 - Google Patents

Abstract

特徴推定装置は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する。

Description

本発明は、水中生物の特徴推定装置および特徴推定方法に関する。

生簀や水槽で育成される水中生物（魚介類や海洋生物など）を監視するシステムの開発が求められている。監視システムは、例えば、生簀内の魚介類の大きさを推定し、市場に出荷するか否かの判定を行う。また、監視システムは、水槽や海などの水中に生息する生物の状態を検出も行う。なお、水槽や海中における魚類を撮影画像に基づいて判別する技術が、特許文献１及び特許文献２に開示されている。

特許文献１は、水棲生物の育成状態監視方法を開示しており、槽内を移動する魚類等の水棲生物の３次元位置を精度良く測定し、水棲生物の行動状態を監視するものである。すなわち、水槽の上方側（又は底側）と横側から撮影された魚の背側（又は腹側）の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれなどの部位毎に形状や大きさを推定する。また、魚の部位毎の形状や大きさを部位毎に与えられている複数のテンプレート画像を利用して推定する。

特許文献２は、移動体（魚類）の画像判別装置を開示しており、例えば、海中の魚類の生息量調査に適用される。すなわち、水中の魚を動画カメラと静止画カメラとによって撮影し、その動画及び静止画に基づいて魚影を観測する。なお、魚の大きさは画像サイズ（又は画素数）によって推定される。

特開２００３−２５０３８２号公報 特開２０１３−２０１７１４号公報

海中や水槽における水中生物を監視する際に、水質条件や気象条件などの撮影条件に応じて撮影画像の色味や輝度が変化するため、撮影画像に映る水中生物の特徴点を十分に認識できない可能性がある。従来技術では、撮影画像に基づいて水中生物の数や種類を正確に判別することが困難である。また、水中生物の大きさを推定する際に、高い精度で水中生物の特徴点を推定する必要がある。

本発明は、上述の課題を解決するためになされたものであり、撮影画像に映る水中生物の特徴点を高い精度で推定することができる特徴推定装置および特徴推定方法を提供することを目的とする。

本発明の第一態様は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する学習データ取得部と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴点推定部と、を備える特徴推定装置である。

本発明の第二態様は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴推定方法である。

本発明の第三態様は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する処理過程と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する処理過程と、をコンピュータに実行させるプログラムを記憶した記憶媒体である。

本発明によれば、水中生物の撮影画像を取得し、撮影画像に映る水中生物の形状特徴を示す特徴点を機械学習と自動認識処理により高精度で推定できるため、水中生物の大きさを高い精度で推定することができる。

本発明の一実施形態に係る特徴推定装置を備えた水中生物監視システムを示すシステム構成図である。 本発明の一実施形態に係る特徴推定装置のハードウェア構成図である。 本発明の一実施形態に係る特徴推定装置の機能ブロック図である。 水中生物監視システムのステレオカメラにより撮影された画像の一例を示す。 本発明の一実施形態に係る特徴推定装置の情報取得処理を示すフローチャートである。 ステレオカメラにより撮影された第一撮影画像と第二撮影画像の例を示す。 本発明の一実施形態に係る特徴推定装置の学習処理を示すフローチャートである。 本発明の一実施形態に係る特徴推定装置の自動認識処理を示すフローチャートである。 本発明の一実施形態に係る特徴推定装置により自動認識処理が施された撮影画像の一例を示す。 本発明の一実施形態に係る特徴推定装置による自動認識処理の結果に基づく自動認識画像の一例を示す。 本発明の一実施形態に係る特徴推定装置による自動認識処理の結果に基づく自動認識画像の他の例を示す。 本発明の一実施形態に係る特徴推定装置の最小構成を示すブロック図である。

本発明に係る水中生物の特徴推定装置及び特徴推定方法について、添付図面を参照して、実施形態とともに説明する。図１は、本発明による一実施形態に係る分析装置１を備えた水中生物監視システム１００を示すシステム構成図である。水中生物監視システム１００は、特徴推定装置１、ステレオカメラ２、及び端末３を備える。ステレオカメラ２は、海中に設置された生簀４内で育成される水中生物を撮影できる位置に設置される。例えば、ステレオカメラ２は、直方体形状の生簀４の角に設置されており、生簀４の中心に撮影方向を向けて配置される。本実施形態では、生簀４内で魚を育成するものとして水中生物監視システム１００の機能及び動作を説明する。

生簀４の水中に設置されるステレオカメラ２は、端末３と通信接続される。ステレオカメラ２は、撮影方向の画像を撮影して、撮影画像を端末３へ送信する。端末３は、特徴推定装置１と通信接続される。端末３は、ステレオカメラ２から受信した撮影画像を特徴推定装置１へ送信する。特徴推定装置１は、例えば、インターネットなどの通信ネットワークに接続されたサーバ装置である。

特徴推定装置１は、端末３を介してステレオカメラ２から受信した撮影画像と、その撮影画像に映る水中生物の形状特徴を特定するための特徴点と、に基づいて機械学習を行う。特徴推定装置１は、機械学習により生成された学習データを用いて自動認識処理を行い、撮影画像内における水中生物の形状特徴を特定する特徴点を推定する。

図２は、特徴推定装置１のハードウェア構成図である。特徴推定装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、データベース１０４、及び通信モジュール１０５を具備する。特徴推定装置１は、通信モジュール１０５を介して端末３と通信する。なお、端末３も分析装置１と同様のハードウェア構成を備える。

図３は、特徴推定装置１の機能ブロック図である。特徴推定装置１の起動後、ＣＰＵ１０１はＲＯＭ１０２などの記憶部に予め記憶されたプログラムを実行することにより、図２に示す機能部を実現する。
具体的には、特徴推定装置１の起動後、記憶部に予め記憶された情報取得プログラムを実行することにより、特徴推定装置１には、撮影画像取得部１１及び特徴指定受付部１２が実装される。また、特徴推定装置１の起動後に、記憶部に予め記憶された機械学習プログラムを実行することにより、特徴推定装置１には、学習部１３が実装される。さらに、特徴推定装置１の起動後に、記憶部に予め記憶された特徴推定プログラムを実行することにより、特徴推定装置１には、学習データ取得部１４、特徴点推定部１５、同一個体特定部１６、データ破棄部１７、大きさ推定部１８、及び出力部１９が実装される。

撮影画像取得部１１は、端末３を介してステレオカメラ２から撮影画像を取得する。特徴指定受付部１２は、撮影画像に映る魚体一体が収まる矩形範囲や魚体一体における複数の特徴点の入力を受け付ける。学習部１３は、ステレオカメラ２から受信した撮影画像と、撮影画像に映る水中生物の形状特徴を特定するための特徴点とに基づいて機械学習を行う。なお、機械学習については後述する。学習データ取得部１４は、学習部１３により生成された学習データを取得する。特徴点推定部１５は、学習データを用いた自動認識処理により撮影画像に映る魚の形状特徴を特定する特徴点を推定する。同一個体特定部１６は、ステレオカメラ２から得られた２つの撮影画像それぞれに映る同一個体の魚を特定する。データ破棄部１７は、自動認識処理により推定した魚の複数の特徴点の関係が異常である場合に、その推定結果を破棄する。大きさ推定部１８は、撮影画像内の魚の特徴点に基づいて魚の大きさを推定する。なお、魚の大きさは、本実施形態においては、魚の体長、体高、重量などである。出力部１９は、大きさ推定部１８の推定した魚の大きさに基づいて出力情報を生成し、その出力情報を所定の出力先へ送出する。

図４は、ステレオカメラ２により撮影された画像の一例を示す。ステレオカメラ２は、所定間隔を隔てて配置された２つのレンズ２１、２２を備え、左右のレンズ２１、２２に入射した光を撮像素子で捉えて２つの撮影画像を同一タイミングで撮影する。また、ステレオカメラ２は、所定の時間間隔で画像を撮影する。ここで、右側レンズ２１に対応して第一撮影画像を生成し、左側レンズ２２に対応して第二撮影画像を生成するものとする。図４は、第一撮影画像と第二撮影画像のうちの一方の撮影画像を示す。第一撮影画像と第二撮影画像の映る同一の魚の個体の位置は、レンズ２１、２２の位置に応じて画像中の位置に僅かな差異が生じる。ステレオカメラ２は、例えば、１秒間に数枚又は数十枚の撮影画像を生成する。ステレオカメラ２は、撮影画像を特徴推定装置１へ順次送信する。分析装置１は、撮影画像の取得時刻、撮影時刻、第一撮影画像、第二撮影画像を紐づけてデータベース１０４へ順次記録する。

図５は、特徴推定装置１の情報取得処理を示すフローチャートである（ステップＳ１０１〜Ｓ１０６）。図６は、第一入力画像と第二入力画像の例を示す。
次に、特徴推定装置１の情報取得処理について説明する。特徴推定装置１は、起動後に、端末３を介してステレオカメラ２から撮影画像を順次取得する（Ｓ１０１）。このとき、撮影画像取得部１１は、ステレオカメラ２により同時刻に撮影された第一撮影画像と第二撮影画像との組み合わせを順次取得する。特徴推定装置１は、新たに入力した撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１や特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４が自動認識できる程度の学習データが生成できる数量の撮影画像を順次取得する。撮影画像取得部１１は、第一撮影画像と第二撮影画像のそれぞれに識別情報（ＩＤ）を付与する。撮影画像取得部１１は、第一撮影画像とＩＤ、第二撮影画像とＩＤをそれぞれ紐づけるとともに、同時刻に生成された第一撮影画像と第二撮影画像とを紐づけてデータベース１０４に記録する（Ｓ１０２）。

そして、作業者の操作に応じて特徴指定受付部１２が処理を開始する。特徴指定受付部１２は、ステレオカメラ２から得た撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１と、魚体一体の複数の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受け付ける（Ｓ１０３）。具体的には、特徴指定受付部１２は、作業者により指定された撮影画像において第一矩形範囲Ａ１と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受付けるための第一入力画像Ｇ１、第二入力画像Ｇ２を含む入力アプリケーション画面を生成してモニタに表示する（Ｓ１０４）。このとき、特徴指定受付部１２は、ステレオカメラ２の左右のレンズ２１、２２で撮影された第一撮影画像と第二撮影画像のそれぞれについて、第一矩形範囲Ａ１と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受け付けるための入力アプリケーション画面を生成してモニタに表示してもよい。

特徴指定受付部１２は、入力アプリケーション画面上で作業者により指定された撮影画像を示す第一入力画像Ｇ１をモニタに表示する。作業者は、第一入力画像Ｇ１において魚体が含まれるようマウスなどの入力装置を用いて、第一矩形範囲Ａ１を指定する。特徴指定受付部１２は、第一矩形範囲Ａ１を拡大した第二入力画像Ｇ２を示す入力アプリケーション画面を生成してモニタに表示する。

作業者は、第二入力画像Ｇ２において、魚の形状特徴を特定するための特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指定する。なお、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、複数の画素を含む所定の円形範囲であってもよい。特徴点Ｐ１は、魚の口先端位置を示す円形範囲である。特徴点Ｐ２は、魚の尾ひれが二股に分かれる中央凹み部分の外縁の位置を示す円形範囲である。特徴点Ｐ３は、魚の背ひれ前方の付根位置を示す円形範囲である。特徴点Ｐ４は、魚の腹ひれ前方の付根位置を示す円形範囲である。作業者は、これらの位置に対応する特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を指定する必要があることを認識しているものとする。また、入力アプリケーション画面において、作業者が指摘できる円形範囲の大きさは予め規定されている。特徴指定受付部１２は、入力アプリケーション画面におけるマウスポインタの位置や、作業者のマウスボタンのクリック操作に応じて、第一入力画像Ｇ１から指定された第一矩形範囲Ａ１を示す座標と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を示す座標と、をＲＡＭ１０３などの記憶部に一時的に記憶する。これらの座標は、撮影画像の基準位置（例えば、撮影画像の矩形範囲の左上角の画素位置）を原点として決めてもよい。

特徴指定受付部１２は、入力アプリケーション画面において指定された第一矩形範囲Ａ１の座標と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の座標と、撮影画像のＩＤと、魚体一体に関する情報を識別するための魚体ＩＤとを紐づけてデータベース１０４に記録する（Ｓ１０５）。

特徴指定受付部１２は、第一撮影画像と第二撮影画像のそれぞれについて上述の処理を行うようにしてもよい。このとき、特徴指定受付部１２は、魚体に関する情報を識別するための魚体ＩＤと、第一撮影画像ＩＤと第一撮影画像の第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の組み合わせと、同一魚体に関する情報を識別するための魚体ＩＤと、第二撮影画像ＩＤと第二撮影画像の第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の組み合わせと、が紐づくようにデータベース１０４に記録する。通常、撮影画像には複数の魚が撮影されている。作業者は、１つの撮影画像に映る複数の魚のうち魚体全体が写っている魚について、第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指定することにより、特徴指定受付部１２がそれらの情報を取得して、データベース１０４に記録する。

特徴指定受付部１２は、作業者による撮影画像の指定が終了したか判定する（Ｓ１０６）。作業者が、次の撮影画像を指定した場合、特徴指定受付部１２は、上述のステップＳ１０３乃至Ｓ１０５を繰り返す。

次に、特徴推定装置１の学習処理について説明する。図７は、特徴推定装置１の学習処理を示すフローチャートである（ステップＳ２０１〜Ｓ２０５）。作業者が指定した全ての撮影画像について上述の情報取得処理を終了すると、作業者の操作に応じて学習部１３が学習処理を開始する（Ｓ２０１）。学習部１３は、データベース１０４に記録されている１つの魚体ＩＤを選択し、その魚体ＩＤに紐づく情報を取得する（Ｓ２０２）。この情報は、撮影画像、第一矩形範囲Ａの座標、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の座標を含む。学習部１３は、撮影画像における第一矩形範囲Ａ１内の座標における画素値と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲内の座標における画素値を正解データとして、ＡｌｅｘＮｅｔなどの畳み込みニューラルネットワークを用いた機械学習を行う（Ｓ２０３）。学習部１３は、第一矩形範囲Ａ１における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲内の座標における画素値、及び第一矩形範囲Ａ１内の座標における画素値などに基づいて機械学習を行う。その後、学習部１３は、次の魚体ＩＤに紐づく情報がデータベース１０４に記録されているか否かを判定する（Ｓ２０４）。学習部１３は、次の魚体ＩＤが存在する場合には、その魚体ＩＤについてステップＳ２０２乃至Ｓ２０３を繰り返す。

そして、学習部１３は、撮影画像に映る魚体一体が収まる矩形範囲を自動特定するための第一学習データを生成する。また、学習部１３は、撮影画像に映る魚体一体の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を自動特定するための第二学習データを生成する。第一学習データは、例えば、新たに取得した撮影画像内に設定した矩形範囲が魚体一体のみを含む矩形範囲であるか否かの判定結果を出力するためのニューラルネットワークを決定するためのデータである。第二学習データは、例えば、撮影画像内に設けた範囲が特徴点Ｐ１を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ２を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ３を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ４を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を含まない範囲かの判定結果を出力するためのニューラルネットワークを決定するためのデータである。学習部１３は、第一学習データと第二学習データとをデータベース１０４に記録する（Ｓ２０５）。

上述の学習処理により、特徴推定装置１は、撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１と、魚体一体の複数の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４と、を自動認識するための学習データを生成することができる。

上述の機械学習処理において、学習部１３は、データベース１０４に記録されている正解データとなる撮影画像に対して増殖処理（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を行って、増殖された多くの正解データを用いて第一学習データや第二学習データを生成するようにしてもよい。なお、正解データの増殖処理につては、公知の手法を用いることができる。例えば、Ｒａｎｄｏｍ Ｃｒｏｐ手法、Ｈｏｒｉｚｏｎｔａｌ Ｆｌｉｐ手法、第一Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法、第二Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法、第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法などを利用することができる。

Ｒａｎｄｏｍ Ｃｒｏｐ手法では、学習部１３は、例えば、撮影画像を２５６画素×２５６画素の画像にリサイズし、そのリサイズ画像から２２４画素×２２４画素の画像をランダムに複数取り出して、新たな撮影画像とする。学習部１３は、新たな撮影画像を用いて上述の機械学習処理を行う。Ｈｏｒｉｚｏｎｔａｌ Ｆｌｉｐ手法では、学習部１３は、撮影画像の画素を水平方向に反転して新たな撮影画像とする。学習部１３は、新たな撮影画像を用いて上述の機械学習処理を行う。

第一Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法は、撮影画像内の画素のＲＧＢ値を３次元ベクトルの集合とみなして、特徴推定装置１が３次元ベクトルの主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行う。そして、学習部１３は、ガウス分布を用いてノイズを生成し、撮影画像の画素に対して主成分分析によるＲＧＢの３次元ベクトルの固有ベクトル方向にノイズを加えて新たな画像を生成する。学習部１３は、新たな画像を用いて機械学習処理を行う。この手法は、学習部１３が、撮影画像の色情報の主成分分析により定めた色空間における色情報の主成分の分散が最大となる方向（軸方向）に撮影画像の色情報を変化させた複数の撮影画像を用いて学習データを生成する手法の一態様である。学習部１３により、撮影画像の色の主成分の傾向に応じて正解データの増殖を行い、その増殖後の正解データを用いて学習処理を行うので、増殖後の色成分について増殖前の色成分と離れた正解データを用いることなく、学習処理を行うことができる。これにより、分析装置１は、学習処理により得られた学習データによる自動認識処理の精度を高めることができる。

第二Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法では、学習部１３は、撮影画像の画素のコントラスト、明度、及びＲＧＢ値を例えば０．５倍乃至１．５倍の範囲でランダムに変更する。その後、学習部１３は、第一Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法と同様の手法により、新たな画像を生成する。学習部１３は、新たな画像を用いて機械学習処理を行う。

第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎでは、学習部１３は、異なる撮影環境条件下において撮影された異なる色味の撮影画像を、基準撮影条件下における撮影画像の色彩に補正する。そして、学習部１３は、その補正を施した後の撮影画像における第一矩形範囲と複数の特徴点とに基づいて、第一学習データと第二学習データを生成するよう機械学習処理を行う。水中で魚を撮影する場合、撮影場所や水質、季節、天候によって、撮影画像の色彩が変化することがある。正解データがカラー映像の場合、特徴推定装置１は、色味が異なる撮影画像に基づいて学習データを生成すると、その学習データを用いて特徴点を正確に認識できないことが想定される。従って、学習部１３は、正解データとして、撮影場所や水質、季節、天候などについて様々な撮影条件下で撮影された撮影画像を取得する。そして、学習部１３は、それらの撮影画像を用いて学習処理を行う際に、全ての正解データの撮影画像における水の色が同じ色になるように、撮影画像全体に色補正を行う。特徴推定装置１の特徴点推定部１５は、色補正に係る情報（例えば、色補正係数など）を撮影条件とともに記憶する。その後、特徴点推定部１５は新たな撮影画像から魚体を含む矩形範囲や魚体の特徴点を認識する際に、撮影条件ンと色補正情報の組み合わせを取得する。特徴点推定部１５は、複数の撮影条件から最も撮影画像に近い撮影条件を選択し、その撮影条件に対応する色補正情報を用いて撮影画像に色補正を施す。特徴点推定部１５は、その色補正後の撮影画像を用いて自動認識処理を行う。上述のように、学習部１３は、異なる色味に対応する異なる撮影条件下で撮影された撮影画像について色彩を統一することにより、正解データとなる撮影画像の撮影条件を仮想的に統一して正解データを生成し、その正解データを用いて適切に学習処理を行うことができる。このため、特徴推定装置１は、学習処理により得られた学習データによる自動認識処理の精度を高めることができる。

学習部１３は、撮影画像に対する複数の増殖処理手法のうち１つを用いてもよく、或いは、複数の増殖処理を用いてもよい。作業者は、複数の増殖処理手法の全部を組み合わせて一度に用いずに、１つの手法、２つの手法、３つの手法のように徐々に複数の手法の組み合わせ数を増加して生成した学習データに基づく評価を行う。なお、作業者は、増殖処理手法を追加して撮影画像の第一矩形範囲Ａ１や特徴点を特定しても、その認識精度が改善しない場合には、複数の手法の組み合わせにより生成した学習データの採用を中止する。

学習部１３は、増殖した正解データとなる複数の撮影画像を記憶し、複数の撮影画像中に類似度が一致する撮影画像が含まれる場合には、類似度の高い撮影画像を学習処理に使用しないようにしてもよい。例えば、学習部１３は、増殖した正解データとなる複数の撮影画像それぞれに対してスコア（例えば、スカラー値、ベクトル値）を生成して、撮影画像間のスコアを比較する。学習部１３は、スコアの近い撮影画像のうちの一方を不要な画像と判定する。学習部１３は、不要と判定した撮影画像の傾向を捉えるために、それらの撮影画像の画素のＲＧＢ値について主成分分析を行う。学習部１３は、主成分分析により算出した主成分（固有ベクトル）とその閾値を記憶する。学習部１３は、新たに増殖処理により生成された撮影画像に対して固有ベクトルを用いて主成分得点（固有ベクトルとＲＧＢ値の内積）を画素毎に求めて集計する。その集計値と閾値とを比較して、集計値が閾値を超える場合には、新たに生成した撮影画像を学習処理に利用しないと判定する。上述の処理により、無駄な撮影画像の増殖を抑えることができる。

次に、特徴推定装置１の自動認識処理について説明する。図８は、特徴推定装置１の自動認識処理を示すフローチャートである（ステップＳ３０１〜Ｓ３１６）。特徴推定装置１は、ステレオカメラ２が所定時間中に生成した撮影画像データを受信する（Ｓ３０１）。分析装置１は、撮影画像データに含まれる所定時間間隔で撮影した撮影画像を順次取得する。このとき、撮影画像取得部１１は、同時刻に撮影された第一撮影画像と第二撮影画像とを取得する。撮影画像取得部１１は、第一撮影画像と第二撮影画像にそれぞれ識別情報（ＩＤ）を付与する。撮影画像取得部１１は、第一撮影画像とＩＤ、第二撮影画像とＩＤ、を紐づけるとともに、第一撮影画像と第二撮影画像とを紐づけて、新たな自動認識処理対象の撮影画像としてデータベース１０４に記録する（Ｓ３０２）。ステレオカメラ２は、撮影開始から所定の撮影時間経過後に撮影を終了する。所定の撮影時間は、例えば、撮影対象である魚が生簀４の中心を軸として一方向に連続して回遊する場合、一個体が生簀４内を一回転回遊する時間であってもよい。なお、所定の撮影時間は、予め定めてもよい。撮影画像取得部１１は、撮影画像データの受信が停止すると、撮影画像取得処理を停止する。これにより、所定の時間間隔で生成された第一撮影画像と第二撮影画像との組み合わせが複数データベース１０４に記録される。なお、撮影画像データは、動画像データを構成する撮影画像であってもよく、或いは、静止画像データを構成する撮影画像であってもよい。

撮影画像取得部１１は、ステレオカメラ２の左右のレンズ２１、２２に対応する動画像データを取得した場合、動画像データを構成する複数の撮影画像のうち所定時間間隔の撮影時刻に対応する撮影画像を魚の特徴点の自動認識対象として、順次取得してもよい。所定時間間隔は、例えば、魚が矩形範囲の撮影画像の左右の一端から他端まで通り過ぎる時間としてもよい。分析装置１は、所定時間間隔で取得した撮影画像を用いて、その撮影画像に映る一体又は複数体の魚体の特徴点を推定する。

そして、作業者の自動認識開始指示又は撮影画像の取得完了を検出して、特徴点推定部１５が自動認識処理を開始する（Ｓ３０３）。特徴点推定部１５は、学習データ取得部１４に学習データの取得を指示する。学習データ取得部１４は、データベース１０４に記録されている第一学習データと第二学習データとを取得して、特徴点推定部１５へ送出する。特徴点推定部１５は、データベース１０４から１つ目の対の第一撮影画像と第二撮影画像とをそれらの画像ＩＤに応じて取得する（Ｓ３０４）。特徴点推定部１５は、撮影画像に対して第一学習データに基づいて特定されたニューラルネットワークを用いて自動認識処理を開始し、撮影画像において魚体一体が含まれる第二矩形範囲Ａ２（図９参照）を特定する（Ｓ３０５）。

なお、学習部１３では第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法により基準撮影条件における色彩に補正した撮影画像を用いて学習処理を行っているものとして、特徴点推定部１５の処理を説明する。この場合、特徴点推定部１５は、ステップＳ３０４で取得した撮影画像を、第三Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ手法と同様に補正し、その補正後の撮影画像に映る水中生物の特徴点を推定する。特徴点推定部１５の処理により、第三Ｃｏｌｏｒ Ａｕｇｕｍｅｎｔａｔｉｏｎ手法を用いて生成された学習データを用いて自動認識処理を行うため、水中生物の特徴点に係る自動認識精度を高めることができる。

次に、特徴点推定部１５は、第二矩形範囲Ａ２の画素と、第二学習データに基づいて特定されるニューラルネットワークとを用いて自動認識処理を開始し、第二矩形範囲Ａ２における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する（Ｓ３０６）。このとき、特徴点推定部１５は、第二矩形範囲Ａ２の中心座標を基準に上下左右に例えば数ピクセルから数十ピクセル程度拡大して第三矩形範囲Ａ３を設定するか、或いは、第二矩形範囲Ａ２の大きさを数十パーセント拡大した第三矩形範囲Ａ３を設定し、その第三矩形範囲Ａ３の画素と、第二学習データに基づいて特定されたニューラルネットワークとを用いて自動認識処理を行う。第二矩形範囲Ａ２を第三矩形範囲Ａ３に拡大することにより、背景画像をより多く取り込むことができるので、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の認識精度を向上することができる。

図９は、上述の自動認識処理を施した撮影画像の一例を示す。特徴点推定部１５は、撮影画像に映る複数の魚体のうち何れかの魚体を囲む第二矩形範囲Ａ２、又は第二矩形範囲Ａ２を拡大した第三矩形範囲Ａ３を特定する。なお、特徴点推定部１５は、撮影画像の上下左右の端部において魚の頭や尾ひれなどが切れているような撮影画像についても推定処理により特徴点を特定する。しかし、データ破棄部１７は、撮影画像の端部の外に推定された特徴点を含む推定結果を特徴点の座標に基づいて検出し、その推定結果に係るデータを破棄するようにしてもよい。

特徴点推定部１５は、同時刻に撮影された第一撮影画像と第二撮影画像のそれぞれについて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する。第一撮影画像に映る魚体と第二撮影画像に映る魚体とが同一個体を示す魚体となるよう機械学習によって調整されるため、第一学習データは、学習部１３によって生成された学習データである。これにより、ステレオカメラ２から取得した２つの撮影画像における同一魚体を示す第二矩形範囲Ａ２を特定するための学習データを生成することができる。また、特徴点推定部１５は、第一撮影画像と第二撮影画像のそれぞれに映る魚の同一個体を囲む第二矩形範囲Ａ２を特定する。特徴点推定部１５は、第一撮影画像と第二撮影画像それぞれにおいて特定した第二矩形範囲Ａ２に含まれる魚体の魚体ＩＤを生成し、その魚体ＩＤと撮影画像において特定した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の代表座標（例えば、中心の座標）を、魚の特徴点の自動認識結果としてデータベース１０４に記録する（Ｓ３０７）。

特徴点推定部１５は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は、第二矩形範囲Ａ２を拡大した第三矩形範囲Ａ３を特定できるか判定する（Ｓ３０８）。特徴点推定部１５は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できる場合、上述のステップＳ３０５乃至Ｓ３０７を繰り返す。他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できない場合、特徴点推定部１５は、次の未処理の自動認識処理対象の撮影画像の画像ＩＤがデータベース１０４に記録されているか否か判定する（Ｓ３０９）。特徴点推定部１５は、未処理の自動認識処理対象の撮影画像の画像ＩＤがデータベース１０４に記録されている場合、ステップＳ３０４乃至Ｓ３０８を繰り返す。特徴点推定部１５は、未処理の自動認識処理対象の撮影画像の画像ＩＤがデータベース１０４に記録されていない場合、自動認識処理を終了する。

図１０は、自動認識処理の結果に基づく自動認識画像の一例を示す。図１０に示すように、特徴点推定部１５は、第一撮影画像（例えば、右側レンズ２１により撮影された画像）において、第二矩形範囲Ａ２−Ｒ１又は第三矩形範囲Ａ３−Ｒ１を特定する。特徴点推定部１５は、第二矩形範囲Ａ２−Ｒ１又は第三矩形範囲Ａ３−Ｒ１において、特徴点Ｐ１−Ｒ１、Ｐ２−Ｒ２、Ｐ３−Ｒ１、Ｐ４−Ｒ１を特定する。また、特徴点推定部１５は、第二撮影画像（例えば、左側レンズ２２により撮影された画像）において、第二矩形範囲Ａ２−Ｌ１又は第三矩形範囲Ａ３−Ｌ１を特定する。特徴点推定部１５は、第二矩形範囲Ａ２−Ｌ１又は第三矩形範囲Ａ３−Ｌ１において、特徴点Ｐ１−Ｌ１、Ｐ２−Ｌ２、Ｐ３−Ｌ１、Ｐ４−Ｌ１を特定する。

図１１は、自動認識処理の結果に基づく自動認識画像の他の例を示す。特徴点推定部１５は、第一撮影画像に映る他の魚の特徴点も特定する。具体的には、特徴点推定部１５は、第一撮影画像において他の第二矩形範囲Ａ２―Ｒ２又は他の第三矩形範囲Ａ３―Ｒ２を特定する。特徴点推定部１５は、第二矩形範囲Ａ２−Ｒ２又は第三矩形範囲Ａ３−Ｒ２において、特徴点Ｐ１−Ｒ２、Ｐ２−Ｒ２、Ｐ３−Ｒ２、Ｐ４−Ｒ２を特定する。また、特徴点推定部１５は、第一撮影画像においてさらに第二矩形範囲Ａ２―Ｒ３又は他の第三矩形範囲Ａ３―Ｒ３を特定する。特徴点推定部１５は、第二矩形範囲Ａ２−Ｒ３又は第三矩形範囲Ａ３−Ｒ３において、特徴点Ｐ１−Ｒ３、Ｐ２−Ｒ３、Ｐ３−Ｒ３、Ｐ４−Ｒ３を特定する。

特徴点推定部１５は、第二撮影画像に映る他の魚の特徴点も特定する。具体的には、特徴点推定部１５は、第二撮影画像において他の第二矩形範囲Ａ２―Ｌ２又は他の第三矩形範囲Ａ３―Ｌ２を特定する。特徴点推定部１５は、第二矩形範囲Ａ２−Ｌ２又は第三矩形範囲Ａ３−Ｌ２において、特徴点Ｐ１−Ｌ２、Ｐ２−Ｌ２、Ｐ３−Ｌ２、Ｐ４−Ｌ２を特定する。また、特徴点推定部１５は、第二撮影画像においてさらに第二矩形範囲Ａ２―Ｌ３又は他の第三矩形範囲Ａ３―Ｌ３を特定する。特徴点推定部１５は、第二矩形範囲Ａ２−Ｌ３又は第三矩形範囲Ａ３−Ｌ３において、特徴点Ｐ１−Ｌ３、Ｐ２−Ｌ３、Ｐ３−Ｌ３、Ｐ４−Ｌ３を特定する。

特徴点推定部１５は、撮影画像に含まれる魚体の特徴点や第二矩形範囲Ａ２や第三矩形範囲Ａ３に係る情報を魚体ＩＤに紐づけてデータベース１０４に記録する。出力部１９は、自動認識処理の結果に基づく自動認識画像（図１１）を作業者が利用する端末３のモニタに表示してもよい。この場合、作業者が選択した画像ＩＤに対応する第一撮影画像と第二撮影画像において、それぞれ対応する魚体を含む第二矩形範囲Ａ２や第三矩形範囲Ａ３と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４をモニタに表示する。第一撮影画像や第二撮影画像において、複数の魚体を認識できた場合は、出力部１９は、例えば、同一個体に係る魚体を含む第二矩形範囲Ａ２や第三矩形範囲Ａ３の枠の色を同じ色に設定するか、或いは、魚体の個体毎に異なる色を設定して、モニタに表示してもよい。

特徴点推定部１５は、全ての自動認識処理対象の撮影画像について魚の特徴点の自動認識処理を終了すると、大きさ推定部１８に魚体の大きさの推定処理の開始を指示する。大きさ推定部１８は、魚の特徴点の自動認識処理の結果から、未選択の魚体ＩＤに紐づく第一撮影画像から抽出した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の代表座標と、第二撮影画像から抽出した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の代表座標を読み取る（Ｓ３１０）。大きさ推定部１８は、一例として、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）手法などの公知の３次元座標換算手法を用いて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応する３次元空間における３次元座標を算出する（Ｓ３１１）。ＤＬＴ手法では、撮影画像中の点の座標と実際の２次元座標及び３次元座標との関係を表す較正係数を予め計算しておき、較正係数を用いて撮影画像内の点から３次元座標を求める。

大きさ推定部１８は、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の３次元座標に基づいて、特徴点Ｐ１に対応する３次元座標と特徴点Ｐ２に対応する３次元座標とを結ぶ尾叉長と、特徴点Ｐ３に対応する３次元座標と特徴点Ｐ４に対応する３次元座標とを結ぶ体高とを算出する（Ｓ３１２）。大きさ推定部１８は、尾叉長と体高を変数として魚の重量を算出する重量算出式に、尾叉長と体高とを代入して、魚の重量を算出する（Ｓ３１３）。大きさ推定部１８は、魚の特徴点の自動認識処理の結果から全ての魚体ＩＤを選択して魚の大きさを算出したか判定する（Ｓ３１４）。魚の特徴点の自動認識処理の結果から全ての魚体ＩＤを選択して魚の大きさを算出していない場合には、大きさ推定部１８はステップＳ３１０乃至Ｓ３１３を繰り返す。

出力部１９は、魚体ＩＤに対応する尾叉長、体高、及び重量に基づいて、生簀４で育成されている魚の統計情報を算出する（Ｓ３１５）。出力部１９は、魚体ＩＤに対応する尾叉長、体高、重量やそれらの統計情報を示す出力情報を生成して、所定装置へ出力する（Ｓ３１６）。例えば、出力部１９は、生簀４の管理者が確認する端末へ出力データを出力する。

上述のように、第一学習データや第二学習データを用いた自動認識処理により、撮影画像に映る魚などの水中生物の形状特徴を特定する特徴点を推定する。特徴推定装置１は、分析装置１は、第一学習データや第二学習データを予め生成しておくことで、認識処理対象である多数の魚のテンプレート画像をデータベースに記録することなく、学習データを用いた自動認識処理により、魚の特徴点を高い精度で特定することができる。

上述の処理において、同一個体特定部１６は、第一撮影画像と第二撮影画像に映る同一個体の魚体を認識する。具体的には、同一個体特定部１６は、特徴点推定部１５からの要求に応じて、第一撮影画像と第二撮影画像のそれぞれにおいて特定された第二矩形範囲Ａ２の座標を特徴点推定部１５から取得する。同一個体特定部１６は、第一撮影画像から特定した第二矩形範囲Ａ２と、第二撮影画像から特定した第二矩形範囲Ａ２のいずれか一方において、他方と重なる範囲が、所定閾値（例えば、７０％）以上であるか判定する。第一撮影画像の第二矩形範囲Ａ２と、第二撮影画像の第二矩形範囲Ａ２のいずれか一方において、他方と重なる範囲が所定閾値以上である場合、同一個体特定部１６は、２つの第二矩形範囲Ａ２に含まれる魚体は同一個体であると判定する。なお、第一撮影画像と第二撮影画像の何れか一方において認識した複数の第二矩形範囲Ａ２が、他方において認識した一つ又は複数の第二矩形範囲Ａ２と、所定閾値（例えば、７０％）以上で重なっていることがある。この場合、同一個体特定部１６は、第一撮影画像と第二撮影画像との間で最も重なる範囲が広い第二矩形範囲Ａ２の組み合せを特定し、その組み合わせに係る第二矩形範囲Ａ２に映る魚体は同一個体であると判定してもよい。

また、同一個体特定部１６は、第一撮影画像から特定した特徴点と、第二撮影画像か特定した特徴点との位置のずれに基づいて、第一撮影画像と第二撮影画像における第二矩形範囲Ａ２に映る魚体が同一個体であると判定してもよい。具体的には、同一個体特定部１６は、第一撮影画像の第二矩形範囲Ａ２から特定した特徴点それぞれについて、第二撮影画像の第二矩形範囲Ａ２から特定した特徴点との位置ずれを算出する。同一個体特定部１６は、この位置ずれが所定値未満である場合、２つの第二矩形範囲Ａ２に映る魚体は同一個体であると判定する。或いは、同一個体特定部１６は、第一撮影画像と第二撮影画像とにおいて選択した第二矩形範囲Ａ２内に占める魚体の面積を算出する。同一個体特定部１６は、２つの第二矩形範囲Ａ２に占める魚体の面積の差が所定閾値（例えば、１０％）以内であれば、それらの第二矩形範囲Ａ２に映る魚体は同一個体であると判定する。

上記の説明においては、魚の特徴点を推定する事例について特徴推知装置１の処理を説明したが、水中生物は魚に限定されるものではなく、他の水中生物（例えば、イカ、イルカ、クラゲなど）であってもよい。すなわち、特徴推定装置１は、所定の水中生物に応じた特徴点を推定してもよい。

データ破棄部１７は、大きさ推定部１８により算出された魚の尾叉長、体高、及び重量の推定値が正確でないと判定できる所定条件に合致する場合には、それらの推定値を破棄してもよい。例えば、データ破棄部１７は、推定値が「推定値の平均値＋標準偏差×２」の範囲に含まれない場合には、その推定値は正確ではないと判定してもよい。

また、データ破棄部１７は、魚などの水中生物に対する自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係が、特徴点の平均位置関係や事前に登録されている基準位置関係と比較して著しく乖離している場合には、その自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄してもよい。例えば、特徴点Ｐ１とＰ２を結ぶ尾叉長の線より腹ひれの特徴点Ｐ４が撮影画像において上方に位置する場合には、データ破棄部１７は、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄する。また、尾叉長と体高との比が、平均値や基準値と比較して２０％以上乖離している場合には、データ破棄部１７は、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄する。

データ破棄部１７は、情報が正確でないと判定できる所定条件に関する基準スコア値を記憶し、所定条件に応じた自動認識処理の結果のスコア値を算出して、そのスコア値が基準スコア値以上或いは未満の場合に、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を自動的に破棄してもよい。また、データ破棄部１７は、データ破棄の判定がなされた自動認識処理の結果の情報を含む確認情報をモニタに表示し、作業者からデータ破棄了承の操作を受け付けた場合に、データ破棄の判定がなされた自動認識処理の結果の情報を破棄してもよい。上記のデータ破棄部１７の処理により、水中生物の特徴点に基づいて算出する水中生物の大きさの統計情報の精度を高めることができる。

図１２は、特徴推定装置１の最小構成を示す。特徴推定装置１は、学習データ取得部１４と、特徴点推定部１５とを備えればよい。学習データ取得部１４は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を特定するための特徴点とに基づいて機械学習により生成された学習データを取得する。特徴点推定部１５は、学習データを用いた自動認識処理により撮影画像に映る水中生物の形状特徴を特定する特徴点を推定する。

特徴推定装置１は、内部にコンピュータシステムを有しており、上述の処理過程はコンピュータプログラムとしてコンピュータ読取可能な記憶媒体に記憶されており、コンピュータがコンピュータプログラムを読み出して実行することにより、上述の処理過程を実現する。ここで、コンピュータ読取可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどを意味する。また、コンピュータプログラムを通信回線経由でコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。

上記のコンピュータプログラムは、前述の分析装置１の機能の一部を実現するものであってもよい。また、前述の機能をコンピュータシステムに既に記録されているプリインストールプログラムとの組み合わせで実現するような差分ファイル（差分プログラム）であってもよい。

なお、上記の実施形態の一部又は全部は、以下のように定義することができる。

（付記１）水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する学習データ取得部と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴点推定部と、を備える特徴推定装置。

（付記２）特徴推定装置は、前記撮影画像に映る前記水中生物の一体が収まる第一矩形範囲と、前記一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する学習部をさらに備える。

（付記３）特徴推定装置は、水中生物について同時刻に異なる位置で撮影された第一撮影画像と第二撮影画像を撮影する撮影装置を更に備え、学習部は、第一撮影画像と第二撮影画像のそれぞれについて、水中生物の一体が収まる第一矩形範囲と、一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する。

（付記４）学習部は、撮影画像に対する主成分分析により定めた色空間における色情報の主成分の最大分散方向に相当する軸方向において、撮影画像の色情報を補正した複数の撮影画像を用いて学習データを生成する。

（付記５）学習部は、異なる色味を示す異なる撮影条件下で撮影された撮影画像の色彩を、基準撮影条件における色彩に補正し、その補正後の撮影画像における第一矩形範囲と、水中生物の形状特徴を示す複数の特徴点とに基づいて、学習データを生成する。

（付記６）特徴点推定部は、補正後の撮影画像に映る水中生物の形状特徴を示す複数の特徴点を推定し、異なる撮影条件下の撮影画像に基づいて生成された学習データを用いて自動認識処理を行う。

（付記７）特徴点推定部は、撮影画像に映る水中生物の一体が収まる第二矩形範囲を自動認識処理により検出するとともに、第二矩形範囲より広い第三矩形範囲を設定し、第三矩形範囲に映る水中生物の特徴点を自動認識処理により推定する。

（付記８）特徴点推定部は、同時刻において異なる位置から撮影された第一撮影画像と第二撮影画像のそれぞれについて、第二矩形範囲を検出するとともに、第二矩形範囲より広い第三矩範囲を設定し、第三矩形範囲に映る水中生物の特徴点を自動認識処理により推定する。

（付記９）特徴推定装置は、第一撮影画像と第二撮影画像のそれぞれに映る水中生物を同一個体として特定する同一個体特定部を更に備える。

（付記１０）特徴推定装置は、特徴点推定部が自動認識処理により水中生物の形状特徴を示す複数の特徴点を推定したが、自動認識処理の推定結果が異常と判定した場合、その推定結果を破棄するデータ破棄部を更に備える。

（付記１１）特徴推定装置は、撮影画像に映る水中生物の形状特徴を示す特徴点に基づいて、水中生物の大きさを推定する大きさ推定部を更に備える。

（付記１２）特徴推定方法は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する。

（付記１３）記憶装置は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する処理過程と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する処理過程と、をコンピュータに実行させるプログラムを記憶する。

最後に、本発明について上述の実施形態を用いて詳細に説明したが、本発明は実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内における種々の改造や設計変更をも包含するものである。

本願は、２０１８年４月１３日に、日本国に出願された特願２０１８−７７８５４号に基づき優先権を主張し、その内容をここに援用する。

本発明は、生簀などで育成される魚などの水中生物の形状特徴の特徴点を推定するものであるが、水中生物は魚に限定されず、他の水中生物であってもよい。また、特徴点推定対象は、生簀内の水産物に限定されるものではなく、例えば、海洋における水棲生物の形状特徴の特徴点を推定することも可能である。

１ 特徴推定装置
２ ステレオカメラ
３ 端末
１１ 撮影画像取得部
１２ 特徴指定受付部
１３ 学習部
１４ 学習データ取得部
１５ 特徴点推定部
１６ 同一個体特定部
１７ データ破棄部
１８ 大きさ推定部
１９ 出力部
１００ 水中生物監視システム

Claims (10)

1. 水中生物の撮影画像と、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する学習データ取得部と、
   前記学習データを用いて自動認識処理を行い、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点を特定する特徴点推定部と、
   を備える特徴推定装置。
2. 前記撮影画像に映る前記水中生物の一体が収まる第一矩形範囲と、前記一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する学習部、をさらに備える請求項１に記載の特徴推定装置。
3. 前記水中生物について同時刻に異なる位置で撮影された第一撮影画像と第二撮影画像を撮影する撮影装置を更に備え、
   前記学習部は、前記第一撮影画像と前記第二撮影画像のそれぞれについて、前記水中生物の一体が収まる前記第一矩形範囲と、前記一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する、請求項２に記載の特徴推定装置。
4. 前記学習部は、前記撮影画像に対する主成分分析により定めた色空間における色情報の主成分の最大分散方向に相当する軸方向において、前記撮影画像の前記色情報を補正した複数の撮影画像を用いて前記学習データを生成する、請求項２に記載の特徴推定装置。
5. 前記学習部は、異なる色味を示す異なる撮影条件下で撮影された前記撮影画像の色彩を、基準撮影条件における色彩に補正し、その補正後の撮影画像における前記第一矩形範囲と、前記水中生物の形状特徴を示す複数の特徴点とに基づいて、前記学習データを生成する、請求項２に記載の特徴推定装置。
6. 前記特徴点推定部は、前記補正後の撮影画像に映る前記水中生物の形状特徴を示す前記複数の特徴点を推定し、前記異なる撮影条件下の前記撮影画像に基づいて生成された前記学習データを用いて前記自動認識処理を行う、請求項５に記載の特徴推定装置。
7. 前記特徴点推定部が前記自動認識処理により前記水中生物の形状特徴を示す複数の特徴点を推定したが、前記自動認識処理の推定結果が異常と判定した場合、前記推定結果を破棄するデータ破棄部を更に備える、請求項１乃至請求項６の何れか一項に記載の特徴推定装置。
8. 前記撮影画像に映る前記水中生物の形状特徴を示す前記特徴点に基づいて、前記水中生物の大きさを推定する大きさ推定部を更に備える、請求項１乃至請求項６の何れか一項に記載の特徴推定装置。
9. 水中生物の撮影画像と、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、
   前記学習データを用いて自動認識処理を行い、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点を特定する、
   を備える特徴推定方法。
10. 水中生物の撮影画像と、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する処理過程と、
    前記学習データを用いて自動認識処理を行い、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点を特定する処理過程と、をコンピュータに実行させるプログラムを記憶した記憶媒体。

Images