JP6694039B1

JP6694039B1 - 魚体サイズ算出装置

Info

Publication number: JP6694039B1
Application number: JP2018218922A
Authority: JP
Inventors: 広和藤沼; 将寛林
Original assignee: 株式会社アイエンター
Priority date: 2018-11-22
Filing date: 2018-11-22
Publication date: 2020-05-13
Anticipated expiration: 2038-11-22
Also published as: JP2020085609A

Abstract

【課題】回遊中の魚の実サイズを正確に算出することができる魚体サイズ算出装置を提供する。【解決手段】魚体サイズ算出装置は、回遊中の魚を水中で撮像する撮像装置と、当該魚の実サイズを算出するための演算処理を行う解析装置とで構成されている。解析装置は、撮像装置である左側カメラ３Ｌ、右側カメラ３Ｒが撮像したステレオ映像から回遊中の魚の魚体形状（横向き状態）を認識し、魚体形状を含む左画像Ｐ１、右画像Ｐ２を記憶する。そして、左画像Ｐ１、右画像Ｐ２から回遊中の魚の魚体が含まれる矩形枠を作成し、当該魚の重心座標Ｇ１，Ｇ２を算出する。次に、重心座標Ｇ１，Ｇ２の視差と撮像装置のベースライン距離ｂとから当該魚の実サイズを算出する。【選択図】図７

Description

本発明は、魚に接触することなく、回遊中の魚の実サイズを算出することができる魚体サイズ算出装置に関する。

従来、水槽の中の魚を監視するため、複数の撮像装置を用いて異なる角度から魚を撮像可能な監視方法が知られている。

例えば、下記の特許文献１の水棲生物の成育状態監視方法では、水槽内で監視対象である水棲生物を成育し、この水棲生物の状態を監視するため、水槽の水面上方には水面に対して垂直方向に撮像する第１の撮像装置を配置し、水槽の外側方には水槽の周壁を介して水槽内を水平方向に撮像する第２の撮像装置を配置している。

そして、２次元画像処理手段は、同期して記憶された夫々の画像データから既知の背景画像を除去して孤立する塊部分を個々の検出物の領域（水棲生物画像）として検出し、ラベリングを行うことで個々の検出物を分離認識し、夫々の検出物の２次元位置、大きさ、形状を求める処理を行う（特許文献１／段落００２８、００３８）。

特開２００３−２５０３８２号公報

しかしながら、特許文献１の方法では、何れの撮像装置も水槽外にあるため、水面での屈折により画像データが歪み、また、最終的に取得できる水棲生物の大きさが正確でない可能性があった。

本発明は、このような事情に鑑みてなされたものであり、回遊中の魚の実サイズを正確に算出することができる魚体サイズ算出装置を提供することを目的とする。

本発明は、回遊中の魚を水中で撮像する撮像部と、当該魚の実サイズを算出するための演算処理を行う演算処理部とからなる魚体サイズ算出装置であって、前記撮像部は、撮像素子を有し、前記回遊中の魚のステレオ映像を撮像可能な２つのカメラからなり、前記演算処理部は、複数種類の魚の画像を学習させた機械学習モデルを利用して、前記撮像部が撮像した前記ステレオ映像から前記回遊中の魚の魚体形状を認識し、それぞれ当該魚体形状を含む左画像及び右画像を記憶する認識記憶手段と、前記左画像と前記右画像のそれぞれから前記回遊中の魚の魚体が含まれる矩形枠を作成し、当該矩形枠から当該魚の重心座標を算出する重心座標算出手段と、前記重心座標算出手段が算出した前記重心座標を用いて、当該重心座標の視差を算出する視差算出手段と、前記視差算出手段が算出した前記視差を用いて、前記回遊中の魚の実サイズを算出する実サイズ算出手段と、を備え、前記矩形枠の縦幅は、前記回遊中の魚の背縁から腹縁までの長さであり、前記矩形枠の横幅は、前記回遊中の魚の尾びれを含まない長さであることを特徴とする。

本発明の魚体サイズ算出装置は、水中でステレオ映像が撮像可能な撮像部と、撮像部から送信されたステレオ映像を元に、領域内（生簀や水槽）を回遊する魚の実サイズを算出する演算処理部とで構成されている。

演算処理部の認識記憶手段は、撮像部から送信されたステレオ映像から当該魚の魚体形状を認識することができるので、それぞれ魚体形状を含む左画像及び右画像を記憶する。また、重心座標算出手段は、当該左画像と当該右画像のそれぞれから当該魚の魚体が含まれる矩形枠を作成することにより、当該魚の重心座標を算出する。ここで、魚の種類によって長さが異なり、魚が横向きになっても真っすぐ伸びないひれの部分を除いて矩形枠を作成する。これにより、魚の種類によらず、容易に魚の実サイズを算出することができる。

さらに、演算処理部の視差算出手段は当該重心座標を用いて視差を算出し、実サイズ算出手段は視差を用いて当該魚の実サイズを算出する。このような一連の演算処理を行うことで、魚体サイズ算出装置は、回遊中の魚の実サイズを正確に算出することができる。

本発明の魚体サイズ算出装置において、前記演算処理部は、前記左画像と前記右画像のそれぞれに２以上の前記矩形枠が作成された場合に、前記重心座標から前記回遊中の魚の高さ方向の座標が同一である前記矩形枠をペアとして選択することが好ましい。

撮像部の撮像領域内に複数の魚が存在し、左画像と右画像のそれぞれに２以上の矩形枠が作成される場合がある。このような場合、演算処理部は、それぞれの画像に存在する重心座標に着目して、回遊中の魚の高さ方向の座標（Ｙ座標）が同一である矩形枠をペアとして選択する。これにより、確実に対象物の魚を特定することができる。

また、本発明の魚体サイズ算出装置において、演算処理部は、前記回遊中の魚の高さ方向の座標が同一である前記矩形枠のペアが１つに定まらない場合に、前記撮像部から改めて前記ステレオ映像を取得することが好ましい。

魚の高さ方向の座標が同一である矩形枠が画像内に複数存在する場合、矩形枠のペアは１つに定まらない。左画像と右画像とで異なる魚の矩形枠をペアとしてしまうことを防止するため、演算処理部は、撮像部から改めてステレオ映像を取得する。すなわち、演算処理部は、初めから一連の処理をやり直すことで、対象物として１つの魚を特定することができる。

また、本発明の魚体サイズ算出装置において、前記演算処理部は、前記回遊中の魚の実サイズをネットワーク接続されたサーバに送信する通信部をさらに備えていることが好ましい。

魚体サイズ算出装置の演算処理部は、例えば、携帯電話用の電波による通信が可能な通信部を備えている。これにより、実サイズ算出手段が算出した当該魚の実サイズを自動でサーバにアップロードすることができるので、ユーザは、遠隔地から実サイズ情報を確認することができる。

本発明の第１実施形態に係る魚体サイズ算出装置の概略図。解析装置で行われる各種演算処理のフローチャート。撮像装置と対象物を上方から見た図。魚の横向き画像を含む左画像と右画像の例を示す図。左画像、右画像内の複数の矩形枠を説明する図（１）。左画像、右画像内の複数の矩形枠を説明する図（２）。矩形枠の定め方（他の例）を説明する図。魚の実サイズ算出を説明する図。本発明の第２実施形態に係る魚体サイズ算出装置の概略図。第２実施形態における矩形枠の定め方の一例を説明する図。

以下では、図面を参照しながら、本発明の魚体サイズ算出装置の実施形態について説明する。

［第１実施形態］
まず、図１を参照して、第１実施形態の魚体サイズ算出装置１の概要を説明する。魚体サイズ算出装置１は、生簀２内に設置された撮像装置３と、地上に設置され、撮像装置３と通信ケーブル５で接続された解析装置６とで構成される。

図示するように、撮像装置３（本発明の「撮像部」に相当）は、生簀２内の防水ケース４に収められている。水中で撮影を行うことにより、水面での光の反射、屈折による影響を抑えて、対象物の検出精度を高めることができる。

生簀２は水槽であってもよいが、その領域内には養殖中の多数の魚が回遊している。なお、撮像装置として、防水ケースに収める必要のない防水カメラを用いてもよい。

撮像装置３の詳細は後述するが、撮像素子（イメージセンサ）を有する同仕様のカメラである左側カメラ３Ｌと右側カメラ３Ｒとで構成され、防水ケース４内に平行且つ同じ高さで設置されている（平行等位ステレオカメラシステム）。左側カメラ３Ｌ及び右側カメラ３Ｒは、透明且つ薄型のガラス板４ａを通して、生簀２内を回遊中の魚を撮像することができる。

より詳細には、左側カメラ３Ｌ及び右側カメラ３Ｒは、ビデオモードで生簀２内を撮像し、撮像された映像は、通信ケーブル５を介して解析装置６（本発明の「演算処理部」に相当）に送信される。

解析装置６は、撮像装置３から送信された映像から毎フレームを切り出して画像とし、後述する各種演算処理を行って回遊中の魚の実サイズを算出する。このときの処理速度は環境により異なるが、１秒間に１０〜３０フレームの画像を取得し、リアルタイムで解析を行う。

また、詳細は後述するが、解析装置６は、演算実行部６ａと、学習モデル実行部６ｂと、通信部６ｃとで構成され、各種演算処理は、演算実行部６ａで実行される。

解析装置６（通信部６ｃ）は通信用のアンテナを有し、第３世代移動通信システム（いわゆる、３Ｇ通信回線）により、ネットワークＮＷを通じて自動で魚の実サイズ情報をクラウドサーバのデータベースＤＢにアップロードする。また、ユーザは、魚の実サイズ情報をネットワーク接続された情報閲覧用のコンピュータＰＣで確認することができる。これにより、生簀２内の魚を取り出すことなく、実サイズの算出が可能になる。

ここでのサーバは、クラウドサーバに限られない。例えば、解析装置６が接続されたローカルＬＡＮ内のサーバを通じて、所定のデータベースに魚の実サイズ情報をアップロードする方式であってもよい。

次に、図２を参照して、魚体サイズ算出装置１で行われる各種演算処理のフローチャートを説明する。特に、解析装置６は、画像解析から対象物の実サイズの算出までをローカルで実行し、算出した実サイズ情報を送信する。また、以下では適宜、図３〜図７を参照して説明を補足する。

まず、撮像装置３により生簀２内を撮像する（ステップＳ０１）。具体的には、左側カメラ３Ｌ及び右側カメラ３Ｒが、対象物（魚Ｆ）が存在する生簀２内をビデオモードで撮影する。

ここで、図３に撮像装置３と魚Ｆとを上方から見た図を示す。実際には、生簀２内には多数の魚が回遊しており、魚の向きも様々である。また、左側カメラ３Ｌの撮像範囲Ｒ１と、右側カメラ３Ｒの撮像範囲Ｒ２とは一部が重複し、重複領域の魚が対象物となり得る。

そのような状況下で、左側カメラ３Ｌ及び右側カメラ３Ｒにより、対象物である魚Ｆを含む撮像範囲Ｒ１，Ｒ２を撮像する。そして、左側カメラ３Ｌ、右側カメラ３Ｒのそれぞれで撮像された映像は、解析装置６に送信される。その後、ステップＳ０２に進む。

ステップＳ０２以降は、解析装置６（演算実行部６ａ）による演算処理である。ステップＳ０２において、解析装置６は、撮像装置３から送信された映像から、物体認識技術により対象物の形状（魚体形状）を認識、取得する。

解析装置６は、学習モデル実行部６ｂ（図１参照）に予め複数種類の魚の画像を機械学習させているため、学習モデルを実行して、映像から魚を認識することができる。特に、魚の実サイズの算出には、横方向を向いた魚の画像が必要である。従って、解析装置６は、送信された映像から横方向を向いた魚のみを特定し、その魚の横向き画像を取得する。その後、ステップＳ０３に進む。

次に、解析装置６は、矩形枠と重視座標を取得したか否かを判定する（ステップＳ０３）。ここで、図４に魚の左画像Ｐ１，右画像Ｐ２の例を示す。左画像Ｐ１（横幅Ｐｗ１、高さＰｈ１）は、撮像範囲Ｒ１から横向きの魚Ｆを特定して作成した画像であり、魚Ｆの横向き画像を含む。また、右画像Ｐ２（横幅Ｐｗ２、高さＰｈ２）は、撮像範囲Ｒ２から同じ魚Ｆを特定して作成した画像であり、魚Ｆの横向き画像を含む。なお、解析装置６の学習モデル実行部６ｂは、機械学習により横向きの魚のみを検出し、傾いた状態の魚は検出しない。

また、左画像Ｐ１内の矩形枠Ｋ１は、魚Ｆの魚体全体が含まれるように定めた枠であり、右画像Ｐ２内の矩形枠Ｋ２は、同じ魚Ｆの魚体全体が含まれるように定めた枠である。矩形枠の大きさは、撮像装置３と対象物との間の距離が離れていれば小さくなるし、近ければ大きくなる。

矩形枠を取得した後、解析装置６は、それぞれの矩形枠Ｋ１，Ｋ２から重心座標を算出する。具体的には、図４に示すように、矩形枠Ｋ１の中心を魚Ｆの左側重心座標Ｇ１（ｘＬ，ｙＬ）と定め、矩形枠Ｋ２の中心を魚Ｆの右側重心座標Ｇ２（ｘＲ，ｙＲ）と定める。

左側重心座標Ｇ１（ｘＬ，ｙＬ）は、左側カメラ３Ｌの光学中心Ｏ_Ｌを原点としたときの座標であり、右側重心座標Ｇ２（ｘＲ，ｙＲ）は、右側カメラ３Ｒの光学中心Ｏ_Ｒを原点としたときの座標である（図７参照）。解析装置６が重心座標Ｇ１，Ｇ２を取得した場合にはステップＳ０４に進み、取得できなかった場合にはステップＳ０１にリターンする。

次に、解析装置６は、取得した矩形枠と重心座標が複数存在するか否かを判定する（ステップＳ０４）。矩形枠と重心座標を複数取得した場合、例えば、左画像Ｐ１内に横向きの魚Ｆ及び魚Ｈが認識され、矩形枠及び重心座標が２つあるような場合、ステップＳ０５に進む。一方、矩形枠と重心座標が１つに決定する場合、ステップＳ０７に進む。

取得した矩形枠と重心座標が複数存在する場合（ステップＳ０４でＹＥＳ）、解析装置６は、画像内にＹ座標が同一の重心座標が存在するか否かを判定する（ステップＳ０５）。平行等位ステレオカメラの原理から、左側カメラ３Ｌ及び右側カメラ３Ｒで同一の対象物を撮像した場合、左右の画像で対象物の高さ方向の座標であるＹ座標が同一となる。このため、Ｙ座標の比較によるフィルタリングを行う。

画像（例えば、左画像Ｐ１）内にＹ座標が同一の重心座標が存在した場合、図５Ａに示すような状況となる。この状況では、左画像Ｐ１，右画像Ｐ２で対象物（矩形枠Ｋ１，Ｋ２の「魚Ｆ」と、矩形枠Ｌ１，Ｌ２の「魚Ｈ」）の重心座標Ｇ１_Ｆ，Ｇ１_Ｈ，Ｇ２_Ｆ，Ｇ２_Ｈが何れも基準線ｍ上に存在し、両者を取り違える可能性がある。このため、ステップＳ０１にリターンして、１つの矩形枠のペアが定まるように一連のフローをやり直す。

一方、画像内にＹ座標が同一の重心座標が存在しなかった場合（ステップＳ０５でＮＯ）、解析装置６は、左右の画像間でＹ座標が近い矩形枠をペアとして選択する（ステップＳ０６）。図５Ｂに示すように、重心座標のＹ座標が同一のもの（例えば、「魚Ｆ」の重心座標Ｇ１_Ｆ，Ｇ２_Ｆ）があれば、ペアとして認識する。その後、ステップＳ０７に進む。

また、図６に示すように、矩形枠Ｋ’を定めてもよい。矩形枠Ｋ’は、横幅Ｋｗを魚Ｆの上顎先端から尾びれ基底までの長さとし、高さＫｈを背びれを含まない背縁から腹びれを含まない腹縁までの長さとしている。

例えば、尾びれの長さは魚の種類により様々であり、魚が横向きになっても真っすぐ伸びないことが多い。このため、ひれを含まない矩形枠Ｋ’とすることで、魚の種類によらず、容易に実サイズを算出することができる。この場合、解析装置６の学習モデル実行部６ｂに多種の魚について、ひれを含まない矩形枠を作成するように機械学習させる必要がある。

図２のステップＳ０３においては、解析装置６は、図６に示す矩形枠Ｋ’を作成し、矩形枠Ｋ’の中心を魚Ｆの重心座標Ｇ’と定める。もちろん、矩形枠Ｋ’及び重心座標Ｇ’は、右画像及び左画像からそれぞれ作成する。矩形枠Ｋ’を作成することにより、魚の全体を含む矩形枠Ｋを作成するよりも簡易かつ高速に、魚の実サイズを算出することができる。

次に、ステップＳ０７において、解析装置６は、重心座標から視差Ｄを算出する。ここで、視差Ｄは、撮像画像（左画像Ｐ１，右画像Ｐ２）の横幅をＰｗ、左側カメラ３Ｌ及び右側カメラ３Ｒの撮像素子の横幅をＳｗとして、以下の式（Ａ）で与えられる。
Ｄ＝｜ｘＬ−ｘＲ｜*（Ｓｗ／Ｐｗ）・・・式（Ａ）

なお、ｘＬとｘＲの原点はそれぞれ異なるため、例えば、左側カメラ３Ｌの光学中心Ｏ_Ｌを共通原点と定めて（ｘＲは、原点間の距離だけ平行移動）、｜ｘＬ−ｘＲ｜を算出することに留意する。その後、ステップＳ０８に進む。

ステップＳ０８において、解析装置６は、対象物の実サイズ（横幅、高さ）を算出する。ここで、実サイズの横幅（魚の体長）Ｌｗは、両カメラの光軸中心間の距離であるベースライン距離をｂ（図７参照）、矩形枠の横幅をＫｗとして、以下の式（Ｂ）で与えられる。
Ｌｗ＝Ｓｗ*（ｂ／Ｄ）*（Ｋｗ／Ｐｗ）・・・式（Ｂ）

例えば、撮像素子の横幅Ｓｗが３６ｍｍ、ベースライン距離ｂが１００ｍｍ、視差Ｄが５．０ｍｍ、Ｋｗ／Ｐｗが０．５のとき、Ｌｗ＝３６０ｍｍが得られる。なお、Ｋｗ／Ｐｗは、撮像画像（左画像Ｐ１，右画像Ｐ２）の横幅Ｐｗと矩形枠の横幅Ｋｗとの比であり、長さ（ｍｍ）の比でも、画素（ピクセル）の比でもよい。

また、実サイズの高さ（魚の体高）Ｌｈは、矩形枠の高さをＫｈとして、以下の式（Ｃ）で与えられる。
Ｌｈ＝Ｓｈ*（ｂ／Ｄ）*（Ｋｈ／Ｐｈ）・・・式（Ｃ）

例えば、撮像素子の横幅Ｓｈが３４ｍｍ、ベースライン距離ｂが１００ｍｍ、視差Ｄが５．０ｍｍ、Ｋｈ／Ｐｈが０．５のとき、Ｌｗ＝２４０ｍｍが得られる。魚体サイズ算出装置１では、解析装置６の演算実行部６ａで上述の各種演算処理を行うことで、魚Ｆを生簀２から取り出すことなく、また、特別な画像処理を行うこともなく、その体長、体高の実サイズを容易に算出することができる。その後、ステップＳ０９に進む。

最後に、ステップＳ０９において、解析装置６は、実サイズ情報を送信する。具体的には、実サイズ情報は、解析装置６の通信部６ｃによりネットワークＮＷを通じて、クラウドサーバのデータベースＤＢや情報閲覧用のコンピュータＰＣに送信される。以上で、魚体サイズ算出装置１の一連の処理を終了する。

［第２実施形態］
次に、図８を参照して、第２実施形態の魚体サイズ算出装置１０の概要を説明する。魚体サイズ算出装置１０は、対象物がヒラメやカレイ等のカレイ目の魚である場合に、魚の実サイズの算出が可能である。以下では、上述の第１実施形態と同じ構成については同じ符号を付し、一部説明を省略する。

魚体サイズ算出装置１０は、生簀２内に設置された撮像装置３０と、地上に設置され、撮像装置３０と通信ケーブル５で接続された解析装置６とで構成される。

図示するように、撮像装置３０は、防水ケース４に収められて生簀２の水中上方に設置され、生簀２内の魚（以下、ヒラメとする）を撮像する。撮像装置３０を構成する左側カメラ３０Ｌ及び右側カメラ３０Ｒは、ビデオモードで生簀２内を撮像し、撮像された映像は、通信ケーブル５を介して解析装置６に送信される。

ヒラメは生簀２の底面に張り付いた状態で回遊するので、撮像装置３０は、ヒラメの正面側の魚体形状を撮像することになる。また、解析装置６は、撮像装置３０から送信された映像から、物体認識技術により対象物の形状（魚体形状）を認識、取得する。

解析装置６は、学習モデル実行部６ｂ（図１参照）に予め複数種類のカレイ目の魚の画像を機械学習させているため、学習モデルを実行して、映像からヒラメを認識することができる。特に、ヒラメの実サイズの算出には、正面方向を向いたヒラメの画像が必要である。従って、解析装置６は、送信された映像から正面方向を向いたヒラメのみを特定し、その正面画像を取得する。

具体的には、図４で示したように、撮像装置３０（左側カメラ３０Ｌ、右側カメラ３０Ｒ）の左画像Ｐ１、右画像Ｐ２の長辺方向とヒラメの体長方向が一致している必要があるが、そのような方向を向いたヒラメがいない場合もある。このような場合に備えて、解析装置６は、ヒラメの方向に合わせて矩形枠を作成する画像処理部を備えていてもよい。また、撮像装置３０が角度を変更して撮像が可能となる駆動機構を備えていてもよい。

図９は、ヒラメＨの魚体が含まれる矩形枠Ｋ’を示している。矩形枠Ｋ’は、横幅ＫｗをヒラメＨの上顎先端から尾びれ基底までの長さとし、高さＫｈを背びれを含まない背縁から腹びれを含まない腹縁までの長さとしている。なお、ヒラメＨのひれを含むように矩形枠を作成してもよい（図４参照）。

矩形枠Ｋ’（実際は、左右の矩形枠Ｋ１’，Ｋ２’）を取得した後、解析装置６は、それぞれの矩形枠Ｋ’から重心座標を算出する。具体的には、図９に示すように、矩形枠Ｋ’の中心をヒラメＨの重心座標Ｇ’（実際は、左側重心座標Ｇ１’、右側重心座標Ｇ２’）と定める。

これ以降は、第１実施形態と同様の各種演算処理により、ヒラメＨの実サイズを算出することができる（図２参照）。解析装置６（通信部６ｃ）がネットワークＮＷを通じて自動でヒラメＨの実サイズ情報をクラウドサーバのデータベースＤＢ（図示省略）にアップロードする点も同じであり、ユーザは、生簀２内のヒラメの実サイズ情報を情報閲覧用のコンピュータＰＣ（図示省略）で確認することができる。ここでのサーバも、クラウドサーバに限られない。解析装置６が接続されたローカルＬＡＮ内のサーバを通じて、所定のデータベースにヒラメＨの実サイズ情報をアップロードする方式であってもよい。

上記説明は、本発明の実施形態の一部であり、これ以外にも種々な実施形態が考えられる。実施形態において示した数値等は例示に過ぎず、適宜変更してもよい。以上では、第３世代移動通信システム（３Ｇ通信回線）による無線通信を例に説明したが、これに限られるものではない。例えば、第４世代移動通信システム（４Ｇ通信回線）やＬＴＥ（Long Term Evolution）回線等で本発明を実施することもできる。

また、フグのように横向き状態が正方形に近い魚も存在する。この場合、解析装置６の学習モデル実行部６ｂが魚種に応じて適切な矩形枠の情報を演算実行部６ａに提供してもよいし、ユーザが適切な矩形枠となるように設定してもよい。

生簀内で大量の魚が養殖されているような場合は、複数の魚に対して連続的に実サイズを計測し、その平均値を算出する。これにより、生簀全体での魚の成育状況の数値化を図ることができる。また、偏差を算出することで、成育のばらつきの指標を得ることも可能である。さらに、養殖事業者は、ばらつきの指標を元に、成育が遅れている魚を別の生簀に移動させる等の行動を取ることができる。

魚体サイズ算出装置１は、対象物の実サイズを算出可能であったが、実サイズから重量を推定する機能を有していてもよい。対象物が魚である場合には、魚の実サイズ（体長、体高）から重量との関係を機械学習させ、算出した係数を用いて魚の重量を推定する。

１，１０…魚体サイズ算出装置、２…生簀、３，３０…撮像装置、３Ｌ，３０Ｌ…左側カメラ、３Ｒ，３０Ｒ…右側カメラ、４…防水ケース、４ａ…ガラス板、５…通信ケーブル、６…解析装置、６ａ…演算実行部、６ｂ…学習モデル実行部、６ｃ…通信部。

Claims

回遊中の魚を水中で撮像する撮像部と、当該魚の実サイズを算出するための演算処理を行う演算処理部とからなる魚体サイズ算出装置であって、
前記撮像部は、撮像素子を有し、前記回遊中の魚のステレオ映像を撮像可能な２つのカメラからなり、
前記演算処理部は、
複数種類の魚の画像を学習させた機械学習モデルを利用して、前記撮像部が撮像した前記ステレオ映像から前記回遊中の魚の魚体形状を認識し、それぞれ当該魚体形状を含む左画像及び右画像を記憶する認識記憶手段と、
前記左画像と前記右画像のそれぞれから前記回遊中の魚の魚体が含まれる矩形枠を作成し、当該矩形枠から当該魚の重心座標を算出する重心座標算出手段と、
前記重心座標算出手段が算出した前記重心座標を用いて、当該重心座標の視差を算出する視差算出手段と、
前記視差算出手段が算出した前記視差を用いて、前記回遊中の魚の実サイズを算出する実サイズ算出手段と、を備え、
前記矩形枠の縦幅は、前記回遊中の魚の背縁から腹縁までの長さであり、
前記矩形枠の横幅は、前記回遊中の魚の尾びれを含まない長さであることを特徴とする魚体サイズ算出装置。
請求項１に記載の魚体サイズ算出装置において、
前記演算処理部は、前記左画像と前記右画像のそれぞれに２以上の前記矩形枠が作成された場合に、前記重心座標から前記回遊中の魚の高さ方向の座標が同一である前記矩形枠をペアとして選択することを特徴とする魚体サイズ算出装置。
請求項２に記載の魚体サイズ算出装置において、
前記演算処理部は、前記回遊中の魚の高さ方向の座標が同一である前記矩形枠のペアが１つに定まらない場合に、前記撮像部から改めて前記ステレオ映像を取得することを特徴とする魚体サイズ算出装置。
請求項１〜３の何れか１項に記載の魚体サイズ算出装置において、
前記演算処理部は、前記回遊中の魚の実サイズをネットワーク接続されたサーバに送信する通信部をさらに備えていることを特徴とする魚体サイズ算出装置。