JP7126858B2 - 魚種推定システム、魚種推定方法、及びプログラム - Google Patents

Description

本発明は、魚種推定システム、魚種推定方法、及びプログラムに関する。

特許文献１には、水中に向けて送信した超音波のエコー信号を用いて魚種を判別することが記載されている。

特開２０１４－７７７０３号公報

漁業の分野においては漁獲量の管理が年々厳格化されていることから、水揚げ前に魚種を推定する技術の更なる精度向上が望まれている。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、魚種推定の精度向上を図ることが可能な魚種推定システム、魚種推定方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の魚種推定システムは、水中に発せられた超音波の反射波から生成されたエコーデータを少なくとも含むデータセットを取得する取得手段と、前記データセットを入力データとするとともに、魚種を教師データとして機械学習により作成された学習済みモデルを用い、前記取得手段により取得された前記データセットの前記エコーデータに含まれる魚像の魚種を推定する推論手段と、を備える。

また、本発明の他の態様の魚種推定方法は、水中に発せられた超音波の反射波から生成されたエコーデータを少なくとも含むデータセットを取得し、前記データセットを入力データとするとともに、魚種を教師データとして機械学習により作成された学習済みモデルを用い、取得された前記データセットの前記エコーデータに含まれる魚像の魚種を推定する。

また、本発明の他の態様のプログラムは、水中に発せられた超音波の反射波から生成されたエコーデータを少なくとも含むデータセットを取得する取得手段、及び、前記データセットを入力データとするとともに、魚種を教師データとして機械学習により作成された学習済みモデルを用い、前記取得手段により取得された前記データセットの前記エコーデータに含まれる魚像の魚種を推定する推論手段、としてコンピュータを機能させる。

本発明によれば、魚種推定の精度向上を図ることが可能となる。

実施形態に係る魚種推定システムの構成例を示すブロック図である。 エコー画像の例を示す図である。 魚群学習／推論部の学習フェーズを説明するためのブロック図である。 魚群学習／推論部の学習フェーズの手順例を示すフロー図である。 魚群学習／推論部の推論フェーズを説明するためのブロック図である。 魚群学習／推論部の推論フェーズの手順例を示すフロー図である。 探知魚種データベースの例を示す図である。 魚群探知機の構成例を示すブロック図である。 表示制御の手順例を示すフロー図である。 マークテーブルの例を示す図である。 マークを付加したエコー画像の例を示す図である。 マークを付加したエコー画像の別の例を示す図である。 マークを付加した海図画像の例を示す図である。 魚種通知の手順例を示すフロー図である。

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。

［システム構成］
図１は、実施形態に係る魚種推定システム１の構成例を示すブロック図である。魚群推定システム１は、魚種推定装置１０、カメラ２、ＧＰＳプロッタ３、魚群探知機４及びデータベース１９を備えている。

魚群推定システム１に含まれる魚種推定装置１０、カメラ２、ＧＰＳプロッタ３、魚群探知機４及びデータベース１９は、例えば漁船などの船舶に搭載される。これに限らず、例えば魚種推定装置１０の一部又は全部の機能が、陸地に設置されたサーバ装置等で実現されてもよい。

魚種推定装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含む制御部１７を備えるコンピュータである。制御部１７は、画像－魚種判別部１１、魚種学習／推論部１３及びデータ取得部１５を含んでいる。これらの機能部は、制御部１７のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット等の通信ネットワークを介して供給されてもよい。

魚種推定装置１０は、データベース１９にアクセス可能である。データベース１９は、魚種推定装置１０において実現されてもよいし、ＧＰＳプロッタ３又は魚群探知機４において実現されてもよいし、陸地に設置されたサーバ装置等において実現されてもよい。

カメラ２は、漁獲時又は後に漁獲された魚を撮影して画像データを生成する。具体的には、カメラ２は、網上げ時の網に掛かった魚を撮影してもよいし、甲板に上げられた魚を撮影してもよいし、魚艙に入れられた魚を撮影してもよいし、陸上げされた魚を撮影してもよい。カメラ２により生成された画像データは、魚種推定装置１０に出力され、後述するように画像－魚種判別部１１を経由して魚種学習／推論部１３の学習フェーズに利用される。

ＧＰＳプロッタ３は、ＧＰＳ（Global Positioning System）から受信した電波に基づき船舶の現在位置を表す位置データを生成するとともに、表示部（不図示）に表示される海図画像上に船舶の現在位置をプロットする。ＧＰＳプロッタ３により生成された位置データは、魚種推定装置１０に出力され、後述するように魚種学習／推論部１３の学習フェーズ及び推論フェーズに利用される。

魚群探知機４は、水中に発せられた超音波の反射波からエコーデータを生成し、エコーデータに基づくエコー画像を表示部４７（図８参照）に表示する。魚群探知機４の具体的構成については後述する。図２の例に示すように、エコー画像は、水中の魚で反射した成分を表す魚像Ｆと、海底で反射した成分を表す海底像Ｇとを含んでいる。

さらに、魚群探知機４は、エコーデータに基づき水深データを検出するとともに、温度センサにより水温データを検出する。魚群探知機４により生成されたエコーデータ、水深データ及び水温データは、魚群推定装置１０に出力され、後述するように魚種学習／推論部１３の学習フェーズ及び推論フェーズに利用される。

カメラ２からの画像データ、ＧＰＳプロッタ３からの位置データ、魚群探知機４からのエコーデータ、水深データ及び水温データ等は、データ取得部１５により取得され、データベース１９に保存される。

このうち、エコーデータ、位置データ、水深データ及び水温データを含むデータセットは、魚種学習／推論部１３の入力データとされる。データセットは、所定時間毎に保存される。データセットは、少なくともエコーデータを含めばよく、位置データ、水深データ及び水温データの１又は複数が省略されてもよいし、日時データや潮流データ等のその他のデータがさらに含まれてもよい。

画像データは、画像－魚種判別部１１の入力データとされる。画像データは、漁獲前に取得されたデータセットと関連付けて保存される。具体的には、エコーデータで探知された魚とカメラ２で撮影された魚とが一致するように、データセットと画像データとが関連付けられる。例えば、漁獲に要する時間を考慮して自動で関連付けてもよいし、ユーザにより手動で関連付けてもよい。

例えば、魚群探知機４が魚群を検知したときの位置を記憶しておき、魚群を検知したときの位置と、当該魚群を漁獲した位置（すなわち、画像データが生成された位置）との距離が閾値以下であるとの条件を満たす場合に、画像データとデータセットとを関連付けるようにしてよい。さらには、魚群を検知した時間と当該魚群を漁獲した時間との差が閾値以下との条件を組み合わせてもよい。魚群を漁獲した位置は、例えば、竿釣りであれば釣れたときの船舶の位置であり、巻き網漁であれば巻き網開始位置や巻き網中心位置などである。

画像－魚種判別部１１は、判別手段の一例である。画像－魚種判別部１１は、画像データが入力されると、画像データに含まれる魚像の魚種を判別し、出力する。画像－魚種判別部１１から出力された魚種は、後述するように魚種学習／推論部１３の学習フェーズで教師データとして利用される。魚種は、予め判別され、画像データとともにデータセットと関連付けてデータベース１９に保存されてもよいし、魚種学習／推論部１３の学習フェーズ時に判別され、魚種学習／推論部１３に直接的に入力されてもよい。

本実施形態では、画像－魚種判別部１１は、魚種学習／推論部１３と同様の、機械学習による学習フェーズ及び推論フェーズを実現する学習／推論部である。具体的には、画像－魚種判別部１１は、学習フェーズにおいて、画像データを入力データ、魚種を教師データとして機械学習により学習済みモデルを作成する。教師データとしての魚種は、例えばユーザにより入力される。また、画像－魚種判別部１１は、推論フェーズにおいて、学習フェーズで作成された学習済みモデルを用い、画像データを入力データとして、画像データに含まれる魚像の魚種を推定し、出力する。

これに限らず、画像－魚種判別部１１は、学習フェーズを実現する部分を省略し、推論フェーズを実現する部分のみで構成されてもよい。また、画像－魚種判別部１１は、機械学習により作成された学習済みモデルを用いない、画像データから特徴を抽出して対象を識別する画像認識技術によって、画像データに含まれる魚像の魚種を判別してもよい。

魚種学習／推論部１３は、学習手段及び推論手段の一例であり、機械学習による学習フェーズ及び推論フェーズを実現する。具体的には、魚種学習／推論部１３は、学習フェーズにおいて、エコーデータ等を含むデータセットを入力データ、画像－魚種判別部１１により判別された魚種を教師データとして、機械学習によって学習済みモデルを作成する。また、魚種学習／推論部１３は、推論フェーズにおいて、学習フェーズで作成された学習済みモデルを用い、エコーデータ等を含むデータセットを入力データとして、エコーデータに含まれる魚像の魚種を推定し、出力する。

機械学習には、例えばニューラルネットワークを用いた機械学習が適用される。特には、ニューロンを多段に組み合わせたディープニューラルネットワークを用いたディープラーニングが好適である。これに限らず、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習を適用してもよい。

なお、画像－魚種判別部１１及び魚種学習／推論部１３のうち、学習フェーズを実現する部分は、高い計算処理能力を必要とするため、陸地に設置されたサーバ装置等で実現されてもよい。その場合、衛星通信等を利用してデータを逐次受け渡してもよいし、航行時はデータを溜めておき、帰港時にデータを一斉に受け渡してもよい。

［学習フェーズ］
図３は、魚種学習／推論部１３の学習フェーズを説明するためのブロック図である。図４は、魚種学習／推論部１３の学習フェーズの手順例を示すフロー図である。

まず、魚種学習／推論部１３は、データセット及び魚種を取得する（Ｓ１１）。学習フェーズでは、データセットとそれに関連付けられた魚種とがデータベース１９から読み出される。データセットは、ＧＰＳプロッタ３からの位置データ、魚群探知機４からのエコーデータ、水深データ及び水温データ等を含んでいる。魚種は、カメラ２からの画像データに基づき画像－魚種判別部１１で判別されたものである。魚種は、データベース１９から読み出されてもよいし、画像－魚種判別部１１から直接的に入力されてもよい。

なお、図３では説明のためデータの流れを矢印で示しているが、実際には、各データはデータベース１９に保存され、データベース１９から読み出される。これに限らず、各データはデータベース１９を介さずに直接的に入出力されてもよい。

次に、魚種学習／推論部１３は、複数用意されたデータセット及び魚種の組から一部を機械学習用のトレーニングデータとして抽出し（Ｓ１２）、抽出したトレーニングデータを用いて機械学習を実行する（Ｓ１３）。機械学習は、データセットを入力データ、魚種を教師データとして行われる。これにより、エコーデータに含まれる魚像の魚種を推定するための学習済みモデルが作成される。

次に、魚種学習／推論部１３は、複数用意されたデータセット及び魚種の組からトレーニングデータとは別の一部をテストデータとして抽出し（Ｓ１４）、抽出したテストデータを用いて学習済みモデルを評価する（Ｓ１５）。その後、魚種学習／推論部１３は、評価が所定以上であった学習済みモデルをデータベース１９に保存し（Ｓ１６）、学習フェーズを終了する。

［推論フェーズ］
図５は、魚種学習／推論部１３の推論フェーズを説明するためのブロック図である。図６は、魚種学習／推論部１３の推論フェーズの手順例を示すフロー図である。

まず、魚種学習／推論部１３は、データセットを取得する（Ｓ２１、取得手段としての処理）。推論フェーズでは、データセットに含まれるエコーデータ、位置データ、水深データ及び水温データ等が、ＧＰＳプロッタ３及び魚群探知機４から魚種学習／推論部１３に直接的に入力される。これに限らず、データセットは、データベース１９に一旦保存され、データベース１９から読み出されてもよい。

次に、魚種学習／推論部１３は、取得されたエコーデータ等を含むデータセットを入力データとし、学習フェーズで作成された学習済みモデルと比較して（Ｓ２２）、エコーデータに含まれる魚像の魚種を推定し、出力する（Ｓ２３）。学習済みモデルとの比較は、例えばエコーデータに基づくエコー画像と学習済みモデル画像とのパターンマッチング等である。魚種学習／推論部１３により推定された魚種は、データベース１９、ＧＰＳプロッタ３及び魚群探知機４等に出力される。

魚種学習／推論部１３から出力された魚種は、例えば図７に示すように、データベース１９に含まれる探知魚種データベースに、日時データ及び位置データ等と関連付けて保存される。さらに、魚種は、例えば水深データ、水温データ及び潮流データ等のデータと関連付けられてもよい。

上記実施形態によれば、機械学習により作成された学習済みモデルを用い、エコーデータに含まれる魚像の魚種を推定することで、魚種推定の精度向上を図ることが可能となる。また、漁獲毎に取得されるデータセット及び魚種を利用して機械学習を重ねることで、魚種推定の益々の精度向上を図ることが可能となる。

また、上記実施形態によれば、画像－魚種判別部１１が画像データから判別した魚種を、魚種学習／推論部１３の学習フェーズで教師データとして利用することで、ユーザが魚種を入力する手間を省略することができ、ユーザの負担を軽減しつつ魚種推定の精度向上を図ることが可能となる。

なお、上記実施形態では魚種のみを対象としていたが、これに限らず、魚種及び魚量を、画像－魚種判別部１１の判別対象、魚種学習／推論部１３の学習フェーズにおける教師データ、推論フェーズにおける推定対象としてもよい。これによれば、魚種とともに魚量も推定されるので、漁獲の判断にさらに有益である。

［魚群探知機］
図８は、魚群探知機４の構成例を示すブロック図である。魚群探知機４は、送受波器４１、送受切替部４２、送信回路４３、受信回路４４、ＡＤ変換器４５、制御部４６、表示部４７、操作部４８及び通知部４９を備えている。制御部４６は、表示制御部４６１及び一致判定部４６３を含んでいる。

送受波器４１は、超音波振動子を含み、船底に設置されている。送受波器４１は、送信回路４３からの電気信号を超音波に変換して水中に送波するとともに、受波した反射波を電気信号に変換して受信回路４４に出力する。送受切替部４２は、送波時に送信回路４３を送受波器４１に接続し、受波時に受信回路４４を送受波器４１に接続する。

受信回路４４は、送受波器４１からの電気信号を増幅し、ＡＤ変換器４５に出力する。ＡＤ変換器４５は、受信回路４４からの電気信号をデジタルデータ（すなわち、エコーデータ）に変換し、制御部４６に出力する。

制御部４６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部４６に含まれる機能部は、ＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット等の通信ネットワークを介して供給されてもよい。

表示部４７は、例えば液晶ディスプレイ等である。操作部４８は、例えばボタンスイッチ又はタッチパネル等である。通知部４９は、例えばスピーカ又はブザー等である。

［表示制御］
図９は、表示制御部４６１を実現するために制御部４６が実行する表示制御の手順例を示すフロー図である。図１０は、表示制御を実行する際に参照されるマークテーブルの例を示す図である。

まず、制御部４６は、ＡＤ変換器４５からエコーデータを取得し（Ｓ３１）、取得したエコーデータに基づくエコー画像を生成する（Ｓ３２）。上記図２の例に示したように、エコー画像は魚像Ｆ及び海底像Ｇを含んでいる。

次に、制御部４６は、魚種推定装置１０から推定された魚種を取得する（Ｓ３３）。

次に、制御部４６は、マークテーブルを参照し、取得した魚種に対応するマークを読み出す（Ｓ３４）。図１０の例に示すように、マークテーブルでは、マークを構成するマーク文字及びマーク画像が魚種に対応付けられている。マーク文字の欄には、魚種を表す文字列が含まれており、マーク画像の欄には、画像ファイル名が含まれている。マークテーブルは、制御部４６のメモリに記憶されていてもよいし、データベース１９に記憶されていてもよい。

次に、制御部４６は、読み出したマークをエコー画像に付加して（Ｓ３５）、マークが付加されたエコー画像を表示部４７に出力する（Ｓ３６）。これにより、マークが付加されたエコー画像が表示部４７に表示される。

図１１の例に示すように、エコー画像上には、魚像Ｆと対応付けてマーク画像Ｍとマーク文字Ｌが付加される。図示の例では、マーク画像Ｍは、枠線の画像であり、枠線が魚像Ｆを囲むように配置されている。マーク文字Ｌは、マーク画像Ｍの近傍に配置されている。図１２の例は、図１１より広範囲を示すエコー画像である。このようにエコー画像が複数の魚像Ｆを含む場合には、それぞれの魚像Ｆにマーク画像Ｍとマーク文字Ｌが付加される。マーク画像Ｍは、識別性を高めるため、魚種毎に色や形状が異なることが好ましい。

以上のようにマークが付加されたエコー画像が表示部４７に表示されることで、ユーザはエコー画像に含まれる魚像の魚種を認識することが可能となる。なお、本実施形態では、魚種推定装置１０により推定された魚種を用いているが、マークの付加に関しては、特許文献１等に記載された従来手法で判別された魚種を用いてもよい。

また、マークの付加は、ユーザが操作部４８を操作することにより指定された魚種についてのみ行われるようにしてもよい。これにより、ユーザは所望の魚種を認識しやすくなる。また、上述した探知魚種データベース（図７参照）への登録も、ユーザが操作部４８を操作した場合にのみ行われるようにしてもよい。これにより、ユーザは表示部４７に表示されたマークを確認した上で探知された魚種を保存することができる。

なお、本実施形態では、魚群探知機４の表示部４７に表示されるエコー画像にマークを付加する例について説明したが、これに限らず、図１３の例に示すように、ＧＰＳプロッタ３の表示部（不図示）に表示される海図画像上に、探知魚種データベース（図７参照）に登録された魚種及び位置データに基づき、マーク画像Ｍとマーク文字Ｌ等のマークを付加してもよい。

［魚種通知］
図１４は、一致判定部４６３を実現するために制御部４６が実行する魚種通知の手順例を示すフロー図である。まず、制御部４６は、ユーザから魚種の指定を受け付ける（Ｓ４１）。魚種の指定は、ユーザが操作部４８を操作することにより行われる。次に、制御部４６は、魚種推定装置１０から推定された魚種を取得する（Ｓ４２）。

次に、制御部４６は、推定された魚種がユーザにより指定された魚種と一致するか否かを判定し（Ｓ４３）、一致する場合に（Ｓ４３：ＹＥＳ）、通知部４９を駆動して、指定された魚種の出現をユーザに通知する（Ｓ４４）。通知は、例えばスピーカから音声を発してもよいし、ブザーを鳴らしてもよい。

このように通知が行われることで、ユーザは指定した魚種の出現を認識することが可能となる。

１ 魚種推定システム、２ カメラ、３ ＧＰＳプロッタ、４ 魚群探知機、１０ 魚種推定装置、１１ 画像－魚種判別部、１３ 魚種学習／推論部、１５ データ取得部、１７ 制御部、１９ データベース、４１ 送受波器、４２ 送受切替部、４３ 送信回路、４４ 受信回路、４５ ＡＤ変換器、４６ 制御部、４７ 表示部、４８ 操作部、４９ 通知部、４６１ 表示制御部、４６３ 一致判定部、Ｆ 魚像、Ｇ 海底像、Ｌ マーク文字、Ｍ マーク画像

Claims (8)

1. 船舶の現在位置を表す位置データを取得する手段と、
   前記船舶に搭載された魚群探知機により水中に発せられた超音波の反射波から生成されたエコーデータを少なくとも含むデータセットを取得する取得手段と、
   漁獲された魚を撮影する、前記船舶に搭載されたカメラにより生成された画像データに含まれる魚像の魚種を判別する判別手段と、
   前記データセットを入力データとし、前記判別手段により判別された魚種を教師データとして機械学習により学習済みモデルを作成する学習手段と、
   を備え、
   前記取得手段は、前記エコーデータで魚影が検知されたときの位置と、前記画像データが生成された位置との距離が閾値以下である場合に、前記データセットと前記画像データとを関連付け、
   前記判別手段は、画像データを入力データとし、魚種を教師データとして機械学習により作成された学習済みモデルを用い、前記カメラにより生成された画像データに含まれる魚像の魚種を判別する、
   システム。
2. 前記学習手段により作成された前記学習済みモデルを用い、前記取得手段により取得された前記データセットの前記エコーデータに含まれる魚像の魚種を推定する推論手段をさらに備える、
   請求項１記載のシステム。
3. 前記データセットは、位置データ、水温データ及び水深データから選択される１又は複数のデータをさらに含む、
   請求項１または２の何れかに記載のシステム。
4. 前記学習済みモデルは、魚種及び魚量を教師データとして作成され、
   前記推論手段は、前記エコーデータに含まれる魚像の魚種及び魚量を推定する、
   請求項２に記載のシステム。
5. 前記エコーデータに基づくエコー画像を表示する表示制御手段をさらに備え、
   前記表示制御手段は、前記推論手段により推定された魚種を表すマークを、前記エコー画像に含まれる魚像と対応付けて前記エコー画像上に付加する、
   請求項２に記載のシステム。
6. 前記推論手段により推定された魚種が予め指定された魚種と一致する場合に、ユーザに通知する通知手段をさらに備える、
   請求項２に記載のシステム。
7. 船舶に搭載された魚群探知機により水中に発せられた超音波の反射波から生成されたエコーデータを少なくとも含むデータセットを取得し、
   漁獲された魚を撮影する、前記船舶に搭載されたカメラにより生成された画像データに含まれる魚像の魚種を判別し、
   前記エコーデータで魚影が検知されたときの位置と、前記画像データが生成された位置との距離が閾値以下である場合に、前記データセットと前記画像データとを関連付け、
   前記データセットを入力データとし、前記判別された魚種を教師データとして機械学習により学習済みモデルを作成する、
   方法であって、
   前記魚種の判別は、画像データを入力データとし、魚種を教師データとして機械学習により作成された学習済みモデルを用い、前記カメラにより生成された画像データに含まれる魚像の魚種を判別する、
   方法。
8. 船舶の現在位置を表す位置データを取得する手段、
   前記船舶に搭載された魚群探知機により水中に発せられた超音波の反射波から生成されたエコーデータを少なくとも含むデータセットを取得する取得手段、
   漁獲された魚を撮影する、前記船舶に搭載されたカメラにより生成された画像データに含まれる魚像の魚種を判別する判別手段、及び、
   前記データセットを入力データとし、前記判別手段により判別された魚種を教師データとして機械学習により学習済みモデルを作成する学習手段、
   としてコンピュータを機能させ、
   前記取得手段は、前記エコーデータで魚影が検知されたときの位置と、前記画像データが生成された位置との距離が閾値以下である場合に、前記データセットと前記画像データとを関連付け、
   前記判別手段は、画像データを入力データとし、魚種を教師データとして機械学習により作成された学習済みモデルを用い、前記カメラにより生成された画像データに含まれる魚像の魚種を判別する、
   プログラム。
   

Images