JP6849081B2 - 情報処理装置、計数システム、計数方法およびコンピュータプログラム - Google Patents

Description

本発明は、撮影装置を利用して物体の数を計測する技術に関する。

魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献１には魚の数を計測する構成が開示されている。すなわち、特許文献１における構成では、生簀の側面側からカメラが生簀内の魚を撮影し、情報処理装置が、その撮影された撮影画像を解析することにより魚を追尾し、当該追尾の結果を利用して生簀内の魚を計数する。

また、特許文献２には、魚を収容する部屋の上方側からカメラが部屋内の魚を撮影し、コンピュータが、その撮影された撮影画像から魚影を検知し、撮影画像において魚影として検知された領域の面積に基づいて魚影の有無および数を判定する構成が示されている。

特開２０１６−１１０３８１号公報 特開２００８−１７１１９６号公報

特許文献１の構成では、撮影画像を解析することにより、魚が検知され当該魚を追尾した結果を利用して生簀内の魚が計数される。特許文献２の構成では、撮影画像から魚影が検知され、撮影画像において魚影として検知された領域の面積に基づいて魚影の数が判定される。このように、特許文献１の構成も特許文献２の構成も、魚が検知され当該検知結果を利用して魚の数が計測される。

ところで、撮影画像において、魚の重なりに因って映らない魚が有ることがある。また、水の濁り等に因って、カメラから離れている魚は映らない、あるいは、不鮮明な像になることがある。このために、撮影画像から検知されない魚があり、これにより、魚の数を精度良く計測できないという問題が生じる虞がある。また、非常に多くの魚の数を計測する場合に、魚を検知し当該検知した魚を計測する手法では、処理時間が多く掛かることが懸念される。

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影装置による撮影画像を利用して物体の数を計測する場合に、計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制でき、その上、計測精度を高める技術を提供することにある。

上記目的を達成するために、本発明に係る情報処理装置の一態様は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する抽出部と、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する計数部と
を備える。

本発明に係る計数システムの一態様は、
計測対象の物体が存在している撮影空間を撮影する撮影装置と、
前記撮影装置による撮影画像に基づいて、前記撮影空間内における前記計測対象の物体の数を計測する情報処理装置と
を備え、
前記情報処理装置は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する抽出部と、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する計数部と
を備える。

本発明に係る計数方法の一態様は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出し、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する。

本発明に係るプログラム記憶媒体の一態様は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する処理と、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。

本発明によれば、撮影装置による撮影画像を利用して物体の数を計測する場合に、計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制でき、その上、計測精度を高めることができる。

本発明に係る第１実施形態の計数システムの構成を簡略化して表すブロック図である。 第１実施形態における撮影装置であるカメラを生簀に投入した状態の一例を説明する図である。 第１実施形態におけるカメラの撮影範囲の一例を表す図である。 第１実施形態におけるカメラの配設形態を説明する図である。 水底に配設されたカメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 尾数検知用の学習モデルの一例を説明する図である。 尾数検知用の学習モデルの生成手法を説明する図である。 尾数検知用の学習モデルの別の一例を説明する図である。 第１実施形態における情報処理装置の計数処理を説明するフローチャートである。 カメラのその他の配設形態を説明する図である。 カメラの撮影範囲のその他の例を表す図である。 生簀周縁に配設されたカメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 本発明に係る第２実施形態の計数システムの構成を簡略化して表すブロック図である。 第２実施形態におけるカメラの配設形態を説明する図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。 本発明に係るその他の実施形態の計数システムの構成を簡略化して表すブロック図である。

以下に、本発明に係る実施形態を図面を参照しながら説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の計数システムの構成を簡略化して表すブロック図である。第１実施形態における計数システム１０は、計測対象の物体である生簀内の魚の数を計測するシステムである。この計数システム１０は、撮影装置であるカメラ１１と、情報処理装置１２とを備えている。

カメラ１１は、防水機能を持ち、図２に表されるように、魚２６が養殖されている生簀２５内に配設される。第１実施形態では、カメラ１１は、生簀２５内における水底（水底に近い位置も含む）の中央部に配設されている。このような位置に配置されるカメラ１１のレンズの向きは、水面を向く向き（上向き）となっている。また、カメラ１１は、図３に表されるような撮影範囲（視野）を持っている。つまり、カメラ１１の撮影範囲は、生簀２５の大きさを考慮し、生簀２５の側面側（周縁）も撮影できる範囲となっており、カメラ１１は、生簀２５内の水中を撮影空間として撮影する。

カメラ１１を水中に配設する手法は特に限定されないが、その一例を次に述べる。すなわち、カメラ１１は、それぞれ、図４に表されるような支持部材である金属板２０に、レンズの向きが上向き（金属板２０の基板面の上方側を向く向き）となるように支持固定される。カメラ１１が支持固定される金属板２０は、線条材である複数（４本）のロープ２１により浮体であるブイ２２に接続されている。また、各ロープ２１におけるブイ２２の反対側の端部側は錘２３に接続されている。

このような構成を持つカメラ１１の配設構造体が水中（生簀２５）に投入されることにより、ブイ２２は水面に浮き、錘２３は水底側に沈み、これにより、金属板２０は、ロープ２１によって水中に吊下げられている形態となる。また、錘２３が金属板２０（換言すればカメラ１１）の配設位置が大きく変動してしまうことを防止する。このように、金属板２０とロープ２１とブイ２２と錘２３によってカメラ１１を水中に配設する手法は、構造が簡易であり、また、コンパクト化および軽量化が容易である。このことから、カメラ１１を別の生簀２５に移動させることが容易となる。

このように水中に配設されるカメラ１１は、生簀２５内の魚２６を腹側から撮影することになる。例えば、カメラ１１による撮影画像中の魚２６は、図５Ａ〜図５Ｃに表されるような像となる。

なお、カメラ１１は、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ１１として採用してもよい。また、カメラ１１のキャリブレーションは、生簀２５の環境や計測対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。

さらに、カメラ１１による撮影を開始する手法および撮影を停止する手法は、カメラ１１の性能や生簀２５の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者（作業者）が、カメラ１１を生簀２５に進入させる前に手動により撮影を開始させ、また、カメラ１１を生簀２５から退出させた後に手動により撮影を停止させる。また、カメラ１１が無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ１１とを通信接続する。そして、観測者による操作装置の操作により、水中のカメラ１１の撮影開始と撮影停止が制御されてもよい。

上述したようなカメラ１１により撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置１２に取り込まれてもよいし、可搬型記憶媒体に格納された後に当該可搬型記憶媒体から情報処理装置１２に取り込まれてもよい。

情報処理装置１２は、図１に表されるように、概略すると、制御装置１３と、記憶装置１４とを備えている。また、情報処理装置１２は、例えば観測者の操作により情報を情報処理装置１２に入力する入力装置（例えば、キーボードやマウス）１６と、情報を表示する表示装置１７に接続されている。さらに、情報処理装置１２は、当該情報処理装置１２とは別体の外付けの記憶装置１５に接続されていてもよい。

記憶装置１４は、各種データやコンピュータプログラム（以下、プログラムとも記す）を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置１２に備えられる記憶装置１４は一つには限定されず、複数種の記憶装置が情報処理装置１２に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置１４と記す。また、記憶装置１５も、記憶装置１４と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置１２が記憶装置１５に接続されている場合には、記憶装置１５には適宜な情報が格納される。また、この場合には、情報処理装置１２は、適宜、記憶装置１５に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置１５に関する説明を省略する。

第１実施形態では、記憶装置１４には、カメラ１１による撮影画像が、撮影したカメラを識別する情報や、撮影日時、天候の情報というような撮影条件に関わる情報などと関連付けられた状態で格納される。

制御装置１３は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサにより構成される。制御装置１３は、例えばＣＰＵが記憶装置１４に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置１３は、機能部として、抽出部３０と、計数部３１と、表示制御部３２とを備えている。

表示制御部３２は、表示装置１７の表示動作を制御する機能を備えている。例えば、表示制御部３２は、入力装置１６から、カメラ１１の撮影画像を再生する要求を受け取った場合に、要求に応じたカメラ１１の撮影画像を記憶装置１４から読み出し当該撮影画像を表示装置１７に表示する。

抽出部３０は、例えば、カメラ１１による撮影画像の再生中に、観測者による入力装置１６の操作によって魚の数を計測する要求が入力されたことを検知すると、撮影画像から予め定められた特徴量を抽出する機能を備えている。ここでの特徴量とは、記憶装置１４に格納されている尾数検知用の学習モデルに使用されている特徴量である。尾数検知用の学習モデルは、図２のように配設されたカメラ１１によって撮影された撮影画像から生簀２５内の魚の数を検知（計数）する処理で使用されるモデルであり、画像の特徴量と魚の数との関係データである。当該尾数検知用の学習モデルは、魚の数が分かっている状態でカメラ１１によって生簀２５内の魚を撮影した多数の撮影画像を教師データ（教師画像）とした機械学習により生成される。図５Ａ〜図５Ｃは、カメラ１１による生簀２５内の撮影画像の例が生簀２５内の魚の数に関連付けられて表されている。図５Ａ〜図５Ｃに表されるように、魚の数に応じて撮影画像の明るさや魚影の数などが変化している。このように魚の数に応じて変化する要素が特徴量として設定されている。

尾数検知用の学習モデルを生成する機械学習には様々な手法が有り、要求する学習モデルの態様や魚の計測精度などを考慮した適宜な機械学習の手法が尾数検知用の学習モデルの生成手法として採用される。

尾数検知用の学習モデルは、例えば、図６Ａに表されるような態様であってもよいし、図７に表されるような態様であってもよく、上記のような学習モデルの生成手法の設定と併せて適宜に設定される。図６Ａの学習モデルは、教師データから抽出された特徴量の変化に応じて魚の数（尾数）が連続的に変化するモデルである。このモデルは、例えば、教師データから得られる図６Ｂに表されるような多数の特徴量と尾数の関係を表す測定点Ｐを利用した回帰分析によって得られる。

図７の学習モデルは、教師画像から抽出した互いに異なる複数の特徴量Ｍ，Ｎの組み合わせが、当該特徴量Ｍ，Ｎの組み合わせを抽出した教師画像における生簀２５内の魚の数ごとにグループ分け（クラス分け）されているモデルである。

抽出部３０は、上記のような尾数検知用の学習モデルで使用されている特徴量を撮影画像から抽出する。この特徴量の抽出には、例えば、学習モデルの生成に利用されるディープラーニングのフレームワークが抽出器として利用される。

計数部３１は、抽出部３０により撮影画像から抽出された特徴量を記憶装置１４における尾数検知用の学習モデルに照合し、抽出された特徴量に対応する魚の数を尾数検知用の学習モデルから計測対象の魚の数として計数する機能を備えている。

ところで、水の透明度や撮影画像の輝度は季節や天候等の撮影環境によって変化する。このことを考慮し、計数部３１は、季節や天候などの撮影環境の情報（環境情報）を外部から受け付ける。そして、計数部３１は、受け付けた撮影環境の情報と、記憶装置１４に予め格納されている補正用のデータとを利用して、学習モデルから検知した魚の数を撮影環境に応じて補正する機能を備えていてもよい。あるいは、撮影環境ごとに学習モデルが生成され、撮影環境の情報が関連付けられた学習モデルが記憶装置１４に格納されていてもよい。この場合には、計数部３１は、受け付けた撮影環境の情報に応じた学習モデルを利用して、魚の数を検知する。

さらに、魚の養殖においては、例えば、魚は年齢別に分けられ、年齢に合った大きさ（生簀の径と深さ）の生簀２５で養殖される。このような場合には、魚の年齢（魚の大きさ）と生簀の大きさに関連付けられた互いに異なる複数の学習モデルが生成される。計数部３１は、外部から受け付けた魚の年齢（魚の大きさ）と生簀の大きさの情報に応じた学習モデルを利用して、魚の数を検知してもよい。

第１実施形態の計数システム１０は上記のように構成されている。次に、第１実施形態における情報処理装置１２の計数処理の一例を図８のフローチャートに基づいて説明する。

例えば、情報処理装置１２の抽出部３０は、観測者による入力装置１６の操作により、計測対象の魚を計数する要求が入力されたことを検知すると（ステップＳ１０１）、カメラ１１による撮影画像を記憶装置１４から取得する。そして、抽出部３０は、取得したカメラ１１による撮影画像から予め設定された特徴量を抽出する（ステップＳ１０２）。

その後、計数部３１が、抽出された特徴量を尾数検知用の学習モデルに照合し、当該学習モデルから、抽出された特徴量に対応する尾数を測定対象の魚の数として検知（計数）する（ステップＳ１０３）。そして、計数部３１は、例えば、計測した魚の数を表示制御部３２によって表示装置１７に表示させる。情報処理装置１２は、このような処理により、撮影画像から計測対象の魚の数を計測し、計測した魚の数を出力することができる。

第１実施形態の計数システム１０は、情報処理装置１２の抽出部３０および計数部３１により、機械学習による尾数検知用の学習モデルを利用して、撮影画像から計測対象の魚の数を検知する。機械学習による学習モデルは、教師データの数を増加することにより、当該モデルを利用した検知精度を向上させることができることから、情報処理装置１２は、機械学習による学習モデルを利用することにより、物体の計数の精度を容易に高めることができる。また、情報処理装置１２は、撮影画像の特徴量を抽出し、当該特徴量に基づいて計測対象の物体（魚）の数を検知するので、撮影画像における魚の数を一尾ずつ計測する場合に比べて、魚の数が多くなっても計測処理に要する時間の増加を抑制できる。その上、情報処理装置１２は、魚の数を一尾ずつ計測するのではなく、撮影画像から抽出される特徴量に基づいて魚の数を計測するので、魚の重なりや水の濁りに起因して撮影画像において検知できない魚があっても、魚の数を精度良く検知（計数）できる。

＜ 変形例 ＞
なお、上述した構成では、カメラ１１は、水底（水底に近い位置）に配設されている。これに代えて、例えば、図９のように配設されるカメラ３５が用いられてもよい。すなわち、カメラ３５は、図９のように、レンズの向きが支持部材である金属板２０の基板面に平行となるような横向きで金属板２０に固定される。換言すれば、カメラ３５は、水中（生簀２５）に投入された状態で、水面に平行となるような横向きで配設される。図１０は、生簀２５を上方側から見た場合における横向きのカメラ３５の撮影範囲と生簀２５との関係例を表す図である。図１０に表されているように、横向きのカメラ３５は、生簀２５の周縁部に配置され、生簀２５の周縁部（側面側）から生簀２５内の魚を撮影する。このカメラ３５は、生簀２５のほぼ全体を撮影可能な視野を持つものとする。また、水中における横向きのカメラ３５の深さ位置（高さ位置）は、水底と水面との間の中間部となる位置や、魚の種類によっては群れやすい深さ位置があることからこの場合には群れやすい深さ位置等であり、尾数（魚の数）検知に適切な深さ位置とする。

このようにカメラ３５を配設する場合には、カメラ３５は、生簀２５内の魚を横側から撮影することになる。図１１Ａ〜図１１Ｃには、横向きのカメラ３５により撮影された魚を含む撮影画像の例が魚の数毎に表されている。このようにカメラ３５を横向きに配設する場合には、同様に配設されたカメラ３５により撮影された撮影画像を教師データとして尾数検知用の学習モデルが生成される。また、抽出部３０は、横向きのカメラ３５による撮影画像から、そのように生成された尾数検知用の学習モデルに使用されている特徴量を抽出する。さらに、計数部３１は、抽出部３０により抽出された特徴量を、横向きのカメラ３５による撮影画像に基づいた尾数検知用の学習モデルに照合することにより、魚の数を検知する。

上記のように、横向きのカメラ３５によって周縁部から生簀２５内の魚を撮影する場合であっても、機械学習による学習モデルと、撮影画像から抽出される特徴量とを利用して計測対象の魚の数を検知することにより、計数システム１０は、前述した効果と同様の効果を得ることができる。

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の計数システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

図１２は、第２実施形態の計数システムの構成を簡略化して表すブロック図である。第２実施形態の計数システム１０は、第１実施形態の構成に加えて、カメラ３５が備えられている。つまり、第２実施形態の計数システム１０は、複数のカメラ１１，３５を利用する。例えば、図１３に表されているように、１台のカメラ１１は、生簀２５における水底中央部に上向きに（水面に向けて）配設され、別の１台のカメラ３５は、生簀２５における周縁部に横向きに配設される。横向きのカメラ３５の深さ位置は、例えば、水底と水面との間の中間部となる位置や、魚の種類によっては群れやすい深さ位置があることからこの場合には群れやすい深さ位置などであり、尾数検知に適切な深さ位置とする。なお、カメラ１１，３５は、第１実施形態で述べたと同様に、ロープ２１やブイ２２等を利用して水中に配設されるが、図１３ではロープ２１やブイ２２の図示が省略されている。

カメラ１１，３５はそれぞれ生簀２５全体を撮影可能な視野を持ち、互いに異なる方向から生簀２５内を撮影する。また、カメラ１１，３５は、それぞれ、動画により魚を撮影する機能を持つ撮影装置であるが、第１実施形態で述べたと同様に、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ１１，３５として採用してもよい。

第２実施形態の計数システムでは、情報処理装置１２は、同時刻に撮影されたカメラ１１，３５の撮影画像を用いて、魚の数を検知する。このことを考慮し、同時刻に撮影されたカメラ１１による撮影画像とカメラ３５による撮影画像とを得やすくするために、撮影中に、時間合わせに用いる目印となる変化をもカメラ１１，３５に撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは観測者（作業者）の手動によって短時間発光する光を利用することとし、カメラ１１，３５がその光を撮影するようにしてもよい。これにより、カメラ１１，３５による撮影画像に撮影されたその光に基づき、カメラ１１による撮影画像と、カメラ３５による撮影画像との時間合わせ（同期）を行うことが容易となる。

第２実施形態では、前述したように、同時刻に撮影されたカメラ１１，３５の撮影画像を利用する。このことを考慮し、情報処理装置１２における制御装置１３の表示制御部３２は、表示装置１７がカメラ１１，３５の撮影画像を二画面表示により並んで表示するように表示装置１７を制御する機能を備える。また、表示制御部３２は、カメラ１１，３５に同時撮影された前述したような時間合わせの目印を利用して、観測者がカメラ１１，３５によるそれぞれの撮影画像の再生コマを調整可能な機能を備える。さらに、表示制御部３２は、カメラ１１，３５による撮影画像の一方を表示する一画面表示と、カメラ１１，３５による撮影画像の両方を表示する二画面表示とを切り換える機能を備えていてもよい。このような切り換え機能を備えている場合には、表示制御部３２は、さらに、観測者による切り換えの指示を受け付ける表示を表示装置１７に表示させる機能を備える。その切り換えの指示を受け付ける表示は、例えば、アイコンの態様であってもよいし、文字であってもよいし、ラジオボタンの態様であってもよいというように、様々な態様があり、適宜な態様が採用される。

第２実施形態では、同時撮影されたカメラ１１，３５の両方の撮影画像を利用して尾数検知用の学習モデルが機械学習により生成される。つまり、尾数検知用の学習モデルは、生簀２５内の魚の数が分かっている状態でカメラ１１，３５により同時撮影された多数の撮影画像を教師データ（教師画像）とした機械学習により生成される。尾数検知用の学習モデルは、第１実施形態と同様に、撮影画像から抽出される特徴量と魚の数との関係データであり、記憶装置１４に格納される。

抽出部３０は、同時に撮影されたカメラ１１による撮影画像とカメラ３５による撮影画像との両方から、尾数検知用の学習モデルで使用されている特徴量を抽出する機能を備えている。

計数部３１は、カメラ１１，３５による同時撮影の撮影画像から抽出部３０によって抽出された特徴量を記憶装置１４の尾数検知用の学習モデルに照合し、当該学習モデルから、抽出された特徴量に対応する尾数を測定対象の魚の数として検知する機能を備えている。

第２実施形態の計数システム１０における上記以外の構成は、第１実施形態の計数システム１０の構成と同様である。第２実施形態の計数システム１０は、複数のカメラ１１，３５による撮影画像を利用することにより、生簀２５内の魚の数を検知する際に利用する情報量をより増やすことができるので、魚の数の検知精度をより一層向上できる。

＜ 変形例 ＞
なお、計数システム１０は、上述したような第２実施形態の構成に加えて、次のような構成を備えていてもよい。すなわち、計数システム１０は、水底のカメラ１１による撮影画像を利用して生簀２５内の魚の数を検知するモード１と、カメラ１１，３５による撮影画像を利用して生簀２５内の魚の数を検知するモード２とを切り換える構成を備えていてもよい。つまり、記憶装置１４には、水底のカメラ１１による撮影画像を利用して機械学習により生成される尾数検知用の学習モデル（モード１用の学習モデル）が格納される。また、記憶装置１４には、水底のカメラ１１および生簀周縁のカメラ３５による撮影画像を利用して機械学習により生成される尾数検知用の学習モデル（モード２用の学習モデル）が格納される。さらに、制御装置１３は、機能部として、図１２における点線で表される切り換え部３４を備える。切り換え部３４は、例えば観測者による入力装置１６の操作によってモードを切り換える要求が発せられた場合には、その要求を受けて、尾数検知のモードをモード１からモード２に又はその逆に切り換えることを抽出部３０と計数部３１に指示する機能を備える。抽出部３０と計数部３１は、切り換え部３４からの指示に応じて、モード１あるいはモード２で動作する。つまり、モード１の場合には、抽出部３０と計数部３１は、第１実施形態で述べた機能と同様に機能する。モード２の場合には、抽出部３０と計数部３１は、第２実施形態で述べた機能と同様に機能する。

上述したように、計数システム１０がモード１とモード２を切り換え可能な構成を備える場合には、何らかの不具合によってカメラ３５の撮影画像が尾数検知にとっては不良である場合に、例えば観測者が尾数検知のモードをモード２からモード１に切り換える。これにより、カメラ３５の撮影画像が尾数検知にとっては不良な場合でも、計数システム１０は、生簀２５内の魚の数を検知できる。

さらにまた、計数システム１０は、次のような構成を備えていてもよい。すなわち、計数システム１０は、次のような３つのモード１−１，１−２，２の中から択一的に選択されたモードで動作する構成を備えていてもよい。モード１−１とは、水底のカメラ１１による撮影画像を利用して生簀２５内の魚の数を検知するモードである。モード１−２とは、生簀周縁のカメラ３５による撮影画像を利用して生簀２５内の魚の数を検知するモードである。モード２とは、水底のカメラ１１および生簀周縁のカメラ３５による撮影画像を利用して生簀２５内の魚の数を検知するモードである。

計数システム１０が３つのモード１−１，１−２，２で動作可能な場合には、記憶装置１４には、モード１−１用の学習モデルと、モード１−２用の学習モデルと、モード２用の学習モデルが格納される。モード１−１用の学習モデルは、水底のカメラ１１による撮影画像を利用して機械学習により生成される尾数検知用の学習モデルである。モード１−２用の学習モデルは、生簀周縁のカメラ３５による撮影画像を利用して機械学習により生成される尾数検知用の学習モデルである。モード２用の学習モデルは、水底のカメラ１１および生簀周縁のカメラ３５による撮影画像を利用して機械学習により生成される尾数検知用の学習モデルである。

制御装置１３には切り換え部３４が備えられる。切り換え部３４は、例えば観測者による入力装置１６の操作によって切り換え後のモードを表す情報を受け取った場合には、尾数検知のモードを、受け取った情報に基づいたモードに切り換えることを抽出部３０と計数部３１に指示する機能を備える。抽出部３０と計数部３１は、切り換え部３４により指示されたモードに応じた学習モデルを利用して生簀２５内の魚の数を検知すべく機能する。

このようにモード１−１，１−２，２で動作可能な構成を備えることにより、カメラ１１，３５の一方から撮影画像を取得できない場合や、カメラ１１，３５の一方の撮影画像が尾数検知に不適切である場合であっても、計数システム１０は生簀２５の魚の数を検知できる。これにより、計数システム１０は利便性を高めることができる。

＜その他の実施形態＞
なお、本発明は第１実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第１と第２の実施形態の計数システム１０において、１枚の撮影画像（第２実施形態ではカメラ１１，３５による一組の撮影画像）に基づいた抽出部３０と計数部３１の機能による算出値をそのまま計測対象の物体の数（確定値）として出力している。これに代えて、例えば、計数部３１は、１枚の撮影画像（第２実施形態では複数組の撮影画像）に基づいて算出した魚の数（計測対象の物体の数）を魚の数の計測値として記憶装置１４に格納する機能を備えていてもよい。そして、計数部３１は、さらに、予め設定された個数の計測値（例えば設定の撮影時間内の複数（複数組）の撮影画像に基づいた複数の計測値）を記憶装置１４から読み出し当該複数の計測値の例えば平均値を魚の数の確定値として算出する機能を備えていてもよい。このような機能を計数部３１が備えることにより、計数システム１０は、計測対象の物体の計測精度の向上を図ることができる。

図１４には、本発明に係るその他の実施形態の情報処理装置の構成が簡略化して表されている。図１４における情報処理装置４０は、機能部として、抽出部４１と、計数部４２とを備えている。この情報処理装置４０は、図１５に表されるように、撮影装置５１と共に、計数システム５０を構成する。撮影装置５１は、計測対象の物体が存在している撮影空間を撮影する構成を備えている。

情報処理装置４０の抽出部４１は、計測対象の物体が撮影されている撮影画像から、計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する機能を備えている。計数部４２は、機械学習による特徴量と物体の数との関係データである学習モデルに、抽出された特徴量を照合することにより、学習モデルから計測対象の物体の数を検知する機能を備えている。

情報処理装置４０および計数システム５０は、上記のような構成を備えることにより、撮影装置による撮影画像を利用して物体の数を計測する場合に、計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制できる。その上、情報処理装置４０および計数システム５０は、撮影画像から抽出される特徴量に基づいて計測対象の物体の数を計測する。このため、情報処理装置４０および計数システム５０は、物体の重なり等に起因して撮影画像において検知できない計測対象の物体があっても、計測対象の物体の数を精度良く検知（計数）できる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１７年９月４日に出願された日本出願特願２０１７−１６９７９３および２０１７年１１月２２日に出願された日本出願特願２０１７−２２４８３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０，５０ 計数システム
１１，３５ カメラ
１２，４０ 情報処理装置
３０，４１ 抽出部
３１，４２ 計数部
５１ 撮影装置

Claims (9)

1. 水中において計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する前記撮影画像の明るさの特徴を含む特徴量を抽出する抽出手段と、
   前記特徴量と前記物体の数との関係を機械学習することにより生成された学習モデルと、抽出された前記特徴量とに基づいて、前記学習モデルから前記計測対象の物体の数を検知する計数手段と
   を備える情報処理装置。
2. 前記抽出手段は、前記計測対象の物体が互いに異なる方向からそれぞれ撮影されている複数の撮影画像から前記特徴量を抽出し、前記計数手段は、前記互いに異なる方向からそれぞれ撮影された撮影画像を利用した機械学習による前記学習モデルに基づいて、前記計測対象の物体の数を検知する請求項１に記載の情報処理装置。
3. 前記学習モデルには、撮影環境の情報が関連付けられており、前記計数手段は、前記撮影画像の撮影環境に応じた前記撮影環境の情報に関連付けられている前記学習モデルから前記計測対象の物体の数を検知する請求項１又は請求項２に記載の情報処理装置。
4. 前記計数手段は、前記撮影画像の撮影の環境情報を外部から受け付け、前記撮影画像の撮影環境に応じて、前記学習モデルから検知した前記計測対象の物体の数を補正する請求項１又は請求項２に記載の情報処理装置。
5. 前記学習モデルは、前記特徴量の変化に応じて前記物体の数が変化するモデルである請求項１乃至請求項４の何れか一つに記載の情報処理装置。
6. 前記学習モデルは、前記特徴量のグループに前記物体の数が関連付けられているモデルである請求項１乃至請求項４の何れか一つに記載の情報処理装置。
7. 計測対象の物体が存在している撮影空間を撮影する撮影装置と、
   前記撮影装置により撮影された撮影画像を利用する請求項１乃至請求項６の何れか一つに記載の情報処理装置と
   を備える計数システム。
8. 水中において計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する前記撮影画像の明るさの特徴を含む特徴量を抽出し、
   前記特徴量と前記物体の数との関係を機械学習することにより生成された学習モデルと、抽出された前記特徴量とに基づいて、前記学習モデルから前記計測対象の物体の数を検知する計数方法。
9. 水中において計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する前記撮影画像の明るさの特徴を含む特徴量を抽出する処理と、
   前記特徴量と前記物体の数との関係を機械学習することにより生成された学習モデルと、抽出された前記特徴量とに基づいて、前記学習モデルから前記計測対象の物体の数を検知する処理と
   をコンピュータに実行させるコンピュータプログラム。

Images