JPWO2019045091A1 - 情報処理装置、計数システム、計数方法およびコンピュータプログラム - Google Patents

情報処理装置、計数システム、計数方法およびコンピュータプログラム Download PDF

Info

Publication number
JPWO2019045091A1
JPWO2019045091A1 JP2019539698A JP2019539698A JPWO2019045091A1 JP WO2019045091 A1 JPWO2019045091 A1 JP WO2019045091A1 JP 2019539698 A JP2019539698 A JP 2019539698A JP 2019539698 A JP2019539698 A JP 2019539698A JP WO2019045091 A1 JPWO2019045091 A1 JP WO2019045091A1
Authority
JP
Japan
Prior art keywords
measured
objects
fish
learning model
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019539698A
Other languages
English (en)
Other versions
JP6849081B2 (ja
Inventor
丈晴 北川
丈晴 北川
君 朴
君 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019045091A1 publication Critical patent/JPWO2019045091A1/ja
Application granted granted Critical
Publication of JP6849081B2 publication Critical patent/JP6849081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00Counting of objects distributed at random, e.g. on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制できる技術を提供するために、情報処理装置40は、抽出部41と、計数部42とを備える。抽出部41は、計測対象の物体が撮影されている撮影画像から、計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する。計数部42は、機械学習による特徴量と物体の数との関係データである学習モデルに、抽出された特徴量を照合することにより、学習モデルから計測対象の物体の数を検知する。

Description

本発明は、撮影装置を利用して物体の数を計測する技術に関する。
魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献1には魚の数を計測する構成が開示されている。すなわち、特許文献1における構成では、生簀の側面側からカメラが生簀内の魚を撮影し、情報処理装置が、その撮影された撮影画像を解析することにより魚を追尾し、当該追尾の結果を利用して生簀内の魚を計数する。
また、特許文献2には、魚を収容する部屋の上方側からカメラが部屋内の魚を撮影し、コンピュータが、その撮影された撮影画像から魚影を検知し、撮影画像において魚影として検知された領域の面積に基づいて魚影の有無および数を判定する構成が示されている。
特開2016−110381号公報 特開2008−171196号公報
特許文献1の構成では、撮影画像を解析することにより、魚が検知され当該魚を追尾した結果を利用して生簀内の魚が計数される。特許文献2の構成では、撮影画像から魚影が検知され、撮影画像において魚影として検知された領域の面積に基づいて魚影の数が判定される。このように、特許文献1の構成も特許文献2の構成も、魚が検知され当該検知結果を利用して魚の数が計測される。
ところで、撮影画像において、魚の重なりに因って映らない魚が有ることがある。また、水の濁り等に因って、カメラから離れている魚は映らない、あるいは、不鮮明な像になることがある。このために、撮影画像から検知されない魚があり、これにより、魚の数を精度良く計測できないという問題が生じる虞がある。また、非常に多くの魚の数を計測する場合に、魚を検知し当該検知した魚を計測する手法では、処理時間が多く掛かることが懸念される。
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影装置による撮影画像を利用して物体の数を計測する場合に、計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制でき、その上、計測精度を高める技術を提供することにある。
上記目的を達成するために、本発明に係る情報処理装置の一態様は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する抽出部と、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する計数部と
を備える。
本発明に係る計数システムの一態様は、
計測対象の物体が存在している撮影空間を撮影する撮影装置と、
前記撮影装置による撮影画像に基づいて、前記撮影空間内における前記計測対象の物体の数を計測する情報処理装置と
を備え、
前記情報処理装置は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する抽出部と、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する計数部と
を備える。
本発明に係る計数方法の一態様は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出し、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する。
本発明に係るプログラム記憶媒体の一態様は、
計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する処理と、
機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、前記抽出された特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
本発明によれば、撮影装置による撮影画像を利用して物体の数を計測する場合に、計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制でき、その上、計測精度を高めることができる。
本発明に係る第1実施形態の計数システムの構成を簡略化して表すブロック図である。 第1実施形態における撮影装置であるカメラを生簀に投入した状態の一例を説明する図である。 第1実施形態におけるカメラの撮影範囲の一例を表す図である。 第1実施形態におけるカメラの配設形態を説明する図である。 水底に配設されたカメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 尾数検知用の学習モデルの一例を説明する図である。 尾数検知用の学習モデルの生成手法を説明する図である。 尾数検知用の学習モデルの別の一例を説明する図である。 第1実施形態における情報処理装置の計数処理を説明するフローチャートである。 カメラのその他の配設形態を説明する図である。 カメラの撮影範囲のその他の例を表す図である。 生簀周縁に配設されたカメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 さらに、カメラによる撮影画像の例を生簀内の魚の数に関連付けて表す図である。 本発明に係る第2実施形態の計数システムの構成を簡略化して表すブロック図である。 第2実施形態におけるカメラの配設形態を説明する図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。 本発明に係るその他の実施形態の計数システムの構成を簡略化して表すブロック図である。
以下に、本発明に係る実施形態を図面を参照しながら説明する。
<第1実施形態>
図1は、本発明に係る第1実施形態の計数システムの構成を簡略化して表すブロック図である。第1実施形態における計数システム10は、計測対象の物体である生簀内の魚の数を計測するシステムである。この計数システム10は、撮影装置であるカメラ11と、情報処理装置12とを備えている。
カメラ11は、防水機能を持ち、図2に表されるように、魚26が養殖されている生簀25内に配設される。第1実施形態では、カメラ11は、生簀25内における水底(水底に近い位置も含む)の中央部に配設されている。このような位置に配置されるカメラ11のレンズの向きは、水面を向く向き(上向き)となっている。また、カメラ11は、図3に表されるような撮影範囲(視野)を持っている。つまり、カメラ11の撮影範囲は、生簀25の大きさを考慮し、生簀25の側面側(周縁)も撮影できる範囲となっており、カメラ11は、生簀25内の水中を撮影空間として撮影する。
カメラ11を水中に配設する手法は特に限定されないが、その一例を次に述べる。すなわち、カメラ11は、それぞれ、図4に表されるような支持部材である金属板20に、レンズの向きが上向き(金属板20の基板面の上方側を向く向き)となるように支持固定される。カメラ11が支持固定される金属板20は、線条材である複数(4本)のロープ21により浮体であるブイ22に接続されている。また、各ロープ21におけるブイ22の反対側の端部側は錘23に接続されている。
このような構成を持つカメラ11の配設構造体が水中(生簀25)に投入されることにより、ブイ22は水面に浮き、錘23は水底側に沈み、これにより、金属板20は、ロープ21によって水中に吊下げられている形態となる。また、錘23が金属板20(換言すればカメラ11)の配設位置が大きく変動してしまうことを防止する。このように、金属板20とロープ21とブイ22と錘23によってカメラ11を水中に配設する手法は、構造が簡易であり、また、コンパクト化および軽量化が容易である。このことから、カメラ11を別の生簀25に移動させることが容易となる。
このように水中に配設されるカメラ11は、生簀25内の魚26を腹側から撮影することになる。例えば、カメラ11による撮影画像中の魚26は、図5A〜図5Cに表されるような像となる。
なお、カメラ11は、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ11として採用してもよい。また、カメラ11のキャリブレーションは、生簀25の環境や計測対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。
さらに、カメラ11による撮影を開始する手法および撮影を停止する手法は、カメラ11の性能や生簀25の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者(作業者)が、カメラ11を生簀25に進入させる前に手動により撮影を開始させ、また、カメラ11を生簀25から退出させた後に手動により撮影を停止させる。また、カメラ11が無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ11とを通信接続する。そして、観測者による操作装置の操作により、水中のカメラ11の撮影開始と撮影停止が制御されてもよい。
上述したようなカメラ11により撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置12に取り込まれてもよいし、可搬型記憶媒体に格納された後に当該可搬型記憶媒体から情報処理装置12に取り込まれてもよい。
情報処理装置12は、図1に表されるように、概略すると、制御装置13と、記憶装置14とを備えている。また、情報処理装置12は、例えば観測者の操作により情報を情報処理装置12に入力する入力装置(例えば、キーボードやマウス)16と、情報を表示する表示装置17に接続されている。さらに、情報処理装置12は、当該情報処理装置12とは別体の外付けの記憶装置15に接続されていてもよい。
記憶装置14は、各種データやコンピュータプログラム(以下、プログラムとも記す)を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置12に備えられる記憶装置14は一つには限定されず、複数種の記憶装置が情報処理装置12に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置14と記す。また、記憶装置15も、記憶装置14と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置12が記憶装置15に接続されている場合には、記憶装置15には適宜な情報が格納される。また、この場合には、情報処理装置12は、適宜、記憶装置15に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置15に関する説明を省略する。
第1実施形態では、記憶装置14には、カメラ11による撮影画像が、撮影したカメラを識別する情報や、撮影日時、天候の情報というような撮影条件に関わる情報などと関連付けられた状態で格納される。
制御装置13は、例えば、CPU(Central Processing Unit)等のプロセッサにより構成される。制御装置13は、例えばCPUが記憶装置14に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置13は、機能部として、抽出部30と、計数部31と、表示制御部32とを備えている。
表示制御部32は、表示装置17の表示動作を制御する機能を備えている。例えば、表示制御部32は、入力装置16から、カメラ11の撮影画像を再生する要求を受け取った場合に、要求に応じたカメラ11の撮影画像を記憶装置14から読み出し当該撮影画像を表示装置17に表示する。
抽出部30は、例えば、カメラ11による撮影画像の再生中に、観測者による入力装置16の操作によって魚の数を計測する要求が入力されたことを検知すると、撮影画像から予め定められた特徴量を抽出する機能を備えている。ここでの特徴量とは、記憶装置14に格納されている尾数検知用の学習モデルに使用されている特徴量である。尾数検知用の学習モデルは、図2のように配設されたカメラ11によって撮影された撮影画像から生簀25内の魚の数を検知(計数)する処理で使用されるモデルであり、画像の特徴量と魚の数との関係データである。当該尾数検知用の学習モデルは、魚の数が分かっている状態でカメラ11によって生簀25内の魚を撮影した多数の撮影画像を教師データ(教師画像)とした機械学習により生成される。図5A〜図5Cは、カメラ11による生簀25内の撮影画像の例が生簀25内の魚の数に関連付けられて表されている。図5A〜図5Cに表されるように、魚の数に応じて撮影画像の明るさや魚影の数などが変化している。このように魚の数に応じて変化する要素が特徴量として設定されている。
尾数検知用の学習モデルを生成する機械学習には様々な手法が有り、要求する学習モデルの態様や魚の計測精度などを考慮した適宜な機械学習の手法が尾数検知用の学習モデルの生成手法として採用される。
尾数検知用の学習モデルは、例えば、図6Aに表されるような態様であってもよいし、図7に表されるような態様であってもよく、上記のような学習モデルの生成手法の設定と併せて適宜に設定される。図6Aの学習モデルは、教師データから抽出された特徴量の変化に応じて魚の数(尾数)が連続的に変化するモデルである。このモデルは、例えば、教師データから得られる図6Bに表されるような多数の特徴量と尾数の関係を表す測定点Pを利用した回帰分析によって得られる。
図7の学習モデルは、教師画像から抽出した互いに異なる複数の特徴量M,Nの組み合わせが、当該特徴量M,Nの組み合わせを抽出した教師画像における生簀25内の魚の数ごとにグループ分け(クラス分け)されているモデルである。
抽出部30は、上記のような尾数検知用の学習モデルで使用されている特徴量を撮影画像から抽出する。この特徴量の抽出には、例えば、学習モデルの生成に利用されるディープラーニングのフレームワークが抽出器として利用される。
計数部31は、抽出部30により撮影画像から抽出された特徴量を記憶装置14における尾数検知用の学習モデルに照合し、抽出された特徴量に対応する魚の数を尾数検知用の学習モデルから計測対象の魚の数として計数する機能を備えている。
ところで、水の透明度や撮影画像の輝度は季節や天候等の撮影環境によって変化する。このことを考慮し、計数部31は、季節や天候などの撮影環境の情報(環境情報)を外部から受け付ける。そして、計数部31は、受け付けた撮影環境の情報と、記憶装置14に予め格納されている補正用のデータとを利用して、学習モデルから検知した魚の数を撮影環境に応じて補正する機能を備えていてもよい。あるいは、撮影環境ごとに学習モデルが生成され、撮影環境の情報が関連付けられた学習モデルが記憶装置14に格納されていてもよい。この場合には、計数部31は、受け付けた撮影環境の情報に応じた学習モデルを利用して、魚の数を検知する。
さらに、魚の養殖においては、例えば、魚は年齢別に分けられ、年齢に合った大きさ(生簀の径と深さ)の生簀25で養殖される。このような場合には、魚の年齢(魚の大きさ)と生簀の大きさに関連付けられた互いに異なる複数の学習モデルが生成される。計数部31は、外部から受け付けた魚の年齢(魚の大きさ)と生簀の大きさの情報に応じた学習モデルを利用して、魚の数を検知してもよい。
第1実施形態の計数システム10は上記のように構成されている。次に、第1実施形態における情報処理装置12の計数処理の一例を図8のフローチャートに基づいて説明する。
例えば、情報処理装置12の抽出部30は、観測者による入力装置16の操作により、計測対象の魚を計数する要求が入力されたことを検知すると(ステップS101)、カメラ11による撮影画像を記憶装置14から取得する。そして、抽出部30は、取得したカメラ11による撮影画像から予め設定された特徴量を抽出する(ステップS102)。
その後、計数部31が、抽出された特徴量を尾数検知用の学習モデルに照合し、当該学習モデルから、抽出された特徴量に対応する尾数を測定対象の魚の数として検知(計数)する(ステップS103)。そして、計数部31は、例えば、計測した魚の数を表示制御部32によって表示装置17に表示させる。情報処理装置12は、このような処理により、撮影画像から計測対象の魚の数を計測し、計測した魚の数を出力することができる。
第1実施形態の計数システム10は、情報処理装置12の抽出部30および計数部31により、機械学習による尾数検知用の学習モデルを利用して、撮影画像から計測対象の魚の数を検知する。機械学習による学習モデルは、教師データの数を増加することにより、当該モデルを利用した検知精度を向上させることができることから、情報処理装置12は、機械学習による学習モデルを利用することにより、物体の計数の精度を容易に高めることができる。また、情報処理装置12は、撮影画像の特徴量を抽出し、当該特徴量に基づいて計測対象の物体(魚)の数を検知するので、撮影画像における魚の数を一尾ずつ計測する場合に比べて、魚の数が多くなっても計測処理に要する時間の増加を抑制できる。その上、情報処理装置12は、魚の数を一尾ずつ計測するのではなく、撮影画像から抽出される特徴量に基づいて魚の数を計測するので、魚の重なりや水の濁りに起因して撮影画像において検知できない魚があっても、魚の数を精度良く検知(計数)できる。
< 変形例 >
なお、上述した構成では、カメラ11は、水底(水底に近い位置)に配設されている。これに代えて、例えば、図9のように配設されるカメラ35が用いられてもよい。すなわち、カメラ35は、図9のように、レンズの向きが支持部材である金属板20の基板面に平行となるような横向きで金属板20に固定される。換言すれば、カメラ35は、水中(生簀25)に投入された状態で、水面に平行となるような横向きで配設される。図10は、生簀25を上方側から見た場合における横向きのカメラ35の撮影範囲と生簀25との関係例を表す図である。図10に表されているように、横向きのカメラ35は、生簀25の周縁部に配置され、生簀25の周縁部(側面側)から生簀25内の魚を撮影する。このカメラ35は、生簀25のほぼ全体を撮影可能な視野を持つものとする。また、水中における横向きのカメラ35の深さ位置(高さ位置)は、水底と水面との間の中間部となる位置や、魚の種類によっては群れやすい深さ位置があることからこの場合には群れやすい深さ位置等であり、尾数(魚の数)検知に適切な深さ位置とする。
このようにカメラ35を配設する場合には、カメラ35は、生簀25内の魚を横側から撮影することになる。図11A〜図11Cには、横向きのカメラ35により撮影された魚を含む撮影画像の例が魚の数毎に表されている。このようにカメラ35を横向きに配設する場合には、同様に配設されたカメラ35により撮影された撮影画像を教師データとして尾数検知用の学習モデルが生成される。また、抽出部30は、横向きのカメラ35による撮影画像から、そのように生成された尾数検知用の学習モデルに使用されている特徴量を抽出する。さらに、計数部31は、抽出部30により抽出された特徴量を、横向きのカメラ35による撮影画像に基づいた尾数検知用の学習モデルに照合することにより、魚の数を検知する。
上記のように、横向きのカメラ35によって周縁部から生簀25内の魚を撮影する場合であっても、機械学習による学習モデルと、撮影画像から抽出される特徴量とを利用して計測対象の魚の数を検知することにより、計数システム10は、前述した効果と同様の効果を得ることができる。
<第2実施形態>
以下に、本発明に係る第2実施形態を説明する。なお、第2実施形態の説明において、第1実施形態の計数システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図12は、第2実施形態の計数システムの構成を簡略化して表すブロック図である。第2実施形態の計数システム10は、第1実施形態の構成に加えて、カメラ35が備えられている。つまり、第2実施形態の計数システム10は、複数のカメラ11,35を利用する。例えば、図13に表されているように、1台のカメラ11は、生簀25における水底中央部に上向きに(水面に向けて)配設され、別の1台のカメラ35は、生簀25における周縁部に横向きに配設される。横向きのカメラ35の深さ位置は、例えば、水底と水面との間の中間部となる位置や、魚の種類によっては群れやすい深さ位置があることからこの場合には群れやすい深さ位置などであり、尾数検知に適切な深さ位置とする。なお、カメラ11,35は、第1実施形態で述べたと同様に、ロープ21やブイ22等を利用して水中に配設されるが、図13ではロープ21やブイ22の図示が省略されている。
カメラ11,35はそれぞれ生簀25全体を撮影可能な視野を持ち、互いに異なる方向から生簀25内を撮影する。また、カメラ11,35は、それぞれ、動画により魚を撮影する機能を持つ撮影装置であるが、第1実施形態で述べたと同様に、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ11,35として採用してもよい。
第2実施形態の計数システムでは、情報処理装置12は、同時刻に撮影されたカメラ11,35の撮影画像を用いて、魚の数を検知する。このことを考慮し、同時刻に撮影されたカメラ11による撮影画像とカメラ35による撮影画像とを得やすくするために、撮影中に、時間合わせに用いる目印となる変化をもカメラ11,35に撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは観測者(作業者)の手動によって短時間発光する光を利用することとし、カメラ11,35がその光を撮影するようにしてもよい。これにより、カメラ11,35による撮影画像に撮影されたその光に基づき、カメラ11による撮影画像と、カメラ35による撮影画像との時間合わせ(同期)を行うことが容易となる。
第2実施形態では、前述したように、同時刻に撮影されたカメラ11,35の撮影画像を利用する。このことを考慮し、情報処理装置12における制御装置13の表示制御部32は、表示装置17がカメラ11,35の撮影画像を二画面表示により並んで表示するように表示装置17を制御する機能を備える。また、表示制御部32は、カメラ11,35に同時撮影された前述したような時間合わせの目印を利用して、観測者がカメラ11,35によるそれぞれの撮影画像の再生コマを調整可能な機能を備える。さらに、表示制御部32は、カメラ11,35による撮影画像の一方を表示する一画面表示と、カメラ11,35による撮影画像の両方を表示する二画面表示とを切り換える機能を備えていてもよい。このような切り換え機能を備えている場合には、表示制御部32は、さらに、観測者による切り換えの指示を受け付ける表示を表示装置17に表示させる機能を備える。その切り換えの指示を受け付ける表示は、例えば、アイコンの態様であってもよいし、文字であってもよいし、ラジオボタンの態様であってもよいというように、様々な態様があり、適宜な態様が採用される。
第2実施形態では、同時撮影されたカメラ11,35の両方の撮影画像を利用して尾数検知用の学習モデルが機械学習により生成される。つまり、尾数検知用の学習モデルは、生簀25内の魚の数が分かっている状態でカメラ11,35により同時撮影された多数の撮影画像を教師データ(教師画像)とした機械学習により生成される。尾数検知用の学習モデルは、第1実施形態と同様に、撮影画像から抽出される特徴量と魚の数との関係データであり、記憶装置14に格納される。
抽出部30は、同時に撮影されたカメラ11による撮影画像とカメラ35による撮影画像との両方から、尾数検知用の学習モデルで使用されている特徴量を抽出する機能を備えている。
計数部31は、カメラ11,35による同時撮影の撮影画像から抽出部30によって抽出された特徴量を記憶装置14の尾数検知用の学習モデルに照合し、当該学習モデルから、抽出された特徴量に対応する尾数を測定対象の魚の数として検知する機能を備えている。
第2実施形態の計数システム10における上記以外の構成は、第1実施形態の計数システム10の構成と同様である。第2実施形態の計数システム10は、複数のカメラ11,35による撮影画像を利用することにより、生簀25内の魚の数を検知する際に利用する情報量をより増やすことができるので、魚の数の検知精度をより一層向上できる。
< 変形例 >
なお、計数システム10は、上述したような第2実施形態の構成に加えて、次のような構成を備えていてもよい。すなわち、計数システム10は、水底のカメラ11による撮影画像を利用して生簀25内の魚の数を検知するモード1と、カメラ11,35による撮影画像を利用して生簀25内の魚の数を検知するモード2とを切り換える構成を備えていてもよい。つまり、記憶装置14には、水底のカメラ11による撮影画像を利用して機械学習により生成される尾数検知用の学習モデル(モード1用の学習モデル)が格納される。また、記憶装置14には、水底のカメラ11および生簀周縁のカメラ35による撮影画像を利用して機械学習により生成される尾数検知用の学習モデル(モード2用の学習モデル)が格納される。さらに、制御装置13は、機能部として、図12における点線で表される切り換え部34を備える。切り換え部34は、例えば観測者による入力装置16の操作によってモードを切り換える要求が発せられた場合には、その要求を受けて、尾数検知のモードをモード1からモード2に又はその逆に切り換えることを抽出部30と計数部31に指示する機能を備える。抽出部30と計数部31は、切り換え部34からの指示に応じて、モード1あるいはモード2で動作する。つまり、モード1の場合には、抽出部30と計数部31は、第1実施形態で述べた機能と同様に機能する。モード2の場合には、抽出部30と計数部31は、第2実施形態で述べた機能と同様に機能する。
上述したように、計数システム10がモード1とモード2を切り換え可能な構成を備える場合には、何らかの不具合によってカメラ35の撮影画像が尾数検知にとっては不良である場合に、例えば観測者が尾数検知のモードをモード2からモード1に切り換える。これにより、カメラ35の撮影画像が尾数検知にとっては不良な場合でも、計数システム10は、生簀25内の魚の数を検知できる。
さらにまた、計数システム10は、次のような構成を備えていてもよい。すなわち、計数システム10は、次のような3つのモード1−1,1−2,2の中から択一的に選択されたモードで動作する構成を備えていてもよい。モード1−1とは、水底のカメラ11による撮影画像を利用して生簀25内の魚の数を検知するモードである。モード1−2とは、生簀周縁のカメラ35による撮影画像を利用して生簀25内の魚の数を検知するモードである。モード2とは、水底のカメラ11および生簀周縁のカメラ35による撮影画像を利用して生簀25内の魚の数を検知するモードである。
計数システム10が3つのモード1−1,1−2,2で動作可能な場合には、記憶装置14には、モード1−1用の学習モデルと、モード1−2用の学習モデルと、モード2用の学習モデルが格納される。モード1−1用の学習モデルは、水底のカメラ11による撮影画像を利用して機械学習により生成される尾数検知用の学習モデルである。モード1−2用の学習モデルは、生簀周縁のカメラ35による撮影画像を利用して機械学習により生成される尾数検知用の学習モデルである。モード2用の学習モデルは、水底のカメラ11および生簀周縁のカメラ35による撮影画像を利用して機械学習により生成される尾数検知用の学習モデルである。
制御装置13には切り換え部34が備えられる。切り換え部34は、例えば観測者による入力装置16の操作によって切り換え後のモードを表す情報を受け取った場合には、尾数検知のモードを、受け取った情報に基づいたモードに切り換えることを抽出部30と計数部31に指示する機能を備える。抽出部30と計数部31は、切り換え部34により指示されたモードに応じた学習モデルを利用して生簀25内の魚の数を検知すべく機能する。
このようにモード1−1,1−2,2で動作可能な構成を備えることにより、カメラ11,35の一方から撮影画像を取得できない場合や、カメラ11,35の一方の撮影画像が尾数検知に不適切である場合であっても、計数システム10は生簀25の魚の数を検知できる。これにより、計数システム10は利便性を高めることができる。
<その他の実施形態>
なお、本発明は第1実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第1と第2の実施形態の計数システム10において、1枚の撮影画像(第2実施形態ではカメラ11,35による一組の撮影画像)に基づいた抽出部30と計数部31の機能による算出値をそのまま計測対象の物体の数(確定値)として出力している。これに代えて、例えば、計数部31は、1枚の撮影画像(第2実施形態では複数組の撮影画像)に基づいて算出した魚の数(計測対象の物体の数)を魚の数の計測値として記憶装置14に格納する機能を備えていてもよい。そして、計数部31は、さらに、予め設定された個数の計測値(例えば設定の撮影時間内の複数(複数組)の撮影画像に基づいた複数の計測値)を記憶装置14から読み出し当該複数の計測値の例えば平均値を魚の数の確定値として算出する機能を備えていてもよい。このような機能を計数部31が備えることにより、計数システム10は、計測対象の物体の計測精度の向上を図ることができる。
図14には、本発明に係るその他の実施形態の情報処理装置の構成が簡略化して表されている。図14における情報処理装置40は、機能部として、抽出部41と、計数部42とを備えている。この情報処理装置40は、図15に表されるように、撮影装置51と共に、計数システム50を構成する。撮影装置51は、計測対象の物体が存在している撮影空間を撮影する構成を備えている。
情報処理装置40の抽出部41は、計測対象の物体が撮影されている撮影画像から、計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する機能を備えている。計数部42は、機械学習による特徴量と物体の数との関係データである学習モデルに、抽出された特徴量を照合することにより、学習モデルから計測対象の物体の数を検知する機能を備えている。
情報処理装置40および計数システム50は、上記のような構成を備えることにより、撮影装置による撮影画像を利用して物体の数を計測する場合に、計測対象の物体の数が多くとも物体の数の計測処理に要する時間の増加を抑制できる。その上、情報処理装置40および計数システム50は、撮影画像から抽出される特徴量に基づいて計測対象の物体の数を計測する。このため、情報処理装置40および計数システム50は、物体の重なり等に起因して撮影画像において検知できない計測対象の物体があっても、計測対象の物体の数を精度良く検知(計数)できる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2017年9月4日に出願された日本出願特願2017−169793および2017年11月22日に出願された日本出願特願2017−224834を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10,50 計数システム
11,35 カメラ
12,40 情報処理装置
30,41 抽出部
31,42 計数部
51 撮影装置

Claims (9)

  1. 計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する抽出手段と、
    機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、抽出された前記特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する計数手段と
    を備える情報処理装置。
  2. 前記抽出手段は、前記計測対象の物体が互いに異なる方向からそれぞれ撮影されている複数の撮影画像から前記特徴量を抽出し、
    前記計数手段は、前記互いに異なる方向からそれぞれ撮影された撮影画像を利用した機械学習による前記学習モデルに基づいて、前記計測対象の物体の数を検知する請求項1に記載の情報処理装置。
  3. 前記学習モデルには、撮影環境の情報が関連付けられており、
    前記計数手段は、前記撮影画像の撮影環境に応じた前記撮影環境の情報に関連付けられている前記学習モデルから前記計測対象の物体の数を検知する請求項1又は請求項2に記載の情報処理装置。
  4. 前記計数手段は、前記撮影画像の撮影の環境情報を外部から受け付け、前記撮影画像の撮影環境に応じて、前記学習モデルから検知した前記計測対象の物体の数を補正する請求項1又は請求項2に記載の情報処理装置。
  5. 前記学習モデルは、前記特徴量の変化に応じて前記物体の数が変化するモデルである請求項1乃至請求項4の何れか一つに記載の情報処理装置。
  6. 前記学習モデルは、前記特徴量のグループに前記物体の数が関連付けられているモデルである請求項1乃至請求項4の何れか一つに記載の情報処理装置。
  7. 計測対象の物体が存在している撮影空間を撮影する撮影装置と、
    前記撮影装置により撮影された撮影画像を利用する請求項1乃至請求項6の何れか一つに記載の情報処理装置と
    を備える計数システム。
  8. 計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出し、
    機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、抽出された前記特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する計数方法。
  9. 計測対象の物体が撮影されている撮影画像から、前記計測対象の物体の数に応じて変化する予め定められた特徴量を抽出する処理と、
    機械学習による前記特徴量と前記物体の数との関係データである学習モデルに、抽出された前記特徴量を照合することにより、前記学習モデルから前記計測対象の物体の数を検知する処理とをコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
JP2019539698A 2017-09-04 2018-09-03 情報処理装置、計数システム、計数方法およびコンピュータプログラム Active JP6849081B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017169793 2017-09-04
JP2017169793 2017-09-04
JP2017224834 2017-11-22
JP2017224834 2017-11-22
PCT/JP2018/032538 WO2019045091A1 (ja) 2017-09-04 2018-09-03 情報処理装置、計数システム、計数方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2019045091A1 true JPWO2019045091A1 (ja) 2020-09-17
JP6849081B2 JP6849081B2 (ja) 2021-03-24

Family

ID=65525587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019539698A Active JP6849081B2 (ja) 2017-09-04 2018-09-03 情報処理装置、計数システム、計数方法およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6849081B2 (ja)
WO (1) WO2019045091A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518998B (zh) * 2019-03-08 2024-04-16 三菱电机株式会社 计数系统、计数装置、机器学习装置、计数方法、零件配置方法以及记录介质
CN110288623B (zh) * 2019-06-18 2023-05-23 大连海洋大学 无人机海上网箱养殖巡检图像的数据压缩方法
JP7480984B2 (ja) 2020-03-24 2024-05-10 国立大学法人愛媛大学 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム
JP7579068B2 (ja) 2020-06-05 2024-11-07 株式会社日立製作所 水中目標物検知用学習装置および水中目標物検知装置
CN114746866B (zh) * 2020-09-16 2023-05-23 Fsx株式会社 便携终端及湿毛巾管理系统
WO2022059404A1 (ja) * 2020-09-16 2022-03-24 Fsx株式会社 携帯端末及びおしぼり管理システム
JP7121781B2 (ja) 2020-09-28 2022-08-18 ソフトバンク株式会社 情報処理方法、プログラムおよび情報処理装置
WO2022080407A1 (ja) * 2020-10-14 2022-04-21 国立研究開発法人海洋研究開発機構 魚数算出方法、魚数算出プログラム、及び、魚数算出装置
CN113812370A (zh) * 2021-11-02 2021-12-21 广东科贸职业学院 基于视觉识别技术的虾苗计数装置及方法
JP7556926B2 (ja) 2022-11-17 2024-09-26 ソフトバンク株式会社 撮影システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010121970A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 移動体認識システム及び移動体認識方法
JP2013201714A (ja) * 2012-03-26 2013-10-03 Central Research Institute Of Electric Power Industry 移動体の画像判別装置および移動体の画像判別方法
JP2014217353A (ja) * 2013-05-10 2014-11-20 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP2017051162A (ja) * 2015-09-11 2017-03-16 国立研究開発法人農業・食品産業技術総合研究機構 検体表面の生菌数推定方法及び装置、その装置に搭載されるプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6350549B2 (ja) * 2014-02-14 2018-07-04 日本電気株式会社 映像解析システム
JPWO2015146113A1 (ja) * 2014-03-28 2017-04-13 日本電気株式会社 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム
WO2016136214A1 (ja) * 2015-02-27 2016-09-01 日本電気株式会社 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010121970A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 移動体認識システム及び移動体認識方法
JP2013201714A (ja) * 2012-03-26 2013-10-03 Central Research Institute Of Electric Power Industry 移動体の画像判別装置および移動体の画像判別方法
JP2014217353A (ja) * 2013-05-10 2014-11-20 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP2017051162A (ja) * 2015-09-11 2017-03-16 国立研究開発法人農業・食品産業技術総合研究機構 検体表面の生菌数推定方法及び装置、その装置に搭載されるプログラム

Also Published As

Publication number Publication date
JP6849081B2 (ja) 2021-03-24
WO2019045091A1 (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6849081B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP2021060421A (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US9491370B2 (en) Methods and apparatuses for providing guide information for a camera
JP4902562B2 (ja) 撮像装置、画像処理装置、制御方法およびプログラム
JP2010056692A (ja) 撮像装置およびその制御方法
JP2011054071A (ja) 画像処理装置、画像処理方法及びプログラム
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
JP5246078B2 (ja) 被写体位置特定用プログラム、およびカメラ
JP6816773B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN101170647A (zh) 检测特定对象区域的方法和数码相机
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
JP2011120061A (ja) 撮像装置、およびデータ処理方法、並びにプログラム
US20170118394A1 (en) Autofocusing a macro object by an imaging device
JP2021136555A (ja) 画像処理装置および画像処理方法
CN102006485A (zh) 图像处理装置及图像处理方法
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP6583565B2 (ja) 計数システムおよび計数方法
JP7007280B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
CN110581950B (zh) 相机、选择相机设置的系统和方法
JP2012034069A (ja) 画像処理装置、および画像処理プログラム
JP2017192114A5 (ja)
JP6346484B2 (ja) 画像処理装置およびその制御方法
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2024014032A (ja) 測距装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R150 Certificate of patent or registration of utility model

Ref document number: 6849081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150