JP6583565B2 - 計数システムおよび計数方法 - Google Patents

計数システムおよび計数方法 Download PDF

Info

Publication number
JP6583565B2
JP6583565B2 JP2018542456A JP2018542456A JP6583565B2 JP 6583565 B2 JP6583565 B2 JP 6583565B2 JP 2018542456 A JP2018542456 A JP 2018542456A JP 2018542456 A JP2018542456 A JP 2018542456A JP 6583565 B2 JP6583565 B2 JP 6583565B2
Authority
JP
Japan
Prior art keywords
photographing
measured
counting
imaging
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018542456A
Other languages
English (en)
Other versions
JPWO2018061926A1 (ja
Inventor
丈晴 北川
丈晴 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018061926A1 publication Critical patent/JPWO2018061926A1/ja
Application granted granted Critical
Publication of JP6583565B2 publication Critical patent/JP6583565B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/90Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00Counting of objects distributed at random, e.g. on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮影装置を利用して物体の数を計測する技術に関する。
魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献1には魚の数を計測する構成が開示されている。すなわち、特許文献1における構成では、生簀の側面側からカメラが生簀内の魚を撮影し、情報処理装置が、その撮影された撮影画像を解析することにより魚を追尾し、当該追尾の結果を利用して生簀内の魚を計数する。
また、特許文献2には、魚を収容する部屋の上方側からカメラが部屋内の魚を撮影し、コンピュータが、その撮影された撮影画像から魚影を検知し、撮影画像において魚影として検知された領域の面積に基づいて魚影の有無および数を判定する構成が示されている。
特開2016−110381号公報 特開2008−171196号公報
ところで、特許文献1では、カメラは生簀の側面側から魚を撮影し、特許文献2では、カメラは部屋の上方側から魚を撮影している。このため、カメラによる撮影画像において、カメラから離れている例えば生簀の反対側の側面底側や部屋の底側にいる魚の映像は、小さかったり、ぼやけているために、情報処理装置(コンピュータ)が処理する映像としては不適切となる場合がある。このような場合には、撮影画像から魚の数を精度良く計測できないという問題が生じる虞がある。
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影装置による撮影画像を利用して物体の数を計測する場合に、物体の計数の精度を高めることができる技術を提供することにある。
上記目的を達成するために、本発明の計数システムは、
予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される複数の撮影装置と、
前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する情報処理装置と
を備える。
本発明の計数方法は、
予め定められた撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置を配設し、
前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する。
本発明によれば、撮影装置による撮影画像を利用して物体の数を計測する場合に、物体の計数の精度を高めることができる。
本発明に係る第1実施形態の計数システムの構成を簡略化して表すブロック図である。 本発明に係る第2実施形態の計数システムの構成を簡略化して表す図である。 第2実施形態におけるカメラの配設形態を説明する図である。 第2実施形態におけるカメラによる撮影画像の一例である。 第2実施形態における情報処理装置の制御構成を表すブロック図である。 第2実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 さらに、第2実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 検知部の検知処理を説明する図である。 第2実施形態におけるカメラの撮影範囲を説明する図である。 第2実施形態における情報処理装置の計測処理の動作例を表すフローチャートである。 本発明に係る第3実施形態の計数システムにおけるカメラの配設形態を表す図である。 第3実施形態におけるカメラの撮影範囲を説明する図である。 第3実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 さらに、第3実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 カメラの配設形態のその他の例を表す図である。 生簀におけるカメラのその他の配設位置を表す図である。 図16におけるカメラの撮影範囲を説明する図である。 検知部が検知処理で利用するその他の参考データの一例を表す図である。 図18に続いて、検知部が検知処理で利用するその他の参考データの一例を表す図である。 検知部が検知処理で利用するさらに別の参考データの一例を表す図である。 図20に続いて、検知部が検知処理で利用するさらに別の参考データの一例を表す図である。
以下に、本発明に係る実施形態を図面を参照しながら説明する。
<第1実施形態>
図1は、本発明に係る第1実施形態の計数システムの構成を簡略化して表すブロック図である。第1実施形態の計数システム1は、複数の撮影装置2,3と、情報処理装置4とを備えている。複数の撮影装置2,3は、予め定められた撮影空間内における高さ方向に互いに間隔を介して配設されている。情報処理装置4は、撮影装置2,3による撮影画像に基づいて、撮影空間内における計測対象の物体の数を計測する機能を備えている。
なお、図1の例では、2台の撮影装置2,3が図示されているが、撮影装置は、複数であれば、数が限定されるものではなく、適宜設定され得る。
第1実施形態の計数システム1では、撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置2,3が配設されている。このため、次のような効果を得ることができる。例えば、撮影装置3から離れているために、撮影装置3による撮影画像においては不明瞭である物体があるとする。この場合に、その物体が撮影装置3よりも近い位置の撮影装置2により撮影されることによって、撮影装置2による撮影画像では、撮影装置3による撮影画像よりも、その物体の画像の明瞭化を図ることができる。このように計測対象の物体における画像の明瞭化を図ることができることにより、情報処理装置4は、撮影画像を利用する計数の機能によって計測対象の物体の計測精度を高めることができる。
<第2実施形態>
以下に、本発明に係る実施形態を説明する。
図2は、本発明に係る第2実施形態の計数システムの構成を表すモデル図である。第2実施形態の計数システム10は、計測対象の物体である生簀内の魚の数を計測するシステムである。この計数システム10は、複数(図2の例では2台)の撮影装置であるカメラ12,13と、情報処理装置15とを備えている。
カメラ12,13は、防水機能を持ち、図3に表されるように、魚26が養殖されている生簀25内に、深さ方向(高さ方向)に間隔を介して配設される。第2実施形態では、カメラ12,13の深さ方向の位置については、カメラ12は、水底に近い位置に配設され、カメラ13は、水底と水面とのほぼ中間部に配設されている。また、生簀25の水面に平行な断面におけるカメラ12,13の位置については、ほぼ中央となっている。このような位置に配置されるカメラ12,13のレンズの向きは、水面を向く向き(上向き)となっている。また、カメラ12,13の撮影範囲(視野)は生簀25の大きさを考慮し、生簀25の側面側も撮影できる範囲となっている。
カメラ12,13を水中に配設する手法は特に限定されないが、その一例を次に述べる。すなわち、カメラ12,13は、それぞれ、図2に表されるような支持部材である金属板20に、レンズの向きが上向き(金属板20の基板面の上方側を向く向き)となるように支持固定される。カメラ12,13が支持固定される金属板20は、間隔を介して基板面が互いに平行となるように並設され、かつ、その並設状態の安定化を図るために、線条材である複数(4本)のロープ21により連結されている。各ロープ21の一方側は浮体であるブイ22に接続されている。また、各ロープ21の他方側は錘23に接続されている。
このような構成を持つカメラ12,13の配設構造体が水中(生簀25)に投入されることにより、ブイ22は水面に浮き、錘23は水底側に沈み、これにより、金属板20は、ロープ21によって水中に吊下げられている形態となる。また、錘23が金属板20(換言すればカメラ12,13)の配設位置が大きく変動してしまうことを防止する。このように、金属板20とロープ21とブイ22と錘23によってカメラ12,13を水中に配設する手法は、構造が簡易であり、また、コンパクト化および軽量化が容易である。このことから、カメラ12,13を別の生簀25に移動させることが容易となる。
このように水中に配設されるカメラ12,13は、生簀25内の魚26を腹側から撮影することになる。例えば、カメラ12,13による撮影画像中の魚26は、図4のイメージ図に表されるような像となる。
なお、カメラ12,13は、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ12,13として採用してもよい。また、カメラ12,13のキャリブレーションは、生簀25の環境や計測対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。
さらに、カメラ12,13による撮影を開始する手法および撮影を停止する手法は、カメラ12,13の性能や生簀25の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者が、カメラ12,13を生簀25に進入させる前に手動により撮影を開始させ、また、カメラ12,13を生簀25から退出させた後に手動により撮影を停止させる。また、カメラ12,13が無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ12,13とを接続する。そして、観測者による操作装置の操作により、水中のカメラ12,13の撮影開始と撮影停止が制御されてもよい。
ところで、情報処理装置15は、同時刻に撮影されたカメラ12の撮影画像とカメラ13の撮影画像とを用いる。このことを考慮し、同時刻に撮影されたカメラ12による撮影画像とカメラ13による撮影画像とを得やすくするために、撮影中に、時間合わせ(同期)に用いる目印となる変化をもカメラ12,13に共通に撮影させることが好ましい。例えば、同期に用いる目印として、自動制御あるいは観測者の手動によって短時間発光する光を利用することとし、カメラ12,13がその光を撮影するようにしてもよい。あるいは、同期に用いる目印としての音を画像と共にカメラ12,13が取り込むようにしてもよい。あるいは、カメラ12,13が内蔵している時計の時間合わせをしておき、カメラ12,13は内蔵の時計の時刻情報を撮影画像に関連付けてもよい。このように、カメラ12,13の撮影画像に同期に用いる情報が含まれる、あるいは、関連付けられることにより、カメラ12,13の撮影画像の同期を行うことが容易となる。
上述したようなカメラ12,13により撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置15に取り込まれてもよいし、可搬型記憶媒体に格納された後に当該可搬型記憶媒体から情報処理装置15に取り込まれてもよい。
情報処理装置15は、図5に表されるように、概略すると、制御装置32と、記憶装置33とを備えている。また、情報処理装置15は、例えば観測者(計測者)の操作により情報を情報処理装置15に入力する入力装置(例えば、キーボードやマウス)35と、情報を表示する表示装置36に接続されている。さらに、情報処理装置15は、当該情報処理装置15とは別体の外付けの記憶装置34に接続されていてもよい。
記憶装置33は、各種データやコンピュータプログラム(以下、プログラムとも記す)を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置15に備えられる記憶装置33は一つには限定されず、複数種の記憶装置が情報処理装置15に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置33と記す。また、記憶装置34も、記憶装置33と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置15が記憶装置34に接続されている場合には、記憶装置34には適宜な情報が格納される。また、この場合には、情報処理装置15は、適宜、記憶装置34に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置34に関する説明を省略する。
第2実施形態では、記憶装置33には、カメラ12,13による撮影画像が、撮影したカメラを表す情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。
制御装置32は、例えば、CPU(Central Processing Unit)により構成される。制御装置32は、例えばCPUが記憶装置33に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置32は、機能部として、検知部40と、計数部41と、補正部42と、表示制御部43とを備えている。
表示制御部43は、表示装置36の表示動作を制御する機能を備えている。例えば、表示制御部43は、入力装置35から、カメラ12,13の撮影画像を再生する要求を受け取った場合に、記憶装置33から要求に応じたカメラ12,13の撮影画像を読み出し当該撮影画像を表示装置36に表示する。なお、表示制御部43は、カメラ12,13のうちの要求された一方側の撮影画像が表示されるように表示装置36を制御してもよいし、要求に応じてカメラ12,13の両方の撮影画像が二画面表示されるように表示装置36を制御してもよい。
検知部40は、例えば、カメラ12,13の撮影画像の再生中に、観測者の入力装置35の操作によって魚の数を計測する要求が入力されたことを検知すると、次のような処理を実行する機能を備えている。すなわち、検知部40は、カメラ12,13による撮影画像において、計測対象の物体である魚における予め定められた特徴を持つ特徴部位を検知する機能を備えている。第2実施形態では、魚の頭が特徴部位として設定されている。カメラ12,13の撮影画像から特徴部位である魚の頭を検知する手法には様々な手法があり、ここでは、情報処理装置15の処理能力等を考慮した適宜な手法が採用されるが、その一例を挙げると、次のような手法がある。
例えば、計測対象となる種類の魚の頭について、図6および図7に表されるような、魚の向きやカメラ12,13からの距離等が異なる複数の参考データ(参考部位画像)が記憶装置33に格納されている。なお、図6および図7における参考データは、魚の腹側から見た魚の頭の画像である。これら参考データは、計測対象となる種類の魚が撮影されている多数の撮影画像から、頭の特徴部位が撮影されている領域の画像が教師データ(教師画像)として抽出され、当該教師データを利用した機械学習により作成される。
検知部40は、記憶装置33から読み出した特徴部位(魚の頭)の参考データを利用して、次のように、撮影画像における特徴部位を検知する。例えば、検知部40は、図8に表されるような撮影画像46の左上端から予め定められた形状および大きさを持つ調査画像範囲を右上端に向けて移動させながら、設定の間隔毎に調査画像範囲が位置している部分の画像と、参考データとを比較する。そして、検知部40は、調査画像範囲内の画像と参考データとのマッチ度(類似度)を例えばテンプレートマッチング手法で利用される手法により判定する。検知部40は、マッチ度が閾値(例えば90%)以上である場合に、その画像は特徴部位を表していると検知する。
検知部40は、調査画像範囲を右上端まで移動させると、撮影画像46における左上端よりも設定間隔下げた位置から調査画像範囲を右側に移動させながら、上記同様に、設定間隔毎にマッチ度を判定していく。
検知部40は、このように撮影画像において調査画像範囲をスキャン(走査)しながら参考データと調査画像範囲内の画像とのマッチ度を判定することにより、カメラ12,13による撮影画像において計測対象の物体(魚)の特徴部位(頭)を検知する。図8の例では、撮影画像46において検知された特徴部位が枠48により表されている。例えば、このような検知部40による検知結果は、表示制御部43によって表示装置36に表示される。
計数部41は、カメラ12,13による撮影画像において検知部40により検知された特徴部位の数を計測対象の物体(魚)の数として計測する機能を備えている。また、計数部41は、カメラ12,13による撮影画像からそれぞれ計数した計測対象の物体の数や、それら計数した計測対象の物体の合計数の情報を、計測した画像の情報(例えば識別情報)に関連付けた状態で記憶装置33に格納する機能を備えている。なお、カメラ12,13による撮影画像から計数した計測対象の物体の数を計数部41が合計する際には、計数部41は、カメラ12,13における同期している撮影画像に基づいた計数値を合計する。
ところで、第2実施形態では、カメラ12,13は、深さ方向に間隔を介して配置され、かつ、それらレンズの向きは同じ方向を向いている(上向きである)。このため、カメラ12の撮影範囲は、図9における斜線領域Wのような、カメラ13の撮影範囲とオーバーラップする領域がある。このため、カメラ12による撮影画像から計数部41が計数する計測対象の物体(魚)の数には、カメラ13による撮影画像において計数部41が計数する計測対象の物体(魚)の数が含まれてしまうことが想定される。このことを考慮し、第2実施形態では、計数部41により計数された計測対象の物体の数を補正する機能が備えられている。すなわち、補正部42は、カメラ12,13におけるオーバーラップしている撮影範囲領域において計数部41により重複して計数されると想定される計測対象の物体の数に基づいて、計数部41により計数された計測対象の物体の数を補正する機能を備えている。
例えば、カメラ12による撮影画像から計数部41が計数する計測対象の物体の数のうち、カメラ13による撮影画像においても計数部41が計数すると考えられる計測対象の物体の数の割合がどの程度になるかを観測者等が予め求める。その求められた割合のデータが間引き率(例えば、0.5(50%))として記憶装置33に格納される。なお、間引き率を求める手法には様々な手法が考えられる。例えば、実験に基づいた観測者の経験に基づいて観測者が間引き率を定める。あるいは、予め撮影されたカメラ12,13による撮影画像を教師データとして利用した機械学習によって得られたサンプル画像(例えば魚の動きの動画)に基づいて、間引き率が算出されてもよい。あるいは、撮影環境に応じた前記間引き率が算出されてもよい(この場合には、撮影環境に応じた間引き率が計測対象の物体の数の補正に使用される)。このように、間引き率を求める手法には様々な手法があり、適宜な手法により間引き率が求められる。
さらに、計数部41は、特徴部位の数を計数した後に、その計数値を次のように補正する機能を備えていてもよい。例えば、別の魚の陰に隠れたために撮影画像に映らなかった等の原因により計数部41により計数されない魚が有ると想定される。このような計数されない魚の数と、計数部41により計数される魚の数との関係が例えば観測やシミュレーションにより求められ、当該関係データが補正用データとして記憶装置33に格納される。計数部41は、特徴部位の数を計数した後に、当該計数値を、その補正用データにより補正してもよい。
補正部42は、カメラ13による撮影画像において計数部41により計数された計測対象の物体の数に、記憶装置33に格納されている間引き率を乗算することにより、補正数を算出する。そして、補正部42は、計数部41により計測対象の物体の数として計数された数から、算出した補正数を差し引くことにより、計数部41により計数された計測対象の物体の数を補正する。補正部42は、そのように補正した補正後の計測対象の物体の数の情報を記憶装置33に格納する機能を備えている。また、補正部42は、補正後の計測対象の物体の数を表示制御部43によって表示装置36に表示させる機能をさらに備えている。
第2実施形態の計数システム10は上記のように構成されている。次に、第2実施形態における情報処理装置15の計数処理の一例を図10のフローチャートに基づいて説明する。
例えば、情報処理装置15の検知部40は、観測者による入力装置35の操作により、計測対象の物体を計数する要求が入力されたことを検知すると(ステップS101)、カメラ12,13による撮影画像を記憶装置33から取得する。そして、検知部40は、取得したカメラ12,13による撮影画像のうちの一方側の撮影画像において、記憶装置33に格納されている参考データを利用して、計測対象の物体における特徴部位を検知する(ステップS102)。その後、計数部41が、検知部40により検知された撮影画像における特徴部位の数を計測する(ステップS103)。そして、制御装置32は、検知部40と計数部41による処理が終わっていない未処理の撮影画像が有るか否かを判断する(ステップS104)。未処理の撮影画像が有る場合には、その未処理の撮影画像において、検知部40による検知処理(ステップS102)と、計数部41による計数処理(ステップS103)とが実行される。未処理の撮影画像が無い場合には、計数部41は、撮影画像毎に算出された物体の計測数の合計し、当該合計値を計測対象の物体の数として算出する。その後、補正部42が、計数部41による計測対象の物体の計測数を補正する。この補正後の値が計測対象の物体の数として確定され、例えば、表示制御部43によって表示装置36に計測対象の物体の数として表示される。情報処理装置15は、このような処理により、撮影画像から計測対象の物体の数を計測し、出力することができる。
第2実施形態の計数システム10では、複数のカメラ12,13が深さ方向に間隔を介して配設されるので、第1実施形態と同様に、計測対象の物体における明瞭な画像が得られるという効果を奏することができる。これにより、計数システム10における情報処理装置15は、撮影画像を利用する計数の機能によって計測対象の物体の数を精度良く計測することができる。
また、第2実施形態では、複数のカメラ12,13の撮影画像を利用することに起因して、重複して計測されてしまう物体があるが、情報処理装置15は、補正部42によって、そのような重複した物体の数を補正できる。このため、情報処理装置15は、複数のカメラ12,13の撮影画像を利用することに因る不具合の発生を防止できる。
<第3実施形態>
以下に、本発明に係る第3実施形態を説明する。なお、第3実施形態の説明において、第2実施形態における計数システムを構成する構成部分と同様な構成部分には同一符号を付し、その共通部分の重複説明は省略する。
第3実施形態における計数システム10は、撮影装置であるカメラの配設形態が第2実施形態と異なり、それ以外は、第2実施形態の計数システム10とほぼ同様な構成を備えている。
すなわち、図11は、第3実施形態におけるカメラ50の配設形態を模式的に表す斜視図である。図12は、図11の上方側から見たカメラ50の配設形態を表すモデル図である。第3実施形態では、水中(生簀25)においてカメラ50が配設される位置は、水底に近い深さ位置Dtと、水面に近い位置Dbと、それら位置Db,Dt間の間隔をほぼ等間隔に分ける位置Dm1,Dm2とである。また、カメラ50が配設される各深さ位置(高さ位置)において、カメラ50は4台ずつ配設される。深さ位置毎の4台のカメラ50は、図12に表されるように、水面に沿うような面に沿う互いに異なる四方向にそれぞれ向いて配設されている。図11に表されるような複数のカメラ50は、第2実施形態と同様に、生簀25の中央部に配置される。
第3実施形態における情報処理装置15では、検知部40は、各カメラ50の撮影画像において計測対象の物体(魚)の特徴部位(頭)を検知する。第3実施形態では、カメラ50は、計測対象の物体である魚を横側から撮影するので、検知部40が特徴部位の検知処理で利用する参考データは、例えば、図13および図14に表されるような横側から見た魚の頭のサンプル画像である。
計数部41は、各カメラ50の撮影画像において検知された特徴部位の数を計測し、各撮影画像における計測数を合計し、当該合計値を計測対象の物体の数として算出する。第3実施形態では、水平方向に隣り合っているカメラ50におけるオーバーラップする撮影範囲は、例えば、図12における領域Wとなる。また、高さ方向に隣り合っているカメラ50の撮影範囲についても、オーバーラップする撮影範囲領域がある。補正部42は、そのようなオーバーラップする撮影範囲領域において重複して計測される計測対象の物体の数を考慮して、計数部41により算出された計測対象の物体の数を補正する。
第3実施形態の計数システム10は、カメラ50の配設数を増加したことにより、計測対象の物体の計数精度を高めることができる。
<その他の実施形態>
なお、本発明は第1〜第3の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第2と第3の実施形態では、複数のカメラ50が生簀25の中央部に配置されている。これに代えて、例えば、図16に表されるように、複数のカメラ50は生簀25の周縁部(図16の例では角部)に配置されてもよい。この場合には、例えば、図15に表されるように、互いに異なる各深さ位置に1台ずつカメラ50が配設されている。図17は、図16におけるカメラ50と生簀25との関係を水面側から見たモデル図である。図17に表されているように、各深さ位置のカメラ50のレンズの向きは生簀25の中央部を向く横向きの同方向となっている。なお、図16に表されるように生簀25の周縁部にカメラ50が配置される場合において、カメラ50の視野によっては、各深さ位置に複数ずつカメラ50が配設されてもよい。
また、第2実施形態では、カメラ12,13は図2に表されているように二段に配設され、第3実施形態ではカメラ50は図15に表されているように四段に配設されている。これに代えて、魚の数を計数する目的とする深さ範囲によってはカメラを配設する段数は三段や五段以上であってもよい。
さらに、第2や第3の実施形態の構成に加えて、情報処理装置15の検知部40が検知処理を開始する前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、水の揺らぎに因る魚体の歪みを補正する画像処理が行われてもよい。また、撮影画像を物体の水深や明るさ等の撮影条件を考慮して補正する画像処理が行われてもよい。このように、情報処理装置15が、撮影環境を考慮して撮影画像を画像処理(画像補正)することにより、計測対象の物体の計数精度をより高めることができる。また、情報処理装置15は、そのように画像補正された撮影画像を利用することにより、参考データの数を少なくできるという効果を得ることができる。
さらに、第2と第3の実施形態では、情報処理装置15における検知部40は、計測対象の物体の特徴部位として魚の頭を検知している。これに代えて、例えば、検知部40は、魚の尾を検知してもよい。この場合には、検知部40が検知処理で利用する参考データは、例えば、図18および図19に表されるような魚の尾のサンプル画像となる。
さらに、第2と第3の実施形態では、情報処理装置15の検知部40は、計測対象の物体の一部を検知している。これに代えて、例えば、検知部40は、計測対象の物体全体(魚体)を検知してもよい。この場合には、検知部40が検知処理で利用する参考データは、例えば、図20および図21に表されるような魚体のサンプル画像となる。
さらに、第2と第3の実施形態では、計測対象の物体として魚を例にして説明しているが、第2と第3の実施形態で説明した構成を持つ計数システム10は、他の物体の計数にも適用可能である。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2016年9月30日に出願された日本出願特願2016−194269を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される複数の撮影装置と、
前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する情報処理装置と
を備える計数システム。
(付記2)
前記複数の撮影装置は、前記高さ方向に撮影方向が向いている付記1に記載の計数システム。
(付記3)
前記撮影空間における同じ高さ位置に複数の前記撮影装置が配設されている付記1に記載の計数システム。
(付記4)
同じ高さ位置に配設される複数の撮影装置は、前記高さ方向に交差する面に沿う互いに異なる方向に撮影方向が向いている付記3に記載の計数システム。
(付記5)
前記撮影装置は、当該撮影装置が配設される高さ位置に応じた支持部材に固定されており、
複数の前記支持部材は前記線条材によって連結され、当該線条材によって吊下げられる形態で前記高さ方向に並設される付記1乃至付記4の何れか一つに記載の計数システム。
(付記6)
前記撮影空間は水中であり、
前記線条材の一方側は浮体に接続され、前記線条材の他方側は錘に接続されており、
前記支持部材は、前記線条材によって深さ方向に並設される付記5に記載の計数システム。
(付記7)
前記複数の撮影装置は、前記撮影空間の中央部を通る位置に配設されている付記1乃至付記6の何れか一つに記載の計数システム。
(付記8)
前記複数の撮影装置は、それぞれ、撮影範囲が他の前記撮影装置の撮影範囲にオーバーラップするように配設されており、
前記情報処理装置は、前記撮影装置の撮影画像から計数された計測対象の物体の数を、前記オーバーラップしている撮影範囲領域に基づいて補正する付記1乃至付記7の何れか一つに記載の計数システム。
(付記9)
前記情報処理装置は、前記撮影画像から、前記計測対象の物体における予め定めた特徴を持つ特徴部位を検知し、当該撮影画像における検知した前記特徴部位の数を前記計測対象の物体の数として計測する付記1乃至付記8の何れか一つに記載の計数システム。
(付記10)
前記情報処理装置は、前記計測対象の物体における前記特徴部位の画像を利用して、前記撮影画像から前記特徴部位を検知する付記9に記載の計数システム。
(付記11)
前記情報処理装置は、前記計測対象の物体における撮影条件が異なる前記特徴部位の複数の画像を利用して、前記撮影画像から前記特徴部位を検知する付記10に記載の計数システム。
(付記12)
前記計測対象の物体は魚であり、前記特徴部位は魚の頭であり、前記情報処理装置は、魚の頭の画像を利用して、前記撮影画像から魚の頭を検知する付記10又は付記11に記載の計数システム。
(付記13)
予め定められた撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置を配設し、
前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する計数方法。
1,10 計数システム
2,3 撮影装置
4,15 情報処理装置
12,13,50 カメラ
40 検知部
41 計数部
42 補正部

Claims (9)

  1. 予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される複数の撮影装置と、
    前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する情報処理装置と
    を備え
    前記撮影装置は、当該撮影装置が配設される高さ位置に応じた支持部材に固定されており、
    複数の前記支持部材は線条材によって連結され、当該線条材によって吊下げられる形態で前記高さ方向に並設される計数システム。
  2. 前記複数の撮影装置は、前記高さ方向に撮影方向が向いている請求項1に記載の計数システム。
  3. 前記撮影空間における同じ高さ位置に複数の前記撮影装置が配設されている請求項1に記載の計数システム。
  4. 同じ高さ位置に配設される複数の撮影装置は、前記高さ方向に交差する面に沿う互いに異なる方向に撮影方向が向いている請求項3に記載の計数システム
  5. 前記撮影空間は水中であり、
    前記線条材の一方側は浮体に接続され、前記線条材の他方側は錘に接続されており、
    前記支持部材は、前記線条材によって深さ方向に並設される請求項1乃至請求項4の何れか一つに記載の計数システム。
  6. 前記複数の撮影装置は、前記撮影空間の中央部を通る位置に配設されている請求項1乃至請求項の何れか一つに記載の計数システム。
  7. 前記複数の撮影装置は、それぞれ、撮影範囲が他の前記撮影装置の撮影範囲にオーバーラップするように配設されており、
    前記情報処理装置は、前記撮影装置の撮影画像から計数された計測対象の物体の数を、前記オーバーラップしている撮影範囲領域における前記計測対象の物体の数に基づいて補正する請求項1乃至請求項の何れか一つに記載の計数システム。
  8. 前記情報処理装置は、前記撮影画像から、前記計測対象の物体における予め定めた特徴を持つ特徴部位を検知し、当該撮影画像における検知した前記特徴部位の数を前記計測対象の物体の数として計測する請求項1乃至請求項の何れか一つに記載の計数システム。
  9. 予め定められた撮影空間内における高さ方向に互いに間隔を介して撮影装置が固定されている複数の支持部材を配設し、それら前記支持部材を線条材によって連結し、当該線条材によって吊り下げられた形態で前記支持部材を高さ方向に並設することにより、複数の前記撮影装置を高さ方向に互いに間隔を介して配設し、
    数の前記撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する計数方法。
JP2018542456A 2016-09-30 2017-09-20 計数システムおよび計数方法 Active JP6583565B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016194269 2016-09-30
JP2016194269 2016-09-30
PCT/JP2017/033882 WO2018061926A1 (ja) 2016-09-30 2017-09-20 計数システムおよび計数方法

Publications (2)

Publication Number Publication Date
JPWO2018061926A1 JPWO2018061926A1 (ja) 2019-06-27
JP6583565B2 true JP6583565B2 (ja) 2019-10-02

Family

ID=61759738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542456A Active JP6583565B2 (ja) 2016-09-30 2017-09-20 計数システムおよび計数方法

Country Status (2)

Country Link
JP (1) JP6583565B2 (ja)
WO (1) WO2018061926A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6530152B1 (ja) * 2019-01-11 2019-06-12 株式会社FullDepth 魚監視システム
NO348007B1 (en) 2020-12-16 2024-06-17 Createview As A system for monitoring of dead fish

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010063001A (ja) * 2008-09-05 2010-03-18 Mitsubishi Electric Corp 人物追跡装置および人物追跡プログラム
JP2010121970A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 移動体認識システム及び移動体認識方法
JP4858793B2 (ja) * 2009-11-12 2012-01-18 国立大学法人信州大学 樹木本数算定方法及び樹木本数算定装置
JP2011125262A (ja) * 2009-12-17 2011-06-30 Nagasaki Prefecture 水中漁網洗浄装置
JP6429272B2 (ja) * 2014-12-05 2018-11-28 古野電気株式会社 物体数計測装置、プログラムおよび物体数計測方法

Also Published As

Publication number Publication date
JPWO2018061926A1 (ja) 2019-06-27
WO2018061926A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
JP7188527B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
JP6849081B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP7124865B2 (ja) 情報処理装置、物体計測システム、物体計測方法、コンピュータプログラムおよび情報提供システム
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
CN103688530B (zh) 用于生成和评估图像的方法
TWI527448B (zh) 成像設備,影像處理方法,及用以記錄程式於其上之記錄媒體
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
JP6816773B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
WO2018061928A1 (ja) 情報処理装置、計数システム、計数方法およびプログラム記憶媒体
JP6583565B2 (ja) 計数システムおよび計数方法
JP6879375B2 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
JP2012015642A (ja) 撮像装置
JP2014155063A (ja) 解像度測定用チャート、解像度測定方法、カメラモジュールにおける位置調整方法およびカメラモジュールの製造方法
JP2012034069A (ja) 画像処理装置、および画像処理プログラム
JP5909990B2 (ja) 撮像装置および撮像方法
CN102023763B (zh) 触摸系统摄像头的定位方法
JP2011069797A (ja) 変位量測定装置及び変位量測定方法
TW201234235A (en) Method and system for calculating calibration information for an optical touch apparatus
KR20140113449A (ko) 묘화 데이터 생성 방법, 묘화 방법, 묘화 데이터 생성 장치, 및 묘화 장치
JP2014095631A (ja) 3次元計測装置および3次元計測方法
US11195321B2 (en) Information processing apparatus, information processing system, information processing method, and storage medium
JP2015122669A (ja) 画像処理装置、その制御方法およびプログラム
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
JP2014235063A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R150 Certificate of patent or registration of utility model

Ref document number: 6583565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150