JP6876310B1 - 計数システム - Google Patents

Abstract

【課題】対象物の正確な数を計測する。【解決手段】流路を移動する個体を撮像可能な位置に設置された撮像部１１０と、撮像部１１０が撮像した画像から、学習モデル１３０を用いて、個体を検出する検出部１２０と、検出部１２０が検出した個体の数をカウントする計数部１４０と、計数部１４０がカウントした数を出力する出力部１５０とを有する。【選択図】図２

Description

本発明は、計数システムに関する。

魚類の商取引においては、取引される魚類の数をカウントすることが必須となっていることは言うまでもない。例えば、傾斜流路に対象物と液体とを流動させ、所定の角度からその画像を撮影し、撮影した画像の解析により対象物の計測を行う装置が考えられている（例えば、特許文献１参照。）。

特許第５５６１８３８号公報

特許文献１に記載された装置は、撮影した画像に対して２値化処理を行って対象物を検出している。そのため、対象物の正確な数の計測が困難であるという問題点がある。

本発明の目的は、対象物の正確な数の計測ができる計数システムを提供することにある。

本発明の計数システムは、
個体が移動する流路と、
前記流路を移動する前記個体を撮像可能な位置に設置された撮像部と、
前記撮像部が撮像した画像から、撮像された形状が撮像のタイミングに応じて変化する部分をアノテーション対象から除外したものを教師データとした深層学習モデルを用いて、前記個体を検出する検出部と、
前記検出部が検出した前記個体の数をカウントする計数部と、
前記計数部がカウントした数を出力する出力部とを有する。

本発明においては、対象物の正確な数を計測できる。

本発明の計数システムの第１の実施の形態を示す図である。 図１に示した計数装置の内部構成の一例を示す図である。 図１に示した計数システムの外観の一例を示す図である。 図１に示した計数システムにおける計数方法の一例を説明するためのフローチャートである。 本発明の計数システムの第２の実施の形態を示す図である。 図５に示した計数装置の内部構成の一例を示す図である。 図５に示した流路の外観の一例を示す図である。 図５に示した計数システムの外観の一例を示す図である。 図６に示した検出部が検出した魚を囲む枠の一例を示す図である。 図６に示した計数部が行う計数処理を説明するための図である。 図６に示した計数装置における計数方法の一例を説明するためのフローチャートである。

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

図１は、本発明の計数システムの第１の実施の形態を示す図である。本形態における計数システムは図１に示すように、計数装置１００と、流路２００とを有する。流路２００は、対象となる個体が移動する流路である。計数装置１００は、流路２００を移動する個体の数をカウントする。

図２は、図１に示した計数装置１００の内部構成の一例を示す図である。図１に示した計数装置１００は図２に示すように、撮像部１１０と、検出部１２０と、学習モデル１３０と、計数部１４０と、出力部１５０とを有する。なお、図２には、図１に示した計数装置１００が有する構成要素のうち、本形態に関わる主要な構成要素のみを示す。

撮像部１１０は、流路２００を撮像するカメラ等の撮像手段である。具体的には、撮像部１１０は、流路２００上の対象となる個体が移動する面を撮像する。撮像部１１０は、流路２００を移動する個体を十分な回数撮像可能なフレームレートで、例えば、個体が撮像範囲を通過する間にその個体を５回以上撮像できるフレームレートで撮像を行う。検出部１２０は、撮像部１１０が撮像した画像とあらかじめ多数の個体の特徴を深層学習した学習モデル１３０とを用いて、個体を検出する。つまり、検出部１２０は、撮像部１１０が撮像した画像と、多数の個体の特徴を学習した深層学習モデルを用いて、個体を認識する。計数部１４０は、検出部１２０が検出した個体の数をカウントする。出力部１５０は、計数部１４０がカウントした数を出力する。

図３は、図１に示した計数システムの外観の一例を示す図である。図１に示した計数システムは図３に示すように、流路２００の一部を撮像できる位置に撮像部１１０が位置するように計数装置１００が設置されている。なお、計数装置１００の筐体の外側に出力部１５０が設けられ、計数部１４０と出力部１５０との間が無線または有線を用いて接続されているものであっても良い。また、撮像部１１０と他の構成要素とが互いに別個の筐体に収容されているものであっても良い。この場合、撮像部１１０と検出部１２０との間は、無線または有線で接続されている。筐体には、防塵・防水加工が施されている。また、計数装置１００および流路２００は、例えば、船上に設けられ、船上にて魚の計数を行うことができる態様となっている。この計数作業に用いられる船としては、船上で計数作業が行うことができる船であれば特に制限されないが、例えば、作業船を用いることが好ましい。

以下に、図１に示した計数システムにおける計数方法について説明する。図４は、図１に示した計数システムにおける計数方法の一例を説明するためのフローチャートである。

まず、計測を開始するために、計数装置１００は、外部からの所定の操作に基づいて計測開始の入力を受け付けると、撮像部１１０が流路２００の撮像を開始する（ステップＳ１）。続いて、検出部１２０が、撮像部１１０が撮像した画像とあらかじめ多数の個体の特徴を深層学習した学習モデル１３０とを用いて、個体の検出を行う（ステップＳ２）。検出部１２０が個体を検出すると、計数部１４０がカウンタ値をカウントアップする（ステップＳ３）。その後、計数装置１００は、計測が終了するかどうかを判定する（ステップＳ４）。ここで、計数装置１００は、外部からの所定の操作に基づいて計測終了の入力を受け付けたかどうかを判定することにより、ステップＳ４の判定が行われる。計数装置１００が計測を終了すると判定した場合、出力部１５０は、計数部１４０が計測した個体の数を出力する（ステップＳ５）。一方、計数装置１００が計測を終了しないと判定した場合は、ステップＳ２の処理が行われる。

このように、計数装置１００は、流路２００の撮像画像から、深層学習モデルを用いて対象となる個体を検出し、検出した個体の数をカウントして出力する。そのため、対象物の正確な数を計測できる。
（第２の実施の形態）

図５は、本発明の計数システムの第２の実施の形態を示す図である。本形態における計数システムは図５に示すように、計数装置１０１と、流路２０１とを有する。本形態においては、対象物となる個体が魚類（以下、魚と称する）である場合を例に挙げて説明する。また、魚は養殖魚や天然魚であって、その魚種は、例えばブリ属に属するものである。また、その魚のサイズは特に規定しない。

図６は、図５に示した計数装置１０１の内部構成の一例を示す図である。図５に示した計数装置１０１は図６に示すように、撮像部１１０と、検出部１２１と、学習モデル１３１と、計数部１４１と、出力部１５０と、追跡部１６１と、距離測定部１７１とを有する。なお、図６には、図５に示した計数装置１０１が有する構成要素のうち、本形態に関わる主要な構成要素のみを示す。計数装置１０１には、防塵・防水加工が施されている。なお、撮像部１１０および出力部１５０は、第１の実施の形態におけるものと同じものである。

検出部１２１は、第１の実施の形態における検出部１２０が有する機能に以下の機能が追加されている。検出部１２１は、撮像部１１０が撮像した画像と、あらかじめ魚の尾鰭を除く多数の個体の特徴を深層学習した学習モデル１３１とを用いて、魚を検出する。このとき、検出部１２１は、深層学習の量子化・枝刈り等を適用した深層学習圧縮技術を用いても良い。なお、検出部１２１は、尾鰭以外の鰭部分（例えば、胸鰭等）を除く部位の画像を用いて魚を検出するものであっても良い。このように、変化の大きな鰭部分などをアノテーション対象から除外したものを教師データとして用いて深層学習モデルを作成することで、学習モデルの複雑化を回避し、より正確な検出を行うことができる。なお、変化の大きな鰭部分とは、可動域が大きな部分であって、撮像された形状が撮像のタイミングに応じて変化する部分のことである。また、検出部１２１は、魚を検出すると、検出した魚をＢｏｕｎｄｉｎｇ Ｂｏｘと称する枠で囲み、囲んだ枠を検出結果として用いるものであっても良い。このように、枠を用いて検出結果を表示することで、魚を検知した結果を作業者が認識しやすくすることができる。

追跡部１６１は、検出部１２１が検出した個体を追跡する。追跡部１６１は、いわゆるトラッキング処理を行うが、このトラッキング処理は、検出された個体を追跡できるものであればどのようなトラッキング処理であっても良く、特に限定しない。距離測定部１７１は、追跡部１６１が追跡した個体の移動距離を測定する。計数部１４１は、追跡部１６１が追跡した個体のうち、距離測定部１７１が測定した移動距離が所定の距離閾値を超え、かつその個体が撮像範囲に存在する時間が所定の時間を超えた個体の数を魚の数としてカウントする。例えば、計数部１４１は、追跡部１６１が追跡した個体のうち、撮像部１１０が撮像したフレームの一定数のフレーム以上に撮像されており、かつ撮像部１１０の撮像範囲（フレーム内）の３分の１以上の距離を移動した個体をカウントの対象とする。計数部１４１は、追跡部１６１が追跡した個体のうち、距離測定部１７１が測定した移動距離が所定の距離閾値を超えないものや、移動距離が所定の距離閾値を超えてもその個体が撮像範囲内に存在する時間が所定の時間以内であるものについては、その個体をカウント対象から外すものであっても良い。この移動距離と比較する距離閾値や所定の時間については、外部から設定可能である。また、計数部１４１は、計測ごとにカウント値をリセット可能なものであっても良い。

図７は、図５に示した流路２０１の外観の一例を示す図である。図５に示した流路２０１は図７に示すように、底面２１１と２つの側壁２２１，２３１とから構成される流路である。底面２１１の表面は、魚が移動しやすいように、例えば、エンボス加工が施されているものが好ましいが、これに限定しない。流路２０１の内側の素材は、錆びにくいステンレスや繊維強化プラスチック（ＦＲＰ：Ｆｉｂｅｒ−Ｒｅｉｎｆｏｒｃｅｄ Ｐｌａｓｔｉｃｓ）等が好ましい。流路２０１の幅、つまり、側壁２２１と側壁２３１との間の距離は、魚が底面２１１に触れながら移動できるサイズであって、１〜１００ｃｍ程度が好ましい。側壁２２１と側壁２３１との間の距離は、例えば、対象となる魚の体幅または体高と同等かそれ以上が好ましい。また、側壁２２１および側壁２３１の高さは、１〜１００ｃｍ程度が好ましい。側壁２２１および側壁２３１の高さは、例えば、対象となる魚の体幅と同等かそれ以上が好ましいが、流路２０１を移動する魚が流路２０１から外れない（外に飛び出さない）高さであれば良い。

図８は、図５に示した計数システムの外観の一例を示す図である。図５に示した計数システムは図８に示すように、流路２０１を移動する個体を撮像できる位置に撮像部１１０が位置するように計数装置１０１が設置されている。流路２０１は、船上に設けられ、水中に設けられるものではない。なお、計数装置１０１の筐体の外側に出力部１５０が設けられ、計数部１４１と出力部１５０との間が無線または有線を用いて接続されているものであっても良い。また、撮像部１１０と他の構成要素とが互いに別個の筐体に収容されているものであっても良い。この場合、撮像部１１０と検出部１２１との間は、無線または有線で接続されている。筐体には、防塵・防水加工が施されている。また、計数装置１０１および流路２０１は、例えば、船上に設けられ、船上にて魚の計数を行うことができる態様となっている。また、計数装置１０１は、内部にバッテリー（例えば、充放電可能な蓄電池等）を具備しており、計数装置１０１に設けられた各構成要素は、このバッテリーから電源が供給されて動作する。魚は、大型の網を用いて生簀から流路２０１の上流へ放たれる。なお、流路２０１は、複数の小流路に分かれているものであっても良い。その場合、複数の小流路それぞれを互いに異なるサイズ（幅）に形成し、流路２０１上に放たれた魚をそのサイズに応じてカウント対象であるか対象外であるかを選別できるようにしても良い。

図８に示すように、流路２０１は、流路２０１の底面に沿って魚が上流から下流へ滑って移動するように水平面３０１に対して傾斜して配置されている。流路２０１を移動する魚が複数である場合、流路２０１の上流側では複数の魚が互いに重なり合っている場合も考えられる。複数の魚が互いに重なり合っていると、撮像部１１０が撮像した画像からは、その重なりの下側に存在する魚を検出部１２１が検出することが困難となってしまう。そのため、流路２０１を水平面に対して傾斜させ、重なりを防止する。なお、この傾斜角度は４〜６度が好ましいが、魚の量や、底面の素材・加工・構造、流路２０１上を魚が滑りやすくするために魚とともに上流から下流へ流す水の量等に応じて、適宜設定（例えば、１〜３０度程度の範囲内で設定）されるものであっても良い。

また、上述したように流路２０１を水平面に対して傾斜させているため、魚が移動し始める流路２０１の上流よりも下流の方が複数の魚が互いに重なる可能性は低くなる。そのため、撮像部１１０は、できるだけ下流側の流路２０１を撮像するように設置されている。例えば、撮像部１１０は、流路２０１の上流と下流との中間点よりも下流側の流路２０１を撮像するように設置されている。

また、撮像部１１０と流路２０１との間に、親水性シート（親水性被膜）４０１が設けられている。親水性シート４０１は、親水性処理が施された透明な板やシート等の部材（親水性部材）であって、撮像部１１０のレンズを覆うように張られているものであっても良い。親水性シート４０１を設けることで、水飛沫や水滴が画像撮像の妨げになることを防ぐことができる。さらに、撮像部１１０と親水性シート４０１との間に、偏光フィルタと減光フィルタとの少なくとも一方をフィルタ４０２として設けても良い。フィルタ４０２を設けることで、撮像部１１０において撮像した画像の強い光の影響による不鮮明化を回避することができる。

図９は、図６に示した検出部１２１が検出した魚を囲む枠の一例を示す図である。図９に示すように、検出部１２１は尾鰭５１１を除く魚５０１を検出枠５２１で囲む処理を行う。検出枠５２１は、上述したＢｏｕｎｄｉｎｇ Ｂｏｘである。検出枠５２１は、撮像部１１０が撮像した魚５０１を出力部１５０が表示する際に表示される。検出枠５２１で魚５０１を囲むことで、撮像部１１０が撮像した画像を出力部１５０が表示するときに、出力部１５０が表示した画像を見た利用者がその画像の中から魚５０１を識別することが容易になる。

図１０は、図６に示した計数部１４１が行う計数処理を説明するための図である。図１０に示すように、計数部１４１は、流路２０１上、検出部１２１が魚であると検出した物体が所定の距離閾値を超えて移動した場合、その個体をカウント対象の魚であるとカウントする。一方、計数部１４１は、検出部１２１が魚であると検出した個体の移動が距離閾値以下である場合、その個体をカウント対象外としてカウントしない。

以下に、図６に示した計数装置１０１における計数方法について説明する。図１１は、図６に示した計数装置１０１における計数方法の一例を説明するためのフローチャートである。

まず、計測を開始するために、計数装置１０１は、外部からの所定の操作に基づいて計測開始の入力を受け付けると、撮像部１１０が流路２０１の撮像を開始する（ステップＳ１１）。続いて、検出部１２１が、撮像部１１０が撮像した画像と、あらかじめ多数の個体の特徴を深層学習した学習モデル１３１とを用いて、個体の検出を行う（ステップＳ１２）。このとき検出部１２１は、上述したように、変化の大きな鰭の部分を除いて検出を行うものであっても良い。検出部１２１が個体を検出すると、追跡部１６１は、検出部１２１が検出した個体を追跡する（ステップＳ１３）。続いて、距離測定部１７１は、追跡部１６１が追跡した個体の移動距離を測定する（ステップＳ１４）。

すると、計数部１４１は、追跡部１６１が追跡した個体について、距離測定部１７１が測定した移動距離があらかじめ設定された距離閾値を超えたかどうかを判定する（ステップＳ１５）。計数部１４１は、追跡部１６１が追跡した個体について、距離測定部１７１が測定した移動距離があらかじめ設定された距離閾値を超えた場合、その個体が撮像範囲内に存在する時間を測定する（ステップＳ１６）。計数部１４１は、その個体が撮像範囲内に存在する時間があらかじめ設定された時間を超えているかどうかを判定する（ステップＳ１７）。その個体が撮像範囲内に存在する時間があらかじめ設定された時間を超えている場合、計数部１４１はカウンタ値をカウントアップする（ステップＳ１８）。一方、計数部１４１は、追跡部１６１が追跡した個体について、距離測定部１７１が測定した移動距離があらかじめ設定された距離閾値を超えない場合や、移動距離が所定の距離閾値を超えてもその個体が撮像範囲内に存在する時間が所定の時間以内での移動である場合は、カウンタ値をカウントアップしない。

ここで、流路２０１内の単なる光の反射や流路２０１の汚れ、模様、作業者の一部等、対象となる個体ではないノイズを検出部１２１が個体（魚）であると誤検出した場合、それを魚として計数してしまうことを防止するために、計数部１４１は、検出部１２１が検出した個体の移動距離や個体が撮像範囲内に存在する時間を魚であるかどうかの判定（計数）に用いる。検出部１２１が検出した個体が流路２０１内の単なる光の反射である場合、その個体は移動しない。もしくは、そのような光の反射等を誤検出したとしてもその存在時間はわずかである場合が多い。一方、検出部１２１が検出した個体が魚である場合、その個体（魚）は流路２０１上をある程度の時間をかけて移動する。計数部１４１は、この移動の有無や個体が撮像範囲内に存在する時間を、個体が魚であるかどうかの判定に用いる。また、移動の判定に用いる距離閾値は、このような検出部１２１が検出した個体が、移動している魚であるのか、移動しない光の反射等なのかを判定できる距離であって、流路２０１の形状や傾斜角度、設置位置、魚が流路２０１へ投入される速度や数量、または計測を行う時間帯等に応じてあらかじめ設定される。また、あらかじめ設定された時間は、魚が流路２０１を移動したことを検出するための時間であって、流路２０１の形状や傾斜角度、設置位置、魚が流路２０１へ投入される速度や数量等に応じてあらかじめ設定される。

その後、検出部１２１が検出した個体が複数であるかどうかを検出部１２１が判定する（ステップＳ１９）。検出部１２１が検出した個体が複数ではない場合、計数装置１０１は、計測が終了するかどうかを判定する（ステップＳ２０）。ここで、計数装置１０１は、外部からの所定の操作に基づいて計測終了の入力を受け付けたかどうかを判定することにより、ステップＳ２０の判定が行われる。計数装置１０１が計測を終了すると判定した場合、出力部１５０は、計数部１４１が計測した個体の数を出力する（ステップＳ２１）。出力部１５０は、計数部１４１が計測した個体の数をディスプレイに表示するものであっても良いし、計数部１４１が計測した個体の数を示す情報を他の装置へ送信するものであっても良い。個体の数を表示するディスプレイは、計数装置１０１に具備されたディスプレイであっても良いし、計数装置１０１と接続された専用のディスプレイや、通信端末に具備されたディスプレイであっても良い。一方、計数装置１０１が計測を終了しないと判定した場合は、ステップＳ１２の処理が行われる。

一方、ステップＳ１９にて、検出部１２１が検出した個体が複数であると判定された場合、追跡部１６１は、未処理の個体があるかどうかを判定する（ステップＳ２２）。追跡部１６１は、ステップＳ１３〜Ｓ１８までの処理を完了した個体と、ステップＳ１３〜Ｓ１８までの処理をまだ行っていない個体とを識別可能に分別しておく。例えば、追跡部１６１は、検出部１２１が検出した個体それぞれに互いに区別できるマーカーを付しておき、そのマーカーを処理済みかどうかが識別できるように変更していくものであっても良い。また、この追跡部１６１の処理を、距離測定部１７１が行っても良い。未処理の個体がある場合、未処理の個体についてステップＳ１３〜Ｓ１８の処理が行われる。また、未処理の個体がない場合は、ステップＳ２０の処理が行われる。なお、ステップＳ１２にて検出部１２１が複数の個体を検出した場合、検出された個体ごとにステップＳ１３〜Ｓ１７８の処理がそれぞれに並行して行われるものであっても良い。

なお、出力部１５０は、計数部１４１が計測した個体の数をリアルタイムで出力するものであっても良いし、計数部１４１が個体の数を計測中の所定のタイミングで出力するものであっても良い。この場合の所定のタイミングとは、例えば、計数部１４１が個体をカウントする度、または所定の数（例えば、１０）をカウントする度のタイミングや、計測開始からあらかじめ設定された単位時間（例えば、１分間）経過ごとのタイミングであっても良い。

図６に示した学習モデル１３１は、メモリカード等の移設可能な記録媒体に記憶しておき、計数装置１０１に装着して用いられるものであっても良い。その場合、複数のメモリカードそれぞれに互いに異なる学習モデルを記憶おけば、装着するメモリカードの差し替えだけで、計測の対象となる個体に適した学習モデルを計数装置１０１にて即座に実行することができる。または、１つのメモリカードに互いに異なる複数の学習モデルを記憶させておき、計測対象に応じて使用する学習モデルを切り替えて実行するような形態であっても良い。

このように、計数装置１０１は、船上に設置された流路２０１の撮像画像から、深層学習モデルを用いて対象となる個体を検出し、検出した個体の移動距離が距離閾値を超えたものを魚としてカウントする。そのため、船上において対象物である魚の正確な数を計測できる。

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。

上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を各構成要素を具備した装置（例えば、計数装置１００，１０１。以下、情報処理装置と称する）にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置に読み込ませ、実行するものであっても良い。情報処理装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置に内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。なお、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて上述した論理回路を実現するものであっても良い。

１００，１０１ 計数装置
１１０ 撮像部
１２０，１２１ 検出部
１３０，１３１ 学習モデル
１４０，１４１ 計数部
１５０ 出力部
１６１ 追跡部
１７１ 距離測定部
２００，２０１ 流路
２１１ 底面
２２１，２３１ 側壁
３０１ 水平面
４０１ 親水性シート
４０２ フィルタ
５０１ 魚
５１１ 尾鰭
５２１ 検出枠

Claims (1)

1. 個体である魚類が移動する流路と、
   前記流路を移動する前記個体を撮像可能な位置に設置された撮像部と、
   前記撮像部が撮像した画像から、撮像された形状が撮像のタイミングに応じて変化する前記魚類の尾または鰭の部分をアノテーション対象から除外したものを教師データとした深層学習モデルを用いて、前記個体を検出する検出部と、
   前記検出部が検出した前記個体の数をカウントする計数部と、
   前記計数部がカウントした数を出力する出力部とを有する計数システム。

Images