JP7621615B2 - 家畜画像出力装置、学習装置、家畜識別装置、家畜画像出力システム、家畜画像出力方法、およびプログラム - Google Patents

Description

本発明は、家畜画像出力装置、学習装置、家畜識別装置、家畜画像出力システム、家畜画像出力方法、およびプログラムに関する。

従来、酪農場においては、家畜の健康状態を管理することが行われている。この管理において、家畜を１頭ずつ手作業で識別したとすると、手間がかかる。特に、規模が大きい酪農場ほど、この手間は顕著になる。そこで、家畜を識別する技術が各種開示されている。例えば、家畜に通信機を装着させて、家畜の位置や群れを判定する方法が開示されている（例えば、特許文献１参照。）。

再公表ＷＯ２０１３／１４５３０３号公報

しかしながら、特許文献１に記載の技術では、家畜の体の一部に通信機を装着させるため、長期間装着することで牛にストレスを与えてしまい、製品の品質が低下するおそれがある。また、家畜に装着した通信機と通信を行う中継器を農場全体に設置することになるため、酪農家にとって手間や負担が大きい。

本発明は、このような事情に鑑みてなされたもので、その目的は、家畜を好適に識別することができる技術を提供することにある。

上述した課題を解決するために、本発明の一態様である家畜画像出力装置は、仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置であって、地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段と、前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段と、前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段と、前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段と、前記抽出手段によって抽出された前記家畜画像を出力する出力手段と、を備えることを特徴とする家畜画像出力装置である。

また、上記の家畜画像出力装置において、前記検出手段は、前記画像情報に基づいて、複数のエッジを検出し、前記特定手段は、前記複数のエッジのうち最も強いエッジを前記一の仕切り部材として特定する、ことを特徴とする。

また、上記の家畜画像出力装置において、前記特定手段は、前記一の仕切り部材のエッジから所定距離の位置に他のエッジが存在する場合に、当該他のエッジを前記他の仕切り部材として特定する、ことを特徴とする。

また、本発明の他の態様である学習装置は、上記に記載の家畜画像出力装置によって出力された前記家畜画像を入力サンプルとし、複数のクラスのうち当該家畜画像が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された前記家畜画像に対応して当該家畜画像が属する前記クラスの事後確率を示すベクトルを出力するように学習された特徴量計算モデルを有する、ことを特徴とする学習装置である。

また、本発明の他の態様である家畜識別装置は、上記に記載の家畜画像出力装置によって出力された前記家畜画像を取得する取得手段と、家畜を識別する識別情報を識別するための情報を用いて、前記取得手段によって取得された前記家畜画像に関係する前記識別情報を識別する識別手段と、を備えることを特徴とする家畜識別装置である。

また、上記の家畜識別装置において、前記識別手段は、上記に記載の学習装置によって学習された学習済みモデルに、前記取得手段によって取得された前記家畜画像を入力することで、前記識別情報を識別する、ことを特徴とする。

また、上記の家畜識別装置において、前記取得手段は、１頭の家畜につき、所定数の連続するフレームの前記家畜画像を取得し、前記識別手段は、前記取得手段によって前記家畜画像が取得される度に、前記識別情報を識別し、識別した各フレームの前記識別情報のうち、最も多く識別した前記識別情報を最終結果とする、ことを特徴とする。

また、本発明の他の態様である家畜識別装置は、仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜を識別する家畜識別装置であって、地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段と、前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段と、前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段と、前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段と、家畜を識別する識別情報を識別するための情報を用いて、前記抽出手段によって抽出された前記家畜画像に関係する前記識別情報を識別する識別手段と、を備えることを特徴とする家畜識別装置である。

また、本発明の他の態様である家畜画像出力システムは、仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置と、地面に対して固定配置されて、前記収容領域を上方から撮像する撮像装置と、を備えた家畜画像出力システムにおいて、前記家畜画像出力装置は、地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段と、前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段と、前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段と、前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段と、前記抽出手段によって抽出された前記家畜画像を出力する出力手段と、を備えることを特徴とする家畜画像出力システムである。

また、本発明の他の態様である家畜画像出力方法は、仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置が、地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力工程と、前記入力工程において入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出工程と、前記検出工程において検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定工程と、前記特定工程において特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出工程と、前記抽出工程において抽出された前記家畜画像を出力する出力工程と、を実行することを特徴とする家畜画像出力方法である。

また、本発明の他の態様であるプログラムは、仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置に用いられるコンピュータを、地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段、前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段、前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段、前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段、前記抽出手段によって抽出された前記家畜画像を出力する出力手段、として機能させることを特徴とするプログラムである。

本発明によれば、家畜を好適に識別することができる。

ロータリーパーラー１００の一例を示す説明図である。 本実施形態に係る撮像部２００の設置位置の一例を示す説明図である。 本実施形態に係る家畜識別システムＳｔの機能的構成の一例を示すブロック図である。 学習装置３２０の構成および分類モデルＭＯの構成を示す説明図である。 家畜識別装置３００のハードウェア構成の一例を示す説明図である。 家畜識別装置３００が行う家畜識別工程の一例を示す説明図である。 家畜画像出力工程５００によって出力された牛画像８１０を用いた各種工程を示す説明図である。 関心領域の抽出の一例を示す説明図である。 エッジの検出と、柵１０３の位置の特定との一例を示す説明図である。 牛画像の抽出の一例を示す説明図である。 データセットの一例を示す説明図である。 家畜識別装置３００が行う牛画像の抽出処理の一例を示すフローチャートである。 家畜識別装置３００が行う牛画像の学習処理の一例を示すフローチャートである。 家畜識別装置３００が行う牛Ｂｕの識別処理の一例を示すフローチャートである。 ディスプレイ４０５に表示される牛Ｂｕを識別した結果の表示例を示す説明図である。 変形例２に係る牛Ｂｕの識別手法の一例を示す説明図である。 家畜識別装置３００が行う変形例２に係る識別処理を示すフローチャートである。

（実施形態）
図１は、ロータリーパーラー１００の一例を示す説明図である。図１に示すうに、ロータリーパーラー１００は、建物の中に配置される。ロータリーパーラー１００は、円形状の回転台１０１を備える。回転台１０１の表面は、地面に対して一定の高さに保たれている。回転台１０１は、回転台１０１の中心を通って鉛直に伸びる回転軸回りに一定速度でゆっくり回転する。

回転台１０１上には、複数の柵１０３が回転台１０１の径方向に沿って放射状に配置されている。柵１０３は、例えば金属パイプで形成される。牛が収容されるストール１０２は、一対の柵１０３によって区画される。具体的には、ストール１０２は、隣接する柵１０３ａ、１０３ｂによって仕切られた収容領域である。回転台１０１上には、例えば６０～７０のストール１０２が形成されるように、柵１０３が配置されている。

ここで、牧場において、通常、牛は群れ（例えば、６０～８０頭）を成して行動する。このため、ロータリーパーラー１００には、群れごとに牛が乗せられることになる。本実施形態において、ロータリーパーラー１００には、例えば６８頭の牛が収容されることとして説明する。ストール１０２に収容された牛には、搾乳機が取り付けられる。牛の搾乳は、回転台１０１が１周する間に完了するようになっている。

図２は、本実施形態に係る撮像部２００の設置位置の一例を示す説明図である。図２に示すように、回転台１０１上には、牛Ｂｕが乗っている。また、ロータリーパーラー１００の上方には、撮像部２００（カメラ）が地面に対して固定して配置されている。ロータリーパーラー１００が動く一方で、撮像部２００は、支持部材２０１に固定して取り付けられている。支持部材２０１の例としては、搾乳設備の天井などが挙げられる。撮像部２００は、動画を撮像するカメラである。具体的には、撮像部２００は、１秒間に５フレーム撮像する。

撮像部２００が取り受けられている位置は、例えば、牛Ｂｕの背部の直上となる位置であり、回転台１０１の床面から上方３．４ｍ、牛Ｂｕの背部を基準にして上方１．８ｍ～２ｍとなる位置である。撮像部２００は、回転移動するロータリーパーラー１００の上の柵１０３と牛Ｂｕの背部とを上方から順次撮像する。撮像部２００の撮像範囲は、少なくともストール１０２を区画する一対の柵１０３より広い範囲である。

なお、撮像部２００は、１台配置されていてもよいし、複数台設置されていてもよい。また、撮像部２００には、３Ｄカメラが用いられてもよい。また、撮像部２００には、例えば、ＣＣＤ（charge coupled device）カメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを用いることが可能である。

（家畜識別システムＳｔの機能的構成の一例）
図３Ａは、本実施形態に係る家畜識別システムＳｔの機能的構成の一例を示すブロック図である。家畜識別システムＳｔは、家畜画像出力システムの一例である。図３Ａに示すように、家畜識別システムＳｔは、撮像部２００と、家畜識別装置３００とを備える。家畜識別装置３００は、家畜画像出力装置３１０と、学習装置３２０とを備える。

なお、家畜識別装置３００と、家畜画像出力装置３１０と、学習装置３２０とは、それぞれ、別々の装置であってもよい。具体的に補足すると、学習装置３２０は、家畜画像出力装置３１０によって出力された画像を用いて機械学習を行えればよい。また、家畜識別装置３００は、家畜画像出力装置３１０によって出力される画像を用いて家畜の個体識別を行えればよい。このため、図３Ａにおいて、家畜識別装置３００と、家畜画像出力装置３１０と、学習装置３２０とは、一の装置としているが、それぞれ別々の装置としてもよい。また、学習装置３２０が、家畜識別装置３００と、家畜画像出力装置３１０とを備えるようにしてもよい。

家畜画像出力装置３１０は、入力部３１１と、検出部３１２と、特定部３１３と、抽出部３１４と、出力部３１５とを備える。また、家畜識別装置３００は、取得部３３１と、識別部３２２とを備える。

入力部３１１は、撮像部２００の画像情報を入力する。画像情報は、ストールを上方から撮像した画像情報であり、家畜の背部や柵１０３の画像情報が含まれる。本実施形態において、家畜は、乳牛（牛Ｂｕ）であるが、これに限らず、背部に模様を有する動物であればよい。例えば、家畜は、例えば、肉牛でもよいし、豚、ヤギなど牛以外の動物であってもよい。

検出部３１２は、入力部３１１に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する。本実施形態において、仕切り部材は、柵１０３である。また、仕切り部材は、直線形状であるが、曲線形状を含んでいてもよい。また、仕切り部材は、金属製であるが、これに限らず、木製や樹脂製であってもよい。エッジは、画像情報から得られる線の候補を示す。本実施形態において、検出部３１２は、画像情報に基づいて、複数のエッジを検出する。

特定部３１３は、検出部３１２によって検出されたエッジに基づいて、一の仕切り部材（例えば、柵１０３ａ）と、一の仕切り部材に隣接する他の仕切り部材（例えば、柵１０３ｂ）との位置を特定する。具体的には、特定部３１３は、エッジをハフ変換することによって、最も強く線として表れる直線の位置を、一の仕切り部材の位置として特定する。また、特定部３１３は、当該直線に対応する他の直線（エッジをハフ変換することによって得られた他の直線）の位置を、他の仕切り部材の位置として特定する。具体的には、特定部３１３は、一の仕切り部材のエッジから所定距離の位置に他のエッジが存在する場合に、当該他のエッジを他の仕切り部材として特定する。

抽出部３１４は、特定部３１３によって特定された上記位置に応じた収容領域（ストール１０２）に収容される牛Ｂｕの背部を示す家畜画像（以下「牛画像」という。）を抽出する。牛Ｂｕの背部とは、牛Ｂｕの、後頭部、背中、および臀部を含む。牛画像は、牛Ｂｕの背部の模様の画像を含む。

出力部３１５は、抽出部３１４によって抽出された牛画像を出力する。出力部３１５によって出力される牛画像は、機械学習用に用いられたり、識別用に用いられたりする。出力部３１５によって出力される牛画像は、直接、学習装置３２０や家畜識別装置３００に出力されてもよいし、ＵＳＢ（Universal Serial Bus）メモリや光ディスクなどの記憶媒体に出力されてもよいし、他の装置に送信されてもよい。

つまり、家畜画像出力装置３１０は、撮像部２００によって撮像された画像（フレーム）から、牛Ｂｕ１頭の背部が写り、背部の見切れがなく、かつ他の牛Ｂｕが写り込まない牛画像を切り出すことができる。

（学習済みモデルの作成について）
学習装置３２０は、牛Ｂｕを識別する識別情報（牛ＩＤ：Identity）を識別するための学習済みモデルを作成する。具体的に説明すると、学習装置３２０は、出力部３１５によって出力された牛画像を取得する。取得する牛画像は、例えば、１０回分の学習用の画像であり、家畜画像出力装置３１０が出力したトリミングされた画像である。牛画像の供給元は、家畜識別装置３００が備える記憶部でもよいし、着脱可能な記憶媒体（例えば、ＵＳＢ（Universal Serial Bus）メモリなど）でもよいし、外部の装置でもよい。

学習装置３２０は、取得した牛画像を入力サンプルとし、複数のクラスのうち当該牛画像が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、畳み込みニューラルネットワークモデルなどの機械学習モデルを、入力された牛画像に対応して当該牛画像が属するクラスの事後確率を示すベクトルを出力するように学習させる。

ここで、図３Ｂを用いて、学習装置３２０について具体的に説明する。図３Ｂは、学習装置３２０の構成および分類モデルＭＯの構成を示す説明図である。図３Ｂの（Ａ）は、学習装置３２０の構成を示す。学習装置３２０は、分類モデル記憶部１１と、データセット取得部１２と、学習部１３と、出力部１４とを備える。

分類モデル記憶部１１は、畳み込みニューラルネットワークによって構成された分類モデルＭ０を記憶する。分類モデルＭ０は、図３Ｂの（Ｂ）に示すように、入力部Ｍ０１、特徴量算出部Ｍ０２、分類部Ｍ０３、出力部Ｍ０４を備える。入力部Ｍ０１は、入力された牛画像をベクトルとして特徴量算出部Ｍ０２に出力する。入力部Ｍ０１は、ニューラルネットワークの入力層をなす。特徴量算出部Ｍ０２及び分類部Ｍ０３は、ニューラルネットワークの中間層をなす。出力部Ｍ０４は、ニューラルネットワークの出力層をなす。特徴量算出部Ｍ０２は、入力部Ｍ０１から入力されたベクトルを、低次元の特徴ベクトルに変換し、分類部Ｍ０３に出力する。分類部Ｍ０３は、特徴量算出部Ｍ０２から入力された特徴ベクトルから、当該特徴ベクトルが表す牛ＩＤの事後確率を示すＰ次元のベクトルに変換する。Ｐは、推定すべき牛ＩＤの数である。

データセット取得部１２は、入力サンプルである牛画像と、出力サンプルである牛ＩＤラベルとを関連付けた学習用データセットを取得する。牛ＩＤラベルは、データセットにおける牛ＩＤの数をＰとした場合に、Ｐ次元のワンホットベクトルによって表される。

学習部１３は、データセット取得部１２が取得した学習用データセットを用いて、牛画像が入力されると、当該牛画像に該当する牛ＩＤの事後確率を示すＰ次元のベクトルを出力するように、分類モデルＭ０のパラメータを学習させる。

次に、学習方法について、具体的に説明する。データセット取得部１２は、予め用意されたデータセットを取得する。そして、学習部１３は、取得したデータセットを用いて、分類モデル記憶部１１が記憶する分類モデルＭ０のパラメータを学習させる。このとき、学習部１３は、分類モデルＭ０の計算結果を用いて損失関数を最小化するように、勾配降下法により各パラメータを更新する。なお、学習部１３は、分類モデルＭ０のうち特徴量算出部Ｍ０２および分類部Ｍ０３のパラメータを更新する。例えば、損失関数は、分類モデルＭ０の出力値とデータセットの出力サンプルとのクロスエントロピー誤差を表す。

学習部１３は、損失関数の評価値が所定の閾値を下回った場合、または所定回数だけ学習処理を繰り返した場合に、学習処理を終了する。学習部１３による学習処理が終了すると、出力部１４は、学習部１３によって学習された分類モデルＭ０（学習済みモデル）を家畜識別装置３００へ出力する。

家畜識別装置３００は、当該学習済みモデルを用いることによって、ロータリーパーラー１００上に乗せられている牛Ｂｕの牛ＩＤをリアルタイムに識別することが可能である。以下、これについて、具体的に説明する。

（牛Ｂｕの識別について）
家畜識別装置３００において、取得部３３１は、出力部３１５によって出力された牛画像を取得する。取得部３３１は、ロータリーパーラー１００上のリアルタイムの牛Ｂｕの画像情報に基づく牛画像を取得する。具体的には、家畜画像出力装置３１０において、現在の画像情報が入力され、エッジが検出されて、柵１０３の位置が特定され、当該位置に応じて抽出された牛画像が出力される。取得部３３１は、当該牛画像を取得する。

識別部３３２は、家畜を識別する識別情報を識別するための情報を用いて、取得部３３１によって取得された牛画像に関係する牛ＩＤを識別する。具体的には、識別部３３２は、学習装置３２０によって作成された学習済みモデルに、取得部３３１によって取得された牛画像を入力することで、牛ＩＤを識別する。より具体的には、識別部３３２は、学習済みモデルに入力した牛画像についての牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択（識別）する。

出力部３１５は、識別部３３２によって識別された牛ＩＤと、家畜画像出力装置３１０の入力部３１１に入力された画像情報とを出力する。例えば、出力部３１５は、牛ＩＤと牛Ｂｕの情報（映像）とを対応付けてディスプレイ４０５（図４参照）に表示させる。なお、出力部３１５による牛ＩＤと牛Ｂｕの情報との出力は、表示による出力に限らず、音声による出力や、外部の装置への送信による出力を含んでもよい。

また、取得部３３１は、１頭の牛Ｂｕにつき、所定数の連続するフレームの牛画像を取得する。取得部３３１は、フレームレートが示す間隔（例えば、０．２秒間隔）で、牛画像を取得する。所定数は、例えば、１０である。このため、取得部３３１は、０．２秒間隔で、連続する１０フレームを取得する。言い換えれば、取得部３３１は、１頭の牛Ｂｕにつき、２秒間（０．２秒×１０フレーム）、牛画像を取得する。なお、所定数は、ロータリーパーラー１００の速度や、撮像部２００のフレームレートなどに応じた数であり、１０以外の数とすることも可能である。

識別部３３２は、取得部３３１によって牛画像が取得される都度、すなわち、０．２秒間隔で牛ＩＤを識別する。このため、出力部３１５は、０．２秒間隔で、牛ＩＤを表示出力する。また、識別部３３２は、識別した各フレームの牛ＩＤのうち、最も多く識別した牛ＩＤを最終結果とする。出力部３１５は、識別部３３２によって識別された最終結果を表示出力する。

なお、本実施形態において、識別部３３２は、学習装置３２０によって作成された学習済みモデルを用いて、牛画像の牛ＩＤを識別するようにしたが、これに限らない。例えば、識別部３３２は、牛画像の特徴量を比較する比較用のデータを用いて、牛ＩＤを識別するようにしてもよい。具体的には、例えば、不図示のデータベースに、各牛Ｂｕについて、牛ＩＤと、比較用の牛画像から抽出された特徴量とを対応付けて記憶しておき、識別部３３２は、取得部３３１によって取得された牛画像から特徴量を計算し、当該特徴量と最も類似度が高い特徴量に対応する牛ＩＤを特定（識別）するようにしてもよい。

（家畜識別装置３００のハードウェア構成）
図４は、家畜識別装置３００のハードウェア構成の一例を示す説明図である。図４において、家畜識別装置３００は、ＣＰＵ４０１（Central Processing Unit）と、メモリ４０２と、操作部４０３と、マイク４０４と、ディスプレイ４０５と、スピーカ４０６と、通信Ｉ／Ｆ（インタフェース）とを備える。これらは、バスを介して相互に通信可能である。

ＣＰＵ４０１は、中央演算処理装置であり、メモリ４０２に記憶されている各種プログラムを読み出して実行することにより、ＰＯＳ端末装置２０の動作を制御する。各種プログラムは、本実施形態に係る、家畜画像出力プログラム、学習プログラム、家畜識別プログラムを含む。

メモリ４０２は、記憶部であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、ＳＳＤ（Solid State Drive）などを含む。ＲＯＭは、読み出し専用メモリであり、プログラムをはじめとしてＣＰＵ４０１が利用する各種の情報を記憶する。ＲＡＭは、読み出しや書き込みが可能なメモリであり、種々の情報を記憶する。例えば、ＲＡＭは、外部から取得した情報や、処理において生成した情報を記憶する。また、メモリ４０２は、ＵＳＢメモリなどの着脱可能な記憶媒体や、光ディスクなどを含む。

操作部４０３は、タッチパネルディスプレイや、キーボード、マウスなどの操作入力部である。マイク４０４は、音声等の音を入力する。ＣＰＵ４０１は、音声認識プログラムを実行することにより、マイク４０４に入力された音声を認識する。

ディスプレイ４０５は、タッチパネルディスプレイや、モニタなどである。スピーカ４０６は、音を出力する。通信Ｉ／Ｆ４０７は、他の装置と情報を送受信するインタフェースである。なお、家畜識別装置３００は、この他にも、情報を読み取るスキャナ、媒体に情報を印刷するプリンタなどを備えていてもよい。

なお、図３Ａに示した各部３１１～３１５、３３１、３３２や、図３Ｂに示した各部１１～１５は、ＣＰＵによって実現される。すなわち、ＣＰＵ４０１がメモリ４０２に記憶されている各種プログラムを実行することにより、各部１１～１５、３１１～３１５、３３１、３３２の機能を実現する。

（家畜識別装置３００が行う家畜画像出力工程の一例）
図５Ａは、家畜識別装置３００が行う家畜画像出力工程５００の一例を示す説明図である。図５Ａに示す家畜画像出力工程５００において、家畜識別装置３００の入力部３１１は、まず、撮像部２００によって撮像された画像を入力する（工程５０１）。ここで、撮像部２００によって撮像される画像は、複数の牛Ｂｕやストール１０２が映っていることがある。そこで、家畜識別装置３００の入力部３１１は、撮像部２００の直下を中心として、一のストール１０２が内包される程度の広さの関心領域を決定する（工程５０２）。

図６は、関心領域の抽出の一例を示す説明図である。図６において、元の画像６０１は、撮像部２００によって撮像された結果そのものを示す。ここで、ストール１０２の大きさについては、おおよその値（隣接する柵１０３の間隔）が予めわかっている。バイナリマスク領域６０２は、柵１０３の間隔を基準にして、ストール１０２の大きさに応じた画像の抽出範囲を示す。

具体的には、バイナリマスク領域６０２は、隣接する一対の柵１０３（一のストール１０２）が入り切る大きさの画像領域であり、３本の柵１０３が入り切ることのない画像領域である。元の画像６０１から、バイナリマスク領域６０２に相当する範囲を抽出すると、関心領域６０３が得られる。関心領域６０３は、監視対象となる部分を囲った領域である。なお、関心領域６０３以外の部分については、例えば、削除される、または、画質が落とされることになる。

ここで、ロータリーパーラー１００は、回転している。このため、牛Ｂｕおよび柵１０３の画像は、関心領域６０３内を、例えば、図中上方から下方へ移動していくことになる。一のストール１０２が関心領域６０３内に写るのは、２秒程度である。また、撮像部２００は、１秒間に５フレームを撮像する。このため、関心領域６０３内の画像は、１頭の牛Ｂｕにつき、１０フレーム分（２秒分のフレーム数）、得られることになる。

次に、家畜識別装置３００の検出部３１２は、フレーム間の差分を検出する（工程５０３）。フレーム間の差分画像は、Ｉ_ｄｉｆｆ＝｜Ｉ_ｔ－１－Ｉ_ｔ｜で表される。Ｉ_ｔは、現在（ｔ番目）のフレームである。Ｉ_ｔ－１は、ｔ番目のフレームより１つ前のフレームである。

そして、家畜識別装置３００の検出部３１２は、差分画像を用いて、エッジ検出処理を行う（工程５０４）。具体的には、検出部３１２は、ソーベルエッジ検出処理を行う。さらに、特定部３１３は、柵１０３の位置を特定する（工程５０５）。具体的には、特定部３１３は、ハフ変換処理を行う。

ここで、図７を用いて、工程５０４におけるエッジの検出と、工程５０５における柵１０３の位置の特定とについて説明する。図７は、エッジの検出と、柵１０３の位置の特定との一例を示す説明図である。図７（Ａ）～（Ｃ）において、特定結果７００（７００ａ～７００ｃ）は、それぞれ、差分画像から検出した、ソーベルエッジ検出処理によるエッジ７０１の検出結果と、さらに、この検出結果をハフ変換することによって得られる柵１０３の特定結果を示す。

特定結果７００には、ソーベルエッジ検出処理よって検出されたエッジ７０１が表示されている。エッジ７０１は、フレーム間の差分（差分画像）から得られる点の集まりであり、線の候補を示す。家畜識別装置３００の検出部は、各エッジ７０１について、それぞれハフ変換を行うことによって直線７０２ａ～７０２ｃを得る。家畜識別装置３００の特定部３１３は、直線７０２ａ～７０２ｃのうち、最も強く線として表れているものを柵１０３として特定する。

図７（Ａ）に示す特定結果７００ａにおいて、直線７０２ａが最も強く線として表れているため、家畜識別装置３００の特定部３１３は、直線７０２ａを柵１０３として特定する。なお、図７（Ａ）において、直線７０２ｂは、例えば、牛の臀部の輪郭である可能性がある。また、直線７０２ｃは、直線７０２ａが示す柵１０３に隣接する柵１０３の可能性がある。ここで、牛Ｂｕが柵１０３に寄りかかっている場合や、撮像部２００と柵１０３との位置関係によっては、直線７０２ａが柵１０３として特定されにくくなる。このため、特定結果７００ａにおいて、牛Ｂｕの位置などによっては、直線７０２ｃが柵１０３として特定される場合もある。

図７（Ｂ）の特定結果７００ｂは、特定結果７００ａが示すフレームよりも後のフレームを示す。具体的には、特定結果７００ｂは、ロータリーパーラー１００の回転移動により、直線７０２ａ（柵１０３）が図７（Ａ）に示す特定結果７００ａに比べて下方へ移動したことを示している。特定結果７００ｂでは、直線７０２ａに示す柵１０３のみが検出されており、すなわち、隣接する柵１０３を示す直線については検出されていない。

図７（Ｃ）の特定結果７００ｃは、特定結果７００ｂが示すフレームよりも後のフレームを示す。具体的には、特定結果７００ｃは、ロータリーパーラー１００の回転移動により、直線７０２ａ（柵１０３）が図７（Ｂ）に示す特定結果７００ｂに比べて、さらに下方へ移動したことを示している。特定結果７００ｃでは、直線７０２ａの上方に、直線７０２ｄが検出されている。直線７０２ｄは、直線７０２ａが示す柵１０３に隣接する柵１０３である。

なお、工程５０３においてフレーム間の差分を検出しなくても、工程５０５においてハフ変換を行うことは可能である。ただし、フレーム間の差分を検出せずに、各画像について直線を検出する場合、差分画像と比較して線が多く表れるため、処理に時間を要してしまう。これに対して、フレーム間の差分を検出すると、計算処理を簡素化できるため、迅速な処理を行うことが可能なる。本実施形態では、回転移動するロータリーパーラー１００上の牛Ｂｕをリアルタイムで識別するため、各種処理を迅速に行うことが望まれる。そこで、本実施形態では、フレーム間の差分を検出するようにしている。

図５Ａに戻り、家畜識別装置３００の抽出部３１４は、牛画像を抽出する（工程５０６）。ここで、図８を用いて、牛画像の抽出について説明する。図８は、牛画像の抽出の一例を示す説明図である。上述したように、図８（Ａ）に示す差分画像８０１の入力により、図８（Ｂ）に示す特定結果７００が得られる。特定結果７００は、直線７０２ａを柵１０３として特定したことを示している。

柵１０３が特定されると、家畜識別装置３００は、図８（Ｂ）に示すように、柵１０３の重心位置Ｃｐを算出する。具体的には、家畜識別装置３００は、柵１０３の両端の座標（ｘ１、ｙ１）および（ｘ２、ｙ２）を用いて、｛（ｙ１－ｙ２）／２｝の式により、Ｃｐを算出する。なお、この実施形態では、画像に写る２つの柵１０３の間隔が約２００ピクセルであることが分かっている。つまり、Ｃｐの上下方向に２００ピクセル移動した位置には、隣接する柵１０３がある可能性が高い。このため、家畜識別装置３００は、Ｃｐを算出すると、Ｃｐを基準に、上下方向に、２００ピクセル移動した領域の直線７０２を検索する。図示の場合、家畜識別装置３００は、直線７０２ａの下方（プラス方向）に、例えば、１９０～２１０ピクセルの範囲内に存在する直線７０２ｅを検索する。直線７０２ｅが検出されると、家畜識別装置３００は、直線７０２ｅを柵１０３と特定する。なお、関心領域の高さは４００ピクセルより低く設定されるため、Ｃｐを基準とした上方向２００ピクセルの位置および下方向２００ピクセルの位置のいずれか一方は、関心領域６０３（図６参照）の外側となる。本実施形態では、関心領域６０３の外側についてエッジ検出を行わないため、関心領域６０３の外側に直線７０２は存在しない。

なお、図８（Ｂ）において、牛Ｂｕの位置などによっては、最も強く表れている線が、一対の柵１０３のうち回転方向後方の柵１０３を表す直線７０２ａではなく、回転方向前方の柵１０３を表す直線７０２ｅとなる場合もある。この場合、家畜識別装置３００は、直線７０２ｅの重心位置Ｃｐを算出し、算出したＣｐを基準に、上方に１９０～２１０ピクセルの範囲内に存在する直線７０２を検索する。そして、上方に、直線７０２（７０２ａ）が検出されれば、この直線７０２ａを柵１０３と特定する。つまり、本実施形態では、家畜識別装置３００は一対の柵１０３のどちらが検出されたとしても、他方の柵１０３の有無を判定することができる。

図８（Ｃ）に示すように、家畜識別装置３００は、直線７０２ａ（柵１０３）と直線７０２ｅ（柵１０３）との間の牛画像８１０を抽出する。なお、牛Ｂｕの牛画像８１０の抽出では、１回の搾乳において１頭につき１０フレーム分の画像が抽出される。このため、家畜識別装置３００は、１０フレームのそれぞれのフレームごとに、工程５０１～工程５０６を行って、牛画像８１０を順次抽出することになる。抽出した牛画像８１０は、機械学習や牛Ｂｕの識別に用いられることになる。

（家畜識別装置３００が行う学習工程の一例）
図５Ｂは、家畜画像出力工程５００によって出力された牛画像８１０を用いた各種工程を示す説明図である。図５Ｂの（Ａ）は、家畜識別装置３００が行う学習工程の一例を示す説明図である。

ここで、データベースの作成（工程５１２）の前に、家畜識別装置３００は、複数枚（例えば１頭につき１００枚以上）の牛画像８１０を得ておく。牛画像８１０の抽出は、１回の搾乳において、例えば、１頭につき１０フレーム分の画像が得られるため、１０回分程度の搾乳における牛画像８１０を得ておく。なお、牛の搾乳は、１日に２～３回行われることから、４～５日程度あれば、１０回分の搾乳における牛画像８１０を得ることが可能である。

図５Ｂに示すように、家畜識別装置３００は、家畜画像出力工程５００（図５Ａ参照）の後、操作者の操作入力を受け付けて、データベースを作成する（工程５１１）。ここで、図９を用いて、データセットの一例について説明する。図９は、データセットの一例を示す説明図である。図９に示すように、牛画像８１０（８１０－１～８１０－６８）は、牛ＩＤ（Ｎｏ．１～６８）に対応する画像である。

ＩＤフォルダ９００（９００－１～９００－６８）は、牛ＩＤ（Ｎｏ．１～６８）に対応して設けられる。ＩＤフォルダ９００には、例えば、撮像された１０回分の牛画像８１０（１０本分の学習用のビデオ）が牛ＩＤごとに分けて保存される。牛画像８１０の各ＩＤフォルダへの振り分けは、例えば、操作者の手動で行われる。全てのＩＤフォルダ９００には、合計で、例えば、１万枚程度（発明者の実験では１０２５４枚）の牛画像８１０が保存される。

図５Ｂに戻り、家畜識別装置３００は、畳み込みニューラルネットワークを用いて牛ＩＤの機械学習を行い、学習済みモデルを作成する（工程５１２）。例えば、入力画像として、牛ＩＤ「１」の牛画像８１０が入力されると、家畜識別装置３００は、例えば、出力クラス「１」である可能性が９８％、「２」である可能性が０．５％、「３」である可能性が１％というように、全ての出力クラスについての可能性を算出し、最も可能性の高い出力クラス（牛ＩＤ「１」）を出力する。１０本分の学習用のビデオを用いて、精度を１００％に近付けるためのパラメータを確定させることにより、最終的に９９．９９％の精度を得ることが可能である。

（家畜識別装置３００が行う家畜識別工程の一例）
図５Ｂの（Ｂ）は、家畜識別装置３００が行う家畜識別工程の一例を示す説明図である。図５Ｂの（Ｂ）において、家畜識別装置３００は、家畜画像出力工程５００（図５Ａ参照）の後、牛の識別を行う（工程５２１）。牛の識別において、２本のテスト用のビデオ（搾乳２回分における牛画像）が用いられる。すなわち、テスト用のビデオには、２回の搾乳において、それぞれ家畜画像出力工程５００（図５Ａ参照）によって得られた複数の牛画像８１０が記憶されている。そして、テスト用のビデオに記憶されている牛画像８１０を学習済みモデルに入力することにより、牛ＩＤを取得することができる（工程５２２）。

なお、工程５２２において取得した牛ＩＤを用いて、識別に係る精度を確認することができる。発明者の実験では、２本のテスト用のビデオのうち一方（テストビデオ１）に６３０枚の画像を保存しており、他方（テストビデオ２）に７８０枚の画像を保存しているものを用いた。テストビデオ１を用いて、牛ＩＤの判別を行ったところ、９９．０％の精度を得ることができた。また、テストビデオ２を用いて、牛ＩＤの判別を行ったところ、９９．１％の精度を得ることができた。

（家畜識別装置３００が行う牛画像の抽出処理の一例）
図１０は、家畜識別装置３００が行う牛画像の抽出処理の一例を示すフローチャートである。図１０において、家畜識別装置３００は、牛画像の抽出を開始するか否かを判断する（ステップＳ１００１）。牛画像の抽出開始とは、抽出開始の開始条件が成立することであり、例えば、牛Ｂｕの識別の開始の指示や、機械学習に用いる牛画像の出力の開始の指示を受け付けることである。家畜識別装置３００は、牛画像の抽出開始となるまで待機し（ステップＳ１００１：ＮＯ）、牛画像の抽出開始になると（ステップＳ１００１：ＹＥＳ）、撮像部２００によって撮像された画像情報を入力する（ステップＳ１００２）。

次に、家畜識別装置３００は、関心領域を決定する（ステップＳ１００３）。そして、家畜識別装置３００は、フレーム間の関心領域６０３における差分画像から得られる点の集まり（線の候補）であるエッジを検出する（ステップＳ１００４）。次に、家畜識別装置３００は、エッジをハフ変換することによって得られる直線のうち、最も強く線として表れているものを柵１０３として検出する（ステップＳ１００５）。

そして、家畜識別装置３００は、検出した柵１０３の重心位置に基づいて、上下１９０～２１０ピクセルの範囲内に存在する隣接する柵１０３を検索する（ステップＳ１００６）。そして、家畜識別装置３００は、検索の結果、隣接する柵１０３があるか否かを判断する（ステップＳ１００７）。隣接する柵１０３がない場合（ステップＳ１００７：ＮＯ）、すなわち、関心領域６０３においてストール１０２の一部が写らない場合、家畜識別装置３００は、牛画像の抽出を行わずに、ステップＳ１０１０へ移行する。一方で、隣接する柵１０３がある場合（ステップＳ１００７：ＹＥＳ）、家畜識別装置３００は、２つの柵１０３の間の画像を牛画像として抽出する（ステップＳ１００８）。

そして、家畜識別装置３００は、抽出した牛画像を出力する（ステップＳ１００９）。次に、家畜識別装置３００は、牛画像の抽出が終了であるか否かを判断する（ステップＳ１０１０）。牛画像の抽出終了とは、抽出の終了条件が成立することであり、例えば、牛Ｂｕの識別の終了の指示や、機械学習に用いる牛画像の出力の終了の指示を受け付けることである。牛画像の抽出が終了ではない場合（ステップＳ１０１０：ＮＯ）、家畜識別装置３００は、ステップＳ１００２に戻る。牛画像の抽出が終了である場合（ステップＳ１０１０：ＹＥＳ）、家畜識別装置３００は、一連の処理を終了する。

上述した処理により、ロータリーパーラー１００上の牛画像を得ることができる。この牛画像を用いて、機械学習を行ったり、ロータリーパーラー１００上の牛を識別したりすることが可能になる。以下、図１１を用いて、家畜識別装置３００が行う機械学習を行う処理について説明する。

（家畜識別装置３００が行う牛画像の学習処理の一例）
図１１は、家畜識別装置３００が行う牛画像の学習処理の一例を示すフローチャートである。なお、以下の処理では、各ＩＤフォルダ９００には、牛ＩＤに対応する牛画像が保存されているものとする。

図１１において、家畜識別装置３００は、牛画像の学習を開始するか否かを判断する（ステップＳ１１０１）。学習開始とは、例えば、学習開始の指示を受け付けることである。家畜識別装置３００は、牛画像の学習開始となるまで待機し（ステップＳ１１０１：ＮＯ）、牛画像の学習開始になると（ステップＳ１１０１：ＹＥＳ）、ＩＤフォルダ９００を１つ選択する（ステップＳ１１０２）。

そして、家畜識別装置３００は、選択したＩＤフォルダ９００の中から取得した牛画像を学習モデルに入力する（ステップＳ１１０３）。次に、家畜識別装置３００は、入力した牛画像についての推定値を導出する（ステップＳ１１０４）。そして、家畜識別装置３００は、推定値と牛ＩＤとの差が小さくなるようにノードのパラメータを変更する（ステップＳ１１０５）。

次に、家畜識別装置３００は、ＩＤフォルダ９００内に未学習の画像があるか否かを判断する（ステップＳ１１０６）。未学習の画像がある場合（ステップＳ１１０６：ＹＥＳ）、家畜識別装置３００は、ステップＳ１１０３に戻り、次の牛画像を取得して、学習モデルに入力する。一方、未学習の画像がない場合（ステップＳ１１０６：ＮＯ）、家畜識別装置３００は、未選択のＩＤフォルダ９００があるか否かを判断する（ステップＳ１１０７）。

未選択のＩＤフォルダ９００がある場合（ステップＳ１１０７：ＹＥＳ）、家畜識別装置３００は、ステップＳ１１０２に戻り、未選択のＩＤフォルダ９００のうち、いずれか１つを選択して、選択したＩＤフォルダ９００内の牛画像について、ステップＳ１１０３～ステップＳ１１０６の処理を繰り返す。未選択のＩＤフォルダ９００がない場合（ステップＳ１１０７：ＮＯ）、家畜識別装置３００は、終了条件が成立したか否かを判断する（ステップＳ１１０８）。

終了条件の成立とは、例えば、上記処理（例えば、ステップＳ１１０２～ステップＳ１１０７に係る処理）を所定回数行うことや、牛ＩＤの精度が所定値以上になることや、操作者から終了を受け付けることである。終了条件が成立しない場合（ステップＳ１１０８：ＮＯ）、家畜識別装置３００は、ステップＳ１１０２に戻る。終了条件が成立した場合（ステップＳ１１０８：ＹＥＳ）、家畜識別装置３００は、一連の処理を終了する。

上述した処理により、ロータリーパーラー１００上の牛Ｂｕの識別を行うための、学習済みモデルを作成することができる。これにより、家畜識別装置３００は、学習済みモデルを用いて、ロータリーパーラー１００上の牛Ｂｕの識別を行うことが可能になる。以下、図１３を用いて、ロータリーパーラー１００上の牛Ｂｕを識別する処理について説明する。

（家畜識別装置３００が行う牛Ｂｕの識別処理の一例）
図１２は、家畜識別装置３００が行う牛Ｂｕの識別処理の一例を示すフローチャートである。なお、以下の処理では、各牛Ｂｕについてそれぞれ１０フレーム分の識別が行われるとともに、１０フレームの全ての識別が完了した際に、最終的に識別結果を特定するようにしている。

図１２において、家畜識別装置３００は、牛Ｂｕの識別を開始するか否かを判断する（ステップＳ１２０１）。識別開始とは、例えば、識別開始の指示（例えば、図１３の開始ボタンＢＴ１の押下）を受け付けることである。家畜識別装置３００は、識別開始となるまで待機する（ステップＳ１２０１：ＮＯ）。家畜識別装置３００は、牛画像の識別開始になると（ステップＳ１２０１：ＹＥＳ）、牛画像のフレームのカウントを開始する（ステップＳ１２０２）。

そして、ロータリーパーラー１００上の画像情報を用いて、牛画像の抽出処理（図１０参照）を行う（ステップＳ１２０３）。そして、家畜識別装置３００は、牛画像の抽出処理において出力された牛画像を学習済みモデルに入力する（ステップＳ１２０４）。家畜識別装置３００は、入力した牛画像についての牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択する（ステップＳ１２０５）。なお、ステップＳ１２０５では、牛ＩＤごとに推定値がパーセンテージで表される。具体的には、牛ＩＤ「１」の可能性が９５％、牛ＩＤ「２」の可能性が２％、牛ＩＤ「３」の可能性が１％というように表され、最も可能性が高い牛ＩＤが選択される。

次に、家畜識別装置３００は、選択した牛ＩＤが特定の牛ＩＤであるか否かを判断する（ステップＳ１２０６）。ここで、無模様の牛Ｂｕについては、家畜識別装置３００は、牛Ｂｕの個体を一意に特定することが困難である。このため、無模様の牛Ｂｕについては、牛ＩＤに、無模様の牛Ｂｕであることを示す情報が対応付けられている。この情報が対応付けられている牛ＩＤが、特定の牛ＩＤである。

選択した牛ＩＤが特定の牛ＩＤではない場合（ステップＳ１２０６：ＮＯ）、家畜識別装置３００は、選択した牛ＩＤをディスプレイ４０５に表示する（ステップＳ１２０７）。一方、ステップＳ１２０６において、選択した牛ＩＤが特定の牛ＩＤである場合（ステップＳ１２０６：ＮＯ）、すなわち、例えば、模様がない牛の場合、家畜識別装置３００は、牛ＩＤを「Ｐｌａｉｎ」としてディスプレイ４０５に表示する（ステップＳ１２０８）。

この後、家畜識別装置３００は、次のフレームの入力があるか否かを判断する（ステップＳ１２０９）。家畜識別装置３００は、次のフレームの入力があるまで待機し（ステップＳ１２０９：ＮＯ）、次のフレームの入力があると（ステップＳ１２０９：ＹＥＳ）、家畜識別装置３００は、牛画像のフレームのカウント数に「１」を加算する（ステップＳ１２１０）。

そして、家畜識別装置３００は、カウント値が所定数（例えば１０：１０フレーム）になったか否かを判断する（ステップＳ１２１１）。カウント値が所定数になっていない場合（ステップＳ１２１１：ＮＯ）、家畜識別装置３００は、ステップＳ１２０３に戻る。カウント値が１０になった場合（ステップＳ１２１１：ＹＥＳ）、家畜識別装置３００は、１０フレームの間に選択した牛ＩＤのうち、最も多く選択した牛ＩＤを最終結果としてディスプレイ４０５に表示する（ステップＳ１２１２）。

次に、家畜識別装置３００は、牛Ｂｕの識別を終了するか否かを判断する（ステップＳ１２１３）。識別の終了とは、例えば、識別終了の指示（例えば、図１３の終了ボタンＢＴ２の押下）を受け付けることである。なお、当該指示を受け付けるタイミングは、本フローチャートに示すタイミングに限らず、ステップＳ１２０２～ステップＳ１２１２の間のいずれのタイミングでもよい。

ステップＳ１２１３において、牛Ｂｕの識別を終了しない場合（ステップＳ１２１３：ＮＯ）、家畜識別装置３００は、ステップＳ１２０２に戻る。一方、牛Ｂｕの識別を終了する場合（ステップＳ１２１３：ＹＥＳ）、家畜識別装置３００は、一連の処理を終了する。

（ディスプレイ４０５に表示される牛ＩＤの表示例）
図１３は、ディスプレイ４０５に表示される牛Ｂｕを識別した結果の表示例を示す説明図である。図１３に示すように、ディスプレイ４０５には、識別中画面１３００が表示されている。識別中画面１３００は、撮像画像領域１３０１と、識別結果領域１３０２と、識別結果リスト１３０３と、最終結果リスト１３０４と、開始ボタンＢＴ１と、終了ボタンＢＴ２とを含む。

撮像画像領域１３０１は、撮像部２００によって撮像されたロータリーパーラー１０上の牛Ｂｕの背部を示している。また、撮像画像領域１３０１には、柵１０３も含めて表示されている。撮像画像領域１３０１は、動画である。このため、ロータリーパーラー１００の回転移動に伴って、牛Ｂｕは、例えば、図中の上方から下方へ移動していく。

識別結果領域１３０２は、各フレームについての牛ＩＤの識別結果を示す。識別結果領域１３０２は、フレームが切り替わるごとに、識別される牛ＩＤの識別結果を示す。このため、識別結果領域１３０２は、例えば、０．２秒ごとに、牛ＩＤの識別結果として「３０」、「３０」、…というように、識別結果が表示される。なお、隣接する柵１０３の検索において、隣接する柵１０３が検索されない場合がある（図７（Ｂ）、図１０のステップＳ１００７：ＮＯ参照）。この場合、当該フレームについて牛画像の抽出が行われないことがあるため、１０フレームについて牛ＩＤの識別結果が出力されないこともある。

識別結果リスト１３０３は、識別結果領域１３０２をリスト化したものである。最終結果リスト１３０４は、１０フレームの間に識別した牛ＩＤのうち、最も多く識別した牛ＩＤをリスト化したものである。なお、本実施形態では、牛Ｂｕを１頭につき１０フレーム分の牛画像を得て識別を行うようにしている。ただし、例えば、１頭につき１５フレーム分の牛画像を得て識別を行う場合には、１５フレームの間に識別した牛ＩＤのうち、最も多く識別した牛ＩＤを最終結果として表示すればよい。

図１３において、一例を挙げて説明すると、識別結果リスト１３０３ａは、牛ＩＤ「７」の識別結果が全て得られたことを示している。これに対応する最終結果リスト１３０４ａは、識別結果リスト１３０３ａに対応する識別結果「７」を示している。

また、識別結果リスト１３０３ｂは、特定の牛ＩＤである（無模様の牛Ｂｕ）であることを示す「Ｐｌａｉｎ」を示している。これに対応する最終結果リスト１３０４ｂについても、識別結果リスト１３０３ｂに対応する識別結果「Ｐｌａｉｎ」を示している。

また、識別結果リスト１３０３ｃは、牛ＩＤ「３０」と「２５」が混在した識別結果が得られたことを示している。具体的には、識別結果リスト１３０３ｃは、１０フレームのうち、牛ＩＤ「３０」を８回識別し、牛ＩＤ「２５」を２回識別したことを示している。牛ＩＤ「３０」を識別した回数の方が、牛ＩＤ「２５」を識別した回数よりも多いことから、最終結果リスト１３０４ｃは、識別結果「３０」を示している。

開始ボタンＢＴ１は、牛Ｂｕの識別処理の開始を受け付けるボタンである。開始ボタンＢＴ１が押下されると、牛Ｂｕの識別処理が開始される。一方で、開始ボタンＢＴ１が押下されるまでは、例えば、撮像画像領域１３０１が表示され、識別結果領域１３０２や、識別結果リスト１３０３や、最終結果リスト１３０４について表示されない。終了ボタンＢＴ２は、牛Ｂｕの識別処理の終了を受け付けるボタンである。終了ボタンＢＴ２が押下されると、開始ボタンＢＴ１が押下される前の画面と同様の画面が表示される。

以上説明したように、本実施形態において、家畜識別システムＳｔ（家畜画像出力装置３１０）は、ストール１０２を上方から撮像する撮像部２００の画像情報に基づいて柵１０３のエッジを検出するようにした。さらに家畜画像出力装置３１０は、当該エッジに基づいて柵１０３の位置を特定し、特定した位置に応じたストール１０２に収容される牛Ｂｕの牛画像を出力するようにした。これにより、回転移動するロータリーパーラー１００上の牛Ｂｕの牛画像を簡単かつ精度よく得ることができる。したがって、牛Ｂｕの体の一部に通信機を装着させたり、農場全体に中継器を設置したりしなくても、簡単な構成で、家畜を好適に識別することが可能になる。

なお、牛Ｂｕに耳標を取り付けて、下方から耳標を検出して牛Ｂｕを識別する手法もある。ただし、本手法では、回転移動するロータリーパーラー１００を下方から撮像したとしても、牛Ｂｕの頭の向きによっては、耳標を検出することができないことがある。これに対して、本実施形態において、家畜識別システムＳｔ（家畜画像出力装置３１０）は、ロータリーパーラー１００の上方に設置された撮像部２００から（図２参照）画像を入力し、入力した画像からバイナリマスク領域６０２に応じた関心領域６０３を得て、牛画像を抽出するようにした（図６参照）。これにより、回転移動するロータリーパーラー１００上の牛Ｂｕの牛画像を安定して得ることができる。

また、本実施形態において、家畜識別システムＳｔ（家畜画像出力装置３１０）は、撮像部２００の画像情報に基づいて、複数のエッジを検出し、複数のエッジのうち最も強いエッジを柵１０３として特定するようにした。これにより、精度よく柵１０３を特定することができる。したがって、簡単な構成で、家畜を好適に識別することが可能になる。

また、本実施形態において、家畜識別システムＳｔ（家畜画像出力装置３１０）は、一の柵１０３のエッジから所定距離の位置に他のエッジが存在する場合に、当該他のエッジを隣接する柵１０３として特定するようにした。これにより、精度よく隣接する柵１０３を特定することができる。したがって、簡単な構成で、家畜を好適に識別することが可能になる。

また、本実施形態において、家畜識別システムＳｔ（学習装置３２０）は、牛画像を入力サンプルとし、複数のクラスのうち当該牛画像が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された牛画像に対応して当該牛画像が属するクラスの事後確率を示すベクトルを出力するように学習された特徴量計算モデルを有する。これにより、ロータリーパーラー１０上の牛Ｂｕの識別を高精度に行うための学習済みモデルを簡単に作成することができる。また、回転移動するロータリーパーラー１００上の牛Ｂｕの牛画像を簡単かつ精度よく得ることができる。

また、本実施形態において、家畜識別システムＳｔ（家畜識別装置３００）は、牛画像を取得して、牛ＩＤを識別するための情報を用いて、牛画像に関係する牛ＩＤを識別するようにした。これにより、回転移動するロータリーパーラー１００上の牛Ｂｕの牛画像を用いて、牛Ｂｕを簡単かつ精度よく識別することができる。したがって、簡単な構成で、家畜を好適に識別することが可能になる。

また、本実施形態において、家畜識別システムＳｔ（家畜識別装置３００）は、学習装置３２０によって学習された学習済みモデルに、牛画像を入力することで、牛ＩＤを識別するようにした。これにより、牛Ｂｕをより精度よく識別することができる。

また、本実施形態において、家畜識別システムＳｔ（家畜識別装置３００）は、１頭の牛Ｂｕにつき、所定数の連続するフレームの牛画像を取得する度に、牛ＩＤを識別し、識別した各フレームの牛ＩＤのうち、最も多く識別した牛ＩＤを最終結果とするようにした。このため、回転移動するロータリーパーラー１００上の牛Ｂｕと撮像部２００との位置関係や、牛Ｂｕの姿勢などによっては、識別結果にバラツキが生じる可能性があるが、本実施形態によれば、このようなバラツキが生じたとしても、最も多く識別した牛ＩＤを最終結果とするため、牛Ｂｕの識別を高精度に行うことができる。

（実施形態の変形例）
以下に、実施形態の変形例１、２について説明する。なお、以下の変形例１，２では、上述した実施形態で説明した内容については、適宜説明を省略する。

（変形例１）
まず、変形例１について説明する。上述した実施形態では、牛Ｂｕの識別において特定の牛ＩＤの識別結果が得られたときには、「Ｐｌａｉｎ」を表示するようにした（図１３参照）。変形例１では、このような構成に加えて又は代えて、牛Ｂｕの識別において特定の牛ＩＤの識別結果が得られたときに、「Ｐｌａｉｎ」を表示せずに、牛Ｂｕを特定可能にする構成について説明する。

上述したように、牛Ｂｕは、群れを成して行動する。このため、ロータリーパーラー１００には、群れごとに牛Ｂｕが乗せられることになる。このことから、ロータリーパーラー１００上には、どの群れの牛Ｂｕが乗せられていることが予め分かっている。さらに、その群れの中で、識別結果できない（または識別しにくい）牛Ｂｕ（特定の牛ＩＤの牛Ｂｕ）の頭数は、限られている。

そこで、本実施形態に係る牛Ｂｕの識別では、識別しにくい牛Ｂｕや、識別できない牛Ｂｕについては、その他の情報を用いて、牛Ｂｕを識別することも可能である。その他の情報は、識別しにくい数等（例えば、２～３等）を識別することができる情報であればよい。例えば、その他の情報は、撮像部２００の画像情報に基づく骨格や大きさの情報や、顔認証を行うための顔の情報などとすればよい。また、その他の情報は、例えば、体重の情報としてもよい。また、その他の情報は、当該牛Ｂｕに通信装置を装着させることによる、通信装置からの情報としてもよい。

変形例１によれば、本実施形態で説明した識別処理（図１２参照）において、特定の牛ＩＤの識別結果が得られた牛Ｂｕについても、牛ＩＤを識別することができる。これにより、ロータリーパーラー１０上の全ての牛Ｂｕを識別することができる。

（変形例２）
次に、変形例２について説明する。上述した実施形態では、牛Ｂｕの識別において、１０フレームの間に選択した牛ＩＤのうち、最も多く選択した牛ＩＤを最終結果として牛Ｂｕを識別するようにした（図１２参照）。変形例２では、このような構成に加えて又は代えて、隣接する牛ＩＤ間の差分の算出結果に基づいて、牛Ｂｕを識別するようにする構成について説明する。

図１４は、変形例２に係る牛Ｂｕの識別手法の一例を示す説明図である。図１４（Ａ）は、フレームごとの牛ＩＤの推定結果１４００を示す。推定結果１４００において「ＩＤ Ｓｅｑ」は、フレームごとに推定される牛ＩＤの番号を示す。「ＩＤ Ｓｅｑ」は、フレームごとに順次得られる。

図１４（Ｂ）は、カウント値の集計結果１４１０と、最終的なＩＤリスト１４２０とを示す。家畜識別装置３００は、推定結果１４００の「ＩＤ Ｓｅｑ」に示す隣接するフレーム間の牛ＩＤの差分を算出する。例えば、符号１４０１に示すように、隣接する牛ＩＤがともに「４５」であれば、牛ＩＤの差分がゼロである。牛ＩＤの差分がゼロの場合、家畜識別装置３００は、当該牛ＩＤのカウント値（図１４（Ｂ）の集計結果１４１０のカウント値（「Occur」）をインクリメントする。すなわち、隣接する牛ＩＤがともに「４５」であれば、家畜識別装置３００は、集計結果１４１０のＩＤリスト「４５」の「Occur」の値が「＋１」される。

一方で、符号１４０２に示すように、隣接する牛ＩＤが「６３」と「４２」である場合、牛ＩＤの差分がゼロにはならない。牛ＩＤの差分がゼロにはならない場合、比較基準とする牛ＩＤ「６３」をリセットし、牛ＩＤ「４２」を比較基準に変更するとともに、牛ＩＤ「４２」のカウント値を「１」にセットする。その後、牛ＩＤ「４２」を比較基準にして、次に得られる牛ＩＤとの差分を算出する。以降も同様に、牛ＩＤの差分がゼロであれば、当該比較基準の牛ＩＤのカウント値をインクリメントし、一方で、牛ＩＤの差分がゼロでなければ、比較基準の牛ＩＤを変更して、当該牛ＩＤのカウント値を「１」にセットする。

家畜識別装置３００は、最終的に、図１４（Ｂ）のＩＤリスト１４２０を生成する。ＩＤリスト１４２０の生成において、家畜識別装置３００は、「Occur」（カウント値）が閾値以下（例えば「３」以下）の牛ＩＤを除外する。具体的には、集計結果１４１０において、牛ＩＤ「４２」の「Occur」は「２」である。すなわち、牛ＩＤ「４２」の「Occur」は、閾値以下である。よって、家畜識別装置３００は、最終的なＩＤリスト１４２０から牛ＩＤ「４２」を除外するようにする。

（変形例２に係る牛Ｂｕの識別処理）
図１５は、家畜識別装置３００が行う変形例２に係る識別処理を示すフローチャートである。図１５において、家畜識別装置３００は、牛Ｂｕの識別を開始するか否かを判断する（ステップＳ１５０１）。家畜識別装置３００は、識別開始となるまで待機する（ステップＳ１５０１：ＮＯ）。家畜識別装置３００は、牛画像の識別開始になると（ステップＳ１５０１：ＹＥＳ）、フレームの入力があるか否かを判断する（ステップＳ１５０２）。

家畜識別装置３００は、フレームの入力があるまで待機し（ステップＳ１５０２：ＮＯ）、フレームの入力があると（ステップＳ１５０２：ＹＥＳ）、ロータリーパーラー１００上の画像情報を用いて、牛画像の抽出処理（図１０参照）を行う（ステップＳ１５０３）。そして、家畜識別装置３００は、牛画像の抽出処理において出力された牛画像を学習済みモデルに入力する（ステップＳ１５０４）。

そして、家畜識別装置３００は、入力した牛画像についての牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択する（ステップＳ１５０５）。なお、ステップＳ１５０５では、牛ＩＤごとに推定値がパーセンテージで表される。具体的には、牛ＩＤ「１」の可能性が９５％、牛ＩＤ「２」の可能性が２％、牛ＩＤ「３」の可能性が１％というように表され、最も可能性が高い牛ＩＤが選択される。

次に、家畜識別装置３００は、選択した牛ＩＤが特定（無模様）の牛ＩＤであるか否かを判断する（ステップＳ１５０６）。選択した牛ＩＤが特定の牛ＩＤではない場合（ステップＳ１５０６：ＮＯ）、家畜識別装置３００は、選択した牛ＩＤをディスプレイ４０５に表示する（ステップＳ１５０７）。一方、ステップＳ１５０６において、選択した牛ＩＤが特定の牛ＩＤである場合（ステップＳ１５０６：ＮＯ）、家畜識別装置３００は、牛ＩＤを「Ｐｌａｉｎ」としてディスプレイ４０５に表示する（ステップＳ１５０８）。

次に、家畜識別装置３００は、比較基準の牛ＩＤと、ステップＳ１５０７またはステップＳ１５０８において選択した牛ＩＤとの差分を算出する（ステップＳ１５０９）。そして、家畜識別装置３００は、差分が「０」であるか否かを判断する（ステップＳ１５１０）。差分が「０」である場合（ステップＳ１５１０：ＹＥＳ）、家畜識別装置３００は、比較基準の牛ＩＤのカウント値をインクリメントし（ステップＳ１５１１）、ステップＳ１５１３に進む。

一方、差分が「０」ではない場合（ステップＳ１５１０：ＹＥＳ）、家畜識別装置３００は、比較基準の牛ＩＤを、ステップＳ１５０７またはステップＳ１５０８において選択した牛ＩＤに変更し、カウント値に「１」をセットする（ステップＳ１５１２）。そして、家畜識別装置３００は、最終的なＩＤリスト１４２０（図１４（Ｂ）参照）の生成タイミングであるか否かを判断する（ステップＳ１５１３）。ＩＤリスト１４２０の生成タイミングは、例えば、比較基準となる元の牛ＩＤが別の牛ＩＤに変更されてから、元の牛ＩＤが検出されずに、所定期間が経過したタイミングである。所定期間の経過とは、所定フレーム数がカウントされることとしてもよいし、一定の時間が経過することとしてもよい。

ＩＤリスト１４２０の生成タイミングではない場合（ステップＳ１５１３：ＮＯ）、家畜識別装置３００は、ステップＳ１５０２に戻る。ＩＤリスト１４２０の生成タイミングである場合（ステップＳ１５１３：ＹＥＳ）、家畜識別装置３００は、カウント値（図１４（Ａ）に示した集計結果１４１０の「Occur」）が閾値以下であるか否かを判断する（ステップＳ１５１４）。

カウント値が閾値以下ではない場合（ステップＳ１５１４：ＮＯ）、家畜識別装置３００は、当該牛ＩＤをＩＤリスト１４２０に含めるようにし（ステップＳ１５１５）、ステップＳ１５１７に進む。カウント値が閾値以下である場合（ステップＳ１５１４：ＹＥＳ）、家畜識別装置３００は、当該牛ＩＤをＩＤリスト１４２０から除外し（ステップＳ１５１６）、牛Ｂｕの識別を終了するか否かを判断する（ステップＳ１５１７）。

牛Ｂｕの識別を終了しない場合（ステップＳ１５１７：ＮＯ）、家畜識別装置３００は、ステップＳ１５０２に戻る。一方、牛Ｂｕの識別を終了する場合（ステップＳ１５１７：ＹＥＳ）、家畜識別装置３００は、一連の処理を終了する。

変形例２によれば、隣接する牛ＩＤ間の差分の算出結果に基づいて、牛Ｂｕを識別するようにするため、牛Ｂｕの識別を簡単かつ高精度に行うことができる。

なお、以上に説明した家畜識別システムＳｔ、家畜画像出力装置３１０、学習装置、および家畜識別装置３００を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

Ｓｔ…家畜識別システム
１００…ロータリーパーラー
１０２…ストール
１０３…柵
２００…撮像部
３００…家畜識別装置
３１１…入力部
３１２…検出部
３１３…特定部
３１４…抽出部
３１５…出力部
３１０…家畜画像出力装置
３２０…学習装置
３３１…取得部
３３２…識別部
７０１…エッジ
７０２ａ～７０２ｃ…直線
８１０…牛画像

Claims (11)

1. 仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置であって、
   地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段と、
   前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段と、
   前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段と、
   前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段と、
   前記抽出手段によって抽出された前記家畜画像を出力する出力手段と、
   を備えることを特徴とする家畜画像出力装置。
2. 前記検出手段は、前記画像情報に基づいて、複数のエッジを検出し、
   前記特定手段は、前記複数のエッジのうち最も強いエッジを前記一の仕切り部材として特定する、
   ことを特徴とする請求項１に記載の家畜画像出力装置。
3. 前記特定手段は、前記一の仕切り部材のエッジから所定距離の位置に他のエッジが存在する場合に、当該他のエッジを前記他の仕切り部材として特定する、
   ことを特徴とする請求項１または２に記載の家畜画像出力装置。
4. 請求項１に記載の家畜画像出力装置によって出力された前記家畜画像を入力サンプルとし、複数のクラスのうち当該家畜画像が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された前記家畜画像に対応して当該家畜画像が属する前記クラスの事後確率を示すベクトルを出力するように学習モデルを学習させる学習手段を備える
   ことを特徴とする学習装置。
5. 請求項１に記載の家畜画像出力装置によって出力された前記家畜画像を取得する取得手段と、
   家畜を識別する識別情報を識別するための情報を用いて、前記取得手段によって取得された前記家畜画像に関係する前記識別情報を識別する識別手段と、
   を備えることを特徴とする家畜識別装置。
6. 前記識別手段は、請求項４に記載の学習装置によって学習された学習済みモデルに、前記取得手段によって取得された前記家畜画像を入力することで、前記識別情報を識別する、
   ことを特徴とする請求項５に記載の家畜識別装置。
7. 前記取得手段は、１頭の家畜につき、所定数の連続するフレームの前記家畜画像を取得し、
   前記識別手段は、前記取得手段によって前記家畜画像が取得される度に、前記識別情報を識別し、識別した各フレームの前記識別情報のうち、最も多く識別した前記識別情報を最終結果とする、
   ことを特徴とする請求項５または６に記載の家畜識別装置。
8. 仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜を識別する家畜識別装置であって、
   地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段と、
   前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段と、
   前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段と、
   前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段と、
   家畜を識別する識別情報を識別するための情報を用いて、前記抽出手段によって抽出された前記家畜画像に関係する前記識別情報を識別する識別手段と、
   を備えることを特徴とする家畜識別装置。
9. 仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置と、
   地面に対して固定配置されて、前記収容領域を上方から撮像する撮像装置と、
   を備えた家畜画像出力システムにおいて、
   前記家畜画像出力装置は、
   地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段と、
   前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段と、
   前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段と、
   前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段と、
   前記抽出手段によって抽出された前記家畜画像を出力する出力手段と、
   を備えることを特徴とする家畜画像出力システム。
10. 仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置が、
    地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力工程と、
    前記入力工程において入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出工程と、
    前記検出工程において検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定工程と、
    前記特定工程において特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出工程と、
    前記抽出工程において抽出された前記家畜画像を出力する出力工程と、
    を実行することを特徴とする家畜画像出力方法。
11. 仕切り部材で仕切られた複数の収容領域にそれぞれ１頭ずつ家畜を収容して回転移動するロータリーパーラー上の家畜の画像を出力する家畜画像出力装置に用いられるコンピュータを、
    地面に対して固定配置されて、前記収容領域を上方から撮像する撮像部の画像情報を入力する入力手段、
    前記入力手段に入力された画像情報に基づいて、一の仕切り部材のエッジを検出する検出手段、
    前記検出手段によって検出された前記エッジに基づいて、前記一の仕切り部材と、前記一の仕切り部材に隣接する他の仕切り部材との位置を特定する特定手段、
    前記特定手段によって特定された前記位置に応じた前記収容領域に収容される家畜の背部を示す家畜画像を抽出する抽出手段、
    前記抽出手段によって抽出された前記家畜画像を出力する出力手段、
    として機能させることを特徴とするプログラム。

Images