JP6402455B2 - 管理方法、管理プログラム、管理装置および管理システム - Google Patents

Description

本発明は、管理方法、管理プログラム、管理装置および管理システムに関する。

家畜を飼育する場合には、肉や脂肪の付き、太り具合等の生育状態を判断することが必要となり、従来は酪農家が目視によって、これらの判断を行っている。例えば、乳牛では、酪農家が牛の胴体後部の肉付きを経験に基づいて、例えば、肥痩状態評価として、ＢＣＳ（Body Condition Score）を求めて判断している。また、酪農家の経験やノウハウによらずに、ＢＣＳについて、牛を三次元計測した三次元画像に基づいて算出することが提案されている。

特表２０１２−５１０２７８号公報

しかしながら、牛を三次元計測するには、大掛かりな設備が必要となり牛も動くため、容易に計測できない場合がある。酪農家は、例えば、牛の飼育場所に三次元計測を行う設備を導入しようとしても、三次元計測に必要な照明、電源、ネットワーク環境等を整えることは困難である。また、牛は酪農家の意思に関係なく動くため、牛を管理するために三次元計測することはできない。このため、肥痩状態の評価がバラついてしまう。

一つの側面では、本発明は、牛の肥痩状態評価のバラツキを抑制することができる管理方法、管理プログラム、管理装置および管理システムを提供することにある。

一つの態様では、管理方法は、牛の撮像画像上に入力された線画の形状を判別し、判別された前記線画の形状に基づいて、前記撮像画像の牛のスコアを決定する処理をコンピュータが実行する。

また、一つの態様では、管理プログラムは、牛の撮像画像上に入力された線画の形状を判別し、判別された前記線画の形状に基づいて、前記撮像画像の牛のスコアを決定する処理をコンピュータに実行させる。

また、一つの態様では、管理装置は、判別部と決定部とを有する。管理装置の判別部は、牛の撮像画像上に入力された線画の形状を判別する。管理装置の決定部は、判別された前記線画の形状に基づいて、前記撮像画像の牛のスコアを決定する。

また、一つの態様では、管理システムは、サーバ装置と、端末装置とを有する。サーバ装置は、判別部と決定部と通信部とを有する。サーバ装置の判別部は、牛の撮像画像上に入力された線画の形状を判別する。サーバ装置の決定部は、判別された前記線画の形状に基づいて、前記撮像画像の牛のスコアを決定する。サーバ装置の通信部は、前記端末装置から前記線画を受信し、決定した前記スコアを前記端末装置に送信する。端末装置は、表示部と入力部と通信部とを有する。端末装置の表示部は、前記スコアと前記撮像画像とを表示する。端末装置の入力部は、前記表示部に表示させた前記撮像画像上で前記線画を入力させる。端末装置の通信部は、前記サーバ装置から前記スコアを受信し、前記線画を前記サーバ装置に送信する。

１つの側面として、牛の肥痩状態評価のバラツキを抑制することができる。

図１は、実施例の管理システムの構成の一例を示すブロック図である。 図２は、撮像画像から所定領域の輝度情報を抽出する一例を示す説明図である。 図３は、所定領域における分割領域のコード化の一例を示す説明図である。 図４は、候補の牛の情報を表示する画面の一例を示す説明図である。 図５は、第１特徴部位の一例を示す説明図である。 図６は、第１線画の一例を示す説明図である。 図７は、線画入力画面の一例を示す説明図である。 図８は、第２特徴部位および第２線画の一例を示す説明図である。 図９は、特定した牛の情報を表示する画面の一例を示す説明図である。 図１０は、複数の牛を特定する場合の牛の情報を表示する画面の一例を示す説明図である。 図１１は、第１線画の形状がＶの場合に第１線画の端点および頂点を抽出する一例を示す説明図である。 図１２は、第１線画の形状がＵの場合に第１線画の端点および頂点を抽出する一例を示す説明図である。 図１３は、第１線画の形状がＶと判別する場合の一例を示す説明図である。 図１４は、第１線画の形状がＵと判別する場合の一例を示す説明図である。 図１５は、線画の形状の類似を比較する一例を示す説明図である。 図１６は、線画の形状の類似を比較する他の一例を示す説明図である。 図１７は、実施例の管理システムの動作の一例を示すシーケンス図である。 図１８は、個体特定処理の一例を示すシーケンス図である。 図１９は、第１判定処理の一例を示すシーケンス図である。 図２０は、第２判定処理の一例を示すシーケンス図である。 図２１は、テンプレート生成処理の一例を示すフローチャートである。 図２２は、管理プログラムを実行するコンピュータの一例を示す説明図である。

以下、図面に基づいて、本願の開示する管理方法、管理プログラム、管理装置および管理システムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組み合わせてもよい。

図１は、実施例の管理システムの構成の一例を示すブロック図である。図１に示す管理システム１は、端末装置１０と、サーバ装置１００とを有する。なお、図１には、システムが１つの端末装置１０を有する場合を示したが、端末装置１０の数は限定されず、管理システム１は、任意の数の端末装置１０を有してもよい。

端末装置１０およびサーバ装置１００の間は、ネットワークＮを介して相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネット（Internet）を始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。

端末装置１０は、通信部１１と、記憶部１２と、入力部１３と、表示操作部１４と、制御部１５とを有する。なお、端末装置１０は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。端末装置１０の一例としては、タブレット端末、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、ＰＤＡ（Personal Digital Assistants）などのスレート端末などを採用できる。端末装置１０には、上記の可搬型の端末のみならず、据置型のパーソナルコンピュータ等を端末装置１０として採用することもできる。

通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮを介してサーバ装置１００と有線または無線で接続され、サーバ装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１５から入力された牛が撮像された第１撮像画像に基づく第１のデータと選択情報とを、サーバ装置１００に送信する。また、通信部１１は、制御部１５から入力された第１および第２線画と、第２および第４のスコアと、第１および第３撮像画像とをサーバ装置１００に送信する。さらに、通信部１１は、サーバ装置１００から第１のデータと同一または類似する第２のデータに対応する第２撮像画像と、第２撮像画像に対応する識別番号と、特定情報と、補足情報とを受信する。また、通信部１１は、サーバ装置１００から第１、第２、第３および第４のスコアと、判定処理の第２および第４撮像画像とを受信する。通信部１１は、第２のデータに対応する第２撮像画像と、識別番号と、特定情報と、補足情報と、第１、第２、第３および第４のスコアと、判定処理の第２および第４撮像画像とを制御部１５に出力する。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２は、制御部１５での処理に用いる情報を記憶する。

入力部１３は、例えば、撮像センサを有するカメラモジュールであり、端末装置１０により牛を撮像できる。例えば、入力部１３は、端末装置１０のユーザの操作により、牛の側面の画像を撮像し、撮像画像を制御部１５に出力する。また、例えば、入力部１３は、端末装置１０のユーザの操作により、牛の胴体後部の側面の第１特徴部位、および、牛の臀部の第２特徴部位の画像を撮像し、撮像画像を制御部１５に出力する。なお、撮像画像は、牛の側面、胴体後部および臀部だけでなく、耳標等を撮影してもよい。また、入力部１３は、例えば、ＳＤ（Secure Digital）メモリカードリーダとしてもよい。この場合、入力部１３は、例えば、デジタルカメラ等によって撮像された牛の側面や第１および第２特徴部位、耳標の撮像画像が入力される。入力部１３は、撮像または入力された撮像画像を制御部１５に出力する。また、入力部１３は、複数枚の画像をまとめて撮像した場合には、撮像画像、例えば、第２特徴部位の撮像画像等を記憶部１２のバッファに記憶する。なお、本実施例では、牛として白黒の斑紋を有するホルスタイン種を一例として説明する。

表示操作部１４は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１４は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１４は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１４は、表示デバイスと入力デバイスとが一体化される。表示操作部１４は、ユーザによって入力された操作を操作情報として制御部１５に出力する。なお、表示操作部１４は、表示デバイスと入力デバイスとを個別に設けてもよい。

制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１５は、抽出部１６と、選択部１７と、線画入力部１８と、スコア選択部１９とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

抽出部１６は、入力部１３から入力された牛の側面の撮像画像を第１撮像画像として取得する。抽出部１６は、取得した第１撮像画像から、サーバ装置１００での検索に用いる第１のデータを抽出する。ここで、第１のデータは、第１撮像画像の所定領域について、様々な方法で特徴情報を抽出したデータを用いることができる。第１のデータは、例えば、牛の側面の所定領域をマトリックス状に複数の分割領域に分割し、分割領域の輝度情報に基づいた第１の二値判定結果、すなわち二値化したデータとすることができる。本実施例では、第１のデータの一例として、上述の第１の二値判定結果を用いて説明する。なお、第１のデータは、他にも、例えば画像処理により牛の斑紋の黒の領域を抽出して所定領域に座標を設定し、抽出した領域と座標とを対応付けてデータ化してもよい。

また、抽出部１６は、入力部１３から入力された撮像画像に耳標の撮像画像が含まれる場合には、当該撮像画像について画像認識処理等により、耳標の識別番号を抽出する。このとき、抽出部１６は、耳標が汚れていて識別番号の一部しか判読できない場合であっても、判読できた一部の識別番号を抽出する。

図２は、撮像画像から所定領域の輝度情報を抽出する一例を示す説明図である。図２に示すように、抽出部１６は、第１撮像画像３０の牛の側面について、所定領域を規定するための基準点３１を設定する。図２の例では、基準点３１は、例えば、脚の付根２ヶ所、背中の中央部１ヶ所の計３ヶ所の基準点３１を設定する。次に、抽出部１６は、第１撮像画像３０を二値化する。抽出部１６は、二値化した第１撮像画像３２から基準点３１に基づいて所定領域３３を切り出してサイズを正規化する。なお、抽出部１６は、第１撮像画像３０から所定領域３３を切り出すことで背景を除外する。

抽出部１６は、正規化した所定領域３３を所定数の分割領域に分割する。図３は、所定領域における分割領域のコード化の一例を示す説明図である。図３に示すように、抽出部１６は、例えば、所定領域３３を８分割し、各分割領域３４ａに分割する。抽出部１６は、分割領域３４ａごとに、例えば黒の割合が閾値以上であれば「１」とし、黒の割合が閾値未満であれば「０」と判定して、すなわち輝度情報に基づいて、第１の二値判定結果３５ａとしてコード化する。つまり、抽出部１６は、各分割領域３４ａをコード化して、所定領域３３の第１の二値判定結果３５ａを抽出する。ここで、閾値は、例えば５０％とすることができる。抽出部１６は、コード化した第１の二値判定結果３５ａを、例えば「キー１」と設定する。

同様に、抽出部１６は、例えば、所定領域３３を３２分割し、各分割領域３４ｂに分割する。抽出部１６は、所定領域３３について８分割の場合と同様に黒の割合を判定して、第１の二値判定結果３５ｂとしてコード化する。つまり、抽出部１６は、各分割領域３４ｂをコード化して、所定領域３３の第１の二値判定結果３５ｂを抽出する。抽出部１６は、コード化した第１の二値判定結果３５ｂを、例えば「キーＮ」と設定する。なお、「キー」は、例えば、分割数が少ない第１の二値判定結果から順番に付番していくものとする。また、第１の二値判定結果３５ａ、３５ｂを区別しない場合には、単に第１の二値判定結果３５と表す。さらに、第１の二値判定結果３５は、分割を一度しか行っていないキーの数が「１」の場合も含む。また、分割領域３４ａ、３４ｂは分割数を区別しない場合には、単に分割領域３４と表す。抽出部１６は、抽出した第１の二値判定結果３５ａ、３５ｂを第１のデータとして、通信部１１およびネットワークＮを介してサーバ装置１００に送信する。また、抽出部１６は、第１撮像画像を選択部１７に出力する。さらに、抽出部１６は、耳標から一部の識別番号が判読できた場合には、当該一部の識別番号を第１の二値判定結果３５ａ、３５ｂと併せて第１のデータとして通信部１１およびネットワークＮを介してサーバ装置１００に送信する。

図１の説明に戻って、選択部１７は、通信部１１から第２のデータに対応する第２撮像画像と識別番号とが入力される。選択部１７は、入力された第２撮像画像を候補画像として、識別番号とともに表示操作部１４に表示させる。ここで、第２撮像画像は、１枚であっても複数枚であってもよい。選択部１７は、表示操作部１４からユーザが第２撮像画像を選択する操作に対応する操作情報が入力されると、選択情報を通信部１１を介してサーバ装置１００に送信する。

選択部１７は、通信部１１から特定情報と補足情報とが入力され、抽出部１６から第１撮像画像が入力される。選択部１７は、通信部１１から特定情報と補足情報とが入力されると、表示操作部１４に第１撮像画像と特定情報と補足情報とを表示させる。すなわち、選択部１７は、表示操作部１４に第１撮像画像と識別番号と名前と補足情報とを表示させる。また、選択部１７は、第１撮像画像を表示操作部１４に表示させた表示済情報を線画入力部１８に出力する。

ここで、候補の牛の情報を表示する画面例について説明する。図４は、候補の牛の情報を表示する画面の一例を示す説明図である。図４に示すように、画面３６は、例えば、候補画像である第２撮像画像が表示される画像表示エリア３７、ならびに、識別番号および名前が表示される情報表示エリア３８を有する。また、画面３６には、候補画像として複数の第２撮像画像がある場合には、表示される第２撮像画像を切り替えるボタン３９ａ、３９ｂが表示される。選択部１７は、ユーザによりボタン３９ａ、３９ｂが押下されることにより、複数の第２撮像画像を画像表示エリア３７に切り替えて表示させる。また、画像表示エリア３７には、複数の第２撮像画像のうち、何枚目を表示中であるかを識別する情報４０が表示される。図４の例では、情報４０として「２／３」と表示され、３枚の第２撮像画像のうち２枚目を表示していることを示す。

図１の説明に戻って、線画入力部１８は、入力部１３から牛の胴体後部の側面の第１特徴部位を含む撮像画像が入力される。ここで、第１特徴部位を含む撮像画像は、抽出部１６で第１撮像画像として取得した撮像画像を用いてもよく、以下の説明では、第１特徴部位を含む撮像画像として選択部１７が表示操作部１４に表示させた第１撮像画像を用いて説明する。なお、入力部１３から第１特徴部位を含む撮像画像が入力された場合には、当該撮像画像を第１撮像画像として表示操作部１４に表示させる。

線画入力部１８は、選択部１７から表示済情報が入力されると、表示操作部１４に第１特徴部位を含む第１撮像画像を表示させる。次に、線画入力部１８は、ユーザの操作により第１線画が入力されると、当該第１線画の入力を受け付ける。線画入力部１８は、例えば、ユーザに複数回線画を入力させ、その形状の平均値を第１線画として受け付ける。なお、線画は、例えば３回入力させる。また、線画入力部１８は、入力された第１線画の端点および頂点を第１撮像画像上に表示させ、例えば、ユーザが表示操作部１４上を指でドラッグすることにより、端点および頂点の位置を補正できるようにしてもよい。これにより、第１線画が骨に沿って入力されているか否かを容易に判別できる。線画入力部１８は、入力された第１線画を通信部１１を介してサーバ装置１００に送信する。また、線画入力部１８は、第１線画の入力時に表示させた第１撮像画像をスコア選択部１９に出力する。

ここで、図５および図６を用いて、第１特徴部位および第１線画について説明する。図５は、第１特徴部位の一例を示す説明図である。図５に示すように、第１特徴部位は、牛５０の胴体後部の側面のうち、坐骨５１、寛骨５２および腰角５３を含む部位とする。図６は、第１線画の一例を示す説明図である。図６に示すように、第１線画は、牛５０の坐骨５１の頂点５１ａと、寛骨５２の頂点５２ａと、腰角５３の頂点５３ａとを結ぶ線であり、牛５０の体表面に浮き出ているラインに沿って入力される。第１線画は、当該ラインがＶ字形に見える場合には、第１線画５４ａが入力され、当該ラインがＵ字形に見える場合には、第１線画５４ｂが入力される。なお、以下の説明では、第１線画５４ａと、第１線画５４ｂとを区別しない場合には、第１線画５４と表す。

図７は、線画入力画面の一例を示す説明図である。図７に示すように、例えば、端末装置１０の線画入力画面５５には、第１撮像画像の一部である第１特徴部位が表示される。また、線画入力画面５５には、ユーザによって第１線画５４が入力され、当該第１線画５４が表示される。また、線画入力画面５５には、後述するサーバ装置１００の判別部１３３で判別された判別結果を示すアイコン５６ａ、５６ｂが表示される。アイコン５６ａは、Ｖ字形と判別された場合に、例えば、色を変更することでユーザが容易に判別結果を知ることができる。同様に、アイコン５６ｂは、Ｕ字形と判別された場合に、例えば、色を変更してユーザが容易に判別結果を知ることができる。なお、バー５７は、線画入力画面５５に表示される第１撮像画像を拡大縮小するためのものである。また、線画入力画面５５には、上述の他に、第１特徴部位の名称、例えば、骨盤（寛骨）や、判定結果に対応するスコアを表示するようにしてもよい。

また、線画入力部１８は、入力部１３が記憶部１２のバッファに記憶した第２特徴部位を含む撮像画像を、記憶部１２のバッファから第３撮像画像として取得する。線画入力部１８は、スコア選択部１９が第２のスコアと第１撮像画像とをサーバ装置１００に送信した後に、第３撮像画像を表示操作部１４に表示させ、第２線画の入力を受け付ける。線画入力部１８は、入力された第２線画を通信部１１を介してサーバ装置１００に送信する。また、線画入力部１８は、第２線画の入力時に表示させた第３撮像画像をスコア選択部１９に出力する。

ここで、図８を用いて、第２特徴部位および第２線画について説明する。図８に示すように、第２特徴部位は、牛５０の臀部のうち、坐骨５１、腰角５３、仙骨靭帯５８および尾骨靭帯５９を含む部位とする。また、第２線画は、第１線画５４がＶ字形の第１線画５４ａである場合には、坐骨５１の形状に沿った第２線画６０ａと、腰角５３の形状に沿った第２線画６０ｂとが入力される。第２線画は、第１線画５４がＵ字形の第１線画５４ｂである場合には、仙骨靭帯５８に沿った第２線画６０ｃと、尾骨靭帯５９に沿った第２線画６０ｄとが入力される。

なお、線画入力部１８は、第２線画の入力を受け付ける代わりに、例えば、「丸い」、「角張っている」、「明瞭に見える」、「ぼんやり見える」等の選択肢を提示して、ユーザに選択肢を選択させてもよい。この場合には、選択肢に基づいて、後述する第３のスコアが算出される。また、線画入力部１８は、例えば、第２線画の入力時に各部の形状をなぞった回数に応じて、上述の選択肢のような見え方を決定するようにしてもよい。線画入力部１８は、例えば、１回なぞった場合には「ぼんやり見える」とし、３回以上なぞった場合には「明瞭に見える」といったように見え方を決定できる。

図１の説明に戻って、スコア選択部１９は、通信部１１から第１および第２のスコアと、判定処理の第２撮像画像とが入力されると、第１および第２のスコアと、第２撮像画像とを表示操作部１４に表示させ、第１撮像画像に対応する第２のスコアを選択させる。スコア選択部１９には、線画入力部１８から第１撮像画像が入力される。スコア選択部１９は、選択された第２のスコアを第１撮像画像に対応づけて、通信部１１を介してサーバ装置１００に送信する。

また、スコア選択部１９は、通信部１１から第３および第４のスコアと、第４撮像画像とが入力されると、第３および第４のスコアと、第４撮像画像とを表示操作部１４に表示させ、第３撮像画像に対応する第４のスコアを選択させる。スコア選択部１９には、線画入力部１８から第３撮像画像が入力される。スコア選択部１９は、選択された第４のスコアを第３撮像画像に対応づけて、通信部１１を介してサーバ装置１００に送信する。

サーバ装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。サーバ装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。

通信部１１０は、例えば、ＮＩＣ等によって実現される。通信部１１０は、ネットワークＮを介して端末装置１０と有線または無線で接続され、端末装置１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、端末装置１０から第１撮像画像に基づく第１のデータとして例えば第１の二値判定結果と、選択情報とを受信する。さらに、通信部１１０は、第１のデータに一部の識別番号が含まれている場合には、一部の識別番号も併せて受信する。また、通信部１１０は、端末装置１０から第１および第２線画と、第２および第４のスコアと、第１および第３撮像画像とを受信する。

また、通信部１１０は、制御部１３０から入力された第１のデータと類似する第２のデータに対応する第２撮像画像と、特定された牛の第２撮像画像に対応付けられた識別番号を含む特定情報および補足情報とを端末装置１０に送信する。また、通信部１１０は、第１、第２、第３および第４のスコアと、判定処理の第２および第４撮像画像とを端末装置１０に送信する。通信部１１０は、受信した第１のデータである第１の二値判定結果と一部の識別番号と選択情報とを制御部１３０に出力する。また、通信部１１０は、受信した第１および第２線画と、第２および第４のスコアと、第１および第３撮像画像とを制御部１３０に出力する。

記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、マスタ画像記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

マスタ画像記憶部１２１は、例えば、複数の牛それぞれの側面の第２撮像画像と、第２のデータと、識別番号と、名前、飼育記録、撮影日時等の補足情報とを対応付けて記憶する。また、マスタ画像記憶部１２１は、牛ごとに撮影日時の異なる上述の第２撮像画像等を複数記憶して、経時変化を記憶する。なお、第２撮像画像は、牛の斑紋が左右で異なるため、例えば、頭を右とした右側面、または、頭を左とした左側面のいずれかに統一して記憶する。

第２撮像画像は、上述の第１撮像画像と同様に、例えば、端末装置１０で撮像された第１撮像画像を受信し、牛が特定された後に、第１撮像画像を第２撮像画像として識別番号等とともにマスタ画像記憶部１２１に蓄積して記憶する。

また、マスタ画像記憶部１２１は、第１および第２線画の形状および判別結果と、第３および第４撮像画像に基づく第４のスコアと、第１および第３撮像画像とを対応付けて記憶する。また、マスタ画像記憶部１２１は、第３撮像画像と同じ第２特徴部位を含んで蓄積されている第４撮像画像と、第４撮像画像の第４のスコアとを対応付けて記憶する。また、マスタ画像記憶部１２１は、経時変化を記憶するために、上述の形状、スコア、撮像画像等を、例えば、毎日、１週間に１度等の間隔で記憶するようにしてもよい。すなわち、マスタ画像記憶部１２１は、酪農家が飼育する牛について、既にＢＣＳが判定された撮像画像を蓄積記憶するデータベースである。

制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、照合部１３１と、特定部１３２と、判別部１３３と、算出部１３４と、検索部１３５と、決定部１３６と、テンプレート部１３７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

照合部１３１は、通信部１１０から受信した第１のデータである第１の二値判定結果が入力されると、マスタ画像記憶部１２１を参照し、第１の二値判定結果と第２のデータである第２の二値判定結果とを照合する。照合部１３１は、第１のデータと同一または類似する第２のデータに対応する第２撮像画像を候補画像として、通信部１１０を介して端末装置１０に送信する。ここで、照合部１３１は、照合の結果、候補画像の第２撮像画像が所定数を超える場合には、分割領域をさらに細分化した第１および第２の細分化二値判定結果を照合する。すなわち、照合部１３１は、候補画像の第２撮像画像が所定数を超える場合に、第１の二値判定結果３５ａを示す「キー１」から「キーＮ」の順に照合する。なお、所定数は、例えば、３〜５枚とすることができる。また、照合部１３１は、第２撮像画像に対応付けられた識別番号も併せて通信部１１０を介して端末装置１０に送信する。なお、識別番号は、牛の名前の情報を含んでもよい。

また、照合部１３１は、第１のデータに一部の識別番号が含まれている場合には、一部の識別番号と、マスタ画像記憶部１２１に第２撮像画像に対応付けて記憶された識別番号とに基づいて、照合結果の第２撮像画像を絞り込んで候補画像とするようにしてもよい。

照合部１３１は、候補画像の第２撮像画像が１枚の場合には、第２撮像画像および識別番号を端末装置１０に送信せずに、特定部１３２に当該第２撮像画像と識別番号とを出力する。

特定部１３２は、通信部１１０から選択情報が入力されると、選択情報に基づき牛を特定する。すなわち、特定部１３２は、選択情報が示す第２撮像画像の牛を、第１撮像画像の牛と特定する。特定部１３２は、特定した牛の第２撮像画像に対応付けられた識別番号を含む特定情報を生成する。特定部１３２は、生成した特定情報と、特定された牛の第２撮像画像に付随する補足情報とを、通信部１１０を介して端末装置１０に送信する。

特定部１３２は、照合部１３１から第２撮像画像と識別番号とが入力された場合には、当該第２撮像画像の牛を、第１撮像画像の牛と特定する。特定部１３２は、特定した牛の第２撮像画像に対応付けられた識別番号を含む特定情報を生成する。特定部１３２は、生成した特定情報と、特定された牛の第２撮像画像に付随する補足情報とを、通信部１１０を介して端末装置１０に送信する。

ここで、特定した牛の情報を表示する画面例について説明する。図９は、特定した牛の情報を表示する画面の一例を示す説明図である。図９に示すように、画面４１には、例えば、特定した牛の第１撮像画像を表示する画像表示エリア４２、ならびに、識別番号、名前および補足情報が表示される情報表示エリア４３を有する。画像表示エリア４２には、第１撮像画像３０が表示される。また、情報表示エリア４３には、識別番号と、名前と、補足情報４４とが表示される。ここで、名前は、酪農家が牛各々に付した名称を示し、補足情報４４は、例えば、乳牛の皮下脂肪量またはエネルギー蓄積の相対的な量を示すＢＣＳ、父母、母の父等の血統情報を示す。また、画面４１には、補足情報４４として、例えば、年齢や乳牛の泌乳ステージを表示するようにしてもよい。泌乳ステージは、例えば、分娩時、泌乳初期、泌乳中期、泌乳後期、乾乳期といったステージを表示できる。

また、端末装置１０の入力部１３で撮像または入力された撮像画像には、複数の牛が撮像されている場合がある。図１０は、複数の牛を特定する場合の牛の情報を表示する画面の一例を示す説明図である。図１０に示すように、画面４５には、牛４６と牛４８とが撮像された第１撮像画像３０ａが、画像表示エリア４２ａに表示される。画面４５では、牛４６の識別番号と名前とがタグ４７に表示される。タグ４７は、例えば、牛４６の上部に配置されて牛４６を特定できる。同様に、画面４５には、牛４８の識別番号と名前とがタグ４９に表示される。タグ４９は、タグ４７と同様に、例えば、牛４８の上部に配置されて牛４８を特定できる。

ここで、タグ４７、４９は、第１撮像画像３０ａに基づく、それぞれの牛の側面の斑紋、つまり所定領域をＡＲ（Augmented Reality）マーカーとして認識して表示したものである。画面４５の例では、ＡＲマーカーに応じたタグ４７、４９を、第１撮像画像３０ａに重畳表示させる。画面４５では、このように、拡張現実技術を適用することで、より牛の特定が行い易くなる。

図１の説明に戻って、判別部１３３は、通信部１１０から第１線画が入力されると、当該第１線画の形状を判別する。判別部１３３は、第１線画の形状を判別するために、第１線画の端点および頂点を抽出する。図１１は、第１線画の形状がＶの場合に第１線画の端点および頂点を抽出する一例を示す説明図である。図１１に示すように、判別部１３３は、第１線画６４ａ、６４ｂ・・・６４ｎから、第１線画の端点、すなわち、坐骨５１および腰角５３に対応する点を抽出する。次に、判別部１３３は、２つの端点を結ぶ線分からの距離ｄが最大になる第１線画上の点を頂点として抽出する。

図１２は、第１線画の形状がＵの場合に第１線画の端点および頂点を抽出する一例を示す説明図である。図１２に示すように、判別部１３３は、第１線画６５ａ、６５ｂ・・・６５ｎから、第１線画の端点、すなわち、坐骨５１および腰角５３に対応する点を抽出する。次に、判別部１３３は、２つの端点を結ぶ線分からの距離ｄが最大になる第１線画上の点を頂点として抽出する。なお、図１１および図１２では、説明上、第１線画の形状で分けて説明したが、判別部１３３は、第１線画の形状の判別前に上述の処理を行って端点および頂点を抽出する。

判別部１３３は、第１線画の端点および頂点を抽出すると、抽出した端点および頂点を結ぶ線分で構成される三角形の面積と、第１線画の端点を結ぶ直線および第１線画で囲まれた図形の面積とを比較する。図１３は、第１線画の形状がＶと判別する場合の一例を示す説明図である。図１３に示すように、判別部１３３は、当該三角形の面積Ｓと当該図形の面積ｓとが、Ｓ≒ｓとなり略同一である場合、すなわち双方の図形がほぼ重なる場合には、第１線画はＶ字形と判別する。図１４は、第１線画の形状がＵと判別する場合の一例を示す説明図である。図１４に示すように、判別部１３３は、当該三角形の面積Ｓと当該図形の面積ｓとが、ｓ＞Ｓとなる場合には、第１線画はＵ字形と判別する。判別部１３３は、第１線画の判別結果を算出部１３４、検索部１３５および決定部１３６に出力する。なお、判別部１３３は、第１線画の判別結果である線画の形状を、通信部１１０を介して端末装置１０に送信して表示させるようにしてもよい。

判別部１３３は、決定部１３６から第２線画の入力を受け付ける指示が入力されると、通信部１１０からの第２線画の入力を待機する。つまり、判別部１３３は受付部である。判別部１３３は、通信部１１０から第２線画が入力されると、第２線画の形状を所定基準に基づいて判別する。判別部１３３は、決定部１３６から入力された第２のスコアに基づく第１線画の形状がＵ字形である場合に、第３撮像画像上の牛の仙骨靭帯および尾骨靭帯のうち１つ以上の靭帯に係る靭帯情報を第２線画の情報として受け付ける。ここで、第２線画の情報は、線画だけでなく、端末装置１０の線画入力部１８でユーザに提示して選択された、例えば、「丸い」、「角張っている」、「明瞭に見える」、「ぼんやり見える」等の選択肢であってもよい。

また、判別部１３３は、第２のスコアに基づく第１線画の形状がＶ字形である場合に、第３撮像画像上の牛の腰角および坐骨のうち１つ以上の形状に係る形状情報を第２線画の情報として受け付ける。ここで、第２線画の情報は、Ｕ字形の場合と同様に、線画だけでなく、端末装置１０の線画入力部１８でユーザに提示して選択された選択肢であってもよい。

判別部１３３は、第１線画の形状がＵ字形である場合の第２線画の形状の所定基準として、例えば、仙骨靭帯および尾骨靭帯について、「明瞭に見える，明瞭に見える」等を判別する。また、判別部１３３は、第１線画の形状がＶ字形である場合の第２線画の形状の所定基準として、例えば、腰角および坐骨について、「丸い，丸い」等を判別する。判別部１３３は、第２線画の判別結果を算出部１３４および決定部１３６に出力する。

算出部１３４は、判別部１３３から第１線画の判別結果が入力されると、第１線画の形状の判別結果であるＶ字形またはＵ字形に基づいて、第１のスコアを算出する。算出部１３４は、第１線画の形状がＶ字形の場合には、第１のスコアとして、例えば、ＢＣＳ≦３．００と算出する。算出部１３４は、第１線画の形状がＵ字形の場合には、第１のスコアとして、例えば、ＢＣＳ≧３．２５と算出する。算出部１３４は、算出した第１のスコアを決定部１３６に出力する。なお、算出部１３４は、第１のスコアに第１線画の形状の判別結果を含めてもよい。

算出部１３４は、判別部１３３から第２線画の判別結果が入力されると、当該判別結果に基づいて、第３のスコアを算出する。算出部１３４は、第１線画の形状がＵ字形である場合には、例えば、第３のスコアとしてＢＣＳを求めるとすると、仙骨靭帯および尾骨靭帯について、「明瞭に見える，明瞭に見える」は３．２５、「見える，ぼんやり見える」は３．５とすることができる。また、判別部１３３は、第３のスコアとして、同様に、「ぼんやり見える，脂肪組織に埋まり見えない」は３．７５、「見えない，脂肪組織に埋まり見えない」は４．００以上とすることができる。

また、算出部１３４は、第１線画の形状がＶ字形である場合には、例えば、第３のスコアとしてＢＣＳを求めるとすると、腰角および坐骨について、「丸い，丸い」は３．００、「角張っている，角張っているが所定部分が不明瞭」は２．７５とすることができる。また、判別部１３３は、第３のスコアとして、同様に、「明確に角張っている，所定部分が見えるが脂肪が少しあり」は２．５、「明確に角張っている，所定部分が角張り骨と皮のみ」は２．２５以下とすることができる。算出部１３４は、算出した第３のスコアを検索部１３５および決定部１３６に出力する。

検索部１３５は、判別部１３３から第１線画の判別結果が入力されると、第１線画の形状の判別結果であるＶ字形またはＵ字形に基づいて、マスタ画像記憶部１２１に記憶された第２撮像画像を検索する。検索部１３５は、例えば、判別結果がＶ字形である場合は、第１特徴部位の線画の形状がＶ字形である第２撮像画像を検索結果として抽出する。ここで、抽出する第２撮像画像は、１枚であっても複数枚であってもよい。なお、検索部１３５は、判別結果の他に、牛の体重、ステージ、年齢等をキーとして検索してもよい。また、検索部１３５は、検索結果の第２撮像画像に対応する第２のスコアを併せて抽出する。検索部１３５は、検索結果の第２撮像画像および対応する第２のスコアを決定部１３６に出力する。

また、検索部１３５は、算出部１３４から第３のスコアが入力されると、第３のスコアに基づいて、マスタ画像記憶部１２１に記憶された第４撮像画像を検索する。つまり、検索部１３５は、第３のスコアと一致する第４のスコアに対応付けられた第４撮像画像を検索結果として抽出する。ここで、抽出する第４撮像画像は、１枚であっても複数枚であってもよい。なお、検索部１３５は、第３のスコアの他に、牛の体重、ステージ、年齢等をキーとして検索してもよい。また、検索部１３５は、検索結果の第４撮像画像に対応する第４のスコアを併せて抽出する。検索部１３５は、検索結果の第４撮像画像および対応する第４のスコアを決定部１３６に出力する。

決定部１３６には、算出部１３４から第１のスコアが入力され、検索部１３５から検索結果の第２撮像画像および対応する第２のスコアが入力される。決定部１３６は、第１のスコアと、検索結果の第２撮像画像および対応する第２のスコアとを通信部１１０を介して端末装置１０に送信する。

決定部１３６は、通信部１１０から第１撮像画像と、第１撮像画像に対応付けられた第２のスコアが入力されると、第２のスコアを第１撮像画像の牛のスコアと決定する。決定部１３６は、第２のスコアを第１撮像画像の牛のスコアと決定すると、判別部１３３に第２線画の入力を受け付ける指示を出力する。また、決定部１３６は、第２のスコアを判別部１３３に出力する。

決定部１３６には、算出部１３４から第３のスコアが入力され、検索部１３５から検索結果の第４撮像画像および対応する第４のスコアが入力される。決定部１３６は、第３のスコアと、検索結果の第４撮像画像および対応する第４のスコアとを通信部１１０を介して端末装置１０に送信する。

決定部１３６は、通信部１１０から第３撮像画像と、第３撮像画像に対応付けられた第４のスコアが入力されると、第４のスコアを第１および第３撮像画像の牛のスコアと決定する。また、決定部１３６には、判別部１３３から第１および第２線画の形状および判別結果が入力される。決定部１３６は、第４のスコアを第１および第３撮像画像の牛のスコアと決定すると、第１および第２線画の形状および判別結果と、第４のスコアと、第１および第３撮像画像とを対応付けて、マスタ画像記憶部１２１に記憶する。

テンプレート部１３７は、端末装置１０に表示された第１撮像画像上で、ユーザによる第１線画の入力を補助するためのテンプレートを生成する。テンプレートは、例えば、マスタ画像記憶部１２１に記憶され、特定部１３２から端末装置１０に送信される補足情報の一部として端末装置１０に送信される。端末装置１０では、例えば、ユーザが第１線画の入力を行う際に第１撮像画像上にテンプレートを重畳表示して、第１線画の入力を補助する。

次に、テンプレートの生成について説明する。テンプレート部１３７は、マスタ画像記憶部１２１に蓄積された第２撮像画像と、当該第２撮像画像に対応する線画の形状、スコア、体重、月齢およびステージとを読み出す。テンプレート部１３７は、例えば、スコア、体重、月齢およびステージが近い複数の牛の第２撮像画像について、線画の形状が類似する第２撮像画像を抽出する。テンプレート部１３７は、抽出した第２撮像画像に対応する線画の形状に基づいて、例えば、最頻値の形状をテンプレートとして生成する。テンプレート部１３７は、生成したテンプレートをマスタ画像記憶部１２１に記憶する。

図１５は、線画の形状の類似を比較する一例を示す説明図である。図１５は、線画の形状がＶ字形の場合において類似を比較する場合であり、線画６６を有する三角形６７と、線画６８を有する三角形６９とを比較する。テンプレート部１３７は、例えば、三角形６７と三角形６９との対応する各頂点の角度の大きさが±１０％の範囲で合致するものを類似と判定して、線画の形状を抽出する。図１５の例では、各頂点の大きさが、０．９Ａ≦ａ≦１．１Ａ、０．９Ｂ≦ｂ≦１．１Ｂ、および、０．９Ｃ≦ｃ≦１．１Ｃの範囲である線画の形状を抽出する。テンプレート部１３７は、例えば、上記範囲内の線画の形状のうち、ａ、ｂおよびｃが最頻値である線画の形状をテンプレートとして生成する。

図１６は、線画の形状の類似を比較する他の一例を示す説明図である。図１６は、線画の形状がＵ字形の場合において類似を比較する場合であり、線画７０を有する図形７１と、線画７３を有する図形７４、および、線画７５を有する図形７６とを比較する。テンプレート部１３７は、図形７１からマスク７２を生成する。テンプレート部１３７は、生成したマスク７２を図形７４および図形７６に重ね合わせ、つまりマッチングする。テンプレート部１３７は、マッチングの結果、マスク７２と図形７４および図形７６との差分を抽出する。図１６の例では、図形７４は、マスク７２とほぼ重なるので、差分の面積はゼロに近い。また、図形７６は、マスク７２と、線画７５の端点間の距離が異なるので、マスク７２の基となる線画７０の端点間の距離に正規化してマッチングする。正規化した図形７６は、マスク７２との差分の面積が図形７４と比べると大きくなる。テンプレート部１３７は、図形ごとに抽出した差分について、例えば、最頻値である線画の形状をテンプレートとして生成する。

次に、実施例の管理システム１の動作について説明する。なお、以下の説明では、第１のデータとして、牛の側面の所定領域をマトリックス状に複数の分割領域に分割し、分割領域の輝度情報に基づいた第１の二値判定結果を用いるとする。

図１７は、実施例の管理システムの動作の一例を示すシーケンス図である。端末装置１０の入力部１３は、ユーザの操作により、牛の画像を撮像し、撮像画像を制御部１５に出力する（ステップＳ１）。また、制御部１５は、第２特徴部位を含む撮像画像を記憶部１２のバッファに記憶する。制御部１５の抽出部１６は、入力部１３から入力された撮像画像を第１撮像画像３０として取得する。また、線画入力部１８は、入力部１３が制御部１５を介して記憶部１２のバッファに記憶した第２特徴部位を含む撮像画像を、当該記憶部１２のバッファから第３撮像画像として取得する（ステップＳ２）。

次に、管理システム１は、個体特定処理を実行する（ステップＳ３）。図１８は、個体特定処理の一例を示すシーケンス図である。抽出部１６は、第１撮像画像３０の牛の側面について、所定領域を規定するための基準点３１を設定する（ステップＳ３０１）。抽出部１６は、第１撮像画像３０を二値化する（ステップＳ３０２）。抽出部１６は、二値化した第１撮像画像３２から基準点３１に基づいて所定領域３３を切り出してサイズを正規化する（ステップＳ３０３）。抽出部１６は、正規化した所定領域３３を所定数の分割領域に分割する（ステップＳ３０４）。抽出部１６は、各分割領域３４をコード化して、所定領域３３の第１の二値判定結果３５を抽出する（ステップＳ３０５）。抽出部１６は、抽出した第１の二値判定結果３５を第１のデータとして、通信部１１およびネットワークＮを介してサーバ装置１００に送信する（ステップＳ３０６）。また、抽出部１６は、第１撮像画像を選択部１７に出力する。

サーバ装置１００の通信部１１０は、端末装置１０から第１撮像画像に基づく第１のデータとして、第１の二値判定結果を受信する（ステップＳ３０７）。通信部１１０は、第１の二値判定結果を制御部１３０に出力する。制御部１３０の照合部１３１は、第１の二値判定結果が入力されると、第１の二値判定結果とマスタ画像記憶部１２１に記憶された第２のデータである第２の二値判定結果とを照合する（ステップＳ３０８）。照合部１３１は、第１の二値判定結果と同一または類似する第２の二値判定結果に対応する第２撮像画像を候補画像として、通信部１１０を介して端末装置１０に送信する（ステップＳ３０９）。また、照合部１３１は、第２撮像画像に対応付けられた識別番号も併せて通信部１１０を介して端末装置１０に送信する。

端末装置１０の通信部１１は、サーバ装置１００から第２のデータに対応する第２撮像画像と、該第２撮像画像に対応する識別番号とを受信する（ステップＳ３１０）。通信部１１は、受信した第２撮像画像と、識別番号とを制御部１５に出力する。制御部１５の選択部１７は、通信部１１から第２撮像画像と識別番号とが入力される。選択部１７は、入力された第２撮像画像を候補画像として、識別番号とともに表示操作部１４に表示させる（ステップＳ３１１）。選択部１７は、表示操作部１４からユーザが第２撮像画像を選択する操作に対応する操作情報が入力されると（ステップＳ３１２）、選択情報を通信部１１を介してサーバ装置１００に送信する（ステップＳ３１３）。

サーバ装置１００の通信部１１０は、端末装置１０から選択情報を受信する（ステップＳ３１４）。通信部１１０は、受信した選択情報を制御部１３０に出力する。特定部１３２は、通信部１１０から選択情報が入力されると、選択情報に基づき牛を特定する。特定部１３２は、特定した牛の第２撮像画像に対応付けられた識別番号を含む特定情報を生成する（ステップＳ３１５）。特定部１３２は、生成した特定情報と、特定された牛の第２撮像画像に付随する補足情報とを、通信部１１０を介して端末装置１０に送信する（ステップＳ３１６）。

端末装置１０の通信部１１は、サーバ装置１００から特定情報と補足情報とを受信する（ステップＳ３１７）。通信部１１は、受信した特定情報と補足情報とを制御部１５に出力する。制御部１５の選択部１７は、通信部１１から特定情報と補足情報とが入力され、抽出部１６から第１撮像画像が入力される。選択部１７は、通信部１１から特定情報と補足情報とが入力されると、表示操作部１４に第１撮像画像と特定情報と補足情報とを表示させる（ステップＳ３１８）。また、選択部１７は、第１撮像画像を表示操作部１４に表示させた表示済情報を線画入力部１８に出力する。これにより、管理システム１は、牛の側面の画像に基づいて、牛を特定することができる。

図１７に戻って、管理システム１は、個体特定処理が終了すると、第１判定処理を実行する（ステップＳ４）。図１９は、第１判定処理の一例を示すシーケンス図である。端末装置１０の線画入力部１８は、選択部１７から表示済情報が入力されると、表示操作部１４に第１特徴部位を含む第１撮像画像を表示させ、ユーザの操作により第１線画が入力されると（ステップＳ４０１）、当該第１線画の入力を受け付ける（ステップＳ４０２）。線画入力部１８は、入力された第１線画を通信部１１を介してサーバ装置１００に送信する（ステップＳ４０３）。また、線画入力部１８は、第１線画の入力時に表示させた第１撮像画像をスコア選択部１９に出力する。

サーバ装置１００の通信部１１０は、端末装置１０から第１線画を受信して、判別部１３３に出力する（ステップＳ４０４）。判別部１３３は、通信部１１０から第１線画が入力されると、当該第１線画の形状を判別する（ステップＳ４０５）。判別部１３３は、第１線画の形状を判別するために、第１線画の端点および頂点を抽出する。判別部１３３は、第１線画の端点および頂点を抽出すると、抽出した端点および頂点を結ぶ線分で構成される三角形の面積と、第１線画の端点を結ぶ直線および第１線画で囲まれた図形の面積とを比較して、Ｖ字形かＵ字形かを判別する。判別部１３３は、第１線画の判別結果を算出部１３４、検索部１３５および決定部１３６に出力する。

算出部１３４は、判別部１３３から第１線画の判別結果が入力されると、第１線画の形状の判別結果であるＶ字形またはＵ字形に基づいて、第１のスコアを算出する（ステップＳ４０６）。算出部１３４は、算出した第１のスコアを決定部１３６に出力する。

検索部１３５は、判別部１３３から第１線画の判別結果が入力されると、第１線画の形状の判別結果であるＶ字形またはＵ字形に基づいて、マスタ画像記憶部１２１に記憶された第２撮像画像を検索して抽出する（ステップＳ４０７）。また、検索部１３５は、検索結果の第２撮像画像に対応する第２のスコアを併せて抽出する。検索部１３５は、検索結果の第２撮像画像および対応する第２のスコアを決定部１３６に出力する。

決定部１３６には、算出部１３４から第１のスコアが入力され、検索部１３５から検索結果の第２撮像画像および対応する第２のスコアが入力される。決定部１３６は、第１のスコアと、検索結果の第２撮像画像および対応する第２のスコアとを通信部１１０を介して端末装置１０に送信する（ステップＳ４０８）。

端末装置１０の通信部１１は、サーバ装置１００から第１および第２のスコアと、第２撮像画像とを受信する（ステップＳ４０９）。通信部１１は、受信した第１および第２のスコアと、第２撮像画像とを制御部１５に出力する。

スコア選択部１９は、通信部１１から第１および第２のスコアと、検索結果の第２撮像画像とが入力されると、第１および第２のスコアと、第２撮像画像とを表示操作部１４に表示させる（ステップＳ４１０）。スコア選択部１９は、ユーザに第１撮像画像に対応する第２のスコアを選択させる（ステップＳ４１１）。また、スコア選択部１９には、線画入力部１８から第１撮像画像が入力され、表示操作部１４に第２撮像画像とともに表示される。スコア選択部１９は、選択された第２のスコアを第１撮像画像に対応づけて、通信部１１を介してサーバ装置１００に送信する（ステップＳ４１２）。

サーバ装置１００の通信部１１０は、端末装置１０から選択された第２のスコアと、第１撮像画像とを受信する（ステップＳ４１３）。決定部１３６は、通信部１１０から第２のスコアと第１撮像画像とが入力されると、第２のスコアを第１撮像画像の牛のスコアと決定する（ステップＳ４１４）。決定部１３６は、第２のスコアを第１撮像画像の牛のスコアと決定すると、判別部１３３に第２線画の入力を受け付ける指示を出力する。判別部１３３は、通信部１１０からの第２線画の入力を待機する。これにより、管理システム１は、坐骨、寛骨および腰角を結ぶ線がＵ字形であるかＶ字形であるかを判別できる。また、管理システム１は、Ｕ字形またはＶ字形であるかの大まかな区別が可能な第２のスコアと、第１撮像画像とを対応付けることができる。

図１７に戻って、管理システム１は、第１判定処理が終了すると、第２判定処理を実行する（ステップＳ５）。図２０は、第２判定処理の一例を示すシーケンス図である。端末装置１０の線画入力部１８は、スコア選択部１９が第２のスコアと第１撮像画像とをサーバ装置１００に送信した後に、第３撮像画像を表示操作部１４に表示させる。線画入力部１８は、ユーザの操作により第２線画が入力されると（ステップＳ５０１）、当該第２線画の入力を受け付ける（ステップＳ５０２）。線画入力部１８は、入力された第２線画を通信部１１を介してサーバ装置１００に送信する（ステップＳ５０３）。また、線画入力部１８は、第２線画の入力時に表示させた第３撮像画像をスコア選択部１９に出力する。

サーバ装置１００の通信部１１０は、端末装置１０から第２線画を受信して、判別部１３３に出力する（ステップＳ５０４）。判別部１３３は、通信部１１０から第２線画が入力され、決定部１３６から第２のスコアが入力されると、第２線画の形状を所定基準に基づいて判別する（ステップＳ５０５）。判別部１３３は、第２線画の判別結果を算出部１３４および決定部１３６に出力する。

算出部１３４は、判別部１３３から第２線画の判別結果が入力されると、当該判別結果に基づいて、第３のスコアを算出する（ステップＳ５０６）。算出部１３４は、算出した第３のスコアを検索部１３５および決定部１３６に出力する。

検索部１３５は、算出部１３４から第３のスコアが入力されると、第３のスコアに基づいて、マスタ画像記憶部１２１に記憶された第４撮像画像を検索する（ステップＳ５０７）。つまり、検索部１３５は、第３のスコアと一致する第４のスコアに対応付けられた第４撮像画像を検索結果として抽出する。また、検索部１３５は、検索結果の第４撮像画像に対応する第４のスコアを併せて抽出する。検索部１３５は、検索結果の第４撮像画像および対応する第４のスコアを決定部１３６に出力する。

決定部１３６には、算出部１３４から第３のスコアが入力され、検索部１３５から検索結果の第４撮像画像および対応する第４のスコアが入力される。決定部１３６は、第３のスコアと、検索結果の第４撮像画像および対応する第４のスコアとを通信部１１０を介して端末装置１０に送信する（ステップＳ５０８）。

端末装置１０の通信部１１は、サーバ装置１００から第３および第４のスコアと、第４撮像画像とを受信する（ステップＳ５０９）。通信部１１は、受信した第３および第４のスコアと、第４撮像画像とを制御部１５に出力する。

スコア選択部１９は、通信部１１から第３および第４のスコアと、第４撮像画像とが入力されると、第３および第４のスコアと、第４撮像画像とを表示操作部１４に表示させる（ステップＳ５１０）。また、スコア選択部１９には、線画入力部１８から第３撮像画像が入力され、表示操作部１４に第４撮像画像とともに表示される。スコア選択部１９は、ユーザに第３撮像画像に対応する第４のスコアを選択させる（ステップＳ５１１）。スコア選択部１９は、選択された第４のスコアを第３撮像画像に対応づけて、通信部１１を介してサーバ装置１００に送信する（ステップＳ５１２）。

サーバ装置１００の通信部１１０は、端末装置１０から選択された第４のスコアと第３撮像画像とを受信する（ステップＳ５１３）。決定部１３６は、通信部１１０から第４のスコアと第３撮像画像とが入力されると、第４のスコアを第３撮像画像の牛のスコアと決定する（ステップＳ５１４）。これにより、管理システム１は、牛の肥痩状態を評価するためのスコアを決定することができる。また、管理システム１は、牛の肥痩状態を評価するためのスコアである第４のスコアと第３撮像画像とを対応付けることができる。

図１７に戻って、管理システム１は、第２判定処理が終了すると、第１および第２線画の形状および判別結果と、第４のスコアと、第１および第３撮像画像とを対応付けて、マスタ画像記憶部１２１に記憶する（ステップＳ６）。これにより、牛の肥痩状態の評価をデータベースとして管理することができる。

次に、実施例の管理システム１がテンプレートを生成する場合の動作について説明する。図２１は、テンプレート生成処理の一例を示すフローチャートである。サーバ装置１００のテンプレート部１３７は、マスタ画像記憶部１２１を参照して、蓄積された第２撮像画像と、当該第２撮像画像に対応する線画の形状、スコア、体重、月齢およびステージとを読み出す（ステップＳ７０１）。

テンプレート部１３７は、例えば、スコア、体重、月齢およびステージが近い複数の牛の第２撮像画像について、線画の形状が類似する第２撮像画像を抽出する。テンプレート部１３７は、抽出した第２撮像画像に対応する線画の形状に基づいて、例えば、最頻値の形状をテンプレートとして生成する（ステップＳ７０２）。テンプレート部１３７は、生成したテンプレートをマスタ画像記憶部１２１に記憶する。これにより、管理システム１は、テンプレートを用いることで、ユーザである酪農家の手書きによる線画の入力を補助することができる。また、管理システム１は、複数のテンプレートをユーザに選択させることで、ユーザの手書きによる入力を省略することができる。

なお、上記の実施例では、端末装置１０で取得した牛の側面の撮像画像を第１撮像画像とし、牛の後部からの撮像画像を第３撮像画像としたが、これら端末装置１０で取得した撮像画像を合わせて第１撮像画像としてもよい。また、上記の実施例では、マスタ画像記憶部１２１に記憶されている牛の側面の撮像画像を第２撮像画像とし、牛の後部からの撮像画像を第４撮像画像としたが、これらマスタ画像記憶部１２１に記憶されている撮像画像を合わせて第２撮像画像としてもよい。また、マスタ画像記憶部１２１に予め記憶されている第２撮像画像は、牛の第１特徴部位を含んだ撮像画像である第１参照画像である。また、マスタ画像記憶部１２１に予め記憶されている第４撮像画像は、牛の第２特徴部位を含んだ撮像画像である第２参照画像である。

このように、管理システム１は、牛の撮像画像上に入力された線画の形状を判別し、判別された線画の形状に基づいて、撮像画像の牛のスコアを決定する。その結果、牛の肥痩状態評価のバラツキを抑制することができる。

また、管理システム１は、撮像画像上の牛の坐骨、寛骨および腰角を結ぶ線を線画とし、線画の形状が、Ｕ字形であるかＶ字形であるかを判別する。その結果、牛の肥痩状態の評価を大きく２つに判別することができる。

また、管理システム１は、撮像画像上の牛の仙骨靭帯および尾骨靭帯、または、腰角および坐骨の形状に沿う線を線画とし、線画の形状を所定基準に基づいて判別する。その結果、より細かく牛の肥痩状態の評価を判別することができる。

また、管理システム１は、坐骨、寛骨および腰角を頂点とした三角形と、線画の端点を結ぶ直線および線画で囲まれた図形との面積を比較して、Ｕ字形であるかＶ字形であるかを判別する。その結果、簡易な構成で牛の肥痩状態の評価を大きく２つに判別することができる。

また、管理システム１は、判別した線画の形状を表示させる。その結果、ユーザである酪農家に、自らが入力した線画が適切であるか否かを容易に知らせることができる。

また、管理システム１は、記憶部に記憶された坐骨、寛骨および腰角を頂点としたテンプレート図形を表示させ、線画を入力させて、線画の形状を判別する。その結果、ユーザである酪農家の手書きによる線画の入力を補助することができる。

また、管理システム１は、牛の第１特徴部位を含んだ撮像画像上に入力された線画の形状を判別し、判別された線画の形状に基づいて、牛の第２特徴部位を含んだ撮像画像上で情報の入力を受け付け、入力された情報に応じて牛のスコアを決定する。その結果、２段階で線画または情報を受け付けるので、牛の肥痩状態評価のバラツキを抑制することができる。

また、管理システム１は、第１特徴部位を含んだ撮像画像上の牛の坐骨、寛骨および腰角を結ぶ線を線画として線画の形状を判別し、形状がＵ字形である場合に、第２特徴部位を含んだ撮像画像上の牛の仙骨靭帯および尾骨靭帯のうち１つ以上の靭帯に係る靭帯情報を情報として受け付ける。その結果、牛の皮下脂肪量が多い場合の牛の肥痩状態評価のバラツキを抑制することができる。

また、管理システム１は、第１特徴部位を含んだ撮像画像上の牛の坐骨、寛骨および腰角を結ぶ線を線画として線画の形状を判別し、形状がＶ字形である場合に、第２特徴部位を含んだ撮像画像上の牛の腰角および坐骨のうち１つ以上の形状に係る形状情報を情報として受け付ける。その結果、牛の皮下脂肪量が少ない場合の牛の肥痩状態評価のバラツキを抑制することができる。

なお、上記実施例では、ユーザが撮像する撮像画像として静止画像を例として説明したが、これに限定されない。例えば、撮像画像は、動画像としてもよく、動画像から斑紋がある所定領域をパターン化して認識し、所定領域を切り出して第１撮像画像とすることができる。また、端末装置１０は、動画像である撮像画像に基づいて、例えば、牛の移動方向や、頭を画像認識等によって判別して、牛の右側面または左側面を判別するようにしてもよい。これにより、データベースに記憶されている第２撮像画像と異なる側面をユーザが撮像しようとしている場合に、注意を促すことができる。また、動画像の中から適した画像を撮像画像とできるため、撮像画像の撮影時のユーザの負担を軽減することができる。

また、上記実施例では、管理システム１が管理する範囲の例として１軒の酪農家を挙げたが、これに限定されない。例えば、国等の牛の検定作業を行うシステムと連接して、撮像画像について検定員から助言を受けたり、他の酪農家の牛のデータを参照できるようにしてもよい。これにより、牛のデータベースの母集団が大きくなるので、より牛の肥痩状態評価のバラツキを抑制することができる。

また、上記実施例では、牛の胴体後部の側面および臀部の撮像画像を用いて、牛の肥痩状態を評価したが、これに限定されない。例えば、牛の乳房の輪郭や色をユーザにより入力させて、当該輪郭や色に基づいて、飼料の量や配合等を変えるための評価に用いてもよい。すなわち、管理システム１は、手書き入力された情報または選択された情報を所定のルールに基づいて数値化することができる。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記の実施例では、端末装置１０とサーバ装置１００とをネットワークＮで接続した管理システム１としたが、例えば、サーバ装置１００の照合部１３１、特定部１３２、判別部１３３、算出部１３４、検索部１３５、決定部１３６、テンプレート部１３７およびマスタ画像記憶部１２１を端末装置１０に設けてもよい。この場合には、端末装置１０がネットワークＮと接続できない状態であっても、端末装置１０で牛の肥痩状態の評価ができる。この場合、さらにサーバ装置１００にもマスタ画像記憶部１２１を設けて、端末装置１０がネットワークＮに接続可能になった時点で、端末装置１０およびサーバ装置１００のマスタ画像記憶部１２１を同期するようにしてもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２２は、管理プログラムを実行するコンピュータの一例を示す説明図である。

図２２が示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。

ハードディスク装置２０８には、図１に示した抽出部１６、選択部１７、線画入力部１８、スコア選択部１９、照合部１３１、特定部１３２、判別部１３３、算出部１３４、検索部１３５、決定部１３６およびテンプレート部１３７の各処理部と同様の機能を有する管理プログラムが記憶される。また、ハードディスク装置２０８には、マスタ画像記憶部１２１、および、管理プログラムを実現するための各種データが記憶される。入力装置２０２は、図１に示した入力部１３および表示操作部１４の入力デバイスと同様の機能を有し、撮像画像および操作情報の入力を受け付ける。モニタ２０３は、図１に示した表示操作部１４の表示デバイスと同様の機能を有し、例えば候補の牛の情報や特定した牛の情報、さらには肥痩状態の評価結果を表示する画面等の各種画面を表示する。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、例えば、他の情報処理装置と接続され、国や業界団体の牛のデータベースの情報等の各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した抽出部１６、選択部１７、線画入力部１８、スコア選択部１９、照合部１３１、特定部１３２、判別部１３３、算出部１３４、検索部１３５、決定部１３６およびテンプレート部１３７として機能させることができる。

なお、上記の管理プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの管理プログラムを記憶させておき、コンピュータ２００がこれらから管理プログラムを読み出して実行するようにしてもよい。

１ 管理システム
１０ 端末装置
１１ 通信部
１２ 記憶部
１３ 入力部
１４ 表示操作部
１５ 制御部
１６ 抽出部
１７ 選択部
１８ 線画入力部
１９ スコア選択部
１００ サーバ装置
１１０ 通信部
１２０ 記憶部
１２１ マスタ画像記憶部
１３０ 制御部
１３１ 照合部
１３２ 特定部
１３３ 判別部
１３４ 算出部
１３５ 検索部
１３６ 決定部
１３７ テンプレート部
Ｎ ネットワーク

Claims (9)

1. 牛の第１特徴部位を含んだ撮像画像上に入力された前記牛の坐骨、寛骨および腰角を結ぶ線画の形状が、Ｕ字形であるかＶ字形であるかを判別し、
   判別された前記線画の形状に基づいて、前記牛の第２特徴部位を含んだ撮像画像上の牛の仙骨靭帯および尾骨靭帯、または、腰角および坐骨の形状に沿う線と、該線をなぞった回数とを含む情報の入力を受け付け、
   前記入力された情報の前記線および前記回数に応じて前記牛のスコアを決定する
   処理をコンピュータが実行することを特徴とする管理方法。
2. 前記判別する処理は、前記坐骨、前記寛骨および前記腰角を頂点とした三角形と、前記線画の端点を結ぶ直線および前記線画で囲まれた図形との面積を比較して、前記Ｕ字形であるか前記Ｖ字形であるかを判別することを特徴とする請求項１に記載の管理方法。
3. 前記判別する処理は、判別した前記線画の形状を表示させることを特徴とする請求項１または２に記載の管理方法。
4. 前記判別する処理は、記憶部に記憶された坐骨、寛骨および腰角を頂点としたテンプレート図形を表示させ、前記線画を入力させて、前記線画の形状を判別することを特徴とする請求項１に記載の管理方法。
5. 前記受け付ける処理は、前記形状がＵ字形である場合に、前記第２特徴部位を含んだ撮像画像上の牛の仙骨靭帯および尾骨靭帯のうち１つ以上の靭帯に係る靭帯情報を前記情報として受け付けることを特徴とする請求項１に記載の管理方法。
6. 前記受け付ける処理は、前記形状がＶ字形である場合に、前記第２特徴部位を含んだ撮像画像上の牛の腰角および坐骨のうち１つ以上の形状に係る形状情報を前記情報として受け付けることを特徴とする請求項１に記載の管理方法。
7. 牛の第１特徴部位を含んだ撮像画像上に入力された前記牛の坐骨、寛骨および腰角を結ぶ線画の形状が、Ｕ字形であるかＶ字形であるかを判別し、
   判別された前記線画の形状に基づいて、前記牛の第２特徴部位を含んだ撮像画像上の牛の仙骨靭帯および尾骨靭帯、または、腰角および坐骨の形状に沿う線と、該線をなぞった回数とを含む情報の入力を受け付け、
   前記入力された情報の前記線および前記回数に応じて前記牛のスコアを決定する
   処理をコンピュータに実行させることを特徴とする管理プログラム。
8. 牛の第１特徴部位を含んだ撮像画像上に入力された前記牛の坐骨、寛骨および腰角を結ぶ線画の形状が、Ｕ字形であるかＶ字形であるかを判別する判別部と、
   判別された前記線画の形状に基づいて、前記牛の第２特徴部位を含んだ撮像画像上の牛の仙骨靭帯および尾骨靭帯、または、腰角および坐骨の形状に沿う線と、該線をなぞった回数とを含む情報の入力を受け付ける受付部と、
   前記入力された情報の前記線および前記回数に応じて前記牛のスコアを決定する決定部と
   を有することを特徴とする管理装置。
9. サーバ装置と、端末装置とを有する管理システムであって、
   前記サーバ装置は、
   牛の第１特徴部位を含んだ撮像画像上に入力された前記牛の坐骨、寛骨および腰角を結ぶ線画の形状が、Ｕ字形であるかＶ字形であるかを判別する判別部と、
   判別された前記線画の形状に基づいて、前記牛の第２特徴部位を含んだ撮像画像上の牛の仙骨靭帯および尾骨靭帯、または、腰角および坐骨の形状に沿う線と、該線をなぞった回数とを含む情報の入力を受け付ける受付部と、
   前記入力された情報の前記線および前記回数に応じて前記牛のスコアを決定する決定部と、
   前記端末装置から前記線画を受信し、決定した前記スコアを前記端末装置に送信する通信部と
   を有し、
   前記端末装置は、
   前記スコアと前記撮像画像とを表示する表示部と、
   前記表示部に表示させた前記撮像画像上で前記線画を入力させる入力部と、
   前記サーバ装置から前記スコアを受信し、前記線画を前記サーバ装置に送信する通信部と
   を有することを特徴とする管理システム。