JP7211601B2 - 行動軌跡推定装置、行動軌跡推定プログラムおよび行動軌跡推定方法 - Google Patents

Description

本発明は、動物や人間等の移動体を複数の監視カメラで広域監視するのに好適な行動軌跡推定装置、行動軌跡推定プログラムおよび行動軌跡推定方法に関するものである。

従来、乳牛等の動物を監視する方法としては、人が直接監視する方法、家畜にセンサを取り付けて監視する方法、および監視カメラによって監視する方法等が知られている。例えば、特開２０１９－２４４８２号公報には、空間情報（赤外画像等）から検出した物体情報（牛の輪郭情報等）と、互いに接触している牛の配置情報（個体識別情報等）とから生成した牛の行動情報（歩行距離、立位・座位・横臥時間、接触回数等）に基づいて、牛の異常行動を判定する技術が提案されている（特許文献１）。

特開２０１９－２４４８２号公報

しかしながら、近年は酪農の大規模化が進んでおり、フリーストール牛舎やフリーバーン牛舎のように、広い牛舎内で数百頭以上の牛を自由に行動させながら飼育する方法が主流となってきている。このため、人が直接監視する方法では、全ての牛を個体ごとに混同することなく十分に監視し、体調等を管理することは困難である。

また、家畜にセンサを取り付けて監視する方法では、全頭分のセンサを用意する必要があるため、大規模な牛舎になるほどコストがかさむ。また、センサが脱落、破損、電池切れ等するたびに、その牛を探し出して交換等する必要があり、メンテナンスにも手間と費用が掛かる。さらに、牛は何でも飲み込んでしまう習性があるため、脱落したセンサや電池を餌と一緒に飲み込んでしまう危険性もある。

さらに、監視カメラによって監視する方法については、特許文献１のように、狭い牛房内で少数頭の牛を監視するシステムでは、多数頭の広域監視に対応できないという問題がある。また、広域監視を実現するために、広角レンズを備えた監視カメラを使用すると、画像中の牛の位置や牛の姿勢によって見え方が大きく変化してしまう。このため、広角画像から牛を個体ごとに識別することが困難となり、個体ごとの行動軌跡を正しく推定することができないという問題がある。

本発明は、このような問題点を解決するためになされたものであって、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定することができる行動軌跡推定装置、行動軌跡推定プログラムおよび行動軌跡推定方法を提供することを目的としている。

本発明に係る行動軌跡推定装置は、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定するという課題を解決するために、移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定装置であって、複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、時系列において隣接する監視画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、前記軌跡断片間の連続性が最も高い軌跡断片同士を統合し、前記個体ＩＤごとの行動軌跡として出力する軌跡断片統合部と、を有する。

また、本発明の一態様として、個体ごとの識別精度が低下するのを抑制するという課題を解決するために、前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定部を有しており、前記個体特徴抽出部は、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出してもよい。

さらに、本発明の一態様として、簡易的に移動体の姿勢を高精度に推定するという課題を解決するために、前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、前記移動体姿勢推定部は、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定してもよい。

また、本発明の一態様として、個体の識別精度を向上するという課題を解決するために、前記行動軌跡に基づいて、前記個体ＩＤごとに、前記監視画像から前記個体領域を切り出して移動体画像列を取得し、各移動体画像の個体特徴を抽出して前記個体特徴データベースに追加する個体特徴追加部を有していてもよい。

さらに、本発明の一態様として、個体ごとの行動軌跡を高精度に推定するという課題を解決するために、前記軌跡断片統合部は、前記軌跡断片間における時間的な連続性、空間的な連続性および個体特徴間の類似性に基づいて、前記軌跡断片間の連続性が最も高い軌跡断片を特定してもよい。

また、本発明の一態様として、外見が似ている個体同士であっても、異なる個体の軌跡断片同士を誤って統合するのを防止するという課題を解決するために、前記軌跡断片統合部は、前記軌跡断片間の連続性が最も高い軌跡断片同士のそれぞれに対応付けられた個体ＩＤが異なる場合、当該軌跡断片同士を統合しないようにしてもよい。

本発明に係る行動軌跡推定プログラムは、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定するという課題を解決するために、移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定プログラムであって、複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、時系列において隣接する監視画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、前記軌跡断片間の連続性が最も高い軌跡断片同士を統合し、前記個体ＩＤごとの行動軌跡として出力する軌跡断片統合部と、してコンピュータを機能させる。

本発明に係る行動軌跡推定方法は、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定するという課題を解決するために、移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定方法であって、複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出ステップと、時系列において隣接する監視画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行ステップと、前記追跡処理実行ステップで対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出ステップと、前記個体特徴抽出ステップで抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合ステップと、前記軌跡断片間の連続性が最も高い軌跡断片同士を統合し、前記個体ＩＤごとの行動軌跡として出力する軌跡断片統合ステップと、を有する。

本発明に係る行動軌跡推定装置は、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定するとともに、当該推定演算に係る処理効率を向上するという課題を解決するために、移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定装置であって、複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、前記軌跡断片を前記個体ＩＤごとの行動軌跡として出力する行動軌跡出力部と、を有する。

本発明に係る行動軌跡推定プログラムは、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定するとともに、当該推定演算に係る処理効率を向上するという課題を解決するために、移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定プログラムであって、複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、前記軌跡断片を前記個体ＩＤごとの行動軌跡として出力する行動軌跡出力部と、してコンピュータを機能させる。

本発明に係る行動軌跡推定方法は、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定するとともに、当該推定演算に係る処理効率を向上するという課題を解決するために、移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定方法であって、複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出ステップと、同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行ステップと、前記追跡処理実行ステップで対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出ステップと、前記個体特徴抽出ステップで抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合ステップと、前記軌跡断片を前記個体ＩＤごとの行動軌跡として出力する行動軌跡出力ステップと、を有する。

本発明によれば、多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定することができる。

本発明に係る行動軌跡推定装置、行動軌跡推定プログラムおよび行動軌跡推定方法を用いて監視する乳牛（移動体）と、その牛舎の一例を示す図である。 本発明に係る行動軌跡推定装置の第１実施形態を示すブロック図である。 本第１実施形態の個体特徴データベースに保存されるデータの一例を示す図である。 本第１実施形態の軌跡断片バッファに保存されるデータの一例を示す図である。 本第１実施形態の個体領域を示す監視画像の一例である。 本第１実施形態の姿勢推定データベースに保存されるデータの一例を示す図である。 本第１実施形態の行動軌跡データベースに保存されるデータの一例を示す図である。 本第１実施形態の個体特徴を登録する際に必要となる画像群を撮影するための装置の一例である。 乳牛を異なる方向から撮影した画像の模式図である。 本第１実施形態における、（ａ）追跡処理実行部による追跡処理と、（ｂ）個体ごとの軌跡断片を示す図である。 画像座標系（二次元空間）の模式図である。 牛舎座標系（三次元空間）の模式図である。 本第１実施形態の軌跡断片統合部によって統合された軌跡断片の一例を示す図である。 本第１実施形態の行動軌跡推定装置によって推定された行動軌跡の一例を示す図である。 本第１実施形態の個体特徴登録処理を示すフローチャートである。 本第１実施形態の行動軌跡推定処理を示すフローチャートである。 本第１実施形態の姿勢推定処理を示すフローチャートである。 本第１実施形態の個体特徴追加処理を示すフローチャートである。 本発明に係る行動軌跡推定装置の第２実施形態を示すブロック図である。 本第２実施形態の軌跡断片バッファに保存されるデータの一例を示す図である。 本第２実施形態の行動軌跡データベースに保存されるデータの一例を示す図である。 本第２実施形態において、画像座標系における個体領域を牛舎座標系における個体領域に変換する様子を示す図である。 本第２実施形態における、（ａ）各監視画像内で検出された個体領域、（ｂ）全体画像内で検出された個体領域、および（ｃ）個体ごとの軌跡断片を示す図である。 本第２実施形態の行動軌跡推定処理を示すフローチャートである。

以下、本発明に係る行動軌跡推定装置、行動軌跡推定プログラムおよび行動軌跡推定方法の実施形態について図面を用いて説明する。

本第１実施形態では、図１に示すように、フリーストール牛舎やフリーバーン牛舎のように、広い牛舎内で飼育される多数頭の乳牛を複数の監視カメラ１１で監視し、各監視カメラ１１の映像から本第１実施形態の行動軌跡推定装置１、行動軌跡推定プログラム１ｂおよび行動軌跡推定方法を用いて個体ごとの行動軌跡を推定する場合を例として説明する。なお、本第１実施形態では、監視対象の移動体として乳牛を想定しているが、これに限定されるものではなく、他の動物や人間の他、車等のように動くもの全てが本発明に係る移動体に含まれる。

本第１実施形態において、行動軌跡推定装置１は、パーソナルコンピュータ、スマートフォンまたはタブレット等のコンピュータによって構成されており、図２に示すように、主として、表示手段２と、入力手段３と、記憶手段４と、演算処理手段５とを有している。また、行動軌跡推定装置１には、上述した複数の監視カメラ１１が接続されている。以下、各構成手段について詳細に説明する。

監視カメラ１１は、監視しようとする移動体を撮影するものである。本第１実施形態において、監視カメラ１１は、図１に示すように、牛舎の天井に複数台固定されており、数秒に一枚程度の間隔で時系列の監視画像を撮影するようになっている。また、本第１実施形態において、監視カメラ１１は、動画の１フレームを監視画像として出力する動画カメラによって構成されているが、間欠的に監視画像を撮影する静止画カメラであってもよい。

なお、監視カメラ１１の台数は、監視対象となる牛舎の広さや天井の高さによって調整する必要がある。また、監視カメラ１１は夜間撮影時の感度を高めるために近赤外カメラとしてもよい。さらに、行動軌跡推定装置１と監視カメラ１１との接続はバス接続に限定されるものではなく、イーサネット（登録商標）等の有線ネットワークや、Ｗｉ－Ｆｉ（登録商標）等の無線ネットワークによって接続されていてもよい。

表示手段２は、液晶ディスプレイ等で構成されており、行動軌跡推定装置１により推定された行動軌跡等を表示するものである。入力手段３は、キーボードやマウス等で構成されており、ユーザによる指示や選択を入力するものである。なお、これら表示手段２および入力手段３に代えて、表示機能および入力機能を兼ね備えたタッチパネル等の表示入力手段を有していてもよい。

記憶手段４は、各種のデータを記憶するとともに、演算処理手段５が演算処理を行う際のワーキングエリアとして機能するものである。本第１実施形態において、記憶手段４は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図２に示すように、プログラム記憶部４１と、個体特徴データベース４２と、軌跡断片バッファ４３と、姿勢推定データベース４４と、行動軌跡データベース４５とを有している。以下、各構成部についてより詳細に説明する。

プログラム記憶部４１には、本第１実施形態の行動軌跡推定装置１が有する三つの機能、すなわち個体特徴登録機能、行動軌跡推定機能および個体特徴追加機能のそれぞれを実行するための個体特徴登録プログラム１ａ、行動軌跡推定プログラム１ｂおよび個体特徴追加プログラム１ｃがインストールされている。そして、演算処理手段５が、各プログラムを実行することにより、行動軌跡推定装置１としてのコンピュータを後述する各構成部として機能させるようになっている。

なお、個体特徴登録プログラム１ａ、行動軌跡推定プログラム１ｂおよび個体特徴追加プログラム１ｃの利用形態は、上記構成に限られるものではない。例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等のように、コンピュータで読み取り可能な非一時的な記録媒体に各プログラムを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式で利用してもよい。

個体特徴データベース４２は、監視対象にしようとする移動体の個体ごとに、当該個体の外見に基づく特徴ベクトルである個体特徴を予め登録するものである。本第１実施形態において、個体特徴データベース４２には、図３に示すように、個体を識別する個体ＩＤに対応付けて、後述する個体特徴登録部５１によって抽出される個体特徴と、当該個体特徴の抽出に用いた画像ファイル名とが格納される。

なお、個体特徴データベース４２においては、後述する個体特徴照合部５８が最近傍の個体特徴を高速に検索する必要があるため、最近傍探索用のインデックス（直積量子化、ハッシュインデックス、ｋｄツリーインデックス等）を作成しておくことが好ましい。また、個体特徴データベース４２は、個体の入れ替え等に伴って、個体特徴を削除したり、更新する機能を有していてもよい。

軌跡断片バッファ４３は、個体ごとの行動軌跡の一部を構成する軌跡断片を所定時間分（数時間から一日分）ずつバッファして保存するものである。本第１実施形態において、軌跡断片バッファ４３は、図４に示すように、軌跡断片を識別する軌跡断片ＩＤに対応付けて、軌跡断片を取得した監視カメラ１１のカメラ番号と、軌跡断片を取得した時刻と、個体が占める画像領域である個体領域（画像座標系における二次元座標値）と、乳牛の位置（牛舎座標系における二次元座標値）と、個体特徴（特徴ベクトル）と、個体ＩＤとが保存されている。

なお、本第１実施形態において、個体領域は、後述する個体領域検出部５３によって検出されるものであり、図５に示すように、監視画像内において個体が占める矩形の画像領域として検出される。そして、当該画像領域の対角をなす二点の位置座標（画像座標系における二次元座標値）が個体領域として保存される。また、乳牛の位置は、後述するとおり、画像座標系における個体領域の中心点を牛舎座標系における二次元点に変換したものである。しかしながら、軌跡断片は、上記に限定されるものではなく、少なくとも所定の座標系における個体領域の時系列の位置座標群を含むものであればよい。

姿勢推定データベース４４は、後述する移動体姿勢推定部５６が姿勢を推定する際に使用するデータを保存するものである。本第１実施形態において、姿勢推定データベース４４には、図６に示すように、監視に使用する監視カメラ１１のカメラ番号に対応付けて、移動体の姿勢を推定可能な姿勢推定可能領域（画像座標系の二次元座標値）と、当該姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されている。

なお、姿勢推定可能領域は、牛舎のレイアウトに基づいて設定される。具体的には、図５の監視画像を例に説明すると、画像の上半分にはベッドが配置されており、横臥状態（肢を投げ出し横倒しの姿勢）や伏臥状態（膝を下ろし、胸を起こした姿勢）の乳牛が写っている。一方、画像の下半分には餌場が配置されており、起立状態で飼料を食べている採食状態の乳牛が写っている。さらに、画像の中央部には通路が配置されており、歩行中の乳牛が写っている。このように牛舎のレイアウトは決まっており、監視カメラ１１も固定されているため、監視カメラ１１ごとに、予め個体を識別するのに適した姿勢をとることが多い領域を姿勢推定能領域として設定することができる。

行動軌跡データベース４５は、後述する軌跡断片統合部５９から出力される個体ＩＤごとの行動軌跡を保存するものである。本第１実施形態において、行動軌跡データベース４５には、図７に示すように、行動軌跡を識別する行動軌跡ＩＤに対応付けて、監視カメラ１１のカメラ番号と、撮影時刻と、個体領域（画像座標系における二次元座標値）と、牛の位置（牛舎座標系における二次元座標値）と、個体特徴（特徴ベクトル）と、個体ＩＤとが保存される。すなわち、軌跡断片バッファ４３に格納される個体ＩＤは、軌跡断片が統合される前の仮の個体ＩＤであるが、後述する軌跡断片統合部５９によって各軌跡断片が統合されると、最終的な個体ＩＤとして行動軌跡データベース４５に登録される。

つぎに、演算処理手段５は、ＣＰＵ（Central Processing Unit）等で構成されており、記憶手段４にインストールされた各プログラムを実行することにより、行動軌跡推定装置１に各種の機能を発揮させるものである。具体的には、図２に示すように、演算処理手段５は、個体特徴登録プログラム１ａを実行することにより、個体特徴登録機能を発揮する個体特徴登録部５１として機能する。

また、演算処理手段５は、行動軌跡推定プログラム１ｂを実行することにより、行動軌跡推定機能を発揮させる監視画像取得部５２と、個体領域検出部５３と、追跡処理実行部５４と、軌跡断片取得部５５と、移動体姿勢推定部５６と、個体特徴抽出部５７と、個体特徴照合部５８と、軌跡断片統合部５９として機能する。さらに、演算処理手段５は、個体特徴追加プログラム１ｃを実行することにより、個体特徴追加機能を発揮させる個体特徴追加部６０として機能する。以下、各機能ごとの構成部についてより詳細に説明する。

（１）個体特徴登録機能
個体特徴登録機能は、個体ＩＤに対応付けて、個体の外見に基づく特徴ベクトルである個体特徴を個体特徴データベース４２に事前登録する機能であり、個体特徴登録部５１によって機能される。

本第１実施形態において、個体特徴登録部５１は、まず、静止画カメラや動画カメラ等を用いて、新規登録しようとする乳牛の画像群を取得する。例えば、図８に示すような撮影枠に複数のカメラを固定するとともに通過センサや近接センサ等のセンサを設置し、乳牛が通過するタイミングでシャッターが切れるように制御することで、乳牛の全身が画面に収まるタイミングで複数の方向から撮影された画像群が取得される。

なお、個体特徴を登録する際に使用するカメラは、一般的なＲＧＢカメラではなく、深度情報を取得可能なデプスカメラを使用することもできる。デプスカメラによって取得される深度データ付きＲＧＢ画像からは、乳牛の三次元モデルが作成される。また、当該三次元モデルを複数の方向から撮影した画像をコンピュータグラフィックスでレンダリングすることで多方向から乳牛を撮影した多視点画像データが生成される。そして、当該多視点画像データから個体特徴を抽出して個体特徴データベース４２に登録することで、個体の識別精度を高めることができる。

つぎに、個体特徴登録部５１は、個体を識別するための個体ＩＤを取得する。本第１実施形態において、個体特徴登録部５１は、乳牛の首輪や耳標に付与されている個体ＩＤを無線センサやカメラを用いて読み取ることで取得する。あるいは、人間が耳標等に付与されている個体ＩＤを目視で確認し、入力手段３から入力された個体ＩＤを個体特徴登録部５１が取得してもよい。

つづいて、個体特徴登録部５１は、カメラで撮影した画像群から、乳牛の斑紋パターン、毛色、体型などの外見を表す特徴ベクトルを算出し、個体特徴として抽出する。個体特徴の抽出方法は、特に限定されるものではないが、畳み込みニューラルネットワーク(Convolutional Neural Network；ＣＮＮ)等の機械学習モデルを用いて、入力画像から実数値を要素として持つベクトル（例えば２０４８次元）を算出してもよい。ＣＮＮのフィルタの重みパラメータを予め学習によって最適化しておくことで、個体識別の精度を高めることができる。重みパラメータは、教師データに対する交差エントロピー損失やトリプレット損失などを最小化するように調整する。

ここで、個体特徴を登録する際に使用する画像の模式図を図９に示す。乳牛を真上から下向きに撮影したカメラ１の画像では、背中の斑紋が写されている。一方、乳牛を上後方から撮影したカメラ２の画像では、臀部の斑紋が写されいてる。カメラ１，２の画像において共通する斑紋もあるが、一方のカメラにしか写っていない斑紋も存在する。また、撮影方向によって同一の斑紋も見え方が変化する。よって、個体特徴を抽出する際は、乳牛の全身の斑紋パターンをデータベース化するために、多方向から撮影した多視点画像を使用することが望ましい。

なお、一台のカメラで一度に乳牛の全身の斑紋を撮影することは困難である。よって、複数台のカメラから生成した多視点画像を入力とし、斑紋パターンを数値化することで個体識別の精度の向上が期待できる。また、複数の画像から個体特徴を抽出する場合は、全ての画像に対してＣＮＮを用いて特徴ベクトルを算出し、各特徴ベクトルの要素毎の平均または最大値を特徴ベクトルとしてもよい。

最後に、個体特徴登録部５１は、入力された全ての画像について個体特徴を抽出し、個体ＩＤに対応付けて個体特徴データベース４２に登録する。また、個体特徴登録部５１は、監視しようとする全ての乳牛について個体特徴を抽出し、個体ＩＤに対応付けて個体特徴データベース４２に登録する。

（２）行動軌跡推定機能
行動軌跡推定機能は、監視カメラ１１の監視画像から乳牛を個体ごとに識別し、個体ごとの行動軌跡を推定する機能であり、監視画像取得部５２と、個体領域検出部５３と、追跡処理実行部５４と、軌跡断片取得部５５と、移動体姿勢推定部５６と、個体特徴抽出部５７と、個体特徴照合部５８と、軌跡断片統合部５９とによって機能される。

監視画像取得部５２は、複数の監視カメラ１１から時系列の監視画像を取得するものである。本第１実施形態において、監視画像取得部５２は、各監視カメラ１１から数秒に一枚程度の間隔で時系列の監視画像を取得し、各監視カメラ１１を識別するカメラ番号と、撮影時刻とを対応付けるようになっている。

個体領域検出部５３は、複数の監視カメラ１１で撮影された時系列の各監視画像内において、個体が占める画像領域を個体領域として検出するものである。本第１実施形態において、個体領域検出部５３は、図５に示すように、監視画像取得部５２によって取得された監視画像に写っている乳牛を個体ごとに検出し、各個体に外接する矩形の画像領域を個体領域として検出する。

本第１実施形態において、個体領域検出部５３は、Faster R-CNNやMask R-CNN等の深層学習ベースの物体検出器を用いて個体領域を検出しているが、これに限定されるものではなく他の画像処理等によって検出してもよい。また、本第１実施形態では、個体領域を矩形形状として表現しているが、この形状に限定されるものではなく、多角形（ポリゴン）や円形等で表現してもよい。

追跡処理実行部５４は、監視画像内の移動体を個体ごとに追跡するものである。本第１実施形態において、追跡処理実行部５４は、例えば、ＳＯＲＴ（Simple Online and Realtime Tracking）という移動体追跡アルゴリズムを使用し、個体領域検出部５３によって検出された個体領域のそれぞれにつき、時系列において前後する監視画像（フレーム）間において、位置・移動方向・速度が近い個体領域を対応付けることでトラッキングするようになっている。

具体的には、図１０（ａ）に示すように、時系列の監視画像において、時刻tの監視画像から検出された個体領域群を{B(t)1, B(t)2, B(t)3,…B(t)n_t}とし、時刻t-1の監視画像から検出された個体領域群を{B(t-1)1, B(t-1)2, B(t-1)3,…B(t-1)n_t-1}とする。この場合、追跡処理実行部５４は、時刻tと時刻t-1のフレーム間で個体領域の対応づけを行うことにより、図１０（ｂ）に示すような個体ごとの軌跡断片が得られる。

例えば、監視画像内に含まれる乳牛がほとんど移動していない場合は、同じ数の個体領域が検出されるため（つまり、n_t=n_t-1）、全ての個体領域を１対１で対応付けることができる（全ての乳牛を追跡可能）。一方、時刻tの時点で新しい乳牛が監視画像内に入ってきた場合や、障害物の影から乳牛が現れた場合は、対応づけができない新たな個体領域として検出する。

そして、追跡処理実行部５４は、個体領域の対応づけができない場合（時刻t-1の監視画像内に個体領域B(t)mに対応する個体領域が存在しない場合）、時刻tの監視画像内に新たな個体領域が出現したと判断し、新たな軌跡断片ＩＤを払い出して対応付ける。一方、追跡処理実行部５４は、個体領域の対応づけに成功した場合（個体領域B(t)mと個体領域B(t-1)nが対応する場合）、軌跡断片バッファ４３から個体領域B(t-1)nに対応する軌跡断片ＩＤを取得する。

なお、本第１実施形態において、追跡処理実行部５４は、移動体追跡アルゴリズムとしてＳＯＲＴ（Simple Online and Realtime Tracking）を使用しているが、これに限定されるものではなく、他の移動体追跡アルゴリズムを使用してもよい。

軌跡断片取得部５５は、追跡処理実行部５４により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得するものである。本第１実施形態において、軌跡断片取得部５５は、追跡処理実行部５４によって同一の軌跡断片ＩＤが付与された個体領域のそれぞれについて中心点を特定し、当該中心点の画像座標系における二次元座標値を算出する。そして、当該二次元座標値を牛舎座標系における三次元座標値に変換し、Ｚ値（高さ）を除く二次元座標値を軌跡断片として取得する。また、軌跡断片取得部５５は、取得した軌跡断片を軌跡断片ＩＤに対応付けて軌跡断片バッファ４３に保存する。

ここで、画像座標系の二次元点p=(x, y)から、牛舎座標系の三次元点 P=(X, Y, Z)を求める方法について説明する。図１１は、画像座標系（二次元空間）の模式図であり、牛舎の天井に設置したカメラで撮影した画像に対応し左上隅を原点としている。また、図１２は、牛舎座標系（三次元空間）の模式図であり、牛舎内の一点を原点Ｏ、鉛直上向き方向をＺ、牛舎の床面をＸＹ平面としている。

ピンホールカメラモデル（透視投影モデル）を用いると、画像座標系の二次元点 p=(x, y)と牛舎座標系の三次元点 P=(X, Y, Z)との対応関係は以下の式（１），（２）で表される。

なお、カメラパラメータは、カメラの機種、設定、カメラの設置位置、角度等によって変化するので、カメラ設置時にキャリブレーション処理によって求めておく。カメラキャリブレーション手法は、TsaiやZhangの手法とよばれる一般的な方法を用いることができる。式（１），（２）では、レンズ歪みを考慮していないが、レンズ歪みパラメータを含むカメラモデルを用いることもできる。

図１１および図１２に示すように、乳牛の背中の点が、牛舎座標系では三次元点P₁=(X₁, Y₁, Z₁)、画像座標系では二次元点p₁=(x₁, y₁)で表されるとする。乳牛の身長（床面から背中までの高さ）Hが既知であると仮定して、式（２）に代入して整理すると、以下の式（３）となる。

画像座標系の二次元点p₁=(x₁, y₁)は、例えば、個体領域の中心点として取得しているため、式（３）の連立一次方程式を解くことにより、牛舎座標系の三次元点P₁=(X₁, Y₁, Z₁)が求められる。なお、乳牛の身長Hは個体に依らず一定とみなしてもよく、身長等から推定してもよい。

画像座標系では、乳牛がカメラから遠ざかるほどゆっくりと歩いているように見えるため、等速で歩いていても等速移動として判定されない。これに対し、牛舎座標系では乳牛が等速で移動していれば等速移動と判定できる。よって、個体追跡処理においては、画像座標系ではなく牛舎座標系を用いた方が乳牛の移動を正確に判定できるため望ましい。

移動体姿勢推定部５６は、個体領域に含まれる移動体の姿勢を推定するものである。本第１実施形態において、移動体姿勢推定部５６は、個体領域検出部５３によって検出された個体領域のそれぞれについて、乳牛の姿勢（起立、横臥、頭の向き等）を推定し、個体を識別するのに適した姿勢であるか否かを判定する。そして、個体を識別するのに適した姿勢である場合のみ、個体特徴抽出部５７によって個体特徴を抽出させるようになっている。

本第１実施形態では、上述したとおり、牛舎レイアウトに基づいて、予め姿勢推定能領域が姿勢推定データベース４４に設定されている。したがって、移動体姿勢推定部５６は、まず、個体領域検出部５３によって検出された個体領域を取得するとともに、当該個体領域を含む監視画像を撮影した監視カメラ１１のカメラ番号を取得する。

つぎに、移動体姿勢推定部５６は、姿勢推定データベース４４を参照し、取得したカメラ番号に対応付けて設定されている姿勢推定可能領域および姿勢を取得する。そして、取得した個体領域が姿勢推定可能領域に包含されるか否かを判定し、含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を個体領域に含まれる移動体の姿勢として推定し出力する。一方、取得した個体領域が姿勢推定可能領域に含まれていない場合は、姿勢を推定することができないため姿勢を出力しない。

本第１実施形態では、出力された姿勢が起立状態であれば、個体を識別可能な姿勢をとっていると判断し、個体特徴抽出部５７によって個体特徴を抽出させる。一方、出力された姿勢が横臥状態である場合、あるいは姿勢を推定できない場合には、個体を識別可能な姿勢をとっていないと判断し、個体特徴を抽出することなく、他の個体領域の処理へと移行するようになっている。

なお、本第１実施形態において、移動体姿勢推定部５６は、個体領域と姿勢推定可能領域との包含関係のみを考慮している。しかしながら、この条件に限定されるものではなく、個体領域の縦横比や面積、直前の監視画像における個体領域の位置（すなわち乳牛の移動方向や移動量）、異なる個体領域の重複率等を条件に加えることで、姿勢の推定精度を向上させることができる。例えば、個体領域の重複率が大きい場合、すなわち隣接する個体領域同士の重なりが大きい場合は乳牛同士が密接しているので個体の識別は不可能としてもよい。

また、本第１実施形態では、個体領域が姿勢推定可能領域に含まれない場合は、個体を識別するための個体特徴を抽出しないようになっている。しかしながら、このような処理に限定されるものではなく、個体領域が姿勢推定可能領域に含まれない場合であっても、個体特徴を抽出し、当該個体特徴に対応する個体ＩＤを信頼度の低いデータとして取り扱うようにしてもよい。

さらに、本第１実施形態において、移動体姿勢推定部５６は、牛舎レイアウトに基づいて予め設定した姿勢推定能領域を用いて移動体の姿勢を推定している。しかしながら、例えば、乳牛が餌場にいても餌を食べず横を向いている場合等のように、例外的な状況もある。このような例外的な状況や、牛舎レイアウトに基づく方法では推定できない姿勢に対応するために、画像認識によって乳牛の姿勢を推定してもよい。

また、本第１実施形態において、移動体姿勢推定部５６は、全ての個体領域について姿勢推定処理を実行しているが、この構成に限定されるものではない。例えば、直前の監視画像内における個体領域と比較して、処理しようとする個体領域の位置や形状の変化が予め設定したしきい値より小さい場合は、乳牛の姿勢変化が小さく個体の識別結果も同一となる可能性が高いため、姿勢推定処理を行わないようにしてもよい。これにより、個体特徴の抽出処理や照合処理に要する時間が削減される。

個体特徴抽出部５７は、個体領域から個体特徴を抽出するものである。本第１実施形態において、個体特徴抽出部５７は、上述した個体特徴登録部５１と同様の処理によって、個体領域から個体特徴を抽出する。また、個体特徴抽出部５７は、個体を識別するのに適した姿勢の移動体を含む個体領域のみから個体特徴を抽出する一方、個体を識別するのに適した姿勢でない移動体を含む個体領域や、姿勢を推定できない移動体を含む個体領域については、個体特徴を抽出しない。

個体特徴照合部５８は、抽出された個体特徴を個体特徴データベース４２と照合し、個体を識別するものである。本第１実施形態において、個体特徴照合部５８は、個体特徴抽出部５７によって抽出された個体特徴と、個体特徴データベース４２に登録されている個体特徴とを照合し、抽出された個体特徴に対応する個体ＩＤを取得するようになっている。

具体的には、個体特徴抽出部５７によって抽出された個体特徴（特徴ベクトル）をx_q（クエリとよぶ）とし、個体特徴データベース４２に登録されている個体特徴（特徴ベクトル集合）をx_i(i=1,2,…,n)とした場合、個体特徴照合部５８は、以下の式（４）によって表される特徴ベクトル間の距離d(x_i,x_q)=||x_i-x_q||が最も小さい（最近傍となる）個体特徴の番号i_minを求める。

そして、個体特徴照合部５８は、個体特徴データベース４２において、i_min番目の個体特徴に対応付けられている個体ＩＤを個体の識別結果として取得する。なお、特徴ベクトル間の距離としては、ユークリッド距離やコサイン距離など様々なものを適用できる。また、特徴ベクトル間の距離d(x_i,x_q)は０以上の値をとり、０に近いほど個体特徴が類似していることを示すため、個体識別結果の信頼度として用いてもよい。あるいは、最近傍の距離d₁と二番目に近傍の距離d₂を算出し、これらの距離比d₂/d₁を信頼度としてもよい。

軌跡断片統合部５９は、軌跡断片間の連続性が最も高い軌跡断片同士を統合し、個体ＩＤごとの行動軌跡として出力するものである。本第１実施形態において、軌跡断片統合部５９は、所定時間おきに、軌跡断片バッファ４３に蓄積された軌跡断片間の連続性を判定し、当該連続性が最も高い軌跡断片同士を統合することで、最終的な個体ＩＤ付きの行動軌跡を行動軌跡データベース４５に出力する。このとき、軌跡断片統合部５９は、統合した軌跡断片群に唯一の行動軌跡ＩＤを割り当てる。また、一つの行動軌跡ＩＤに対して唯一の個体ＩＤが対応するようにする。

また、本第１実施形態において、軌跡断片統合部５９は、軌跡断片間における時間的な連続性、空間的な連続性および個体特徴間の類似性に基づいて、軌跡断片間の連続性が最も高い軌跡断片を特定する。具体的には、軌跡断片統合部５９は、軌跡断片T_iに接続する軌跡断片T_jを求める場合、下記式（５）によって定義される軌跡断片間の距離の重み付き和d(T_i, T_j)が、最小の値をとるT_jを軌跡断片間の連続性が最も高い軌跡断片として特定する。
d(T_i, T_j)=w_td_time(T_i, T_j)+w_ld_loc(T_i, T_j)+w_fd_feature(T_i, T_j) ・・・式（５）

上記式（５）において、d_time(T_i, T_j)は軌跡断片T_iの終了時刻e(T_i)と軌跡断片T_jの開始時刻s(T_j)との差であり、軌跡断片間における時間的な連続性を示す。また、d_loc(T_i, T_j)は軌跡断片T_iの最終位置P_e(T_i)と軌跡断片T_jの開始位置P_s(T_j)との差であり、軌跡断片間における空間的な連続性を示す。さらに、d_feature(T_i, T_j)は軌跡断片T_i,T_jのそれぞれに関連付けられた個体特徴x(T_i),x(T_j)間の距離であり、個体特徴間の類似性を示す。ただし、d_time(T_i, T_j)およびd_loc(T_i, T_j)は、軌跡断片T_i,T_jがこの順に接続する場合にのみ定義するものとする。また、軌跡断片間の距離は上記式（５）に限定されるものではなく、移動速度や移動方向の差異を評価対象としてもよい。

ここで、軌跡断片を統合する具体的な手順について、図１３の例を用いて説明する。まず、１番の監視カメラ１１で取得された軌跡断片T₁（仮の個体ＩＤ＝３）から統合処理を開始する。２番の監視カメラ１１で取得された軌跡断片T₂（仮の個体ＩＤ：不明）、および３番の監視カメラ１１で取得された軌跡断片T₃（仮の個体ＩＤ＝４）、T₄（仮の個体ＩＤ＝３）のそれぞれに対する上記距離d(T_i, T_j)(j=2,3,4)は以下となる。なお、ここでは簡単化するため、w_t=w_l=1, w_f=0とした。
d(T₁, T₂)=|11-10|+√((19-20)²+(12-12)² )=2
d(T₁, T₃)=|20-10|+√((9-20)²+(12-12)² )=21
d(T₁, T₄)=|20-10|+√((9-20)²+(8-12)² )=21.7

以上の通り、軌跡断片T₁に対する上記距離d(T_i, T_j)が最小となるのは軌跡断片T₂であるため、両者を結合し軌跡断片{T₁, T₂}とする。さらに、この軌跡断片{T₁, T₂}と軌跡断片T₃,T₄の間の上記距離d(T_i, T_j)(j=3,4)は以下となる。
d(T₂, T₃)=|20-20|+√((10-10)²+(12-10)² )=2
d(T₂, T₄)=|20-20|+√((9-10)²+(8-10)² )=2.236

以上の通り、軌跡断片{T₁, T₂}に対する上記距離d(T_i, T_j)が最小となるのは軌跡断片T₃であるため両者を結合し、結果として行動軌跡{T₁, T₂, T₃}が得られる。ただし、上記の手順で軌跡断片を結合すると、仮の個体ＩＤに矛盾が生じる場合がある。すなわち、図１３の例では、軌跡断片T₁に対応する仮の個体ＩＤが３で、軌跡断片T₃に対応する仮の個体ＩＤが４と異なっており、矛盾が生じている。

上記矛盾の原因としては、軌跡断片統合処理における誤り、または個体識別処理における誤りの二通りが考えられる。したがって、個体識別処理の精度が高く信頼できる場合は、仮の個体ＩＤが一致しない軌跡断片T₃の代わりに、仮の個体ＩＤが一致するT₄を統合すればよい。このように、軌跡断片間の連続性が最も高い軌跡断片同士のそれぞれに対応付けられた個体ＩＤが異なる場合、当該軌跡断片同士を統合しない、という制約を設けることにより、外見が似ている個体同士であっても、誤って別の個体の軌跡断片を統合してしまうことが防止される。一方、個体識別処理の精度がそれほど高くない場合は、仮の個体ＩＤに矛盾がある軌跡断片同士であっても、軌跡断片統合処理の結果を優先して統合してもよい。

なお、本第１実施形態では、軌跡断片を貪欲（greedy）に統合するアルゴリズムについて説明したが、組合せ最適化問題として定式化し求解してもよい。牛舎内に同じ個体ＩＤを持つ乳牛は一頭しかいないことを制約に加えて最適化することにより、さらに統合精度が向上する。また、仮の個体ＩＤが異なる軌跡断片同士を結合しないよう制約を設ける代わりに、仮の個体ＩＤの信頼度を算出しておき、当該信頼度の総和が最も高くなる仮の個体ＩＤを統合対象として採用してもよい。さらに、仮の個体ＩＤの矛盾を全自動で解消するのではなく、矛盾が発生したことをオペレータに通知し、オペレータが監視画像や現地を確認して正しい個体ＩＤを付与する等、行動軌跡を手動で補正してもよい。

（３）個体特徴追加機能
個体特徴追加機能は、行動軌跡推定機能によって推定された行動軌跡に基づいて、個体特徴データベース４２に登録されていない個体特徴を追加して拡張する機能であり、個体特徴追加部６０によって機能される。

本第１実施形態において、個体特徴追加部６０は、まず、個体特徴を追加しようとする個体の個体ＩＤに基づいて、行動軌跡データベース４５から行動軌跡を取得する。つぎに、個体特徴追加部６０は、取得した行動軌跡データ中のカメラ番号、撮影時刻および個体領域に基づいて、監視画像から個体領域を切り出して移動体画像列として取得する。そして、個体特徴追加部６０は、個体特徴抽出部５７と同様の処理により各移動体画像の個体特徴を抽出し、個体特徴データベース４２に登録されている個体ＩＤに対応付けて追加する。

ここで図１４は、本第１実施形態の行動軌跡推定装置１によって推定された行動軌跡の一例を示す図である。監視カメラ１１から切り出した個体ＩＤ＝Ｘの乳牛画像（移動体画像）が、時系列に沿って五枚ピックアップされている。この例では、一枚目（t=0）の乳牛画像と五枚目（t=80）の乳牛画像は姿勢推定可能領域から切り出されたもので、対応する個体特徴が予め個体特徴データベース４２に登録されている。一方、二枚目（t=10）、三枚目（t=30）および四枚目（t=50）の乳牛画像は姿勢推定可能領域に含まれていなかったため、対応する個体特徴が個体特徴データベース４２に登録されていない状態である。

以上のような状態の場合、個体特徴追加部６０は、二枚目（t=10）、三枚目（t=30）および四枚目（t=50）の乳牛画像から個体特徴を抽出し、各個体特徴を個体特徴データベース４２に追加する。なお、全ての乳牛画像を個体特徴データベース４２に追加しようとすると、個体特徴データベース４２の規模が大きくなり、個体特徴抽出処理に時間がかかるため、クラスタリング処理等を行って、追加する個体特徴を減らしてもよい。

また、個体特徴追加部６０は、古い個体特徴を削除し、最新の個体特徴を順次入れ替えていくことで、個体の成長や体型の変化があっても個体識別の精度が維持される。ただし、行動軌跡に誤りがある場合に、個体特徴データベース４２を更新すると、個体の識別精度が低下する場合があるため、信頼度の高い行動軌跡データのみを用いることが好ましい。あるいは、行動軌跡に誤りがないことをオペレータが確認した上で、個体特徴データベース４２を更新してもよい。

つぎに、本第１実施形態の行動軌跡推定装置１、行動軌跡推定プログラム１ｂおよび行動軌跡推定方法による作用について説明する。

本第１実施形態の行動軌跡推定装置１、行動軌跡推定プログラム１ｂおよび行動軌跡推定方法を用いて乳牛（移動体）の行動軌跡を推定する場合、まず、個体特徴登録機能を用いて、監視しようとする全ての乳牛について、個体特徴を個体特徴データベース４２に登録する。

具体的には、図１５に示すように、個体特徴登録部５１が、新規登録しようとする乳牛の画像群を取得するとともに（ステップＳ１）、新規登録しようとする乳牛の個体ＩＤを取得する（ステップＳ２）。そして、個体特徴登録部５１が、ステップＳ１で取得した画像群から個体特徴を抽出すると（ステップＳ３）、当該個体特徴をステップＳ２で取得した個体ＩＤに対応付けて個体特徴データベース４２に登録する（ステップＳ４）。これにより、ある個体についての個体ＩＤと個体特徴とが関連付けて登録される。

ある個体について、取得された全ての画像について上記ステップＳ３～ステップＳ４を繰り返した後（ステップＳ５：ＹＥＳ）、別の個体について、上記ステップＳ１～ステップＳ５を繰り返す。そして、監視しようとする全ての乳牛について個体特徴が登録されると（ステップＳ６：ＹＥＳ）、本処理を終了する。これにより、監視しようとする全ての乳牛の個体特徴が個体特徴データベース４２に事前登録される。よって、各個体の個体特徴さえわかれば、当該個体特徴を有する個体ＩＤが特定されるため、乳牛の個体識別が可能となる。

個体特徴データベース４２の準備が完了すると、行動軌跡推定機能を用いて、各乳牛の行動軌跡を個体ごとに推定する。具体的には、図１６に示すように、まず、監視画像取得部５２が複数の監視カメラ１１から時系列の監視画像を取得する（ステップＳ１１）。つぎに、個体領域検出部５３が、各監視画像内に存在する全乳牛の個体領域を検出し（ステップＳ１２）、当該個体領域のそれぞれについて、追跡処理実行部５４が追跡処理を実行する（ステップＳ１３）。

追跡処理の結果、監視画像内に新たな個体領域が出現した場合（ステップＳ１４：ＹＥＳ）、追跡処理実行部５４が新たな軌跡断片ＩＤを払い出し（ステップＳ１５）、新たな個体領域に対応付ける。一方、監視画像内に新たな個体領域がない場合（ステップＳ１４：ＮＯ）、追跡処理実行部５４が各個体領域に対応する軌跡断片ＩＤを取得する（ステップＳ１６）。これにより、時系列の監視画像において、同一の個体と思われる個体領域には同一の軌跡断片ＩＤが付与されるため、全乳牛の行動が個体ごとに追跡される。

つぎに、軌跡断片取得部５５が、各個体領域の軌跡断片を取得すると（ステップＳ１７）、取得された軌跡断片が軌跡断片ＩＤに対応付けて軌跡断片バッファ４３に保存される（ステップＳ１８）。これにより、複数の監視カメラ１１ごとに撮影範囲内における乳牛の行動軌跡が軌跡断片として収集される。

つづいて、本第１実施形態では、移動体姿勢推定部５６が、個体ごとの識別精度が低下するのを抑制するため、各個体領域に含まれる移動体の姿勢を推定する（ステップＳ１９）。具体的には、図１７に示すように、移動体姿勢推定部５６は、まず、個体領域検出部５３によって検出された個体領域と、当該個体領域を含む監視画像を撮影した監視カメラ１１のカメラ番号とを取得する（ステップＳ１９１）。

つぎに、移動体姿勢推定部５６は、取得したカメラ番号に対応付けて設定されている姿勢推定可能領域および姿勢を取得し（ステップＳ１９２）、ステップＳ１９１で取得した個体領域が姿勢推定可能領域に包含されるか否かを判定する（ステップＳ１９３）。当該判定の結果、個体領域が姿勢推定可能領域に包含される場合（ステップＳ１９３：ＹＥＳ）、当該姿勢推定可能領域に対応付けられた姿勢を出力する（ステップＳ１９４）。一方、個体領域が姿勢推定可能領域に包含されていない場合（ステップＳ１９３：ＮＯ）、姿勢を出力しない。これにより、簡易的に移動体の姿勢が高精度に推定される。

つづいて、移動体姿勢推定部５６によって推定された姿勢が、個体を識別するのに適した姿勢である場合（ステップＳ２０：ＹＥＳ）、個体特徴抽出部５７が各個体領域の個体特徴を抽出する（ステップＳ２１）。一方、個体を識別するのに適した姿勢でない場合（ステップＳ２０：ＮＯ）、後述するステップＳ２４へ進む。

つぎに、個体特徴照合部５８が、ステップＳ２１で抽出された個体特徴を個体特徴データベース４２と照合し、各個体領域に対応する個体ＩＤを取得する（ステップＳ２２）。これにより、各個体領域に含まれる乳牛が個体ごとに高精度に識別される。

その後、ステップＳ２１で抽出された各個体領域の個体特徴と、ステップＳ２２で取得された各個体領域に対応する個体ＩＤとが軌跡断片バッファ４３に保存される（ステップＳ２３）。そして、ステップＳ１２で検出された各個体領域について、上述したステップＳ１３からステップＳ２３までの処理を繰り返し、全ての個体領域について処理が完了すると（ステップＳ２４：ＹＥＳ）、ステップＳ２５へと進む。これにより、ある監視画像に含まれる全個体領域の軌跡断片が、個体特徴や個体ＩＤと関連付けられて軌跡断片バッファ４３に一時保存される。

つぎに、ステップＳ２５では、各監視カメラ１１の監視画像について、上述したステップＳ１１からステップＳ２４までの処理を繰り返し、全ての監視カメラ１１について処理が完了すると（ステップＳ２５：ＹＥＳ）、所定時間が経過するまで、上述したステップＳ１１からステップＳ２４までの処理を繰り返す。これにより、全監視画像に含まれる全個体領域の軌跡断片が、所定時間分ずつ軌跡断片バッファ４３に一時保存される。

そして、所定時間が経過すると（ステップＳ２６：ＹＥＳ）、軌跡断片統合部５９が、軌跡断片間の連続性が最も高い軌跡断片同士を統合し、最終的な個体ＩＤごとの行動軌跡として行動軌跡データベース４５に出力する（ステップＳ２７）。これにより、異なる監視カメラ１１で撮影された監視画像内の軌跡断片であっても、高精度に個体ごとに統合される。よって、多数の乳牛を広域監視する場合であっても、高い精度で乳牛が個体ごとに識別され、個体ごとの行動軌跡が正しく推定される。

また、本第１実施形態では、個体特徴追加機能を用いて、個体特徴データベース４２に登録されていない個体特徴を追加して拡張する。具体的には、図１８に示すように、個体特徴追加部６０が個体特徴を追加しようとする個体の個体ＩＤに基づいて、行動軌跡データベース４５から行動軌跡を取得する（ステップＳ３１）。

つぎに、個体特徴追加部６０は、取得した行動軌跡データに基づいて、監視画像から個体領域を切り出し移動体画像列として取得する（ステップＳ３２）。そして、個体特徴追加部６０が各移動体画像の個体特徴を抽出すると（ステップＳ３３）、当該個体特徴を個体特徴データベース４２に登録されている個体ＩＤに対応させて追加する（ステップＳ３４）。これにより、様々な姿勢の個体特徴が追加されるため、個体の識別精度が向上する。

以上のような本第１実施形態の行動軌跡推定装置１、行動軌跡推定プログラム１ｂおよび行動軌跡推定方法によれば、以下のような効果を奏する。
１．多数の移動体の広域監視を実現しながら、高い精度で移動体を個体ごとに識別し、個体ごとの行動軌跡を正しく推定することができる。
２．個体識別に適した姿勢の移動体を含む個体領域のみから個体特徴を抽出することで、個体ごとの識別精度が低下するのを抑制することができる。
３．牛舎等のレイアウトに基づく姿勢推定可能領域を設定することで、簡易的に移動体の姿勢を高精度に推定することができる。
４．行動軌跡データに基づいて様々な姿勢の個体特徴を追加することで、個体の識別精度を向上することができる。
５．軌跡断片間における時間的・空間的な連続性や個体特徴間の類似性に基づいて軌跡断片同士を統合することで、個体ごとの行動軌跡を高精度に推定することができる。
６．個体ＩＤに矛盾がある軌跡断片同士を統合しないようにすることで、外見が似ている個体同士であっても、異なる個体の軌跡断片同士を誤って統合するのを防止することができる。

つぎに、本発明に係る行動軌跡推定装置、行動軌跡推定プログラムおよび行動軌跡推定方法の第２実施形態について説明する。なお、本第２実施形態の構成のうち、上述した第１実施形態と同一もしくは相当する構成については同一の符号を付し、再度の説明を省略する。

上述した第１実施形態では、追跡処理実行部５４が、同一の監視カメラ１１で撮影された時系列の監視画像に対して画像座標系で追跡処理を実行し、軌跡断片取得部５５が、各監視画像内の画像座標系における位置座標群を牛舎座標系における位置座標群に変換したものを軌跡断片として取得し、軌跡断片統合部５９が、異なる監視カメラ１１で撮影された監視画像内の軌跡断片同士を統合することで行動軌跡を作成していた。

これに対して、本第２実施形態の特徴は、追跡処理実行部５４が事前に、個体領域検出部５３によって検出された個体領域の画像座標系における位置座標群を牛舎座標系における位置座標群に変換する。そして、同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において追跡処理を実行することにより、牛舎全体における行動軌跡を取得する点にある。

具体的には、本第２実施形態の行動軌跡推定装置１０は、図１９に示すように、異なる監視カメラ１１間における軌跡断片同士を統合する軌跡断片統合部５９の代わりに、全体画像から得られた軌跡断片をそのまま行動軌跡として出力する行動軌跡出力部６１を有している。また、軌跡断片バッファ４３と行動軌跡データベース４５のデータ内容、および追跡処理実行部５４と軌跡断片取得部５５の処理内容が第１実施形態と相違するため、当該相違部分について説明する。

本第２実施形態において、軌跡断片バッファ４３には、図２０に示すように、個体が占める矩形の個体領域として、画像座標系における二次元座標値の代わりに、牛舎座標系における二次元座標値が保存される。また、本第２実施形態において、行動軌跡データベース４５には、図２１に示すように、個体領域として、画像座標系における二次元座標値の代わりに、牛舎座標系における二次元座標値が保存される。軌跡断片バッファ４３および行動軌跡データベース４５に保存されるその他のデータは、第１実施形態と同様である。

追跡処理実行部５４は、同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像内に存在する移動体を個体ごとに追跡するものである。本第２実施形態において、追跡処理実行部５４は、まず、個体領域検出部５３によって検出された個体領域の画像座標系における位置座標群を牛舎座標系における位置座標群に変換する。なお、画像座標系から牛舎座標系への座標変換処理は、第１実施形態の軌跡断片取得部５５が実行する処理（段落［００５４］～［００５８］）と同様である。

また、図２２に示すように、個体領域検出部５３によって検出された矩形の個体領域は、画像座標系から牛舎座標系に変換すると歪な四角形に変形してしまう。このため、本第２実施形態では、追跡処理実行部５４が、牛舎座標系に変換後の歪な四角形に対する外接矩形を牛舎座標系における個体領域とする。なお、個体領域の形状は外接矩形に限定されるものではなく、内接矩形、あるいは、多角形領域をそのまま個体領域としてもよい。また、二以上の監視画像で検出された複数の個体領域が重複していると判断した場合（例えば、個体領域の重なりが大きい場合、個体領域の外見特徴が類似している場合）には、複数の個体領域を一つに統合する処理を追加することもできる。

つぎに、追跡処理実行部５４は、時系列において隣接する全体画像間において各個体領域の追跡処理を実行する。具体的には、図２３（ａ），（ｂ）に示すように、全ての監視カメラで撮影された時系列の全体画像において、時刻tの全体画像から検出された個体領域群を牛舎座標系に変換したものを{B(t)1, B(t)2, B(t)3,…B(t)n_t}とし、時刻t-1の全体画像から検出された個体領域群を牛舎座標系に変換したものを{B(t-1)1, B(t-1)2, B(t-1)3,…B(t-1)n_t-1}とする。この場合、追跡処理実行部５４は、時刻tと時刻t-1の全体画像間で個体領域の対応づけを行うことにより、図２３（ｃ）に示すように、個体毎の軌跡断片が全ての監視画像に跨った状態で得られる。なお、追跡処理実行部５４において、ＳＯＲＴ（Simple Online and Realtime Tracking）等の移動体追跡アルゴリズムを使用する点は第１実施形態と同様である。ただし、追跡処理を個別の監視画像内（画像座標系）ではなく、全ての監視画像からなる全体画像内（牛舎座標系）で行う点が第１実施形態とは異なる。

また、本第２実施形態において、軌跡断片取得部５５は、追跡処理実行部５４によって同一の軌跡断片ＩＤが付与された個体領域のそれぞれについて中心点を特定し、当該中心点の牛舎座標系における二次元座標値を算出する。そして、当該二次元座標値をそのまま軌跡断片として取得する。また、軌跡断片取得部５５は、取得した軌跡断片を軌跡断片ＩＤに対応付けて軌跡断片バッファ４３に保存する。

行動軌跡出力部６１は、軌跡断片を個体ＩＤごとの行動軌跡として出力するものである。本第２実施形態において、行動軌跡出力部６１は、軌跡断片取得部５５によって軌跡断片バッファ４３に蓄積された軌跡断片と、個体特徴照合部５８によって取得された個体ＩＤとを対応付けて、最終的な個体ＩＤ付きの行動軌跡として行動軌跡データベース４５に出力する。

つぎに、本第２実施形態の行動軌跡推定装置１０、行動軌跡推定プログラム１ｂおよび行動軌跡推定方法による作用について説明する。

具体的には、図２４に示すように、監視画像取得部５２が複数の監視カメラ１１から時系列の監視画像を取得すると（ステップＳ１１）、個体領域検出部５３が、各監視画像内に存在する全乳牛の個体領域を検出する（ステップＳ１２）。そして、各監視カメラ１１の監視画像について、上述したステップＳ１１からステップＳ１２までの処理を繰り返す（ステップＳ４１）。これにより、全ての監視カメラ１１から取得した全ての監視画像に含まれる個体領域が検出される。

つぎに、全監視カメラ１１の監視画像について処理が完了すると（ステップＳ４１：ＹＥＳ）、追跡処理実行部５４が、同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において各個体領域の追跡処理を実行する（ステップＳ１３）。このとき、本第２実施形態では、追跡処理実行部５４が事前に、個体領域の位置座標群を画像座標系から牛舎座標系に変換するため、全体画像間における追跡処理が可能となる。これにより、個体毎の軌跡断片が全ての監視画像に跨った状態で得られる。

その後、ステップＳ１４からステップＳ２４まで、およびステップＳ２６では、第１実施形態と同様の処理を実行する。これにより、牛舎全体の全体画像に含まれる全個体領域の軌跡断片が、所定時間分ずつ軌跡断片バッファ４３に一時保存される。

そして、所定時間が経過すると（ステップＳ２６）、行動軌跡出力部６１は、軌跡断片を個体ＩＤごとの行動軌跡として出力する（ステップＳ４２）。すなわち、本第２実施形態では、同一時刻に撮影された全ての監視画像を全体画像とし、この全体画像間において追跡処理を実行するため、軌跡断片がそのまま行動軌跡となる。よって、第１実施形態のように、軌跡断片同士を統合する必要がなく、推定演算に係る処理効率が向上する。

以上のような本第２実施形態によれば、上述した第１実施形態の作用効果に加えて、行動軌跡の推定演算に係る処理効率を向上することができる。

なお、本発明に係る行動軌跡推定装置１，１０、行動軌跡推定プログラム１ｂおよび行動軌跡推定方法は、前述した実施形態に限定されるものではなく、適宜変更することができる。

例えば、上述した本実施形態では、個体ごとの識別精度が低下するのを抑制するため、移動体姿勢推定部５６が各個体領域に含まれる移動体の姿勢を推定している。しかしながら、個体ごとの識別精度をある程度担保できる場合は、移動体姿勢推定部５６による姿勢の推定処理を実行しなくてもよい。

また、上述した本実施形態では、個体特徴登録部５１や個体特徴抽出部５７が機械学習モデルを用いているが、当該機械学習モデルのパラメータを行動軌跡データを用いて最適化してもよい。具体的には、個体ＩＤ付きの行動軌跡データから教師データ（個体ＩＤ付きの乳牛画像）を作成し、当該教師データを用いて畳み込みニューラルネットワーク(Convolutional Neural Network：CNN)に、交差エントロピー損失やトリプレット損失などが最小化するように学習させてもよい。

さらに、上述した本実施形態では、軌跡断片バッファ４３に数時間から一日分の軌跡断片をバッファして保存している。しかしながら、実際に行動軌跡推定プログラム１ｂを実装する際には、数分程度に短く設定することが好ましい。この場合、行動軌跡が出力されるたびに、それまでに作成した行動軌跡との間で連続性を判定し、当該連続性が最も高い行動軌跡同士を統合すればよい。なお、連続性の判定は、上述したとおり、時間的な連続性、空間的な連続性および個体特徴間の類似性に基づいて行われる。

１ 行動軌跡推定装置（第１実施形態）
１ａ 個体特徴登録プログラム
１ｂ 行動軌跡推定プログラム
１ｃ 個体特徴追加プログラム
２ 表示手段
３ 入力手段
４ 記憶手段
５ 演算処理手段
１０ 行動軌跡推定装置（第２実施形態）
１１ 監視カメラ
４１ プログラム記憶部
４２ 個体特徴データベース
４３ 軌跡断片バッファ
４４ 姿勢推定データベース
４５ 行動軌跡データベース
５１ 個体特徴登録部
５２ 監視画像取得部
５３ 個体領域検出部
５４ 追跡処理実行部
５５ 軌跡断片取得部
５６ 移動体姿勢推定部
５７ 個体特徴抽出部
５８ 個体特徴照合部
５９ 軌跡断片統合部
６０ 個体特徴追加部
６１ 行動軌跡出力部

Claims (9)

1. 移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定装置であって、
   複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、
   時系列において隣接する監視画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、
   前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、
   前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、
   前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、
   前記軌跡断片間の連続性が最も高い軌跡断片同士を統合し、前記個体ＩＤごとの行動軌跡として出力する軌跡断片統合部と、
   前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定部と、
   を有し、
   前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、
   前記移動体姿勢推定部は、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定し、
   前記個体特徴抽出部は、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出する、行動軌跡推定装置。
2. 前記行動軌跡に基づいて、前記個体ＩＤごとに、前記監視画像から前記個体領域を切り出して移動体画像列を取得し、各移動体画像の個体特徴を抽出して前記個体特徴データベースに追加する個体特徴追加部を有している、請求項１に記載の行動軌跡推定装置。
3. 前記軌跡断片統合部は、前記軌跡断片間における時間的な連続性、空間的な連続性および個体特徴間の類似性に基づいて、前記軌跡断片間の連続性が最も高い軌跡断片を特定する、請求項１または請求項２に記載の行動軌跡推定装置。
4. 前記軌跡断片統合部は、前記軌跡断片間の連続性が最も高い軌跡断片同士のそれぞれに対応付けられた個体ＩＤが異なる場合、当該軌跡断片同士を統合しない、請求項１から請求項３のいずれかに記載の行動軌跡推定装置。
5. 移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定プログラムであって、
   複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、
   時系列において隣接する監視画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、
   前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、
   前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、
   前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、
   前記軌跡断片間の連続性が最も高い軌跡断片同士を統合し、前記個体ＩＤごとの行動軌跡として出力する軌跡断片統合部と、
   前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定部と、
   してコンピュータを機能させるとともに、
   前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、
   前記移動体姿勢推定部は、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定し、
   前記個体特徴抽出部は、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出する、行動軌跡推定プログラム。
6. 移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定方法であって、
   複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出ステップと、
   時系列において隣接する監視画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行ステップと、
   前記追跡処理実行ステップで対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、
   前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出ステップと、
   前記個体特徴抽出ステップで抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合ステップと、
   前記軌跡断片間の連続性が最も高い軌跡断片同士を統合し、前記個体ＩＤごとの行動軌跡として出力する軌跡断片統合ステップと、
   前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定ステップと、
   を有し、
   前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、
   前記移動体姿勢推定ステップでは、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定し、
   前記個体特徴抽出ステップでは、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出する、行動軌跡推定方法。
7. 移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定装置であって、
   複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、
   同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、
   前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、
   前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、
   前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、
   前記軌跡断片を前記個体ＩＤごとの行動軌跡として出力する行動軌跡出力部と、
   前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定部と、
   を有し、
   前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、
   前記移動体姿勢推定部は、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定し、
   前記個体特徴抽出部は、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出する、行動軌跡推定装置。
8. 移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定プログラムであって、
   複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出部と、
   同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行部と、
   前記追跡処理実行部により対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、
   前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出部と、
   前記個体特徴抽出部によって抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合部と、
   前記軌跡断片を前記個体ＩＤごとの行動軌跡として出力する行動軌跡出力部と、
   前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定部と、
   してコンピュータを機能させるとともに、
   前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、
   前記移動体姿勢推定部は、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定し、
   前記個体特徴抽出部は、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出する、行動軌跡推定プログラム。
9. 移動体の行動軌跡を個体ごとに推定可能な行動軌跡推定方法であって、
   複数の監視カメラで撮影された時系列の各監視画像内において、前記個体が占める画像領域を個体領域として検出する個体領域検出ステップと、
   同一時刻に撮影された全ての監視画像からなる全体画像のうち、時系列において隣接する全体画像間において、位置・移動方向・速度が近い個体領域を対応付けることにより、前記移動体を個体ごとに追跡する追跡処理実行ステップと、
   前記追跡処理実行ステップで対応付けられた個体領域の所定の座標系における時系列の位置座標群を軌跡断片として取得する軌跡断片取得部と、
   前記個体領域から前記個体の外見に基づく特徴ベクトルである個体特徴を抽出する個体特徴抽出ステップと、
   前記個体特徴抽出ステップで抽出された個体特徴と、前記個体を識別する個体ＩＤに対応付けて前記個体特徴が登録されている個体特徴データベースとを照合し、抽出された個体特徴に対応する個体ＩＤを取得する個体特徴照合ステップと、
   前記軌跡断片を前記個体ＩＤごとの行動軌跡として出力する行動軌跡出力ステップと、
   前記個体領域に含まれる移動体の姿勢を推定する移動体姿勢推定ステップと、
   を有し、
   前記監視カメラごとに、移動体の姿勢を推定可能な姿勢推定可能領域と、前記姿勢推定可能領域に存在する移動体がとることの多い姿勢とが設定されており、
   前記移動体姿勢推定ステップでは、前記個体領域が前記姿勢推定可能領域に含まれる場合、当該姿勢推定可能領域に対応付けられた姿勢を前記個体領域に含まれる移動体の姿勢として推定し、
   前記個体特徴抽出ステップでは、前記個体を識別するのに適した姿勢の移動体を含む個体領域のみから前記個体特徴を抽出する、行動軌跡推定方法。

Images