JP7154024B2 - ペット動画解析装置、ペット動画解析システム、ペット動画解析方法、及びプログラム - Google Patents

Description

本発明は、ペット動画解析装置、ペット動画解析システム、ペット動画解析方法、及びプログラムに関する。

飼い主が自宅を留守にしている間、自宅に残したペットの様子を見守ることが望まれている。例えば、ペットの様子を見ること自体が飼い主にとって楽しみであり、外出中の自分のペットの様子を眺めたくなることがある。また、例えば、飼い主は、留守中にペットがきちんと餌を食べているか、ペットがいたずらをしていないか、あるいはペットに異常がないかが確認したくなることがある。

自宅に残したペットを見守るために、自宅に市販のネットワークカメラを設置し、飼い主が自宅外においてスマートフォンなどを用いて画像を確認する技術が一般に流通している。また、赤外線などを使用した動体検知を用いて自宅に残したペットの動きを検知し、カメラ撮影範囲に動きがあったタイミングにおいて飼い主に通知を行う商品が一般に流通している。

上記のような技術として、例えば、無線通信ネットワークに基づくペット用インタラクティブシステムが知られている（特許文献１）。特許文献１に記載のペット用インタラクティブシステムは、室内に取付けられた無線カメラ、ペット用玩具及び制御端末を含む。無線カメラは、撮影した影像を制御端末に送信する。ペット用玩具には、制御端末と通信するための無線通信モジュールと、即時に無線通信モジュールにより受信した制御端末からの音声を再生するための発声モジュールと、制御端末の発した制御指令によりペット用玩具の走行を制御するための制御モジュールとが、取付けられている。

特開２０１６－２２０６７１号公報

自宅に残したペットが撮像された動画を、無線通信ネットワークを介して、端末装置において鑑賞する場合、この動画には、ペットが撮像されている場面の割合が多いこと求められる。また、ペットが特定の場所において特定の行動を取った場合に、動画が撮像されたことの通知や記録を残すことが求められる。

上記の一般流通品や、特許文献１に記載のペット用インタラクティブシステムにおいては、飼い主である利用者は、カメラを用いて撮像された動画の中からペットが映っている箇所を探す必要があり不便である。ペットを撮像するカメラに、ペットがよく映っている箇所を検出する演算を行う演算装置を搭載する場合、ペットがよく映っている箇所を検出には高い検出精度が要求されため、この演算装置は高い性能をもつことが要求される。そのため、カメラのコストが高くなってしまうことが考えられる。
このように、従来、ペットを効率よく見守ることができなかった。

本発明は上記の点に鑑みてなされたものであり、ペットを効率よく見守ることができるペット動画解析装置、ペット動画解析システム、ペット動画解析方法、及びプログラムを提供する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ペットが撮像された動画を取得する動画取得部と、前記動画取得部が取得した前記動画を構成する複数のフレームから、ペットが撮像されているフレームであるペットフレームを抽出するペットフレーム抽出部と、前記ペットフレーム抽出部が抽出した前記ペットフレームのなかから、前記動画取得部が取得した前記動画において連続する前記ペットフレームを判定する連続ペットフレーム判定部と、前記連続ペットフレーム判定部が判定した前記ペットフレームが、予め登録されている前記ペットの行動を示すイベントが撮像されている前記フレームであるイベントフレームであるか否かを判定するイベント判定部と、前記ペットフレーム抽出部が抽出した前記ペットフレームの数が、前記複数のフレームのうち前記ペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画を、前記連続ペットフレーム判定部が判定した前記ペットフレームであって、前記イベント判定部が前記イベントフレームであると判定した前記ペットフレームから構成されるシーン動画である要約前イベント動画に含まれる連続する前記ペットフレームの数を所定の数以下にした動画に基づいて生成する要約動画生成部と、前記要約動画生成部が生成した前記要約動画を出力する要約動画出力部と、を備え、前記要約動画生成部は、前記要約前イベント動画が所定の時間の長さである第１の時間の長さ以上であると判定する場合、前記要約前イベント動画のいずれかの部分を削除することによって、前記第１の時間の長さ以下に短縮した動画であるイベント動画を前記要約動画として生成し、前記要約動画生成部は、前記要約前イベント動画が前記第１の時間の長さ以上であると判定する場合に前記要約前イベント動画のいずれかの部分を削除し前記第１の時間の長さ以下に短縮するかを、学習結果に基づいて選択し、前記要約動画生成部は、複数の前記イベント動画をそれぞれ所定の時間の長さである第２の時間の長さ以下に短縮し時系列の順に連結することによって、前記第１の時間の長さ以下の動画であるサマリ動画を前記要約動画として生成するペット動画解析装置である。

また、本発明の一態様は、上記のペット動画解析装置において、前記シーン動画に含まれる連続する前記ペットフレームのなかからサムネイル画像に対応する前記ペットフレームを選択する。

また、本発明の一態様は、上記のペット動画解析装置において、前記シーン動画を記憶部に記憶させる記憶制御部と、前記記憶制御部が前記記憶部に記憶させた前記シーン動画を出力するシーン動画出力部とをさらに備える。

また、本発明の一態様は、上記のペット動画解析装置において、前記イベント判定部が前記イベントフレームであると判定した前記ペットフレームと、前記連続ペットフレーム判定部が判定した連続する前記ペットフレームとに基づいて前記イベントの発生回数を数えるイベント計数部をさらに備え、要約動画出力部は、前記要約動画生成部が生成した前記要約動画に加えて、前記イベント計数部が計数した前記発生回数をさらに出力する。

また、本発明の一態様は、上記のペット動画解析装置において、前記要約動画生成部は、前記動画取得部が取得した前記動画に複数の種類の前記イベントが含まれる場合、前記イベント判定部が判定した前記イベントフレームに基づいて、前記複数の種類の前記イベントが前記要約動画に含まれるように前記要約動画を生成する。

また、本発明の一態様は、上記のペット動画解析装置において、前記イベント判定部は、前記ペットフレーム抽出部が抽出した前記ペットフレームに撮像されている場所によって前記イベントの種類を判定する。

また、本発明の一態様は、上記のペット動画解析装置において、前記ペットフレーム抽出部が抽出した前記ペットフレームに撮像された前記ペットが特定のペットであるか否かを判定するペット判定部と、前記ペット判定部が判定した結果を通知するペット判定結果通知部とをさらに備える。

また、本発明の一態様は、上記のペット動画解析装置において、前記ペット判定部が判定した結果が通知されたことに応じて得られる評価を取得する評価取得部をさらに備え、前記ペット判定部は、前記評価取得部が取得した前記評価に基づいて前記動画取得部が取得した前記動画に撮像された前記ペットが特定のペットであるか否かを判定する。

また、本発明の一態様は、上記のペット動画解析装置と、前記動画を撮像し、前記ペット動画解析装置に供給する撮影装置と、前記ペット動画解析装置が出力する前記要約動画を取得する端末装置とを備えるペット動画解析システムである。

また、本発明の一態様は、ペットが撮像された動画を取得する動画取得手順と、前記動画取得手順において取得された前記動画を構成する複数のフレームから、ペットが撮像されているフレームであるペットフレームを抽出するペットフレーム抽出手順と、前記ペットフレーム抽出手順において抽出された前記ペットフレームのなかから、前記動画取得手順において取得された前記動画において連続する前記ペットフレームを判定する連続ペットフレーム判定手順と、前記連続ペットフレーム判定手順において判定された前記ペットフレームが、予め登録されている前記ペットの行動を示すイベントが撮像されている前記フレームであるイベントフレームであるか否かを判定するイベント判定手順と、前記ペットフレーム抽出手順において抽出された前記ペットフレームの数が、前記複数のフレームのうち前記ペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画を、前記連続ペットフレーム判定手順において判定された前記ペットフレームであって、前記イベント判定手順において前記イベントフレームであると判定された前記ペットフレームから構成されるシーン動画である要約前イベント動画に含まれる連続する前記ペットフレームの数を所定の数以下にした動画に基づいて生成する要約動画生成手順と、前記要約動画生成手順において生成された前記要約動画を出力する要約動画出力手順と、を有し、前記要約動画生成手順において、前記要約前イベント動画が所定の時間の長さである第１の時間の長さ以上であると判定される場合、前記要約前イベント動画のいずれかの部分を削除することによって、前記第１の時間の長さ以下に短縮した動画であるイベント動画が前記要約動画として生成され、前記要約動画生成手順において、前記要約前イベント動画が前記第１の時間の長さ以上であると判定される場合に前記要約前イベント動画のいずれかの部分を削除し前記第１の時間の長さ以下に短縮するかを、学習結果に基づいて選択し、前記要約動画生成手順において、複数の前記イベント動画をそれぞれ所定の時間の長さである第２の時間の長さ以下に短縮し時系列の順に連結することによって、前記第１の時間の長さ以下の動画であるサマリ動画が前記要約動画として生成されるペット動画解析方法である。

また、本発明の一態様は、コンピュータにペットが撮像された動画を取得する動画取得ステップと、前記動画取得ステップにおいて取得された前記動画を構成する複数のフレームから、ペットが撮像されているフレームであるペットフレームを抽出するペットフレーム抽出ステップと、前記ペットフレーム抽出ステップにおいて抽出された前記ペットフレームのなかから、前記動画取得ステップにおいて取得された前記動画において連続する前記ペットフレームを判定する連続ペットフレーム判定ステップと、前記連続ペットフレーム判定ステップにおいて判定された前記ペットフレームが、予め登録されている前記ペットの行動を示すイベントが撮像されている前記フレームであるイベントフレームであるか否かを判定するイベント判定ステップと、前記ペットフレーム抽出ステップにおいて抽出された前記ペットフレームの数が、前記複数のフレームのうち前記ペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画を、前記連続ペットフレーム判定ステップにおいて判定された前記ペットフレームであって、前記イベント判定ステップにおいて前記イベントフレームであると判定された前記ペットフレームから構成されるシーン動画である要約前イベント動画に含まれる連続する前記ペットフレームの数を所定の数以下にした動画に基づいて生成する要約動画生成ステップと、前記要約動画生成ステップにおいて生成された前記要約動画を出力する要約動画出力ステップと、を実行させるためのプログラムであって、前記要約動画生成ステップにおいて、前記要約前イベント動画が所定の時間の長さである第１の時間の長さ以上であると判定される場合、前記要約前イベント動画のいずれかの部分を削除することによって、前記第１の時間の長さ以下に短縮した動画であるイベント動画が前記要約動画として生成され、前記要約動画生成ステップにおいて、前記要約前イベント動画が前記第１の時間の長さ以上であると判定される場合に前記要約前イベント動画のいずれかの部分を削除し前記第１の時間の長さ以下に短縮するかを、学習結果に基づいて選択し、前記要約動画生成ステップにおいて、複数の前記イベント動画をそれぞれ所定の時間の長さである第２の時間の長さ以下に短縮し時系列の順に連結することによって、前記第１の時間の長さ以下の動画であるサマリ動画が前記要約動画として生成されるプログラムである。

本発明によれば、ペットを効率よく見守ることができる。

本発明の第１の実施形態に係るペット見守りシステムの一例を示す図である。 本発明の第１の実施形態に係るペット動画解析装置の機能構成の一例を示す図である。 本発明の第１の実施形態に係る撮像動画の解析結果の一例を示す図である。 本発明の第１の実施形態に係るイベント動画とサマリ動画との関係の一例を示す図である。 本発明の第１の実施形態に係るイベント動画の生成及び出力処理の一例を示す図である。 本発明の第１の実施形態に係るイベント動画の生成方法の一例を示す図である。 本発明の第１の実施形態に係るサマリ動画の生成及び出力処理の一例を示す図である。 本発明の第１の実施形態に係るサマリ動画の生成方法の一例を示す図である。 本発明の第１の実施形態に係る時系列画面の一例を示す図である。 本発明の第１の実施形態に係るアルバム画面の一例を示す図である。 本発明の第１の実施形態に係る活動量表示画面の一例を示す図である。 本発明の第１の実施形態に係るレポート画面の一例を示す図である。 本発明の第２の実施形態に係るペット動画解析装置の機能構成の一例を示す図である。 本発明の第２の実施形態に係る撮像動画の解析結果の一例を示す図である。 本発明の第２の実施形態に係るペット判定処理の一例を示す図である。 本発明の第３の実施形態に係るペット動画解析装置の機能構成の一例を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係るペット見守りシステムＳの一例を示す図である。ペット見守りシステムＳは、撮像装置１と、ペット動画解析装置２と、端末装置３とを備える。

撮像装置１は、ペットＰが撮像された動画である撮像動画ＭＶを撮像し、ペット動画解析装置２に供給する。撮像装置１は、通信機能を備えたカメラであり、ペットＰの飼い主である利用者の自宅に設置される。撮像装置１は、ペットＰの飼い主である利用者の自宅に残されたペットＰを撮像する。撮像装置１は、撮像した撮像動画ＭＶをペット動画解析装置２に送信する。ペットＰとは、一例として、飼い猫である。ペットＰは、飼い猫以外であってもよい。ペットＰは、例えば、飼い犬や、猫や犬以外の飼われている動物であってもよい。

撮像装置１が利用者の自宅内において設置される場所とは、ペットＰの行動が撮像できると期待される場所であり、利用者によって決定される。ペットＰの行動が撮像できると期待される場所とは、例えば、ペットＰの餌入れの付近、水飲み場の付近、及びトイレの付近などである。

ペット動画解析装置２は、撮像動画ＭＶの中からペットＰを高精度において検出するグラフィックス プロセッシング ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ ＵｎｉｔＧＰＵ）計算ユニットを備えるサーバである。ペット動画解析装置２は、撮像装置１との間において動画及び音声の暗号化通信を確立した上で、撮像動画ＭＶを解析し、要約動画Ｖを生成する。ここで要約動画Ｖとは、ペットが撮像されている場面の割合が、ペットが撮像されていない場面の割合よりも多い動画である。ペット動画解析装置２は、要約動画Ｖが生成されたことを、１日において定期的に端末装置３に通知する。

ペット動画解析装置２は、機械学習を用いて、撮像動画ＭＶの中からペットＰを検出する。ペット動画解析装置２は、予め蓄積された学習データＶＤを用いて機械学習を実行する。ペット動画解析装置２は、機械学習の結果を用いて、撮像動画ＭＶの中から物体を認識し、さらに認識した物体がペットＰであるか否かを判定する。ここで機械学習とは、例えば、深層学習である。

ペット見守りシステムＳでは、ペットＰの位置や動きを撮像装置１ではなく、クラウドサーバであるペット動画解析装置２において撮像動画ＭＶを解析する。これによりペット見守りシステムＳでは、スケーラブルかつ高精度な解析が可能となる。

端末装置３は、ペット動画解析装置２が出力する要約動画Ｖを取得する。端末装置３は利用者に所有され、ペット動画解析装置２から要約動画Ｖが生成されたことの通知を受信する。端末装置３から要約動画Ｖのリクエストがあると、ペット動画解析装置２は、リクエストのあった要約動画Ｖを端末装置３に出力する。

ペット見守りシステムＳでは、２４時間の撮像動画ＭＶの中から、ペットＰが撮像されている場面の部分だけを抜粋したり、ペットＰが撮像されている場面の部分を繋げて一日分のサマリ動画を作成したりといったことが可能である。

また、ペット見守りシステムＳでは、利用者は、撮像装置１が撮影する画像内において、ペットＰが存在することにより何らかの行動を意味する場所を事前に指定することができる。これにより、ペット見守りシステムＳでは、事前に指定した場所と、ペットＰの動きとを紐付けてペットＰの行動の解析を行い、ペットＰの行動管理を行うことができる。ここで、ペットＰが存在することにより何らかの行動を意味する場所とは、例えば、餌入れ、水飲み場、トイレ等である。

図２は、本実施形態に係るペット動画解析装置２の機能構成の一例を示す図である。ペット動画解析装置２は、動画取得部２０と、動画記憶部２１と、シーン判定部２２と、記憶部２３と、イベント解析部２４と、サムネイル選択部２５と、フレーム属性記憶部２６と、要約動画生成部２７と、サムネイル生成部２８と、出力部２９とを備える。

動画取得部２０は、ペットＰが撮像された撮像動画ＭＶを撮像装置１から取得する。動画取得部２０は、暗号化通信が可能な通信モジュールである。
動画記憶部２１は、動画取得部２０が取得した撮像動画ＭＶを、ペット動画解析装置２が撮像動画ＭＶを解析する間、記憶する。動画記憶部２１は、記憶している撮像動画ＭＶを、シーン判定部２２、イベント解析部２４、サムネイル選択部２５、及び要約動画生成部２７に供給する。

シーン判定部２２は、動画記憶部２１から供給される撮像動画ＭＶに含まれるシーンを判定する。ここでシーン判定部２２は、記憶部２３に記憶される学習結果２３０に基づいてシーンを判定する。シーンとは、撮像動画ＭＶにおける撮像されている内容にまとまりがある部分である。シーンとは、例えば、ペットＰが撮像されている部分や、ペットＰが撮像されていない部分である。

ペットＰが撮像されている部分であるシーンとは、例えば、水飲み場において水を飲むシーン、餌入れに入っている餌を食べるシーン、トイレにおいて排泄するシーン、カメラの前において動いているシーン、カメラの付近を走り回りカメラに映ることと映らないことを短時間に繰り返しているシーン、撮像装置１のカメラに尾だけが映っているシーン、カメラの遠くに位置し姿が小さく映っているシーンなどである。

シーン判定部２２は、ペットフレーム抽出部２２０と、連続ペットフレーム判定部２２１とを備える。
ペットフレーム抽出部２２０は、動画記憶部２１から供給される撮像動画ＭＶを構成する複数のフレームからペットフレームを抽出する。ペットフレームとは、ペットＰが撮像されているフレームである。一方、撮像動画ＭＶを構成するフレームのうちペットフレームを除くフレームを非ペットフレームという。

連続ペットフレーム判定部２２１は、ペットフレーム抽出部２２０が抽出したペットフレームのなかから、動画記憶部２１から供給される撮像動画ＭＶにおいて連続するペットフレームを判定する。連続ペットフレーム判定部２２１が判定する連続するペットフレームはシーンに対応する。連続ペットフレーム判定部２２１が判定したペットフレームから構成される動画を、シーン動画ＣＶという。

連続するペットフレームとは、動画として内容が連続して見える一続きのペットフレームである。連続するペットフレームは、例えば、撮像動画ＭＶにおいてペットフレームが隣り合っている一続きのペットフレームである。

なお、撮像動画ＭＶにおいてペットフレームが隣り合っておらず、ペットフレームの間に非ペットフレームが存在していても、動画として内容が連続して見えれば、それらペットフレームと非ペットフレームとを合わせてシーン動画ＣＶとされてよい。例えば、ペットＰがカメラの付近を走り回りカメラに映ることと映らないことを短時間に繰り返しているシーンでは、ペットフレームと非ペットフレームとを合わせてシーン動画ＣＶとされてよい。

また、連続するペットフレームと判定されたペットフレームの前後が非ペットフレームである場合であっても、連続するペットフレームと判定されたペットフレームと同じシーンでると判定される場合には、この非ペットフレームがシーン動画ＣＶに含められてもよい。

シーン判定部２２は、ペットフレーム抽出部２２０、及び連続ペットフレーム判定部２２１の処理の結果を、フレーム属性情報ＦＰとしてイベント解析部２４及びフレーム属性記憶部２６に供給する。フレーム属性情報ＦＰとは、撮像動画ＭＶを構成する複数のフレームのフレーム番号と、撮像動画ＭＶを構成する複数のフレームに対するシーン判定部２２、イベント解析部２４、及びサムネイル選択部２５の処理の結果とが対応づけられた情報である。

ここで図３を参照し、ペットフレーム抽出部２２０、及び連続ペットフレーム判定部２２１の処理について説明する。
図３は、本実施形態に係る撮像動画ＭＶの解析結果の一例を示す図である。撮像動画ＭＶは、フレームＦＮ１～フレームＦＮｎから構成される。図３に示す例では、フレームＦＮ１～フレームＦＮ８においては、フレームＦＮ３、フレームＦＮ５、及びフレームＦＮ６がペットフレームである。フレームＦＮ１～フレームＦＮ８においては、フレームＦＮ１、フレームＦＮ２、フレームＦＮ４、フレームＦＮ７、フレームＦＮ８が、非ペットフレームである。

ペットフレーム抽出部２２０は、フレームＦＮ１～フレームＦＮｎそれぞれについてペットフレームであるかを判定する。ペットフレーム抽出部２２０は、フレームＦＮ１～フレームＦＮｎのフレーム番号毎に、判定結果をそれぞれ対応づけ、フレーム属性情報ＦＰに含める。

連続ペットフレーム判定部２２１は、ペットフレーム抽出部２２０がペットフレームであると判定したフレームＦＮ３、フレームＦＮ５、及びフレームＦＮ６が、連続ペットフレームであるか否かを判定する。図３に示す例では、フレームＦＮ３、フレームＦＮ５、及びフレームＦＮ６のうち、フレームＦＮ５と、フレームＦＮ６とが連続ペットフレームであると判定する。
連続ペットフレーム判定部２２１は、フレームＦＮ５と、フレームＦＮ６とのフレーム番号毎に、判定結果をそれぞれ対応づけ、フレーム属性情報ＦＰに含める。

図２に戻って、ペット動画解析装置２の構成の説明を続ける。
記憶部２３には、学習結果２３０と、イベント情報２３１とが記憶される。
学習結果２３０とは、学習データＶＤを用いた機械学習による学習結果である。学習結果２３０には、例えば、動画に含まれるフレームに撮像されている物体の位置の判定結果や、この物体がペットであるか否かの判定結果が含まれる。

また、学習結果２３０には、動画に含まれるフレームに撮像されている内容にまとまりがあるか否かの判定結果が含まれる。また、学習結果２３０には、動画に含まれるフレームに撮像されているペットの動きに対応する活動量の値が含まれる。また、学習結果２３０には、動画に含まれるフレームのうちいずれがサムネイルに適しているかの判定結果が含まれる。

イベント情報とは、イベントの種類と、場所情報とが対応づけられた情報である。場所情報とは、動画内における領域を示す情報である。動画内における領域は、ペットＰが残された自宅内の特定の場所毎に割り当てられている。

例えば、「水飲み」のイベントには、水飲みの近くの領域を示す情報が対応づけられる。「ごはん」のイベントには、餌入れの近くの領域を示す情報が対応づけられる。「トイレ」のイベントには、トイレの近くの領域を示す情報が対応づけられる。「カメラの前で動いている」のイベントには、水飲み、餌入れ、及びトイレから遠い領域を示す情報が対応づけられる。

なお、領域を示す情報は、例えば、２次元平面における領域を２次元座標により表した情報である。領域を示す情報は、３次元空間内における領域を３次元座標により表した情報であってもよい。

イベント解析部２４は、シーン判定部２２が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１から供給される撮像動画ＭＶに含まれるイベントを解析する。ここでイベント解析部２４は、記憶部２３に記憶される学習結果２３０及びイベント情報２３１に基づいてイベントを解析する。

ここでイベントとは、イベント情報２３１により示されるペットＰの行動である。イベントは、イベント情報２３１の一部として予め記憶される。つまり、イベントは、予め登録されているペットＰの行動を示す。
イベントには、例えば、水飲み場において水を飲む行動である「水飲み」、餌入れに入っている餌を食べる行動である「ごはん」、トイレにおいて排泄する行動である「トイレ」、及びカメラの前において動いている行動である「カメラの前で動いている」である。

イベント解析部２４は、イベント判定部２４０と、イベント計数部２４１と、活動量計測部２４２とを備える。
イベント判定部２４０は、撮像動画ＭＶに含まれるイベントを判定する。ここでイベント判定部２４０は、連続ペットフレーム判定部２２１が判定したペットフレームが、イベントが撮像されているフレームであるイベントフレームであるか否かを判定する。つまり、イベント判定部２４０は、シーン動画ＣＶに含まれるペットフレームにイベントが含まれているか否かを判定する。ペットフレームにイベントが含まれているシーン動画ＣＶを、要約前イベント動画ＰＥＶという。

イベント計数部２４１は、撮像動画ＭＶに含まれるイベントの発生回数を数える。ここでイベント計数部２４１は、イベント判定部２４０が判定したイベントフレームと、連続ペットフレーム判定部２２１が判定した連続するペットフレームとに基づいて数える。

活動量計測部２４２は、撮像動画ＭＶに含まれるイベントに伴うペットＰの運動量を計測する。ここで活動量計測部２４２は、動画記憶部２１が供給する撮像動画ＭＶと、イベント判定部２４０が供給するフレーム属性情報ＦＰと、記憶部２３に記憶される学習結果２３０に基づいて計測する。
活動量計測部２４２は、測定結果に基づいて活動量情報Ａを生成する。ここで活動量情報Ａとは、撮像動画ＭＶを構成する複数のフレームのフレーム番号と、活動量計測部２４２が測定した活動量の値とが対応づけられた情報である。

イベント解析部２４は、イベント判定部２４０の処理の結果を、フレーム属性情報ＦＰとしてサムネイル選択部２５及びフレーム属性記憶部２６に供給する。

サムネイル選択部２５は、要約動画Ｖのサムネイルを選択する。ここでサムネイル選択部２５は、動画記憶部２１が供給する撮像動画ＭＶと、イベント解析部２４が供給するフレーム属性情報ＦＰと、記憶部２３に記憶される学習結果２３０に基づいて選択する。サムネイル選択部２５は、選択結果をフレーム属性情報ＦＰに含め、フレーム属性記憶部２６に供給する。
サムネイルとは、要約動画Ｖを表示させる場合に視認性を高めるために縮小されて表示される画像である。サムネイルは、要約動画Ｖを構成するペットフレームのなかから選択される。

ここで再び図３を参照し、イベント判定部２４０、イベント計数部２４１、サムネイル選択部２５、及び活動量計測部２４２の処理について説明する。
図３に示す例では、イベント判定部２４０は、連続ペットフレーム判定部２２１が連続ペットフレームであると判定したフレームＦＮ５、及びフレームＦＮ６に撮像されているペットＰの行動が、「カメラの前で動いている」のイベントであると判定する。イベント判定部２４０は、判定結果をフレーム属性情報ＦＰに含める。
イベント計数部２４１は、フレームＦＮ１～フレームＦＮ８において、イベント判定部２４０が判定したイベントの発生回数を１回であると数える。

サムネイル選択部２５は、イベント判定部２４０がイベントフレームであると判定したフレームＦＮ５、及びフレームＦＮ６のなかからサムネイルに対応するフレームを選択する。サムネイル選択部２５は、選択結果をフレーム属性情報ＦＰに含める。

活動量計測部２４２は、イベント判定部２４０がイベントフレームであると判定したフレームＦＮ５、及びフレームＦＮ６毎に、撮像されているペットＰの活動量を測定する。図３に示す例では、活動量計測部２４２は、フレームＦＮ５、及びフレームＦＮ６それぞれに対して活動量の値として「３」を対応づけ活動量情報Ａとする。

図２に戻って、ペット動画解析装置２の構成の説明を続ける。
フレーム属性記憶部２６は、シーン判定部２２、イベント解析部２４、及びサムネイル選択部２５が供給するフレーム属性情報ＦＰを記憶する。フレーム属性記憶部２６は、記憶したフレーム属性情報ＦＰを要約動画生成部２７、サムネイル生成部２８、及び出力部２９に供給する。
また、フレーム属性記憶部２６は、イベント解析部２４が供給する活動量情報Ａを記憶する。フレーム属性記憶部２６は、記憶した活動量情報Ａを要約動画生成部２７に供給する。

要約動画生成部２７は、要約動画Ｖを生成する。ここで要約動画Ｖとは、ペットフレームの数が非ペットフレームの数よりも多い動画である。要約動画Ｖには、イベント毎に生成されるイベント動画ＥＶと、それらのイベント動画ＥＶに基づいて生成されるサマリ動画ＳＶとがある。
要約動画生成部２７は、イベント動画生成部２７０と、サマリ動画生成部２７１とを備える。

イベント動画生成部２７０は、動画記憶部２１が供給する撮像動画ＭＶと、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰとに基づいてイベント動画ＥＶを生成する。また、イベント動画生成部２７０は、フレーム属性記憶部２６が供給する活動量情報Ａに基づいて、生成したイベント動画ＥＶに対する活動量を算出する。
サマリ動画生成部２７１は、イベント動画生成部２７０が生成したイベント動画ＥＶに基づいてサマリ動画ＳＶを生成する。

ここで図４を参照し、イベント動画ＥＶとサマリ動画ＳＶとの関係について説明する。
図４は、本実施形態に係るイベント動画ＥＶとサマリ動画ＳＶとの関係の一例を示す図である。ペット動画解析装置２は、撮像装置１から取得する撮像動画ＭＶを、所定の周期において解析する。ここで所定の周期とは、例えば、１時間である。

１時間の撮像動画ＭＶにイベントが含まれている場合、イベント動画生成部２７０は、イベント動画ＥＶを生成する。図４に示す例では、時刻ｔ１において、イベント動画生成部２７０－１は、１時間の撮像動画ＭＶに含まれる複数のイベント＃１－１、イベント＃１－２、及びイベント＃１－３についてそれぞれイベント動画ＥＶ１－１、イベント動画ＥＶ１－２、及びイベント動画ＥＶ１－３を生成する。ここでイベント動画生成部２７０－１は、図２のイベント動画生成部２７０である。
生成されたイベント動画ＥＶ１－１、イベント動画ＥＶ１－２、及びイベント動画ＥＶ１－３は、時刻ｔ１において要約動画出力部２９０により端末装置３に出力される。

図４に示す例では、時刻ｔ２において、イベント動画生成部２７０－２は、次の１時間の撮像動画ＭＶに含まれる複数のイベント＃２－１、及びイベント＃２－２についてそれぞれイベント動画ＥＶ２－１、及びイベント動画ＥＶ２－２を生成する。ここでイベント動画生成部２７０－２は、図２のイベント動画生成部２７０である。
生成されたイベント動画ＥＶ２－１、及びイベント動画ＥＶ２－２は、時刻ｔ２において要約動画出力部２９０により端末装置３に出力される。

サマリ動画生成部２７１は、生成した複数のイベント動画ＥＶ１－１、イベント動画ＥＶ１－２、イベント動画ＥＶ１－３を、イベント動画ＥＶ２－１、及びイベント動画ＥＶ２－２から所定の周期においてサマリ動画ＳＶ１を生成する。ここで所定の周期とは、例えば、８時間である。
生成されたサマリ動画ＳＶ１は、スケジュール＃１において要約動画出力部２９０により端末装置３に出力される。

なお、図４に示す例では、ペット動画解析装置２が撮像動画ＭＶを解析する周期を１時間としたが、これに限らない。ペット動画解析装置２が撮像動画ＭＶを解析する周期は、イベントが発生すると、ペット動画解析装置２がイベント動画ＥＶを端末装置３に逐次送信できる程度に短い周期であってもよい。イベントが発生すると、ペット動画解析装置２がイベント動画ＥＶを端末装置３に逐次送信できる程度に短い周期とは、例えば、１分である。

また、ペット動画解析装置２は、イベント動画ＥＶと、サマリ動画ＳＶとを同じ周期において端末装置３に出力してもよい。イベント動画ＥＶと、サマリ動画ＳＶとが同じ周期において出力される場合、ペット動画解析装置２が撮像動画ＭＶを解析する周期は、例えば、サマリ動画生成部２７１がサマリ動画ＳＶを生成する周期（例えば、８時間）と同じある。
また、ペット動画解析装置２が撮像動画ＭＶを解析する周期は、例えば、２４時間であってもよい。

図２に戻って、ペット動画解析装置２の構成の説明を続ける。
サムネイル生成部２８は、動画記憶部２１が供給する撮像動画ＭＶと、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰと、要約動画生成部２７が供給するサマリ動画ＳＶとに基づいてサムネイルＳＮを生成する。

出力部２９は、要約動画Ｖを端末装置３に出力する。出力部２９は、要約動画出力部２９０と、サムネイル出力部２９１とを備える。
要約動画出力部２９０は、要約動画生成部２７が生成した要約動画Ｖを端末装置３に出力する。

サムネイル出力部２９１は、サムネイル生成部２８が生成したサムネイルＳＮを端末装置３に出力する。

（イベント動画の生成及び出力）
次に図５及び図６を参照し、イベント動画ＥＶの生成及び出力処理について説明する。
図５は、本実施形態に係るイベント動画ＥＶの生成及び出力処理の一例を示す図である。図５に示す処理は、所定の周期（例えば、１時間）において実行される。

ステップＳ１００：動画取得部２０は、撮像装置１が撮像した撮像動画ＭＶを取得する。動画取得部２０は、取得した撮像動画ＭＶを動画記憶部２１に供給する。
動画記憶部２１は、動画取得部２０が供給する撮像動画ＭＶを、シーン判定部２２と、イベント解析部２４と、サムネイル選択部２５と、要約動画生成部２７と、サムネイル生成部２８とに供給する。

ステップＳ１０２：ペットフレーム抽出部２２０は、動画記憶部２１が供給する撮像動画ＭＶを構成する複数のフレームからペットフレームを抽出する。ここで、ペットフレーム抽出部２２０は、記憶部２３に記憶される学習結果２３０に基づく機械学習を用いて、ペットフレームを抽出する。ペットフレーム抽出部２２０は、フレームに猫の画像が撮像されている場合に、このフレームにペットＰが撮像されていると判定する。

ペットフレーム抽出部２２０は、撮像動画ＭＶを構成する複数のフレームそれぞれについてペットフレームであるかを、学習結果２３０に基づく機械学習を用いて判定することによりペットフレームを抽出する。ペットフレーム抽出部２２０は、学習結果２３０に基づいて、撮像動画ＭＶを構成する複数のフレームそれぞれについて、対象物の位置を判定する。ペットフレーム抽出部２２０は、学習結果２３０に基づいて、判定した対象物がペットＰであるか否かを判定する。

ペットフレーム抽出部２２０は、撮像動画ＭＶを構成する複数のフレームのフレーム番号毎に、判定結果をそれぞれ対応づけ、フレーム属性情報ＦＰに含める。
ペットフレーム抽出部２２０は、判定結果を含めたフレーム属性情報ＦＰを連続ペットフレーム判定部２２１に供給する。

ここで、動画記憶部２１から供給される撮像動画ＭＶとは、動画取得部２０が撮像装置１から取得した動画である。したがって、ペットフレーム抽出部２２０は、動画取得部２０が取得した撮像動画ＭＶを構成する複数のフレームからペットフレームを抽出する。

ステップＳ１０４：連続ペットフレーム判定部２２１は、ペットフレーム抽出部２２０が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１から供給される撮像動画ＭＶにおいて連続するペットフレームを判定する。つまり、連続ペットフレーム判定部２２１は、撮像動画ＭＶに含まれるシーン動画ＣＶを判定する。
ここで連続ペットフレーム判定部２２１は、フレーム属性情報ＦＰに基づいて、ペットフレーム抽出部２２０が抽出したペットフレームを判定する。連続ペットフレーム判定部２２１は、ペットフレーム抽出部２２０が抽出したペットフレームのなかから、撮像動画ＭＶにおいて連続するペットフレームを判定する。

連続ペットフレーム判定部２２１は、記憶部２３に記憶される学習結果２３０に基づく機械学習を用いて、連続するペットフレームを判定する。連続ペットフレーム判定部２２１は、ペットフレームに加えて非ペットフレームを含めて、複数のフレームが連続しているか否かを判定してもよい。

連続ペットフレーム判定部２２１は、撮像動画ＭＶを構成する複数のフレームのフレーム番号毎に、判定結果をそれぞれ対応づけ、フレーム属性情報ＦＰに含める。連続ペットフレーム判定部２２１は、判定結果を含めたフレーム属性情報ＦＰを、イベント解析部２４と、フレーム属性記憶部２６とに供給する。

ここで、動画記憶部２１から供給される撮像動画ＭＶとは、動画取得部２０が撮像装置１から取得した動画である。したがって、連続ペットフレーム判定部２２１は、ペットフレーム抽出部２２０が抽出したペットフレームのなかから、動画取得部２０が取得した撮像動画ＭＶにおいて連続するペットフレームを判定する。

ステップＳ１０６：イベント判定部２４０は、連続ペットフレーム判定部２２１が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１から供給される撮像動画ＭＶに含まれるイベントを判定する。イベント判定部２４０は、連続ペットフレーム判定部２２１が判定したシーン動画ＣＶを構成するペットフレームそれぞれについてイベントを判定する。
イベント判定部２４０は、判定した結果をフレーム属性情報ＦＰに含め、イベント計数部２４１に供給する。

ここでイベント判定部２４０は、記憶部２３に記憶される学習結果２３０に基づく機械学習、及び記憶部２３に記憶されるイベント情報２３１を用いて判定する。イベント判定部２４０は、学習結果２３０に基づく機械学習を用いて、ペットＰの位置が、イベント情報２３１が示すイベントの種類に対応づけられた場所情報が示す領域に含まれるか否かを判定する。イベント判定部２４０は、ペットＰの位置が含まれる領域を示す場所情報に、イベント情報２３１において対応づけられたイベントの種類を、イベントの判定対象であるペットフレームに撮像されているイベントであると判定する。

例えば、イベント判定部２４０は、ペットＰの位置が水飲みの近くの領域に含まれると判定する場合、ペットフレームに含まれるイベントの種類が「水飲み」であると判定する。
したがって、イベント判定部２４０は、ペットフレーム抽出部２２０が抽出したペットフレームに撮像されている場所によってイベントの種類を判定する。

なお、イベント判定部２４０は、場所によってイベントの種類を判定する代わりに、ペットフレーム抽出部２２０が抽出したペットフレームに撮像されているペットＰの動きによってイベントの種類を判定してもよい。
ペットＰの動きによってイベントの種類を判定する場合、イベント判定部２４０は、記憶部２３に記憶される学習結果２３０に基づく機械学習を用いて、ペットフレームに撮像されているペットＰの動きを解析する。イベント判定部２４０がペットＰの動きによってイベントの種類を判定する場合、学習結果２３０には、ペットの動きとイベントの種類との対応が学習された結果が含まれてよい。

ステップＳ１０８：イベント計数部２４１は、イベント判定部２４０が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１が供給する撮像動画ＭＶに含まれるイベントの発生回数を数える。ここで、イベント計数部２４１は、イベント判定部２４０がイベントフレームであると判定したペットフレームと、連続ペットフレーム判定部２２１が判定した連続するペットフレームとに基づいてイベントの発生回数を数える。イベント計数部２４１は、イベントの発生回数をイベントの種類毎に数える。
イベント計数部２４１は、数えたイベントの発生回数をフレーム属性情報ＦＰに含める。イベント計数部２４１は、発生回数を含めたフレーム属性情報ＦＰを活動量計測部２４２に供給する。

ステップＳ１１０：活動量計測部２４２は、イベント計数部２４１が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１が供給する撮像動画ＭＶに含まれるイベントに伴うペットＰの運動量を計測する。ここで、活動量計測部２４２は、記憶部２３に記憶される学習結果２３０に基づいて計測する。

活動量計測部２４２は、記憶部２３に記憶される学習結果２３０に含まれる撮像されているペットの動きに対応する活動量の値に基づいて、イベント判定部２４０が判定したイベントフレーム毎に活動量を計測する。
活動量計測部２４２は、計測した結果をフレーム属性情報ＦＰに含める。活動量計測部２４２は、計測した結果を含めたフレーム属性情報ＦＰを、サムネイル選択部２５及びフレーム属性記憶部２６に供給する。

なお、活動量計測部２４２は、活動量の測定に、学習結果２３０に含まれる撮像されているペットの動きに対応する活動量の値の代わりに、イベントの種類毎に予め割り当てられた活動量の値を用いてもよい。活動量計測部２４２は、活動量の測定にイベントの種類毎に予め割り当てられた活動量の値を用いる場合、イベントの種類毎に予め割り当てられた活動量の値は、イベント情報２３１に含まれてよい。

ステップＳ１１２：サムネイル選択部２５は、イベント判定部２４０が判定したイベント毎に、イベントフレームのなかからサムネイルに対応するイベントフレームを選択する。ここでイベントフレームは、シーン動画ＣＶに含まれる連続するペットフレームである。したがって、サムネイル選択部２５は、シーン動画に含まれる連続するペットフレームのなかからサムネイル画像に対応するペットフレームを選択する。

ここでサムネイル選択部２５は、動画記憶部２１が供給する撮像動画ＭＶと、イベント解析部２４が供給するフレーム属性情報ＦＰと、記憶部２３に記憶される学習結果２３０に基づいて要約動画Ｖのサムネイルを選択する。サムネイル選択部２５は、学習結果２３０に基づいて、イベント判定部２４０が判定したイベント毎に、イベントフレームのうちいずれがサムネイルに適しているかを判定する。

サムネイル選択部２５は、選択結果をフレーム属性情報ＦＰに含める。サムネイル選択部２５は、選択結果を含めたフレーム属性情報ＦＰをフレーム属性記憶部２６に供給する。

なお、サムネイル選択部２５は、学習結果２３０に基づいてサムネイルを選択する代わりに、所定のルールに基づいてサムネイルを選択してもよい。所定のルールとは、例えば、イベント毎に最も時間の順序が早いイベントフレームをサムネイルとして選択することである。また、別の例では、所定のルールとは、イベント毎に最も時間の順序が遅いイベントフレームをサムネイルとして選択することである。また、別の例では、所定のルールとは、イベントフレームの画像内に占めるペットＰの画像の割合が最も大きいイベントフレームをサムネイルとして選択することである。

ステップＳ１１４：フレーム属性記憶部２６は、イベント画像生成準備のための処理を実行する。フレーム属性記憶部２６は、シーン判定部２２、イベント解析部２４、及びサムネイル選択部２５が供給するフレーム属性情報ＦＰを記憶する。フレーム属性記憶部２６は、記憶したフレーム属性情報ＦＰを要約動画生成部２７、及びサムネイル生成部２８に供給する。また、フレーム属性記憶部２６は、記憶したフレーム属性情報ＦＰを出力部２９に供給する。
また、フレーム属性記憶部２６は、イベント解析部２４が供給する活動量情報Ａを要約動画生成部２７に供給する。

ステップＳ１１６：イベント動画生成部２７０は、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１が供給する撮像動画ＭＶに含まれるイベントの発生回数が１以上であるか否かを判定する。

イベント動画生成部２７０は撮像動画ＭＶに含まれるイベントの発生回数が１以上であると判定する場合（ステップＳ１１６；ＹＥＳ）、ステップＳ１１８の処理を実行する。一方、イベント動画生成部２７０は、撮像動画ＭＶに含まれるイベントの発生回数が１以上でないと判定する場合（ステップＳ１１６；ＮＯ）、処理を終了する。

ステップＳ１１８：イベント動画生成部２７０は、イベント毎にイベント動画ＥＶを生成する処理を繰り返す。

ステップＳ１２０：イベント動画生成部２７０は、要約前イベント動画ＰＥＶを抽出する。ここでイベント動画生成部２７０は、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１が供給する撮像動画ＭＶから、１つのイベントについてイベントフレームを抽出する。イベント動画生成部２７０は、１つのイベントについて抽出したイベントフレームから構成される動画を要約前イベント動画ＰＥＶとする。

ステップＳ１２２：イベント動画生成部２７０は、抽出した要約前イベント動画ＰＥＶの時間の長さが所定の時間の長さ以上であるか否かを判定する。ここで所定の時間とは、例えば、３秒である。

イベント動画生成部２７０は、要約前イベント動画ＰＥＶの時間の長さが所定の時間の長さ以上であると判定する場合（ステップＳ１２２；ＹＥＳ）、ステップＳ１２４の処理を実行する。一方、イベント動画生成部２７０は、要約前イベント動画ＰＥＶの時間の長さが所定の時間の長さ以上でないと判定する場合（ステップＳ１２２；ＮＯ）、処理を終了する。

ステップＳ１２４：イベント動画生成部２７０は、イベント動画ＥＶを生成する。イベント動画生成部２７０は、生成したイベント動画ＥＶを出力部２９に供給する。
ここで図６を参照し、イベント動画生成部２７０がイベント動画ＥＶを生成方法について説明する。

図６は、本実施形態に係るイベント動画ＥＶの生成方法の一例を示す図である。図６に示す例では、イベント動画生成部２７０は、要約前イベント動画ＰＥＶ１からイベント動画ＥＶを生成する。要約前イベント動画ＰＥＶ１は、時間ｔ１０から時間ｔ１３までペットＰのあるイベントについて撮像さている動画である。時間ｔ１０から時間ｔ１３まで、つまり要約前イベント動画ＰＥＶ１の時間の長さは、３秒以上である。

イベント動画生成部２７０は、要約前イベント動画ＰＥＶの時間の長さが６０秒より長い場合、要約前イベント動画ＰＥＶ１の時間の長さを６０秒以内に短縮する。ここでイベント動画生成部２７０は、要約前イベント動画ＰＥＶ１の始めの部分と、終わりの部分とをそれぞれ所定の長さだけ削除することにより、要約前イベント動画ＰＥＶ１の時間の長さを短縮する。

ここで、イベント動画生成部２７０は、ペットフレームの数が非ペットフレームの数よりも多くなるように要約前イベント動画ＰＥＶの時間の長さを短縮する。連続ペットフレーム判定部２２１が、非ペットフレームをシーン動画ＣＶに含めない場合は、要約前イベント動画ＰＥＶには非ペットフレームは含まれない。
一方、連続ペットフレーム判定部２２１が非ペットフレームを、シーン動画ＣＶに含めた場合、イベント動画生成部２７０は、ペットフレームの数が非ペットフレームの数よりも多くなるように要約前イベント動画ＰＥＶの時間の長さを短縮する。

図６に示す例では、始めの部分として部分動画Ｐ１が選択され、終わりの部分として部分動画Ｐ３が選択されている。イベント動画生成部２７０は、要約前イベント動画ＰＥＶから、部分動画Ｐ１と、部分動画Ｐ３とを削除し、部分動画Ｐ２とする。部分動画Ｐ２は、時間ｔ１１から時間ｔ１２までペットＰのあるイベントについて撮像さている動画である。部分動画Ｐ２の時間の長さは、動画長さＬ１１である。ここで動画長さＬ１１は、６０秒である。
イベント動画生成部２７０は、部分動画Ｐ２をイベント動画ＥＶとする。

このように、イベント動画生成部２７０は、ペットフレーム抽出部２２０が抽出したペットフレームの数が、動画取得部２０が取得した動画を構成する複数のフレームのうちペットフレームを除くフレームである非ペットフレームの数よりも多い動画であるイベント動画ＥＶを、動画取得部２０が取得した撮像動画ＭＶに基づいて生成する。

ここでイベント動画生成部２７０は、シーン動画ＣＶの時間の長さを所定の長さ以下にしてイベント動画ＥＶを生成する。したがって、イベント動画生成部２７０は、連続ペットフレーム判定部２２１が判定したペットフレームから構成されるシーン動画ＣＶ（要約前イベント動画ＰＥＶ）に含まれる連続するペットフレームの数を所定の数以下にした動画（部分動画Ｐ２）に基づいてイベント動画ＥＶを生成する。

なお、イベント動画生成部２７０は、要約前イベント動画ＰＥＶの始めの部分を削除して、６０秒以内に短縮してもよい。イベント動画生成部２７０は、要約前イベント動画ＰＥＶの終わりの部分を削除して、６０秒以内に短縮してもよい。イベント動画生成部２７０は、要約前イベント動画ＰＥＶの途中の部分を削除して、６０秒以内に短縮してもよい。

また、イベント動画生成部２７０は、要約前イベント動画ＰＥＶのいずれの部分を削除し６０秒以内に短縮するかを、記憶部２３に記憶される学習結果２３０に基づいて選択してもよい。イベント動画生成部２７０が要約前イベント動画ＰＥＶのいずれの部分を削除し６０秒以内に短縮するかを、学習結果２３０に基づいて選択する場合、学習結果２３０には、ペットがよく撮像されている動画の判定結果が含まれてよい。

イベント動画生成部２７０は、生成したイベント動画ＥＶに対する活動量を算出する。ここでイベント動画ＥＶに対する活動量とは、イベント動画ＥＶに含まれるペットフレーム毎に計測された活動量が、所定の時間間隔において集計された量である。所定の時間間隔とは、例えば、１０秒である。

図５に戻って、イベント動画ＥＶの生成及び出力処理の説明を続ける。
ステップＳ１２６：サムネイル生成部２８は、動画記憶部２１が供給する撮像動画ＭＶと、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰとに基づいてサムネイルＳＮを生成する。サムネイル生成部２８は、生成したサムネイルＳＮを出力部２９に供給する。

なお、イベント動画生成部２７０により要約前イベント動画ＰＥＶがイベント動画ＥＶに短縮される処理において削除した部分に、サムネイル選択部２５が選択したイベントフレームが含まれる場合、サムネイル選択部２５は、イベント動画生成部２７０が生成したイベント動画ＥＶを構成する複数のイベントフレームのなかからサムネイルに対応するフレームを再度選択してもよい。この場合、サムネイル選択部２５は、選択結果に基づいてフレーム属性情報ＦＰを更新し、フレーム属性記憶部２６に再度供給する。

ステップＳ１２８：要約動画出力部２９０は、イベント動画生成部２７０が供給するイベント動画ＥＶを、端末装置３に出力する。サムネイル出力部２９１は、サムネイル生成部２８が供給するこのイベント動画ＥＶに対応するサムネイルＳＮを、端末装置３に出力する。

また、要約動画出力部２９０は、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰが示すイベント発生回数を、端末装置３に出力する。したがって、要約動画出力部２９０は、要約動画生成部２７が生成した要約動画（イベント動画ＥＶ）に加えて、イベント計数部２４１が計数したイベントの発生回数をさらに出力する。

また、要約動画出力部２９０は、イベント動画生成部２７０が算出したイベント動画ＥＶに対する活動量を、端末装置３に出力する。
また、要約動画出力部２９０は、イベント動画ＥＶに加えて、このイベント動画ＥＶに含まれるイベントの開始時刻を示す情報を端末装置３に送信する。
また、要約動画出力部２９０は、イベント動画ＥＶに加えて、このイベント動画ＥＶに含まれるイベントの種類を示す情報を端末装置３に送信する。

ステップＳ１３０：イベント動画生成部２７０は、イベント毎にイベント動画ＥＶを生成する処理を終了する。

（サマリ動画の生成及び出力）
次に図７及び図８を参照し、サマリ動画ＳＶの生成及び出力処理について説明する。
図７は、本実施形態に係るサマリ動画ＳＶ１の生成及び出力処理の一例を示す図である。図７に示す処理は、サマリ動画ＳＶが生成される所定の周期において実行される。

ステップＳ２００：サマリ動画生成部２７１は、イベント動画生成部２７０が生成したイベント動画ＥＶを取得する。ここでイベント動画生成部２７０が生成したイベント動画ＥＶとは、サマリ動画生成部２７１がサマリ動画ＳＶを前回生成してからイベント動画生成部２７０が生成したイベント動画ＥＶである。イベント動画生成部２７０が生成したイベント動画ＥＶが複数ある場合、サマリ動画生成部２７１は、複数のイベント動画ＥＶを取得する。

ステップＳ２０２：サマリ動画生成部２７１は、取得したイベント動画ＥＶに基づいてサマリ動画ＳＶを生成する。

ここで図８を参照し、サマリ動画ＳＶ１の生成方法について説明する。
図８は、本実施形態に係るサマリ動画ＳＶ１の生成方法の一例を示す図である。図８（Ａ）では、イベント動画生成部２７０が生成したイベント動画ＥＶ１～ＰＥＶ１８が時系列に示されている。イベント動画ＥＶ１の時間の長さ、イベント動画ＥＶ２の時間の長さ、及びイベント動画ＥＶ３の時間の長さは、それぞれ動画長さＬ１１（６０秒）である。イベント動画ＥＶ４の時間の長さは、動画長さＬ１２（例えば４０秒）である。
イベント動画ＥＶ１～ＰＥＶ１８のそれぞれの間には、非イベント動画ＮＥＶ１、非イベント動画ＮＥＶ２、…が存在している。非イベント動画ＮＥＶ１、非イベント動画ＮＥＶ２、…は、イベント動画ＥＶと判定されなかったシーン動画ＣＶである。

イベント動画ＥＶ１～ＰＥＶ１８には、４種類のイベントが含まれる。イベント動画ＥＶ１、及びイベント動画ＥＶ１０には、「水飲み」のイベントが含まれる。イベント動画ＥＶ４、及びイベント動画ＥＶ１２には、「ごはん」のイベントが含まれる。イベント動画ＥＶ５、及びイベント動画ＥＶ１７には、「トイレ」のイベントが含まれる。残りのイベント動画ＥＶ２、イベント動画ＥＶ３、イベント動画ＥＶ６～ＰＥＶ９、イベント動画ＥＶ１１、イベント動画ＥＶ１３～ＰＥＶ１６、及びイベント動画ＥＶ１８には、「カメラの前で動いている」のイベントが含まれる。

サマリ動画生成部２７１は、イベント動画ＥＶ１～ＰＥＶ１８に基づいて動画長さＬ３１のサマリ動画ＳＶを生成する。ここで動画長さＬ３１とは、例えば、６０秒である。サマリ動画生成部２７１は、イベント動画ＥＶ１～ＰＥＶ１８のなかから、サマリ動画ＳＶを生成するためのイベント動画ＥＶを選択する。サマリ動画生成部２７１は、選択したイベント動画ＥＶを所定の時間の長さ以下に短縮し、６０秒のサマリ動画ＳＶを生成する。ここで所定の長さとは、例えば、７秒である。
したがって、図８に示す例では、サマリ動画生成部２７１は、イベント動画ＥＶ１～ＰＥＶ１８のなかから、少なくとも９つのイベント動画ＥＶを選択する。

ただし、サマリ動画生成部２７１は、動画取得部２０が取得した撮像動画ＭＶに複数の種類のイベントが含まれる場合、イベント判定部２４０が判定したイベントフレームに基づいて、複数の種類のイベントがサマリ動画ＳＶに含まれるようにサマリ動画ＳＶを生成する。

図８（Ｂ）に示す例では、サマリ動画生成部２７１は、イベント動画ＥＶ１、イベント動画ＥＶ２、イベント動画ＥＶ４、イベント動画ＥＶ５、イベント動画ＥＶ９、イベント動画ＥＶ１０、イベント動画ＥＶ１２、イベント動画ＥＶ１６、及びイベント動画ＥＶ１８を、サマリ動画ＳＶを生成するために選択する。これにより、「水飲み」、「カメラの前で動いている」、「ごはん」、及び「トイレ」の複数の種類のイベントがそれぞれサマリ動画ＳＶに含まれる。

図８（Ｃ）に示すように、サマリ動画生成部２７１は、選択したイベント動画ＥＶ１を短縮して、動画長さＬ２１の短縮イベント動画ＳＥＶ１を生成する。ここで動画長さＬ２１は、７秒以下である。同様に、サマリ動画生成部２７１は、残りの選択したイベント動画ＥＶ２、イベント動画ＥＶ４、…についてもそれぞれ７秒以下の長さに短縮し、短縮イベント動画ＳＥＶ２、短縮イベント動画ＳＥＶ４、…を生成する。ここでサマリ動画生成部２７１は、短縮イベント動画ＳＥＶ１、短縮イベント動画ＳＥＶ２、…の長さが均等になるように生成する。

サマリ動画生成部２７１は、生成した短縮イベント動画ＳＥＶ１、短縮イベント動画ＳＥＶ２、短縮イベント動画ＳＥＶ４、短縮イベント動画ＳＥＶ５、短縮イベント動画ＳＥＶ９、短縮イベント動画ＳＥＶ１０、短縮イベント動画ＳＥＶ１２、短縮イベント動画ＳＥＶ１６、及び短縮イベント動画ＳＥＶ１８を時系列の順に連結し、サマリ動画ＳＶ１とする。

サマリ動画ＳＶ１は、イベント動画ＥＶに基づいて生成されているため、サマリ動画ＳＶ１では、ペットフレームの数が非ペットフレームの数よりも多い。したがって、サマリ動画生成部２７１は、ペットフレーム抽出部２２０が抽出したペットフレームの数が、動画取得部２０が取得した動画を構成する複数のフレームのうちペットフレームを除くフレームである非ペットフレームの数よりも多い動画であるサマリ動画ＳＶを、動画取得部２０が取得した撮像動画ＭＶに基づいて生成する。

ここで、サマリ動画生成部２７１は、イベント動画ＥＶの時間の長さを所定の長さ以下にしてサマリ動画ＳＶを生成する。したがって、サマリ動画生成部２７１は、連続ペットフレーム判定部２２１が判定したペットフレームから構成されるシーン動画ＣＶ（要約前イベント動画ＰＥＶ）に含まれる連続するペットフレームの数を所定の数以下にした動画（短縮イベント動画ＳＥＶ１、短縮イベント動画ＳＥＶ２、…）に基づいてサマリ動画ＳＶを生成する。

図７に戻って、サマリ動画ＳＶの生成及び出力処理の説明を続ける。
ステップＳ２０４：サムネイル生成部２８は、サマリ動画生成部２７１が生成したサマリ動画ＳＶのサムネイルＳＮを生成する。ここでサムネイル生成部２８は、動画記憶部２１が供給する撮像動画ＭＶと、フレーム属性記憶部２６が供給するフレーム属性情報ＦＰとに基づいて、撮像動画ＭＶに含まれるイベント動画ＥＶそれぞれについてサムネイルＳＮを生成する。サムネイル生成部２８は、生成したサムネイルＳＮのうち、サマリ動画生成部２７１がサマリ動画ＳＶを生成するために選択したイベント動画ＥＶに対応するサムネイルＳＮから、サマリ動画ＳＶのサムネイルＳＮを選択する。

サムネイル生成部２８は、例えば、サマリ動画生成部２７１がサマリ動画ＳＶを生成するために選択したイベント動画ＥＶに含まれる最も数の多い種類のイベントを含むイベント動画ＥＶから、サマリ動画ＳＶのサムネイルＳＮを選択する。
別の例では、サムネイル生成部２８は、例えば、サマリ動画生成部２７１がサマリ動画ＳＶを生成するために選択したイベント動画ＥＶに含まれる最も時間の長い種類のイベントを含むイベント動画ＥＶから、サマリ動画ＳＶのサムネイルＳＮを選択する。

さらに別の例では、サムネイル生成部２８は、サマリ動画生成部２７１がサマリ動画ＳＶを生成するために選択したイベント動画ＥＶのうち、時系列の最も新しいイベント動画ＥＶのサムネイルＳＮを、サマリ動画ＳＶのサムネイルＳＮを選択してもよい。

ステップＳ２０６：要約動画出力部２９０は、サマリ動画生成部２７１が供給するサマリ動画ＳＶを端末装置３に出力する。サムネイル出力部２９１は、サムネイル生成部２８が供給するこのサマリ動画ＳＶに対応するサムネイルＳＮを、端末装置３に出力する。

なお、図５のステップＳ１２８の処理及び図７のステップＳ２０６の処理では、要約動画出力部２９０は、要約動画Ｖが生成されると、端末装置３に生成された要約動画Ｖを出力する場合について説明したが、これに限らない。
要約動画出力部２９０は、まず要約動画Ｖに対応するサムネイルＳＮを端末装置３に出力し、端末装置３からのリクエストを取得した場合に、要約動画Ｖを出力してもよい。

（出力結果）
図９～図１２を参照し、ペット動画解析装置２の出力結果である端末装置３の画面の例について説明する。端末装置３の画面の例には、時系列画面Ｇ１、アルバム画面Ｇ２、活動量表示画面Ｇ３、及びレポート画面Ｇ４がある。

図９は、本実施形態に係る時系列画面Ｇ１の一例を示す図である。時系列画面Ｇ１は、イベントが発生したことを、イベント動画ＥＶをイベントが発生した時系列の順に並べて通知するための画面である。また、時系列画面Ｇ１には、１日に３回、サマリ動画ＳＶが生成されたことが通知される。

図９に示す時系列画面Ｇ１では、イベント動画ＥＶ１、及びイベント動画ＥＶ２が生成されたことが通知されている。時系列画面Ｇ１において、イベント動画ＥＶ１、及びイベント動画ＥＶ２は、イベントが発生した時系列の順に並べて表示される。

時系列画面Ｇ１には、イベント動画ＥＶ１について、タイムスタンプＴ１、アイコンＡ１、メッセージＭ１が表示されている。時系列画面Ｇ１には、イベント動画ＥＶ２について、タイムスタンプＴ２、アイコンＡ２、メッセージＭ２が表示されている。

タイムスタンプＴ１は、イベント動画ＥＶ１に含まれるイベントの開始時刻を示す。アイコンＡ１は、イベント動画ＥＶとサマリ動画ＳＶとの区別とともに、イベント動画ＥＶ１に含まれるイベントの種類を示す。メッセージＭ１は、イベント動画ＥＶ１に含まれるイベントの種類に応じた定型のテキストである。
タイムスタンプＴ２、アイコンＡ２、メッセージＭ２についても同様である。

図１０は、本実施形態に係るアルバム画面Ｇ２の一例を示す図である。アルバム画面Ｇ２は、アルバムＡＬを閲覧するための画面である。ここでアルバムＡＬとは、過去に生成されたイベント動画ＥＶ、及びサマリ動画ＳＶが蓄積されたものである。
アルバム画面Ｇ２には、イベント動画ＥＶ、及びサマリ動画ＳＶそれぞれのサムネイルＳＮと、カレンダーの情報が表示されている。サムネイルＳＮ１は、イベント動画ＥＶのサムネイルＳＮの一例である。カレンダー画像Ｃ１は、カレンダーの情報の一例である。

図１１は、本実施形態に係る活動量表示画面Ｇ３の一例を示す図である。活動量表示画面Ｇ３は、イベント動画ＥＶ毎に集計された活動量を確認するための画面である。活動量表示画面Ｇ３には、イベント動画ＥＶのサムネイルＳＮと、一日の活動量を示す活動量グラフＡＧが表示される。
サムネイルＳＮは、イベントが発生した時系列の順に並べて表示される。サムネイルＳＮ２は、イベント動画ＥＶのサムネイルＳＮの一例である。

図１２は、本実施形態に係るレポート画面Ｇ４の一例を示す図である。レポート画面Ｇ４は、イベントのうち「水飲み」、「ごはん」、及び「トイレ」のそれぞれの一日の回数をグラフにより表示するための画面である。レポート画面Ｇ４では、水飲み回数グラフＣＧ１、ごはん回数グラフＣＧ２、及びトイレ回数グラフＣＧ３が表示されている。

以上に説明したように、本実施形態に係るペット動画解析装置２は、動画取得部２０と、ペットフレーム抽出部２２０と、要約動画生成部２７と、要約動画出力部２９０とを備える。
動画取得部２０は、ペットＰが撮像された動画（撮像動画ＭＶ）を取得する。
ペットフレーム抽出部２２０は、動画取得部２０が取得した動画（撮像動画ＭＶ）を構成する複数のフレームから、ペットＰが撮像されているフレームであるペットフレームを抽出する。
要約動画生成部２７は、ペットフレーム抽出部２２０が抽出したペットフレームの数が、動画取得部２０が取得した動画（撮像動画ＭＶ）を構成する複数のフレームのうちペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画Ｖを、動画取得部２０が取得した動画（撮像動画ＭＶ）に基づいて生成する。

この構成により、本実施形態に係るペット動画解析装置２では、ペットＰが撮像されている場面の割合が、ペットＰが撮像されていない場面の割合よりも多い動画を出力できるため、ペットＰを効率よく見守ることができる。

また、本実施形態に係るペット動画解析装置２は、連続ペットフレーム判定部２２１をさらに備える。
連続ペットフレーム判定部２２１は、ペットフレーム抽出部２２０が抽出したペットフレームのなかから、動画取得部２０が取得した動画（撮像動画ＭＶ）において連続するペットフレームを判定する。
また、要約動画生成部２７は、連続ペットフレーム判定部２２１が判定したペットフレームから構成されるシーン動画ＣＶに含まれる連続するペットフレームの数を所定の数以下にした動画（部分動画Ｐ２、短縮イベント動画ＳＥＶ１、短縮イベント動画ＳＥＶ２、…）に基づいて要約動画Ｖを生成する。

この構成により、本実施形態に係るペット動画解析装置２では、動画（撮像動画ＭＶ）に含まれるシーン毎に要約動画Ｖを生成できるため、シーン毎にペットＰを効率よく見守ることができる。

また、本実施形態に係るペット動画解析装置２は、サムネイル選択部２５をさらに備える。
サムネイル選択部２５は、シーン動画ＣＶに含まれる連続するペットフレームのなかからサムネイル画像（サムネイルＳＮ）に対応するペットフレームを選択する。

この構成により、本実施形態に係るペット動画解析装置２では、要約動画Ｖに対するサムネイル画像（サムネイルＳＮ）を端末装置３に表示できるため、要約動画Ｖを再生する前に要約動画Ｖの内容の概略を確認できる。

また、本実施形態に係るペット動画解析装置２は、イベント判定部２４０をさらに備える。
イベント判定部２４０は、連続ペットフレーム判定部２２１が判定したペットフレームが、予め登録されているペットＰの行動を示すイベントが撮像されているフレームであるイベントフレームであるか否かを判定する。

この構成により、本実施形態に係るペット動画解析装置２では、シーン動画ＣＶに含まれるイベントを判定できるため、イベント毎にペットＰを効率よく見守ることができる。

また、本実施形態に係るペット動画解析装置２は、イベント計数部２４１をさらに備える。
イベント計数部２４１は、イベント判定部２４０がイベントフレームであると判定したペットフレームと、連続ペットフレーム判定部２２１が判定した連続するペットフレームとに基づいてイベントの発生回数を数える。
要約動画出力部２９０は、要約動画生成部２７が生成した要約動画Ｖに加えて、イベント計数部２４１が計数したイベントの発生回数をさらに出力する。

この構成により、本実施形態に係るペット動画解析装置２では、シーン動画ＣＶに含まれるイベントの発生回数を通知できるため、イベントの発生回数を確認することができる。

また、本実施形態に係るペット動画解析装置２では、要約動画生成部２７は、動画取得部２０が取得した動画（撮像動画ＭＶ）に複数の種類のイベントが含まれる場合、イベント判定部２４０が判定したイベントフレームに基づいて、複数の種類のイベントが要約動画Ｖに含まれるように要約動画Ｖを生成する。

この構成により、本実施形態に係るペット動画解析装置２では、要約動画Ｖに複数の種類のイベントを含めることができるため、要約動画Ｖが単調な内容になることを防ぐことができる。

また、本実施形態に係るペット動画解析装置２では、イベント判定部２４０は、ペットフレーム抽出部２２０が抽出したペットフレームに撮像されている場所によってイベントの種類を判定する。

この構成により、本実施形態に係るペット動画解析装置２では、ペットフレームに撮像されている場所によってイベントの種類を判定できるため、画像認識の技術だけを用いてイベントの種類を判定する場合に比べてイベントの種類を簡便に判定することができる。

本発明においては、動画解析によりペットＰの病気の予兆となるような行動を検出することにより、将来の病気のリスクを予防するなど、ペットの健康管理を行うことに用いられてもよい。このペットの健康管理には、図１２のレポート画面Ｇ４において表示されるイベントの発生回数が用いられてもよい。

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、ペット動画解析装置は、ペットが特定のペットであるか否かを判定せずにペット（一例として、猫）が撮像された動画を解析する場合について説明をした。本実施形態では、ペット動画解析装置が、ペットが特定のペット（一例として、特定の猫）であるか否かを判定してペットが撮像された動画を解析する場合について説明をする。
本実施形態に係るペット動画解析装置をペット動画解析装置２ａといい、端末装置を端末装置３ａという。

図１３は、本実施形態に係るペット動画解析装置２ａの機能構成の一例を示す図である。本実施形態に係るペット動画解析装置２ａ（図１３）と第１の実施形態に係るペット動画解析装置２（図２）とを比較すると、動画記憶部２１ａ、記憶部２３ａ、フレーム属性記憶部２６ａ、ペット判定部３０ａ、評価取得部３１ａ、及び出力部２９ａが異なる。ここで、他の構成要素（動画取得部２０、シーン判定部２２、イベント解析部２４、サムネイル選択部２５、要約動画生成部２７、及びサムネイル生成部２８）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。

動画記憶部２１ａは、記憶している撮像動画ＭＶを、シーン判定部２２、イベント解析部２４、サムネイル選択部２５、及び要約動画生成部２７に加えて、ペット判定部３０ａに供給する。

記憶部２３ａには、学習結果２３０と、イベント情報２３１とに加えて、ペット情報２３２ａが記憶される。
ペット情報２３２ａとは、特定のペットＰを示す情報である。ペット情報２３２ａは、ペットＰの名前と、ペットＰの画像を判定するため機械学習による学習結果とが対応づけられた情報である。ペットＰの画像を判定するため機械学習は、例えば、利用者によって予め登録されるペットＰの全身の画像や、ペットＰの顔の画像を用いて実行される。

ペット判定部３０ａは、ペットフレーム抽出部２２０が抽出したペットフレームに撮像されたペットが特定のペットＰであるか否かを判定する。ここでペット判定部３０ａは、記憶部２３ａに記憶されるペット情報２３２ａに基づいて判定する。

また、ペット判定部３０ａは、評価取得部３１ａが取得した評価に基づいて動画取得部２０が取得した撮像動画ＭＶに撮像されたペットが特定のペットＰであるか否かを判定する。ここで評価取得部３１ａが取得した評価とは、評価取得部３１ａが判定した結果が通知されたことに応じて得られる評価である。この評価とは、ペット判定部３０ａが判定したペットの判定結果が正しいか否かについて利用者により行われる評価である。結果が通知されたことに応じて得られる評価とは、例えば、猫種（ペットＰが犬の場合は犬種）が同一であるなど、外見が似通っている個別のペットＰの判定に際し、ペットＰを正しく特定していたり、間違っていたりする場合に、利用者が正誤を入力するフィードバックである。

ここで図１４を参照し、ペット判定部３０ａの判定結果について説明する。
図１４は、本実施形態に係る撮像動画ＭＶの解析結果の一例を示す図である。ペット判定部３０ａは、ペットフレーム抽出部２２０が抽出したペットフレームであるフレームＦＮ３、フレームＦＮ５、及びフレームＦＮ６に撮像されたペットが「タマ」の名前をもつ特定のペットＰであるか否かを判定する。

図１４に示す例では、フレームＦＮ３、フレームＦＮ５、及びフレームＦＮ６に撮像されたペットが、「タマ」の名前をもつ特定のペットＰであると判定されている。ペット判定部３０ａは、判定結果に基づいてペット判定情報Ｎを生成する。ここでペット判定情報Ｎとは、撮像動画ＭＶを構成する複数のフレームのフレーム番号と、ペット判定部３０ａが判定した結果とが対応づけられた情報である。

なお、ペット判定部３０ａは、複数のペットを判定してもよい。ペット判定部３０ａが複数のペットを判定する場合、ペット情報２３２ａには、複数のペット毎に、ペットの名前と、ペットの画像を判定するため機械学習による学習結果とが対応づけられた情報が含まれる。
ペット判定部３０ａが複数のペットを判定する場合、ペット判定情報Ｎは、撮像動画ＭＶを構成する複数のフレームのフレーム番号毎に、例えば、ペットの名前が対応づけられた情報となる。

図１３に戻って、ペット動画解析装置２ａの構成の説明を続ける。

評価取得部３１ａは、ペット判定部３０ａが判定した結果が通知されたことに応じて得られる評価を、端末装置３から取得する。

フレーム属性記憶部２６は、ペット判定部３０ａが供給するペット判定情報Ｎを要約動画生成部２７に供給する。

出力部２９ａは、要約動画出力部２９０と、サムネイル出力部２９１とに加えて、ペット判定結果通知部２９２ａを備える。
ペット判定結果通知部２９２ａは、ペット判定部３０ａが判定した結果を、端末装置３ａに通知する。

次に図１５を参照し、ペット動画解析装置２ａのペット判定処理について説明する。
図１５は、本実施形態に係るペット判定処理の一例を示す図である。図５に示す処理は、所定の周期（例えば、１時間）において実行される。なお、ステップＳ３００、及びステップＳ３０２の各処理は、図５におけるステップＳ１００、及びステップＳ１０２の各処理と同様であるため、説明を省略する。

ステップＳ３０４：ペット判定部３０ａは、評価取得部３１ａが端末装置３ａから評価を取得したか否かを判定する。ここでペット判定部３０ａは、評価取得部３１ａから評価が供給される場合、評価取得部３１ａが端末装置３ａから評価を取得したと判定する。

ペット判定部３０ａは、評価取得部３１ａが端末装置３ａから評価を取得したと判定する場合（ステップＳ３０４；ＹＥＳ）、ステップＳ３０６の処理を実行する。一方、ペット判定部３０ａは、評価取得部３１ａが端末装置３ａから評価を取得していないと判定する場合（ステップＳ３０４；ＮＯ）、ステップＳ３０８の処理を実行する。

ステップＳ３０６：ペット判定部３０ａは、評価取得部３１ａが供給する評価に基づいて、記憶部２３に記憶されるペット情報２３２ａを更新する。ここでペット判定部３０ａは、ペット情報２３２ａに含まれる、ペットの画像を判定するため機械学習による学習結果を更新する。ペット判定部３０ａは、評価取得部３１ａが供給する評価を教師データとして利用し、再学習を行うことにより、判定の精度を向上させる。
なお、ペット判定部３０ａが判定を行うために用いる機械学習モデルは、必ずしもあらゆるペットＰを個々に特定する単一のモデルとして汎化性能を備える必要はなく、特定の撮像環境における判定の精度を向上させることを目的として学習されてよい。

ステップＳ３０８：ペット判定部３０ａは、ペット判定部３０ａは、記憶部２３ａに記憶されるペット情報２３２ａに基づいて、ペットフレーム抽出部２２０が抽出したペットフレームに撮像されたペットが特定のペットＰであるか否かを判定する。ここで特定のペットＰとは、ペット情報２３２ａが示すペットである。
ペット判定部３０ａは、判定結果に基づいてペット判定情報Ｎを生成する。ペット判定部３０ａは、生成したペット判定情報Ｎをフレーム属性記憶部２６ａに供給する。

ステップＳ３１０：ペット判定結果通知部２９２ａは、フレーム属性記憶部２６ａが供給するペット判定情報Ｎに基づいて、ペット判定部３０ａの判定結果を端末装置３ａに通知する。ここでペット判定結果通知部２９２ａは、ペット判定部３０ａの判定結果を要約動画Ｖ（イベント動画ＥＶ、及びサマリ動画ＳＶ）に対応づけて通知する。

端末装置３ａに表示される時系列画面Ｇ１において、ペット判定部３０ａの判定結果は、要約動画Ｖ（イベント動画ＥＶ、及びサマリ動画ＳＶ）とともに表示される。例えば、時系列画面Ｇ１には、タイムスタンプＴ１や、アイコンＡ１などとともに、判定結果としてペットＰの名前が表示される。

以上に説明したように、本実施形態に係るペット動画解析装置２ａは、ペット判定部３０ａと、ペット判定結果通知部２９２ａとを備える。
ペット判定部３０ａは、ペットフレーム抽出部２２０が抽出したペットフレームに撮像されたペットが特定のペットＰであるか否かを判定する。
ペット判定結果通知部２９２ａは、ペット判定部３０ａが判定した結果を通知する。

この構成により、本実施形態に係るペット動画解析装置２ａでは、特定のペットと他のペットとを区別することができるため、ペット毎にペットを効率よく見守ることができる。

また、本実施形態に係るペット動画解析装置２ａは、評価取得部３１ａを備える。
評価取得部３１ａは、ペット判定部３０ａが判定した結果が通知されたことに応じて得られる評価を取得する。
ペット判定部３０ａは、評価取得部３１ａが取得した評価に基づいて動画取得部２０が取得した動画（撮像動画ＭＶ）に撮像されたペットが特定のペットＰであるか否かを判定する。

この構成により、本実施形態に係るペット動画解析装置２ａでは、ペット判定部３０ａが判定した結果が通知されたことに応じて得られる評価に基づいて特定のペットＰであるか否かを判定できるため、判定の精度を向上させることができる。

（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
本実施形態では、ペット動画解析装置が、要約動画として短縮される前の動画や、利用者が録画した動画を保存し、それらの動画を端末装置からのリクエストに応じて端末装置に出力する場合について説明をする。
本実施形態に係るペット動画解析装置をペット動画解析装置２ｂといい、端末装置を端末装置３ｂという。

図１６は、本実施形態に係るペット動画解析装置２ｂの機能構成の一例を示す図である。本実施形態に係るペット動画解析装置２ｂ（図１６）と第１の実施形態に係るペット動画解析装置２（図２）とを比較すると、動画記憶部２１ｂ、記憶部２３ｂ、フレーム属性記憶部２６ｂ、出力部２９ｂ、リクエスト取得部３２ｂ、及びアーカイブ動画管理部３３ｂが異なる。ここで、他の構成要素（動画取得部２０、シーン判定部２２、イベント解析部２４、サムネイル選択部２５、要約動画生成部２７、及びサムネイル生成部２８）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第３の実施形態では、第１の実施形態と異なる部分を中心に説明する。

動画記憶部２１ｂは、記憶している撮像動画ＭＶを、シーン判定部２２、イベント解析部２４、サムネイル選択部２５、及び要約動画生成部２７に加えて、アーカイブ動画管理部３３ｂに供給する。

記憶部２３ｂには、学習結果２３０と、イベント情報２３１とに加えて、シーン動画２３３ｂと、録画動画２３４ｂとが記憶される。
シーン動画２３３ｂとは、イベント判定部２４０によりイベントが含まれると判定されたシーン動画ＣＶ（要約前イベント動画ＰＥＶ）である。シーン動画２３３ｂの時間の長さは、６０秒以上である場合がある。
録画動画２３４ｂとは、ペット動画解析装置２ｂが撮像装置１から取得される撮像動画ＭＶを即時に端末装置３ｂに出力する場合に、この撮像動画ＭＶが録画された動画である。
シーン動画２３３ｂと、録画動画２３４ｂとをまとめてアーカイブ動画という。

フレーム属性記憶部２６ｂは、イベント解析部２４が供給するフレーム属性情報ＦＰをアーカイブ動画管理部３３ｂに供給する。

リクエスト取得部３２ｂは、アーカイブ動画リクエスト取得部３２０ｂと、ライブ動画リクエスト取得部３２１ｂとを備える。
アーカイブ動画リクエスト取得部３２０ｂは、アーカイブ動画リクエスト命令を端末装置３ｂから取得する。ここでアーカイブ動画リクエスト命令とは、アーカイブ動画をペット動画解析装置２に出力させるための命令である。アーカイブ動画リクエスト命令は、アーカイブ動画のリストを出力させるための命令と、特定のアーカイブ動画を出力させるための命令とを含む。
アーカイブ動画リクエスト取得部３２０ｂは、アーカイブ動画リクエスト命令を取得すると、アーカイブ動画管理部３３ｂに供給する。

ライブ動画リクエスト取得部３２１ｂは、ライブ動画リクエスト命令を端末装置３ｂから取得する。ここでライブ動画リクエスト命令とは、ライブ動画をペット動画解析装置２に出力させたり、ライブ動画をペット動画解析装置２に録画させたりするための命令である。

ライブ動画リクエスト取得部３２１ｂは、ライブ動画リクエスト命令を取得すると、ライブ動画リクエスト命令が示す命令の種類に応じて、ライブ動画出力命令とライブ動画録画命令とのいずれかを、アーカイブ動画管理部３３ｂに供給する。
ライブ動画リクエスト取得部３２１ｂは、ライブ動画リクエスト命令がライブ動画をペット動画解析装置２に出力させることを示す場合、ライブ動画出力命令をアーカイブ動画管理部３３ｂに供給する。
一方、ライブ動画リクエスト取得部３２１ｂは、ライブ動画リクエスト命令がライブ動画をペット動画解析装置２に録画させることを示す場合、ライブ動画録画命令をアーカイブ動画管理部３３ｂに供給する。

アーカイブ動画管理部３３ｂは、フレーム属性記憶部２６ｂが供給するフレーム属性情報ＦＰに基づいて、動画記憶部２１ａが供給する撮像動画ＭＶから要約前イベント動画ＰＥＶを抽出する。アーカイブ動画管理部３３ｂは、抽出した要約前イベント動画ＰＥＶを、シーン動画２３３ｂとして記憶部２３ｂに記憶させる。

ここで、要約前イベント動画ＰＥＶは、連続ペットフレーム判定部２２１が判定したペットフレームから構成される。したがって、アーカイブ動画管理部３３ｂは、連続ペットフレーム判定部２２１が判定したペットフレームから構成されるシーン動画２３３ｂを記憶部２３ｂに記憶させる記憶制御部である。

また、アーカイブ動画管理部３３ｂは、ライブ動画リクエスト取得部３２１ｂから供給されるライブ動画出力命令に応じて、撮像動画ＭＶを、ライブ動画出力部２９４ｂに供給する。
また、アーカイブ動画管理部３３ｂは、ライブ動画リクエスト取得部３２１ｂから供給されるライブ動画録画命令に応じて、動画記憶部２１が供給する撮像動画ＭＶを、記憶部２３に録画動画２３４ｂとして記憶させる。

また、アーカイブ動画管理部３３ｂは、アーカイブ動画リクエスト取得部３２０ｂから供給されるアーカイブ動画リクエスト命令に応じて、リクエスト取得部３２ｂに記憶されるアーカイブ動画を、アーカイブ動画出力部２９３ｂに出力する。

ここでアーカイブ動画管理部３３ｂは、アーカイブ動画リクエスト命令がアーカイブ動画のリストを出力させるための命令を含む場合、複数のアーカイブ動画（シーン動画２３３ｂ、及び録画動画２３４ｂ）にそれぞれ対応するサムネイルＳＮを、アーカイブ動画のリストとして、ライブ動画出力部２９４ｂに供給する。

一方、アーカイブ動画管理部３３ｂは、アーカイブ動画リクエスト命令が特定のアーカイブ動画（シーン動画２３３ｂ、及び録画動画２３４ｂ）を出力させるための命令を含む場合、アーカイブ動画リクエスト命令が示す特定のアーカイブ動画（シーン動画２３３ｂ、及び録画動画２３４ｂ）を、ライブ動画出力部２９４ｂに供給する。

出力部２９ｂは、要約動画出力部２９０と、サムネイル出力部２９１とに加えて、アーカイブ動画出力部２９３ｂと、ライブ動画出力部２９４ｂとを備える。

アーカイブ動画出力部２９３ｂは、アーカイブ動画管理部３３ｂが供給するアーカイブ動画のリストを端末装置３ｂに出力する。アーカイブ動画のリストは、端末装置３ｂにおいて、図１０に示したようなアルバム画面Ｇ２を用いて表示されてよい。

また、アーカイブ動画出力部２９３ｂは、アーカイブ動画管理部３３ｂが供給するアーカイブ動画（シーン動画２３３ｂ、または録画動画２３４ｂ）を端末装置３ｂに出力する。したがって、アーカイブ動画出力部２９３ｂは、記憶制御部であるアーカイブ動画管理部３３ｂが記憶部２３ｂに記憶させたシーン動画２３３ｂを出力する。

ライブ動画出力部２９４ｂは、アーカイブ動画管理部３３ｂがライブ動画として供給する撮像動画ＭＶを、端末装置３ｂに出力する。ここでライブ動画出力部２９４ｂは、例えば、ストリーミングを用いて撮像動画ＭＶを端末装置３に出力する。

以上に説明したように、本実施形態に係るペット動画解析装置２ｂは、記憶制御部（アーカイブ動画管理部３３ｂ）と、シーン動画出力部（アーカイブ動画出力部２９３ｂ）とを備える。

この構成により、本実施形態に係るペット動画解析装置２ｂでは、要約動画Ｖとして短縮される前の動画をリクエストに応じて端末装置３ｂに出力できるため、しっかりと確認したいシーン動画を、短縮される前の長さにおいて確認することができる。

なお、上述した実施形態におけるペット動画解析装置２、２ａ、２ｂの一部、例えば、動画取得部２０、動画記憶部２１、２１ａ、２１ｂ、シーン判定部２２、記憶部２３、２３ａ、２３ｂ、イベント解析部２４、サムネイル選択部２５、フレーム属性記憶部２６、２６ａ、２６ｂ、要約動画生成部２７、サムネイル生成部２８、出力部２９、２９ａ、２９ｂ、ペット判定部３０ａ、評価取得部３１ａ、リクエスト取得部３２ｂ、及びアーカイブ動画管理部３３ｂをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ペット動画解析装置２、２ａ、２ｂに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態におけるペット動画解析装置２、２ａ、２ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。ペット動画解析装置２、２ａ、２ｂの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

Ｓ…ペット見守りシステム、１…撮像装置、２、２ａ、２ｂ…ペット動画解析装置、３、３ａ、３ｂ…端末装置、２０…動画取得部、２１、２１ａ、２１ｂ…動画記憶部、２２…シーン判定部、２２０…ペットフレーム抽出部、２２１…連続ペットフレーム判定部、２３、２３ａ、２３ｂ…記憶部、２４…イベント解析部、２４０…イベント判定部、２４１…イベント計数部、２４２…活動量計測部、２５…サムネイル選択部、２６…フレーム属性記憶部、２７…要約動画生成部、２７０…イベント動画生成部、２７１…サマリ動画生成部、２８…サムネイル生成部、２９、２９ａ、２９ｂ…出力部、２９０…要約動画出力部２９０、２９１…サムネイル出力部、２９２ａ…ペット判定結果通知部、２９３ｂ…アーカイブ動画出力部、２９４ｂ…ライブ動画出力部、３０ａ…ペット判定部、３１ａ…評価取得部、３２ｂ…リクエスト取得部、３２０ｂ…アーカイブ動画リクエスト取得部、３２１ｂ…ライブ動画リクエスト取得部、３０ａ…ペット判定部、３１ａ…評価取得部、２３２ａ…ペット情報、２９２ａ…ペット判定結果通知部、３３ｂ…アーカイブ動画管理部、２９３ｂ…アーカイブ動画出力部、２９４ｂ…ライブ動画出力部、Ｖ…要約動画、ＥＶ…イベント動画、ＳＶ…サマリ動画

Claims (11)

1. ペットが撮像された動画を取得する動画取得部と、
   前記動画取得部が取得した前記動画を構成する複数のフレームから、ペットが撮像されているフレームであるペットフレームを抽出するペットフレーム抽出部と、
   前記ペットフレーム抽出部が抽出した前記ペットフレームのなかから、前記動画取得部が取得した前記動画において連続する前記ペットフレームを判定する連続ペットフレーム判定部と、
   前記連続ペットフレーム判定部が判定した前記ペットフレームが、予め登録されている前記ペットの行動を示すイベントが撮像されている前記フレームであるイベントフレームであるか否かを判定するイベント判定部と、
   前記ペットフレーム抽出部が抽出した前記ペットフレームの数が、前記複数のフレームのうち前記ペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画を、前記連続ペットフレーム判定部が判定した前記ペットフレームであって、前記イベント判定部が前記イベントフレームであると判定した前記ペットフレームから構成されるシーン動画である要約前イベント動画に含まれる連続する前記ペットフレームの数を所定の数以下にした動画に基づいて生成する要約動画生成部と、
   前記要約動画生成部が生成した前記要約動画を出力する要約動画出力部と、
   を備え、
   前記要約動画生成部は、前記要約前イベント動画が所定の時間の長さである第１の時間の長さ以上であると判定する場合、前記要約前イベント動画のいずれかの部分を削除することによって、前記第１の時間の長さ以下に短縮した動画であるイベント動画を前記要約動画として生成し、
   前記要約動画生成部は、前記要約前イベント動画が前記第１の時間の長さ以上であると判定する場合に前記要約前イベント動画のいずれかの部分を削除し前記第１の時間の長さ以下に短縮するかを、学習結果に基づいて選択し、
   前記要約動画生成部は、複数の前記イベント動画をそれぞれ所定の時間の長さである第２の時間の長さ以下に短縮し時系列の順に連結することによって、前記第１の時間の長さ以下の動画であるサマリ動画を前記要約動画として生成する
   ペット動画解析装置。
2. 前記シーン動画に含まれる連続する前記ペットフレームのなかからサムネイル画像に対応する前記ペットフレームを選択するサムネイル選択部
   をさらに備える請求項１に記載のペット動画解析装置。
3. 前記シーン動画を記憶部に記憶させる記憶制御部と、
   前記記憶制御部が前記記憶部に記憶させた前記シーン動画を出力するシーン動画出力部と
   をさらに備える請求項１または請求項２に記載のペット動画解析装置。
4. 前記イベント判定部が前記イベントフレームであると判定した前記ペットフレームと、前記連続ペットフレーム判定部が判定した連続する前記ペットフレームとに基づいて前記イベントの発生回数を数えるイベント計数部をさらに備え、
   要約動画出力部は、前記要約動画生成部が生成した前記要約動画に加えて、前記イベント計数部が計数した前記発生回数をさらに出力する
   請求項１から請求項３のいずれか一項に記載のペット動画解析装置。
5. 前記要約動画生成部は、前記動画取得部が取得した前記動画に複数の種類の前記イベントが含まれる場合、前記イベント判定部が判定した前記イベントフレームに基づいて、前記複数の種類の前記イベントが前記要約動画に含まれるように前記要約動画を生成する
   請求項１から請求項４のいずれか一項に記載のペット動画解析装置。
6. 前記イベント判定部は、前記ペットフレーム抽出部が抽出した前記ペットフレームに撮像されている場所によって前記イベントの種類を判定する
   請求項１から請求項５のいずれか一項に記載のペット動画解析装置。
7. 前記ペットフレーム抽出部が抽出した前記ペットフレームに撮像された前記ペットが特定のペットであるか否かを判定するペット判定部と、
   前記ペット判定部が判定した結果を通知するペット判定結果通知部と
   をさらに備える請求項１から請求項６のいずれか一項に記載のペット動画解析装置。
8. 前記ペット判定部が判定した結果が通知されたことに応じて得られる評価を取得する評価取得部をさらに備え、
   前記ペット判定部は、前記評価取得部が取得した前記評価に基づいて前記動画取得部が取得した前記動画に撮像された前記ペットが特定のペットであるか否かを判定する
   請求項７に記載のペット動画解析装置。
9. 請求項１から請求項８のいずれか一項に記載のペット動画解析装置と、
   前記動画を撮像し、前記ペット動画解析装置に供給する撮影装置と、
   前記ペット動画解析装置が出力する前記要約動画を取得する端末装置と
   を備えるペット動画解析システム。
10. ペットが撮像された動画を取得する動画取得手順と、
    前記動画取得手順において取得された前記動画を構成する複数のフレームから、ペットが撮像されているフレームであるペットフレームを抽出するペットフレーム抽出手順と、
    前記ペットフレーム抽出手順において抽出された前記ペットフレームのなかから、前記動画取得手順において取得された前記動画において連続する前記ペットフレームを判定する連続ペットフレーム判定手順と、
    前記連続ペットフレーム判定手順において判定された前記ペットフレームが、予め登録されている前記ペットの行動を示すイベントが撮像されている前記フレームであるイベントフレームであるか否かを判定するイベント判定手順と、
    前記ペットフレーム抽出手順において抽出された前記ペットフレームの数が、前記複数のフレームのうち前記ペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画を、前記連続ペットフレーム判定手順において判定された前記ペットフレームであって、前記イベント判定手順において前記イベントフレームであると判定された前記ペットフレームから構成されるシーン動画である要約前イベント動画に含まれる連続する前記ペットフレームの数を所定の数以下にした動画に基づいて生成する要約動画生成手順と、
    前記要約動画生成手順において生成された前記要約動画を出力する要約動画出力手順と、
    を有し、
    前記要約動画生成手順において、前記要約前イベント動画が所定の時間の長さである第１の時間の長さ以上であると判定される場合、前記要約前イベント動画のいずれかの部分を削除することによって、前記第１の時間の長さ以下に短縮した動画であるイベント動画が前記要約動画として生成され、
    前記要約動画生成手順において、前記要約前イベント動画が前記第１の時間の長さ以上であると判定される場合に前記要約前イベント動画のいずれかの部分を削除し前記第１の時間の長さ以下に短縮するかを、学習結果に基づいて選択し、
    前記要約動画生成手順において、複数の前記イベント動画をそれぞれ所定の時間の長さである第２の時間の長さ以下に短縮し時系列の順に連結することによって、前記第１の時間の長さ以下の動画であるサマリ動画が前記要約動画として生成される
    ペット動画解析方法。
11. コンピュータに
    ペットが撮像された動画を取得する動画取得ステップと、
    前記動画取得ステップにおいて取得された前記動画を構成する複数のフレームから、ペットが撮像されているフレームであるペットフレームを抽出するペットフレーム抽出ステップと、
    前記ペットフレーム抽出ステップにおいて抽出された前記ペットフレームのなかから、前記動画取得ステップにおいて取得された前記動画において連続する前記ペットフレームを判定する連続ペットフレーム判定ステップと、
    前記連続ペットフレーム判定ステップにおいて判定された前記ペットフレームが、予め登録されている前記ペットの行動を示すイベントが撮像されている前記フレームであるイベントフレームであるか否かを判定するイベント判定ステップと、
    前記ペットフレーム抽出ステップにおいて抽出された前記ペットフレームの数が、前記複数のフレームのうち前記ペットフレームを除くフレームである非ペットフレームの数よりも多い動画である要約動画を、前記連続ペットフレーム判定ステップにおいて判定された前記ペットフレームであって、前記イベント判定ステップにおいて前記イベントフレームであると判定された前記ペットフレームから構成されるシーン動画である要約前イベント動画に含まれる連続する前記ペットフレームの数を所定の数以下にした動画に基づいて生成する要約動画生成ステップと、
    前記要約動画生成ステップにおいて生成された前記要約動画を出力する要約動画出力ステップと、
    を実行させるためのプログラムであって、
    前記要約動画生成ステップにおいて、前記要約前イベント動画が所定の時間の長さである第１の時間の長さ以上であると判定される場合、前記要約前イベント動画のいずれかの部分を削除することによって、前記第１の時間の長さ以下に短縮した動画であるイベント動画が前記要約動画として生成され、
    前記要約動画生成ステップにおいて、前記要約前イベント動画が前記第１の時間の長さ以上であると判定される場合に前記要約前イベント動画のいずれかの部分を削除し前記第１の時間の長さ以下に短縮するかを、学習結果に基づいて選択し、
    前記要約動画生成ステップにおいて、複数の前記イベント動画をそれぞれ所定の時間の長さである第２の時間の長さ以下に短縮し時系列の順に連結することによって、前記第１の時間の長さ以下の動画であるサマリ動画が前記要約動画として生成される
    プログラム。

Images