JP6141829B2 - 動画解析装置、動画解析方法、プログラム、及び集積回路 - Google Patents

Description

本発明は、デジタルカメラ等で撮影された動画を、オブジェクトが写り込まれている区間を抽出等して解析する装置に関する。

動画に映る特定のオブジェクト（例えば、人物）に着目し、保有する動画から、特定のオブジェクトが撮影された区間だけを抽出し、閲覧や編集を行いたいというニーズがある。

このニーズを満たすための方法として、その特定のオブジェクトが撮影された区間を手軽に抽出できるように、動画にオブジェクトの検出情報を付与しておく方法が考えられる。

動画から特定の人物を検出する技術としては、顔検出技術や、顔の動き情報に基づき算出された顔領域の位置の変化量に基づいて人物を追従する技術（例えば、特許文献１参照。）や、胴体に相当する領域の情報に基づき人物を追従する技術（例えば、特許文献２参照）等が挙げられる。

特開２０１０−５０９３４号公報 特許第４８３０６５０号公報

しかしながら、一般的な顔検出技術では、顔の向き等によって、顔の検出に限界があり、動画から人物を検出できない場合がある。また、特許文献１は、顔領域の位置の変化が所定量以上になると、人物を追従することができず、動画から人物が検出できない。また、特許文献２は、胴体に相当する領域の情報が得られない場合は、人物を追従することができず、動画から人物を検出できない。

このように、動画において、被写体として特定の人物（Ａ）が撮影された区間であっても、その区間から人物（Ａ）を検出できない場合がある。従来技術では、このような人物（Ａ）が検出できない区間は、人物（Ａ）が撮影されているにも拘らず、人物（Ａ）が撮影された区間としては抽出することができない。以上から、上記のユーザのニーズを満たすためには、オブジェクトを実際に検出できた区間だけに、オブジェクトの検出情報を付与しておくだけでは不十分であると言える。

本発明は、上記に鑑み、動画において、一のオブジェクトに関連する区間を適切に特定する動画解析装置の提供を目的とする。

前記従来の課題を解決するために、動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置であって、前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、を備える動画解析装置。

本発明に係る動画解析装置によれば、動画において、一のオブジェクトに関連する区間を適切に特定することができる。

実施の形態１に係る動画解析装置１００の機能ブロック図 実施の形態１に係る動画解析装置１００の全体動作を示すフローチャート オブジェクト検出部１０２におけるオブジェクトの検出処理の一例、及びオブジェクト追跡部１０３におけるオブジェクトの追跡処理の一例を説明するための図 オブジェクト検出部１０２、オブジェクト追跡部１０３、及びオブジェクト識別部１０４によって生成される、オブジェクトの検出・追跡・識別に関する情報の一例 シーン検出部１０５によって生成される、動画におけるシーンの切れ目情報の一例 実施の形態１に係るオブジェクト関連区間特定の処理を示すフローチャート オブジェクト検出部１０２において検出可能な顔の向きの一例 オブジェクト検出部１０２において検出可能なオブジェクトの検出領域の一例 実施の形態１に係るオブジェクト関連区間特定の処理を説明するための図 オブジェクト関連区間特定部１０６において生成される、動画におけるオブジェクト関連区間情報の一例 実施の形態２に係るオブジェクト関連区間特定の処理を示すフローチャート 各フレームにおける映像のブレに関する情報の一例 実施の形態２に係るオブジェクト関連区間特定の処理を説明するための図 実施の形態３−１に係るオブジェクト関連区間特定の処理を示すフローチャート 実施の形態３−１に係るオブジェクト関連区間特定の処理を説明するための図 実施の形態３−２に係るオブジェクト関連区間特定の処理を示すフローチャート 実施の形態３−２に係るオブジェクト関連区間特定の処理を説明するための図 実施の形態３−２に係るオブジェクト関連区間特定の処理において用いられる周辺所定領域の一例 実施の形態３−２に係るオブジェクト関連区間特定の処理において用いられる周辺所定領域のさらに一例 実施の形態４に係るオブジェクト関連区間特定の処理を示すフローチャート 実施の形態４に係るオブジェクト関連区間特定の処理を説明するための図 実施の形態５に係る動画解析装置１０００の機能ブロック図 実施の形態５に係る動画解析装置１０００の全体動作を示すフローチャート 実施の形態５に係るオブジェクト関連区間特定の処理を示すフローチャート （ａ）〜（ｃ）実施の形態５に係るオブジェクト関連区間特定の処理を説明するための図

＜本発明に係る一形態を得るに至った経緯＞
上述したように、オブジェクトの検出技術及び追跡技術には限界があり、動画において、オブジェクトが実際には写っているが、そのオブジェクトを検出できない区間は、そのオブジェクトが撮影された区間としては抽出することができない。

また、撮影者は、特定のオブジェクト（例えば人物）を被写体とした動画を撮影する際、必ずしもそのオブジェクトが動画に写り続けるように撮影できるとは限らない。例えば、被写体である人物の動きが大きく、撮影者がその人物をカメラで追いきれずに、その人物がフレームアウトしてしまう場合がある。また、撮影者が移動しながら被写体である人物を撮影する際、撮影者の動きが大きく、その人物がフレームアウトしてしまう場合もある。さらに、撮影者が意図的に、被写体である人物を撮影している合間に、一時的にその人物とは別のオブジェクトや、風景を撮影することで、その人物がフレームアウトする場合もある。このような、被写体である人物がフレームアウトしている区間も、当然、当該人物は検出されず、当該人物が撮影された区間としては抽出することができない。

そのため、オブジェクトの検出情報を基に、動画からある特定の人物が撮影された区間を抽出し、例えば動画ダイジェストを作成した場合、上述したような当該人物が検出されない区間は抽出することができないため、作成された動画ダイジェストは断続的になってしまう場合がある。ユーザは、特定のオブジェクトが被写体として撮影された一連の区間を、オブジェクトの検出に拘らず見続けたいと思われる。

以上を鑑み、発明者は、動画において一のオブジェクトが検出されない非検出区間であっても、当該一のオブジェクトが検出された検出区間と連続する一連の区間であると推定される区間は、当該一のオブジェクトに関する区間として取り扱うことができればよいという知見を得た。

本発明に係る実施の形態では、上記の知見に基づき、動画において、一のオブジェクトが検出されない非検出区間について、当該一のオブジェクトに関連する区間であるか否かを特定する処理を行う動画解析装置の提供を目的とする。

＜実施の形態１＞
以下、実施の形態１に係る動画解析装置について、図面を参照しながら説明する。

図１は、実施の形態１に係る動画解析装置１００の機能ブロック図である。

動画解析装置１００は、撮影装置１２０及び表示装置１３０に接続されている。

撮影装置１２０は、動画を撮影する機能、及び撮影した動画を蓄積する機能を有する装置である。撮影装置１２０は、例えば、デジタルムービから構成されている。また、動画解析装置１００と撮影装置１２０とは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルを介して接続されている。

表示装置１３０は、動画解析装置１００から出力される動画などを表示する機能を有する。表示装置１３０は、例えば、デジタルテレビから構成されている。また、動画解析装置１００と表示装置１３０とは、例えばＨＤＭＩ（登録商標／Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルを介して接続されている。

次に、動画解析装置１００の内部構成について説明する。

図１に示すように、動画解析装置１００は、動画取得部１０１、オブジェクト検出部１０２、オブジェクト追跡部１０３、オブジェクト識別部１０４、シーン検出部１０５、及びオブジェクト関連区間特定部１０６を備える。

動画取得部１０１は、撮影装置１２０が蓄積している動画を取得する。動画取得部１０１は、例えば、ＵＳＢケーブルを挿入するためのＵＳＢポート及びＵＳＢドライバなどのインターフェイスを制御するソフトウェアから構成されている。

オブジェクト検出部１０２は、動画取得部１０１において取得された動画の各フレームから、各フレームに映っているオブジェクトを検出する。検出されるオブジェクトとして、人物の顔、犬や猫などの動物、車、建物等が挙げられる。

オブジェクト追跡部１０３は、オブジェクト検出部１０２において検出された各オブジェクトについて追跡処理を行う。具体的には、オブジェクト追跡部１０３は、一のフレームにおいて検出された一のオブジェクトが、当該一のフレームの次のフレームにおいてどの領域に存在するかを確認することで、各オブジェクトの追跡処理を行う。

オブジェクト識別部１０４は、オブジェクト追跡部１０３によって追跡された各オブジェクトについて識別処理を行う。具体的には、オブジェクト識別部１０４は、動画において一の区間で追跡されたオブジェクトと、当該一の区間とは別の区間で追跡されたオブジェクトとが、同じオブジェクトであるか否かを識別する。

シーン検出部１０５は、動画取得部１０１において取得された動画からシーンの切れ目を検出する。

「シーン」とは動画において、映像の内容にまとまりのある区間や、時間的にまとまりのある区間等を意味する。シーン検出部１０５は、例えば、運動会の様子が撮影された動画において、開会式と徒競争競技が夫々撮影された区間は別のシーンとして検出する。

オブジェクト関連区間特定部１０６は、動画において、オブジェクト識別部１０４において識別される各オブジェクトに関するオブジェクト関連区間を特定する。なお、オブジェクト関連区間特定部１０６は、当該オブジェクトが検出される検出区間だけでなく、当該オブジェクトに関連する区間であろうと推定される区間も、当該オブジェクトに関するオブジェクト関連区間として特定する。オブジェクト関連区間特定部１０６の詳細な処理内容については後述する。

なお、これらオブジェクト検出部１０２、オブジェクト追跡部１０３、オブジェクト識別部１０４、シーン検出部１０５、及びオブジェクト関連区間特定部１０６は、例えば、それぞれの処理用のプログラム等を格納するＲＯＭなどのメモリと、プログラムを実行するＣＰＵと、プログラムのデータを展開するためのＲＡＭなどのメモリとから構成されている。

図２のフローチャートを用いて、動画解析装置１００の全体動作を説明する。

先ず、動画取得部１０１は撮影装置１２０に蓄積されている動画を取得する（Ｓ２０１）。

次に、オブジェクト検出部１０２は、取得された動画の各フレームからオブジェクトを検出する（Ｓ２０２）。

図３を用いて、ステップＳ２０２の処理を詳しく説明する。図３では、オブジェクトとして人物の顔が検出される例を挙げる。

図３において、３０１は取得された動画であり、３０２は動画３０１のｔ番目のフレームであり、３０３は、動画３０１の（ｔ＋１）番目のフレームである。オブジェクト検出部１０２は、例えば、動画３０１から３０２や３０３等の複数のフレームを取得し、取得した各フレームからオブジェクトとして人物の顔を検出する。

オブジェクトの検出方法として、例えば、動画の各フレームについて、フレームに対してあらかじめ用意された顔学習辞書を用いてオブジェクトが含まれる領域を切り出す方法がある。この方法が用いられる場合、例えば図３では、フレーム３０２からはオブジェクト３０４の領域、フレーム３０３からはオブジェクト３０５の領域が切り出され、人物の顔としてオブジェクト３０４及び３０５が検出される。

次に、オブジェクト追跡部１０３は、動画において各フレームから検出された各オブジェクトに対して追跡処理を行う（Ｓ２０３）。

オブジェクトの追跡方法として、例えば、一のフレームから検出された一のオブジェクトと、一のフレームの次のフレームから検出されたオブジェクトの内、その検出領域が、一のフレームから検出された一のオブジェクトの検出領域と一致又は十分近い位置に存在するオブジェクトとを、同一のオブジェクトであると判断することで、一のオブジェクトを追跡する方法がある。この方法が用いられる場合、例えば図３では、フレーム３０２からは検出されたオブジェクト３０４の検出領域と、フレーム３０３から検出されたオブジェクト３０５の領域とが、ほぼ同じ位置にあるため、オブジェクト追跡部１０３は、オブジェクト３０４とオブジェクト３０５とは同じオブジェクトと判断し、フレーム３０２からフレーム３０３で、オブジェクト３０４（３０５）を追跡する。

オブジェクト識別部１０４は、オブジェクト追跡部１０３によって追跡された各オブジェクトについて識別処理を行う（Ｓ２０４）。具体的には、オブジェクト識別部１０４は、動画において一の区間で追跡されたオブジェクトと、当該一の区間とは別の区間で追跡されたオブジェクトとが、同じオブジェクトであるか否かを識別する。

オブジェクトを識別する方法として、例えば、先ず、オブジェクト追跡部１０３によって、各オブジェクトが追跡された区間である、各オブジェクトの検出区間の任意のフレームから、当該追跡対象であるオブジェクトの画像特徴量を夫々抽出する。そして、抽出された画像特徴量が類似する追跡対象のオブジェクト同士を、同一のオブジェクトであると識別する方法がある。

また、オブジェクトを識別する方法はこの方法に限定されず、例えば、事前に特定のオブジェクトの画像特徴量を登録しておき、抽出された各追跡区間の追跡対象であるオブジェクトの画像特徴量と、登録してある特定のオブジェクトの画像特徴量とを比較することで、その特定のオブジェクトを識別する方法がある。

なお、「画像特徴量」とは、画像における各画素に係る画素値の分布の特徴を示したものである。画像特徴量は、例えば、画像の特徴を示す複数の数値を成分とするベクトルで表される。画像の特徴には、Ｇａｂｏｒフィルタを用いて得られる画像データの画素値の分布の周期性や方向性などがある。人物の顔に係る画像特徴量の場合、画素値の分布の周期性や方向性などから目と認識された点２つの間の距離や、鼻と認識された点と口と認識された点との距離などの量を、ベクトルの成分とすることができる。

図４は、以上のステップＳ２０２〜Ｓ２０４の処理によって生成される、オブジェクトの検出・追跡・識別に関する情報の一例を示す図である。なお、このオブジェクトの検出・追跡・識別に関する情報は、動画解析装置１００に更に備えられる記憶部において格納されてもよいし、動画解析装置１００からアクセス可能な外部の記憶部において格納されてもよい。

図４において、オブジェクトの検出・追跡・識別に関する情報は、動画における各オブジェクトの検出区間情報と、各検出区間において検出対象であるオブジェクトの識別ＩＤ情報と、各検出区間の始点及び終点フレーム情報とを含む。また、各検出区間の始点及び終点フレーム情報は、フレームＩＤ情報と、当該識別ＩＤのオブジェクトの検出領域情報及び向き情報とを含む。また、この一例において、オブジェクトの検出領域情報は、フレームにおけるオブジェクトが検出された矩形領域の左上の座標点と、その矩形領域の縦横幅とで表されている。

図２に戻って説明を続ける。

シーン検出部１０５は、動画取得部１０１で取得された動画において、シーンの切れ目を検出する（Ｓ２０５）。

シーンの切れ目を検出する方法として、例えば、連続するフレーム間における映像情報の変化を基に、シーンの切れ目を検出する方法がある。

映像情報とは、色相や輝度などの情報である。例えば、シーン検出部１０５は、一のフレームから、当該一のフレームの次のフレームにおける、フレーム全体の映像情報の変化が所定の度合い以上である場合、一のフレームと、当該一のフレームの次のフレームとの境界をシーンの切れ目として検出してもよい。また、シーンの切れ目を検出する方法は、この方法に限定されず、例えば、音響情報の変化を基に、シーンの切れ目を検出する方法が用いられてもよい。

図５は、シーンの切れ目情報の一例を示す図である。なお、このシーンの切れ目情報も、上記のオブジェクトの検出・追跡・識別に関する情報と同様、動画解析装置１００に更に備えられる記憶部において格納されてもよいし、動画解析装置１００からアクセス可能な外部の記憶部において格納されてもよい。

図５において、シーンの切れ目情報は、動画における各シーンのＩＤ情報と、各シーンの始点及び終点フレーム情報とを含む。

次に、オブジェクト関連区間特定部１０６は、ステップＳ２０２〜Ｓ２０４の処理によって生成されるオブジェクトの検出・追跡・識別に関する情報と、ステップＳ２０５の処理によって生成されるシーンの切れ目情報とに基づいて、動画におけるオブジェクト関連区間を特定する（Ｓ２０６）。

図６のフローチャートを用いて、このステップＳ２０６の処理を説明する。

先ず、オブジェクト関連区間特定部１０６は、同一シーンに含まれる検出区間であって、且つ、オブジェクト識別部１０４によって同一であると識別されたオブジェクト（以下、このオブジェクトを「処理対象オブジェクト」と言う。）が検出された検出区間を抽出する（Ｓ６０１）。なお、このステップＳ６０１において、抽出される検出区間は、少なくとも一部が当該同一シーンに含まれていればよい。

図４と図５を用いて、このステップＳ６０１の処理を具体的に説明する。

図５において、シーン１はフレーム０からフレーム１８２までの区間である。よって、図４において、シーン１に含まれる検出区間は、検出区間１〜５である。なお、このとき、検出区間５は、フレーム１１３からフレーム２２４までの区間であり、検出区間５の一部がシーン１に含まれるため、同一シーンに含まれる検出区間と見なされる。

そして、この検出区間１〜５の内、同一であると識別されたオブジェクト（処理対象オブジェクト）が検出される検出区間は、オブジェクト１が検出される検出区間１、３及び５である。従って、ステップＳ６０１では、検出区間１、３及び５が抽出される。

続いて、オブジェクト関連区間特定部１０６は、ステップＳ６０１において抽出された検出区間の内、間に別のステップＳ６０１において抽出された検出区間を挟まない２つの検出区間を選択する（Ｓ６０２）。

図４を用いて、このステップＳ６０２の処理を具体的に説明する。

図４において、ステップＳ６０１で検出区間１、３、及び５が検出されたとする。このとき、検出区間１、３及び５の内、間に別のステップＳ６０１において抽出された検出区間を挟まない２つの検出区間の組み合わせは、検出区間１と３、又は検出区間３と５の組み合わせである。よって、ステップ６０２では、検出区間１と３、又は検出区間３と５が選択される。なお検出区間１と５の組み合わせは、検出区間１と５の間に検出区間３が存在するため選択されない。

続いて、オブジェクト関連区間特定部１０６は、ステップＳ６０２において選択された２つの検出区間の内、時間的に前に存在する検出区間の終点フレームにおける当該処理対象オブジェクトの検出結果が、限界値であるか否かを確認する（Ｓ６０３）。

「限界値」とは、オブジェクト検出部１０２において定められる、オブジェクトの検出の限界を値で表したものである。以下、限界値の例について説明する。

例えば、オブジェクトが人物の顔である場合、一般的に検出できる顔について、向き・大きさ・フレームの座標等の制限がある。

先ず、図７を用いて、人物の顔の「向き」に関する限界値を説明する。動画に映る顔は、正面を向いた顔だけでなく、上下左右に様々な方向を向いた顔が存在するが、オブジェクト検出部１０２で検出可能な顔の向きが、例えば図７に示しように、正面から各回転軸に対して３０度以内に制限されていたとする。この場合、オブジェクト検出部１０２は、それ以上傾いた顔を検出することはできないため、人物の顔の「向き」に関する限界値は「各回転軸に対して３０度」となる。

なお、オブジェクト検出部１０２で検出可能な顔の向きに関する制限は、図７の例に限定されず、例えば、人物の顔の大きさに応じて、検出可能な顔の向きが異なる場合もある。このような場合は、人物の顔の大きさと向きを対応付けた限界値を設定すればよい。

次に、人物の顔の「大きさ」に関する限界値について説明する。例えば、オブジェクト検出部１０２で検出可能な顔の最小サイズは３５ピクセルであり、最大サイズは２００ピクセルであるとする。この場合、３５ピクセル未満や２００ピクセルより大きな顔は検出することができないため、人物の顔の「大きさ」に関する限界値は、「３５ピクセル」及び「２００ピクセル」となる。

次に、図８を用いて、「フレームの座標点」に関する限界値について説明する。例えば、フレームサイズを６４０×４８０とし、オブジェクト検出部１０２によって検出される顔の矩形領域について、（左上のＸ座標，左上のＹ座標，縦横幅）を（ｘ１，ｙ１，ｗｈ１）とする。そして、顔が写る領域がフレーム枠と接する領域にある場合が、顔が検出できる限界であり、顔全体がフレーム枠に収まっていない場合、言い換えると、顔の一部しかフレームに写っていない場合は、顔を検出することができないとする。この場合、「フレームの座標点」に関する限界値は、ｘ１の最小値０、（ｘ１＋ｗｈ１）の最大値６４０、ｙ１の最小値０、及び（ｙ１＋ｗｈ１）の最大値４８０となる。例えば図８では、（ｘ１，ｙ１，ｗｈ１）＝（０、４００、５０）の矩形領域で人物の顔が検出されている。この矩形領域は、フレーム枠と接しており、ｘ１＝０であるため、この検出された人物の顔の検出結果は限界値であることを意味する。

なお、本実施の形態１のステップＳ６０３及び後述するＳ６０４において、オブジェクト関連区間特定部１０６は、当該処理対象オブジェクトの検出結果が限界値であるか否かを確認するが、これに限定されず、当該処理対象オブジェクトの検出結果が限界値から所定の範囲内、言い換えると当該処理対象オブジェクトの検出の限界を基に定められた値の範囲内にあるか否かを確認するとしてもよい。

例えば「フレームの座標点」に関して、オブジェクト関連区間特定部１０６は、当該処理対象オブジェクトの検出領域が、フレーム枠から所定の範囲内側の領域、言い換えると、フレーム枠の近傍の領域にあるか否かを確認するとしてもよい。

なお、このフレーム枠の近傍の領域は、フレームサイズに応じて設定されてもよい。例えば、フレームサイズ６４０×４８０の場合において、フレーム枠の上辺及び下辺から夫々、フレーム幅６４０ピクセルの５パーセント＝３２ピクセル内側の領域と、フレーム枠の右辺及び左辺から夫々、フレーム高さ４８０ピクセルの５パーセント＝２４ピクセル内側の領域とを、所定の範囲の領域としてもよい。この場合、オブジェクト関連区間特定部１０６は、当該処理対象オブジェクトの検出領域が、０＜ｘ１＜３２、（６４０−ｗｈ１−３２）＜ｘ１＜（６４０−ｗｈ１−３２）、０＜ｙ１＜２４、及び（４８０−ｗｈ１−２４）＜ｙ１＜（４８０−ｗｈ１）の内１以上を満たすか否かを確認すればよい。

また、「顔の向き」に関して、オブジェクト関連区間特定部１０６は、当該処理対象オブジェクトの向きが、限界値から所定の範囲の向きにあるか否かを確認するとしてもよい。また、所定の範囲の向きは、オブジェクト検出部１０２の検出精度に応じて設定してもよい。例えば、図７の各回転軸に対して３０度が限界値である場合、限界値からの所定の範囲を、２８度（限界値３０度−（３０度の５パーセント≒２度））から３０度の範囲としてもよい。

ステップＳ６０３の処理において、オブジェクト関連区間特定部１０６は、選択された２つの検出区間の内、時間的に前に存在する検出区間の終点フレームにおける当該処理対象オブジェクトの検出結果が限界値である場合（Ｓ６０３：ＹＥＳ）、ステップＳ６０４の処理に進み、検出結果が限界値でない場合（Ｓ６０３：ＮＯ）、Ｓ６０６の処理へ進む。

ステップＳ６０４において、オブジェクト関連区間特定部１０６は、ステップＳ６０２において選択された２つの検出区間の内、時間的に後に存在する検出区間の始点フレームにおける当該処理対象オブジェクトの検出結果が限界値であるか否かを確認する。そして、当該処理対象オブジェクトの検出結果が限界値である場合は（Ｓ６０４：ＹＥＳ）、２つの検出区間と、２つの検出区間の間の非検出区間とを、当該処理対象のオブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。言い換えると、２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。当該処理対象オブジェクトの検出結果が限界値でない場合は（Ｓ６０４：ＮＯ）、オブジェクト関連区間特定部１０６は、ステップＳ６０６の処理へ進む。

図４及び図９を用いて、ステップＳ６０３及びＳ６０４の処理について具体的に説明する。例えば、ステップＳ６０２において、２つの検出区間として検出区間１及び３が選択されたとする。この２つの検出区間の内、時間的に前に存在する検出区間とは検出区間１であり、時間的に後に存在する検出区間とは検出区間３である。また、図９において、フレーム５５は検出区間１の終点フレームであり、フレーム７８は検出区間３の始点フレームである。また、フレーム５５及びフレーム７８に映るオブジェクトは、図４において識別ＩＤ１が付与されているオブジェクト１であり、ステップＳ６０３及びＳ６０４の処理における当該処理対象オブジェクトである。また、オブジェクト関連区間特定部１０６において、上記で説明した「フレームの座標点」に関する限界値が設定されているとする。

このとき、オブジェクト関連区間特定部１０６は、検出区間１の終点フレーム（フレーム５５）における、オブジェクト１の検出領域の左上のＸ座標は０、即ち限界値であるため（Ｓ６０３：ＹＥＳ）、ステップＳ６０４の処理に進む。

続いて、オブジェクト関連区間特定部１０６は、検出区間３の始点フレーム（フレーム７８）における、オブジェクト１の検出領域の左上のＸ座標は０、即ち限界値であるため（Ｓ６０４：ＹＥＳ）、検出区間１の始点フレーム（フレーム４）から、検出区間３の終点フレーム（フレーム９８）までの区間を、オブジェクト１に関するオブジェクト関連区間であると特定する。

このように、選択された２つの検出区間の内、時間的に前に存在する検出区間の終点フレーム、及び時間的に後に存在する検出区間の始点フレーム夫々における当該処理対象オブジェクトの検出結果が限界値であれば、選択された２つの検出区間の間の区間において当該処理対象オブジェクトが検出されなかった原因は、オブジェクト検出部１０２で検出できるオブジェクトの限界を超えたからであると推定できる。

なお、上記の具体例では、オブジェクト関連区間特定部１０６において、「フレームの座標点」に関する限界値が設定されている場合について説明したが、「フレームの座標点」に関する限界値だけでなく、例えば、上記で説明した人物の顔の「向き」や「大きさ」に関する限界値が設定されていてもよい。また、オブジェクト関連区間特定部１０６において、上記で説明した「フレームの座標点」、人物の顔の「向き」及び「大きさ」等に関する限界値の内、複数又は全ての限界値が設定されていてもよい。この場合、ステップＳ６０３及びＳ６０４において、オブジェクト関連区間特定部１０６は、当該フレームにおける当該処理対象オブジェクトの検出結果が、設定されている限界値の内、少なくとも一つの限界値であるか否かを確認するとしてもよい。

図６に戻って説明を続ける。

ステップＳ６０６において、オブジェクト関連区間特定部１０６は、ステップＳ６０２において、選択可能な２つの検出区間の全ての組み合わせが選択されている場合は（Ｓ６０６：ＹＥＳ）、ステップＳ６０７の処理へ進み、全ての組み合わせが選択されていない場合は（Ｓ６０６：ＮＯ）、Ｓ６０２の処理へ戻る。

ステップＳ６０７において、オブジェクト関連区間特定部１０６は、ステップＳ６０１において、全シーンかつ全オブジェクトについて検出区間が抽出されている場合は（Ｓ６０７：ＹＥＳ）、ステップＳ６０８の処理に進み、抽出されていない場合は（Ｓ６０７：ＮＯ）、Ｓ６０１の処理に戻る。

ステップＳ６０８において、オブジェクト関連区間特定部１０６は、ステップＳ６０５の特定結果を基に、ステップＳ２０４で識別された各オブジェクトに関するオブジェクト関連区間を決定する。

図１０は、ステップＳ６０８において決定される、動画における各オブジェクトに関するオブジェクト関連区間情報の一例である。なお、オブジェクト関連区間情報も、動画解析装置１００に更に備えられる記憶部において格納されてもよいし、動画解析装置１００及び表示装置１３０からアクセス可能な外部の記憶部において格納されてもよい。

図１０において、オブジェクト関連区間情報は、各オブジェクト関連区間のＩＤ情報と、各オブジェクト関連区間における処理対象オブジェクトの識別ＩＤ情報と、各オブジェクト関連区間の始点及び終点フレーム情報とを含む。

図４及び図１０を用いて、ステップＳ６０８の処理について、具体的に説明する。なお、ステップＳ６０５において、検出区間１の始点フレーム（フレーム４）から検出区間３の終点フレーム（フレーム９８）までの区間と、検出区間３の始点フレーム（フレーム７８）から検出区間５の終点フレーム（フレーム２２４）までの区間夫々が、オブジェクト１に関するオブジェクト関連区間であると特定されたとする。また、本具体例において、オブジェクト１が検出された検出区間は、検出区間１、３及び５のみであったとする。

このとき、このステップＳ６０５の特定結果を基に、オブジェクト関連区間特定部１０６は、ステップＳ６０８において、図１０に示すように、検出区間１の始点フレーム（フレーム４）から検出区間５の終点フレーム（フレーム２２４）までの区間を、オブジェクト１に関するオブジェクト関連区間であると決定する。このように、ステップＳ６０８において、オブジェクト関連区間特定部１０６は、ステップＳ６０５の特定結果を整理する処理を行うことで、各オブジェクトに関するオブジェクト関連区間を決定する。

表示装置１３０は、例えば、ユーザから一のオブジェクトに関連する動画の再生が指示された場合、この動画解析装置１００によって生成された、動画における各オブジェクトに関するオブジェクト関連区間情報を参照し、当該一のオブジェクトに関するオブジェクト関連区間を抽出し、再生することができる。

＜まとめ＞
実施の形態１に係る動画解析装置１００において、オブジェクト関連区間特定部１０６は、動画において一のオブジェクトが検出されない非検出区間を、下記（１）及び（２）を満たす場合に、当該一のオブジェクトに関するオブジェクト関連区間と特定する。

（１）当該非検出区間と、当該非検出区間と時間的に連続する前方及び後方の、当該一のオブジェクトが検出される各検出区間とが同一のシーンに含まれる。

（２）当該前方の検出区間の終点フレーム及び当該後方の検出区間の始点フレームにおいて夫々検出される当該一のオブジェクト夫々が、当該一のオブジェクトの検出の限界として定められた１以上の限界条件の内少なくとも１つを満たす。限界条件は、当該一のオブジェクトの検出の限界として定められた条件であり、例えば、当該一のオブジェクトが当該終点フレーム又は始点フレームの所定領域において検出される、当該一のオブジェクトの向きが所定の範囲内である、又は当該一のオブジェクトの大きさが所定の大きさの範囲内である等が挙げられる。

上記（１）及び（２）の条件を満たす場合、当該一のオブジェクトが検出されない当該非検出区間は、例えば、（i）実際には当該一のオブジェクトが映っているが、オブジェクト検出技術によって、当該一のオブジェクトが検出されなかったのであろう、（ii）当該一のオブジェクトの動きや、撮影者の動きが大きく、当該一のオブジェクトがフレームアウトしまった区間であろうと推定される。本実施の形態１に係る動画解析装置１００によれば、特定のオブジェクトが検出される区間だけでなく、上記（i）及び（ii）のように、当該オブジェクトに関連する区間であろうと推定される区間も、当該オブジェクトに関するオブジェクト関連区間として管理することができる。よって、ユーザは手軽に、動画から特定のオブジェクトに関連する区間を抽出することができ、また抽出されたその動画はユーザにとって見易い動画となる。

＜実施の形態２＞
実施の形態１に係る動画解析装置１００では、オブジェクト関連区間特定部１０６において、オブジェクトの検出・追跡・識別に関する情報と、シーンの切れ目情報とに基づいて、動画におけるオブジェクト関連区間を特定すると説明した。特に、実施の形態１に係る動画解析装置１００では、一のオブジェクトが検出されない非検出区間の両端フレームと夫々隣接する各フレームにおいて、当該一のオブジェクトが限界値であるか否かを判定することで、当該一のオブジェクトが検出されない当該非検出区間が、当該一のオブジェクトに関するオブジェクト関連区間であるか否かを特定した。

これに対して、本実施の形態２に係る動画解析装置では、特に、一のオブジェクトが検出されない非検出区間における映像のブレ（又は、撮影機器の加速度）について判定処理を行うことで、当該一のオブジェクトが検出されない当該非検出区間が、当該一のオブジェクトに関するオブジェクト関連区間であるか否かを特定する。

以下、実施の形態２に係る動画解析装置について説明する。なお、上記実施の形態と重複する構成及び処理ステップには同じ符号を付し、その説明を省略する。

実施の形態２に係る動画解析装置は、上記実施の形態１に係る動画解析装置１００と同様、撮影装置及び表示装置と接続される（図１）。撮影装置１２０及び表示装置１３０の機能等は、上記実施の形態１と同様であるため説明を省略する。

実施の形態２に係る動画解析装置の内部構成は、上記実施の形態１に係る動画解析装置１００（図１）と同様であるため、説明を省略する。ただし、実施の形態２に係る動画解析装置のオブジェクト関連区間特定部１０６が行う具体的な処理内容は、上記実施の形態１に係る動画解析装置１００のそれとは異なる。詳細については、後述する。

次に、実施の形態２に係る動画解析措置の動作について説明する。

実施の形態２に係る動画解析装置は、先ず、上記実施の形態１に係る動画解析装置１００と同様、動画の取得（図２：Ｓ２０１）、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）、及び動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行う。これらの処理は、実施の形態１のそれと同様であるため、説明を省略する。

続いて、実施の形態２に係る動画解析装置は、オブジェクト関連区間特定部１０６において、オブジェクトの検出・追跡・識別に関する情報と、シーンの切れ目情報とに基づいて、動画におけるオブジェクト関連区間を特定する（Ｓ２０６Ａ）。このステップＳ２０６Ａの具体的な処理内容が、上記実施の形態１のステップＳ２０６とは異なる。

図１１のフローチャートを用いて、このステップＳ２０６Ａの処理を説明する。

ステップＳ６０１及びＳ６０２の処理は、実施の形態１と同様である。

ステップＳ６０１において、オブジェクト関連区間特定部１０６は、同一シーンに含まれる検出区間であって、且つ、オブジェクト識別部によって同一であると識別されたオブジェクトが検出された検出区間を抽出する。

ステップＳ６０２において、オブジェクト関連区間特定部１０６は、ステップＳ６０１において抽出された検出区間の内、間に別のステップＳ６０１において抽出された検出区間を挟まない２つの検出区間を選択する。

続いて、オブジェクト関連区間特定部１０６は、ステップＳ６０２で選択された２つの検出区間の間の非検出区間のおける映像のブレが、所定の条件を満たすか否かを判定する（Ｓ１００１）。そして、当該映像のブレが所定の条件を満たす場合（Ｓ１００１：ＹＥＳ）、選択された２つの検出区間と、２つの検出区間の間の非検出区間とを、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。言い換えると、選択された２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。当該映像のブレが所定の条件を満たさない場合（Ｓ１００１：ＮＯ）、ステップＳ６０６の処理に進む。

ステップＳ１００１の判定基準となる所定の条件を、例えば、２つの検出区間の間の区間において、全フレームの映像のブレの大きさが一定の大きさ以上であるとしてもよい。

映像のブレの大きさを取得する方法として、例えば、連続するフレーム間における各画素の変位を表すオプティカルフローを算出し、算出した各オプティカルフローの平均を計算する。そして、計算した各オプティカルフローの平均を、連続するフレーム間の画像全体の変位とみなし、その各オプティカルフローの平均の大きさを映像のブレの大きさとする方法を用いてもよい。

なお、連続するフレーム間における各画素のオプティカルフローは、各画素の平面方向の変位として表される。これは、連続するフレーム間では、フレーム間の回転量は０に近似できるからである。即ち、連続するフレーム間における各画素のオプティカルフローは、各画素のＸ軸方向の変位ｕ_iと、Ｙ軸方向の変位ｖ_iを要素とするベクトル（ｕ_i，ｖ_i）で表すことができる。

図１２に、各フレームにおいて算出される映像のブレに関する情報の一例を示す。図１２は、フレームＩＤ、及び各フレームにおける映像の変位の項目を含む。図１２において、各フレームの映像の変位とは、各フレームと、各フレームの一つ前のフレームとの間の画像全体の変位であり、ベクトル（ｕ_i，ｖ_i）で表されている。例えば、フレーム５５の映像の変位は、フレーム５５と、フレーム５５の一つ前のフレーム５４との間の画像全体の変位であり、ベクトル５５で表されている。

ここで、図４、図１２及び図１３を用いて、ステップＳ１００１の処理を具体的に説明する。

なお、本具体例では、ステップＳ１００１の判定基準となる所定の条件として、オブジェクト関連区間特定部１０６は、２つの検出区間の間の非検出区間において、全フレームの映像のブレの大きさが一定の大きさ以上であるか否かを判定するとする。また、ステップＳ６０２において、２つの検出区間として、検出区間１及び３が選択されたとする。検出区間１と３の間の区間は、フレーム５６からフレーム７７までの区間である。

このとき、ステップＳ１００１において、オブジェクト関連区間特定部１０６は、検出区間１と３の間の区間である、フレーム５６からフレーム７７までの区間における、全フレームの映像のブレの大きさが、一定の大きさ以上であるか否かを確認する。図１１において、フレーム５６からフレーム７７までの映像のブレは、ベクトル５６からベクトル７７で表されている。このベクトル５６からベクトル７７全ての大きさが、設定されている一定の大きさ以上である場合（Ｓ１００１：ＹＥＳ）、検出区間１の始点フレーム（フレーム４）から検出区間３の終点フレーム（フレーム９８）を、オブジェクト１に関するオブジェクト関連区間であると特定する（Ｓ６０５）。

なお、ステップＳ１００１の判定基準となる所定の条件は、上記の条件に限定されない。例えば、[所定の条件１]２つの検出区間の間の非検出区間における映像のブレの最大値が、設定された閾値以上であるとしてもよい。また、[所定の条件２]２つの区間の間の非検出区間における映像のブレの平均が、設定された閾値以上であるとしてもよい。また、[所定の条件３]２つの区間の間の非検出区間において、映像のブレが閾値以上であるフレームの数が一定数以上であるとしてもよい。また、[所定の条件４]２つの検出区間の間の非検出区間において、各フレームの映像のブレの変化量が一定の変化量以上であるとしてもよい。

また、上記では、ステップＳ１００１において、オブジェクト関連区間特定部１０６は、ステップＳ６０２で選択された２つの検出区間の間の非検出区間における映像のブレが所定の条件を満たすか否かを判定することで、オブジェクト関連区間を特定すると説明したが、オブジェクト関連区間を特定するための処理は、このステップＳ１００１に限定されない。

例えば、オブジェクト関連区間特定部１０６は、撮影装置にジャイロセンサ等の手振れ感知センサが内蔵されている場合は、この手振れ感知センサによって計測された撮影装置の加速度情報を用いて、オブジェクト関連区間を特定してもよい。具体的には、ステップＳ６０２の処理後、ステップＳ１００１の代わりに、オブジェクト関連区間特定部１０６は、ステップＳ６０２で選択された２つの検出区間の間の非検出区間が撮影された際の、撮影装置の加速度が所定の条件を満たすか否かを確認する（Ｓ１００１Ａ）としてもよい。そして、当該加速度が所定の条件を満たす場合は（Ｓ１００１Ａ：ＹＥＳ）、２つの検出区間と、２つの検出区間の間の非検出区間とを、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定し（Ｓ６０５）、当該加速度が所定の条件を満たさない場合は（Ｓ１００１Ａ：ＮＯ）、ステップＳ６０６の処理に進むとしてもよい。

なお、このステップＳ１００１Ａの判定基準となる所定の条件を、２つの検出区間の間の非検出区間が撮影された際の、撮影装置の加速度の大きさの最大値が一定の大きさ以上であるとしてもよい。

このように、選択された２つの検出区間の間の非検出区間における、映像のブレが所定の大きさ以上であるという条件や、撮影機器の加速度の大きさが所定の大きさ以上であるといった条件を満たせば、当該非検出区間で当該処理対象オブジェクトが検出されなかった原因は、映像のブレ又は撮影機器のブレのためであると推定できる。

続く、ステップＳ６０６及びＳ６０７の処理は実施の形態１と同様であるため、説明を省略する。

＜まとめ＞
実施の形態２に係る動画解析装置において、オブジェクト関連区間特定部１０６は、動画において一のオブジェクトが検出されない非検出区間を、下記（１Ａ）及び（２Ａ）を満たす場合に、当該一のオブジェクトに関するオブジェクト関連区間と特定する。

（１Ａ）当該非検出区間と、当該非検出区間と時間的に連続する前方及び後方の、当該一のオブジェクトが検出される各検出区間とが同一のシーンに含まれる。

（２Ａ）当該非検出区間における映像のブレ（又は撮影機器の加速度の変位）が所定の度合い以上である。

上記（１Ａ）及び（２Ａ）の条件を満たす場合、当該一のオブジェクトが検出されない当該非検出区間は、例えば、（iii）実際には当該一のオブジェクトが映っているが、映像のブレによって、当該一のオブジェクトが検出されなかったのであろう、（iv）撮影者の動きが大きく、当該一のオブジェクトがフレームアウトしまった区間であろうと推定される。本実施の形態２に係る動画解析装置によれば、特定のオブジェクトが検出される区間だけでなく、上記（iii）や(iv)のように、当該オブジェクトに関連する区間であろうと推定される区間も、オブジェクト関連区間として管理することができる。よって、ユーザは手軽に、動画から特定のオブジェクトに関する区間を抽出することができ、また抽出された動画はユーザにとって見易い動画となる。

＜実施の形態３−１＞
本実施の形態３−１に係る動画解析装置では、特に、一のオブジェクトが検出されない非検出区間において検出される、当該一のオブジェクトとは別のオブジェクトについて判定処理を行うことで、当該一のオブジェクトが検出されない当該非検出区間が、当該一のオブジェクトに関するオブジェクト関連区間であるか否かを特定する。

以下、実施の形態３−１に係る動画解析装置について説明する。なお、上記各実施の形態と重複する構成及び処理ステップには同じ符号を付し、その説明を省略する。

実施の形態３−１に係る動画解析装置は、上記実施の形態１に係る動画解析装置１００と同様、撮影装置及び表示装置と接続される（図１）。撮影装置１２０及び表示装置１３０の機能等は、上記実施の形態１と同様であるため説明を省略する。

実施の形態３−１に係る動画解析装置の内部構成は、上記実施の形態１に係る動画解析装置１００（図１）と同様であるため、説明を省略する。ただし、実施の形態３−１に係る動画解析装置のオブジェクト関連区間特定部１０６が行う具体的な処理内容は、上記実施の形態１に係る動画解析装置１００のそれとは異なる。詳細については、後述する。

次に、実施の形態３−１に係る動画解析装置の動作について説明する。

実施の形態３−１に係る動画解析装置は、先ず、上記実施の形態１に係る動画解析装置１００と同様、動画の取得（図２：Ｓ２０１）、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）、及び動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行う。これらの処理は、実施の形態１のそれと同様であるため、説明を省略する。

続いて、実施の形態３−１に係る動画解析装置は、オブジェクト関連区間特定部１０６において、オブジェクトの検出・追跡・識別に関する情報と、シーンの切れ目情報とに基づいて、動画におけるオブジェクト関連区間を特定する（Ｓ２０６Ｂ）。このステップＳ２０６Ｂの具体的な処理内容が、上記実施の形態１のステップＳ２０６とは異なる。

図１４のフローチャートを用いて、このステップＳ２０６Ｂの処理を説明する。

ステップＳ６０１及びステップＳ６０２の処理は実施の形態１と同様である。

ステップＳ６０１において、オブジェクト関連区間特定部１０６は、同一シーンに含まれる検出区間であって、且つ、オブジェクト識別部１０４によって同一であると識別されたオブジェクトが検出された検出区間を抽出する。

ステップＳ６０２において、オブジェクト関連区間特定部１０６は、ステップＳ６０１において抽出された検出区間の内、間に別のステップＳ６０１において抽出された検出区間を挟まない２つの検出区間を選択する。

続いて、オブジェクト関連区間特定部１０６は、ステップＳ６０２で選択された２つの検出区間の間の非検出区間において、当該処理対象オブジェクトとは別のオブジェクトが検出される区間長が所定の条件を満たすか否かを判定する（Ｓ１２０１）。そして、別のオブジェクトが検出される区間長が所定の条件を満たす場合（Ｓ１２０１：ＹＥＳ）、選択された２つの検出区間と、２つの検出区間の間の非検出区間とを、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。言い換えると、選択された２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間のであると特定する（Ｓ６０５）。そして、別のオブジェクトが検出される区間長が所定の条件を満たさない場合（Ｓ１２０１：ＮＯ）、ステップＳ６０５の処理に進む。

ステップＳ１２０１の判定基準となる所定の条件を、オブジェクト関連区間特定部１０６は、例えば、当該別のオブジェクトが検出される区間長が一定時間以上であるとしてもよい。

なお、この一定時間として、例えば、ステップＳ６０２で選択された２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間に対して十分短い区間長である、２つの検出区間の間の区間長に対して、当該処理対象オブジェクトとは別のオブジェクトが検出された区間の区間長の割合が一定の割合以上の時間を設定してもよい。

続く、ステップ６０６〜Ｓ６０８の処理は、上記実施の形態１と同様であるため、説明を省略する。

ここで、図４及び図１５を用いて、ステップＳ１２０１の処理を具体的に説明する。

なお、本具体例では、ステップＳ１２０１の判定基準となる所定の条件を、当該非検出区間の区間長に対する、当該別のオブジェクトが検出される区間長の割合が５割以上であるとする。また、ステップＳ６０２において、２つの検出区間として、検出区間１及び３が選択されたとする。検出区間１と３の間の非検出区間は、フレーム５６からフレーム７７までの区間であり、フレーム数は２２である。よって、検出区間１と３の間の非検出区間の区間長の５割以上とは、フレーム数２２×０．５＝１１以上を意味する。また、このフレーム５６からフレーム７７の区間の内、フレーム６０からフレーム７４の区間は、オブジェクト２が検出される検出区間２である。よって、ステップＳ１２０１における、当該別のオブジェクトはオブジェクト２である。また、当該非検出区間におけるオブジェクト２が検出される区間とは検出区間２であり、そのフレーム数は１５である。

このとき、ステップＳ１２０１において、オブジェクト関連区間特定部１０６は、オブジェクト２が検出される区間長は、フレーム数１５であり、検出区間１と３の間の区間長の５割、フレーム数１１以上であるため（Ｓ１２０１：ＹＥＳ）、２つの検出区間の内、時間的に前に存在する検出区間の始点フレーム（フレーム４）から、時間的に後に存在する検出区間の終点フレーム（フレーム９８）までの区間を、オブジェクト１に関するオブジェクト関連区間であると特定する。

このように、選択された２つの検出区間の間の非検出区間の区間長に対して、当該処理対象オブジェクトとは別のオブジェクトが検出される区間長が所定時間以上であるといった条件を満たせば、選択された２つの検出区間の間の非検出区間で当該一のオブジェクトが検出されなかった原因は、撮影者が、ある一定の時間だけ当該一のオブジェクトとは別のオブジェクトに視点を向けて、動画を撮影したためであろうと推定できる。

＜まとめ＞
実施の形態３−１に係る動画解析装置において、オブジェクト関連区間特定部１０６は、動画において一のオブジェクトが検出されない非検出区間を、下記（１Ｂ）及び（２Ｂ）を満たす場合に、当該一のオブジェクトに関するオブジェクト関連区間と特定する。

（１Ｂ）当該非検出区間と、当該非検出区間と時間的に連続する前方及び後方の、当該一のオブジェクトが検出される各検出区間とが同一のシーンに含まれる。

（２Ｂ）当該非検出区間において検出される当該一のオブジェクトとは別のオブジェクトが検出される区間長が、所定の時間以上である。

上記（１Ｂ）及び（２Ｂ）の条件を満たす場合、当該一のオブジェクトが検出されない当該非検出区間は、例えば、（v）撮影者が一定時間だけ、例えば気まぐれで、当該一のオブジェクトの代わりに、当該一のオブジェクトとは別のオブジェクトを撮影した区間であろうと推定される。本実施の形態３に係る動画解析装置によれば、特定のオブジェクトが検出される区間だけでなく、上記（v）のように、当該オブジェクトに関連する区間であろうと推定される区間も、オブジェクト関連区間として管理することができる。よって、ユーザは手軽に、動画から特定のオブジェクトに関する区間を抽出することができ、また抽出された動画はユーザにとって見易い動画となる。

＜実施の形態３−２＞
本実施の形態３−２に係る動画解析装置では、特に、一のオブジェクトが検出されない非検出区間において、当該一のオブジェクトが映っているであろうと推定される領域の少なくとも一部に、当該一のオブジェクトとは別のオブジェクトが存在する場合は、当該一のオブジェクトが検出されない当該非検出区間を、当該一のオブジェクトに関するオブジェクト関連区間であると特定する。

以下、実施の形態３−２に係る動画解析装置について説明する。なお、上記各実施の形態と重複する構成及び処理ステップには同じ符号を付し、その説明を省略する。

実施の形態３−２に係る動画解析装置は、上記実施の形態１係る動画解析装置１００と同様、撮影装置及び表示装置と接続される（図１）。撮影装置１２０及び表示装置１３０の機能等は、上記実施の形態１と同様であるため説明を省略する。

実施の形態３−２に係る動画解析装置の内部構成は、上記実施の形態１に係る動画解析装置１００（図１）と同様であるため、説明を省略する。ただし、実施の形態３−２に係る動画解析装置のオブジェクト関連区間特定部１０６が行う具体的な処理内容は、上記実施の形態１に係る動画解析装置１００のそれとは異なる。詳細については、後述する。

次に、実施の形態３−２に係る動画解析措置の動作について説明する。

実施の形態３−２に係る動画解析装置は、先ず、上記実施の形態１に係る動画解析装置１００と同様、動画の取得（図２：Ｓ２０１）、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）、及び動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行う。これらの処理は、実施の形態１のそれと同様であるため、説明を省略する。

続いて、実施の形態３−２に係る動画解析装置は、オブジェクト関連区間特定部１０６において、オブジェクトの検出・追跡・識別に関する情報と、シーンの切れ目情報とに基づいて、動画におけるオブジェクト関連区間を特定する（Ｓ２０６Ｃ）。このステップＳ２０６Ｃの具体的な処理内容が、上記実施の形態１のステップＳ２０６とは異なる。

図１６のフローチャートを用いて、このステップＳ２０６Ｃの処理を説明する。

ステップＳ６０１及びステップＳ６０２の処理は実施の形態１と同様である。

ステップＳ６０１において、オブジェクト関連区間特定部１０６は、同一シーンに含まれる検出区間であって、且つ、オブジェクト識別部１０４によって同一であると識別されたオブジェクトが検出された検出区間を抽出する。

ステップＳ６０２において、オブジェクト関連区間特定部１０６は、ステップＳ６０１において抽出された検出区間の内、間に別のステップＳ６０１において抽出された検出区間を挟まない２つの検出区間を選択する。

続いて、オブジェクト関連区間特定部１０６は、２つの検出区間の間の非検出区間の全フレームにおいて、当該処理対象オブジェクトとは異なる別のオブジェクトが検出される場合（Ｓ２２０１：ＹＥＳ）、ステップＳ２２０２の処理に進み、当該処理対象オブジェクトとは異なる別オブジェクトが検出されない場合（Ｓ２２０１：ＮＯ）、ステップＳ６０６の処理へ進む。

ステップＳ２２０２において、オブジェクト関連区間特定部１０６は、ステップＳ６０２で選択された２つの検出区間の間の非検出区間の全フレームにおける、当該別のオブジェクトが検出された検出領域夫々と、２つの検出区間の内、時間的に前に存在する検出区間の終点フレームにおける、当該処理対象オブジェクトの検出領域に、その検出領域の周辺所定領域を加えた領域とが、一部でも重なるか否かを判定する。そして、一部でも重なる場合は（Ｓ２２０２：ＹＥＳ）、ステップＳ２２０３の処理に進み、全く重ならない場合は（Ｓ：２２０２：ＮＯ）、ステップＳ６０６の処理に進む。

ステップＳ２２０３において、オブジェクト関連区間特定部１０６は、２つの検出区間の内、時間的に後に存在する検出区間の始点フレームにおける、当該処理対象オブジェクトの検出領域と、２つの検出区間の内、時間的に前に存在する検出区間の終点フレームにおける、当該処理対象オブジェクトの検出領域に、その検出領域の周辺所定領域を加えた領域とが、一部でも重なるか否かを判定する。そして、一部でも重なる場合は（Ｓ２２０３：ＹＥＳ）、２つの検出区間と、２つの検出区間の間の非検出区間とを、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。言い換えると、２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。そして、全く重ならない場合は（Ｓ２２０３：ＮＯ）、ステップＳ６０６の処理に進む。

続く、ステップ６０６〜Ｓ６０８の処理は、上記実施の形態１と同様であるため、説明を省略する。

ここで、図４及び図１７を用いて、ステップＳ２２０１〜Ｓ２２０３の処理を具体的に説明する。

なお、本具体例では、ステップＳ６０２において、２つの検出区間として、検出区間３及び検出区間５が選択されたとする。検出区間３及び５で検出される同一のオブジェクトである処理対象オブジェクトとは、オブジェクト１であり、図１７においてこのオブジェクト１を人物Ａとする。

また、検出区間３と検出区間５の間の区間は、フレーム９９からフレーム１１２であり、この間の区間は、検出区間４（フレーム９２からフレーム１３３）の区間に含まれる。検出区間４は、オブジェクト３が検出される区間である。このオブジェクト３が、検出区間３と検出区間５の間の非検出区間の全フレームにおいて検出される、当該処理対象オブジェクトとは異なる別のオブジェクトであり、図１７においてこのオブジェクト３を人物Ｂとする。

このとき、検出区間３と検出区間５の間の非検出区間、即ちフレーム９９からフレーム１１２の区間の全フレームにおいて、オブジェクト１（人物Ａ）とは別のオブジェクト３（人物Ｂ）が検出されるため（Ｓ２２０１：ＹＥＳ）、オブジェクト関連区間特定部１０６は、ステップＳ２２０２の処理に進む。

また、検出区間３と検出区間５の間の非検出区間、即ちフレーム９９からフレーム１１２の区間において、当該別のオブジェクトである人物Ｂが検出された検出領域とは、例えば、図１７に示すように、フレーム１０４では１０４ｂ、フレーム１０５では１０５ｂの領域である。また、検出区間３と検出区間５の内、時間的に前に存在する検出区間は、検出区間３であり、その終点フレームはフレーム９８である。そして、フレーム９８における、当該処理対象オブジェクトである人物Ａが検出される検出領域は、９８ａの領域である。また、この９８ａの領域の周辺所定領域を、図１７において斜線が付されている９８ｃの領域とする。

図１７のフレーム１０４に着目すると、フレーム１０４の人物Ｂの検出領域である１０４ｂの領域と、フレーム９８における人物Ａの検出領域である９８ａの領域に、９８ａの領域の周辺所定領域である９８ｃの領域を加えた領域とが、一部重なっている。また、フレーム１０５についても同様に、１０５ｂの領域と、９８ａの領域に９８ｃの領域を加えた領域とが一部重なっている。このフレーム１０５及びフレーム１０６と同様に、検出区間３と検出区間５の間の非検出区間である、フレーム９９からフレーム１１２の全フレームにおいて、人物Ｂが検出された検出領域と、９８ａの領域に９８ｃの領域を加えた領域とが一部でも重なっている場合（Ｓ２２０２：ＹＥＳ）、オブジェクト関連区間特定部１０６は、ステップＳ２２０３の処理へ進む。

一方、検出区間３と検出区間５の内、時間的に後に存在する検出区間は、検出区間５であり、その始点フレームはフレーム１１３である。そして、フレーム１１３における、当該処理対象オブジェクトである人物Ａが検出される検出領域は、１１３ａの領域である。

図１７のフレーム１１３に着目すると、フレーム１１３における人物Ａの検出領域である１１３ａの領域と、フレーム９８における人物Ａの検出領域である９８ａの領域に、９８ａの領域の周辺所定領域である９８ｃの領域を加えた領域とが、一部重なっている（Ｓ２２０３：ＹＥＳ）。この場合、オブジェクト関連区間特定部１０６は、検出区間３の始点フレーム（フレーム７８）から、検出区間５の終点フレーム（フレーム２２４）までの区間を、人物Ａ（オブジェクト１）に関するオブジェクト関連区間であると特定する（Ｓ６０５）。

このようにステップＳ２２０１〜Ｓ２２０３の処理が行われることで、２つの検出区間の間の区間で人物Ａが検出されない原因は、この間の区間が撮影された際に、撮影者から見て、人物Ｂが人物Ａの前に重なる位置に存在していたためであろうと推定できる。

このように、選択された２つの検出区間の間の非検出区間の全フレームにおける、当該処理対象オブジェクトとは別のオブジェクトの各検出領域と、２つの検出区間の内、時間的に後に存在する検出領域の始点フレームにおける当該処理対象オブジェクトの検出領域の夫々と、２つの検出区間の内、時間的に前に存在する検出領域の終点フレームにおける当該処理対象オブジェクトの検出領域に、その周辺所定領域を加えた領域とが、少なくとも一部重なる場合、選択された２つの検出区間の間の非検出区間で当該処理対象オブジェクトが検出されなかった原因は、撮影者から見て、当該処理対象オブジェクトの前に、当該処理対象オブジェクトとは別のオブジェクトが存在し、当該処理対象オブジェクトがその別のオブジェクトの後ろに隠れてしまっていたためであろうと推定される。

また、ステップＳ２２０２及びＳ２２０３において、当該処理対象オブジェクトの検出領域に、その周辺所定領域を加えて、当該処理対象オブジェクトと当該別のオブジェクトの重なりについて判定処理を行うと説明したが、周辺所定領域を加えるのは、オブジェクトが検出されない区間における当該処理対象オブジェクトの移動を考慮するためである。

例えば、図１７に示すように、検出区間３の始点フレームから検出区間５の終点フレームまでは、人物Ａと人物Ｂがサッカーボールを追って競り合っている区間である。この区間において、人物Ａと人物Ｂは静止し続けてはおらず、競り合って動いている。そのため、図１７に示すように、検出区間３の終点フレーム（フレーム９８）で検出される人物Ａの検出領域と、検出区間５の始点フレーム（フレーム１１３）で検出される人物Ａの検出領域とは必ずしも一致しないと考えられる。また同様に、人物Ａが検出されない検出区間３と検出区間５の間の区間においても、人物Ａが写っているであろうと思われる領域、即ち、人物Ａが撮影者から見て人物Ｂの後方に重なって写っているであろうと思われる領域は、変化すると考えられる。このような、当該処理対象オブジェクトの検出領域の変位を考慮し、ステップＳ２２０２及びＳ２２０３において、オブジェクト関連区間特定部１０６は、当該処理対象オブジェクトの検出領域に、その周辺所定領域を加えて、当該処理対象オブジェクトと当該処理対象オブジェクトとは別のオブジェクトとの重なりについて判定処理を行うことが好ましい。

ここで、図１８及び図１９を用いて、当該処理対象オブジェクトの検出領域に対する、その周辺所定領域の設定例について説明する。

図１８は、当該検出領域に対する周辺所定領域を、当該検出領域の大きさに応じて設定する一例を説明する図である。図１８では、検出区間３のフレーム９８における、オブジェクト１の検出領域９８ａに対する周辺所定領域を、斜線を付した領域９８ｄとしている。領域９８ｄは、検出領域９８ａの四辺から、検出領域９８ａの縦横幅１００に対して１０パーセント＝１０ピクセル外側の領域である。このように、当該検出領域に対する周辺所定領域を、例えば、当該検出領域の四辺から、当該検出領域の縦横幅に対して所定の割合外側の領域としてもよい。

なお、図１８の例では、当該検出領域の縦横幅に対して一律１０パーセント外側の領域を周辺所定領域としたが、縦幅に対して１０パーセント、横幅に対して１５パーセントといったように、縦横でその割合を変えてもよい。

図１９は、当該検出領域に対する周辺所定領域を、複数のフレームにおける、当該処理対象オブジェクトの検出領域の変位に応じて設定する一例を説明する図である。図１９では、フレーム８３からフレーム９８までの区間において、当該処理対象オブジェクト（オブジェクト１）の検出領域が、一定移動量ずつ、Ｘ軸方向に５０ピクセル移動しているとする（８３ａ→９８ａ）。この移動から、フレーム９８からフレーム１１３までの区間においても、当該処理対象オブジェクトは、フレーム８３からフレーム９８までの区間と同様に移動する可能性が高いと推定される。そこで、フレーム８３からフレーム９８までの区間における当該処理対象オブジェクトの移動を考慮し、図１９（下図）に示すように、検出領域９８ａに対しする周辺所定領域を、斜線が付された領域９８ｅとしてもよい。領域９８ｅは、図１９（下図）に示すように、検出領域９８ａの右辺に関しては、右辺から５０ピクセル外側の領域を周辺所定領域と設定している。このように、当該検出領域に対する周辺所定領域を、例えば、当該処理対象オブジェクトの検出領域の変位を考慮して設定してもよい。

なお、図１９の例では、２つの検出区間の内、時間的に前に存在する検出区間の終点フレーム（フレーム９８）から、時間的に後に存在する検出区間の始点フレーム（フレーム１１３）までの間が、１５フレームであったため、フレーム９８から時間的に１５フレーム前に存在するフレーム８３から、フレーム９８までの当該処理対象オブジェクトの変位を考慮し、周辺所定領域を設定した。周辺所定領域を設定する方法はこれに限定されず、時間的に前に存在する検出区間の終点フレーム（フレーム９８）から一定数前に存在するフレームから、フレーム９８までの当該処理対象オブジェクトの変位を考慮し、周辺所定領域を設定してもよい。

また、図１９の例では、Ｘ軸プラス方向に当該処理対象オブジェクトの検出領域が移動した場合を例に挙げたが、この他の方向に当該処理対象オブジェクトの検出領域が移動する場合は、その移動した方向の変位に応じて、周辺所定領域を設定すればよい。

また、図１９の例では、フレーム８３からフレーム９８までの区間において、当該処理対象オブジェクトは、一定移動量ずつ変位する例を挙げたが、当該処理対象オブジェクトの変位は一定移動量ずつとは限らない。そのため、フレーム８３とフレーム９８の２つのフレーム間での変位を考慮するだけでなく、オブジェクト追跡部１０３によって生成される当該処理対象オブジェクトの追跡情報に基づいて、連続する２つのフレーム間における当該処理対象オブジェクトの変位を算出し、その変位の平均を計算することで、フレーム８３からフレーム９８までの平均変位を算出し、その平均変位に応じて周辺所定領域を設定してもよい。

また、オブジェクトの変位は、オブジェクトの検出領域の移動に限定されず、オブジェクトの検出領域の大きさが変化する場合も考えられる。オブジェクトの検出領域の大きさが変化する場合は、そのオブジェクトの検出領域の大きさの変化に応じて、周辺所定領域を設定してもよい。

＜まとめ＞
実施の形態３−２に係る動画解析装置において、オブジェクト関連区間特定部１０６は、動画において一のオブジェクトが検出されない非検出区間を、下記（１Ｃ）〜（３Ｃ）を満たす場合に、当該一のオブジェクトに関するオブジェクト関連区間と特定する。

（１Ｃ）当該非検出区間と、当該非検出区間と時間的に連続する前方及び後方の、当該一のオブジェクトが検出される各検出区間とが同一のシーンに含まれる。

（２Ｃ）当該非検出区間は、当該一のオブジェクトとは別のオブジェクトが検出される区間である。

（３Ｃ）当該非検出区間の各フレームにおいて検出される、当該一のオブジェクトとは別のオブジェクトの検出領域、及び当該検出領域と時間的に連続する後方の（当該一のオブジェクトが検出される）検出区間の始点フレームにおいて検出される、当該一のオブジェクトの検出領域の夫々と、当該検出領域と時間的に連続する前方の（当該一のオブジェクトが検出される）検出区間の終点フレームにおける、当該一のオブジェクトの検出領域に、その周辺所定領域を加えた領域とが、少なくとも一部重なる。

上記（１Ｃ）〜（３Ｃ）の条件を満たす場合、当該一のオブジェクトが検出されない当該非検出区間は、（vi）撮影者から見て当該一のオブジェクトの前に、当該一のオブジェクトとは別のオブジェクトが存在し、当該一のオブジェクトがその別のオブジェクトの後ろに隠れてしまっているのであろうと推定される。本実施の形態３−２に係る動画解析装置によれば、オブジェクトが検出される区間だけでなく、上記（vi）のように推定される区間も、オブジェクト関連区間として管理することができる。よってユーザは手軽に、動画から特定のオブジェクトに関する区間を抽出することができ、また抽出された動画はユーザにとって見易い動画となる。

＜実施の形態４＞
本実施の形態４に係る動画解析装置では、特に、一のオブジェクトが検出されない非検出区間の区間長について判定処理を行うことで、当該一のオブジェクトが検出されない当該非検出区間が、当該一のオブジェクトに関するオブジェクト関連区間であるか否かを特定する。

以下、実施の形態４に係る動画解析装置について説明する。なお、上記各実施の形態と重複する構成及び処理ステップには同じ符号を付し、その説明を省略する。

実施の形態４に係る動画解析装置は、上記実施の形態１に係る動画解析装置１００と同様、撮影装置及び表示装置と接続される（図１）。撮影装置１２０及び表示装置１３０の機能等は、上記実施の形態１と同様であるため説明を省略する。

実施の形態４に係る動画解析装置の内部構成は、上記実施の形態１に係る動画解析装置１００（図１）と同様であるため、説明を省略する。ただし、実施の形態４に係る動画解析装置のオブジェクト関連区間特定部１０６が行う具体的な処理内容は、上記実施の形態１に係る動画解析装置１００のそれとは異なる。詳細については、後述する。

次に、実施の形態４に係る動画解析措置の動作について説明する。

実施の形態４に係る動画解析装置は、先ず、上記実施の形態１に係る動画解析装置１００と同様、動画の取得（図２：Ｓ２０１）、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）、及び動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行う。これらの処理は、実施の形態１のそれと同様であるため、説明を省略する。

続いて、実施の形態４に係る動画解析装置は、オブジェクト関連区間特定部１０６において、オブジェクトの検出・追跡・識別に関する情報と、シーンの切れ目情報とに基づいて、動画におけるオブジェクト関連区間を特定する（Ｓ２０６Ｄ）。このステップＳ２０６Ｄの具体的な処理内容が、上記実施の形態１のステップＳ２０６とは異なる。

図２０のフローチャートを用いて、このステップＳ２０６Ｄの処理を説明する。

ステップＳ６０１及びＳ６０２の処理は実施の形態１と同様である。

ステップＳ６０１において、オブジェクト関連区間特定部１０６は、同一シーンに含まれる検出区間であって、且つ、オブジェクト識別部によって同一であると識別されたオブジェクトが検出された検出区間を抽出する。

ステップＳ６０２において、オブジェクト関連区間特定部１０６は、ステップＳ６０１において抽出された検出区間の内、間に別のステップＳ６０１において抽出された検出区間を挟まない２つの検出区間を選択する。

続いて、オブジェクト関連区間特定部１０６は、ステップＳ６０２において選択された２つの検出区間の間の非検出区間の区間長が、所定の条件を満たすか否かを判定する（Ｓ１３０１）。そして、２つの検出区間の間の非検出区間の区間長が、所定の条件を満たす場合は（Ｓ１３０１：ＹＥＳ）、２つの検出区間と、２つの検出区間の間の非検出区間とを、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。言い換えると、２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。そして、２つの検出区間の間の区間長が、所定の条件を満たさない場合は（Ｓ１３０１：ＮＯ）、ステップＳ６０６の処理に進む。

ステップＳ１３０１の判定基準とする所定の条件を、例えば、一定時間以下であるとしてもよい。また、２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する検出区間の終点フレームまでの区間の区間長に対して、十分短いとしてもよい。

ここで、図４及び図２１を用いて、ステップＳ１３０１の処理を具体的に説明する。

なお、本具体例では、ステップＳ１３０１の判定基準となる所定の条件を、２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する区間の終点フレームまでの区間長に対する、２つの検出区間の間の区間長の割合が３割以下であるとする。また、ステップＳ６０２において、２つの検出区間として、検出区間１及び３が選択されたとする。検出区間１の始点フレームから検出区間３の終点フレームまで区間は、フレーム４からフレーム９８までの区間であり、フレーム数は９５である。よって、フレーム数９５の３割以下とは、フレーム数２８以下を意味する。また、検出区間１と検出区間３の間の非検出区間は、フレーム５６からフレーム７７の区間であり、フレーム数は２２である。

このとき、ステップＳ１３０１において、オブジェクト関連区間特定部１０６は、検出区間１と検出区間３の間の非検出区間の区間長は、フレーム数２２であり、検出区間１の始点フレームから検出区間３の終点フレームまでの区間長の３割、即ちフレーム数２８以下であるため（１３０１：ＹＥＳ）、２つの検出区間の内、時間的に前に存在する検出区間の始点フレーム（フレーム４）から、時間的に後に存在する検出区間の終点フレーム（フレーム９８）までの区間を、オブジェクト１に関するオブジェクト関連区間であると特定する。

このように、選択された２つの検出区間の間の非検出区間の区間長が所定時間以内であるといった条件を満たせば、選択された２つの検出区間の間の非検出区間で当該処理対象オブジェクトが検出されなかった原因は、撮影者が、ある一定の時間だけ当該処理対象オブジェクトを映さなかったためであろうと推定できる。

ステップＳ６０６及びＳ６０７の処理は実施の形態１と同様である。

＜まとめ＞
実施の形態４に係る動画解析装置において、オブジェクト関連区間特定部１０６は、動画において一のオブジェクトが検出されない非検出区間を、下記（１Ｄ）及び（２Ｄ）を満たす場合に、当該一のオブジェクトに関するオブジェクト関連区間と特定する。

（１Ｄ）当該非検出区間と、当該非検出区間と時間的に連続する前方及び後方の、当該一のオブジェクトが検出される各検出区間とが同一のシーンに含まれる。

（２Ｄ）当該非検出区間の区間長は、所定の時間以内である。

上記（１Ｄ）及び（２Ｄ）の条件を満たす場合、当該一のオブジェクトが検出されない当該非検出区間は、例えば、（vii）撮影者が、例えば気まぐれで、ある一定の時間だけ当該一のオブジェクトを映さなかった区間であろう、（viii）区間長が一定時間以内と当該一のオブジェクトが検出される区間に対して相対的に短いので、当該一のオブジェクトに関する区間として管理されても問題ないだろうと推定される。本実施の形態４に係る動画解析装置によれば、特定のオブジェクトが検出される区間だけでなく、上記（vii）や(viii)のように、当該オブジェクトに関連する区間であろうと推定される区間も、オブジェクト関連区間として管理することができる。よって、ユーザは手軽に、動画から特定のオブジェクトに関する区間を抽出することができ、また抽出された動画はユーザにとって見易い動画となる。

＜実施の形態５＞
本実施の形態５においても、上記実施の形態１〜４に係る動画解析装置と同様、一のオブジェクトが検出される検出区間だけでなく、当該一のオブジェクトが検出されない非検出区間が、当該一のオブジェクトに関するオブジェクト関連区間であるか否か特定する。

また、本実施の形態５では、更に、動画における盛り上がりのある区間であるハイライト区間に着目する。

例えば、ハイライト区間として、サッカーのゴールシーンを例に挙げる。例えば、ある動画において、被写体である子供がゴールに向かってボールを蹴った映像から、ボールがゴールネットを揺らす映像に切り替わり、その後、観客の歓声の様子を撮影した映像に切り替わり、その後、子供がゴールを喜ぶ映像に切り替わるといった一連の区間が存在するとする。この動画において、その被写体である子供についてダイジェスト動画を作る際、従来技術では、この子供が検出されない区間（ボールがゴールネットを揺らす区間、観客の歓声の区間）は、そのダイジェスト動画として抽出することができない。そのため、そのダイジェスト動画は断続的なものとなってしまい、ユーザにとって見易いダイジェスト動画とはならない。ユーザは、この子供が写る区間だけでなく、動画におけるハイライト区間を含めた一連の区間を、この子供に関する区間として閲覧したいと考えられる。

なお、動画から抽出される各ハイライト区間において、全てのフレームから一のオブジェクトが検出される場合や、一部のフレームから一のオブジェクトが検出される場合や、全てのフレームから一のオブジェクトが検出されない場合がある。

以上を鑑み、実施の形態５に係る動画解析装置は、動画における一のオブジェクトに関するオブジェクト関連区間を特定する。

図２２は、実施の形態５に係る動画解析装置１０００の機能ブロック図である。

動画解析装置１０００は、上記実施の形態１に係る動画解析装置１００（図１）と同様、撮影装置１２０及び表示装置１３０に接続されている。撮影装置１２０及び表示装置１３０の機能は、上記実施の形態１と同様であるため説明を省略する。

次に、動画解析装置１０００の内部構成について説明する。

動画解析装置１０００は、上記実施の形態１に係る動画解析装置１００の構成（図１）に加えて、ハイライト検出部１４０１を備える。また、動画解析装置１０００は、動画解析装置１００の構成からオブジェクト関連区間特定部１０６を除き、その代わりにオブジェクト関連区間特定部１１０６を備える。

ハイライト検出部１４０１は、動画取得部１０１において取得された動画から、ハイライト区間を検出する。ハイライト検出部１４０１の詳細な処理内容については後述する。

オブジェクト関連区間特定部１１０６は、動画において、各オブジェクトに関するオブジェクト関連区間を特定する。このオブジェクト関連区間特定部１１０６の処理の詳細は後述する。

次に、動画解析措置１０００の動作について説明する。

図１５は、実施の形態５に係る動画解析装置１０００の全体動作を示すフローチャートである。

動画解析装置１０００は、先ず、上記実施の形態１に係る動画解析装置１００と同様、動画の取得（図２：Ｓ２０１）、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）、及び動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行う。これらの処理は、実施の形態１のそれと同様であるため、説明を省略する。

次に、動画解析装置１０００は、ハイライト検出部１４０１において、動画におけるハイライト区間を検出する（Ｓ１５０１）。

「ハイライト区間」とは、動画において盛り上がりのある区間を示す。ハイライト区間を検出する方法としては、例えば音響のパワーが一定以上になる区間を抽出し、ハイライト区間とする方法がある。この方法を用いることで、ハイライト検出部１４０１は、歓声などにより周りにいる人物が盛り上がっている区間や、花火大会における打ち上げ花火が上がる区間などを、ハイライト区間として検出することができる。なお、ハイライト区間を検出する方法は、これに限定されない。例えば、動画において、シーンを識別するための情報や、ズームイン・ズームアウト等の撮影時の操作に関する情報が付加されている場合は、これらの情報をハイライト区間の検出に用いてもよい。例えば、ズームイン操作が行われた区間が所定の時間以上の場合、そのズームイン操作が行われた始点フレームから、当該ズームイン操作が行われた区間が含まれるシーンの終点フレームまでを、ハイライト区間とするとしてもよい。

なお、このハイライト区間情報は、動画における各ハイライトのＩＤ情報と、各ハイライト区間の始点及び終点フレーム情報とを含むとし、例えば、動画解析装置１００に更に備えられる記憶部において格納されてもよいし、動画解析装置１００からアクセス可能な外部の記憶部において格納されてもよい。

次に、オブジェクト関連区間特定部１１０６は、ステップＳ２０２〜Ｓ２０４の処理によって生成されるオブジェクトの検出・追跡・識別に関する情報と、ステップＳ２０５の処理によって生成されるシーンの切れ目情報と、ステップＳ１５０１の処理によって生成されるハイライト区間情報とに基づいて、動画におけるオブジェクト関連区間を特定する（Ｓ２０６Ｅ）。

図２４のフローチャートを用いて、ステップＳ２０６Ｅの処理について説明する。

上記実施の形態１では、オブジェクト関連区間特定部１０６は、先ず、同一シーンに含まれる検出区間であって、且つ、オブジェクト識別部１０４によって同一であると識別されたオブジェクトが検出された検出区間を抽出する（図６：Ｓ６０１）と説明した。

これに対して、オブジェクト関連区間特定部１１０６は、同一シーンに含まれる区間であって、且つ、同一の識別ＩＤが付与されたオブジェクトが検出される検出区間に加え、更に、同一シーンに含まれる区間であって、且つ、ステップＳ１５０１で検出されたハイライト区間を抽出する（Ｓ１６０１）。

次に、オブジェクト関連区間特定部１１０６は、ステップＳ１６０１において抽出された検出区間及びハイライト区間の内、間に別のステップＳ１６０１において抽出された区間を挟まない２つの区間を選択する（Ｓ１６０２）。

図４を用いて、このステップＳ１６０２の処理を具体的に説明する。

先ず、ステップＳ１６０１において抽出された区間が、検出区間１、３及び５と、ハイライト区間Ａであるとする。また、ハイライト区間の始点フレームはフレーム１０６であり、終点フレームはフレーム１２３であるとする。

このとき、ステップＳ１６０２において、間に別のステップＳ１６０１において抽出された区間を挟まない２つの区間として、検出区間１と３、又は検出区間３とハイライト区間Ａ、又はハイライト区間Ａと検出区間５の組み合わせが選択される。その他の区間の組み合わせは、間に別のステップＳ１６０１において抽出された区間を挟むため選択されない。

続く、ステップＳ１３０１及びＳ６０５の処理は、実施の形態４と同様である。ステップＳ１３０１において、オブジェクト関連区間特定部１１０６は、ステップＳ１６０２において選択された２つの区間の間の非検出区間の区間長が所定の条件を満たす場合（１３０１：ＹＥＳ）、２つの検出区間の内、時間的に前に存在する検出区間の始点フレームから、時間的に後に存在する区間の終点フレームまでを、当該処理対象オブジェクトに関するオブジェクト関連区間であると特定する（Ｓ６０５）。

続く、ステップＳ６０６〜Ｓ６０８の処理は、実施の形態１と同様であるため説明を省略する。

なお、ステップＳ１６０２で選択される２つの区間が、検出区間とハイライト区間である場合は、図２１（ａ）〜（ｃ）に示すような場合が想定される。なお、図２１（ａ）〜（ｃ）において、ステップＳ１６０２で選択された２つの区間は、検出区間３（図４）と、各ハイライト区間Ａ〜Ｃであるとする。

図２１（ａ）において、ハイライト区間Ａの始点フレームはフレーム１０６であり、終点フレームはフレーム１２３であるとする。このとき、検出区間３とハイライト区間Ａとの間の区間は、フレーム９９からフレーム１０５である。よって、検出区間３とハイライト区間Ａとの間の区間は、６フレームと区間長が十分短いため、検出区間３の始点フレームからハイライト区間Ａの終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間と特定するとしてもよい。

図２１（ｂ）において、ハイライト区間Ｂの始点フレームはフレーム９９であり、終点フレームはフレーム２３であるとする。このとき、検出区間３の終点フレームとハイライト区間Ｂの始点フレームは連続するフレームである。このように、検出区間３とハイライト区間Ｂとの間の区間は０フレームである場合も、検出区間３の始点フレームからハイライト区間Ｂの終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間と特定するとしてもよい。

図２１（ｃ）において、ハイライト区間Ｃの始点フレームはフレーム９６であり、終点フレームはフレーム１２３であるとする。このとき、検出区間３とハイライト区間Ｃとは一部区間が重複しているが、このような場合も、検出区間３の始点フレームからハイライト区間Ｃの終点フレームまでの区間を、当該処理対象オブジェクトに関するオブジェクト関連区間と特定するとしてもよい。

このように、ステップＳ１６０１において、当該処理対象オブジェクトが検出される検出区間に加え、ハイライト区間も抽出することで、ハイライト区間も当該処理対象オブジェクトに関するオブジェクト関連区間として特定し、管理することができる。

＜まとめ＞
実施の形態５に係る動画解析装置において、オブジェクト関連区間特定部１１０６は、動画において一のオブジェクトが検出されない非検出区間と、当該非検出区間と連続する前方の検出区間と後方の検出区間の内の一方の検出区間と、当該一方の検出区間とは異なる他方の検出区間、又は当該一方の検出区間とは異なる他方において当該非検出区間と連続する、若しくは当該非検出区間と少なくとも一部区間が重複する区間であるハイライト区間とを、下記（１Ｅ）及び（２Ｅ）を満たす場合に、当該一のオブジェクトに関するオブジェクト関連区間と特定する。

（１Ｅ）当該非検出区間と、当該非検出区間と連続する前方の検出区間と後方の検出区間の内の一方の検出区間と、当該ハイライト区間とが同一のシーンに含まれる。

（２Ｅ）当該非検出区間の区間長は、所定の時間以内である。

本実施の形態５に係る動画解析装置によれば、上記の（１Ｅ）及び（２Ｅ）の条件を満たす、当該非検出区間及び当該ハイライト区間を当該一のオブジェクトに関するオブジェクト関連区間として管理することができる。

例えば、子供がサッカーをしている様子が撮影された動画において、子供がシュートし、その後ボールがゴールネットを揺らした様子を撮影した区間がある場合、そのボールがゴールネットを揺らした区間がハイライト区間として検出されれば、ボールがゴールネットを揺らした区間において全く子供が検出されなくとも、この子供がシュートし、その後ボールがゴールネットを揺らした一連の区間を、その子供に関するオブジェクト関連区間として管理することができる。また、花火大会の様子が撮影された動画において、ある人物を撮影し、そのすぐ後に打ち上げられた花火にカメラを向けたような場合、その花火が映る区間において全くその人物が検出されなくとも、ある人物を撮影し、そのすぐ後に打ち上げられた花火が撮影された一連の区間を、その人物に関するオブジェクト関連区間として管理することができる。

このように、特定のオブジェクトに関する区間を管理することができるため、ユーザは、動画から特定のオブジェクトに関する区間を抽出する際、そのオブジェクトが検出される検出区間だけでなく、その検出区間と連続するそのオブジェクトが検出されない非検出区間や、そのオブジェクトと関連すると推定されるハイライト区間を抽出することができ、抽出された動画はユーザにとって見易い動画となる。

＜変形例＞
以上、本発明の一態様に係る動画解析装置について説明したが、本発明は、上記実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

上記実施の各形態に係る動画解析装置において、オブジェクト関連区間特定部は、一のオブジェクトが検出されない非検出区間と、当該非検出区間と時間的に連続する一のオブジェクトが検出される前方及び後方の検出区間に着目し、当該前方及び後方の検出区間だけでなく、当該非検出区間を当該一のオブジェクトに関するオブジェクト関連区間と特定すると説明したが、上記実施の各形態に係る動画解析装置は、これに限定されない。例えば、一のオブジェクトが検出されない非検出区間と、当該非検出区間と時間的に隣接する一のオブジェクトが検出される前方又は後方何れか一方の検出区間に着目し、当該非検出区間を当該一のオブジェクトに関するオブジェクト関連区間と特定してもよい。以下にその一例を説明する。

例えば、ステップＳ２０１で取得された動画において、当該シーンの始点フレームから１フレーム以上一のオブジェクトが検出されない非検出区間が存在する場合、下記（１Ｆ）〜（３Ｆ）を満たす場合に、当該非検出区間を、当該一のオブジェクトに関するオブジェクト関連区間と特定するとしてもよい。

（１Ｆ）当該非検出区間と、当該非検出区間と時間的に連続する後方の当該一のオブジェクトが検出される検出区間とが同一のシーンに含まれる。

（２Ｆ）当該後方の検出区間の始点フレームにおいて検出される当該一のオブジェクトが、当該一のオブジェクトの検出の限界として定められた１以上の限界条件の内少なくとも１つを満たす。限界条件は、当該一のオブジェクトの検出の限界として定められた条件であり、例えば、当該一のオブジェクトが当該終点フレーム又は始点フレームの所定領域において検出される、当該一のオブジェクトの向きが所定の範囲内である、又は当該一のオブジェクトの大きさが一定の大きさの範囲内である。

（３Ｆ）当該非検出区間の区間長が、所定の時間以内である。

図４及び図５を用いて具体的に説明する。なお、オブジェクト１に関するオブジェクト関連区間を特定する場合を例に挙げる。また、本具体例において、上記の所定時間は１０フレームと設定されているとする。また、オブジェクトの限界条件として、人物の顔の「向き」に関する限界値が設定されており、その限界値は「図７の各回転軸に対して３０度」であるとする。

図５において、シーン１に着目すると、シーン１の始点フレームはフレーム０であり、図４を参照すると、このフレーム０からフレーム３までの区間は、オブジェクト１が検出されない非検出区間である。このとき、オブジェクト関連区間特定部１０６は、フレーム０からフレーム３までの非検出区間を、上記の（１Ｆ）〜（３Ｆ）を満たす場合、オブジェクト１に関するオブジェクト関連区間と特定する。

先ず、（１Ｆ）フレーム０からフレーム３までの非検出区間と時間的に連続する後方のオブジェクト１が検出される検出区間１は、フレーム４からフレーム５５であり、シーン１（フレーム０からフレーム１８２の区間）に含まれる。また、（２Ｆ）当該後方の検出区間である検出区間１の始点フレーム（フレーム４）におけるオブジェクト１の向きは、限界値「（左３０度）」である。また、（３Ｆ）フレーム０からフレーム３までの区間長は、フレーム数４でフレーム数１０以内である。従って、フレーム０からフレーム３までの非検出区間は、オブジェクト１に関するオブジェクト関連区間であると特定され、例えば、オブジェクト関連区間特定部１０６は、フレーム０から検出区間１の終点フレーム（フレーム５５）までの区間を、オブジェクト１に関するオブジェクト関連区間と特定する。

なお、ステップＳ２０１において取得された動画において、当該シーンの終点フレームから時間的に前に１フレーム以上一のオブジェクトが検出されない非検出区間が存在する場合も同様に、下記（１Ｇ）〜（３Ｇ）を満たす場合に、当該非検出区間を、当該一のオブジェクトに関するオブジェクト関連区間と特定するとしてもよい。
（１Ｇ）当該非検出区間と、当該非検出区間と時間的に連続する前方の当該一のオブジェクトが検出される検出区間とが同一のシーンに含まれる。
（２Ｇ）当該前方の検出区間の始点フレームにおいて検出される当該一のオブジェクトが、当該一のオブジェクトの検出の限界として定められた１以上の限界条件の内少なくとも１つを満たす。限界条件は、当該一のオブジェクトの検出の限界として定められた条件であり、例えば、当該一のオブジェクトが当該終点フレーム又は始点フレームの所定領域において検出される、当該一のオブジェクトの向きが所定の範囲内である、又は当該一のオブジェクトの大きさが一定の大きさの範囲内であるである。
（３Ｇ）当該非検出区間の区間長が、所定の時間以内である。

上記実施の形態１〜４において、動画解析装置は、オブジェクトの検出（Ｓ２０２）、オブジェクトの追跡（Ｓ２０３）、及びオブジェクトの識別（Ｓ２０４）の処理の後に、動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行うと説明したが、動画におけるシーンの切れ目を検出（Ｓ２０５）する処理は、オブジェクト関連区間を特定（Ｓ２０６、Ｓ２０６Ａ〜Ｅ）する処理の前に行われればよく、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）のいずれかのステップの間、又はこれらのステップより前に行われていてもよい。

また、上記実施の形態５において、動画解析装置１０００は、オブジェクトの検出（Ｓ２０２）、オブジェクトの追跡（Ｓ２０３）、及びオブジェクトの識別（Ｓ２０４）の処理の後に、動画におけるシーンの切れ目を検出（Ｓ２０５）する処理を行い、その後動画におけるハイライト区間検出（Ｓ１５０１）の処理を行うと説明したが、動画におけるハイライト区間検出（Ｓ１５０１）の処理は、動画におけるシーンの切れ目を検出（Ｓ２０５）する処理と同様、オブジェクト関連区間を特定（Ｓ２０６、Ｓ２０６Ａ〜Ｅ）する処理の前に行われればよく、オブジェクトの検出・追跡・識別（Ｓ２０２〜Ｓ２０４）、又はシーンの切れ目を検出（Ｓ２０５）する処理の何れかのステップの間、またはこれらのステップより前に行われていてもよい。

上記実施の各形態に係る動画解析装置は、ステップＳ６０１（又はステップＳ１６０１）において、動画におけるシーン情報にも基づいて各区間を抽出すると説明したが、これに限定されない。例えば、ステップＳ６０１（又はステップＳ１６０１）において、同一の識別ＩＤが付与されたオブジェクトが検出された検出区間（とハイライト区間）を抽出するとし、ステップＳ６０８において、動画におけるシーン情報に基づいて、最終的に動画における各オブジェクトに関するオブジェクト関連区間を決定するとしてもよい。

上記実施の各形態において、動画解析装置はオブジェクト追跡部を備えると説明したが、その構成からオブジェクト追跡部を除いてもよい。オブジェクト追跡部が除かれる場合、オブジェクト識別部において、オブジェクト検出部によって各フレームから検出されたオブジェクトについて識別処理を行えばよい。また、この場合、オブジェクト関連区間特定部１０６は、オブジェクトの検出・識別に関する情報と、シーンの切れ目情報と、（実施の形態５のオブジェクト関連区間特定部においては、動画におけるハイライト区間情報と）に基づいて、動画における各オブジェクトに関するオブジェクト関連区間を特定する処理を行えばよい。

上記実施の各形態に係る動画解析装置において、オブジェクト関連区間を特定する処理は、上記実施の各形態で説明したステップＳ２０６、及びＳ２０６Ａ〜Ｓ２０６Ｅに限定されず、これらの各処理が組み合わせられた処理を行うことで、オブジェクト関連区間を特定してもよい。

上記実施の形態１〜４において、動画解析装置は、オブジェクト検出部１０２、オブジェクト追跡部１０３、オブジェクト識別部１０４、及びシーン検出部１０５を備え、オブジェクト関連区間特定部１０６は、オブジェクトの検出（Ｓ２０２）、オブジェクトの追跡（Ｓ２０３）、及びオブジェクトの識別（Ｓ２０４）の処理により得られた、オブジェクトの検出・追跡・識別に関する情報と、動画におけるシーンの切れ目を検出（Ｓ２０５）する処理により得られた、動画におけるシーンの切れ目情報とに基づいて、動画における各オブジェクトに関するオブジェクト関連区間を特定する（Ｓ２０６、Ｓ２０６Ａ〜Ｄ）と説明したが、上記各実施の形態に係る動画解析装置はこれに限定されない。例えば、オブジェクト関連区間特定部１０６は、ステップＳ２０６及びＳ２０６Ａ〜Ｄにおいて、外部の装置により動画に付加された、オブジェクトの検出・追跡・識別に関する情報や動画におけるシーンの切れ目情報を用いてもよい
上記実施の形態５において、動画解析装置１０００は、ハイライト検出部１４０１を備え、オブジェクト関連区間特定部１１０６は、オブジェクトの検出・追跡・識別に関する情報と、動画におけるシーンの切れ目情報と、更に、ハイライト区間の検出（Ｓ１５０１）の処理により得られた、動画におけるハイライト区間情報とに基づいて、動画における各オブジェクトに関するオブジェクト関連区間を特定する（Ｓ２０６Ｅ）と説明したが、上記実施の形態５に係る動画解析装置１０００はこれに限定されない。例えば、オブジェクト関連区間特定部１１０６は、ステップＳ２０６Ｅにおいて、外部の装置により動画に付加された、動画におけるハイライト区間情報を用いてもよい。

上記実施の形態１〜５に係る動画解析装置が備える構成要素の一部または全ては、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える、動画解析装置として実現することができるだけでなく、動画解析装置に含まれる特徴的な処理部をステップとする動画解析方法などとして実現することもできる。また、そのような方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

＜補足＞
以下、本発明の実施形態に係る動画解析装置の構成及びその変形例と各効果について説明する。

第１の動画解析装置は、動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置であって、前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、を備える動画解析装置。

この構成により、第１の動画解析装置は、動画において、一のオブジェクトに関連する区間を適切に特定することができる。

第２の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、且つ、前記前方の検出区間の終点フレームにおける前記一のオブジェクト及び前記後方の検出区間の始点フレームにおける前記一のオブジェクトの夫々が、前記一のオブジェクトの検出の限界に基づいて定められた１以上の限界条件の少なくとも１つを満たすである、としても構わない。

この構成により、第２の動画解析装置は、前記所定の条件が満たされる場合に、前記非検出区間は、例えば、実際には当該一のオブジェクトが映っているが、オブジェクト検出技術によって、当該一のオブジェクトが検出されなかったのであろう、当該一のオブジェクトの動きや、撮影者の動きが大きく、当該一のオブジェクトがフレームアウトしまった区間であろうと推定されるため、前記非検出区間は、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第３の動画解析装置は、第２の動画解析装置において、前記限界条件は、前記一のオブジェクトが前記終点フレーム又は前記始点フレームの所定領域において検出される、前記一のオブジェクトの向きが所定の範囲内である、前記一のオブジェクトの大きさが閾値Ａ以上である、及び、前記一のオブジェクトの大きさが前記閾値Ａより小さい閾値Ｂ以下である、としても構わない。

この構成により、第３の動画解析装置は、特に、前記一のオブジェクトの検出可能な、フレーム領域、前記一のオブジェクトの向き、及び前記一のオブジェクトの大きさに関する限界条件の内の少なくとも１つの限界条件を、前記非検出区間の両端のフレームと夫々連続する各フレームにおいて検出される前記一のオブジェクトが満たす場合に、前記非検出区間を、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第４の動画解析装置は、第３の動画解析装置において、前記所定領域は、前記終点フレーム又は前記始点フレームの枠の近傍の領域である、としても構わない。

この構成により、第４の動画解析装置は、前記一のオブジェクトが検出可能なフレーム領域に関する限界条件については、当該一のオブジェクトが、前記終点フレーム又は前記始点フレームの枠の近傍の領域に存在する場合に、当該限界条件を満たすとすることができる。

第５の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、且つ、前記非検出区間における映像のブレが所定の度合い以上である、としても構わない。

この構成により、第５の動画解析装置は、前記所定の条件が満たされる場合に、前記非検出区間は、例えば、実際には当該一のオブジェクトが映っているが、映像のブレによって、当該一のオブジェクトが検出されなかったのであろう、撮影者の動きが大きく、当該一のオブジェクトがフレームアウトしまった区間であろうと推定されるため、前記非検出区間は、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第６の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、且つ、前記非検出区間において、前記別のオブジェクトが検出される区間長が所定の時間以上である、又は、前記非検出区間における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、としても構わない。

この構成により、第６の動画解析装置は、前記所定の条件が満たされる場合に、前記非検出区間は、例えば、撮影者が一定時間だけ、例えば気まぐれで、当該一のオブジェクトの代わりに、当該一のオブジェクトとは別のオブジェクトを撮影した区間であろうと推定されるため、前記非検出区間は、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第７の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、前記非検出区間の区間長が所定の時間以内であり、前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、且つ、前記非検出区間において、前記別のオブジェクトが検出される時間が所定の時間以上である、又は、前記非検出区における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、としても構わない。

この構成により、第７の動画解析装置は、前記所定の条件が満たされる場合に、前記非検出区間は、例えば、撮影者が一定時間だけ、例えば気まぐれで、当該一のオブジェクトの代わりに、当該一のオブジェクトとは別のオブジェクトを撮影した区間であろうと推定されるため、前記非検出区間は、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第８の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、且つ、前記非検出区間の各フレームにおいて検出される前記別のオブジェクトの検出領域、及び、前記後方の検出区間の始点フレームにおいて検出される前記一のオブジェクトの検出領域の夫々と、前記前方の検出区間の終点フレームにおいて検出される前記一のオブジェクトの検出領域に、その周辺領域を加えた領域とが、少なくとも一部重なることである、としても構わない。

この構成により、第８の動画解析装置は、前記所定の条件が満たされる場合に、前記非検出区間では、前記所定の条件撮影者から見て当該一のオブジェクトの前に、当該一のオブジェクトとは別のオブジェクトが存在し、当該一のオブジェクトがその別のオブジェクトの後ろに隠れてしまっているのであろうと推定されるため、前記非検出区間を、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第９の動画解析装置は、第８の動画解析装置において、前記周辺領域は、前記前方の検出区間の終点フレームにおいて検出される前記一のオブジェクトの大きさ、及び前記前方の検出区間の少なくとも一部における、前記一のオブジェクトの変位に関する情報の内少なくとも一方に基づいて設定される、としても構わない。

この構成により、第９の動画解析装置は、前記周辺所定領域を、前記前方の検出区間の終点フレームにおいて検出される前記一のオブジェクトの大きさや、前記前方の検出区間の少なくとも一部における、前記一のオブジェクトの変位（例えば、前記一のオブジェクトが検出される検出領域の移動量や大きさの変位）、に応じて設定することができる。

第１０の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、且つ、前記非検出区間の区間長が所定の時間以内である、としても構わない。

この構成により、第１０の動画解析装置は、前記所定の条件が満たされる場合に、前記非検出区間は、例えば、撮影者が、例えば気まぐれで、ある一定の時間だけ当該一のオブジェクトを映さなかった区間であろう、区間長が一定時間以内と当該一のオブジェクトが検出される区間に対して相対的に短いので、当該一のオブジェクトに関する区間として管理されても問題ないだろうと推定されるため、前記非検出区間は、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第１１の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間と後方の検出区間の内の一方の検出区間とが同一のシーンに含まれ、前記一方の検出区間において、前記非検出区間と時間的に連続する側の端点となるフレームで検出される前記一のオブジェクトが、前記一のオブジェクトの検出の限界に基づいて定められた１以上の限界条件の少なくとも１つを満たし、且つ、前記非検出区間の区間長が所定の時間以内である、としても構わない。

この構成により、第１１の動画解析装置は、前記所定条件が満たされる場合に、前記非検出区間は、例えば、実際には当該一のオブジェクトが映っているが、オブジェクト検出技術によって、当該一のオブジェクトが検出されなかったのであろう、当該一のオブジェクトの動きや、撮影者の動きが大きく、当該一のオブジェクトがフレームアウトしまった区間であろうと推定されるため、前記非検出区間は、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第１２の動画解析装置は、第１の動画解析装置において、前記所定の条件は、前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間と後方の検出区間の内の一方の検出区間と、前記一方の検出区間とは異なる他方において、前記非検出区間と連続する又は前記非検出区間と一部若しくは全てが重なる区間であって、前記動画における盛り上がりのある区間であるハイライト区間とが同一のシーンに含まれ、且つ、前記非検出区間の区間長が所定の時間以内である、としても構わない。

この構成により、第１２の動画解析装置は、前記非検出区間や、前記ハイライト区間を、当該一のオブジェクトが検出される検出区間と連続する一連の区間であると特定することができる。

第１の動画解析方法は、動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置が実行する、動画解析方法であって、前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定ステップ、を有する。

この構成により、動画において、一のオブジェクトに関連する区間を適切に特定することができる。

第１のプログラムは、動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置が実行する、動画解析処理をコンピュータに実行させるプログラムであって、前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定ステップを前記動画解析処理は有する。

この構成により、動画において、一のオブジェクトに関連する区間を適切に特定することができる。

第１の集積回路は、動画において、一のオブジェクトに関するオブジェクト関連区間を特定する集積回路であって、前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、を備える。

この構成により、第１の集積回路は、動画において、一のオブジェクトに関連する区間を適切に特定することができる。

本発明に係る動画解析装置は、動画を蓄積する装置、デジタルカメラ、カメラ付き携帯電話やムービーカメラなどの撮影装置及び、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等に適用することができる。

１００、１０００ 動画解析装置
１０１ 動画取得部
１０２ オブジェクト検出部
１０３ オブジェクト追跡部
１０４ オブジェクト識別部
１０５ シーン検出部
１０６、１１０６ オブジェクト関連区間特定部
１２０ 撮影装置
１３０ 表示装置
３０１ 取得した動画
３０２ ｔ番目のフレーム
３０３ ｔ＋１番目のフレーム
３０４、３０５ オブジェクト
１４０１ ハイライト検出部

Claims (7)

1. 動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置であって、
   前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、
   を備え、
   前記所定の条件は、
   前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、
   前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、
   且つ、
   前記非検出区間において、前記別のオブジェクトが検出される区間長が所定の時間以上である、又は、前記非検出区間における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、
   動画解析装置。
2. 動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置であって、
   前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、
   を備え、
   前記所定の条件は、
   前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、
   前記非検出区間の区間長が所定の時間以内であり、
   前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、
   且つ、
   前記非検出区間において、前記別のオブジェクトが検出される時間が所定の時間以上である、又は、前記非検出区間における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、
   動画解析装置。
3. 動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置であって、
   前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、
   を備え、
   前記所定の条件は、
   前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、
   前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、
   且つ、
   前記非検出区間の各フレームにおいて検出される前記別のオブジェクトの検出領域、及び、前記後方の検出区間の始点フレームにおいて検出される前記一のオブジェクトの検出領域の夫々と、前記前方の検出区間の終点フレームにおいて検出される前記一のオブジェクトの検出領域に、その周辺領域を加えた領域とが、少なくとも一部重なることである、
   動画解析装置。
4. 前記周辺領域は、
   前記前方の検出区間の終点フレームにおいて検出される前記一のオブジェクトの大きさ、及び前記前方の検出区間の少なくとも一部における、前記一のオブジェクトの変位に関する情報の内少なくとも一方に基づいて設定される、
   請求項３記載の動画解析装置。
5. 動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置が実行する、動画解析方法であって、
   前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定ステップ、
   を有し、
   前記所定の条件は、
   前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、
   前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、
   且つ、
   前記非検出区間において、前記別のオブジェクトが検出される区間長が所定の時間以上である、又は、前記非検出区間における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、
   動画解析方法。
6. 動画において、一のオブジェクトに関するオブジェクト関連区間を特定する動画解析装置が実行する、動画解析処理をコンピュータに実行させるプログラムであって、
   前記動画解析処理は、
   前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定ステップ、
   を有し、
   前記所定の条件は、
   前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、
   前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、
   且つ、
   前記非検出区間において、前記別のオブジェクトが検出される区間長が所定の時間以上である、又は、前記非検出区間における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、
   プログラム。
7. 動画において、一のオブジェクトに関するオブジェクト関連区間を特定する集積回路であって、
   前記一のオブジェクトが検出される検出区間と時間的に連続する区間であって、且つ前記一のオブジェクトが検出されない区間である非検出区間を、所定の条件が満たされると判定する場合に、前記オブジェクト関連区間として特定し、前記所定の条件が満たされないと判定する場合に、前記オブジェクト関連区間として特定しないオブジェクト関連区間特定部、
   を備え、
   前記所定の条件は、
   前記非検出区間と、前記非検出区間と時間的に連続する前方の検出区間及び後方の検出区間とが同一のシーンに含まれ、
   前記非検出区間において、前記一のオブジェクトとは別のオブジェクトが検出され、
   且つ、
   前記非検出区間において、前記別のオブジェクトが検出される区間長が所定の時間以上である、又は、前記非検出区間における、前記別のオブジェクトが検出される区間の比率が所定割合以上である、
   集積回路。

Images