JPWO2019017046A1 - 情報処理装置、および情報処理方法 - Google Patents

Abstract

撮像デバイスにより時系列に撮像された撮像画像に基づいて、撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、設定処理部は、撮像画像から検出される所定のイベントから時系列とは逆の逆時系列に、撮像画像を処理し、撮像画像に含まれるオブジェクトのうちの所定のイベントに関連するオブジェクトに対して、メタデータを設定する、情報処理装置が、提供される。【選択図】図１１

Description

本開示は、情報処理装置、および情報処理方法に関する。

撮像デバイスにより撮像された撮像画像を解析してイベントを検出する技術が開発されている。上記イベントを検出する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。また、撮像デバイスにより撮像された撮像画像に含まれる物体の数を計測する技術が開発されている。上記撮像画像に含まれる物体の数を計測する技術としては、例えば下記の特許文献２に記載の技術が挙げられる。

特開２００６−２８５８７８号公報 特開２０１６−１１０３８１号公報

例えばスポーツの試合の解析や防犯などの様々な目的のために、撮像デバイスにより撮像された撮像画像（動画像、または、静止画像）が利用されている。

例えば特許文献１に記載の技術を用いる装置は、撮像画像からシルエット画像を生成してシルエット画像に含まれるシルエットを追跡領域を追跡し、追跡結果に基づいてイベントを検出、特定する。

ここで、サッカーやラグビーなどの点数により勝敗が決まるスポーツを例に挙げると、得点というイベントには、点を取った人物を含む複数人が関連している場合がある。

しかしながら、特許文献１に記載の技術のように、人物、物体、風景などを示すシルエットを追跡してイベントを検出する場合には、検出されるイベントに直接的に関連した人物などしか考慮されない。よって、特許文献１に記載の技術に係る処理結果を用いたとしても、イベントの全体像を把握することができるとは限られない。

また、例えば特許文献２に記載の技術を用いることによって、撮像画像から認識される物体の数を計測することが可能である。しかしながら、特許文献２に記載の技術では、撮像画像から認識される物体の関連性については、考慮されない。よって、特許文献２に記載の技術に係る処理結果を用いたとしても、イベントの全体像を把握することができるとは限られない。

本開示では、撮像画像に基づき検出される所定のイベントの把握を補助することが可能な、新規かつ改良された情報処理装置、および情報処理方法を提案する。

本開示によれば、撮像デバイスにより時系列に撮像された撮像画像に基づいて、上記撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、上記設定処理部は、上記撮像画像から検出される所定のイベントから上記時系列とは逆の逆時系列に、上記撮像画像を処理し、上記撮像画像に含まれるオブジェクトのうちの上記所定のイベントに関連するオブジェクトに対して、上記メタデータを設定する、情報処理装置が、提供される。

また、本開示によれば、撮像デバイスにより時系列に撮像された撮像画像に基づいて、上記撮像画像に含まれるオブジェクトに対してメタデータを設定するステップを有し、上記設定するステップでは、上記撮像画像から検出される所定のイベントから上記時系列とは逆の逆時系列に、上記撮像画像が処理され、上記撮像画像に含まれるオブジェクトのうちの上記所定のイベントに関連するオブジェクトに対して、上記メタデータが設定される、情報処理装置により実行される情報処理方法が、提供される。

本開示によれば、撮像画像に基づき検出される所定のイベントの把握を補助することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る情報処理システムの構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の一例を示す説明図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の他の例を示す説明図である。 本実施形態に係る情報処理方法に係る設定処理の第２の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る設定処理の第３の例を説明するための説明図である。 本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る表示処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る表示処理の他の例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 図１１に示す設定処理部の構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理システム、および本実施形態に係る情報処理方法
２．本実施形態に係るプログラム

（本実施形態に係る情報処理システム、および本実施形態に係る情報処理方法）
以下、本実施形態に係る情報処理システムの一例を説明しつつ、本実施形態に係る情報処理方法について説明する。

［１］情報処理システムの構成
図１は、本実施形態に係る情報処理システム１０００の構成の一例を示す説明図である。情報処理システム１０００は、例えば、情報処理装置１００と、撮像デバイス２００と、表示デバイス３００と、記憶デバイス４００とを有する。

情報処理装置１００と、撮像デバイス２００、表示デバイス３００、および記憶デバイス４００それぞれとは、例えば、ネットワーク５００を介して無線または有線で接続される。ネットワーク５００としては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、ＷＬＡＮ（Wireless Local Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。なお、本実施形態に係る情報処理システムでは、情報処理装置１００と、撮像デバイス２００、表示デバイス３００、および記憶デバイス４００のうちの一部または全部とが、ネットワーク５００を介さずに、直接的に通信を行うことも可能である。

なお、本実施形態に係る情報処理システムは、図１に示す例に限られない。

例えば、撮像デバイス２００、表示デバイス３００、および記憶デバイス４００の一部または全部は、情報処理装置１００が備えるデバイスであってもよい。また、本実施形態に係る情報処理システムは、例えば、表示デバイス３００と記憶デバイス４００との一方または双方を有さない構成であってもよい。

また、図１では、１つの撮像デバイス２００を示しているが、本実施形態に係る情報処理システムは、撮像デバイス２００を複数有していてもよい。本実施形態に係る情報処理システムが撮像デバイス２００を複数有する場合、複数の撮像デバイス２００のうちの一部は、情報処理装置１００が備える撮像デバイスであってもよい。

また、図１では、１つの表示デバイス３００を示しているが、本実施形態に係る情報処理システムは、表示デバイス３００を複数有していてもよい。本実施形態に係る情報処理システムが表示デバイス３００を複数有する場合、複数の表示デバイス３００のうちの一部は、情報処理装置１００が備える表示デバイスであってもよい。

また、図１では、１つの記憶デバイス４００を示しているが、本実施形態に係る情報処理システムは、複数の記憶デバイス４００を有していてもよい。本実施形態に係る情報処理システムが記憶デバイス４００を複数有する場合、複数の記憶デバイス４００のうちの一部は、情報処理装置１００が備える表示デバイスであってもよい。

以下では、図１に示す情報処理システム１０００を主に例に挙げて、情報処理システム１０００を構成する装置について、説明する。

［１−１］撮像デバイス２００
撮像デバイス２００は、情報処理システム１０００における撮像手段であり、情報処理装置１００からみて外部の撮像デバイスに該当する。撮像デバイス２００は、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”などの、情報処理システム１０００が用いられる目的に応じた領域を撮像する。撮像デバイス２００の位置と姿勢との一方または双方は、固定であってもよいし、変化してもよい。

撮像デバイス２００は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

なお、撮像デバイス２００の構成は、上記に示す例に限られず、後述する撮像デバイス２００の適用例に応じた構成をとることが可能である。

撮像デバイス２００は、例えば、撮像デバイス２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

［１−２］表示デバイス３００
表示デバイス３００は、情報処理システム１０００における表示手段であり、情報処理装置１００からみて外部の表示デバイスに該当する。表示デバイス３００は、例えば、情報処理装置１００において撮像された撮像画像（動画像、または、複数の静止画像。以下、同様とする。）や、ＵＩ（User Interface）に係る画像などの、様々な画像を表示画面に表示する。表示デバイス３００における表示は、例えば、情報処理装置１００によって制御される。

表示デバイス３００としては、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどが挙げられる。

なお、表示デバイス３００は、上記に示す例に限られない。

例えば、表示デバイス３００は、ヘッドマウントディスプレイやアイウェア型の装置などのような、身体に装着して用いる任意のウェアラブル装置であってもよい。また、表示デバイス３００の他の適用例については、後述する。

表示デバイス３００は、例えば、表示デバイス３００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

［１−３］記憶デバイス４００
記憶デバイス４００は、情報処理システム１０００における記憶手段であり、情報処理装置１００からみて外部の記憶デバイスに該当する。記憶デバイス４００は、例えば、情報処理装置１００において撮像された撮像画像など、様々なデータを記憶する。

記憶デバイス４００としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶デバイス４００の他の適用例については、後述する。

［１−４］情報処理装置１００
情報処理装置１００は、本実施形態に係る情報処理方法に係る処理を行う。

［１−４−１］本実施形態に係る情報処理方法に係る処理の概要
まず、情報処理装置１００が行う本実施形態に係る情報処理方法に係る処理の概要について、説明する。

例えば、情報処理システム１０００が、サッカーやラグビーなどのスポーツの試合の解析が目的で用いられる場合、上述したように、得点したという得点イベント（イベントの一例）には、複数人が関連している場合がある。また、例えば、情報処理システム１０００が、防犯の目的で用いられる場合においても、事故や犯罪などのイベント（イベントの一例）には、複数人が関連している場合がある。事故や犯罪などのイベントに関連する複数人の例としては、事故における加害者および被害者や、犯罪における実行犯および実行犯に接触した人物などが、挙げられる。

上述したように、特許文献１に記載の技術のように人物などを示すシルエットを追跡してイベントを検出する場合には、検出されるイベントに直接的に関連した人物などしか考慮されない。また、特許文献２に記載の技術のように撮像画像から認識される物体の数を計測する場合には、撮像画像から認識される物体の関連性は考慮されない。

よって、特許文献１に記載の技術や特許文献２に記載の技術のような既存の技術を用いたとしても、例えば“イベントがどのようにして発生したのかなどのイベントの全体像”を把握することが困難である。

一例として、サッカー場に配置されたカメラ（撮像デバイスの一例）により撮像された撮像画像から、得点イベント（イベントの一例）が検出された例を挙げる。一人の選手がずっとボールを保持して得点した場合は、特許文献１に記載の技術のような既存の技術を用いることによって、得点イベントの全体像を把握することが可能である。また、複数の選手がボールを受け渡した結果として得点した場合、既存の技術を用いることによって、それぞれの選手がボールに関与しているときは、ボールに関与している選手の状況が把握されうる。しかしながら、複数の選手がボールを受け渡した結果として得点した場合には、既存の技術を用いたとしても、選手それぞれがボールを受け取る前にどのような動きをしていたかまで把握することは、できない。

また、他の例として、防犯カメラ（撮像デバイスの一例）により撮像された撮像画像から犯罪のイベント（イベントの一例）が検出された例を挙げる。特許文献１に記載の技術のような既存の技術を用いることによって、犯罪のイベントに直接的に関与した実行犯を、撮像画像から発見して追尾することは可能である。しかしながら、既存の技術を用いたとしても、例えば、上記実行犯と接触した人物、すなわち犯罪のイベントに間接的に関与した可能性がある人物の行動を追尾することはできない。

そこで、情報処理装置１００は、撮像デバイス２００により時系列に撮像された撮像画像を処理し、撮像画像に含まれるオブジェクトのうちの撮像画像から検出される所定のイベントに関連するオブジェクトに対して、メタデータを設定する。以下では、撮像画像に基づきメタデータを設定する処理を、「設定処理」と示す場合がある。

ここで、本実施形態に係る撮像デバイス２００により時系列に撮像された撮像画像とは、例えば、“撮像デバイス２００が、撮像範囲内の時間的な変化を連続的に撮像した結果得られた撮像画像”、または、“撮像デバイス２００が、撮像範囲内の時間的な変化を所定の間隔をおいて不連続に撮像した結果得られた撮像画像”をいう。上記所定の間隔は、一定の時間間隔であってもよいし、不定の時間間隔であってもよい。“撮像デバイス２００が、撮像範囲内の時間的な変化を連続的に撮像した結果得られた撮像画像”は、動画像に該当する。また、“撮像デバイス２００が、撮像範囲内の時間的な変化を所定の間隔をおいて不連続に撮像した結果得られた撮像画像”は、撮像された時点が異なる複数の静止画像に該当する。

以下では、“時系列に撮像された撮像画像に対応する時間の方向”とは逆の時間の方向を、「逆時系列」と示す。“時系列に撮像された撮像画像に対応する時間の方向”とは、過去から現在または未来への方向に該当し、逆時系列は、ある時点から過去への方向に該当する。

撮像画像に含まれるオブジェクトとしては、例えば、人や人以外の動物などの生物と、ボールやバックなどの非生物との一方または双方が、挙げられる。なお、本実施形態に係るオブジェクトは、上記に示す例に限られない。本実施形態に係るオブジェクトとしては、画像から物体を検出する任意のオブジェクト検出処理を用いて検出することが可能な任意のオブジェクトが、挙げられる。

撮像画像からオブジェクトを検出するオブジェクト検出処理は、情報処理装置１００が行ってもよいし、情報処理装置１００の外部のサーバなどの、情報処理装置１００の外部装置により行われてもよい。オブジェクト検出処理が外部装置により行われる場合、情報処理装置１００は、当該外部装置におけるオブジェクト検出処理の結果を利用して、本実施形態に係る情報処理方法に係る処理を行う。

撮像画像から検出される所定のイベントとしては、例えば上述したような、得点イベント、事故のイベント、犯罪のイベントなど、任意のイベント検出処理により撮像画像から検出することが可能な、任意のイベントが挙げられる。イベント検出処理の一例として、撮像画像からサッカーにおける得点イベントを検出する場合におけるイベント検出処理を挙げると、例えば、撮像画像内におけるゴールの位置を予め設定した後、撮像画像から試合中のボールの位置を追尾して、ボールがゴールに入ったシーンを探すことによって、得点イベントが検出される。イベント検出処理の一例として、撮像画像からラグビーにおける得点イベントを検出する場合におけるイベント検出処理を挙げると、例えば、撮像画像内におけるゴールの位置を予め設定した後、撮像画像からボールを持った選手が予め設定してあるゴールラインを越えたというシーンを探すことによって、得点イベントが検出される。また、イベント検出処理は、イベントが発生したことを示すユーザの操作に基づいて、得点イベントなどの任意のイベントを検出する処理（手動によるイベントの検出に係る処理）であってもよい。

撮像画像から所定のイベントを検出するイベント検出処理は、情報処理装置１００が行ってもよいし、情報処理装置１００の外部のサーバなどの、情報処理装置１００の外部装置により行われてもよい。イベント検出処理が外部装置により行われる場合、情報処理装置１００は、当該外部装置におけるイベント検出処理の結果を利用して、本実施形態に係る情報処理方法に係る処理を行う。

本実施形態に係る所定のイベントに関連するオブジェクトとしては、“所定のイベントに直接的に関連するオブジェクト”、または、“所定のイベントに直接的に関連するオブジェクト、および所定のイベントに間接的に関連するオブジェクト”が挙げられる。つまり、所定のイベントに関連するオブジェクトには、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトが含まれうる。

所定のイベントに直接的に関連するオブジェクトとしては、例えば、“得点を挙げた選手”（所定のイベントが得点イベントである場合における、所定のイベントに直接的に関連するオブジェクトの一例）や、“犯罪の実行犯”（所定のイベントが犯罪のイベントである場合における、所定のイベントに直接的に関連するオブジェクトの一例）などが、該当する。以下では、所定のイベントに直接的に関連するオブジェクトを「第１のオブジェクト」と示す場合がある。

また、所定のイベントに間接的に関連するオブジェクトとしては、例えば、“得点を挙げた選手に対して、パスを出した選手”
（所定のイベントが得点イベントである場合における、所定のイベントに間接的に関連するオブジェクトの一例）や、“犯罪の実行犯に接触した人物”（所定のイベントが犯罪のイベントである場合における、所定のイベントに間接的に関連するオブジェクトの一例）などが、該当する。以下では、所定のイベントに間接的に関連するオブジェクトを「第２のオブジェクト」と示す場合がある。

所定のイベントに関連するオブジェクトの特定に係る処理の一例については、後述する。

本実施形態に係るメタデータとは、所定のイベントに関連するオブジェクトについてのデータである。メタデータが設定されているオブジェクトが、所定のイベントに関連するオブジェクトであることを示す。つまり、情報処理システム１０００では、撮像画像に含まれるオブジェクトに対してメタデータが設定されることによって、撮像画像に含まれるオブジェクトのうちの所定のイベントに関連するオブジェクトが、特定される。

本実施形態に係るメタデータには、例えば、所定のイベントに関連するオブジェクトを識別する識別情報と、撮像画像におけるオブジェクトの位置とが含まれる。本実施形態に係る識別情報としては、オブジェクトそれぞれに固有のＩＤが挙げられる。上記固有のＩＤは、乱数であってもよいし、撮像画像を撮像した撮像デバイス２００固有の値を含む値であってもよい。また、撮像画像におけるオブジェクトの位置は、例えば、撮像画像における任意の位置を原点とする二次元座標など、設定されている座標系の座標値で表される。以下では、撮像画像におけるオブジェクトの位置を、単に「オブジェクトの位置」と示す場合がある。

なお、本実施形態に係るメタデータには、所定のイベントに関連するオブジェクトに関する、任意のデータが含まれていてもよい。以下では、本実施形態に係るメタデータを「タグ」と示す場合がある。

また、所定のイベントに関連するオブジェクトに対して設定されるメタデータには、階層が設けられていてもよい。メタデータの階層分けとしては、例えば、“所定のイベントに直接的に関連するオブジェクトに対して設定されるメタデータと、所定のイベントに間接的に関連するオブジェクトに対して設定されるメタデータとを分けること”が挙げられる。また、所定のイベントに間接的に関連するオブジェクトに対して設定されるメタデータは、さらに複数の階層に分けられていてもよい。

情報処理装置１００は、例えば下記に示すような、所定のイベントに関連するオブジェクトとメタデータとを対応付けることが可能な、任意の処理によって、撮像画像に含まれるオブジェクトに対してメタデータを設定する。なお、撮像画像に含まれるオブジェクトに対してメタデータを設定する処理が、下記に示す例に限られないことは、言うまでもない。
・所定のイベントに関連するオブジェクトが含まれる撮像画像にメタデータを埋め込む処理
・所定のイベントに関連するオブジェクトが含まれる撮像画像とは別体のメタデータを、当該撮像画像と対応付けて記録媒体に記録する処理

より具体的には、情報処理装置１００は、撮像画像から検出される所定のイベントから逆時系列に撮像画像を処理する。所定のイベントから逆時系列に撮像画像を処理するとは、逆時系列の各時点に対応する撮像画像を、逆時系列の順序に従って処理することをいう。

そして、情報処理装置１００は、逆時系列の各時点に対応する撮像画像に含まれる所定のイベントに関連するオブジェクトに対して、メタデータを設定する。

上述したように、所定のイベントに関連するオブジェクトとしては、“所定のイベントに直接的に関連するオブジェクト”、または、“所定のイベントに直接的に関連するオブジェクト、および所定のイベントに間接的に関連するオブジェクト”が挙げられる。つまり、情報処理装置１００は、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトに対しても、メタデータを設定する。また、上述したように、メタデータが設定されているオブジェクトが、所定のイベントに関連するオブジェクトであることを示す。

よって、情報処理装置１００が所定のイベントに関連するオブジェクトに対してメタデータを設定することによって、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトも、特定されうる。また、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトが特定されることによって、イベントがどのようにして発生したのかについてなどの、イベント全体像の把握が容易となる。

したがって、情報処理装置１００が、本実施形態に係る情報処理方法に係る処理として設定処理を行うことによって、撮像画像に基づき検出される所定のイベントの把握を補助することができる。

なお、本実施形態に係る情報処理方法に係る処理は、上記に示す設定処理に限られない。

例えば、情報処理装置１００は、“設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて撮像画像を編集する処理”を、さらに行うことが可能である。以下では、メタデータの設定結果に基づいて撮像画像を編集する処理を「編集処理」と示す場合がある。

また、情報処理装置１００は、例えば、“設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる処理”を、さらに行うことが可能である。後述するように、“メタデータが設定された所定のイベントに関連するオブジェクトが示される画像”は、編集処理により編集された画像であってもよいし、編集処理により編集されていない画像であってもよい。“メタデータが設定された所定のイベントに関連するオブジェクトが示される画像”が表示される表示画面としては、例えば、表示デバイス３００の表示画面が挙げられる。以下では、“メタデータが設定された所定のイベントに関連するオブジェクトが示される画像”を表示画面に表示させる処理を、「表示処理」と示す場合がある。

［１−４−２］本実施形態に係る情報処理方法に係る処理
次に、情報処理装置１００が行う本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。

［１−４−２−１］情報処理方法に係る処理の第１の例：設定処理の第１の例
情報処理装置１００は、撮像画像に基づいて、撮像画像に含まれるオブジェクトに対してメタデータを設定する。情報処理装置１００は、逆時系列に撮像画像を処理し、撮像画像に含まれるオブジェクトのうちの所定のイベントに関連するオブジェクトに対して、メタデータを設定する。

情報処理装置１００が逆時系列に処理する撮像画像としては、例えば“所定のイベントが検出された時点から逆時系列における所定の条件を満たす時点までの期間における、逆時系列の各時点に対応する撮像画像”が、挙げられる。

逆時系列に処理される撮像画像に係る所定の条件には、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方が、含まれる。上記時間的な条件としては、例えば、“所定のイベントが検出された時点から予め設定されている期間前までの撮像画像が処理されたこと”が、挙げられる。情報処理装置１００は、例えば、撮像画像のタイムスタンプなどを参照することによって、上記時間的な条件を満たすか否かを判定する。また、上記オブジェクトに関する条件としては、例えば、“予め設定している位置や領域にオブジェクトが存在することが検出されたこと”、または、“第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）が撮像画像に含まれなくなること”が挙げられる。情報処理装置１００は、例えば、撮像画像に対して任意のオブジェクト検出処理を行うことによって、上記オブジェクトに関する条件を満たすか否かを判定する。なお、逆時系列に処理される撮像画像に係る所定の条件が、上記に示す例に限られないことは、言うまでもない。

なお、情報処理装置１００が逆時系列に処理する撮像画像は、上記に示す例に限られない。例えば、情報処理装置１００が逆時系列に処理する撮像画像は、“所定のイベントが検出された時点から逆時系列に処理することが可能な、逆時系列における全ての時点に対応する撮像画像”であってもよい。

例えば、情報処理装置１００が逆時系列に処理した撮像画像のうち、最後に処理した撮像画像に対応する時点が、所定のイベントの開始時点に該当する。また、例えば、所定のイベントが検出された時点が、所定のイベントの終了時点に該当する。

上述したように、情報処理装置１００は、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）、および第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）それぞれに対して、メタデータを設定する。情報処理装置１００は、例えば、“下記の（Ａ）に示す処理”、または“下記の（Ａ）に示す処理、および下記の（Ｂ）に示す処理”を行うことによって、第１のオブジェクトおよび第２のオブジェクトそれぞれに対して、メタデータを設定する。

（Ａ）
情報処理装置１００は、撮像画像から所定のイベントが検出されると、所定のイベントが検出された撮像画像から、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）を特定する。第１のオブジェクトの一例としては、例えば、所定のイベントがサッカーの得点イベントである場合における“ボール”や、所定のイベントが犯罪のイベントである場合における“実行犯の人物”などが、挙げられる。特定される第１のオブジェクトは、イベントごとに設定されていてもよいし、所定のイベントの検出結果を利用して推定されてもよい。

第１のオブジェクトが特定されると、情報処理装置１００は、特定された第１のオブジェクトに対してメタデータを設定する。

また、第１のオブジェクトが特定されると、情報処理装置１００は、逆時系列に撮像画像を処理して、第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）を特定する。ここで、逆時系列の各時点のうち、第２のオブジェクトが特定された時点は、所定のイベントにおけるサブイベントが発生した時点である定義することが可能である。

第２のオブジェクトが特定されると、情報処理装置１００は、特定された第２のオブジェクトに対してメタデータを設定する。

情報処理装置１００は、例えば、逆時系列に撮像画像を処理し、特定された第１のオブジェクトに直接的に関連するオブジェクトを判定することによって、第２のオブジェクトを特定する。

情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第１のオブジェクトが検出された撮像画像に対して、第１のオブジェクトに直接的に関連するオブジェクトを判定する処理を行う。情報処理装置１００は、例えば、逆時系列の各時点における撮像画像に対して、任意のオブジェクト検出処理を行うことによって、逆時系列の各時点における撮像画像から第１のオブジェクトを検出する。

また、情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第１のオブジェクトが検出されなかった撮像画像に対しては、第１のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わなくてよい。情報処理装置１００が、第１のオブジェクトが検出されなかった撮像画像に対して第１のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わないことによって、情報処理装置１００における処理負荷は軽減される。

情報処理装置１００は、例えば、第１のオブジェクトとの距離が所定の閾値以下のオブジェクト、または、第１のオブジェクトとの距離が所定の閾値より小さいオブジェクトを、第１のオブジェクトに直接的に関連するオブジェクトであると判定する。オブジェクト間の距離は、例えば、撮像画像における一のオブジェクトの位置と、撮像画像における他のオブジェクトの位置とのユークリッド距離で表される。なお、オブジェクト間の距離は、上記ユークリッド距離に限られず、任意の距離算出方法により算出される距離であってもよい。第１のオブジェクトに直接的に関連するオブジェクトを判定する処理に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。

なお、第１のオブジェクトに直接的に関連するオブジェクトを判定する処理は、上記に示す例に限られない。例えば、情報処理装置１００は、第１のオブジェクトに関連することを判定することが可能な任意の処理によって、第１のオブジェクトに直接的に関連するオブジェクトを判定してもよい。第１のオブジェクトに直接的に関連するオブジェクトを判定する処理の具体例については、後述する。以下では、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）に直接的に関連するオブジェクトを、「第３のオブジェクト」と示す場合がある。

第３のオブジェクトが判定されると、情報処理装置１００は、判定された第３のオブジェクトを、第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）とする。

図２は、本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。図２は、情報処理装置１００が、所定のイベントに関連するオブジェクトに対して、タグ（メタデータの一例）を設定する例を示している。また、図２では、情報処理装置１００が処理する撮像画像が、複数のフレーム画像（静止画像）から構成される動画像である例を示している。

情報処理装置１００は、イベントを検出し、追尾対象のオブジェクトにタグを設定する（Ｓ１００）。ステップＳ１００の処理は、第１のオブジェクトに対してタグを設定する処理に該当する。以下では、ステップＳ１００において設定されるタグのような、第１のオブジェクトに対して設定されるタグを、「第１階層のタグ１」または単に「タグ１」と示す。

上述したように、イベント検出処理は、情報処理装置１００が行ってもよいし、情報処理装置１００の外部装置により行われてもよい。情報処理装置１００がイベント検出処理を行う場合、情報処理装置１００は、行ったイベント検出処理の結果を利用して、ステップＳ１００の処理を行う。また、イベント検出処理が外部装置により行われる場合、情報処理装置１００は、当該外部装置におけるイベント検出処理の結果を利用して、ステップＳ１００の処理を行う。

ステップＳ１００においてタグが設定される追尾対象のオブジェクトとしては、例えば、所定のイベントがサッカーの得点イベントである場合における“ボール”や、所定のイベントが犯罪のイベントである場合における“実行犯の人物”などが、挙げられる。

ステップＳ１００において追尾対象のオブジェクトにタグが設定されると、情報処理装置１００は、処理対象の撮像画像を１つ前のフレーム画像とする（Ｓ１０２）。

情報処理装置１００は、ステップＳ１００においてタグが設定されたオブジェクトを追尾する（Ｓ１０４）。ここで、本実施形態に係るオブジェクトの追尾とは、例えば、追尾対象のオブジェクトを撮像画像から特定することをいう。情報処理装置１００は、例えば、“任意のオブジェクト検出処理により撮像画像からステップＳ１００においてタグが設定されたオブジェクトを検出すること”、“特許文献１に記載されている方法を用いること”、“特許文献２に記載されている方法を用いること”など、オブジェクトを追尾することが可能な任意の処理を行うことによって、ステップＳ１００においてタグが設定されたオブジェクトを追尾する。また、情報処理装置１００は、追尾するオブジェクトを指定するユーザの操作により指定されたオブジェクトを、追尾してもよい（手動による追尾の一例）。

情報処理装置１００は、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ１０６）。ステップＳ１０６において判定される別のオブジェクトは、ステップＳ１００においてタグが設定されたオブジェクトに直接的に関連するオブジェクト、すなわち、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に該当する。また、ステップＳ１０６の処理は、サブイベントの発生を検出する処理に該当する。

情報処理装置１００は、例えば、ステップＳ１００においてタグが設定されたオブジェクトとの距離が所定の閾値以下のオブジェクト、または、当該距離が当該所定の閾値より小さいオブジェクトが存在する場合に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する。

ステップＳ１０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ１１０の処理を行う。

また、ステップＳ１０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、当該別のオブジェクトに対してタグを設定する（Ｓ１０８）。情報処理装置１００は、ステップＳ１０６において追尾対象のオブジェクトの近くにあると判定されたオブジェクトそれぞれに対して、第２階層のタグ１−ｍ（ｍは、１以上の整数）を設定する。情報処理装置１００は、追尾対象のオブジェクトの近くにあるオブジェクトが判定されるごとに、第２階層のタグ１−１、第２階層のタグ１−２、…というように、第２階層の異なるタグを設定する。

ステップＳ１０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ１０８の処理が行われると、情報処理装置１００は、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ１１０）。情報処理装置１００は、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む所定の条件を満たす場合に、追尾対象のオブジェクトの追尾を終了すると判定する。

ステップＳ１１０において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ１０２からの処理を繰り返す。また、ステップＳ１１０において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、図２に示す処理を終了する。

情報処理装置１００は、第１の例に係る設定処理として、例えば図２に示す処理を行う。図２に示す処理が行われることによって、第１のオブジェクト、および第１のオブジェクトに直接的に関連する第３のオブジェクト（第２のオブジェクトの一例）それぞれに対して、タグが設定される。

なお、第１の例に係る設定処理の例は、図２に示す例に限られない。例えば、情報処理装置１００は、所定のイベントに関連したオブジェクトにタグを設定すると共に、タグが設定されたオブジェクトの移動の軌跡を記録してもよい。タグが設定されたオブジェクトの移動の軌跡は、例えば、撮像画像それぞれに対応する“画角、方位角、仰角、俯角、ズーム倍率などで表される撮像デバイス２００の撮像状態”および“撮像画像におけるオブジェクトの位置”から推定される。なお、タグが設定されたオブジェクトの移動の軌跡の推定方法が、上記に示す例に限られないことは、言うまでもない。タグが設定されたオブジェクトの移動の軌跡の記録は、当該オブジェクトの追尾結果に該当する。

（Ｂ）
設定処理として上記（Ａ）の処理が行われることによって、第１のオブジェクト、および第３のオブジェクト（第２のオブジェクトの一例）それぞれに対して、メタデータが設定される。なお、設定処理においてメタデータが設定される第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）は、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に限られない。

例えば、情報処理装置１００は、逆時系列に撮像画像を処理し、特定された第３のオブジェクトに直接的に関連するオブジェクトを判定することによって、第２のオブジェクトを特定する。そして、情報処理装置１００は、特定された第２のオブジェクトに対して、メタデータを設定する。

情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第３のオブジェクトが検出された撮像画像に対して、第３のオブジェクトに直接的に関連するオブジェクトを判定する処理を行う。情報処理装置１００は、例えば、逆時系列の各時点における撮像画像に対して、任意のオブジェクト検出処理を行うことによって、逆時系列の各時点における撮像画像から第３のオブジェクトを検出する。

また、情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第３のオブジェクトが検出されなかった撮像画像に対しては、第３のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わなくてよい。情報処理装置１００が、第３のオブジェクトが検出されなかった撮像画像に対して第３のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わないことによって、情報処理装置１００における処理負荷は軽減される。

情報処理装置１００は、例えば、上記第１のオブジェクトに直接的に関連するオブジェクトを判定する処理と同様に、第３のオブジェクトに直接的に関連するオブジェクトを判定する。以下では、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に直接的に関連するオブジェクトを、「第４のオブジェクト」と示す場合がある。

第４のオブジェクトが判定されると、情報処理装置１００は、判定された第４のオブジェクトを、第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）とする。

さらに、情報処理装置１００は、例えば“特定された第４のオブジェクトに直接的に関連するオブジェクトを、第２のオブジェクトとして特定する”など、逆時系列に撮像画像を処理することにより第２のオブジェクトとして特定されたオブジェクトに直接的に関連するオブジェクトを、第２のオブジェクトとして特定することも、可能である。そして、情報処理装置１００は、特定された第２のオブジェクトに対して、メタデータを設定する。

図３は、本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。図３に示す処理は、例えば、図２に示す処理においてタグが設定されたオブジェクトのように、逆時系列に撮像画像を処理することにより第２のオブジェクトとして特定されたオブジェクトに対する処理の一例である。以下では、情報処理装置１００が、図３に示す処理を、図２のステップＳ１０８において第２階層のタグ１−ｍが設定されたオブジェクトそれぞれに対して、それぞれ行う場合を例に挙げる。

また、図３は、図２と同様に、情報処理装置１００が所定のイベントに関連するオブジェクトに対してタグ（メタデータの一例）を設定する例を示している。また、図３では、図２と同様に、情報処理装置１００が処理する撮像画像が、複数のフレーム画像から構成される動画像である例を示している。

情報処理装置１００は、追尾対象のオブジェクトを選択する（Ｓ２００）。ステップＳ２００の処理は、サブイベントを選択する処理に該当する。情報処理装置１００は、例えば、図２のステップＳ１０８において第２階層のタグ１−ｍが設定されたオブジェクトから、追尾対象のオブジェクトを選択する。なお、情報処理装置１００は、例えば第４のオブジェクトなど、第２のオブジェクトとして特定された任意のオブジェクトを、追尾対象のオブジェクトとして選択することも可能である。

情報処理装置１００は、処理対象の撮像画像を、１つ前のフレーム画像とする（Ｓ２０２）。例えば、ステップＳ２００の処理が行われた後にステップＳ２０２の処理が行われる場合、情報処理装置１００は、例えば追尾対象のオブジェクトに対してタグが設定された時点を基準として、当該時点に対応するフレーム画像の１つ前のフレーム画像を、処理対象の撮像画像とする。また、例えば、後述するステップＳ２１０の処理が行われた後にステップＳ２０２の処理が行われる場合、情報処理装置１００は、例えば、処理対象の撮像画像となっているフレーム画像の１つ前のフレーム画像を、処理対象の撮像画像とする。

情報処理装置１００は、例えば図２のステップＳ１０４と同様に、ステップＳ２００において選択されたオブジェクトを追尾する（Ｓ２０４）。

情報処理装置１００は、例えば図２のステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ２０６）。ステップＳ２０６において判定される別のオブジェクトは、ステップＳ２００において選択されたオブジェクトに直接的に関連するオブジェクトに該当する。

ステップＳ２０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ２１０の処理を行う。

また、ステップＳ２０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、当該別のオブジェクトに対してタグを設定する（Ｓ２０８）。一例を挙げると、ステップＳ２００において選択されたオブジェクトが、第２階層のタグ１−ｍが設定されたオブジェクトである場合、情報処理装置１００は、ステップＳ２０６において追尾対象のオブジェクトの近くにあると判定されたオブジェクトそれぞれに対して、第３階層のタグ１−ｍ−ｎ（ｎは、１以上の整数）を設定する。情報処理装置１００は、追尾対象のオブジェクトの近くにあるオブジェクトが判定されるごとに、第３階層のタグ１−ｍ−１、第３階層のタグ１−ｍ−２、…というように、第３階層の異なるタグを設定する。

ステップＳ２０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ２０８の処理が行われると、情報処理装置１００は、例えば図２のステップＳ１１０と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ２１０）。

ステップＳ２１０において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ２０２からの処理を繰り返す。

また、ステップＳ２１０において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、処理対象の画像を、追尾開始時点に対応するフレーム画像に戻す（Ｓ２１２）。ステップＳ２１２により処理対象の画像となるフレーム画像としては、例えば、追尾対象のオブジェクトに対してタグが設定された時点に対応するフレーム画像が、挙げられる。

情報処理装置１００は、処理対象の撮像画像を、次のフレーム画像（すなわち、１つ後のフレーム画像）とする（Ｓ２１４）。例えば、ステップＳ２１０の処理において追尾対象のオブジェクトの追尾を終了すると判定された後にステップＳ２１４の処理が行われる場合、情報処理装置１００は、例えば追尾対象のオブジェクトに対してタグが設定された時点を基準として、当該時点に対応するフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。また、例えば、後述するステップＳ２２２の処理が行われた後にステップＳ２１４の処理が行われる場合、情報処理装置１００は、例えば、処理対象の撮像画像となっているフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。つまり、情報処理装置１００は、ステップＳ２１４以降、撮像画像を時系列に処理する。

情報処理装置１００は、例えば図２のステップＳ１０４と同様に、ステップＳ２００において選択されたオブジェクトを追尾する（Ｓ２１６）。

情報処理装置１００は、例えば図２のステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ２１８）。ステップＳ２１８において判定される別のオブジェクトは、ステップＳ２００において選択されたオブジェクトに直接的に関連するオブジェクトに該当する。

ステップＳ２１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ２２２の処理を行う。

また、ステップＳ２１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、ステップＳ２０８と同様に、当該別のオブジェクトに対してタグを設定する（Ｓ２２０）。

ステップＳ２１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ２２０の処理が行われると、情報処理装置１００は、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ２２２）。情報処理装置１００は、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む所定の条件を満たす場合に、追尾対象のオブジェクトの追尾を終了すると判定する。つまり、情報処理装置１００は、撮像画像を時系列に処理していることを除き、図２のステップＳ１１０と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する。

ステップＳ２２２において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ２１４からの処理を繰り返す。また、ステップＳ２２２において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、図３に示す処理を終了する。

情報処理装置１００は、第１の例に係る設定処理として、図２に示す処理に加えて図３に示す処理を行うことが可能である。図３に示す処理が行われることによって、第３のオブジェクトに直接的に関連する第４のオブジェクトなどの、第２のオブジェクトとして特定されるオブジェクトに対して、タグが設定される。

なお、第１の例に係る設定処理の例は、図２および図３に示す例に限られない。例えば上述したように、情報処理装置１００は、所定のイベントに関連したオブジェクトにタグを設定すると共に、タグが設定されたオブジェクトの移動の軌跡を記録してもよい。

情報処理装置１００は、例えば、“上記（Ａ）に示す処理”、または“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”を行うことによって、所定のイベントに関連するオブジェクトに対して、メタデータを設定する。

図４は、本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の一例を示す説明図である。図４は、“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”が行われた結果の一例を、ツリー構造で示している。

例えば、各オブジェクトに設定されたメタデータ、およびサブイベントの発生時点を整理することによって、設定処理の結果は、図４に示すようなメタデータが設定されたオブジェクトの関連性を示すツリー構造で表すことができる。

なお、第１の例に係る設定処理は、“上記（Ａ）に示す処理”、または“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”に限られない。

例えば、情報処理装置１００は、さらに下記の（Ｃ）に示す処理を行うことによって、メタデータが設定されたオブジェクトの整合性をとることも可能である。

（Ｃ）
情報処理装置１００は、メタデータが設定された所定のイベントに関連するオブジェクトの中から、異なるメタデータが設定された同一のオブジェクトを判定する。そして、情報処理装置１００は、同一のオブジェクトに対して設定された異なるメタデータを、統合する。

本実施形態に係るメタデータの統合とは、“同一のオブジェクトと判定された異なるメタデータが設定されたオブジェクトに対して、同一のメタデータが設定されるようにメタデータを設定し直すこと”をいう。例えばメタデータに階層が設けられる場合、情報処理装置１００は、階層の深いタグを階層の浅いタグに置き換えることによって、メタデータを統合する。具体例を挙げると、第１階層のタグ１が設定されたオブジェクトと、第３階層のタグ１−１−１が設定されたオブジェクトとが同一のオブジェクトと判定された場合、情報処理装置１００は、第３階層のタグ１−１−１を第１階層のタグ１に置き換える。

同一のオブジェクトを判定する方法としては、例えば下記のように同じ軌跡を有するオブジェクトを判定する方法が、挙げられる。

所定のイベントの開始時点から所定のイベントの終了時点までの撮像画像中にｔフレームのフレーム画像が存在する場合を例に挙げると、メタデータが設定されたオブジェクトそれぞれは、撮像画像におけるオブジェクトの位置を、最大ｔ個有する。ここで、最大ｔ個と示した理由は、ｔフレームのフレーム画像の全てに、メタデータが設定されたオブジェクトの全てが含まれるとは限られないためである。

撮像画像におけるオブジェクトの位置は、上述したように、撮像画像における任意の位置を原点とする二次元座標など、設定されている座標系の座標値で表される。また、フレーム画像に含まれないメタデータが設定されたオブジェクトに対しては、例えば（ｘ，ｙ）＝（−１，−１）など、フレーム画像の外の座標値を設定する。

以下、第１階層のタグ１が設定されたオブジェクトと、第３階層のタグ１−１−１が設定されたオブジェクトとが同一のオブジェクトとを例に挙げて、同一のオブジェクトを判定する方法の一例を説明する。

第１階層のタグ１が設定されたオブジェクトの座標値を（ｘ_１（ｋ）,ｙ_１（ｋ））とし、第３階層のタグ１−１−１が設定されたオブジェクトの座標値を（ｘ_{１−１−１}（ｋ）,ｙ_{１−１−１}（ｋ））とする。ここで、ｋは、フレーム番号を示している。また、ｘは、ｘ座標を示し、ｙは、ｙ座標を示す。

情報処理装置１００は、例えば下記の数式１に示す演算を行い、上記２つのオブジェクト間の位置の誤差ｅｒｒを求める。

ここで、上記数式１に示すｓｇｎ（ｘ）は、ｘ＜０のとき−１、ｘ＝０のとき０、およびｘ＞１のとき１をとる符号関数である。また、上述したように、フレーム画像に含まれないオブジェクトに対しては、例えば（ｘ，ｙ）＝（−１，−１）などの、フレーム画像の外の座標値が設定される。よって、フレーム画像内にオブジェクトが含まれる場合、符号関数ｓｇｎ（ｘ＋１）は、１を示し、また、フレーム画像内にオブジェクトが含まれない場合、符号関数ｓｇｎ（ｘ＋１）は、０を示す。

つまり、上記数式１により求められる誤差ｅｒｒは、“比較する２つのオブジェクトの位置が共にフレーム画像内にある場合における座標の差の絶対値の和”を、“比較する２つのオブジェクトの位置が共にフレーム画像内にあるフレーム画像の総数”で割ったものである。

なお、上記数式１では、誤差ｅｒｒを差の絶対値和により算出しているが、誤差ｅｒｒの算出方法は、上記数式１に限られない。例えば、情報処理装置１００は、差の二乗和や、正規化相互相関などにより、誤差ｅｒｒを算出してもよい。

異なるメタデータが設定された同一のオブジェクトは、撮像画像内で同じ軌跡を有するはずである。よって、情報処理装置１００は、誤差ｅｒｒと設定されている閾値とを比較することによって、異なるメタデータが設定された同一のオブジェクトを判定する。例えば、情報処理装置１００は、誤差ｅｒｒが設定されている閾値以下である場合、または、誤差ｅｒｒが設定されている閾値より小さい場合に、異なるメタデータが設定された同一のオブジェクトであると判定する。

異なるメタデータが設定された同一のオブジェクトの判定に係る閾値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などによって変更可能な可変値であってもよい。

図５は、本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の他の例を示す説明図である。図５は、図４のツリー構造で示される“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”が行われた結果に対して、さらに上記（Ｃ）に示す処理が行われた結果の一例を、ツリー構造で示している。

例えば図４、図５を比較すると、上記（Ｃ）に示す処理がさらに行われることによって、図４に示す第３階層のタグ１−１−１が、第１階層のタグ１に置き換えられていることが分かる。

よって、上記（Ｃ）に示す処理がさらに行われることによって、メタデータが設定されたオブジェクトの関連性を、より正確に求めることができる。

［１−４−２−２］情報処理方法に係る処理の第２の例：設定処理の第２の例
上記第１の例に係る設定処理では、所定のイベントの終了時点を、所定のイベントが検出された時点として、所定のイベントに関連するオブジェクトに対してメタデータが設定された。

しかしながら、所定のイベントの終了時点は、所定のイベントが検出された時点に限られない。例えば、情報処理装置１００は、所定のイベントが検出された後の時点に対応する撮像画像に含まれるオブジェクトに対して、メタデータを設定してもよい。上記のようにメタデータが設定されることによって、サッカーなどのスポーツにおける得点後の選手や、事故や犯罪を起こした人物など、所定のイベントに関連する人物が、所定のイベントが検出された後にどのような行動をとったのかを、より容易に把握させることが、可能となる。

そこで、情報処理装置１００は、上記第１の例に係る設定処理に加え、さらに、所定のイベントから時系列に撮像画像を処理することによって、所定のイベントに関連するオブジェクトに対してメタデータを設定する。つまり、情報処理装置１００は、所定のイベントから逆時系列に撮像画像を処理すると共に、所定のイベントから時系列に撮像画像を処理して、所定のイベントに関連するオブジェクトに対してメタデータを設定する。

情報処理装置１００が時系列に処理する撮像画像としては、例えば“所定のイベントが検出された時点から時系列における所定の条件を満たす時点までの期間における、時系列の各時点に対応する撮像画像”が、挙げられる。

時系列に処理される撮像画像に係る所定の条件には、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方が、含まれる。上記時間的な条件としては、例えば、“所定のイベントが検出された時点から予め設定されている期間後までの撮像画像が処理されたこと”が、挙げられる。情報処理装置１００は、例えば逆時系列に処理される撮像画像に係る時間的な条件の判定と同様に、撮像画像のタイムスタンプなどを参照することによって、上記時間的な条件を満たすか否かを判定する。また、上記オブジェクトに関する条件は、例えば逆時系列に処理される撮像画像に係るオブジェクトに関する条件と同様である。情報処理装置１００は、例えば逆時系列に処理される撮像画像に係るオブジェクトに関する条件の判定と同様に、上記オブジェクトに関する条件を満たすか否かを判定する。なお、時系列に処理される撮像画像に係る所定の条件が、上記に示す例に限られないことは、言うまでもない。

なお、時系列に処理される撮像画像は、上記に示す例に限られない。例えば、情報処理装置１００が時系列に処理する撮像画像は、“所定のイベントが検出された時点から時系列に処理することが可能な、時系列における全ての時点に対応する撮像画像”であってもよい。

例えば、情報処理装置１００が逆時系列に処理した撮像画像のうち、最後に処理した撮像画像に対応する時点が、所定のイベントの開始時点に該当する。また、例えば、情報処理装置１００が時系列に処理した撮像画像のうち、最後に処理した撮像画像に対応する時点が、所定のイベントの終了時点に該当する。

第２の例に係る設定処理におけるメタデータの設定に係る処理は、処理の対象となる撮像画像の範囲が異なる点を除き、上記第１の例に係る設定処理と同様である。

図６は、本実施形態に係る情報処理方法に係る設定処理の第２の例を説明するための流れ図である。図６は、情報処理装置１００が、所定のイベントに関連するオブジェクトに対して、タグ（メタデータの一例）を設定する例を示している。また、図６では、情報処理装置１００が処理する撮像画像が、複数のフレーム画像から構成される動画像である例を示している。

情報処理装置１００は、図２に示すステップＳ１００と同様に、イベントを検出し、追尾対象のオブジェクトにタグを設定する（Ｓ３００）。ステップＳ３００の処理は、第１のオブジェクトに対してタグを設定する処理に該当する。

ステップＳ３００において追尾対象のオブジェクトにタグが設定されると、情報処理装置１００は、処理対象の撮像画像を１つ前のフレーム画像とする（Ｓ３０２）。

情報処理装置１００は、図２に示すステップＳ１０４と同様に、ステップＳ３００においてタグが設定されたオブジェクトを追尾する（Ｓ３０４）。

情報処理装置１００は、図２に示すステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ３０６）。ステップＳ３０６において判定される別のオブジェクトは、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に該当する。

ステップＳ３０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ３１０の処理を行う。

また、ステップＳ３０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、図２に示すステップＳ１０８と同様に、当該別のオブジェクトに対してタグを設定する（Ｓ３０８）。

ステップＳ３０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ３０８の処理が行われると、情報処理装置１００は、図２に示すステップＳ１１０と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ３１０）。

ステップＳ３１０において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ３０２からの処理を繰り返す。

また、ステップＳ３１０において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、処理対象の画像を、追尾開始時点に対応するフレーム画像に戻す（Ｓ３１２）。ステップＳ３１２により処理対象の画像となるフレーム画像としては、例えば、イベントが検出された時点に対応するフレーム画像が、挙げられる。

情報処理装置１００は、処理対象の撮像画像を、次のフレーム画像（すなわち、１つ後のフレーム画像）とする（Ｓ３１４）。例えば、ステップＳ３１０の処理において追尾対象のオブジェクトの追尾を終了すると判定された後にステップＳ３１４の処理が行われる場合、情報処理装置１００は、例えばイベントが検出された時点に対応するフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。また、例えば、後述するステップＳ３２２の処理が行われた後にステップＳ３１４の処理が行われる場合、情報処理装置１００は、例えば、処理対象の撮像画像となっているフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。つまり、情報処理装置１００は、ステップＳ３１４以降、撮像画像を時系列に処理する。

情報処理装置１００は、例えば図２のステップＳ１０４と同様に、ステップＳ３００において選択されたオブジェクトを追尾する（Ｓ３１６）。

情報処理装置１００は、例えば図２のステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ３１８）。ステップＳ３１８において判定される別のオブジェクトは、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に該当する。

ステップＳ３１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ３２２の処理を行う。

また、ステップＳ３１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、ステップＳ３０８と同様に、当該別のオブジェクトに対してタグを設定する（Ｓ３２０）。

ステップＳ３１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ３２０の処理が行われると、情報処理装置１００は、例えば図３のステップＳ２２２と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ３２２）。

ステップＳ３２２において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ３１４からの処理を繰り返す。また、ステップＳ３２２において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、図６に示す処理を終了する。

情報処理装置１００は、第２の例に係る設定処理として、例えば図６に示す処理を行う。図６に示す処理が行われることによって、第１のオブジェクト、および第１のオブジェクトに直接的に関連する第３のオブジェクト（第２のオブジェクトの一例）それぞれに対して、タグが設定される。

なお、第２の例に係る設定処理の例は、図６に示す例に限られない。

例えば、情報処理装置１００は、さらに図３に示す処理を行ってもよい。

また、情報処理装置１００は、例えば、所定のイベントに関連したオブジェクトにタグを設定すると共に、タグが設定されたオブジェクトの移動の軌跡を記録してもよい。

［１−４−２−３］情報処理方法に係る処理の第３の例：設定処理の第３の例
上記第１の例に係る設定処理、および上記第２の例に係る設定処理では、１つの撮像デバイス２００により時系列に撮像された撮像画像に含まれるオブジェクトに対して、メタデータを設定する処理を示した。しかしながら、上述したように、本実施形態に係る情報処理システムは、複数の撮像デバイス２００を含みうる。

そこで、設定処理の第３の例として、“複数の撮像デバイス２００により撮像された撮像画像に基づいて、所定のイベントに関連するオブジェクトに対してメタデータを設定する処理”について、説明する。

図７は、本実施形態に係る情報処理方法に係る設定処理の第３の例を説明するための説明図である。図７のＡは、２つの撮像デバイス２００Ａ、２００Ｂそれぞれが、サッカーのフィールドを撮像している例を示している。図７のＢは、撮像デバイス２００Ａにより選手Ｏ（オブジェクトの一例）が撮像された撮像画像の一例を示している。また、図７のＣは、撮像デバイス２００Ｂにより選手Ｏが撮像された撮像画像の一例を示している。

以下、図７を適宜参照しつつ、設定処理の第３の例について説明する。

情報処理装置１００は、撮像デバイス２００ごとの撮像画像を処理して、撮像デバイス２００ごとに、所定のイベントに関連するオブジェクトに対してメタデータを設定する。情報処理装置１００は、例えば、複数の撮像デバイス２００それぞれにより撮像された撮像画像に対して、上記第１の例に係る設定処理、または上記第２の例に係る設定処理を行うことによって、メタデータを設定する。

また、情報処理装置１００は、撮像デバイス２００ごとにメタデータが設定された所定のイベントに関連するオブジェクトを、対応付けてもよい。

複数の撮像デバイス２００それぞれにより撮像された撮像画像に基づき設定されたメタデータの対応付けを行う場合、情報処理装置１００は、例えば、上記第１の例に係る設定処理における上記数式１のような評価関数を用いて、メタデータの対応付けを行う。

ここで、第３の例に係る設定処理におけるメタデータの対応付けは、上記第１の例に係る設定処理におけるメタデータの対応付けと異なり、異なる撮像デバイス２００により撮像された撮像画像に基づき設定されたメタデータの対応付けである。

そこで、情報処理装置１００は、例えば、複数の撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置を、共通の座標系の座標に座標変換する。そして、情報処理装置１００は、座標変換後のオブジェクトの位置を利用して、上記数式１のような評価関数によりメタデータの対応付けを行う。

複数の撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置の座標変換は、例えば、各時点における撮像デバイス２００の撮像状態に基づいて行うことが可能である。各時点における撮像デバイス２００の撮像状態は、例えば、画角と、フィールドなどの撮像対象に対する撮像角度（例えば、方位角、仰角、俯角）とを含んで表される。例えば、各時点における撮像デバイス２００の画角と、撮像対象に対する撮像角度とが既知であれば、オブジェクトの位置を、フィールドなどの撮像対象を真上、あるいは斜め上からから見た平面地図上の座標に変換することができる。なお、撮像画像におけるオブジェクトの位置の座標変換の例は、上記に示す例に限られず、情報処理装置１００は、共通の座標系の座標に座標変換することが可能な、任意の処理によって、撮像画像におけるオブジェクトの位置を変換してもよい。

第３の例に係る設定処理においてメタデータの対応付けが行われる場合、情報処理装置１００は、例えば、設定されたメタデータごとに、対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録する。

例えば、情報処理装置１００は、設定されたメタデータごとのテーブル（またはデータベース）に、対応付けられた他のメタデータとの関連性を記録する。具体例を挙げると、撮像デバイス２００Ａにおける第２階層のタグＡ−１が設定されたオブジェクトと、撮像デバイス２００Ｂにおける第２階層のタグＢ−１が設定されたオブジェクトとが、同一のオブジェクトと判定された場合、情報処理装置１００は、タグＡ−１に対応するテーブルにタグＢ−１を記録し、タグＢ−１に対応するテーブルにタグＡ−１を記録する。

例えば上記のように“設定されたメタデータごとに対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録すること”によって、複数の撮像デバイス２００間でのメタデータの相関関係を、より容易に取り出すことが可能となる。

なお、情報処理装置１００は、例えば上記第１の例に係る設定処理における上記（Ｃ）に示す処理によって、対応付けられたメタデータの統合を行ってもよい。

［１−４−２−４］情報処理方法に係る処理の第４の例：設定処理の第４の例
“複数の撮像デバイス２００により撮像された撮像画像に基づいて、所定のイベントに関連するオブジェクトに対してメタデータを設定する処理”は、上記第３の例に係る設定処理に限られない。

上記第３の例に係る設定処理では、撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置を、共通の座標系の座標に座標変換した。ここで、撮像デバイス２００それぞれにおける座標変換のための変換式が分かれば、共通の座標系の座標から、撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置に対応する座標系の座標へと、座標変換することが可能である。以下では、上記のように“共通の座標系の座標から、撮像デバイス２００により撮像された撮像画像におけるオブジェクトの位置に対応する座標系の座標へと、座標変換すること”を、「逆座標変換」と示す場合がある。

そこで、情報処理装置１００は、まず、複数の撮像デバイス２００のうちの一部の撮像デバイス２００により撮像された撮像画像に基づいて、所定のイベントに関連するオブジェクトに対してメタデータを設定する。一部の撮像デバイス２００は、１つの撮像デバイス２００であってもよいし、２つ以上の撮像デバイス２００であってもよい。情報処理装置１００は、上記第１の例に係る設定処理、または上記第２の例に係る設定処理を行うことによって、メタデータを設定する。

次に、情報処理装置１００は、上記一部の撮像デバイス２００により撮像された撮像画像に基づくメタデータの設定結果と、複数の撮像デバイス２００のうちの残りの撮像デバイス２００により撮像された撮像画像とに基づいて、所定のイベントに関連するオブジェクトに対して、メタデータを設定する。

より具体的には、情報処理装置１００は、例えば、上記第３の例に係る設定処理と同様に、上記一部の撮像デバイス２００により撮像された撮像画像に基づきメタデータが設定されたオブジェクトの位置を、共通の座標系の座標へと座標変換する。情報処理装置１００は、残りの撮像デバイス２００における座標変換のための変換式を利用して、上記共通の座標系の座標に座標変換されたオブジェクトの位置を、上記残りの撮像デバイス２００により撮像された撮像画像におけるオブジェクトの位置に対応する座標系の座標へと、逆座標変換する。

ここで、上記一部の撮像デバイス２００と、上記残りの撮像デバイス２００とは、異なる撮像デバイス２００である。つまり、上記一部の撮像デバイス２００と、上記残りの撮像デバイス２００とにおける各時点における撮像状態は、異なっていることが多いと考えられる。そのため、逆座標変換を行った結果に該当するオブジェクトの位置が、常に上記残りの撮像デバイス２００により撮像された撮像画像内にあるとは限られない。

情報処理装置１００は、逆座標変換を行った結果であるオブジェクトの位置が上記残りの撮像デバイス２００により撮像された撮像画像内にある場合に、当該撮像画像に含まれる、逆座標変換を行った結果に該当するオブジェクトの位置に対応するオブジェクトに対して、メタデータを設定する。

第４の例に係る設定処理では、上記一部の撮像デバイス２００により撮像された撮像画像に対してのみ、上記第１の例に係る設定処理、または上記第２の例に係る設定処理によって、メタデータが設定される。また、逆座標変換に係る処理に係る処理負荷は、上記第１の例に係る設定処理および上記第２の例に係る設定処理それぞれの処理負荷よりも、低い。

よって、第４の例に係る設定処理が行われる場合には、上記第３の例に係る設定処理が行われる場合よりも、設定処理に係る処理負荷を低減することができる。

情報処理装置１００は、例えば、上記第１の例に係る設定処理〜上記第４の例に係る設定処理のいずれかの処理を行うことによって、所定のイベントに関連するオブジェクトに対して、メタデータを設定する。

以下、情報処理方法に係る処理の他の例として、設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果を用いる処理について、説明する。

［１−４−２−５］情報処理方法に係る処理の第５の例：編集処理の例
情報処理装置１００は、設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて、撮像画像を編集する。

例えば図４、図５に示すように、設定処理によりメタデータが設定されることによって、メタデータが設定されたオブジェクトの関連性、すなわち、所定のイベントに関連するオブジェクトの関連性が得られる。よって、設定処理におけるメタデータの設定結果に基づいて撮像画像を編集することによって、撮像画像を、所定のイベントに関連するオブジェクトの関連性を用いて編集することができる。

また、情報処理装置１００は、編集された画像を、表示デバイス３００の表示画面に表示させてもよいし、記憶デバイス４００に記録させてもよい。また、情報処理装置１００は、編集された画像を、サーバなどの外部装置に送信してもよい。

例えば図７に示す例のように、サッカーのフィールドが撮像デバイス２００で撮像される場合を例に挙げると、フィールド全体を見渡せる画角で撮像されることが多い。フィールド全体を見渡せる画角で撮像された場合、複数の選手を含むプレー全体を撮像することができるという利点があるが、その反面、ボールやプレーに関与している選手が小さくなってしまうという欠点がある。

ボールやプレーに関与している選手を大きく撮像することは、例えば、撮像デバイス２００における光学ズームによって実現することができる。ここで、光学ズームは、光学系を構成するズームレンズを動かしてズームレンズの焦点距離を変更することによって、ズーム倍率を変更するズーム方式である。

しかしながら、光学ズームを用いる場合には、ボールやプレーに関与している選手のみしか撮像することができない。

そこで、情報処理装置１００は、撮像画像に対する電子ズームと、撮像画像に基づく複数の画像の合成との一方または双方を含む画像処理によって、撮像画像を編集する。

電子ズームとは、光学系を構成するレンズを動かさずに、画像に対して画像処理を行うことによってズーム倍率を変更するズーム方式である。電子ズームが行われる場合には、画像の一部の領域が切り出され、切り出された領域に対して補間処理などの各種処理が適宜行われた上で、当該領域の画像が拡大される。

撮像画像に基づく複数の画像としては、例えば、１つの撮像デバイス２００により撮像された撮像画像から切り出される複数の画像（例えば、同一のフレーム画像から切り出される複数の画像、または、異なるフレーム画像から切り出される複数の画像）が挙げられる。また、撮像画像に基づく複数の画像は、複数の撮像デバイス２００によりそれぞれ撮像された複数の撮像画像（当該撮像画像から切り出される画像も含みうる。）であってもよい。

複数の画像の合成としては、例えば、アルファ合成や、複数の画像の重畳、複数の画像の貼り付け、画像の切り出しおよび貼り付けなど、複数の画像を合成することが可能な、任意の画像処理が挙げられる。また、複数の画像の合成には、例えば、ピクチャインピクチャを実現するための合成処理などの、表示画面に画像が表示されたときに複数の画像が同時に表示されるような形式とする画像処理が、含まれていてもよい。

図８は、本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。図８のＡ〜図８のＤそれぞれは、サッカーのフィールドが撮像デバイス２００で撮像される場合における編集処理の結果に該当する。

例えば、設定された長さ以上の期間、一人の選手がボールを持ち続けた場合、情報処理装置１００は、図８のＡに示すように、電子ズームにより当該選手を拡大する。

また、別の選手がボールを持つ選手に近づく、または、ボールを持つ選手が別の選手にボールをパスするなどのサブイベントが発生する場合、情報処理装置１００は、図８のＢに示すように、当該サブイベントに関与する選手が編集後の画像内に含まれるように電子ズームにおける切り出し範囲を広げる。情報処理装置１００は、設定されているメタデータを参照することによって、サブイベントの発生時点よりも前の時点に、電子ズームにおける切り出し範囲を広げる。また、情報処理装置１００は、設定されているメタデータを参照することによって、サブイベントの発生時点より後の時点における選手やボールの位置から、電子ズームの切り出し範囲を設定してもよい。

上記のように、設定されたメタデータを利用して電子ズームを行うことによって、撮像画像を、プレーに関与している選手だけでなく、近い将来にプレーに関与する選手が含まれるような画像となるように編集することができる。

編集処理を行う場合に、サブイベントの発生時点に対して遡る期間としては、予め設定されている固定の期間が、挙げられる。また、上記遡る期間は、サブイベントに関連するオブジェクトに関する条件を満たすまでなど、可変の期間であってもよい。サブイベントに関連するオブジェクトに関する条件としては、例えば、ブイベントに関与する選手がボールに対して一定の距離までなど、サブイベントに関連するオブジェクト間の距離に関する条件が、挙げられる。また、サブイベントに関連するオブジェクトに関する条件は、“予め設定されている固定の期間が経過するまで、または、サブイベントに関連するオブジェクト間の距離に関する条件を満たすまで”など、複数の条件を組み合わせた条件であってもよい。

サッカーなどのスポーツにおいては、ロングパスなどによってボールの位置が急に大きく変わる場合がある。上記のような場合に電子ズームを行うと、電子ズームの切り出し範囲が大きくなってしまい、ボールや選手が小さくなってしまうことが、起こりうる。

そこで、情報処理装置１００は、例えば図８のＣや図８のＤに示すように、複数の画像を合成することによって、撮像画像を編集する。情報処理装置１００は、例えば、現在プレーに関与している選手の画像と、近い将来にプレーに関与する選手の画像とを、別々に切り出して電子ズームを行い、複数の画像を合成する。また、情報処理装置１００は、フィールド全体が撮像された画像と、電子ズームによって切り出された画像とを、合成することも可能である。合成される画像は、図８のＣに示すように２つの画像であってもよいし、図８のＤに示すように３つ以上の画像であってもよい。

なお、上述したように、撮像画像に基づく複数の画像には、複数の撮像デバイス２００により撮像された撮像画像が含まれうる。例えば、スポーツを複数の撮像デバイス２００で撮像した場合、フィールド全体を撮像する撮像デバイス２００とは別に、プレーに関与している選手を光学ズームによって拡大して撮像している撮像デバイス２００が存在する場合がある。よって、複数の撮像デバイス２００により撮像された撮像画像に基づき画像を合成する場合、プレーの状況によっては、光学ズームにより拡大された撮像画像が用いられてもよい。

［１−４−２−６］情報処理方法に係る処理の第６の例：表示処理の例
情報処理装置１００は、所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる。情報処理装置１００は、例えば、表示命令を含む制御信号と表示させる画像を示す信号とを、表示デバイス３００に送信することによって、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示デバイス３００の表示画面に表示させる。

メタデータが設定された所定のイベントに関連するオブジェクトが示される画像としては、例えば、“メタデータが設定されているオブジェクトが示される撮像画像”と、“メタデータが設定されているオブジェクトが示される、編集処理により編集された画像”とが、挙げられる。

図９は、本実施形態に係る情報処理方法に係る表示処理の一例を説明するための説明図である。図９のＡ〜図９のＤそれぞれは、サッカーのフィールドが撮像デバイス２００で撮像される場合において表示処理により表示画面に表示される画像に該当する。図９のＡ〜図９のＣそれぞれは、“メタデータが設定されているオブジェクトが示される撮像画像”の一例を示し、図９のＤは、“メタデータが設定されているオブジェクトが示される、編集処理により編集された画像”の一例を示している。

メタデータが設定されているオブジェクトは、例えば下記のように明示される。なお、メタデータが設定されているオブジェクトを示す方法が、下記に示す例に限られないことは、言うまでもない。
・メタデータに対応する線種の表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる（図９のＡ〜図９のＤ）
・メタデータに対応する色の表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる
・メタデータに対応する形の表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる
・メタデータに対応する線の太さの表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる
・メタデータが設定されているオブジェクトが将来動く方向を示す表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる（図９のＢ）
・イベントまたはサブイベントが起こるまでの時間を示す表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる（図９のＣ）
・上記の表示のうちの、２以上の組み合わせ

情報処理装置１００は、例えば、図９に示すようなメタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、常に表示させる。

また、情報処理装置１００は、例えば、図９に示すようなメタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かを、切り替えることが可能であってもよい。

情報処理装置１００は、例えば、記憶部（後述する）などの記録媒体に記憶されている表示設定情報に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かを切り替える。

表示設定情報としては、例えば、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かを示すフラグが、挙げられる。また、表示設定情報は、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かと、メタデータが設定されているオブジェクトを示す方法とが規定される、任意の形式のデータであってもよい。表示設定情報が示す内容は、例えばユーザ操作に基づいて、変更されうる。

表示設定情報を参照することによって、情報処理装置１００は、メタデータが設定された所定のイベントに関連するオブジェクトの表示のさせ方（メタデータが設定されていることを示さないことも含む。）を、変えることができる。また、表示設定情報が示す内容がユーザ操作に基づいて変更される場合、ユーザは、メタデータが設定された所定のイベントに関連するオブジェクトの表示のさせ方を、選択することができる。

なお、表示処理により表示画面に表示される画像は、図９に示す例のように、スポーツが撮像された撮像画像に基づく画像に限られない。

図１０は、本実施形態に係る情報処理方法に係る表示処理の他の例を説明するための説明図である。図１０は、防犯カメラとして機能する撮像デバイス２００により撮像された撮像画像に基づく画像が、表示処理により表示画面に表示される場合の一例を示している。

情報処理システム１０００が、防犯カメラとして機能する撮像デバイス２００を有する場合、所定のイベントの一例としては、立ち入り禁止区域内への人物の侵入が、挙げられる。情報処理装置１００は、人物が立ち入り禁止区域に進入した時点を所定のイベントが検出された時点として、設定処理により、当該所定のイベントに関連するオブジェクトに対してメタデータを設定する。情報処理装置１００は、例えば、上記第１の例に係る設定処理または上記第２の例に係る設定処理により、所定のイベントに関連するオブジェクトに対してメタデータを設定する。

所定のイベントに関連するオブジェクトに対するメタデータの設定の一例としては、例えば下記に示す例が挙げられる。
・立ち入り禁止区域に進入した人物に対してタグを設定すること（第１のオブジェクトに対するメタデータの設定の一例）
・立ち入り禁止区域に進入した人物に近づいた別の人物に対してタグを設定すること（第２のオブジェクトに対するメタデータの設定の一例）
・立ち入り禁止区域に進入した人物が置き去りにした荷物に対してタグを設定すること（第２のオブジェクトに対するメタデータの設定の一例）
・立ち入り禁止区域に進入した人物が持ち去った荷物に対してタグを設定すること（第２のオブジェクトに対するメタデータの設定の一例）

情報処理システム１０００が、防犯カメラとして機能する撮像デバイス２００を複数有する場合、情報処理装置１００は、撮像デバイス２００それぞれにより撮像された撮像画像ごとに、メタデータを設定する。また、情報処理装置１００は、撮像デバイス２００それぞれにより撮像された撮像画像それぞれに対して、任意のオブジェクト検出処理を行う。そして、情報処理装置１００は、オブジェクト検出処理の結果を利用して、同一のオブジェクトに対して同一のメタデータが設定されるように、メタデータを統合する。

情報処理装置１００は、上記のように設定されたメタデータを利用して、メタデータが設定されたオブジェクトが示される画像を、表示画面に表示させる。

所定のイベントが立ち入り禁止区域内への人物の侵入である場合において、情報処理装置１００が表示画面に表示させる画像の例としては、下記に示す例が挙げられる。なお、所定のイベントが立ち入り禁止区域内への人物の侵入である場合において表示画面に表示される画像の例が、下記に示す例に限られないことは、言うまでもない。
・撮像デバイス２００が配置されている領域を示す地図（所定のイベントが発生した場所全体を俯瞰することが可能な表現の一例）上に、メタデータが設定されたオブジェクトが表示される画像
・上記地図上に、メタデータが設定されたオブジェクトを時系列に同時に表示される画像
・メタデータが設定されたオブジェクトの進行方向が矢印などで表示される画像
・イベントまたはサブイベントが発生するまでの時間が表示される画像
・上記の画像のうちの、２以上の組み合わせ

［１−４−３］情報処理装置１００の構成の一例
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、情報処理装置１００の構成の一例を説明する。

図１１は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。

また、情報処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。

［情報処理装置１００のハードウェア構成例］
図１２は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する設定処理部１１０、編集処理部１１２、および表示処理部１１４の役目を果たす。なお、設定処理部１１０、編集処理部１１２、および表示処理部１１４のうちの一部または全部は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。

また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。

また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。

なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワーク５００を介して（あるいは、直接的に）、撮像デバイス２００、表示デバイス３００、記憶デバイス４００、サーバ（図示せず）などの外部装置などと、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。また、通信インタフェース１６４は、ネットワーク５００に対応する任意の構成であってもよい。

情報処理装置１００は、例えば図１２に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１２に示す構成に限られない。

例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。

また、情報処理装置１００は、例えば、情報処理システム１０００において撮像デバイス２００として機能する撮像デバイスを、さらに備えていてもよい。情報処理装置１００が撮像デバイスを備える場合、当該撮像デバイスは、撮像により撮像画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する。

また、情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、および表示デバイス１６２のうちの一部または全部を備えない構成をとることが可能である。

また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。

また、例えば、図１２に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated Circuit）で実現されてもよい。

再度図１１を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワーク５００を介して（あるいは、直接的に）、撮像デバイス２００、表示デバイス３００、記憶デバイス４００などの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。

ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワーク５００を介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。

制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、設定処理部１１０と、編集処理部１１２と、表示処理部１１４とを有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。

設定処理部１１０は、上記設定処理を主導的に行う役目を果たし、撮像デバイス２００により撮像された撮像画像に基づいて、撮像画像に含まれるオブジェクトに対してメタデータを設定する。設定処理部１１０は、例えば、上記［１−４−２−１］に示す第１の例に係る設定処理、上記［１−４−２−２］に示す第２の例に係る設定処理、上記［１−４−２−３］に示す第３の例に係る設定処理、および上記［１−４−２−４］に示す第４の例に係る設定処理のうちの、いずれかの処理を行うことによって、メタデータを設定する。

図１３は、図１１に示す設定処理部１１０の構成の一例を示すブロック図である。図１３は、階層が設けられるメタデータを設定する場合における設定処理部１１０の構成の一例を示している。図１３では、第１階層のメタデータ〜第３階層のメタデータという３つの階層のメタデータを設定する例を示しているが、階層が設けられるメタデータを設定する場合における階層数は、３つに限られない。

設定処理部１１０は、例えば、イベント検出部１２０と、追尾対象決定部１２２Ａ、１２２Ｂ、１２２Ｃと、追尾処理部１２４Ａ、１２４Ｂ、１２４Ｃと、記録部１２６Ａ、１２６Ｂ、１２６Ｃと、メタデータ付与部１２８Ｂ、１２８Ｃと、メタデータ調整部１３０とを有する。追尾対象決定部１２２Ａ、追尾処理部１２４Ａ、および記録部１２６Ａは、例えば図２に示す処理を行うことによって、第１階層のメタデータを設定する。また、追尾対象決定部１２２Ｂ、追尾処理部１２４Ｂ、記録部１２６Ｂ、およびメタデータ付与部１２８Ｂは、例えば図３に示す処理を行うことによって、第２階層のメタデータを設定する。また、追尾対象決定部１２２Ｃ、追尾処理部１２４Ｃ、記録部１２６Ｃ、およびメタデータ付与部１２８Ｃは、例えば図３に示す処理を行うことによって、第３階層のメタデータを設定する。

イベント検出部１２０は、所定のイベントを検出する。

イベント検出部１２０において所定のイベントが検出されると、追尾対象決定部１２２Ａは、追尾対象のオブジェクトを決定する。追尾対象決定部１２２Ａが決定する追尾対象は、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）である。

追尾対象決定部１２２Ａにおいて追尾対象のオブジェクトが決定されると、記録部１２６Ａは、設定されたメタデータとオブジェクトの位置とを、記憶部（図示せず）などの記録媒体に記録する。

追尾処理部１２４Ａは、追尾対象決定部１２２Ａにおいて決定された追尾対象のオブジェクトを追尾し、記録部１２６Ａは、追尾処理部１２４Ａにおける追尾結果を、記録媒体に記録する。

また、追尾処理部１２４Ａは、追尾対象のオブジェクトの近くに別のオブジェクトがあるかを判定する。別のオブジェクトがあると判定された場合、追尾処理部１２４Ａは、判定結果を、メタデータ付与部１２８Ｂに伝達する。

メタデータ付与部１２８Ｂは、追尾処理部１２４Ａから伝達される判定結果に基づき、第２階層のメタデータを設定する。第２階層のメタデータが設定されると、記録部１２６Ｂは、設定されたメタデータとオブジェクトの位置とを、記録媒体に記録する。

追尾処理部１２４Ａは、追尾対象決定部１２２Ａにおいて決定された追尾対象のオブジェクトの追尾を終了すると判定された場合、追尾が終了したことを、追尾処理部１２４Ｂに伝達する。

追尾が終了したことを伝達された追尾処理部１２４Ｂは、記録部１２６Ｂの記録結果を利用して、追尾対象を決定する。追尾対象決定部１２２Ｂが決定する追尾対象は、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）である。

追尾処理部１２４Ｂは、追尾対象決定部１２２Ｂにおいて決定された追尾対象のオブジェクトを追尾し、記録部１２６Ｂは、追尾処理部１２４Ｂにおける追尾結果を、記録媒体に記録する。

また、追尾処理部１２４Ｂは、追尾対象のオブジェクトの近くに別のオブジェクトがあるかを判定する。別のオブジェクトがあると判定された場合、追尾処理部１２４Ｂは、判定結果を、メタデータ付与部１２８Ｃに伝達する。

メタデータ付与部１２８Ｃは、追尾処理部１２４Ｂから伝達される判定結果に基づき、第３階層のメタデータを設定する。第３階層のメタデータが設定されると、記録部１２６Ｃは、設定されたメタデータとオブジェクトの位置とを、記録媒体に記録する。

追尾処理部１２４Ｂは、追尾対象決定部１２２Ｂにおいて決定された追尾対象のオブジェクトの追尾を終了すると判定された場合、追尾が終了したことを、追尾処理部１２４Ｃに伝達する。

追尾が終了したことを伝達された追尾処理部１２４Ｃは、記録部１２６Ｃの記録結果を利用して、追尾対象を決定する。追尾対象決定部１２２Ｃが決定する追尾対象は、第４のオブジェクト（第３のオブジェクトに直接的に関連するオブジェクト）である。

追尾処理部１２４Ｃは、追尾対象決定部１２２Ｃにおいて決定された追尾対象のオブジェクトを追尾し、記録部１２６Ｃは、追尾処理部１２４Ｃにおける追尾結果を、記録媒体に記録する。

追尾処理部１２４Ｃは、追尾対象決定部１２２Ｃにおいて決定された追尾対象のオブジェクトの追尾を終了すると判定された場合、追尾が終了したことを、メタデータ調整部１３０に伝達する。

メタデータ調整部１３０は、例えば上記（Ｃ）に示す処理を行うことによって、同一のオブジェクトに対して設定された異なるメタデータを、統合する。

設定処理部１１０は、例えば図１３に示す構成によって図２、図３に示す処理を行い、階層が設けられるメタデータを設定する。

なお、設定処理部１１０の構成は、図１３に示す例に限られない。

例えば、図１３では、予め設定されている階層までメタデータが設定されるまでメタデータを設定する例を示したが、設定処理部１１０は、新たにメタデータを設定することができなくなる階層まで、メタデータを設定してもよい。つまり、設定処理部１１０は、階層数を動的に変えることが可能である。

また、上述したように、設定処理部１１０は、階層が設けられていないメタデータを設定することも可能である。

再度図１１を参照して、情報処理装置１００の構成の一例を説明する。編集処理部１１２は、上記編集処理を主導的に行う役目を果たし、設定処理部１１０におけるメタデータの設定結果に基づいて、撮像画像を編集する。編集処理部１１２は、例えば、上記［１−４−２−５］に示す編集処理を行うことによって、撮像画像を編集する。

表示処理部１１４は、上記表示処理を主導的に行う役目を果たし、設定処理部１１０におけるメタデータの設定結果に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる。表示処理部１１４は、例えば、上記［１−４−２−６］に示す表示処理を行うことによって、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる。

制御部１０４は、例えば、設定処理部１１０、編集処理部１１２、および表示処理部１１４を有することにより、本実施形態に係る情報処理方法に係る処理を主導的に行う。

なお、制御部１０４の構成は、図１１に示す例に限られない。

例えば、制御部１０４は、編集処理部１１２と表示処理部１１４との一方または双方を、備えていなくてもよい。編集処理部１１２と表示処理部１１４との一方または双方を備えない場合であっても、制御部１０４は、設定処理によりメタデータを設定することができる。よって、制御部１０４が編集処理部１１２と表示処理部１１４との一方または双方を備えない構成であっても、情報処理装置１００は、撮像画像に基づき検出される所定のイベントの把握を補助することができる。

また、制御部１０４は、例えば、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成を有することが可能である。

情報処理装置１００は、例えば図１１に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、設定処理、編集処理、および表示処理）を行う。したがって、情報処理装置１００は、例えば図１１に示す構成によって、撮像画像に基づき検出される所定のイベントの把握を補助することができる。

また、例えば図１１に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。

なお、本実施形態に係る情報処理装置の構成は、図１１に示す構成に限られない。

例えば、本実施形態に係る情報処理装置は、図１１に示す設定処理部１１０、編集処理部１１２、および表示処理部１１４のうちの一部または全部を、制御部１０４とは個別に備えること（例えば、編集処理部１１２、および表示処理部１１４のうちの一部または全部を別の処理回路で実現すること）ができる。

また、上述したように、本実施形態に係る情報処理装置は、編集処理部１１２と表示処理部１１４との一方または双方を、備えていなくてもよい。

また、上述したように、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１１に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。

また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。

［２］本実施形態に係る情報処理システムを構成する各装置の適用例
以上、本実施形態に係る情報処理システムの構成要素として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。

また、本実施形態に係る情報処理システムの構成要素として、撮像デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”や、“スマートホンや携帯電話などの撮像を行うことが可能な通信装置”、“撮像を行うことが可能なタブレット型の装置”、“撮像を行うことが可能なゲーム機”など、撮像機能を有する任意の装置が、挙げられる。また、上述したように、本実施形態に係る情報処理システムでは、本実施形態に係る情報処理装置が撮像デバイスの役目を果たしてもよい。

また、本実施形態に係る情報処理システムの構成要素として、表示デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“テレビ受像機”、“ヘッドマウントディスプレイや、アイウェア型の装置などのウェアラブル装置”、“ＰＣなどの表示を行うことが可能なコンピュータ”、“表示を行うことが可能なタブレット型の装置”、“デジタルスチルカメラやデジタルビデオカメラなどの表示を行うことが可能なカメラ”、“スマートホンや携帯電話などの表示を行うことが可能な通信装置”、“表示を行うことが可能なゲーム機”など、画像を表示する機能を有する任意の装置が、挙げられる。

また、本実施形態に係る情報処理システムの構成要素として、記憶デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣなどのデータを記憶することが可能なコンピュータ”、“データを記憶することが可能なタブレット型の装置”、“デジタルスチルカメラやデジタルビデオカメラなどのデータを記憶することが可能なカメラ”、“スマートホンや携帯電話などのデータを記憶することが可能な通信装置”、“データを記憶することが可能なゲーム機”など、記録媒体にデータを記憶する機能を有する任意の装置が、挙げられる。

（本実施形態に係るプログラム）
コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記設定処理”、“上記設定処理と、上記編集処理および上記表示処理の一方または双方とを組み合わせた処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、撮像画像に基づき検出される所定のイベントの把握を補助することができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。

また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、
前記設定処理部は、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像を処理し、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータを設定する、情報処理装置。
（２）
前記設定処理部は、前記所定のイベントに直接的に関連する第１のオブジェクト、および前記所定のイベントに間接的に関連する第２のオブジェクトそれぞれに対して、前記メタデータを設定する、（１）に記載の情報処理装置。
（３）
前記設定処理部は、
前記所定のイベントが検出された前記撮像画像から前記第１のオブジェクトを特定し、
前記逆時系列に前記撮像画像を処理して、特定された前記第１のオブジェクトに関連するオブジェクトを判定し、
判定された前記第１のオブジェクトに関連するオブジェクトを前記第２のオブジェクトとする、（２）に記載の情報処理装置。
（４）
前記設定処理部は、
前記逆時系列の各時点に対応する前記撮像画像ごとに、前記第１のオブジェクトを検出し、
前記第１のオブジェクトが検出された前記撮像画像から、前記第１のオブジェクトに直接的に関連する第３のオブジェクトを判定し、
判定された前記第３のオブジェクトを前記第２のオブジェクトとする、（３）に記載の情報処理装置。
（５）
前記設定処理部は、前記第１のオブジェクトとの距離が所定の閾値以下のオブジェクト、または、前記第１のオブジェクトとの距離が前記所定の閾値より小さいオブジェクトを、前記第３のオブジェクトであると判定する、（４）に記載の情報処理装置。
（６）
前記設定処理部は、
さらに、判定された前記第３のオブジェクトを含む前記撮像画像から、前記第３のオブジェクトに直接的に関連する第４のオブジェクトを判定し、
判定された前記第４のオブジェクトを前記第２のオブジェクトとする、（４）または（５）に記載の情報処理装置。
（７）
前記設定処理部は、前記所定のイベントが検出された時点から前記逆時系列における所定の条件を満たす時点までの期間における、前記逆時系列の各時点に対応する前記撮像画像を処理する、（１）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記所定の条件は、時間的な条件と、前記撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む、（７）に記載の情報処理装置。
（９）
前記設定処理部は、さらに、前記所定のイベントから前記時系列に前記撮像画像を処理し、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１）〜（８）のいずれか１つに記載の情報処理装置。
（１０）
前記設定処理部は、
前記メタデータが設定された前記所定のイベントに関連するオブジェクトの中から、異なる前記メタデータが設定された同一のオブジェクトを判定し、
前記同一のオブジェクトに対して設定された異なる前記メタデータを、統合する、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
前記設定処理部は、複数の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１）〜（１０）のいずれか１つに記載の情報処理装置。
（１２）
前記設定処理部は、前記撮像デバイスごとの前記撮像画像を処理して、前記撮像デバイスごとに、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１１）に記載の情報処理装置。
（１３）
前記設定処理部は、前記撮像デバイスごとに前記メタデータが設定された前記所定のイベントに関連するオブジェクトを、対応付ける、（１２）に記載の情報処理装置。
（１４）
前記設定処理部は、設定されたメタデータごとに、対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録する、（１３）に記載の情報処理装置。
（１５）
前記設定処理部は、
複数の前記撮像デバイスのうちの一部の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記一部の撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定し、
前記一部の撮像デバイスにより撮像された前記撮像画像に基づく前記メタデータの設定結果と、複数の前記撮像デバイスのうちの残りの前記撮像デバイスにより撮像された前記撮像画像とに基づいて、前記残りの撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１１）に記載の情報処理装置。
（１６）
前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記撮像画像を編集する編集処理部を、さらに備える、（１）〜（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記編集処理部は、前記撮像画像に対する電子ズームと、前記撮像画像に基づく複数の画像の合成との一方または双方を含む画像処理によって、前記撮像画像を編集する、（１６）に記載の情報処理装置。
（１８）
前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる表示処理部を、さらに備える、（１）〜（１７）のいずれか１つに記載の情報処理装置。
（１９）
前記表示処理部は、表示設定情報に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトの表示のさせ方を変える、（１８）に記載の情報処理装置。
（２０）
撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定するステップを有し、
前記設定するステップでは、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像が処理され、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータが設定される、情報処理装置により実行される情報処理方法。

１００ 情報処理装置
１０２ 通信部
１０４ 制御部
１１０ 設定処理部
１１２ 編集処理部
１１４ 表示処理部
１２０ イベント検出部
１２２Ａ、１２２Ｂ、１２２Ｃ 追尾対象決定部
１２４Ａ、１２４Ｂ、１２４Ｃ 追尾処理部
１２６Ａ、１２６Ｂ、１２６Ｃ 記録部
１２８Ｂ、１２８Ｃ メタデータ付与部
１３０ メタデータ調整部
１６２、３００ 表示デバイス
２００、２００Ａ、２００Ｂ 撮像デバイス
５００ ネットワーク
１０００ 情報処理システム

Claims (20)

1. 撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、
   前記設定処理部は、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像を処理し、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータを設定する、情報処理装置。
2. 前記設定処理部は、前記所定のイベントに直接的に関連する第１のオブジェクト、および前記所定のイベントに間接的に関連する第２のオブジェクトそれぞれに対して、前記メタデータを設定する、請求項１に記載の情報処理装置。
3. 前記設定処理部は、
   前記所定のイベントが検出された前記撮像画像から前記第１のオブジェクトを特定し、
   前記逆時系列に前記撮像画像を処理して、特定された前記第１のオブジェクトに関連するオブジェクトを判定し、
   判定された前記第１のオブジェクトに関連するオブジェクトを前記第２のオブジェクトとする、請求項２に記載の情報処理装置。
4. 前記設定処理部は、
   前記逆時系列の各時点に対応する前記撮像画像ごとに、前記第１のオブジェクトを検出し、
   前記第１のオブジェクトが検出された前記撮像画像から、前記第１のオブジェクトに直接的に関連する第３のオブジェクトを判定し、
   判定された前記第３のオブジェクトを前記第２のオブジェクトとする、請求項３に記載の情報処理装置。
5. 前記設定処理部は、前記第１のオブジェクトとの距離が所定の閾値以下のオブジェクト、または、前記第１のオブジェクトとの距離が前記所定の閾値より小さいオブジェクトを、前記第３のオブジェクトであると判定する、請求項４に記載の情報処理装置。
6. 前記設定処理部は、
   さらに、判定された前記第３のオブジェクトを含む前記撮像画像から、前記第３のオブジェクトに直接的に関連する第４のオブジェクトを判定し、
   判定された前記第４のオブジェクトを前記第２のオブジェクトとする、請求項４に記載の情報処理装置。
7. 前記設定処理部は、前記所定のイベントが検出された時点から前記逆時系列における所定の条件を満たす時点までの期間における、前記逆時系列の各時点に対応する前記撮像画像を処理する、請求項１に記載の情報処理装置。
8. 前記所定の条件は、時間的な条件と、前記撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む、請求項７に記載の情報処理装置。
9. 前記設定処理部は、さらに、前記所定のイベントから前記時系列に前記撮像画像を処理し、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１に記載の情報処理装置。
10. 前記設定処理部は、
    前記メタデータが設定された前記所定のイベントに関連するオブジェクトの中から、異なる前記メタデータが設定された同一のオブジェクトを判定し、
    前記同一のオブジェクトに対して設定された異なる前記メタデータを、統合する、請求項１に記載の情報処理装置。
11. 前記設定処理部は、複数の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１に記載の情報処理装置。
12. 前記設定処理部は、前記撮像デバイスごとの前記撮像画像を処理して、前記撮像デバイスごとに、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１１に記載の情報処理装置。
13. 前記設定処理部は、前記撮像デバイスごとに前記メタデータが設定された前記所定のイベントに関連するオブジェクトを、対応付ける、請求項１２に記載の情報処理装置。
14. 前記設定処理部は、設定されたメタデータごとに、対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録する、請求項１３に記載の情報処理装置。
15. 前記設定処理部は、
    複数の前記撮像デバイスのうちの一部の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記一部の撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定し、
    前記一部の撮像デバイスにより撮像された前記撮像画像に基づく前記メタデータの設定結果と、複数の前記撮像デバイスのうちの残りの前記撮像デバイスにより撮像された前記撮像画像とに基づいて、前記残りの撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１１に記載の情報処理装置。
16. 前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記撮像画像を編集する編集処理部を、さらに備える、請求項１に記載の情報処理装置。
17. 前記編集処理部は、前記撮像画像に対する電子ズームと、前記撮像画像に基づく複数の画像の合成との一方または双方を含む画像処理によって、前記撮像画像を編集する、請求項１６に記載の情報処理装置。
18. 前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる表示処理部を、さらに備える、請求項１に記載の情報処理装置。
19. 前記表示処理部は、表示設定情報に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトの表示のさせ方を変える、請求項１８に記載の情報処理装置。
20. 撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定するステップを有し、
    前記設定するステップでは、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像が処理され、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータが設定される、情報処理装置により実行される情報処理方法。

Images