JP5678576B2 - 情報処理装置、情報処理方法、プログラム、および監視システム - Google Patents

Description

本発明は、１以上の動画コンテンツのサムネイル画像をユーザに提示してシーン内容を把握することを支援する情報処理装置、情報処理方法、プログラム、および監視システムに関する。

近年、ユーザの情報端末において、ユーザが録画した動画や、インターネットを通じて取得した動画コンテンツを視聴する状況が増えてきている。視聴可能な数多くの動画が存在する中で、ユーザはできるだけ効率的に自分の見たいシーンだけを見つけ出して視聴したいという要望は今後も益々増大することが予測される。

このような要望に対して、動画中の注目シーンを自動的あるいは人為的に検出してブックマークを付ける機能などが様々な機器で利用されている。例えば、動画中の動体を検知して、検出した動体やこの動体を含むフレームに対してブックマークを付与する技術などが知られている。また、人物の顔認識や表情認識の技術とその精度の向上により、特定の人物の笑顔などを認識して同様にブックマークを付与する方法も知られている。

さらに、そのブックマークを不特定のユーザ間で共有するためのソーシャルブックマークのサービスも普及してきている。ソーシャルブックマークの共有により、動画を初めて視聴するユーザの機器において、注目シーンに絞った視聴を行うことが可能になり、動画の内容を効率良く把握することができる。

ところで、複数の動画を対象にユーザが自分の見たいシーンを検索する場合にもブックマークが効率の向上に大きく寄与する。しかしながら、複数の動画を対象にユーザがシーン検索を行う場合、シーン検索対象である動画を切り替える度に動画を呼び出す操作を行う必要があるなど、効率的に難がある。

特許文献１には、録画された複数の動画コンテンツの中からユーザがブックマーク操作で指定した注目シーンのサムネイル画像の一覧を、動画コンテンツを選択するためのメニュー画面として表示することのできる記録再生装置が開示されている。このメニュー画面でユーザにより所望のサムネイル画像が指定されると、そのブックマークが付されたシーンからその動画コンテンツが再生される。

特開２００８−３１２１８３号公報（図３、段落［００２４−００２５］）

特許文献１に記載された発明では、ブックマークの付与されたシーンを代表するサムネイル画像しか表示されない。しかし、シーンによってはその内容を把握するために、サムネイル画像の前後の動きを見なければ内容がよく分からない場合もある。例えば、笑顔のシーンがあったとしても、その笑顔の理由が分からなければそのシーンを把握できたとは言えない。また、動画コンテンツが監視カメラにより静的な対象を捕らえた監視映像であり、その監視映像から動体を検知してサムネイル画像として表示できるようにしたとしても、その動体の前後の動きを観察しなければ動体の性質を突き止めることができない。

以上のような事情に鑑み、本発明の目的は、１以上の動画コンテンツにおける重要なシーンを効率的にユーザが把握できるように支援することのできる情報処理装置、情報処理方法、プログラム、および監視システムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、１以上の動画コンテンツの所定の単位時間毎のシーンを代表する複数のサムネイル画像をサムネイル画像時系列として保存するサムネイル画像保存部と、前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像を移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新するサムネイル表示部とを具備する。

本発明では、第２のサムネイルライン上での操作対象サムネイルの移動の指示がユーザより与えられるだけで、表示させる重要サムネイル画像を切り替えることができるとともに、移動先の重要サムネイル画像とこれに連続するサムネイル画像の時系列部分をユーザに見せることができる。したがって、重要サムネイル画像をその前後の動きとともにユーザが捉えることができるようになるので、シーン内容をより正確にかつ容易にユーザに把握させることができる。

前記サムネイル表示部は、前記第１のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第２の指示として与えられたとき、第１のサムネイルラインとして表示させる時系列部分を変更するものであってよい。これにより、表示させる重要サムネイル画像を切り替えた直後において第１のサムネイルラインに表示された範囲以外のサムネイル画像の時系列部分を簡単に見に行くことができる。

前記操作対象サムネイルであるサムネイル画像に対応するプレビュー画像を表示するプレビュー画像表示部をさらに具備するものであってもよい。これにより、一つ一つのサムネイル画像をより高い解像度で見ることができる。

前記サムネイル表示部は、前記第１のサムネイルラインに割り当てられた動画コンテンツの時間軸上での、前記操作対象サムネイルであるサムネイル画像の位置と前記重要サムネイル画像の位置を示すプログレスバーを表示し、このプログレスバー上でいずれかの前記重要サムネイル画像の位置がユーザにより選択されたとき、この重要サムネイル画像か前記操作対象サムネイルに変更されるとともに、当該重要サムネイル画像から連続する複数のサムネイル画像の時系列部分で前記第１のサムネイルラインを更新するものであってもよい。これにより、１つの動画コンテンツの中で重要サムネイル画像の間でのジャンプを実現することができる。

前記サムネイル表示部は、前記第１のサムネイルラインを構成する前記共通のサムネイル画像を含む複数のサムネイル画像を、前記表示画面の第１の軸方向に沿って並べて表示し、第２のサムネイルラインを構成する前記共通のサムネイル画像を含む１以上の重要サムネイル画像を、前記表示画面の前記第１の軸方向に対して直交する第２の軸方向に沿って並べ、かつ前記第１のサムネイルラインに対して前記共通のサムネイル画像で互いに重なり合うように表示するものであってもよい。

前記サムネイル表示部は、ユーザからの第３の指示に従って、前記第２のサムネイルラインの前記第１のサムネイルラインに対する前記第１の軸方向での位置を変更するようにしてもよい。これにより、ブックマークが付与されたサムネイル画像から重点的にユーザが動きを追いたい方向を前後間で自由に切り替えることができる。

前記サムネイル表示部は、前記第１のサムネイルラインを構成する、前記共通のサムネイル画像である第１の共通サムネイル画像を含む複数のサムネイル画像と、前記第２のサムネイルラインを構成する、前記共通のサムネイル画像である第２の共通サムネイル画像を含む１以上の重要サムネイル画像を、それぞれ前記表示画面の互いに直交する第１の軸方向および第２の軸方向のいずれか一方の軸方向に沿って並べて表示し、前記第１の共通サムネイル画像および前記第２の共通サムネイル画像は択一的に切り替えられて前記操作対象サムネイルとして操作されることとしてもよい。

前記サムネイル表示部は、前記第１のサムネイルラインに属する前記第１の共通サムネイル画像と前記第２のサムネイルラインに属する前記第２の共通サムネイル画像とが、互いに前記一方の軸方向に対して直交する他方の軸方向に並ぶように、前記第１のサムネイルラインと前記第２のサムネイルラインを表示するようにしてもよい。

前記サムネイル表示部は、前記第１のサムネイルラインを構成する複数のサムネイル画像と、前記第２のサムネイルラインを構成する１以上の重要サムネイル画像を、それぞれ前記表示画面の互いに直交する第１の軸方向および第２の軸方向のいずれか一方の軸方向に沿って並べ、前記第１のサムネイルラインおよび前記第２のサムネイルラインに跨るように前記共通のサムネイル画像に対応するプレビュー画像を前記操作対象サムネイルとして表示し、前記操作対象サムネイルは、操作対象のサムネイルラインを前記第１のサムネイルラインと前記第２のサムネイルラインとの間で択一的に切り替えられて操作されることとしてもよい。操作対象サムネイルのサムネイル画像の表示領域がプレビュー画像の表示領域を兼ねることによって、表示画面の利用効率が向上する。

前記サムネイル表示部は、前記第２のサムネイルラインに異なる動画コンテンツ毎の前記重要サムネイル画像を表示するようにしてもよい。異なる動画コンテンツの重要サムネイル画像間での表示の切り替えをスピーディに行うことが可能となることで、シーン検索の操作性が向上する。

前記サムネイル表示部は、前記第２のサムネイルラインに、１以上の前記動画コンテンツの重要サムネイル画像の時系列の一部分を表示するものであってもよい。１以上の動画コンテンツにおいて時間的に隣接する重要サムネイル画像間での表示の切り替えをスピーディに行うことが可能となることで、シーン検索の操作性が向上する。

本発明の別の形態に係る情報処理方法は、サムネイル画像保存部が、１以上の動画コンテンツの所定の単位時間毎のシーンを代表する複数のサムネイル画像をサムネイル画像時系列として保存し、サムネイル表示部が、前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、サムネイル表示部が、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像を移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新することを特徴とする。

本発明の別の形態に係るプログラムは、１以上の動画コンテンツの所定の単位時間毎のシーンを代表する複数のサムネイル画像をサムネイル画像時系列として保存するサムネイル画像保存部と、前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像を移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新するサムネイル表示部としてコンピュータを機能させるプログラムである。

本発明の別の形態に係る監視システムは、監視対象の映像を取り込むためのカメラと、前記カメラにより取り込まれた映像を動画コンテンツとして１以上保存することのできるストレージ部と、前記ストレージ部に保存された前記１以上の動画コンテンツの所定の単位時間毎のシーンを代表するサムネイル画像を生成するサムネイル作成部と、前記作成された１以上の動画コンテンツの複数のサムネイル画像をサムネイル画像時系列として保存するサムネイル画像保存部と、前記ストレージ部に保存された前記１以上の動画コンテンツを解析して注目オブジェクトの検知を行い、当該注目オブジェクトが検知されたシーンを代表するサムネイル画像にブックマークを付与するとともに、前記検知された注目オブジェクトのフレーム空間内での位置情報を少なくとも含むブックマークオブジェクト情報を生成する動画コンテンツ解析部と、前記生成されたブックマークオブジェクト情報を前記サムネイル画像と関連付けて保存するブックマークオブジェクト情報保存部と、前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像を移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新するサムネイル表示部と、前記第１のサムネイルラインと前記第２のサムネイルラインとが交わる位置にある１つのサムネイル画像に対応するプレビュー画像を、前記第１のサムネイルライン及び前記第２のサムネイルラインと同時に表示するとともに、前記プレビュー画像に対応するサムネイル画像の時刻からの過去分の前記注目オブジェクトの位置を示すためのポイントマークを前記ブックマークオブジェクト情報保存部に保存された前記ブックマークオブジェクト情報をもとに生成し、前記プレビュー画像に合成して表示するプレビュー画像表示部とを具備する。

本発明の監視システムによれば、複数の動画コンテンツの中から注目すべきシーンをユーザが探し出す際に、ブックマークが付与されたサムネイル画像をその前後の動きとともにユーザが捉えることができるようになるので、シーン内容をより正確かつ容易にユーザに把握させることができるとともに、ユーザが動画コンテンツの全時間分のサムネイル画像に目を通さなくても、動画コンテンツの中の動体などの注目オブジェクトを確認することができ、監視の精度と効率を共に高めることができる。

以上のように、本発明によれば、１以上の動画コンテンツにおける重要なシーンを効率的にユーザが把握できるように支援できる。

本発明の第１の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 図１の情報処理装置の機能的な構成を示すブロック図である。 図２に示すサムネイル管理データベースの構成を示す図である。 第１の実施形態のシーン検索画面における横サムネイルライン及び縦サムネイルラインの代表的な表示形態を示す図である。 操作対象サムネイルに対する右方向への１回の移動の指示が入力された場合の横サムネイルライン及び縦サムネイルラインの更新結果を示す図である。 操作対象サムネイルに対する左方向への１回の移動の指示が入力された場合の横サムネイルライン及び縦サムネイルラインの更新結果を示す図である。 操作対象サムネイルに対する下方向への１回の移動の指示が入力された場合の横サムネイルライン及び縦サムネイルラインの更新結果を示す図である。 操作対象サムネイルに対する上方向への１回の移動の指示が入力された場合の横サムネイルライン及び縦サムネイルラインの更新結果を示す図である。 横サムネイルライン及び縦サムネイルラインの他の表示形態を示す図である。 横サムネイルライン及び縦サムネイルラインの初期の表示形態を示す図である。 第１の実施形態のサムネイル表示部による初期の横サムネイルライン及び縦サムネイルラインの作成手順を示すフローチャートである。 横サムネイルライン及び縦サムネイルラインの表示にさらにプログレスバーが追加された変形例を示す図である。 横サムネイルラインと縦サムネイルラインの機能を逆にした変形例を示す図である。 ブックマークのランク付けを採用した変形例のサムネイル管理データベースの構成を示す図である。 本発明の第２の実施形態に係る監視システムの構成を示すブロック図である。 本発明の第３の実施形態の情報処理装置に関して、１以上の動画コンテンツの重要サムネイル画像の時系列について説明するための図である。 第３の実施形態の横サムネイルライン及び縦サムネイルラインの初期の表示形態を示す図である。 第３の実施形態の操作対象サムネイルに対する下方向への１回の移動の指示が入力された場合の横サムネイルライン及び縦サムネイルラインの更新結果を示す図である。 第３の実施形態のサムネイル表示部による初期の横サムネイルライン及び縦サムネイルラインの作成手順を示すフローチャートである。 第４の実施形態における２つのサムネイルラインの表示形態を示す図である。 第４の実施形態において第１の操作対象サムネイルに対する左方向への１回の移動の指示が入力された場合の各サムネイルラインの更新結果を示す図である。 第４の実施形態において第１の横サムネイルラインの第１の操作対象サムネイルから第２の横サムネイルラインの第２の操作対象サムネイルに操作対象が切り替えられた状態を示す図である。 第４の実施形態において第２の操作対象サムネイルに対する左方向への１回の移動の指示が入力された場合の各サムネイルラインの更新結果を示す図である。 第４の実施形態の変形例を示す図である。

以下、本発明の実施形態を説明する。
＜第１の実施形態＞

［情報処理装置のハードウェア構成］
図１は、本発明の第１の実施形態に係る情報処理装置１００のハードウェア構成を示すブロック図である。
本実施形態の情報処理装置１００は、典型的なコンピュータのハードウェア構成を有するものであればよい。すなわち、情報処理装置１００は、ＣＰＵ１０１、システムバス１０２、ＲＯＭ１０３、ＲＡＭ１０４、ストレージ部１０５、操作入力部１０６、表示部１０７、ネットワーク接続部１０８、放送受信部１０９などを有する。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１によって解釈されて実行される各種のプログラムなどが固定的に記憶された記憶部である。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、メインメモリとして用いられる記憶部である。

ストレージ部１０５は、動画コンテンツ、サムネイル管理データベースなどのユーザデータを格納することのできるデバイスである。ストレージ部１０５には、例えばＨＤＤ（Ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが採用される。

操作入力部１０６は、ユーザからの各種の操作入力を受け付ける入力装置である。操作入力部１０６は、キー入力型の入力装置、あるいはタッチセンサパネルを用いたものであってもよい。

表示部１０７は、サムネイル画像、動画、その他の画像を表示可能な表示装置である。この表示部１０７には、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどが採用される。

ネットワーク接続部１０８は、インターネットなどのネットワーク２との接続部である。情報処理装置１００は、ネットワーク接続部１０８により、ネットワーク２を通じて接続されたサーバ装置や他のユーザの機器との間で動画コンテンツ、動画コンテンツ毎に作成されたサムネイル画像を管理するために必要な情報などの送受信を行うことが可能である。

放送受信部１０９は、例えば、地上アナログテレビジョン放送、地上デジタルテレビジョン放送、ＣＳデジタル放送、ＢＳデジタル放送、携帯機器向け地上デジタルテレビジョン放送など、放送局からの放送波３を受信し、ビデオ信号及びオーディオ信号の復調などを行う。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、情報処理装置１００内の各ブロックの制御及びブロック間でのデータのやりとりを制御する。また、ＣＰＵ１０１はＲＯＭ１０３に記憶されたプログラム、あるいはＲＡＭ１０４にロードされたプログラムを実行して様々な演算処理を実行する。そのプログラムの１つとして、動画コンテンツのサムネイル画像の処理に関するプログラムがある。ＣＰＵ１０１は、当該サムネイル画像の表示に関するプログラムに従って、例えば、サムネイル画像の生成、サムネイル画像に対するブックマークの付与、サムネイル管理データベースの構築、サムネイル画像の表示などに関する処理を行うことが可能である。以下に、サムネイル画像の処理に関するプログラムの構成を情報処理装置１００の機能的な構成として説明する。

本実施形態の情報処理装置の具体的な製品形態は問わないが、例えば、パーソナルコンピュータ、レコーダ、プレーヤ、スマートフォン、携帯電話など、動画コンテンツを処理することのできる電子機器全般に適用することが可能である。

［情報処理装置１００の機能的な構成］
図２は、情報処理装置１００の機能的な構成を示すブロック図である。
（１）サムネイル管理データベース１２１は、動画コンテンツ毎に作成されたサムネイル画像を管理するために必要な情報が保存されるデータベースである（サムネイル画像保存部、ブックマークオブジェクト情報保存部に相当）。
図３は、サムネイル管理データベース１２１の構成を示す図である。
同図に示すように、サムネイル管理データベース１２１には、サムネイル画像を管理する情報として、コンテンツＩＤ、コンテンツ名、サムネイル画像のファイル名、タイムスタンプ、ブックマークフラグ、ブックマークオブジェクト情報などが保存される。

コンテンツＩＤは、動画コンテンツを識別する情報である。
コンテンツ名は、動画コンテンツの名前である。
サムネイル画像のファイル名は、動画コンテンツから生成されたサムネイル画像のファイル名である。このサムネイル画像のファイル名は、サムネイル作成部によって作成される。
タイムスタンプは、サムネイル画像の動画コンテンツにおける時間位置を示す情報である。
ブックマークフラグは、ブックマークが付与されたサムネイル画像に対してセットされるフラグである。
ブックマークオブジェクト情報は、フレーム空間内での注目オブジェクトの位置情報、ブックマークの付与理由などの可読的なコメント情報などを含む。

このようなサムネイル画像に関する情報は、ソーシャルブックマークのように他のユーザの機器において作成されたものを本情報処理装置１００において取得してサムネイル管理データベース１２１に保存して利用するようにしてもよいし、情報処理装置１００にて生成することも可能である。

図２に戻って、
（２）サムネイル作成部１２２は、ストレージ部１０５に保存された動画コンテンツから複数のサムネイル画像を生成する。サムネイル作成部１２２は、動画コンテンツの例えば一定時間毎のシーンを代表するサムネイル画像を生成し、生成したサムネイル画像毎に、このサムネイル画像に関する情報をサムネイル管理データベース１２１に新たなレコードとして登録する。一定時間は例えば１秒などである。動画コンテンツがＭＰＥＧ−２によって圧縮符号化されたものである場合、Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）からサムネイル画像を作成するようにしてもよい。サムネイル作成部１２２によってサムネイル管理データベース１２１に登録されるサムネイル画像に関する情報は、コンテンツＩＤ、コンテンツ名、サムネイル画像ファイル名、タイムスタンプなどである。

（３）動画コンテンツ解析部１２３は、ストレージ部１０５に保存された動画コンテンツを解析して、例えば、動体の検知されたシーン、笑顔やズームアップなどの盛り上がりの検知されたシーン、シーンチェンジ直後のシーンなどを「重要シーン」として判定する。動画コンテンツ解析部１２３は、判定した重要シーンの動画コンテンツにおける時間位置とサムネイル管理データベース１２１に登録されたサムネイル画像毎のタイムスタンプとを比較して、当該重要シーンを代表するサムネイル画像を判定し、判定したサムネイル画像に関する情報のレコードにブックマークフラグをセットする。

また、動画コンテンツ解析部１２３は、重要シーンとしてのフレーム中で検知された動体などの注目オブジェクトのフレーム空間内での位置情報と、例えばブックマークの付与理由などの可読的なコメント情報をブックマークオブジェクト情報として生成してサムネイル管理データベース１２１に登録することが可能である。

また、動画コンテンツ解析部１２３に拠らず、ユーザ自身が動画コンテンツを鑑賞して重要シーンや注目オブジェクトを選択して、ブックマークの付与やブックマークオブジェクト情報の生成を動画コンテンツ解析部１２３に指示したり、コメント情報をユーザが直接入力したりすることも可能である。

（４）サムネイル表示部１２４は、シーン検索のためのサムネイル画像の一覧表示がユーザより指示された場合に呼び出される。サムネイル表示部１２４は、サムネイル管理データベース１２１を参照して１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分をタイムスタンプ順に横一列に並べて横サムネイルラインとして表示するとともに、１以上の動画コンテンツのサムネイル画像時系列の中で、ブックマークが付与されたサムネイル画像を縦一列に並べて縦サムネイルラインとして表示する処理を行う。以降、ブックマークが付与されたサムネイル画像を「重要サムネイル画像」と呼ぶ。本実施形態では、サムネイル表示部１２４は、動画コンテンツ毎に１つの重要サムネイル画像を縦一列に並べて縦サムネイルラインとして表示することとしている。

（５）プレビュー画像表示部１２５は、操作対象サムネイルとして表示されたサムネイル画像に対応するプレビュー画像を、動画コンテンツの対応するフレームまたはサムネイル画像から生成して表示する処理を行う。また、プレビュー画像表示部１２５は、操作対象サムネイルとして表示されたサムネイル画像に対応してブックマークオブジェクト情報がサムネイル管理データベース１２１に登録されている場合、そのブックマークオブジェクト情報に含まれる注目オブジェクトの位置情報をもとに、注目オブジェクトの位置を明示するためのポイントマークを生成し、ブックマークオブジェクト情報に含まれるコメント情報とともにプレビュー画像に合成して表示することが可能である。

（６）ユーザインタフェース制御部１２６は、を通じてユーザより、操作対象サムネイルに対する左右の方向への移動の指示を第１の指示としてサムネイル表示部１２４に伝達したり、操作対象サムネイルに対する上下の方向への移動の指示を第２の指示としてサムネイル表示部１２４に伝達する。

サムネイル表示部１２４は、ユーザインタフェース制御部１２６を通じてユーザから与えられる、操作対象サムネイルに対する左右の方向への移動の指示に従って、横サムネイルラインに表示させるサムネイル画像の時系列部分を変更する。
また、サムネイル表示部１２４は、ユーザインタフェース制御部１２６を通じてユーザから与えられる、操作対象サムネイルに対する上下の方向への移動の指示に従って、縦サムネイルライン上の移動の指示先の重要サムネイル画像から連続するサムネイル画像の時系列部分で横サムネイルラインを更新するとともに、縦サムネイルラインを更新する。

［サムネイルラインの表示形態］
図４は、シーン検索画面における横サムネイルライン２３１及び縦サムネイルライン２３２の代表的な表示形態を示す図である。ここで、ストレージ部１０５に保存されている複数の動画コンテンツを"Ａ，Ｂ，…，Ｅ"で表記し、それぞれの動画コンテンツに属するサムネイル画像を動画コンテンツの上記の表記と、時間により"０１"から昇順に与えられた番号との組み合わせにより表記する。例えば、動画コンテンツＢの先頭から２番目のサムネイル画像は"Ｂ０２"と表記される。

横サムネイルライン２３１は、１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分であるＮ個のサムネイル画像で構成される。図４の例では、タイムスタンプ順に連続するＢ０１、Ｂ０２、Ｂ０３、Ｂ０４、Ｂ０５の５つのサムネイル画像で横サムネイルライン２３１が構成される場合を示している。横サムネイルライン２３１においてＮ個のサムネイル画像は左から右に向かってタイムスタンプ順に並べられる。

ここでＮは表示画面１０に表示される横サムネイルライン２３１に配置されるサムネイル画像の上限数である。横サムネイルライン２３１に表示されるサムネイル画像の時系列部分は、実際には全てのサムネイル画像時系列の中の一部であり、その一部分をシフトさせることによって、全てのサムネイル画像を横サムネイルライン２３１を通してユーザに見せることができる。すなわち、横サムネイルライン２３１に表示されるサムネイル画像の時系列部分は、操作対象サムネイル２３３に対するユーザからの左または右方向への移動の指示によって、時間の前後方向に変更される。このように横サムネイルライン２３１に表示させるサムネイル画像の時系列部分を変更する動作については後で詳しく説明する。

一方、縦サムネイルライン２３２は、本実施形態では、異なる動画コンテンツ毎の計Ｍ個のサムネイル画像で構成される。図４の例では、Ａ２５、Ｂ０２、Ｃ０７、Ｄ１１、Ｅ０９の５つのサムネイル画像で縦サムネイルライン２３２が構成される。横サムネイルライン２３１と縦サムネイルライン２３２は互いに共通のサムネイル画像を含む。この共通のサムネイル画像が操作対象サムネイル２３３である。本実施形態では、横サムネイルライン２３１と縦サムネイルライン２３２は１つのサムネイル画像で互いに重なり合って交差する関係にある。この交差する位置にある１つのサムネイル画像を操作対象サムネイル２３３としている。図４ではＢ０２のサムネイル画像が操作対象サムネイル２３３とされている。

全ての動画コンテンツが１つでも重要サムネイル画像を含んでいる場合、縦サムネイルライン２３２に表示される動画コンテンツ毎のサムネイル画像は、少なくとも初期状態においては全て、ブックマークが付与されたサムネイル画像（重要サムネイル画像）である。すなわち、操作対象サムネイル２３３に割り当てられたサムネイル画像は、横サムネイルライン２３１に表示されるサムネイル画像の時系列部分のシフト操作によってブックマークが付与されていないサムネイル画像となっている可能性があるが、縦サムネイルライン２３２において操作対象サムネイル２３３に割り当てられたサムネイル画像以外のサムネイル画像は全てブックマークが付与されたサムネイル画像（重要サムネイル画像）であることが保証されている。但し、重要サムネイル画像を１つも含まない動画コンテンツがある場合にはこの限りでない。

１つの動画コンテンツに複数の重要サムネイル画像が存在する場合には、これら重要サムネイル画像のうち、例えば、時間的に先頭の重要サムネイル画像が縦サムネイルライン２３２に表示されるようになっている。あるいは、複数の重要サムネイル画像のうち中間の重要サムネイル画像を縦サムネイルライン２３２に表示させたり、時間的に最も後の重要サムネイル画像を表示させるようにしてもよい。あるいは、ユーザが、縦サムネイルライン２３２にどの位置の重要サムネイル画像を表示させるかを設定できるようにしてもよい。

縦サムネイルライン２３２における上から下への各動画コンテンツの整列順は、コンテンツＩＤの値が小さいものから、あるいは大きいものからの順とされている。コンテンツＩＤは、例えば、サムネイル作成部１２２によりサムネイル画像の作成が行われた順に各動画コンテンツに対して昇順に付与される番号である。その他、動画コンテンツの撮影順、撮影者の名前順、ユーザが各動画コンテンツに設定した重要度の順など、何らかの条件に従ってソートして利用するようにしてもよい。

縦サムネイルライン２３２は、操作対象サムネイル２３３に対するユーザからの上または下方向への移動の指示によって、縦サムネイルライン上の移動の指示先の重要サムネイル画像から連続するサムネイル画像の時系列部分で横サムネイルラインが更新されることに伴い更新される。

縦サムネイルライン２３２の左右の方向での表示位置は、ユーザによる例えばドラッグ操作（第３の指示）などによって、横サムネイルライン２３１に表示される１つのサムネイル画像の表示サイズの単位で自由に変更することが可能である。図４の例では、縦サムネイルライン２３２は横サムネイルライン２３１の左から２番目のサムネイル画像と重なる位置にある。このように横サムネイルライン２３１の左よりの位置に縦サムネイルライン２３２がある場合、重要サムネイル画像より後のサムネイル画像をより数多く表示させることができる。したがって、重要サムネイル画像より後の動きを重点的に見たい場合には好適である。逆に重要サムネイル画像より前の動きを重点的に見たい場合には、図９に示すように、横サムネイルライン２３１の右よりの位置に操作対象サムネイル２３３をドラッグ操作などにより移動させればよい。
なお、横サムネイルライン２３１の高さ方向の表示位置に関しても、ドラッグ操作などによって上下に移動させることが可能である。

また、図４に戻って、表示画面１０には、これらの横サムネイルライン２３１及び縦サムネイルライン２３２と同時に、操作対象サムネイル２３３に割り当てられたサムネイル画像に対応するプレビュー画像２３４が表示される。本実施形態では、サムネイル画像を表示する領域が横サムネイルライン２３１と縦サムネイルライン２３２に空間的に制限されたことによって、プレビュー画像２３４を表示させるための十分な空間が確保されている。

プレビュー画像２３４には、図４に示すように、その中の注目オブジェクト１の位置を示すポイントマーク２３５とともに、ブックマークの付与理由などの可読的なコメント情報２３６が表示される。コメント情報２３６は、例えば、吹き出し形式等により表示される。

［サムネイル表示部１２４の動作］
次に、サムネイル表示部１２４による最初の横サムネイルライン２３１及び縦サムネイルライン２３２の作成の動作を説明する。
図１０は、横サムネイルライン２３１及び縦サムネイルライン２３２の初期の表示形態を示す図である。同図に示すように、横サムネイルライン２３１及び縦サムネイルライン２３２の初期の表示形態においては、先頭の動画コンテンツの、先頭の重要サムネイル画像が操作対象サムネイル２３３に割り当てられ、縦サムネイルライン２３２の左右方向の表示位置も最も左よりにある。

図１１はサムネイル表示部１２４による初期の横サムネイルライン２３１及び縦サムネイルライン２３２の作成手順を示すフローチャートである。

まず、サムネイル表示部１２４は、サムネイル管理データベース１２１にて管理されている個々の動画コンテンツを特定する情報、例えばコンテンツＩＤ、コンテンツ名などのコンテンツ特定情報を、これらコンテンツＩＤ、コンテンツ名などに依存して決定される順番に整列して表示キューに入れる（ステップＳ１０１）。次に、サムネイル表示部１２４は、表示キューから先頭のコンテンツ特定情報を取り出す（ステップＳ１０３）。

サムネイル表示部１２４は、このコンテンツ特定情報が表示キューから最初に取り出したコンテンツ特定情報である場合、このコンテンツ特定情報をもとにサムネイル管理データベース１２１を参照して、当該動画コンテンツに関してブックマークが付与されたサムネイル画像（重要サムネイル画像）が存在するかどうか調べる（ステップＳ１０５）。

重要サムネイル画像が存在する場合、サムネイル表示部１２４は、それら重要サムネイル画像のなかで先頭の重要サムネイル画像を操作対象サムネイル２３３の位置に表示する（ステップＳ１０６）。続いてサムネイル表示部１２４は、操作対象サムネイル２３３の位置に表示した重要サムネイル画像の後に続く（Ｎ−１）個のサムネイル画像の時系列部分を、横サムネイルライン２３１の操作対象サムネイル２３３の位置より後の各位置にタイムスタンプ順に並べて表示する（ステップＳ１０７）。

また、ステップＳ１０５で、重要サムネイル画像が存在しないことが判定された場合、サムネイル表示部１２４は、当該動画コンテンツの先頭のサムネイル画像をサムネイル管理データベース１２１より取り出し、そのサムネイル画像を操作対象サムネイル２３３の位置に表示する（ステップＳ１０８）。次に、サムネイル表示部１２４は、操作対象サムネイル２３３の位置に表示したサムネイル画像の後に続く（Ｎ−１）個のサムネイル画像をサムネイル管理データベース１２１よりそれぞれ取り出し、横サムネイルライン２３１の操作対象サムネイル２３３の位置より後の各位置にタイムスタンプ順に並べて表示する（ステップＳ１０９）。

この後、サムネイル表示部１２４は表示キューから再び先頭のコンテンツ特定情報を取り出す（ステップＳ１０３）。なお、この時点で表示キューの先頭にあるコンテンツ特定情報は表示キューの初期状態において先頭から２番目にあった情報である。そして、サムネイル表示部１２４は、新たに取得したコンテンツ特定情報により特定される動画コンテンツに重要サムネイル画像が存在するかどうか調べる（ステップＳ１１０）。重要サムネイル画像があれば、サムネイル表示部１２４は、そのなかで例えば先頭の重要サムネイル画像を、縦サムネイルライン２３２における操作対象サムネイル２３３の直下の位置に表示する（ステップＳ１１１）。重要サムネイル画像が存在しない場合には、サムネイル表示部１２４は、当該動画コンテンツの先頭のサムネイル画像をサムネイル管理データベース１２１より取り出して同様に縦サムネイルライン２３２における操作対象サムネイル２３３の直下の位置に表示する（ステップＳ１１２）。

その後も表示キューからコンテンツ特定情報が取り出される毎に、ステップＳ１１０、ステップＳ１１１、ステップＳ１１２の動作が繰り返される。これにより、全ての動画コンテンツが１つでも重要サムネイル画像を含んでいる場合、縦サムネイルライン２３２に異なる動画コンテンツ毎の重要サムネイル画像が配置されて行く。表示キューが空になったところで（ステップＳ１０２のＹＥＳ）、サムネイル表示部１２４が終了となる。

［横サムネイルライン及び縦サムネイルラインのユーザ操作］
次に、横サムネイルライン２３１及び縦サムネイルライン２３２のユーザ操作について説明する。

ユーザインタフェース制御部１２６は、操作入力部１０６を通じてユーザより、操作対象サムネイル２３３に対する上下左右のいずれかの方向への移動の指示を受け付けてサムネイル表示部１２４にその指示内容を伝達する。

前述したように、横サムネイルライン２３１に表示されるサムネイル画像の時系列部分は、操作対象サムネイル２３３に対するユーザからの左または右方向への移動の指示（第１の指示）によって、時間の前後方向に変更される。

例えば、図４の状態において、操作対象サムネイル２３３に対する右方向への１回の移動の指示が入力された場合、サムネイル表示部１２４は、図５に示すように、Ｂ０２のサムネイル画像に代えてＢ０３のサムネイル画像が操作対象サムネイル２３３の位置に来るように、横サムネイルライン２３１に表示させるサムネイル画像の時系列部分をシフトさせる。これに伴い、プレビュー画像表示部１２５は、プレビュー画像２３４をＢ０２のサムネイル画像に対応する画像に代えてＢ０３のサムネイル画像に対応する画像に更新する。

逆に、操作対象サムネイル２３３に対する左方向への１回の移動の指示が入力された場合、サムネイル表示部１２４は、図６に示すように、Ｂ０２のサムネイル画像に代えてＢ０１のサムネイル画像が操作対象サムネイル２３３の位置に来るように、横サムネイルライン２３１に割り当てるサムネイル画像の時系列部分をシフトさせる。これに伴い、プレビュー画像表示部１２５は、プレビュー画像２３４をＢ０２のサムネイル画像に対応する画像に代えてＢ０１のサムネイル画像に対応する画像に更新する。

一方、縦サムネイルライン２３２に表示される動画コンテンツ毎のサムネイル画像の並びは、操作対象サムネイル２３３に対するユーザからの上または下方向への移動の指示（第２の指示）によって更新される。また、この更新に伴って横サムネイルラインに割り当てられる動画コンテンツが変更される。

例えば、図４の状態において、操作対象サムネイル２３３に対する下方向への１回の移動の指示が入力された場合、サムネイル表示部１２４は、図７に示すように、Ｂ０２のサムネイル画像に代えてＣ０７の重要サムネイル画像が操作対象サムネイル２３３の位置に来るように、縦サムネイルライン２３２の各サムネイル画像の並びをシフトさせる。そして縦サムネイルライン２３２の左右方向での表示位置が左から２番目にあり、操作対象サムネイル２３３に割り当てられた重要サムネイル画像がＣ０７であることから、Ｃ０６からＣ１０までの５つのサムネイル画像が横サムネイルライン２３１に割り当てられて表示される。また、これに伴い、プレビュー画像表示部１２５は、プレビュー画像２３４をＢ０２のサムネイル画像に対応する画像に代えてＣ０７の重要サムネイル画像に対応する画像に更新する。

逆に、図４の状態において、操作対象サムネイル２３３に対する上方向への１回の移動の指示が入力された場合、サムネイル表示部１２４は、図８に示すように、Ｂ０２のサムネイル画像に代えてＡ２５の重要サムネイル画像が操作対象サムネイル２３３の位置に来るように、縦サムネイルライン２３２に割り当てられる各サムネイル画像の並びをシフトさせる。そして縦サムネイルライン２３２の左右方向での位置が左から２番目にあり、操作対象サムネイル２３３に割り当てられた重要サムネイル画像がＡ２５であることから、Ａ２４からＡ２８までの５つのサムネイル画像が横サムネイルライン２３１に割り当てられて表示される。これに伴い、プレビュー画像表示部１２５は、プレビュー画像２３４をＢ０２のサムネイル画像に対応する画像に代えてＡ２５の重要サムネイル画像に対応する画像に更新する。

以上のように本実施形態によれば、操作対象サムネイル２３３に対する上下方向への移動の指示をユーザが与えるだけで、表示させる重要サムネイル画像を切り替えることができるとともに、重要サムネイル画像とこれに連続するサムネイル画像の時系列部分をユーザに見せることができる。したがって、重要サムネイル画像をその前後の動きとともにユーザが捉えることができるようになるので、シーン内容をより正確にかつ容易にユーザに把握させることができる。また、本実施形態では、縦サムネイルライン２３２に異なる動画コンテンツ毎の重要サムネイル画像を表示するようにし、異なる動画コンテンツの重要サムネイル画像間での表示の切り替えをスピーディに行うことが可能となることで、シーン検索の操作性が向上する。

また、横サムネイルライン２３１に表示させるサムネイル画像の時系列部分は、操作対象サムネイル２３３に対する左右の方向への移動の指示によってシフトさせることができるので、シーン検索の対象を他の動画コンテンツを切り替えた直後の横サムネイルライン２３１に表示されない範囲のサムネイル画像を自由に見に行くことができる。

また、本実施形態によれば、縦サムネイルライン２３２の左右方向の表示位置をドラッグ操作などによってユーザが自由に変更できるので、ブックマークが付与されたサムネイル画像から重点的に動きを追う方向を前後間で自由に切り替えることができる。

さらに、本実施形態によれば、サムネイル画像を表示した領域が横サムネイルライン２３１と縦サムネイルライン２３２に空間的に制限されたことによって、プレビュー画像２３４の表示空間として十分なサイズを確保することができる。また、複数の動画コンテンツのサムネイル画像を縦横に敷き詰めて表示する方法に比べ、サムネイル画像の表示のためのハードウェアリソースの消費量を低減できる。すなわち、ハードウェアリソースの消費量を押さえつつシーン検索効率に優れた情報処理装置１００を提供することができる。

以下、本発明に係る実施形態の変形例を説明する。
＜変形例１＞
図１２は上記の実施形態の変形例１を示す図である。横サムネイルライン２３１には、１つの動画コンテンツのサムネイル画像がタイムスタンプ順に表示されるが、表示画面１０に同時に表示できるサムネイル画像の数は動画コンテンツ全体のサムネイル画像のうちの一部にすぎない。そこで、図１２に示すように、横サムネイルライン２３１にサムネイル画像の時系列部分を表示するよう割り当てられた動画コンテンツの時間軸において、現在操作対象サムネイル２３３として割り当てられているサムネイル画像の時間的な位置と、ブックマークが付与されたサムネイル画像（重要サムネイル画像）の時間的な位置を視覚的に表すプログレスバー２４１を追加することとした。

このプログレスバー２４１において、現在、操作対象サムネイル２３３として割り当てられたサムネイル画像及びブックマークが付与されたサムネイル画像（重要サムネイル画像）それぞれの時間位置は、それぞれを識別可能な現在時刻表示子２４２とブックマーク時刻表示子２４３で表示される。ここで、現在時刻表示子２４２は操作対象サムネイル２３３として割り当てられたサムネイル画像の時間位置を示し、ブックマーク時刻表示子２４３は重要サムネイル画像の時間位置を示す。

プログレスバー２４１におけるいずれかのブックマーク時刻表示子２４３に対するクリック操作などの所定の選択操作がユーザにより行われると、サムネイル表示部１２４は、その選択されたブックマーク時刻表示子２４３に対応するサムネイル画像が操作対象サムネイル２３３の位置に来るように横サムネイルライン２３１に表示されるサムネイル画像の時系列をシフトさせる。これにより、１つの動画コンテンツの中で、ブックマークが付与されたサムネイル画像（重要サムネイル画像）の間でのジャンプを実現することができる。

＜変形例２＞
上記の実施形態では、１つの動画コンテンツから作成された複数のサムネイル画像をタイムスタンプ順に横一列に並べて横サムネイルライン２３１として表示し、異なる動画コンテンツ毎のサムネイル画像であって、ブックマークが付与されたサムネイル画像（重要サムネイル画像）を縦一列に並べて縦サムネイルライン２３２として表示するようにしたが、図１３に示すように、縦横のサムネイルラインの機能を反対にしてもよい。すなわち、１つの動画コンテンツから作成された複数のサムネイル画像をタイムスタンプ順に縦一列に並べて縦サムネイルライン２３２Ａとして表示し、異なる動画コンテンツ毎のサムネイル画像であって、ブックマークが付与されたサムネイル画像（重要サムネイル画像）を横一列に並べて横サムネイルライン２３１Ａとして表示するようにしてもよい。

＜変形例３＞
本変形例３は、予め決められた基準に従ってブックマークに加えてその優先順位を各サムネイル画像に与える仕組みを導入し、動画コンテンツ毎に優先順位の高いサムネイル画像を縦サムネイルラインに優先的に表示させるようにしたものである。これにより、ユーザが探しているシーンをより一層効率的に見つけ出すことができるように支援できる。

サムネイル画像に優先順位を与える仕組みには様々なものがあるが、例えば、笑顔を基準とした方法を挙げることができる。この方法では、例えば、フレームから画像認識技術により人の笑顔を検出してその数を求めるとともに、その笑顔のサイズ、笑顔の基準パターンとの一致度などから笑顔度を求める。そして笑顔数および笑顔度のうち少なくともいずれか一方がユーザによる設定に応じて採用され、その値が大きいサムネイル画像から順次高い優先順位が与えられる。

図１４は本変形例３により作成されるサムネイル管理データベースの構成を示す図である。太い線により囲まれた部分が、ブックマークが付与されたサムネイル画像（重要サムネイル画像）に対する優先順位付けに係る部分である。同図では、重要サムネイル画像に対する優先順位がブックマークランクとして付与されている。ブックマークランクは笑顔度によって与えられるように予めユーザにより設定されている。したがって、笑顔度の高いサムネイル画像から順に高いブックマークランクが与えられている。

この方式を採用することによって、重要サムネイル画像の中でも、ユーザが見つけ出そうとしているシーンの特徴に最も合ったものを縦サムネイルラインに表示させることができ、ユーザが探しているシーンをより一層効率的に見つけ出すことができるように支援できる。

＜第２の実施形態＞
［監視システム］
次に、本発明に係る第２の実施形態の監視システムについて説明する。
監視システムにおいては、監視カメラにより撮影された監視映像のプレビュー画像に合成される注目オブジェクトのポイントマークは、現在表示中のプレビュー画像に存在する注目オブジェクトに対するものに限らず、プレビュー画像に対応するサムネイル画像の時刻からの過去分を累積したかたちでまとめて表示することが有益である。

図１５は、本実施形態の監視システム３００の構成を示すブロック図である。
監視カメラ３０１は、監視対象の映像を取り込む。監視カメラ３０１による監視映像は情報処理装置１００に供給され、エンコーダ１２７にてＭＰＥＧ−２などの所定の方式で圧縮符号化され、ストレージ部１０５に保存される。例えば、２４時間など、一定時間連続して撮影された監視映像が１つの動画コンテンツとしてストレージ部１０５に保存される。

サムネイル作成部１２２は、ストレージ部１０５に保存された動画コンテンツから一定時間毎のシーンを代表するサムネイル画像を生成し、生成したサムネイル画像毎に、このサムネイル画像に関する情報をサムネイル管理データベース１２１に新たなレコードとして登録する。

動画コンテンツ解析部１２３は、当該動画コンテンツを解析して動体などの注目オブジェクトの検知を行い、注目オブジェクトが検知されたシーンを「重要シーン」として判定する。動画コンテンツ解析部１２３は、判定した重要シーンの動画コンテンツにおける時間位置とサムネイル管理データベース１２１に登録されたサムネイル画像毎のタイムスタンプとを比較して、当該重要シーンを代表するサムネイル画像を判定し、判定したサムネイル画像に関する情報のレコードにブックマークフラグをセットする。また、動画コンテンツ解析部１２３は、重要シーンとして判定されたフレーム中で検知された動体などの注目オブジェクトのフレーム空間内での位置情報と、例えばブックマークの付与理由などの可読的なコメント情報をブックマークオブジェクト情報として生成してサムネイル管理データベース１２１に登録する。

ユーザインタフェース制御部１２６を通じてシーン検索のためのサムネイル画像の一覧表示がユーザより指示されるとサムネイル表示部１２４が起動される。サムネイル表示部１２４は、サムネイル管理データベース１２１を参照して１つの動画コンテンツに属する複数のサムネイル画像をタイムスタンプ順に横一列に並べて横サムネイルラインとして表示するとともに、異なる動画コンテンツ毎の、ブックマークが付与されたサムネイル画像（重要サムネイル画像）を縦一列に並べて縦サムネイルラインとして表示する。すなわち、１つの動画コンテンツが２４時間分の監視映像からなる場合には、横サムネイルラインに２４時間（１日）分の監視映像のサムネイル画像のうちの一部の時系列部分が表示され、縦サムネイルラインには各日にち毎の動画コンテンツの重要サムネイル画像が表示される。

プレビュー画像表示部１２５Ａは、操作対象サムネイルとして表示されたサムネイル画像に対応するプレビュー画像を表示する。プレビュー画像表示部１２５Ａは、当該サムネイル画像に対応してブックマークオブジェクト情報がサムネイル管理データベース１２１に登録されている場合には、そのブックマークオブジェクト情報に含まれる注目オブジェクトの位置情報をもとに、プレビュー画像中の動体などの注目オブジェクトの位置を明示するためのポイントマークを生成する。そしてプレビュー画像表示部１２５は、生成したポイントマークをブックマークオブジェクト情報に含まれるコメント情報とともにプレビュー画像に合成して表示する。

また、監視システム３００では、ポイントマークとコメント情報を、プレビュー画像に対応するサムネイル画像の時刻からの過去分を累積したかたちでまとめて表示することが可能である。
すなわち、ユーザインタフェース制御部１２６を通じてポイントマークとコメント情報の累積表示の指示がユーザより与えられると、プレビュー画像表示部１２５Ａは、プレビュー画像に対応するサムネイル画像の時刻からの過去分、例えば、全ての過去分、あるいは過去の例えば一定時間分遡った時刻までの過去分のブックマークオブジェクト情報を抽出する。そしてプレビュー画像表示部１２５は、これらのブックマークオブジェクト情報をもとに、これら過去分の注目オブジェクトの位置を示すためのポイントマークとコメント情報をプレビュー画像に合成して表示画面に表示する。

本実施形態の監視システム３００によれば、ユーザが監視映像の全時間分のサムネイル画像に目を通さなくても、過去分の注目オブジェクトの位置を示すためのポイントマークとコメント情報が合成されたプレビュー画像を通して注目オブジェクトを確認することができ、監視の精度と効率を共に高めることができる。さらに、他の実施形態のサムネイル画像の表示方法と組み合わせれば、動体などの注目オブジェクトの前後の動きを良好に把握することが可能となり、注目オブジェクトの性質を突き止めることができる。

なお、コメント情報にタイムスタンプなどの情報を含めるようにすれば、それぞれの動体が検出された時刻を知ることができる。その時刻から動体が検知されたシーンに対応するサムネイル画像を特定して、そのサムネイル画像に対応するプレビュー画像を表示させることで、動体の確認作業に速やかに移行できる。また、変形例１のプログレスバーと組み合わせることで、より速やかに動体の検知されたシーンに対応するサムネイル画像を表示させて確認作業に移行することができる。

さらに、プレビュー画像において注目オブジェクトの位置を示すためのポイントマークがクリック操作などによって選択された場合に、その選択された注目オブジェクトを含むサムネイル画像が操作対象サムネイルの位置に表示され、かつ対応するプレビュー画像が表示されるようにしてもよい。これにより、より直感的な操作性が得られる。

なお、上記の監視システム３００においては、現在操作対象サムネイルとして表示されているサムネイル画像の時刻から過去の例えば一定時間分遡った時刻までの時間範囲内の全ての注目オブジェクトのポイントマークとコメント情報をプレビュー画像に合成して表示することとしたが、現在操作対象サムネイルとして表示されているサムネイル画像の時刻から撮影開始時刻、あるいは撮影終了時刻までの時間範囲内の全ての注目オブジェクトのポイントマークとコメント情報を表示するようにしてもよい。

＜第３の実施形態＞
次に、本発明に係る第３の実施形態の情報処理装置について説明する。

本実施形態の情報処理装置において第１の実施形態と相違する点は、サムネイル表示部１２４によるサムネイル表示の仕方にあり、特に、縦サムネイルライン２３２への重要サムネイル画像の割り当て方にある。すなわち、第１の実施形態では、サムネイル表示部１２４は、縦サムネイルライン２３２に異なる動画コンテンツ毎の重要サムネイル画像を表示した。これに対し、第３の実施形態では、サムネイル表示部１２４は、縦サムネイルライン２３２に、１以上の動画コンテンツの重要サムネイル画像の時系列の一部分を表示する。

ここで、１以上の動画コンテンツの重要サムネイル画像の時系列について説明する。
図１６は３つの動画コンテンツＡ，Ｂ，Ｃから作成されたサムネイル画像の時系列を示す図である。同図において、太線で示すＡ３、Ａ６、Ｂ１１２、Ｃ３９はブックマークが付与されたサムネイル（重要サムネイル画像）である。１以上の動画コンテンツの重要サムネイル画像の時系列とは、１以上の動画コンテンツに跨るＡ３、Ａ６、Ｂ１１２、Ｃ３９の重要サムネイル画像の並びのことである。Ａ３とＡ６の各重要サムネイル画像は共通の動画コンテンツＡから作成されたものである。

図１７は、図１６のサムネイル画像のセットを対象にサムネイル表示部１２４によって最初に作成されるシーン検索画面を示す図である。
横サムネイルライン２３１は、１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分であるＮ個のサムネイル画像で構成される。図４の例では、タイムスタンプ順に連続するＡ３からＡ７の、１つの動画コンテンツに属する５つのサムネイル画像で横サムネイルライン２３１が構成される場合を示している。横サムネイルライン２３１においてＮ個のサムネイル画像は左から右に向かってタイムスタンプ順に並べられる。このように横サムネイルライン２３１は、第１の実施形態と同様に作成される。

横サムネイルライン２３１に表示されるサムネイル画像の時系列部分は、操作対象サムネイル２３３に対するユーザからの左または右方向への移動の指示によって、時間の前後方向に変更される。このように横サムネイルライン２３１に表示させるサムネイル画像の時系列部分を変更する動作は第１の実施形態と同様である。

一方、縦サムネイルライン２３２は、本実施形態では、１以上の動画コンテンツの重要サムネイル画像の時系列で構成される。つまり、Ａ３、Ａ６、Ｂ１１２、Ｃ３９の４つの重要サムネイル画像で縦サムネイルライン２３２が構成されている。横サムネイルライン２３１と縦サムネイルライン２３２は１つのサムネイル画像で互いに重なり合って交差する関係にある。この交差する位置にあるサムネイル画像が操作対象サムネイル２３３である。図１７ではＡ３のサムネイル画像が操作対象サムネイル２３３とされている。

縦サムネイルライン２３２に表示される動画コンテンツ毎のサムネイル画像は、少なくとも初期状態においては全て、ブックマークが付与されたサムネイル画像（重要サムネイル画像）である。すなわち、操作対象サムネイル２３３に割り当てられたサムネイル画像は、横サムネイルライン２３１に表示されるサムネイル画像の時系列部分のシフト操作によってブックマークが付与されていないサムネイル画像となっている可能性があるが、縦サムネイルライン２３２において操作対象サムネイル２３３に割り当てられたサムネイル画像以外のサムネイル画像は全てブックマークが付与されたサムネイル画像（重要サムネイル画像）であることが保証されている。

縦サムネイルライン２３２に表示される各サムネイル画像は、少なくとも初期状態においては全て、ブックマークが付与されたサムネイル画像（重要サムネイル画像）である。すなわち、操作対象サムネイル２３３に割り当てられたサムネイル画像は、横サムネイルライン２３１に表示されるサムネイル画像の時系列部分のシフト操作によってブックマークが付与されていないサムネイル画像となっている可能性があるが、縦サムネイルライン２３２において操作対象サムネイル２３３に割り当てられたサムネイル画像以外のサムネイル画像は全てブックマークが付与されたサムネイル画像（重要サムネイル画像）であることが保証されている。

縦サムネイルライン２３２は、操作対象サムネイル２３３に対するユーザからの上または下方向への移動の指示によって、縦サムネイルライン上の移動の指示先の重要サムネイル画像から連続するサムネイル画像の時系列部分で横サムネイルラインが更新されることに伴い更新される。

縦サムネイルライン２３２の左右の方向での表示位置、横サムネイルライン２３１の高さ方向の表示位置は、ユーザによるドラッグ操作などによって、それぞれ変更可能である。また、表示画面１０には、これらの横サムネイルライン２３１及び縦サムネイルライン２３２と同時に、操作対象サムネイル２３３に割り当てられたサムネイル画像に対応するプレビュー画像２３４が表示される。プレビュー画像２３４に合成されるポイントマーク２３５及びコメント情報２３６についても第１の実施形態と同様である。

［サムネイル表示部１２４の動作］
次に、サムネイル表示部１２４による最初の横サムネイルライン２３１及び縦サムネイルライン２３２の作成の動作を説明する。

図１９は第３の実施形態の情報処理装置のサムネイル表示部１２４による初期の横サムネイルライン２３１及び縦サムネイルライン２３２の作成手順を示すフローチャートである。

まず、サムネイル表示部１２４は、サムネイル管理データベース１２１にて管理されている個々の動画コンテンツを特定する情報、例えばコンテンツＩＤ、コンテンツ名などのコンテンツ特定情報を、これらコンテンツＩＤ、コンテンツ名などに依存して決定される順番に整列して表示キューに入れる（ステップＳ２０１）。次に、サムネイル表示部１２４は、表示キューから先頭のコンテンツ特定情報を取り出す（ステップＳ２０３）。

サムネイル表示部１２４は、このコンテンツ特定情報が表示キューから最初に取り出したコンテンツ特定情報である場合、このコンテンツ特定情報をもとにサムネイル管理データベース１２１を参照して、当該動画コンテンツに関してブックマークが付与されたサムネイル画像（重要サムネイル画像）が存在するかどうか調べる（ステップＳ２０５）。

重要サムネイル画像が存在しない場合、サムネイル表示部１２４は、当該動画コンテンツの先頭のサムネイル画像を操作対象サムネイル２３３の位置に表示する（ステップＳ２０８）。続いて、サムネイル表示部１２４は、操作対象サムネイル２３３の位置に表示したサムネイル画像の後に続く（Ｎ−１）個のサムネイル画像の時系列部分を、横サムネイルライン２３１の操作対象サムネイル２３３の位置より後の各位置にタイムスタンプ順に並べて表示する（ステップＳ２０９）。この後、ステップＳ２０２に移行する。

また、ステップＳ２０５で、重要サムネイル画像が存在する場合、サムネイル表示部１２４は、それら重要サムネイル画像のなかで先頭の重要サムネイル画像を操作対象サムネイル２３３の位置に表示する（ステップＳ２０６）。続いてサムネイル表示部１２４は、操作対象サムネイル２３３の位置に表示した重要サムネイル画像の後に続く（Ｎ−１）個のサムネイル画像の時系列部分を、横サムネイルライン２３１の操作対象サムネイル２３３の位置より後の各位置にタイムスタンプ順に並べて表示する（ステップＳ２０７）。

続いて、サムネイル表示部１２４は、当該動画コンテンツに未表示の重要サムネイル画像が存在するかどうかを調べる（ステップＳ２１０）。未表示の重要サムネイル画像が存在する場合、サムネイル表示部１２４は、先頭側の重要サムネイル画像から順次、縦サムネイルライン２３２における操作対象サムネイル２３３の下方に追加して行く（ステップＳ２１１）。実際には、表示画面の制約から、縦サムネイルライン２３２に表示可能なサムネイル画像の数は限られているので、その上限数に達し次第、サムネイル表示部１２４が終了される。１つの動画コンテンツに存在する全ての重要サムネイル画像の表示が完了した時点で縦サムネイルライン２３２に表示された重要サムネイル画像の数が縦サムネイルライン２３２に表示可能な上限数に達していないものとして以下の動作の説明を進めこととする。

サムネイル表示部１２４は、１つの動画コンテンツに属する全ての重要サムネイル画像を縦サムネイルライン２３２に表示させた後、表示キューから再び先頭のコンテンツ特定情報を取り出す（ステップＳ２０３）。なお、この時点で表示キューの先頭にあるコンテンツ特定情報は表示キューの初期状態において先頭から２番目にあった情報である。そしてサムネイル表示部１２４は、新たに取得したコンテンツ特定情報により特定される動画コンテンツに重要サムネイル画像が存在するかどうか調べる（ステップＳ２１０）。重要サムネイル画像があれば、サムネイル表示部１２４は、先頭側の重要サムネイル画像から順次、縦サムネイルライン２３２における操作対象サムネイル２３３の下方に追加して行く（ステップＳ２１１）。この時点で縦サムネイルライン２３２に表示された重要サムネイル画像の数が縦サムネイルライン２３２に表示可能な上限数に達していなければ、表示キューから再び先頭のコンテンツ特定情報を取り出して同様の処理を繰り返す。

また、以上の処理を経て、表示キューが空になった場合にも（ステップＳ１０２のＹＥＳ）、サムネイル表示部１２４は終了となる。

［縦サムネイルラインのユーザ操作］
次に、縦サムネイルライン２３２のユーザ操作について説明する。なお、横サムネイルライン２３２のユーザ操作については第１の実施形態と同様であるため説明を省略する。

例えば、図１７の状態において、操作対象サムネイル２３３に対する下方向への１回の移動の指示が入力された場合、サムネイル表示部１２４は、図１８に示すように、Ａ３のサムネイル画像に代えて同じ動画コンテンツのＡ６の重要サムネイル画像が操作対象サムネイル２３３の位置に来るように、縦サムネイルライン２３２の各サムネイル画像の並びをシフトさせる。これとともにサムネイル表示部１２４は、Ａ６の重要サムネイル画像から連続するＡ６からＡ１０までのサムネイル画像の時系列部分で横サムネイルライン２３１を更新する。

以上のように本実施形態によれば、第１の実施形態と同様に、操作対象サムネイル２３３に対する上下方向への移動の指示をユーザが与えるだけで、表示させる重要サムネイル画像を切り替えることができるとともに、重要サムネイル画像とこれに連続するサムネイル画像の時系列部分をユーザに見せることができる。したがって、重要サムネイル画像をその前後の動きとともにユーザが捉えることができるようになるので、シーン内容をより正確にかつ容易にユーザに把握させることができる。また、本実施形態では、縦サムネイルライン２３２に、１以上の動画コンテンツの重要サムネイル画像の時系列の一部分を表示するようにし、１以上の動画コンテンツにおいて時間的に隣接する重要サムネイル画像間での表示の切り替えをスピーディに行うことが可能となることで、シーン検索の操作性が向上する。

＜第４の実施形態＞
次に、本発明に係る第４の実施形態の情報処理装置について説明する。

これまでの実施形態および変形例では、１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分を表示画面１０の横方向に並べて表示し、ブックマークが付与された１以上のサムネイル画像（重要サムネイル画像）を表示画面１０の縦方向に並べて表示した。本発明はこれに限定されるものではない。

第４の実施形態では、１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分と、ブックマークが付与された１以上のサムネイル画像（重要サムネイル画像）をそれぞれ横方向に並べて表示した。

図２０は、第４の実施形態における上記２つのサムネイルラインの表示形態を示す図である。第１の横サムネイルライン４３１は第１の実施形態の横サムネイルライン２３１と同様であり、１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分であるＮ個のサムネイル画像で構成され、Ｎ個のサムネイル画像は左から右に向かってタイムスタンプ順に並べられる。

第２の横サムネイルライン４３２は、ブックマークが付与された１以上のサムネイル画像（重要サムネイル画像）で構成される。本実施形態では、異なる動画コンテンツ毎の計Ｍ個のサムネイル画像で構成されるが、異なる動画コンテンツ毎のサムネイル画像であることに限定されない。第２の横サムネイルライン４３２において、Ｍ個のサムネイル画像は、第１の横サムネイルライン４３１と同様に左から右に向かって例えばコンテンツＩＤの値などの順に並べられる。すなわち、第１の横サムネイルライン４３１と第２の横サムネイルライン４３２においてサムネイル画像の並びの方向はともに横方向とされている。

第１の横サムネイルライン４３１と第２の横サムネイルライン４３２は互いに共通のサムネイル画像を含む。図２０では、第１の横サムネイルライン４３１と第２の横サムネイルライン４３２のそれぞれに共通のサムネイル画像としてＢ０２のサムネイル画像が存在する。これら２つのＢ０２のサムネイル画像が第１の操作対象サムネイル４３３Ａおよび第２の操作対象サムネイル４３３Ｂである。そして本実施形態において、第１の横サムネイルライン４３１に属する共通のサムネイル画像と第２の横サムネイルライン４３２に属する共通のサムネイル画像とが互いに縦方向に並ぶように、第１の横サムネイルライン４３１および第２の横サムネイルライン４３２は互いに平行に配置して表示される。

第１の操作対象サムネイル４３３Ａおよび第２の操作対象サムネイル４３３Ｂは常に一方が操作対象としてアクティブ状態になるようにユーザにより択一的に切り替えられる。例えば、図２０では、デフォルトで第１の横サムネイルライン４３１の操作対象サムネイル４３３Ａがアクティブ状態とされている。この操作対象サムネイル４３３Ａに対するユーザからの左または右方向への移動の指示によって、第１の横サムネイルライン４３１に表示されるサムネイル画像の時系列部分は時間の前後方向に変更される。

例えば、図２０の状態において、操作対象サムネイル４３３Ａに対する右方向への１回の移動の指示が入力された場合、図２１に示すように、サムネイル表示部１２４は、Ｂ０２のサムネイル画像に代えてＢ０３のサムネイル画像が操作対象サムネイル４３３Ａの位置に来るように、第１の横サムネイルライン４３１に表示させるサムネイル画像の時系列部分をシフトさせる。これに伴い、プレビュー画像表示部１２５は、プレビュー画像２３４をＢ０２のサムネイル画像に対応する画像に代えてＢ０３のサムネイル画像に対応する画像に更新する。さらに、サムネイル表示部１２４は、第２の横サムネイルライン４３２の操作対象サムネイル４３３Ｂのサムネイル画像をＢ０２のサムネイル画像からＢ０３のサムネイル画像に更新する。但し、この第２の横サムネイルライン４３２の操作対象サムネイル４３３Ｂのサムネイル画像の更新は行わなくてもよい。

一方、第２の横サムネイルライン４３２の操作対象サムネイル４３３Ｂに対する操作を行うためには、まずユーザは第１の操作対象サムネイル４３３Ａから第２の操作対象サムネイル４３３Ｂに操作対象を切り替えるための所定の操作を行う。この切り替え操作の方法は何もよい。

図２２は、第１の横サムネイルライン４３１の第１の操作対象サムネイル４３３Ａから第２の横サムネイルライン４３２の第２の操作対象サムネイル４３３Ｂに操作対象が切り替えられた直後の状態を示している。この第２の操作対象サムネイル４３３Ｂに対してユーザからの左または右方向への移動の指示が出されると、第２の横サムネイルライン４３２に表示される動画コンテンツ毎のサムネイル画像の並びが更新されるとともに、第１の横サムネイルライン４３１に割り当てられる動画コンテンツが変更される。

例えば、図２２の状態において、第１の操作対象サムネイル４３３Ａに対する右方向への１回の移動の指示が入力された場合、図２３に示すように、サムネイル表示部１２４は、Ｂ０２のサムネイル画像に代えてＣ０７の重要サムネイル画像が第２の操作対象サムネイル４３３Ｂの位置に来るように、第２の横サムネイルライン４３２の各サムネイル画像の並びをシフトさせる。そして操作対象サムネイル４３３Ｂに割り当てられた重要サムネイル画像がＣ０７であることから、Ｃ０６からＣ１０までの５つのサムネイル画像が第１の横サムネイルライン４３１に割り当てられて表示される。また、これに伴い、プレビュー画像表示部１２５は、プレビュー画像２３４をＢ０２のサムネイル画像に対応する画像に代えてＣ０７の重要サムネイル画像に対応する画像に更新する。

以上のように本実施形態によれば、第２の操作対象サムネイル４３３Ｂに対する左右方向への移動の指示をユーザが与えるだけで、表示させる重要サムネイル画像を切り替えることができるとともに、重要サムネイル画像とこれに連続するサムネイル画像の時系列部分をユーザに見せることができる。したがって、重要サムネイル画像をその前後の動きとともにユーザが捉えることができるようになるので、シーン内容をより正確にかつ容易にユーザに把握させることができる。また、本実施形態では、第２の横サムネイルライン４３２に異なる動画コンテンツ毎の重要サムネイル画像を表示するようにし、異なる動画コンテンツの重要サムネイル画像間での表示の切り替えをスピーディに行うことが可能となることで、シーン検索の操作性が向上する。

また、第１の横サムネイルライン４３１に表示させるサムネイル画像の時系列部分は、操作対象サムネイル４３３Ａに対する左右の方向への移動の指示によってシフトさせることができるので、シーン検索の対象を他の動画コンテンツを切り替えた直後の第１の横サムネイルライン４３１に表示されない範囲のサムネイル画像を自由に見に行くことができる。

なお、本実施形態においては、１つの動画コンテンツのサムネイル画像時系列の少なくとも一部の時系列部分と、ブックマークが付与された１以上のサムネイル画像（重要サムネイル画像）をそれぞれ横方向に並べて表示したが、それぞれ縦方向に並べて表示するようにしてもよい。

＜変形例４＞
図２４は第４の実施形態の変形例を示す図である。
第５の実施形態では、第１の横サムネイルライン４３１と第２の横サムネイルライン４３２に共通のサムネイル画像を第１の操作対象サムネイル４３３Ｂおよび第２の操作対象サムネイル４３３Ｂとして表示することとしたが、図２４に示すように、第１の横サムネイルライン４３１および第２の横サムネイルライン４３２に跨るように共通のサムネイル画像に対応するプレビュー画像を操作対象サムネイル４３３として表示するようにしてもよい。

例えば、デフォルトでは第１の横サムネイルライン４３１が操作対象サムネイル４３３の操作対象として設定され、操作対象サムネイル４３３に対するユーザからの左または右方向への移動の指示によって、第１の横サムネイルライン４３１に表示されるサムネイル画像の時系列部分は時間の前後方向に変更される。一方、第２の横サムネイルライン４３２を操作対象にするためには、ユーザは操作対象サムネイル４３３の操作対象を第１の横サムネイルライン４３１から第２の横サムネイルライン４３２に切り替えるための所定の操作を行う。この切り替え操作の方法は何もよい。この後、操作対象サムネイル４３３に対する左または右方向への移動の指示が出されると、第２の横サムネイルライン４３２に表示される動画コンテンツ毎のサムネイル画像の並びが更新されるとともに、第１の横サムネイルライン４３１に割り当てられる動画コンテンツが変更される。

本変形例によれば操作対象サムネイルのサムネイル画像の表示領域がプレビュー画像の表示領域を兼ねるので、スマートフォンのように表示画面のサイズの制約が厳しい機器に採用するシーン検索画面として有望である。

以上説明した実施形態及び変形例は、必要に応じて相互に組み合わせて用いることが可能である。

本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。

１００…情報処理装置
１０１…ＣＰＵ
１０５…ストレージ部
１０６…操作入力部
１０７…表示部
１２１…サムネイル管理データベース
１２２…サムネイル作成部
１２３…動画コンテンツ解析部
１２４…サムネイル表示部
１２５…プレビュー画像表示部
３００…監視システム
３０１…監視カメラ

Claims (12)

1. １以上の動画コンテンツの所定の単位時間毎のシーンを代表する複数のサムネイル画像をサムネイル画像時系列として保存するサムネイル画像保存部と、
   前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像に移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新するサムネイル表示部と
   を具備する情報処理装置であって、
   前記サムネイル表示部は、前記第２のサムネイルラインに、１以上の前記動画コンテンツの重要サムネイル画像の時系列の一部分を表示する
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記サムネイル表示部は、前記第１のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第２の指示として与えられたとき、第１のサムネイルラインとして表示させる時系列部分を変更する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記操作対象サムネイルであるサムネイル画像に対応するプレビュー画像を表示するプレビュー画像表示部をさらに具備する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記サムネイル表示部は、前記第１のサムネイルラインに割り当てられた動画コンテンツの時間軸上での、前記操作対象サムネイルであるサムネイル画像の位置と前記重要サムネイル画像の位置を示すプログレスバーを表示し、このプログレスバー上でいずれかの前記重要サムネイル画像の位置がユーザにより選択されたとき、この重要サムネイル画像が前記操作対象サムネイルに変更されるとともに、当該重要サムネイル画像から連続する複数のサムネイル画像の時系列部分で前記第１のサムネイルラインを更新する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記サムネイル表示部は、前記第１のサムネイルラインを構成する前記共通のサムネイル画像を含む複数のサムネイル画像を、前記表示画面の第１の軸方向に沿って並べて表示し、第２のサムネイルラインを構成する前記共通のサムネイル画像を含む１以上の重要サムネイル画像を、前記表示画面の前記第１の軸方向に対して直交する第２の軸方向に沿って並べ、かつ前記第１のサムネイルラインに対して前記共通のサムネイル画像で互いに重なり合うように表示する
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記サムネイル表示部は、ユーザからの第３の指示に従って、前記第２のサムネイルラインの前記第１のサムネイルラインに対する前記第１の軸方向での位置を変更する
   情報処理装置。
7. 請求項４に記載の情報処理装置であって、
   前記サムネイル表示部は、前記第１のサムネイルラインを構成する、前記共通のサムネイル画像である第１の共通サムネイル画像を含む複数のサムネイル画像と、前記第２のサムネイルラインを構成する、前記共通のサムネイル画像である第２の共通サムネイル画像を含む１以上の重要サムネイル画像を、それぞれ前記表示画面の互いに直交する第１の軸方向および第２の軸方向のいずれか一方の軸方向に沿って並べて表示し、
   前記第１の共通サムネイル画像および前記第２の共通サムネイル画像は択一的に切り替えられて前記操作対象サムネイルとして操作される
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記サムネイル表示部は、前記第１のサムネイルラインに属する前記第１の共通サムネイル画像と前記第２のサムネイルラインに属する前記第２の共通サムネイル画像とが、互いに前記一方の軸方向に対して直交する他方の軸方向に並ぶように、前記第１のサムネイルラインと前記第２のサムネイルラインを表示する
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記サムネイル表示部は、前記第１のサムネイルラインを構成する複数のサムネイル画像と、前記第２のサムネイルラインを構成する１以上の重要サムネイル画像を、それぞれ前記表示画面の互いに直交する第１の軸方向および第２の軸方向のいずれか一方の軸方向に沿って並べ、前記第１のサムネイルラインおよび前記第２のサムネイルラインに跨るように前記共通のサムネイル画像に対応するプレビュー画像を前記操作対象サムネイルとして表示し、
   前記操作対象サムネイルは、操作対象のサムネイルラインを前記第１のサムネイルラインと前記第２のサムネイルラインとの間で択一的に切り替えられて操作される
   情報処理装置。
10. サムネイル画像保存部が、１以上の動画コンテンツの所定の単位時間毎のシーンを代表する複数のサムネイル画像をサムネイル画像時系列として保存し、
    サムネイル表示部が、前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、
    サムネイル表示部が、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像に移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新し、前記第２のサムネイルラインに、１以上の前記動画コンテンツの重要サムネイル画像の時系列の一部分を表示する
    情報処理方法。
11. １以上の動画コンテンツの所定の単位時間毎のシーンを代表する複数のサムネイル画像をサムネイル画像時系列として保存するサムネイル画像保存部と、
    前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像に移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新し、前記第２のサムネイルラインに、１以上の前記動画コンテンツの重要サムネイル画像の時系列の一部分を表示するサムネイル表示部
    としてコンピュータを機能させるプログラム。
12. 監視対象の映像を取り込むためのカメラと、
    前記カメラにより取り込まれた映像を動画コンテンツとして１以上保存することのできるストレージ部と、
    前記ストレージ部に保存された前記１以上の動画コンテンツの所定の単位時間毎のシーンを代表するサムネイル画像を生成するサムネイル作成部と、
    前記作成された１以上の動画コンテンツの複数のサムネイル画像をサムネイル画像時系列として保存するサムネイル画像保存部と、
    前記ストレージ部に保存された前記１以上の動画コンテンツを解析して注目オブジェクトの検知を行い、当該注目オブジェクトが検知されたシーンを代表するサムネイル画像にブックマークを付与するとともに、前記検知された注目オブジェクトのフレーム空間内での位置情報を少なくとも含むブックマークオブジェクト情報を生成する動画コンテンツ解析部と、
    前記生成されたブックマークオブジェクト情報を前記サムネイル画像と関連付けて保存するブックマークオブジェクト情報保存部と、
    前記サムネイル画像保存部に保存された１つの動画コンテンツのサムネイル画像時系列のなかの少なくとも一部の時系列部分である複数のサムネイル画像を表示画面に時間順に並べて第１のサムネイルラインとして表示するとともに、１以上の前記動画コンテンツのサムネイル画像時系列においてブックマークが付与された１以上のサムネイル画像をそれぞれ重要サムネイル画像として前記表示画面に並べて第２のサムネイルラインとして表示し、前記第１のサムネイルラインと前記第２のサムネイルラインは互いに共通のサムネイル画像を操作対象サムネイルとして含み、前記第２のサムネイルライン上での前記操作対象サムネイルの移動の指示がユーザより第１の指示として与えられたとき、前記操作対象サムネイルを他の前記重要サムネイル画像に移動させるとともに、移動先の前記重要サムネイル画像から連続するサムネイル画像の時系列部分で前記第１のサムネイルラインを更新し、前記第２のサムネイルラインに、１以上の前記動画コンテンツの重要サムネイル画像の時系列の一部分を表示するサムネイル表示部と、
    前記操作対象サムネイルであるサムネイル画像に対応するプレビュー画像を表示するとともに、前記プレビュー画像に対応するサムネイル画像の時刻からの過去分の前記注目オブジェクトの位置を示すためのポイントマークを前記ブックマークオブジェクト情報保存部に保存された前記ブックマークオブジェクト情報をもとに生成し、前記プレビュー画像に合成して表示するプレビュー画像表示部と
    を具備する監視システム。

Images