JP4356762B2 - 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、所定の格納手段に格納されているファイルに関する情報を管理し、ユーザに提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに係り、特に、デジタルカメラで撮影された静止画像や動画などのコンテンツ・ファイルに関する情報を管理し、ユーザに提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、デジタルカメラで撮影された静止画像や動画などのコンテンツ・ファイルを撮影日などのファイル更新日時に応じてユーザに提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに係り、特に、コンテンツ・ファイルが作成された年、月、日及び時刻に基づいて代表画像をカレンダー上でユーザに提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに関する。

デジタルスチルカメラやデジタルビデオカメラといったデジタル画像の記録装置の普及により、ユーザが自身でコンテンツ・ファイル（静止画ファイル、動画ファイル、音声ファイルなど）を作成する機会が増している。

撮影画像の多くはパーソナル・コンピュータ（ＰＣ）などのホスト装置に転送され、コンテンツ・ファイルが一元的に保存・管理されるのが一般的である。このような場合、ユーザがすべてのコンテンツ・ファイルを把握しておくことは困難であり、未整理のまま蓄積されてしまうことが多い。すなわち、厖大量なコンテンツを取り扱うことができるコンピューティング環境は、一見して便利なようにも思えるが、コンテンツをどのように管理すればよいかが問題となる。また、後日になって、撮影を行なったユーザを所望の画像ファイルへと容易に導くことができる手法が望まれている。

所望のコンテンツへ辿り付くための手がかり若しくは視覚的な道標をユーザに提供する手法として、５Ｗ１Ｈに従って各コンテンツを配置するための画面フォーマットが知られている。人が文脈解析などを行なうときには５Ｗ１Ｈを手がかりとすることから、５Ｗ１Ｈに基づく画面フォーマット上にコンテンツをマッピングすると、ユーザが所望のコンテンツを発見し易くすることが期待される。

５Ｗ１Ｈに基づく画面フォーマットとして、１月の日々を七曜によって配列した表形式、すなわち、カレンダーの形式でコンテンツを分類・整理して提示するビューイング・スタイルが知られている。例えば、コンテンツ・ファイルの作成時間などファイルが作成された年、月、日及び時刻に基づいて代表画像をカレンダー上に表示することによってコンテンツ・ファイルを整理し、撮影した画像ファイルを撮影日や撮影時刻毎に一覧表示する情報処理装置について提案がなされている（例えば、特許文献１を参照のこと）。

カレンダー・ビュー形式の画像一覧表示画面では、カレンダー表示された背景に対して、それぞれの撮影日時に対応する位置に動画の代表画像のサムネイルや静止画のサムネイルが表示され、時系列的にシームレスな情報提示を行なうことができる。また、このようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上におけるサムネイル画像表示領域を選択（すなわちクリック）するユーザ操作は、該当するコンテンツ・ファイルを指定することに相当し、（サムネイルではなく）フルサイズの画像の再生処理が起動する。例えば、動画のサムネイルが選択されたときにはその先頭から再生出力が開始される。

ここで、画面サイズの制約などから、画像一覧表示画面において多くの画像ファイルを同時に提示するにはサムネイルを用いることが相当である。静止画の場合、サムネイル化により情報量が縮退するものの、被写体や背景などを十分に把握することは可能である。

他方、動画の場合、例えば先頭フレームのサムネイル１枚によってコンテンツ全体を代表させると、その動画がどのようなものであるかを、一目で認識することは極めて困難である。また、短い動画も長い動画も同じように１枚のサムネイルでしか提示されないので、動画の記録時間と撮影時刻（カレンダー表示）の関係を直感的に認識することは困難である。

このような場合、ユーザは、カレンダー・ビュー上に配置された動画ファイルの中身を確認するには、各動画を逐次再生するより他なく、手間がかかる。動画の中身を確認するには、基本的には動画の記録時間だけかかる。

また、一般的な動画再生ツールでは、ノブの位置によって現在の再生時刻を表示するスクロールバー上でノブを移動操作することによって動画内をシークすることができる。しかしながら、全体にわたる内容は把握していないものの見たいシーンがあることが判っている場合に、ユーザは、何処までシークすれば目的とする位置を再生することができるのか、直感的には認識できない。すなわち、シークには動画の先頭から目的位置までの記録時間だけシーク時間を要する。

特開２００５−３３７１１号公報（図３１）

本発明の目的は、デジタルカメラで撮影された静止画像や動画などのコンテンツ・ファイルに関する情報を管理し、ユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、デジタルカメラで撮影された静止画像や動画などのコンテンツ・ファイルを撮影日などのファイル作成時間に応じてユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、コンテンツ・ファイルが作成された年、月、日及び時刻に基づいて代表画像をカレンダー上でユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、カレンダー・ビュー形式のコンテンツ一覧表示スタイルにおいて、動画の中身もユーザが直感的に認識できるように提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、所定の記憶装置に格納されている各動画に関する情報を、カレンダー・ビュー形式の背景画面上のファイル作成時間に該当する位置においてユーザに提示する情報提示装置であって、
所定の抽出方法に従って、動画内から代表画像となる複数のフレームを抽出するフレーム抽出手段と、
該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、サムネイルの時系列からなる動画内サムネイル集合として、動画像の作成時間とともに管理する動画内サムネイル管理手段と、
年、月、及び日の境界を跨って連続しているカレンダー・ビュー形式の背景画面上において、前記記憶装置に格納されている各動画に関する情報をその作成時間に該当する位置にて描画する描画手段を備え、
前記描画手段は、前記記憶装置に格納されている動画に関する情報を前記のカレンダー・ビュー形式の背景画面上で提示する際に、当該動画に関する動画内サムネイル集合に含まれる各サムネイルを時系列上に展開して表示する、
を具備することを特徴とする情報提示装置である。

デジタルカメラにより撮影した動画や静止画像といったコンテンツ・ファイルに対してユーザがアクセスする利便性を考慮したインターフェース手法として、カレンダー・ビュー形式のコンテンツ一覧表示スタイルが知られている。すなわち、カレンダー・ビュー形式の背景からなる画像一覧表示画面上で、それぞれの撮影日時に対応する位置に動画の代表画像のサムネイルや静止画のサムネイルが表示され、時系列的にシームレスな情報提示を行なうことができる。また、サムネイル画像表示領域をユーザが選択すると、該当するコンテンツ・ファイルの再生処理が起動する。

情報提示装置は、カレンダー・ビューの時間軸レンジを年単位、月単位、又は日（若しくは時間）単位のいずれかに設定することができ、設定した時間軸レンジの単位に応じて、背景としてのカレンダー表示を年画面表示、月表示画面、及び日表示画面に切り替えて、コンテンツ・ファイルを象徴するサムネイルを作成日に相当する位置で提示することができる。

ここで、カレンダー・ビュー形式の画像一覧画面において動画に関する情報をユーザに提示する際に、その先頭フレームのサムネイル１枚を代表画像に用いただけでは、動画がどのようなものであるかを一目で認識することは極めて困難である。また、短い動画も長い動画も同じように１枚のサムネイルでしか提示されないので、動画の記録時間と撮影時刻（カレンダー表示）の関係を直感的に認識することは困難である。また、先頭フレームのサムネイル１枚を見ただけでは、ユーザは動画内の所望のシーンをシークする手掛かりを得ることはできず、動画ファイルの中身を確認し、あるいはシークするには記録時間だけシーク時間を要する。

これに対し、本発明に係る情報提示装置は、所定の抽出方法に従って動画内から代表画像となる複数のフレームを抽出すると、該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、動画内サムネイル集合として時系列に管理するように構成されている。

具体的には、本発明に係る情報提示装置は、ユーザからの操作を受け付ける操作受付手段を備えており、サムネイル表示形式の切り替えに関するトグル操作を行なうことができる。前記描画手段は、前記記憶装置に格納されている動画に関する情報を前記のカレンダー・ビュー形式の背景画面上で提示する際に、ユーザによる前記操作受付手段を介したトグル操作に応じて、動画に関する単一のサムネイル表示から当該動画に関する動画内サムネイル集合に含まれる各サムネイルを時系列上に展開して表示し、又は逆に動画内サムネイルに展開された表示を元の１つのサムネイルに縮退するようになっている。したがって、動画内サムネイル集合に含まれる各サムネイルを時系列上に展開して表示することによって、ユーザは動画の中身を確認することが容易になる。

ここで、本発明に係る情報提示装置は、動画から代表画像となるフレームを抽出する方法を指定するフレーム抽出方法指定手段をさらに備えていてもよい。具体的には、動画から一定の時間間隔毎に代表画像となるフレームを抽出する方法、又は動画からハイライト・シーンとなるフレームを抽出する方法のうち少なくともいずれかを指定することができる。そして、前記フレーム抽出手段は、該指定された抽出方法に従って、動画内から代表画像となる複数のフレームを抽出する。

また、本発明に係る情報提示装置は、ユーザが前記操作受付手段を介して表示中のいずれかのサムネイルを選択したことに応じて、該サムネイルに対応する再生位置から動画の再生処理を起動する動画再生手段をさらに備えている。したがって、表示中のサムネイルがユーザによって選択されたことに応じて、該サムネイルに対応する再生位置から動画の再生処理を起動することにより、シーク時の操作性が向上する。

前記描画手段は、動画内サムネイル集合に含まれる各サムネイルを時系列上に展開して表示する際、具体的には、動画内サムネイル集合に含まれる各サムネイルを時系列に配列したフィルム・ロールの形式で動画内サムネイルの一覧を展開する。かかる動画展開時において、例えば動画の先頭フレームのサムネイルの画面から、左右・上下にフィルム・ロールが伸びていくように、フィルム・ロールが展開されていることが直感的・視覚的に分るようにアニメーション表示するようにしてもよい。

また、本発明の第２の側面は、所定の記憶装置に格納されている各動画に関する情報を、カレンダー・ビュー形式の背景画面上のファイル作成時間に該当する位置においてユーザに提示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で気所津されたコンピュータ・プログラムであって、前記コンピュータに対し、
所定の抽出方法に従って、動画内から代表画像となる複数のフレームを抽出するフレーム抽出手順と、
該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、サムネイルの時系列からなる動画内サムネイル集合として、動画像の作成時間とともに管理する動画内サムネイル管理手順と、
年、月、及び日の境界を跨って連続しているカレンダー・ビュー形式の背景画面上において、前記記憶装置に格納されている各動画に関する情報をその作成時間に該当する位置にて描画する描画手順を実行させ、
前記描画手順では、前記記憶装置に格納されている動画に関する情報を前記のカレンダー・ビュー形式の背景画面上で提示する際に、当該動画に関する動画内サムネイル集合に含まれる各サムネイルを時系列上に展開して表示する、
ことを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る情報提示装置と同様の作用効果を得ることができる。

本発明によれば、コンテンツ・ファイルが作成された年、月、日及び時刻に基づいて代表画像をカレンダー上でユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る情報提示装置によれば、カレンダー・ビュー形式の画像一覧表示画面上で、動画内部のサムネイルを展開して表示することにより、動画コンテンツの閲覧性が飛躍的に向上する。したがって、ユーザは、動画の記録時間や動画の中身を、再生することなしに直感的に認識できるようになる。

また、本発明に係る情報提示装置によれば、動画再生する際には、展開された動画内サムネイルのうち任意のものを選択することで、所望の位置から再生を開始することができるとともに、動画再生中に所望の位置にシークするためのユーザ操作が容易になる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明の一実施形態に係る情報提示装置の構成例を示している。この情報提示装置は、コンテンツ・ファイル記憶部１１０と、サムネイル・データ管理部１２０と、カレンダー情報記憶部１３０と、取得部１４０と、描画部１５０と、表示部１６０と、操作受付部１７０と、制御部１８０と、表示状態保持部１９０を備えている。以下、各部について説明する。

コンテンツ・ファイル記憶部１１０は、静止画ファイル、動画ファイル、音声ファイルなどのさまざまなメディア種別の複数のコンテンツ・ファイルを格納する。コンテンツ・ファイル記憶部１１０内では、各コンテンツ・ファイルについて、ファイル作成時間などの属性情報をメタデータとして保持している。ここで言う「作成時間」とは、そのコンテンツ・ファイルが作成された年、月、日及び時刻のすべて若しくはその一部を意味する。

サムネイル・データ管理部１２０は、コンテンツ・ファイル記憶部１１０に記憶されたコンテンツ・ファイルのサムネイル・データを作成して、代表画像として記憶する。サムネイル・データ管理部１２０は、サムネイル・データを記憶する際、コンテンツ・ファイルの作成時間と関連付けて記憶することが望ましい。これにより、作成時間を索引キーとして速やかにサムネイル・データを読み出すことができる。

サムネイル・データ管理部１２０は、静止画ファイルについては、その縮小画像をサムネイル・データとして利用することができる。また、音声ファイルについてはある時刻における視覚エフェクト画像などを利用することができる。

また、サムネイル・データ管理部１２０は、動画ファイルについては、ある時刻におけるフレームの縮小画像を利用することができる。従来、動画の先頭フレームのサムネイル・データのみを利用することが多かったが、本実施形態では、動画内部から複数箇所の代表画像フレームを取り出し、該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付けて、動画内サムネイル集合として時系列に管理する。このような動画内サムネイル集合に含まれる各サムネイルを、例えばカレンダー表示の画像一覧表示画面上において時系列的に展開すると、ユーザは動画の中身を確認することが容易になり、また、表示中のサムネイルがユーザによって選択されたことに応じて、該サムネイルに対応する再生位置から動画の再生処理を起動することにより、シーク時の操作性が向上する。すなわち、ユーザにとって管理が容易なユーザ・インターフェースを提供することができる。

なお、動画内部から代表画像フレームを取り出す方法として、例えば、（ユーザが指定した）所定の時間間隔でフレームを取り出す方法や、（重要な）被写体の顔が映っていることや映像に同期する音声データなど所定の評価関数に基づいて認識されるハイライト・シーンや、シーンの切り替わり位置などを挙げることができる。ユーザは、操作受付部１７０を通じて動画内部から代表画像フレームを取り出す方法を指定することができる。また、動画からハイライト画像を抽出する方法に関しては、例えば本出願人に既に譲渡されている特願２００６−６０５９２号明細書や２００６−１１５２４２号明細書に記載されている。

カレンダー情報記憶部１３０は、カレンダーを作成するために必要な情報（カレンダー情報）を記憶する。例えば、日付と曜日との対応関係、祝日や閏年に関する情報などがカレンダー情報に該当する。

取得部１４０は、コンテンツ・ファイル記憶部１１０、サムネイル・データ管理部１２０、及びカレンダー情報記憶部１３０にアクセスして、その内容を取得する。

描画部１５０は、カレンダー情報記憶部１３０に記憶されたカレンダー情報に基づいてカレンダー・ビュー形式の背景を描画するとともに、そのカレンダー・ビュー上の該当位置に対してサムネイル・データ記憶部１２０に記憶されたサムネイル・データの描画処理を行なう。また、描画部１５０は、サムネイル・データを介してコンテンツ・ファイルの再生が要求された場合には、そのコンテンツ・ファイルの再生表示を描画する。

本実施形態では、描画部１５０は、動画ファイルに関しては、該当する動画内サムネイル集合に含まれる各サムネイルを、例えばカレンダー・ビュー形式の画像一覧表示画面上に表示する際に、ユーザからの指定操作などに応じて、該当する動画内サムネイル集合を取得部１４０経由で取得し、カレンダー内の該当する日時位置において各サムネイルを時系列的に展開する。但し、動画内サムネイル集合の提示方法や、動画内サムネイル集合を利用した所望シーンのシーク方法など、インターフェース手法の詳細については、後述に譲る。

表示部１６０は、描画部１５０によって描画された内容を表示出力するデバイスである。表示部１６０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイにより構成される。

操作受付部１７０は、ユーザからの操作入力を受け付けるデバイスであり、例えばマウスやタッチパネルなどのポインティング・デバイスや、表示部１６０と一体化されたタッチパネルとして操作受付部１７０を構成することができる。

ユーザは、操作受付部１７０を介して、カレンダー・ビュー形式の画像一覧表示画面に対する操作を行なうことができる。ここで言うユーザ操作には、動画内部から代表画像フレームを取り出す方法を指定する代表画像フレーム抽出方法の指定操作、表示中の動画のサムネイルを当該動画から抽出された複数の時系列上のサムネイル（動画内サムネイル）に展開して表示する動画展開ＯＮ指示や、逆に動画内サムネイルに展開された表示を元の１つのサムネイルに縮退する動画展開ＯＦＦ指示などのサムネイル表示形式の切替に関するトグル操作、あるいは時系列上のサムネイル表示のうち１つを選択して該当する再生位置からの動画の再生処理を起動する指示のための再生指示操作などが含まれる。

制御部１８０は、操作受付部１７０によって受け付けられた操作入力に従って、取得部１４０及び描画部１５０の動作を制御する。すなわち、描画に必要なカレンダー情報やサムネイル・データを取得部１４０に取得させ、これらに基づいてカレンダー・ビュー形式からなる画像一覧表示画面の該当位置に対してサムネイル・データを描画部１５０に描画させる。また、コンテンツ・ファイルの再生が要求された場合には、そのコンテンツ・ファイルの再生表示を描画部１５０に描画させる。

表示状態保持部１９０は、現在、カレンダーの表示対象となっている時間軸レンジ及び位置を表示状態として保持する。時間軸レンジとしては、年単位、月単位又は日単位のいずれかを単位とすることができる。位置は、年、月、日及び時刻により表すことができる。この表示状態保持部１９０に現在の表示状態を保持しておくことにより、時間軸レンジの変更が操作受付部１７０を介してユーザから指示された際には、変更後の時間軸レンジ及び現在の位置を把握することができ、現在の位置を維持したまま時間軸レンジを切り替えることができる。

図１に示した情報提示装置は、実際には、パーソナル・コンピュータ（ＰＣ）のような一般的な計算機システム上で、所定のフォルダ構造にてファイル管理を行なうとともに、カレンダー・ビュー形式によるコンテンツ・ファイルの提示を行なうアプリケーションを実行するという形態で具現化される。また、情報提示装置は、例えば自らはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ホストとして動作し、ＵＳＢスレーブとして接続されるデジタルカメラなどのコンテンツ記録装置（図示しない）から、静止画、動画、音声などのコンテンツ・ファイルを取得することができる。

図２には、カレンダー・ビュー形式でコンテンツ・ファイルの提示画面の構成例を示している。

図２Ａは、時間軸レンジとして年単位が選択された場合のコンテンツ・ファイルの提示画面の構成例である。背景となる年単位のカレンダー５１１は年を跨って連続している。したがって、年表示画面５１０はカレンダー５１１の一部を表示することになる。図示のカレンダー５１１の各月には、コンテンツ・ファイルの作成月に対応する位置にサムネイル・データ５１４が描画される。このサムネイル・データ５１４の描画形態としては、１月当り１つの代表するサムネイル・データを描画してもよく、また、図３に示すように、各月をさらにカレンダー・ビュー形式に表示して各日の代表するサムネイル・データをそれぞれ描画してもよい。

また、図２Ｂは、時間軸レンジとして月単位が選択された場合のコンテンツ・ファイルの提示画面の構成例である。背景となる月単位のカレンダー５２１は月を跨って連続している。したがって、年表示画面５１０と同様に、月表示画面５２０はカレンダー５２１の一部を表示することになる。図示のカレンダー５２１の各日には、コンテンツ・ファイルの作成日に対応する位置にサムネイル・データ５２４が描画される。このサムネイル・データ５２４の描画形態としては、一日当り１つの代表するサムネイル・データを描画してもよく、また、複数のサムネイル・データを例えばタイル状に描画してもよい。

また、図２Ｃは、時間軸レンジとして日単位が選択された場合のコンテンツ・ファイルの提示画面の構成例である。背景となる日単位のカレンダー５３１は日を跨って連続している。したがって、年表示画面５１０及び月表示画面５２０と同様に、日表示画面５３０はカレンダー５３１の一部を表示することになる。図示のカレンダー５３１の各日は、一時間毎に区切った時間帯に分けられて、コンテンツ・ファイルの作成時刻に対応する位置にサムネイル・データ５３４が描画される。また、このサムネイル・データ５３４とともに作成時刻を表示するようにしてもよい。該当するサムネイル・データが同じ時間帯に複数存在する場合には、それらすべてのサムネイル・データが例えば作成時間の順に同時間帯の欄に描画される。なお、ここでは時間帯を一時間毎に区切った例を示したが、この区切りの単位は適宜設定することができる。

図２Ａ〜図２Ｃに示した表示画面５１０、５２０及び５３０は、時系列方向のスクロール操作が共通しており、カレンダー・ビューに対してスクロールバー（図示しない）上の表示範囲を相対的に上方向に移動させる上スクロール操作によって時間的に古い方向へ移動し、逆にカレンダー・ビューに対して表示画面を相対的に下方向に移動させる下スクロール操作によって時間的に新しい方向へ移動する。したがって、いずれの時間軸レンジの画面においても同じスクロール操作で利用できるというユーザ・インターフェースを提供することができる。

上述したように、本実施形態では、年単位、月単位、並びに日単位のように時間軸レンジを切り替えて、カレンダー・ビュー形式のコンテンツ・ファイルの提示画面を提供するようになっている。図４には、表示画面の遷移図を示している。ここでは、操作受付部１７０の一例として、少なくとも左右２つのボタンを有するマウスを想定して説明する。

図４Ａには、年表示画面５１０からコンテンツ表示画面５４０までを同一の画面（ウィンドウ表示画面）に表示する場合の例である。図示の年表示画面５１０において、特定の月の領域にカーソルを乗せた状態でマウスの左ボタンが押下、すなわち左クリック操作がされると、その特定の月の月表示画面５２０が表示されるようになる。そして、月表示画面５２０において特定の日の領域にカーソルを乗せた状態で左クリック操作がされると、その特定の日の日表示画面５３０が表示されるようになる。すなわち、左クリック操作により、時間軸レンジの粒度が徐々に細かくなるように変化する。

このように左クリック操作により時間軸レンジが変化して表示画面が遷移する際、制御部１８０は、新たな時間軸レンジ及び位置を保持するよう表示状態保持部１９０を更新する。また、各表示画面におけるスクロールバー（図示しない）のスクロール操作によって表示対象となる位置が変化した場合には、制御部１８０は、新たな位置を保持するよう表示状態保持部１９０を更新する。

一方、日表示画面５３０においてマウスの右ボタンが押下、すなわち右クリック操作がされると、その日の属する月の月表示画面５２０が表示されるようになる。そして、月表示画面５２０において右クリック操作がされると、その月の属する年の年表示画面５１０が表示されるようになる。すなわち、右クリック操作によって、上述とは逆に時間軸レンジの粒度が徐々に粗くなるように変化する。

このように右クリック操作により時間軸レンジが変化して表示画面が遷移する際、制御部１８０は、表示状態保持部１９０に保持されている表示状態を読み出して、その表示状態に基づいて新たな表示画面を描画部１５０に描画させる。そして、制御部１８０は、新たな表示画面の時間軸レンジを保持するよう表示状態保持部１９０を更新する。

また、日表示画面５３０において特定のサムネイル・データ５３４にカーソルを乗せた状態で左クリック操作がされると、そのサムネイル・データ５３４に対応するコンテンツ・ファイルの再生表示をするコンテンツ表示画面５４０が表示される。そして、このコンテンツ表示画面５４０において右クリック操作がされると、そのコンテンツ・ファイルの作成日の日表示画面５３０が表示される。

また、図４Ｂには、コンテンツ表示画面５４０を別の画面（ウィンドウ表示画面）に表示する場合の画面遷移の例を示している。年表示画面５１０から日表示画面５３０に至る遷移、及び、日表示画面５３０から年表示画面５１０に至る遷移は、図４Ａに示した例と同様である。

図４Ｂにおいて、日表示画面５３０上で特定のサムネイル・データ５３４にカーソルを乗せた状態で左クリックなどのユーザ選択操作が行なわれると、そのサムネイル・データ５３４に対応するコンテンツ・ファイルの再生処理が起動して、再生表示をするコンテンツ表示画面５４０が別のウィンドウ画面として表示される。このとき、元の日表示画面５３０はそのままの状態で維持される。

図３には、年表示画面５１０の一例が示されている（前述）。図示の年表示画面５１０は、カレンダーの構造を示す領域５１２と、年を時間軸レンジの単位とするカレンダー・ビュー形式の画像一覧表示領域５１３とを備えている。

画面左側の領域５１２には、作成年毎の該当するコンテンツ・ファイルの数が示され、さらに作成月毎の内訳も表示できるようになっている。この領域５１２における作成年が選択されると、その年の年単位のカレンダー・ビューが画面右側に表示領域５１３に表示される。図示の例では、年単位のカレンダーは１月から１２月の各月に分割され、さらに各月は横方向に七曜日を並べた各日に分割されている。そして、各日には当該作成日に作成されたコンテンツ・ファイルを代表するサムネイル・データ５１４が描画されている。

カレンダー・ビュー形式の画像一覧表示領域５１３の右端には、スクロールバー５１６が配設される。スクロールバー５１６は長手方向（すなわち紙面の上下方向）に時間軸を表しており、年単位のカレンダーは年を跨っても連続しているため、同バー５１６内のノブを上下に操作することに応じて別の年のカレンダーの表示へとシームレスに切り替わり、ユーザは所望の年月日のコンテンツ・ファイルをシークすることができる。

スクロールバー５１６の左側には、年表示バー５１５が併設されている。年単位のカレンダーは年を跨っても連続していることから、年表示バー５１５は、現在表示されている年を明示する役割を持つ。図示の例では、年表示バー５１５の中央には、現在カレンダーの画像一覧表示領域５１３に表示されている年が示される。また、年表示バー５１５の上部並びに下部にはそれぞれ前年並びに次年が示される。

なお、カレンダー・ビュー形式の画像一覧表示領域５１３の表示形態によっては、同一画面に複数年に跨ってカレンダーが表示される場合もあり得る。このような場合には、最も表示面積の広い年を中心となる年として、年表示バー５１５の中心に表示することが考えられる。また、中心となる年以外（すなわち現在着目していない年）のカレンダー・ビュー表示を、例えばグレイアウトするなどの非活性状態にして描画することが考えられる。

図５には、月単位を時間軸レンジとしてカレンダー・ビュー形式で表示したコンテンツ・ファイルの提示画面（図２Ｂ）、すなわち月表示画面５２０の一例を示している。図示の月表示画面５２０は、カレンダーの構造を示す領域５２２と、月を時間軸レンジの単位とするカレンダー・ビュー形式の画像一覧表示領域５２３を備えている。

領域５２２には、作成年毎のコンテンツ・ファイルの数が示され、さらに作成月毎の内訳も表示することができる。この領域５２２における作成月が選択されると、その月の月単位のカレンダーが画像一覧表示領域５２３に表示される。図示の例では、９月のカレンダーが示され、日曜日から土曜日までを横方向に配置して、１日から３０日の各日に分割されている。そして、各日には作成日を代表するサムネイル・データ５２４が描画されている。

カレンダー・ビュー形式の画像一覧表示領域５２３の右端には、スクロールバー５２６が配設される。スクロールバー５２６は長手方向（すなわち紙面上下方向）に時間軸を表しており、月単位のカレンダーは月を跨っても連続しているため、同バー５２６内のノブを上下に操作することに応じて別の月のカレンダーの表示へとシームレスに切り替わり、ユーザは所望の月日のコンテンツ・ファイルをシークすることができる。

スクロールバー５２６の左側には、月表示バー５２５が示される。月単位のカレンダーは月を跨っても連続していることから、月表示バー５２５は、現在表示されている月を明示する役割を持つ。図示の例では、月表示バー５２５の中央には、現在カレンダーの画像一覧表示領域５２３に表示されている月が示される。また、月表示バー５２５の上部並びに下部にはそれぞれ前月並びに翌月が示される。

なお、各月の七曜日の配列の関係上、同一画面に複数月が跨って表示されることになる。そこで、最も表示面積の広い月を中心となる月として、月表示バー５２５の中心に表示することが考えられる。また、中心となる月以外（すなわち現在着目していない月）のカレンダー・ビュー表示を、例えばグレイアウトするなどの非活性状態にして描画することが考えられる。

図６には、日単位を時間軸レンジとしてカレンダー・ビュー形式で表示したコンテンツ・ファイルの提示画面（図２Ｃ）、すなわち日表示画面５３０の一例を示している。図示の日表示画面５３０は、カレンダーの構造を示す領域５３２と、日を時間軸レンジの単位とするカレンダー・ビュー形式の画像一覧表示領域５３３を備えている。

領域５３２には、作成年毎のコンテンツ・ファイルの数が示され、さらに作成月毎の内訳も表示できるようになっている。変形例として、さらに作成日毎の内訳も表示するようにしてもよい。

カレンダー・ビュー形式の画像一覧表示領域５３３には、各日が一時間毎に区切った時間帯に分けられて、コンテンツ・ファイルの作成時刻に対応する位置には、静止が、動画、音声など各コンテンツ・ファイルを代表するサムネイル・データ５３４が描画される。また、図示の例では、サムネイル・データ５３４の下方に作成時刻が表示されている。

カレンダー・ビュー形式の画像一覧表示領域５３３の右端には、スクロールバー５３６が配設される。スクロールバー５３６は長手方向（すなわち紙面の上下方向）に時間軸を表しており、日単位のカレンダーは日を跨っても連続しているため、同バー５３６内のノブを上下に操作することに応じて別の日のカレンダーの表示へとシームレスに切り替わり、ユーザは所望の日のコンテンツ・ファイルをシークすることができる。

ここで、１つのコンテンツ・ファイルも作成されない日は比較的多い。このため、日表示画面５３０では作成日の該当しない日をそのまま表示してしまうと、サムネイル・データ５３４を全く含まないカレンダーに対してスクロール操作を繰り返す必要が生じてしまう、という弊害がある。そこで、図示の例では、何れのコンテンツ・ファイルの作成日にも該当しない日の表示はカレンダー・ビュー形式の画像一覧表示領域５３３から省くことにしている。

また、月表示画面５２０（図５を参照のこと）において特定の日が選択（マウスによる左クリック）操作された際、該選択された日を作成日とするコンテンツ・ファイルが存在しないことも生じ得る。このような場合には、選択された日ではなく、作成日とするコンテンツ・ファイルが存在する直近の日の日表示画面５３０に遷移するようにしてもよい。直近の作成日としては、時間軸上で前方、すなわち時間的に新しい方向から選択することが考えられる。

また、コンテンツ・ファイルの作成日が日を単位として連続して存在する場合には、何らかのイベント（例えば、旅行など）が複数日に跨っているものと推定して、その連続する範囲をグループとしてまとめることが望ましい。そして、このグループの先頭には、開始日を示すラベル５３７を、末尾には最終日を示すラベル５３８をそれぞれ表示している。なお、このラベル５３７及び５３８には、必要に応じて色を付することができる。例えば、土曜日には青色のラベル、日曜日には赤色ラベルなどとすることができる。

スクロールバー５３６の左側には、日表示バー５３５が示される。日単位のカレンダーは日を跨っても連続していることから、日表示バー５３５は、現在表示されている日を明示する役割を持つ。図示の例では、日表示バー５３５の中央には、カレンダー・ビュー形式の画像一覧表示領域５３３に表示されている日が示される。そして、日表示バー５３５の上部には前日が、下部には翌日がそれぞれ示される。但し、いずれのコンテンツ・ファイルの作成日にも該当しない日は、ここで言う前日及び翌日からは外される。

なお、同一画面に複数日が跨って表示される場合には、最も表示面積の広い日を中心となる日として日表示バー５３５の中心に表示することが考えられる。また、中心となる日以外（すなわち現在着目していない日）のカレンダー表示を、例えばグレイアウトするなどの非活性状態として描画することが考えられる。

図７には、ツールチップの一表示例を示している。例えば年表示画面５１０のカレンダー・ビュー形式の画像一覧表示領域５１３においてカーソル５１７が特定の月の上に移動されると、その特定の月及びその月を作成月とするコンテンツ・ファイルの数がツールチップ５１８として表示される。このツールチップ５１８は、数秒から十秒程度の短期間のみ表示することとしてもよく、また、カーソルが再び移動するまで継続して表示されるようにしてもよい。

また、図８には、ツールチップの他の表示例を示している。例えば月表示画面５２０のカレンダー・ビュー形式の画像一覧表示領域５２３において、カーソル５２７が特定の日の上に移動されると、その特定の日及びその日を作成日とするコンテンツ・ファイルの数がツールチップ５２８として表示される。このツールチップ５２８の表示期間は、ツールチップ５１８の場合と同様である。

図９には、本実施形態に係る情報提示装置において、カレンダー・ビュー形式でコンテンツ・ファイルの提示に関するサービスを提供するための処理手順をフローチャートの形式で示している。ここでは、初期表示として年表示画面５１０、月表示画面５２０、又は日表示画面５３０のいずれかが表示されているものとする（ステップＳ１）。

操作受付部１７０が時間軸レンジの切り替え操作をユーザから受けると、制御部１８０は表示状態保持部１９０の表示状態に応じて表示画面の切り替え処理を行なう（ステップＳ２）。

また、操作受付部１７０がスクロール操作をユーザから受けたときには、制御部１８０はスクロール処理を行なう（ステップＳ３）。

また、操作受付部１７０がカーソル移動操作をユーザから受けたときには、制御部１８０はカーソル移動処理を行なう（ステップＳ４）。

これら表示画面の切り替え処理、スクロール処理、並びにカーソル移動処理を、所定の制御周期毎に繰り返し実行する。

図１０には、表示切り替え処理（ステップＳ２）の処理手順の詳細をフローチャートの形式で示している。

操作受付部１７０の受けた操作が左クリック操作であれば（ステップＳ１１のＹｅｓ）、制御部１８０は表示状態保持部１９０の表示状態における時間軸レンジを参照して現行の表示画面が年表示画面５１０、月表示画面５２０、又は日表示画面５３０のいずれであるかを判断する（ステップＳ１２、Ｓ１４、Ｓ１６）。

現行の表示画面が年表示画面５１０であれば（ステップＳ１２のＹｅｓ）、制御部１８０は、左クリック操作の際に選択された月の月表示画面５２０を描画部１５０に描画させる（ステップＳ９１３）。その際、取得部１４０に対して、必要なカレンダー情報及びサムネイル・データをそれぞれカレンダー情報記憶部１３０及びサムネイル・データ記憶部１２０から取得させる。また、制御部１８０は、時間軸レンジの単位が月になるように表示状態保持部１９０を更新する。

また、現行の表示画面が月表示画面５２０であれば（ステップＳ１４のＹｅｓ）、制御部１８０は、左クリック操作の際に選択された日の日表示画面５３０を描画部１５０に描画させる（ステップＳ１５）。その際、取得部１４０に対して、必要なカレンダー情報及びサムネイル・データをそれぞれカレンダー情報記憶部１３０及びサムネイル・データ記憶部１２０から取得させる。また、制御部１８０は、時間軸レンジの単位が日になるように表示状態保持部１９０を更新する。

また、現行の表示画面が日表示画面５３０であれば（ステップＳ１６のＹｅｓ）、制御部１８０は、左クリック操作の際に選択されたサムネイルに対応するコンテンツ・ファイルのコンテンツ表示画面５４０を描画部１５０に描画させる（ステップＳ１７）。その際、取得部１４０に対して、必要なコンテンツ・ファイルをコンテンツ・ファイル記憶部１１０から取得させる。

一方、操作受付部１７０の受けた操作が右クリック操作であれば（ステップＳ２１のＹｅｓ）、制御部１８０は表示状態保持部１９０の表示状態における時間軸レンジを参照して現行の表示画面が年表示画面５１０、月表示画面５２０又は日表示画面５３０のいずれであるかを判断する（ステップＳ２２、Ｓ２４、Ｓ２６）。

ここで、現行の表示画面が月表示画面５２０であれば（ステップＳ２２のＹｅｓ）、制御部１８０は、表示状態保持部１９０の表示状態が示す年の年表示画面５１０を描画部１５０に描画させる（ステップＳ２３）。その際、取得部１４０に対して、必要なカレンダー情報及びサムネイル・データをそれぞれカレンダー情報記憶部１３０及びサムネイル・データ記憶部１２０から取得させる。また、制御部１８０は、時間軸レンジの単位が年になるように表示状態保持部１９０を更新する。

また、現行の表示画面が日表示画面５３０であれば（ステップＳ２４のＹｅｓ）、制御部１８０は、表示状態保持部１９０の表示状態が示す月の月表示画面５２０を描画部１５０に描画させる（ステップＳ２５）。その際、取得部１４０に対して、必要なカレンダー情及びサムネイル・データをそれぞれカレンダー情報記憶部１３０及びサムネイル・データ記憶部１２０から取得させる。また、制御部１８０は、時間軸レンジの単位が月になるように表示状態保持部１９０を更新する。

また、図４Ａに示した画面遷移例を想定した場合、現行の表示画面がコンテンツ表示画面５４０であれば（ステップＳ２６のＹｅｓ）、制御部１８０は、表示状態保持部１９０の表示状態が示す日の日表示画面５３０を描画部１５０に描画させる（ステップＳ２７）。その際、取得部１４０に対して、必要なカレンダー情報及びサムネイル・データをそれぞれカレンダー情報記憶部１３０及びサムネイル・データ記憶部１２０から取得させる。また、制御部１８０は、時間軸レンジの単位が日になるように表示状態保持部１９０を更新する。

図１１には、スクロール処理（ステップＳ３）の処理手順の詳細をフローチャートの形式で示している。

操作受付部１７０の受けた操作がスクロール操作であれば（ステップＳ３１のＹｅｓ）、制御部１８０は、表示画面をスクロールさせるよう描画部１５０に指示する（ステップＳ３２）。その際、制御部１８０は、表示状態の位置がスクロール後の位置を示すように表示状態保持部１９０を更新する。

スクロール操作によって指示されたスクロール位置から時間軸レンジの単位の境界を越えたとき（ステップＳ３３のＹｅｓ）、すなわち年表示画面５１０において年の境界を越え、月表示画面５２０において月の境界を越え、若しくは、日表示画面５３０において日の境界を越えたときには、制御部１８０は、新たな中心となる単位（特定の年、月又は日）以外の表示が例えばグレイアウトのように非活性状態となるように、描画部１５０に描画させる（ステップＳ３４）。

また、これと同時に、制御部１８０は、ツールチップの重畳表示を、描画部１５０に描画させる（ステップＳ３５）。すなわち、制御部１８０は、取得部１４０に対して新たな中心となる単位に関する情報をサムネイル・データ記憶部１２０から取得させ、その情報を描画部１５０に対して重畳表示として描画させる。

図１２には、カーソル移動処理（ステップＳ４）の処理手順の詳細をフローチャートの形式で示している。

操作受付部１７０の受けた操作がカーソル移動操作であれば（ステップＳ４１のＹｅｓ）、制御部１８０は、カーソルを移動させるよう描画部１５０に指示する（ステップＳ４２）。

また、カーソル移動処理によって表示画面上の何れかの時間軸レンジの単位の上にカーソルが移動（マウスオーバ）したときには（ステップＳ４３のＹｅｓ）、制御部１８０は、その単位に関する情報をツールチップとして描画するよう描画部１５０に指示する（ステップＳ４４）。

このように、本実施形態に係る情報提示装置は、カレンダー・ビューの時間軸レンジを年単位、月単位、又は日（若しくは時間）単位のいずれかに設定することができ、設定した時間軸レンジの単位に応じて、背景としてのカレンダー表示を年画面表示、月表示画面、及び日表示画面に切り替えて、コンテンツ・ファイルを象徴するサムネイルを作成日に相当する位置で提示することができる。

また、本実施形態に係る情報提示装置は、いずれの時間軸レンジに設定したカレンダー・ビュー形式の画像一覧表示画面においても、操作受付部１７０を介した同じスクロール操作によって、年、月及び日の境界を跨った表示をシームレスに行なうユーザ・インターフェースを提供することができる。

また、本実施形態に係る情報提示装置は、表示状態保持部１９０に現在の表示状態を保持しておくことにより、操作受付部１７０を介して時間軸レンジの変更が指示された際には、変更後の時間軸レンジ及び現在の位置を把握することができ、現在の位置を維持したまま時間軸レンジを切り替えることができる。

ユーザは、年表示画面、月表示画面、日表示画面のいずれにおいても、作成日毎にサムネイルを配置したカレンダー・ビューを通じて、作成日を手がかりに所望のコンテンツ・ファイルを特定することができ、操作受付部１７０を介してサムネイルを指示することによりコンテンツ・ファイルを選択したことをシステムに通知することができる。

静止画ファイルについては、その縮小画像をサムネイル・データとして利用することができる。また、音声ファイルについてはある時刻における視覚エフェクト画像などを利用することができる。また、動画ファイルについては、ある時刻におけるフレームの縮小画像が利用される。

従来のカレンダー・ビュー形式の画像一覧表示画面では、動画の先頭フレームのサムネイル・データのみを利用することが多かった。ここで、動画の先頭フレームのサムネイル１枚を代表画像に用いた場合、その動画がどのようなものであるかを、一目で認識することは極めて困難である。また、短い動画も長い動画も同じように１枚のサムネイルでしか提示されないので、動画の記録時間と撮影時刻（カレンダー表示）の関係を直感的に認識することは困難である。また、先頭フレームのサムネイル１枚を見ただけでは、ユーザは動画内の所望のシーンをシークする手掛かりを得ることはできず、動画ファイルの中身を確認し、あるいはシークするには記録時間だけシーク時間を要する。

これに対し、本実施形態では、動画内部から複数箇所の代表画像フレームを取り出し、該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、動画内サムネイル集合として時系列に管理する。カレンダー・ビュー形式の画像一覧表示画面上において、このような動画内サムネイル集合に含まれる各サムネイルを時系列上に展開すると、ユーザは動画の中身を確認することが容易になる。また、展開表示中のサムネイルうち任意の１つがユーザによって選択されたことに応じて、該サムネイルに対応する再生位置から動画の再生処理を起動することにより、シーク時の操作性が向上する。すなわち、ユーザにとって管理が容易なユーザ・インターフェースを提供することができる。

図１３に示すように、日表示画面（年表示画面、月表示画面も同様）などのユーザ・インターフェース上には、動画展開ＯＮボタン６０１並びに動画展開ＯＦＦボタン６０２というトグル・ボタンが配設されている。動画展開ＯＮボタン６０１は、表示中の１枚のサムネイル（例えば、先頭フレームのサムネイル）を当該動画から抽出された複数の時系列上のサムネイル（動画内サムネイル）に展開して表示する指示を行なうボタンである。また、動画展開ＯＦＦボタン６０２は、逆に、動画内サムネイルに展開された表示を元の１つのサムネイルに縮退する指示を行なうボタンである。ユーザは、操作受付部１７０を介してこれらのトグル・ボタンを操作することができる。

動画展開がＯＮにトグルされた場合、動画内サムネイルの一覧が、各サムネイルを時系列に配列したフィルム・ロールの形式で展開表示される。そして、このフィルム・ロール上の任意のサムネイルを選択（例えばマウスで左クリック）することにより、動画のその位置から再生処理が起動する。その際の動画再生ウィンドウは、例えばコンテンツ・ファイルの提示画面とは別ウィンドウ画面としてオープンする。

また、この別ウィンドウ画面で動画再生中には、当該画面の下部にて、再生中の動画の動画内サムネイルの一覧が、各サムネイルを時系列に配列したフィルム・ロール形式で表示される。フィルム・ロールの表示は動画の再生位置とともに進行していく。そして、フィルム・ロール上の任意のサムネイルを選択（例えばマウスで左クリック）することにより、該当する再生位置にジャンプするので、再生中動画のシークが可能である。

図１３に示す例では、カレンダー・ビュー形式の画像一覧表示領域５３３の上部に、動画展開ＯＮボタン６０１並びに動画展開ＯＦＦボタン６０２のトグル・ボタンが配設されている。

図１４には、動画展開のＯＮ／ＯＦＦをトグルする様子を示している。図１４上に示すように動画展開がＯＦＦの状態で、画像一覧表示領域内の任意の動画サムネイルを選択した上で、動画展開ＯＮボタン６０１をさらに選択すると、図１４下に示すように当該動画が動画展開ＯＮの状態に切り替わり、動画内サムネイルがフィルム・ロール状に展開される。また、図示しないが、動画展開がＯＦＦの状態にトグルされると、フィルム・ロール状に展開されていた動画内サムネイルが１枚のサムネイルに縮退する。

１つの動画のフィルム・ロールは、黒いフィルムのようにＵＩデザインを用いて、別の動画フィルム・ロールとは視覚的且つ直感的に区別がつくようにする。また、フィルム・ロール内の各サムネイル画像の下には、動画の先頭からの時間（オフセット）を表示する。

動画展開ＯＦＦから動画展開ＯＮにトグルされ、動画展開を開始するときには、フィルム・ロールが展開されていることが直感的・視覚的に分るようにアニメーション表示する。具体的には、図１５に示すように、動画の先頭フレームのサムネイルの画面から、左右・上下にフィルム・ロールが伸びていくようにアニメーション表示する。また、画像一覧表示画面の画面サイズによっては、適宜フィルム・ロールを改行する、若しくは画面下にスクロールバーを設けるといった処理を施す。逆に、動画展開ＯＮから動画展開ＯＦＦにトグルされたときには、上記のアニメーションとは逆のアニメーション表示を行なうようにする。

また、図１３に示したように、動画展開ＯＮボタン６０１に隣接するように（図中では右側）、選択用ＵＩ６０３が配設されている。この選択用ＵＩ６０３は、動画を展開するための条件、すなわち、動画内部の複数箇所から代表画像フレームを取り出す方法を選択するためのユーザ・インターフェースである。図示の例では、選択用ＵＩ６０３はプルダウン・メニュー形式で構成されている。

動画展開がＯＮの状態では、動画内サムネイルがフィルム・ロール状に展開されるとともに、選択用ＵＩ６０３は活性表示されて、プルダウン・メニューの使用が可能となる。また、動画展開がＯＦＦの状態にトグルされると、フィルム・ロール状に展開されていた動画内サムネイルが１枚のサムネイルに縮退するとともに、選択用ＵＩ６０３は不活性状態となり、プルダウン・メニューは使用不能となる。

動画内部の複数箇所から代表画像フレームを取り出す方法としては、例えば、（ユーザが指定した）所定の時間間隔でフレームを取り出す方法や、５分割、１０分割といった具合に動画ストリームを等分割してフレームを取り出す方法が挙げられ、選択用ＵＩ６０３のプルダウン・メニューを介して選択することができる。

さらには、動画を展開するための条件として、（重要な）被写体の顔が映っていることや映像に同期する音声データ、ズーム検出など所定の評価関数に基づいてハイライトすべきと認識される画像、シーンの切り替わり位置などを挙げることができる。動画からハイライト画像を抽出する方法に関しては、例えば本出願人に既に譲渡されている特願２００６−６０５９２号明細書や２００６−１１５２４２号明細書に記載されている。

図１６には、選択用ＵＩ６０３のプルダウン・メニューで動画を展開するための条件を選択したことに応じて動画展開したフィルム・ロールの表示が切り替わる様子を示している。例えば、「一定時間間隔（１０秒間隔）」を選択したときには、動画内から１０秒毎に取り出されたフレームのサムネイルがフィルム・ロール上で時系列的に表示される。また、「１０分割」を選択したときには、動画の長さを等分に１０分割した時点の各フレームのサムネイルフィルム・ロール上で時系列的に表示される。また、「ハイライト」を選択したときには、動画内から重要部分すなわちハイライトと推定されるフレームのサムネイルがフィルム・ロール上で時系列的に表示される。

また、ユーザがフィルム・ロール上の任意のサムネイルを選択（例えばマウスでクリック）することにより、動画のその位置から再生処理が起動する。その際の動画再生ウィンドウは、例えばコンテンツ・ファイルの提示画面とは別ウィンドウ画面としてオープンする。

図１７には、フィルム・ロール上でクリックされたサムネイルの位置から動画の再生を開始する様子を示している。図示のように、この動画再生画面の下部にも、再生中の動画の動画内サムネイルの一覧が、各サムネイルを時系列に配列したフィルム・ロール形式で表示される。フィルム・ロールの表示は動画の再生位置とともに進行していく。そして、フィルム・ロール上の任意のサムネイルを選択（例えばマウスでクリック）することにより、該当する再生位置にジャンプするので、再生中動画のシークが可能である。

図１８には、動画再生画面の構成例を示している。図示の動画再生画面は、画面構成要素として、当該画面ウィンドウ左側の画像一覧表示領域６１１と、同ウィンドウ右上部の画像（動画・静止画）再生領域６１２と、同ウィンドウ右下部のフィルム・ロール表示領域６１３を備えている。画像一覧表示領域６１１では、管理の対象となるコンテンツ・ファイルを格納するフォルダ内のサムネイル画像の一覧、若しくは再生中の動画と作成日が同一となる動画一覧のサムネイルなどが表示される。また、ユーザは、フィルム・ロール表示ＯＮ／ＯＦＦボタン６１４の操作によって、フィルム・ロール表示領域６１３の表示・非表示を切り替えることができる。

以上説明してきたように、本実施形態に係る情報提示装置によれば、カレンダー・ビュー形式の画像一覧表示画面上で、動画内部の複数のサムネイルをフィルム・ロール表示の形式で時系列的に展開して表示することにより、閲覧性が飛躍的に向上する。そして、ユーザにとっては、動画の記録時間や動画の中身を、再生することなしに直感的に認識することができ、所望の位置からの再生開始やシーク操作を行ない易くなる。

ここで、フィルム・ロール表示形式による動画内サムネイルの展開表示について詳解する。

上述したように、動画再生画面上では、フィルム・ロール表示ＯＮ／ＯＦＦボタン６１４で表示ＯＮにしたときに、フィルム・ロール表示領域６１３にフィルム・ロールが表示される。図１９には、フィルム・ロール表示領域の構成を詳細に示している。但し、図示の例では、動画を展開するための条件として「一定時間間隔（１０秒間隔）」が選択されている。

フィルム・ロール表示領域６１３の上左部には、プルダウン・メニュー形式の選択用ＵＩ６２１が配設されており、動画を展開するための条件、すなわち、動画内部の複数箇所から代表画像フレームを取り出す方法を、メニュー選択によって切り替えることができる。図示の例では一定間隔でフレームを取り出す方法が選択されており、動画内から１０秒毎に取り出されたフレームのサムネイルがフィルム・ロール上で時系列的に表示されている。また、フィルム・ロール内の各サムネイル画像の下には、動画の先頭からの時間（オフセット）が表示されている。

また、フィルム・ロール表示領域６１３の右上部には、スケールすなわちフィルム・ロールの時間間隔を調整するためのスライドバー６２２が配設されており、ユーザは同バー６２２上でノブを移動操作することによって、フィルム・ロール間隔を５秒、１０秒、３０秒…といった具合に直感的に変更することができる。

フィルム・ロール表示の上には、現在の再生中の位置を示す現在再生中位置表示ポイント６２３が表示され、動画再生画面上での動画の再生位置とともに、その表示位置も進行していく（後述）。ユーザは、マウスなどでこの現在再生中位置表示ポイント６２３を把持して、フィルム・ロール上で移動操作することにより、再生中画面をシークすることができる。

また、フィルム・ロール表示領域６１３の横サイズ（若しくは画面サイズ）や動画内サムネイルの総数によっては、動画展開ＯＮ時においてすべてのサムネイルをフィルム・ロール表示領域６１３内に収容できないことがある。このような場合、フィルム・ロールの下端に沿ってスライド・バー６２４が表示される。スクロールバー６２４は周知の画面構成要素であり、長手方向すなわち横方向が時間軸に相当し、動画内サムネイルが現在表示されている範囲を示すとともにバーの移動により表示範囲を調整することができる。

そして、フィルム・ロール上の任意のサムネイルを選択（例えばマウスでクリック）することにより、該当する再生位置にジャンプするので、再生中動画のシークが可能である。

図２０上に示すように、動画再生が進むにつれ、現在再生中位置表示ポイント６２３の位置を動画再生方向（すなわち画面右方向）に移動する。このとき、画面サイズの制約などによりすべての動画内サムネイルをフィルム・ロール表示領域６１３内に収容できないときには、動画再生が進むに伴って、現在の動画再生位置がフィルム・ロール表示領域６１３の表示範囲から外れ、現在再生中位置表示ポイント６２３がフィルム・ロールから振り切れてしまう。そこで、自動的にスクロール・バー６２４の調整を実行して、フィルム・ロールに表示中のサムネイルの位置を動画再生の逆方向（すなわち画面左方向）にドリフトすることで、現在再生中位置表示ポイント６２３が画面から隠れないようにする。

なお、現在再生中位置表示ポイント６２３が必ずフィルム・ロールの中央付近に表示されるように、継続的にスクロール・バー６２４の自動調整を実行するという方法も考えられる。

図１９には、動画を展開するための条件として「一定時間間隔（１０秒間隔）」が選択されているときのフィルム・ロール表示領域の構成を詳細に示しており、この場合はフィルム・ロール上には動画内サムネイルが一定間隔で配置される。これに対し、動画を展開するための条件として「ハイライト」を選択したときにはフィルム・ロール上で動画内サムネイルが不均一に配置され、図２１に示すようにサムネイル間にスペースが開いてしまうことがある。このような場合、サムフィルム・ロール上でネイルが存在しない領域を選択（マウスでクリック）すると、該当する再生位置をシークすることができる。

なお、ハイライト表示の際に、動画から抽出されたサムネイルの密度が不十分で、そのままではフィルム・ロール上でサムネイル間にスペースが開いてしまう場合には、一定時間間隔毎のサムネイルでスペースを補間するという方法も考えられる。

図２２には、カレンダー・ビュー形式の画像一覧表示画面上において動画内サムネイル集合に含まれる各サムネイルを時系列上に展開する際の処理手順をフローチャートの形式で示している。

カレンダー・ビュー形式でコンテンツ・ファイルを画像一覧表示するためのアプリケーションを起動すると（ステップＳ１０１）、カレンダー・ビュー形式の画像一覧表示画面が表示出力される（ステップＳ１０２）。

初期表示として、年表示画面５１０、月表示画面５２０、又は日表示画面５３０のいずれかが表示される。また、いずれの形式の画像一覧表示画面においても、操作受付部１７０を介したユーザ操作に応じて、表示画面の切り替えや、カレンダー・ビューの表示位置のスクロール操作、カーソル移動操作などを行なうことができる。但し、これらの操作については、図１０〜図１２を参照しながら既に説明した通りである。

画像一覧表示画面には動画展開ＯＮボタン６０１並びに動画展開ＯＦＦボタン６０２というトグル・ボタンが配設されており（図１３を参照のこと）、トグル操作が行なわれない間は、動画のサムネイルの表示状態はそのまま保たれる（ステップＳ１０３）。

ここで、動画展開がＯＮにトグルされたときには（ステップＳ１０４のＹｅｓ）、動画展開ＯＮボタン６０１に隣接する選択用ＵＩ６０３が活性表示されて、プルダウン・メニューの使用が可能となり（ステップＳ１０５）、図１６に示したようにプルダウン・メニュー上で動画を展開するための条件を選択したことに応じて動画展開したフィルム・ロールの表示が切り替わる。

すなわち、「一定時間間隔（１０秒間隔）」を選択したときには、動画内から１０秒毎に取り出されたフレームのサムネイルがフィルム・ロール上で時系列的に表示される（ステップＳ１０７）。また、「１０分割」を選択したときには、動画の長さを等分に１０分割した時点の各フレームのサムネイルフィルム・ロール上で時系列的に表示される。また、「ハイライト」を選択したときには、動画内から重要部分すなわちハイライトと推定されるフレームのサムネイルがフィルム・ロール上で時系列的に表示される（ステップＳ１０８）。

そして、動画展開がＯＮ状態では、選択用ＵＩ６０３は常に活性状態であり（ステップＳ１０９）、ユーザがプルダウン・メニュー上で動画を展開するための条件を変更したときには（ステップＳ１１０のＹｅｓ）、ステップＳ１０６に戻って、プルダウン・メニュー上で動画を展開するための条件を選択したことに応じて動画展開したフィルム・ロールの表示が切り替わる。

また、図１７に示したように、フィルム・ロール上で任意のサムネイルをユーザが選択（マウスで左クリック）すると、そのサムネイルの位置から動画の再生を開始する。図２３には、動画再生を開始する際の処理手順をフローチャートの形式で示している。

フィルム・ロール上で任意のサムネイルをユーザが選択したことに応答して、当該動画ファイルの再生処理が起動して、画像一覧表示画面とは別ウィンドウ画面として動画再生画面がオープンする。この動画再生画面の下部には、再生中の動画の動画内サムネイルの一覧がフィルム・ロール形式で表示される（ステップＳ１１１）。

フィルム・ロール上の任意のサムネイルを選択（例えばマウスでクリック）すると（ステップＳ１１２のＹｅｓ）、クリックされたサムネイルに相当する時間位置が算出され（ステップＳ１１３）、該当する再生位置にジャンプするので（ステップＳ１１４）、再生中動画のシークが可能である。

動画再生画面の構成は例えば図１８に示した通りである。また、図１９に示したように、フィルム・ロール表示の上には、現在の再生中の位置を示す現在再生中位置表示ポイント６２３が表示される。動画再生が進むにつれ、現在再生中位置表示ポイント６２３の位置は動画再生方向に移動する。図２４には、動画再生時の処理手順をフローチャートの形式で示している。

動画再生が開始されると（ステップＳ１２１）、動画再生が進むにつれ、現在再生中位置表示ポイント６２３の位置は動画再生方向に移動する（ステップＳ１２２）。

動画再生画面の下部には、再生中の動画の動画内サムネイルの一覧がフィルム・ロール形式で表示される（ステップＳ１２３）。

フィルム・ロール上の任意のサムネイルを選択（例えばマウスでクリック）すると（ステップＳ１２４のＹｅｓ）、クリックされたサムネイルに相当する時間位置が算出され（ステップＳ１２５）、該当する再生位置にジャンプする。

このとき、選択されたサムネイルをフィルム・ロール表示領域の中央に配置するとともに（ステップＳ１２６）、現在再生中位置表示ポイント６２３の位置をフィルム・ロール表示領域の中央に移動する（ステップＳ１２７）。

そして、ステップＳ１２５で算出された時間位置から動画再生が開始するので（ステップＳ１２８）、再生中動画のシークが可能である。

ここで、画面サイズの制約などによりすべての動画内サムネイルをフィルム・ロール表示領域６１３内に収容できないときには、動画再生が進むに伴って、現在の動画再生位置がフィルム・ロール表示領域６１３の表示範囲から外れ、現在再生中位置表示ポイント６２３がフィルム・ロールから振り切れてしまう。そこで、図２０に示したように、スクロール・バー６２４の自動調整によって、現在再生中位置表示ポイント６２３が画面から隠れないようにしている。図２５には、動画再生時において再生中位置表示ポイント６２３を進捗させるための処理手順をフローチャートの形式で示している。

動画再生が開始されると（ステップＳ１３１）、動画再生が進むにつれ、現在再生中位置表示ポイント６２３の位置は動画再生方向に移動する（ステップＳ１３２）。

ここで、動画再生がさらに進行して、現在再生中位置表示ポイント６２３の位置がフィルム・ロール表示領域の中央から３０％の範囲を外れると（ステップＳ１３３のＹｅｓ）、現在再生中位置表示ポイント６２３の位置をフィルム・ロール表示領域の中央に移動する（ステップＳ１３４）。

また、現在再生中位置表示ポイント６２３の移動に併せて、スクロール・バー６２４の調整を実行して、再生位置に相当する（若しくは最も近い）サムネイルがフィルム・ロール表示領域の中央に来るようにする（ステップＳ１３５）。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、カレンダー・ビュー形式の画像一覧表示画面にフィルム・ロール表示形式による動画内サムネイルの展開表示を行なう実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではなく、さまざまな形態の画像一覧表示画面に対して本発明に係る動画展開方法を適用することができる。例えば、フォルダ内の画像一覧表示の状態や、位置情報に基づいて地図上に画像を表示する場合などにも、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明の一実施形態に係る情報提示装置の構成例を示した図である。 図２Ａは、時間軸レンジとして年単位が選択された場合のコンテンツ・ファイルの提示画面の構成例を示した図である。 図２Ｂは、時間軸レンジとして月単位が選択された場合のコンテンツ・ファイルの提示画面の構成例を示した図である。 図２Ｃは、時間軸レンジとして日単位が選択された場合のコンテンツ・ファイルの提示画面の構成例を示した図である。 図３は、年単位を時間軸レンジとし、各月をさらにカレンダー・ビュー形式に表示して各日の代表するサムネイル・データを描画した例を示した図である。 図４Ａは、年表示画面５１０からコンテンツ表示画面５４０までを同一の画面（ウィンドウ表示画面）に表示する場合の画面遷移の例を示した図である。 図４Ｂは、コンテンツ表示画面５４０を別の画面（ウィンドウ表示画面）に表示する場合の画面遷移の例を示した図である。 図５は、月単位を時間軸レンジとしてカレンダー・ビュー形式で表示した月表示画面５２０の一例を示した図である。 図６は、日単位を時間軸レンジとしてカレンダー・ビュー形式で表示した日表示画面５３０の一例を示した図である。 図７は、ツールチップの一表示例を示した図である。 図８は、ツールチップの他の表示例を示した図である。 図９は、カレンダー・ビュー形式でコンテンツ・ファイルの提示に関するサービスを提供するための処理手順を示したフローチャートである。 図１０は、表示切替処理（ステップＳ２）の詳細な処理手順を示したフローチャートである。 図１１は、スクロール処理（ステップＳ２）の詳細な処理手順を示したフローチャートである。 図１２は、カーソル移動処理（ステップＳ４０）の詳細な処理手順を示したフローチャートである。 図１３は、画像一覧表示画面上に動画展開ＯＮボタン６０１並びに動画展開ＯＦＦボタン６０２のトグル・ボタンが配設されている様子を示した図である。 図１４は、動画展開のＯＮ／ＯＦＦをトグルする様子を示した図である。 図１５は、動画展開時に、フィルム・ロールが展開されていることが直感的・視覚的に分るようにアニメーション表示する様子を示した図である。 図１６は、選択用ＵＩ６０３のプルダウン・メニューで動画を展開するための条件を選択したことに応じて動画展開したフィルム・ロールの表示が切り替わる様子を示した図である。 図１７は、フィルム・ロール上でクリックされたサムネイルの位置から動画の再生を開始する様子を示した図である。 図１８は、動画再生画面の構成例を示した図である。 図１９は、フィルム・ロール表示領域の構成（但し、動画展開条件を「一定時間間隔」としたとき）を詳細に示した図である。 図２０は、動画再生の進行に伴って現在再生中ポイント６２３の位置の移動と、スクロール・バー６２４の自動調整を行なう様子を示した図である。 図２１は、フィルム・ロール表示領域の構成（但し、動画展開条件を「ハイライト」としたとき）を詳細に示した図である。 図２２は、カレンダー・ビュー形式の画像一覧表示画面上において動画内サムネイル集合に含まれる各サムネイルを時系列上に展開する際の処理手順を示したフローチャートである。 図２３は、動画再生を開始する際の処理手順を示したフローチャートである。 図２４は、動画再生時の処理手順を示したフローチャートである。 図２５は、動画再生時において再生中位置表示ポイント６２３を進捗させるための処理手順を示したフローチャートである。

符号の説明

１１０…コンテンツ・ファイル記憶部
１２０…サムネイル・データ管理部
１３０…カレンダー情報記憶部
１４０…取得部
１５０…描画部
１６０…表示部
１７０…操作受付部
１８０…制御部
１９０…表示状態保持部

Claims (7)

1. 所定の記憶装置に格納されている各動画に関する情報を、カレンダー・ビュー形式の背景画面上のファイル作成時間に該当する位置においてユーザに提示する情報提示装置であって、
   所定の抽出方法に従って、動画内から代表画像となる複数のフレームを抽出するフレーム抽出手段と、
   該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、サムネイルの時系列からなる動画内サムネイル集合として、動画像の作成時間とともに管理する動画内サムネイル管理手段と、
   ユーザからの操作を受け付ける操作受付手段と、
   年、月、及び日の境界を跨って連続しているカレンダー・ビュー形式の背景画面上において、前記記憶装置に格納されている各動画に関する情報をその作成時間に該当する位置にて描画する描画手段と、
   を備え、
   前記描画手段は、前記記憶装置に格納されている動画に関する情報を前記のカレンダー・ビュー形式の背景画面上で提示する際に、ユーザによる前記操作受付手段を介したサムネイル表示形式の切り替えに関するトグル操作に応じて、前記の作成時間に該当する位置にて動画に関する単一のサムネイル表示から当該動画に関する動画内サムネイル集合に含まれる各サムネイルを時系列に配列したフィルム・ロールの形式で動画内サムネイルの一覧を展開して同時に表示し、又は逆に動画内サムネイルに展開された表示を前記の作成時間に該当する位置にて元の１つのサムネイルに縮退する、
   ことを特徴とする情報提示装置。
2. 動画から代表画像となるフレームを抽出する方法を指定するフレーム抽出方法指定手段をさらに備え、
   前記フレーム抽出手段は、該指定された抽出方法に従って、動画内から代表画像となる複数のフレームを抽出する、
   ことを特徴とする請求項１に記載の情報提示装置。
3. 前記フレーム抽出方法指定手段は、動画から一定の時間間隔毎に代表画像となるフレームを抽出する方法、又は動画からハイライト・シーンとなるフレームを抽出する方法のうち少なくともいずれかを指定することができる、
   ことを特徴とする請求項２に記載の情報提示装置。
4. ユーザが前記操作受付手段を介して表示中のいずれかのサムネイルを選択したことに応じて、該サムネイルに対応する再生位置から動画の再生処理を起動する動画再生手段をさらに備える、
   ことを特徴とする請求項１に記載の情報管理装置。
5. 前記描画手段は、動画展開時に、フィルム・ロールが展開されていることが直感的・視覚的に分るようにアニメーション表示する、
   ことを特徴とする請求項１に記載の情報管理装置。
6. 所定の記憶装置に格納されている各動画に関する情報を、カレンダー・ビュー形式の背景画面上のファイル作成時間に該当する位置においてユーザに提示する情報提示方法であって、
   所定の抽出方法に従って、動画内から代表画像となる複数のフレームを抽出するフレーム抽出ステップと、
   該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、サムネイルの時系列からなる動画内サムネイル集合として、動画像の作成時間とともに管理する動画内サムネイル管理ステップと、
   ユーザからの操作を受け付ける操作受付ステップと、
   年、月、及び日の境界を跨って連続しているカレンダー・ビュー形式の背景画面上において、前記記憶装置に格納されている各動画に関する情報をその作成時間に該当する位置にて描画する描画ステップと、
   を有し、
   前記描画ステップでは、前記記憶装置に格納されている動画に関する情報を前記のカレンダー・ビュー形式の背景画面上で提示する際に、前記操作受付ステップにおけるサムネイル表示形式の切り替えに関するトグル操作に応じて、前記の作成時間に該当する位置にて動画に関する単一のサムネイル表示から当該動画に関する動画内サムネイル集合に含まれる各サムネイルを時系列に配列したフィルム・ロールの形式で動画内サムネイルの一覧を展開して同時に表示し、又は逆に動画内サムネイルに展開された表示を前記の作成時間に該当する位置にて元の１つのサムネイルに縮退する、
   ことを特徴とする情報提示方法。
7. 所定の記憶装置に格納されている各動画に関する情報を、カレンダー・ビュー形式の背景画面上のファイル作成時間に該当する位置においてユーザに提示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で気所津されたコンピュータ・プログラムであって、前記コンピュータを、
   所定の抽出方法に従って、動画内から代表画像となる複数のフレームを抽出するフレーム抽出手段、
   該抽出された各代表画像のサムネイルを生成し、各サムネイルを動画内の再生位置と関連付け、サムネイルの時系列からなる動画内サムネイル集合として、動画像の作成時間とともに管理する動画内サムネイル管理手段、
   ユーザからの操作を受け付ける操作受付手段、
   年、月、及び日の境界を跨って連続しているカレンダー・ビュー形式の背景画面上において、前記記憶装置に格納されている各動画に関する情報をその作成時間に該当する位置にて描画する描画手段、
   として機能させ、
   前記描画手段は、前記記憶装置に格納されている動画に関する情報を前記のカレンダー・ビュー形式の背景画面上で提示する際に、ユーザによる前記操作受付手段を介したサムネイル表示形式の切り替えに関するトグル操作に応じて、前記の作成時間に該当する位置にて動画に関する単一のサムネイル表示から当該動画に関する動画内サムネイル集合に含まれる各サムネイルを時系列に配列したフィルム・ロールの形式で動画内サムネイルの一覧を展開して同時に表示し、又は逆に動画内サムネイルに展開された表示を前記の作成時間に該当する位置にて元の１つのサムネイルに縮退する、
   ことを特徴とするコンピュータ・プログラム。