JP5421627B2 - 映像データ表示装置及びその方法 - Google Patents

Description

本発明は、映像データの表示技術に関するものである。

デジタルデバイスの高性能化および低価格化によって、一般的に普及している安価なデジタルカメラや携帯電話などにおいても、高精細な映像データを簡単に撮影できるようになっている。また、それらの機器に搭載されるストレージの大容量化によって、誰でもたくさんの映像データを膨大に蓄積することも可能となっている。そして、これら蓄積した膨大な映像データが、ストレージ内で溢れかえっている状況となっている。

このような状況の中、膨大な映像データの中から所望のシーンなどを検索し、閲覧することは難しい。そのため、各種映像解析を利用した検索技術やメタデータ付与技術が提案されている。しかし、このような従来の技術を活用したとしても、とりわけ映像データのようなマルチメディアデータにおいては、データに付加された各種メタ情報だけで所望のシーンの検索を行うことは難しい。なぜなら、映像データのようなマルチメディアデータは、最終的に実際に目で見て確認しなければ、そのデータ（シーン）が所望しているシーンなのかどうかを判断できないからである。つまり、従来の映像データの検索・閲覧方法では、膨大な映像データの中から所望のシーンを探し出して確認するには、気の遠くなるような時間と操作が必要となっていた。

例えば、映像データを閲覧する場合、
・再生または早送りしながら映像データを一つずつ閲覧する、もしくは、
・映像データから任意のフレーム間隔で動画フレームを取り出して作成表示されたチャプターフレームやインデックスフレームを手がかりに、重要そうな映像シーンを閲覧する、
というのが一般的な手法である。その結果、映像データの検索と閲覧には時間がかかってしまう。

このような課題を解決するために、映像データに付加された情報だけでなく、映像解析の情報を利用して映像データの再生位置を決定するための技術（特許文献１）、や映像データの要約を作成するための技術（特許文献２）が提案されている。

これら従来技術では、映像解析情報を利用することにより、映像データに付加されている付加情報のみを利用した場合と比べ、よりユーザが意図するシーンを見つけ易くするような提案がなされている。

また一方、映像データ内の任意のシーンに自在にアクセスするための技術（特許文献３）が提案されている。この技術の基本的な仕組みは、ユーザインターフェース（ＵＩ）で直接指定した部分の映像をフレーム単位で取り出し、操作速度に応じて順次再生表示することである。この仕組みによって映像データ内の動画フレームの閲覧スピードの高速化や操作性の向上を図っている。

特開２００４‐１２０５５３号公報 特開２００６‐３４５５５４号公報 米国特許出願公開第２００８／０１５２２９９号公報

しかし、これら従来技術では映像データの重要シーンを見落としてしまうことがある。例えば、映像解析情報を利用した映像データ要約は、あくまでも映像解析情報を基準に重要そうなシーンを抽出して表示するため、ユーザが本来所望する重要シーンが抜け落ちてしまう可能性がある。ユーザが所望する重要シーンが映像データ要約から抜けてしまった場合は、もう一度、元の映像データを確認しなければならない。

また、映像データから動画フレームを読出し、操作速度に応じた再生速度で任意の区間の動画フレームを再生表示する映像データ表示手法の場合においても同様の課題が生ずる。つまり、再生表示される動画フレームのサンプリング間隔が一定であるため、重要シーンの動画フレームが抜け落ちてしまう、もしくは重要シーンの動画フレームが飛び飛びに再生表示されて内容の把握ができないといった課題が生じてしまう。

本発明は上記のような課題に鑑みてなされたものであり、選択された区間と選択されていない区間が混在する映像データを単一のユーザ操作で、かつ見やすい再生速度で逐次表示再生できる映像データ表示装置を提供することを目的とする。

上記の目的を達成するための本発明の一態様による映像データ表示装置は以下の構成を備える。すなわち、
映像データを再生表示する映像データ表示装置であって、
入力されたユーザ操作に基づいて操作速度を算出する算出手段と、
前記映像データに対する複数の解析項目のうち、指定された組み合わせの複数の解析項目に対応する映像解析情報に基づいて、前記映像データうちの特定の区間を示す区間情報を取得する取得手段と、
前記算出手段で算出された操作速度に対応した第１の再生速度を決定し、前記算出された操作速度が所定の操作速度を超えた状態で前記区間情報が示す区間に属する映像データが再生される場合には、該区間に属する映像データを前記第１の再生速度よりも遅い再生速度で再生するための第２の再生速度を決定する決定手段と、
前記決定手段で決定された再生速度で前記映像データを再生する再生手段と、を備え、
前記決定手段は、前記第２の再生速度を決定した場合に、前記区間に属さない映像データを再生するための、前記第１の再生速度より速い第３の再生速度を、前記第２の再生速度と前記操作速度とに基づいて決定し、
前記再生手段は、前記算出された操作速度が前記所定の操作速度を超えたことに応じて前記区間に属する映像データを前記第２の再生速度で再生した場合に、前記区間に属さない映像データを前記第３の再生速度で再生する。

本発明によれば、選択された区間と選択されていない区間が混在する映像データを単一のユーザ操作で、かつ見やすい再生速度で逐次表示再生することが可能となる。

第１〜第３実施形態における映像データ表示装置のシステムの外観を示す図。 第１〜第３実施形態における映像データ表示装置のハードウェア構成を示す図。 第１、第２実施形態における映像データ表示装置の機能ブロックを示す図。 第１〜第３実施形態における映像データ表示装置のＵＩ画面の一例を示す図。 第１〜第３実施形態における映像データ表示装置の再生表示制御の仕組みを示す概要図。 第１〜第３実施形態における映像データ表示装置の処理の流れを示すメインフローチャート。 第１〜第３実施形態における映像データ表示装置のメインフロー処理の際に実行される初期画面表示処理のフロー図。 第１、第２実施形態における映像データ表示装置のメインフロー処理の際に実行される再生表示制御処理のフロー図。 第１実施形態における映像データ表示装置のＵＩ画面の一例を示す図。 第３実施形態における映像データ表示装置のメインフロー処理で実行される再生表示制御処理のフロー図。 第２実施形態における映像データ表示装置の動画フレームを読み出す仕組みを示す図。 第３実施形態における映像データ表示装置の機能ブロックを示す図。 操作速度と再生速度の関係を説明する図。

以下、本発明の実施形態について添付の図面を参照して詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した場合の一例を示すものである。
［第１実施形態］

図１の（ａ）は、本発明の第１実施形態における映像データ表示装置の基本的なシステムの外観図である。図１の（ａ）に示すように、映像データ表示装置１００は、デジタルデータを表示するためのディスプレイ１０１、操作入力を行うための操作ボタン１０２、映像データ表示装置１００の電源をＯＮ/ＯＦＦするための電源ボタン１０３を具備する。

図１の（ｂ）は、操作ボタン１０２の一例を示す図である。本実施形態の操作ボタン１０２は、上ボタン１０２ｂ、下ボタン１０２ｄ、左ボタン１０２ｅ、右ボタン１０２ｃ、そして選択を決定するためのＯＫボタン１０２ａから構成される。

図２は本発明の第１実施形態における、映像データ表示装置１００のハードウェア構成例を示すブロック図である。図２に示すように、本実施形態の映像データ表示装置１００は、ＣＰＵ２００、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を具備する。またさらに、ディスプレイＩ／Ｆ（インターフェース）２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７を具備する。

なお、本発明はこれらのインターフェースに限られるものではない。タッチパネルインターフェースやメモリーカードインターフェースなどのインターフェースを含み、それを利用して映像データの再生表示を行っても構わない。

以下、映像データ表示装置１００のハードウェア構成について、その詳細を説明する。尚、以下特に断らない限り、各図において同一の符号が付された構成は、同一のものであることを示す。

ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を利用して映像データ表示装置１００全体の制御を行う。
図示されていないが、オペレーティングシステム（以下ＯＳと記載）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、適宜ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。

ディスプレイインターフェース２０４は、映像データ表示装置１００の内部で生成される表示画面をディスプレイ１０１が処理可能な信号に変換する。ストレージインターフェース２０５は、映像データ表示装置１００の内部で利用可能なデータ形式とストレージ２０６に記憶するためのデータ形式を互いに変換する。入力インターフェース２０７は、操作ボタン１０２、電源ボタン１０３からの入力信号を受信し、映像データ表示装置１００が処理可能な情報に変換する。

ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には映像データ表示装置１００で再生表示するための映像データが記録されている。ストレージ２０６自体は、映像データ表示装置１００の内部に搭載されていても良いし、イーサネット(登録商標)やＵＳＢなどの各種インターフェースを介して映像データ表示装置１００に接続されていてもよい。またその際、ストレージ２０６は複数台接続されていても構わない。

図３は本発明の第１実施形態における映像データ表示装置１００の機能ブロック図である。図３に示すように、映像データ表示装置１００は、操作取得部３００、操作速度算出部３０１、重要区間情報取得部３０２、再生表示制御部３０３を具備する。またさらに、映像データ表示装置１００は、動画フレーム読出し部３０４、動画フレームデコード部３０５、再生表示部３０６を具備する。上記これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。以下、図３に示した各部について説明する。

第１実施形態では、ストレージ２０６に記憶されているデジタルデータは主に映像データであり、映像データとともに、映像の重要区間を示す重要区間情報も記憶されているものとする。重要区間情報は、映像データを解析して得られた映像解析情報に基づいて選択された選択区間を示す情報であり、図４により後述するように、各重要区間（選択区間）の開始フレームと終了フレームを示す。映像解析情報とは、映像データを解析して得られた、音声レベルや音楽レベル、顔検出、動き検出等の、映像データの再生時における視覚的および聴覚的な状態を示す情報である。例えば、音声レベルは主に映像データに含まれる（人の）音声のレベルであり、音楽レベルは主に映像データに含まれる音楽のレベル（ボーカル＋楽器の音量など）である。映像データの内容が歌番組などの場合、映像が司会者による語りの部分（ＭＣ部分）を「音声」、演奏部分を「音楽」として区別されるとともに、それらのレベル（音声レベル、音楽レベル）が重要度判定に利用される。なお、重要区間情報取得部３０２は、ストレージ２０６に格納されている映像データを予め解析して選択された選択区間を示す選択区間情報を生成し、これを重要区間情報としてストレージ２０６に当該映像データと対応付けて格納するものとする。或いは、ストレージ２０６に、映像データに関する映像解析情報を格納しておき、重要区間情報取得部３０２が映像データの再生時に、当該映像データの映像解析情報に基づいて重要区間を抽出して、重要区間情報を生成するようにしてもよい。この場合、映像解析情報を映像データに対応付けてストレージ２０６に格納しておく。或いは、映像解析情報の取得も当該映像データの再生時に行うようにしてもよい。

なお、映像データは複数の動画フレームから構成されるものとするが、第１実施形態はこれらのデータおよびデータ形式のみに限定して利用されるものではない。例えば、非フレーム形式の映像データ、静止画データや音楽データ、またはオフィスドキュメントからなるデジタルデータであってもよい。例えば、複数ページを有するオフィスドキュメントを、入力されたユーザ操作に応じて逐次ページ単位で再生表示するアプリケーションにおいて、重要なページを遅い速度で表示するといったようなケースが挙げられる。或いは、スライドショウのようなアプリケーションにも適用可能である。また、音楽データへの適用例としては、入力されたユーザ操作に応じて音楽データを逐次再生するアプリケーションにおいて、早送りや巻き戻し操作中でもサビ（盛り上がり）部分の再生は認識可能な再生速度で再生するといったユースケースがあげられる。また第１実施形態で利用可能なデータ形式にデータを変換してストレージ２０６に記憶すればどのようなフォーマットのデジタルデータであっても構わない。例えばＭＰＥＧ形式の映像データから任意のフレーム間隔で動画フレームを抽出した後、ストレージ２０６に記憶し、利用してもよい。

なお、以降の説明では、動画フレームの読出しは、同じ１つの映像データから読み出されるものとして説明する。

第１実施形態における映像データ表示装置１００の操作は、操作ボタン１０２、電源ボタン１０３を押下することによって行う。電源ボタン１０３が押下され、映像データ表示装置１００の電源がＯＮになると、映像データの再生表示ができる状態となる。

ストレージ２０６に格納されている複数の映像データから再生すべき映像データを選択するには、例えば上ボタン１０２ｂ、下ボタン１０２ｄを用いて映像データの選択を移動し、ＯＫボタン１０２ａにより選択を確定する。再生すべき映像データを確定すると、映像データの再生表示が可能な状態となる。映像データの再生表示が可能な状態で、ボタン入力１０２の右ボタン１０２ｃ、左ボタン１０２ｅを押下すると、映像データの再生表示が開始される。

再生表示が開始されると、操作ボタン１０２の操作情報は操作取得部３００を介して、操作速度算出部３０１にインプットされ、操作速度へと変換される。また変換された操作速度はＲＡＭ２０１に保持され、再生表示制御部３０３および再生表示部３０６で利用される。ここで、操作速度算出部３０１は、ボタン入力（キー入力）の間隔あるいは単位時間あたりのボタン入力数（キー入力数）、押下しているボタンの情報から操作速度を算出する。なお、押下しているボタンの情報とは、例えば押下されているボタンが「右ボタン」か「左ボタン」かを示す情報である。この情報が、右ボタン１０２ｃの押下を示す場合は正の操作速度（順方向への再生のための速度）が、左ボタン１０２ｅの押下を示す場合は負の操作速度（逆方向への再生のための速度）が算出される。

動画フレーム読出し部３０４は、再生表示制御部３０３からの指令に応じて、ストレージ２０６に記録されている映像データの動画フレームを読み出す。読み出した動画フレームは映像データ表示装置１００のＲＡＭ２０１に保持され、動画フレームデコード部３０５において、再生表示部３０６で表示可能な形式にデコードされる。

重要区間情報取得部３０２は、再生表示する映像データの重要区間を示す重要区間情報をストレージ２０６から取得する。取得された重要区間情報はＲＡＭ２０１に保持され、再生表示制御部３０３、および再生表示制御部３０３を介して再生表示部３０６で利用される。第１実施形態では、映像解析情報を利用し、１つ以上の映像解析情報に基づいた重要区間情報を用いる。

この時、読み出す動画フレームや重要区間情報がＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいても構わない。

再生表示部３０６は、操作速度算出部３０１がＲＡＭ２０１に保持した操作速度に応じて再生速度を決定し、その再生速度に従って、動画フレームデコード部３０５でデコードされた動画フレームをディスプレイ１０１に順次再生表示する。この時、再生表示制御部３０３は、ＲＡＭ２０１に保持されている重要区間情報を利用して、重要区間に属する動画フレームが、重要区間に属しない動画フレームよりも遅い再生速度で再生されるように再生表示部３０６を制御する。第１実施形態では、操作速度算出部３０１が算出した操作速度に対応する再生速度で動画フレームを再生していくが、重要区間に属する動画フレームの再生速度は所定の再生速度（認識可能な再生速度の上限）を超えないように制限される。

図４は第１実施形態におけるユーザインターフェース（ＵＩ）画面の一例であり、図５は第１実施形態における映像データ表示装置１００における再生表示の仕組みを表す概要図である。また図６は第１実施形態における映像データ表示装置１００の処理の流れを示すフローチャートである。これらＵＩ画面、概要図およびフローチャートを参照して、第１実施形態における映像データ再生表示処理の詳細を説明する。

映像データ表示装置１００において電源ボタン１０３が押下され、映像データ表示装置１００の電源がＯＮになると、まず初期画面表示処理（Ｓ１０）が行われる。

図７は初期画面表示処理（Ｓ１０）の詳細を示すフローチャートである。初期画面表示処理では、まず再生対象となる映像データの時間情報、シーンのインデックス情報や代表サムネイル情報などを取得する（Ｓ２０）。これら情報の取得は、再生表示制御部３０３が行うものとする。次いで、重要区間情報取得部３０２は、再生対象となる映像データの重要区間情報を取得する（Ｓ２１）。再生表示部３０６は、Ｓ２０，Ｓ２１で取得した情報を利用して初期画面を作成し（Ｓ２２）、再生表示部３０６により初期画面をディスプレイ１０１に表示させる（Ｓ２３）。このときディスプレイ１０１に表示される初期画面がＵＩ画面の一例である図４である。

ここで、本実施形態のＵＩ画面の構成を説明する。
図４に示すように、ＵＩ画面４００はプレビュー表示領域４００ａ（画面上部）および解析情報表示領域４００ｂ（画面下部）を有する。図４の表示領域４０１に表示されるのは対象となる映像データの動画フレームであり、表示領域４０２ａや表示領域４０２ｂには他の映像データの動画フレームやタイトル情報、代表のサムネイルなどが表示される。上述したように、上ボタン１０２ｂや下ボタン１０２ｄにより、再生対象の映像データを切替える操作がなされた場合は、表示領域４０２ａや表示領域４０２ｂに対応していた映像データの内容が表示領域４０２ａに表示されることになる。

再生ヘッド４０３はタイムライン４０４との関連により、映像データ表示装置１００が現在再生表示している動画フレームの映像データ内での位置を表している。また、４０５はサムネイル表示領域である。サムネイル表示領域４０５には、対象となる映像データのシーンやセグメントの代表サムネイルが複数表示されている。

さらに、再生ヘッド４０３とタイムライン４０４が交差する位置に対応する、映像データ内の動画フレームが表示領域４０１に表示される。このとき、右ボタン１０２ｃまたは左ボタン１０２ｅが押下されると、再生ヘッド４０３が移動し、それに伴ってプレビューされる動画フレームも次々に更新表示される。またこのとき、プレビューされる動画フレームのサムネイル画像を、再生ヘッド４０３とサムネイル表示領域４０５の交差する位置に表示するようにしてもよい。つまり、再生ヘッド４０３の移動にあわせて、再生ヘッドが位置する部分のサムネイル表示を次々に更新しても構わない。

図４の４０６は映像解析情報を示しており、第１実施形態では、音声レベルや音楽レベル、顔検出、動き検出の映像解析情報を利用した映像範囲の抽出の結果（それぞれの映像解析情報が所定の条件を満足する範囲）を示している。重要区間情報取得部３０２は、これら３つの映像解析情報の重なる部分を示す重要区間情報を取得する。或いは、重要区間情報取得部３０２は、これら３つの映像解析情報を取得し、更にこれら映像解析情報によって抽出される区間の重なる部分を重要区間情報として取得するようにしてもよい。さらに、重要区間情報取得部３０２は、再生対象の映像データを解析してリアルタイムに映像解析情報４０６を取得し、重要区間決定し、再生表示制御部３０３で用いられる重要区間情報を生成するようにしてもよい。図３の４０７ａ、４０７ｂ、４０７ｃ、４０７ｄは重要区間情報取得部３０２で取得した映像データの重要区間を示している。

以上の処理で初期画面表示処理（Ｓ１０）は完了し、呼び出し元の処理にその結果がリターンされる。

初期画面表示処理が終了すると（Ｓ１０）、操作速度算出部３０１及び再生表示制御部３０３は、右ボタン１０２ｃ、左ボタン１０２ｅが押下されたかどうかを判断する（Ｓ１１）。右ボタン１０２ｃまたは左ボタン１０２ｅが押下されていない場合（Ｓ１１でＮＯ）は、何も行わず、再びＳ１１の処理に移行し、処理待ちのループとなる。右ボタン１０２ｃまたは左ボタン１０２ｅが押下された場合（Ｓ１１でＹＥＳ）は、再生表示制御部３０３が再生位置の情報、つまり動画フレームの読出し位置を取得する（Ｓ１２）。また、操作速度算出部３０１は、ボタンの操作情報から操作速度ａ１を算出する（Ｓ１３）。再生表示制御部３０３は、操作速度算出部３０１が算出した操作速度ａ１に応じた再生速度Ａ１を決定する（Ｓ１４）。こうして動画フレームの読出し位置、操作速度ａ１、再生速度Ａ１がＲＡＭ２０１に保持された後、再生表示制御部３０３は、再生表示制御処理（Ｓ１５）を開始する。

図８は再生表示制御部３０３による再生表示制御処理（Ｓ１５）を示すフローチャートである。再生表示制御処理が開始されると、再生表示制御部３０３は、まずステップＳ１２でＲＡＭ２０１に保持しておいた動画フレーム読出し位置の情報を利用して、再生表示する動画フレームを読出す（Ｓ３０）。

次に、再生表示制御部３０３は、ステップＳ１３でＲＡＭ２０１に保持された操作速度ａ１を読み出し、操作速度ｂ１と比較する（Ｓ３１）。ここで操作速度ｂ１は、映像データ表示装置１００によって予め規定されている所定の操作速度である。例えば、重要区間の再生をユーザが認識可能な再生速度に制限するための、上限の操作速度が操作速度ｂ１として規定される。操作速度ａ１が操作速度ｂ１よりも小さい場合（Ｓ３１でＮＯ）は、操作速度ａ１に応じてステップＳ１４で決定された再生速度であるＡ１をＲＡＭ２０１から取り出し、Ａ１の再生速度で動画フレームを再生表示する（Ｓ３４）。なお、算出された操作速度ａ１が再生方向に応じて正負のいずれかとなる場合は、上記操作速度の大小比較は操作速度の絶対値を用いて行われる。

一方、操作速度ａ１が操作速度ｂ１以上であった場合（Ｓ３１でＹＥＳ）は、重要区間情報取得部３０２で取得できる重要区間情報を利用して、ステップＳ３０で取り出した動画フレームが重要区間に属する動画フレームかどうかを判断する（Ｓ３２）。取り出した動画フレームが重要区間に属さない場合（Ｓ３２でＮＯ）は、操作速度ａ１に応じた再生速度Ａ１で動画フレームを再生表示する（Ｓ３４）。他方、取り出した動画フレームが重要区間に属する場合（Ｓ３２でＹＥＳ）は、システム規定の操作速度ｂ１に応じた再生速度Ｂ１で動画フレームを再生表示する（Ｓ３３）。ここで、規定の操作速度ｂ１に応じた再生速度Ｂ１は、重要区間の動画フレームを認識可能な再生速度であって、必ずしも再生速度Ｂ１である必要はなく、再生速度Ａ１よりも遅い再生速度であればどのような再生速度であってもよい。但し再生速度がゼロの場合を除く。

以上の処理で再生表示制御処理は完了し、呼び出し元の処理にその結果がリターンされる。

再生表示制御処理（Ｓ１５）が終了すると、映像データ表示装置１００の映像データ表示を終了するかどうかの判断が行われる。本実施形態では、電源ボタン１０３の押下により映像データ表示の終了か否かが判断される。映像データ表示を終了しない場合（Ｓ１６でＮＯ）は、再びＳ１１から処理が開始される。データ表示を終了する場合（Ｓ１５でＹＥＳ）は、映像データ表示装置１００の電源をＯＦＦとし、全ての処理が完了する。なお、上記説明では、映像データの再生の停止、映像データの切り替え等について説明を省略したが、そのような処理は周知であり、当業者には自明である。

ここまでの処理を、図５を用いて説明する。図５の５００は映像データを表しており、５０１ａ、５０１ｂ、５０１ｃ、５０１ｄは映像データの重要区間を示している。また、図５に示すようにサムネイル表示領域４０５には、当該映像データのシーンやセグメントの代表サムネイルが表示されている。

例えば、図５の５０５に示すように、再生ヘッド４０３を左右ボタン（１０２ｃ、１０２ｅ）を利用して操作し、図５の操作の例５０２で示すように、５０２ａの区間は操作速度がａ１、５０２ｂの区間は操作速度がａ２だったとする。但し、ａ１およびａ２はシステム規定の操作速度ｂ１に対して、（ａ２＜ｂ１＜ａ２）の関係にあるとする。

この時、図５の再生表示制御の例５０３で示すように、５０３ａの区間は操作速度ａ１に応じた再生速度Ａ１、５０３ｂの区間は操作速度ａ２に応じた再生速度Ａ２で、それぞれ動画フレームの表示再生を行う。しかし、重要区間５０４ａ、５０４ｂ、５０４ｃに属する動画フレームはＡ１よりも遅い再生速度（例えば規定の操作速度ｂ１に応じた再生速度Ｂ１）で再生するように再生表示制御を行う。

また、操作速度に応じて重要区間に属する動画フレームを、重要区間に属しない動画フレームより遅く再生した場合、ユーザ操作に対するＵＩ画面へのフィードバックに不都合が生じることが予想される。この問題を軽減するために、重要区間に属する動画フレームを遅く再生表示した分だけ、重要区間に属しない動画フレームを再生速度Ａ１よりも速く再生表示するような制御を追加で行ってもよい。

また、上記実施形態では、操作速度ａ１が操作速度ｂ１を超えた場合に、重要区間の再生速度を操作速度ｂ１に対応した再生速度Ｂ１に制限するように制御した。すなわち、図１３の１４０１に示されるように操作速度がｂ１以上においては、再生速度がＢ１に固定される。しかしながら、本実施形態の概念は、所定の操作速度を超えた場合に、重要区間に属する動画フレームを他の区間の動画フレームよりも遅い再生速度とするものであり、上記形態に限定されるものではない。例えば、操作速度がｂ１を超えた場合に、図１３の１４０２に示されるように、操作速度ａ１に対応する重要区間に属する動画フレームの再生速度を決定するようにしてもよい。

また第１実施形態では触れなかったが、図９で示すように、重要区間情報取得部３０２で複数の重要度に分類された重要区間情報を取得し、ＵＩ画面を作成してもよい。図９の場合は、音声レベル、顔検出、動き検出の解析情報を利用し、３つの解析結果が重なる区間を重要度レベル１の区間、２つの解析結果が重なる区間を重要度レベル２の区間、１つの解析結果だけ存在する区間を重要度レベル３の区間とした。この時、各レベルの重要区間に属する動画フレームを、それぞれの重要度レベルに対応した再生速度で、重要度に応じて遅く再生表示するように再生表示部３０６を制御することも可能である。例えば、所定の操作速度としてのｂ１と、操作速度ｂ１を越えた後の操作速度と遅い再生速度の関係とを示す変換情報を複数のレベルのそれぞれに設定しておく。そして、重要区間に属する映像データの再生速度が、当該重要区間のレベルに設定されている変換情報を用いて決定される。

以上、本第１実施形態で述べたような映像データ表示装置１００を提供することにより、映像データの重要区間を、単一のユーザ操作かつ見やすい再生速度で逐次表示再生することが可能となる。

その結果、短時間で映像データの内容を高速に把握することができる。また、操作速度に応じた表示再生制御を行うため、インタラクティブ性の高い映像データ再生表示ＵＩを実現できる。
［第２実施形態］

次に、本発明の第２実施形態について図面を参照して詳細に説明する。ここで、システムの外観図、ハードウェア構成図、機能ブロック図は、図１、図２、図３を用いて説明した第１実施形態と同様である。尚、第２実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

第１実施形態との差異は、図６に示す映像データ表示装置１００のフローチャートの再生表示制御処理（Ｓ１５）である。本第２実施形態における再生表示制御処理（Ｓ１５）の処理フローを図１０に示す。また図１１は本第２実施形態における映像データ表示装置１００の動画フレームを読み出す仕組みを示す図である。これらの図を参照して、第２実施形態と第１実施形態の差異を説明する。

再生表示制御処理（Ｓ１５）が開始されるまでの前処理は、図６、図７を用いて説明した第１実施形態と同様である。再生表示制御処理（Ｓ１５）が開始されると、再生表示制御部３０３は、まずＲＡＭ２０１からステップＳ１２で保持された動画フレームの読み出し位置情報を取り出し、読み出す動画フレームが重要区間に属する動画フレームかどうかの判定を行う（Ｓ４０）。読み出す動画フレームが重要区間に属さない動画フレームの場合（Ｓ４０でＮＯ）は、再生表示制御部３０３は、再生表示する動画フレームをＮ１のフレーム間隔で取り出す（Ｓ４１）。そして操作速度ａ１に応じた再生速度であるＡ１をＲＡＭ２０１から取り出し、Ａ１の再生速度で動画フレームを再生表示する（Ｓ４４）。

読み出す動画フレームが重要区間に属する動画フレームの場合（Ｓ４０でＹＥＳ）は、再生表示制御部３０３は、再生表示する動画フレームをＮ２のフレーム間隔で取り出す（Ｓ４２）。ここで、第２実施形態では、Ｎ２のフレーム間隔はＮ１のフレーム間隔より短いフレーム間隔である。すなわち、重要区間に属する映像データを再生する場合の再生対象の動画フレームの抽出間隔を、重要区間に属さない映像データを再生する場合の再生対象の動画フレームの抽出間隔よりも短くする。

次に、再生表示制御部３０３は、ＲＡＭ２０１からステップＳ１３で保持された操作速度ａ１を取り出し、操作速度ｂ１と比較する（Ｓ４３）。操作速度がｂ１よりも小さい場合（Ｓ４３、Ｎ）は、操作速度ａ１に応じた再生速度Ａ１で動画フレームを再生表示する（Ｓ４４）。操作速度がｂ１以上であった場合（Ｓ４３、Ｙ）は、システム規定の操作速度ｂ１に応じた再生速度Ｂ１で動画フレームを表示再生する（Ｓ４５）。ここで、規定の操作速度ｂ１に応じた再生速度Ｂ１は、重要区間の動画フレームを認識可能な再生速度である。

以上の処理で再生表示制御処理は完了し、呼び出し元の処理にその結果がリターンされる。再生表示制御処理（Ｓ１５）が終了した後の処理は、図６を用いて説明した第１実施形態と同様である。

第２実施形態で行った動画フレームの取得処理を、図１１を用いて説明する。

図１１の７００は映像データを表しており、７０１ａ、７０１ｂ、７０１ｃ、７０１ｄは映像データの重要区間を示している。また、７０３は図４に示したＵＩ画面例の解析情報表示領域４００ｂの内容を示している。

例えば、再生ヘッド４０３を左右ボタン（１０２ｃ、１０２ｅ）を利用して操作し、動画フレームの再生表示を行う場合を考える。この場合、読み出される動画フレームの例７０２で示すように、重要区間に属する動画フレームは、重要区間に属さない動画フレームよりも短いフレーム間隔で読み出される。

以上、第２実施形態で述べたように、重要区間に属する動画フレームのフレーム間隔を短くして再生表示することにより、単一のユーザ操作で、重要区間の映像を他の区間の映像より詳細に確認することが可能となる。その結果、短時間で映像データの内容を高速に把握することができる。
［第３実施形態］

次に、本発明の第３実施形態について図面を参照して詳細に説明する。ここで、システムの外観図、ハードウェア構成図、映像データ表示装置１００のフローチャートは、図１、図２、図６を用いて説明した第１実施形態と同様である。
尚、第３実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

第３実施形態と第１実施形態との差異は、機能ブロックとして条件取得部３０７が加わったこと、および操作入力がボタンからポインティング・デバイスであるマルチタッチデバイスになったことである。だからと言って、ポインティング・デバイスはマルチタッチデバイスに限られるわけでなく、マウスであってもよい。

図１２に第３実施形態における機能ブロック図を示す。条件取得部３０７以外は図３を用いて説明した第１実施形態と同様である。

第３実施形態では、マルチタッチデバイスによって、映像データを解析して得られた、音声レベルや音楽レベル、顔検出、動き検出等の、映像解析情報の複数の解析項目のうち、重要区間の選択に用いる解析項目を指定することがを可能にする。例えば、図４のＵＩ画面上に表示された映像解析の条件（解析項目）を指示することが可能であり、複数の条件を任意の組み合わせて同時に指定できる。すなわち、マルチタッチデバイスによって指定された一つまたは複数の条件（解析項目）は、操作取得部３００を介して、条件取得部３０７によって利用する映像解析条件へと変換され、ＲＡＭ２０１で保持され、重要区間情報取得部３０２で利用される。重要区間情報取得部３０２では、条件指定された映像解析の情報に基づいた重要区間情報をストレージ２０６から取得する。

例えば、条件取得部３０７が、タッチ入力により、音声レベル、顔検出、動き検出の解析項目の指定と、２つの解析項目により抽出された区間が重なる区間を重要区間とする旨の指示を受け付けたとする。その場合、条件取得部３０７は、音声レベル、顔検出、動き検出のそれぞれの解析項目の解析結果により抽出された区間のうち、２つの解析項目により抽出された区間が重なる区間を重要区間として抽出する。この場合、図９の重要度２における区間が重要区間として抽出されることになる。もちろん、解析情報の組み合わせに応じた複数種類の重要区間情報を映像データに設定しておき、タッチ入力により指定された解析情報の組み合わせに対応した重要区間情報を取得するようにしてもよい。

また、マルチタッチデバイスを用いれば、例えば、音声レベルと顔検出の解析情報、もしくは音声レベルと動き検出の解析情報といった組み合わせを、二本の指でマルチタッチすることで直接、同時に指定することもできる。さらに第３実施形態では、再生ヘッド４０３の操作を左右ボタン（１０２ｃ、１０２ｅ）の押下によって行うのではなく、先ほど指定した二本の指をマルチタッチしたまま左右に動かすことによって操作する。もちろん左右ボタン（１０２ｃ、１０２ｅ）で操作を行っても構わない。

また、操作速度算出部３０１は、この時の操作速度を、マルチタッチされている各座標点の単位時間あたりの変化量の平均から算出する。

以上、第３実施形態で述べた映像データ表示装置を提供することにより、映像データの再生表示処理をより直感的かつ使い易いユーザインターフェースで実現することが可能となる。

［他の実施形態］
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、上記第１乃至第３の実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、上述した構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

Claims (14)

1. 映像データを再生表示する映像データ表示装置であって、
   入力されたユーザ操作に基づいて操作速度を算出する算出手段と、
   前記映像データに対する複数の解析項目のうち、指定された組み合わせの複数の解析項目に対応する映像解析情報に基づいて、前記映像データうちの特定の区間を示す区間情報を取得する取得手段と、
   前記算出手段で算出された操作速度に対応した第１の再生速度を決定し、前記算出された操作速度が所定の操作速度を超えた状態で前記区間情報が示す区間に属する映像データが再生される場合には、該区間に属する映像データを前記第１の再生速度よりも遅い再生速度で再生するための第２の再生速度を決定する決定手段と、
   前記決定手段で決定された再生速度で前記映像データを再生する再生手段と、を備え、
   前記決定手段は、前記第２の再生速度を決定した場合に、前記区間に属さない映像データを再生するための、前記第１の再生速度より速い第３の再生速度を、前記第２の再生速度と前記操作速度とに基づいて決定し、
   前記再生手段は、前記算出された操作速度が前記所定の操作速度を超えたことに応じて前記区間に属する映像データを前記第２の再生速度で再生した場合に、前記区間に属さない映像データを前記第３の再生速度で再生することを特徴とする映像データ表示装置。
2. 前記映像データを解析した複数の解析項目のうち、複数の解析項目を組み合わせて指定するユーザ操作を受け付ける受付手段を備え、
   前記取得手段は、前記受付手段が受け付けたユーザ操作によって指定された複数の解析項目の組み合わせに対応する映像解析情報に基づいて、前記区間情報を取得することを特徴とする請求項１に記載の映像データ表示装置。
3. 前記受付手段は、前記複数の解析項目のそれぞれが明示的に表示された画面上でのユーザのマルチタッチ入力を、前記マルチタッチされた各座標に対応する解析項目を組み合わせて指定するユーザ操作として受け付けることを特徴とする請求項２に記載の映像データ表示装置。
4. 前記算出手段は、前記画面上で前記マルチタッチされた各座標の変化に基づいて、前記操作速度を算出することを特徴とする請求項３に記載の映像データ表示装置。
5. 前記決定手段は、前記第２の再生速度を、前記所定の操作速度に対応する再生速度に決定することを特徴とする請求項１乃至４のいずれか１項に記載の映像データ表示装置。
6. 前記再生手段は、前記ユーザ操作に応じて、映像データを順方向または逆方向に再生することを特徴とする請求項１乃至５のいずれか１項に記載の映像データ表示装置。
7. 前記算出手段は、キー入力の間隔、あるいは単位時間あたりのキー入力数に基づいて操作速度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の映像データ表示装置。
8. 前記再生手段は、前記区間情報が示す区間に属する映像データを前記第２の再生速度で再生する場合の再生対象の動画フレームの抽出間隔を、前記区間情報が示す区間に属さない映像データを前記第１の再生速度で再生する場合の再生対象の動画フレームの抽出間隔よりも短くすることを特徴とする請求項１乃至７のいずれか１項に記載の映像データ表示装置。
9. 前記複数の解析項目には、前記映像データの再生時における視覚的状態および聴覚的状態の少なくともいずれかに関する解析を行う項目が含まれることを特徴とする請求項１乃至８のいずれか１項に記載の映像データ表示装置。
10. 前記複数の解析項目には、前記映像データに対して、音声レベル、音楽レベル、顔検出、動き検出、映像の変化量のうちの少なくとも１つに関する解析を行う項目を含むことを特徴とする請求項９に記載の映像データ表示装置。
11. 前記指定された組み合わせの複数の項目のそれぞれに関して、前記映像データを解析して取得した映像解析情報が所定の条件を満たす前記映像データの区間を抽出する抽出手段と、
    前記抽出手段によって前記指定された組み合わせの複数の項目のそれぞれに関して抽出された前記映像データの区間のうち、重複する部分を示す情報を前記区間情報として生成する生成手段を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の映像データ表示装置。
12. 前記区間情報は、前記組み合わせることが指定された複数の解析項目の数に対応する複数のレベルに分類された区間を示し、
    前記決定手段は、前記区間情報が示す区間に属する映像データの再生速度を、当該区間のレベルに対応する再生速度に決定することを特徴とする請求項１乃至１１のいずれか１項に記載の映像データ表示装置。
13. 映像データを再生表示する映像データ表示装置による映像データ表示方法であって、
    算出手段が、入力されたユーザ操作に基づいて操作速度を算出する算出工程と、
    取得手段が、前記映像データに対する複数の解析項目のうち、指定された組み合わせの複数の解析項目に対応する映像解析情報に基づいて、前記映像データうちの特定の区間を示す区間情報を取得する取得工程と、
    決定手段が、前記算出工程で算出された操作速度に対応した第１の再生速度を決定し、前記算出された操作速度が所定の操作速度を超えた状態で前記区間情報が示す区間に属する映像データが再生される場合には、該区間に属する映像データを前記第１の再生速度よりも遅い再生速度で再生するための第２の再生速度を決定する決定工程と、
    再生手段が、前記決定工程で決定された再生速度で前記映像データを再生する再生工程と、を有し、
    前記決定工程では、前記第２の再生速度を決定した場合に、前記区間に属さない映像データを再生するための、前記第１の再生速度より速い第３の再生速度を、前記第２の再生速度と前記操作速度とに基づいて決定し、
    前記再生工程では、前記算出された操作速度が前記所定の操作速度を超えたことに応じて前記区間に属する映像データを前記第２の再生速度で再生した場合に、前記区間に属さない映像データを前記第３の再生速度で再生することを特徴とする映像データ表示方法。
14. 請求項１３に記載された映像データ表示方法の各工程をコンピュータに実行させるためのコンピュータプログラム。

Images