JP4667356B2 - 映像表示装置及びその制御方法、プログラム、記録媒体 - Google Patents

Description

本発明は、複数の映像コンテンツの中から、サムネール表示により所望の映像コンテンツの選択を可能とする映像表示装置及びその制御方法、プログラム、記録媒体に関する。

従来、映像コンテンツを記録媒体に記録するレコーダ装置等では、多数の映像コンテンツを一覧表示するために、該映像コンテンツを代表する静止画像として映像コンテンツの動画像１フレームを縮小表示することが行なわれている。このような映像コンテンツを代表する画像は、一般にサムネールと呼ばれている。複数の映像コンテンツが記録されている場合には、複数のサムネールを一画面に一覧表示して、この一覧表示によりユーザに所望の映像コンテンツを選択させることを可能としている。

一方で、近年の記録媒体の大容量化や通信回線の高速化を背景に、記録媒体に記録され、またはネットワークを介してアクセス可能とされる映像コンテンツの量は着実に増加している。このように映像コンテンツの数が多くなった場合には、予め定められたサイズでサムネールを表示すると、全ての映像コンテンツについてサムネールを表示することができないことから、映像コンテンツを選択する際の一覧性が損なわれていた。これに対して、複数の映像コンテンツを閲覧する際の利便性を向上させるための技術が提案されている。例えば、静止画像コンテンツが対象であるが、サムネールの表示領域のサイズと映像コンテンツの数とから、全てのサムネールを表示可能なように、サムネールの配列および縮小率を設定する技術が開示されている（例えば、特許文献１参照）。

ところで、映像コンテンツには様々なショット（場面）が含まれており、言わば多くの静止画像コンテンツが含まれている状態である。閲覧可能な全ての映像コンテンツについてサムネールを表示する際に、動画像から１フレームのみを取り出した静止画像をサムネールとして表示したのでは、映像コンテンツの内容までを把握するのは困難である場合が多い。

一方で、映像コンテンツのサムネールを表示するにあたり、静止画像の代りに全て動画像を表示させるとなると、処理量が膨大となり、これを処理するためのＣＰＵ（中央処理装置）やメモリ等のハードウェアを増強しなければならなくなる。また、そのために映像表示装置の製造等にかかるコストが増大してしまう。コストを抑えるために、ハードウェアの増強を減らすと、使用できるリソースが限られるため、表示速度の低下等の不具合により、映像コンテンツの概要が把握されるまでの時間が長くなっていた。

そこで、初期状態としてサムネールを静止画像として表示しておき、視聴対象として選択されたもののみを動画像として表示する技術が開示されている（例えば、特許文献２参照）。
特開２００４−０１２６３３号公報 特開２００３−２７４３６８号公報

しかしながら、特許文献２のように、選択したサムネール静止画像のみを動画像に置き換えて表示する技術では、サムネール動画像ではあるが、視覚的な効果は選択された１つの映像コンテンツを普通に再生している場合と変わりがない。したがって、多数の映像コンテンツをサムネール静止画像として一覧表示した際に、全ての映像コンテンツについての内容を把握するためには、結局全てのサムネールを選択して再生しなければならず、映像コンテンツの数だけ内容の確認の時間がかかってしまうという問題点があった。

本発明は、以上のような問題点を解決するためになされたものであって、その目的は、処理のためのリソースの増加を制限しつつ、大量の映像コンテンツの内容を短い時間で的確に把握することのできる映像表示装置及びその制御方法、プログラム、記録媒体を提供するものである。

斯かる実情に鑑み、第１の発明による映像表示装置は、映像コンテンツに対応付けられた画像を一画面内に並べて一覧表示する映像表示装置であって、再生することができる前記映像コンテンツを記録する記録部と、前記記録部に記録された前記映像コンテンツを選択する映像選択部と、前記映像コンテンツの数から一覧表示する画像の表示サイズを決定する表示制御部と、前記表示サイズから要約動画像の要約の度合いを決定する要約度決定部とを備え、前記映像選択部は、決定された前記要約の度合いに対応する前記映像コンテンツを、前記記録部に記録された前記映像コンテンツから要約動画像として選択することを特徴とする。

また、第２の発明による映像表示装置は、映像コンテンツに対応付けられた画像を一画面内に並べて一覧表示する映像表示装置であって、再生を行なうことができる映像コンテンツを選択する映像選択部と、前記映像コンテンツの数から一覧表示する画像の表示サイズを決定する表示制御部と、前記表示サイズから要約動画像の要約の度合いを決定する要約度決定部と、前記要約の度合いから再生する要約動画像を作成する要約動画像作成部とを備えることを特徴とする。

また、第３の発明による映像表示装置は、前記表示制御部が、一覧表示した静止画像の中から複数の静止画像を選択し、前記静止画像の表示領域に該静止画像と対応した前記要約動画像の再生を行なうよう制御することを特徴とする。

また、第４の発明による映像表示装置は、前記表示制御部が、一度に前記要約動画像として再生可能な前記映像コンテンツの数を算出し、前記一覧表示する画像を前記一度に再生可能な映像コンテンツの数のグループに分け、前記グループ内から一つずつ前記映像コンテンツを選択し、該映像コンテンツの前記要約動画像の再生が終わると、前記要約動画像の表示を順次切換えていくことを特徴とする。

また、第５の発明による映像表示装置は、前記一覧表示する画像の表示サイズを変更する際に、前記要約度決定部が、前記要約の度合いを再度決定することを特徴とする。

また、第６の発明による映像表示装置は、前記要約度決定部が、前記一覧表示する画像の表示サイズが小さくなるほど前記要約動画像の再生時間が短くなるように要約の度合いを決定することを特徴とする。

また、第７の発明による映像表示装置は、さらに前記映像コンテンツを解析し、該映像コンテンツを構成する動画像データの区間ごとの重要度の情報を作成する映像解析部を備え、前記要約動画像作成部は、前記要約の度合い及び前記重要度の情報から要約動画像を作成することを特徴とする。

また、第８の発明による映像表示装置の制御方法は、映像コンテンツに対応付けられた画像を一画面内に並べて一覧表示する映像表示装置の制御方法であって、予め記録された再生することができる前記映像コンテンツに基づいて、一覧表示する前記映像コンテンツの数を取得するステップと、前記一覧表示する映像コンテンツの数と、一覧表示領域のサイズとから一覧表示する画像の表示サイズを算出するステップと、一覧表示した前記映像コンテンツのうち要約動画像に置き換えて表示する対象を選択するステップと、前記表示サイズから前記要約動画像の要約の度合いを決定するステップと、決定された前記要約の度合いに対応する映像コンテンツが予め記録されている場合、前記要約の度合いに対応する映像コンテンツを要約動画像として選択し、決定された前記要約の度合いに対応する映像コンテンツが予め記録されていない場合、前記要約の度合いに対応する映像コンテンツを要約動画像として生成するステップとを有することを特徴とする。

また、第９の発明による映像表示装置の制御方法は、前記一覧表示する画像の表示サイズが小さくなるほど前記要約動画像の再生時間を短くすることを特徴とする。

また、本発明に係るプログラムは、前記映像表示装置の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係る記録媒体は、前記プログラムをコンピュータ読み取り可能に記録したことを特徴とする。

以上のような各技術手段から構成される本発明によれば、画面に一覧表示を行なうサムネールの表示サイズに応じて映像コンテンツの要約度を変更したサムネール動画像（要約動画像）を表示する。これにより、たとえば表示数が多いときにはサムネール動画像の長さを短くして、次々に表示されるサムネール動画像を切り替えていくことで、処理に必要なハードウェア等のリソースを増やすことなく、一覧表示の状態で多数の映像コンテンツの内容を提示することができる。ユーザは映像コンテンツの概要把握を短い時間で的確に行うことができることから、所望の映像コンテンツにごく短時間でアクセスすることが可能となる。

また、サムネールの表示サイズが変更になると、それに合わせて、要約度の変更を行い、サムネール動画像の再生時間も変更を行う。これにより、サムネールの表示数等に合わせて一定の時間内に再生するために、要約動画像をより詳細又は簡略化して、ユーザに効率よく映像コンテンツの内容を提示することができる。
または、サムネールの表示サイズが異なる場合において、サムネールの表示サイズが大きくなれば重要度が高くなったこと、表示サイズが小さくなれば重要度が低くなったことを意味することが多いので、表示サイズが大きくなった場合は、より詳細に、表示サイズが小さくなった場合には、より簡略化して要約動画像の再生を行なうので、ユーザの関心に合わせた映像コンテンツの内容提示を行なうことができる。

また、映像コンテンツの解析を行ない、動画像データの区間ごとの重要度を算出することから、重要度についての情報を利用し、サムネール動画像の作成を簡易に行なうことができる。

本発明の実施形態について説明する前に、本明細書にて用いる用語について説明する。
「要約動画像」とは、映像コンテンツ（ここでは、デジタル化された動画像データの他、音声データ、タイトル名やジャンル分類などの付加データ等を含んで構成されているデータとする）の動画像データについて要点を短くまとめて構成した動画像を指す。要約動画像は、ストーリ性をもたせた、映像コンテンツの内容を把握できる程度に短縮したものでもよいし、ストーリ性をもたせず、映像コンテンツの主要シーンのみを抜き出したもの（所謂ハイライト）でもよい。なお、要約動画像には対応する音声データが含まれる方がよい。

「要約度」とは、元の映像コンテンツの動画像データの長さが要約動画像によりどれだけ短縮されたかの度合いである。要約度が大きいとは、元の動画像に比べてより長さが短くなっていることを意味する。

「サムネール」とは、複数の映像コンテンツの内容を簡易に把握するために、並べて一覧表示する画像であり、サムネールを選択すると該サムネールに該当する映像コンテンツが選択できるように対応付けられている。映像コンテンツの動画像１フレームを静止画像として表示する場合に「サムネール静止画像」と呼び、動画像の状態で表示する場合に「サムネール動画像」と呼ぶ。

以下、本発明の実施形態について、図面を参照しながら説明する。同一の符号を付した部分は同一物を表すとする。
図１は、本発明の実施形態に係る映像表示装置の構成例を示すブロック図である。

映像表示装置１００は、映像コンテンツ等のデータを選択する映像選択部１０１と、要約度決定部１０２と、サムネールの表示サイズや動画像として表示するサムネールを決定する表示制御部１０３と、映像コンテンツ等のデータを記録する記録部１０４と、コンテンツの映像を解析する映像解析部１０５と、サムネールを作成するサムネール作成部１０６と、表示部１０７とを含んで構成される。

本発明の構成要素である各部は、たとえば、マイクロプロセッサ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェアにより実現することができる。

ここで、記録部１０４は、データを記録するための記録媒体とその読み取り装置により構成される。記録媒体は、たとえば磁気ディスク、光ディスク又はフラッシュメモリ等で実現される。

また、表示部１０７は、画像のほか、文字や図形などを表示するためのディスプレイ装置により実現できる。また、外付けされたディスプレイ装置に向けて、構成した画面を表示するための信号を送出する装置により実現してもよい。

映像選択部１０１、要約度決定部１０２、表示制御部１０３及びサムネール作成部１０６の各部は汎用のマイクロプロセッサにより実現することができ、さらに一部をＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）にて実現してもよい。この場合、本実施形態の機能を実現するソフトウェアのプログラムコードが、マイクロプロセッサまたはＤＰＳにより実行される。

このような構成により、映像コンテンツのサムネール静止画像を表示部１０７に一覧表示させ、表示するサムネールの表示サイズに応じて要約度決定部１０２にて、サムネール動画像として表示する要約動画像における要約度を変化させることができる。

次に映像表示装置１００の動作について図２のフローチャート図を用いて説明する。
処理を開始すると、ステップ（Ｓ）２０１において、映像選択部１０１は、記録部１０４にアクセスして、一覧表示の対象となる映像コンテンツの数Ｍを取得する（ここでＭは自然数である）。映像選択部１０１は、表示制御部１０３に対して映像コンテンツ数Ｍを出力する。

続くＳ２０２において、表示制御部１０３は、映像コンテンツ数Ｍが０か否かの判定を行なう。映像コンテンツ数Ｍが０でなければ（Ｓ２０２においてＮＯを選択した場合）、サムネールによる一覧表示を行ため、処理がＳ２０３に進む。映像コンテンツ数Ｍが０ならば（Ｓ２０２においてＹＥＳを選択した場合）、サムネールを表示する映像コンテンツがないため、Ｓ２０６に進み、処理を終了する。

Ｓ２０３では、表示制御部１０３が、表示部１０７におけるサムネール表示領域のサイズと、記録部１０４に記録されている映像コンテンツ数Ｍとからサムネールの表示サイズを決定する。ここで「サムネール表示領域」とは、画面の中でサムネールを表示するために確保された領域を指し、そのサイズは画面表示の仕方（画面レイアウト）に依存する。サムネール表示領域は、画面レイアウトによって画面全体のこともあれば、画面の一部のこともある。

図３に、画面レイアウト（サムネール表示領域が画面の一部の場合）の例を示す。図３（ａ）の例では、サムネール表示領域３０１、タイトル名表示領域３０２よりレイアウトが構成され、サムネール表示領域３０１に配置するサムネールの表示サイズが同一となっている。また、図３（ｂ）の例では、サムネール表示領域３０３、タイトル名表示領域３０４、再生領域３０５よりレイアウトが構成され、サムネール表示領域３０３に配置するサムネールの表示サイズが異なっている。サムネールの表示サイズは、水平方向および垂直方向の画素数として定義する。前記の特許文献１に記載の方法で算出してもよいし、画面レイアウトごとに映像コンテンツ数Ｍをインデックスとしたルックアップテーブル（ＬＵＴ）を準備しておき、このＬＵＴから決定してもよい。

記憶部１０４では、映像コンテンツに関連づけて、サムネール静止画像が格納されている。Ｓ２０４では、映像選択部１０１が所定の順序で表示すべき映像コンテンツを決定し、更に、決定した映像コンテンツに対応するサムネール静止画像の選択を行なう。所定の順序とは、例えば、映像コンテンツの作成日時、ファイル名、タイトル名又はレーティング等の順序である（これらの情報は、記録部１０４に映像コンテンツが記録される前に付加情報として与えられているか、記録後に付加される）。映像選択部１０１は、選択したサムネール静止画像のデータを記録部１０４から読みだしてサムネール作成部１０６へと供給する。ここで、サムネール静止画像が記録部１０４に格納されていない場合は、映像選択部１０１は、記録部１０４から映像コンテンツを読み出し、取得した映像コンテンツのデータをそのままサムネール作成部１０６に供給する。また、映像選択部１０１は、このとき決定した映像コンテンツの識別名を表示制御部１０３に対して出力する。識別名とは映像コンテンツを特定することのできる情報のことで、例えば、ファイル名、タイトル名、任意に設定した識別子等である。

図３（ｂ）に示した例のように表示サイズはすべての映像コンテンツに対して同一であるとは限らないため、表示制御部１０３は、映像コンテンツごとに、サムネールの表示サイズについて、映像選択部１０１から付与される識別名とともに要約度決定部１０２に対して出力する。

また、表示制御部１０３は、サムネール静止画像の表示サイズについての情報を識別名とともに、サムネール作成部１０６に伝達する。また、表示制御部１０３では、サムネール静止画像が表示部１０７に出力される際に画面のどの位置に表示されるべきか（表示位置）の情報、表示サイズの情報及び映像コンテンツの識別名とを対応付けて記憶しておく。

サムネール作成部１０６の静止画像作成部１０８では、サムネール静止画像が入力された場合には必要に応じて復号処理を行う。例えば、サムネール静止画像がＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で圧縮されているならば、静止画像作成部１０８は、ＪＰＥＧデコーダを備えるように構成する。

サムネール作成部１０６において、サムネール静止画像の状態ではなく、映像コンテンツのデータの状態で入力された場合には、静止画像作成部１０８は、映像コンテンツの動画像データから任意の１フレームを抜き出して、サムネール静止画像を生成する。例えば、動画データから１フレームを抜き出すには、後述する要約動画像作成部１０９の復号処理を実行する。生成したサムネール静止画像は、記録部１０４に保存してもよい。このときサムネール静止画像をＪＰＥＧ形式で圧縮するならば、静止画像作成部１０８は、ＪＰＥＧエンコーダを備えるように構成する。

この後、サムネール作成部１０６は、表示制御部１０３に、サムネール静止画像を識別名とともに出力し、表示制御部１０３は、識別名から記憶していた表示位置についての情報を抽出し、Ｓ２０３において決定していた表示位置及び表示サイズで表示部１０７にサムネール静止画像を出力する。

ここまでの処理を、閲覧対象の全映像コンテンツに対して実行すると、表示部１０７には、記録部１０４に格納されている映像コンテンツについてのサムネール静止画像が一覧できる状態で並べられる。

Ｓ２０５では、表示制御部１０３が、サムネール静止画像として一覧表示した映像コンテンツから、サムネール動画像として置き換えて表示すべきものをＮ個決定する（ここでＮは正の整数であり、Ｎの最大値は同時に動画像として表示することのできるサムネール数の最大値である）。ここでＭ≦Ｎ（つまり、映像コンテンツ数が同時に動画像として表示できるサムネール数以下）の場合、表示中の全サムネール静止画像をサムネール動画像（要約動画像）に置き換えて再生することができる。一方、Ｍ＞Ｎの場合にはすべてのサムネール静止画像をサムネール動画像に置き換えて再生することができないため、一部のみを動画像として選択して表示することになる。

ここで、Ｍ＞Ｎの場合に、サムネール動画像として表示する映像コンテンツの決定方法として、一覧表示されたサムネール静止画像をＮ個のグループに分割し、各グループ内から映像コンテンツを１つずつ選択するようにしてもよい。この場合のグループ分割、およびサムネール動画像の表示順の例を示す。

図４は、前述のグループ分けの一例を示す図である。図４においては、１６のサムネール静止画像を２ｘ２の４つのグループに分割した（Ｎ＝４、Ｍ＝１６の場合の一例）。

また、図５は、図４のようにグループ分けした場合におけるサムネール動画像の表示順の一例を示す図である。図５において、黒で塗った部分が、サムネール動画像の再生が行われている状態であることを示している。ただし、各サムネール動画像の長さは同一であると仮定している。図５（ａ）〜（ｄ）に示すように、それぞれのグループ内で１つのサムネール静止画像を動画像に置き換えて表示していく。

映像コンテンツ数が多くなってくると、一画面に表示すべきサムネールの数が多くなり、その分表示サイズは小さくなる。サムネールの表示サイズが小さくなってくると、一覧表示において、映像コンテンツの詳しい内容を把握するというよりも概要が把握できればよいということになる。そこでサムネール動画像生成に映像コンテンツの要約度決定機能を用い、映像コンテンツ数が多くなるほど要約度を大きくする（短い要約とする）処理を行なう。この処理については、後述する。すなわち、同時に表示できる要約動画像の数は同じであっても、一定時間内で動画像として表示できるサムネール数が多くなるので、見かけ上多くのサムネール動画像を表示しているような視覚的効果を得ることができる。

次に、Ｓ２０６で、表示制御部１０３は、サムネールによる映像コンテンツの一覧表示処理を終了するか否かの判定処理を行う。映像コンテンツが選択されて再生がされる場合や電源ＯＦＦなど装置の動作が止められる場合等に処理が終了する。

このように、本実施の形態に係る映像表示装置は、サムネールの表示数（または表示サイズ）に応じて映像コンテンツの要約度を変更した要約動画像をサムネールとして表示する。これにより、たとえば表示数が多いときには、サムネール動画像の再生が行なわれる長さを短くして、次々に表示を切り替えていくことで、処理に必要なハードウェア等のリソースを増やすことなく、一覧表示の状態で多数の映像コンテンツの内容を提示することができる。ユーザは映像コンテンツの概要把握を短い時間で的確に行うことができ、所望の映像コンテンツにごく短時間でアクセスすることが可能となる。

［サムネール動画像表示］
以下、サムネール動画像の表示（図２で示したＳ２０５）について詳細に説明する。図６は、１つの映像コンテンツに対するサムネール動画像の表示処理の動作例を示すフローチャート図である。以下の説明においては１つの映像コンテンツに対する処理として説明するが、実際には先に決定したＮ個の映像コンテンツに対して並列して処理が実行される。

処理がＳ２０５に進むと、まずＳ６０１にて、要約度決定部１０２が、表示制御部１０３から識別名とともに入力されたサムネールの表示サイズに基づき、サムネール動画像に対する要約レベルを決定する。決定した要約レベルについて、要約の長さを示す制御情報と識別名を、映像選択部１０１およびサムネール作成部１０６に出力する。

図７にサムネールの表示サイズと要約レベルの対応例を示す。このようなテーブルは、要約度決定部１０２に格納されている。ここで、「要約レベル」とは、要約度の大きさを表す指標である（ここでは、例えば、要約レベルの値が大きくなるほどより大まかな要約、つまり時間が短くなるとして表している）。「要約の長さ」とは、映像コンテンツの動画像全体の長さに対する短縮率である。ただし、要約の長さは、これに限らず要約レベルに応じた固定の長さであってもよい。また、元の動画像のサイズとサムネールの表示サイズの比が、元の動画像の長さと要約動画像の長さの比となるようにしてもよい。要約度決定部１０２はサムネールの表示サイズから総画素数を算出して、例えば、図７に示すような対応関係から要約レベル（要約の長さ）を決定する。

Ｓ６０２では、映像選択部１０１が、要約度決定部１０２により決められた要約レベル（要約の長さ）に対応したサムネール動画像が記録部１０４にあるかを判定する。図７に示した例のように予め要約レベル、要約の長さが決まっていれば、各レベルに対応させて映像コンテンツごとに予めサムネール動画像を生成して、記憶部１０４に格納しておいてもよい。記憶部１０４において、映像コンテンツと要約レベル（要約の長さ）から該当するサムネール動画像があるか否かの検索をし、要約レベルに対応したサムネール動画像が記録部１０４にある場合（Ｓ６０２にてＹＥＳを選択した場合）、処理がＳ６０３に進む。

ここで、例えば、要約レベルが３であれば、要約の長さが２０分の１であるので、該当する映像コンテンツの要約の長さが元の映像コンテンツの２０分の１以下となるサムネール動画像をデータの長さという尺度から記録部１０４において検索してもよい。結果として該当するサムネール動画像が見つかれば、映像選択部１０１はサムネール動画像のデータを記録部１０４から読み出して、サムネール作成部１０６へと供給する。

また、該当するサムネール動画像が記録部１０４に存在しない場合（Ｓ６０２にてＮＯを選択した場合）には、映像選択部１０１は、記録部１０４から映像コンテンツのデータと、要約するために用いるコンテンツの区間選択に関する情報が含まれている要約データとを読み出して、サムネール作成部１０６に供給し、処理がＳ６０４に進む。

Ｓ６０３では、サムネール作成部１０６の要約動画像作成部１０９が、入力されたサムネール動画像の復号処理を必要に応じて行い、サムネール動画像の各フレームデータを得る。例えば、サムネール動画像がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で圧縮されていれば、要約動画像作成部１０９はＭＰＥＧデコーダを備えるように構成する。要約動画像作成部１０９は、サムネール動画像をフレーム単位で、表示制御部１０３により指示された表示サイズで表示制御部１０３に出力する。

また、記憶部１０４に該当する要約の長さのサムネール動画像がなかった場合、Ｓ６０４において、要約動画像作成部１０９が、入力された要約データを解析して、映像コンテンツ中でサムネール動画像として使用する区間を決定する。この区間の決定方法として、後述するが、要約データには重要度に関する情報が付加されており、これに基いて決定する。

要約動画像作成部１０９は、映像コンテンツのうち、このようにして決定した区間のみのデータを復号してサムネール動画像の各フレームデータを得る。ここで作成したサムネール動画像は記録部１０４に保存してもよい。

次に、要約動画像作成部１０９は、サムネール動画像をフレーム単位で、表示制御部１０３により指示された表示サイズで表示制御部１０３に出力する。

Ｓ６０５では、表示部１０７は、所定のレートで画面を更新し、Ｓ６０３又はＳ６０４にて表示制御部１０３に入力された動画像１フレームずつについて出力を得て表示を行なう。

ここで、前述した記憶部１０４に保存させている要約データの一例を図８に示す。
図８（ａ）は要約データの構成例を、図８（ｂ）は要約データの構成例に基づく具体例を示している。例えば、図８（ａ）では、フレーム番号８０１と重要度８０２との２つのフィールドで要約データ８００を構成している。ここで、フレーム番号８０１は映像コンテンツのデータにおける重要度８０２の開始位置を示している。映像コンテンツの動画像データを構成するフレームの先頭フレームを０として、以降のフレームに１ずつ増加するようにして番号を付している。また、重要度８０２は、各映像の区間が映像コンテンツの要点としてどれだけ重要かを示す。例えば、ここでは１が最も重要であり、値が増加するにつれて重要性は低くなるとしている。重要度１の区間のみで作成した要約動画像は最も要約度が大きく、重要度２以下の区間を使用すると要約動画像はより冗長となる。例えば、図８（ｂ）では、フレーム番号０〜８９９までの重要度が５、９００〜２２４９までの重要度が８（以下、同様）であることを意味している。

要約データは、映像表示装置１００に映像コンテンツが入力された時点において、映像コンテンツに対応付けて要約データが添付されている場合には、その要約データを記録部１０４に記録してもよいし、添付されていない場合には、映像解析部１０５にて映像コンテンツを解析した結果から作成してもよい。これについては後述する。

要約動画像作成部１０９は、要約度決定部１０２からの要約レベル、要約の長さの出力を得て、サムネール動画像に必要な長さを計算する。次に、映像選択部１０１から入力された図８のような要約データより、サムネール動画像として使用する区間を決定する。

要約動画像作成部１０９は、例えば、最初に、最も重要な重要度１の区間を選択し、その再生時間を計算する。例えば、図８（ｂ）においてフレーム番号２７００〜３５９９間は９００フレームである。フレームレートを、例えば、３０ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）で計算すると、この間の再生時間は３０秒ということになる。計算した再生時間とサムネール動画像に必要な長さとを比較し、再生時間が必要な長さに満たなければ、同じ重要度の別の区間または１つ下の重要度の区間をさらに選択して再生時間を再計算し、必要な長さを超えるまで処理を繰り返す。

なお、重要度の選択の方法はこれ以外でもよく、例えば、映像コンテンツの核心となるシーンをあえて見せないようにするために、最も重要度の高い区間はサムネール動画像としては選択しないようにしてもよい。

なお、図７に示した例では、要約レベルが高いほど要約動画像の長さ（再生時間）が短くなるように決めているが、要約レベルが高くなるほど映像コンテンツの、より重要なシーン（重要度の高い区間）を使用して要約を作成するようにしてもよい。例えば、要約レベルが３ならば重要度１のみの区間で、要約レベルが２なら重要度２のみ又は重要度１及び２の区間で要約動画像を構成するとしてもよい。あるいは要約動画像の作成方法が複数あれば、要約レベルに応じて異なる要約の作成方法を用いるとしてもよい。

Ｓ６０６では、要約動画像作成部１０９においてサムネール動画像の作成が終了したか否かの判定を行なう。サムネール動画像の作成が全フレームについて終了した場合（Ｓ６０６にてＹＥＳを選択）、要約動画像作成部１０９は、終了の通知を表示制御部１０３に対して送信し、Ｓ２０５の処理は終了する。サムネール動画像の作成が全フレームについて終了していなければ（Ｓ６０６にてＮＯを選択）、処理はＳ６０２に戻り、以降の処理を繰り返す。

表示制御部１０３は、要約動画像作成部１０９から終了の通知を受信したら、現在サムネール動画像として表示されていないサムネール静止画像の中から次に動画像として表示すべきものを決定し、その選択したサムネール静止画像に対応する映像コンテンツの識別名及び表示サイズについて要約度決定部１０２に出力する。このようにしてＳ２０５の処理が繰り返される。

［要約データの生成］
次に映像解析部１０５について説明する。図９は、映像解析部１０５の構成例を示すブロック図である。図９において、映像解析部１０５は、コンテンツ分離部９０１と、分類判定部９０２と、音声復号部９０３と、動画像復号部９０４と、シーン検出部９０５と、重要度判定部９０６とを含んで構成される。

コンテンツ分離部９０１は映像コンテンツのデータを入力とし、映像コンテンツを構成する各種データ（動画像データ、音声データおよびその他付加データ）に分離する。分離した情報は、動画像復号部９０４、音声復号部９０３、分類判定部９０２に対して出力される。

動画像復号部９０４は、映像コンテンツの動画像データを入力とし、動画像データの復号処理を行う。復号した動画像をシーン検出部９０５に出力し、また復号処理にて得た動きベクトルや予測モードなどの符号化情報を重要度判定部９０６に出力する。

シーン検出部９０５では、連続して入力されたフレームとフレームとの相関度により、シーンの切り替わりを検出する。一般に動画像においてはシーンの変換点でなければ連続するフレームの相関性が高いため、フレーム間の相関性は、例えば、フレーム毎に算出されたヒストグラムを一種の時系列データとみなし、時間的に連続する２フレームのヒストグラム間の相関係数を演算することで判定することができる。

音声復号部９０３は、映像コンテンツの音声データを入力とし、音声データの復号処理を行い、復号後の音声データを重要度判定部９０６に対して出力する。

分類判定部９０２は、映像コンテンツの付加データを解析して、該映像コンテンツのジャンルを分類する。ここでのジャンル分類とは、例えば、デジタル放送で用いられるＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）の番組分類と同様のものである。

重要度判定部９０６は、動画像復号部９０４から入力される符号化情報、音声復号部９０３から入力される音声データを用い、分類判定部９０２から入力される映像コンテンツのジャンル分類からシーンの重要度を決定する。例えば、動きベクトルの大きさや向きの分散の値に応じて重要度を決定してもよい。また、音声のレベルの大きさに応じて重要度を決定してもよい。シーン検出部９０５から入力されるシーンの変換点の情報によりシーンの開始となるフレーム番号を決定し、開始となる該フレーム番号に重要度を対応付けて図８に示すような要約データ８００を生成する。

なお、映像表示装置にユーザーインターフェイス部（不図示）を備え、サムネールの表示サイズは、該ユーザーインターフェイス部を介し、ユーザの操作に応じて変更してもよい。例えば、図３（ａ）に示した表示例において、サムネール表示領域３０１の一部の範囲をサムネール表示領域３０１と同サイズとなるまでアスペクト比を変えずに拡大する場合を考える。つまり、図１０（ａ）の点線で囲んだ指定範囲１００１を、図１０（ｂ）のようにアスペクト比を変えずに拡大する場合には、図２に示したＳ２０３〜Ｓ２０５の処理を実行して、３ｘ３のサムネール静止画像の中からＮ個をサムネール動画像により表示する。表示サイズの変更は、この他にも、例えば、図３（ｂ）に示した表示例において、サムネールの並び順を変更したときにも起こりうる。この場合において、表示制御部１０３は、並び順変更に伴い、再度、表示サイズを決定し、該表示サイズに関する情報を要約度決定部１０２に出力し、要約度決定部１０２が、変更後の表示サイズに応じた要約レベルを決定して、Ｓ２０４、Ｓ２０５の処理を実行すればよい。

また、サムネール動画像の表示順は、ユーザの操作に応じて変更してもよい。例えば、図１１（ａ）に示すように、始めにサムネールの列を指定し、次に、図１１（ｂ）に示すように選択した列中の行を指定することで、一覧表示されたサムネールから所望のコンテンツを選択する場合を考える（列と行を選択する順番は逆でもよい）。このとき、サムネールの列が指定された時点で、表示制御部１０３は、指定された列に並んでいるサムネールのみを動画像として表示する対象とし、このうちＮ個をサムネール動画像として選択し、再生するようにしてもよい。

また、サムネールの表示サイズは水平方向および垂直方向の画素数としたが、外付けのディスプレイが映像表示装置に接続される場合には、見た目上のサイズを用いてもよい。この場合、外付けディスプレイの画面サイズと解像度から画素の間隔を計算し、サムネールの縦・横方向の画素数に乗ずることで見た目のサイズを算出する。

また、サムネールは映像コンテンツ中の特定のシーンを選択するために使用してもよい。つまり、１つの映像コンテンツの中の複数のシーン（区間）それぞれの映像を新たな映像コンテンツとみなし、各区間を代表するサムネールを一覧表示することで、ユーザは所望のシーンを選択することが可能となる。このような場合にも同様に本発明を適用することができる。

また、映像表示装置１００は図１に示した構成の他に、インターネット等のネットワークを介してデータの送信・受信を行うための通信部を備えることで、ネットワーク上の映像コンテンツに対しても同様に扱うことができる。このとき、映像コンテンツの動画像データとは別に、要約動画像作成用のデータ量を少なくした動画像データ（要約度の小さい要約動画像であってもよい）を受信して用いれば、サムネール動画像を作成するのが短時間ですみ、サムネール動画像の作成にかかる通信の遅れを少なくすることができる。

また、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサまたはＤＰＳによりプログラムコードが実行されることによっても本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が本実施形態の機能を実現することになり、プログラムコードを記録した記録媒体は本発明を構成することになる。

以上のように、本発明によれば、サムネールの表示数（または表示サイズ）に応じて映像コンテンツの要約度を変更したサムネール動画像を表示する。これにより、例えば、表示数が多いときにはサムネール動画像の長さを短くして、次々に表示を切り替えていくことで、処理に必要なハードウェア等のリソースを増やすことなく、一覧表示の状態で多数の映像コンテンツの内容を提示することができる。このようにして、ユーザは映像コンテンツの概要把握を短い時間で的確に行うことができ、所望の映像コンテンツにごく短時間でアクセスすることが可能となる。

以上、本発明の実施形態について説明したが、本発明の映像表示装置及びその制御方法、プログラム、記録媒体は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。

本発明の実施の形態に係る映像表示装置の構成例を示すブロック図である。 本発明の実施の形態に係る映像表示装置の動作例を示すフローチャート図である。 一覧表示の画面レイアウトの例を示す図である。 サムネールのグループ分けの一例を示す図である。 サムネール動画像の表示順の一例を示す図である。 本発明の実施の形態に係るサムネール動画像の表示処理の動作例を示すフローチャート図である。 サムネールの表示サイズと要約レベルの対応例を示す図である。 本発明の実施の形態に係る要約データの一例を示す図である。 発明の実施の形態に係る映像表示装置の映像解析部の構成例を示すブロック図である。 サムネールの表示サイズの変更例を示す図である。 サムネールの選択例を示す図である。

符号の説明

１００ 映像表示装置
１０１ 映像選択部
１０２ 要約度決定部
１０３ 表示制御部
１０４ 記録部
１０５ 映像解析部
１０６ サムネール作成部
１０７ 表示部
１０８ 静止画像作成部
１０９ 要約動画像作成部
３０１、３０３ サムネール表示領域
３０２、３０４ タイトル名表示領域
３０５ 再生領域
８００ 要約データ
８０１ フレーム番号
８０２ 重要度
９０１ コンテンツ分離部
９０２ 分類判定部
９０３ 音声復号部
９０４ 動画像復号部
９０５ シーン検出部
９０６ 重要度判定部
１００１ 指定範囲

Claims (11)

1. 映像コンテンツに対応付けられた画像を一画面内に並べて一覧表示する映像表示装置であって、
   再生することができる前記映像コンテンツを記録する記録部と、
   前記記録部に記録された前記映像コンテンツを選択する映像選択部と、
   前記映像コンテンツの数から一覧表示する画像の表示サイズを決定する表示制御部と、
   前記表示サイズから要約動画像の要約の度合いを決定する要約度決定部とを備え、
   前記映像選択部は、決定された前記要約の度合いに対応する前記映像コンテンツを、前記記録部に記録された前記映像コンテンツから要約動画像として選択することを特徴とする映像表示装置。
2. 映像コンテンツに対応付けられた画像を一画面内に並べて一覧表示する映像表示装置であって、
   再生を行なうことができる映像コンテンツを選択する映像選択部と、
   前記映像コンテンツの数から一覧表示する画像の表示サイズを決定する表示制御部と、
   前記表示サイズから要約動画像の要約の度合いを決定する要約度決定部と、
   前記要約の度合いから再生する要約動画像を作成する要約動画像作成部とを備えることを特徴とする映像表示装置。
3. 前記表示制御部は、一覧表示した静止画像の中から複数の静止画像を選択し、前記静止画像の表示領域に該静止画像と対応した前記要約動画像の再生を行なうよう制御することを特徴とする請求項１又は２に記載の映像表示装置。
4. 前記表示制御部は、一度に前記要約動画像として再生可能な前記映像コンテンツの数を算出し、前記一覧表示する画像を前記一度に再生可能な映像コンテンツの数のグループに分け、前記グループ内から一つずつ前記映像コンテンツを選択し、該映像コンテンツの前記要約動画像の再生が終わると、前記要約動画像の表示を順次切換えていくことを特徴とする請求項３に記載の映像表示装置。
5. 前記一覧表示する画像の表示サイズを変更する際に、前記要約度決定部は、前記要約の度合いを再度決定することを特徴とする請求項１乃至４のいずれか１つに記載の映像表示装置。
6. 前記要約度決定部は、前記一覧表示する画像の表示サイズが小さくなるほど前記要約動画像の再生時間が短くなるように要約の度合いを決定することを特徴とする請求項１乃至５のいずれか１つに記載の映像表示装置。
7. さらに前記映像コンテンツを解析し、該映像コンテンツを構成する動画像データの区間ごとの重要度の情報を作成する映像解析部を備え、
   前記要約動画像作成部は、前記要約の度合い及び前記重要度の情報から要約動画像を作成することを特徴とする請求項２乃至６のいずれか１つに記載の映像表示装置。
8. 映像コンテンツに対応付けられた画像を一画面内に並べて一覧表示する映像表示装置の制御方法であって、
   予め記録された再生することができる前記映像コンテンツに基づいて、一覧表示する前記映像コンテンツの数を取得するステップと、
   前記一覧表示する映像コンテンツの数と、一覧表示領域のサイズとから一覧表示する画像の表示サイズを算出するステップと、
   一覧表示した前記映像コンテンツのうち要約動画像に置き換えて表示する対象を選択するステップと、
   前記表示サイズから前記要約動画像の要約の度合いを決定するステップと、
   決定された前記要約の度合いに対応する映像コンテンツが予め記録されている場合、前記要約の度合いに対応する映像コンテンツを要約動画像として選択し、
   決定された前記要約の度合いに対応する映像コンテンツが予め記録されていない場合、前記要約の度合いに対応する映像コンテンツを要約動画像として生成するステップとを有することを特徴とする映像表示装置の制御方法。
9. 前記一覧表示する画像の表示サイズが小さくなるほど前記要約動画像の再生時間を短くすることを特徴とする請求項８に記載の映像表示装置の制御方法。
10. 請求項８又は９に記載の映像表示装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
11. 請求項１０に記載のプログラムをコンピュータ読み取り可能に記録したことを特徴とする記録媒体。

Images