JP5468189B2 - 映像表示装置及び映像表示方法 - Google Patents

Description

本発明は、映像を管理するために行うサムネール一覧表示に関し、特に、サムネールとして動画を表示する際に、効率良く動画をサムネール表示するための映像表示装置及び映像表示方法に関する。

映像の再生機器（プレーヤ）、録再機器（レコーダ）、あるいは、放送やネットワーク経由で取得される映像の録画・再生機能を有するＰＣ等において、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＳＤメモリカード、ＨＤＤ（Ｈａｒｄ−Ｄｉｓｋ Ｄｒｉｖｅ）など記録媒体に記録された多数の映像を効率的に提示・管理する手段として、サムネール表示が多く用いられている。

サムネールとは映像の代わりに表示される映像を代表する小画像（通常は元の画像の縮小画像）を指し、サムネール表示とは、複数映像のサムネール（代表縮小画像）による一覧表示形式を指す。サムネールは通常、静止画であるが、サムネールを静止画でなく動画で表示する、いわゆる動画サムネールも、機器の処理能力の向上に伴って徐々にみられつつある。処理能力が十分なら、全てのサムネールを動画表示することが原理的に可能である。

また、特許文献１には、カーソルのあたったサムネールを動画表示する例、及び、カーソルがあたったサムネールのみをフレームレートを変えて動画表示する例が示されている。
特開２００４−０３２５３５号公報

サムネール表示は、一覧表示される映像について、所望の映像を選択するのに利用されるものであって、特許文献１のように逐一カーソルをあててサムネールを動画再生させるといった形式では、素早く効率的な映像の選択を行うことができなかった。

また、全てのサムネールを常に動画表示すれば上記の問題は回避されるが、全サムネールを動画表示することは機器に高い処理負荷をかける。特許文献１には、各動画のフレームレートを落とすことでそのような負荷を軽減することが示されているが、特許文献１の方式では表示する動画サムネールの数が増えるとそれぞれの動画サムネールのフレームレートも減ってしまい、動画表示する利点が失われてしまっていた。

さらに、動画サムネールが符号化された映像データであった場合には、復号器をサムネール表示数分用意する必要があり、現実的ではなかった。

そこで、本発明は上記の問題を鑑みてなされたものであり、必要以上に機器に処理負荷をかけることなく、効率的に複数サムネールの動画表示を行うことが可能な映像表示装置及び方法を提供する。それにより、ユーザが容易に個々の映像を確認可能とする映像表示装置及び方法を提供するものである。

本発明に係る映像表示装置及び方法は、前記目的を達成するために、以下の特徴を有している。

すなわち、本発明に係る映像表示装置は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、前記特定サムネール選択手段により選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールの近傍にあるか否かを判定する判定手段と、前記判定手段において前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とする表示制御手段と、を備えることを特徴とする。

また、本発明に係る映像表示装置において、前記判定手段は、前記第１のサムネールと前記第２のサムネールとの距離を求め、該距離を閾値判定することにより近傍にあるか否かを判定することを特徴とする。

また、本発明に係る映像表示装置において、前記判定手段は、前記複数のサムネールの一覧表示の形態が変更されたときにのみ、前記閾値判定を行うことを特徴とする。

本発明に係る映像表示方法は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールの近傍にあるか否かを判定するステップと、前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とするよう表示制御するステップと、を含むことを特徴とする。

本発明に係る映像表示装置は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、前記特定サムネール選択手段により選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定する判定手段と、前記判定手段において判定された前記近傍の度合いに基づいて、所定のフレームレートを与えて前記第２のサムネールを動画表示する表示制御手段と、を備えることを特徴とする。

また、本発明に係る映像表示装置において、前記判定手段は、前記第１のサムネールと前記第２のサムネールとの距離を求め、該距離を閾値判定することにより前記近傍の度合いを判定することを特徴とする。

また、本発明に係る映像表示装置において、前記判定手段は、前記複数のサムネールの一覧表示の形態が変更されたときにのみ、前記閾値判定を行うことを特徴とする。

また、本発明に係る映像表示装置において、前記判定手段は、前記第１のサムネールと前記第２のサムネールとの距離を求め、該距離から前記近傍の度合いを関数演算により算出することを特徴とする。

また、本発明に係る映像表示装置において、前記所定のフレームレートは、前記近傍の度合いが高いほど高く、前記近傍の度合いが低いほど低くすることを特徴とする。

本発明に係る映像表示方法は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定するステップと、前記判定された前記近傍の度合いに基づいて、所定のフレームレートを与えて前記第２のサムネールを動画表示するように制御するステップと、を含むことを特徴とする。

本発明に係る映像表示装置は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、前記特定サムネール選択手段で選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定する判定手段と、前記判定手段において前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とし、前記判定手段において判定された前記近傍の度合いに基づいて、前記第２のサムネールの動画表示を異なる情報量でサムネール表示する表示制御手段と、を備えることを特徴とする。
また、本発明に係る映像表示装置は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、前記特定サムネール選択手段で選択された前記第１のサムネールに対して、判定対象の第２のサムネールのうち少なくとも１つは動画表示であり、前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定する判定手段と、前記判定手段において判定された前記近傍の度合いに基づいて、前記第２のサムネールを解像度を変えて異なる情報量でサムネール表示する表示制御手段と、を備えることを特徴とする。

また、本発明に係る映像表示装置において、前記サムネール表示する際の情報量は、前記近傍の度合いが高いほど高く、前記近傍の度合いが低いほど低くすることを特徴とする。

本発明に係る映像表示方法は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定するステップと、前記判定するステップにおいて前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とし、前記判定された前記近傍の度合いに基づいて、前記第２のサムネールの動画表示を異なる情報量でサムネール表示するよう表示制御するステップと、を含むことを特徴とする。
また、本発明に係る映像表示方法は、複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールのうち少なくとも１つは動画表示であり、前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定するステップと、前記判定された前記近傍の度合いに基づいて、前記第２のサムネールを解像度を変えて異なる情報量でサムネール表示するよう表示制御するステップと、を含むことを特徴とする。

本発明に係る映像表示装置及び方法によれば、カーソルをあて選択されたサムネールに対して、選択されたサムネール及びその近傍のサムネールのみを動画表示する、あるいは、選択されたサムネール及びその近傍のサムネールをより高いフレームレートで動画表示することにより、注視点近辺（注視候補領域）に情報量の多い動画表示を集め、ユーザの視点の移動とリンクした効率的な映像情報の提示を可能とする。

また、本発明に係る映像表示装置及び方法によれば、表示形態に合せて動画表示されるサムネールの選択を行うことで、機器の処理能力に対して無駄の無い動画サムネール表示を可能とする。

以下、本発明に係る実施形態について、図面を参照して詳細に説明する。

なお、図において、同一の符号を付した部分は同一のものを表すものとする。

（第１の実施形態の説明）
本発明の第１の実施形態に係る映像表示装置を、図１乃至図７を用いて説明する。
図１は、第１の実施形態に係る映像表示装置１の概略構成を示す機能ブロック図である。

図１に示すように、映像表示装置１は、表示制御部１０１、選択部１０２、判定部１０３、並びに表示部１０４を備えて構成される。

本実施形態に係る映像表示装置１は、一覧表示されるサムネールを動画表示する、いわゆる動画サムネール表示において、一画面に一覧表示される複数のサムネールに対し、動画表示か静止画表示かを選択する機能を備えている。この選択処理機能は、選択対象のサムネールとその時点で画面上のカーソルがあたっているサムネール（アクティベートされたサムネール）との間の論理的距離に基づいて判断処理し、カーソルのあたったサムネール（特定のサムネール）を中心として、カーソルのあたったサムネール及びその近傍のサムネールについてのみ動画表示が選択される特徴を有する。このために、映像表示装置１は、表示形態（後記する）に合せて、判定対象のサムネールがカーソルのあたったサムネールの近傍かどうかを判定する判定部（判定手段）１０３を備えている。

表示制御部（表示制御手段）１０１は、表示部１０４で画面に表示される各サムネールデータの再生（符号化データの場合、復号処理を含む）と、サムネールの画面上への配置とを制御する。表示制御部１０１は、また、カーソル表示を制御し、ユーザ操作により入力される操作情報に従ってカーソルを移動し、選択されている特定のサムネールに合せてカーソルを表示する（特定サムネール選択手段）。

図２に、ユーザ操作による一覧表示画面の変化の例を示した。図２（ａ）において、画面２０１には複数のサムネール２０２が表示されている（図２はサムネールを格子状に配置した例である。）。

そして、選択されているサムネール２０２ａに対して、選択されていることを示すカーソル２０３が表示されている。図２の例では、カーソル２０３はサムネールを囲む太枠で表されている。ユーザがカーソルを右に移動する操作を入力すると、カーソルが１つ右のサムネールに移動し、図２（ｂ）に示すような表示画面に変わる。次に、ユーザがカーソルを下に移動する操作を入力すると、カーソルが１つ下のサムネールに移動し、図２（ｃ）のような表示画面となる。

なお、カーソルの表示形態は図示のものに限らず、個々のサムネールを特定できるものであればよい。例えばマウスアイコンのようなものであってもよい。

本発明はサムネールの表示制御に係ることから、本実施形態では、映像表示装置１のサムネールの表示制御機能についてのみ説明するが、実際の映像機器は、無論、サムネール表示以外にも、再生映像を表示したり、特殊再生を行ったり、再生における各種の操作情報を画面上に表示したり、といった機能を有する。即ち、本実施形態に係る映像表示装置１は、サムネール表示を内部機能に含む各種の映像機器の内部構成として実施可能であることは言うまでもない。この点は、他の実施形態についても同様である。

選択部１０２は、画面に一覧表示される各サムネールについて、サムネール表示する映像データとして静止画データ、動画データのいずれを用いるかを選択し、選択された一方を表示制御部１０１へ出力する。この時、選択は、以下で説明する判定部１０３からの指示に基づいて行われる。

なお、これらサムネール表示に用いられる静止画データ、動画データは、そのサムネールが代表する元の映像データから直接得られるものでも、元の映像データとは別に与えられるものでもよい。本発明では、これらサムネール表示用の静止画データ、動画データが、いつ、どのように用意されるかについては特に限定しない。例えば、サムネール表示の度に映像表示装置１を含む映像機器が元の映像データからサムネール表示用の静止画／動画データを生成する構成でも、元の映像データが映像表示装置１を含む映像機器に蓄積された段階でサムネール表示用の静止画／動画データを生成し別途蓄積しておく構成でもよい。無論、動画サムネール表示用の動画データとして元の映像データを用いることも可能である。

判定部１０３は、画面に一覧表示される各サムネールに対して、動画表示するか、静止画表示するかを判定し、判定結果を指示情報として出力し選択部１０２に指示する。また、表示制御部１０１に対して、どのサムネールを動画表示とするかを伝える。

以下に、どのサムネールを動画表示提示するかについての基本概念を説明する。

一般的に、一覧表示画面におけるユーザの視線位置は、カーソルの移動に合せて移動すると考えられる。即ち、カーソルが注視点にあたり、ユーザはその近辺に視線移動する確率が高い。このため、ユーザの注視点＝選択された（カーソルのあたった）サムネールに対して近傍のサムネールを動画表示し、注視点近辺（注視候補領域）に動画表示されたサムネールを集めることで、ユーザの視点の移動とリンクした効率的な映像情報の提示を可能とする。

このため、判定部１０３では、カーソルがあたったサムネール（第１のサムネール）と各サムネール（第２のサムネール）との距離を求めて、該距離に基づいて、カーソルのあたったサムネールに近いサムネールを動画表示、遠いサムネールを静止画表示と判断する。

次に、サムネール間の距離を求める方法について説明する。
図３、図４、図５に、サムネールの各種の表示形態の例を示す。
図３は、複数のサムネールを画面上に格子状に並べて表示する表示形態を示した例である。

図３の例では、サムネールは画面上に２次元上に配置されている。従って、図３（ａ）を参照して、カーソルのあたったサムネールの表示位置を２次元座標（ｘ＿ｉ，ｙ＿ｉ）とし、これに対して他の任意のサムネールの表示位置を（ｘ＿ｊ，ｙ＿ｊ）とすると、サムネール間の距離Ｄ＿ｉ，ｊは下記の式（１）ように与えられる。
Ｄ＿ｉ，ｊ＝Ｒｏｏｔ｛（ｘ＿ｉ−ｘ＿ｊ）＾２＋（ｙ＿ｉ−ｙ＿ｊ）＾２｝・・（１）
ここで、Ｒｏｏｔは、平方根（√）の演算を意味するものとし、以下同様である。

この距離Ｄ＿ｉ，ｊに対して、判定部１０３では、近傍と判断される閾値距離Ｄ＿Ｔを設定し、
Ｄ＿ｉ，ｊ≦Ｄ＿Ｔ
の時、表示位置（ｘ＿ｊ、ｙ＿ｊ）のサムネールを動画表示とし、
Ｄ＿ｉ，ｊ＞Ｄ＿Ｔ
の時、表示位置（ｘ＿ｊ、ｙ＿ｊ）のサムネールを静止画表示と判定する。

上記距離Ｄ＿ｉ，ｊの定義は通常のユークリッド距離であるが、異なる距離の定義を用いて上記判定を行ってもよい。

また、図３（ａ）では、サムネールの位置座標を、サムネールの中心位置の画面上の座標として表しているが、これは他の位置、例えば各サムネールの左上頂点の座標位置等としても同様である。また、画面上の座標でなく、２次元上に配置された各サムネールのインデックス番号を座標として用いてもよい。図３（ｂ）は、サムネールが格子状に配置される表示形態の別の例を示した図である。この図で、サムネールは縦方向、横方向で配置される間隔が異なるため、画面位置をサムネールの座標として捉えた場合には、縦に並ぶサムネールより横に並ぶサムネールの方が遠い位置にあると判定されるが、インデックス番号を座標として捉えた場合には、縦、横とも等距離であると判定される。
近傍と判定されるサムネールの数、近傍とされる領域の大きさは閾値Ｄ＿Ｔの値に依存し、閾値Ｄ＿Ｔの値は機器の処理能力の制限等により適宜設定される。処理能力が十分に高い機器では閾値Ｄ＿Ｔの値を大きく、動画表示されるサムネールの数を多く（動画表示される領域を広く）設定する。処理能力が制限された機器では閾値Ｄ＿Ｔの値を小さくし、動画表示されるサムネールの数を（動画表示される領域を）制限する。

あるいは、搭載する復号器の数等によって動画表示できるサムネールの数が制限されているような場合には、上記した閾値Ｄ＿Ｔによる処理ではなく、カーソルのあたったサムネールに最も近いサムネールから近い順に制限数Ｎ個まで（カーソルのあたったサムネールも１とカウントする）のサムネールを選んで、それらを動画サムネール表示するとしてもよい。

図４は、複数のサムネールを画面上に一直線状に並べて表示する表示形態を示した例である。

図４の例では、サムネールは画面上に直線状に配置されるので、サムネールの表示位置を示す座標は１次元で表される。即ち、図４（ａ）（（ｂ）及び（ｃ））を参照して、カーソルのあたったサムネールの座標ｘ＿ｉ、他の任意のサムネールの座標ｘ＿ｊとし、サムネール間の距離Ｄ＿ｉ，ｊは、下記の式（２）で表される。

Ｄ＿ｉ，ｊ＝Ｒｏｏｔ｛（ｘ＿ｉ−ｘ＿ｊ）＾２｝＝｜ｘ＿ｉ−ｘ＿ｊ｜・・（２）
この距離Ｄ＿ｉ，ｊに対して、判定部１０３は、閾値距離Ｄ＿Ｔを用い、
Ｄ＿ｉ，ｊ≦Ｄ＿Ｔ
の時、表示位置ｘ＿ｊのサムネールを動画表示とし、
Ｄ＿ｉ，ｊ＞Ｄ＿Ｔ
の時、表示位置ｘ＿ｊのサムネールを静止画表示と判定する。

距離の定義が上記に限らないのは、上記で図３を用いて説明したのと同様である。また、図３で説明したのと同様、復号器の数等によって動画表示できるサムネールの数が制限されているような場合には、カーソルのあたったサムネールに最も近いサムネールから、近い順に制限数Ｎ個まで（カーソルのあたったサムネールを含む）選んで動画表示する処理も可能である。

図４のように直線上に配置された例では、実際には、カーソルのあたったサムネールの両隣から順に選ぶことになる。また、配置が直線上でなく曲線上に配置されるような表示形態であっても、各サムネールの位置が１次元で表される場合には、ここで説明した処理をあてはめることが可能である。

図５は、サムネールが仮想の３次元空間上に配置される表示形態を示した図である。

図５の例では、各サムネールの表示位置は３次元座標として与えられる。即ち、図５（ａ）を参照して、カーソルのあたったサムネールの表示位置を座標（ｘ＿ｉ，ｙ＿ｉ，ｚ＿ｉ）とし、他の任意のサムネールの表示位置を座標（ｘ＿ｊ，ｙ＿ｊ，ｚ＿ｊ）で表すと、サムネール間の距離Ｄ＿ｉ，ｊは、下記の式（３）ように与えられる。

Ｄ＿ｉ，ｊ＝Ｒｏｏｔ｛（ｘ＿ｉ−ｘ＿ｊ）＾２＋（ｙ＿ｉ−ｙ＿ｊ）＾２＋（ｚ＿ｉ−ｚ＿ｊ）＾２｝・・・（３）
以下、図３、図４と共に説明した例と同様にして、距離Ｄ＿ｉ，ｊに対して、近傍と判断される閾値距離Ｄ＿Ｔとし、判定部１０３は、
Ｄ＿ｉ，ｊ≦Ｄ＿Ｔ
の時、表示位置（ｘ＿ｊ，ｙ＿ｊ，ｚ＿ｊ）のサムネールを動画表示とし、
Ｄ＿ｉ，ｊ＞Ｄ＿Ｔ
の時、表示位置（ｘ＿ｊ，ｙ＿ｊ，ｚ＿ｊ）のサムネールを静止画表示と判定する。

図５（ａ）は、サムネールが３次元上に格子状に配置される表示形態を示した例である。また、図５（ｂ）、図５（ｃ）は、格子状以外のサムネールの３次元配置の例を示した図である。これらの表示形態においても、サムネールの表示位置が３次元座標で表されれば、ここで説明したのと同様にして近傍の判定をあてはめることが可能である。

図６に、上記説明した近傍の判定処理を実行し、サムネール表示を行った際の具体的な表示例を示す。図６の例は、図３に示したのと同様、複数のサムネールが２次元格子状に配置された際の例である。この時、図６（ａ）に示すように、カーソルがあたっているサムネール、及びその近辺のサムネールのみが動画表示され、他のサムネールは静止画表示されている。カーソルのあたったサムネールを中心に、どの範囲までのサムネールを動画表示とするかは、上記した閾値距離Ｄ＿Ｔの値によって左右される。

図６（ｂ）は、図６（ａ）の状態から、カーソルを右に１つ、下に１つ移動した後の表示の状態を示した図である。図６（ａ）から図６（ｂ）に示すように、カーソルが移動すると、カーソルの移動に同期して動画表示される（動画表示と選択される）サムネールも変化する。

なお、本実施形態にかかる映像表示装置１の判定部１０３で判定される、選択されたサムネールに対する（選択されたサムネールを中心とした）近傍サムネールの範囲（近傍と判断される領域の大きさ、形状）は、サムネール一覧表示の表示形態が変更されない間は固定となる。このため、図７に図示したように、サムネール一覧表示の表示形態が選択された際に、判定部１０３が一度だけ近傍判定を実行し、近傍サムネールの範囲を求めてテンプレート化して保持する（図７に示す（１）テンプレートの作成）こととし、表示形態を変更しない間は、選択されたサムネールの移動に対して、保持されているテンプレートを当てはめる（図７に示す（２）テンプレートの適用）ことで、判定部１０３が動画表示する近傍サムネール領域を逐次与えるようにしてもよい。

そして、サムネール一覧表示の表示形態が変更されたとき（例えば、図３から図４の形態に変更、図４から図５の形態に変更、など）にのみ、判定部１０３の近傍判定手段は、再度近傍判定を行い、保持されているテンプレートを入れ替える。こうすることで、近傍の判定にかかる処理時間等を軽減することができる。

（第２の実施形態の説明）
本発明の第２の実施形態に係る映像表示装置を、図８乃至図１０、及び図３を用いて説明する。
図８は、第２の実施形態に係る映像表示装置７の概略構成を示す機能ブロック図である。映像表示装置７は、表示制御部７０１、判定部７０２、並びに表示部１０４を含んで構成される。

第１の実施形態に係る映像表示装置１では、判定部１０３において、各サムネールを動画表示するか、静止画表示するかを判定していた。そして、判定部１０３からの指示に基づき、選択部１０２で、サムネール表示用のデータとして静止画データ、動画データのいずれかを選択していた。これに対し、第２の実施形態に係る映像表示装置７では、判定部７０２において、動画表示する各サムネールのフレームレートを、高くするか、中程度にするか、低くするかを、選択された（カーソルのあたった）サムネールと対象のサムネールとの論理的距離に基づいて判定する。そして、判定で得られた指示情報（各動画サムネールのフレームレート情報）を表示制御部７０１に与える。全てのサムネールが動画表示であるため、選択部１０２にあたる機能ブロックは無い。

判定部７０２の処理を、ここでは図３に示されたサムネールの表示形態の例を用いて説明する。なお、図４、図５に示した別のサムネールの表示形態の例を用いても同様の処理が行えることは、既に第１の実施形態で説明した通りであり、改めて説明するまでもない。

図３（ａ）を参照して、カーソルのあたったサムネールの座標（ｘ＿ｉ，ｙ＿ｉ）、他の任意のサムネールの座標（ｘ＿ｊ，ｙ＿ｊ）とし、サムネール間の距離Ｄ＿ｉ，ｊを上記式（１）と同様に、下記の式（４）で与える。
Ｄ＿ｉ，ｊ＝Ｒｏｏｔ｛（ｘ＿ｉ−ｘ＿ｊ）＾２＋（ｙ＿ｉ−ｙ＿ｊ）＾２｝・・（４）
この距離Ｄ＿ｉ，ｊに対し、判定部７０２では、フレームレート高とする閾値距離Ｄ＿Ｈ、フレームレート中とする閾値距離Ｄ＿Ｍ（Ｄ＿Ｈ＜Ｄ＿Ｍ）の２つを定義して用いる。即ち、
Ｄ＿ｉ，ｊ≦Ｄ＿Ｈ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを高いフレームレートで動画表示し、
Ｄ＿Ｈ＜Ｄ＿ｉ，ｊ≦Ｄ＿Ｍ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを中程度のフレームレートで動画表示し、
Ｄ＿Ｍ＜Ｄ＿ｉ，ｊ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを低いフレームレートで動画表示すると判定する。

図９に、本実施形態におけるサムネール表示の例を示す。図９に示すように、一覧表示されるサムネールは全て動画表示され、かつ、カーソルがあたっているサムネールを中心に、フレームレートの高いサムネール、中程度のサムネール、低いサムネールを表示する。また、図９（ａ）から図９（ｂ）に示されるように、カーソルが移動すると、カーソルの移動に同期してサムネールのフレームレートが変化する。即ち、カーソルの移動によってカーソル（のあたったサムネール）に近づいたサムネールはフレームレートが上がり、カーソルの移動によってカーソル（のあたったサムネール）から遠ざかったサムネールはフレームレートが下げられる。

なお、フレームレートのレベルは図示した３段階（高／中／低）とは限らず、２段階、あるいは４段階、更にそれ以上の多段階にすることも可能である。また、段階的に変えるのでなく、カーソルのあたったサムネールとの距離に応じて連続的にフレームレートを変化させることも可能である。即ち、フレームレートｒを変換式ｆ（）を用いて、
ｒ＝ｆ（Ｄ＿ｉ，ｊ）、但し
Ｄ＿ｉ，ｊ１＜Ｄ＿ｉ，ｊ２のとき、ｆ（Ｄ＿ｉ，ｊ１）＞ｆ（Ｄ＿ｉ，ｊ２）
により求めるとしてもよい。

本実施形態における表示制御部７０１は、上記した動画サムネール表示を実現するために、入力された１つの動画データに対して、指定されたフレームレートで映像を再生（符号化データの場合、復号処理を含む）する機能を有する。あるいは、表示制御部が任意の指定されたフレームレートで再生する機能を持たない場合に、本実施形態に係る映像表示装置を構成する他の機能ブロック図を示したのが、図１０である。

図１０の映像表示装置９は、表示制御部９０１が指定のフレームレートで映像を再生する機能を持たない代わりに、予めサムネール用の動画データとして複数種類の（図１０の例ではフレームレート高、中、低、３種類の）フレームレートの異なる動画データが与えられるものとし、それらのいずれを用いるかを判定部９０３から指示された選択部９０２が選択するように構成される。表示制御部９０１は、判定部９０３からの指示に従い、選択部９０２で選択されたフレームレートの異なる動画データを再生し、表示部１０４で表示する。

なお、第１の実施形態と同様に、本実施形態に係る映像表示装置７、９でも、近傍サムネールの範囲を判定部７０２、９０３でテンプレート化して保持し、近傍の判定をサムネール一覧表示の表示形態が変更されたときにのみ行うようにすることで、近傍の判定にかかる処理を軽減することができる。本実施形態では、フレームレート高とする近傍領域と、フレームレート中とする近傍領域との２つをテンプレート化して保持する。こうすることで、近傍の判定にかかる処理を軽減することができる。

（第３の実施形態の説明）
本発明の第３の実施形態に係る映像表示装置を、図１１、図１２、図１３及び図３を用いて説明する。
図１１は、本発明の第３の実施形態に係る映像表示装置１０の概略構成を示した機能ブロック図である。

本実施形態に係る映像表示装置１０の概略構成は、第１の実施形態と同様に図１で表されるが、映像表示装置１と映像表示装置１０とでは、判定部１０３と１００３、表示制御部１０１と１００１が異なる。

第１の実施形態にかかる映像表示装置１では、判定部１０３において、各サムネールを動画表示するか、静止画表示するかを判定していた。そして、選択部１０２で、サムネール表示用のデータとして静止画データ、動画データのいずれかを選択していた。また、第２の実施形態に係る映像表示装置７では、判定部７０２において、動画表示する各サムネールのフレームレートの高低を判定していた。これらに対して、第３の実施形態に係る映像表示装置１０では、判定部１００３において、各サムネールを動画表示するか静止画表示するか、並びに動画表示するサムネールのフレームレートの高低の判定を行うものとする。そして、判定部１００３は、上記判定した結果から、選択部１０２にはサムネール表示用のデータとして静止画データ、動画データのいずれかを選択するかを指示し、表示制御部１００１にはサムネールを静止画表示するか、あるいはいずれのフレームレートで動画表示するかを指示する。

判定部１００３の判定処理の動作について、ここでも第２の実施形態と同様に、図３に示されたサムネールの表示形態の例を用いて説明する。

なお、図４、図５に示した別のサムネールの表示形態の例を用いても同様の処理が行えることは、既に第１の実施形態で説明した通りであり、改めて説明するまでもない。

図３（ａ）を参照して、カーソルのあたったサムネールの座標（ｘ＿ｉ，ｙ＿ｉ）、他の任意のサムネールの座標（ｘ＿ｊ，ｙ＿ｊ）とし、サムネール間の距離Ｄ＿ｉ，ｊは、上記式（１）と同様、下式（５）で与えられる。
Ｄ＿ｉ，ｊ＝Ｒｏｏｔ｛（ｘ＿ｉ−ｘ＿ｊ）＾２＋（ｙ＿ｉ−ｙ＿ｊ）＾２｝・・（５）
この距離Ｄ＿ｉ，ｊに対し、判定部１００３では、フレームレート高で動画表示と判定する閾値距離Ｄ＿Ｈ、フレームレート中で動画表示と判定する閾値距離Ｄ＿Ｍ、フレームレート低で動画表示と判定する閾値距離Ｄ＿Ｌ（Ｄ＿Ｈ＜Ｄ＿Ｍ＜Ｄ＿Ｌ）の３つを定義して用いる。即ち、
Ｄ＿ｉ，ｊ≦Ｄ＿Ｈ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを高いフレームレートで動画表示し、
Ｄ＿Ｈ＜Ｄ＿ｉ，ｊ≦Ｄ＿Ｍ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを中程度のフレームレートで動画表示し、
Ｄ＿Ｍ＜Ｄ＿ｉ，ｊ≦Ｄ＿Ｌ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを低いフレームレートで動画表示し、
Ｄ＿Ｌ＜Ｄ＿ｉ，ｊ
の時、座標（ｘ＿ｊ、ｙ＿ｊ）のサムネールを静止画表示すると判定する。この判定式から明らかなように、この閾値Ｄ＿Ｌは、第１の実施形態における動画表示か静止画表示かを判定する閾値距離Ｄ＿Ｔにあたるものである。

図１２に、本実施形態におけるサムネール表示の例を示す。図１２に示すように、一覧表示されるサムネールはカーソルがあたっているサムネールを中心に、フレームレートの高い動画サムネール、フレームレートが中程度の動画サムネール、フレームレートの低い動画サムネールが表示され、さらにその外側に静止画サムネールを表示する。また、図１１（ａ）から図１１（ｂ）に示されるように、カーソルの移動に伴ってそれぞれのサムネールがいずれのフレームレートで動画表示されるか、あるいは静止画表示されるかも変化する。

なお、第２の実施形態と同様に、動画サムネールのフレームレートのレベルは３段階とは限らず、２段階、あるいは４段階、更にそれ以上の多段階にすることも可能である。また、段階的に変えるのでなく、カーソルのあたったサムネールとの距離に応じて連続的にフレームレートを変化させることも可能である。即ち、動画表示か静止画表示かを切替える閾値距離Ｄ＿Ｌ＝Ｄ＿Ｔを用いて、動画表示か静止画かを決定し、動画表示されるサムネールについては変換式ｒ＝ｆ（）でフレームレートｒを算出する。

本実施形態における表示制御部１００１は、上記した動画サムネール表示を実現するために、入力された１つの動画データに対して、指定されたフレームレートで映像を動画再生（符号化データの場合、復号処理を含む）する機能を有する。あるいは、表示制御部が任意の指定されたフレームレートで動画再生する機能を持たない場合に、本実施形態に係る映像表示装置を構成する他の機能ブロック図を示したのが、図１３である。

図１３の映像表示装置１１は、表示制御部１１０１が指定のフレームレートで映像を動画再生する機能を持たない代わりに、予めサムネール用の動画データとして複数種類（図１３の例ではフレームレート高、中、低、３種類）のフレームレートの異なる動画データが与えられるものとし、これらの動画データ並びに静止画データのいずれを用いるかを判定部１１０３から指示された選択部１１０２が選択するように構成される。表示制御部１１０１は、判定部１１０３からの指示に従い、選択部１１０２で選択されたフレームレートの異なる動画データもしくは静止画データを再生し、表示部１０４で表示する。

なお、第１及び第２の実施形態と同様に、本実施形態に係る映像表示装置１０、１１でも、近傍サムネールの範囲を判定部１００３、１１０３でテンプレート化して保持し、近傍の判定をサムネール一覧表示の表示形態が変更されたときにのみ行うようにすることで、近傍の判定にかかる処理を軽減することができる。

本実施形態では、フレームレート高の動画表示とする近傍領域、フレームレート中の動画表示とする近傍領域、フレームレート低の動画表示とする近傍領域の３つをテンプレート化して保持する。こうすることで、近傍の判定にかかる処理を軽減することができる。

本発明の映像表示装置は、カーソルをあてて選択されたサムネールに対して、選択されたサムネール及びその近傍のサムネールのみを動画表示することにより、ユーザが視点移動する確率の高い注視点の近辺（注視候補領域）は重点的に動画表示し、即ち高い情報量で映像表示し、視点移動の確率の低い注視点から離れた位置（非注視候補領域）は情報量の低い静止画表示とし、処理を軽減し、ユーザに対して効率良く映像情報の表示を可能とする。

また、本発明の映像表示装置は、カーソルをあてて選択されたサムネールに対して、選択されたサムネール及びその近傍のサムネールを高いフレームレートで、それ以外を低いフレームレートで動画表示することにより、ユーザが視点移動する確率の高い注視点の近辺（注視候補領域）は高フレームレートの動画で、即ち高い情報量で映像表示し、視点移動の確率の低い注視点から離れた位置（非注視候補領域）は情報量の低い低フレームレートの動画表示とし、処理を軽減し、ユーザに対して効率良く映像情報の表示を可能とする。

さらに、近傍サムネールであるか否かの判定はサムネールの表示形態に合せて行い、表示形態が変更された時にのみ近傍の範囲を求めるようにすることで、近傍の判定にかかる処理を軽減することを可能する。動画表示するサムネールの数は、復号器の数の制限や処理能力の制限等により決定する。

なお、上記各実施形態の説明では、注視点にあたるサムネールを選択する手段としてカーソルが用いられることを前提に説明したが、カーソルに限らずとも、一覧表示されたサムネールから特定のサムネールを選ぶ情報、その手段があれば、本発明で説明した映像表示装置、映像表示方法が同様に適用可能であることは言うまでもない。即ち、例えば視線検出手段が用意され、ユーザが視線移動により一覧表示されたサムネールから特定のサムネールを直接選択する手段が用意されれば、その視線検出手段で得られる情報を用いて注視サムネールを与え、以降は、その近傍を判断し動画表示するか否かを判定することで、本発明の映像表示装置、映像表示方法が適用される。従って、本発明の映像表示装置、映像表示方法は、任意の手段で特定のサムネールを選択する手段を備えればよい、と言える。

また、上記各実施形態の説明では、映像の（サムネールの）情報量を減らす手段として、動画を静止画にする、動画のフレームレートを下げる、の２つが用いられることを前提に説明したが、情報量を下げる（表示の処理を軽減する）ための手段はこれらに限られない。特に、動画表示する際の情報量を下げる手段としては、例えば、表示される動画の時間を短縮する（１０分の映像に対して先頭の３０秒のみを表示するなど）、表示される動画のサイズ（解像度）を下げる、といったことで情報量を下げること（即ち表示の処理を軽減すること）が可能である。即ち、本発明の映像表示装置、映像表示方法は、選択されたサムネールに対して、近傍のサムネールは高い情報量で表示し、近傍でないサムネールは低い情報量で（軽い処理で）表示する、任意の表示制御手段を備えればよい、と言える。あるいは、近傍であるほど高い情報量でサムネールを表示し、近傍から離れるほど低い情報量で（軽い処理で）表示する、任意の表示制御手段を備えればよい、と言える。

なお、ここで開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施形態に係る映像表示装置の概略構成を示した機能ブロック図である。 本発明の第１の実施形態に係る映像表示装置において操作と画面の変化の関係を示した図である。 本発明の第１の実施形態に係る映像表示装置においてサムネール表示の一表示形態を示した図である。 本発明の第１の実施形態に係る映像表示装置においてサムネール表示の他の一表示形態を示した図である。 本発明の第１の実施形態に係る映像表示装置においてサムネール表示のさらに他の一表示形態を示した図である。 本発明の第１の実施形態に係る映像表示装置において画面に表示されるサムネール一覧表示の表示例を示した図である。 本発明の第１の実施形態に係る映像表示装置において近傍の範囲をテンプレート化して扱う例を示した説明図である。 本発明の第２の実施形態に係る映像表示装置の概略構成を示した機能ブロック図である。 本発明の第２の実施形態に係る映像表示装置において画面に表示されるサムネール一覧表示の表示例を示した図である。 本発明の第２の実施形態に係る映像表示装置の他の概略構成を示した機能ブロック図である。 本発明の第３の実施形態に係る映像表示装置の概略構成を示した機能ブロック図である。 本発明の第３の実施形態に係る映像表示装置において画面に表示されるサムネール一覧表示の表示例を示した図である。 本発明の第３の実施形態に係る映像表示装置の他の概略構成を示した機能ブロック図である。

符号の説明

１、７、９、１０、１１ 映像表示装置
１０１、７０１、９０１、１００１、１１０１ 表示制御部
１０２、９０２、１１０２ 選択部
１０３、７０２、９０３、１００３、１１０３ 判定部
１０４ 表示部
２０１ 画面
２０２、２０２ａ サムネール
２０３ カーソル

Claims (15)

1. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、
   表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、
   前記特定サムネール選択手段により選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールの近傍にあるか否かを判定する判定手段と、
   前記判定手段において前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とする表示制御手段と、
   を備えることを特徴とする映像表示装置。
2. 前記判定手段は、前記第１のサムネールと前記第２のサムネールとの距離を求め、該距離を閾値判定することにより近傍にあるか否かを判定することを特徴とする請求項１に記載の映像表示装置。
3. 前記判定手段は、前記複数のサムネールの一覧表示の形態が変更されたときにのみ、前記閾値判定を行うことを特徴とする請求項２に記載の映像表示装置。
4. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、
   表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、
   前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールの近傍にあるか否かを判定するステップと、
   前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とするよう表示制御するステップと、
   を含むことを特徴とする映像表示方法。
5. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、
   表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、
   前記特定サムネール選択手段により選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定する判定手段と、
   前記判定手段において判定された前記近傍の度合いに基づいて、所定のフレームレートを与えて前記第２のサムネールを動画表示する表示制御手段と、
   を備えることを特徴とする映像表示装置。
6. 前記判定手段は、前記第１のサムネールと前記第２のサムネールとの距離を求め、該距離を閾値判定することにより前記近傍の度合いを判定することを特徴とする請求項５に記載の映像表示装置。
7. 前記判定手段は、前記複数のサムネールの一覧表示の形態が変更されたときにのみ、前記閾値判定を行うことを特徴とする請求項６に記載の映像表示装置。
8. 前記判定手段は、前記第１のサムネールと前記第２のサムネールとの距離を求め、該距離から前記近傍の度合いを関数演算により算出することを特徴とする請求項５に記載の映像表示装置。
9. 前記所定のフレームレートは、前記近傍の度合いが高いほど高く、前記近傍の度合いが低いほど低くすることを特徴とする請求項５から請求項８のいずれか１項に記載の映像表示装置。
10. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、
    表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、
    前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定するステップと、
    前記判定された前記近傍の度合いに基づいて、所定のフレームレートを与えて前記第２のサムネールを動画表示するように制御するステップと、
    を含むことを特徴とする映像表示方法。
11. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、
    表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、
    前記特定サムネール選択手段で選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定する判定手段と、
    前記判定手段において前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とし、前記判定手段において判定された前記近傍の度合いに基づいて、前記第２のサムネールの動画表示を異なる情報量でサムネール表示する表示制御手段と、
    を備えることを特徴とする映像表示装置。
12. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示装置であって、
    表示された前記複数のサムネールから特定の第１のサムネールを選択する特定サムネール選択手段と、
    前記特定サムネール選択手段で選択された前記第１のサムネールに対して、判定対象の第２のサムネールのうち少なくとも１つは動画表示であり、前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定する判定手段と、
    前記判定手段において判定された前記近傍の度合いに基づいて、前記第２のサムネールを解像度を変えて異なる情報量でサムネール表示する表示制御手段と、
    を備えることを特徴とする映像表示装置。
13. 前記サムネール表示する際の情報量は、前記近傍の度合いが高いほど高く、前記近傍の度合いが低いほど低くすることを特徴とする請求項１１又は１２に記載の映像表示装置。
14. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、
    表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、
    前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールが前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定するステップと、
    前記判定するステップにおいて前記第２のサムネールが前記第１のサムネールの近傍にあると判定されたとき、前記第２のサムネールを動画表示とし、前記第２のサムネールが前記第１のサムネールの近傍にないと判定されたとき、前記第２のサムネールを静止画表示とし、前記判定された前記近傍の度合いに基づいて、前記第２のサムネールの動画表示を異なる情報量でサムネール表示するよう表示制御するステップと、
    を含むことを特徴とする映像表示方法。
15. 複数の映像にそれぞれ対応した複数のサムネールを画面に一覧表示する映像表示方法であって、
    表示された前記複数のサムネールから特定の第１のサムネールを選択するステップと、
    前記選択された前記第１のサムネールに対して、判定対象の第２のサムネールのうち少なくとも１つは動画表示であり、前記第１のサムネールからどの程度離れているかを示す近傍の度合いを判定するステップと、
    前記判定された前記近傍の度合いに基づいて、前記第２のサムネールを解像度を変えて異なる情報量でサムネール表示するよう表示制御するステップと、
    を含むことを特徴とする映像表示方法。
    

Images