JP4945236B2 - 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム - Google Patents

映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム Download PDF

Info

Publication number
JP4945236B2
JP4945236B2 JP2006353421A JP2006353421A JP4945236B2 JP 4945236 B2 JP4945236 B2 JP 4945236B2 JP 2006353421 A JP2006353421 A JP 2006353421A JP 2006353421 A JP2006353421 A JP 2006353421A JP 4945236 B2 JP4945236 B2 JP 4945236B2
Authority
JP
Japan
Prior art keywords
content
time
image
display
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006353421A
Other languages
English (en)
Other versions
JP2008167082A (ja
Inventor
久 風間
貴久 米山
任志 中村
剛 上村
将幸 堀川
龍也 上原
浩一 粟津
浩幸 池本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006353421A priority Critical patent/JP4945236B2/ja
Priority to US11/964,277 priority patent/US20080159708A1/en
Publication of JP2008167082A publication Critical patent/JP2008167082A/ja
Application granted granted Critical
Publication of JP4945236B2 publication Critical patent/JP4945236B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • H04N21/4828—End-user interface for programme selection for searching programme descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラムに関する。
近年、ＴＶ番組等の映像コンテンツを長時間録画できる機器が普及してきた。そのような録画機器として、ハードディスク装置を内蔵した所謂ハードディスクレコーダ（以下、HDDレコーダと略す）、ホームサーバ、パーソナルコンピュータ（以下、PCと略す）等がある。これは、ハードディスク装置等の情報記録装置が、その記憶容量が大きくなり、かつ価格の面でも安価になってきたためである。
一般的なHDDレコーダであれば、ユーザは、その装置の有する機能を利用して、番組名等の一覧表示の中から、録画された複数の番組の中から絞り込んで視聴を希望する番組を選択する。このとき、選択候補となる複数の番組は、所謂サムネール形式で一覧表示され、ユーザはそのサムネールを観ながら番組の選択を行う。
また、最近は、複数のチューナを内蔵して現在放送中の複数の番組を録画可能な装置も実用化されている（例えば、非特許文献１参照）。そのような装置における、録画された複数の番組の表示も、新聞等における週間番組表と同じような表示である。
しかし、上述した従来の装置では、HDDレコーダ、ホームサーバ等に複数の映像コンテンツを録画しても、録画された映像コンテンツ間で関連するシーンの検索をすることはできなかった。
また、映像コンテンツの検索において、録画日時という１つの時間軸に沿って複数の映像コンテンツのタイトルをリスト表示するものはあったが、種々の時間的な関連を考慮した検索をすることもできなかった。例えば、複数の映像コンテンツがストアされたデータベースの中から、「XX年に録画されたコンテンツ」を検索することは、検索条件にその「XX年」を設定することによって可能であるが、ある映像コンテンツを視聴していた頃の時代設定がされた映像コンテンツを検索する、というような複数の時間的な関連を考慮した、検索はできなかった。
http://www.vaio.sony.co.jp/Products?/VGX-X90P/
そこで、本発明は、複数の映像コンテンツの中から所望のシーンあるいはコンテンツを容易に検索することができる映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラムを提供することを目的とする。
本発明の一態様によれば、記録された動画の複数の映像コンテンツのそれぞれについて、各映像コンテンツの情報から時間経過に沿った所定の数の静止画のサムネール画像を生成する静止画生成部と、前記複数の映像コンテンツのそれぞれについて、生成された前記所定の数の静止画の中から、指定された少なくとも一つの静止画以外の他の静止画を所定の形式で縮小したサムネール画像に変換する画像変換部と、前記複数の映像コンテンツの中の１のコンテンツの前記所定の数の静止画の中の１の静止画が指定されると、前記複数の映像コンテンツの中の前記１のコンテンツ以外の他のコンテンツの静止画中から、指定された前記１の静止画に関連する静止画を検索する検索部と、前記複数の映像コンテンツのそれぞれについて、前記少なくとも一つの静止画のサムネール画像と、前記他の静止画の前記縮小したサムネール画像を、表示装置の画面上の所定の経路に沿って、かつ前記時間経過に沿って配置した画像列を表示すると共に、前記検索部の検索により、前記他のコンテンツ中の前記関連する静止画として検索された静止画のサムネール画像を、前記所定の形式による縮小をしないで前記少なくとも一つの静止画のサムネール画像で表示する表示部と、を有する映像コンテンツ表示装置が提供される。
本発明の一態様によれば、映像コンテンツを表示する方法であって、記録された動画の複数の映像コンテンツのそれぞれについて、各映像コンテンツの情報から時間経過に沿った所定の数の静止画のサムネール画像を生成し、前記複数の映像コンテンツのそれぞれについて、生成された前記所定の数の静止画の中から、指定された少なくとも一つの静止画以外の他の静止画を所定の形式で縮小したサムネール画像に変換し、前記複数の映像コンテンツの中の１のコンテンツの前記所定の数の静止画の中の１の静止画が指定されると、前記複数の映像コンテンツの中の前記１のコンテンツ以外の他のコンテンツの静止画中から、指定された前記１の静止画に関連する静止画を検索し、前記複数の映像コンテンツのそれぞれについて、前記少なくとも一つの静止画のサムネール画像と、前記他の静止画の前記縮小したサムネール画像を、表示装置の画面上の所定の経路に沿って、かつ前記時間経過に沿って配置した画像列を表示すると共に、前記検索により、前記他のコンテンツ中の前記関連する静止画として検索された静止画のサムネール画像を、前記所定の形式による縮小をしないで前記少なくとも一つの静止画のサムネール画像で表示する映像コンテンツ表示方法が提供される。
本発明の一態様によれば、映像コンテンツを表示する方法を実現するためのプログラムであって、コンピュータに、記録された動画の複数の映像コンテンツのそれぞれについて、各映像コンテンツの情報から時間経過に沿った所定の数の静止画のサムネール画像を生成する静止画生成機能と、前記複数の映像コンテンツのそれぞれについて、生成された前記所定の数の静止画の中から、指定された少なくとも一つの静止画以外の他の静止画を所定の形式で縮小したサムネール画像に変換する画像変換機能と、前記複数の映像コンテンツのそれぞれについて、前記少なくとも一つの静止画のサムネール画像と、前記他の静止画の前記縮小したサムネール画像を、表示装置の画面上の所定の経路に沿って、かつ前記時間経過に沿って配置した画像列を表示すると共に、前記検索により、前記他のコンテンツ中の前記関連する静止画として検索された静止画のサムネール画像を、前記所定の形式による縮小をしないで前記少なくとも一つのサムネール画像で表示する表示機能と、を実現させるプログラムが提供される。
本発明によれば、複数の映像コンテンツの中から所望のシーンあるいはコンテンツを容易に検索することができる映像コンテンツ表示装置を実現することができる。
以下、図面を参照して本発明の実施の形態を説明する。
まず図１に基づき、本実施の形態に係わる映像コンテンツ表示システムの構成を説明する。以下、本発明の実施の形態を、映像コンテンツ表示装置として説明するが、その映像コンテンツ表示装置は、具体的な例を挙げれば、テレビ（TV）録画機等のTV表示装置、TV録画装置あるいはそれらのシステム、ＤＶＤ等の映像コンテンツ記録媒体再生装置あるいはシステム、映像ネットワークサーバ、映像コンテンツ配信システムなど、複数の映像コンテンツを蓄積しあるいは提供する装置等である。
１．装置構成
図１は、本実施の形態に係わる映像コンテンツ表示システムの構成を示すブロック構成図である。
映像コンテンツ表示システムである映像コンテンツ表示装置１は、コンテンツ記憶部１０と、表示生成部１１と、入力デバイス１２と、出力デバイス１３とを含む。
コンテンツ記憶部１０は、映像コンテンツをデジタル化し、例えば内蔵ハードディスクあるいは外部の大容量メモリ（ネットワークを介して接続されていてもよい）等の記憶装置１０Ａに記録し蓄積するための処理部である。コンテンツ記憶部１０に蓄積すなわち記録された複数の映像コンテンツには、放送番組を録画したコンテンツ、配信された有料または無料のコンテンツ、自分で撮影したホームビデオのコンテンツ、仲間または家庭内で共有して蓄積したコンテンツ、パッケージメディアで配布されたコンテンツを記録したコンテンツ、家庭内の機器で作成または編集したコンテンツ、等の様々な映像コンテンツである。
表示生成部１１は、後述するような中央処理装置(ＣＰＵ)を有し、入力デバイス１２から入力された情報と、内部で保有する３次元表示に関する情報を利用して、コンテンツ記憶部１０内に蓄積されたコンテンツを、３次元の画像を２次元平面に投影するための変換をしたり、複数の静止画を画像列の形式で表示するための変換をしたり、各種の装飾や効果付け、重ね合わせ処理、等を行って、３次元グラフィカル・ユーザ・インターフェース（以下、ＧＵＩと略す）の画面を生成するための処理部である。
入力デバイス１２は、例えばコンピュータのキーボードやマウス、テレビ（ＴＶ）のリモコン、リモコンに変わる機能を持つデバイスなどであり、表示方法の指定のための入力やＧＵＩのコマンド入力を行うための装置である。
出力デバイス１３は、例えばディスプレイ装置またはＴＶ画面表示装置であり、２次元及び３次元ＧＵＩの画面を表示するための装置である。出力デバイス１３は、ディスプレイの他にも、映像コンテンツに含まれる音声を出力するためのスピーカ等の音声出力部も含む。
なお、映像コンテンツ表示装置１における、映像コンテンツを録画、再生、編集、転送、するための機能及び処理方法については、説明を省略する。また、図１の映像コンテンツ表示装置１は、他の様々な、録画、再生、編集、転送する機能を持つ機器と組み合わせて利用するようにしてもよい。
ユーザは、入力デバイス１２を操作して表示生成部１１に所定のコマンドを送信することによって、映像コンテンツ（以下、単にコンテンツともいう）に関する情報を、コンテンツ記憶部１０を介して記憶装置１０Ａに記録することができる。そして、ユーザは、入力デバイス１２を操作して映像コンテンツ表示装置１に所定のコマンドを送信することによって、コンテンツ記憶部１０を介して、記憶装置１０Ａに記録された複数のコンテンツの中から観たいコンテンツを検索して再生させ、出力デバイス１３の画面に表示させて、コンテンツを視聴することができる。
映像コンテンツ表示装置１における各種処理は、表示生成部１１によって統括的に実行される。表示生成部１１は、図示しないCPU、ROM、RAM等を含む。表示生成部１１は、CPUによりROM等に予め記憶されたソフトウエアプログラムを実行することによって、録画、再生等の各種処理に対応した機能を実現する。
本実施の形態では、CPUは、例えば、並列処理可能なマルチコア・マルチプロセッサ・アーキテクチャを有し、かつリアルタイムOS(オペレーティングシステム)を実行可能なプロセッサである。従って、表示生成部１１は、大量のデータ、特に映像データを高速かつ並列に処理することができる。
２．表示生成部のハードウエア構成
具体的には、表示生成部１１は、例えば、６４ビットCPUコアと、１２８ビットのレジスタを扱う８個の独立した信号処理プロセッサSPE（synergistic processing element）と、からなる合計９個のプロセッサ群を１チップに集積した並列処理可能なプロセッサを用いて構成される。SPEは、マルチメディア・データやストリーミング・データを扱うには好適である。各SPEは、異なる信号処理を並列に実行するために、２５６Kバイトのローカルメモリとして、パイプライン動作するシングル・ポートのSRAMを有している。
図２は、表示生成部１１に含まれるこのようなプロセッサの構成例を示すブロック図である。プロセッサ７０は、８個のSPE７２と、親プロセッサとなるコアCPU７３と、２つのインターフェース部７４，７５を有し、互いに内部バス７６を介して接続されている。各SPE７２は、コプロセッサである演算部７２ａと、ローカルメモリ７２ｂとを含んで構成されている。ローカルメモリ７２ｂは、演算部７２ａと接続されており、演算部７２ａで実行するプログラムのアドレス空間が互いに干渉しないように、SPE７２のロード命令とストア命令は、システム全体のアドレス空間ではなく、それぞれが備えるローカルメモリ７２ｂを対象としたローカルなアドレス空間を利用する。また、ローカルメモリ７２ｂは、内部バス７６と接続されている。各SPE７２に組み込まれたDMAコントローラ（図示せず）を使用することで、SPE７２の演算部７２ａにおける命令の実行と並行して、主メモリとの間のデータ転送をソフトウエアによりスケジューリングが可能である。
コアCPU７３は、２次キャッシュ７３ａ、１次キャッシュ７３ｂおよび演算部７３ｃを含む。インターフェース部７４は、メモリインターフェースとしての２チャンネルのXDRのDRAMインターフェースであり、インターフェース部７５は、システムインターフェースとしてのFlexIOインターフェースである。
このような並列処理可能なマルチコア・マルチプロセッサ・アーキテクチャのプロセッサを用いることによって、後述する、サムネール画像の生成、検索、表示等の並列処理がスムーズに実行され得る。なお、CPUは、１つのチップからなるプロセッサでなくても、複数個組み合わせたプロセッサでもよい。
３．入力デバイスの構成
図３は、入力デバイス１２の例としてのリモコンを示す。図３は、入力デバイス１２としてのリモコンのキー配列の例を示すリモコンの平面図である。リモコン１２Ａの表面には、ユーザが指で操作できる複数のボタンとキーが配置されている。
リモコン１２Ａは、電源ボタン９１と、チャンネル切換ボタン９２と、音量変更ボタン９３と、チャンネル直接切換ボタン９４と、カーソルを上下左右に移動させる十字キー９５と、ホームボタン９６と、番組表ボタン９７と、サブメニューボタン９７と、戻るボタン９８と、各種録画及び再生機能キー群９９とを備える。
十字キー９５は、２重のリング形状のキー（以下、リングキーという）９５ａ、９５ｂを有している。内側のリングキー９５ａの内側には、選択すなわち実行の機能のための実行キー９５ｃが設けられている。
さらに、リモコン１２Ａは、GUI１ボタン９５ｄと、GUI２ボタン９５ｅを有する。GUI１ボタン９５ｄとGUI２ボタン９５ｅの機能については後述する。なお、リモコン１２Aは、さらにGUI3ボタン９５ｆを有しているが、GUI3ボタン９５ｆについては、後述する変形例において説明する。
以下の説明では、入力デバイス１２が、図３のリモコン１２Ａである場合を説明する。ユーザは、出力デバイス１３の表示画面を観てリモコン１２Ａを操作しながら、各種コマンドを表示生成部１１へ送信することができる。コンテンツ記憶部１０には、各コンテンツが蓄積されており、ユーザは、入力デバイス１２を操作して、所望のコンテンツを検索し、視聴することができる。表示生成部１１が、リモコン１２Ａからのコマンドに応じて、後述する検索、表示等の各種処理を実行する。
４．コンテンツ情報のデータ構造
次に、記憶装置１０Ａに記憶されるコンテンツ（ここでは動画コンテンツ）に関する情報について説明する。
記憶装置１０Ａに記憶されたコンテンツには、コンテンツ毎に図４に示すようなコンテンツ情報が付与される。図４から図８は、各コンテンツに付与されるコンテンツ情報のデータ構造を説明するための図である。
なお、図４から図８に示すデータ構造は、本実施の形態における一例であって、データ構造には自由度がある。よって、図４から図８に示すように、階層構造を構成して、数値データやテキストデータを構造化することは、様々な構造により実現可能である。図４から図８のデータ構造は、多重階層構造になっているが、本質的には１層でも構造化できる。このような、数値、テキスト、リンク情報、階層構造などを含む多種多様なデータを構造化する方法は、一般に種々知られており、例えば、XML(eXtensible Mark-up Language)形式を使えば実現可能である。映像コンテンツ表示装置１の形態にあわせて柔軟にデータ構造や記録形式を選択すればよい。
図４に示すように、コンテンツ情報は、Id、時間軸データ、数値データ、テキストデータ、視聴者別データ、リストデータ、時系列データを含む。図４から図８のコンテンツ情報は、記憶装置１０Ａに記録されている。
図４のデータは、テーブル形式のデータであるが、各項目はポインタにより指定されたデータを含む。例えば、時間軸データは、ポインタにより、別のテーブルデータとして、入手情報、制作情報、内容に関する情報等のデータを有する。従って、コンテンツ情報は、各項目が可変長データである情報である。特に、コンテンツ情報は、複数の時間軸のそれぞれに関して、時間情報のデータを有し、さらに、時系列データとのリンク情報を有している。
図４のデータ構造において、Ｉｄは、映像コンテンツを一意に特定するための識別子としての識別番号である。
図４の時間軸データの詳細については、後述する。
図４の数値データは、各コンテンツの特徴を数値で表現したデータであり、例えばコンテンツの時間長（コンテンツが何時間何分の長さを持つのか）や、録画したときのチャンネル等のデータである。また、数値データには、各コンテンツの録画時のビットレート設定や、録画モード（二ヶ国語放送のどの音声チャンネルを録画したか、ＤＶＤ互換モードで録画したか、等）など、機器のモード設定を数値として登録した情報も含まれる。
図４のテキストデータは、例えば番組のタイトル名や、EPG（電子番組表）で供給される番組のメタ情報であり、これらはテキストデータとして供給されるので、テキストデータとして記録される。また、番組の受信後に、画像認識処理、音声音響認識処理等の知的解析作業を行うことにより、スポーツなら競技名、スポーツやドラマであれば登場人物名、登場人数、などを、テキストデータとして、追加して記録することができる。画像認識処理、音声音響認識処理等により自動的に認識できない場合でも、ユーザが別途、テキストで情報を入力することで、テキストデータとして記録するようにしても良い。さらに言えば、図４から図８のデータ構造の中には、EPG等でも供給されず、画像認識処理や音響音声認識処理でも認識できず、さらにユーザの入力も無いデータがあっても良い。データの無い項目は、空欄（ブランク）にして、ユーザは、自己が楽しむために必要な範囲で必要なデータを入力すればよい。なお、ホームビデオのように、自己が撮影したコンテンツであれば、撮影者、撮影場所、その時の天気などもコンテンツを整理したり検索する際に有用な情報であるので、ユーザは、テキストデータの一部として記録するようにしてもよい。
さらになお、後述するように、コンテンツを共有する他の者、例えば仲間、とコンテンツを共有することができれば、お互いにコンテンツ情報を充実させることができ、お互いに使いやすくて検索探索が容易な表示画面を得ることができるようになる。ネットワークで配信される番組のようなものは、各個人が持つコンテンツは共通なので、ネットワークサーバ上にコンテンツのメタデータ（コンテンツ情報）のデータベースを構築し、仲間もしくは不特定多数のメンバーでデータを書き込んで共有するようにしてもよい。
図５は、図４の時間軸データの詳細を説明するための図である。
図５に示すように、時間軸データは、さらに階層的に構成されており、コンテンツの入手情報、コンテンツの制作情報、コンテンツの内容に関する情報などに分類された複数の項目の時間軸を含む。
コンテンツの入手情報は、入手手段に応じて様々なものがある。例えばネットワーク経由で配信されるコンテンツであれば、入手情報として受信日時がある。ネットワーク配信形式やパッケージ配布形式の有料コンテンツであれば、入手情報として購買日時がある。放送をHDD内蔵のビデオレコーダなどで録画すれば、入手情報として録画日時がある。よって、入手情報は、ダウンロード日時、購買日時、録画日時、等の時間軸の情報である。なお、後述するように、日時には、年、月、日、時、分、秒まで含む場合もあれば、年だけ、あるいは年月だけ、分秒は無しのように、時間的な長さを有する区間を示す時間を含む場合もある。例えば、時代設定などの時間情報が曖昧であったり、イベントなど時間的に一瞬でなく時間長のある情報であれば、区間データとして登録してもよい。時間情報が曖昧だったり、時間長がある情報の場合、日時は、区間データにした方が、後で検索したときに抽出され易くなる。そのため、時代設定等の時間軸では、「西暦１６００年」等の場合、「１６００年１月１日０時００分」という瞬間の時間ではなく、「１６００年１月１日０時００分００秒〜１６００年１２月３１日２３時５９分５９秒」のように区間データとなる。さらに、録画日時、制作日時等も、精密な時間データを入手できない場合もあるので、そのような場合も、このような区間データを設定することで、検索したときに抽出されやすくなる。
コンテンツの制作情報は、制作日時、撮影日時、編集日時、公開日時（例えば映画コンテンツであれば劇場公開日や、DVDとしての販売開始日など）、放送日時（TV放送であれば初回の放送日時や、再放送した日時）などの時間軸の情報である。
コンテンツの内容に関する時間軸情報は、例えば、コンテンツが設定する時代の日時（例えば、時代劇であれば江戸時代のある日時であったり、源平合戦劇であれば平安時代のある日時である）などの時間軸の情報である。
時間軸の情報には、コンテンツ供給者あるいはコンテンツ媒介者が提供しなければ入手不可能な情報（例えば撮影日時）と、コンテンツ視聴者（コンテンツ消費者）が入手できる情報がある。また、コンテンツ別のデータ（例えばTVからの録画日時）もあるが、コンテンツ別のデータには、同じコンテンツを所有する仲間と共有できるデータ（例えばコンテンツの最初の放送日時）もある。
すなわち、コンテンツ情報には、数値データ、テキストデータ、時間軸データ、後述する視聴者別データ等、様々なデータが存在するが、共有できるものはネットワークなどを利用して共有すればよく、コンテンツの供給者から提供されるデータは必要な経路で入手して登録するようにしてもよい。仮に、その供給者からデータが提供されないのであれば（例えば、映画コンテンツなどの撮影日時）、その項目は空欄となる。視聴者が入力すべき情報であれば視聴者が入力する。要するに、様々な情報が、なるべく多く集めて登録され、それらの情報が充実すればするほど、後述する時間の複数次元（以下では３次元）表示をしてコンテンツを検索するときに多様な共起関係による検索、言い換えれば連想による検索が可能になる。
図６は、視聴者別データの詳細を説明するための図である。視聴者別データにおける各視聴者データも、時間軸データ、数値データ、テキストデータ等を含む。視聴者別の時間軸データには、最初の視聴日時や、最後の視聴日時がある。特に、視聴者別に生年月日のデータを記録しておけば、コンテンツの、各種時間軸データを、絶対時間だけでなく、計算処理をすることにより、自分の生まれた日を基準に計算した時間に変換して、その変換された時間を、検索、表示に利用することもできる。なお、絶対時間とは、コンテンツのライフイベント、例えば、誕生、変化、内容、視聴等の各イベントの発生時間を一意に特定できる時間であり、例えば、西暦の年月日と時分を示すような基準となる時間であり、言わば、コンテンツのライフイベントを記録するための時間軸の時間である。
換言すれば、時間軸データとして、多様な時間軸、(1)コンテンツのタイムカウンタ、(2)コンテンツを視聴した日時、(3)コンテンツを録画した日時、(4)コンテンツを入手した日時、(5)コンテンツまたはシーンが設定する年代や日時、(6)コンテンツの制作日時、(7)コンテンツの放送日時、(8)自分の人生の時間軸、等を用意することができる。
そして、人間の想起（映像コンテンツを記憶に基づいて探すときの思考）は、時間軸で行われることが多いことと、人間が想起したり発想するときの思考方法は、コンテンツの多様な側面での関係と多様な関連付けを利用するものであるので、多様な時間軸を用意しておけば、ユーザにとっては、所望のコンテンツあるいはシーンを検索することが容易となる。
さらに、従来のように、例えば、ジャンル、登場人物等のキーワード等で映像コンテンツを整理しようとすると、座標軸は一つでは足りないし、座標値を一意に定めることができなくなる。
しかし、時間軸は各映像コンテンツを一意に座標を定めることができる。
従って、複数の多様な時間軸を用意することは、ユーザにとっては、コンテンツの検索を自由な発想で行うことができることに繋がる。
図７は、リストデータの詳細を説明するための図である。リストデータは、例えばコンテンツ内の、カットのタイムコードリスト、チャプタのタイムコードリスト等のデータである。カットやチャプタは、元のコンテンツと同様に、一単位のコンテンツとみなすことができるので、再帰的に図４に示すコンテンツデータの構造を有する。但し、カットやチャプタなど、分割後の「子」のコンテンツは、「親」のコンテンツの情報を（例えば購買日時、録画日時、制作日時などの情報を）継承する。
図８は、時系列データの詳細を説明するための図である。時系列データは、コンテンツ内の時系列データであり、コンテンツ内で動的に変化するデータである。時系列データは、例えば、数値データである。数値データは、例えば、ビットレート、音声信号の音量レベル、コンテンツ内の登場人物の会話の音量レベル、例えばサッカー番組であればその盛り上がりレベル、特定の登場人物の顔を認識したときの判定値、画面内の顔画像の面積、放送番組であれば視聴率、などである。これらの時系列データは、音響音声処理、画像認識処理、ネットワークを使った検索処理の結果、生成され、あるいは得られる。例えば、音声信号の音量レベル、会話の音量レベル、盛り上がりレベルなどは、音響あるいは音声のデータ処理により、BGM（背景音楽）、雑音及び会話音を識別した上で、所定の音の音量を測定し、あるいは時系列的な周波数特性を解析することにより、決定、すなわちレベル付けすることができる。また、顔検出、顔認識等の判定値は、画像認識処理により、顔の大きさ及び位置を数値化し、ある特定人物が登場している確率を数値化することにより得ることができる。また、番組の動的な視聴率データも、他の装置または他の情報源からネットワークを介して入手することが可能である。また、時系列データは、テキストデータでもよく、画像処理や音声認識処理を使えば、テキストデータとしても実際に獲得可能であり、データ構造に加えることも可能である。
図４から図８に示したデータ構造を有するコンテンツ情報と共に、複数のコンテンツが記憶装置１０Ａに記憶される。記憶装置１０Ａは、各コンテンツの時間軸に関する時間情報を記憶する時間情報記憶部、及び各コンテンツの時系列データを記憶する時系列情報記憶部を構成する。
以上説明した、記憶装置１０Ａに記録された複数のコンテンツとその複数のコンテンツのそれぞれのコンテンツ情報とを用いて、映像コンテンツ表示装置１は、以下に説明する図９、図１１等の３次元表示画面、図１８、図２５等の画像列表示画面を、出力デバイス１３の表示画面上に表示する処理を行う。表示生成部１１は、リモコン１２Ａからの指示に応じて、各種画面を生成して、出力デバイス１３の画面上に所定の画像を表示する。
５．表示生成部の作用
５．１ GUI1の表示例
次に、以上のように構成された映像コンテンツ表示装置１の作用を説明する。
初めに、３次元表示画面であるGUI1の画面について説明する。あるコンテンツを視聴している、あるいは視聴し終わったときに、ユーザは、リモコン１２ＡのGUI１ボタン９５ｄを押すと、図９の画面が、出力デバイス１３の表示画面上に表示される。GUI1ボタン９５ｄは、表示生成部１１に対して、例えば図９のような、３次元空間内に複数のコンテンツ（シーンでもよい）が配置された状態を示す３次元表示画面の情報を生成させ、出力デバイス１３の表示画面上に、その情報に基づく３次元表示画面を表示させる処理を行わせるコマンドを出力するための指示部である。
図９は、３つの時間軸により構成される仮想空間内に存在する複数のコンテンツを、所定の表示形態で（図９ではブロック形状で）３次元的に表示した表示例を示す図である。
図９は、ユーザのビュー空間（以下、ユーザビュー空間という）を、例えば液晶パネルである出力デバイス１３の表示画面上に、３次元的に表示した画面の表示例である。出力デバイス１３の表示画面上には、表示生成部１１が生成したユーザビュー空間の３次元画像を所定の視点から観たときの２次元平面に投影した画像が表示される。
図９において、仮想の３次元空間であるユーザビュー空間１０１内には、複数のブロックが、所定の３つの時間軸のそれぞれの軸の対応する時間位置に配置されるように表示されている。各ブロックは、１つのコンテンツを示す。
図９に示す各ブロックの大きさは、３次元空間のユーザビュー空間１０１内では同じ大きさであるが、ユーザの視点に近い側に存在するブロックは大きく表示され、ユーザの視点から遠い側に存在するブロックは、小さく表示される。例えば、１つのコンテンツ１１２ａのブロックは、ユーザビュー空間１０１内では、ユーザの視点に近い側に存在するため大きく表示され、他のコンテンツ１１２ｂのブロックは、コンテンツ１１２ａよりも奥側、すなわちユーザの視点から遠い側に存在するため小さく表示されている。なお、各ブロックの大きさを、３次元空間のユーザビュー空間１０１内では、各コンテンツの量、例えば、数値データの中のコンテンツの時間長に応じた大きさにしてもよい。
図９は、それぞれが１つのコンテンツを示す複数のブロックを、３つの時間軸に対して、所定の視点から観たときの表示例を示す。図９では、その３つの時間軸として、コンテンツの制作日時の時間軸が割り当てられた第１の時間軸（Ｘ軸）と、ストーリの設定日時の時間軸が割り当てられた第２の時間軸（Ｙ軸）と、コンテンツの録画日時の時間軸が割り当てられた第３の時間軸（Ｚ軸）が予め設定されて、複数のコンテンツが、これら３つの時間軸に関して対応する位置に配置されて表示されている。
なお、図９の画面において、各軸が何の時間軸を示すかを、ユーザが認識できるように、各軸の近傍に時間軸の名前を表示するようにしてもよい。
さらに、各軸を表示するか否かを選択できるようにしたり、各軸のスケールがユーザに判るように、ルーラー表示（例えば、「ここからが１９９９年」と分かるような表示）を付加するようにしてもよい。
図１０を用いて、コンテンツの配置について説明する。図１０は、３つの時間軸と、１つのコンテンツの位置関係を説明するための図である。図１０に示すように、あるコンテンツ１１２ｘのコンテンツ情報が、３つの時間軸データとして、制作日時データＸ１と、時代設定の日時データＹ１と、録画日時データＺ１を有している場合、ＸＹＺの３次元空間内において、その中心位置が（Ｘ１，Ｙ１，Ｚ１）となる位置に、コンテンツ１１２ａのブロックは配置される。そして、所定の視点位置から、観たときの大きさと、形状で、出力デバイス１３の表示画面上に表示するように、表示生成部１１は、ブロック１１２ａの投影画像を生成して出力する。
なお、例えば、時代設定の時間軸などのように、時間軸によっては、複数のコンテンツが、時間軸上で、極めて離れて位置する場合がある。そのような場合は、時間軸のスケールを、例えば対数目盛りにして、各コンテンツの位置を対応させるようなスケールの変更をしてもよい。そのようにすれば、例えば、一般に現代に近くなるほど密な時間密度になり、過去あるいは未来になるほど疎な時間密度になる。
また、時代設定の日時を利用する場合は、時代によってコンテンツが沢山あったり、ほとんど無かったりという傾向がある。例えば、織田信長から徳川家康までは多数のコンテンツが存在するが、江戸安定期はコンテンツが減るなどの傾向がある。このような場合は、むしろ時間順だけを保ち軸のプロット間隔は、コンテンツの配置が一様になるように、表示がされるように時間軸上の時間間隔を設定するようにしてもよい。
さらになお、時間軸データの中には、年月日のデータがなく、年データだけ、あるいは年月のデータだけしかないものがある場合がある。そのような場合は、表示生成部１１は、所定のルールに従って、GUI1の表示のための時間軸データを決定する。例えば、時間軸データが「２０００年２月」であれば、「２０００年２月１日」のデータとして処理される、というようなルールを用いることによって、表示生成部１１は、各ブロックの配置をすることができる。
図９の表示状態において、ユーザは、例えば、リモコン１２Aの十字キーを操作して、カーソルを所望のコンテンツに移動して、そのコンテンツをフォーカス状態にさせることができる。そして、表示されているコンテンツ毎に、各コンテンツの近傍に３つの時間軸の時間データを表示するようにしてもよい。
そして、フォーカス状態のコンテンツは、フォーカス状態にあることを示すために、他のコンテンツとは異なる表示形態、例えばコンテンツのサムネールに黄色の枠を付加したり、輝度を高くする等の形態で表示する。
また、図９の画面の視点は、常にそのフォーカス状態のコンテンツを中心に表示するように変化するようにしてもよいし、３次元空間内の任意の点を視点位置としてもよい。
フォーカスコンテンツの移動（選択）及び視点位置の移動は、リモコン１２Aの２つのリングキー９５ａ、９５ｂの矢印方向を示すキーを利用して、上下方向、左右方向、及び奥行きあるいは手前方向の移動に移動できるようにしてもよい。
あるいは、これらの移動は、サブメニューを表示させて、そのサブメニューの中から、移動方向を選択させることによってできるようにしてもよい。具体的には、３次元空間のそれぞれの軸の正負の２方向（全部で６方向）を指定することで、視線方向を選択できるようにするとユーザにとっては、使い勝手が良くなる。
また、ユーザビュー空間の大きさは、種々の方法で設定できるようにしてもよい。例えば、１）各軸共通に、所定の時間幅（例えば前後３日分）にする、２）軸毎に時間幅を異ならせる（例えば、Ｘ軸は前後３日分、Ｙ軸は前後５日分、Z軸は前記３年分）、３）軸毎にスケールを異ならせる（X軸は線形スケールで、Y軸はログスケール等）、４）軸毎にフォーカスされたコンテンツを含めて前後合わせて所定数（例えば５つ）のコンテンツが抽出される範囲とする（この場合、複数のコンテンツが密に存在すればその範囲は小さくなり、疎に存在すればその範囲は大きくなる）、５）軸毎にフォーカスされたコンテンツを含めて所定数のコンテンツが抽出される範囲とする場合に、各軸の範囲を決定する順番を変更できるようにする（２番目の順番の軸の範囲を決めたときに、１番目の軸の範囲を修正できるようにする）、６）所定数以上のコンテンツが存在する場合は、サンプリングしたものだけを表示する、あるいは各コンテンツを示すブロックの大きさを変更する、等の種々の方法を選択、あるいは設定できるようにしてもよい。
図９に示すように、各ブロックの視点側の面に、対応するコンテンツのサムネール画像を貼り付けるようにしてもよい。なお、そのサムネールは、静止画でもよいし、動画でもよい。出力デバイス１３の画面上に表示されるユーザビュー空間１０１は、視点位置、視線方向、視野角等を設定することによって、２次元画面への投影像として生成することができる。さらに、各ブロックの面上もしくは近傍に、コンテンツのタイトルを表示するようにしてもよい。
図１１は、視点位置等を変更して、Ｙ軸が画面の中心点を通るようにしたときのユーザビュー空間の表示例を示す図である。図１１は、２次元空間への投影像の例を示す。図１１では、Ｙ軸が中心点を通るようにしたので、Y軸はユーザには観えていない。図１１の場合、各コンテンツは、ブロックではなく、サムネール画像で示されており、各サムネール画像は同じ大きさであるが、視点位置からの距離に応じて大きさが異なって表示されている。
なお、図９及び図１１では、視点位置から観たときに重なる２つ以上のコンテンツのブロックがあれば、前のブロックの後ろに位置する後のブロックのサムネール画像が観えるように、その後のブロックの前にある前のブロックを透過性を有する表示状態にするようにしてもよい。
図１２は、図９又は図１１の表示おける各コンテンツの位置関係を説明するための図である。図１２は、ＸＹＺの３軸に対して、所定の視点位置から観たときの斜視図である。図１２の場合、各コンテンツに対してサムネール画像を１枚（サムネールは静止画の場合もあるし動画の場合もある）割り当て、例えばサムネールの中心位置が所望の位置に該当するように配置する。図１２ではサムネールの表面は同じ方向を向いている。
表示生成部１１は、図１２の３次元空間構成に対して、視点位置、視線方向、視野角などを設定することによって、図９又は図１１に示す３次元表示画面を生成することができる。ユーザは、リモコン１２Ａを操作して、表示画面上に観える各時間軸の位置を、３次元空間の中の所望の位置となるようにしたり、視線方向を変更する等のための各種設定を変更することができる。
このように視点位置、視線方向あるいは視野角を変化させることによって、所望の観点（まさに観点）からコンテンツ群を、ユーザは俯瞰することができる。また、空間を構成する時間軸を他の時間軸、例えばコンテンツ購買日時に交換すれば、ユーザは、同時期に購入したコンテンツを探すというような検索も簡単にすることができる。
また、例えば、視聴者であるユーザの生年月日の日時を基準位置として、例えば３軸の交点位置として指定して、各時間軸上で複数のコンテンツを並べ直すと、そのユーザは、自分が撮影されたビデオコンテンツと観比べながら、ビデオ中のこの姿の年頃にしばしば観たＴＶ番組を探すということも簡単にできる。
なお、時間軸データの原点位置、すなわち、3つの時間軸の交点は、各時間軸において任意に設定可能である。例えば、図９の場合、GUI１ボタン９５ｄを押す前にそれまでユーザが視聴していたコンテンツの制作日時（X軸）、コンテンツのストーリの時代設定日時（Ｙ軸）、及び録画日時（Ｚ軸）のそれぞれデータが、原点位置のデータとなる。
さらになお、例えば、図１２では、シーンの時代設定日時が前後（奥行き）方向の時間軸、すなわちY軸となっているため、コンテンツ及びシーンの集合として表示される静止画及び動画は、図１２では前後（奥行き）方向に長さを持たない表現となっているが、コンテンツ及びシーンの集合が持つ時間軸情報によっては、前後（奥行き）方向に長さを持つ表現とすることもできる。
図１３は、各コンテンツの時間軸情報によって前後方向に長さを持つ表現とした表示例を示す図である。図１３は、例えば、ユーザが、コンテンツあるいはシーンの集合をブラウズあるいは視聴する３次元空間の時間軸として、コンテンツ再生視聴日時、シーンのコンテンツ内での経過時間、コンテンツ制作日時、をそれぞれ選択して設定した場合に、コンテンツおよびシーンの集合が３次元的に表示されたときの画面表示例である。図１３では、ユーザが、コンテンツ再生視聴日時（視聴日時）が横軸（X軸）に、シーンのコンテンツ内での経過時間（作品内時間、すなわちタイムコード）が前後（奥行き）軸（Y軸）に、コンテンツ制作日時（制作日時）が上下軸（Z軸）になり、かつ所定の視点からの表示を設定した際の画面表示例が示されている。図１３では、例えば、コンテンツ１１２ａは、Y軸方向に長さＬａを有するような画像の集合として表示されている。ユーザは、上述したように、リモコン１２Aを操作することによってこれらの直交する３つの時間軸上の時間が３次元空間の中で所望の位置となるように、その時間の設定を変更することができる。
尚、図１３の例では、シーンのコンテンツ内での経過時間（作品内時間）が前後（奥行き）軸となっているため、シーンの表現として表示される静止画および動画は、前後（奥行き）方向に映像コンテンツ分の長さを持つ表現となっているが、上述したように、ユーザが選択する時間軸、あるいはコンテンツあるいはシーンの集合が持つ時間情報によっては、前後（奥行き）方向に長さを持たない表現となりうる。
また、図１３において、３次元空間上に配置されたコンテンツのサムネール画像を、２次元画面上の投影像として生成するときに、サムネール画像を３次元空間上で１つの方向、例えば、Y軸と平行な方向に向くように配置してもよいし、サムネール画像を視線方向に対して正面を向くようにサムネール画像の向きを変更して配置するようにしてもよい。
さらに、時間軸を変更したり、視点位置を変更すると、２次元投影像の観え方が変化する。このときに、各コンテンツのサムネール画像の向きを３次元空間内で、所定の時間軸などに対して固定しておくようにしてもよい。サムネール画像の向きを３次元空間内で所定の時間軸などに対して固定しておくと、サムネール画像を斜めに観たり、あるいは後ろから観た状態に、観え方が変わる。あるいは、時間軸等を変更したりしても、サムネール画像の向きを２次元投影像面上で固定しておく、例えば、２次元表示したときはサムネール画像がいつでも正面向きになるように固定しておくようにしてもよい。なお、各コンテンツのサムネール画像の向きを３次元空間内で、所定の時間軸などに対して固定しておくような場合に、例えば「サムネール画像を正面向きに変更する」というボタンを入力デバイス１２に用意しておけば、ユーザは所望の状態とタイミングでサムネール画像の向きを変更することができる。
さらにまた、表示形態の変形例として、図１４に示すような表示方法でもよい。図１４は、デジタルテレビなどの映像機器の場合、コンテンツおよびシーンの集合を３次元的に表示するときの画面表示例を示す図である。
図１４では、視聴者であるユーザが、コンテンツあるいはシーンの集合をブラウズしながら視聴する３次元空間の時間軸として、コンテンツ制作日時（作品制作日時）、シーンの時代設定日時（ストーリー設定日時）、コンテンツ録画日時とコンテンツ再生視聴日時（録画日時・再生日時）、をそれぞれ選択してできた３次元空間内を、シーンの時代設定日時（ストーリー設定日時）の軸（奥行き方向の軸）にそって閲覧している状態が示されている。時代設定日時の時間軸の移動は、ユーザがリモコン１２Aの所定の矢印キー等を操作することによって行うことができる。その時間軸に沿って、時間が過去に遡るように時間軸に沿って視点が移動すると、図１４の画面内で、各コンテンツは矢印A1で示す方向（画面中心から次々の湧き出て外側に向かって放射する方向）に移動しながら、次々と奥側からコンテンツが表示されてくる。逆に、その時間軸に沿って、時間が現在に近くなるように時間軸に沿って視点が移動すると、図１４の画面内で、各コンテンツは矢印A２で示す方向（画面の外側から中心に向かって収束する方向）に移動しながら、次々と周辺側からコンテンツが現れながら表示されてくる。このように、図１４は、リモコン１２Aの操作に応じたコンテンツあるいはシーンの集合を示す動画を３次元的に表示することができる。なお、図１４において、画面中央に表示されている矩形の枠１１３は、シーンの時代設定日時（ストーリー設定日時）の時間軸（前後（奥行き）軸）において、2005年1月1日午前0時0分0秒となる位置を示したものである。図１４の画面上には、符号１１３ａにより、その「2005」として年の表示がされている。従って、時代設定日時の時間軸の移動に伴って、枠１１３も大きさが変化する。
なお、時間軸の情報の中で、ユーザが最初に観た日時、最後に観た日時などの情報は、まだ観ていないコンテンツの場合はデータが空欄の場合がある。このようなコンテンツを、最初に観た日時の時間軸で整理する場合は、未来の日時を仮設定しておく。例えば現在時刻の5分後などの所定の時刻の位置に、未だ観ていないコンテンツを配置すればよい。未だ観ていないコンテンツが複数ある場合には、入手日時順（パッケージコンテンツなら購買日時、ネットワーク受信コンテンツなら受信日時、放送を録画したコンテンツなら録画日時、自分で撮影したコンテンツなら撮影日時などを使う）に等間隔に未来の日時を仮設定して整理すればよい。
５．２ GUI１についての表示生成部のソフトウエア処理
図１５は、出力デバイス１３の表示画面上に図９、図１１、図１３又は図１４の表示をするための、表示生成部１１の処理の流れの例を示すフローチャートである。以下は、図９の画面を表示する場合で説明する。
ユーザによってリモコン１２ＡのボタンGUI１ボタン９５ｄが押されると、表示生成部１１は、図１５に示す処理を実行する。
なお、以下の例では、ユーザがリモコン１２AのGUI１ボタン９５ｄを押すことによって、図１５の処理が実行されるが、出力デバイス１３の画面上に表示した所定の機能を選択するような操作により、図１５の処理が実行されるようにしてもよい。
まず、表示生成部１１は、記憶装置に記憶された複数のコンテンツについてのコンテンツ情報の時間軸データを取得する（ステップS1）。時間軸の情報は、図４から図７に示すように、コンテンツ情報の時間軸データとして、記憶装置１０Aにストアされているので、その時間軸データが取得される。
表示生成部１１は、取得した各時間軸データに基づいて、各コンテンツの絶対時間空間内の位置を決定する（ステップS2）。表示生成部１１は、時間軸データ毎に、各コンテンツの絶対時間空間の中における位置すなわち時間を決定する。これにより、時間軸毎に、時間軸上のコンテンツの位置が決定される。この決定された各時間軸における各コンテンツの位置情報は、RAM又は記憶装置１０Aにストアされる。ステップS2が、複数の映像コンテンツの時間情報に基づいて、複数の映像コンテンツのそれぞれについて、複数の時間軸上の位置を決定する位置決定部を構成する。
次に、過去のビュー情報を利用するか否かの判断が行われる（ステップS3）。ビュー情報は、図９の表示を行うときの、視点、原点（交点）、第１から第３の３つの時間軸、及びその各時間軸の表示範囲の情報を含む。
過去のビュー情報を利用するか否かは、ユーザが記憶装置１０Aに予め設定しておいてもよいし、表示画面上に過去のビュー情報を利用するか否かを選択させるサブウインドウのような表示部を設け、ユーザに選択させて、過去のビュー情報を利用するか否かの判断をさせるようにしてもよい。
ステップS3でYESの場合、すなわち過去のビュー情報が利用される場合、表示生成部１１は、過去のビュー情報からユーザビュー空間を決定する（ステップS4）。
図１６は、絶対時間空間とユーザビュー空間の関係を説明するための図である。
ステップS2において、各コンテンツCの絶対時間空間ATS内における位置は、決定されている。ユーザビュー空間UVSは、設定された各種情報、すなわち、視点、原点（交点）、第１から第３の３つの時間軸、及びその各時間軸の表示範囲の情報により決定される。表示生成部１１は、ステップS2で決定された各コンテンツCの絶対時間空間ATS内における位置の情報と、ユーザビュー空間UVSのビュー情報とに基づいて、図９の表示を行うための画面データ（具体的には、３次元空間内の２次元平面への投影像のデータ）を生成することができる。
よって、表示生成部１１は、ユーザビュー空間を出力デバイス１３の画面上に表示する（ステップS5）。そのユーザビュー空間にはそれぞれがコンテンツを示す複数のブロックの図形が含まれる。その結果、図９に示すような表示が、出力デバイス１３の画面上に行われる。ステップS5が、各コンテンツの位置の情報に基づいて、前記複数の映像コンテンツのそれぞれを、所定の表示形態で、複数の指定時間軸の時間軸に対応させて表示装置の画面上に並べて表示する映像コンテンツ表示部を構成する。
次に、ユーザが画面表示を変更する機能を選択したか否かが判断される（ステップS6）。画面表示を変更する機能を選択するときは、ユーザは、例えば、リモコン１２Aを操作して、所定のサブウインドウを表示画面上に表示させて、その変更用の所定の機能を選択する操作を行う。
ステップS6でYESの場合、すなわちユーザが画面表示を変更する旨の指示をした場合、処理は、ステップS3に戻る。ステップS3では、過去のビュー情報を利用するかが判断され、過去のビュー情報を利用する場合（ステップS3でYESの場合）、過去のビュー情報が複数あれば、別な過去のビュー情報を選択する等が行われるか、あるいは過去のビュー情報を利用しない場合、ビュー情報の変更の処理が行われる（ステップS10）。
ステップS6でNOの場合、すなわち画面表示の変更を行う指示がされないときは、コンテンツの選択がされたか否かの判断が行われる（ステップS7）。コンテンツの選択が行われないときは、ステップS７でNOとなり、処理は、ステップS6へ戻る。コンテンツの選択は、ユーザが例えば、リモコン１２Aの矢印キーなどを用いて、カーソルを視聴したいコンテンツの場所に移動して、選択することによって行われる。
ステップS7でYESの場合、すなわちコンテンツの選択が行われた場合、表示生成部１１は、ステップS5で表示しているユーザビュー空間のビュー情報を記憶装置１０Aに記憶する（ステップS8）。ビュー情報は、視点、原点、第１時間軸、第２時間軸、及び第３時間軸に加えて、第１から第３の各時間軸の表示範囲の情報を含む。また、視点の情報としては、例えば、視点が第１から第３の時間軸のそれぞれの正方向側にあるのか逆方向側にあるのかの情報を含み、原点の情報は、年月日等の日時の情報である。各時間軸の表示範囲の情報には、縮尺情報、スケール情報等が含まれる。
ステップS8の後、表示生成部１１は、GUI２表示処理へ移行する（ステップS9）。GUI２表示処理へ移行は、GUI２ボタン９５ｅが押されることによって行われる。
なお、ステップS3でNOの場合、すなわち、過去のビュー情報を利用しない場合、ビュー情報の変更の処理が行われる（ステップS10）。ビュー情報の変更処理では、上述したような、視点情報、原点情報、第１時間軸情報、第２時間軸情報、及び第３時間軸情報に加えて、第１から第３の各時間軸の表示範囲の情報を、ユーザが設定あるいは入力できるように、表示画面上に各パラメータを設定するためのサブウインドウのような画面（図示せず）が表示される。
なお、ユーザがビュー情報を変更した後、処理は、ステップS5に移行し、ステップS10で変更されたビュー情報に基づいて、ユーザビュー空間を出力デバイス１３の画面上に表示する。
以上のように、出力デバイス１３の表示装置の表示画面上に、３つの時間軸のそれぞれの所定の期間内に存在する複数のコンテンツが、３次元的に配置された画面が表示される。そして、ユーザは、その中の１つのコンテンツを視聴したいときに、そのコンテンツを選択すると、そのコンテンツが再生される。
映像コンテンツ表示装置１は、図９、図１１、図１３及び図１４に示すような、複数の時間軸に関連して複数のコンテンツを表示することができるので、ユーザは、人間の思考に沿ったコンテンツの検索をすることができる。つまり、上述した複数の時間軸の表示を行うことによって、「あの頃あるいはあの時に観たあのコンテンツと同じ時期に制作されたコンテンツを観たい」、「このシーンと同じ時代背景をもつ他の映像コンテンツやシーンを観たい」、「このコンテンツを前回視聴したときに放映されていたコンテンツを観たい」、といった、ユーザの時間を切り口にした視聴欲求を満たすための、コンテンツの検索をすることができる。さらに、例えば、「あのコンテンツを買った頃に良く観ていたあのコンテンツの時代設定が同じコンテンツを呼び出したい」という、ユーザの欲求を満たすこともできる。
以上のように、例えば視聴者であるユーザが、映像コンテンツや映像コンテンツ内のシーンをいわゆるブラウズする３次元空間の情報の軸として、複数の時間軸の中から所望の３つの時間軸を選択すると、映像コンテンツ表示装置１は、その選択された時間軸に基づいて、仮想的な３次元空間を構成し、映像データベースに格納された映像コンテンツ及びシーンの時間軸情報に基づいて、前記３次元空間内の所定の位置に映像コンテンツ及びシーンを静止画または動画として表示する。ユーザは、リモコン１２Aを操作することによって、３次元空間内の任意の視点位置から当該空間を閲覧することができる。そして、映像コンテンツ表示装置１によれば、図９の画面の表示状態から、ユーザが選択した映像コンテンツおよびシーンの集合に対して、そのコンテンツ及びそのシーンの情報の提示、再生、再生の一時停止、再生の停止、再生の早送り、再生の巻き戻し、再生位置の記憶と呼び出し、などの視聴操作が可能である。さらに、映像コンテンツ表示装置１によれば、ユーザは、図９の画面の表示状態から、後述するような、シーン検索のためのGUIを生成させて、所望のシーンを容易に検索することができる。
従来の２次元GUIでは、表現できる並び替えの基準（録画日時、最後の視聴日時）が２つしかないので、並び替え基準を変更するときに、２つの内の一方を選択するために、ページ切り替えボタンや、モード変更ボタンを押す必要がある。
また、映像を３次元空間的に表示する３次元GUIはあるが、そのGUIは意味を持った３次元空間でなく、３次元的な観せ方を有しているだけである。
従来のGUIでは、コンテンツは、ジャンル名、登場人物の名前、場所、コンテンツやシーンの意味や内容、等種々の情報が付加されていても、一つの評価軸に沿って並べることはできない。また、これらの情報に基づいて並べる場合も、各コンテンツを一意にプロットできない場合もあった。
しかし、上述した本実施の形態のような、複数の時間軸を用いれば、各時間軸において一意のプロット（座標値を付与すること）が可能である。よって、時間軸を用いた動画コンテンツの整理は有用である。
なお、従来は、録画時間、または、再生時間など、1種類または2種類程度の時間軸（時間という概念）を用いた整理方法あるいは検索方法は提供されていた。従来の整理方法等には、上述したような、コンテンツの内容によって設定される日時（時代劇であれば江戸時代）の時間を検索キーとするもの、コンテンツの発表された日時や、コンテンツを入手した日時、コンテンツを録画した日時、などを検索キーとするものはない。従来の整理方法等によれば、ユーザは、例えば、リスト表示されたコンテンツの中から、最初に録画日を選択し、録画チャンネルを選択し、そして、コンテンツを選んだ後に、シーンを探索する等々、既定の探索手順に沿ったコンテンツの検索をすることはできた。
しかし、このような方法では、シーンを思い出せるが、録画日は曖昧に覚えているような場合に、そのシーンを選択することが難しい。
さらに、例えば、「このコンテンツを前回視聴したときに放映されていたコンテンツをみたい」といったような映像コンテンツの探し方は実際にはできない。このような欲求を持つユーザがそのような映像コンテンツを視聴できるようになるまでの操作は、現在の映像コンテンツを前回視聴した日時を思い出し、視聴可能な複数の映像コンテンツの一覧表示の中から１つ１つ映像コンテンツを選択して放送日時を表示させる操作を行って比較し、所望の日時に放送された映像コンテンツが見つかるまで操作を繰り返し行うことになる。視聴可能な映像コンテンツの数が多くなればなるほど、この操作は非現実的な作業となり、事実上、視聴を諦める場合が多い。
ところが、人は、曖昧な共起関係あるいは様々な時間軸の中でコンテンツ間の関連を記憶しており、コンテンツを観ているうちに様々な時間軸あるいは共起関係で別のコンテンツを想起することがある。従来は、このような様々な時間軸あるいは共起関係でコンテンツを検索し視聴する方法は提供されていない。そして、本実施の形態に係るGUIのような、複数の時間軸を組み合わせた検索方法を提供するシステム等は、従来はない。
上述した図９等の３次元GUIは、人の思考や想起が複数の時間軸と関連付けながら、動画コンテンツを探すことができるGUIであり、ユーザは、そのGUIを利用して、様々な共起関係に基づいて所望の動画コンテンツあるいはシーンの検索を行うことができる。各コンテンツが仮想の３次元空間内に配置されて２次元画像で表現されているので、ユーザは、所望のコンテンツの選択、選択のための画面上でのカーソルの移動、画面上でのコマンドの選択を、その２次元画像上で操作性よく行うことができる。
図９等のように、本実施の形態に係るGUIによれば、３つの時間軸の３次元軸でユーザビュー空間を３次元的な表示方法により表現するので、ユーザは、仮想空間の中をいわゆるウォークスルーすることができ、時間を切り口にした映像コンテンツのブラウズと視聴を楽しむことができる。よって、従来のような、ボタンを使ったり、画面が切り替わるのを待つことなく、視点等のビュー情報を変更するだけで表示される複数のコンテンツの並びの基準を変更して、映像コンテンツの検索を容易にすることができる。
言い換えると、図９等の表示により、ユーザは、仮想空間内をサーフィンするように、自己の興味と種々の関連に従って映像コンテンツを検索しては視聴するという、自然かつ容易な、映像コンテンツの検索及び視聴方法を実現することができる。
以上のように、GUI1によれば、複数の映像コンテンツの中から時間的な関連を考慮した映像コンテンツあるいはシーンを容易に検索することができる。
５．３ GUI2の表示例
次に、選択したコンテンツ中のシーンの検索方法について説明する。
５．３．１ 関連コンテンツの検索
図１７は、図９の画面が表示されている状態で、リモコン１２Aを操作して、所定のサブメニューを表示した状態を示す図である。
ユーザは、図９の表示状態において、例えば、リモコン１２Aの十字キーを操作して、カーソルを所望のコンテンツに移動して、そのコンテンツをフォーカス状態にさせることができる。図１７において、コンテンツ１１２ｄのブロックは、選択された状態を示す太い枠Fが付加されて表示されているので、ユーザは、コンテンツ１１２ｄのブロックが選択されている、すなわちフォーカス状態にある、ことを知ることができる。
そのフォーカス状態で、ユーザは、リモコン１２Aを操作して、上述したサブメニュー表示を指示すると、図１７に示すようなサブメニューウインドウ１０２がポップアップ表示される。サブメニューウインドウ１０２のポップアップ表示は、表示生成部１１の機能の１つとして実行される。サブメニューウインドウ１０２は、それぞれが所定のコマンドに対応する、複数の選択部を含む。本実施の形態では、複数の選択部は、「同じシリーズの番組を集める」、「同じジャンルの番組を集める」、「同じ放送日の番組を集める」、「同じ制作年の番組を集める」及び「時代設定が同じ番組を集める」の５つの選択部を有している。
ユーザは、複数の選択部の中から、例えば、リモコン１２Aの十字キーを操作して、カーソルを所望の選択部に移動させて、所望のコマンドの選択を行うことができる。
図１７は、「同じシリーズの番組を集める」の選択部が選択された状態（斜線が付加されている）を示している。
その選択部（「同じシリーズの番組を集める」）の選択された状態で、リモコン１２Aの実行キー９５ｃが押されると、選択されたコンテンツ１１２ｄと同じシリーズの番組が、関連コンテンツとして検索されて抽出され、図１８のような画面が出力デバイス１３の表示画面上に表示される。
図１８は、図９で選択したコンテンツに関連して、所望の検索条件により検索された複数の関連コンテンツの表示例を示す図である。
図１８では、５つのコンテンツ１２１ａから１２１ｅが示されている。各コンテンツは、静止画が所定の方向に、ここでは横方向に並ぶように配置された画像列として表示されている。５つのコンテンツのうち、中央のコンテンツ１２１ｃは、図１７において選択した選択コンテンツ１１２ｄである。上下のコンテンツ１２１ａ、１２１ｂ、１２１ｄ、１２１ｅは、コンテンツ１１２ｄと同じシリーズの番組として、表示生成部１１によって、検索されて抽出された複数の関連コンテンツである。図１８の場合、その検索は、コンテンツ情報の中の例えばタイトル名に、選択したコンテンツ１１２ｄと同じタイトル名のコンテンツがあるか否かを検索することによる行われる。なお、図１８は、コンテンツ１１２ｃの録画日時と時間的に近い録画日時の、４つのコンテンツを選択して、表示画面上に表示している例を示す。図１８に示すように、静止画の列は、アコーディオン、蛇腹、あるいはトランプを並べたような表示形態である。
図１８では、各コンテンツの画像列中の静止画は１つの静止画を除いて、所定の経路に沿って、ここでは横方向に沿って、縮小、具体的には横方向に圧縮されて表示される。その横方向に縮小されていない１つの静止画は、そのコンテンツにおける注目画像として指定された画像である。各コンテンツ中の静止画は、本実施の形態では、後述するようにいわゆるサムネール画像である。
上下の４つのコンテンツ１２１ａ、１２１ｂ、１２１ｄ、１２１ｅのサムネール画像中、左端のサムネール画像は、横方向に縮小されていない注目画像である。その左端のサムネール画像には、縮小されていない画像であることを示す枠Ｆ１が付加されている。枠F1は、各コンテンツにおいて縮小表示されていない注目画像を示すためのマークである。
中央の選択コンテンツ１２１ｃ中の１つのサムネール画像は、図１８の画面が最初に表示されたときには、枠Ｆ１の付加された他のコンテンツ１２１ａ、１２１ｂ、１２１ｄ、１２１ｅと同様に、左端のサムネール画像が縮小されていない状態で表示され、かつカーソル位置の画像であることを示す枠Ｆ２が付加された画像となっている。
その状態で、ユーザがリモコン１２Ａを用いてカーソルの移動を行うと、その移動したカーソルのある位置（フォーカス位置）のサムネール画像（以下、フォーカス画像という）が、縮小されない状態で表示される。図１８では、選択コンテンツ１２１ｃのカーソルが左端から移動して、略中央部にあるサムネール画像TN1が指定されて、枠Ｆ２が付加されて、縮小されない状態で表示されている。
なお、枠F2とF1は、注目画像とフォーカス画像が判別できるように、互いに区別が付くように異なる表示形態、例えば、太さが異なる、色が異なる等の表示形態で表示される。
さらになお、ここまでの説明では、注目画像を示す方法は、縮小表示しないで表示することとして説明したが、縮小表示しないことが必須なのではなく、要するに他より目立って観えるように表示するものであればよい。
図１８のフォーカス画像は、例として、サッカーの試合のゴールシーンのサムネール画像TN1である。フォーカス画像の位置は、コンテンツ内の再生開始点の位置（再生ボタンを押したときに再生を開始するタイムコード）を示す。
図１８では、各コンテンツ１２１ａから１２１ｅのそれぞれは、各コンテンツの複数のフレーム画像から生成した複数のサムネール画像の画像列として表示されている。表示生成部１１は、例えば、時間にして３分（３min）に1枚の割合で、各コンテンツの画像データからフレーム画像を取り出し、それぞれのサムネール画像を生成して、並べることによって、各コンテンツ１２１ａから１２１ｅの画像列を表示する。なお、その取り出す時間間隔は、コンテンツに応じて適切に変更してもよい。
注目画像とフォーカス画像は、縦横比変えず、単に画像サイズだけが縮小された画像として、表示される。注目画像とフォーカス画像以外の位置のサムネール画像は、所定の方向、ここでは横方向において縮小されて縦長の画像で表示される。
なお、図１８に示すように、注目画像及びフォーカス画像の隣あるいは近傍の画像は、他の縮小される画像に比べて圧縮比すなわち縮小率を小さくして表示するようにしてもよい。すなわち、注目画像及びフォーカス画像の前後の、それぞれ２つないし３つ程度の画像は、注目画像及びフォーカス画像から離れるに従って、縮小率を徐々に大きく（画像サイズを徐々に小さく）することによって、ユーザには注目画像及びフォーカス画像の前後の画像も、ある程度観易くなる。
さらになお、注目画像及びフォーカス画像のように、注目すべき画像は周囲の画像に比べて明るくするように、輝度を上げて表示するようにしてもよい。あるいは、注目画像及びフォーカス画像以外のサムネール画像は、輝度を下げて表示するようにしてもよい。
また、画像の縮小方向は、横方法ではなく、縦方向でも良いが、サムネール画像を縮小するのではなく、サムネール画像を重ね合わせて右端あるいは左端だけが少しずつ観えるように、画像を並べるような表示を採用してもよい。
なお、図１８の画面が表示されたときには、各コンテンツの左端のサムネール画像が注目画像として縮小されない状態で表示されているが、右端のサムネール画像を注目画像として縮小されない状態で表示するようにしてもよい。
以上のように、各コンテンツを連続する複数の静止画の画像列として所定の方向に並べて配置して表示することによって、ユーザは、コンテンツ全体の中のシーンの大きな流れを一覧することができたり、シーンチェインジを大まかに把握することもできる。このシーンチェンジは、静止画の画像列全体の色味が変化した位置によりユーザは判断することができる。さらに、画像列において、静止画の時間間隔が等間隔で並べる（等間隔モード）ようにすれば、ユーザは、各コンテンツの全長（時間の長さ）を直感的に把握することもできる。なお、静止画の時間間隔を等間隔せずに、左端から右端まで、予め決められた枚数だけ並べる（等枚数モード）ようにしてもよい。あるいは、静止画の縮小率を変化させるようにして、各コンテンツの全長を固定とし、かつ静止画の時間間隔を等間隔にする（等全長モード）ようにしてもよい。
なお、後述するように、ユーザは、リモコン１２Ａを操作して、コンテンツ内でカーソル位置を移動することによって、注目画像及びフォーカス画像を変更することができる。サムネール画像が等間隔モードで表示されている場合は、所定の時間間隔で、例えば３分おきに注目画像あるいはフォーカス画像がスキップされる。また、サムネール画像が等枚数モードで表示されている場合は、どのような時間の長さのコンテンツであっても、所定の割合、例えば２％ずつ注目画像あるいはフォーカス画像がスキップされる。
また、上述したように、本実施の形態では、図１８の各コンテンツの画像列は、表示生成部１１によって生成された複数のサムネール画像により表示されているが、そのサムネール画像の表示形態は、様々な別の表示形態でもよい。例えば、スクロールという概念を入れても良い。その場合、フォーカス位置の周辺の３０分の時間の長さの部分のフレーム画像だけが、画面幅内のサムネール列として表示されるが、画面をスクロール移動していくことによって、上記の３０分以外の部分のサムネール画像が順次表示されていく。さらに別の方法として、フォーカス画像近辺ではサムネール画像間の時間間隔を細かく設定し、フォーカス画像の位置から遠くなるにつれて時間間隔を長くするというように、サムネール画像の画像間の時間間隔の設定を行ってもよい。
図１８に戻り、図１８の左側には、各コンテンツに対応して、同じシリーズあるいは同じ番組タイトルであることを示す表示部１２２が設けられている。
図１８の表示状態において、ユーザは、リモコン１２Ａを操作することにより、画面中の各コンテンツのサムネール画像のどれでも選択することができる。そして、フォーカス画像の位置はコンテンツ内の再生開始点であるので、選択したサムネール画像の位置からコンテンツを再生するように、ユーザは、リモコン１２Ａの再生ボタンを押すことによって、その選択したサムネール画像以降の映像を再生して視聴することができる。
以上のように、ユーザは、図９の３次元表示画面に表示された複数のコンテンツの中から所望のコンテンツ１１２ｄを抽出し、図１８に示すように、その抽出したコンテンツに関連するコンテンツを抽出して表示させることができる。
５．３．２ 関連シーンの検索
ユーザは、図１８に示すような関連する複数のコンテンツの中で、あるシーンと関連する所望の関連シーンを検索したい場合がある。図１９は、図１８の画面が表示されている状態で、リモコン１２Aを操作して、関連シーン検索のための所定のサブメニューを表示した状態を示す図である。
ユーザは、図１８の表示状態において、例えば、リモコン１２Aの十字キーを操作して、カーソルを所望のサムネール画像に移動させることができる。すなわち、ユーザは、フォーカス画像を変更することができる。図１８において、選択コンテンツ１２１ｃ中のサムネール画像ＴＮ１は、選択された状態を示す太い枠Ｆ２が付加されて表示されているので、ユーザは、選択コンテンツ１２１ｃのサムネール画像ＴＮ１が選択されてフォーカス画像であることを知ることができる。
その状態で、ユーザは、リモコン１２Aを操作して、上述した関連シーン検索のためのサブメニュー表示を指示すると、図１９に示すようなサブメニューウインドウ１２３がポップアップ表示される。サブメニューウインドウ１２３は、それぞれが所定のコマンドに対応する、複数の選択部を含む。本実施の形態では、複数の選択部は、「似たシーンを探す」、「盛り上がりシーンを探す」、「同じ人が出ているシーンを探す」及び「シーンの境目を探す」の４つの選択を有している。複数の選択部は、それぞれ、フォーカス画像のシーンと関連するシーンの静止画を検索するためのコマンド指示部である。「似たシーンを探す」の選択部は、フォーカス画像のシーンと似たシーンを検索するためのものであり、「盛り上がりシーンを探す」の選択部は、フォーカス画像のシーンの前後で盛り上がったシーンを検索するためのものであり、「同じ人が出ているシーンを探す」の選択部は、フォーカス画像のシーン中の人と同一の者が出ているシーンを検索するためのものであり、「シーンの境目を探す」の選択部は、フォーカス画像の前後のシーンの境目を検索するためのものである。
ユーザは、複数の選択部の中から、例えば、リモコン１２Aの十字キーを操作して、カーソルを所望の選択部に移動させて、所望のコマンドの選択を行うことができる。
図１９は、「似たシーンを探す」の選択部が選択された状態（斜線が付加されている）を示している。
その選択部（「似たシーンを探す」）の選択された状態で、リモコン１２Aの実行キー９５ｃが押されると、フォーカス画像であるサムネール画像ＴＮ１の示すシーンと似たシーンが検索され、図２０のような画面が表示される。図２０は、関連シーンの表示例を示す図である。
図２０は、選択されたサムネール画像ＴＮ１のシーンと似たシーンとして、コンテンツ１２１ａでは、サムネール画像１２１ａ１が、コンテンツ１２１ｂでは、サムネール画像１２１ｂ１が、選択コンテンツ１２１ｃでは、サムネール画像１２１ｃ１が、コンテンツ１２１ｄでは、サムネール画像１２１ｄ１と１２１ｄ２が、コンテンツ１２１ｅでは、サムネール画像１２１ｅ１が、検出されて、太い枠Ｆ３が付加されて、縮小されていない表示状態で表示されている。
似たシーンの検索は、各コンテンツの各フレームあるいはサムネール画像を画像解析して、類似する画像の有無（例えば、サムネール画像ＴＮ１にある文字と同様な文字の有無）によって行うことができる。
ユーザは、図２０に示すように、指定した関連シーン検索の結果、抽出された関連シーンは、縮小されていない状態で表示されるので、容易に検索結果のシーンを確認することができる。ユーザは、その関連シーンのサムネール画像にカーソルを移動して選択し、再生ボタンを操作することによって、その関連シーンを再生して観ることができる。以上の例は、複数のコンテンツ間で似たシーンを検索する例であるが、他にも、「盛り上がりシーンを探す」、「同じ人が出ているシーンを探す」及び「シーンの境目を探す」の各コマンドに応じたシーンが検索されて、図２０のような画面が表示されるので、ユーザは、容易にフォーカス画像の関連シーンの検索を行うことができる。
「盛り上がりシーンを探す」というコマンドに対しては、盛り上がり度がコンテンツに含まれる音量の大きさに比例するとした場合は、その音量レベルの高いシーンが抽出される。「同じ人が出ているシーンを探す」というコマンドに対しては、画像解析処理により、指定されたサムネール画像に現れている人物の顔等の画像から特徴量を決定し、その特徴量と同じあるいは近い特徴量を有する画像が抽出される。「シーンの境目を探す」というコマンドに対しては、画像解析処理により、隣り合うフレーム画像の特徴量が大きく変化する画像が抽出される。
また、上述した例は、似たシーン等の検索であるが、その応用例としては、毎日、毎週あるいは毎月放送される同一番組における同じ特定のコーナーを検索するという例もある。図２１は、例として毎日放送される番組中にある特定のコーナーが検出された画面の例を示す図である。図２１では、毎日放送されているコンテンツ（図２１では「ワールドビジネスプラネット」という番組のタイトルのコンテンツ）が５つ、タイル状に、かつ、横方向に縮小された複数のサムネール画像として表示されている。
図２１の表示は、図１８のように抽出された複数のコンテンツが、複数の画像列として表示された状態で、サムネール画像中にある特定の文字、例えば「車の安全技術紹介」の文字の検出を画像処理により行い、その文字が検出された複数のサムネール画像の中の最初のサムネール画像を縮小しないで表示している。ここでは、図示しないが、図１９のサブメニューのようなウインドウを表示し、そのウインドウの中に検索対象文字が入力できるようにすることによって、図１８のような画面の状態から、図２１の画面表示を得ることができる。
図２１では、５つのコンテンツ１３１ａから１３１ｅが示されている。各コンテンツ中、同じ文字が検出されたフレーム画像の最初のフレームが縮小されない状態で、検出されたサムネール画像１３１ａ１から１３１ｅ１として表示されている。また、縮小されない状態で表示されたサムネール画像１３１ａ１から１３１ｅ１には、検出されたことを示す枠Ｆ４が付加されている。さらに、５つのコンテンツの左側には、番組名を表示する番組名表示部１３２が設けられている。
なお、図２１の説明では、サムネール画像（あるいはフレーム画像でもよい）中の文字を検出することにより、同一番組における同じ特定のコーナーを検索すると説明したが、文字の無い画像を検出する場合は、文字認識ではなく、画像認識処理により、特定のコーナー検索をするようにすればよい。
さらになお、音声音響処理により、「同じ音楽」で始まるコーナーを検索するようにしてもよい。例えば、天気予報コーナーが同じ音楽で始まるような場合である。また、同じテロップマークが表れるコーナーを検索するようにしてもよい。テロップを文字として読まなくても、「同じマーク」として認識できる場合もあり、その場合には、テロップは、マークとして認識されて、かつ検索できる。さらにまた、音声認識処理により、「同じ言葉」で始まるコーナーを検索するようにしてもよい。例えば、「続いて、・・さんの・・コーナーです。」という決まった言葉で、そのコーナーが始まるときは、その決まった言葉を検索することによって、そのコーナーの検索をすることができる。このように、定番のコーナーのように、画像あるいは言葉に共通点があれば、その共通した特徴を検索するようにすればよい。
５．３．３ リモコン操作と画面変化
ａ）関連コンテンツと関連シーンが固定されている場合
図１８から図２１に示す表示状態において、リモコン１２Ａの操作と画面の変化との関係を、図２２を用いて説明する。
図２２は、関連シーンが検索されて表示された画面において、リモコン１２Ａの十字キー９５を用いて、シーンの選択が行われることを説明するための図である。なお、説明を簡単にするために、図２２は、３つのコンテンツC1、C2,C3が表示されている場合である。コンテンツC1,C3は関連コンテンツであり、コンテンツC2は選択コンテンツである。
図２２において、３つのコンテンツの初期表示状態SS0では、カーソル位置のフォーカス画像であるサムネール画像１４１は、太い枠F2が付加されている。その他のサムネール画像１４２から１４５には、枠F2よりは細い太い枠F3が付加されている。なお、ここでは、コンテンツC1からC3のサムネール画像１４１から１４５は、例えば、図２０における、関連シーンとして抽出されたハイライトシーンの画像である。
初期表示状態SS0において、十字キー９５の内側のリングキー９５ａの右カーソル部IRを押し続けると、選択コンテンツC2における、サムネール画像１４１から右側の全てのサムネール画像を通るようにして、フォーカス位置が移動する表示状態SS1となる。このとき、右カーソル部IRを押している間は、カーソル位置のサムネール画像を変更しながら、フォーカス画像は、大きさを変えずに、右へ移動していく。図２２では、フォーカス画像は、表示状態SS1の矢印に沿って移動し、枠F2内の表示は、いわゆるFlashソフトウエアを利用したデモ動画像のような表示となる。また、左カーソル部ILを押すと、フォーカス画像は、大きさを変えずに、サムネール画像を変更して、フォーカス画像の位置を左へ移動する。
なお、図示しないが、初期表示状態SS0において、内側のリングキー９５ａの上又は下のカーソル部IU又はIDを押すと、ハイライトシーンのサムネール画像であるか否かに関係なく、そのときの（現在の）カーソルの位置を基準に上又は下の関連コンテンツC1又はC3の同じ位置のサムネール画像に、フォーカス画像は移動する。
また、上下の関連コンテンツへのフォーカス画像の移動を止め、その位置から右カーソル部IRを押せば、さらにフォーカス画像は右へ移動し、左カーソル部ILを押せば、さらにフォーカス画像は左へ移動する。すなわち、左右のカーソル部IR,ILは、左右の、言い換えると同一コンテンツ内のフォーカス画像の移動の機能を有する。そして、上下のカーソル部IU,IDは、上下の、言い換えるとコンテンツ間のフォーカス画像の移動の機能を有する。
次に、初期表示状態SS0において、十字キー９５の外側のリングキー９５ｂの上カーソル部OUを押すと、選択コンテンツC2における、フォーカス画像のサムネール画像１４１から上に表示されている関連コンテンツC1のハイライトシーンのサムネール画像１４２にフォーカスが移動して、表示状態SS2となる。なお、上カーソル部OUを押すと、カーソルがサムネール画像１４１から１４３に移動しないのは、表示画面上においてサムネール画像１４１に最も近いのがサムネール画像１４２であるからである。もしも、図２２のような状態で、カーソルがサムネール画像１４４にあったときに、上カーソル部OUが押されると、カーソルがサムネール画像１４４からサムネール画像１４３に移動する。
そして、また、図示しないが、初期表示状態SS0において、カーソル部ODを押すと、下に表示されている関連コンテンツC3のサムネール画像１４５にカーソルが移動する。
また、カーソルが関連コンテンツC1のサムネール画像１４２に在るときに、カーソル部ODを押すと、下に表示されている選択コンテンツC2のサムネール画像１４１にカーソルが移動し、さらにカーソル部ODを押すと、下に表示されている関連コンテンツC3のサムネール画像１４５にカーソルが移動する。
同様に、カーソルが関連コンテンツC3のサムネール画像１４５に在るときに、カーソル部OUを押すと、上に表示されている選択コンテンツC2のサムネール画像１４４にカーソルが移動し、さらにカーソル部OUを押すと、上に表示されている関連コンテンツC1におけるハイライトシーンのサムネール画像１４３にカーソルが移動する。すなわち、上下のカーソル部OU,ODは、上下の、言い換えるとコンテンツ間のハイライトシーンのサムネール画像へのカーソルの移動（言い換えるとジャンプ）の機能を有する。
また、初期表示状態SS0において、十字キー９５の外側のリングキー９５ｂの右カーソル部ORを押すと、選択コンテンツC2における、カーソルのあるハイライトシーンのサムネール画像１４１から同じコンテンツC2のハイライトシーンのサムネール画像１４４にカーソルが移動して、表示状態SS3となる。
そして、表示状態SS3において、左カーソル部OLを押すと、選択コンテンツC2のハイライトシーンのサムネール画像１４１にカーソルは戻る。すなわち、左右のカーソル部OR,OLは、左右の、言い換えると同一コンテンツ内のハイライトシーンのサムネール画像へのカーソルの移動（言い換えるとジャンプ）の機能を有する。
なお、図１８から図２１の表示例に示したように、縦方向に並べられた複数のコンテンツは、同じ番組名のものを、時間順に並べることにより、毎週、毎日等の連続ドラマを時間順に並べたり、「19時のニュース」だけを時間順に並べたり、あるいは同じスポーツ競技の録画を並べることができる。そのような配置にすることによって、例えば19時のニュースを並べて表示して、ある事件に着目して、時間的な経過を調べながらまとめて観ることが容易になったり、野球中継を並べて表示して、毎日の結果をまとめて調べることが可能になる、等の効果が生じる。
ｂ）関連コンテンツと関連シーンが動的に変化する場合
上述した例は、図１９のサブメニューウインドウ１２３で選択されて指示された関連シーンが表示されている画面において、ハイライトシーンが、リモコン１２Aの操作に対応して画面が変化する例である。
表示生成部１１は、フォーカス画像の内容あるいはコンテンツ情報に応じて、選択コンテンツに並べて表示する関連コンテンツを変更するようにしてもよい。例えば、フォーカス画像がお笑い番組のタレントの顔を表示しているときは、関連コンテンツとしてそのタレントが出演している番組のコンテンツを抽出して表示する、あるいはフォーカス画像がゴルフ中継のあるプレーヤの顔を表示しているときは、関連コンテンツとしてそのプレーヤが出演している番組のコンテンツを抽出して表示する、さらにあるいは、フォーカス画像がサッカー試合のあるチームの得点シーンであれば、関連コンテンツとして同じチームの得点シーンのある番組のコンテンツを抽出して表示する、等の表示を行うことができる。
さらに、そのように表示された選択コンテンツと関連コンテンツにおいて、関連シーンとして、同じタレントあるいは同じプレーヤが表示されているシーンが、関連シーンとして表示される。その表示状態において、図２２のような十字キー９５による操作が可能となる。
なお、このような表示状態において、外側のリングキー９５ｂの機能を有効にするかしないかを選択させることによって、有効にしないようにしてもよい。
また、フォーカス画像の変化に伴って、関連コンテンツを動的に変更したり、さらに加えて関連シーンも動的に変更するようにしてもよい。
さらにまた、フォーカス画像の変化に伴って、上下の関連コンテンツを動的に変更する機能を有効にする、あるいは無効にするための切り換え機能を有したり、さらに加えて関連シーンも動的に変更する機能を有効にする、あるいは無効にするための切り換え機能を有するようにしてもよい。
さらに具体的に言えば、ニュース番組で天気予報のコーナーの画像をフォーカス画像としていれば、上下の関連コンテンツは、別の番組で同様な天気予報コーナーの画像が注目画像として含まれるように表示される。ユーザは、フォーカスを上下に移動するとその天気予報コーナーの画像だけを移動できる、というような操作をすることができる。あるいは、ドラマ内であるタレントがアップになった画像をフォーカス画像としていれば、上下の関連コンテンツは、別の番組で同じタレントがアップになった部分の画像が注目画像として関連付けられて表示される。ユーザは、フォーカスを上下に移動すると、番組が異なるが同じタレントのアップされた注目画像に移動できる、というような操作をすることができる。
関連シーンが、フォーカス画像の移動に応じて動的に変更される場合は、表示生成部１１は、バックグラウンド処理で、例えば番組内に登場する出演者のリストデータを生成するなどの処理を行うようにすると、動的な変更表示処理をより速く行うことができる。
このように、フォーカス画像の内容あるいはコンテンツ情報に応じて、関連コンテンツが動的に変化するようにすれば、その変更された関連コンテンツの関連シーンの検索を行うことができる。
よって、視聴者であるユーザは、シーン検索が容易になったり、シーン検索自体が楽しくなる。
また、上述したように、動画コンテンツは、カットやチャプタの集合体であれば、コンテンツ内のカットやチャプタも、元のコンテンツと同様に、一単位のコンテンツとみなすことができる。その場合、カットやチャプタも再帰的に図４から図８に示すコンテンツデータの構造を有するようにすれば、録画した単位（番組という単位）で並べるのと違う、効果等が生じる。
すなわち、カーソルのあるいわゆるフォーカス画像の位置によって、各コンテンツの有するコンテンツ情報が変わるので、例えば、図２１のようなサムネール画像上でフォーカス画像の位置の移動に合わせて、上下に並べられる関連コンテンツを、より動的に変更させることが可能になる。
上下に並べられる関連コンテンツが動的に変更されると、例えば以下のような表示の仕方が可能になる。
１）同じ録画時間の別のチャンネルの番組を、チャンネル順に並べる。
２）同じ番組（毎日、毎週録画したもの）を、録画時間順に並べる。
３）同じコーナー（例えば天気予報のコーナーや、今日の株式のコーナーなど）を、日付順に並べる。
４）同じ登場人物の番組を、番組名を問わず時間順に並べる。
５）同じ場所で撮ったコンテンツを、時間順に並べる。
６）同じスポーツ競技のコンテンツを、時間順に並べる。
７）同じスポーツ競技の同じ状況や同じ場面（チャンス、ピンチ、得点シーン）を時間順に並べる。
８）上下に並べるコンテンツはコンテンツ情報が同じものだけでなく、例えば、スポーツであれば、１得点目、2得点目、3得点目、と言うように同じコンテンツの別のシーンを特定の条件に基づいて順序良く並べる。
最後の例（８）のように、スポーツ競技のコンテンツの場合は、競技名が同じものを並べたり、競技が同じでかつ同様にチャンスシーンを並べる、など、並べ方に複数の可能性がある場合には、GUIのコンテクストメニューにどのような選択肢で並べるかを指定できるような仕組みを組み込んでおけばよい。
５．３．４ GUI２の変形例
ａ）第１の変形例
図２３は、図２１の画面の変形例を示す図である。図２３のように、検出されたシーン、例えば同じコーナーのフレーム画像を、画面の所定の方向、ここでは縦方向における同じ位置P1にくるように、画像列を配置するようにしてもよい。
さらに、画像列の利用の方法の一つとして、コンテンツの再生における早送りあるいは早戻しバーがある。
図２４は、画面上に表示された早送り及び早戻しバーとしての画像列の表示例を示す図である。画面には、再生しているシーンを表示するシーン表示部１４０が含まれている。表示コンテンツ中の再生しているシーン１４１とは別に、コンテンツの全体を示す画像列表示部１４２が、画面中に設けられている。その画像列表示部１４２は、シーン１４１に対応するサムネール画像表示部１４３を、カーソル位置として枠F5を付加して表示している。背景画像であるシーン１４１は、画像列表示部１４２のカーソル位置のサムネール画像に対応する画像である。
コンテンツの再生に伴って、再生しているシーン１４１に対応するサムネール画像が、サムネール画像表示部１４３に表示されるが、ユーザが、リモコン１２Aを操作して、画像列表示部１４２のカーソル位置を移動すると、表示生成部１１は、その移動した位置に応じたサムネール画像を、サムネール画像表示部１４３に表示すると共に、そのサムネール画像表示部１４３に表示されている位置に対応するコンテンツの再生シーン１４１を、シーン表示部１４０に表示する。いわゆる早送り又は早戻し操作が、画像列表示部１４２とカーソル移動操作によって、実現される。
ｂ）第２の変形例
図２５から図２７は、図２１の画面の他の変形例を示す図である。図２５は、４つのコンテンツに対応する各画像列を４面体の４面上に表示する表示形式の変形例を示す図である。画面１５０には、ある視点から観た細長い４面体１５１が、出力デバイス１３の表示画面上に斜視図として表示されている。４面体１５１、すなわち細長い角柱形状体の各面１５１ａから１５１ｄには、例えば図２１のコンテンツ１３１ａから１３１ｄの４つの画像列が貼り付けられるように形成されている。図２５では、ある視点から４面体１５１を観ているので、２面１５１ａと１５１ｂに、コンテンツ１３１ａと１３１ｂの画像列が観えている。
ユーザは、リモコン１２Aの十字キー９５を操作することによって、４面体１５１を仮想空間内で回転させて、ユーザの観える側の面を変更することができる。例えば、外側のリングキー９５ｂの上カーソル部OUを押すと、面１５１ｄが、それまでの面１５１ａに代わり、正面に観えるように、４面体１５１が回転する。その結果、ユーザは、コンテンツ１３１ｄの画像列を観ることができる。さらに、外側のリングキー９５ｂの上カーソル部OUを押すと、それまでの面１５１ｄに代わり、面１５１ｃが正面に観えるように、４面体１５１が回転する。その結果、ユーザは、コンテンツ１３１ｃの画像列を観ることができる。
逆に、外側のリングキー９５ｂの下カーソル部OＤを押すと、それまでの面１５１ａに代わり、面１５１ｂが正面に観えるように、４面体１５１が回転する。その結果、ユーザは、コンテンツ１３１ｂの画像列を観ることができる。さらに、外側のリングキー９５ｂの下カーソル部ODを押すと、それまでの面１５１ｂに代わり、面１５１ｃが正面に観えるように、４面体１５１が回転する。その結果、ユーザは、コンテンツ１３１ｃの画像列を観ることができる。以上のように、ユーザは、リモコン１２Ａを操作して、４面体１１をあたかもシリンダを回転させるように、表示される画像列を切り替ることができる。
なお、図２５におけるハイライトシーンの移動等の操作は、図２２において説明した方法と同様の方法で、ユーザはリモコン１２Ａを用いて行うことができる。なお、図２３に示すように、ハイライトシーンのサムネール画像の位置は、縦方向において同じ位置になるように、図２５の４面体を表示するようにしてもよい。
図２６は、図２５の４面体に代えて、７面体１６１を用いた画像列の表示の変形例を示す図である。図２６は、図２５とは、４面が７面になったことが異なるだけであり、表示方法、操作方法等は同じである。７面体とすることで、例えば、毎日放送される番組を１週間分を纏めて、１つの７面体１６１上に表示させることができる、毎日放送されているある番組を録画して、特定のシーンを検索して、図２６のように画面上に表示させることができる、日曜日から土曜日までの７つの番組の画像列が、それぞれ７面体１６１の７面１６１ａから１６１ｆに貼り付けられるように形成されている。
図２７は、図２６の７面体を４つ並べて表示するようにした表示例を示す図である。画面１７０上には、４つの７面体１７１から１７４が表示されている。あるコンテンツを毎日録画した場合、画面１７０上に４つの７面体１７１から１７４を表示することにより、略１ヶ月分（正確には４週間分）のコンテンツを纏めて表示することができるので、ユーザにとっては、録画された略１ヶ月分の番組を、一覧することができる。特に、図２７は上下の画像列の一覧性がよくなる。
図２５から図２７の表示状態において、上述したようなフォーカス画像と関連するシーンの選択として、例えばフォーカス画像のシーンと似たシーンの検索をするようにすれば、ユーザにとっては、関連シーンの検索も容易になるだけでなく、楽しいものとなる。
ｃ）第３の変形例
さらに、図１８から図２７の表示の変形例として、サムネールの画像の拡大率あるいは縮小率を制御することによって、コンテンツの時間的な流れ以外の付加情報を示すことが可能になる。
図２８は、画像列中の各サムネール画像の大きさを、時系列データ、ここでは例として視聴率データに応じて変更する表示例を説明するための図である。
コンテンツの視聴率データｒは、コンテンツの再生時間の経過時間ｔに対応して変化する。その変化に応じて、２つの大きな値のときのサムネール画像ＴＮ１１，ＴＮ１２は、横方向には縮小されず表示されている。そして、サムネール画像ＴＮ１１のサイズは、そのときの視聴率ｒ１に応じた大きさであり、サムネール画像ＴＮ１２のサイズは、そのときの視聴率ｒ２に応じた大きさで表示されている。図２８では、視聴率ｒ２が視聴率ｒ１よりも高いので、サムネール画像ＴＮ１２は、サムネール画像ＴＮ１１よりも大きく表示されている。
なお、画像列中、どのシーンのサムネール画像を横方向に縮小されない形式で表示するかの決定方法には、視聴率データｒが所定の閾値以上のものとする、視聴率の高い上位の所定数のシーンにする等、種々の方法がある。
なお、図２９は、図２８の表示例の変形例を示す図である。図２９は、画面１８０上で大きさの異なるサムネール画像の底辺を揃えて画像列１８１を表示した例を示す図である。
このときの付加情報は、例えば、図８に示すようなテキスト形式ないし数値形式の時系列データに基づく情報である。
例えば、以下に挙げる情報（時系列データ）に基づいて、サムネール画像の拡大率あるいは縮小率を変更する。
１）歓声から盛り上がり度合い
２）ＢＧＭや効果音の大きさ
３）笑いや拍手の大きさ
４）会話の密度
５）視聴率
６）ユーザ仲間の録画人数
７）動画中のシーンにリンクができるのならリンク数
８）シーンの視聴回数
９）検出した特定人物の判定値（特定人物が登場している確率）
１０）検出した顔の大きさ
１１）検出した人数の多さ
１２）キーワード検索のヒット率
１３）シーンチェインジの判定値
１４）音楽番組ならサビの部分
１５）教育番組ならポイントの部分
以上のような情報の部分では、サムネール画像の拡大率が大きくなる。
例えば、スポーツ競技のコンテンツであれば、音響音声処理によってコンテンツ内の歓声の音量を解析すると、競技の盛り上がりレベルを数値化することができる。この盛り上がりに応じて、盛り上がった部分ほど、サムネール画像を大きく表示し、盛り上がりレベルが低いほど小さな画像で表示するという応用がある。そのように表示することで、ユーザはコンテンツの内容がより直感的に分かりやすくなり、所望のシーンの選択が容易になる。
なお、これらのコンテンツ内の付加情報の表現方法には、画像列中のサムネール画像の縮小率あるいは拡大率で示す代わりに、サムネール画像の明るさ、サムネール画像の枠の太さ、サムネール画像の枠の色または明るさ、サムネール画像を上下にずらす、など様々な方法がある。
このような図２８あるいは図２９のような表示によれば、従来のように、例えば音声データ等の大きいところを、音声データの波形から特定し、次に、その波形の位置に対応する画像を探索するという煩わしい作業を経なければ、盛り上がりシーンが何だったのかを知ることができなかったが、図２８と図２９によれば、ユーザは、その盛り上がりシーンを瞬時に知ることができる。
さらになお、図２８あるいは図２９のような表示を、図１８の各コンテンツの画像列を表示するときに、適用してもよい。
なお、盛り上がった楽しい場面を大きくするモードと、逆にシリアスな場面を大きくするモード等、の複数のモードを設け、モードを切替えることによって、図２８、図２９の表示をそのモードに応じて表示するようにしてもよい。
６．表示生成部のソフトウエア処理
次に、出力デバイス１３に表示されるコンテンツの画像列の表示処理について説明する。図３０は、複数のコンテンツについての複数の静止画の画像列の表示を行うための、表示生成部１１の処理の流れの例を示すフローチャートである。以下、その処理を図２０を参照しながら説明する。
ユーザは、リモコン１２ＡのGUI２ボタン９５ｅを押すと、図３０に示す処理が実行される。図３０の処理は、上述した図１５のステップS9において、GUI２ボタン９５ｅが押されることによって、表示生成部１１によって実行される。なお、ユーザが出力デバイス１３の画面上に表示した所定の機能を選択するような操作により、図３０の処理が実行されるようにしてもよい。
まず、表示生成部１１は、所定の位置に、例えば図１８であれば中央の位置に、表示するコンテンツを選択する（ステップS21）。この選択は、例えば図１７において選択されたコンテンツ１１２ｄであるか否かによって行うことができる。
次に、表示生成部１１は、前記所定の位置以外の他の位置に、例えば図１８であれば上下の位置に、表示するコンテンツを選択する（ステップS22）。他の位置に表示するコンテンツは、例えば、図１７のサブメニューウインドウ１０２において当初選択して設定した選択部に対応するコマンドに基づいて選択される。
図１８の中央の段に表示されるコンテンツは、図１７のコンテンツ１１２ｄであり、上下の段に表示されるコンテンツは、図１７のサブメニューウインドウ１０２の複数の選択部に対応するコンテンツである。上述したように、コンテンツ情報の中のテキストのタイトル名の一致あるいは不一致により、例えば同じシリーズの番組として、上下の段に表示するコンテンツが検索されて選択される。
表示生成部１１は、予め設定されている表示方式の情報と表示のためのパラメータに基づいて、画像列の表示を行う表示処理を実行する（ステップS23）。その表示処理の結果、各コンテンツの画像列は、それぞれのフレーム画像から生成されたサムネール画像を所定の形式で所定の方向に、配置される。表示方式とは、例えば図１８のような複数段形式表示なのか、図２３のような複数段形式表示であっても注目画像の位置が所定の方向において揃った表示なのか、図２６から図２９のいずれの表示なのか、と言った画面全体の表示形態を指し、その表示方式の情報は、表示生成部１１あるいは記憶装置に予め設定されて記憶されている。パラメータも、複数段の段数（例えば図１８であれば５段）、多面体の面数（例えば図２５であれば４面）と言ったパラメータであり、表示方式の情報と同様に、表示生成部１１あるいは記憶装置に予め設定されて記憶されている。
図３１により、ステップS23における表示処理を説明する。図３１は、サムネール画像の画像列を表示するための処理の流れを示すフローチャートである。
まず、表示生成部１１は、記憶装置１０Aから、画像列を生成するコンテンツの時間経過に沿った所定の数の静止画、すなわちサムネール画像を生成する（ステップS41）。ステップS41が、静止画生成部を構成する。
次に、表示生成部１１は、生成された所定の数のサムネール画像の中から、所定の指定された少なくとも一つのサムネール画像（上記の例であれば、注目画像）以外の他のサムネール画像を所定の形式で縮小した画像に変換する（ステップS42）。ステップS42が、画像変換部を構成する。
そして、表示生成部１１は、その少なくとも一つのサムネール画像と、変換された他のサムネール画像を、画面上の所定の経路に沿って（上記の例であれば、横方向に）、かつ時間経過に沿って配置した画像列を表示する（ステップS43）。ステップS43が、表示部を構成する。
図３１に示す処理を実行するステップS23により、図１８のような画面が、出力デバイス１３の表示装置の表示画面上に表示される。その後、図２０のように、所定のシーン選択がされたとすれば、各コンテンツの画像列中には、複数の注目画像として、例えばゴールシーンのハイライトシーンが選択された画像を含む画面が、表示される。
次に、表示生成部１１は、ユーザからフォーカスの移動が指示されたか否かの判断を行う（ステップS24）。フォーカスの移動指示の有無は、リモコン１２Aの十字キー９５が操作されたか否かによって判断される。十字キー９５が操作されると、処理は、ステップS25へ移行する。
図２２において説明したように、右カーソル部IR又は左カーソル部ILが押されると、ステップS25において、表示生成部１１は、カーソルのあるフォーカス画像として表示するサムネール画像の時間を、変更する。フォーカス画像は、サムネール画像の時間に対応して表示される。右カーソル部IRが押されると、フォーカス画像は、コンテンツの時間が進む方向に選択される。左カーソル部ILが押されると、フォーカス画像として、コンテンツの時間が遡る方向にサムネール画像が選択される。その結果、右カーソル部IR又は左カーソル部ILが１回だけ押されれば、所定の時間分だけ進んだ、あるいは戻った時間のサムネール画像が、フォーカス画像として表示される。ステップS26の後は、ステップS22へ処理は戻る。
右カーソル部IR又は左カーソル部ILではなく、上又は下のカーソル部IU又はIDが押されると、ステップS25でNOとなり、ステップS27でYESとなって、表示生成部１１は、コンテンツの変更を行う。上カーソル部IUが押されると、表示生成部１１は、画面上に表示されている、上の段のコンテンツを選択する。下カーソル部IDが押されると、表示生成部１１は、表示生成部１１は、画面上に表示されている、下の段のコンテンツを選択する。さらに、コンテンツを変更したので、表示生成部１１は、フォーカス画像の時間を、その変更後のコンテンツの開始時間に変更する（ステップS29）。
その結果、上カーソル部IUが押されると、図１８であれば、その結果、フォーカス画像であることを示す枠F2は、コンテンツ１２１ｂに移動し、かつフォーカス画像であることを示す枠F2が付加されて、図１８の左端のフレーム画像のサムネール画像が縮小されずに表示される。下カーソル部IDが押されると、図１８であれば、その結果、枠F2は、コンテンツ１２１ｄに移動し、かつフォーカス画像であることを示す枠F2が付加されて、図１８の左端のフレーム画像のサムネール画像が縮小されずに表示される。ステップS29の後は、ステップS22へ処理は戻る。
なお、上述の例では、コンテンツの変更があったときにフォーカス画像の時間は、変更後のコンテンツの開始時間になるが、開始時間にならずに、変更前のフォーカス画像の位置が画面上の縦方向において同じ位置、あるいはコンテンツの開始時間からの同じ経過時間の位置の時間になるように、フォーカス画像の時間を変更するようにしてもよい。
右カーソル部IR又は左カーソル部ILではなく、さらに上又は下のカーソル部IU又はIDではなく、外側のリングキー９５ｂの右カーソル部OR又は左カーソル部OLが押されると、ステップS25とS27でNOとなり、ステップS30でYESとなって、表示生成部１１は、フォーカス画像として表示する時間を、次の（すなわち隣の）注目画像であるハイライトシーンの時間に変更する（ステップS31）。図２０では、注目画像としてゴールシーンであるハイライトシーンが選択されているが、フォーカス画像は、その選択されたハイライトシーンに変更される。右カーソル部ORが押されると、右側の隣にあるハイライトシーンの時間が、フォーカス画像の時間となる。もしも、そのときに、それ以上右にハイライトシーンがなければ、フォーカス画像の時間は変更されないか、あるいは、フォーカス画像の時間は、そのコンテンツの左端のハイライトシーンの時間に変更される。左カーソル部OLが押されると、左側の隣にあるハイライトシーンの時間が、フォーカス画像の時間となる。もしも、そのときに、それ以上左にハイライトシーンがなければ、フォーカス画像の時間は変更されないか、あるいは、フォーカス画像の時間は、そのコンテンツの右端のハイライトシーンの時間に変更される。ステップS31の後は、ステップS22へ処理は戻る。ステップS31の処理によって、図２２の表示状態SS3に示す表示が実現される。
このように、コンテンツ内の注目画像間で、ここではハイライトシーン間で、フォーカス画像が移動する。
右カーソル部IR又は左カーソル部ILではなく、上又は下のカーソル部IU又はIDではなく、さらに、外側のリングキー９５ｂの右カーソル部OR又は左カーソル部OLではなく、外側のリングキー９５ｂの上カーソル部OU又は下カーソル部ODが押されると、ステップS25、S27及びS30でNOとなって、表示生成部１１は、コンテンツの変更を行う（ステップS32）。上カーソル部OUが押されると、表示生成部１１は、画面上に表示されている、上の段のコンテンツを選択される（ステップS32）。また、下カーソル部ODが押されると、表示生成部１１は、画面上に表示されている、下の段のコンテンツを選択する。さらに、コンテンツを変更したので、フォーカス画像の時間を、変更後のコンテンツ中のハイライトシーンの時間に変更する（ステップS33）。
その結果、上カーソル部OUが押されると、図２０であれば、その結果、フォーカスを示す枠F2は、コンテンツ１２１ｂに移動し、かつフォーカスを示す枠F2が、変更後のコンテンツのハイライトシーンのサムネール画像に付加される。下カーソル部ODが押されると、図２０であれば、その結果、フォーカスを示す枠F2は、コンテンツ１２１ｄに移動し、かつフォーカスを示す枠F2が変更後のコンテンツのハイライトシーンのサムネール画像に付加される。ステップS33の後は、ステップS22へ処理は戻る。ステップS32,S33の処理によって、図２２の表示状態SS2に示す表示が実現される。
このように、他のコンテンツのハイライトシーンへフォーカス画像が移動する。
ステップS24でNOの場合、すなわちユーザの指示がフォーカスの移動指示でない場合、表示生成部１１は、コンテンツへのアクションの指定か否かを判断する（ステップS34）。コンテンツへのアクションの指定は、例えば、コンテンツの再生、早送り、消去等の指示である。ステップS34でYESの場合、指示がコンテンツの再生であるか否かが判断される（ステップS35）。指示がコンテンツの再生である場合、表示生成部１１は、カーソルのあるコンテンツを、フォーカス画像の時間位置から、再生する再生処理を実行する（ステップS36）。そして、指示がコンテンツの再生以外の場合、表示生成部１１は、その再生以外の指示の内容に対応するその他の処理を実行する（ステップS37）。
以上のように、図３０の処理により、ユーザは、複数のコンテンツを表示させ、かつ所望のコンテンツと、所望のフォーカス画像を選択できる。さらに、フォーカス画像の移動も、十字キー９５により容易に、コンテンツ間及びコンテンツ内、さらに、ハイライトシーン間でできるので、ユーザは、シーンの検索を容易に行うことができる。そして、選択したシーンの再生もできるので、ユーザは、検索シーンの確認も簡単にすることができる。
次に、フォーカス画像の位置のフレーム画像の情報を利用して、関連コンテンツを選択する処理について説明する。図３２は、表示再生部１１の関連コンテンツ選択処理の流れの例を示すフローチャートである。以下は、フォーカス画像に登場している人物が登場しているコンテンツを、関連コンテンツとして表示する例で説明する。
まず、表示生成部１１は、フォーカス画像に対応する位置のフレーム画像の情報を関連コンテンツの選択に利用するか否かを判断する（ステップS51）。フォーカスのある位置（フォーカス位置）のフレーム画像の情報を関連コンテンツの選択に利用するか否かは、表示生成部１１あるいは記憶装置に予め設定されて記憶されており、その設定情報に基づいて、表示生成部１１は、判断することができる。
ステップS51でYESの場合、表示生成部１１は、フォーカス位置の時間の登場人物の情報を取得する（ステップ(S52）。この情報の取得は、例えば、図４のテキストデータ中の登場人物名の情報を検索することによって行われる。
続いて、その登場人物が登場するコンテンツを選択する（ステップS53）。具体的には、表示生成部１１は、テキストデータの登場人物名の欄を検索して、その登場人物名がその欄に記憶されているコンテンツを検索して、選択する。
そして、表示生成部１１は、選択された複数のコンテンツを、所定の順序、例えば、録画時間順にソートする並び替え処理を行う（ステップS54）。並び替えられた複数のコンテンツの中から所定数の表示対象、ここでは上下４つのコンテンツを選択する（ステップS55）。その結果、画面上には、選択された４つの関連コンテンツがフォーカスのある選択コンテンツの上下に表示される。
ステップS51でNOの場合、初期の条件で関連コンテンツを選択し（ステップS56）、処理は、ステップS54に移行する。
以上の処理は、フォーカス画像が変更される度に実行されるので、動的に上下の関連コンテンツを再選択されて変更されて表示される。
なお、ここで、図１９に示すような、「似たシーンを探す」の選択部が選択された状態（斜線が付加されている）であれば、図２０のような画面が表示される。
次に、図２８あるいは図２９のような強調表示処理について説明する。
図３３は、強調表示の処理の流れの例を示すフローチャートである。
まず、表示生成部１１は、コンテンツの画像列を表示するための全体のサムネール画像の枚数と、画像列の表示のサイズを決定する（ステップS61）。そして、表示生成部１１は、各サムネール画像の表示サイズを決める根拠の時系列データを取得する（ステップS62）。この時系列データは、表示生成部１１あるいは記憶装置に設定され記憶されているコンテンツ情報の中のデータである。
そして、表示生成部１１は、サムネール画像の対象コンテンツのサムネール画像のデータを、１つだけ記憶装置から読み込んで取得する（ステップS63）。
取得した対象コンテンツのサムネール画像のデータは、強調表示、すなわちいわゆるハイライト表示、する対象のデータか否かが判断される（ステップS64）。
そのサムネール画像のデータが強調表示する対象のデータのときは、スケーリング量を強調用のサイズに設定される（ステップS65）。強調表示する対象のデータでないとき（ステップS64でNOの場合）は、時系列データに基づいてそのサムネール画像のスケーリング量が決定される（ステップS66）。
次に、全サムネール画像の処理が終了したか否かが判断される（ステップS67）。全サムネール画像の処理が終了していなければ、ステップS67でNOとなって、処理は、ステップS63に移行する。
全サムネール画像の処理が終了していれば、ステップS67でYESとなって、全サムネール画像を表示したときに、所定の表示幅に収まるように全画像のスケーリング量を修正する（ステップS68）。これにより、各サムネール画像は、所定の表示幅内の大きさに収まることになる。
そして、全サムネール画像のスケーリング処理が行われる（ステップS69）。これに画像列として表示されたときの大きさが調整される。
そして、表示生成部１１は、全サムネール画像を表示する（ステップS70）。
なお、以上の処理は、１つのコンテンツについて、図２８あるいは図２９のような画像列の強調表示を行う例であるが、図１８，図２５等のような複数の画像列を画面上に表示する場合は、図３３の処理は、各コンテンツについて実行され、全てのコンテンツを表示するための、全体の表示サイズの調整処理が行われる。
なお、上述した例は、ステップS63でサムネール画像を１つずつ読み込んで処理している例であるが、全てのサムネール画像を読み込んで、時系列データから所定数の、例えば上位１０個の、シーンだけを強調表示するように処理をしてもよい。
７．最後に
以上のように、GUI1とGUI2の両方を用いると、ユーザは、人間にとって自然な連想方法で、興味のあるコンテンツを少ないステップで検索することが可能になる。具体的には、(1)GUI1により時間軸の３次元空間で映像コンテンツを探し、(2)ある時間軸に注目したらその時間軸を含む３次元空間でコンテンツをGUI1において並び替え、（3）GUI1により関心を持ったコンテンツのタイトルを呼び出し、(4) GUI2によりコンテンツ全体を一覧しながらシーンを選択する、ということが可能となる。さらに、(5) GUI2によりそのシーンを観た後で、同じ人物が登場する1日前のコンテンツを検索する、ということも可能になる。
以上のように、上述した本実施の形態の映像コンテンツ表示装置１によれば、複数の映像コンテンツの中から、所望の映像コンテンツ、および、映像コンテンツ内の所望のシーンを、簡単にかつ楽しく選択して視聴できるグラフィカルユーザインタフェースを提供することができる。
８．変形例
次に、GUI１の変形例について説明する。
図９のGUI1の画面を生成する場合に、次のようなケースがある。
ケース１−１）
「あの頃あるいはあの時に観たあのコンテンツAと同じ時期に制作されたコンテンツBを観たい。」
ケース１−２）
「このシーンCと同じ時代背景を持つ他の映像コンテンツDやシーンEを観たい。」
ケース１−１の場合には、制作日時等のデータが、コンテンツAとコンテンツBのコンテンツ情報中に、共通する時間軸のデータとして存在する。よって、制作日時等のデータで検索することによって、「同じ時期に制作された」コンテンツを抽出して、抽出されたコンテンツをリスト表示したりすることができる。
ケース１−２の場合にも、時代設定等のデータが、シーンCとコンテンツDとシーンEのコンテンツ情報中に、共通する時間軸のデータとして存在する。よって、時代設定等のデータで検索することによって、「同じ時代背景を持つ」コンテンツを抽出して、抽出されたコンテンツをリスト表示したりすることができる。
従って、このようなケースにおいて、時間軸のデータとして、制作日時、放送日時、撮影日時、録画日時、視聴日時、など様々なデータを設定しておけば、ユーザは、GUI１のデータを用いて、図１７の選択部を選択することによって、図１８のような画面を表示したり、検索結果をリスト表示したりすることができる。
すなわち、人間であるユーザが、出来事等を時間軸で覚えているような場合に、本実施の形態の装置は、上述したような図９の画面表示を提供して、その時間軸に対応してコンテンツを検索することができるようにするものである。そのときに、図１７に示すような選択部によって、制作日時、放送日時等の時間軸をキーにして、ユーザは、容易にコンテンツの検索をすることができる。
ところが、次のようなケースもある。
ケース２−１）
「あのコンテンツPを買ったときに良く観ていたあのコンテンツQと、時代設定が同じコンテンツRを観たい。」
ケース２−２）
「このコンテンツAを前回視聴したときに放映されていたコンテンツＢを観たい。」
ケース２−１の場合、コンテンツPを買ったとき（日時）と、コンテンツQを観ていたとき（日時）は、同じとき（日時）だが、２つのとき（日時）の時間軸は互いに異なる。一方は、購入日時であり、他方は、視聴日時である。従って、図９に示すようなユーザビュー空間１０１内で、その２つのコンテンツは近くに配置されるとは、限らない。なお、コンテンツQとコンテンツRは、それぞれ、共通する時間軸上で時代設定（日時）のデータが同じであるので、３次元空間内でもお互いに近くに表示されるであろう。
ケース２−２の場合、コンテンツAを前回（あるいは最後に）視聴したとき（日時）と、コンテンツＢが放送されたとき（日時）は近いが、それぞれのとき（日時）の時間軸が異なる。一方は、最後の視聴日時であり、他方は、放送日時である。よって、上述したGUI-1のユーザビュー空間１０１内で、コンテンツAとコンテンツＢとが、互いに近くに配置されるとは限らない。
このような場合を、図面を用いて説明する。図３４は、ケース２−２を説明するための図である。
図３４において、横軸は、最後に再生したとき、すなわち最後に視聴したとき（最後の視聴日時）の時間軸であり、縦軸は、放送されたとき、すなわち放送日時の時間軸である。図３４において、四角で示す複数のブロックがそれぞれコンテンツを示す。コンテンツAは、３年前に放送されて、２年前に最後に視聴されたことを示している。コンテンツBは、２年前に放送されて、１年前に最後に視聴されたことを示している。また、コンテンツXは、放送日時がコンテンツAと同じで、最後の視聴日時が３年前である。コンテンツYは、放送日時がコンテンツBと同じで、最後の視聴日時がコンテンツAと同じである。ケース２−２の場合、コンテンツAの放送日時と同じ放送日時のコンテンツXを検索することは、同じ時間軸のデータについて検索すればよいので、上述したケース１−１，１−２と同様に、容易である。その場合、検索の結果、コンテンツXは、例えば、GUI-1のユーザビュー空間１０１（図３４の点線で示す範囲１０１A）内において、コンテンツAの近傍に表示される。また、コンテンツAの最後の視聴日時（あるいは最後の視聴日）と同じ視聴日時のコンテンツYを検索することは、同じ時間軸のデータについて検索すればよいので、同様に、容易である。
しかし、「コンテンツAを前回視聴したときに放映されていたコンテンツＢ」のようなケース２−２では、コンテンツAのコンテンツ情報からコンテンツBを検索することはできないという問題がある。
以下、このような問題を解決する４通りの方法について説明する。
まず、第１の解決策を説明する。図３５は、その第１の解決策に関する画面を示す図である。
図３５は、図１７に類似する画面であり、サブメニューウインドウ１０２のポップアップ表示に、「放映日がこのコンテンツの最後の視聴日と同じものを集める」というようなコマンドを指示する選択部が追加されている。従って、ユーザは、ケース２−２のような場合に、選択部１０２Ａを選択することによって、ケース２−２のような場合に、所望のコンテンツを検索することができるようになる。
他にもケース２−１の場合であれば、図示はしないが、「このコンテンツの購買日と同じ頃に放映されていたコンテンツと同じ時代設定のコンテンツを集める」というような選択部が、追加される。また、他にも、例えば、選択部としては、「時間軸A（前回視聴した日時の軸）の日時と同じ、時間軸B（放映日の日時の軸）の日時を中心とする視点に移動する」、「時間軸A（前回視聴した日時の軸）の日時と同じ、時間軸Cの日時を中心とする視点に移動する」等の、視点位置の変更をするための選択部も可能である。
以上のように、選択部によるコマンドによって、フォーカス状態にあるコンテンツについてのコンテンツ情報のある時間軸のデータを用いて、他の時間軸のデータ検索を行うようにして、ケース２−１，２−２のような場合においても、関連するコンテンツの検索を行うことができる。
なお、上述したように、想定される検索の組合せに応じた複数の選択部を予め用意しておき、その複数の選択部を画面上に選択メニューとして表示するようにしてもよいが、関連の組合せを選択できるような画面を表示させて、その組合せを選択させて、検索コマンドを生成するようにしてもよい。
次に、第２の解決策を説明する。
図３６は、その第２の解決策を説明するための図である。
上述したケース２−２のような場合に、フォーカス状態にあるコンテンツについて、最後の視聴日時のデータ、ここでは「２年前」というデータと、放送日時のデータ、ここでは「３年前」というデータとが存在する。そこで、それらの「２年」と「３年」という、時間軸のデータを用いて、ユーザビュー空間の表示範囲を拡大して表示するようにするのが、第２の解決策である。すなわち、第２の解決策は、検索して視聴したいコンテンツの存在する可能性のある時間範囲内を、ケース２−２のような検索条件に関わる時間データの時間軸に関係ない時間データ（上記の例であれば、「視聴日時」という時間軸に関係なく、「２年」という時間データと、「放送日時」という時間軸に関係なく、「３年」という時間データ「比）だけを用いて、ユーザビュー空間の表示範囲を決定して拡大表示するというものである。
時間データ「２年」と「３年」から、ユーザビュー空間１０１の表示範囲を、各時間軸において２年前から３年前までの１年間として、ユーザビュー空間のデータ生成を行って、そのユーザビュー空間を表示する。その結果、ユーザビュー空間１０１内には、その表示範囲内に存在するコンテンツのみが表示されるので、ユーザは、目的とするコンテンツを見つけやすくなる。図３６において、ユーザビュー空間１０１Ｂは、各時間軸上で、２年前から３年前までの時間幅（Ｘ０，Ｘ１），（Ｙ０，Ｙ１），（Ｚ０，Ｚ１）からなる空間となる。点（Ｘ０，Ｙ０，Ｚ０）は、Ｘ，Ｙ，Ｚの３つの時間軸における２年前の日時に対応し、Ｘ１は、Ｘ軸上の３年前の日時に対応し、Ｙ１は、Ｙ軸上の３年前の日時に対応し、Ｚ１は、Ｚ軸上の３年前の日時に対応する。そのユーザビュー空間１０１Ｂが、図９等の形式で画面上に表示される。そのユーザビュー空間１０１Ｂ内には、その各時間軸において１年という時間幅内のコンテンツのみが存在するので、ユーザは、所望のコンテンツを選択し易い。
また、時間データが３つ以上ある場合は、３つデータの中の最大値と最小値を、ユーザビュー空間１０１Ｂの３つの時間軸全てについての表示範囲のデータとして用いるようにすればよい。
なお、そのような表示範囲を限定してもなお、存在するコンテンツの数が多いときは、ユーザの嗜好データ、すなわちユーザの嗜好プロファイルから、コンテンツのジャンルを限定することによって、表示されるコンテンツの数を減少させるようにしてもよい。
あるいは、表示されるコンテンツの数に上限を設けて、その上限を超えたら、その上限の数のコンテンツをランダムサンプリングにより抽出することによって、表示されるコンテンツの数を制限するようにしてもよい。
以上のように、検索条件に関わる時間データを、時間軸に関係なく抽出し、その時間データを、ユーザビュー空間の表示範囲を決定するデータとして利用することによって、表示される範囲が、検索して視聴したいコンテンツの存在する可能性のある時間範囲に限定されるので、ユーザは、ケース２−１，２−２のような場合においても、関連するコンテンツの検索を行うことができる。
次に、第３の解決策を説明する。
上述したケース２−２のような場合、フォーカス状態にあるコンテンツは、３つの時間軸について３つの時間データが存在する。そこで、その３つの時間データの各データと同じ時間データあるいは近い時間データを他の時間軸について有するコンテンツを検索して抽出し、その抽出されたコンテンツを、ユーザビュー空間の中に表示するようにするのが、第３の解決策である。すなわち、第３の解決策によれば、コンテンツの有する３つの時間軸の各時間データが、その時間データの属する時間軸とは別の他の２つの時間軸において、同じあるいは近い時間データを有するコンテンツを、ユーザビュー空間中に表示する。
具体的には、フォーカス状態にあるコンテンツの３つの時間軸として、制作日時、放送日時及び最後の再生日時という時間軸がある場合、その３つのデータを用いてそれらの３つの時間軸以外の時間軸について検索する。すなわち、Ｘ軸についての時間データと同じあるいは近い時間データを、Ｙ軸あるいはZ軸について有するコンテンツを検索し、同様に、Y軸についての時間データと同じあるいは近い時間データを、X軸あるいはZ軸について有するコンテンツを検索し、同様に、Z軸についての時間データと同じあるいは近い時間データを、X軸あるいはY軸について有するコンテンツを検索して、それらを、ユーザビュー空間内に、フォーカス状態にあるコンテンツと共に表示する。その結果、その３つのデータと同じ時間あるいは近い時間のデータを有するコンテンツを抽出することができるので、その抽出して得られたコンテンツを、例えば、図９のような画面形式で表示する。
このようにすれば、ユーザは、フォーカス状態のコンテンツに関連するコンテンツの検索を容易にすることができる。
次に、第４の解決策を説明する。
第４の解決策は、いわゆる絶対時間におけるイベントの発生日時を、コンテンツ毎に、コンテンツ情報に含ませ（あるいはコンテンツ情報と関連付け）ておき、コンテンツ間のイベントの発生日時の同時性あるいは関連性が判るように、画面上に表示させるようにしたものである。言い換えると、第４の解決策は、コンテンツ毎に、コンテンツに対して発生した１以上のイベントを、その発生した時間を示す基準時間（以下の例では、世界標準時間等の絶対時間）における時間情報（イベント時間情報）とともに関連付けて記憶して、コンテンツ間のイベントの発生日時の同時性等が判るように、画面上に表示させるようにしたものである。
以下、第４の解決策について具体的に説明する。
まず、第４の解決策に関わるコンテンツ情報について説明する。図３７は、コンテンツ情報における時間軸データのデータ構造を説明するための図である。時間軸データは、図３７に示すように、コンテンツ毎に、複数のイベント情報を含む。コンテンツ情報中の時間軸データは、ポインタにより、別のテーブルデータとして、複数のイベント情報を有する。各イベント情報は、さらに階層的に構成されており、「イベントの種類」、「イベントの開始時間」、「イベントの終了時間」、「対象コンテンツ開始時間（コンテンツのタイムコード」、「対象コンテンツの終了時間（コンテンツのタイムコード）」を含む。各イベント情報は、図３７の例では、被視聴というイベントについて、視聴者、視聴開始日時、視聴終了日時、視聴開始タイムコード、及び視聴終了タイムコードの時間データを含む。各イベント情報において、視聴開始タイムコードと視聴終了タイムコードは、相対的な時間を示す時間データであり、視聴開始日時と視聴終了日時は、絶対時間を示すデータである。例えば、イベント１において、視聴開始日時の時間データは、「2001/02/03 14:00」であり、西暦２００１年２月３日１４時」を示し、視聴終了日時の時間データは、「2001/02/03 16:00」であり、西暦２００１年２月３日１６時」を示す、絶対時間のデータとなっており、視聴終了タイムコードは、「2:00」である。よって、その視聴者が、２時間番組を２時間で観たことを示している。従って、相対的な時間を示すデータ以外は、この絶対時間のデータが、イベントの時間データとして利用される。
図３７では、イベント情報として被視聴情報の例を示しているが、コンテンツ毎のイベント情報としては、他にも、制作日時、放送日時等の情報も含まれる。なお、コンテンツの内容の時代設定等においては、コンテンツの内容の全部あるいは一部（シーン、チャプタ等）が想定している時代、あるいは日時が、イベントの発生日時とされる。
すなわち、イベント情報として記憶する対象を、予め決めておき、映像コンテンツ表示装置としてのTV録画機等に対するユーザによる操作等がその予め決められたイベントに対応する場合には、その操作に基づいて、そのイベントの発生したコンテンツに関連付けてイベント情報が生成されて、記憶装置１０Aのコンテンツ情報に追加される。
なお、上述したように、コンテンツあるいは時間軸によっては、イベント情報における日時データは、時分秒までの時間データを記憶する必要のない場合もある。その場合は、年だけ、あるいは年と月だけの時間の区間データだけを記憶するようにしてもよい。例えば、歴史ドラマのようなコンテンツあるいは時代設定のような時間軸については、時間データは年だけ、あるいは年月だけの時間の区間データが登録される。
さらになお、このようなデータ構造は、コンテンツをキーとして、イベント列を関連付けたテーブル形式としてもよいし、XML形式で表現したものでもよい。
映像コンテンツ表示装置１は、このようなイベント情報に基づいて、図３８あるいは図３９に示すような３次元表示画面を、出力デバイス１３の表示画面上に表示することができる。図３８あるいは図３９に示す画像が、ユーザビュー空間として、ユーザの観る出力デバイス１３の表示画面上に表示される。リモコン１２Aに対する所定の操作、例えば所定のボタンを押す操作、があると、図３８及び図３９の画面は、表示生成部１１により生成される。その表示するための処理については、後述する。ここでは、ユーザが、図３８の画面と図３９の画面のどちらを表示するかを選択できる場合を説明する。
図３８は、３つの時間軸のうち１つの時間軸が、所定の基準時間の時間軸としての絶対時間の時間軸として固定され、残りの２つの時間軸がユーザの指定した時間軸である、３つの時間軸により構成される仮想空間内に存在する複数のコンテンツを、所定の表示形態で３次元的に表示した表示例である。なお、絶対時間とは、上述したように、コンテンツの誕生、内容、視聴等の各イベントの発生時間を一意に特定できる時間であり、例えば、世界標準時間等の、西暦の年月日と時分を示すような基準時間である。
図３８では、X軸が放送日時あるいは録画日時の時間軸であり、Y軸が設定年代の時間軸であり、Z軸が絶対時間の時間軸である。図３８は、この３つの時間軸で形成された３次元空間内に、複数のコンテンツがそれぞれ時間的に対応する位置に配置されている状態を、ある視点から観たときの画面表示の例を示している。図３８では、ユーザビュー空間に対する視点は、絶対時間軸（Z軸）に対して直交する方向から観る位置であり、予め設定される。各コンテンツは、それぞれがイベントを示す複数のブロックが絶対時間軸に平行に並ぶように表示される。
なお、Ｚ軸以外は、時間に関する軸でなくてもよい。例えば、Ｘ軸とＹ軸は、タイトル名の５０音順、ＡＢＣ順、ユーザの視聴回数順等でもよい。
具体的には、図３８に示すように、各コンテンツにおいて、イベントの発生が視認できるように、コンテンツ２０１は、制作のイベントを示すブロック２０１Aと、放送のイベントを示すブロック２０１Bと、視聴のイベントを示すブロック２０１Cとが、絶対時間の時間軸Zに平行に、かつ各イベントの発生日時に対応する位置に配置されるように、表示される。さらに、それらの３つのブロックが一つのコンテンツに関するものであることを示すために、３つのブロック間は、バー部２１１によって繋がっているように表示される。すなわち、各コンテンツは、それぞれがイベントを示す複数のブロックが、互いにバー部によって連結されて一体として、表現されている。
また、各コンテンツは、ユーザの選択した他の時間軸（X軸とY軸）に対しては、それぞれの時間軸上の対応する位置に配置される。図３８の場合、各コンテンツは、X軸に対しては各コンテンツの放送日時の位置で、Y軸に対しては各コンテンツの内容の設定年代の位置に配置される。
なお、図３８では、ユーザがイベントの内容を理解し易いように、イベントの内容を示す文字が、各ブロックの位置に示しているが、色、記号等で表示するようにしてもよい。
同様に、他のコンテンツ２０２、２０３も表示されている。具体的には、コンテンツ２０２は、３つのイベントを含み、３つのイベントを示す３つのブロックがバー部２１１によって結ばれている。コンテンツ２０３は、４つのイベントを含み、４つのイベントを示す４つのブロックがバー部２１１によって結ばれている。
なお、ここでは、複数のコンテンツを、所定の表示形態で表示する場合に、イベントをブロック形状のもので示し、ブロック間の繋がりをバー部によって示すようにしているが、その所定の表示形態は、図３８に示す表示形態以外の他の表示形態でもよい。
ユーザは、図９の表示状態において、所定の操作、例えばマウス等のポインティングデバイスを用いてフォーカスしたいコンテンツを選択した状態でリモコン１２Aの所定のボタンを押すという操作、をすると、図３８の画面が出力デバイス１３の表示画面上に表示される。
そして、図３８では、そのフォーカス状態のコンテンツにおける所定のイベント（ここでは複数のイベントの中で絶対時間軸上で略中央にあるイベント）が、画面の中央に配置され、かつそのイベントの発生日時と同じあるいは近い発生日時のイベントを有する他のコンテンツが表示されている。
具体的には、コンテンツ２０１は、３つのイベント２０１A、２０１B、２０１Cを有する。図３８では、３つのイベントのうち、絶対時間軸上で、中央あるいは略中央にあるイベントを示すブロック２０１B（放送のイベント）が、選択されたイベントのブロックとして、画面の中央に配置される。そして、その選択されたブロック２０１Bのイベントの発生日時と同じあるいは近い発生日時のイベント（２０２B（放送のイベント）、２０３C（視聴のイベント））を有するコンテンツ２０２，２０３も、３次元空間上に配置された状態で表示される。すなわち、ユーザは、基準となるコンテンツ２０１の放送の日時とは、コンテンツ２０２の放送の日時と、コンテンツ２０３の視聴の日時が近いことを知ることができる。
画面の中央に、所定の幅を有する部分がある。その部分は、図３８において、斜線でしめした部分である注目範囲IRを示す。注目範囲IRは、絶対時間軸上において、フォーカス状態のコンテンツの中の選択したイベントと同じ発生日時あるいは近い発生日時のイベントがあるか否かを検索するための、時間の範囲TWであり、図３８では、所定の位置（ここでは、画面の中央）に位置するように表示される。よって、選択されたイベントの発生日時を基準として、その基準の時間的に前後＋−TW/2の範囲（すなわち、−TW/2から＋TW/2の範囲）内に、発生日時のある他のイベントが、選択されたイベントの発生日時と同じあるいは近い発生日時のイベントを有する他のコンテンツとして抽出されて表示される。
なお、図３８において、帯状の注目範囲IRに平行に引かれた点線は、時間幅TWと同じ時間幅を示す目盛り表示部である。
選択されたイベントを指定する方法としては、上述したように、図９の画面表示の状態において、図３８の画面表示をするための所定の操作をすると、そのコンテンツの複数のイベント中の中央、あるいは略中央にあるイベントを、選択されたイベントとして自動的に指定する方法がある。その結果、その選択されたイベントが、図３８のように中央の注目範囲IR内に配置され、かつ、他のコンテンツの中で、その注目範囲IR内に発生したイベントを有するコンテンツが、コンテンツ２０２，２０３のように表示される。
なお、上述の例では、フォーカス状態のコンテンツの複数のイベント中の中央あるいは略中央にあるイベントを、選択されたイベントとしたが、他のイベント（例えば、最も発生日時の早いイベントであるイベント（コンテンツ２０１であれば、イベント２０１A））を、選択されたイベントとするようにしてもよい。
また、一旦選択されたイベントが注目範囲IR内に含まれるように表示された状態で、さらにマウス等による所定の操作を行って、他のイベントを選択されたイベントとすることができる。例えば、図３８の表示画面の表示状態において、マウス等でイベント２０１Cを選択すると、視点位置が、Z軸に対して直交する方向からイベント２０１Cを観た位置に変化し、かつそのイベント２０１Cが、画面の中央に配置されてそのイベント２０１Cを基準とする注目範囲IR内に発生したイベントを有するコンテンツが、図３８のように表示される。このように、ユーザの操作による指定によって、注目範囲IRに配置するイベントを選択するようにしてもよい。なお、その選択は、フォーカス状態にない他のコンテンツのイベントに対しても行うことができる。例えば、コンテンツ２０２のイベント２０２Cを選択することもできる。その場合、当初のフォーカス状態にあるコンテンツは、コンテンツ２０２に変更されてもよいし、あるいはコンテンツ２０１のままでもよい。
さらに、その選択は、キーボード等の矢印キーの中の左右の移動を押すことによって、所定量だけあるいはそのキーが押されている間は連続して、その左右キーの選択されたキーの方向に視点位置が移動するようにしてもよい。そのとき、注目範囲IRも、視点位置の移動に伴って、絶対時間の時間軸上で変化する。注目範囲IR内に、フォーカス状態のコンテンツのイベントが位置すると、そのイベントが選択されたイベントとされて、各コンテンツは、図３８のような表示状態となる。
なお、上述した説明では、イベント２０１Bの発生日時と同じあるいは近い発生日時のイベントを有するコンテンツ２０２，２０３が表示されるとしたが、その注目範囲IR内に発生日時を有するイベントを含まないコンテンツ（例えば、図３８において点線で示したコンテンツ２０４）は、他のコンテンツ２０１，２０２，２０３とは表示形態を異なる表示形態で、表示するようにしてもよい。その異なる表示形態とは、例えば、全体に輝度を低くする形態、透過状態のような形態等である。
従って、選択されたイベントの変更に応じて、その選択されたイベントの発生日時と同じあるいは近い発生日時のイベントを有するコンテンツと、そのときの注目範囲IR内に発生日時を有するイベントを含まないコンテンツとが変更されて、各コンテンツの表示形態も動的に変化する。
以上のように、図３８の表示画面によれば、コンテンツにおける選択したイベントが発生した絶対時間と同じあるいは近い発生時間のイベントを有するコンテンツを、容易に視認することができる。
上述したケース２−２のような「このコンテンツAを前回視聴したときに放送されていたコンテンツＢを観たい。」という場合であれば、コンテンツAにおける前回の「視聴」という視聴イベントと、「放送」という放送イベントとが同じあるいは近い発生日時のものであることを、ユーザは、図３８の画面を観ることによって容易に抽出あるいは判断することができる。
同様に、ケース２−１のような「あのコンテンツPを買ったときに良く観ていたあのコンテンツQと、時代設定が同じコンテンツRを観たい。」という場合であれば、コンテンツPの「買った」という購入イベントと、「視聴」という視聴イベントとが同じあるいは近い発生日時のものであることを、ユーザは、図３８の画面を観ることによって容易に判断することができ、その上でさらに、ユーザは、時代設定が同じ位置にあるコンテンツも容易に判断することができる。
図３９は、図３８と同様に、３つの時間軸のうち１つの時間軸が絶対時間の時間軸として固定され、残りの２つの時間軸がユーザの指定した時間軸である、３つの時間軸により構成される仮想空間内に存在する複数のコンテンツを、所定の表示形態で３次元的に表示した表示例である。図３９は、図３８とは視点位置が異なっており、その視点位置は、設定され、かつ変更することができる。そして、図３９の表示状態において、所定の操作を行うことによって、視点位置を変更することできる。
図３９には、３つのコンテンツ３０１，３０２，３０３が示されている。コンテンツ３０１は、４つのイベント３０１A、３０１B、３０１C、３０１Dを有する。コンテンツ３０２は、３つのイベント３０２A、３０２B、３０２Cを有する。コンテンツ３０３は、２つのイベント３０３A、３０３Bを有する。
図３９は、フォーカス状態のコンテンツ３０１のイベント３０１Dを選択して、注目範囲IR2が、立体的な領域として表示されている状態を示している。よって、視点の位置を変更することによって、ユーザは、イベント３０１Dの発生日時と同じあるいは近い発生日時のイベントとして、コンテンツ３０２のイベント３０２Bがあることを容易に判断することができる。
図４０から図４２は、それぞれ、XZ平面、XY平面及びYZ平面に直交する方向から観て、図３９における各コンテンツ及び各イベントの配置を示す図である。
図３９の表示状態においても、ユーザは、視点の移動だけでなく、図３８で説明したような、イベントの選択操作をすることができる。すなわち、ユーザは、マウス等を用いて、選択されたイベントの変更をすることができる。
なお、図３９の場合に、注目範囲IR2に入るイベントについては、強調表示（色を変える等の表示）をするようにしてもよい。
図４３は、イベントの表示方法の他の例を説明するための図である。コンテンツによっては、映像中のカット、シーン、チャプタ等において、時代設定が変化する場合がある。図４３は、そのような場合におけるイベントの表示方法の他の例を示す。一つのイベント中で時代設定の時間が変化する場合は、その変化したシーン等の部分を分離するようにして表示する。図４３では、４つのイベントがあり、各イベントは、ブロックの一部が、時代設定の時間軸に平行な方向にずれて配置されるように表示される。
図４４を用いてより具体的に説明する。図４４は、YZ平面に直交する方向からみたときの各ブロックの構成を説明するための図である。
コンテンツ４０１を制作するときに、過去のシーンを２度に分けてロケを行って撮影したとする。その場合、図４４に示すように、制作イベント４０１Aにおいては、過去のシーンを２度に分けてロケを行って撮影したので、ブロック４０１Aの一部４０１Aa（二箇所）が、設定年代の時間軸に沿って、ずれるようにして表示される。また、放送イベント４０１Bにおいて、ドラマ中の設定年代が「現在平和に暮らしていた」年代の状態４０１Baから「過去にタイムスリップした」ときの年代の状態４０１Bbへ変化し、その後「無事に現在に戻った」ときの年代の状態４０１Bcに変化すると、YZ平面に直交する方向から観たときに、ブロックの一部が、設定年代の時間軸方向に、その設定年代に応じてずれるようにして表示される。
このような表示をすることによって、１つのイベントの中で、時間軸上の時間に変化があっても、ユーザは、容易に、その変化を認識することができる。
以上のように、図３８から図４２に示すように、各コンテンツは、複数のイベントが繋がったものとして直線状に示されているが、図４３と図４４に示すように一直線状に表示されない場合もある。従って、各コンテンツは、ライフログのように、繋がったものとして一直線状に表示され、かつ、その直線上にイベントを示すものが表示されるが、そのライフログは、一直線上にならず、データも不連続になる場合もあるということができる。特に、昔の有名な映画の総集編のような番組では、引用されら映画毎に制作日時が異なるので、制作日時が不連続になる場合もある。
なお、図３８あるいは図３９において、その表示されるユーザビュー空間の範囲が現時点を含む比較的近い日時のだけに限られるときは、時間軸上における時間間隔は広くし、逆に時代設定のような古い年代の日時を含むようなときは、時間軸上における時間間隔は狭くなるように表示することが望ましい。例えば、時代設定が古いドラマのコンテンツ中のイベントに対しては、図３８、図３９等における注目範囲IR,IR2の時間幅は、「年」等の広い時間幅となり、ある1日の出来事を描いたドラマのコンテンツ中のイベントに対しては、注目範囲IR,IR2の時間幅は、「時分」等の狭い時間幅となるように、注目範囲IR,IR2の時間幅が変更される。
次に、上述した図３８及び図３９の画面表示のための処理について説明する。
図４５は、図３８及び図３９の画面表示の処理の流れの例を示すフローチャートである。上述したように、図３８又は図３９の画面を表示させたい場合、ユーザは、リモコン１２Aの所定のボタン、例えばGUI3ボタン９５ｆを押すと、図３８又は図３９の画面が、出力デバイス１３の表示画面上に表示される。従って、図４５の処理は、そのGUIボタン９５ｆが押されると実行される。GUI3ボタン９５ｆは、表示生成部１１に対して、図３８及び図３９のように、コンテンツを表示させる処理を行わせるコマンドを出力するための指示部である。
まず、GUI3ボタン９５ｆが押されると、表示生成部１１は、ユーザビュー空間に対する視点が絶対時間軸に対して直交する方向に固定されるか否かを判定する（ステップS101）。この判定は、ユーザによって、表示生成部１１のメモリ、例えば書き換え可能なメモリ、に予め設定された情報に基づいて行われる。例えば、ユーザが、デフォルトとして、図３８の表示を行うように設定していれば、その判定は、ステップS101でYESとなり、図３９の表示を行うように設定していれば、その判定は、ステップS101でNOとなる。
なお、予め設定されなくても、GUI3ボタン９５ｆが押されると、図３８か図３９のいずれの表示をするかを入力させるためのポップアップウインドウを画面上に表示して、ユーザにいずれの表示を表示するかを選択させるようにしてもよい。
次に、表示生成部１１は、フォーカス状態にあるコンテンツ、すなわち基準コンテンツの時間軸データを読み出す（ステップS102）。読み出される時間軸データは、図３７に示したイベント情報を含む時間軸データである。
次に、表示生成部１１は、X軸とY軸の時間軸を決定する（ステップS103）。この決定は、ユーザによって、表示生成部１１のメモリ、例えば書き換え可能なメモリ、に予め設定された情報に基づいて行われる。例えば、ユーザが、デフォルトとして、図３８のX軸とY軸の時間軸を、それぞれどの時間軸にするかを設定していれば、そのX軸とY軸の時間軸の決定は、その設定に基づいて行われる。
なお、予め設定されなくても、所定のポップアップウインドウを画面上に表示して、ユーザに、X軸とY軸の時間軸をそれぞれ選択させるようにしてもよい。
次に、表示生成部１１は、絶対時間軸の表示範囲を決定する（ステップS104）。絶対時間軸の表示範囲は、例えば、「１９９０年」から「１９９９年」のように、範囲を示すデータによって決定される。図３８のユーザビュー空間におけるZ軸方向における表示範囲が、そのステップS104において決定される。この決定も、ユーザによって予め設定されて、表示生成部１１のメモリに記憶された情報に基づいて行われるようにしてもよいし、所定のポップアップウインドウを画面上に表示して、ユーザに、Z軸方向の表示範囲のデータを入力させるようにしてもよい。
次に、表示生成部１１は、注目範囲IRを決定する（ステップS105）。図３８のユーザビュー空間におけるZ軸方向における注目範囲IRが、そのステップS105において決定される。この決定も、ユーザによって予め設定されて、表示生成部１１のメモリに記憶された情報に基づいて行われるようにしてもよいし、所定のポップアップウインドウを画面上に表示して、ユーザに、Z軸方向の注目範囲のデータを入力させるようにしてもよい。
さらに、表示生成部１１は、ユーザビュー空間の範囲内のコンテンツについて、X軸とY軸の時間軸キーで検索して、ユーザビュー範囲内のコンテンツを抽出して選択する(ステップS106)。そして、表示生成部１１は、図３８のユーザビュー空間内の各コンテンツの位置と各イベントの位置を決定し、ユーザビュー空間を表示する（ステップS107）。ステップS107が、複数の映像コンテンツの時間情報とイベント時間情報とに基づいて、複数の映像コンテンツのそれぞれについて複数の時間軸上の位置と、複数のイベントのそれぞれについての絶対時間軸上の位置とを決定する位置決定部を構成する。また、ステップS107は、各コンテンツの位置の情報に基づいて、所定の表示形態で、前記複数の映像コンテンツのそれぞれを、複数の指定時間軸の時間軸に対応させ、かつ絶対時間の時間軸に対応させて各イベントを、表示装置の画面上に並べて表示する映像コンテンツ表示部を構成する。
ユーザは、図３８のユーザビュー空間を観ながら、矢印キー、マウス等を操作してユーザビュー空間の表示範囲あるいは注目範囲を変更したりすることができる。
このような操作が行われると、ユーザビュー空間の変更あるいは注目範囲の変更が行われることになる。従って、表示生成部１１は、ユーザビュー空間の変更あるいは注目範囲の変更が行われたか否かを判定する（ステップS108）。表示生成部１１は、このような変更が行われたと判断されると、ステップS108でYESの場合、処理は、ステップS101に戻る。なお、ステップS108でYESの場合、処理は、ステップS104等に戻るようにしてもよい。
このような変更が行われないときは、ステップS108でNOとなり、表示生成部１１は、コンテンツの選択が行われたか否かの判断を行う（ステップS109）。コンテンツの選択が行われると、表示生成部１１は、GUI2の表示（図１８等）を行うための処理を実行する。コンテンツの選択が行われないと、ステップS109でNOとなり、処理は、ステップS108に戻る。
また、ステップS101でNOの場合は、処理は、図４６の処理へ移行する。図４６の処理は、図３９のユーザビュー空間を表示するための処理である。
表示生成部１１は、全コンテンツの時間軸データを読み出す（ステップS121）。次に、表示生成部１１は、X軸とY軸の時間軸を決定する（ステップS122）。この決定は、上述したステップS103と同様に、ユーザによって、表示生成部１１のメモリ、例えば書き換え可能なメモリ、に予め設定された情報に基づいて行われてもよいし、所定のポップアップウインドウを画面上に表示して、ユーザに、X軸とY軸の時間軸をそれぞれ選択させるようにしてもよい。
次に、表示生成部１１は、Z軸を絶対時間とするXYZの３次元の時間空間を決定し、生成する（ステップS123）。
そして、表示生成部１１は、過去のビュー情報を利用するか否かを判定する（ステップS124）。過去のビュー情報を利用する場合は、ステップS124でYESとなり、表示生成部１１は、過去のビュー情報からユーザビュー空間内の各コンテンツの位置と各イベントの位置を決定する（ステップS125）。ステップS125が、複数の映像コンテンツの時間情報とイベント時間情報とに基づいて、複数の映像コンテンツのそれぞれについて複数の時間軸上の位置と、複数のイベントのそれぞれについての絶対時間軸上の位置とを決定する位置決定部を構成する。
なお、ビュー原点は、現在の日時が中心となるように、デフォルトで設定されていてもよい。さらに、各軸は、いくつかのスケールを、例えば時間単位、週単位、月単位等を、選択できるようにしてもよい。
そして、表示生成部１１は、そのビュー情報の各パラメータを記憶装置１０Aに保存する（ステップS126）。
ステップS124でNOの場合、すなわち過去のビュー情報を利用しない場合は、表示生成部１１は、ビュー情報の変更処理を行う。ビュー情報の変更処理は、たとえば、ビュー情報の各パラメータを入力するための複数の入力フィールド部を有するポップアップウインドウを表示し、ユーザは、各パラメータを入力して、最後に確認ボタン等の操作をすることによってビュー情報を設定することができる。なお、複数のパラメータを個別に、ユーザが設定できるようにしてもよい。
従って、まず、ビュー視点の変更を行うか否かの判断が行われ（ステップS127）。ビュー視点の変更を行う場合は、ステップS127でYESとなって、表示生成部１１は、ビュー視点のパラメータの変更処理を行う（ステップS128）。
ステップS127及びS128の後、ビュー原点の変更を行うか否かの判断が行われ（ステップS129）。ビュー原点の変更を行う場合は、ステップS128でYESとなって、表示生成部１１は、ビュー原点のパラメータの変更処理を行う（ステップS130）。
同様に、ステップS129及びS130の後、Z軸の表示範囲の変更を行うか否かの判断が行われ（ステップS131）。Z軸の表示範囲の変更を行う場合は、ステップS131でYESとなって、表示生成部１１は、Z軸の表示範囲のパラメータの変更処理を行う（ステップS132）。
同様に、ステップS131及びS132の後、X軸又はY軸の表示範囲の変更を行うか否かの判断が行われ（ステップS133）。X軸又はY軸の表示範囲の変更を行う場合は、ステップS133でYESとなって、表示生成部１１は、X軸又はY軸の表示範囲のパラメータの変更処理を行う（ステップS134）。
なお、ステップS132及びS134における表示範囲の変更は、具体的な時間、例えば「１９９０年」から「１９９５年」という時間の区間データでもよいし、縮尺あるいはスケールのデータでもよい。
そして、ステップS133及びS134の後、ビュー情報の変更処理が終了か否かが判断される（ステップS135）。この判断は、例えば、上述したように確認ボタンが押されたか否かによって行うことができる。ステップS135でNOの場合、処理は、ステップS127に戻る。また、ステップS135でYESの場合、処理は、ステップS126に移行する。
ステップS127からS135のビュー情報の変更においては、図４０，図４１及び図４２のように、図３９のような斜め方向から観たようなビュー空間だけでなく、XZ平面、XY平面あるいはYZ平面に対して直交する方向から観たような表示も可能となる。
ステップS126の処理の後、処理は、図４５のステップS107に移行する。
以上のようにして、図３８及び図３９の画面を生成して表示することができる。
なお、図４５の処理の場合、図３８の表示画面においては、絶対時間の時間軸に対する視点位置が固定されているので、X軸とY軸が選択された後の処理は、選択および検索して抽出したコンテンツ及びイベントを、Z軸の表示範囲（ユーザビュー空間のZ軸の範囲）内で表示したり、あるいは変更されたZ軸の表示範囲内だけで表示位置の変更をするだけで済むものである。
一方、図４６の処理の場合、ユーザビュー空間の図３９の表示画面を、一旦決定して生成した後に、視点位置の変更等のビュー情報の変更がされると、新たなビュー情報に基づいて、図３９の表示画面を再度生成しなければならない。
従って、図３８の表示画面の生成処理は、図３９の表示画面の生成処理に比べて、負荷は軽い。図３８及び図３９の表示画面を生成するプロセッサは、図２に示すようなプロセッサでなくても可能であるが、その場合は、図３９の表示画面の場合は、３Dグラフィックエンジンを有するGPU（Graphics Processing Unit）を利用するのが、好ましい。
なお、図３８及び図３９のような表示を行う場合、ユーザが時間解像度を変更できるようにしてもよい。すなわち、分、時、日、月、年、１０年、１００年等のように、時間の解像度の単位を予め用意しておき、その中から表示したい単位をユーザが選択できるようにする。ユーザは、例えば、一日の中の時間の切断面を見る場合は、分の単位で表示され、古い過去の時間の切断面を観るときは、１００年の単位で表示されるようにすることができる。よって、ユーザは、その選択された単位で、ユーザビュー空間を観ることができるので、コンテンツ間及びイベント間の関連性が分かりやすい。
以上のように、第４の解決策によれば、基準時間に対するイベントの発生日時を、コンテンツ毎に、コンテンツ情報に含ませ（あるいはコンテンツ情報と関連付け）ておき、コンテンツ間のイベントの発生日時の同時性あるいは関連性が判るように、画面上に表示させるようにしたので、ユーザは、複数の映像コンテンツの中から所望のシーンあるいはコンテンツを容易に検索することができる。
なお、以上説明した動作を実行するプログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶装置等に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の映像コンテンツ表示装置を実現することができる。
なお、上述した実施の形態は、ビデオコンテンツを例に説明されているが、本発明は、制作日時、視聴日時等、時間に関する情報を有する音楽コンテンツにも適用可能であり、さらに、作成、変更等の時間に関する情報を有する、文書データ、プレゼンテーション用データ、プロジェクト管理データ等のドキュメントファイルにも適用可能である。また、映像コンテンツの表示を行う装置をサーバ等に設け、ネットワークを介して映像コンテンツ表示を行うようにする場合にも適用可能である。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施の形態に係わる映像コンテンツ表示システムの構成を示すブロック構成図である。 本発明の実施の形態に係わる表示生成部に含まれるこのようなプロセッサの構成例を示すブロック図である。 本発明の実施の形態に係わる入力デバイスとしてのリモコンのキー配列の例を示すリモコンの平面図である。 本発明の実施の形態に係わる各コンテンツに付与されるコンテンツ情報のデータ構造を説明するための図である。 図４の時間軸データの詳細を説明するための図である。 図４の視聴者別データの詳細を説明するための図である。 図４のリストデータの詳細を説明するための図である。 図４の時系列データの詳細を説明するための図である。 本発明の実施の形態に係わる複数のコンテンツを所定の表示形態で３次元的に表示した表示例を示す図である。 ３つの時間軸と、１つのコンテンツの位置関係を説明するための図である。 本発明の実施の形態に係わる、視点位置等を変更して、Ｙ軸が画面の中心点を通るようにしたときのユーザビュー空間の表示例を示す図である。 図９又は図１１の表示おける各コンテンツの位置関係を説明するための図である。 本発明の実施の形態に係わる、各コンテンツの時間軸情報によって前後方向に長さを持つ表現とした表示例を示す図である。 本発明の実施の形態に係わる、デジタルテレビなどの映像機器の場合、コンテンツおよびシーンの集合を３次元的に表示するときの画面表示例を示す図である。 本発明の実施の形態に係わる、出力デバイスの表示画面上に図９、図１１、図１３又は図１４の表示をするための、表示生成部の処理の流れの例を示すフローチャートである。 絶対時間空間とユーザビュー空間の関係を説明するための図である。 本発明の実施の形態に係わる、図９の画面が表示されている状態で、リモコンを操作して、所定のサブメニューを表示した状態を示す図である。 本発明の実施の形態に係わる、図９で選択したコンテンツに関連して、所望の検索条件により検索された複数の関連コンテンツの表示例を示す図である。 本発明の実施の形態に係わる、図１８の画面が表示されている状態で、リモコンを操作して、関連シーン検索のための所定のサブメニューを表示した状態を示す図である。 本発明の実施の形態に係わる、関連シーンの表示例を示す図である。 本発明の実施の形態に係わる、毎日放送される番組中にある特定のコーナーが検出された画面の例を示す図である。 本発明の実施の形態に係わる、関連シーンが検索されて表示された画面において、リモコンの十字キーを用いてシーンの選択が行われることを説明するための図である。 図２１の画面の変形例を示す図である。 本発明の実施の形態に係わる、画面上に表示された早送り及び早戻しバーとしての画像列の表示例を示す図である。 ４つのコンテンツに対応する各画像列を４面体の４面上に表示する表示形式の変形例を示す図である。 図２５の４面体に代えて、７面体１６１を用いた画像列の表示の変形例を示す図である。 図２６の７面体を４つ並べて表示するようにした表示例を示す図である。 本発明の実施の形態に係わる、画像列中の各サムネール画像の大きさを、時系列データに応じて変更する表示例を説明するための図である。 図２８の表示例の変形例を示す図である。 本発明の実施の形態に係わる、複数のコンテンツについての複数の静止画の画像列の表示を行うための、表示生成部の処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、サムネール画像の画像列を表示するための処理の流れを示すフローチャートである。 本発明の実施の形態に係わる、表示再生部の関連コンテンツ選択処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、強調表示の処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、ケース２−２を説明するための図である。 本発明の実施の形態の変形例における、第１の解決策に関する画面を示す図である。 本発明の実施の形態の変形例における、その第２の解決策を説明するための図である。 本発明の実施の形態の変形例における、コンテンツ情報における時間軸データのデータ構造を説明するための図である。 本発明の実施の形態の変形例における、３つの時間軸により構成される仮想空間内に存在する複数のコンテンツを、所定の表示形態で３次元的に表示した表示例である。 本発明の実施の形態の変形例における、図３８と同様に、３つの時間軸により構成される仮想空間内に存在する複数のコンテンツを、所定の表示形態で３次元的に表示した表示例である。 XZ平面に直交する方向から観て、図３９における各コンテンツ及び各イベントの配置を示す図である。 XY平面に直交する方向から観て、図３９における各コンテンツ及び各イベントの配置を示す図である。 YZ平面に直交する方向から観て、図３９における各コンテンツ及び各イベントの配置を示す図である。 本発明の実施の形態の変形例における、イベントの表示方法の他の例を説明するための図である。 本発明の実施の形態の変形例における、YZ平面に直交する方向からみたときの各ブロックの構成を説明するための図である。 図３８及び図３９の画面表示の処理の流れの例を示すフローチャートである。 図３９のユーザビュー空間を表示するための処理である。
符号の説明
１ 映像コンテンツ表示装置、１０ コンテンツ記憶部、１０Ａ 記憶装置、１１ 表示生成部、１２ 入力デバイス、１３ 出力デバイス、７０ プロセッサ

Claims (5)

  1. 記録された動画の複数の映像コンテンツのそれぞれについて、各映像コンテンツの情報から時間経過に沿った所定の数の静止画のサムネール画像を生成する静止画生成部と、
    前記複数の映像コンテンツのそれぞれについて、生成された前記所定の数の静止画の中から、指定された少なくとも一つの静止画以外の他の静止画を所定の形式で縮小したサムネール画像に変換する画像変換部と、
    前記複数の映像コンテンツの中の１のコンテンツの前記所定の数の静止画の中の１の静止画が指定されると、前記複数の映像コンテンツの中の前記１のコンテンツ以外の他のコンテンツの静止画中から、指定された前記１の静止画に関連する静止画を検索する検索部と、
    前記複数の映像コンテンツのそれぞれについて、前記少なくとも一つの静止画のサムネール画像と、前記他の静止画の前記縮小したサムネール画像を、表示装置の画面上の所定の経路に沿って、かつ前記時間経過に沿って配置した画像列を表示すると共に、前記検索部の検索により、前記他のコンテンツ中の前記関連する静止画として検索された静止画のサムネール画像を、前記所定の形式による縮小をしないで前記少なくとも一つの静止画のサムネール画像で表示する表示部と、
    を有することを特徴とする映像コンテンツ表示装置。
  2. 前記検索部は、指定された前記１の静止画に関するコンテンツ情報と同じ或いは類似するコンテンツ情報を有する静止画があるかによって、指定された前記１の静止画に関連する静止画があるか否かを検索することを特徴とする請求項１に記載の映像コンテンツ表示装置。
  3. 映像コンテンツを表示する方法であって、
    記録された動画の複数の映像コンテンツのそれぞれについて、各映像コンテンツの情報から時間経過に沿った所定の数の静止画のサムネール画像を生成し、
    前記複数の映像コンテンツのそれぞれについて、生成された前記所定の数の静止画の中から、指定された少なくとも一つの静止画以外の他の静止画を所定の形式で縮小したサムネール画像に変換し、
    前記複数の映像コンテンツの中の１のコンテンツの前記所定の数の静止画の中の１の静止画が指定されると、前記複数の映像コンテンツの中の前記１のコンテンツ以外の他のコンテンツの静止画中から、指定された前記１の静止画に関連する静止画を検索し、
    前記複数の映像コンテンツのそれぞれについて、前記少なくとも一つの静止画のサムネール画像と、前記他の静止画の前記縮小したサムネール画像を、表示装置の画面上の所定の経路に沿って、かつ前記時間経過に沿って配置した画像列を表示すると共に、前記検索により、前記他のコンテンツ中の前記関連する静止画として検索された静止画のサムネール画像を、前記所定の形式による縮小をしないで前記少なくとも一つの静止画のサムネール画像で表示する、
    ことを特徴とする映像コンテンツ表示方法。
  4. 指定された前記１の静止画に関連する静止画があるか否かの検索は、指定された前記１の静止画に関するコンテンツ情報と同じ或いは類似するコンテンツ情報を有する静止画があるかによって行うことを特徴とする請求項３に記載の映像コンテンツ表示装置。
  5. 映像コンテンツを表示する方法を実現するためのプログラムであって、
    コンピュータに、
    記録された動画の複数の映像コンテンツのそれぞれについて、各映像コンテンツの情報から時間経過に沿った所定の数の静止画のサムネール画像を生成する静止画生成機能と、
    前記複数の映像コンテンツのそれぞれについて、生成された前記所定の数の静止画の中から、指定された少なくとも一つの静止画以外の他の静止画を所定の形式で縮小したサムネール画像に変換する画像変換機能と、
    前記複数の映像コンテンツのそれぞれについて、前記少なくとも一つの静止画のサムネール画像と、前記他の静止画の前記縮小したサムネール画像を、表示装置の画面上の所定の経路に沿って、かつ前記時間経過に沿って配置した画像列を表示すると共に、前記検索により、前記他のコンテンツ中の前記関連する静止画として検索された静止画のサムネール画像を、前記所定の形式による縮小をしないで前記少なくとも一つのサムネール画像で表示する表示機能と、
    を実現させるプログラム。
JP2006353421A 2006-12-27 2006-12-27 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム Expired - Fee Related JP4945236B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006353421A JP4945236B2 (ja) 2006-12-27 2006-12-27 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
US11/964,277 US20080159708A1 (en) 2006-12-27 2007-12-26 Video Contents Display Apparatus, Video Contents Display Method, and Program Therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006353421A JP4945236B2 (ja) 2006-12-27 2006-12-27 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2008167082A JP2008167082A (ja) 2008-07-17
JP4945236B2 true JP4945236B2 (ja) 2012-06-06

Family

ID=39584148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006353421A Expired - Fee Related JP4945236B2 (ja) 2006-12-27 2006-12-27 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム

Country Status (2)

Country Link
US (1) US20080159708A1 (ja)
JP (1) JP4945236B2 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077930B2 (en) * 2007-04-13 2011-12-13 Atg Advanced Swiss Technology Group Ag Method for recognizing content in an image sequence
JP5304172B2 (ja) * 2007-12-04 2013-10-02 株式会社リコー ファイル管理装置、ファイル管理方法及びファイル管理プログラム
KR20090093105A (ko) * 2008-02-28 2009-09-02 삼성전자주식회사 컨텐츠 재생 장치 및 방법
JP5009847B2 (ja) * 2008-03-28 2012-08-22 富士フイルム株式会社 立体画像生成装置および方法並びにプログラム
KR101454025B1 (ko) * 2008-03-31 2014-11-03 엘지전자 주식회사 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법
KR101594861B1 (ko) * 2008-06-03 2016-02-19 삼성전자주식회사 애니메이션 협업 제작 서비스를 제공하는 웹서버 및 그방법
KR101565378B1 (ko) * 2008-09-03 2015-11-03 엘지전자 주식회사 이동단말기 및 그 제어 방법
JP5056687B2 (ja) * 2008-09-12 2012-10-24 富士通株式会社 再生装置及びコンテンツ再生プログラム
US8666223B2 (en) * 2008-09-25 2014-03-04 Kabushiki Kaisha Toshiba Electronic apparatus and image data management method
JP2010081457A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 情報記録再生装置およびビデオカメラ
JP5231928B2 (ja) * 2008-10-07 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP4760892B2 (ja) * 2008-10-10 2011-08-31 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
US20100095345A1 (en) * 2008-10-15 2010-04-15 Samsung Electronics Co., Ltd. System and method for acquiring and distributing keyframe timelines
US9237295B2 (en) * 2008-10-15 2016-01-12 Samsung Electronics Co., Ltd. System and method for keyframe analysis and distribution from broadcast television
JP4623201B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR20100077782A (ko) * 2008-12-29 2010-07-08 엘지전자 주식회사 방송 프로그램을 녹화하는 방송 수신기의 동작 방법 및 그 방법을 채용한 방송 수신기
JP5520512B2 (ja) * 2009-04-09 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2010250562A (ja) * 2009-04-15 2010-11-04 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
EP2439934A4 (en) * 2009-06-05 2014-07-02 Lg Electronics Inc IMAGE DISPLAY DEVICE AND METHOD OF OPERATING IT
US8860781B2 (en) * 2009-06-30 2014-10-14 Qualcomm Incorporated Texture compression in a video decoder for efficient 2D-3D rendering
JP2011019192A (ja) * 2009-07-10 2011-01-27 Toshiba Corp 画像表示装置
US9186548B2 (en) * 2009-07-20 2015-11-17 Disney Enterprises, Inc. Play sequence visualization and analysis
KR101596959B1 (ko) * 2009-07-30 2016-02-23 엘지전자 주식회사 방송 프로그램을 녹화하는 디스플레이장치의 동작 방법 및 그 방법을 채용한 디스플레이장치
JP4716205B1 (ja) * 2009-12-25 2011-07-06 日本ビクター株式会社 オブジェクト画像表示装置、オブジェクト画像表示方法、オブジェクト画像表示プログラム
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
JP5683291B2 (ja) * 2010-05-07 2015-03-11 キヤノン株式会社 動画再生装置、方法及びプログラム並びに記録媒体
US20130086023A1 (en) * 2010-06-15 2013-04-04 Panasonic Corporation Content processing execution device, content processing execution method, and programme
JP2012004739A (ja) * 2010-06-15 2012-01-05 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP4922440B2 (ja) * 2010-07-08 2012-04-25 株式会社東芝 ３ｄ映像出力装置、３ｄ映像表示装置、３ｄ映像出力方法
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
CN103354922A (zh) 2010-12-22 2013-10-16 汤姆逊许可公司 在用户界面中定位感兴趣的区域的方法
JP5664321B2 (ja) * 2011-02-18 2015-02-04 コニカミノルタ株式会社 画像形成システムおよびプログラム
JP5408208B2 (ja) 2011-03-30 2014-02-05 カシオ計算機株式会社 画像表示システム、画像表示装置並びにプログラム
BR112013033913A2 (pt) * 2011-04-28 2019-09-24 Koninl Philips Electronics Nv dispositivo de obtençao de imagem médica
JP5772202B2 (ja) * 2011-05-12 2015-09-02 セイコーエプソン株式会社 表示装置、電子機器および表示制御方法
JP2012256105A (ja) * 2011-06-07 2012-12-27 Sony Corp 表示装置、オブジェクト表示方法、及びプログラム
JP2013016903A (ja) * 2011-06-30 2013-01-24 Toshiba Corp 情報処理装置及び情報処理方法
JP5868044B2 (ja) * 2011-07-11 2016-02-24 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体
US8645466B2 (en) 2012-05-18 2014-02-04 Dropbox, Inc. Systems and methods for displaying file and folder information to a user
CN104798074A (zh) * 2012-09-18 2015-07-22 德尔格医疗系统有限公司 产生患者参数数据的用户界面显示的系统和方法
KR101537665B1 (ko) * 2013-02-26 2015-07-20 주식회사 알티캐스트 콘텐츠 재생 방법 및 장치
US9843623B2 (en) 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
JP5768850B2 (ja) * 2013-09-11 2015-08-26 カシオ計算機株式会社 画像の表示制御装置、画像表示システム、画像表示方法並びにプログラム
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
CN104007983B (zh) * 2014-06-18 2017-07-21 北京金和软件股份有限公司 一种手机界面的pc机真实浏览效果展示方法及设备
US10433030B2 (en) 2014-10-09 2019-10-01 Thuuz, Inc. Generating a customized highlight sequence depicting multiple events
US10419830B2 (en) 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
US10536758B2 (en) 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US11863848B1 (en) * 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows
JP6694868B2 (ja) * 2015-03-02 2020-05-20 株式会社日立ハイテク 自動分析装置
JP6446347B2 (ja) * 2015-09-14 2018-12-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 サムネイル提供装置、表示装置、サムネイル映像表示システム、サムネイル映像表示方法、及びプログラム
US10694137B2 (en) 2016-05-10 2020-06-23 Rovi Guides, Inc. Systems and methods for resizing content based on a relative importance of the content
CN106021519A (zh) * 2016-05-24 2016-10-12 腾讯科技（深圳）有限公司 图片动态展示方法和装置
CN107452041B (zh) * 2016-05-31 2020-07-31 阿里巴巴集团控股有限公司 图片的生成方法及装置
AU2016231661A1 (en) * 2016-09-27 2018-04-12 Canon Kabushiki Kaisha Method, system and apparatus for selecting a video frame
JP6742881B2 (ja) * 2016-10-11 2020-08-19 キヤノン株式会社 情報処理装置とその制御方法及びプログラム
US11138438B2 (en) 2018-05-18 2021-10-05 Stats Llc Video processing for embedded information card localization and content extraction
US11025985B2 (en) 2018-06-05 2021-06-01 Stats Llc Audio processing for detecting occurrences of crowd noise in sporting event television programming
US11264048B1 (en) 2018-06-05 2022-03-01 Stats Llc Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
JP7183778B2 (ja) * 2018-12-26 2022-12-06 セイコーエプソン株式会社 表示方法及び表示装置
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
JP7314605B2 (ja) * 2019-04-26 2023-07-26 富士通株式会社 表示制御装置、表示制御方法及び表示制御プログラム
KR20210108691A (ko) * 2020-02-26 2021-09-03 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
CN115209165B (zh) * 2021-04-08 2024-08-13 北京字节跳动网络技术有限公司 一种控制直播封面显示的方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69717139T2 (de) * 1996-12-04 2003-10-02 Matsushita Electric Industrial Co., Ltd. Vorrichtung zur aufnahme und wiedergabe von hochauflösenden und dreidimensionalen bildern mit optischer speicherplatte
JP2001117821A (ja) * 1999-10-22 2001-04-27 Sony Corp 記録媒体、編集装置、記録システム
JP2002074322A (ja) * 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
US7697815B2 (en) * 2001-02-28 2010-04-13 Kddi Corporation Video playback unit, video delivery unit and recording medium
JP2004104374A (ja) * 2002-09-06 2004-04-02 Sony Corp 情報処理装置および方法、並びにプログラム
CN101740087B (zh) * 2003-04-23 2012-06-20 松下电器产业株式会社 再现装置、再现方法、记录媒体、记录方法
WO2005004159A1 (en) * 2003-07-03 2005-01-13 Matsushita Electric Industrial Co., Ltd. Video processing apparatus, ic circuit for video processing apparatus, video processing method, and video processing program
JP4177731B2 (ja) * 2003-07-28 2008-11-05 株式会社東芝 電子機器、画面制御方法および画面制御プログラム
JP4340528B2 (ja) * 2003-12-16 2009-10-07 パイオニア株式会社 情報再生装置、情報再生方法及び情報再生用プログラム並びに情報記録媒体
JP2005198039A (ja) * 2004-01-07 2005-07-21 Toshiba Corp 情報表示装置および情報表示方法
JP4341408B2 (ja) * 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置
JP4536402B2 (ja) * 2004-03-05 2010-09-01 ソニー株式会社 映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラム
JP4416606B2 (ja) * 2004-09-07 2010-02-17 キヤノン株式会社 表示制御装置及び表示制御方法、プログラム、記憶媒体
JP2006094409A (ja) * 2004-09-27 2006-04-06 Toshiba Corp 番組表表示装置および番組表表示方法
JP2006099671A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 動画像のメタデータの検索テーブル
JP4296145B2 (ja) * 2004-11-08 2009-07-15 株式会社東芝 再生装置及びその方法
EP2498255A1 (en) * 2005-02-18 2012-09-12 Panasonic Corporation Stream reproduction device and stream supply device
JP4778253B2 (ja) * 2005-03-29 2011-09-21 株式会社日立製作所 コンテンツ情報表示装置
JP4405418B2 (ja) * 2005-03-30 2010-01-27 株式会社東芝 情報処理装置及びその方法
JP2006295514A (ja) * 2005-04-11 2006-10-26 Hitachi Ltd コンテンツ情報表示装置および方法
JP4925604B2 (ja) * 2005-05-06 2012-05-09 ソニー株式会社 表示制御装置および方法、並びにプログラム
US7797641B2 (en) * 2005-05-27 2010-09-14 Nokia Corporation Mobile communications terminal and method therefore
JP4559935B2 (ja) * 2005-08-25 2010-10-13 株式会社東芝 画像記憶装置及び方法
JP4982065B2 (ja) * 2005-09-26 2012-07-25 株式会社東芝 映像コンテンツ表示システム、映像コンテンツ表示方法及びそのプログラム
JP4543261B2 (ja) * 2005-09-28 2010-09-15 国立大学法人電気通信大学 再生装置
JP2007115180A (ja) * 2005-10-24 2007-05-10 Sony Corp 情報処理装置、情報表示方法および情報表示プログラム
JP4894252B2 (ja) * 2005-12-09 2012-03-14 ソニー株式会社 データ表示装置、データ表示方法及びデータ表示プログラム
JP4296514B2 (ja) * 2006-01-23 2009-07-15 ソニー株式会社 音楽コンテンツ再生装置、音楽コンテンツ再生方法及び音楽コンテンツ再生プログラム

Also Published As

Publication number Publication date
US20080159708A1 (en) 2008-07-03
JP2008167082A (ja) 2008-07-17

Similar Documents

Publication Publication Date Title
JP4945236B2 (ja) 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
JP4982065B2 (ja) 映像コンテンツ表示システム、映像コンテンツ表示方法及びそのプログラム
US9569533B2 (en) System and method for visual search in a video media player
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
KR101669017B1 (ko) 컨텐츠 검색을 위한 시스템, 방법 및 유저 인터페이스
US8386942B2 (en) System and method for providing digital multimedia presentations
US9565387B2 (en) Perspective scale video with navigation menu
US20080066135A1 (en) Search user interface for media device
EP2159722A1 (en) Display processing apparatus and display processing method
US9990394B2 (en) Visual search and recommendation user interface and apparatus
JP5106455B2 (ja) コンテンツ推薦装置及びコンテンツ推薦方法
CN101341457A (zh) 利用3d定位增强电视应用的方法和系统
KR20120095299A (ko) 계층적 메뉴 기반 사용자 인터페이스를 탐색하는 방법 및 장치
US20100333140A1 (en) Display processing apparatus, display processing method, and computer program product
CN103384873A (zh) 用于生成媒体收集的方法
JP6959862B2 (ja) 検索クエリ形成のための方法及び装置
EP2290957B1 (en) Display processing apparatus and display processing method
JP2002108892A (ja) データ管理システム、データ管理方法、及び、記録媒体
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4649527B1 (ja) 表示処理装置、及び表示処理方法
JP2011013860A (ja) 表示処理装置、表示処理方法およびプログラム
JP4977247B2 (ja) 表示処理装置、及び表示処理方法
JP4769838B2 (ja) コンテンツ操作方法及びコンテンツ操作プログラム
JP2008099012A (ja) コンテンツ再生システム及びコンテンツ蓄積システム
CN101668142A (zh) 电子节目选单的呈现画面及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees