JP4587416B2 - デジタル映像コンテンツ閲覧装置及び方法 - Google Patents
デジタル映像コンテンツ閲覧装置及び方法 Download PDFInfo
- Publication number
- JP4587416B2 JP4587416B2 JP2000123605A JP2000123605A JP4587416B2 JP 4587416 B2 JP4587416 B2 JP 4587416B2 JP 2000123605 A JP2000123605 A JP 2000123605A JP 2000123605 A JP2000123605 A JP 2000123605A JP 4587416 B2 JP4587416 B2 JP 4587416B2
- Authority
- JP
- Japan
- Prior art keywords
- video content
- icon
- segment
- classification
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される大量の映像コンテンツから所望の番組、あるいはシーン等を効率的に検索して再生するべく、映像コンテンツの内容を表す画像特徴や音声データから得られるテキストや付随して配信される番組データ等の特徴量に基づいて、映像コンテンツを二次元あるいは三次元の仮想的な空間に分類配置表示して閲覧するとともに、選択した番組やシーン等を再生することができるデジタル映像コンテンツ閲覧装置及び方法に関する。
【０００２】
【従来の技術】
昨今の通信インフラも含むデジタル関連技術の急速な進展によって、多チャンネルを有するデジタル放送サービスが多数提供されるようになってきた。かかるデジタル放送によって、多数のチャンネルにより配信される大量の番組(プログラム)の中から、利用者が所望の番組等を選択することは容易ではない。すなわち、チャンネル数が非常に多いことから、従来のアナログ放送のように新聞や雑誌等のテレビ欄を参照する方法では、閲覧するだけでも想到の時間を要するという問題点がある。また、利用者がテレビ受像機やリモコン等を用いて順次チャンネルを切替える方法でも同様の手間がかかるという問題点がある。
【０００３】
かかる問題点を解消するべく、特開平１０−２１５４１９号公報、あるいは特開平１１−１９６３４３号公報等においては、デジタル放送において映像コンテンツに付随して配信される各チャンネルの放送内容を表す情報（放送時刻や番組タイトル等）で構成されたＥＰＧ（Electric Program Guide）に基づいて選局用の番組表を新たに作成し、効率的に選局する手段を提供する方法が開示されている。
【０００４】
しかし、このように番組表を用いる方法だけでは、番組データに記述された放送時刻や番組名が表示されるだけなので、映像の視覚的な内容を見ながらの選局をすることはできない。
【０００５】
そこで、特開平１１−１２２５５５号公報においては、複数のチャンネルの放送内容を、三次元ＣＧ技術を用いることによって、本をめくるが如く表示するナビゲーション機能を用いる方法について開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平１１−１２２５５５号公報に開示されているナビゲーション機能では、多数のチャンネルの放送内容を順次確認しなければならず、結局すべての放送を確認しなければどの放送内容が利用者の欲する内容であるのか確定することができないという問題点があった。したがって、多数のチャンネルから効率的に選局するためには、各チャンネルの放送内容を同時に閲覧できることが必要である。
【０００７】
さらに、現在放送中の番組の選択だけでなく、所望の番組の映像コンテンツを予めキーワード等でフィルタリングして録画(格納)した内容を閲覧する用途では、チャンネル(放送局)単位や番組単位のみならず、一つの番組の中におけるシーン単位に閲覧して選択することができる必要があるが、特開平１１−１２２５５５号公報において開示された方法では、すべてのシーンを確認する必要があり効率的でない。
【０００８】
また、映像コンテンツの内容を表す情報として番組データに記述された放送時刻や番組名だけでなく、映像コンテンツの視覚的な特徴や音声データをテキストに変換して得られる意味的な特徴などの観点から分類配置して画面上に表示することが必要であり、かつ分類配置するため観点を柔軟かつ迅速に切り替えられる必要がある。
【０００９】
本発明は、上記問題点を解消すべく、デジタル映像コンテンツを番組単位、カットの切り替わり点単位、一定の時間単位等に分割した映像コンテンツセグメントを色等の視覚的な特徴量、付随する音声データをテキスト変換して得られる意味的な特徴量などに基づいて、二次元あるいは三次元空間に分類配置して表示し、必要であれば分類配置に用いる特徴量を順次変更して再分類配置した結果を迅速に表示し、利用者が閲覧して所望の映像コンテンツを再生表示することで、大量に録画されたデジタル映像コンテンツの効率的な検索と鑑賞を行うことができるデジタル映像コンテンツ閲覧装置及び方法を提供することを目的とする。
【００１０】
また、多数のチャンネルから配信される複数のデジタル映像コンテンツをリアルタイムで扱うことにより、放送中の多数のチャンネルから所望の番組を効率的に選局できることも目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるデジタル映像コンテンツ閲覧装置は、デジタル方式の放送により配信される映像コンテンツを取得する映像コンテンツ取得手段と、映像コンテンツの内容を表す複数の特徴量を抽出する特徴量抽出手段と、特徴量に基づいて映像コンテンツを分類配置空間内に分類配置する分類配置手段と、映像コンテンツの内容を視覚的に表すアイコンを生成するアイコン生成手段とを含むデジタル映像コンテンツ閲覧装置であって、映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割する映像コンテンツ分割手段と、各映像コンテンツセグメントに対応するアイコンの集合を、分類配置手段による分類配置結果の位置に配置したときの特定の視点に応じて表示する分類配置表示手段とを含み、映像コンテンツ分割手段において分割の単位を任意に再設定することができ、アイコン生成手段が映像コンテンツセグメントに対応するアイコンを再生成し、特徴量抽出手段が再設定された分割の単位における映像コンテンツセグメントの特徴量を抽出し、分類配置表示手段において映像コンテンツセグメントに対応するアイコンを再配置して再表示することを特徴とする。
【００１２】
かかる構成により、大量に録画されたデジタル映像コンテンツをチャンネル(放送局)単位、番組単位又は規定時間単位等で分割した映像コンテンツセグメントとして扱い、各映像コンテンツセグメントを視覚的な特徴量や意味的な特徴量に基づいて二次元あるいは三次元空間に分類配置して表示することで、利用者が所望の番組、あるいはシーン等を効率的に見つけることが可能となる。
【００１３】
また、各映像コンテンツセグメントの内容を表すアイコン(例えば、先頭フレーム画像)が並べて表示された分類配置結果に対し、利用者が指定したアイコンに対応する映像コンテンツセグメントの内容を再生表示することで、利用者は選択した映像コンテンツセグメントを迅速に鑑賞することが可能となる。
【００１４】
さらに、利用者が所望のシーン等を見つけるときに、まず、ジャンルや番組単位の映像コンテンツセグメントを対象として分類配置表示し、所望の番組を見つけ、次に見つけた番組の内容の詳細を閲覧するために、見つけた番組を構成するシーン単位、あるいは一定時間単位等のより詳細な単位の映像コンテンツセグメントを対象として分類配置表示することも可能となる。
【００１５】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像コンテンツから利用者が好みの内容を選択するための手段が記述されたユーザ・プロファイル情報を管理するユーザ・プロファイル管理手段と、ユーザ・プロファイル情報に記述された内容に基づいて映像コンテンツ取得手段が取得した映像コンテンツを選択するフィルタリング手段と、フィルタリング手段により選択された映像コンテンツを格納する映像コンテンツ格納手段とをさらに含むことが好ましい。利用者にとって必要と考えられる映像コンテンツを自動的に絞り込むことができ、検索効率を高めることができるからである。
【００１６】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を指定されたアイコンの位置に再生表示する映像再生手段をさらに含むことが好ましい。指定した映像コンテンツが所望の内容であるか否かを即座に判断するためである。
【００１７】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置手段によって、二つの軸で張られる二次元の分類配置空間に映像コンテンツセグメントが配置されるときに、分類配置表示手段において各映像コンテンツセグメントの内容を表すアイコンとして各映像コンテンツセグメントのフレーム画像の系列を生成し、画面の奥行き方向にフレーム画像の系列として示されているアイコンを順に表示することが好ましい。映像コンテンツセグメントが短時間の内容であるとき、フレーム画像列のアイコンを見るだけで内容がわかるため、動画再生によって生じる計算処理の負荷を軽減できるからである。
【００１８】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像再生手段において、指定されたアイコンに対応する映像コンテンツセグメントが分類配置表示手段による表示とは独立の位置に再生表示され、かつ、指定されたアイコンが強調表示されることが好ましい。分類配置空間におけるアイコンと独立に再生表示することで、分類配置結果と再生内容を同時に見ながら閲覧することが可能となるからである。また、分類配置空間のアイコンを強調表示することで、再生中の映像コンテンツセグメントの分類配置空間における位置を見失わないためである。
【００１９】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像再生手段において、指定されたアイコンに対応する映像コンテンツセグメントを再生するのみでなく、他のアイコンに対応する映像コンテンツセグメントについても、指定されたアイコンの分類配置空間での位置を基点としたときの各アイコンの距離に応じた再生速度で再生表示することが好ましい。分類配置空間では、利用者が注目している映像コンテンツセグメントの付近には、注目している映像コンテンツセグメントと内容的に類似した映像コンテンツセグメントが配置され、利用者にとって注目している映像コンテンツセグメントと同時に再生表示して閲覧したいときがある。
【００２０】
ただし、同時に同じ再生速度で複数の映像コンテンツセグメントを再生すると、内容を把握しづらい。このとき、例えば注目している映像コンテンツセグメントを通常の再生速度で再生表示し、付近の映像コンテンツセグメントについては、分類配置空間上における注目映像コンテンツセグメントとの距離に反比例した速度で減速再生することで、同時に複数の映像コンテンツセグメントを再生したとき把握がし易いからである。これは、人間の目の有する、注視部分で最もよく見えて、注視部分から距離が離れるほど把握しづらくなるという視覚的特性を利用したものである。
【００２１】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像コンテンツセグメントの特徴量が、映像コンテンツセグメントを構成する動画像データの各フレーム画像における色の割合であることが好ましい。また、映像コンテンツセグメントを構成する動画像データの各フレーム画像の中で、最も面積の大きい色である代表色であっても良い。さらに、映像コンテンツセグメントを構成する動画像データにおける画素の輝度分布パターンであることも考えられる。
【００２２】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段が、映像コンテンツセグメントを構成する各フレーム画像から人物の顔領域を部分画像として切り出し、映像コンテンツにおける登場人物一覧として顔領域の部分画像集合を並べて表示する登場人物一覧表示機能を有することが好ましい。登場人物の観点から番組やシーンを見つけたいときに、登場人物の一覧表示によって支援可能となるからである。
【００２３】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段が、映像コンテンツセグメントに付随する番組データ中のＵＲＬ(Universal Resource Locator)が指すウェブ文書をＷＷＷ(ワールドワイドウェブ)サーバを介して取得し、表示する機能を有することが好ましい。映像コンテンツに関するＷＷＷサーバ上の情報を参照することで、興味のある映像コンテンツの内容を迅速に、より多く知ることができるからである。
【００２４】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像コンテンツ取得手段が、複数の放送局から配信される映像コンテンツを同時に取得し、複数の映像コンテンツが映像コンテンツ格納手段を介さず、逐次的に分類配置表示手段により表示されることが好ましい。多数のチャンネルで配信される放送中の映像コンテンツをリアルタイムで分類配置表示することで、利用者の選局の支援を可能とするからである。
【００２５】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段が、分類配置結果の表示内容の画面イメージを格納する機能、又は印刷装置を介して印刷する機能を有することが好ましい。映像コンテンツをＤＶＤ等に記録して保管するときに、分類配置結果の表示内容の画面イメージも同様に格納しておくことで、後で内容を確認するため表示することにより、記録内容の概要を容易に把握するためのインデックスとして利用することが可能となるからである。また、分類配置結果の表示内容の画面イメージをインデックス・シールとして印刷し、ＤＶＤ等の記録媒体のケース等に添付することで、表示装置により内容を表示することなく、記録内容の概要を容易に把握することが可能となるからである。
【００２６】
また、本発明は、上記のようなデジタル映像コンテンツ閲覧装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、デジタル方式の放送により配信される映像コンテンツを取得する工程と、映像コンテンツの内容を表す複数の特徴量を抽出する工程と、特徴量に基づいて映像コンテンツを分類配置空間内に分類配置する工程と、映像コンテンツの内容を視覚的に表すアイコンを生成する工程とを含むデジタル映像コンテンツ閲覧方法であって、映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割する工程と、各映像コンテンツセグメントに対応するアイコンの集合を、分類配置結果の位置に配置したときの特定の視点に応じて表示する工程とを含み、分割の単位を任意に再設定することができ、映像コンテンツセグメントに対応するアイコンを再生成するとともに、再設定された分割の単位における映像コンテンツセグメントの特徴量を抽出し、映像コンテンツセグメントに対応するアイコンを再配置して再表示するデジタル映像コンテンツ閲覧方法並びにそのような工程をプログラムとして記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２７】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、利用者が所望のシーン等を見つけるときに、まず、ジャンルや番組単位の映像コンテンツセグメントを対象として分類配置表示し、所望の番組を見つけ、次に見つけた番組の内容の詳細を閲覧するために、見つけた番組を構成するシーン単位、あるいは一定時間単位等のより詳細な単位の映像コンテンツセグメントを対象として分類配置表示することができるデジタル映像コンテンツ閲覧装置を実現することが可能となる。
【００２８】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置について、図面を参照しながら説明する。図１は本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置の構成図を示す。
【００２９】
図１において、１０は映像コンテンツ取得手段を示し、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される映像コンテンツを取得するものである。
【００３０】
また、１１は映像コンテンツ分割手段を示し、取得した時系列データである映像コンテンツについて、番組単位やカット切り替わり単位、あるいは規定時間単位等の映像コンテンツセグメントに分割するものである。
【００３１】
また、１２は特徴量抽出手段を示し、映像コンテンツ分割手段１１によって分割された各映像コンテンツセグメントの内容を表す特徴量を抽出するものである。ここで、特徴量として考えられるのは、映像コンテンツセグメントの視覚的な内容を表す情報、映像コンテンツセグメントの聴覚的な内容を表す情報、映像コンテンツセグメントの意味的な内容を表す情報等である。
【００３２】
例えば映像コンテンツセグメントの視覚的な内容を表す情報としては、映像コンテンツセグメントを構成する動画像データ中に描かれた物体の色や大きさ、移動方向等、あるいは映像コンテンツセグメントを構成する動画像データの各フレーム画像の色の割合である色ヒストグラム、最も面積の大きい色である代表色、色の配置である色レイアウト、ＤＣＴ変換を施して得られるＤＣＴ変換係数、ウェーブレット変換を施して得られるウェーブレット変換係数、画素の輝度分布パターンであるテクスチャー特徴を数量化した画像情報等が考えられる。
【００３３】
また、映像コンテンツセグメントの聴覚的な内容を表す情報としては、映像コンテンツセグメントに付随する音声データの周波数特性や振幅特性、時間変移特性を数量化した音情報等が考えられる。
【００３４】
さらに、映像コンテンツセグメントの意味的な内容を表す情報としては、映像コンテンツセグメントに付随する音声データを音声認識して得られるテキスト情報やデジタル放送で映像コンテンツに付随して配信される番組データ中のチャンネル番号、番組名、ジャンル名等を表すテキスト情報等が考えられる。
【００３５】
次に、１３は分類配置手段を示し、特徴量抽出手段１２により抽出された特徴量に基づいて、分類配置空間各軸への割り当てを設定するとともに、映像コンテンツセグメントの集合を分類配置空間内に分類配置するものである。分類配置空間には、直交系の二つの軸によって張られる二次元平面や三つの軸によって張られる三次元空間等が考えられる。
【００３６】
また、１４はアイコン生成手段を示し、映像コンテンツセグメントの内容を視覚的に表すアイコン画像を生成して表示するものである。アイコン画像としては、例えば映像コンテンツセグメントの先頭フレーム画像が考えられるが、映像コンテンツセグメントの内容を表す画像であれば特に限定されるものではない。
【００３７】
また、１５は分類配置表示手段を示し、各映像コンテンツセグメントに対応するアイコンを分類配置手段１３による分類配置結果に基づいて、特定の視点に応じたアイコン集合としてディスプレー等の表示装置に表示するものである。
【００３８】
そして、１６は映像再生手段を示し、分類配置表示手段１５により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を、指定したアイコンの表示位置において再生表示するものである。ただし、アイコンの表示位置において再生表示するものに限定されるものではなく、別途表示装置等において再生表示するものであっても良い。
【００３９】
実際には、映像コンテンツ取得部１０が取得するデジタル映像コンテンツは大量であることから、ある程度のフィルタリングを行うことで、取り扱う情報量の調整を行うことが現実的である。かかる機能を付加した構成図を図２に示す。
【００４０】
図２は、本発明の一実施例にかかるデジタル映像コンテンツ閲覧装置の構成図である。図２において、２１はユーザ・プロファイル管理手段を示し、映像コンテンツ取得手段１０が取得した映像コンテンツから利用者が所望する映像コンテンツを選択するために用いるユーザ・プロファイル情報を管理するものである。ここでユーザ・プロファイル情報とは、利用者が録画しておきたい映像コンテンツを映像コンテンツとともに配信される番組データ(放送時刻、ジャンル、番組名など)を参照して指定するための情報を意味し、例えば図３に示すようなテキストを記述したコンピュータ読み取り可能な情報ファイルである。
【００４１】
図３に示す例においては、チャンネル番号が「２」である放送局で１９：００から２３：００までに放送されるスポーツ番組のうち、番組情報に「野球」あるいは「サッカー」が含まれている映像コンテンツと任意のチャンネルと時刻のニュース番組で番組情報に「パソコン」が入っている映像コンテンツを録画することが記述されている。なお、ユーザ・プロファイル情報の形式や記述項目や記述方法等については、特にこれに限定されるものではない。
【００４２】
次に、２２はフィルタリング手段を示し、ユーザ・プロファイル管理手段２１が管理するユーザ・プロファイル情報を参照して、映像コンテンツ取得手段１０が取得した映像コンテンツからユーザ・プロファイル情報で指定される条件に合致する映像コンテンツを選択するものである。
【００４３】
また、２３は映像コンテンツ格納手段を示し、フィルタリング手段２２により選択された映像コンテンツを格納するものである。かかる映像コンテンツ格納手段２３に格納されている映像コンテンツに基づいて、図１に示した処理と同様の処理を行うことになる。
【００４４】
実際の構成例を図４に示す。図４は本発明の他の実施例にかかるデジタル映像コンテンツ閲覧装置の構成図である。ここでは、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される映像コンテンツを格納(録画)しておき、格納された映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて各映像コンテンツを視覚的に表すアイコンを二次元あるいは三次元の空間に分類配置して表示し、表示結果に対して利用者が指定した映像コンテンツを再生表示することで、利用者が所望の番組やシーンを見つけるために大量の映像コンテンツを効率的に閲覧し、鑑賞できることを目的としている。
【００４５】
図４において、４０は映像コンテンツ取得部を示し、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される映像コンテンツを取得するものである。映像コンテンツ取得部４０は、デジタル放送を受信するためのデジタル放送受信装置５１を備えている。デジタル放送受信装置５１は、デジタル方式の地上波放送や衛星放送、ケーブル放送等それぞれのチューナである。
【００４６】
また、４１はユーザ・プロファイル管理部を示し、映像コンテンツ取得部４０が取得した映像コンテンツから、利用者が好みの内容を選択するためのキーワードやチャンネル選択等が記述されたユーザ・プロファイル情報を管理する。ユーザ・プロファイル情報は、例えば、図３に示されるようなテキスト情報ファイルであり、ユーザ・プロファイル管理部４１が備える記憶媒体に格納されている。
【００４７】
かかる記憶媒体としては、半導体メモリや磁気記憶装置が考えられるが、特にこれらに限定されるものではなく、あらゆる記憶媒体が使用できる。また、ユーザ・プロファイル情報は、キーボードやマウス等の操作入力装置５８によって利用者によって編集することが可能である。
【００４８】
また、４２はフィルタリング部を示し、映像コンテンツ取得部４０が映像コンテンツと同時に取得した番組データとユーザ・プロファイル管理部４１が備える記憶媒体に格納されたユーザ・プロファイル情報を照合し、ユーザ・プロファイル情報に記述された条件に適合した映像コンテンツを選択する。例えば、ユーザ・プロファイル情報が図３に示されている内容の場合、録画番号「１」の条件では、チャンネル番号が「２」である放送局が１９：００から２３：００までに放送する番組の中で、ジャンルを示す番組データ中のテキスト文字列と「スポーツ」という文字列が完全一致あるいは部分一致し、かつ番組名あるいは番組内容を表すテキスト文字列と「野球」あるいは「サッカー」という文字列が完全一致あるいは部分一致する番組が選択されることになる。
【００４９】
次に、４３は映像コンテンツ格納部を示し、フィルタリング部４２が選択した映像コンテンツを内部に備える記憶媒体に格納する。記憶媒体としては、半導体メモリや磁気記憶装置が考えられるが、特にこれらに限定されるものではなく、あらゆる記憶媒体が使用できる。
【００５０】
また、４４は映像コンテンツ分割部を示し、映像コンテンツ格納部４３に格納された(フレーム画像の)時系列データである映像コンテンツを時間軸上で分割する。このように分割された映像コンテンツの断片を、以下「映像コンテンツセグメント」と呼ぶ。
【００５１】
映像コンテンツの分割方法としては、図５（ａ)に示すように、番組単位の分割やカットの切替り単位での分割が考えられる。また、別の方法として、図５(ｂ)に示すように、一定の時間間隔での分割がある。また、図５(ａ)や図５(ｂ)に示すように、複数の分割方法を階層的に用いる方法で分割することも可能である。
【００５２】
また、４５は特徴量抽出部を示し、映像コンテンツ分割部４４で分割された各映像コンテンツセグメントの内容を表す特徴量を抽出する。抽出された特徴量は、内部に備える記憶媒体に格納される。
【００５３】
次に、４６は分類配置部を示し、特徴量抽出部４５により抽出された特徴量から分類配置空間各軸への割り当てを設定するとともに、設定された軸で張られる分類配置空間に各映像コンテンツセグメントの集合を分類配置するものである。
【００５４】
図６(ａ)は特徴量「ジャンル」を一つの軸(横軸)に、特徴量「番組」をもう一つの軸(縦軸)に設定したときの二次元の分類配置空間を模式図で示したものである。特徴量「ジャンル」としては、番組データ中のジャンルを表す各文字列に番号を割当てたときの番号となる。また、特徴量「番組」としては、ユーザ・プロファイル情報中の番組を選択するための各キーワード文字列に番号を割当てたときに、各映像コンテンツセグメントに付随する番組データ中の番組名を表す文字列に含まれる各キーワード文字列番号となる。
【００５５】
かかる軸設定により、図６(ａ)においては、横軸方向にジャンル別のグループが並び、各ジャンル別のグループについて縦軸方向に番組ごとの映像コンテンツセグメントのグループが並ぶ。
【００５６】
図６(ｂ)は横軸と縦軸に色割合特徴量を設定し、奥行き方向の軸に時間特徴量を設定したときの三次元の分類配置空間を模式図で示したものである。色割合に関する特徴量は、各映像コンテンツセグメントの先頭フレーム画像中における色の割合を頻度ベクトルとして数量化したベクトル値である。時間特徴量は、各映像コンテンツセグメントの放送時刻である。
【００５７】
かかる軸設定により、図６(ｂ)においては、横軸と縦軸が張る平面上で、色割合が似た(色割合特徴量ベクトル値間の距離が近い)映像コンテンツセグメントほど近くに配置されることになる。また、放送時刻の早い映像コンテンツセグメントほど手前に配置される。
【００５８】
このように、一つの特徴量を複数の軸に設定することも可能である。また、図６に示されてはいないが、特徴量と軸が多対１や多対多の関係になる割当ても可能である。
【００５９】
さらに、分類配置する方法として、図６(ａ)で示されるような特徴量から配置を一意に決める方法も考えられる。なお、図６(ｂ)の色割合の類似関係に基づいて横軸と縦軸の張る平面に配置するときには、自己組織化マップのアルゴリズムを用いて配置位置を計算する。
【００６０】
次に、４７はアイコン生成部を示し、分類配置部４６による分類配置結果を表示する際に各映像コンテンツセグメントを表示するためのアイコン画像を生成する。アイコン画像としては、例えば、映像コンテンツセグメントの先頭フレーム画像があるが、特にこれに限定されるものではなく、映像コンテンツセグメントの内容を表す画像で有れば他の画像でも良い。
【００６１】
また、図６（ｃ）に示すように三次元空間上にアイコン画像を配置する場合に、先頭フレームだけではなく、トピックとなる画像を時系列に生成しておくことも考えられる。こうすることで、利用者の指定によって、映像コンテンツを時系列の順に表示することができ、映像全てを確認することなく、当該映像コンテンツが希望のものであるか否かについて判断することが容易となる。
【００６２】
アイコン画像は、内部に備える記憶媒体に格納される。記憶媒体としては、半導体メモリや磁気記憶装置が考えられるが、特にこれらに限定されるものではなく、あらゆる記憶媒体が使用できる。
【００６３】
また、４８は分類配置表示部を示し、アイコン生成部４７が生成したアイコンを分類配置部４６による分類配置結果の位置に配置したときの特定の視点に応じたアイコン集合をＣＲＴや液晶ディスプレー等の表示装置５６を介して利用者に表示する。
【００６４】
さらに、利用者はキーボードやマウス等の操作入力装置５８によって視点位置を変更することが可能であり、変更された視点に応じた分類配置結果を再表示する。また、分類配置結果表示に対し、利用者は操作入力装置５８によって特定の映像コンテンツセグメントの集合を指定することで、指定された映像コンテンツセグメント集合のみを対象として分類配置部４６が再分類配置し、分類配置表示部４８が再分類配置結果に基づいて再表示することができる。
【００６５】
また、映像コンテンツセグメント集合を利用者が直接指定する代わりに、特徴量抽出部４５が抽出した特徴量に関して利用者が操作入力装置５８によって指定した条件によって分類配置表示対象の映像コンテンツセグメント集合を選択し、分類配置部４６が選択された映像コンテンツセグメント集合を再分類配置し、分類配置表示部４８が再分類配置結果を再表示することも可能である。例えば、映像コンテンツセグメントに付随する番組データ中の内容を表すテキストや映像コンテンツセグメントに付随する音声データを音声認識して得られるテキストに関して、利用者が指定したキーワードを含む映像コンテンツセグメントのみを分類配置表示の対象とすることができる。
【００６６】
また、利用者は操作入力装置５８によって、現在設定されている特徴量から分類配置空間軸への割当ての再設定を指定することで、分類配置部４６は特徴量から分類配置空間軸への割当てを再設定し、再設定された分類配置空間軸に基づいて再分類配置し、分類配置表示部４８において再分類配置結果に基づいて再表示することができる。
【００６７】
また、利用者は操作入力装置５８によって、現在の映像コンテンツの分割単位を変更して新たな分割単位を指定することで、映像コンテンツ分割部４４は変更された分割単位で映像コンテンツを分割し、特徴量抽出部４５は特徴量を抽出し、分類配置部４６は再分類配置し、分類配置表示部４８が再分類配置結果を再表示することができる。
【００６８】
また、分類配置表示部４８は、表示されている映像コンテンツセグメント中のフレーム画像から人物の顔領域を部分画像として切り出して一覧表示する登場人物一覧表示部５３を備えることも考えられる。利用者は登場人物一覧によって表示された顔画像集合を閲覧することで、特定の人物が登場する番組やシーンを効率的に見つけることができる。
【００６９】
また、分類配置表示部４８は、映像コンテンツに付随する番組データが番組内容等を記述したウェブドキュメントのＵＲＬを含むとき、ＷＷＷサーバに接続して番組データのＵＲＬが指すウェブドキュメントを取得し、表示するＷＷＷ情報参照部５４を備えることも考えられる。利用者は操作入力装置５８により特定の映像コンテンツセグメントを指定することで、ＷＷＷ情報参照部５４が表示する関連ウェブドキュメントを読むことが可能であり、指定した映像コンテンツセグメントの内容をより詳しく知ることができる。
【００７０】
そして、４９は映像再生部を示し、分類配置表示部４８により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を指定したアイコンの位置に表示装置５６を介して再生表示する。また、映像コンテンツセグメントに対応する音声(音響)データをスピーカ等の音響装置５７を介して再生することもできる。
【００７１】
利用者は操作入力装置５８により、内容を見たい映像コンテンツセグメントを再生して鑑賞することができる。例えば、表示されているアイコンをマウス等でクリックしたり、あるいは一定時間以上ポインタがアイコンと重複した場合に再生することが考えられる。
【００７２】
また、指定した映像コンテンツセグメントだけでなく、付近の映像コンテンツセグメントを同時に再生することも考えられる。この場合、分類配置空間において、指定した映像コンテンツセグメントとの距離がＤである映像コンテンツセグメントは、（数１）により計算される速度Ｓで再生されることが好ましい。ここで、（数１）において、Ｄ0 2は指定された映像コンテンツセグメントの再生速度であり、αは係数である。
【００７３】
【数１】
Ｓ＝α・Ｄ0 2／Ｄ2
この方法では、指定された映像コンテンツセグメントからの距離の二乗に反比例した速度で付近の映像コンテンツセグメントが再生される。こうすることで、指定された映像コンテンツセグメントの視認性を害することなく、周囲にどのような映像コンテンツがあるのか容易に確認することが可能となる。また、利用者は指定した映像コンテンツセグメントの再生と同時に、分類配置空間上で視点位置を変えながらウォークスルーで閲覧することも可能となる。
【００７４】
映像コンテンツセグメントの再生は、分類配置空間表示上で再生するものでも良いし、分類配置空間表示とは別の独立した領域で再生されるものであっても良い。分類配置空間表示とは別の領域で再生される場合には、分類配置空間表示の中で、再生中である映像コンテンツセグメントの位置を見失わないために、再生を指定した映像コンテンツセグメントに対応するアイコンが赤色の枠を付加すること等で強調表示することが好ましい。ただし、強調表示の方法は、特にこれに限定されるものではなく、強調表示の方法として別の色の枠を付加する方法やアイコンの点滅等の方法であっても良い。
【００７５】
次に、図７は本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置の映像コンテンツ格納時における処理の流れ図を示す。図７において、まずデジタル放送により配信される映像コンテンツ及び付随する番組データは、デジタル放送受信装置を介して映像コンテンツ取得部４０により取得される（ステップ７００）。取得された番組データはユーザ・プロファイル管理部４１が格納しているユーザ・プロファイル情報とフィルタリング部４２により照合される（ステップ７０１）。ユーザ・プロファイル情報に記述された条件に合致する番組データを有する映像コンテンツが映像コンテンツ格納部４３により記憶媒体に格納される（ステップ７０２）。
【００７６】
また、図８は本発明の実施形態１にかかるデジタル映像コンテンツ閲覧装置の閲覧時における処理の流れ図を示す。図８において、まず映像コンテンツ格納部４３に格納された映像コンテンツは映像コンテンツ分割部４４により映像コンテンツセグメントに分割される（ステップ８００）。次に、分割された各映像コンテンツセグメントについて特徴量抽出部４５が特徴量を抽出する（ステップ８０１）。
【００７７】
そして、分類配置部４６が分類配置空間の各軸に割当てる特徴量を設定して、設定された特徴量に基づいて、映像コンテンツセグメントを分類配置空間に配置する（ステップ８０２）。一方で、配置した各映像コンテンツセグメントを表示するためのアイコンをアイコン生成部４７が生成する（ステップ８０３）。
【００７８】
そして、分類配置表示部４８が所定の視点からの分類配置結果を、生成されたアイコンを表示することで、表示装置５６上に表示する（ステップ８０４）。利用者は分類配置表示の内容に対する操作を操作入力装置５８から入力し、分類配置表示部４８が当該操作内容を判定する（ステップ８０５）。
【００７９】
操作内容が視点位置の変更である場合には、指定された視点位置に対してステップ８０４以下を繰り返す。操作内容が分類配置空間軸の再設定である場合には、再設定された軸に対してステップ８０２以下を繰り返す。操作内容が映像コンテンツの分割単位の再設定である場合には、再設定された分割単位に対してステップ８００以下を繰り返す。
【００８０】
また、操作内容が現在表示されている映像コンテンツセグメント集合の絞込みである場合には、操作入力装置５８から利用者によって与えられた条件に基づいて、分類配置表示部４８が表示対象を絞り込んだ後、ステップ８０４以下を繰り返す（ステップ８０６）。
【００８１】
操作内容が人物一覧表示である場合には、分類配置表示部４８が現在表示されている映像コンテンツセグメント中のフレーム画像から顔領域を部分画像として切り出し、顔領域部分画像の一覧を表示してステップ８０５以下を繰り返す（ステップ８０７）。
【００８２】
操作内容が映像コンテンツセグメントの関連ウェブドキュメント表示である場合には、操作入力装置５８から利用者が指定した映像コンテンツセグメントについて、分類配置表示部４８がＷＷＷサーバにアクセスしてウェブドキュメントを表示してステップ８０５以下を繰り返す（ステップ８０８）。
【００８３】
操作内容が映像コンテンツセグメントの再生である場合には、操作入力装置５８から利用者が指定した再生方法で、操作入力装置５８から利用者が指定した映像コンテンツセグメントを映像再生部４９が再生表示してステップ８０５以下を繰り返す（ステップ８０９）。操作内容が閲覧の終了の場合は処理を終了する。
【００８４】
以上のように本実施の形態１によれば、デジタル方式の地上波放送や衛星放送やケーブル放送等により配信される映像コンテンツを格納(録画)しておき、格納された映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて各映像コンテンツを視覚的に表すアイコンを二次元あるいは三次元の空間に分類配置して表示し、表示結果に対して利用者が指定した映像コンテンツを再生表示することで、利用者が所望の番組やシーンを見つけるために大量の映像コンテンツを効率的に閲覧し、鑑賞することが可能となる。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置について説明する。本実施の形態２にかかるデジタル映像コンテンツ閲覧装置は、複数の放送局により放送中である多数のデジタル放送番組(チャンネル)に関する映像コンテンツを、チャンネル単位に視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて二次元あるいは三次元の空間上で動的に分類配置し、かつ再生することで、利用者が所望の番組を効率的に選局できることを目的とする。
【００８６】
図９は本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置の構成図を示す。図９においては、４０は映像コンテンツ取得部を示し、デジタル方式の地上波放送や衛星放送やケーブル放送等により複数の放送局から配信される映像コンテンツを同時に取得する。４１はユーザ・プロファイル管理部を示し、利用者が所望の番組を選択するための条件を記述したユーザ・プロファイル情報を格納する。４２はフィルタリング部を示し、映像コンテンツ取得部４０が取得した映像コンテンツに付随する番組データとユーザ・プロファイル管理部４１が格納しているユーザ・プロファイル情報を照合して、対象とするチャンネル (番組)を選択する。なお、フィルタリング部４２がチャンネルを選択しないことも可能であり、このときは受信可能なすべてのチャンネルが対象となる。
【００８７】
４３は映像コンテンツ格納部を示し、フィルタリング部４２が選択したチャンネル、あるいは、受信可能なすべてのチャンネルの映像コンテンツを一時的に記憶媒体に格納する。記憶媒体としては、高速にアクセス可能な半導体メモリ等が好ましい。
【００８８】
４４は映像コンテンツ分割部を示し、映像コンテンツ格納部４３が一時的に格納している各チャンネルの映像コンテンツを規定時間単位に分割する。４５は特徴量抽出部を示し、映像コンテンツ分割部４４が分割した各チャンネルの規定時間単位の映像コンテンツセグメントから視覚的な特徴量、音響的な特徴量、意味的な特徴量を抽出する。
【００８９】
４６は分類配置部を示し、特徴量抽出部４５が抽出する特徴量から分類配置空間の各軸への割り当てを設定して、各チャンネルの映像コンテンツセグメントの特徴量に基づいて、分類配置空間に各チャンネルの映像コンテンツセグメントを分類配置する。
【００９０】
４７はアイコン生成部を示し、映像コンテンツセグメントを視覚的に表すアイコン画像を生成する。４８は分類配置表示部を示し、各チャンネルの映像コンテンツセグメントに対応するアイコンを分類配置部４６による分類配置結果の位置に配置したときの特定の視点に応じたアイコン集合を表示装置を介してユーザに表示する。
【００９１】
また、分類配置表示部４８は、映像コンテンツ取得部４０が逐次的に各チャンネルの映像コンテンツを取得し、映像コンテンツ分割部４４が規定時間単位で分割して逐次的に映像コンテンツセグメントを生成することにより対象となる映像コンテンツセグメント集合が逐次的に(規定時間単位で)変更されるのに従い、分類配置結果が変更された時点で変更された分類配置結果の内容を自動的に再表示する。利用者は、時間的に変化する各チャンネルの番組内容に応じた分類配置結果を閲覧することで、放送中の多数のチャンネルから所望の番組を効率的に選択することができる。
【００９２】
さらに、図１０に示すように、利用者が操作入力装置５８から指定した特定の注目する表示領域に分類配置されるチャンネルの映像コンテンツのみを表示対象とすることも可能である。図１０の例では、二次元空間上に分類配置された映像コンテンツのうち、表示対象となる映像コンテンツをマウス等によるドラッグ操作等によって支持することで、逐次的に対象映像セグメント集合を変更することができ、かかる変更に伴って表示されるチャンネルも自動的に変更される。
【００９３】
また、図１０に示したような利用者が操作入力装置５８から指定した特定の注目する表示領域について、逐次的な対象映像セグメント集合の変更にともなって新たなチャンネルの映像コンテンツセグメントが指定された表示領域に現れたとき、あるいは、指定された表示領域に表示されていたチャンネルの映像コンテンツセグメントが表示領域から消えたときに、内部に備える音響報知部９１がスピーカ等の音響装置５７から利用者に音響によって報知することも考えられる。こうすることで利用者は、事前に所望の番組に対応する分類配置表示上の領域を指定しておけば、指定領域に配置される番組が現れたとき、あるいは、指定領域に配置されていた番組が消えたときに音響による報知を受けることができ、分類配置表示を見続けることなく所望の番組の開始や終了を知ることが可能となる。
【００９４】
次に、４９は映像再生部を示し、分類配置表示部４８により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を指定したアイコンの位置に表示装置５６上で再生表示する。また、リアルタイムのチャンネル選択をする場合は、分類配置表示部４８が表示するすべてのチャンネルの映像コンテンツセグメントを対応するアイコンの位置に連続的に再生表示する。また、映像コンテンツセグメントに付随する音声(音響)データも音響装置５７から再生する。
【００９５】
次に、図１１は本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置の処理の流れ図を示す。複数の放送局のデジタル放送により配信される多数の映像コンテンツ及び付随する番組データは、映像コンテンツ取得部４０により取得される（ステップ１１０）。取得された各チャンネルの番組データはユーザ・プロファイル管理部４１が格納しているユーザ・プロファイル情報とフィルタリング部４２により照合される（ステップ１１１）。そして、ユーザ・プロファイル情報に記述された条件に合致する番組データをもつチャンネルの映像コンテンツが映像コンテンツ格納部４３により記憶媒体に一時的に格納される（ステップ１１２）。
【００９６】
映像コンテンツ格納部４３により格納された各チャンネルの映像コンテンツは映像コンテンツ分割部４４により映像コンテンツセグメントに分割される（ステップ１１３）。分割された各映像コンテンツセグメントについて特徴量抽出部４５が特徴量を抽出する（ステップ１１４）。
【００９７】
つづいて分類配置部４６が分類配置空間の各軸に割当てる特徴量を設定して、映像コンテンツセグメントを分類配置空間に配置する（ステップ１１５）一方、各映像コンテンツセグメントを表示するためのアイコンをアイコン生成部４７が生成する（ステップ１１６）。
【００９８】
分類配置表示部４８が特定の視点からの分類配置結果を、生成されたアイコンを表示装置５６に表示することで、利用者に表示する（ステップ１１７）。利用者は分類配置表示の内容に対する操作を操作入力装置５８から入力し、分類配置表示部４８が操作内容を判定する（ステップ１１８）。
【００９９】
操作内容が図１０に示すような分類配置空間表示上での特定領域の指定による番組(映像コンテンツセグメント)集合の絞込みである場合には、分類配置表示部４８が表示対象を指定された表示領域に配置される映像コンテンツセグメントに絞り込んでステップ１１７以下を繰り返す（ステップ１１９）。
【０１００】
操作内容が図１０に示すような分類配置空間表示上での特定領域の指定による音響報知機能の起動である場合には、分類配置表示部４８が指定された領域に新たに映像コンテンツセグメントが配置されたとき、あるいは、指定された領域に配置されていた映像コンテンツセグメントが消えたときに、音響によってユーザに報知してステップ１１８以下を繰り返す（ステップ１２０）。
【０１０１】
操作内容がアイコンにより表示中の映像コンテンツセグメントの連続再生である場合には、各アイコンの位置に対応する各チャンネルの映像コンテンツセグメントを対応する各アイコンの位置に再生表示してステップ１１８以下を繰り返す（ステップ１２１）。
【０１０２】
また、ユーザの操作が一定時間(例えば１ミリ秒程度の短時間)の間行われなかった場合には、ステップ１１３以降を繰り返す。操作内容が処理の終了の場合は処理を終了する。
【０１０３】
以上のように本実施の形態２によれば、複数の放送局により放送中である多数のデジタル放送番組(チャンネル)の映像コンテンツを、チャンネル単位に視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて二次元あるいは三次元の空間上で動的に分類配置し、また再生することで、利用者が所望の番組を効率的に選局することが可能となる。
【０１０４】
（実施の形態３）
次に、本発明の実施の形態３にかかるデジタル映像コンテンツ閲覧装置について説明する。本実施の形態３にかかるデジタル映像コンテンツ閲覧装置は、デジタル放送により配信される映像コンテンツだけでなく、インターネットを介してＷＷＷサーバから取得したデジタル映像コンテンツやデジタルムービーで録画したデジタル映像コンテンツやアナログ方式のムービーで録画した映像データをデジタルエンコーディングして得られるデジタル映像コンテンツを対象として、映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて２次元あるいは３次元の空間上で映像コンテンツを分類配置し、また、再生することで、ユーザが抱える大量のデジタル映像コンテンツを効率的に閲覧し、また、鑑賞することを目的とする。
【０１０５】
さらに、分類配置した映像コンテンツ集合とともに分類配置結果の表示内容を表す画像データを録画内容の画像インデックスとして一体として格納することにより、後日閲覧する際に再び分類配置等の処理を要することなく画像インデックスを表示するだけで、録画した映像コンテンツ集合の概要を把握できることを目的とする。また、映像コンテンツ集合を外部のＤＶＤ−ＲＡＭやデジタルビデオテープ等の記憶媒体に格納することを可能とし、画像インデックスを印刷して外部の記憶媒体のラベルとして添付することで、記憶媒体に格納されている映像コンテンツ集合の概要を本発明のデジタル映像コンテンツ閲覧装置、あるいは、他の再生装置で確認することなく把握できることを目的とする。
【０１０６】
図１２は、本発明の実施の形態３にかかるデジタル映像コンテンツ閲覧装置の構成図を示す。図１２においては、４３は映像コンテンツ格納部を示し、映像コンテンツ取得部４０が取得するデジタル放送の映像コンテンツに加え、ＷＷＷサーバ上のデジタル映像コンテンツ、あるいは、ＤＶＤやデジタルビデオテープや外部のハードディスクなどの記憶媒体に格納されたデジタル映像コンテンツ、あるいは、デジタルムービーに記録されたデジタル映像コンテンツやアナログムービーに記録された映像データをデジタルエンコーディングして得られるデジタル映像コンテンツを取得し、内部の記憶媒体に格納する。
【０１０７】
分類配置表示部４８は、利用者から表示中の映像コンテンツセグメントの分類配置結果の保存を指定されたとき、分類配置結果の表示画像を画像インデックスとして生成し、映像コンテンツ格納部４３は分類配置表示部４８が生成した画像インデックスを表示中の映像コンテンツ集合と一体として内部に備える記憶媒体、あるいは、外部の記憶装置に格納する。
【０１０８】
また、映像コンテンツ格納部４３は、利用者から画像インデックスの印刷を指定されたときに、分類配置表示部４８が生成した画像インデックスをカラープリンター等の印刷装置を介して印刷する。例えば、ＤＶＤに格納されている映像コンテンツの内容を分類配置表示したときの画像インデックスをシール台紙に印刷し、ＤＶＤ媒体のケースに画像インデックスとして添付することが可能である。
他の構成部については、実施の形態１と同様である。
【０１０９】
以上のように本実施の形態３によれば、本発明にかかるデジタル映像コンテンツ閲覧装置における閲覧対象となる映像コンテンツの種類が拡大するとともに、映像コンテンツ集合の概要を容易に把握することが可能となる。
【０１１０】
なお、本発明の実施の形態にかかるデジタル映像コンテンツ閲覧装置を実現するプログラムを記憶した記録媒体は、図１３に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１３２−１やフロッピーディスク１３２−２等の可搬型記録媒体１３２だけでなく、通信回線の先に備えられた他の記憶装置１３１や、コンピュータ１３３のハードディスクやＲＡＭ等の記録媒体１３４のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【０１１１】
また、本発明の実施の形態にかかるデジタル映像コンテンツ閲覧装置により生成された映像コンテンツデータ等を記録した記録媒体も、図１３に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１３２−１やフロッピーディスク１３２−２等の可搬型記録媒体１３２だけでなく、通信回線の先に備えられた他の記憶装置１３１や、コンピュータ１３３のハードディスクやＲＡＭ等の記録媒体１３４のいずれでも良く、例えば本発明にかかるデジタル映像コンテンツ閲覧装置を利用する際にコンピュータ１３３により読み取られる。
【０１１２】
【発明の効果】
以上のように本発明にかかるデジタル映像コンテンツ閲覧装置によれば、デジタル方式の地上波放送や衛星放送やケーブル放送等により配信される映像コンテンツを格納(録画)しておき、格納された映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて各映像コンテンツを視覚的に表すアイコンを２次元あるいは３次元の空間に分類配置して表示し、表示結果に対してユーザが指定した映像コンテンツを再生表示することで、利用者が所望の番組やシーンを見つけるために大量の映像コンテンツを効率的に閲覧し、鑑賞することが可能となる。
【０１１３】
さらに、複数の放送局により放送中である多数のデジタル放送番組(チャンネル)の映像コンテンツをチャンネル単位に視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて２次元あるいは３次元の空間上で動的に分類配置し、また、再生することで、利用者が所望の番組を効率的に選局することが可能となる。
【０１１４】
また、デジタル放送により配信される映像コンテンツだけでなく、インターネットを介してＷＷＷサーバから取得したデジタル映像コンテンツやデジタルムービーで録画したデジタル映像コンテンツやアナログ方式のムービーで録画した映像データをデジタルエンコーディングして得られるデジタル映像コンテンツを対象として、映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて２次元あるいは３次元の空間上で映像コンテンツを分類配置し、また、再生することで、利用者が抱える大量のデジタル映像コンテンツを効率的に閲覧し、また、鑑賞することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置の構成図
【図２】本発明の一実施例にかかるデジタル映像コンテンツ閲覧装置の構成図
【図３】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置におけるユーザ・プロファイル情報の例示図
【図４】本発明の他の実施例にかかるデジタル映像コンテンツ閲覧装置の構成図
【図５】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における映像コンテンツ分割例の説明図
【図６】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における分類配置空間の例示図
【図７】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における映像コンテンツ格納時の処理流れ図
【図８】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における映像コンテンツ閲覧時の処理流れ図
【図９】本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置の構成図
【図１０】本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置におけるユーザ注目領域の指定例示図
【図１１】本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置における処理の流れ図
【図１２】本発明の実施の形態３にかかるデジタル映像コンテンツ閲覧装置の構成図
【図１３】記録媒体の例示図
【符号の説明】
１０ 映像コンテンツ取得手段
１１ 映像コンテンツ分割手段
１２ 特徴量抽出手段
１３ 分類配置手段
１４ アイコン生成手段
１５ 分類配置表示手段
１６ 映像再生手段
２１ ユーザ・プロファイル管理手段
２２ フィルタリング手段
２３ 映像コンテンツ格納手段
４０ 映像コンテンツ取得部
４１ ユーザ・プロファイル管理部
４２ フィルタリング部
４３ 映像コンテンツ格納部
４４ 映像コンテンツ分割部
４５ 特徴量抽出部
４６ 分類配置部
４７ アイコン生成部
４８ 分類配置表示部
４９ 映像再生部
５１ デジタル放送受信装置
５２ 表示対象絞込み部
５３ 登場人物一覧表示部
５４ ＷＷＷ情報参照部
５５ ＷＷＷサーバ
５６ 表示装置
５７ 音響装置
５８ 操作入力装置
９１ 音響通知部
１３１ 回線先の記憶装置
１３２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１３２−１ ＣＤ−ＲＯＭ
１３２−２ フロッピーディスク
１３３ コンピュータ
１３４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される大量の映像コンテンツから所望の番組、あるいはシーン等を効率的に検索して再生するべく、映像コンテンツの内容を表す画像特徴や音声データから得られるテキストや付随して配信される番組データ等の特徴量に基づいて、映像コンテンツを二次元あるいは三次元の仮想的な空間に分類配置表示して閲覧するとともに、選択した番組やシーン等を再生することができるデジタル映像コンテンツ閲覧装置及び方法に関する。
【０００２】
【従来の技術】
昨今の通信インフラも含むデジタル関連技術の急速な進展によって、多チャンネルを有するデジタル放送サービスが多数提供されるようになってきた。かかるデジタル放送によって、多数のチャンネルにより配信される大量の番組(プログラム)の中から、利用者が所望の番組等を選択することは容易ではない。すなわち、チャンネル数が非常に多いことから、従来のアナログ放送のように新聞や雑誌等のテレビ欄を参照する方法では、閲覧するだけでも想到の時間を要するという問題点がある。また、利用者がテレビ受像機やリモコン等を用いて順次チャンネルを切替える方法でも同様の手間がかかるという問題点がある。
【０００３】
かかる問題点を解消するべく、特開平１０−２１５４１９号公報、あるいは特開平１１−１９６３４３号公報等においては、デジタル放送において映像コンテンツに付随して配信される各チャンネルの放送内容を表す情報（放送時刻や番組タイトル等）で構成されたＥＰＧ（Electric Program Guide）に基づいて選局用の番組表を新たに作成し、効率的に選局する手段を提供する方法が開示されている。
【０００４】
しかし、このように番組表を用いる方法だけでは、番組データに記述された放送時刻や番組名が表示されるだけなので、映像の視覚的な内容を見ながらの選局をすることはできない。
【０００５】
そこで、特開平１１−１２２５５５号公報においては、複数のチャンネルの放送内容を、三次元ＣＧ技術を用いることによって、本をめくるが如く表示するナビゲーション機能を用いる方法について開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平１１−１２２５５５号公報に開示されているナビゲーション機能では、多数のチャンネルの放送内容を順次確認しなければならず、結局すべての放送を確認しなければどの放送内容が利用者の欲する内容であるのか確定することができないという問題点があった。したがって、多数のチャンネルから効率的に選局するためには、各チャンネルの放送内容を同時に閲覧できることが必要である。
【０００７】
さらに、現在放送中の番組の選択だけでなく、所望の番組の映像コンテンツを予めキーワード等でフィルタリングして録画(格納)した内容を閲覧する用途では、チャンネル(放送局)単位や番組単位のみならず、一つの番組の中におけるシーン単位に閲覧して選択することができる必要があるが、特開平１１−１２２５５５号公報において開示された方法では、すべてのシーンを確認する必要があり効率的でない。
【０００８】
また、映像コンテンツの内容を表す情報として番組データに記述された放送時刻や番組名だけでなく、映像コンテンツの視覚的な特徴や音声データをテキストに変換して得られる意味的な特徴などの観点から分類配置して画面上に表示することが必要であり、かつ分類配置するため観点を柔軟かつ迅速に切り替えられる必要がある。
【０００９】
本発明は、上記問題点を解消すべく、デジタル映像コンテンツを番組単位、カットの切り替わり点単位、一定の時間単位等に分割した映像コンテンツセグメントを色等の視覚的な特徴量、付随する音声データをテキスト変換して得られる意味的な特徴量などに基づいて、二次元あるいは三次元空間に分類配置して表示し、必要であれば分類配置に用いる特徴量を順次変更して再分類配置した結果を迅速に表示し、利用者が閲覧して所望の映像コンテンツを再生表示することで、大量に録画されたデジタル映像コンテンツの効率的な検索と鑑賞を行うことができるデジタル映像コンテンツ閲覧装置及び方法を提供することを目的とする。
【００１０】
また、多数のチャンネルから配信される複数のデジタル映像コンテンツをリアルタイムで扱うことにより、放送中の多数のチャンネルから所望の番組を効率的に選局できることも目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるデジタル映像コンテンツ閲覧装置は、デジタル方式の放送により配信される映像コンテンツを取得する映像コンテンツ取得手段と、映像コンテンツの内容を表す複数の特徴量を抽出する特徴量抽出手段と、特徴量に基づいて映像コンテンツを分類配置空間内に分類配置する分類配置手段と、映像コンテンツの内容を視覚的に表すアイコンを生成するアイコン生成手段とを含むデジタル映像コンテンツ閲覧装置であって、映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割する映像コンテンツ分割手段と、各映像コンテンツセグメントに対応するアイコンの集合を、分類配置手段による分類配置結果の位置に配置したときの特定の視点に応じて表示する分類配置表示手段とを含み、映像コンテンツ分割手段において分割の単位を任意に再設定することができ、アイコン生成手段が映像コンテンツセグメントに対応するアイコンを再生成し、特徴量抽出手段が再設定された分割の単位における映像コンテンツセグメントの特徴量を抽出し、分類配置表示手段において映像コンテンツセグメントに対応するアイコンを再配置して再表示することを特徴とする。
【００１２】
かかる構成により、大量に録画されたデジタル映像コンテンツをチャンネル(放送局)単位、番組単位又は規定時間単位等で分割した映像コンテンツセグメントとして扱い、各映像コンテンツセグメントを視覚的な特徴量や意味的な特徴量に基づいて二次元あるいは三次元空間に分類配置して表示することで、利用者が所望の番組、あるいはシーン等を効率的に見つけることが可能となる。
【００１３】
また、各映像コンテンツセグメントの内容を表すアイコン(例えば、先頭フレーム画像)が並べて表示された分類配置結果に対し、利用者が指定したアイコンに対応する映像コンテンツセグメントの内容を再生表示することで、利用者は選択した映像コンテンツセグメントを迅速に鑑賞することが可能となる。
【００１４】
さらに、利用者が所望のシーン等を見つけるときに、まず、ジャンルや番組単位の映像コンテンツセグメントを対象として分類配置表示し、所望の番組を見つけ、次に見つけた番組の内容の詳細を閲覧するために、見つけた番組を構成するシーン単位、あるいは一定時間単位等のより詳細な単位の映像コンテンツセグメントを対象として分類配置表示することも可能となる。
【００１５】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像コンテンツから利用者が好みの内容を選択するための手段が記述されたユーザ・プロファイル情報を管理するユーザ・プロファイル管理手段と、ユーザ・プロファイル情報に記述された内容に基づいて映像コンテンツ取得手段が取得した映像コンテンツを選択するフィルタリング手段と、フィルタリング手段により選択された映像コンテンツを格納する映像コンテンツ格納手段とをさらに含むことが好ましい。利用者にとって必要と考えられる映像コンテンツを自動的に絞り込むことができ、検索効率を高めることができるからである。
【００１６】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を指定されたアイコンの位置に再生表示する映像再生手段をさらに含むことが好ましい。指定した映像コンテンツが所望の内容であるか否かを即座に判断するためである。
【００１７】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置手段によって、二つの軸で張られる二次元の分類配置空間に映像コンテンツセグメントが配置されるときに、分類配置表示手段において各映像コンテンツセグメントの内容を表すアイコンとして各映像コンテンツセグメントのフレーム画像の系列を生成し、画面の奥行き方向にフレーム画像の系列として示されているアイコンを順に表示することが好ましい。映像コンテンツセグメントが短時間の内容であるとき、フレーム画像列のアイコンを見るだけで内容がわかるため、動画再生によって生じる計算処理の負荷を軽減できるからである。
【００１８】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像再生手段において、指定されたアイコンに対応する映像コンテンツセグメントが分類配置表示手段による表示とは独立の位置に再生表示され、かつ、指定されたアイコンが強調表示されることが好ましい。分類配置空間におけるアイコンと独立に再生表示することで、分類配置結果と再生内容を同時に見ながら閲覧することが可能となるからである。また、分類配置空間のアイコンを強調表示することで、再生中の映像コンテンツセグメントの分類配置空間における位置を見失わないためである。
【００１９】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像再生手段において、指定されたアイコンに対応する映像コンテンツセグメントを再生するのみでなく、他のアイコンに対応する映像コンテンツセグメントについても、指定されたアイコンの分類配置空間での位置を基点としたときの各アイコンの距離に応じた再生速度で再生表示することが好ましい。分類配置空間では、利用者が注目している映像コンテンツセグメントの付近には、注目している映像コンテンツセグメントと内容的に類似した映像コンテンツセグメントが配置され、利用者にとって注目している映像コンテンツセグメントと同時に再生表示して閲覧したいときがある。
【００２０】
ただし、同時に同じ再生速度で複数の映像コンテンツセグメントを再生すると、内容を把握しづらい。このとき、例えば注目している映像コンテンツセグメントを通常の再生速度で再生表示し、付近の映像コンテンツセグメントについては、分類配置空間上における注目映像コンテンツセグメントとの距離に反比例した速度で減速再生することで、同時に複数の映像コンテンツセグメントを再生したとき把握がし易いからである。これは、人間の目の有する、注視部分で最もよく見えて、注視部分から距離が離れるほど把握しづらくなるという視覚的特性を利用したものである。
【００２１】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像コンテンツセグメントの特徴量が、映像コンテンツセグメントを構成する動画像データの各フレーム画像における色の割合であることが好ましい。また、映像コンテンツセグメントを構成する動画像データの各フレーム画像の中で、最も面積の大きい色である代表色であっても良い。さらに、映像コンテンツセグメントを構成する動画像データにおける画素の輝度分布パターンであることも考えられる。
【００２２】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段が、映像コンテンツセグメントを構成する各フレーム画像から人物の顔領域を部分画像として切り出し、映像コンテンツにおける登場人物一覧として顔領域の部分画像集合を並べて表示する登場人物一覧表示機能を有することが好ましい。登場人物の観点から番組やシーンを見つけたいときに、登場人物の一覧表示によって支援可能となるからである。
【００２３】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段が、映像コンテンツセグメントに付随する番組データ中のＵＲＬ(Universal Resource Locator)が指すウェブ文書をＷＷＷ(ワールドワイドウェブ)サーバを介して取得し、表示する機能を有することが好ましい。映像コンテンツに関するＷＷＷサーバ上の情報を参照することで、興味のある映像コンテンツの内容を迅速に、より多く知ることができるからである。
【００２４】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、映像コンテンツ取得手段が、複数の放送局から配信される映像コンテンツを同時に取得し、複数の映像コンテンツが映像コンテンツ格納手段を介さず、逐次的に分類配置表示手段により表示されることが好ましい。多数のチャンネルで配信される放送中の映像コンテンツをリアルタイムで分類配置表示することで、利用者の選局の支援を可能とするからである。
【００２５】
また、本発明にかかるデジタル映像コンテンツ閲覧装置は、分類配置表示手段が、分類配置結果の表示内容の画面イメージを格納する機能、又は印刷装置を介して印刷する機能を有することが好ましい。映像コンテンツをＤＶＤ等に記録して保管するときに、分類配置結果の表示内容の画面イメージも同様に格納しておくことで、後で内容を確認するため表示することにより、記録内容の概要を容易に把握するためのインデックスとして利用することが可能となるからである。また、分類配置結果の表示内容の画面イメージをインデックス・シールとして印刷し、ＤＶＤ等の記録媒体のケース等に添付することで、表示装置により内容を表示することなく、記録内容の概要を容易に把握することが可能となるからである。
【００２６】
また、本発明は、上記のようなデジタル映像コンテンツ閲覧装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、デジタル方式の放送により配信される映像コンテンツを取得する工程と、映像コンテンツの内容を表す複数の特徴量を抽出する工程と、特徴量に基づいて映像コンテンツを分類配置空間内に分類配置する工程と、映像コンテンツの内容を視覚的に表すアイコンを生成する工程とを含むデジタル映像コンテンツ閲覧方法であって、映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割する工程と、各映像コンテンツセグメントに対応するアイコンの集合を、分類配置結果の位置に配置したときの特定の視点に応じて表示する工程とを含み、分割の単位を任意に再設定することができ、映像コンテンツセグメントに対応するアイコンを再生成するとともに、再設定された分割の単位における映像コンテンツセグメントの特徴量を抽出し、映像コンテンツセグメントに対応するアイコンを再配置して再表示するデジタル映像コンテンツ閲覧方法並びにそのような工程をプログラムとして記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２７】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、利用者が所望のシーン等を見つけるときに、まず、ジャンルや番組単位の映像コンテンツセグメントを対象として分類配置表示し、所望の番組を見つけ、次に見つけた番組の内容の詳細を閲覧するために、見つけた番組を構成するシーン単位、あるいは一定時間単位等のより詳細な単位の映像コンテンツセグメントを対象として分類配置表示することができるデジタル映像コンテンツ閲覧装置を実現することが可能となる。
【００２８】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置について、図面を参照しながら説明する。図１は本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置の構成図を示す。
【００２９】
図１において、１０は映像コンテンツ取得手段を示し、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される映像コンテンツを取得するものである。
【００３０】
また、１１は映像コンテンツ分割手段を示し、取得した時系列データである映像コンテンツについて、番組単位やカット切り替わり単位、あるいは規定時間単位等の映像コンテンツセグメントに分割するものである。
【００３１】
また、１２は特徴量抽出手段を示し、映像コンテンツ分割手段１１によって分割された各映像コンテンツセグメントの内容を表す特徴量を抽出するものである。ここで、特徴量として考えられるのは、映像コンテンツセグメントの視覚的な内容を表す情報、映像コンテンツセグメントの聴覚的な内容を表す情報、映像コンテンツセグメントの意味的な内容を表す情報等である。
【００３２】
例えば映像コンテンツセグメントの視覚的な内容を表す情報としては、映像コンテンツセグメントを構成する動画像データ中に描かれた物体の色や大きさ、移動方向等、あるいは映像コンテンツセグメントを構成する動画像データの各フレーム画像の色の割合である色ヒストグラム、最も面積の大きい色である代表色、色の配置である色レイアウト、ＤＣＴ変換を施して得られるＤＣＴ変換係数、ウェーブレット変換を施して得られるウェーブレット変換係数、画素の輝度分布パターンであるテクスチャー特徴を数量化した画像情報等が考えられる。
【００３３】
また、映像コンテンツセグメントの聴覚的な内容を表す情報としては、映像コンテンツセグメントに付随する音声データの周波数特性や振幅特性、時間変移特性を数量化した音情報等が考えられる。
【００３４】
さらに、映像コンテンツセグメントの意味的な内容を表す情報としては、映像コンテンツセグメントに付随する音声データを音声認識して得られるテキスト情報やデジタル放送で映像コンテンツに付随して配信される番組データ中のチャンネル番号、番組名、ジャンル名等を表すテキスト情報等が考えられる。
【００３５】
次に、１３は分類配置手段を示し、特徴量抽出手段１２により抽出された特徴量に基づいて、分類配置空間各軸への割り当てを設定するとともに、映像コンテンツセグメントの集合を分類配置空間内に分類配置するものである。分類配置空間には、直交系の二つの軸によって張られる二次元平面や三つの軸によって張られる三次元空間等が考えられる。
【００３６】
また、１４はアイコン生成手段を示し、映像コンテンツセグメントの内容を視覚的に表すアイコン画像を生成して表示するものである。アイコン画像としては、例えば映像コンテンツセグメントの先頭フレーム画像が考えられるが、映像コンテンツセグメントの内容を表す画像であれば特に限定されるものではない。
【００３７】
また、１５は分類配置表示手段を示し、各映像コンテンツセグメントに対応するアイコンを分類配置手段１３による分類配置結果に基づいて、特定の視点に応じたアイコン集合としてディスプレー等の表示装置に表示するものである。
【００３８】
そして、１６は映像再生手段を示し、分類配置表示手段１５により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を、指定したアイコンの表示位置において再生表示するものである。ただし、アイコンの表示位置において再生表示するものに限定されるものではなく、別途表示装置等において再生表示するものであっても良い。
【００３９】
実際には、映像コンテンツ取得部１０が取得するデジタル映像コンテンツは大量であることから、ある程度のフィルタリングを行うことで、取り扱う情報量の調整を行うことが現実的である。かかる機能を付加した構成図を図２に示す。
【００４０】
図２は、本発明の一実施例にかかるデジタル映像コンテンツ閲覧装置の構成図である。図２において、２１はユーザ・プロファイル管理手段を示し、映像コンテンツ取得手段１０が取得した映像コンテンツから利用者が所望する映像コンテンツを選択するために用いるユーザ・プロファイル情報を管理するものである。ここでユーザ・プロファイル情報とは、利用者が録画しておきたい映像コンテンツを映像コンテンツとともに配信される番組データ(放送時刻、ジャンル、番組名など)を参照して指定するための情報を意味し、例えば図３に示すようなテキストを記述したコンピュータ読み取り可能な情報ファイルである。
【００４１】
図３に示す例においては、チャンネル番号が「２」である放送局で１９：００から２３：００までに放送されるスポーツ番組のうち、番組情報に「野球」あるいは「サッカー」が含まれている映像コンテンツと任意のチャンネルと時刻のニュース番組で番組情報に「パソコン」が入っている映像コンテンツを録画することが記述されている。なお、ユーザ・プロファイル情報の形式や記述項目や記述方法等については、特にこれに限定されるものではない。
【００４２】
次に、２２はフィルタリング手段を示し、ユーザ・プロファイル管理手段２１が管理するユーザ・プロファイル情報を参照して、映像コンテンツ取得手段１０が取得した映像コンテンツからユーザ・プロファイル情報で指定される条件に合致する映像コンテンツを選択するものである。
【００４３】
また、２３は映像コンテンツ格納手段を示し、フィルタリング手段２２により選択された映像コンテンツを格納するものである。かかる映像コンテンツ格納手段２３に格納されている映像コンテンツに基づいて、図１に示した処理と同様の処理を行うことになる。
【００４４】
実際の構成例を図４に示す。図４は本発明の他の実施例にかかるデジタル映像コンテンツ閲覧装置の構成図である。ここでは、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される映像コンテンツを格納(録画)しておき、格納された映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて各映像コンテンツを視覚的に表すアイコンを二次元あるいは三次元の空間に分類配置して表示し、表示結果に対して利用者が指定した映像コンテンツを再生表示することで、利用者が所望の番組やシーンを見つけるために大量の映像コンテンツを効率的に閲覧し、鑑賞できることを目的としている。
【００４５】
図４において、４０は映像コンテンツ取得部を示し、デジタル方式の地上波放送や衛星放送、あるいはケーブル放送等により配信される映像コンテンツを取得するものである。映像コンテンツ取得部４０は、デジタル放送を受信するためのデジタル放送受信装置５１を備えている。デジタル放送受信装置５１は、デジタル方式の地上波放送や衛星放送、ケーブル放送等それぞれのチューナである。
【００４６】
また、４１はユーザ・プロファイル管理部を示し、映像コンテンツ取得部４０が取得した映像コンテンツから、利用者が好みの内容を選択するためのキーワードやチャンネル選択等が記述されたユーザ・プロファイル情報を管理する。ユーザ・プロファイル情報は、例えば、図３に示されるようなテキスト情報ファイルであり、ユーザ・プロファイル管理部４１が備える記憶媒体に格納されている。
【００４７】
かかる記憶媒体としては、半導体メモリや磁気記憶装置が考えられるが、特にこれらに限定されるものではなく、あらゆる記憶媒体が使用できる。また、ユーザ・プロファイル情報は、キーボードやマウス等の操作入力装置５８によって利用者によって編集することが可能である。
【００４８】
また、４２はフィルタリング部を示し、映像コンテンツ取得部４０が映像コンテンツと同時に取得した番組データとユーザ・プロファイル管理部４１が備える記憶媒体に格納されたユーザ・プロファイル情報を照合し、ユーザ・プロファイル情報に記述された条件に適合した映像コンテンツを選択する。例えば、ユーザ・プロファイル情報が図３に示されている内容の場合、録画番号「１」の条件では、チャンネル番号が「２」である放送局が１９：００から２３：００までに放送する番組の中で、ジャンルを示す番組データ中のテキスト文字列と「スポーツ」という文字列が完全一致あるいは部分一致し、かつ番組名あるいは番組内容を表すテキスト文字列と「野球」あるいは「サッカー」という文字列が完全一致あるいは部分一致する番組が選択されることになる。
【００４９】
次に、４３は映像コンテンツ格納部を示し、フィルタリング部４２が選択した映像コンテンツを内部に備える記憶媒体に格納する。記憶媒体としては、半導体メモリや磁気記憶装置が考えられるが、特にこれらに限定されるものではなく、あらゆる記憶媒体が使用できる。
【００５０】
また、４４は映像コンテンツ分割部を示し、映像コンテンツ格納部４３に格納された(フレーム画像の)時系列データである映像コンテンツを時間軸上で分割する。このように分割された映像コンテンツの断片を、以下「映像コンテンツセグメント」と呼ぶ。
【００５１】
映像コンテンツの分割方法としては、図５（ａ)に示すように、番組単位の分割やカットの切替り単位での分割が考えられる。また、別の方法として、図５(ｂ)に示すように、一定の時間間隔での分割がある。また、図５(ａ)や図５(ｂ)に示すように、複数の分割方法を階層的に用いる方法で分割することも可能である。
【００５２】
また、４５は特徴量抽出部を示し、映像コンテンツ分割部４４で分割された各映像コンテンツセグメントの内容を表す特徴量を抽出する。抽出された特徴量は、内部に備える記憶媒体に格納される。
【００５３】
次に、４６は分類配置部を示し、特徴量抽出部４５により抽出された特徴量から分類配置空間各軸への割り当てを設定するとともに、設定された軸で張られる分類配置空間に各映像コンテンツセグメントの集合を分類配置するものである。
【００５４】
図６(ａ)は特徴量「ジャンル」を一つの軸(横軸)に、特徴量「番組」をもう一つの軸(縦軸)に設定したときの二次元の分類配置空間を模式図で示したものである。特徴量「ジャンル」としては、番組データ中のジャンルを表す各文字列に番号を割当てたときの番号となる。また、特徴量「番組」としては、ユーザ・プロファイル情報中の番組を選択するための各キーワード文字列に番号を割当てたときに、各映像コンテンツセグメントに付随する番組データ中の番組名を表す文字列に含まれる各キーワード文字列番号となる。
【００５５】
かかる軸設定により、図６(ａ)においては、横軸方向にジャンル別のグループが並び、各ジャンル別のグループについて縦軸方向に番組ごとの映像コンテンツセグメントのグループが並ぶ。
【００５６】
図６(ｂ)は横軸と縦軸に色割合特徴量を設定し、奥行き方向の軸に時間特徴量を設定したときの三次元の分類配置空間を模式図で示したものである。色割合に関する特徴量は、各映像コンテンツセグメントの先頭フレーム画像中における色の割合を頻度ベクトルとして数量化したベクトル値である。時間特徴量は、各映像コンテンツセグメントの放送時刻である。
【００５７】
かかる軸設定により、図６(ｂ)においては、横軸と縦軸が張る平面上で、色割合が似た(色割合特徴量ベクトル値間の距離が近い)映像コンテンツセグメントほど近くに配置されることになる。また、放送時刻の早い映像コンテンツセグメントほど手前に配置される。
【００５８】
このように、一つの特徴量を複数の軸に設定することも可能である。また、図６に示されてはいないが、特徴量と軸が多対１や多対多の関係になる割当ても可能である。
【００５９】
さらに、分類配置する方法として、図６(ａ)で示されるような特徴量から配置を一意に決める方法も考えられる。なお、図６(ｂ)の色割合の類似関係に基づいて横軸と縦軸の張る平面に配置するときには、自己組織化マップのアルゴリズムを用いて配置位置を計算する。
【００６０】
次に、４７はアイコン生成部を示し、分類配置部４６による分類配置結果を表示する際に各映像コンテンツセグメントを表示するためのアイコン画像を生成する。アイコン画像としては、例えば、映像コンテンツセグメントの先頭フレーム画像があるが、特にこれに限定されるものではなく、映像コンテンツセグメントの内容を表す画像で有れば他の画像でも良い。
【００６１】
また、図６（ｃ）に示すように三次元空間上にアイコン画像を配置する場合に、先頭フレームだけではなく、トピックとなる画像を時系列に生成しておくことも考えられる。こうすることで、利用者の指定によって、映像コンテンツを時系列の順に表示することができ、映像全てを確認することなく、当該映像コンテンツが希望のものであるか否かについて判断することが容易となる。
【００６２】
アイコン画像は、内部に備える記憶媒体に格納される。記憶媒体としては、半導体メモリや磁気記憶装置が考えられるが、特にこれらに限定されるものではなく、あらゆる記憶媒体が使用できる。
【００６３】
また、４８は分類配置表示部を示し、アイコン生成部４７が生成したアイコンを分類配置部４６による分類配置結果の位置に配置したときの特定の視点に応じたアイコン集合をＣＲＴや液晶ディスプレー等の表示装置５６を介して利用者に表示する。
【００６４】
さらに、利用者はキーボードやマウス等の操作入力装置５８によって視点位置を変更することが可能であり、変更された視点に応じた分類配置結果を再表示する。また、分類配置結果表示に対し、利用者は操作入力装置５８によって特定の映像コンテンツセグメントの集合を指定することで、指定された映像コンテンツセグメント集合のみを対象として分類配置部４６が再分類配置し、分類配置表示部４８が再分類配置結果に基づいて再表示することができる。
【００６５】
また、映像コンテンツセグメント集合を利用者が直接指定する代わりに、特徴量抽出部４５が抽出した特徴量に関して利用者が操作入力装置５８によって指定した条件によって分類配置表示対象の映像コンテンツセグメント集合を選択し、分類配置部４６が選択された映像コンテンツセグメント集合を再分類配置し、分類配置表示部４８が再分類配置結果を再表示することも可能である。例えば、映像コンテンツセグメントに付随する番組データ中の内容を表すテキストや映像コンテンツセグメントに付随する音声データを音声認識して得られるテキストに関して、利用者が指定したキーワードを含む映像コンテンツセグメントのみを分類配置表示の対象とすることができる。
【００６６】
また、利用者は操作入力装置５８によって、現在設定されている特徴量から分類配置空間軸への割当ての再設定を指定することで、分類配置部４６は特徴量から分類配置空間軸への割当てを再設定し、再設定された分類配置空間軸に基づいて再分類配置し、分類配置表示部４８において再分類配置結果に基づいて再表示することができる。
【００６７】
また、利用者は操作入力装置５８によって、現在の映像コンテンツの分割単位を変更して新たな分割単位を指定することで、映像コンテンツ分割部４４は変更された分割単位で映像コンテンツを分割し、特徴量抽出部４５は特徴量を抽出し、分類配置部４６は再分類配置し、分類配置表示部４８が再分類配置結果を再表示することができる。
【００６８】
また、分類配置表示部４８は、表示されている映像コンテンツセグメント中のフレーム画像から人物の顔領域を部分画像として切り出して一覧表示する登場人物一覧表示部５３を備えることも考えられる。利用者は登場人物一覧によって表示された顔画像集合を閲覧することで、特定の人物が登場する番組やシーンを効率的に見つけることができる。
【００６９】
また、分類配置表示部４８は、映像コンテンツに付随する番組データが番組内容等を記述したウェブドキュメントのＵＲＬを含むとき、ＷＷＷサーバに接続して番組データのＵＲＬが指すウェブドキュメントを取得し、表示するＷＷＷ情報参照部５４を備えることも考えられる。利用者は操作入力装置５８により特定の映像コンテンツセグメントを指定することで、ＷＷＷ情報参照部５４が表示する関連ウェブドキュメントを読むことが可能であり、指定した映像コンテンツセグメントの内容をより詳しく知ることができる。
【００７０】
そして、４９は映像再生部を示し、分類配置表示部４８により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を指定したアイコンの位置に表示装置５６を介して再生表示する。また、映像コンテンツセグメントに対応する音声(音響)データをスピーカ等の音響装置５７を介して再生することもできる。
【００７１】
利用者は操作入力装置５８により、内容を見たい映像コンテンツセグメントを再生して鑑賞することができる。例えば、表示されているアイコンをマウス等でクリックしたり、あるいは一定時間以上ポインタがアイコンと重複した場合に再生することが考えられる。
【００７２】
また、指定した映像コンテンツセグメントだけでなく、付近の映像コンテンツセグメントを同時に再生することも考えられる。この場合、分類配置空間において、指定した映像コンテンツセグメントとの距離がＤである映像コンテンツセグメントは、（数１）により計算される速度Ｓで再生されることが好ましい。ここで、（数１）において、Ｄ0 2は指定された映像コンテンツセグメントの再生速度であり、αは係数である。
【００７３】
【数１】
Ｓ＝α・Ｄ0 2／Ｄ2
この方法では、指定された映像コンテンツセグメントからの距離の二乗に反比例した速度で付近の映像コンテンツセグメントが再生される。こうすることで、指定された映像コンテンツセグメントの視認性を害することなく、周囲にどのような映像コンテンツがあるのか容易に確認することが可能となる。また、利用者は指定した映像コンテンツセグメントの再生と同時に、分類配置空間上で視点位置を変えながらウォークスルーで閲覧することも可能となる。
【００７４】
映像コンテンツセグメントの再生は、分類配置空間表示上で再生するものでも良いし、分類配置空間表示とは別の独立した領域で再生されるものであっても良い。分類配置空間表示とは別の領域で再生される場合には、分類配置空間表示の中で、再生中である映像コンテンツセグメントの位置を見失わないために、再生を指定した映像コンテンツセグメントに対応するアイコンが赤色の枠を付加すること等で強調表示することが好ましい。ただし、強調表示の方法は、特にこれに限定されるものではなく、強調表示の方法として別の色の枠を付加する方法やアイコンの点滅等の方法であっても良い。
【００７５】
次に、図７は本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置の映像コンテンツ格納時における処理の流れ図を示す。図７において、まずデジタル放送により配信される映像コンテンツ及び付随する番組データは、デジタル放送受信装置を介して映像コンテンツ取得部４０により取得される（ステップ７００）。取得された番組データはユーザ・プロファイル管理部４１が格納しているユーザ・プロファイル情報とフィルタリング部４２により照合される（ステップ７０１）。ユーザ・プロファイル情報に記述された条件に合致する番組データを有する映像コンテンツが映像コンテンツ格納部４３により記憶媒体に格納される（ステップ７０２）。
【００７６】
また、図８は本発明の実施形態１にかかるデジタル映像コンテンツ閲覧装置の閲覧時における処理の流れ図を示す。図８において、まず映像コンテンツ格納部４３に格納された映像コンテンツは映像コンテンツ分割部４４により映像コンテンツセグメントに分割される（ステップ８００）。次に、分割された各映像コンテンツセグメントについて特徴量抽出部４５が特徴量を抽出する（ステップ８０１）。
【００７７】
そして、分類配置部４６が分類配置空間の各軸に割当てる特徴量を設定して、設定された特徴量に基づいて、映像コンテンツセグメントを分類配置空間に配置する（ステップ８０２）。一方で、配置した各映像コンテンツセグメントを表示するためのアイコンをアイコン生成部４７が生成する（ステップ８０３）。
【００７８】
そして、分類配置表示部４８が所定の視点からの分類配置結果を、生成されたアイコンを表示することで、表示装置５６上に表示する（ステップ８０４）。利用者は分類配置表示の内容に対する操作を操作入力装置５８から入力し、分類配置表示部４８が当該操作内容を判定する（ステップ８０５）。
【００７９】
操作内容が視点位置の変更である場合には、指定された視点位置に対してステップ８０４以下を繰り返す。操作内容が分類配置空間軸の再設定である場合には、再設定された軸に対してステップ８０２以下を繰り返す。操作内容が映像コンテンツの分割単位の再設定である場合には、再設定された分割単位に対してステップ８００以下を繰り返す。
【００８０】
また、操作内容が現在表示されている映像コンテンツセグメント集合の絞込みである場合には、操作入力装置５８から利用者によって与えられた条件に基づいて、分類配置表示部４８が表示対象を絞り込んだ後、ステップ８０４以下を繰り返す（ステップ８０６）。
【００８１】
操作内容が人物一覧表示である場合には、分類配置表示部４８が現在表示されている映像コンテンツセグメント中のフレーム画像から顔領域を部分画像として切り出し、顔領域部分画像の一覧を表示してステップ８０５以下を繰り返す（ステップ８０７）。
【００８２】
操作内容が映像コンテンツセグメントの関連ウェブドキュメント表示である場合には、操作入力装置５８から利用者が指定した映像コンテンツセグメントについて、分類配置表示部４８がＷＷＷサーバにアクセスしてウェブドキュメントを表示してステップ８０５以下を繰り返す（ステップ８０８）。
【００８３】
操作内容が映像コンテンツセグメントの再生である場合には、操作入力装置５８から利用者が指定した再生方法で、操作入力装置５８から利用者が指定した映像コンテンツセグメントを映像再生部４９が再生表示してステップ８０５以下を繰り返す（ステップ８０９）。操作内容が閲覧の終了の場合は処理を終了する。
【００８４】
以上のように本実施の形態１によれば、デジタル方式の地上波放送や衛星放送やケーブル放送等により配信される映像コンテンツを格納(録画)しておき、格納された映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて各映像コンテンツを視覚的に表すアイコンを二次元あるいは三次元の空間に分類配置して表示し、表示結果に対して利用者が指定した映像コンテンツを再生表示することで、利用者が所望の番組やシーンを見つけるために大量の映像コンテンツを効率的に閲覧し、鑑賞することが可能となる。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置について説明する。本実施の形態２にかかるデジタル映像コンテンツ閲覧装置は、複数の放送局により放送中である多数のデジタル放送番組(チャンネル)に関する映像コンテンツを、チャンネル単位に視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて二次元あるいは三次元の空間上で動的に分類配置し、かつ再生することで、利用者が所望の番組を効率的に選局できることを目的とする。
【００８６】
図９は本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置の構成図を示す。図９においては、４０は映像コンテンツ取得部を示し、デジタル方式の地上波放送や衛星放送やケーブル放送等により複数の放送局から配信される映像コンテンツを同時に取得する。４１はユーザ・プロファイル管理部を示し、利用者が所望の番組を選択するための条件を記述したユーザ・プロファイル情報を格納する。４２はフィルタリング部を示し、映像コンテンツ取得部４０が取得した映像コンテンツに付随する番組データとユーザ・プロファイル管理部４１が格納しているユーザ・プロファイル情報を照合して、対象とするチャンネル (番組)を選択する。なお、フィルタリング部４２がチャンネルを選択しないことも可能であり、このときは受信可能なすべてのチャンネルが対象となる。
【００８７】
４３は映像コンテンツ格納部を示し、フィルタリング部４２が選択したチャンネル、あるいは、受信可能なすべてのチャンネルの映像コンテンツを一時的に記憶媒体に格納する。記憶媒体としては、高速にアクセス可能な半導体メモリ等が好ましい。
【００８８】
４４は映像コンテンツ分割部を示し、映像コンテンツ格納部４３が一時的に格納している各チャンネルの映像コンテンツを規定時間単位に分割する。４５は特徴量抽出部を示し、映像コンテンツ分割部４４が分割した各チャンネルの規定時間単位の映像コンテンツセグメントから視覚的な特徴量、音響的な特徴量、意味的な特徴量を抽出する。
【００８９】
４６は分類配置部を示し、特徴量抽出部４５が抽出する特徴量から分類配置空間の各軸への割り当てを設定して、各チャンネルの映像コンテンツセグメントの特徴量に基づいて、分類配置空間に各チャンネルの映像コンテンツセグメントを分類配置する。
【００９０】
４７はアイコン生成部を示し、映像コンテンツセグメントを視覚的に表すアイコン画像を生成する。４８は分類配置表示部を示し、各チャンネルの映像コンテンツセグメントに対応するアイコンを分類配置部４６による分類配置結果の位置に配置したときの特定の視点に応じたアイコン集合を表示装置を介してユーザに表示する。
【００９１】
また、分類配置表示部４８は、映像コンテンツ取得部４０が逐次的に各チャンネルの映像コンテンツを取得し、映像コンテンツ分割部４４が規定時間単位で分割して逐次的に映像コンテンツセグメントを生成することにより対象となる映像コンテンツセグメント集合が逐次的に(規定時間単位で)変更されるのに従い、分類配置結果が変更された時点で変更された分類配置結果の内容を自動的に再表示する。利用者は、時間的に変化する各チャンネルの番組内容に応じた分類配置結果を閲覧することで、放送中の多数のチャンネルから所望の番組を効率的に選択することができる。
【００９２】
さらに、図１０に示すように、利用者が操作入力装置５８から指定した特定の注目する表示領域に分類配置されるチャンネルの映像コンテンツのみを表示対象とすることも可能である。図１０の例では、二次元空間上に分類配置された映像コンテンツのうち、表示対象となる映像コンテンツをマウス等によるドラッグ操作等によって支持することで、逐次的に対象映像セグメント集合を変更することができ、かかる変更に伴って表示されるチャンネルも自動的に変更される。
【００９３】
また、図１０に示したような利用者が操作入力装置５８から指定した特定の注目する表示領域について、逐次的な対象映像セグメント集合の変更にともなって新たなチャンネルの映像コンテンツセグメントが指定された表示領域に現れたとき、あるいは、指定された表示領域に表示されていたチャンネルの映像コンテンツセグメントが表示領域から消えたときに、内部に備える音響報知部９１がスピーカ等の音響装置５７から利用者に音響によって報知することも考えられる。こうすることで利用者は、事前に所望の番組に対応する分類配置表示上の領域を指定しておけば、指定領域に配置される番組が現れたとき、あるいは、指定領域に配置されていた番組が消えたときに音響による報知を受けることができ、分類配置表示を見続けることなく所望の番組の開始や終了を知ることが可能となる。
【００９４】
次に、４９は映像再生部を示し、分類配置表示部４８により表示されたアイコン集合中の特定のアイコンを指定することで、対応する映像コンテンツセグメントの内容を指定したアイコンの位置に表示装置５６上で再生表示する。また、リアルタイムのチャンネル選択をする場合は、分類配置表示部４８が表示するすべてのチャンネルの映像コンテンツセグメントを対応するアイコンの位置に連続的に再生表示する。また、映像コンテンツセグメントに付随する音声(音響)データも音響装置５７から再生する。
【００９５】
次に、図１１は本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置の処理の流れ図を示す。複数の放送局のデジタル放送により配信される多数の映像コンテンツ及び付随する番組データは、映像コンテンツ取得部４０により取得される（ステップ１１０）。取得された各チャンネルの番組データはユーザ・プロファイル管理部４１が格納しているユーザ・プロファイル情報とフィルタリング部４２により照合される（ステップ１１１）。そして、ユーザ・プロファイル情報に記述された条件に合致する番組データをもつチャンネルの映像コンテンツが映像コンテンツ格納部４３により記憶媒体に一時的に格納される（ステップ１１２）。
【００９６】
映像コンテンツ格納部４３により格納された各チャンネルの映像コンテンツは映像コンテンツ分割部４４により映像コンテンツセグメントに分割される（ステップ１１３）。分割された各映像コンテンツセグメントについて特徴量抽出部４５が特徴量を抽出する（ステップ１１４）。
【００９７】
つづいて分類配置部４６が分類配置空間の各軸に割当てる特徴量を設定して、映像コンテンツセグメントを分類配置空間に配置する（ステップ１１５）一方、各映像コンテンツセグメントを表示するためのアイコンをアイコン生成部４７が生成する（ステップ１１６）。
【００９８】
分類配置表示部４８が特定の視点からの分類配置結果を、生成されたアイコンを表示装置５６に表示することで、利用者に表示する（ステップ１１７）。利用者は分類配置表示の内容に対する操作を操作入力装置５８から入力し、分類配置表示部４８が操作内容を判定する（ステップ１１８）。
【００９９】
操作内容が図１０に示すような分類配置空間表示上での特定領域の指定による番組(映像コンテンツセグメント)集合の絞込みである場合には、分類配置表示部４８が表示対象を指定された表示領域に配置される映像コンテンツセグメントに絞り込んでステップ１１７以下を繰り返す（ステップ１１９）。
【０１００】
操作内容が図１０に示すような分類配置空間表示上での特定領域の指定による音響報知機能の起動である場合には、分類配置表示部４８が指定された領域に新たに映像コンテンツセグメントが配置されたとき、あるいは、指定された領域に配置されていた映像コンテンツセグメントが消えたときに、音響によってユーザに報知してステップ１１８以下を繰り返す（ステップ１２０）。
【０１０１】
操作内容がアイコンにより表示中の映像コンテンツセグメントの連続再生である場合には、各アイコンの位置に対応する各チャンネルの映像コンテンツセグメントを対応する各アイコンの位置に再生表示してステップ１１８以下を繰り返す（ステップ１２１）。
【０１０２】
また、ユーザの操作が一定時間(例えば１ミリ秒程度の短時間)の間行われなかった場合には、ステップ１１３以降を繰り返す。操作内容が処理の終了の場合は処理を終了する。
【０１０３】
以上のように本実施の形態２によれば、複数の放送局により放送中である多数のデジタル放送番組(チャンネル)の映像コンテンツを、チャンネル単位に視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて二次元あるいは三次元の空間上で動的に分類配置し、また再生することで、利用者が所望の番組を効率的に選局することが可能となる。
【０１０４】
（実施の形態３）
次に、本発明の実施の形態３にかかるデジタル映像コンテンツ閲覧装置について説明する。本実施の形態３にかかるデジタル映像コンテンツ閲覧装置は、デジタル放送により配信される映像コンテンツだけでなく、インターネットを介してＷＷＷサーバから取得したデジタル映像コンテンツやデジタルムービーで録画したデジタル映像コンテンツやアナログ方式のムービーで録画した映像データをデジタルエンコーディングして得られるデジタル映像コンテンツを対象として、映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて２次元あるいは３次元の空間上で映像コンテンツを分類配置し、また、再生することで、ユーザが抱える大量のデジタル映像コンテンツを効率的に閲覧し、また、鑑賞することを目的とする。
【０１０５】
さらに、分類配置した映像コンテンツ集合とともに分類配置結果の表示内容を表す画像データを録画内容の画像インデックスとして一体として格納することにより、後日閲覧する際に再び分類配置等の処理を要することなく画像インデックスを表示するだけで、録画した映像コンテンツ集合の概要を把握できることを目的とする。また、映像コンテンツ集合を外部のＤＶＤ−ＲＡＭやデジタルビデオテープ等の記憶媒体に格納することを可能とし、画像インデックスを印刷して外部の記憶媒体のラベルとして添付することで、記憶媒体に格納されている映像コンテンツ集合の概要を本発明のデジタル映像コンテンツ閲覧装置、あるいは、他の再生装置で確認することなく把握できることを目的とする。
【０１０６】
図１２は、本発明の実施の形態３にかかるデジタル映像コンテンツ閲覧装置の構成図を示す。図１２においては、４３は映像コンテンツ格納部を示し、映像コンテンツ取得部４０が取得するデジタル放送の映像コンテンツに加え、ＷＷＷサーバ上のデジタル映像コンテンツ、あるいは、ＤＶＤやデジタルビデオテープや外部のハードディスクなどの記憶媒体に格納されたデジタル映像コンテンツ、あるいは、デジタルムービーに記録されたデジタル映像コンテンツやアナログムービーに記録された映像データをデジタルエンコーディングして得られるデジタル映像コンテンツを取得し、内部の記憶媒体に格納する。
【０１０７】
分類配置表示部４８は、利用者から表示中の映像コンテンツセグメントの分類配置結果の保存を指定されたとき、分類配置結果の表示画像を画像インデックスとして生成し、映像コンテンツ格納部４３は分類配置表示部４８が生成した画像インデックスを表示中の映像コンテンツ集合と一体として内部に備える記憶媒体、あるいは、外部の記憶装置に格納する。
【０１０８】
また、映像コンテンツ格納部４３は、利用者から画像インデックスの印刷を指定されたときに、分類配置表示部４８が生成した画像インデックスをカラープリンター等の印刷装置を介して印刷する。例えば、ＤＶＤに格納されている映像コンテンツの内容を分類配置表示したときの画像インデックスをシール台紙に印刷し、ＤＶＤ媒体のケースに画像インデックスとして添付することが可能である。
他の構成部については、実施の形態１と同様である。
【０１０９】
以上のように本実施の形態３によれば、本発明にかかるデジタル映像コンテンツ閲覧装置における閲覧対象となる映像コンテンツの種類が拡大するとともに、映像コンテンツ集合の概要を容易に把握することが可能となる。
【０１１０】
なお、本発明の実施の形態にかかるデジタル映像コンテンツ閲覧装置を実現するプログラムを記憶した記録媒体は、図１３に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１３２−１やフロッピーディスク１３２−２等の可搬型記録媒体１３２だけでなく、通信回線の先に備えられた他の記憶装置１３１や、コンピュータ１３３のハードディスクやＲＡＭ等の記録媒体１３４のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【０１１１】
また、本発明の実施の形態にかかるデジタル映像コンテンツ閲覧装置により生成された映像コンテンツデータ等を記録した記録媒体も、図１３に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１３２−１やフロッピーディスク１３２−２等の可搬型記録媒体１３２だけでなく、通信回線の先に備えられた他の記憶装置１３１や、コンピュータ１３３のハードディスクやＲＡＭ等の記録媒体１３４のいずれでも良く、例えば本発明にかかるデジタル映像コンテンツ閲覧装置を利用する際にコンピュータ１３３により読み取られる。
【０１１２】
【発明の効果】
以上のように本発明にかかるデジタル映像コンテンツ閲覧装置によれば、デジタル方式の地上波放送や衛星放送やケーブル放送等により配信される映像コンテンツを格納(録画)しておき、格納された映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて各映像コンテンツを視覚的に表すアイコンを２次元あるいは３次元の空間に分類配置して表示し、表示結果に対してユーザが指定した映像コンテンツを再生表示することで、利用者が所望の番組やシーンを見つけるために大量の映像コンテンツを効率的に閲覧し、鑑賞することが可能となる。
【０１１３】
さらに、複数の放送局により放送中である多数のデジタル放送番組(チャンネル)の映像コンテンツをチャンネル単位に視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて２次元あるいは３次元の空間上で動的に分類配置し、また、再生することで、利用者が所望の番組を効率的に選局することが可能となる。
【０１１４】
また、デジタル放送により配信される映像コンテンツだけでなく、インターネットを介してＷＷＷサーバから取得したデジタル映像コンテンツやデジタルムービーで録画したデジタル映像コンテンツやアナログ方式のムービーで録画した映像データをデジタルエンコーディングして得られるデジタル映像コンテンツを対象として、映像コンテンツの視覚的な内容や音響的な内容や意味的な内容を表す特徴量に基づいて２次元あるいは３次元の空間上で映像コンテンツを分類配置し、また、再生することで、利用者が抱える大量のデジタル映像コンテンツを効率的に閲覧し、また、鑑賞することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置の構成図
【図２】本発明の一実施例にかかるデジタル映像コンテンツ閲覧装置の構成図
【図３】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置におけるユーザ・プロファイル情報の例示図
【図４】本発明の他の実施例にかかるデジタル映像コンテンツ閲覧装置の構成図
【図５】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における映像コンテンツ分割例の説明図
【図６】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における分類配置空間の例示図
【図７】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における映像コンテンツ格納時の処理流れ図
【図８】本発明の実施の形態１にかかるデジタル映像コンテンツ閲覧装置における映像コンテンツ閲覧時の処理流れ図
【図９】本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置の構成図
【図１０】本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置におけるユーザ注目領域の指定例示図
【図１１】本発明の実施の形態２にかかるデジタル映像コンテンツ閲覧装置における処理の流れ図
【図１２】本発明の実施の形態３にかかるデジタル映像コンテンツ閲覧装置の構成図
【図１３】記録媒体の例示図
【符号の説明】
１０ 映像コンテンツ取得手段
１１ 映像コンテンツ分割手段
１２ 特徴量抽出手段
１３ 分類配置手段
１４ アイコン生成手段
１５ 分類配置表示手段
１６ 映像再生手段
２１ ユーザ・プロファイル管理手段
２２ フィルタリング手段
２３ 映像コンテンツ格納手段
４０ 映像コンテンツ取得部
４１ ユーザ・プロファイル管理部
４２ フィルタリング部
４３ 映像コンテンツ格納部
４４ 映像コンテンツ分割部
４５ 特徴量抽出部
４６ 分類配置部
４７ アイコン生成部
４８ 分類配置表示部
４９ 映像再生部
５１ デジタル放送受信装置
５２ 表示対象絞込み部
５３ 登場人物一覧表示部
５４ ＷＷＷ情報参照部
５５ ＷＷＷサーバ
５６ 表示装置
５７ 音響装置
５８ 操作入力装置
９１ 音響通知部
１３１ 回線先の記憶装置
１３２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１３２−１ ＣＤ−ＲＯＭ
１３２−２ フロッピーディスク
１３３ コンピュータ
１３４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (14)
- デジタル方式の放送により配信される映像コンテンツを取得する映像コンテンツ取得手段と、
前記映像コンテンツの内容を表す複数の特徴量を抽出する特徴量抽出手段と、
前記特徴量の割り当てにより設定された軸で張られる分類配置空間内に、前記映像コンテンツを分類配置する分類配置手段と、
前記映像コンテンツの内容を視覚的に表すアイコンを生成するアイコン生成手段とを含むデジタル映像コンテンツ閲覧装置において、
前記映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割する映像コンテンツ分割手段と、
前記各映像コンテンツセグメントに対応する前記アイコンの集合を、前記分類配置手段による分類配置結果の位置に配置したときの利用者が指定した特定の注目する表示領域に応じて表示する分類配置表示手段と、
前記分類配置表示手段により表示された前記アイコン集合中の指定された前記アイコンに対応する前記映像コンテンツセグメントを再生するのみでなく、指定された映像コンテンツセグメントからの距離の２乗に反比例した速度で付近の映像コンテンツセグメントを再生表示する映像再生手段とを含み、
前記映像コンテンツ分割手段において分割の単位を任意に再設定することができ、前記アイコン生成手段が前記映像コンテンツセグメントに対応する前記アイコンを再生成し、前記特徴量抽出手段が前記再設定された分割の単位における前記映像コンテンツセグメントの特徴量を抽出し、前記分類配置表示手段において前記映像コンテンツセグメントに対応する前記アイコンを再配置して再表示することを特徴とするデジタル映像コンテンツ閲覧装置。 - 前記映像コンテンツからユーザが好みの内容を選択するための情報が記述されたユーザ・プロファイル情報を管理するユーザ・プロファイル管理手段と、
前記ユーザ・プロファイル情報に記述された内容に基づいて前記映像コンテンツ取得手段が取得した前記映像コンテンツを選択するフィルタリング手段と、
前記映像コンテンツ分割手段と、前記特徴量抽出手段と、前記分類配置手段と、前記分類配置表示手段による各処理を行うために、前記フィルタリング手段により選択された前記映像コンテンツを格納する映像コンテンツ格納手段とをさらに含む請求項１記載のデジタル映像コンテンツ閲覧装置。 - 前記映像再生手段は、前記分類配置表示手段により表示された前記アイコン集合中の特定の前記アイコンを指定することで、対応する前記映像コンテンツセグメントの内容を指定された前記アイコンの位置に再生表示する請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記分類配置手段によって、異なる２つのコンテンツセグメントの特徴量を軸とする二次元の分類配置空間に前記映像コンテンツセグメントが配置されるときに、前記分類配置表示手段において前記各映像コンテンツセグメントの内容を表す前記アイコンとして前記各映像コンテンツセグメントのトピックとなる画像を時系列に生成し、画面の奥行き方向に画像の時系列として示されている前記アイコンを順に表示する請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記映像再生手段において、指定された前記アイコンに対応する前記映像コンテンツセグメントが前記分類配置表示手段による表示とは独立の位置に再生表示され、かつ、指定された前記アイコンが強調表示される請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記映像コンテンツセグメントの特徴量が、前記映像コンテンツセグメントを構成する動画像データの各フレーム画像の色の割合である請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記映像コンテンツセグメントの特徴量が、前記映像コンテンツセグメントを構成する動画像データの各フレーム画像の中で、最も面積の大きい色である代表色である請求項１又は２に記載のデジタル映像コンテンツ閲覧装置。
- 前記映像コンテンツセグメントの特徴量が、前記映像コンテンツセグメントを構成する動画像データにおける画素の輝度分布パターンである請求項１又は２に記載のデジタル映像コンテンツ閲覧装置。
- 前記分類配置表示手段が、前記映像コンテンツセグメントを構成する各フレーム画像から人物の顔領域を部分画像として切り出し、前記映像コンテンツにおける登場人物一覧として顔領域の部分画像集合を並べて表示する登場人物一覧表示機能を有する請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記分類配置表示手段が、前記映像コンテンツセグメントに付随する番組データ中のＵＲＬ(Universal Resource Locator)が指すウェブ文書をＷＷＷ(ワールドワイドウェブ)サーバを介して取得し、表示する機能を有する請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記映像コンテンツ取得手段が、複数の放送局から配信される映像コンテンツを同時に取得し、前記複数の映像コンテンツが前記映像コンテンツ格納手段を介さず、逐次的に前記分類配置表示手段により表示される請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- 前記分類配置表示手段が、分類配置結果の表示内容の画面イメージを格納する機能、又は印刷装置を介して印刷する機能を有する請求項１又は２記載のデジタル映像コンテンツ閲覧装置。
- デジタル方式の放送により配信される映像コンテンツを取得する工程と、
前記映像コンテンツの内容を表す複数の特徴量を抽出する工程と、
前記特徴量の割り当てにより設定された軸で張られる分類配置空間内に、前記映像コンテンツを分類配置する工程と、
前記映像コンテンツの内容を視覚的に表すアイコンを生成する工程とを含むデジタル映像コンテンツ閲覧方法において、
前記映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割する工程と、
前記各映像コンテンツセグメントに対応する前記アイコンの集合を、前記分類配置結果の位置に配置したときの利用者が指定した特定の注目する表示領域に応じて表示する工程と、
表示された前記アイコン集合中の指定された前記アイコンに対応する前記映像コンテンツセグメントを再生するのみでなく、指定された映像コンテンツセグメントからの距離の２乗に反比例した速度で付近の映像コンテンツセグメントを再生表示する工程とを含み、
分割の単位を任意に再設定することができ、前記映像コンテンツセグメントに対応する前記アイコンを再生成するとともに、前記再設定された分割の単位における映像コンテンツセグメントの特徴量を抽出し、前記映像コンテンツセグメントに対応するアイコンを再配置して再表示することを特徴とするデジタル映像コンテンツ閲覧方法。 - デジタル方式の放送により配信される映像コンテンツを取得するステップと、
前記映像コンテンツの内容を表す複数の特徴量を抽出するステップと、
前記特徴量の割り当てにより設定された軸で張られる分類配置空間内に、前記映像コンテンツを分類配置するステップと、
前記映像コンテンツの内容を視覚的に表すアイコンを生成するステップとを含むデジタル映像コンテンツ閲覧方法を実現するコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体において、
前記映像コンテンツをチャンネル単位、番組単位又は規定時間単位の映像コンテンツセグメントに分割するステップと、
前記各映像コンテンツセグメントに対応する前記アイコンの集合を、前記分類配置結果の位置に配置したときの利用者が指定した特定の注目する表示領域に応じて表示するステップと、
表示された前記アイコン集合中の指定された前記アイコンに対応する前記映像コンテンツセグメントを再生するのみでなく、指定された映像コンテンツセグメントからの距離の２乗に反比例した速度で付近の映像コンテンツセグメントを再生表示するステップとを含み、
分割の単位を任意に再設定することができ、前記映像コンテンツセグメントに対応する前記アイコンを再生成するとともに、前記再設定された分割の単位における映像コンテンツセグメントの特徴量を抽出し、前記映像コンテンツセグメントに対応するアイコンを再配置して再表示することを特徴とするコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000123605A JP4587416B2 (ja) | 2000-04-25 | 2000-04-25 | デジタル映像コンテンツ閲覧装置及び方法 |
| US09/737,859 US20020056095A1 (en) | 2000-04-25 | 2000-12-18 | Digital video contents browsing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000123605A JP4587416B2 (ja) | 2000-04-25 | 2000-04-25 | デジタル映像コンテンツ閲覧装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001309269A JP2001309269A (ja) | 2001-11-02 |
| JP4587416B2 true JP4587416B2 (ja) | 2010-11-24 |
Family
ID=18633882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000123605A Expired - Fee Related JP4587416B2 (ja) | 2000-04-25 | 2000-04-25 | デジタル映像コンテンツ閲覧装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20020056095A1 (ja) |
| JP (1) | JP4587416B2 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0225339D0 (en) * | 2002-10-31 | 2002-12-11 | Trevor Burke Technology Ltd | Method and apparatus for programme generation and classification |
| US20050039177A1 (en) * | 1997-07-12 | 2005-02-17 | Trevor Burke Technology Limited | Method and apparatus for programme generation and presentation |
| JP2002008350A (ja) * | 2000-04-19 | 2002-01-11 | Fuji Photo Film Co Ltd | 画像記録方法および装置並びに記録媒体 |
| US8769593B1 (en) * | 2001-05-31 | 2014-07-01 | Keen Personal Media, Inc. | Client terminal for storing an initial program segment and appending a remaining program segment to provide a video program on demand |
| US8073871B2 (en) * | 2001-06-06 | 2011-12-06 | Koninklijke Philips Electronics N.V. | Nearest neighbor recommendation method and system |
| JP2003122738A (ja) * | 2001-10-10 | 2003-04-25 | Seiko Epson Corp | ディジタルコンテンツ作成システム及びディジタルコンテンツ作成プログラム、並びにディジタルコンテンツ作成方法 |
| US7653927B1 (en) | 2001-12-21 | 2010-01-26 | Keen Personal Media, Inc. | System and method for selecting a pay per view program to be transmitted to a program receiver |
| US20050155057A1 (en) * | 2002-04-12 | 2005-07-14 | Yumin Wei | Downloading of programs into broadcast-receivers |
| KR20040020185A (ko) * | 2002-08-30 | 2004-03-09 | 학교법인 한국정보통신학원 | 엑스엠엘 문서를 이용한 골프 비디오 브라우징 서비스 방법 |
| GB0221328D0 (en) * | 2002-09-13 | 2002-10-23 | British Telecomm | Media article composition |
| US20040095377A1 (en) * | 2002-11-18 | 2004-05-20 | Iris Technologies, Inc. | Video information analyzer |
| JP2004295568A (ja) * | 2003-03-27 | 2004-10-21 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP4661047B2 (ja) * | 2003-05-30 | 2011-03-30 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
| US9615061B2 (en) * | 2003-07-11 | 2017-04-04 | Tvworks, Llc | System and method for creating and presenting composite video-on-demand content |
| US20050010950A1 (en) * | 2003-07-11 | 2005-01-13 | John Carney | System and method for automatically generating a composite video-on-demand content |
| KR100563689B1 (ko) * | 2003-11-04 | 2006-03-28 | 엘지전자 주식회사 | 광디스크 장치에서의 유저 선호 정보 전송 및 기록방법 |
| GB0405340D0 (en) * | 2004-03-10 | 2004-04-21 | Trevor Burke Technology Ltd | Distribution of video data |
| WO2005088968A1 (en) * | 2004-03-10 | 2005-09-22 | Trevor Burke Technology Limited | Method and apparatus for distributing video data |
| US7882436B2 (en) | 2004-03-10 | 2011-02-01 | Trevor Burke Technology Limited | Distribution of video data |
| GB0406860D0 (en) | 2004-03-26 | 2004-04-28 | British Telecomm | Computer apparatus |
| WO2006003543A1 (en) * | 2004-06-30 | 2006-01-12 | Koninklijke Philips Electronics N.V. | Method and apparatus for intelligent channel zapping |
| JP2006165824A (ja) * | 2004-12-03 | 2006-06-22 | Fuji Xerox Co Ltd | 画像表示プログラム、画像表示方法及び画像表示装置 |
| US20070185876A1 (en) * | 2005-02-07 | 2007-08-09 | Mendis Venura C | Data handling system |
| JP2007006166A (ja) * | 2005-06-24 | 2007-01-11 | Sony Corp | 記録再生装置および記録再生方法、並びにプログラム |
| JP4982065B2 (ja) * | 2005-09-26 | 2012-07-25 | 株式会社東芝 | 映像コンテンツ表示システム、映像コンテンツ表示方法及びそのプログラム |
| US9088373B2 (en) * | 2005-09-28 | 2015-07-21 | Broadcom Corporation | Method and system for communicating information in a wireless communication system |
| US7644364B2 (en) * | 2005-10-14 | 2010-01-05 | Microsoft Corporation | Photo and video collage effects |
| KR101181764B1 (ko) | 2005-11-08 | 2012-09-12 | 엘지전자 주식회사 | 영상컨텐츠 제공 방법 및 이를 위한 디지털방송용 단말기 |
| JP4641269B2 (ja) * | 2006-03-01 | 2011-03-02 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
| JP4641270B2 (ja) * | 2006-03-01 | 2011-03-02 | 富士通株式会社 | 選択装置、選択方法、および選択プログラム |
| TWI384413B (zh) * | 2006-04-24 | 2013-02-01 | Sony Corp | An image processing apparatus, an image processing method, an image processing program, and a program storage medium |
| TW200809764A (en) * | 2006-04-24 | 2008-02-16 | Sony Corp | Image processing device, image processing method and program recording medium |
| US8739304B2 (en) * | 2006-11-10 | 2014-05-27 | Sony Computer Entertainment Inc. | Providing content using hybrid media distribution scheme with enhanced security |
| US8752199B2 (en) * | 2006-11-10 | 2014-06-10 | Sony Computer Entertainment Inc. | Hybrid media distribution with enhanced security |
| US20080172697A1 (en) * | 2007-01-16 | 2008-07-17 | Hanashima Masato | Program recording apparatus |
| US8345769B1 (en) * | 2007-04-10 | 2013-01-01 | Nvidia Corporation | Real-time video segmentation on a GPU for scene and take indexing |
| US8358381B1 (en) | 2007-04-10 | 2013-01-22 | Nvidia Corporation | Real-time video segmentation on a GPU for scene and take indexing |
| JP2009038680A (ja) | 2007-08-02 | 2009-02-19 | Toshiba Corp | 電子機器および顔画像表示方法 |
| JP2009076982A (ja) | 2007-09-18 | 2009-04-09 | Toshiba Corp | 電子機器および顔画像表示方法 |
| JP2009081699A (ja) | 2007-09-26 | 2009-04-16 | Toshiba Corp | 電子機器および顔画像抽出制御方法 |
| JP4909854B2 (ja) | 2007-09-27 | 2012-04-04 | 株式会社東芝 | 電子機器および表示処理方法 |
| JP4909856B2 (ja) | 2007-09-27 | 2012-04-04 | 株式会社東芝 | 電子機器および表示方法 |
| JP2009089031A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | 電子機器および画像表示方法 |
| JP4834640B2 (ja) | 2007-09-28 | 2011-12-14 | 株式会社東芝 | 電子機器および画像表示制御方法 |
| JP4834639B2 (ja) | 2007-09-28 | 2011-12-14 | 株式会社東芝 | 電子機器および画像表示制御方法 |
| JP4969390B2 (ja) * | 2007-09-28 | 2012-07-04 | 三洋電機株式会社 | 動画再生装置および動画再生方法 |
| JP2009089065A (ja) | 2007-09-28 | 2009-04-23 | Toshiba Corp | 電子機器および顔画像表示装置 |
| JP4505760B2 (ja) * | 2007-10-24 | 2010-07-21 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに、記録媒体 |
| US8434105B2 (en) * | 2007-11-13 | 2013-04-30 | Tp Lab, Inc. | Television scripting language |
| JP4322945B2 (ja) | 2007-12-27 | 2009-09-02 | 株式会社東芝 | 電子機器、及び画像表示制御方法 |
| JP5008578B2 (ja) | 2008-01-28 | 2012-08-22 | 株式会社リコー | 画像処理方法、画像処理装置及び画像撮像装置 |
| JP2011244155A (ja) * | 2010-05-17 | 2011-12-01 | Toshiba Corp | 電子機器及び画像処理プログラム |
| JP2012165240A (ja) * | 2011-02-08 | 2012-08-30 | Sony Corp | 動画像処理装置、動画像処理方法、及びプログラム |
| US9420259B2 (en) | 2011-05-24 | 2016-08-16 | Comcast Cable Communications, Llc | Dynamic distribution of three-dimensional content |
| US9326033B2 (en) * | 2011-06-17 | 2016-04-26 | Microsoft Technology Licensing, Llc | Movie discovery system |
| US9633375B2 (en) * | 2012-02-09 | 2017-04-25 | Surewaves Mediatech Private Limited | System and method for recommending online multimedia content |
| JP2012235492A (ja) * | 2012-07-04 | 2012-11-29 | Toshiba Corp | 電子機器および再生方法 |
| US20140101683A1 (en) * | 2012-10-10 | 2014-04-10 | Samsung Electronics Co., Ltd. | Methods and apparatus for detecting a television channel change event |
| JP6115308B2 (ja) * | 2013-05-22 | 2017-04-19 | 富士通株式会社 | 情報処理システム、情報処理システムの制御方法、及び制御プログラム |
| US9055343B1 (en) * | 2013-06-07 | 2015-06-09 | Google Inc. | Recommending content based on probability that a user has interest in viewing the content again |
| US9952748B1 (en) * | 2014-03-28 | 2018-04-24 | Google Llc | Contextual recommendations based on interaction within collections of content |
| US9813479B2 (en) * | 2014-06-05 | 2017-11-07 | Apple Inc. | Browser with video display history |
| US10102285B2 (en) * | 2014-08-27 | 2018-10-16 | International Business Machines Corporation | Consolidating video search for an event |
| EP3185137A1 (en) * | 2015-12-21 | 2017-06-28 | Thomson Licensing | Method, apparatus and arrangement for summarizing and browsing video content |
| CN110637458B (zh) * | 2017-05-18 | 2022-05-10 | 索尼公司 | 信息处理装置、信息处理方法以及计算机可读存储介质 |
| EP3547693A1 (en) * | 2018-03-30 | 2019-10-02 | Advanced Digital Broadcast S.A. | A method and system for navigating through available content items |
| JP7139681B2 (ja) | 2018-05-14 | 2022-09-21 | 富士通株式会社 | 制御プログラム、制御方法、制御装置および制御サーバ |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223495A (ja) * | 1995-02-20 | 1996-08-30 | Toshiba Corp | テレビジョン受像機 |
| JPH0965287A (ja) * | 1995-08-18 | 1997-03-07 | Hitachi Ltd | 動画像の特徴場面検出方法及び装置 |
| JPH11220703A (ja) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | 番組検索表示装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03112279A (ja) * | 1989-09-26 | 1991-05-13 | Toshiba Corp | 高品位多画面テレビジョン受像機 |
| US5594509A (en) * | 1993-06-22 | 1997-01-14 | Apple Computer, Inc. | Method and apparatus for audio-visual interface for the display of multiple levels of information on a display |
| JPH08279058A (ja) * | 1995-04-07 | 1996-10-22 | Hitachi Ltd | 映像生成／表示システム |
| JP3625935B2 (ja) * | 1995-12-27 | 2005-03-02 | 株式会社日立製作所 | 動画像の重要画像抽出装置および重要画像抽出方法 |
| US5963670A (en) * | 1996-02-12 | 1999-10-05 | Massachusetts Institute Of Technology | Method and apparatus for classifying and identifying images |
| US5774664A (en) * | 1996-03-08 | 1998-06-30 | Actv, Inc. | Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments |
| DE69732089T2 (de) * | 1996-10-04 | 2005-12-08 | Nippon Telegraph And Telephone Corp. | Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür |
| US5850218A (en) * | 1997-02-19 | 1998-12-15 | Time Warner Entertainment Company L.P. | Inter-active program guide with default selection control |
| WO1998056176A1 (en) * | 1997-06-03 | 1998-12-10 | Koninklijke Philips Electronics N.V. | Navigating through television programs |
| JPH1198431A (ja) * | 1997-09-16 | 1999-04-09 | Victor Co Of Japan Ltd | 番組情報表示装置 |
| US6233389B1 (en) * | 1998-07-30 | 2001-05-15 | Tivo, Inc. | Multimedia time warping system |
| WO2000011540A1 (fr) * | 1998-08-24 | 2000-03-02 | Hitachi, Ltd. | Systeme, dispositif et procede d'affichage de traitement d'informations multimedia |
| US6160553A (en) * | 1998-09-14 | 2000-12-12 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided |
| US6236395B1 (en) * | 1999-02-01 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US6754906B1 (en) * | 1999-03-29 | 2004-06-22 | The Directv Group, Inc. | Categorical electronic program guide |
| US6792135B1 (en) * | 1999-10-29 | 2004-09-14 | Microsoft Corporation | System and method for face detection through geometric distribution of a non-intensity image property |
-
2000
- 2000-04-25 JP JP2000123605A patent/JP4587416B2/ja not_active Expired - Fee Related
- 2000-12-18 US US09/737,859 patent/US20020056095A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223495A (ja) * | 1995-02-20 | 1996-08-30 | Toshiba Corp | テレビジョン受像機 |
| JPH0965287A (ja) * | 1995-08-18 | 1997-03-07 | Hitachi Ltd | 動画像の特徴場面検出方法及び装置 |
| JPH11220703A (ja) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | 番組検索表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020056095A1 (en) | 2002-05-09 |
| JP2001309269A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4587416B2 (ja) | デジタル映像コンテンツ閲覧装置及び方法 | |
| RU2443016C1 (ru) | Способ отображения списка и отображение списка с большим количеством элементов контента | |
| US8174523B2 (en) | Display controlling apparatus and display controlling method | |
| Boreczky et al. | An interactive comic book presentation for exploring video | |
| CN105979398B (zh) | 使用播放列表的系统和方法 | |
| US20010020981A1 (en) | Method of generating synthetic key frame and video browsing system using the same | |
| US6988244B1 (en) | Image generating apparatus and method | |
| US9154856B2 (en) | Video segmenting | |
| US20070101266A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| US20100274674A1 (en) | Media navigation system | |
| KR20060052116A (ko) | 콘텐츠 매니지먼트 시스템 및 콘텐츠 매니지먼트 방법과,컴퓨터 프로그램 | |
| JP4742366B2 (ja) | 番組提示システム | |
| JP2000217058A (ja) | 映像検索システム及びデ―タ構造、そしてそれによる検索方法 | |
| KR101440168B1 (ko) | 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기 | |
| JP2005020552A (ja) | ネットワークシステム、サーバ、データ記録再生装置及びその方法並びにプログラム | |
| KR20080037475A (ko) | 콘텐츠 검색 장치 및 방법 | |
| JP2007272468A (ja) | 情報処理装置および方法、並びにプログラム | |
| US8042047B2 (en) | Interactive promotional content management system and article of manufacture thereof | |
| KR101536930B1 (ko) | 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 | |
| US20020161798A1 (en) | Information retrieving device | |
| JP2014130536A (ja) | 情報管理装置、サーバ及び制御方法 | |
| JP4399741B2 (ja) | 録画番組管理装置 | |
| JP5525154B2 (ja) | コンテンツ表示装置 | |
| JP3892973B2 (ja) | 番組選択装置及び番組選択システム | |
| JP2002325214A (ja) | 関連番組参照型受信装置および関連番組参照型送信装置ならびに関連番組参照型プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100906 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |