JP5338450B2 - 再生装置及びプログラム - Google Patents

Description

本発明は、映像コンテンツを再生する再生装置及び再生装置において使用するプログラムに関する。

従来から、録画した映像コンテンツの中から、ユーザの嗜好に合ったコンテンツを推薦したり、推薦した番組を自動で録画したりする方法がある。コンテンツを録画／再生する録画再生装置は、ＥＰＧ（電子番組表）を取得し、タイトルや概要にキーワードを含む番組を検索し、提示する。

また、コンテンツの所定のシーンをインデックス情報にして画像として表示するときに、どの部分をインデックス情報にするかを自動的に決める技術についても提供されている。例えば、ユーザが早送りや巻き戻した部位の情報と、通常速度で再生された部位の情報とから、通常速度で再生された箇所をハイライト箇所と判断する方法が提供されている（例えば、特許文献１）。

特開２００２−１６９０３号公報（段落０００２〜０００８、段落００１２、段落００２１、図８）

上記のとおり、公知の技術によれば、自動的にユーザの嗜好に合ったコンテンツを検索することや、コンテンツの中からユーザが実際に視聴したシーンを抽出することについては可能である。更に、多くの録画したコンテンツの中からユーザの嗜好により合ったシーンを判断して抽出できることが望ましい。

開示の再生装置は、録画したコンテンツから、ユーザの嗜好に合うシーンを抽出することのできる技術を提供することを目的とする。

開示の再生装置によれば、映像コンテンツを再生する再生装置であって、前記映像コンテンツを部分的なシーンに区分する分割部と、シーンに区分されたコンテンツの再生中に行われた操作の指示と、該指示を受け付けた際に再生をしていた箇所とを関連付けて記録した記録部を参照して、早送りまたは巻き戻しの操作の指示の後に再生した箇所を特定する特定部と、前記特定部において特定したシーンについて第１の特徴量を求める第１の特徴量算出部と、前記コンテンツとは異なる他のコンテンツをシーンに区分し、得られた各シーンについて第２の特徴量を求める第２の特徴量算出部と、前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量の差が所定の閾値以内となる該第２の特徴量を有するシーンを抽出する抽出部と、前記抽出部により抽出したシーンを出力する出力部とを備える。

あるコンテンツを再生しているときにユーザが行った操作に基づき、ユーザの操作により特定される箇所を含むシーンについては、ユーザの嗜好に合うシーンであると判断し、第１の特徴量を求めておく。そして、録画した他のコンテンツをシーンに区分して、第１の特徴量と距離が近い第２の特徴量を有するシーンについては、ユーザの嗜好に合ったシーンと判断して抽出する。

開示の再生装置によれば、録画した映像コンテンツの中からユーザの嗜好に合うシーンを抽出することが可能となる。

実施形態に係る録画再生装置の構成図である。 実施形態に係る録画再生装置における処理の全体の流れを示すフローチャート（その１）である。 実施形態に係る録画再生装置における処理の全体の流れを示すフローチャート（その２）である。 嗜好分析部の構成図である。 嗜好分析部におけるコンテンツの嗜好分析処理を示したフローチャートである。 単語特徴の例を示す図である。 嗜好分析部におけるシーンの嗜好分析処理を示したフローチャートである。 嗜好格納部に格納される嗜好データの構造を示す図である。 嗜好判定部の構成図である。 嗜好判定部におけるコンテンツの嗜好判定処理を示したフローチャート（その１）である。 嗜好判定部におけるコンテンツの嗜好判定処理を示したフローチャート（その２）である。 嗜好判定部におけるコンテンツの嗜好判定処理を示したフローチャート（その３）である。 抽出したプレビューシーンの表示画面の例である。 抽出したプレビューシーンの表示画面の他の例である。 嗜好分析部におけるシーンの嗜好更新処理を示したフローチャート（その１）である。 嗜好分析部におけるシーンの嗜好更新処理を示したフローチャート（その２）である。 情報処理装置の構成図である。 記録媒体を示す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係る録画再生装置の構成図である。図１に示す録画再生装置１は、録画再生部３及びプレビュー生成部１０を有し、表示装置２と接続されている。

録画再生部３は、放送されたテレビ番組等のコンテンツを録画し、録画したコンテンツを再生する。
プレビュー生成部１０は、嗜好分析部１１、嗜好格納部１２、シーン分割部１３、嗜好判定部１４及びプレビューシーン表示部１５を含み、録画再生部３で録画したコンテンツからユーザの嗜好に合ったシーンを抽出し、プレビューを生成する。

表示装置２は、録画再生部３で録画・再生するコンテンツ、プレビュー生成部３で抽出したユーザの嗜好に合ったシーンや、抽出したシーンの代表画像を表示する。
なお、以下の説明においては、シーンとは、コンテンツを分割して得られる一区切りをいうものとする。

プレビュー生成部１０の嗜好分析部１１は、ユーザによるコンテンツの視聴履歴や操作履歴から、ユーザの嗜好データを生成する。嗜好格納部１２は、嗜好分析部１１において生成した嗜好データを格納する。

シーン分割部１３は、録画再生部３において録画したコンテンツをシーン単位で分割する。コンテンツを分割してシーンを得る方法としては、例えば、連続したフレームの画像を比較してゆき、画像の変化量が大きく異なる部分をカットとして抽出するカット検出方法を利用する。この他、字幕情報を利用して、映像中の話題の切り替わりを検出する方法や、カットの画像の繰り返しや連続性を考慮して、大まかなシーンに分割する方法等がある。

嗜好判定部１４は、嗜好格納部１２に格納されている嗜好データを利用して、シーン分割部１３においてコンテンツを分割して得たシーン群の中から、ユーザの嗜好に合ったシーンを抽出する。

プレビューシーン表示部１５は、嗜好判定部１４において抽出したユーザの嗜好に合ったシーンの代表画像を表示装置２に表示させる。
嗜好分析部１１は、表示装置２に表示した代表画像のうち、ユーザが選択して再生させたシーンについては、ユーザの嗜好に合ったシーンであると判断し、嗜好格納部１２に格納している嗜好データを更新する。

図２及び図３は、本実施形態に係る録画再生装置１によりユーザの嗜好に合ったシーンを抽出する処理の全体の流れを示すフローチャートである。
ステップＳ０で、録画再生装置１は、ユーザの操作待ちの状態で、コンテンツの録画、コンテンツの再生、プレビューシーンの表示の三つの操作のいずれかを受け付ける。

コンテンツの録画操作が行われた場合には、ステップＳ３で、録画再生部３が新たにコンテンツの録画を行うと、ステップＳ４で、シーン分割部１３及び嗜好判定部１４が、プレビューシーンの抽出処理を行う。プレビューシーンの抽出処理においては、ステップＳ３において新たに録画したコンテンツを分割して得たシーンのうち、ユーザの嗜好に合うシーンをプレビューシーンとして抽出する。詳しくは図９〜図１２を参照して説明する。プレビューシーンを抽出すると、ステップＳ０に進み、ユーザの操作待ち状態に戻る。

コンテンツの再生操作が行われた場合には、まず、ステップＳ１で、録画再生部３が、録画したコンテンツを先頭から再生する。ステップＳ２で、嗜好分析部１１が、コンテンツの嗜好分析処理を行う。コンテンツの嗜好分析処理においては、コンテンツの特徴量を元にクラスタリングを行う。詳しくは、図４及び図５を参照して説明する。

ステップＳ２でコンテンツの嗜好分析を行った後、図３のステップＳ２１に進み、録画再生部３は、コンテンツを最後まで再生したか否かを判定する。最後までコンテンツを再生していない場合には、ステップＳ２２で、録画再生部３は、ユーザにより早送りの操作がなされたかを判定する。早送り操作が認識できない場合には、ステップＳ２１に戻る。

ステップＳ２２において、早送り操作を認識した場合には、ステップＳ２３に進み、嗜好分析部１１は、早送りの開始シーンを取得し、ステップＳ２４で、嗜好分析部１１は、早送りの終了シーンを取得する。

ステップＳ２５で、嗜好分析部１１は、早送りの開始シーンと終了シーンとが一致するか否かを判定する。一致する場合には、ステップＳ２１に戻る。
早送りの開始シーンと終了シーンとが異なるシーンである場合には、ステップＳ２６に進み、嗜好分析部１１は、早送りの終了シーンで嗜好分析処理を行う。シーンの嗜好分析処理においては、ユーザによる録画再生装置１に行った操作により、ユーザの嗜好に合うと判断したシーンについての特徴量を、嗜好格納部１２の嗜好データに反映させる。詳しくは図７を参照して説明する。

ステップＳ２７で、嗜好分析部１１は、早送りの開始シーンで嗜好更新処理を行う。シーンの嗜好更新処理においては、ユーザによる録画再生装置１に行った操作により、ユーザの嗜好に合わないと判断したシーンについての特徴量を、嗜好格納部１２の嗜好データに反映させる。詳しくは図１５を参照して説明する。嗜好更新処理を実施すると、ステップＳ２１に戻る。

ステップＳ２１において、コンテンツを最後まで再生したと判定すると、図２のステップＳ０に進み、ユーザの操作待ち状態に戻る。
プレビューシーンの表示操作が行われた場合には、ステップＳ５で、プレビューシーン表示部１５は、抽出したプレビューシーンを表示する。表示したプレビューシーンに対してユーザが録画再生装置１に行った操作により、ステップＳ６、ステップＳ９またはステップＳ１１のいずれかに進む。

ステップＳ６においては、録画再生部３は、表示したプレビューシーンの中からユーザが選択して再生操作を行ったシーンを再生する。嗜好分析部１１は、ステップＳ７で、コンテンツの嗜好分析処理を行い、ステップＳ８で、再生シーンの嗜好分析処理を行うと、図３のステップＳ２１に進む。図３のステップＳ２１以降の処理については上記のとおりである。

ステップＳ９においては、録画再生部３は、表示したプレビューシーンの中からユーザが嗜好に合わないとして指定したシーンを受け付け、ステップＳ１０で、嗜好分析部１１は、シーンの嗜好更新処理（１）を行う。ステップＳ１０のシーンの嗜好更新処理（１）は、上記のステップＳ２７の処理と同様である。シーンの嗜好更新処理（１）を実施すると、ステップＳ５に戻る。

ステップＳ１１においては、録画再生部３は、表示したプレビューシーンとともに表示した単語のうち、ユーザが嗜好に合わないとして指定した単語を受け付け、ステップＳ１２で、シーンの嗜好更新処理（２）を行う。ステップＳ１２のシーンの嗜好更新処理（２）においては、ＥＰＧや字幕等のシーンに関する単語のうちユーザが嗜好に合わないと判断した単語の特徴については、プレビューシーンの抽出において利用しないようにする。詳しくは図１６を参照して説明する。

上記のとおり、本実施形態に係る録画再生装置１によれば、嗜好分析部１１においてユーザの嗜好をシーンの特徴量の計算に反映させた嗜好データを作成し、嗜好判定部１４において、嗜好分析部１１において作成した嗜好データを利用して、録画したコンテンツの中から、ユーザの嗜好に沿ったシーンを抽出する。抽出したシーンについて、ユーザから嗜好に合う／合わないことを示す情報が入力されると、嗜好分析部１１は、ユーザにより入力された情報に基づき嗜好データを更新し、嗜好データにユーザの嗜好を反映させる。以下に、嗜好分析部１１及び嗜好判定部１４について詳しく説明する。

図４は、嗜好分析部１１の構成図である。嗜好分析部１１は、シーン指定部２１、シーン特徴計算部２２、特徴取得部２５、クラスタ生成部２６、クラスタ特徴計算部２７及びクラスタ判定部２８を含む。

シーン指定部２１は、ユーザが指定したシーンを示す情報を受け付ける。
特徴取得部２５は、嗜好格納部１２に格納されているコンテンツの単語特徴のうち、シーン指定部２１において指定を受け付けたシーンを含むコンテンツについての単語特徴を取得する。単語特徴については図６を参照して詳説する。

クラスタ生成部２６は、特徴取得部２５において取得した単語特徴を利用して、複数のコンテンツを含むコンテンツ群をユーザの嗜好に応じて分類する。分類方法としては、例えば、ＥＰＧ等の情報を取得して、取得した情報に含まれるコンテンツのジャンルで分類する。そして、ジャンルごとに、そのジャンルに含まれるコンテンツの単語特徴をクラスタリングする。

クラスタリングについては、最短距離法等の階層的クラスタリングを利用してもよいし、Ｋ−ｍｅａｎｓ法（Ｋ平均法）等の非階層的クラスタリングを利用してもよい。
クラスタ特徴計算部２７は、クラスタ生成部２６において生成したクラスタごとに、クラスタの特徴を表す単語特徴を計算する。一般的には、クラスタに含まれる単語特徴ベクトルの平均からクラスタ特徴ベクトルを求める。

クラスタ判定部２８は、クラスタ特徴計算部２７において求めたクラスタ特徴ベクトルを利用して、コンテンツがどのクラスタに属するかを判定する。一般的には、コンテンツの単語特徴とクラスタ生成部２６において生成したクラスタのそれぞれについてのクラスタ特徴とを比較し、コンテンツは、コンテンツの単語特徴に最も近いクラスタ特徴を持つクラスタに属すると判定する。

シーン特徴計算部２２は、シーン指定部２１において指定を受け付けたシーンについての特徴を計算する。具体的には、シーンに対し、字幕情報から抽出した単語特徴のほか、画像特徴、音特徴及び時間特徴等の特徴を取得する。画像特徴、音特徴及び時間特徴については、後述する。更に単語特徴、画像特徴、音特徴、時間特徴をマージし、シーン特徴とする。マージ処理においては、分散の小さい特徴ほど重みを強くする。また、クラスタ生成部２６で生成したクラスタごとに、ユーザの嗜好に合った全てのシーンのシーン特徴の平均及び分散を計算し、嗜好シーン特徴とする。嗜好シーン特徴はクラスタに紐付けて嗜好格納部１２に格納される。

図８は、嗜好格納部１２に格納されるデータの構造を示す図である。図８に示すように、ジャンルごとに、クラスタ、クラスタ特徴及び嗜好シーン特徴が紐付けられている。

図５は、嗜好分析部１１におけるコンテンツの嗜好分析処理を示したフローチャートである。嗜好分析部１１は、録画再生部３が先頭からコンテンツを再生した場合（図２のステップＳ１）や、プレビューシーンのうちユーザが選択したシーンを再生した場合（図２のステップＳ６）に、そのコンテンツが初めて再生されたときだけ、図５に示す処理を開始する。

まず、ステップＳ３１で、録画再生部３は、コンテンツを再生（ユーザはコンテンツを視聴）する。ステップＳ３２で、特徴取得部２５は、再生中のコンテンツの単語特徴を嗜好格納部１２から取得する。

ここで、単語特徴の例を図６に示す。特徴取得部２５は、コンテンツに付されたＥＰＧや、コンテンツに関連するウェブページの文章等から取得した番組情報の中から、嗜好分析に必要な単語を抽出し、抽出した単語に基づき単語特徴を計算する。単語特徴の例としては、例えば、ベクトル空間モデルを利用することができる。これは、抽出した単語をそれぞれ軸としたベクトル空間を設定し、単語ごとの出現回数を各軸に割り当てることでできるベクトルを、単語特徴ベクトルとするものである。かかる特徴ベクトルをコンテンツごとに求めた場合には、ベクトルの距離でコンテンツの類似性を表現することができる。このとき、単語の共起関数を用いて、ベクトル空間の次元を圧縮するＬＳＩ（Latent Semantic Indexing）を行うこととしてもよい。

ステップＳ３３で、クラスタ判定部２８が、再生中のコンテンツが属するクラスタを判定する。コンテンツのＥＰＧ等に含まれるジャンル情報が示すジャンルについての全クラスタのクラスタ特徴と、ステップＳ３２で取得した単語特徴とを比較して、再生中のコンテンツは、ステップＳ３２で取得した単語特徴と最も近いクラスタ特徴を持つクラスタに属すると判定する。

ステップＳ３４で、クラスタ特徴計算部２７が、ステップＳ３３でコンテンツが属すると判定されたクラスタについての単語特徴を嗜好格納部１２から取得する。ここでは、録画再生装置１に記録されているコンテンツのうち、再生中のコンテンツと同じクラスタに含まれる過去に再生された全てのコンテンツについての単語特徴を取得する。

ステップＳ３５で、クラスタ特徴計算部２７が、ステップＳ３４で取得した単語特徴群に、ステップＳ３２で取得した再生中のコンテンツの単語特徴を加えて、分散を計算する。

ステップＳ３６で、クラスタ判定部２８が、ステップＳ３５において求めた分散が所定の閾値以上であるか否かを判定する。分散が所定の閾値以上である場合には、ステップＳ３８で、クラスタ生成部２６は、クラスタ内の単語特徴の分布に拡がりがあるとして、クラスタを２つに分割する。そして、ステップＳ３９で、クラスタ特徴計算部２７は、分割して得られた２つのクラスタのそれぞれについてのクラスタ特徴を再計算し、ステップＳ４０に進む。

ステップＳ３６の判定において、分散が所定の閾値未満である場合には、ステップＳ３７に進み、クラスタ特徴計算部２７は、ステップＳ３５において単語特徴の分散を求めたクラスタについてのクラスタ特徴を計算し、ステップＳ４０に進む。

ステップＳ４０で、クラスタ判定部２８は、クラスタ特徴計算部２７において求めたクラスタ特徴を、クラスタに紐付けて嗜好格納部１２に格納し、コンテンツの嗜好分析処理を終了する。

図５に示すコンテンツの嗜好分析処理により、新しいコンテンツを再生するごとに（図２のステップＳ１、ステップＳ６）嗜好データが更新されることとなる。これにより、本実施形態に係る録画再生装置１は、常にユーザの嗜好を反映させた嗜好データを保有することができる。

嗜好分析部１１は、図５に示す処理により得た、コンテンツをクラスタリングした結果を利用して、録画再生部３においてコンテンツを再生中にユーザがどのシーンを視聴するか（どのシーンを再生するよう操作するか）に応じて、嗜好に合ったシーンを分析する。

図７は、嗜好分析部１１におけるシーンの嗜好分析処理を示したフローチャートである。嗜好分析部１１は、ユーザの嗜好に合うと判断された、あるいはユーザが嗜好に合うとして指定したシーンを示す情報が入力されると、図７に示す処理を実行する。

まず、ステップＳ５１で、シーン指定部２１が、ユーザの嗜好に合うと判断された、あるいはユーザが嗜好に合うとして指定したシーンを取得し、ステップＳ５２で、シーン特徴計算部２２は、ステップＳ５１で取得したシーンのシーン特徴を計算する。計算するシーン特徴は、単語特徴、画像特徴、音特徴及び時間特徴をマージしたものである。

ステップＳ５３で、クラスタ特徴計算部２７は、ステップＳ５１で取得した指定シーンを含むコンテンツについての単語特徴を、嗜好格納部１２から取得する。ステップＳ５４で、クラスタ判定部２８は、指定シーンを含むコンテンツがどのクラスタに属するかを判定し、ステップＳ５５で、シーン特徴計算部２２は、ステップＳ５４において判定したクラスタ内の嗜好に合った全てのシーンのシーン特徴を、嗜好格納部１２から取得する。

ステップＳ５６で、シーン特徴計算部２２は、指定シーンを含むコンテンツが属するクラスタの嗜好シーン特徴を再計算する。具体的には、ステップＳ５２で取得した指定シーンのシーン特徴と、ステップＳ５５で取得したシーン特徴群との平均を求めて、新たにクラスタの嗜好シーン特徴とする。

ステップＳ５７で、シーン特徴計算部２２は、ステップＳ５６で再計算して求めた嗜好シーン特徴を、クラスタに紐付けて嗜好格納部１２に格納し、シーンの嗜好分析処理を終了する。

このように、ユーザがプレビューシーンの中からシーンを指定した場合（図２のステップＳ６）や、早送りを停止させて再生を開始した場合（図３のステップＳ２４）には、その都度、指定されたシーンの特徴や、早送りの後に再生したシーンの特徴を嗜好データに反映させる。これにより、本実施形態に係る録画再生装置１は、常にユーザの嗜好に合ったシーンについての嗜好データを保有することができる。

なお、ユーザが嗜好に合ったシーンを指定する方法としては、図２及び図３に示す場合、すなわち、先頭からコンテンツを再生した場合や、早送りを停止させてコンテンツの再生を開始する場合には限らない。ユーザの録画再生装置１に対する操作により、巻き戻しを停止させてコンテンツの再生を開始する場合、頭出しや再生メニューから選択したシーンを再生する場合には、これらの操作後に再生するシーンについては、ユーザの嗜好に合ったシーンであると判断し、図７に示す処理を実施してユーザの嗜好データに反映させる。

上記の方法により嗜好分析部１１において作成した嗜好データを利用して、嗜好判定部１４は、録画したコンテンツの中から、ユーザの嗜好に合うプレビューシーンを抽出する。次に、嗜好判定部１４について説明する。

図９は、嗜好判定部１４の構成図である。嗜好判定部１４は、コンテンツ単語抽出部３１、コンテンツ単語特徴抽出部３２、クラスタ判定部３３、シーン格納部３４、特徴マッチング部３５、シーン単語抽出部３６、シーン単語特徴抽出部３７、画像特徴抽出部３８、音特徴抽出部３９、時間特徴抽出部４０及び特徴マージ部４１を含む。

コンテンツ単語抽出部３１は、ＥＰＧや番組タイトルで検索して得られるコンテンツと関連するウェブページの文章等から得た番組情報を受け付け、受け付けた番組情報から、嗜好判定に必要な単語を抽出する。コンテンツ単語特徴抽出部３２は、コンテンツ単語抽出部３１において抽出した単語から、単語特徴を計算する。単語特徴の計算方法は、先に図６を参照して説明したとおりである。

クラスタ判定部３３は、図４に示す嗜好分析部１１のクラスタ判定部２８と同様の処理を行う。
シーン単語抽出部３６は、シーンの画像中の字幕情報等から、嗜好判定に必要な単語を抽出する。シーン単語特徴抽出部３７は、シーン単語抽出部３６において抽出した単語から、単語特徴を計算する。シーン単語特徴抽出部３７における単語特徴の計算方法については、コンテンツ単語特徴抽出部３２と同様である。

画像特徴抽出部３８は、シーン画像から画像特徴を抽出する。抽出する画像特徴の例としては、画像全体の色の割合を求める色ヒストグラム特徴、色の位置分布を求める色レイアウト特徴、画像で最も多く使われている色を求める代表色特徴、あるいは、画像上の輪郭線の分布を求めるエッジ分布特徴等が挙げられる。これらの特徴の抽出方法については、公知の技術であるので、詳細な説明は省略する。

音特徴抽出部３９は、シーンのうち、音データから音特徴を抽出する。抽出する音特徴の例としては、パワー特徴やスペクトル包絡特徴等が挙げられる。音特徴の抽出方法についても、公知の技術であるため、詳細な説明は省略する。

時間特徴抽出部４０は、コンテンツ内でのシーンの時間的位置を抽出する。抽出する位置は、例えばコンテンツの冒頭からの経過時間や、コンテンツ全体の長さに対するコンテンツ冒頭からシーンの先頭までの長さの割合を利用する。

特徴マージ部４１は、シーン単語特徴抽出部３７、画像特徴抽出部３８、音特徴抽出部３９及び時間特徴抽出部４０により抽出された各種の特徴を取得して、マージし、シーン特徴を計算する。

特徴マッチング部３５は、特徴マージ部４１において求めたシーン特徴を、嗜好格納部１２から取得した、処理対象のシーンを含むコンテンツの属するクラスタと紐付けられた嗜好シーン特徴と比較する。そして、特徴マッチング部３５は、処理対象のシーンについてのシーン特徴と、嗜好格納部１２から取得したクラスタと紐付けられた嗜好シーン特徴との距離が所定の閾値以下の場合には、処理対象のシーンをプレビューシーンとして抽出する。
シーン格納部３４は、特徴マッチング部３５によりプレビューシーンとして抽出されたシーンを特徴マージ部４１において求めた特徴と紐付けて格納する。

図１０〜図１２は、嗜好判定部１４におけるコンテンツの嗜好判定処理を示したフローチャートである。嗜好判定部１４は、録画再生部３において新たにコンテンツを録画した場合（図２のステップＳ３）に、図１０〜図１２に示すプレビューシーン抽出処理を開始する。

まず、図１０のステップＳ６１で、コンテンツ単語抽出部３１に情報が入力されることにより、コンテンツが新たに録画されたことを認識すると、ステップＳ６２で、コンテンツ単語抽出部３１は、ＥＰＧやウェブページの文章等の情報から単語を抽出する。ステップＳ６３で、コンテンツ単語特徴抽出部３２は、ステップＳ６２で抽出した単語から単語特徴を計算する。ステップＳ６４で、コンテンツ単語特徴抽出部３２は、求めた単語特徴を、コンテンツと紐付けて嗜好格納部１２に格納する。

ステップＳ６５で、クラスタ判定部３３は、コンテンツが属するクラスタを判定する。判定方法は、上記図５のステップＳ３５と同様である。
ステップＳ６６及びステップＳ６７においては、シーン分割部１３においてコンテンツを分割して得られたシーンを順次取得してゆき、ステップＳ６８で、シーンを取得できた場合には、ステップＳ６９に進む。

ステップＳ６９で、シーン単語抽出部３６は、ステップＳ６７で取得したシーンの区間内で流れる字幕情報等から必要な単語を抽出する。ステップＳ７０で、シーン単語特徴抽出部３７は、ステップＳ６９で抽出した単語から単語特徴を計算する。

ステップＳ７１で、画像特徴抽出部３８は、ステップＳ６７で取得したシーンの代表画像を抽出する。実施例では、シーンの先頭フレームの画像を抽出するが、これには限らない。例えば、シーンの区間の中央のフレームを抽出することとしてもよいし、全フレームの画像を解析し、クラスタリングして、最も多いクラスタの画像の中から代表となるフレームを抽出することとしてもよい。ステップＳ７２で、画像特徴抽出部３９は、ステップＳ７１で抽出した代表画像から、画像特徴を計算する。

ステップＳ７３で、音特徴抽出部３９は、ステップＳ６７で取得したシーンから音データを抽出する。実施例では、シーンの全区間の音データを取得するが、これには限らない。例えば、シーンの先頭から一定区間の音データのみを取得することとしてもよいし、シーンの中央付近の一定区間の音データを取得することとしてもよい。ステップＳ７４で、音特徴抽出部３９は、ステップＳ７３で抽出した音データから音特徴を計算する。

ステップＳ７５で、時間特徴抽出部４０は、ステップＳ６７で取得したシーンの開始時間と終了時間から、時間特徴を計算する。上記のとおり、ステップＳ７５での時間特徴の計算方法は、一例である。

ステップＳ７６で、特徴マージ部４１は、ステップＳ６９〜ステップＳ７５においてそれぞれ計算した単語特徴、画像特徴、音特徴及び時間特徴をマージしたシーン特徴を計算し、図１１のステップＳ７７に進む。

図１１のステップＳ７７で、特徴マッチング部３５は、コンテンツの属するクラスタに紐付けされた嗜好シーン特徴を嗜好格納部１２から抽出し、ステップＳ７８で、特徴マッチング部３５は、ステップＳ７６で計算したシーン特徴と、ステップＳ７７で抽出した嗜好シーン特徴との距離を計算する。そして、ステップＳ７９で、マッチング特徴部３５は、ステップＳ７８で計算した距離が所定の閾値以下であるか否かを判定する。距離が閾値を超える場合には、図１０のステップＳ６７に戻り、次のシーンについて、上記の処理を繰り返す。

ステップＳ７９において、ステップＳ７８で計算した距離が所定の閾値以下であると判定した場合には、ステップＳ８０に進む。ステップＳ８０で、シーン格納部３４は、ステップＳ６７で取得したシーン、ステップＳ６９〜ステップＳ７５で求めたシーン特徴及びステップＳ７８で求めた距離を一時保存し、図１０のステップＳ６７に戻る。

このように、以降はステップＳ６７以降の処理を繰り返し、コンテンツを分割して得られるシーンのそれぞれについてシーン特徴を計算し、嗜好格納部１２に格納されている嗜好シーン特徴との距離が所定の閾値以下である場合には、プレビューシーンの候補になり得るシーンであるとして、一時保存してゆく。

ステップＳ６８において、シーンが取得できなかった場合には、全てのシーンについて処理が完了したと判断し、図１２のステップＳ８１に進む。
図１２のステップＳ８１で、シーン格納部３４は、一時保存したシーンについて、距離でソートを行い、ステップＳ８２で、距離が短い方から所定数のシーンをプレビューシーンとして取得する。そして、ステップＳ８３で、シーン格納部３４は、ステップＳ８２で取得した所定数のシーンをそのシーン特徴および代表画像と紐付けて、嗜好格納部１２に格納し、処理を終了する。

このように、嗜好格納部１２に格納されているクラスタごとの嗜好シーン特徴と、録画したコンテンツに含まれるシーンの特徴とを比較して、特徴間の距離が短いシーンを抽出して、嗜好格納部１２に格納する。ユーザの嗜好が反映された嗜好格納部１２の嗜好データを利用して、ユーザの嗜好に合うシーンをプレビューシーンとして抽出することが可能となる。

図１３は、抽出したプレビューシーンの表示画面の例である。
図１３に示す表示例では、プレビューシーン表示領域５１には、抽出したプレビューシーンの代表画像を並べて表示する。複数の代表画像を表示する場合には、例えば、コンテンツの時間軸に沿って代表画像を並べる。

シーン再生領域５５では、再生中のプレビューシーンを表示する。図１３に示す例では、シーン再生領域５５において、プレビューシーン表示領域５１の中央に表示している代表画像５２に対応するシーンを表示している。

再生が終了すると、例えば、プレビューシーン表示領域５１に表示する画像をスクロールさせ、順次中央に表示した代表画像に対応するシーンをシーン再生領域５５で再生してゆく構成としてもよい。

表示装置２の画面を介してユーザが指定した代表画像（に対応するシーン）を再生する構成としてもよい。例えばプレビューシーン表示領域５１のうち代表画像５４をユーザが指定した場合には、代表画像５４がプレビューシーン表示領域５１の中央にくるまで代表画像をスクロールさせて、シーン再生領域５５には代表画像５４に対応するシーンを再生する構成としてもよい。

更に、ユーザが画面の再生領域５５で再生中のシーンを指定した場合には、プレビューシーンの再生後も、そのシーンに続けてコンテンツの再生を行う構成とすることもできる。

図１４は、抽出したプレビューシーンの表示画面の他の例である。図１４に示す表示例では、あるクラスタに含まれる全ての録画済のコンテンツについてのプレビューシーンを同時に表示している。

あるクラスタに属するコンテンツ群から抽出したプレビューシーンの代表画像を、サムプレビューシーン表示領域６３に表示している。図１３の例と同様に、プレビューシーン表示領域６３の中央に表示している代表画像に対応するシーンを、シーン再生領域６１に表示している。

代表画像は、コンテンツごとに並べてもよいし、所定の特徴の順にソートしてもよい。
プレビューシーン表示領域６３の中央には、クラスタの切り替えボタン６２を表示する。ポインティングデバイスや録画再生装置１のリモコンの上下ボタンを利用して、ユーザが切り替えボタン６２を押下したことを認識すると、プレビューシーン表示部１５は、プレビューシーン表示領域６３に表示する代表画像を変更して、他のクラスタに属するコンテンツについて抽出したプレビューシーンの代表画像に切り替える。例えば、あるクラスタにはドラマ（１）が属している場合に、クラスタ切り替えボタン６２が操作された場合には、ドラマ（２）のプレビューシーンの代表画像６４へと切り替えを行う。

更には、図１３や図１４に示す画面中に、プレビューシーンの抽出に利用した単語を表示しておく構成とすることもできる。ユーザは、画面を通じて指定した単語をプレビューシーンの抽出に利用しないようにすることもできる。ユーザの嗜好に合わない単語を単語特徴から削除する処理については、図１６を参照して説明する。

ユーザが再生したシーンや、ユーザが画面等を通じて嗜好に合うとして指定したシーンについては、ユーザの嗜好に合うシーンであると判断する。また、コンテンツの再生中にユーザが再生をしなかったシーンや、ユーザが画面等を通じて嗜好に合わないとして指定したシーンについては、ユーザの嗜好に合わないシーンであると判断する。更には、ＥＰＧや字幕情報等の中から、プレビューシーンの抽出に利用したくない単語については、単語特徴の計算において、利用しないこととする。

次に、ユーザが録画再生装置１に対して行った操作等に基づき、嗜好格納部１２に格納する嗜好データを更新する方法について説明する。なお、ユーザが録画再生装置１を操作して、早送りを止める等により再生したシーンや、ユーザが画面等を通じて指定したシーンを嗜好に合ったシーンであるとして嗜好データを更新する方法については、先に図７を参照して説明したとおりであるので、ここでは説明を省略する。

図１５は、嗜好分析部１１におけるシーンの嗜好更新処理（１）を示したフローチャートである。嗜好分析部１１は、ユーザが、嗜好に合わないと判断してプレビューシーンの中から指定したシーンを示す情報が入力されると、図１５に示す処理を実行する。

まず、ステップＳ９１で、シーン指定部２１が、嗜好に合わないとしてユーザが指定したシーンを取得すると、ステップＳ９２で、シーン特徴計算部２２は、ステップＳ９１で取得したシーンのシーン特徴を嗜好格納部１２から取得する。

ステップＳ９３で、シーン特徴計算部２２は、ステップＳ９２で取得したシーン特徴ベクトルを反転させ、ステップＳ９４で、シーン特徴計算部２２は、ステップＳ９３で更新したシーン特徴を、シーンを識別する情報と紐付けて負情報であることを示すフラグとともに嗜好格納部１２に一時記憶させておく。

ステップＳ９５からステップＳ９８までの処理は、それぞれ図７のステップＳ５４からステップＳ５７の処理と同様である。
ステップＳ９９で、ステップＳ９１で取得した指定シーンを含むコンテンツについて、再度プレビューシーンの抽出処理を実行するよう嗜好分析部１１から嗜好判定部１４に通知をし、処理を終了する。

図１５に示す処理により、図２のステップＳ９においてユーザが嗜好に合わないとしてプレビューシーンの中から指定したシーンや、図３のステップＳ２７において早送りにより再生されなかったシーンの特徴については、プレビューシーンの抽出において寄与しないように、嗜好データを更新する。これにより、本実施形態に係る録画再生装置１は、嗜好データを利用して、よりユーザの嗜好に合ったシーンを抽出することができるようになる。

図１６は、嗜好分析部１１におけるシーンの嗜好更新処理（２）を示したフローチャートである。嗜好分析部１１は、ユーザが嗜好に合わないと判断して指定した単語が入力されると、図１６に示す処理を実行する。

まず、ステップＳ１０１で、特徴取得部２５が、ユーザにより嗜好に合わないとして指定した単語を取得すると、ステップＳ１０２で、シーン特徴計算部２２は、ステップＳ１０１で取得した単語を「負単語」として嗜好格納部１２に格納する。負単語とは、シーン及びシーンを含むコンテンツから抽出された単語のうち、ユーザがその単語をプレビューシーンの抽出に利用しないとして指定した単語を言う。

ステップＳ１０３で、シーン特徴計算部２２は、嗜好格納部１２に格納されている全ての単語特徴を順に取得していく。全ての単語特徴とは、全てのコンテンツについてのＥＰＧやウェブページの文章から取得した単語特徴や、全てのシーンの字幕情報等から取得した単語特徴、すなわち、全てのクラスタについてのクラスタ特徴、嗜好シーン特徴及び全てのシーン特徴のことである。

ステップＳ１０４で、シーン特徴計算部２２は、ステップＳ１０３で取得した単語特徴のうち、ステップＳ１０１で取得した単語については特徴ベクトルから軸を削除して、嗜好格納部１２に再格納し、シーンの嗜好更新処理（２）を終了する。

このように、ユーザがプレビューシーンの抽出に利用したくない単語を指定した場合（図２のステップＳ１１）には、嗜好データを更新して、指定された単語については、単語特徴ベクトルの軸から削除し、プレビューシーンの抽出において寄与しないようにする。これにより、本実施形態に係る録画再生装置１は、嗜好データを利用して、よりユーザの嗜好に合ったシーンを抽出することができるようになる。

ところで、図１の録画再生装置は、例えば、図１７に示すような情報処理装置（コンピュータ）を用いて構成することができる。図１７の情報処理装置は、ＣＰＵ（中央処理装置）１００１、メモリ１００２、入力装置１００３、出力装置１００４、外部記憶装置１００５、媒体駆動装置１００６、ネットワーク接続装置１００７を備え、それらはバス１００８により互いに接続されている。

メモリ１００２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、必要な処理を行う。

図１の嗜好分析部１１、シーン分割部１３、嗜好判定部１４及びプレビューシーン表示部１５は、メモリ１００２に格納されたプログラムを実行することにより実現される機能に対応する。

入力装置１００３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。出力装置１００４は、例えば、ディスプレイやスピーカ等であり、ユーザへの問い合わせや処理結果等の出力に用いられる。

外部記憶装置１００５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１００５に、上記プログラムおよび嗜好に関する情報等のデータを格納しておき、必要に応じて、それらをメモリ１００２にロードして使用する。

媒体駆動装置１００６は、可搬記録媒体１００９を駆動し、その記録内容にアクセスする。可搬記録媒体１００９は、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ（compact disk read only memory ）、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１００９に上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１００２にロードして使用する。

ネットワーク接続装置１００７は、ＬＡＮ（local area network）、インターネット等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、上記プログラムおよびデータを外部の装置からネットワーク接続装置１００７を介して受け取り、それらをメモリ１００２にロードして使用する。

図１８は、図１７の情報処理装置にプログラムおよびデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体１００９やサーバ１１０１のデータベース１１０３に格納されたプログラムおよびデータは、情報処理装置１１０２のメモリ１００２にロードされる。サーバ１１０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、ネットワークを介して情報処理装置１１０２に送信する。ＣＰＵ１００１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。

以上説明したように、本実施形態に係る録画再生装置１によれば、ユーザがコンテンツの視聴の際に行った再生、早送り・巻き戻し等の操作の指示を受け付けると、操作の指示にしたがって、ユーザの嗜好データを作成する。嗜好データは、ユーザの嗜好に合ったシーンの特徴を含む。再生等を行ったコンテンツとは異なるコンテンツが録画されると、嗜好データを利用して、録画したコンテンツのうち、特徴が近いシーンを抽出する。ユーザの視聴の有無によらず、録画したコンテンツからユーザの嗜好に合ったシーンを抽出することができる。

抽出したシーンについては、プレビューシーンとして出力表示する。プレビューシーンの中からユーザが指定したプレビューシーンについては、ユーザの嗜好に合ったシーンであると判断し、指定したシーンの特徴を嗜好データに反映させる。ユーザが嗜好に合わないとして指定したシーンについては、指定されたシーンの特徴がプレビューシーンの抽出時に影響しないよう、嗜好データを更新する。ＥＰＧや字幕情報等の単語についても、ユーザがプレビューシーンの抽出に利用したくないとして指定した単語については、特徴量の計算において利用しないように嗜好データを反映させる。これにより、よりユーザの嗜好に合ったシーンの抽出が可能となる。

なお、上記においては、コンテンツの録画機能を備えた録画再生装置１について説明しているが、これは一例である。例えば、上記の方法を、コンテンツの録画機能を持たない再生装置において実行することとしても良い。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
映像コンテンツを再生する再生装置であって、
前記映像コンテンツを部分的なシーンに区分する分割部と、
シーンに区分されたコンテンツの再生中に行われた操作の指示と、該指示を受け付けた際に再生をしていた箇所とを関連付けて記録した記録部を参照して、早送りまたは巻き戻しの操作の指示の後に再生した箇所を特定する特定部と、
前記特定部において特定したシーンについて第１の特徴量を求める第１の特徴量算出部と、
前記コンテンツとは異なる他のコンテンツをシーンに区分し、得られた各シーンついて第２の特徴量を求める第２の特徴量算出部と、
前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量の差が所定の閾値以内となる該第２の特徴量を有するシーンを抽出する抽出部と、
前記抽出部により抽出したシーンを出力する出力部と
を備えることを特徴とする再生装置。
（付記２）
前記第１の特徴量算出部は、前記抽出部において抽出したシーンが再生された場合には、前記第１の特徴量と前記第２の特徴量との平均を算出し、該算出した特徴量を第１の特徴量として利用する
ことを特徴とする付記１記載の再生装置。
（付記３）
前記第１の特徴量算出部は、前記抽出部において抽出したシーンを該抽出部において抽出しない旨の指示が入力された場合には、前記第２の特徴量のベクトルの向きを反転させて、前記第１の特徴量と該ベクトルの向きを反転させた第２の特徴量との平均を算出し、該算出した特徴量を第１の特徴量として利用する
ことを特徴とする付記１記載の再生装置。
（付記４）
前記第１及び第２の特徴量算出部は、前記シーン及び該シーンを含む前記コンテンツから抽出して前記第１及び第２の特徴量の計算に用いた単語のうち、該第１及び第２の特徴量の計算に利用しない旨の指示が入力された単語については、単語特徴を軸に割り当てたベクトル空間から該指示された単語の軸を削除する
ことを特徴とする付記１記載の再生装置。
（付記５）
前記コンテンツを、その内容に応じて属するクラスタを判定するクラスタリング部と、
を更に備え、
前記抽出部は、前記クラスタリング部により前記他のコンテンツが属するクラスタと一致するクラスタの前記コンテンツについて求めた前記第１の特徴量を抽出して、該抽出した第１の特徴量と前記第２の特徴量との比較を行う
ことを特徴とする付記１記載の再生装置。
（付記６）
映像コンテンツを再生する再生装置において使用するプログラムであって、
前記映像コンテンツを部分的なシーンに区分し、
シーンに区分されたコンテンツの再生中に行われた操作の指示と、該指示を受け付けた際に再生をしていた箇所とを関連付けて記録した記録部を参照して、早送りまたは巻き戻しの操作の指示の後に再生した箇所を特定し、
前記特定したシーンについて第１の特徴量を求め、
前記コンテンツとは異なる他のコンテンツをシーン単位に区分し、得られた各シーンについて第２の特徴量を求め、
前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量の差が所定の閾値以内となる該第２の特徴量を有するシーンを抽出し、
前記抽出したシーンを出力する
処理をコンピュータに実行させることを特徴とするプログラム。
（付記７）
前記抽出部において抽出したシーンが再生された場合には、前記第１の特徴量と前記第２の特徴量との平均を算出し、該算出した特徴量を第１の特徴量として利用する
ことを特徴とする付記６記載のプログラム。
（付記８）
前記抽出したシーンの区分を抽出しない旨の指示が入力された場合には、前記第２の特徴量のベクトルの向きを反転させて、前記第１の特徴量と該ベクトルの向きを反転させた第２の特徴量との平均を算出し、該算出した特徴量を第１の特徴量として利用する
ことを特徴とする付記６記載のプログラム。
（付記９）
前記シーン及び該シーンを含む前記コンテンツから抽出して前記第１及び第２の特徴量の計算に用いた単語のうち、該第１及び第２の特徴量の計算に利用しない旨の指示が入力された単語については、単語特徴を軸に割り当てたベクトル空間から該指示された単語の軸を削除する
ことを特徴とする付記６記載のプログラム。
（付記１０）
前記コンテンツを、その内容に応じて属するクラスタを判定する
処理を更にコンピュータに実行させ、
前記第２の特徴量を有するシーンを抽出する処理においては、前記他のコンテンツが属するクラスタと一致するクラスタの前記コンテンツについて求めた前記第１の特徴量を抽出して、該抽出した第１の特徴量と前記第２の特徴量との比較を行う
ことを特徴とする付記６記載のプログラム。

１ 録画再生装置
２ 表示装置
３ 録画再生部
１０ プレビュー生成部
１１ 嗜好分析部
１２ 嗜好格納部
１３ シーン分割部
１４ 嗜好判定部
１５ プレビューシーン表示部
２１ シーン指定部
２２ シーン特徴計算部
２５ 特徴取得部
２６ クラスタ生成部
２７ クラスタ特徴計算部
２８ クラスタ判定部
３１ コンテンツ単語抽出部
３２ コンテンツ単語特徴抽出部
３３ クラスタ判定部
３４ シーン格納部
３５ 特徴マッチング部
３６ シーン単語抽出部
３７ シーン単語特徴抽出部
３８ 画像特徴抽出部
３９ 音特徴抽出部
４０ 時間特徴抽出部
４１ 特徴マージ部
５１ プレビューシーン表示領域
５５ シーン再生領域
６１ シーン再生領域
６２ 切り替えボタン
６３ プレビューシーン表示領域

Claims (5)

1. 映像コンテンツを再生する再生装置であって、
   前記映像コンテンツを部分的なシーンに区分する分割部と、
   シーンに区分されたコンテンツの再生中に行われた操作の指示と、該指示を受け付けた際に再生をしていた箇所とを関連付けて記録した記録部を参照して、早送りまたは巻き戻しの操作の指示の後に再生した箇所を特定する特定部と、
   前記特定部において特定したシーンに関連した電子番組表やウェブページの文章から取得した番組情報から抽出した単語の種類と数を用いてベクトル空間内でベクトルとして表現される第１の特徴量を求める第１の特徴量算出部と、
   前記コンテンツとは異なる他のコンテンツをシーンに区分し、得られた各シーンに関連した電子番組表やウェブページの文章から取得した番組情報から抽出した単語の種類と数を用いてベクトル空間内でベクトルとして表現される第２の特徴量を求める第２の特徴量算出部と、
   前記第１の特徴量と前記第２の特徴量とを表すベクトルの距離が所定の閾値以内となる該第２の特徴量を有するシーンを抽出する抽出部と、
   前記抽出部により抽出したシーンを出力する出力部と
   を備えることを特徴とする再生装置。
2. 前記第１の特徴量算出部は、前記抽出部において抽出したシーンが再生された場合には、前記第１の特徴量と前記第２の特徴量との平均を算出し、該算出した特徴量を第１の特徴量として利用する
   ことを特徴とする請求項１記載の再生装置。
3. 前記第１の特徴量算出部は、前記抽出部において抽出したシーンを該抽出部において抽出しない旨の指示が入力された場合には、前記第２の特徴量のベクトルの向きを反転させて、前記第１の特徴量と該ベクトルの向きを反転させた第２の特徴量との平均を算出し、該算出した特徴量を第１の特徴量として利用する
   ことを特徴とする請求項１記載の再生装置。
4. 前記第１及び第２の特徴量算出部は、前記シーン及び該シーンを含む前記コンテンツから抽出して前記第１及び第２の特徴量の計算に用いた単語のうち、該第１及び第２の特徴量の計算に利用しない旨の指示が入力された単語については、単語特徴を軸に割り当てたベクトル空間から該指示された単語の軸を削除する
   ことを特徴とする請求項１記載の再生装置。
5. 映像コンテンツを再生する再生装置において使用するプログラムであって、
   前記映像コンテンツを部分的なシーンに区分し、
   シーンに区分されたコンテンツの再生中に行われた操作の指示と、該指示を受け付けた際に再生をしていた箇所とを関連付けて記録した記録部を参照して、早送りまたは巻き戻しの操作の指示の後に再生した箇所を特定し、
   前記特定した再生をしたシーンを抽出して、該抽出したシーンに関連した電子番組表やウェブページの文章から取得した番組情報から抽出した単語の種類と数を用いてベクトル空間内でベクトルとして表現される第１の特徴量を求め、
   前記コンテンツとは異なる他のコンテンツをシーン単位に区分し、得られた各シーンに関連した電子番組表やウェブページの文章から取得した番組情報から抽出した単語の種類と数を用いてベクトル空間内でベクトルとして表現される第２の特徴量を求め、
   前記第１の特徴量と前記第２の特徴量とを表すベクトルの距離が所定の閾値以内となる該第２の特徴量を有するシーンを抽出し、
   前記抽出したシーンを出力する
   処理をコンピュータに実行させることを特徴とするプログラム。