JP4712812B2 - 記録再生装置 - Google Patents

Description

本発明は、映像・音声信号におけるハイライトシーンの検出を行う記録再生装置に関するものである。

近年、大容量ＨＤＤ付きビデオディスクレコーダ等の映像・音声を記録する装置が広く市場に出回っている。これらの装置には種々の機能が付加されており、例えば、録画番組を再生するときに、ユーザーが見たいシーンを効率良く検索して再生するようなシーン再生機能が知られている。

特許文献１には、映像信号の輝度振幅、音声信号の入力振幅を検出しながら、所定の条件に基づいてハイライトシーンをマーキングしながら記録していく方式が開示されている。
特開２００４−１２０５５３号公報

しかしながら、ハイライトシーンのマーキング条件として、映像信号の輝度振幅、音声信号の入力振幅を対象にし且つ映像ジャンルによってマーキング条件を変えたとしても、入力される映像や音声の振幅情報だけでは入力映像及び音声の特徴を網羅することができない場合が多く、ユーザーが望んでいるシーンを効率良く再生できないことがあるという問題があった。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、ユーザーが望むシーンを効率良く確実に再生することができるようにすることにある。

すなわち、本発明の記録再生装置は、入力映像信号をエンコード処理して圧縮映像データを出力する一方、該入力映像信号のフレーム情報、輝度データ、色相データ、動きベクトル情報を示す映像関連データを出力する映像エンコード部と、
入力音声信号をエンコード処理して圧縮音声データを出力する一方、該入力音声信号のフレーム情報、振幅データ、スペクトラム情報を示す音声関連データを出力する音声エンコード部と、
前記映像関連データを入力とし、該映像関連データに基づいて前記入力映像信号の各特徴量を抽出し、複数の映像特徴量データを出力する映像特徴量抽出部と、
前記音声関連データを入力とし、該音声関連データに基づいて前記入力音声信号の各特徴量を抽出し、複数の音声特徴量データを出力する音声特徴量抽出部と、
ユーザーの操作に基づく入力情報を受け付けるユーザー入力部と、
前記ユーザー入力部で設定された設定番組情報を入力とし、該設定番組情報に対応するジャンルを示す番組ジャンル情報を出力するジャンル設定部と、
前記複数の映像特徴量データ及び前記複数の音声特徴量データを入力とし、前記番組ジャンル情報に応じてそれぞれの特徴量データに対する重み付けを行い、該重み付け結果とハイライトシーンであると判定すべき基準値との比較を行い、該比較結果に基づいてハイライトシーンであることを示すシーン判定信号を出力するハイライトシーン判定部と、
前記圧縮映像データ及び前記圧縮音声データをエンコードフォーマットに従って多重して、多重ストリームデータを出力する多重部と、
前記多重ストリームデータ及び前記シーン判定信号を入力とし、両データを記録メディアに書き込み、記録された多重ストリームデータを読み出す際に、ハイライトシーン再生モードの場合には該シーン判定信号が有効な期間のみを読み出す一方、ハイライトシーン再生モードではない場合には全ての期間にわたって読み出し、読み出しストリームとして出力する蓄積部と、
前記読み出しストリームを入力とし、該読み出しストリームを分離映像ストリームと分離音声ストリームとに分離してそれぞれ出力する分離部と、
前記分離映像ストリームを入力とし、圧縮されている映像データを伸長して復調映像信号として出力する映像デコード部と、
前記分離音声ストリームを入力とし、圧縮されている音声データを伸長して復調音声信号として出力する音声デコード部とを備え、
前記ハイライトシーン判定部は、前記複数の映像特徴量データ及び前記複数の音声特徴量データを、番組ジャンル毎の映像及び音声の各特徴量分布の統計結果と比較し、該比較結果に基づいて該複数の映像特徴量データ及び該複数の音声特徴量データに対する重み付けを行うように構成されていることを特徴とするものである。

以上のように、本発明によれば、映像関連情報（例えば入力映像信号のフレーム情報、輝度データ、色相データ、動きベクトル情報等）、音声関連情報（入力音声信号のフレーム情報、振幅データ、スペクトラム情報等）から抽出する複数の特徴量データに基づいて、ハイライトシーン検出のためのマーキング条件を設定しているので、マーキングの条件が単独に近い場合（例えば、映像の輝度振幅と音声振幅の大きさ）に比べてユーザーが望むシーンを効率良く再生することが可能となる。

また、ユーザーの事前登録情報、事前登録情報と文字情報の一致検出、事前登録情報と音声ワードの一致検出、再生結果に対するユーザーからのフィードバック機能、ユーザーの視聴履歴からの特徴量データへの自動重み付け機能の各機能を付加していくことで、ユーザーが望むシーンをさらに効率良く確実に再生できる記録再生装置を提供することが可能となる。

さらに、ＣＭ検出期間の前後には映像、音声共に特徴的な状況（シーンチェンジ、無音期間）となるので、ハイライトシーン判定部の結果をＣＭ検出機能の判定パラメータに反映させることで、ＣＭ検出をより安定、確実に実現することができる。

以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。

＜実施形態１＞
図１は、本発明の実施形態１に係る記録再生装置の構成を示すブロック図である。図１において、１は入力映像信号１ａをエンコード処理する映像エンコード部であり、映像エンコード部１で圧縮された圧縮映像データ１ｂが多重部６に出力される一方、入力映像信号１ａのフレーム情報、輝度データ、色相データ、動きベクトル情報等を含む映像関連データ１ｃが映像特徴量抽出部３に出力される。

前記映像特徴量抽出部３は、映像関連データ１ｃに基づいて映像特徴量データ３ｂを生成するものであり、例えば、映像１フレーム内の各データの平均をとることで複数の映像特徴量データ３ｂがハイライトシーン判定部５に出力される。

２は入力音声信号２ａをエンコード処理する音声エンコード部であり、音声エンコード部２で圧縮された圧縮音声データ２ｂが多重部６に出力される一方、入力音声信号２ａのフレーム情報、振幅データ、スペクトラム情報等を含む音声関連データ２ｃが音声特徴量抽出部４に出力される。

前記音声特徴量抽出部４は、音声関連データ２ｃに基づいて音声特徴量データ４ｂを生成するものであり、例えば、音声１フレーム間の各データの平均をとることで複数の音声特徴量データ４ｂがハイライトシーン判定部５に出力される。

前記多重部６は、入力された圧縮映像データ１ｂ及び圧縮音声データ２ｂをエンコードフォーマットに従って多重するものであり、この多重された多重ストリームデータ６ｂが蓄積部７に出力される。

２１はユーザーからの入力２１ａを受け付けるユーザー入力部であり、入力２１ａに基づく設定番組情報２１ｂがジャンル設定部２０に出力される。

前記ジャンル設定部２０では、入力された設定番組情報２１ｂに対応するジャンルを示す番組ジャンル情報２０ｂ（例えば、ニュース、映画、音楽番組、スポーツ等）が設定され、番組ジャンル情報２０ｂがハイライトシーン判定部５に出力される。

図２は、本実施形態１におけるハイライトシーン判定部５の詳細な構成を示すブロック図である。図２において、５０は特徴量重み付け回路であり、この特徴量重み付け回路５０には、映像特徴量抽出部３から出力された複数の映像特徴量データ３ｂと、音声特徴量抽出部４から出力された複数の音声特徴量データ４ｂとが入力される。

５１は番組ジャンル係数テーブルであり、この番組ジャンル係数テーブル５１には、ジャンル設定部２０から出力された番組ジャンル情報２０ｂが入力され、番組ジャンル情報２０ｂに基づいて決定される、各番組ジャンルにおけるそれぞれの特徴量係数に応じた特徴量ジャンル係数５１ｂが特徴量重み付け回路５０に出力される。

前記特徴量重み付け回路５０は、特徴量ジャンル係数５１ｂと、複数の映像特徴量データ３ｂ及び複数の音声特徴量データ４ｂとの乗算をそれぞれ行うものであり、その乗算結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃが比較部５２に出力される。

このように、抽出した映像特徴量データ３ｂや音声特徴量データ４ｂをそのままシステムに反映させるのではなく、番組ジャンル毎に強調される独自のパラメータが存在する（特徴量の分布がジャンルによって大きく異なる）ことから、特徴量ジャンル係数５１ｂを乗算することによって、ジャンル独自のパラメータを強調する一方、そうでないパラメータを弱めることができ、シーン判定を確実にすることが可能となる。

前記比較部５２は、入力された映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃを、ハイライトシーンであると判定すべき基準値５２ａとそれぞれ比較するものであり、比較の結果、基準値５２ａを超えていれば、現状の入力信号がハイライトシーンであることを示すシーン判定信号５ｂが蓄積部７に出力される。

前記蓄積部７は、多重部６から出力された多重ストリームデータ６ｂと、ハイライトシーン判定部５から出力されたシーン判定信号５ｂとを入力とし、両データを記録メディアに書き込み、必要に応じて多重ストリームデータ６ｂを読み出して、読み出しストリーム７ｂとして分離部８に出力するものである。

具体的に、記録された多重ストリームデータ６ｂを読み出す際に、分離部８に入力される再生モード信号８ａがアクティブである場合には、シーン判定信号５ｂが有効な期間（ハイライトシーンであると判定した期間）のみが読み出され、読み出しストリーム７ｂとして出力される。

一方、ハイライトシーン再生でない場合には、全ての期間にわたって多重ストリームデータ６ｂが読み出され、読み出しストリーム７ｂとして出力される。

前記分離部８は、入力された読み出しストリーム７ｂを分離映像ストリーム８ｂと分離音声ストリーム８ｃとに分離するものであり、分離映像ストリーム８ｂが映像デコード部９に出力され、分離音声ストリーム８ｃが音声デコード部１０に出力される。

前記映像デコード部９は、分離映像ストリーム８ｂの伸長処理を行うものであり、伸長処理されたデータは復調映像信号９ｂとして再生が行われる。

前記音声デコード部１０は、分離音声ストリーム８ｃの伸長処理を行うものであり、伸長処理されたデータは復調音声信号１０ｂとして再生が行われる。

図３は、入力映像信号１ａ及び入力音声信号２ａと、ハイライトシーン判定部５におけるシーン判定信号５ｂとのタイミング関係を示す図である。

図３に示すように、シーン判定信号５ｂがアクティブになるのは、複数の映像特徴量データ３ｂと複数の音声特徴量データ４ｂの変化が際立った場合であり、且つ番組ジャンルで決められた基準値を超えた場合である。

なお、本実施形態１では、映像振幅、音声振幅の変化が際立った場合をアクティブと判定したが、映像の動きベクトル量の大きさ、音声のスペクトラムの広がり等に基づいて判定するようにしても構わない。

そして、前記分離部８に入力される再生モード信号８ａがアクティブな場合（ハイライトシーン再生モード時）には、蓄積部７における記録メディアからの読み出しは、シーン判定信号５ｂがアクティブな期間のデータのみが読み出され、映像デコード部９及び音声デコード部１０において、それぞれ復調映像信号９ｂ及び復調音声信号１０ｂとしてハイライトシーン再生される。

以上のように、本実施形態１に係る記録再生装置によれば、複数の映像、音声の特徴量データに基づいて、ハイライトシーンとしてのマーキングの条件としているので、マーキングの条件が単独に近い場合（例えば、映像の輝度振幅と音声振幅の大きさ）に比べてユーザーが望むシーンを効率良く再生することが可能となる。

＜実施形態２＞
図４は、本実施形態２に係る記録再生装置の構成を示すブロック図である。前記実施形態１との違いは、ジャンル設定部２０及びユーザー入力部２１を無くし、ハイライトシーン判定部５００の内部構成を変更した点であるため、以下、実施形態１と同じ部分には同じ符号を付し、相違点についてのみ説明する。

図５は、本実施形態２におけるハイライトシーン判定部５００の詳細な構成を示すブロック図である。図５に示すように、映像特徴量抽出部３から出力された複数の映像特徴量データ３ｂと、音声特徴量抽出部４から出力された複数の音声特徴量データ４ｂとがハイライトシーン判定部５００に入力され、ハイライトシーン判定部５００内部の特徴量重み付け回路５０と番組ジャンル変換テーブル５３とにそれぞれ入力される。

前記番組ジャンル変換テーブル５３は、入力された映像特徴量データ３ｂと音声特徴量データ４ｂとが、どの番組ジャンル（例えば、ニュース、映画、音楽番組、スポーツ等）により近いかを判断するものであり、その結果が番組ジャンル変換テーブル情報５３ｂとして番組ジャンル係数テーブル５１に出力される。

具体的には、まず、各番組ジャンルにおける映像特徴量データ３ｂと音声特徴量データ４ｂとの分布統計を事前に行っておき、その結果を番組ジャンル変換テーブル５３に反映させておく。そして、入力された映像特徴量データ３ｂと音声特徴量データ４ｂとを分布統計と比較参照し、現在入力されている特徴量データがどの番組ジャンル（例えば、ニュース、映画、音楽番組、スポーツ等）により近いかを判断するようにしている。

番組ジャンル係数テーブル５１には、番組ジャンル変換テーブル５３から出力された番組ジャンル変換テーブル情報５３ｂが入力され、番組ジャンル変換テーブル情報５３ｂに基づいて決定される、各番組ジャンルにおけるそれぞれの特徴量係数に応じた特徴量ジャンル係数５１ｂが特徴量重み付け回路５０に出力される。

前記特徴量重み付け回路５０では、特徴量ジャンル係数５１ｂと、複数の映像特徴量データ３ｂ及び複数の音声特徴量データ４ｂとの乗算がそれぞれ行われ、その乗算結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃが比較部５２に出力される。

このように、抽出した映像特徴量データ３ｂや音声特徴量データ４ｂをそのままシステムに反映させるのではなく、番組ジャンル毎に強調される独自のパラメータが存在する（特徴量の分布がジャンルによって大きく異なる）ことから、特徴量ジャンル係数５１ｂを乗算することによって、ジャンル独自のパラメータを強調する一方、そうでないパラメータを弱めることができ、シーン判定を確実にすることが可能となる。

前記比較部５２は、入力された映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃを、ハイライトシーンであると判定すべき基準値５２ａとそれぞれ比較するものであり、比較の結果、基準値５２ａを超えていれば、現状の入力信号がハイライトシーンであることを示すシーン判定信号５ｂが蓄積部７に出力される。

以上のように、本実施形態２に係る記録再生装置によれば、番組関連の入力インターフェイスを持たないようなシステム環境であっても、自動的に番組ジャンルを選択することが可能となる。

＜実施形態３＞
図６は、本実施形態３に係る記録再生装置の構成を示すブロック図である。前記実施形態１との違いは、ユーザー入力部２１から事前登録情報２１ｃがさらに出力される点であるため、以下、実施形態１と同じ部分については同じ符号を付し、相違点についてのみ説明する。

図６に示すように、ユーザー入力部２１は、ユーザーからの入力２１ａを受け付けて、入力２１ａに基づく設定番組情報２１ｂをジャンル設定部２０に出力する一方、事前登録情報２１ｃをハイライトシーン判定部５０１に出力している。

図７は、ハイライトシーン判定部５０１の詳細な構成を示すブロック図である。前記実施形態１におけるハイライトシーン判定部５との違いは、設定情報係数テーブル５４を追加し、その出力を特徴量重み付け回路５０へ新たに追加入力した点である。

図７に示すように、番組ジャンル係数テーブル５１には、ジャンル設定部２０から出力された番組ジャンル情報２０ｂが入力され、番組ジャンル情報２０ｂに基づいて決定される、各番組ジャンルにおけるそれぞれの特徴量係数に応じた特徴量ジャンル係数５１ｂが特徴量重み付け回路５０に出力される。

設定情報係数テーブル５４には、ユーザー入力部２１から出力された、ユーザーが別途設定する詳細な事前登録情報２１ｃ（例えば、番組ジャンルがスポーツであれば、さらに詳細な情報である、野球、サッカー、柔道、水泳等）が入力され、事前登録情報２１ｃに基づいて決定される設定情報係数５４ｂが特徴量重み付け回路５０に出力される。

前記特徴量重み付け回路５０は、特徴量ジャンル係数５１ｂ及び設定情報係数５４ｂと、複数の映像特徴量データ３ｂ及び複数の音声特徴量データ４ｂとの乗算をそれぞれ行うものであり、その乗算結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃが比較部５２に出力される。

以上のように、本実施形態３に係る記録再生装置によれば、抽出した映像特徴量データ３ｂや音声特徴量データ４ｂをそのままシステムに反映させるのではなく、番組ジャンル毎にそれぞれ強調される独自のパラメータが存在する（すなわち、特徴量の分布がジャンルによって大きく異なる）ことから、特徴量ジャンル係数５１ｂを乗算することによって、ジャンル独自のパラメータを強調する一方、そうでないパラメータを弱めることができ、シーン判定を確実にすることが可能となる。

さらに、例えば、番組ジャンルがスポーツであれば、さらに詳細な情報である、野球、サッカー、柔道、水泳等を設定情報係数５４ｂとして映像特徴量データ３ｂや音声特徴量データ４ｂに乗算することで、さらに独自パラメータを強調してシーン判定をより最適にすることが可能となる。

＜実施形態４＞
図８は、本実施形態４に係る記録再生装置の構成を示すブロック図である。前記実施形態３との違いは、文字情報一致検出部２２を設けた点であるため、以下、実施形態３と同じ部分については同じ符号を付し、相違点についてのみ説明する。

映像エンコード部１は、入力映像信号１ａをエンコード処理した圧縮映像データ１ｂを多重部６に出力する一方、入力映像信号１ａのフレーム情報、輝度データ、色相データ、動きベクトル情報等を含む映像関連データ１ｃを映像特徴量抽出部３及び文字情報一致検出部２２に出力している。

ユーザー入力部２１は、ユーザーからの入力２１ａを受け付けて、入力２１ａに基づく設定番組情報２１ｂをジャンル設定部２０に出力する一方、事前登録情報２１ｃをハイライトシーン判定部５０２及び文字情報一致検出部２２に出力している。

前記文字情報一致検出部２２は、映像エンコード部１から出力される映像関連データ１ｃにおける番組中のテロップや映画番組の字幕等から文字情報を検出する一方、その検出した文字情報とユーザー入力部２１から出力される事前登録情報２１ｃ（記録しておきたい関連番組キーワード等）の文字情報との一致を検出するものである。文字情報の一致が検出された場合には、文字一致信号２２ｂがハイライトシーン判定部５０２に出力される。

図９は、ハイライトシーン判定部５０２の詳細な構成を示すブロック図である。実施形態３のハイライトシーン判定部５０１との違いは、文字一致検出係数テーブル５５を追加し、その出力である文字一致係数５５ｂを特徴量重み付け回路５０へ新たに追加入力した点である。

図９に示すように、文字一致検出係数テーブル５５には、前記文字情報一致検出部２２から出力された文字一致信号２２ｂが入力され、文字一致信号２２ｂに基づいて決定される文字一致係数５５ｂが特徴量重み付け回路５０に出力される。

前記特徴量重み付け回路５０は、特徴量ジャンル係数５１ｂ、設定情報係数５４ｂ、及び文字一致係数５５ｂと、複数の映像特徴量データ３ｂ及び複数の音声特徴量データ４ｂとの乗算をそれぞれ行うものであり、その乗算結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃが比較部５２に出力される。

以上のように、本実施形態４に係る記録再生装置によれば、番組中のテロップや映画番組の字幕等の文字情報に基づいて、独自パラメータをさらに強調することができ、ユーザーが再生を望まない不要なシーンの検出頻度を低下させることが可能となり、ユーザーにとってより確実なシーン判定を実現することができる。

＜実施形態５＞
図１０は、本実施形態５に係る記録再生装置の構成を示すブロック図である。前記実施形態４との違いは、音声認識一致検出部２３を設けた点であるため、以下、実施形態４と同じ部分については同じ符号を付し、相違点についてのみ説明する。

音声エンコード部２は、入力音声信号２ａをエンコード処理した圧縮音声データ２ｂを多重部６に出力する一方、入力音声信号２ａのフレーム情報、振幅データ、スペクトラム情報等を含む音声関連データ２ｃを音声特徴量抽出部４及び音声認識一致検出部２３に出力している。

ユーザー入力部２１は、ユーザーからの入力２１ａを受け付けて、入力２１ａに基づく設定番組情報２１ｂをジャンル設定部２０に出力する一方、事前登録情報２１ｃをハイライトシーン判定部５０３、文字情報一致検出部２２、及び音声認識一致検出部２３に出力している。

前記音声認識一致検出部２３は、音声エンコード部２から出力される音声関連データ２ｃの音声情報を認識して音声ワードを取得する一方、ユーザー入力部２１から出力される事前登録情報２１ｃ（記録しておきたい関連番組キーワード等）との一致を検出するものである。音声ワードの一致が検出された場合には、単語一致信号２３ｂがハイライトシーン判定部５０３に出力される。

図１１は、ハイライトシーン判定部５０３の詳細な構成を示すブロック図である。実施形態４のハイライトシーン判定部５０２との違いは、音声一致検出係数テーブル５６を追加し、その出力である音声一致係数５６ｂを特徴量重み付け回路５０へ新たに追加入力した点である。

図１１に示すように、音声一致検出係数テーブル５６には、前記音声認識一致検出部２３から出力された単語一致信号２３ｂが入力され、単語一致信号２３ｂに基づいて決定される音声一致係数５６ｂが特徴量重み付け回路５０に出力される。

前記特徴量重み付け回路５０は、特徴量ジャンル係数５１ｂ、設定情報係数５４ｂ、文字一致係数５５ｂ、及び音声一致係数５６ｂと、複数の映像特徴量データ３ｂ及び複数の音声特徴量データ４ｂとの乗算をそれぞれ行うものであり、その乗算結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃが比較部５２に出力される。

以上のように、本実施形態５に係る記録再生装置によれば、番組中の音声ワードに基づいて、独自パラメータをさらに強調することができ、ユーザーが再生を望まない不要なシーンの検出頻度を低下させることが可能となり、ユーザーにとってより確実なシーン判定を実現することができる。

＜実施形態６＞
図１２は、本実施形態６に係る記録再生装置の構成を示すブロック図である。前記実施形態５との違いは、ユーザー入力部２１からハイライトシーンの再生結果に対するユーザーの満足度を示す満足度情報２１ｄがさらに出力される点であるため、以下、実施形態５と同じ部分については同じ符号を付し、相違点についてのみ説明する。

図１２に示すように、ユーザー入力部２１は、ユーザーからの入力２１ａを受け付けて、入力２１ａに基づく設定番組情報２１ｂをジャンル設定部２０に出力する一方、事前登録情報２１ｃ及び満足度情報２１ｄをハイライトシーン判定部５０４に出力している。

図１３は、ハイライトシーン判定部５０４の詳細な構成を示すブロック図である。前記実施形態５のハイライトシーン判定部５０３との違いは、特徴量重み付け回路５０の後段に新たにフィードバック部５７を設けた点である。

図１３に示すように、前記特徴量重み付け回路５０では、特徴量ジャンル係数５１ｂ、設定情報係数５４ｂ、文字一致係数５５ｂ、及び音声一致係数５６ｂと、複数の映像特徴量データ３ｂ及び複数の音声特徴量データ４ｂとの乗算がそれぞれ行われ、その乗算結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃがフィードバック部５７に出力される。

前記フィードバック部５７は、再生結果に対するユーザーの満足度をハイライトシーン判定部５０４における特徴量データへの重み付けに反映させるためのものである。 具体的には、前記フィードバック部５７には、ユーザー入力部２１から出力された満足度情報２１ｄが入力され、満足度情報２１ｄに基づいて、特徴量重み付け回路５０の出力結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃに対して満足度に応じた係数が乗算され、その乗算結果である映像重み付けデータ５７ｂ及び音声重み付けデータ５７ｃが比較部５２に出力される。以後の処理は、実施形態５と同様である。

これにより、後段の比較部５２における基準値５２ａに対して閾値を高くしてハイライトシーンをさらに絞り込むか、又は閾値を低くしてさらに多くのハイライトシーンを検出することにより、ユーザーからのフィードバック機能を実現するようにしている。

なお、本実施形態６では、特徴量重み付け回路５０の出力結果に対してユーザーの満足度係数を乗算するようにしたが、この形態に限定するものではなく、例えば、番組ジャンル係数テーブル５１、設定情報係数テーブル５４、文字一致検出係数テーブル５５、音声一致検出係数テーブル５６の各係数テーブルの出力に対してそれぞれ実行するようにしても構わない。

以上のように、本実施形態６に係る記録再生装置によれば、記録した番組のハイライトシーンの再生を実行し、再生結果に対するユーザーの満足度をユーザー入力部２１から入力することでハイライトシーン判定部５０４における特徴量データへの重み付けに反映させるフィードバック機能を実現することができ、顧客満足度を高めることができる。

＜実施形態７＞
図１４は、本実施形態７に係る記録再生装置におけるハイライトシーン判定部の詳細な構成を示すブロック図である。前記実施形態６との違いは、統計部５８を新たに設けた点であるため、以下、実施形態６と同じ部分については同じ符号を付し、相違点についてのみ説明する。なお、記録再生装置の全体構成については、実施形態６と同様である。

図１４に示すように、フィードバック部５７では、満足度情報２１ｄに基づいて、特徴量重み付け回路５０の出力結果である映像重み付けデータ５０ｂ及び音声重み付けデータ５０ｃに対して満足度に応じた係数が乗算され、その乗算結果である映像重み付けデータ５７ｂ及び音声重み付けデータ５７ｃが比較部５２及び統計部５８にそれぞれ出力される。

前記統計部５８は、実際のユーザーの視聴の履歴（番組、ジャンル、放送チャンネル等）に基づいて映像、音声の各特徴量の検出結果に対する重み付け結果である映像重み付けデータ５７ｂ及び音声重み付けデータ５７ｃの分布を集計して統計を取るものであり、その結果であるユーザー統計結果５８ｂが特徴量重み付け回路５０にフィードバック出力される。

前記特徴量重み付け回路５０では、前記ユーザー統計結果５８ｂに基づいて、映像特徴量データ３ｂ及び音声特徴量データ４ｂの重み付けが行われる。

以上のように、本実施形態７に係る記録再生装置によれば、ユーザーからの設定情報等が全くないようなシステム状況になった場合でも、ユーザーの視聴履歴に基づいてユーザーの好みに適合した係数の重み付けを自動的に実行することができる。

＜実施形態８＞
図１５は、本実施形態８に係る記録再生装置の構成を示すブロック図である。前記実施形態７との違いは、ＣＭ検出部１１を新たに追加した点であるため、以下、実施形態７と同じ部分については同じ符号を付し、相違点についてのみ説明する。

図１５に示すように、映像エンコード部１は、入力映像信号１ａをエンコード処理した圧縮映像データ１ｂを多重部６に出力する一方、入力映像信号１ａのフレーム情報、輝度データ、色相データ、動きベクトル情報等を含む映像関連データ１ｃを映像特徴量抽出部３、文字情報一致検出部２２、及びＣＭ検出部１１に出力している。

音声エンコード部２は、入力音声信号２ａをエンコード処理した圧縮音声データ２ｂを多重部６に出力する一方、入力音声信号２ａのフレーム情報、振幅データ、スペクトラム情報等を含む音声関連データ２ｃを音声特徴量抽出部４、音声認識一致検出部２３、及びＣＭ検出部１１に出力している。

ハイライトシーン判定部５０４は、現状の入力信号がハイライトシーンであることを示すシーン判定信号５ｂを蓄積部７及びＣＭ検出部１１に出力している。

前記ＣＭ検出部１１は、シーン判定信号５ｂに基づいて、入力された映像関連データ１ｃ及び音声関連データ２ｃのＣＭ期間を検出するものである。

具体的に、ＣＭ期間の前後には、映像、音声共に特徴的な状況（シーンチェンジ、無音期間等）になると考えられるので、ＣＭ独自の映像、音声パラメータが存在している。従って、ハイライトシーン判定部５０４のシーン判定信号５ｂをＣＭ検出のための情報として利用することが可能となる。

そして、前記ＣＭ検出部１１で検出されたＣＭ期間を示す情報が、ＣＭ検出結果１１ｂとして出力される。

以上のように、本実施形態８に係る記録再生装置によれば、シーン判定信号５ｂをＣＭ検出機能の判定パラメータに反映させることで、より安定したＣＭ検出結果１１ｂを得ることが可能となる。

以上説明したように、本発明は、ユーザーが望むシーンを効率良く確実に再生することができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、映像音声記録に関するシステム、装置、記録再生の制御方法、制御プログラム等の用途に利用可能である。

本発明の実施形態１に係る記録再生装置の構成を示すブロック図である。 本実施形態１におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態１における入力映像信号及び音声信号と、シーン判定信号とのタイミング関係を示す図である。 本実施形態２に係る記録再生装置の構成を示すブロック図である。 本実施形態２におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態３に係る記録再生装置の構成を示すブロック図である。 本実施形態３におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態４に係る記録再生装置の構成を示すブロック図である。 本実施形態４におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態５に係る記録再生装置の構成を示すブロック図である。 本実施形態５におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態６に係る記録再生装置の構成を示すブロック図である。 本実施形態６におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態７におけるハイライトシーン判定部の詳細な構成を示すブロック図である。 本実施形態８に係る記録再生装置の構成を示すブロック図である。

符号の説明

３ 映像特徴量抽出部
４ 音声特徴量抽出部
５ ハイライトシーン判定部
２０ ユーザー入力部
２１ ジャンル設定部
５０ 特徴量重み付け回路
５１ 番組ジャンル係数テーブル
５２ 比較部
５３ 番組ジャンル変換テーブル
５４ 設定情報係数テーブル
５５ 文字一致検出係数テーブル
５６ 音声一致検出テーブル
５７ フィードバック部
５８ 統計部

Claims (2)

1. 入力映像信号をエンコード処理して圧縮映像データを出力する一方、該入力映像信号の映像に関連した情報を示す映像関連データを出力する映像エンコード部と、
   入力音声信号をエンコード処理して圧縮音声データを出力する一方、該入力音声信号の音声に関連した情報を示す音声関連データを出力する音声エンコード部と、
   前記映像関連データを入力とし、該映像関連データに基づいて前記入力映像信号の各特徴量を抽出し、複数の映像特徴量データを出力する映像特徴量抽出部と、
   前記音声関連データを入力とし、該音声関連データに基づいて前記入力音声信号の各特徴量を抽出し、複数の音声特徴量データを出力する音声特徴量抽出部と、
   ユーザーの操作に基づく入力情報を受け付けるユーザー入力部と、
   前記ユーザー入力部で設定された設定番組情報を入力とし、該設定番組情報に対応するジャンルを示す番組ジャンル情報を出力するジャンル設定部と、
   前記複数の映像特徴量データ及び前記複数の音声特徴量データを入力とし、前記番組ジャンル情報に応じてそれぞれの特徴量データに対する重み付けを行い、該重み付け結果とハイライトシーンであると判定すべき基準値との比較を行い、該比較結果に基づいてハイライトシーンであることを示すシーン判定信号を出力するハイライトシーン判定部と、
   前記圧縮映像データ及び前記圧縮音声データをエンコードフォーマットに従って多重して、多重ストリームデータを出力する多重部と、
   前記多重ストリームデータ及び前記シーン判定信号を入力とし、両データを記録メディアに書き込み、記録された多重ストリームデータを読み出す際に、ハイライトシーン再生モードである場合には該シーン判定信号が有効な期間のみを読み出す一方、ハイライトシーン再生モードではない場合には全ての期間にわたって読み出し、読み出しストリームとして出力する蓄積部と、
   前記読み出しストリームを入力とし、該読み出しストリームを分離映像ストリームと分離音声ストリームとに分離してそれぞれ出力する分離部と、
   前記分離映像ストリームを入力とし、圧縮されている映像データを伸長して復調映像信号として出力する映像デコード部と、
   前記分離音声ストリームを入力とし、圧縮されている音声データを伸長して復調音声信号として出力する音声デコード部とを備え、
   前記ハイライトシーン判定部は、前記複数の映像特徴量データ及び前記複数の音声特徴量データを、番組ジャンル毎の映像及び音声の各特徴量分布の統計結果と比較し、該比較結果に基づいて該複数の映像特徴量データ及び該複数の音声特徴量データに対する重み付けを行うように構成されていることを特徴とする記録再生装置。
2. 入力映像信号をエンコード処理して圧縮映像データを出力する一方、該入力映像信号の映像に関連した情報を示す映像関連データを出力する映像エンコード部と、
   入力音声信号をエンコード処理して圧縮音声データを出力する一方、該入力音声信号の音声に関連した情報を示す音声関連データを出力する音声エンコード部と、
   前記映像関連データを入力とし、該映像関連データに基づいて前記入力映像信号の各特徴量を抽出し、複数の映像特徴量データを出力する映像特徴量抽出部と、
   前記音声関連データを入力とし、該音声関連データに基づいて前記入力音声信号の各特徴量を抽出し、複数の音声特徴量データを出力する音声特徴量抽出部と、
   ユーザーの操作に基づく入力情報を受け付けるユーザー入力部と、
   前記ユーザー入力部で設定された設定番組情報を入力とし、該設定番組情報に対応するジャンルを示す番組ジャンル情報を出力するジャンル設定部と、
   前記複数の映像特徴量データ及び前記複数の音声特徴量データを入力とし、前記番組ジャンル情報に応じてそれぞれの特徴量データに対する重み付けを行い、該重み付け結果とハイライトシーンであると判定すべき基準値との比較を行い、該比較結果に基づいてハイライトシーンであることを示すシーン判定信号を出力するハイライトシーン判定部と、
   前記圧縮映像データ及び前記圧縮音声データをエンコードフォーマットに従って多重して、多重ストリームデータを出力する多重部と、
   前記多重ストリームデータ及び前記シーン判定信号を入力とし、両データを記録メディアに書き込み、記録された多重ストリームデータを読み出す際に、ハイライトシーン再生モードである場合には該シーン判定信号が有効な期間のみを読み出す一方、ハイライトシーン再生モードではない場合には全ての期間にわたって読み出し、読み出しストリームとして出力する蓄積部と、
   前記読み出しストリームを入力とし、該読み出しストリームを分離映像ストリームと分離音声ストリームとに分離してそれぞれ出力する分離部と、
   前記分離映像ストリームを入力とし、圧縮されている映像データを伸長して復調映像信号として出力する映像デコード部と、
   前記分離音声ストリームを入力とし、圧縮されている音声データを伸長して復調音声信号として出力する音声デコード部と、
   前記映像関連データにおける映像中の文字情報を検出する一方、検出した文字情報と前記ユーザー入力部で設定される事前登録情報の文字情報との一致を検出して文字一致信号を出力する文字情報一致検出部と、
   前記音声関連データにおける音声中の音声ワードを認識する一方、該認識した音声ワードと前記ユーザー入力部で設定される事前登録情報の文字情報との一致を検出して単語一致信号を出力する音声情報一致検出部とを備え、
   前記ハイライトシーン判定部は、
   前記ユーザー入力部で設定される番組ジャンルに対応した事前登録情報を入力とし、該事前登録情報に基づいて前記複数の映像特徴量データ及び前記複数の音声特徴量データに対する重み付けを行い、
   前記文字一致信号に基づいて前記複数の映像特徴量データ及び前記複数の音声特徴量データに対する重み付けを行い、
   前記単語一致信号に基づいて前記複数の映像特徴量データ及び前記複数の音声特徴量データに対する重み付けを行い、
   前記ユーザー入力部で設定されるハイライトシーンの再生結果に対するユーザーの満足度を示す満足度情報に基づいて、前記複数の映像特徴量データ及び前記複数の音声特徴量データに対する重み付けを行い、
   ユーザーの視聴履歴に基づいて、前記複数の映像特徴量データ及び前記複数の音声特徴量データにおける各特徴量の分布を集計して統計を取り、該統計結果に基づいて該複数の映像特徴量データ及び該複数の音声特徴量データに対する重み付けを行うように構成されていることを特徴とする記録再生装置。

Images