JP4305269B2

JP4305269B2 - 信号処理装置及び方法

Info

Publication number: JP4305269B2
Application number: JP2004136916A
Authority: JP
Inventors: 理中村; 直人岩橋; 正之西口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-04-30
Filing date: 2004-04-30
Publication date: 2009-07-29
Anticipated expiration: 2024-04-30
Also published as: JP2005317165A

Description

本発明は、例えばテレビジョン放送により放送された番組の盛り上がりの程度をユーザに対して効果的に伝えるための信号処理装置及びその方法に関する。

テレビジョン放送された番組をＤＶＤ（Digital Versatile Disc）やＨＤＤ（Hard Disk Drive）のようなランダムアクセス可能な記録媒体に記録して再生する録画再生装置が近年急速に普及している。このような録画再生装置にはランダムアクセス性を利用した様々な機能が搭載されており、今までにない新しい機能が今後さらに追加されていくことが予想される。この新しい機能の１つとして、番組本編を要約して再生するダイジェスト再生機能が挙げられる。

ところで、番組本編のダイジェスト映像を作成するためには、ダイジェスト映像に採用するシーンと採用しないシーンとを区別する必要がある。この区別を自動的に行う方法は既に多数提案されている。例えば下記特許文献１では、放送された番組を前提するものではないものの、スポーツイベントにおいて観客が盛り上がった盛り上がり区間を音声解析により検出し、インデックスを生成・付与する技術が提案されている。このように、観客が盛り上がった音を検出するという方法は、スポーツの種別によらず汎用的に適用できるという利点や、試合進行上重要な個所が自動的に検出できるという利点がある。

特開２００１−１４３４５１号公報

しかしながら、上述の特許文献１記載の技術を含む従来の技術では、盛り上がり区間を検出する方法は示されているものの、その使い方はインデックスの付与やダイジェスト映像の作成に留まっており、検出された情報が有効に活用されているとは言い難かった。その一方で、ＤＶＤやＨＤＤのようなランダムアクセス可能な記録媒体に映像音声信号を記録して再生する録画再生装置の可能録画最大時間は増加の一途を辿っており、記録した映像コンテンツの内容を如何に効率よくユーザに伝えられるかが、録画再生装置の利便性を大きく左右する重要な要素となっている。

本発明は、このような従来の実情に鑑みて提案されたものであり、計算された盛り上がりの程度（以下、「盛り上がり度」という。）に関する情報をユーザに対して効果的に伝えるための信号処理装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る信号処理装置は、映像信号と該映像信号に対応する音声信号とを入力して所定の信号処理を施す信号処理装置であって、上記映像信号及び上記音声信号を入力する入力手段と、上記音声信号の盛り上がりの程度を示す盛り上がり度を、上記音声信号の短時間振幅と、盛り上がり時に特有の音質を定量化した音質特徴量とを用いて計算する盛り上がり度計算手段と、時間推移を示す軸に対して上記盛り上がり度を視覚的に表した盛り上がり度グラフを作成するグラフ作成手段と、上記音声信号を出力する音声出力手段と、上記盛り上がり度グラフと上記映像信号との表示制御を行う表示制御手段とを備えるものである。

ここで、本発明に係る信号処理装置は、上記盛り上がり度グラフを上記映像信号と例えば透過的に又は上書的に合成する映像合成手段をさらに備えてもよく、この場合、上記表示制御手段は、上記盛り上がり度グラフが合成された合成映像信号を表示装置の表示画面に表示させるよう制御する。

また、本発明に係る信号処理装置において、上記表示制御手段は、上記盛り上がり度グラフと上記映像信号とを異なる表示領域に表示させるよう制御してもよい。この場合、上記表示制御手段は、上記盛り上がり度グラフと縮小処理された上記映像信号とを表示装置の同一の表示画面の異なる表示領域に表示させるよう制御したり、上記盛り上がり度グラフを表示装置の第１の表示画面に表示させ、上記映像信号を該表示装置の第２の表示画面に表示させるよう制御したりすることができる。また、本発明に係る信号処理装置が表示手段をさらに備えている場合には、上記盛り上がり度グラフを上記表示手段に表示させると共に、上記映像信号を表示装置の表示画面に表示させるよう制御することもできる。

また、上述した目的を達成するために、本発明に係る信号処理装置は、映像信号と該映像信号に対応する音声信号とが記録された記録手段と、上記音声信号の盛り上がりの程度を示す盛り上がり度を、上記音声信号の短時間振幅と、盛り上がり時に特有の音質を定量化した音質特徴量とを用いて計算する盛り上がり度計算手段と、時間推移を示す軸に対して上記盛り上がり度を視覚的に表した盛り上がり度グラフを作成するグラフ作成手段と、上記盛り上がり度グラフと上記映像信号の内容に関する情報との表示制御を行う表示制御手段とを備えるものである。

本発明に係る信号処理装置及びその方法によれば、映像信号と該映像信号に対応する音声信号とのうち、該音声信号の盛り上がりの程度の時間推移を示す盛り上がり度グラフを作成し、この盛り上がり度グラフと映像信号と合成して表示させ、又は異なる表示領域に表示させることにより、映像信号とそれに伴う音声信号を視聴するユーザは、映像信号の全体に亘る盛り上がり位置を容易に把握することができる。この結果、ユーザは、盛り上がっている部分だけを視聴したり、その前後を視聴したりと自在に再生位置をコントロールすることが可能となり、従来の視聴スタイルにはない新しい視聴スタイルを楽しむことが可能となる。

また、本発明に係る信号処理装置及びその方法によれば、映像信号と該映像信号に対応する音声信号とのうち、該音声信号の盛り上がりの程度の時間推移を示す盛り上がり度グラフを作成し、この盛り上がり度グラフと映像信号の内容に関する情報とを例えば表示装置の表示画面に表示させているため、例えば映像信号のタイトルと対応する盛り上がり度グラフとを表示させた場合には、再生するコンテンツを選択する際の判断材料の１つとすることができる。また、映像信号のサムネイル画像と対応する盛り上がり度グラフとを表示させた場合には、サムネイル画像によって映像信号の内容を把握できるのみならず、映像信号中におけるサムネイル画像の位置付けを容易に想像することができるようになる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態で説明する録画再生装置は、放送された番組の盛り上がり度を計算又は入力し、番組を視聴するユーザ（視聴者）に対して、番組再生画像に加えてその盛り上がり度の時間推移を視認可能とするものである。以下では先ず、番組の盛り上がり度の時間推移をユーザに対して視認可能とするユーザインターフェースについて説明し、次いで、そのようなユーザインターフェースを実現するための録画再生装置の構成及び動作について説明する。

図１は、放送されたサッカーの試合を従来の録画再生装置にて録画し、再生した場合の表示画面を示しており、サッカーの試合の１シーンが番組再生画像１０として表示画面上に表示されている。放送されたサッカーの試合が表示画面上に表示される場合、従来このような表示形式となることが一般的である。

これに対して本実施の形態の録画再生装置では、以下に説明するような表示形式により、番組再生画像に加えてその番組の盛り上がり度の時間推移を示す情報をユーザに対して視認可能とする。

図２（Ａ）は、図１の番組再生画像に盛り上がり度の時間推移を示すグラフ（以下、「盛り上がり度グラフ」という。）を合成した表示形式例であり、番組再生画像１０の下部に盛り上がり度グラフ１１が透過的に合成されている。図２（Ａ）に示す盛り上がり度グラフ１１において、横軸は試合開始（番組開始）時点から試合終了（番組終了）時点までの時間を示し、縦軸は各時点における盛り上がり度の高低を示す。このように、試合（番組）中の盛り上がり度の時間推移を番組再生画像１０と合成して表示することにより、ユーザは試合全体に亘る盛り上がり位置を容易に把握することができる。この結果、ユーザは盛り上がっている部分だけを視聴したり、その前後を視聴したりと自在に再生位置をコントロールすることが可能となり、従来の視聴スタイルにはない新しい視聴スタイルを楽しむことが可能となる。

なお、図２（Ａ）では、盛り上がり度グラフ１１を番組再生画像１０に透過的に合成するものとしたが、図２（Ｂ）に示すように、盛り上がり度グラフ１１を番組再生画像１０に上書き的に合成しても構わない。これにより、盛り上がり度グラフ１１が合成されている部分の画像が煩雑になることが回避され、より容易に盛り上がり度グラフ１１を確認できるという利点がある。

但し、図２（Ａ），（Ｂ）の例では、番組再生画像１０に盛り上がり度グラフ１１を重ねて合成しているため、盛り上がり度グラフ１１が合成された部分に相当する番組再生画像１０が部分的に見えなくなるという欠点がある。そこで、図３に示すように、表示画面１２内に番組再生画像１０を縮小表示し、空いた部分に盛り上がり度グラフ１１を表示しても構わない。これにより、番組再生画像１０を隠すことなく、盛り上がり度グラフ１１を表示することが可能となる。

ここで、図２，図３の例では、盛り上がり度グラフ１１の縦軸及び横軸の尺度が示されていない。そこで、図４（Ａ）に示すように、横軸に対応する時間を表示させたり、図４（Ｂ）に示すように、縦軸に対応する盛り上がり度を表示させたりすることができる。このように、盛り上がり度グラフ１１の各軸の尺度を表示することにより、グラフの意味が鮮明になり、ユーザに対して視認性を高める効果がある。なお、図示していないが、盛り上がり度グラフ１１の縦軸と横軸との両方に尺度を表示しても同様な効果が得られる。

また、図２〜図４の例では、盛り上がり度グラフ１１中に現在の再生位置が示されていないため、現在の再生位置が盛り上がり度グラフ１１内でどの位置に相当するかが分かり難いという問題がある。そこで、図５（Ａ）に示すように、現在表示している番組再生画像１０の再生位置に相当する盛り上がり度グラフ１１内の位置にバー２０を表示することができる。このバー２０の位置は、番組再生画像１０の再生位置に合わせて図５（Ｂ）のように時々刻々と更新される。図５（Ｂ）は、図５（Ａ）の再生位置に相当するバー２０が時間経過に伴って現在の再生位置に相当するバー２１に更新された様子を示したものである。このように、盛り上がり度グラフ１１中に現在の再生位置を示すバーを表示することで、ユーザは現在の再生位置を容易に確認することが可能となる。

なお、再生位置の表示方法が図５のようなバーを用いた例に限定されないことは勿論である。例えば、図６のようにキャラクタ３０を盛り上がり度グラフ１１に沿って移動させる表示方法であってもよく、図７のように盛り上がり度グラフ１１の外にインジケータ４０を表示してもよい。要するに、盛り上がり度グラフ１１のどの部分が現在の再生位置に対応しているかが分かればよい。

また、スキップ再生やダイジェスト再生を行う場合には、図８に示すように、盛り上がり度が所定の閾値よりも高い部分を他の部分と区別して表示することも可能である。例えば、ユーザが図示しないリモートコントローラ等によりスキップ再生を指定する場合、スキップを１回指定する毎に一定時間間隔だけ番組をスキップする方法も考えられるが、現在の再生位置より後ろにあり、且つ盛り上がり度が高い最初の位置にスキップする方が便利である。図８の表示例では、盛り上がり度が高い区間として区間５０〜５３が盛り上がり度グラフ１１内に示されている。例えば、現在の再生位置がバー２２に対応する位置である場合、ユーザがスキップを指定するとバー２３に対応する位置にスキップして再生することになる。また、ユーザが図示しないリモートコントローラ等によりダイジェスト再生を指定する場合、盛り上がり度が高い区間５０〜５３のみを連続的に再生することになる。

以上の図２〜図８の例では、番組の総時間に相当する盛り上がり度グラフ１１を表示するものとしたが、必ずしも全てを表示する必要はなく、図９（Ａ）に示すように、現在の再生位置付近に対応する区間についてのみ盛り上がり度グラフ１１を表示するようにしても構わない。図９（Ａ）の例は、バー２４で示される番組開始後２０分程度の位置を現在再生している様子を示しており、対応する盛り上がり度グラフ１１は現在の再生位置の前後１０分程度までが表示されている。番組の再生が進むに従って盛り上がり度グラフ１１は更新され、約１０分経過すると図９（Ｂ）のようになる。図９（Ｂ）の例は、バー２５で示される番組開始後３０分程度の位置を現在再生している様子を示している。

また、図２〜図９の例では、連続的な線によって盛り上がり度グラフ１１を表現するものとしたが、これに限定されるものではない。すなわち、図１０（Ａ）のような上述した形式の表示の他、例えば図１０（Ｂ）のような棒グラフによる表示、図１０（Ｃ）のようなブロックによる表示、或いは図１０（Ｄ）のようなキャラクタによる表示が可能である。さらに、図１０（Ｅ）のような色の濃淡による表示も可能である。図示しないが、色の濃淡ではなく、例えば盛り上がり度が低い区間を青、盛り上がり度が高い区間を赤とするなど、色そのものを変えてもよい。また、図１０（Ｆ）のようにキャラクタの違いによる表示も可能である。図１０（Ｆ）の例では、盛り上がり度が低い区間では不満顔、盛り上がり度が高い区間では笑顔のキャラクタに対応させている。このように、盛り上がり度グラフ１１は、ユーザが盛り上がり度の度合いを確認することが容易な形式であればよく、ここに例示した形式に限定されるものではない。

ところで、例えばテレビジョン放送された番組を録画した場合、番組の途中でコマーシャルメッセージ（以下、単に「コマーシャル」という。）が入る場合が多い。このように、番組中に番組本編以外の映像区間が挿入されている場合には、図１１に示すように、その区間を盛り上がり度グラフ１１内で区別して表示することで、ユーザの視認性を向上させることができる。図１１では、盛り上がり度グラフ１１内に区間６０〜６２が示されており、これらの区間がコマーシャル等の番組本編以外の映像区間に対応する。なお、このような番組本編以外の映像区間の位置を盛り上がり度グラフ１１内に表示する場合、何らかの方法でその区間情報を得る必要があるが、これは例えばディジタル放送におけるタグ情報やインターネット等のネットワークを介して区間情報を得ることが可能である。また、挿入された区間がコマーシャルである場合には、例えば特開２００２−１６８７３号公報に記載された方法によりコマーシャル区間を検出することが可能である。

また、番組本編に意味的な区切りがある場合には、それを盛り上がり度グラフ１１に反映させることができる。例えば、図１２は野球の試合における盛り上がり度グラフ１１を示したものであり、区間７０〜７７は、例えば１回表、１回裏、・・・、４回裏にそれぞれ対応する。このように、まとまりを持った単位を盛り上がり度グラフ１１に一緒に表示することにより、どの区間でどれだけ盛り上がったか等が容易に分かり、ユーザの視認性をさらに向上させることができる。なお、図１１の場合と同様に、このような番組本編に対応する意味的な区切りの位置を盛り上がり度グラフ１１内に表示する場合、何らかの方法でその区切り情報を得る必要があるが、例えばディジタル放送におけるタグ情報やインターネット等のネットワークを介して情報を得ることが考えられる。

以上の図２〜図１２の例では、番組再生画像１０を表示する表示画面１２に盛り上がり度グラフ１１を表示するものとして説明したが、表示画面１２とは異なる表示部に盛り上がり度グラフ１１を表示することも可能である。

例えば図１３は、録画再生装置８０によって再生された番組再生画像１０を表示装置９０の表示画面９１に表示すると共に、再生番組に対応する盛り上がり度グラフ１１を録画再生装置８０の表示部８１に表示する例を示したものである。このような構成により、ユーザは、盛り上がり度グラフ１１が合成されていない本来の番組再生画像１０を鑑賞することができ、同時に録画再生装置８０の表示部８１に表示された盛り上がり度グラフ１１を確認することができる。

また、図１４は、図示しない録画再生装置によって再生された番組再生画像１０を表示装置９０の表示画面９１に表示すると共に、再生番組に対応する盛り上がり度グラフ１１を表示装置９０の第２の表示部９２に表示する例を示したものである。このような構成により、ユーザは、盛り上がり度グラフ１１が合成されていない本来の番組再生画像１０を鑑賞することができ、同時に表示装置９０の第２の表示部９２に表示された盛り上がり度グラフ１１を確認することができる。

これまでの例は、ある番組を再生する際に盛り上がり度グラフ１１を表示することでユーザに対して従来にない視聴スタイルを提供するものであったが、以下の図１５，図１６に示すように、番組を再生する前に盛り上がり度グラフ１１を表示するようにしても構わない。

図１５は、再生する番組を選択する際に盛り上がり度グラフ１１を利用する例を示したものである。録画再生装置内に複数の番組が録画されている場合、ユーザはどの番組を再生するかを選択する必要があるが、従来の録画再生装置では番組のタイトルなどの代表画像とその番組の説明がテキストで表示されるケースが多かった。これに対して図１５では、番組選択の際に、タイトル１００とそのタイトル１００に対応する盛り上がり度グラフ１１とを同時に表示画面１２に表示している。なお、タイトル１００は、画像であってもテキストであってもよく、盛り上がり度グラフ１１以外にその番組の説明などの情報をさらに表示するようにしても構わない。つまり、番組のタイトル１００を確認する情報と盛り上がり度グラフ１１とが同時に表示されていればよい。このように表示することにより、ユーザはどの番組がどのように盛り上がったか等を容易に確認することができ、見たい番組を選ぶ際の判断材料の１つとして利用することができる。

図１６は、番組のサムネイル画像と共に盛り上がり度グラフ１１を表示する例を示したものである。従来のサムネイル画像は画像が並んでいるだけというケースが多く、盛り上がったシーンなのか盛り上がらなかったシーンなのかが容易に想像できないという問題があった。これに対して図１６では、サムネイル画像１１０と盛り上がり度グラフ１１とを同時に表示することにより、番組全体の中での各シーンの位置付けを容易に想像することができるようになる。

さらに、番組のサムネイル画像と共に盛り上がり度グラフ１１を表示する際には、図１７に示すように、番組内におけるサムネイル画像１１０の位置と盛り上がり度グラフ１１の位置との対応関係を例えばバー２６等により明示することが好ましい。この際、一定時間間隔でサムネイル画像を表示するだけでなく、例えば盛り上がり度も考慮してサムネイル画像を選定することにより、番組の大まかな内容を一目で把握するというサムネイルの本来の目的をより高いレベルで達成することが可能となる。また、録画番組等の映像コンテンツをユーザ自身が手動でダイジェストなど編集する場合においても、場面を選ぶ際の基準として大いに役に立つ。なお、盛り上がり度を考慮してサムネイル画像を自動選定する方法としては、例えば一定時間間隔内において最も盛り上がり度が高い位置の画像を選定する方法や、時間間隔に関係なく盛り上がり度が高い位置の画像を選定する方法、或いはそれらの組み合わせ等が挙げられる。

一例として、一定時間間隔内において最も盛り上がり度が高い位置の画像をサムネイル画像として選定する場合の処理の流れを図１８のフローチャートに示す。なお、このフローチャートでは１つの番組を一定時間間隔でｎ個の時間区間に分割し、各時間区間をインデックスｉ（ｉ＝０，１，・・・，ｎ−１）で示すものとする。

先ずステップＳ１においてｉに０を代入し、ステップＳ２においてｉがｎ未満であるか否かを判別する。ステップＳ２においてｉがｎ未満である場合（Yes）にはステップＳ３に進み、ｉで示される時間区間の中で最も盛り上がり度が高い時刻ｉ＿ｍａｘを求め、時刻テーブルＴｍ（ｉ）に代入する。そしてステップＳ４においてｉをインクリメントし、ステップＳ２へ戻る。一方、ステップＳ２においてｉがｎ以上である場合（No）にはステップＳ５に進む。ステップＳ５において、時刻テーブルＴｍ（ｉ）に該当する時刻の画像を表示する。そしてステップＳ６において、時刻テーブルＴｍ（ｉ）に該当する盛り上がり度グラフ１１内の位置に図１７のバー２６のような印を表示する。

以上説明したようなユーザインターフェースを実現する録画再生装置のうち、番組再生画像に盛り上がり度グラフを合成する録画再生装置の概略構成の一例を図１９に示す。図１９に示す録画再生装置１２０において、入力された映像・音声信号は、記録部１２１に記録される。

盛り上がり度計算部１２２は、記録部１２１から映像・音声信号を取得して後述のように盛り上がり度を計算し、計算された盛り上がり度を記録部１２１に記録する。

映像合成部１２３は、記録部１２１から映像・音声信号と盛り上がり度とを取得し、盛り上がり度グラフを映像信号に合成して出力する。出力された映像・音声信号は、図示しない表示装置上に表示される。

ここで、盛り上がり度計算部１２２は、例えば以下のようにして盛り上がり度を計算することができる。

先ず、盛り上がり度計算部１２２は、記録部１２１から取得した所定時間区間（例えば１分間）毎の音声信号について２乗平均や絶対値の平均を計算することで短時間振幅Ａ（ｔ）を計算する。なお、帯域通過フィルタを用いて予め不要な周波数成分を除去し、歓声等の振幅を検出するために必要十分な帯域に絞ってから短時間振幅Ａ（ｔ）を計算するようにしても構わない。

次に、盛り上がり度計算部１２２は、時間区間毎の音声信号から音質に関する音質特徴量Ｘを抽出し、盛り上がり時に特有の音質を定量化する。具体的には、時間区間毎の音声信号を短時間フーリエ変換やＬＰＣ（Linear Predictive Coding）法などを用いてパワースペクトラム係数Ｓ_０，・・・，Ｓ_Ｍ−１に変換する。なお、Ｍはスペクトラムの次数を示す。そして、以下の式（１）に従ってスペクトラム係数Ｓ_０，・・・，Ｓ_Ｍ−１の荷重和を計算し、音質特徴量Ｘを得る。

この式（１）においてＷ_ｍは荷重係数を示し、θは所定のバイアス値を示す。荷重係数Ｗ_ｍ及びバイアス値θの決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、スペクトラム係数と望ましい特徴量値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される荷重を求め、荷重係数Ｗ_ｍ及びバイアス値θを決定することができる。また、パーセプトロン等のニューラルネットワークの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。

なお、パワースペクトラム係数に代えて、対数スペクトラム係数の逆フーリエ変換であるケプストラム係数や、スペクトラム係数の固有ベクトルによる変換であるカルーネン−レーベ（Karhunen-Loeve；ＫＬ）変換を用いてもよい。これらはスペクトラムの概形を集約する変換であるため、それぞれ低次の項のみを用いて荷重和を計算して音質特徴量Ｘとすればよい。

続いて、盛り上がり度計算部１２２は、短時間振幅Ａ（ｔ）と音質特徴量Ｘとに基づいて、各時間区間における盛り上がり度を定量化する。具体的には、短時間振幅Ａ（ｔ）と音質特徴量Ｘとを用いて、各時間区間の区間長ｙ_１、短時間振幅Ａ（ｔ）の最大値ｙ_２、短時間振幅Ａ（ｔ）の平均値ｙ_３、音質特徴量Ｘが所定の閾値を超える長さｙ_４、音質特徴量Ｘの最大値ｙ_５、音質特徴量Ｘの平均値ｙ_６を計算し、その時間区間の特徴ベクトルとする。なお、音質特徴量Ｘが所定の閾値を超える長さｙ_４の代わりに、音質特徴量Ｘが所定の閾値を超える長さの時間区間長に対する割合を特徴量として用いても構わない。そして、以下の式（２）に従って各時間区間の盛り上がり度を示す値ｚを計算する。

この式（２）においてｕ_ｉは荷重係数を示し、ｕ_０は所定のバイアス値を示す。荷重係数ｕ_ｉ及びバイアス値ｕ_０の決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり度を主観的に評価し、特徴ベクトルと望ましい値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される荷重を求め、荷重係数ｕ_ｉ及びバイアス値ｕ_０を決定することができる。また、パーセプトロン等のニューラルネットワークの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。

盛り上がり度計算部１２２は、このようにして盛り上がり度を計算し、計算された盛り上がり度を記録部１２１に記録する。

以上説明した録画再生装置１２０の録画時の処理の流れを図２０のフローチャートに示す。先ずステップＳ１０において、放送信号などの外部入力から映像・音声信号を取得し、ステップＳ１１において、取得した映像・音声信号を記録部１２１に記録する。次にステップＳ１２において、記録部１２１に記録された映像・音声信号を盛り上がり度計算部１２２が取得する。続いてステップＳ１３において、取得した映像・音声信号から盛り上がり度を計算し、ステップＳ１４において、計算結果を記録部１２１に記録する。以上により、記録部１２１内には、映像・音声信号とその盛り上がり度とが記録されることになる。

続いて録画再生装置１２０の再生時の処理の流れを図２１のフローチャートに示す。先ずステップＳ２０において、映像合成部１２３が記録部１２１に記録されている映像・音声信号と盛り上がり度とを取得する。次にステップＳ２１において、取得した盛り上がり度に従って盛り上がり度グラフを作成し、同じく取得された映像信号に盛り上がり度グラフを合成する。そしてステップＳ２２において、合成された映像信号を音声信号と共に出力する。

なお、上述の説明では、外部入力から映像・音声信号のみを取得して記録部１２１に記録するものとしたが、映像・音声信号以外の付加情報も同時に取得するようにしても構わない。この付加情報とは、ディジタル放送のタグ情報やインターネット等のネットワークを介して得られる情報であり、コマーシャル等の番組本編以外の映像区間の区間情報や番組内の意味的な区切りなどが含まれる。この場合、映像・音声信号及び付加情報は、記録部１２１に記録される。盛り上がり度計算部１２２は、記録部１２１から映像・音声信号及び付加情報を取得して盛り上がり度を計算し、計算された盛り上がり度を記録部１２１に記録する。そして、映像合成部１２３は、記録部１２１から映像・音声信号、付加情報及び盛り上がり度を取得し、付加情報が考慮された盛り上がり度グラフを映像信号に合成して出力する。これにより、表示画面には、番組再生画像とは別に図１１、図１２に示したような盛り上がり度グラフが表示されることになる。

ここで、図１９に示した録画再生装置１２０では、該装置内で盛り上がり度を計算するものとして説明したが、他の装置で計算された盛り上がり度を入力するようにしても構わない。この場合における録画再生装置の概略構成の一例を図２２に示す。図２２に示す録画再生装置１３０において、入力された映像・音声信号、付加情報及び盛り上がり度は、記録部１３１に記録される。

映像合成部１３２は、記録部１３１から映像・音声信号、付加情報及び盛り上がり度を取得し、付加情報が考慮された盛り上がり度グラフを映像信号に合成して出力する。出力された映像・音声信号は、図示しない表示装置上に表示される。

この録画再生装置１３０の録画時の処理の流れを図２３のフローチャートに示す。先ずステップＳ３０において、放送信号などの外部入力から映像・音声信号を取得し、且つ、ディジタル放送のタグ情報やインターネット等のネットワークを介して番組に関する付加情報及び盛り上がり度を取得する。次にステップＳ３１において、取得した映像・音声信号、付加情報及び盛り上がり度を記録部１３１に記録する。以上により、記録部１３１内には、映像・音声信号、付加情報及び盛り上がり度が記録されることになる。

続いて録画再生装置１３０の再生時の処理の流れを図２４のフローチャートに示す。先ずステップＳ４０において、映像合成部１３２が記録部１３１に記録されている映像・音声信号、付加情報及び盛り上がり度を取得する。次にステップＳ４１において、取得した付加情報及び盛り上がり度に従って盛り上がり度グラフを作成し、同じく取得された映像信号に盛り上がり度グラフを合成する。そしてステップＳ４２において、合成された映像信号を音声信号と共に出力する。

以上、図面を参照しながら、本発明を適用した具体的な実施の形態について詳細に説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、放送された番組についての番組再生画像とは別に盛り上がり度グラフを表示するものとして説明したが、入力される映像コンテンツは放送された番組に限るものではなく、例えばユーザ自身がビデオカメラで撮影した映像コンテンツや、映画・ビデオ・ＤＶＤなどの商用コンテンツであっても構わない。また、映像コンテンツのジャンルはスポーツに限らない。また、必ずしも記録媒体上に録画されたものでなくても構わない。

表示画面上に表示される番組再生画像の一例を示す図である。番組再生画像に盛り上がり度グラフが合成されている例を示す図である。表示画面内に番組再生画像が縮小表示され、空いた部分に盛り上がり度グラフを表示されている例を示す図である。盛り上がり度グラフの縦軸及び横軸の尺度を表示している例を示す図である。現在の再生位置に対応する盛り上がり度グラフ上の位置をバーを表示する例を示す図である。現在の再生位置に対応する盛り上がり度グラフ上の位置をキャラクタを表示する例を示す図である。現在の再生位置に対応する盛り上がり度グラフ上の位置をインジケータを表示する例を示す図である。盛り上がり度グラフ中で盛り上がり度が高い区間をそれ以外の区間と区別して表示する例を示す図である。番組の一部分についての盛り上がり度グラフを表示する例を示す図である。盛り上がり度グラフの表示形式例を示す図である。盛り上がり度グラフ中で番組本編の区間とそれ以外の区間とを区別して表示する例を示す図である。番組本編の意味的な区切りを盛り上がり度グラフに反映させた例を示す図である。録画再生装置の表示部に盛り上がり度グラフを表示する例を示す図である。表示装置の第２の表示部に盛り上がり度グラフを表示する例を示す図である。番組のタイトルと共に盛り上がり度グラフを表示する例を示す図である。番組のサムネイル画像と共に盛り上がり度グラフを表示する例を示す図である。サムネイル画像の位置に対応する盛り上がり度グラフ上の位置をバーで表示する例を示す図である。サムネイル画像の選定方法の一例を説明するフローチャートである。録画再生装置の概略構成の一例を示す図である。同録画再生装置の録画時における処理の流れを説明するフローチャートである。同録画再生装置の再生時における処理の流れを説明するフローチャートである。録画再生装置の概略構成の他の例を示す図である。同録画再生装置の録画時における処理の流れを説明するフローチャートである。同録画再生装置の再生時における処理の流れを説明するフローチャートである。

符号の説明

１０番組再生画像、１１盛り上がり度グラフ、１２表示画面、２０，２１，・・・，２６バー、３０キャラクタ、４０インジケータ、８０録画再生装置、８１表示部、９０表示装置、９１表示画面、９２第２の表示部、１００タイトル、１１０サムネイル画像、１２０録画再生装置、１２１記録部、１２２盛り上がり度計算部、１２３映像合成部、１３０録画再生装置、１３１記録部、１３２映像合成部

Claims

映像信号と該映像信号に対応する音声信号とを入力して所定の信号処理を施す信号処理装置であって、
上記映像信号及び上記音声信号を入力する入力手段と、
上記音声信号の盛り上がりの程度を示す盛り上がり度を、上記音声信号の短時間振幅と、盛り上がり時に特有の音質を定量化した音質特徴量とを用いて計算する盛り上がり度計算手段と、
時間推移を示す軸に対して上記盛り上がり度を視覚的に表した盛り上がり度グラフを作成するグラフ作成手段と、
上記音声信号を出力する音声出力手段と、
上記盛り上がり度グラフと上記映像信号との表示制御を行う表示制御手段と
を備える信号処理装置。
上記盛り上がり度グラフを上記映像信号と合成する映像合成手段をさらに備え、
上記表示制御手段は、上記盛り上がり度グラフが合成された合成映像信号を表示装置の表示画面に表示させるよう制御する
請求項１記載の信号処理装置。
上記表示制御手段は、上記盛り上がり度グラフと上記映像信号とを異なる表示領域に表示させるよう制御する請求項１記載の信号処理装置。
上記表示制御手段は、上記映像信号の再生位置に対応する位置情報を上記盛り上がり度グラフに表示させるよう制御する請求項１記載の信号処理装置。
上記表示制御手段は、上記映像信号の再生位置近傍の盛り上がり度グラフを表示させるよう制御する請求項１記載の信号処理装置。
上記映像信号及び上記音声信号は、放送された番組に関する映像信号及び音声信号である請求項１記載の信号処理装置。
上記盛り上がり度グラフは、時間推移を示す時間軸を横軸にとり、各時点における上記盛り上がり度の高低を縦軸にとったグラフである請求項１記載の信号処理装置。
上記盛り上がり度グラフは、時間推移を示す時間軸を横軸にとり、各時点における上記盛り上がり度を縦軸方向の棒の長さで表した棒グラフである請求項７記載の信号処理装置。
映像信号と該映像信号に対応する音声信号とが記録された記録手段と、
上記音声信号の盛り上がりの程度を示す盛り上がり度を、上記音声信号の短時間振幅と、盛り上がり時に特有の音質を定量化した音質特徴量とを用いて計算する盛り上がり度計算手段と、
時間推移を示す軸に対して上記盛り上がり度を視覚的に表した盛り上がり度グラフを作成するグラフ作成手段と、
上記盛り上がり度グラフと上記映像信号の内容に関する情報との表示制御を行う表示制御手段と
を備える信号処理装置。
映像信号と該映像信号に対応する音声信号とを入力して所定の信号処理を施す信号処理装置の信号処理方法であって、
上記映像信号及び上記音声信号を入力する入力工程と、
上記音声信号の盛り上がりの程度を示す盛り上がり度を、上記音声信号の短時間振幅と、盛り上がり時に特有の音質を定量化した音質特徴量とを用いて計算する盛り上がり度計算工程と、
時間推移を示す軸に対して上記盛り上がり度を視覚的に表した盛り上がり度グラフを作成するグラフ作成工程と、
上記音声信号を出力する音声出力工程と、
上記盛り上がり度グラフと上記映像信号との表示制御を行う表示制御工程と
を有する信号処理方法。
上記盛り上がり度グラフを上記映像信号と合成する映像合成工程をさらに有し、
上記表示制御工程では、上記盛り上がり度グラフが合成された合成映像信号を表示装置の表示画面に表示させるよう制御する
請求項１０記載の信号処理方法。
上記映像合成工程では、上記盛り上がり度グラフを上記映像信号に対して透過的又は上書的に合成する請求項１１記載の信号処理方法。
上記表示制御工程では、上記盛り上がり度グラフと上記映像信号とを異なる表示領域に表示させるよう制御する請求項１０記載の信号処理方法。
上記表示制御工程では、上記盛り上がり度グラフと縮小処理された上記映像信号とを表示装置の同一の表示画面の異なる表示領域に表示させるよう制御する請求項１３記載の信号処理方法。
上記表示制御工程では、上記盛り上がり度グラフを表示装置の第１の表示画面に表示させ、上記映像信号を該表示装置の第２の表示画面に表示させるよう制御する請求項１３記載の信号処理方法。
上記信号処理装置は、表示手段を備え、
上記表示制御工程では、上記盛り上がり度グラフを上記表示手段に表示させると共に、上記映像信号を表示装置の表示画面に表示させるよう制御する
請求項１３記載の信号処理方法。
上記表示制御工程では、上記映像信号の再生位置に対応する位置情報を上記盛り上がり度グラフに表示させるよう制御する請求項１０記載の信号処理方法。
上記表示制御工程では、上記映像信号の再生位置近傍の盛り上がり度グラフを表示させるよう制御する請求項１０記載の信号処理方法。
上記映像信号及び上記音声信号は、放送された番組に関する映像信号及び音声信号である請求項１０記載の信号処理方法。
上記映像信号に番組本編以外の挿入区間であるコマーシャルメッセージ区間が存在する場合、上記グラフ作成工程では、番組本編区間と挿入区間とを識別可能に上記盛り上がり度グラフを作成する請求項１９記載の信号処理方法。
記録手段に記録された映像信号と該映像信号に対応する音声信号とのうち、該音声信号の盛り上がりの程度を示す盛り上がり度を、上記音声信号の短時間振幅と、盛り上がり時に特有の音質を定量化した音質特徴量とを用いて計算する盛り上がり度計算工程と、
時間推移を示す軸に対して上記盛り上がり度を視覚的に表した盛り上がり度グラフを作成するグラフ作成工程と、
上記盛り上がり度グラフと上記映像信号の内容に関する情報との表示制御を行う表示制御工程と
を有する信号処理方法。
上記映像信号の内容に関する情報は、該映像信号のタイトルである請求項２１記載の信号処理方法。
上記映像信号の内容に関する情報は、該映像信号のサムネイル画像である請求項２１記載の信号処理方法。
上記表示制御工程では、上記映像信号中における上記サムネイル画像の位置に対応する位置情報を上記盛り上がり度グラフに表示させるよう制御する請求項２３記載の信号処理方法。