WO2009130773A1

WO2009130773A1 - 再生装置及び方法、並びにコンピュータプログラム

Info

Publication number: WO2009130773A1
Application number: PCT/JP2008/057893
Authority: WO
Inventors: 四郎鈴木; 英世水流
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2008-04-24
Filing date: 2008-04-24
Publication date: 2009-10-29
Anticipated expiration: 2010-10-24

Abstract

本発明に係る再生装置（２）は、入力される映像信号を１又は複数の映像信号パラメータ毎に分析する分析手段（２３１，２３２）と、再生されるコンテンツの各シーンに適合するパターンを、分析された映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度に基づいて判別するパターン判別手段（２３３）と、当該再生装置に入力される音声信号に対して所定の音声調整を施す音声調整手段（２２２）と、判別されたパターンに対応する種類の音声調整を、入力される音声信号に対して施すように、音声調整手段を制御する音声制御手段（２３５）とを備える。

Description

再生装置及び方法、並びにコンピュータプログラム

　本発明は、例えばスピーカ付きのフラットディスプレイ、ＡＶ（Ａｕｄｉｏ　Ｖｉｓｕａｌ：ＡＶ）システム、テレビジョン装置、ＤＶＤプレーヤ、或いはＢＤ（Ｂｌｕ-ｒａｙ　Ｄｉｓｃ：ＢＤ）プレーヤのように、映像信号及び音声信号から構成されるコンテンツを再生するための再生装置及び方法、並びにコンピュータプログラムの技術分野に関する。

　この種の再生技術において、映像信号及び音声信号から構成されるコンテンツを再生するために、映像信号に基づく映像がディスプレイから出力され、音声信号に基づく音声がスピーカから出力される。

　かかるコンテンツを視聴する場合、該コンテンツに音質が調和していなければ、視聴者は非常に違和感を覚える虞がある。例えば、コンテンツとして、ニュース番組と音楽番組とを考える。一般にニュース番組の音声再生周波数帯域に比べ、音楽番組は低域及び高域の音声再生周波数帯域が広い。そこで、再生装置は、音楽番組の音声再生周波数帯域に合わせて、低域及び高域を強調するような音声調整を音声信号に対して施す。これにより、視聴者は音楽番組を高音質で視聴できる。ところが、視聴者が、このまま音声調整の種類を変更することなく、別のニュース番組を視聴した場合、低音が強調されすぎてしまうので、人の声が聞き取りづらくなる場合がある。

　かかる場合には通常、視聴者がコンテンツを視聴してその内容を確認したのちに、適当な音声調整の種類を自ら判断し、音質切替えスイッチを押すなどして、適用される音声調整の種類を手動で切り替えなければならないという煩わしさがある。

　かかる煩わしさを解消するべく、特許文献１には、再生装置が、電子番組情報（Electronic Program Guide：ＥＰＧ）を参照し、再生対象になっているコンテンツに関して電子番組情報に予め記録されている「番組ジャンル」情報に応じて、適用される音声調整の種類を自動で切り替える技術が開示されている。

　しかしながら、この特許文献１に開示されている技術には、以下のような問題が生じ得る。すなわち、同一のコンテンツについては、「番組ジャンル」情報が同じであるため、同じ音声調整が適用されることになるが、同一のコンテンツ内であっても、例えば音楽が演奏されるライブシーンと出演者が会話をするスタジオシーンとが混在することもあるので、シーンによっては、音声が映像と適合しないような（つまり、視聴者が違和感を感じるような）、不適切な音声調整が適用されてしまう虞がある。

特開２００５－３１８２２５号公報

　本発明は、例えば上述した問題点に鑑みてなされたものであり、映像信号及び音声信号から構成されるコンテンツを再生するにあたって、映像と音声との不適合により視聴者が感じる違和感を好適に低減可能な再生装置及び方法、並びにコンピュータプログラムを提供することを課題とする。

　（再生装置）
　本発明に係る再生装置は、上記課題を解決するために、映像信号及び音声信号から構成されるコンテンツを再生する再生装置であって、当該再生装置に入力される前記映像信号を１又は複数の映像信号パラメータ毎に分析する分析手段と、前記再生されるコンテンツの各シーンに適合するパターンを、前記分析された前記映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度に基づいて判別するパターン判別手段と、当該再生装置に入力される前記音声信号に対して所定の音声調整を施す音声調整手段と、前記判別されたパターンに対応する種類の前記音声調整を、前記入力される音声信号に対して施すように、前記音声調整手段を制御する音声制御手段とを備える。

　本発明に係る再生装置によれば、映像信号及び音声信号から構成されるコンテンツを再生するにあたって、映像と音声との不適合により視聴者が感じる違和感を、以下のように、好適に低減できる。

　映像信号及び音声信号から構成されるコンテンツとは、例えばムービー、スポーツ、アニメ、スタジオ、或いはライブ等のように、視聴者の視覚及び聴覚によって感受される番組を意味する。このコンテンツを再生するにあたって、映像信号及び音声信号が、当該再生装置に逐次入力される。

　分析手段は、例えば信号抽出回路及び演算・記憶回路からなり、当該再生装置に入力される映像信号を１又は複数の映像信号パラメータ毎に、分析する。映像信号パラメータとは、例えば、当該映像を構成する複数の画像における輝度情報（例えば、明るいか暗いかを示す情報）、色情報（例えば、原色か中間色か、或いは色数の多さを示す情報）、動き情報（例えば、静的か動的かを示す情報）、及びフレーム情報（例えば、黒帯の有無を示す情報）等のように、映像を何らかの観点から特徴づけるパラメータである。「映像信号パラメータ毎に分析する」とは、映像信号パラメータ毎に定性的、又は定量的な分析をすることの総称である。

　パターン判別手段は、例えば演算・記憶回路からなり、再生されるコンテンツの各シーンに適合するパターンを、分析された映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度に基づいて判別する。例えば、映像信号に係る映像信号パラメータを、予め記憶回路に記憶された所定の複数パターンの各々に係る各映像信号パラメータと比較し、その結果、適合するパラメータが所定個数以上あるパターン、或いは最も多いパターンに当該映像信号が該当することを判別する。判別対象とされる映像信号は、当該映像を構成する１フレーム分でもよいし、所定期間に亘る複数フレーム分でもよい。

　音声調整手段は、当該再生装置に入力される音声信号に対して所定の音声調整を施す。ここで、音声調整とは、例えば帯域別のゲイン増減処理、あるいは所定の音響処理のように、音声信号に基づいて出力される音声が視聴者に与える印象を何らかの手法によって変更可能な処理の総称である。

　音声制御手段は、例えば制御部であり、判別されたパターンに対応する種類の音声調整を、入力される音声信号に対して施すように、音声調整手段を制御する。例えば、再生されるコンテンツのシーンに適合するパターンがライブであると判別される場合には、相対的に低域を強調する音声調整を、入力される音声信号に対して施すように、音声調整手段を制御する。その後、定期に又は不定期に好ましくはリアルタイムに、上記分析手段、及びパターン判別手段によって、再生されるコンテンツのシーンに適合するパターンが再度判別される。この際、例えば、再生されるコンテンツのシーンに適合するパターンがスタジオであると判別される場合には、相対的に高域を強調する音声調整を、入力される音声信号に対して施すように、音声調整手段を制御する。

　このようにして、仮に同一のコンテンツ内で音楽が演奏されるライブシーンと出演者が会話をするスタジオシーンとが混在する場合でも、シーン毎に好適な音声調整が自動的に施される。その結果、映像と音声との不適合により視聴者が感じる違和感を好適に低減可能となり、各シーンの雰囲気をより印象深く感じてもらうことができる。

　本発明に係る再生装置の一態様において、前記音声制御手段は、前記所定の音声調整を前記音声信号に対して施すにあたり、当該所定の音声調整を施す前に適用されている音声調整用パラメータから、当該所定の音声調整用パラメータへと、段階的に近づけながら変更していく音声クロスフェード処理を行うように、前記音声調整手段を制御する。

　この態様によれば、音声クロスフェード処理によって、異なる音声調整を施す際に、所定の音声調整用パラメータへと、一度ではなく、所定の期間に亘って段階的に近づけられるので、違和感を好適に低減できる。

　この態様において、前記音声制御手段は、前記音声クロスフェード処理を行うにあたり、前記再生されるコンテンツのシーンに適合すると判別されるパターンの数に応じて、前記音声クロスフェード処理に費やす時間を変更してもよい。

　この態様によれば、判別されるパターンの数が複数あり、何れのパターンが最適であるかが絞りきれない場合には、例えば音声クロスフェード処理に費やす時間が相対的に長期化され、何れかのパターンに対応する種類の音声調整を急速に施すことは回避されるので、パターン判別精度の不確定性を吸収することができる。

　更にこのように音声クロスフェード処理に費やす時間が変更される態様において、前記音声制御手段は、前記音声クロスフェード処理を行うにあたり、前記再生されるコンテンツのシーンに適合すると判別されるパターンが二つ以上の場合には、該パターンが一つの場合に比べて、前記音声クロスフェード処理に費やす時間を長くしてもよい。

　この態様によれば、上述のごとく、パターン判別精度の不確定性を吸収することができる。より詳しくは、パターン判別精度は必ずしも完全ではなく、定期に又は不定期に行われる次のパターン判別結果によって、更にパターンの数が更に絞り込まれることもある。そこで、再生されるコンテンツのシーンに適合すると判別されるパターンの数が一つの場合には、音声クロスフェード処理に費やす時間は標準値のまま、当該パターンに対応する種類の音声調整が迷うことなく施される一方で、該パターンの数が二つ以上の場合には、音声クロスフェード処理に費やす時間は標準値よりも長期化され、当該二つ以上のパターンのうち何れかに対応する種類の音声調整が相対的にゆっくりと施される。そうすると、仮に音声クロスフェード処理の途中に行われる次のパターン判別によって、再生されるコンテンツが他のパターンであることが判別される場合であっても、当該他のパターンに対応する適切な種類の音声調整が、入力される音声信号に対して好適に施される。このようにして、いずれのパターンが最適であるかが絞りきれない場合には、いずれかのパターンに対応する種類の音声調整を急速に施すことは回避されるので、パターン判別精度の不確定性を吸収することができる。

　或いはこのように音声クロスフェード処理に費やす時間が変更される態様において、当該再生装置に入力される前記映像信号に対して所定の映像調整を施す映像調整手段と、前記判別されたパターンに対応する種類の前記映像調整を、前記入力される映像信号に対して施すように、前記映像調整手段を制御する映像制御手段とを更に備えてもよい。

　この態様によれば、音声調整のみならず、映像調整も行われるので、映像と音声との不適合により視聴者が感じる違和感を一層好適に低減可能である。

　このように映像調整手段と映像制御手段とを更に備える態様において、前記映像制御手段は、前記所定の映像調整において、当該所定の映像調整を施す前に適用されている映像調整用パラメータから、当該所定の映像調整用パラメータへと、段階的に近づけながら変更していく映像クロスフェード処理を行うように、前記映像調整手段も制御してもよい。

　この態様によれば、映像調整の際に映像クロスフェード処理が行われるので、映像と音声との不適合により視聴者が感じる違和感を一層好適に低減可能である。

　このように映像クロスフェード処理が行われる態様において、前記映像制御手段は、前記映像クロスフェード処理を行うにあたり、前記再生されるコンテンツのシーンに適合すると判別されるパターンの数に応じて、前記映像クロスフェード処理に費やす時間を変更し、該映像クロスフェード処理に費やす時間の下限値は、前記音声クロスフェード処理に費やす時間の下限値よりも長く設定されてもよい。

　この態様によれば、音声が急に切り替わる場合に比べて、映像が急に切り替わる場合に視聴者が感じる違和感は大きいことに鑑みて、映像クロスフェード処理に費やす時間の下限値は、音声クロスフェード処理に費やす時間の下限値よりも長く設定されているので、視聴者が感じる違和感を一層好適に低減できる。例えば、再生されるコンテンツのシーンに適合すると判別されるパターンが一つの場合には、該パターンが二つ以上の場合に比べて、音声クロスフェード処理に費やす時間を相対的に短くする（すなわち、標準値に戻す）一方で、映像クロスフェード処理に費やす時間は、該標準値よりも長い時間とする。これにより、視聴者が感じる違和感を一層好適に低減できる。

　本発明に係る再生装置の他態様において、前記分析手段は、当該再生装置に入力される前記映像信号に加えて、前記音声信号を１又は複数の音声信号パラメータ毎に分析し、前記パターン判別手段は、前記分析された前記映像信号に係る各映像信号パラメータと、前記所定の複数パターンの各々に係る各映像信号パラメータとの適合度、及び前記分析された前記音声信号に係る各音声信号パラメータと、前記所定の複数パターンの各々に係る各音声信号パラメータとの適合度に基づいて、前記再生されるコンテンツのシーンに適合するパターンを判別する。

　この態様によれば、当該再生装置に入力される映像信号に加えて、その音声信号が、１又は複数の音声信号パラメータ毎に分析される。音声信号パラメータとは、例えば、リズム、音域別のゲイン、楽曲が演奏されているか否かを示す情報、人間の話声が含まれているか否かを示す情報等のように、音声を何らかの観点から特徴づけるパラメータである。そして、分析された映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度、及び分析された音声信号に係る各音声信号パラメータと、所定の複数パターンの各々に係る各音声信号パラメータとの適合度に基づいて、再生されるコンテンツのシーンに適合するパターンが判別される。このように、音声信号も分析することで、映像信号からだけでは一つに判別しきれなかったパターン、或いは誤って判別してしまったパターンを、より少ない数に判別しきることができ、或いは適切なパターンを判別し直すことができる。

　（再生方法）
　本発明の再生方法は上記課題を解決するために、映像信号及び音声信号から構成されるコンテンツを再生する再生方法であって、入力される前記映像信号を１又は複数の映像信号パラメータ毎に分析する分析工程と、前記再生されるコンテンツの各シーンに適合するパターンを、前記分析された前記映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度に基づいて判別するパターン判別工程と、入力される前記音声信号に対して所定の音声調整を施す音声調整工程と、前記判別されたパターンに対応する種類の前記音声調整を、前記入力される音声信号に対して施すように、前記音声調整手段を制御する音声制御工程とを備える。

　本発明の再生方法によれば、上述した本発明の再生装置の場合と同様に、映像信号及び音声信号から構成されるコンテンツを再生するにあたって、映像と音声との不適合により視聴者が感じる違和感を好適に低減可能となる。

　尚、本発明の再生方法においても、上述した本発明の再生装置における各種態様と同様の各種態様を採ることが可能である。

　（コンピュータプログラム）
　本発明のコンピュータプログラムは上記課題を解決するために、コンピュータを、上述した本発明の再生装置（但し、その各種態様を含む）として機能させる
　本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを通信手段を介してダウンロードさせた後に実行させれば、上述した本発明の再生装置（但し、その各種態様を含む）を比較的簡単に構築できる。これにより、上述した本発明の再生装置の場合と同様に、映像信号及び音声信号から構成されるコンテンツを再生するにあたって、映像と音声との不適合により視聴者が感じる違和感を好適に低減可能となる。

　本発明の作用及び他の利得は次に説明する実施例から明らかにされよう。

第１実施例に係る、再生装置２の基本構成を示すブロック図である。第１実施例に係る、再生装置２においてシーンのパターンを判別するための判別材料、ならびに各パターンに適用する映像調整及び音声調整を夫々示す対応図である。第１実施例に係る、音声調整部２２２の基本構成を示すブロック図である。第１実施例に係る、各パターンに適用する音声調整用パラメータの設定例を示す対応図である。第１実施例に係る、各パターンに適用する音声調整に係る周波数特性を示す特性図である。第１実施例に係る、再生装置２の基本動作を示すフローチャートである。シーンのパターンを判別した結果に対応する音声調整に関して、比較例と第１実施例とを対比して示すタイミングチャートである。第１実施例に係る、シーンのパターンを判別した結果に対応する映像調整及び音声調整の各々に対するクロスフェード処理を示すタイミングチャートである。第１実施例に係る、音声クロスフェード処理を示す特性図である。第２実施例に係る、再生装置２の基本動作を示すフローチャートである。シーンのパターンを判別した結果及びその結果に対応する音声調整に関して、比較例と第１実施例と第２実施例とを対比して示すタイミングチャートである。第３実施例に係る、再生装置２の基本動作を示すフローチャートである。シーンのパターンを判別した結果に対応する音声調整に関して、第１実施例と第３実施例とを対比して示すタイミングチャートである。

符号の説明

　１　ソース機器
　２　再生装置
　２１１　映像抽出部
　２１２　映像調整部
　２２１　音声抽出部
　２２２　音声調整部
　２３　制御部
　２３１　映像分析部
　２３２　音声分析部
　２３３　パターン判別部
　２３４　映像制御部
　２３５　音声制御部
　２４　記憶部
　２５　操作部
　３１　表示部
　３２　音声出力部
　４　視聴者

　以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。

　（１）第１実施例
　第１実施例に係る再生装置２の構成及び動作処理を図１から図９を参照して説明する。

　図１は、第１実施例に係る、再生装置２の基本構成を示すブロック図である。

　図１に示すように、再生装置２は、ソース機器１から入力される映像信号及び音声信号を分析し、分析結果に基づいて所定の調整を施し、映像信号を表示部３１へ出力するとともに、音声信号を音声出力部３２へ出力する。これにより、映像信号及び音声信号から構成されるコンテンツを再生するにあたって、映像と音声との不適合により視聴者４が感じる違和感を好適に低減可能となる。

　ソース機器１は、ＤＶＤプレーヤ、ＢＤプレーヤ、セットトップボックスのように、再生対象であるコンテンツを構成する映像信号及び音声信号を、記録媒体や通信網から取得し、再生装置２へと出力する機器である。

　再生装置２は、以下の構成要素を備え、ソース機器１から入力される映像信号及び音声信号を分析し、分析結果に基づいて所定の調整を施し、映像信号を表示部３１へ出力するとともに、音声信号を音声出力部３２へ出力する。

　映像抽出部２１１は、入力される映像信号を抽出して、制御部２３に備わる映像分析部２３１、及び映像調整部２１２の各々へと出力する。

　音声抽出部２２１は、入力される音声信号を抽出して、制御部２３に備わる音声分析部２３２、及び音声調整部２２２の各々へと出力する。

　映像分析部２３１は、抽出される映像信号を１又は複数の映像信号パラメータ毎に、定性的に又は定量的に、分析する。

　音声分析部２３２は、抽出される音声信号を１又は複数の音声信号パラメータ毎に、定性的に又は定量的に、分析する。

　記憶部２４は、抽出される映像信号、音声信号、及びそれらの分析結果を、映像情報、及び音声情報として、所定期間に亘る履歴として、記憶する。加えて、記憶部２４は、後述のパターン判別部２３３によるパターン判別の際に参照される、所定の複数パターンの各々に係る各映像信号パラメータの適合値、又は適合範囲を、パターン判別情報として記憶する。

　パターン判別部２３３は、映像分析部２３１、及び音声分析部２３２のうち、少なくとも映像分析部２３１による分析結果に基づいて、再生されるコンテンツの各シーンに適合するパターンを判別する。パターン判別部２３３は、例えば、映像信号に係る映像信号パラメータを、予め記憶部２４に記憶されたパターン判別情報と比較し、その結果、適合するパラメータが所定個数以上あるパターン、或いは最も多いパターンに当該映像信号が該当することを判別する。

　映像制御部２３４は、パターン判別部２３３により判別されたパターンに対応する種類の映像調整を、入力される映像信号に対して施すように、映像調整部２１２を制御する。

　音声制御部２３５は、パターン判別部２３３により判別されたパターンに対応する種類の音声調整を、入力される音声信号に対して施すように、音声調整部２２２を制御する。

　操作部２５は、視聴者４の操作に応じて、パターン判別部２３３により判別されたパターンに関わらず、視聴者４が所望のパターンに対応する種類の音声調整及び／又は映像調整を手動で指示できるように、各種類毎の操作ボタンを備える。

　表示部３１は、例えばプラズマディスプレイ、或いは液晶ディスプレイのように映像信号を映像として出力することができるデバイスであり、映像調整部２１２から出力される映像信号に基づいて、視聴者４に対してコンテンツの映像を表示する。

　音声出力部３２は、例えばスピーカ、ヘッドフォン等のように音声信号を音として出力することができるデバイスであり、音声調整部２２２から出力される音声信号に基づいて、視聴者４に対してコンテンツの音声を出力する。

　次に、図２の対応図を参照して、第１実施例に係る、再生装置２においてシーンのパターンを判別するための判別材料、並びに各パターンに適用する映像調整及び音声調整について説明する。

　図２に示すように、シーンのパターンが「ムービー」であるか否かは、映像信号のフレーム情報に基づいて判別される。そして、シーンのパターンが「ムービー」であると判別される場合には、映像調整として、家の中の一番明るい環境でも雰囲気を損なわずにムービーを楽しめる設定、例えば、コントラストをすっきりさせ、輝度を全体的に向上させる調整が施される。これに加えて又は代えて、音声調整として、迫力の臨場感表現と明瞭な台詞を両立させる調整が施される。

　シーンのパターンが「スポーツ」であるか否かは、映像信号における動きの程度や有無、或いは色情報（例えば、芝生に相当するグリーン色の程度）に基づいて判別される。そして、シーンのパターンが「スポーツ」であると判別される場合には、映像調整として、家で部屋の照明をつけてスポーツを見れる設定、例えば、グリーンのディティールを強調する調整が施される。これに加えて又は代えて、音声調整として、臨場感を重視するために、低、高域が少ないので、中高域を強調する調整を施し、これに加えて又は代えて、周波数特性は情報が多い部分をカバーする調整を施し、サラウンドを使って臨場感を増す調整が施される。

　シーンのパターンが「アニメ」であるか否かは、色のべた塗りが多いか否かに基づいて判別される。そして、シーンのパターンが「アニメ」であると判別される場合には、映像調整として、家で部屋の照明をつけてアニメ番組を見ることを想定した設定、例えば、コントラストを弱く設定する調整が施される。これに加えて又は代えて、音声調整として、基本対象は、ベタアニメ、ダイアログが支配的であるところ、弱めの効果音を魅力的に演出する調整が施される。

　シーンのパターンが「スタジオ」であるか否かは、画面の面積のうち肌色の比率が多く、動きが少ないか否かに基づいて判別される。そして、シーンのパターンが「スタジオ」であると判別される場合には、映像調整として、家で部屋の照明をつけてスタジオ番組を見ることを想定した設定、例えばコントラストを弱く設定する調整が施される。これに加えて又は代えて、音声調整として、控えめなボリュームでも明瞭度の高いダイアログを実現するための調整が施される。

　シーンのパターンが「ライブ」であるか否かは、全体的に暗く、中央に灯りがあるか否かに基づいて判別される。そして、シーンのパターンが「ライブ」であると判別される場合には、映像調整として、ライブの雰囲気を出すために、コントラストを重視する調整が施される。これに加えて又は代えて、音声調整として、音楽主体のコンテンツに対して、ハイファイ思想をベースに、若干の低域を強調する調整が施される。

　次に、特に音声調整について、図３から図５を参照して説明を補足する。ここで、
図３は、第１実施例に係る、音声調整部２２２の基本構成を示すブロック図であり、
図４は、第１実施例に係る、各パターンに適用する音声調整用パラメータの設定例を示す対応図である。

　図３に示すように、音声調整部２２２は、例えば、帯域別のゲイン増減処理として、入力される音声信号のうち、低域のゲインを選択的に増減する低域増減部２２２１、中域のゲインを選択的に増減する中域増減部２２２２、及び高域のゲインを選択的に増減する高域増減部２２２３を備える。

　これら低域増減部２２２１～高域増減部２２２３の各々におけるゲイン、或いは適用度は、例えば図４に示すように、パターン判別部２３３によって判別されたパターンに対応するように、音声制御部２３５によって設定制御される。尚、図４において、各パターンに適用する音声調整用パラメータの設定値が、「ｈ０００」のように示されており、この設定値が大きいほどゲイン、或いは適用度が高いことを示す。

　そして、低域増減部２２２１～高域増減部２２２３の各々から出力された信号を、加算部２２２８が統合する。

　加えて、音声調整部２２２は、音響処理として、統合された音声信号に対して、立体的な音場感を与える立体音場感処理部２２２４、音声信号の低域を特殊な方法で増強する特殊低域増強処理部２２２５、及び音声信号の高域の音質を改善して台詞が明瞭に聞こえるようにする台詞くっきり処理部２２２６を備える。図３には、これら各部の詳細な構成も併せて示されている。

　立体音場感処理部２２２４には、左チャンネルの音声信号Ｌ_ｉｎ及び右チャンネルの音声信号Ｒ_ｉｎが夫々入力される。入力された音声信号Ｌ_ｉｎ及びＲ_ｉｎは、加算部２２２４１によって統合され、その残響音（或いは各種遅延信号）が残響音生成部２２２４２によって生成され、その残響時間が広がり成分生成処理部２２２４３の各部ａ_１、ａ_２、ａ_３……ａ_ｎ及びｂ_１、ｂ_２、ｂ_３……ｂ_ｎによって変えられ、もって残響音の広がり具合が調整された広がり成分が左右両チャンネルについて生成される。左チャンネルについて生成された広がり成分と、可変ゲイン増減部２２２４４から出力される音声信号とは、加算部２２２４５において統合され、左チャンネルの音声信号Ｌ_ＯＵＴとして出力される。同様に、右チャンネルについて生成された広がり成分と、可変ゲイン増減部２２２４６から出力される音声信号とは、加算部２２２４７において統合され、右チャンネルの音声信号Ｒ_ＯＵＴとして出力される。このようにして、立体音場感処理部２２２４は、入力される音声信号に対して、立体的な音場感を与える。

　特殊低域増強処理部２２２５には、音声信号Ｉｎが入力される。入力された音声信号Ｉｎから低音抽出部２２２５１によって低音が抽出され、倍音成分生成部２２２５２によってその倍音が生成される。生成された倍音と、可変ゲイン増減部２２２５４から出力される音声信号とが、加算部２２２５５において統合され、音声信号Ｏｕｔとして出力される。このようにして、特殊低域増強処理部２２２５は、入力される音声信号の低域を特殊な方法で増強し、バーチャルピッチ効果を利用して低音感の向上を図る。

　台詞くっきり処理部２２２６には、左チャンネルの音声信号Ｌ_ｉｎ及び右チャンネルの音声信号Ｒ_ｉｎが夫々入力される。ここで、台詞は、背景音と異なり、音声の位置が左右の中央に定位することが多いので、ある周波数帯域における左音声信号の信号レベルと右音声信号における信号レベルとの差分が微小となる場合、その周波数帯域の音は、台詞を示す音声である確率が極めて高いことが知られている（例えば、特開２００７－１５８８７３号公報を参照）。そこで、入力された音声信号Ｌ_ｉｎ及びＲ_ｉｎは、加算部２２２６１によって統合され、その周波数帯域のうち台詞を示す確率が高い周波数帯域がイコライザ２２２６２によって特定されフィルタリングされる。可変ゲイン増減部２２２６３～２２２６７は、入力された音声信号Ｌ_ｉｎ及びＲ_ｉｎ、並びにイコライザ２２２６２によってフィルタリングされた特定帯域の音声信号の各々に対してゲイン増減の調整を行う。ここで、イコライザ２２２６２によってフィルタリングされ、可変ゲイン増減部２２２６５によってゲインが調整された特定帯域の音声信号には、左右両チャンネルの音声信号が含まれている。そこで、左チャンネルについては、この特定帯域の音声信号が加算部２２２６８において左チャンネルの音声信号に加算される際に、可変ゲイン増減部２２２６４によってゲインが調整された右チャンネルの音声信号が減算されるようにし、この結果、台詞が強調された左チャンネルの音声信号Ｌ_ＯＵＴが出力される。右チャンネルについても同様にして、台詞が強調された右チャンネルの音声信号Ｒ_ＯＵＴが出力される。このようにして、台詞くっきり処理部２２２６は、入力される音声信号の台詞が明瞭に聞こえるようにする。

　これら立体音場感処理部２２２４～台詞くっきり処理部２２２６の各々におけるゲイン、或いは適用度は、例えば図４に示すように、パターン判別部２３３によって判別されたパターンに対応するように、音声制御部２３５によって設定制御される。

　上述したような帯域別のゲイン増減処理、及び音響処理から構成される音声調整によって、図５のような周波数特性が得られる。ここで、
図５は、第１実施例に係る、各パターンに適用する音声調整に係る周波数特性を示す特性図である。

　図５に示すように、各パターンに適用する音声調整に係る周波数特性は、各パターン毎に異なる。その設定思想は、図２に示した通りである。このように、映像信号等に対する分析によって判別されたパターンに好適な周波数特性となるように、音声制御部２３５は、音声調整部２２２を制御するのである。

　続いて、適宜図７から図９を参照しつつ、
図６のフローチャートに基づいて、第１実施例に係る、再生装置２の基本動作を説明する。

　図６に示すように、先ず、音声制御部２３５は、音声調整用パラメータをリセットする（ステップＳ１０）。つまり、図４に示すような、各パターンに対応する設定値を、最左の「標準」に戻す。映像分析部２３１は、映像抽出部２１１によって抽出される映像信号を１又は複数の映像信号パラメータ毎に、定性的に又は定量的に、分析する（ステップＳ２０）。そして、この分析結果に基づいて、パターン判別部２３３は、シーンのパターンを判別する（ステップＳ３０）。

　音声制御部２３５は、視聴者４への違和感を低減するために、以下に詳述する音声クロスフェード処理を行う（ステップＳ４０）。尚、併せて、映像制御部２３５は、映像クロスフェード処理を行ってもよい。音声クロスフェード処理において先ず、音声制御部２３５は、記憶部２４に予め記憶された図４に示す対応図を参照して、判別されたパターンに対応した音声調整用パラメータをターゲットに設定する（ステップＳ４１）。例えば、図４に示す対応図において、「ライブ」の列に記された各値から、「スタジオ」の列に記された各値へと、ターゲットを設定し直す。そして、音声制御部２３５は、該設定されたターゲットに近づけるように音声調整用パラメータを段階的に増減する（ステップＳ４２）。つまり、音声調整用パラメータを少し増減しては、所定期間（例えば１００ｍＳｅｃ以下）ほど待機し（ステップＳ４３）、音声調整用パラメータの現状値がターゲット設定値になるまで繰り返す（ステップＳ４４）。尚、パターン判別部２３３による判別は、音声クロスフェード処理の途中であっても並行して行われることが望ましい。これにより、判別結果が変われば、音声調整用パラメータのターゲットを設定し直し、その設定値へ向かって、更に音声クロスフェード処理が行われる。

　上述の結果として得られる効果について、図７から図９を参照して説明する。ここで、
図７は、シーンのパターンを判別した結果に対応する音声調整に関して、比較例と第１実施例とを対比して示すタイミングチャートである。

　図７の最上段に示すように、再生されるコンテンツは、同一のコンテンツ内であっても、例えば音楽が演奏されるライブシーンと出演者が会話をするスタジオシーンとが混在している。

　比較例に係る技術は、コンテンツに関して電子番組情報に予め記録されている「番組ジャンル」情報に応じて、適用される音声調整の種類を自動で切り替える。そうすると、図７の上から２段目に示すように、同一のコンテンツ内におけるライブシーンとスタジオシーンとを区別することができない。それゆえ、図７の上から３段目に示すように、再生されるコンテンツが、ライブシーンからスタジオシーンへと変わっても、音声調整はライブシーンに対応する種類のものが適用されたままであるため、視聴者４が違和感を感じる。

　これに対して、第１実施例に係る再生装置２の映像分析部２３１は、映像抽出部２１１によって抽出される映像信号を１又は複数の映像信号パラメータ毎に、定性的に又は定量的に、分析する（ステップＳ２０）。そして、この分析結果に基づいて、パターン判別部２３３は、シーンのパターンを判別する（ステップＳ３０）。そうすると、例えば、画面の面積のうち肌色の比率が所定閾値よりも多いか否かが分析されるので、図７の上から４段目に示すように、映像信号が、コンサートの全体映像から、スタジオにおける話者のアップへと切り替わったとしても、その切り替わりを、図７の上から５段目に示すように、好適に判別できる。尚、判別周期は、視聴者４に対して違和感を与えない程度に短い時間とすることが望ましく、例えば５００ｍｓｅｃ毎である。その結果、音声制御部２３５は、判別されたパターンに対応する種類の音声調整を、入力される音声信号に対して施すように、音声調整部２２２を制御する。これにより、映像と音声との不適合により視聴者が感じる違和感を好適に低減可能となる。

　続いて、図８及び図９を参照して、クロスフェード処理による利点を補足する。

　図８は、第１実施例に係る、シーンのパターンを判別した結果に対応する映像調整及び音声調整の各々に対するクロスフェード処理を示すタイミングチャートである。

　図８に示すように、ライブからスタジオへとシーンのパターンが変化したことが判別されたら、所定期間Ｔ_１、及びＴ_２を夫々費やして、映像クロスフェード処理、及び音声クロスフェード処理が行われる。

　図９は、第１実施例に係る、音声クロスフェード処理を示す特性図である。

　図９の中、太矢印が示すように、音声クロスフェード処理によると、音声制御部２３５は、音声調整用パラメータをターゲット設定値（この場合、図４の「スタジオ」の列に記された各値）に徐々に近づけるように段階的に（例えば３段階で）増減する。

　以上、第１実施例によると、音声制御部２３５は、判別されたパターンに対応する種類の音声調整を、入力される音声信号に対して施すように、音声調整部２２２を制御する。これにより、映像と音声との不適合により視聴者が感じる違和感を好適に低減可能となる。そして、異なる音声調整を施す際に、音声クロスフェード処理によって、所定の音声調整用パラメータへと、一度ではなく、所定の期間に亘って段階的に近づけられるので、視聴者４が感じる違和感を好適に低減できる。しかも、音声調整のみならず、映像調整も行われ、該映像調整の際に映像クロスフェード処理が行われるので、映像と音声との不適合により視聴者４が感じる違和感を一層好適に低減可能である。

　（２）第２実施例
　続いて、第２実施例に係る再生装置２の構成及び動作処理を、図１から図５に加えて、図１０及び図１１を参照して説明する。尚、第１実施例に係る再生装置２の構成要素と同様のものに関しては同一の符号を付し詳細な説明を適宜省略する。

　図１０は、第２実施例に係る、再生装置２の基本動作を示すフローチャートである。

　図１０に示すように、第２実施例に係る再生装置２は、映像分析（ステップＳ２０）に加えて、音声分析（ステップＳ２１）も行う。音声分析（ステップＳ２１）によると、音声信号が、例えば、リズム、音域別のゲイン、楽曲が演奏されているか否かを示す情報、人間の話声が含まれているか否かを示す情報等の音声信号パラメータ毎に分析される。その結果、以下のように、パターン判別の精度が向上する。

　図１１は、シーンのパターンを判別した結果及びその結果に対応する音声調整に関して、比較例と第１実施例と第２実施例とを対比して示すタイミングチャートである。

　図１１の上から１段目に示すように、再生されるコンテンツは、同一のコンテンツ内であっても、例えば音楽が演奏されるライブシーンと出演者が会話をするスタジオシーンとが混在している。

　図１１の上から２段目及び３段目に示すように、比較例においては、再生されるコンテンツが、ライブシーンからスタジオシーンへと変わっても、音声調整はライブシーンに対応する種類のものが適用されたままであるため、視聴者４が違和感を感じる。

　これに対して、第１実施例に係る再生装置２は、図１１の上から４段目から６段目に示すように、映像分析（ステップＳ２０）を行うので、再生されるコンテンツが、ライブシーンからスタジオシーンへと変わることを、好適に判別し、それに対応した種類の音声調整が施される。

　ところが、第１実施例に係る再生装置２は、映像分析（ステップＳ２０）しか行っておらず、その際に、画面の面積のうち肌色の比率が所定閾値よりも多いか否かが分析されるので、図１１の上から４段目及び５段目に示すように、ライブシーンにおいて、単にボーカルのアップ姿が写されているだけにもかかわらず、スタジオシーンであると誤って判別される虞がある。この判定結果に基づいて音声調整が施されると、やはり、視聴者４が違和感を感じてしまう。

　これに対して、第２実施例に係る再生装置２は、図１１の上から７段目及び８段目に示すように、音声信号を音声信号パラメータ毎に分析する。例えば、音声分析部２３２が、楽曲が演奏されているか否かも分析する。これにより、楽曲が演奏されていることが確認されるので、パターン判別部２３３が、スタジオシーンであると誤って判別してしまうことを回避できる。

　以上、第２実施例によると、音声信号も分析することで、映像信号からだけでは一つに判別しきれなかったパターン、或いは誤って判別してしまったパターンを、より少ない数に判別しきることができ、或いは適切なパターンを判別し直すことができる。

　（３）第３実施例
　続いて、第３実施例に係る再生装置２の構成及び動作処理を、図１から図５に加えて、図１２及び図１３を参照して説明する。ここで、
図１２は、第３実施例に係る、再生装置２の基本動作を示すフローチャートであり、
図１３は、シーンのパターンを判別した結果に対応する音声調整に関して、第１実施例と第３実施例とを対比して示すタイミングチャートである。
尚、第１実施例に係る再生装置２の構成要素と同様のものに関しては同一の符号を付し詳細な説明を適宜省略する。

　図１２に示すように、第３実施例に係る再生装置２は、パターン判別部２３３が、シーンのパターンを判別した結果、再生されるコンテンツのシーンに適合すると判別されるパターンの数に応じて、音声クロスフェード処理に費やす時間を変更する。具体的には、先ず、再生されるコンテンツのシーンに適合すると判別されるパターンが二つ以上あるか否かを判定する（ステップＳ３１）。

　ここで、再生されるコンテンツのシーンに適合すると判別されるパターンが二つ以上はなく、一つしかない場合には（ステップＳ３１：Ｎｏ）、図１３の上から３段目に示すように、その後の音声クロスフェード処理に費やす所定の時間Ｔ_２を所定の標準値に設定する（ステップＳ３２）。これにより、その後の音声クロスフェード処理において、当該パターンに対応する種類の音声調整が迷うことなく施される（ステップＳ４０～Ｓ４４）。

　他方で、再生されるコンテンツのシーンに適合すると判別されるパターンが二つ以上の場合には（ステップＳ３１：Ｙｅｓ）、図１３の上から５段目に示すように、その後の音声クロスフェード処理に費やす所定の時間Ｔ_２を標準値よりも、ΔＴ_２だけ長期化する（ステップＳ３３）。これにより、当該二つ以上のパターンのうち何れかに対応する種類の音声調整が相対的にゆっくりと施される。そうすると、仮に音声クロスフェード処理の途中に行われる次のパターン判別（ステップＳ３０）によって、再生されるコンテンツが他のパターンであることが判別される場合であっても、当該他のパターンに対応する適切な種類の音声調整が、入力される音声信号に対して好適に施される。

　以上、第３実施例によると、判別されるパターンの数が複数あり、何れのパターンが最適であるかが絞りきれない場合には、例えば音声クロスフェード処理に費やす時間Ｔ_２が相対的に長期化され、何れかのパターンに対応する種類の音声調整を急速に施すことは回避されるので、パターン判別精度の不確定性を吸収することができる。

　加えて、第３実施例では、音声が急に切り替わる場合に比べて、映像が急に切り替わる場合に視聴者が感じる違和感は大きいことに鑑みて、図１３の上から２段目及び４段目に示すように、映像クロスフェード処理に費やす時間Ｔ_１の下限値は、音声クロスフェード処理に費やす時間Ｔ_２の下限値よりも長く設定されている。これにより、視聴者が感じる違和感を一層好適に低減できる。

　尚、上述した各実施例において、
「再生装置２」が、本発明に係る「再生装置」の一具体例であり、
「映像分析部２３１」及び／又は「音声分析部２３２」が、本発明に係る「分析手段」の一具体例であり、
「パターン判別部２３３」が、本発明に係る「パターン判別手段」の一具体例であり、
「音声制御部２３５」が、本発明に係る「音声制御手段」の一具体例であり、
「映像制御部２３４」が、本発明に係る「映像制御手段」の一具体例であり、
「音声調整部２２２」が、本発明に係る「音声調整手段」の一具体例であり、
「映像調整部２１２」が、本発明に係る「映像調整手段」の一具体例であり、
「ステップＳ２０」及び／又は「ステップＳ２１」が、本発明に係る「分析工程」の一具体例であり、
「ステップＳ３０」が、本発明に係る「パターン判別工程」の一具体例であり、
「ステップＳ４０～Ｓ４４」が、本発明に係る「音声制御工程」の一具体例である。

　尚、本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うもまた、本発明の技術的範囲に含まれるものである。

　本発明に係る再生装置及び方法、並びにコンピュータプログラムは、例えばスピーカ付きのフラットディスプレイ、ＡＶ（Ａｕｄｉｏ　Ｖｉｓｕａｌ：ＡＶ）システム、テレビジョン装置、ＢＤ（Ｂｌｕ-ｒａｙ　Ｄｉｓｃ：ＢＤ）プレーヤのように、映像信号及び音声信号から構成されるコンテンツを再生するための再生装置及び方法、並びにコンピュータプログラムの技術分野に利用可能である。

Claims

　映像信号及び音声信号から構成されるコンテンツを再生する再生装置であって、
　当該再生装置に入力される前記映像信号を１又は複数の映像信号パラメータ毎に分析する分析手段と、
　前記再生されるコンテンツの各シーンに適合するパターンを、前記分析された前記映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度に基づいて判別するパターン判別手段と、
　当該再生装置に入力される前記音声信号に対して所定の音声調整を施す音声調整手段と、
　前記判別されたパターンに対応する種類の前記音声調整を、前記入力される音声信号に対して施すように、前記音声調整手段を制御する音声制御手段と
　を備えることを特徴とする再生装置。
　前記音声制御手段は、前記所定の音声調整を前記音声信号に対して施すにあたり、当該所定の音声調整を施す前に適用されている音声調整用パラメータから、当該所定の音声調整用パラメータへと、段階的に近づけながら変更していく音声クロスフェード処理を行うように、前記音声調整手段を制御する
　ことを特徴とする請求の範囲第１項記載の再生装置。
　前記音声制御手段は、前記音声クロスフェード処理を行うにあたり、前記再生されるコンテンツのシーンに適合すると判別されるパターンの数に応じて、前記音声クロスフェード処理に費やす時間を変更する
　ことを特徴とする請求の範囲第２項記載の再生装置。
　前記音声制御手段は、前記音声クロスフェード処理を行うにあたり、前記再生されるコンテンツのシーンに適合すると判別されるパターンが二つ以上の場合には、該パターンが一つの場合に比べて、前記音声クロスフェード処理に費やす時間を長くする
　ことを特徴とする請求の範囲第３項記載の再生装置。
　当該再生装置に入力される前記映像信号に対して所定の映像調整を施す映像調整手段と、
　前記判別されたパターンに対応する種類の前記映像調整を、前記入力される映像信号に対して施すように、前記映像調整手段を制御する映像制御手段とを更に備える
　ことを特徴とする請求の範囲第３項記載の再生装置。
　前記映像制御手段は、前記所定の映像調整において、当該所定の映像調整を施す前に適用されている映像調整用パラメータから、当該所定の映像調整用パラメータへと、段階的に近づけながら変更していく映像クロスフェード処理を行うように、前記映像調整手段も制御する
　ことを特徴とする請求の範囲第５項記載の再生装置。
　前記映像制御手段は、前記映像クロスフェード処理を行うにあたり、前記再生されるコンテンツのシーンに適合すると判別されるパターンの数に応じて、前記映像クロスフェード処理に費やす時間を変更し、
　該映像クロスフェード処理に費やす時間の下限値は、前記音声クロスフェード処理に費やす時間の下限値よりも長く設定されている
　ことを特徴とする請求の範囲第６項記載の再生装置。
　前記分析手段は、当該再生装置に入力される前記映像信号に加えて、前記音声信号を１又は複数の音声信号パラメータ毎に分析し、
　前記パターン判別手段は、前記分析された前記映像信号に係る各映像信号パラメータと、前記所定の複数パターンの各々に係る各映像信号パラメータとの適合度、及び前記分析された前記音声信号に係る各音声信号パラメータと、前記所定の複数パターンの各々に係る各音声信号パラメータとの適合度に基づいて、前記再生されるコンテンツのシーンに適合するパターンを判別する
　ことを特徴とする請求の範囲第１項記載の再生装置。
　映像信号及び音声信号から構成されるコンテンツを再生する再生方法であって、
　入力される前記映像信号を１又は複数の映像信号パラメータ毎に分析する分析工程と、
　前記再生されるコンテンツの各シーンに適合するパターンを、前記分析された前記映像信号に係る各映像信号パラメータと、所定の複数パターンの各々に係る各映像信号パラメータとの適合度に基づいて判別するパターン判別工程と、
　入力される前記音声信号に対して所定の音声調整を施す音声調整工程と、
　前記判別されたパターンに対応する種類の前記音声調整を、前記入力される音声信号に対して施すように、前記音声調整手段を制御する音声制御工程と
　を備えることを特徴とする再生方法。
　コンピュータを、請求の範囲第１項記載の再生装置として機能させることを特徴とするコンピュータプログラム。