JP5067595B2

JP5067595B2 - 画像表示装置および方法、並びにプログラム

Info

Publication number: JP5067595B2
Application number: JP2005301262A
Authority: JP
Inventors: 哲二郎近藤; 義教渡邊; 直秀山田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-10-17
Filing date: 2005-10-17
Publication date: 2012-11-07
Anticipated expiration: 2025-10-17
Also published as: US8483414B2; JP2007110582A; US20070104341A1; CN101370108B; CN101370107A; CN101009792A; CN101370108A; KR20070042104A; CN101370107B; CN100477762C

Description

本発明は、画像表示装置および方法、並びにプログラムに関し、特に、表示する画像に対応する音声を、より臨場感を高めるように出力することができるようにした画像表示装置および方法、並びにプログラムに関する。

従来のテレビジョン受像機は、放送局より放送されるテレビジョン信号を受信し、テレビジョン放送番組としての画像を表示したり、音声を出力したりする。

例えば、図１に示されるテレビジョン受像機１が受信するテレビジョン信号に含まれる音声がモノラル方式である場合、テレビジョン受像機１のスピーカ２Ａおよびスピーカ２Ｂの両方から同じ音声が出力される。従って、例えば、画面上において人物３Ａ乃至人物３Ｃの誰が発話するときでも、音声が出力されるスピーカ（スピーカ２Ａおよびスピーカ２Ｂ）が変化しない。さらに、モノラル方式の場合、左右より同じ音声が出力されるため、視聴者であるユーザは、人物３Ａ乃至人物３Ｃのいずれの音声も同じ方向から聞こえてしまい、臨場感が低減してしまう恐れがある。

これに対して、図１に示されるテレビジョン受像機１が受信するテレビジョン信号に含まれる音声がステレオ方式である場合、左右の音声の音量の違いにより、ユーザが体感する、人物３Ａ乃至人物３Ｃの音声の発生方向（ユーザから見た音声の発生場所の向き）を互いに変化させることができる。

しかしながら、このステレオ方式の場合であっても、音声が出力されるスピーカは、スピーカ２Ａおよびスピーカ２Ｂであり変化しないので、音声の発生方向を極端に変更させることが困難であり、そのため臨場感が低減してしまう恐れがある。

また、一般的に、放送局側においては、視聴者がそれぞれ、どのようなテレビジョン受像機を用いて番組を視聴するかを想定することは不可能である。しかしながら、左右スピーカの位置関係、スピーカの特性、ユーザの位置、テレビジョン受像機の設置場所等、ユーザの視聴環境は、ユーザ毎に異なる。従って、ユーザの視聴環境によっては、テレビジョン信号に含まれるステレオ方式の音声信号が生成されるときに想定されていた環境と大きく異なり、放送局側において意図した臨場感をユーザが得ることが困難になる恐れがあった。

これに対して、予め特定音源からの音を取得して音響信号を生成し、その音響信号、映像信号、および位置信号検出部から情報信号を生成し、記録することで、再生時に、画像の表示位置に対応した音響出力を行うようにする方法が考えられる（例えば、特許文献１参照）。

特開２００３−２６４９００号公報

しかしながら、この場合、予め特定音源から音を取得し、情報信号を生成する必要があり、一般的な従来のテレビジョン放送等を受信して表示させるのに適用するのは困難であった。

本発明は、このような状況に鑑みてなされたものであり、表示する画像に対応する音声を、より臨場感を高めるように出力することができるようにするものである。

本発明の一側面の画像表示装置は、画像を表示する画像表示装置であって、画像を表示する画像表示手段と、前記画像表示手段により表示される前記画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段と、前記音声出力手段の配置位置に応じて、前記画像表示手段の表示画面の分割方法の設定を行う領域設定手段と、前記画像表示手段の表示画面に対して、前記領域設定手段により設定された方法で分割した領域を設定する画面領域分割手段と、前記画面領域分割手段により分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値を算出する差分平均値算出手段と、前記複数チャンネルのそれぞれの音量を確認し、音声が出力される領域を特定する音量確認手段と、前記音量確認手段により音量を確認されて特定された音声が出力される領域に基づいて、前記差分平均値算出手段により算出された前記差分平均値を補正する差分平均値補正手段とを備え、音声出力制御手段は、前記差分平均値補正手段により補正された差分平均値に基づいて、前記音声出力手段を制御し、前記音声を出力させる位置を選択する。

前記音声出力手段は、複数のスピーカを有し、前記音声出力制御手段は、前記音声出力手段を制御し、前記音声を出力させるスピーカを選択するようにすることができる。

前記音声出力手段は、前記音声の出力タイミングを制御することにより、仮想的に前記音声の出力位置を制御可能であり、前記音声出力制御手段は、前記音声出力手段を制御し、前記出力タイミングを選択することにより、前記音声を出力させる仮想的な位置を制御するようにすることができる。

前記画像および前記音声を視聴するユーザの位置を検出し、前記ユーザの位置に応じて、前記音声出力手段による前記音声の出力タイミングの遅延量を制御するユーザ位置対応処理手段をさらに備えるようにすることができる。

本発明の一側面の画像表示方法は、画像を表示する画像表示装置の画像表示方法であって、画像を表示し、前記画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段の配置位置に応じて、表示画面の分割方法の設定を行い、前記表示画面に対して、設定された方法で分割した領域を設定し、分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値を算出し、複数チャンネルのそれぞれの音量を確認し、音声が出力される領域を特定し、特定された音声が出力される領域に基づいて、算出された前記差分平均値を補正し、補正された前記差分平均値に基づいて、前記音声を出力させる位置を選択し、選択された位置より前記音声を出力するステップを含む。

本発明の一側面のプログラムは、画像を表示する処理をコンピュータに行わせるプログラムであって、画像を表示し、前記画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段の配置位置に応じて、表示画面の分割方法の設定を行い、前記表示画面に対して、設定された方法で分割した領域を設定し、分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値を算出し、複数チャンネルのそれぞれの音量を確認し、音声が出力される領域を特定し、特定された音声が出力される領域に基づいて、算出された前記差分平均値を補正し、補正された前記差分平均値に基づいて、前記音声を出力させる位置を選択し、選択された位置より前記音声を出力するステップを含む。

本発明の一側面においては、画像が表示され、その画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段の配置位置に応じて、表示画面の分割方法の設定が行われ、表示画面に対して、設定された方法で分割した領域が設定され、分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値が算出され、複数チャンネルのそれぞれの音量が確認されて音声が出力される領域が特定され、特定された音声が出力される領域に基づいて、算出された差分平均値が補正され、補正された差分平均値に基づいて、音声を出力させる位置が選択され、選択された位置より音声が出力される。

本発明の一側面によれば、本発明の一側面によれば、画像を表示するとともに音声を出力することができる。特に、表示する画像に対応する音声を、より臨場感を高めるように出力することができる。

以下、本発明の実施の形態について図を参照して説明する。

図２は、本発明を適用した表示装置の外観の構成例を示す図である。図２において、表示装置１０は、３台のスピーカ（スピーカ１１乃至スピーカ１３）を、画像を表示する領域の下側に有している。表示装置１０は、テレビジョン信号を受信したり、外部入力を介してコンテンツデータを取得することにより、画像データや音声データを取得し、その画像データに対応する画像を表示画像２０としてモニタに表示したり、その表示画像２０に対応する音声をスピーカ１１乃至スピーカ１３より出力したりする。

例えば、表示画像２０において人物２１乃至人物２３の３名が会話をしているような場合、表示装置１０は、表示画像２０を解析し、左端にいる人物２１の音声を、左端に配置されたスピーカ１１より出力し、中央にいる人物２２の音声を、中央に配置されたスピーカ１２より出力し、右端にいる人物２３の音声を、右端に配置されたスピーカ１１より出力する。このように表示画像２０の内容に応じて、音声出力位置を制御することにより、表示装置１０は、より臨場感を高めるように表示画像２０に対応する音声を出力することができる。

図３は、その表示装置１０の内部の構成例を示すブロック図である。

図３において、表示装置１０は、アンテナ３１、チューナ３２、外部入力受付部３３、入力制御部３４、画像処理部３５、音声処理部３６、音声出力位置制御部３７、表示部３８、音声出力部３９、制御部４１、およびユーザ指示受付部４２を有している。

チューナ３１は、ユーザが所望する放送を選択（選局）し、アンテナ３１を介して、その選択したテレビジョン信号を受信し、その受信したテレビジョン信号を入力制御部３４に供給する。外部入力受付部は、映像や音声等のコンテンツデータを外部より取得する外部入力端子を有しており、その外部入力端子に接続されたケーブルを介して供給す荒れるコンテンツデータを取得し、それを入力制御部３４に供給する。

入力制御部３４は、ユーザ指示等に基づいて、テレビジョン信号やコンテンツデータの入力に関する処理を行い、例えば、テレビジョン信号やコンテンツデータより画像データと音声データを抽出して分離する等の処理を行う。また、入力制御部３４は、出力する画像データを画像処理部３５に供給し、出力する音声データを音声処理部３６に供給する。

画像処理部３５は、入力制御部３４より供給される画像データに対して、例えばデータ形式の変換を行ったり、明度や彩度の調整等、画像を加工する画像処理等を行ったりし、処理後の画像データを表示部３８に供給して画像を表示させる。また、画像処理部３５は、処理後の画像データを音声出力位置制御部３７にも供給する。

音声処理部３６は、入力制御部３４より供給される音声データに対して、エフェクト処理等の音声処理を施し、処理後の音声データを音声出力位置制御部３７に供給する。なお、ここでは、音声データはモノラル方式の（単チャンネル）の情報であるものとする。ステレオ方式の（多チャンネル）音声データについては後述する。

音声出力位置制御部３７は、画像処理部３５より供給される画像データの画像を解析し、人物が発話する場面であれば、音声処理部３６より供給される音声データの出力先を制御して、その音声を発話者の位置に近いスピーカより出力するように、音声データを音声出力部３９に供給する。

表示部３８は、画像を表示するモニタ（図示せず）を有しており、画像処理部３５より供給される画像データに対応する画像をそのモニタに表示する。

音声出力部３９は、図２のスピーカ１１乃至スピーカ１３を有しており、音声出力位置制御部３７より供給される音声データを、音声出力位置制御部３７に指定されたスピーカ（スピーカ１１乃至スピーカ１３のいずれか）より出力する。

例えば、音声出力部３９のスピーカ１１乃至スピーカ１３のそれぞれと音声出力位置制御部３７が互いに異なるバスで接続されており、音声出力位置制御部３７は、音声データを出力するバスを選択することにより、音声データを出力するスピーカを選択する。音声出力部３９では、音声データが供給されたスピーカより音声を出力する。

なお、音声出力部３９が、出力先を切り替えるスイッチング機能を有し、音声出力位置制御部３７が、いずれのスピーカより出力する際も使用される共通のバスを介して音声データを音声出力部３９に供給するとともに、音声データの出力先を示す制御情報を音声出力部３９に供給し、音声出力部３９が、その制御情報に基づいてスイッチを切り替え、音声出力位置制御部３７に選択されたスピーカより音声データを出力するようにしてもよい。

制御部４１は、例えば、ユーザ指示受付部４２により受け付けられたユーザ指示に基づく等して、チューナ３２、外部入力受付部３３、入力制御部３４、画像処理部３５、音声処理部３６、音声出力位置制御部３７、表示部３８、および音声出力部３９等を含む表示装置１０全体を制御する。

ユーザ指示受付部４２は、例えば、ユーザが操作する入力デバイスであるリモートコマンダより出力される赤外光を受光することにより、ユーザ指示を含む赤外線信号を受信する受光部を有しており、供給されたユーザ指示を取得するとそれを制御部４１に供給する。なお、ユーザ指示受付部４２は、例えば、ボタンやスイッチ、または、キーボードやマウス等の入力デバイスを有するようにしてもよい。

図４は、音声出力位置制御部３７の詳細な構成例を示すブロック図である。

図４において、音声出力位置制御部３７は、画面領域分割部５１、差分平均値算出部５２、判定部５３、および音声出力制御部５４を有している。

画面領域分割部５１は、表示画面をスピーカの配置に応じて複数の領域に分割し、画像処理部３５より供給される画像データの各フレーム画像に対して、その複数の領域を割り当てる。

図５に領域分割の例を示す。図５に示されるように、表示装置１０は、水平方向に並べられた３台のスピーカ（スピーカ１１乃至スピーカ１３）を有している。したがって、画面領域分割部５１は、表示画像２０を水平方向に３分割した領域６１乃至領域６３の３つの領域に分割する。図５においては、この分割により、表示画像２０に含まれる人物２１乃至人物２３の画像が、それぞれ、領域６１乃至領域６３に割り当てられている。

図４に戻り、差分平均値算出部５２は、画像データの各フレーム画像において、予め定められた所定の特徴を示す部分を特定し、その部分の輝度値をフレーム間で差分を算出することにより、特徴部分の輝度値のフレーム間変動量を測定する。そして、差分平均値算出部５２は、そのフレーム間変動量の平均値を領域毎に算出する。差分平均値算出部５２の詳細な構成例については後述する。差分平均値算出部５２は、算出した差分平均値を判定部５３に供給する。

判定部５３は、差分平均値の値に基づいて、音声出力位置制御を行うか否かを判定し、その判定結果を音声出力制御部５４に通知する。音声出力制御部５４は、判定部５３の判定結果に基づいて、供給された音声データの出力位置を制御し、音声データを音声出力部３９のスピーカ１１乃至スピーカ１３のいずれかに供給する。音声データの出力位置を制御しない場合、音声出力制御部５４は、音声データを、音声出力部３９のスピーカ１１乃至スピーカ１３の全てに供給する。

図６は、図４の差分平均値算出部５２の詳細な構成例を示すブロック図である。図６において、差分平均値算出部５２は、画素値変換部７１、フレームメモリ７２、特徴画素抽出部５３、変数管理部７４、差分算出部７５、判定部７６、差分平均算出部７７、および差分平均値記憶部７８を有している。

画素値変換部７１は、画面領域分割部５１より供給される画像データおよび領域情報を取得すると、画像データを所定のデータ形式に画素毎に変換し、それをフレームメモリ７２に供給して保持させる。フレームメモリ７２は、フレーム単位で画像データを１フレーム分保持する。つまり、フレームメモリ７２は、そのフレーム画像のデータを、次のフレーム画像に対する処理が開始されるまで保持する。また画素値変換部７１は、その画像データや領域情報を特徴画素抽出部７３に供給する。

特徴画素抽出部７３は、画像データに含まれる、予め定められた所定の特徴を有する画素である特徴画素を抽出する。例えば、特徴画素抽出部７３は、供給された画像データの各画素について、色相、彩度、明度、輝度値、またはRGBの値等に基づいて、人物の特徴を示す特徴画素（所定の色値範囲に含まれる画素）を抽出する。特徴画素抽出部７３は、特徴画素を抽出する度に、変数管理部７４に保持されて管理されている変数である領域内特徴画素数８１をインクリメントさせる。

変数管理部７４は、特徴画素の数を領域毎にカウントするための変数である領域内特徴画素数８１、および、特徴画素のフレーム間の輝度値の差分値を領域毎に合計するための変数である領域内差分値総和８２を記憶し、その値の更新や入出力を管理する。例えば、変数管理部７４は、特徴画素抽出部７３が特徴画素を抽出する度に、領域内特徴画素数８１をインクリメントする。また、変数管理部７４は、例えば、差分算出部７５より供給される、特徴画素における輝度値のフレーム間の差分値を取得し、その差分値を領域内差分値総和８２に加算する。さらに変数管理部７４は、例えば、領域内特徴画素数８１や領域内差分値総和８２を必要に応じて差分平均値算出部７７に提供する。

差分算出部７５は、フレームメモリ７２に保持されている１フレーム前の画像データを取得すると、特徴画素抽出部７３により抽出された特徴画素について、１フレーム前の輝度値と現在のフレームの輝度値の差分値を算出する。差分算出部７５は、算出した差分値を変数管理部７４に供給する。

判定部７６は、その処理結果を受けて、領域内の全ての画素について処理を行ったか否かを判定し、領域内の画素の処理が全て終了すると、その旨を差分平均値算出部７７に通知する。

差分平均値算出部７７は、変数管理部７４に保持されている領域内特徴画素数８１および領域内差分値総和を取得し、それらを用いて領域毎の差分値の平均値である差分平均値を算出する。差分平均値記憶部７８は、差分平均値算出部７７により算出された差分平均値を記憶する。また、差分平均値記憶部７８は、全領域について差分平均値を記憶すると、その差分平均値を判定部５３に供給する。

次に、各部の具体的な処理の流れを説明する。

最初に、表示装置１０により実行される画像表示処理の流れの例を図７のフローチャートを参照して説明する。

ステップＳ１において、入力制御部３４は、チューナ３２を介してテレビジョン信号を受信し、受信したテレビジョン信号より画像データや音声データを抽出する。ステップＳ２において、画像処理部３５は、画像データに対して画像処理を行う。ステップＳ３において、音声処理部３６は、音声データに対して音声処理を行う。ステップＳ４において、音声出力位置制御部３７は、画像データの画像に応じて、音声データの音声を出力するスピーカ（音声出力位置）を制御する。この音声出力位置制御処理の詳細については後述する。

ステップＳ５において、表示部３８は、供給された画像データの画像を表示する。ステップＳ６において、音声出力部３９は、供給された音声データの音声を、音声出力位置制御部３７の制御に基づくスピーカ（位置）より出力する。

ステップＳ７において、制御部４１は、画像表示処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１に戻し、それ以降の処理を繰り返す。また、ステップＳ７において、画像表示処理を終了すると判定した場合、制御部４１は、処理をステップＳ８に進め、電源を切断する等の終了処理を行い、画像表示処理を終了する。

次に、図７のステップＳ４において実行される音声出力位置制御処理の詳細な流れの例を図８のフローチャートを参照して説明する。

音声出力位置制御処理が開始されると、画面領域分割部５１は、ステップＳ２１において、画面領域をスピーカ配置に対応する複数の領域に分割する。ステップＳ２２において、差分平均値算出部５２は、分割された各領域において、所定の特徴を示す画素（特徴画素）の差分平均値を算出する。特徴画素差分平均値算出処理の詳細については後述する。

ステップＳ２３において、判定部５３は、全ての領域で差分平均値が予め定められた所定の閾値以下であるか否かを判定する。１つでも差分平均値が閾値以上であると判定した場合、判定部５３は、処理をステップＳ２４に進める。ステップＳ２４において、音声出力制御部５４は、差分平均値が最も大きい領域、すなわち、例えば口等の特徴を示す画像の動きが最も激しい領域を特定し、その領域に喋る人物が存在すると判定し、その領域に対応するスピーカを、音声を出力するスピーカとして選択し、ステップＳ２５において、その選択に基づいて音声データを音声出力部３９に供給し、その差分平均値が最も大きい領域に対応するスピーカより音声を出力させる。音声出力制御部５４は、ステップＳ２５の処理を終了すると、ステップＳ２７に処理を進める。

また、ステップＳ２３において、全ての領域で差分平均値が閾値以下であると判定した場合、判定部５３は、処理をステップＳ２６に進める。ステップＳ２６において、音声出力制御部５４は、音声データを全てのスピーカに供給し、全てのスピーカより音声を出力させる。ステップＳ２６の処理を終了すると音声出力制御部５４は、処理をステップＳ２７に進める。

ステップＳ２７において、音声出力制御部５４は、音声出力位置制御処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ２２に戻し、それ以降の処理を繰り返させる。また、ステップＳ２７において、音声出力位置制御処理を終了すると判定した場合、音声出力制御部５４は、処理をステップＳ２８に進め、終了処理を行い、音声出力位置制御処理を終了し、処理を図７のステップＳ４に処理を戻し、ステップＳ５以降の処理を実行させる。

次に、図９のフローチャートを参照して、図８のステップＳ２２において実行される特徴画素差分平均値算出処理の詳細な流れの例を説明する。

ステップＳ４１において、変数管理部７４は、領域内特徴画素数８１および領域内差分値総和８２等の変数を初期化する。ステップＳ４２において、画素値変換部７１は、画素値を変換する。特徴画素抽出部７３は、ステップＳ４３において、画素値変換部７１により画素値が変換された画素が、人物の画像の特徴を有する特徴画素であるか否かを判定し、特徴画素であると判定した場合、処理をステップＳ４４に進める。

ステップＳ４４において、変数管理部７４は、領域内特徴画素８１に「＋１」を加算する。ステップＳ４５において、差分算出部７５は、前フレームと輝度値の差分を算出する。ステップＳ４６において、変数管理部７４は、領域内差分値総和８２に差分値を加算する。ステップＳ４６の処理を終了すると、変数管理部７４は、処理をステップＳ４７に進める。また、ステップＳ４３において、特徴画素でないと判定した場合、特徴画素抽出部７３は、処理をステップＳ４７に進める。

ステップＳ４７において、判定部７６は、領域内の全ての画素を処理したか否かを判定し、処理していないと判定した場合、処理をステップＳ４２に戻し、次の画素についてそれ以降の処理を繰り返させる。また、ステップＳ４７において、領域内の全ての画素を処理したと判定した場合、判定部７６は、処理をステップＳ４８に進める。

ステップＳ４８において、差分平均値算出部７７は、領域内特徴画素数８１と領域内差分値総和８２の値に基づいて、領域内の差分平均値を算出する。差分平均値記憶部７８は、ステップＳ４９において、算出された差分平均値を記憶し、ステップＳ５０において、全領域について処理が終了したか否かを判定し、未処理の領域が存在すると判定した場合、処理をステップＳ４１に戻し、次の領域に対してそれ以降の処理を繰り返させる。

また、ステップＳ５０において、全領域について処理したと判定した場合、差分平均値記憶部７８は、特徴画素差分平均値算出処理を終了し、処理を図８のステップＳ２２に戻し、ステップＳ２３以降の処理を実行させる。

以上のような各処理を行い、表示装置１０は、図２に示されるような表示画像２０に対して、表示画像２０を解析することにより、画素値の特徴から人物２１乃至人物２３を特定するだけでなく、フレーム間の差分平均値を用いて人物２１乃至人物２３の誰が喋っているかを特定し、例えば、人物２１の音声をスピーカ１１より出力し、人物２２の音声をスピーカ１２より出力し、人物２３の音声をスピーカ１３より出力するように、表示画像２０の内容に応じて音声の出力位置を制御する。

このようにすることにより、表示装置１０は、表示する画像に対応する音声を、より臨場感を高めるように出力することができる。

なお、スピーカの数は任意であり、その配置も任意である。また、領域とスピーカは、１対１で関連付けられていなくてもよく、１つのスピーカが複数の領域に対応するようにしてもよいし、１つの領域に複数のスピーカが対応するようにしてもよい。例えば、図１０Ａに示されるように、表示装置１０が、表示画像２０を囲むように１４個のスピーカ（スピーカ９１Ａ乃至スピーカ９１Ｐ）を有するようにしてもよい。その場合、表示画像２０は、図１０Ｂに示されるように、縦方向に３つ、横方向に４つの合計１２個の領域（領域１０１乃至領域１１２）に分割される。

このとき、例えば、領域１０１にはスピーカ９１Ａおよびスピーカ９１Ｐが対応し、領域１０２にはスピーカ９１Ｂが対応し、領域１０３にはスピーカ９１Ｃが対応し、領域１０４にはスピーカ９１Ｄおよびスピーカ９１Ｅが対応し、領域１０５にはスピーカ９１Ｎが対応し、領域１０６にはスピーカ９１Ｂ、スピーカ９１Ｆ、スピーカ９１Ｋ、およびスピーカ９１Ｎが対応し、領域１０７にはスピーカ９１Ｃ、スピーカ９１Ｆ、スピーカ９１Ｊ、およびスピーカ９１Ｎが対応し、領域１０８にはスピーカ９１Ｆが対応し、領域１０９にはスピーカ９１Ｌおよびスピーカ９１Ｍが対応し、領域１１０にはスピーカ９１Ｋが対応し、領域１１１にはスピーカ９１Ｊが対応し、領域１１２にはスピーカ９１Ｇおよびスピーカ９１Ｈが対応するようにする。もちろん、その他の方法で対応付けるようにしてもよい。

なお、本発明は画像を表示するとともに、その画像に対応する音声を出力するものであればどのようなものであってもよい。例えば、図１１に示されるようにプロジェクタを利用するシステムであってもよい。図１１の場合、スクリーン１２１の奥側にプロジェクタ１２２が存在し、そのプロジェクタ１２２が、スクリーン１２１の裏側に画像を投影している。スクリーン１２１の手前側には、奥側に向かってスピーカ１３１乃至スピーカ１４２が並べて配置されており、プロジェクタ１２２が投影する画像１２３に対応する音声がそれらのスピーカより出力されるようになされている。すなわち、スピーカ１３１乃至スピーカ１４２は、プロジェクタ１２２がスクリーン１２２に投影した画像１２３の裏側から音声を出力する。

このようなシステムにおいて、上述したように、投影された画像１２３の内容に応じて、音声ををスピーカ１３１乃至スピーカ１４２の中から選択して出力することにより、例えば、喋る人物の真裏のスピーカよりその人物の音声を出力させることができる。従って、図１１のシステムは、表示する画像に対応する音声を、より臨場感を高めるように出力することができる。

なお、音声を出力するスピーカを選択するのではなく、各スピーカより出力される音量を制御するようにしてもよい。つまり、各スピーカより音声を出力するか否かを制御するのではなく、上述したように選択された領域に対応するスピーカより主に出力するようにし、それ以外の領域に対応するスピーカより出力する音声の音量を小さくするようにしてもよい。

また、音声データのチャンネル数は複数であってもよく、例えば、ＢＧＭのように、表示画像２０において音声の出力位置が特定できない音声と、人物の声のように、表示画像２０において音声の出力位置が特定可能な音声とを互いに異なるチャンネルに分けられている音声データを処理するようにしてもよい。

図１２は、そのような場合の表示装置の構成例を示すブロック図である。図１２において、表示装置１５０は、基本的に表示装置１０と同様の構成を有するが、音声処理部１５１は、音声処理部３６と異なり、入力された音声データの各チャンネルの音声を分割して出力する。ＢＧＭのように音声の出力位置が特定できない音声は、直接音声出力部１５２に供給され、音声出力位置制御部３７は、人物の声のように音声の出力位置が特定可能な音声のみを処理する。音声出力部１５２は、各チャンネルの音声データを取得して、スピーカ毎に各チャンネルを合成して音声を出力する。

以上のように、表示装置は、一部のチャンネルの音声のみを、出力位置制御するようにしてもよい。なお、各チャンネルの音声を、互いに独立して出力位置制御するようにしてもよい。

さらに、表示装置が、ステレオ方式のように、左右２チャンネルの音声データの出力位置を制御するようにしてももちろんよい。その場合、図１３に示されるように、左右２チャンネルのスピーカを１組として、上述したモノラル方式の音声データと同様に処理するようにしてもよい。

例えば、図１３の場合、表示装置１６０は、水平方向に並ぶように配置された３つのステレオスピーカ（ステレオスピーカ１６１乃至ステレオスピーカ１６３）を有している。ステレオスピーカ１６１は、左スピーカ１６１Ａと右スピーカ１６１Ｂを有し、左右２チャンネルの音声を出力することができる。ステレオスピーカ１６２も同様に、左スピーカ１６２Ａと右スピーカ１６２Ｂを有し、左右２チャンネルの音声を出力することができる。ステレオスピーカ１６３も同様に、左スピーカ１６３Ａと右スピーカ１６３Ｂを有し、左右２チャンネルの音声を出力することができる。

表示装置１６０は、モノラル方式の場合と同様に、表示画像２０に基づいて、左右２チャンネルの音声を出力するステレオスピーカをステレオスピーカ１６１乃至ステレオスピーカ１６３の中から選択し、その選択したステレオスピーカ（の左スピーカおよび右スピーカ）より左右２チャンネルの音声を出力する。なお、このとき、ステレオ音声の左右チャンネルの音量差を用いて、画像に基づいて行う出力位置の制御を補正することもできる。

また、音声の出力位置を制御しない場合は、表示装置１６０は、ステレオスピーカ１６１乃至ステレオスピーカ１６３を１つのステレオスピーカとして使用し、１方向からステレオ音声を出力する。例えば、ステレオスピーカ１６２からの音声出力を停止し、ステレオスピーカ１６１（左スピーカ１６１Ａおよび右スピーカ１６１Ｂの両方）より左チャンネルの音声を出力させ、ステレオスピーカ１６３（左スピーカ１６３Ａおよび右スピーカ１６３Ｂの両方）より右チャンネルの音声を出力させる。

このような音声出力位置制御処理の流れの例を図１４のフローチャートを参照して説明する。

音声出力位置制御処理が開始されると、画面領域分割部５１は、ステップＳ７１において、画面領域をスピーカ配置に対応する複数の領域に分割する。ステップＳ７２において、差分平均値算出部５２は、分割された各領域において、図９のフローチャートを参照して説明したように、所定の特徴を示す画素（特徴画素）の差分平均値を算出する。

ステップＳ７３において、判定部５３は、全ての領域で差分平均値が予め定められた所定の閾値以下であるか否かを判定し、１つでも差分平均値が閾値以上であると判定した場合、処理をステップＳ７４に進める。ステップＳ７４において、音声出力制御部５４は、差分平均値および音声データに基づいて音声の出力を制御する。ステップＳ７４の処理を終了すると、音声出力制御部５４は、処理をステップＳ７６に進める。

また、ステップＳ７３において、全ての領域で差分平均値が閾値以下であると判定した場合、判定部５３は、処理をステップＳ７５に進める。ステップＳ７５において、音声出力制御部５４は、全てのスピーカをステレオスピーカとして制御し、音声を出力させる。ステップＳ７５の処理を終了すると音声出力制御部５４は、処理をステップＳ７６に進める。

ステップＳ７６において、音声出力制御部５４は、音声出力位置制御処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ７２に戻し、それ以降の処理を繰り返させる。また、ステップＳ７６において、音声出力位置制御処理を終了すると判定した場合、音声出力制御部５４は、処理をステップＳ７７に進め、終了処理を行い、音声出力位置制御処理を終了し、処理を図７のステップＳ４に処理を戻し、ステップＳ５以降の処理を実行させる。

以上のようにすることにより、表示装置は、音声データが多チャンネルの場合も、表示する画像に対応する音声を、より臨場感を高めるように出力することができる。

なお、音声出力制御部５４は、ステレオ音声の左右チャンネルの音量差を用いて、差分平均値を補正することにより、画像に基づいて行う出力位置の制御を補正するようにしてもよい。その場合の音声出力制御部５４の詳細な構成例を図１５に示す。

図１５において、音声出力制御部５４は、音量確認部１７１、差分平均値補正部１７２、領域特定部１７３、および出力制御部１７４を有している。

音量確認部１７１は、音声データの左右チャンネルの音量差を確認し、主に左右方向のどの方向から音声が出力されているかを確認し、その確認結果を差分平均値補正部１７２に供給する。差分平均値補正部１７２は、その確認結果に基づいて各領域の差分平均値の値を所定の割合で補正し、その補正後の差分平均値を領域特定部１７３に供給する。領域特定部１７３は、補正された差分平均値に基づいて、音声が出力される領域を特定し、その特定結果を出力制御部１７４に供給する。出力制御部１７４は、特定結果に基づいて、音声が出力される領域に対応するスピーカより音声が出力されるように、音声データを音声出力部３９に供給する。

次に、この音声出力制御部５４により、図１４のステップＳ７４において実行される音声出力制御処理の流れの例を図１６のフローチャートを参照して説明する。

最初に、ステップＳ９１において、音声確認部１７１は、音声データの各チャンネルの音量に基づいて音声が出力される領域である音声出力領域を特定する。ステップＳ９２において、差分平均値補正部１７２は、ステップＳ９１において特定された音声出力領域に基づいて、各領域の差分平均値を補正する。例えば、差分平均値補正部１７２は、音声出力領域の差分平均値を１０％増加させ、それ以外の領域の差分平均値を１０％低下させる等して、音声出力領域の差分平均値が大きくなるように補正する。

ステップＳ９３において、領域特定部９３は、その補正後の差分平均値が最も大きい領域を特定する。ステップＳ９４において、出力制御部１７４は、差分平均値が最も大きい領域に対応するスピーカより音声を出力させるように出力を制御する。ステップＳ９４の処理を終了すると、音声出力制御部５４は、音声出力制御処理を終了し、図１４のステップＳ７４に処理を戻し、ステップＳ７６以降の処理を実行させる。

なお、これ以外の方法で音声データを用いて音声出力制御を補正するようにしてもよい。例えば、表示画像の内容に基づいて、音声を出力するスピーカの切り替えを制御するのではなく、各スピーカより出力される音声の音量の大小を制御する場合、表示装置が、その表示画像の内容に基づいて決定された各スピーカの音量を、音声データの左右チャンネルの音量に基づいて補正するようにしてもよい。

その場合の音声出力制御部５４の詳細な構成例を図１７に示す。

図１７において、音声出力制御部５４は、領域特定部１８１、音量調整部１８２、音量確認部１８３、比較部１８４、調整量補正部１８５、および出力制御部１８６を有している。

領域特定部１８１は、差分平均値が最も大きい領域を特定し、その結果を音量調整部１８２と比較部１８４に供給する。音量調整部１８２は、その結果に基づいて、各領域に対応するスピーカより出力する音量を調整する制御情報を生成し、その制御情報を調整量補正部１８５に供給する。音量確認部１８３は、音声データの左右チャンネルの音量差に基づいて、表示画像において音声が出力されている領域を特定し、その結果を比較部１８４に供給する。比較部１８４は、領域特定部１８１より供給された情報と、音量確認部１８３より供給された情報を比較し、両者が指定する領域が一致するか否かを判定し、その判定結果を調整量補正部１８５に供給する。

調整量補正部１８５は、その判定結果に基づいて、領域特定部１８１が特定した差分平均値が最も大きい領域と、音量確認部１８３が特定した音声が出力されている領域が一致する場合、音声出力位置の偏りが強く、かつ、その領域の特定の精度が高いと推定されるので、音量調整部１８２により生成された制御情報を補正し、領域間の音量差（各スピーカの音量差）が大きくなるように再調整する。逆に、領域特定部１８１が特定した差分平均値が最も大きい領域と、音量確認部１８３が特定した音声が出力されている領域が一致しない場合、音声出力位置の偏りが弱く、かつ、その領域の特定の精度が低いと推定されるので、調整量補正部１８５は、音量調整部１８２により生成された制御情報を補正し、領域間の音量差（各スピーカの音量差）が小さくなるように再調整する。

調整量補正部１８５は、調整量を補正した制御情報を出力制御部１８６に供給する。出力制御部１８６は、供給された制御情報に基づいて、各スピーカの音声データを出力する音量を制御する。

次に、この音声出力制御部５４により、図１４のステップＳ７４において実行される音声出力制御処理の流れの例を図１８のフローチャートを参照して説明する。

ステップＳ１１１において、領域特定部１８１は、供給された領域毎の差分平均値を参照し、差分平均値が最も大きい領域を特定する。ステップＳ１１２において、音量調整部１８２は、ステップＳ１１１の処理の特定結果に基づいて、スピーカ間で出力音声の音量差が生じるように出力音声を調整する制御情報を生成する。

ステップＳ１１３において、音量確認部１８３は、音声データの各チャンネルの音量に基づいて、音声出力領域を特定する。ステップＳ１１４において、比較部１８４は、ステップＳ１１１の処理において特定された、差分平均値が最も大きい領域と、ステップＳ１１３の処理において特定された音声出力領域を比較する。

ステップＳ１１５において、比較部１８４は、この２つの領域が一致するか否かを判定し、一致すると判定した場合、処理をステップＳ１１６に進める。ステップＳ１１６において、調整量補正部１８５は、音量差がステップＳ１１２において設定されたデフォルト値より大きくなるように調整量を補正する。ステップＳ１１６の処理を終了すると調整量補正部１８５は、処理をステップＳ１１８に進める。

また、ステップＳ１１５において、２つの領域が一致しないと判定した場合、比較部１８４は、処理をステップＳ１１７に進める。ステップＳ１１７において、調整量補正部１８５は、音量差がステップＳ１１２において設定されたデフォルト値より小さくなるように調整量を補正する。ステップＳ１１７の処理を終了すると調整量補正部１８５は、処理をステップＳ１１８に進める。

ステップＳ１１８において、出力制御部１８６は、調整量が補正された制御情報に基づいて各スピーカの出力音声の音量を調整し、音声を出力させる。ステップＳ１１８の処理を終了すると、音声出力制御部５４は、音声出力制御処理を終了し、図１４のステップＳ７４に処理を戻し、ステップＳ７６以降の処理を実行させる。

以上のように、表示画像を解析することにより決定する音声の出力制御を、音声データの解析を用いて補正することにより、表示装置は、より正確に音声の出力制御を行うことができ、より臨場感を高めるように音声を出力することができる。

なお、表示装置は、音声を出力させるスピーカを切り替えるだけでなく、音声処理により擬似的に音声の出力位置を制御するようにしてもよい。このようにすることにより、表示装置は、音声の出力位置をスピーカの配置場所や個数の制限を受けることなく、ユーザに、任意の位置より音声が出力されていると感じさせることができる。

また、コンテンツを視聴するユーザの、表示装置に対する位置に応じて、各スピーカの音声の出力タイミング（遅延量）を制御することにより、仮想的に出力位置を変更する（ユーザが感じる音声出力位置を変更する）ことができる。

図１９は、その場合の表示装置の構成例を示すブロック図である。

図１９において、表示装置２００は、表示装置１０の構成に加えて、ユーザ位置対応処理部２０１を有している。ユーザ位置対応処理部２０１には、ユーザ指示受付部４２を介してリモートコマンダよりユーザ指示コマンドと共に供給される、リモートコマンダに設けられている位置センサの出力情報であるリモートコマンダの位置情報が供給される。ユーザ位置対応処理部２０１は、その位置情報に基づいてリモートコマンダの表示装置２００を基準とする位置を検出し、それをユーザ位置とする。そして、ユーザ位置対応処理部２０１は、そのユーザ位置に基づいて、各スピーカの音声出力の遅延量を演算し、その遅延量分だけ音声出力位置制御部３７より供給される音声データを遅延させてから、音声出力部３９に供給し音声出力させる。つまり、ユーザ位置対応処理部２０１は、ユーザ位置（ユーザの表示装置からの相対位置）に基づいて音声出力を遅延させる。

図２０は、ユーザ位置対応処理部２０１の詳細な構成例を示すブロック図である。図２０において、ユーザ位置対応処理部２０１は、リモートコマンダ位置検出部２１１、遅延量演算部２１２、および遅延量制御部２１３を有している。

リモートコマンダ位置検出部２１１は、リモートコマンダより供給される位置センサの出力情報に基づいてリモートコマンダの位置をユーザ位置として検出し、その情報を遅延量演算部２１２に供給する。遅延量演算部２１２は、リモートコマンダ位置検出部２１１より供給されるユーザ位置の情報に基づいて、各スピーカの音声出力の遅延量を演算し、それを遅延制御部２１３に供給する。遅延制御部２１３は、音声出力位置制御部３７より供給される各スピーカ用の音声データの出力タイミングを遅延量の分だけ遅延させてから音声出力部３９に供給し、音声を出力させる。

次に、この具体的な処理の流れの例として、ユーザ位置対応処理部２０１により実行されるユーザ位置対応処理の流れの例を図２１のフローチャートを参照して説明する。

ステップＳ１３１において、リモートコマンダ位置検出部２１１は、リモートコマンダの位置を検出することによりユーザ位置を検出する。ステップＳ１３２において、遅延量演算部２１２は、ユーザ位置に基づいて、各スピーカの音声出力の遅延量を演算する。ステップＳ１３３において、遅延制御部２１３は、算出された遅延量の分だけ、各スピーカの音声出力を遅延させる。ステップＳ１３４において、ユーザ位置対応処理部２０１は、ユーザ位置対応処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１３１に戻し、それ以降の処理を繰り返させる。また、ステップＳ１３４において、ユーザ位置対応処理を終了すると判定した場合、ユーザ位置対応処理部２０１は、ユーザ位置対応処理を終了する。

以上のように、ユーザ位置に応じて音声出力のタイミングを制御することにより、表示装置は、表示画像の対応する位置から音声が出力されているように、ユーザにより強く感じさせることができ、より臨場感を高めるように音声を出力することができる。

また、表示装置が有するスピーカは、表示装置より着脱可能であるようにしてもよい。図２２は、スピーカが着脱可能な表示装置の例を示す斜視図である。

図２２において、表示装置２３１は、画像表示面を正面としたときの上下左右の４側面に、スピーカを装着するための複数の凹部が設けられている。スピーカ２３３Ａおよびスピーカ２３３Ｂは、この表示装置２３１に着脱可能なスピーカである。スピーカ２３３Ａおよびスピーカ２３３Ｂを互いに区別して説明する必要のない場合は、スピーカ２３３と称する。スピーカ２３３には、スピーカ２３３Ｂに示されるように凸部２３４が設けられている。この凸部２３４は、表示装置２３１の凹部２３２に対応しており、ユーザは、この凸部２３４を表示装置２３１の凹部２３２に嵌合するようにスピーカ２３３を表示装置２３１に装着することにより、スピーカ２３３を表示装置２３１の側面に固定することができる。

また、ユーザは、表示装置２３１に固定されているスピーカ２３３を、表示装置２３１より離すように引っ張ることにより、表示装置２３１から分離することができる。

なお、凹部２３２および凸部２３４にはそれぞれ対応する位置に電極が設けられており、スピーカ２３３が表示装置２３１に固定された状態において、表示装置２３１の内部回路とスピーカ２３３が電気的に接続され、表示装置２３１が出力する音声信号をスピーカ２３３が取得し、その音声信号に対応する音声を出力することができるようになされている。

さらに、表示装置２３１に複数設けられた凹部２３２は、いずれも同じ形状であり、スピーカ２３３は、任意の凹部２３２に装着可能である。つまり、表示装置２３１には、スピーカ２３３を、凹部２３２の個数分装着することができる。

また、表示装置２３１は、図２３に示されるように、スピーカの配置の設定の入力を案内するメニュー画面を表示する。図２３に示される表示装置２３１は、入力案内画像２４１が表示されている。ユーザは、この入力案内画像２４１に従って、実際に設置したスピーカの配置を入力したり、若しくは、予め用意されたパターンの中から実際の配置に最も近いパターンを選択したりする。表示装置２３１は、入力されたスピーカの配置に関する情報に基づいて、表示画像の領域の分割方法を決定し、その設定を記憶しておき、その設定を音声出力位置制御に利用する。

図２４は、その場合の表示装置２３１の内部の構成例を示すブロック図である。図２４において、表示装置２３１は、表示装置１０と基本的に同様の構成を有するが、表示装置１０の構成に加え、さらに、領域設定部２５１を有する。

領域設定部２５１は、画像処理部３５に入力案内画像２４１の画像データを供給し、表示部３８に表示させる。ユーザは、その入力案内画像２４１に基づいてリモートコマンダを操作し、スピーカの配置に関する情報を入力する。ユーザ指示受付部４２は、そのユーザ指示を取得すると、それを領域設定部２５１に供給する。領域設定部２５１は、ユーザに入力されたスピーカ配置に関する情報に基づいて、領域の設定を行い、その設定情報を音声出力位置制御部３７に供給する。音声出力位置制御部３７は、その設定に基づいて表示画像を、スピーカ配置に対応する複数の領域に分割する。

図２５は、その領域設定部２５１の詳細な構成例を示すブロック図である。図２５において、領域設定部２５１は、入力案内画像表示制御部２６１、ユーザ入力受付処理部２６２、領域設定選択部２６３、および分割テーブル記憶部２６４を有している。

入力案内画像表示制御部２６１は、入力案内画像２４１を画像処理部３５に供給する。ユーザ入力受付処理部２６２は、その入力案内画像２４１に従って入力されたユーザ入力を、ユーザ指示受付部４２を介して取得すると、そのユーザ入力よりスピーカの配置に関する情報であるスピーカ位置情報を抽出し、それを領域設定選択部２６３に供給する。領域設定選択部２６３は、分割テーブル記憶部２６４に記憶されている、スピーカの配置パターンと領域の分割パターンとを関連付ける分割テーブルに基づいて、供給されたスピーカ位置情報に対応する領域の分割パターンを選択し、それを領域設定として音声出力位置制御部３７に供給する。

この領域設定部２５１により実行される領域設定処理の具体的な処理の流れの例を図２６のフローチャートを参照して説明する。

ステップＳ１５１において、入力案内画像表示制御部２６１は、入力案内画像２４１を表示部３８に表示させる。ステップＳ１５２において、ユーザ入力受付処理部２６２は、ユーザ入力を受け付ける。ユーザ入力受付処理部２６２は、ステップＳ１５３において、ユーザ入力を受け付けたか否かを判定し、受け付けたと判定するまで、処理をステップＳ１５２に戻し、それ以降の処理を繰返し実行する。ステップＳ１５３において、ユーザ入力を受け付けたと判定した場合、ユーザ入力受付処理部２６２は、処理をステップＳ１５４に進める。ステップＳ１５４において、領域設定選択部２６３は、スピーカ位置および分割テーブルに基づいて最適な領域設定を選択する。ステップＳ１５４の処理が終了すると、領域設定部２５１は、領域設定処理を終了する。

以上のように領域を設定することにより、表示装置は、任意の位置に任意の個数のスピーカを配置しても、表示する画像に対応する音声を、より臨場感を高めるように出力することができる。

なお、表示装置２３１の凹部２３２のそれぞれに設けられたスピーカ接続端子の接続状況を確認することにより、表示装置２３１が、スピーカ２３３の配置を、図２３に示されるようなユーザ入力無しに自動的に把握することができるようにしてもよい。

図２７は、そのような場合の表示装置２３１の内部の構成例を示すブロック図である。

図２７において、表示装置２３１は、表示装置１０と基本的に同様の構成を有するが、表示装置１０の構成に加えて、さらに、領域設定部３０１を有する。

領域設定部３０１は、音声出力部３９よりスピーカ２３３が接続されたことを示す接続情報を取得する。例えば、領域設定部３０１が各凹部２３２に設けられたスピーカ接続端子に所定の信号を送信したり、スピーカ接続端子の電圧を測定したりして、応答信号や電圧等に基づいてスピーカの接続状況を確認する。そして、領域設定部３０１は、検出されたスピーカの配置に基づいて領域の設定を行い、その領域設定の情報を音声出力位置制御部３７に供給する。音声出力位置制御部３７は、その設定に基づいて表示画像を、スピーカ配置に対応する複数の領域に分割する。

図２８は、領域設定部３０１の詳細な構成例を示すブロック図である。図２８において、領域設定部３０１は、接続確認部３１１、スピーカ位置記憶部３１２、領域設定選択部３１３、および分割テーブル記憶部３１４を有する。

接続確認部３１１は、各スピーカ接続端子より接続情報を取得し、スピーカの接続状況を確認する。そして接続確認部３１１は、スピーカを検出すると、その位置を示すスピーカ位置情報をスピーカ位置記憶部３１２に供給する。スピーカ位置記憶部３１２は、検出されたスピーカの位置を全て記憶し、必要に応じて、その位置情報を領域設定選択部３１３に供給する。

領域設定選択部３１３は、接続確認部３１１が全てのスピーカ接続端子について接続を確認すると、スピーカ位置記憶部３１２より、検出されたスピーカの位置を示すスピーカ位置情報を取得し、分割テーブル記憶部３１４より、スピーカの配置パターンと領域の分割パターンとを関連付ける分割テーブルを取得する。領域設定選択部３１３は、この分割テーブルを用いて、スピーカの配置に対応する分割パターンを選択し、それを領域設定として音声出力位置制御部３７に供給する。

この領域設定部３０１により実行される領域設定処理の具体的な処理の流れを図２９のフローチャートを参照して説明する。

ステップＳ１７１において、接続確認部３１１は、未処理のスピーカ接続端子を選択する。ステップＳ１７２において、接続確認部３１１は、選択したスピーカ接続端子について、スピーカ接続を確認する。ステップＳ１７３において接続確認部３１１は、スピーカが検出されたか否かを判定し、検出されたと判定した場合、処理をステップＳ１７４に進める。ステップＳ１７４において、スピーカ位置記憶部３１２は、検出されたスピーカの位置を記憶し、処理をステップＳ１７５に進める。また、ステップＳ１７３において、スピーカが検出されなかったと判定した場合、接続確認部３１１は、ステップＳ１７４の処理を省略し、ステップＳ１７５に処理を進める。ステップＳ１７５において、接続確認部３１１は、全てのスピーカ接続端子を確認したか否かを判定し、未処理のスピーカ接続端子が存在すると判定した場合、処理をステップＳ１７１に戻し、それ以降の処理を繰り返す。また、ステップＳ１７５において、全ての接続端子を確認したと判定した場合、接続確認部３１１は、処理をステップＳ１７６に進める。ステップＳ１７６において、領域設定選択部３１３は、スピーカ位置および分割テーブルに基づいて領域設定を選択し、それを音声出力位置制御部３７に供給すると、領域設定処理を終了する。

以上のように表示装置がスピーカを検出し、領域を設定することにより、ユーザはより容易に領域の設定を行うことができる。つまり、表示装置は、ユーザによる煩雑な作業を伴わずに、表示する画像に対応する音声を、より臨場感を高めるように出力することができる。

なお、接続されたスピーカを検出するために、表示装置２３１の凹部２３２のそれぞれにスピーカ２３３が接続されたことを検出するセンサやスイッチを設けるようにしてもよい。その場合、領域設定部３０１は、それらのセンサやスイッチからの出力情報を取得し、スピーカを検出する。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、音声出力位置制御部３７、ユーザ位置対応処理部２０１、領域設定部２５１、または領域設定部３０１は、図３０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図３０において、パーソナルコンピュータ４００のCPU（Central Processing Unit）４０１は、ROM（Read Only Memory）４０２に記憶されているプログラム、または記憶部４１３からRAM（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図３０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のテレビジョン受像機を示す斜視図である。本発明を適用した表示装置の外観の構成例を示す図である。図２の表示装置の内部の構成例を示すブロック図である。図３の音声出力位置制御部の詳細な構成例を示すブロック図である。領域分割の例を示す模式図である。図４の差分平均値算出部の詳細な構成例を示すブロック図である。画像表示処理の流れの例を説明するフローチャートである。音声出力位置制御処理の流れの例を説明するフローチャートである。特徴画素差分平均値算出処理の流れの例を説明するフローチャートである。表示装置の外観の、他の構成例を示す図である。本発明を適用したプロジェクションシステムの構成例を示す図である。表示装置の他の構成例を示すブロック図である。表示装置の外観の、さらに他の構成例を示す図である。音声出力位置制御処理の流れの、他の例を説明するフローチャートである。音声出力制御部の詳細な構成例を示すブロック図である。音声出力制御処理の流れの例を説明するフローチャートである。音声出力制御部の詳細な、他の構成例を示すブロック図である。音声出力制御処理の流れの、他の例を説明するフローチャートである。表示装置のさらに他の構成例を示すブロック図である。図１９のユーザ位置対応処理部の詳細な構成例を示すブロック図である。ユーザ位置対応処理の流れの例を説明するフローチャートである。表示装置の外観の、さらに他の構成例を示す図である。入力案内画像の表示例を示す模式図である。表示装置のさらに他の構成例を示すブロック図である。図２４の領域設定部の詳細な構成例を示すブロック図である。領域設定処理の流れの例を説明するフローチャートである。表示装置のさらに他の構成例を示すブロック図である。図２７の領域設定部の詳細な構成例を示すブロック図である。領域設定処理の流れの、他の例を説明するフローチャートである。本発明の一実施形態を適用したパーソナルコンピュータの構成例を示す図である。

符号の説明

１０表示装置，１１乃至１３スピーカ，２０表示画像，２１乃至２３人物，３７音声出力位置制御部，３９音声出力部，５１画面領域分割部，５２差分平均値算出部，５３音声出力制御部，７３特徴画素抽出部，７４変数管理部，７５差分算出部，７７差分平均値算出部，７８差分平均値記憶部，８１領域内特徴画素数，８２領域内差分値総和，１７１音量確認部，１７２差分平均値補正部，１７３領域特定部，１７４出力制御部，１８１領域特定部，１８２音量調整部，１８３音量確認部，１８４比較部，１８５調整量補正部，１８６出力制御部，２０１ユーザ位置対応処理部，２１１リモートコマンダ位置検出部，２１２遅延量演算部，２１３遅延制御部，２５１領域設定部，２６１入力案内画像表示制御部，２６２ユーザ入力受付処理部，２６３領域設定選択部，２６４分割テーブル記憶部，３０１領域設定部，３１１接続確認部，３１２スピーカ位置記憶部，３１３領域設定選択部，３１４分割テーブル記憶部

Claims

画像を表示する画像表示手段と、
前記画像表示手段により表示される前記画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段と、
前記音声出力手段の配置位置に応じて、前記画像表示手段の表示画面の分割方法の設定を行う領域設定手段と、
前記画像表示手段の表示画面に対して、前記領域設定手段により設定された方法で分割した領域を設定する画面領域分割手段と、
前記画面領域分割手段により分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値を算出する差分平均値算出手段と、
前記複数チャンネルのそれぞれの音量を確認し、音声が出力される領域を特定する音量確認手段と、
前記音量確認手段により音量を確認されて特定された音声が出力される領域に基づいて、前記差分平均値算出手段により算出された前記差分平均値を補正する差分平均値補正手段と
を備え、
音声出力制御手段は、前記差分平均値補正手段により補正された差分平均値に基づいて、前記音声出力手段を制御し、前記音声を出力させる位置を選択する
画像表示装置。
前記音声出力手段は、複数のスピーカを有し、
前記音声出力制御手段は、前記音声出力手段を制御し、前記音声を出力させるスピーカを選択する
請求項１に記載の画像表示装置。
前記音声出力手段は、前記音声の出力タイミングを制御することにより、仮想的に前記音声の出力位置を制御可能であり、
前記音声出力制御手段は、前記音声出力手段を制御し、前記出力タイミングを選択することにより、前記音声を出力させる仮想的な位置を制御する
請求項１に記載の画像表示装置。
前記画像および前記音声を視聴するユーザの位置を検出し、前記ユーザの位置に応じて、前記音声出力手段による前記音声の出力タイミングの遅延量を制御するユーザ位置対応処理手段をさらに備える
請求項１に記載の画像表示装置。
画像を表示する画像表示装置の画像表示方法であって、
画像を表示し、
前記画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段の配置位置に応じて、表示画面の分割方法の設定を行い、
前記表示画面に対して、設定された方法で分割した領域を設定し、
分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値を算出し、
複数チャンネルのそれぞれの音量を確認し、音声が出力される領域を特定し、
特定された音声が出力される領域に基づいて、算出された前記差分平均値を補正し、
補正された前記差分平均値に基づいて、前記音声を出力させる位置を選択し、
選択された位置より前記音声を出力する
ステップを含む画像処理方法。
画像を表示する処理をコンピュータに行わせるプログラムであって、
画像を表示し、
前記画像に対応する複数チャンネルの音声を複数の位置より出力する音声出力手段の配置位置に応じて、表示画面の分割方法の設定を行い、
前記表示画面に対して、設定された方法で分割した領域を設定し、
分割された領域毎に、画素値が予め定められた所定の特徴を有する各画素の輝度値のフレーム間の差分平均値を算出し、
複数チャンネルのそれぞれの音量を確認し、音声が出力される領域を特定し、
特定された音声が出力される領域に基づいて、算出された前記差分平均値を補正し、
補正された前記差分平均値に基づいて、前記音声を出力させる位置を選択し、
選択された位置より前記音声を出力する
ステップを含むプログラム。