JP3997952B2

JP3997952B2 - Image display device

Info

Publication number: JP3997952B2
Application number: JP2003170820A
Authority: JP
Inventors: 祐介土生
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2003-06-16
Filing date: 2003-06-16
Publication date: 2007-10-24
Anticipated expiration: 2023-06-16
Also published as: JP2005012255A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示装置に係り、特に、画像と共に音声を出力する画像表示装置に関するものである。
【０００２】
【従来の技術】
近年、画像表示装置においては、表示部に表示された画像に対応して音声を出力する際に、臨場感のある音場を再現するために、多チャンネル音声を出力させることが行われている。
【０００３】
多チャンネル音声を出力させる画像表示装置としては、従来、表示部の画面上側及び下側にセンター用スピーカをそれぞれ配置し、表示部の両側方に右用スピーカ及び左用スピーカをそれぞれ配置するとともに、ユーザの後方に後方用スピーカを配設した画像表示装置が知られている。
【０００５】
【発明が解決しようとする課題】
しかし、上記のような画像表示装置では、各スピーカが表示部から離れた位置に配置されており、画像から離れて音声が出力されるため、臨場感を得るのに限界があった。また、各スピーカを配置させるスペースを確保しなければならず、全体の装置構成が大掛かりになるという問題があった。
【０００６】
そこで、本発明は、簡易な構成により、臨場感を得ることができる画像表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明による画像表示装置は、画像を表示する表示部を有する画像表示装置において、前記表示部の前面又は前記表示部の裏面に対応する位置の少なくともいずれか一方に、音声を出力する２以上の薄膜スピーカを設けるとともに、前記薄膜スピーカを制御する制御部を設け、前記制御部は、画像が動画である場合に、前記各薄膜スピーカにそれぞれ対応する前記表示部の各領域における画像の変化量の、前記表示部の全領域の全変化量に対する相対値に基づいて、前記各薄膜スピーカから出力させる音声の音量を制御することを特徴とする。
【０００８】
請求項１に記載の発明によれば、薄膜スピーカが、表示部の前面又は表示部の裏面に対応する位置の少なくともいずれか一方に設けられているため、各薄膜スピーカが占めるスペースが少なくてすむ。また、画像が動画である場合に、各薄膜スピーカにそれぞれ対応する表示部の各領域における画像の変化量の、表示部の全領域の全変化量に対する相対値に基づいて、各薄膜スピーカから出力させる音声の音量を制御することで、表示部に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【０００９】
また、請求項２に記載の発明は、請求項１に記載の画像表示装置において、前記制御部は、前記表示部の各領域における画像の変化量の、前記表示部の全領域の全変化量に対する相対値により前記各領域における画像の変化量の割合を算出し、前記割合に基づいて、前記各薄膜スピーカから出力させる音声の音量を制御することを特徴とする。
【００１０】
請求項２に記載の発明によれば、表示部に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【００１１】
また、請求項３に記載の発明は、請求項１または請求項２に記載の画像表示装置において、前記制御部は、前記表示部に表示する画像データを、前記各薄膜スピーカにそれぞれ対応する前記表示部の各領域に表示させる各画像データに分割し、分割した各画像データについて前記表示部の全領域の全変化量に対する相対値をそれぞれ算出することを特徴とする。
【００１２】
請求項３に記載の発明によれば、表示部に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【００１３】
また、請求項４に記載の発明は、請求項３に記載の画像表示装置において、前記制御部は、前記分割した各画像データの所定数のコマ分ごとにデータ値の差分を積算して前記表示部の各領域における画像の変化量を算出することを特徴とする。
また、請求項５に記載の発明は、請求項４に記載の画像表示装置において、前記分割した各画像データの所定数のコマ分ごとのデータ値の差分の積算は、前記表示部の各領域に設けた注目画素において行われることを特徴とする。
請求項４、５に記載の発明によれば、表示部に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【００１４】
また、請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の画像表示装置において、前記制御部は、前記動画中から人の口の部分を抽出し、前記表示部の全領域のうち当該口の部分に対応する前記薄膜スピーカから音声を出力させるように構成されていることを特徴とする。
請求項６に記載の発明によれば、人の顔部分が表示される位置から、人の声がより大きな音量で出力される。
【００１７】
請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の画像表示装置において、前記表示部は、薄膜ディスプレイであることを特徴とする。
【００１８】
請求項７に記載の発明によれば、薄膜ディスプレイの表示部の前面又は表示部の裏面に対応する位置の少なくともいずれか一方に、薄膜スピーカが設けられているため、かさばらずにすむ。また、薄膜ディスプレイに表示される画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【００１９】
請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の画像表示装置において、前記表示部は、有機ＥＬディスプレイであることを特徴とする。
【００２０】
請求項８に記載の発明によれば、有機ＥＬディスプレイに表示される画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【００２１】
請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の画像表示装置において、周囲の音を入力する集音装置を有し、前記制御部は、前記集音装置より入力された音に基づいてノイズを減少させる音を生成し、前記スピーカから出力させることを特徴とする。
【００２２】
請求項９に記載の発明によれば、周囲のノイズが減少され、表示される画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される音声がより際立つ。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図１から図６を参照して説明する。
【００２４】
図１は、本発明に係る画像表示装置の実施の一形態を示したものであり、この画像表示装置１は、写真、文字、絵等の画像を表示する表示部２を有している。表示部２としては、ＣＲＴディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）といった各種ディスプレイが適用可能であるが、ここでは、有機ＥＬを例にして説明する。
【００２５】
表示部２は、有機ＥＬ素子によりＲＢＧ各画素が形成されており、表示部駆動装置３（図２参照）により、所定の有機ＥＬ素子の電極に電圧が印加されることによって所定の素子が発光して画像が表示されるようになっている。
【００２６】
表示部２の前面の上下左右４つの領域には、第１薄膜スピーカ４、第２薄膜スピーカ５、第３薄膜スピーカ６、第４薄膜スピーカ７がそれぞれ設けられている。薄膜スピーカ４，５，６，７は、例えば、圧電性質を有する透明なプラスチックフィルム（ＰＶＤＦ）から成り、このＰＶＤＦの表面には、イオンプラズマ処理が施されることにより電極が形成されている。
【００２７】
そして、各薄膜スピーカ４，５，６，７は、スピーカ駆動装置８（図２参照）により、それぞれの電極に導電線を介して電圧が印加されることによって、それぞれ独立して音声が出力されるようになっている。なお、導電線は、表示部２の外側に配線させるようにすれば、画像の表示を妨げることはない。
【００２８】
また、画像表示装置１の裏面には、周囲の音を入力して、電気信号に変換する集音装置９（図２参照）が設けられている。
【００２９】
図２は、本実施形態における画像表示装置１を制御するための制御装置１０を示したものであり、この制御装置１０は、たとえば、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３からなり、ＲＯＭ１３に記録された処理プログラムをＲＡＭ１２に展開してＣＰＵ１１によりこの処理プログラムを実行する制御部１４を有している。
【００３０】
この制御部１４は、前述の処理プログラムに従い、表示部駆動装置３やスピーカ駆動装置８等の動作状況等のステータスに基づいて、各構成の動作を制御するようになっている。
【００３１】
ＲＯＭ１３には、表示部２に表示する画像に対応させて、いずれの薄膜スピーカ４，５，６，７からどのように音声を出力させるかを決定するための音声分配プログラム１５が記憶されている。この音声分配プログラム１５に従って、制御部１４は、表示部２の表示される画像の変化量が大きい位置に対応する薄膜スピーカ４，５，６，７ほど、大きな音声で出力させるように、各薄膜スピーカ４，５，６，７に対する音声の分配処理を行うようになっている。
【００３２】
また、ＲＯＭ１３には、周囲の雑音を減少させるためのノイズキャンセルプログラム１６が記憶されており、制御部１４は、このノイズキャンセルプログラム１６に従って、ノイズキャンセル処理を行うようになっている。具体的には、制御部１４には、集音装置９が接続されており、制御部１４は、この集音装置９より入力された音に対して位相を反転させたノイズキャンセル音を生成し、この生成したノイズキャンセル音を音声の分配割合と同じ割合の音量で各薄膜スピーカ４，５，６，７から出力させるようになっている。
【００３３】
次に、本実施形態の作用について説明する。
【００３４】
図３に示すように、まず、外部より画像データ及び音声データが制御部１４に随時入力される（Ｓ１）。すると、この入力された画像データのうち先頭３０コマ分の画像データが、読み出され（Ｓ２）、制御部１４により、表示部２の第１薄膜スピーカ４に対応する位置に画像を表示させるための第１画像データと、第２薄膜スピーカ５に対応する位置に画像を表示させるための第２画像データと、第３薄膜スピーカ６に対応する位置に画像を表示させるための第３画像データと、第４薄膜スピーカ７に対応する位置に画像を表示させるための第４画像データとに分割される（Ｓ３）。
【００３５】
なお、画像データ及び音声データとしては、例えば、ＤＶＤ等の記録媒体に記録されたデータを読取ったものや、サーバから配信されるもの、あるいは、受信したテレビ放送のアナログの信号をデジタルに変換したもの等が挙げられる。
【００３６】
画像データが分割されると、分割した各画像データの３０コマにおける差分Ｒ１，Ｒ２，Ｒ３，Ｒ４が、制御部１４によりそれぞれ求められる（Ｓ４）。差分Ｒ１，Ｒ２，Ｒ３，Ｒ４は、例えば、注目画素のデータ値の隣接するコマにおける相違を識別して積算することにより求める。
【００３７】
次に、当該３０コマにおける画像データの全差分Ｒ０（＝Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）に対する各差分Ｒ１，Ｒ２，Ｒ３，Ｒ４の相対値Ｓ１（＝Ｒ１／Ｒ０），Ｓ２（＝Ｒ２／Ｒ０），Ｓ３（＝Ｒ３／Ｒ０），Ｓ４（＝Ｒ４／Ｒ０）が、制御部１４によりそれぞれ算出される（Ｓ５）。これにより、各薄膜スピーカ４，５，６，７に対応する表示部２の各領域における画像の変化量の割合が、それぞれ求められる。
【００３８】
そして、表示部駆動装置３が制御されて３０コマ分の画像が順次表示部２に表示されるとともに、この画像に対応して、相対値Ｓ１に応じた割合の音量で、第１薄膜スピーカ４から音声が出力されるようにスピーカ駆動装置８が制御され、同様に、相対値Ｓ２に応じた割合で第２薄膜スピーカ５から、相対値Ｓ３に応じた割合で第３薄膜スピーカ６から、相対値Ｓ４に応じた割合で第４薄膜スピーカ７から音声が出力されるように、スピーカ駆動装置８がそれぞれ制御される（Ｓ６）。これにより、表示部２に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される。
【００３９】
そして、次に表示部２に表示させる画像データ及び薄膜スピーカ４，５，６，７から出力させる音声データがあるか否かが判断され（Ｓ７）、ない場合には、音声分割処理を終了し（Ｓ８）、ある場合には、画像データを３０コマ分進めて（Ｓ９）、次の３０コマ分の画像データを読み出し（Ｓ２）、Ｓ３〜Ｓ７を繰り返すようになっている。
【００４０】
以上の動作と並行して、集音装置９より周囲の音が入力され、制御部１４により入力された音に対して位相を反転させたノイズキャンセル音が生成される。そして、相対値Ｓ１，Ｓ２，Ｓ３，Ｓ４に応じた割合で、音声とともに各薄膜スピーカ４，５，６，７からノイズキャンセル音が出力される。これにより、周囲のノイズが打ち消されて減少する。
【００４１】
以上より、本実施形態によれば、４つの薄膜スピーカ４，５，６，７が、表示部２の前面に設けられており、変化する画像の位置に対応して、各薄膜スピーカ４，５，６，７から出力させる音声の音量が制御され、変化する画像の位置とより大きな音量で出力される音声の位置とが一致するため、簡易な構成により、臨場感を得ることができる。
また、周囲のノイズが減少され、表示される画像の位置から出力される音声がより際立つため、より臨場感を得ることができる。
【００４２】
なお、本実施形態においては、制御部１４は、時系列の差分により音声を分配するようにしたが、顔抽出アルゴリズムにより画像中に人の口が含まれているか否かを判断するとともに、人の口と判断された部分が変化する場合には、当該部分に対応する薄膜スピーカ４，５，６，７から音声を出力させるようにしてもよい。人の口部分が変化している場合においては音声は人の声であると考えられるため、これにより、人の口から音声が発せられているように視聴される。なお、口部分の認識は、例えば、平均顔画像のテンプレートによるパターンマッチングを行い、顔領域を認定し、認定された顔領域のノード（特徴点）の密度を評価することにより口部分の位置を特定することによって行う。
【００４３】
さらに、画像が静止画である場合には、制御部１４は、当該画像に人の顔部分が含まれているか否かを判断するとともに、音声に人の声が含まれているか否かを判断し、含まれている場合には、表示部２の人の顔部分が表示される位置に対応する薄膜スピーカ４，５，６，７から音声を出力させるようにしてもよい。なお、人の声の認識は、例えば、人の声に含まれる特定の周波数が、当該音声に含まれているかを判断することによって行われる。
【００４４】
また、本実施形態においては、薄膜スピーカ４，５，６，７は、表示部２の前面に設けるようにしたが、画像表示装置１の筐体であって表示部２の裏面に対応する位置に設けるようにしてもよく、また、両方に設けるようにしてもよい。
【００４５】
また、本実施形態においては、画像及び音声を出力する際に、表示部２の各領域における差分を検出するとともに全領域に対する相対値を算出し、この相対値に応じた割合で音声を随時分配して、画像とともに出力するようにしたが、予め、各領域の差分及び相対値を算出して得た音声の分配割合を、分配データとしてＲＡＭ１２に格納し、後に画像及び音声を出力する際に、この分配データに基づいて音声を分配して画像とともに出力するようにしてもよい。
【００４６】
また、本実施形態においては、画像の変化の割合に応じて音声を分配するようにしたが、多チャンネルで入力された音声を、対応する位置の各薄膜スピーカ４，５，６，７からそれぞれ出力するとともに、画像の変化の割合に応じた音量で各薄膜スピーカ４，５，６，７からそれぞれ音声を出力することにより、重み付けを行うようにしてもよい。さらに、ユーザの指示を入力する入力操作部を設け、この入力操作部からの入力指示により、画像の変化の割合に応じた音量による重み付けを行わない省エネルギーモードを選択できるようにしてもよい。
【００４７】
また、本実施形態においては、薄膜スピーカ４，５，６，７を４つ設けるようにしたが、薄膜スピーカの個数はこれに限定されるものではない。
【００４８】
さらに、１つの薄膜スピーカに透明の導電線により配線を施すことにより、複数の領域に分割し、それぞれの領域から異なる音量の音声を出力するように制御してもよい。
【００４９】
次に、本発明に係る画像表示装置の第２実施形態について説明する。
【００５０】
本実施形態に係る画像表示装置２０は、図４に示すように、画像を表示する表示部２１を有している。表示部２１としては、第１実施形態と同様に、各種ディスプレイが適用可能であるが、ここでは、電子ペーパーを例にして説明する。
【００５１】
表示部２１は、例えば、１対の電極間に異なる極性に帯電した着色粒子を封入して構成され、表示部駆動装置３９（図５参照）により、電極に電圧が印加されることによって着色粒子が移動して所定の画像が表示されるようになっている。
【００５２】
表示部２１の前面には、長手方向に４つ、長手方向と直交する方向に２つに分割されて、第１薄膜スピーカ２２、第２薄膜スピーカ２３、第３薄膜スピーカ２４、第４薄膜スピーカ２５、第５薄膜スピーカ２６、第６薄膜スピーカ２７、第７薄膜スピーカ２８、第８薄膜スピーカ２９がそれぞれ設けられている。各薄膜スピーカ２２〜２９は、第１実施形態の薄膜スピーカ４，５，６，７と同様に構成されており、スピーカ駆動装置３０（図５参照）により、それぞれの電極に導電線を介して電圧が印加されることによって、それぞれ独立して音声が出力されるようになっている。なお、導電線は、透明なものを用いるようにすれば、画像の表示を妨げることはない。
【００５３】
また、表示部の下方には、ユーザの指示を入力する入力操作部３１が設けられている。
【００５４】
図５は、本実施形態における画像表示装置２０を制御するための制御装置３１を示したものであり、この制御装置３１は、たとえば、ＣＰＵ３３、ＲＡＭ３４、ＲＯＭ３５からなり、ＲＯＭ３５に記録された処理プログラムをＲＡＭ３４に展開してＣＰＵ３３によりこの処理プログラムを実行する制御部３６を有している。
【００５５】
この制御部３６は、前述の処理プログラムに従い、表示部駆動装置３９、スピーカ駆動装置３０及びテキストデータと朗読音声データとが対応付けられて記憶された記憶装置３７等の動作状況等のステータスに基づいて、各構成の動作を制御するようになっている。
【００５６】
ＲＯＭ３５には、表示部２１に表示する文字に対応させて、いずれの薄膜スピーカ２２〜２９から朗読音声を出力させるかを決定するための朗読音声分配プログラム３８が記憶されている。
【００５７】
この朗読音声分配プログラム３８に従って、制御部３６は、表示部２１の朗読箇所に対応する文字が表示される位置から朗読音量を出力させるように、各薄膜スピーカ２２〜２９に対する朗読音声の分配処理を行うようになっている。
【００５８】
次に、本実施形態の作用について説明する。
【００５９】
図６に示すように、入力操作部３１からの指示入力によって記憶装置３７よりテキストデータが入力されると、このテキストデータに基づいて表示部駆動装置３９が制御され、所定の文章が表示部２１に表示される（Ｓ１０）。
【００６０】
次に、制御部３６により、表示部２１に表示された文章の先頭の単語が表示部２１のどの位置に存在するかが認識されるとともに（Ｓ１１）、当該単語に対応する朗読音声が、朗読音声データから検出される（Ｓ１２）。
【００６１】
次に、検出した当該単語に対応する朗読音声が、表示部２１の当該単語が存在する位置に対応する薄膜スピーカ２２〜２９から出力させるように、スピーカ駆動装置３０を制御されるようになっている（Ｓ１４）。これにより、文字から朗読音声が発せられているように視聴される。
【００６２】
そして、制御部３６は、表示部２１に表示された文章に次の単語があるかを判断し（Ｓ１４）、ない場合には、朗読音声の分配処理を終了し（Ｓ１５）、次の単語がある場合には、当該単語が表示部２１のどの位置に存在するかを認識し（Ｓ１６）、Ｓ１２〜Ｓ１４を繰り返すようになっている。
【００６３】
以上より、本実施形態によれば、表示部２１の朗読箇所に対応する文字が表示される位置から朗読音声が出力されるため、簡易な構成により、臨場感を得ることができる。
【００６４】
なお、本実施形態においては、表示部２１に表示された文章の先頭の単語から朗読音声の分配処理を行い、朗読音声を先頭から随時出力させるようにしたが、入力操作部３１より入力される朗読音声の再生指示、停止指示、先送り指示、後戻し指示に従って、朗読音声を途中から出力させるようにしてもよい。この場合、制御部３６は、出力されようとする朗読音声の先頭に対応する単語を、テキストデータから検出し、当該単語が表示部２１のどの位置に存在するかを認識して、表示部２１の当該単語が存在する位置に対応する薄膜スピーカ２２〜２９から朗読音声を出力させるようにするとよい。
【００６５】
【発明の効果】
請求項１に記載の発明によれば、薄膜スピーカは、表示部の前面又は表示部の裏面に対応する位置の少なくともいずれか一方に設けられており、画像が動画である場合に、各薄膜スピーカにそれぞれ対応する表示部の各領域における画像の変化量の、表示部の全領域の全変化量に対する相対値に基づいて、各薄膜スピーカから出力させる音声の音量を制御することで、表示部に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴されるため、画像の位置とより大きな音量で出力される音声の位置とが一致し、その結果、簡易な構成により、臨場感を得ることができる。
【００６６】
請求項２〜５に記載の発明によれば、表示部に表示された画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴されるため、簡易な構成により、臨場感を得ることができる。
【００６７】
請求項６に記載の発明によれば、動画において人の顔部分が表示される位置から、人の声がより大きな音量で出力されるため、簡易な構成により、臨場感を得ることができる。
【００７０】
請求項７に記載の発明によれば、表示部が薄膜ディスプレイであるため、かさばらずにすむとともに、薄膜ディスプレイに表示される画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴されるため、簡易な構成により、臨場感を得ることができる。
【００７１】
請求項８に記載の発明によれば、表示部が有機ＥＬディスプレイである場合も表示される画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴されるため、簡易な構成により、臨場感を得ることができる。
【００７２】
請求項９に記載の発明によれば、周囲のノイズが減少され、表示される画像のうち、変化量の大きい領域からより大きな音声が出力され、動いている画像から音声が発せられているように視聴される音声がより際立つため、簡易な構成により、臨場感を得ることができる。
【図面の簡単な説明】
【図１】本発明による画像表示装置の一実施形態の構成を示す図である。
【図２】第1実施形態の構成を示すブロック図である。
【図３】第1実施形態における音声分配処理の内容を示すフローチャートである。
【図４】本発明による画像表示装置の他の実施形態の構成を示す図である。
【図５】第２実施形態の構成を示すブロック図である。
【図６】第２実施形態における朗読音声分配処理の内容を示すフローチャートである。
【符号の説明】
１，２０画像表示装置
２，２１表示部
４〜７，２２〜２９薄膜スピーカ
１４，３６制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display device, and more particularly to an image display device that outputs sound together with an image.
[0002]
[Prior art]
2. Description of the Related Art In recent years, in an image display device, when outputting sound corresponding to an image displayed on a display unit, multi-channel sound is output in order to reproduce a realistic sound field. .
[0003]
Conventionally, as an image display device that outputs multi-channel sound, center speakers are respectively arranged on the upper and lower sides of the display unit, right speakers and left speakers are respectively arranged on both sides of the display unit, and a user There is known an image display device in which a rear speaker is disposed behind the rear panel .
[0005]
[Problems to be solved by the invention]
However, in the image display apparatus as described above , each speaker is arranged at a position away from the display unit, and sound is output away from the image, so that there is a limit in obtaining a sense of reality. In addition, it is necessary to secure a space for arranging the speakers, and there is a problem that the entire apparatus configuration becomes large.
[0006]
Therefore, an object of the present invention is to provide an image display device that can provide a sense of reality with a simple configuration.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, an image display device according to the present invention is an image display device having a display unit for displaying an image, and at least one of positions corresponding to the front surface of the display unit or the back surface of the display unit, In addition to providing two or more thin film speakers for outputting sound, a control unit for controlling the thin film speaker is provided, and when the image is a moving image, each of the display units respectively corresponding to the thin film speakers is provided. The sound volume output from each thin film speaker is controlled based on the relative value of the image change amount in the region with respect to the total change amount in the entire region of the display unit .
[0008]
According to the first aspect of the present invention, since the thin film speaker is provided in at least one of the positions corresponding to the front surface of the display unit or the back surface of the display unit, the space occupied by each thin film speaker can be reduced. . In addition, when the image is a moving image, the output from each thin film speaker is based on the relative value of the change amount of the image in each area of the display unit corresponding to each thin film speaker with respect to the total change amount in all areas of the display unit. By controlling the volume of the sound to be generated, a larger sound is output from a region having a large amount of change in the image displayed on the display unit, and the sound is heard as if the sound is emitted from the moving image.
[0009]
According to a second aspect of the present invention, in the image display device according to the first aspect, the control unit is configured to change the total amount of change in the entire region of the display unit in the amount of change in the image in each region of the display unit. The ratio of the amount of change in the image in each region is calculated based on the relative value with respect to, and the volume of the sound output from each thin film speaker is controlled based on the ratio .
[0010]
According to the second aspect of the invention, among the images displayed on the display unit, a larger sound is output from a region with a large amount of change, and the image is viewed as if sound is emitted from a moving image. .
[0011]
According to a third aspect of the present invention, in the image display device according to the first or second aspect of the present invention, the control unit is configured to correspond to the thin-film speaker with image data displayed on the display unit, respectively. The image data is divided into image data to be displayed in each area of the display unit, and a relative value with respect to the total change amount of the entire area of the display unit is calculated for each divided image data .
[0012]
According to the third aspect of the invention, among the images displayed on the display unit, a larger sound is output from a region with a large amount of change, and the image is viewed as if sound is emitted from a moving image. .
[0013]
According to a fourth aspect of the present invention, in the image display device according to the third aspect , the control unit integrates a difference between data values for each predetermined number of frames of the divided image data. An image change amount in each area of the display unit is calculated .
According to a fifth aspect of the present invention, in the image display device according to the fourth aspect of the present invention, the integration of the data value difference for each predetermined number of frames of the divided image data is performed in each area of the display unit. It is performed in the pixel of interest provided in.
According to the fourth and fifth aspects of the present invention, a larger sound is output from an area with a large amount of change in an image displayed on the display unit, and viewing is performed such that sound is emitted from a moving image. Is done.
[0014]
The invention according to claim 6 is the image display device according to any one of claims 1 to 5, wherein the control unit extracts a mouth part of a person from the moving image, and the display unit It is comprised so that an audio | voice may be output from the said thin film speaker corresponding to the part of the said mouth among all the area | regions.
According to the sixth aspect of the present invention, the human voice is output at a higher volume from the position where the human face portion is displayed.
[0017]
The invention according to claim 7 is the image display device according to any one of claims 1 to 6 , wherein the display unit is a thin film display.
[0018]
According to the invention described in claim 7 , since the thin film speaker is provided in at least one of the positions corresponding to the front surface of the display unit or the back surface of the display unit of the thin film display, it is not necessary to be bulky. Further, among the images displayed on the thin film display, a larger sound is output from a region with a large amount of change, and the image is viewed as if sound is emitted from a moving image.
[0019]
The invention according to claim 8 is the image display device according to any one of claims 1 to 7 , wherein the display unit is an organic EL display.
[0020]
According to the eighth aspect of the invention, among the images displayed on the organic EL display, a larger sound is output from a region having a large change amount, and the image is viewed as if sound is emitted from a moving image. The
[0021]
The invention according to claim 9 is the image display device according to any one of claims 1 to 8 , further comprising a sound collecting device for inputting ambient sounds, wherein the control unit is more than the sound collecting device. A sound for reducing noise is generated based on the input sound and is output from the speaker.
[0022]
According to the ninth aspect of the present invention, ambient noise is reduced, and in the displayed image, a larger sound is output from a region having a large amount of change, and a sound is emitted from a moving image. The audio that is watched by
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to FIGS. 1 to 6.
[0024]
FIG. 1 shows an embodiment of an image display device according to the present invention, and this image display device 1 has a display unit 2 for displaying images such as photographs, characters, pictures and the like. As the display unit 2, various displays such as a CRT display, a liquid crystal display (LCD), a plasma display (PDP), an organic electroluminescence (organic EL) display, and a field emission display (FED) can be applied. An explanation will be given by taking EL as an example.
[0025]
In the display unit 2, each RBG pixel is formed by an organic EL element, and a predetermined element emits light when a voltage is applied to an electrode of the predetermined organic EL element by the display unit driving device 3 (see FIG. 2). The image is displayed.
[0026]
A first thin film speaker 4, a second thin film speaker 5, a third thin film speaker 6, and a fourth thin film speaker 7 are respectively provided in four regions on the front, left, right, and right of the display unit 2. The thin film speakers 4, 5, 6, and 7 are made of, for example, a transparent plastic film (PVDF) having piezoelectric properties, and an electrode is formed on the surface of the PVDF by performing ion plasma treatment.
[0027]
Each thin film speaker 4, 5, 6, 7 outputs a sound independently by applying a voltage to each electrode through a conductive wire by the speaker driving device 8 (see FIG. 2). It has become so. Note that if the conductive lines are arranged outside the display unit 2, the display of the image is not hindered.
[0028]
A sound collecting device 9 (see FIG. 2) for inputting ambient sounds and converting them into electrical signals is provided on the back surface of the image display device 1.
[0029]
FIG. 2 shows a control device 10 for controlling the image display device 1 according to the present embodiment. The control device 10 includes, for example, a CPU 11, a RAM 12, and a ROM 13, and a processing program recorded in the ROM 13. Is stored in the RAM 12, and the CPU 11 executes the processing program.
[0030]
The control unit 14 controls the operation of each component based on the status such as the operation status of the display unit driving device 3 and the speaker driving device 8 in accordance with the processing program described above.
[0031]
The ROM 13 stores a sound distribution program 15 for determining how to output sound from any of the thin film speakers 4, 5, 6, 7 corresponding to the image displayed on the display unit 2. . In accordance with the sound distribution program 15, the control unit 14 causes the thin film speakers 4, 5, 6, and 7 corresponding to positions where the amount of change in the image displayed on the display unit 2 is large to be output with loud sound. Audio distribution processing for the speakers 4, 5, 6, and 7 is performed.
[0032]
The ROM 13 stores a noise cancellation program 16 for reducing ambient noise, and the control unit 14 performs noise cancellation processing according to the noise cancellation program 16. Specifically, the sound collecting device 9 is connected to the control unit 14, and the control unit 14 generates a noise canceling sound whose phase is inverted with respect to the sound input from the sound collecting device 9. The generated noise canceling sound is output from each of the thin film speakers 4, 5, 6 and 7 at the same volume level as the sound distribution ratio.
[0033]
Next, the operation of this embodiment will be described.
[0034]
As shown in FIG. 3, first, image data and audio data are input from the outside to the control unit 14 as needed (S1). Then, image data for the first 30 frames of the input image data is read (S2), and the control unit 14 displays an image at a position corresponding to the first thin film speaker 4 of the display unit 2. First image data, second image data for displaying an image at a position corresponding to the second thin film speaker 5, and third image data for displaying an image at a position corresponding to the third thin film speaker 6. Then, the image data is divided into fourth image data for displaying an image at a position corresponding to the fourth thin film speaker 7 (S3).
[0035]
As image data and audio data, for example, data recorded on a recording medium such as a DVD, data distributed from a server, or received analog signal of a television broadcast is converted to digital. And the like.
[0036]
When the image data is divided, differences R1, R2, R3, R4 in 30 frames of each divided image data are obtained by the control unit 14 (S4). The differences R1, R2, R3, and R4 are obtained, for example, by identifying and integrating differences between adjacent frames of the data value of the target pixel.
[0037]
Next, relative values S1 (= R1 / R0), S2 (= R2 / R0), S3 (= R3) of the differences R1, R2, R3, R4 with respect to the total difference R0 (= R1 + R2 + R3 + R4) of the image data in the 30 frames. / R0) and S4 (= R4 / R0) are respectively calculated by the control unit 14 (S5). Thereby, the ratio of the amount of change of the image in each area of the display unit 2 corresponding to each thin film speaker 4, 5, 6, 7 is obtained.
[0038]
Then, the display unit driving device 3 is controlled so that images for 30 frames are sequentially displayed on the display unit 2, and the first thin film speaker 4 has a volume corresponding to the relative value S 1 corresponding to this image. The speaker driving device 8 is controlled so that sound is output from the second thin film speaker 5 at a rate corresponding to the relative value S2, and from the third thin film speaker 6 at a rate corresponding to the relative value S3. the fourth thin speaker 7 at a rate corresponding to the value S4 so that voice is outputted, the speaker drive unit 8 is controlled respectively (S6). As a result, among the images displayed on the display unit 2, a larger sound is output from a region with a large amount of change, and the image is viewed as if sound is emitted from a moving image.
[0039]
Then, it is determined whether there is image data to be displayed next on the display unit 2 and audio data to be output from the thin film speakers 4, 5, 6 and 7 (S7). (S8) In some cases, the image data is advanced by 30 frames (S9), the image data for the next 30 frames is read (S2), and S3 to S7 are repeated.
[0040]
In parallel with the above operation, ambient sound is input from the sound collector 9 and a noise canceling sound having a phase reversed with respect to the sound input by the control unit 14 is generated. And the noise cancellation sound is output from each thin film speaker 4,5,6,7 with a sound in the ratio according to relative value S1, S2, S3, S4. Thereby, ambient noise is canceled and reduced.
[0041]
As described above, according to the present embodiment, the four thin film speakers 4, 5, 6, and 7 are provided on the front surface of the display unit 2, and each thin film speaker 4, 5 corresponds to the position of the changing image. , 6 and 7 are controlled in volume, and the position of the changing image coincides with the position of the sound output at a higher volume, so that a sense of reality can be obtained with a simple configuration.
In addition, since ambient noise is reduced and the sound output from the position of the displayed image is more prominent, it is possible to obtain a more realistic feeling.
[0042]
In the present embodiment, the control unit 14 distributes the sound based on the time-series difference. However, the control unit 14 determines whether or not a person's mouth is included in the image by the face extraction algorithm. If the portion determined to be a mouth changes, sound may be output from the thin film speakers 4, 5, 6, and 7 corresponding to the portion. In the case where the mouth portion of the person is changing, the voice is considered to be a human voice, so that the user can watch as if the voice is emitted from the mouth of the person. The mouth part is recognized by, for example, performing pattern matching using an average face image template, identifying the face area, and evaluating the density of nodes (feature points) of the recognized face area to determine the position of the mouth part. Do by specifying.
[0043]
Further, when the image is a still image, the control unit 14 determines whether or not a human face portion is included in the image and determines whether or not the voice includes a human voice. However, if it is included, the sound may be output from the thin film speakers 4, 5, 6, and 7 corresponding to the position where the human face portion of the display unit 2 is displayed. Note that the recognition of a human voice is performed, for example, by determining whether a specific frequency included in the human voice is included in the voice.
[0044]
In the present embodiment, the thin film speakers 4, 5, 6, and 7 are provided on the front surface of the display unit 2. However, the thin film speakers 4, 5, 6, and 7 are positions corresponding to the back surface of the display unit 2. You may make it provide in both, and you may make it provide in both.
[0045]
Further, in the present embodiment, when outputting an image and sound, a difference in each area of the display unit 2 is detected and a relative value with respect to the entire area is calculated, and the sound is distributed at any rate according to the relative value. In this case, the audio distribution ratio obtained by calculating the difference and relative value of each region is stored in the RAM 12 as distribution data in advance, and the image and audio are output later. The sound may be distributed based on the distribution data and output together with the image.
[0046]
In the present embodiment, the sound is distributed according to the rate of change of the image. However, the sound input in multiple channels is transmitted from each thin film speaker 4, 5, 6, 7 at the corresponding position. Weighting may be performed by outputting the sound from each of the thin film speakers 4, 5, 6, and 7 at a volume corresponding to the rate of change of the image as well as outputting. Furthermore, an input operation unit for inputting a user instruction may be provided, and an energy saving mode in which weighting according to the volume corresponding to the change rate of the image is not performed can be selected by the input instruction from the input operation unit.
[0047]
In the present embodiment, four thin film speakers 4, 5, 6, and 7 are provided, but the number of thin film speakers is not limited to this.
[0048]
Furthermore, it may be controlled so that a single thin-film speaker is divided into a plurality of areas by wiring with a transparent conductive wire, and sound of different volume is output from each area.
[0049]
Next, a second embodiment of the image display device according to the present invention will be described.
[0050]
As shown in FIG. 4, the image display device 20 according to the present embodiment includes a display unit 21 that displays an image. Various displays can be applied as the display unit 21 as in the first embodiment, but here, electronic paper will be described as an example.
[0051]
The display unit 21 is configured, for example, by enclosing colored particles charged in different polarities between a pair of electrodes, and the display unit driving device 39 (see FIG. 5) applies colored voltages to the electrodes. Moves so that a predetermined image is displayed.
[0052]
The front surface of the display unit 21 is divided into four in the longitudinal direction and two in the direction orthogonal to the longitudinal direction, and the first thin film speaker 22, the second thin film speaker 23, the third thin film speaker 24, and the fourth thin film speaker. 25, a fifth thin film speaker 26, a sixth thin film speaker 27, a seventh thin film speaker 28, and an eighth thin film speaker 29 are provided. Each of the thin film speakers 22 to 29 is configured in the same manner as the thin film speakers 4, 5, 6, and 7 of the first embodiment, and the speaker driving device 30 (see FIG. 5) connects each electrode with a conductive wire. The sound is output independently by applying the voltage. Note that the use of transparent conductive wires does not hinder the display of images.
[0053]
Further, an input operation unit 31 for inputting a user instruction is provided below the display unit.
[0054]
FIG. 5 shows a control device 31 for controlling the image display device 20 according to the present embodiment. The control device 31 includes, for example, a CPU 33, a RAM 34, and a ROM 35, and a processing program recorded in the ROM 35. Is stored in the RAM 34 and the CPU 33 executes the processing program.
[0055]
The control unit 36 is based on the status of the display unit driving device 39, the speaker driving device 30, and the storage device 37 in which the text data and the reading voice data are stored in association with each other according to the processing program described above. Thus, the operation of each component is controlled.
[0056]
The ROM 35 stores a reading voice distribution program 38 for determining which thin film speakers 22 to 29 are to output the reading voice in correspondence with the characters displayed on the display unit 21.
[0057]
In accordance with the reading voice distribution program 38, the control unit 36 performs the processing for distributing the reading voice to the thin film speakers 22 to 29 so that the reading volume is output from the position where the character corresponding to the reading position on the display unit 21 is displayed. To do.
[0058]
Next, the operation of this embodiment will be described.
[0059]
As shown in FIG. 6, when text data is input from the storage device 37 by an instruction input from the input operation unit 31, the display unit driving device 39 is controlled based on the text data, and a predetermined sentence is displayed on the display unit 21. (S10).
[0060]
Next, the control unit 36 recognizes where the first word of the sentence displayed on the display unit 21 is located on the display unit 21 (S11), and the reading voice corresponding to the word is read. It is detected from the voice data (S12).
[0061]
Next, the speaker driving device 30 is controlled so that the reading speech corresponding to the detected word is output from the thin film speakers 22 to 29 corresponding to the position where the word is present on the display unit 21. (S14). Thereby, it is viewed as if the reading voice is emitted from the characters.
[0062]
Then, the control unit 36 determines whether there is a next word in the sentence displayed on the display unit 21 (S14). If there is not, the distribution process of the reading voice is terminated (S15), and the next word is determined. In some cases, it is recognized where the word is present on the display unit 21 (S16), and S12 to S14 are repeated.
[0063]
As described above, according to the present embodiment, since the reading voice is output from the position where the character corresponding to the reading position on the display unit 21 is displayed, a sense of reality can be obtained with a simple configuration.
[0064]
In the present embodiment, the reading voice is distributed from the head word of the sentence displayed on the display unit 21 and the reading voice is output from the head at any time, but is input from the input operation unit 31. The reading voice may be output halfway in accordance with the reading instruction, the stop instruction, the forward instruction, and the backward instruction. In this case, the control unit 36 detects the word corresponding to the head of the reading speech to be output from the text data, recognizes where the word is present on the display unit 21, and displays the display unit 21. It is good to make it read the reading voice from the thin film speakers 22-29 corresponding to the position where the said word exists.
[0065]
【The invention's effect】
According to the first aspect of the present invention, the thin film speaker is provided in at least one of the positions corresponding to the front surface of the display unit or the back surface of the display unit , and each thin film speaker is an image that is a moving image. By controlling the volume of the sound output from each thin film speaker based on the relative value of the change amount of the image in each region of the display unit corresponding to the total change amount of the entire region of the display unit, the display unit Of the displayed images, since the larger sound is output from the region with the large amount of change and the sound is emitted from the moving image, the sound is output at the position of the image and at a higher volume. As a result, it is possible to obtain a sense of realism with a simple configuration.
[0066]
According to the second to fifth aspects of the present invention, a larger sound is output from a region having a large amount of change in an image displayed on the display unit, and viewing is performed such that sound is emitted from a moving image. to be, it can be by a simple structure, to obtain a sense of realism.
[0067]
According to the sixth aspect of the present invention, since the human voice is output at a higher volume from the position where the human face portion is displayed in the moving image, a sense of reality can be obtained with a simple configuration.
[0070]
According to the seventh aspect of the present invention, since the display unit is a thin film display, it is not bulky, and a larger sound is output from a region with a large amount of change in an image displayed on the thin film display, and the display unit moves. Since the image is viewed as if sound is emitted from the image, it is possible to obtain a sense of reality with a simple configuration.
[0071]
According to the eighth aspect of the present invention, even when the display unit is an organic EL display, a larger sound is output from a region having a large amount of change and a sound is emitted from a moving image. Therefore, it is possible to obtain a sense of realism with a simple configuration.
[0072]
According to the ninth aspect of the present invention, ambient noise is reduced, and in the displayed image, a larger sound is output from a region having a large amount of change, and a sound is emitted from a moving image. Since the audio that is viewed on the screen is more prominent, a sense of reality can be obtained with a simple configuration.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of an image display device according to the present invention.
FIG. 2 is a block diagram showing a configuration of the first embodiment.
FIG. 3 is a flowchart showing the contents of a voice distribution process in the first embodiment.
FIG. 4 is a diagram showing a configuration of another embodiment of an image display device according to the present invention.
FIG. 5 is a block diagram showing a configuration of a second embodiment.
FIG. 6 is a flowchart showing the contents of a recitation audio distribution process in the second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1,20 Image display apparatus 2,21 Display part 4-7, 22-29 Thin film speaker 14,36 Control part

Claims

In the image display device having a display unit for displaying an image, at least one of a position corresponding to the front surface of the display unit or the back surface of the display unit is provided with two or more thin film speakers for outputting sound, and the thin film A control unit for controlling a speaker is provided, and when the image is a moving image , the control unit is configured to control the amount of change in the image in each region of the display unit corresponding to each thin film speaker in the entire region of the display unit. An image display device that controls the volume of sound output from each of the thin film speakers based on a relative value with respect to the total amount of change .

The control unit calculates a ratio of an image change amount in each region based on a relative value of an image change amount in each region of the display unit with respect to the total change amount of the entire region of the display unit, and based on the ratio. The image display device according to claim 1, wherein the volume of sound output from each of the thin film speakers is controlled.

The control unit divides the image data to be displayed on the display unit into image data to be displayed in each region of the display unit corresponding to each thin film speaker, and for each divided image data, the entire display unit The image display device according to claim 1, wherein a relative value for each change amount of the region is calculated.

4. The control unit according to claim 3, wherein the control unit calculates a change amount of the image in each region of the display unit by adding up the difference of the data value for every predetermined number of frames of the divided image data. The image display device described.

5. The image display device according to claim 4, wherein the summation of the difference between the data values for a predetermined number of frames of each of the divided image data is performed in a pixel of interest provided in each area of the display unit. .

The control unit is configured to extract a portion of a person's mouth from the moving image, and to output sound from the thin film speaker corresponding to the portion of the mouth in the entire area of the display unit. The image display device according to any one of claims 1 to 5.

Wherein the display unit, the image display apparatus according to any one of claims 1 to 6, characterized in that a thin film display.

Wherein the display unit, the image display apparatus according to any one of claims 1 to 7, characterized in that an organic EL display.

A sound collecting device for inputting ambient sound is provided, and the control unit generates a sound for reducing noise based on the sound input from the sound collecting device and outputs the sound from the speaker. Item 9. The image display device according to any one of Items 1 to 8 .