JP4978385B2 - 表示装置及び表示方法 - Google Patents

Description

本発明は複数の画面が配列された、マルチディスプレイにおいて視聴者に情報を効果的に呈示する表示装置及び表示方法に関する。

現在では放送コンテンツが多種多様になり、また、デジタルビデオレコーダ（ＤＶＲ）の普及によりユーザの好きな番組をいつでも見ることができるようになっている。一方、複数の映像を同時に見る手段としてマルチディスプレイ（多画面表示機能）がある。マルチディスプレイを用いることで複数の映像を同時に視聴することができる。また、特許文献１には２画面表示など複数の映像を表示した状態において、副画面の映像が特定シーン（ハイライトや番組開始など）にあることをユーザに通知する機能を備えた映像表示装置が開示されている。
特開２００６−３５２２０８号公報

しかしながら、マルチディスプレイで同時に複数の映像を視聴すると呈示される情報量が多すぎて情報取得がうまくできなくなる。これは視聴者は多くの画面を一度に見ようとするため、１つの画面を見る時間が少なくなるためである。よって視聴を適切にアシストすることが望まれる。

本発明の目的は、複数の映像を同時に視聴する場合に、好適な視聴を促すことができるようにすることにある。

上記の課題を解決するために本発明は、映像のトピック先頭を検出し、ＯＳＤ（on screen display）と入力音声と振動でトピックを通知する。また検出した情報種類に応じて通知を可変する。

本発明によって複数の映像を同時に視聴するときにより効率的に情報を取得することが期待できる。

以下に本発明の一実施の形態の例を、図１〜図１４を用いて説明する。図１は本実施の形態の例のシステムの全体構成図である。この例では、複数台のテレビジョン受像機１０を縦横マトリクス状に配置してある。具体的には、図１に示すように、縦３台×横３台の合計９台のテレビジョン受像機１０の表示画面を並べた構成としてある。
各テレビジョン受像機１０はそれぞれスピーカを有している。また、各テレビジョン受像機１０には固有のＩＤ番号が付与されており、それぞれ識別可能となっている。またそれぞれのテレビジョン受像機固有のＩＤ番号に対応させて、映像を記録するハードディスクレコーダ１２を複数台備えている。記録した映像を再生するときは、各ハードディスクレコーダ１２から出力される映像は分配機能をもつスイッチャ１３を通して各デレビジョン受像機１０に入力される。

また、ハードディスクレコーダ１２は各テレビジョン受像機１０に内蔵していてもよい。この場合、スイッチャ１３は必要ない。ユーザはリモートコントローラ１４によりどの画面の音声を聞くか（つまり主画面）を選択できる。また、リモートコントローラ１４のコマンドは図示しない分配器を通して各テレビジョン１０に分配される。また、図１に示すように、振動子つきの椅子２０を備える。振動子つきの椅子２０の詳細については後述するが、各テレビジョン受像機１０から供給されるコマンドで、椅子２０に内蔵された複数の振動子２１（図５）の振動状態を制御する。なお、図の例ではテレビジョン受像機１０やハードディスクレコーダ１２はそれぞれ９台設置されているが、これに限るものではない。また、本実施の形態の例では振動子つきの椅子２０はなくてもよい。

図２は本実施の形態の例における各テレビジョン受像機１０のブロック図である。図示したように、リモートコントロールコマンドを受信する制御部３０と、放送波を受信しえ、その受信した映像信号を出力するチューナ３１と、チューナ３１で受信した映像信号とハードディスクレコーダ３２からの映像信号とを選択する入力選択部３２と、入力選択部３２の出力を受信する画像解析部３３を有している。

入力選択部３２に供給される外部入力の映像信号は、ハードディスクレコーダ１２で再生した映像信号などである。画像解析部３３は、供給される映像信号から画像解析処理を行う。画像解析処理としては、例えば、番組のトピック先頭の検出処理や、検出画像がニュースであるか天気予報であるかという属性判定処理などを行う。判定部３４は自身のテレビジョン受像機１０での解析結果と他のテレビジョン受像機１０の画像解析部３３から供給される解析結果から、テーブル格納部３５に格納されているテーブルと照らし合わして呈示内容を決定する。なお、画像解析部３３での解析結果は、自身のテレビジョン受像機１０以外のテレビジョン受像機１０に供給する。

呈示部３６は判定部３５からの制御に従って、入力音声のボリュームや周波数を加工する処理、ＯＳＤによって描画したグラフィック（枠）を映像信号に重畳する処理、および椅子の振動子２１（後述）のコマンドデータを生成、送信する処理を行う。

次に、本実施の形態の構成による動作例について説明する。
本実施の形態の例は、マルチディスプレイで複数の番組を視聴している視聴者に対し、ある番組のトピックを検出して通知するようにしたものである。まず、図３及び図４を参照して、処理動作の概要を説明する。ここでいうトピックの先頭とは、番組の冒頭部分、一つの話題の区切りの冒頭部分である。またＣＭ（commercial message）後もトピックを含む。これは例えば図３に示したように、ニュース番組などでそれぞれのニュースの先頭部分の画面（４０〜４２）を検出する。

トピックの先頭を自動的に検出してユーザに通知することができるとユーザは通知により新しいトピックの出現を見逃す心配がなくなるため、一つ一つの映像に集中して視聴することが可能になり、結果的により多くの情報を取得することができる。つまり図４（ａ）に示したように、見逃すことを心配しながら複数の映像を見ようとすると、個々の映像に集中できずに視聴していると何も覚えられないということになる。しかし、図４（ｂ）に示したように適切なアシストによって画面を集中して見ることができ、複数の画面を見るときでも順に画面に集中することによって、情報の取得のロスを少なくすることができる。

さらに、トピックの先頭は特にニュースではトピック全体についての内容（概要やサマリ的な内容）であることが多い。トピックの先頭の内容を知ることができればその後の映像を見たときに内容を知らないで見るのに比べて効率良く理解することができ、同じ視聴時間でも高い理解度が得られる。次にトピックが検出された後の、通知にについて説明する。

（音声による通知）
音声にはそのコンテンツに関する情報が含まれており、その画面を目で見ないでも情報取得することができ、効果音で通知するよりも効率がよい。音声による通知を行うとユーザが視聴している画面の音声と重なりが生じるが、数秒であれば２チャンネル分の音声の理解は可能である。ただし、音声による通知では複数の通知タイミングが短い時間の間に重なったときに音が重なり逆にユーザは聞きにくくなる。したがって、複数の通知タイミングが重なる場合は、最初の通知は音声を含めた通知を行い、それ以降の通知においては画面による視覚的な通知や振動による通知のみを行う。音声にはアラーム音なども含まれる。

また、詳細は後述するが、スピーカを多数配列して、各スピーカから出力される音声の位相を制御することによって、任意の画面に音像を定位させることができる。

（振動による通知）
図５は振動子を有する椅子２０を概略的に示した図である。ユーザが座る椅子２０に複数個の振動子２１を埋めこんでおき、振動により通知する。このとき、振動子２１の配列は画面の配列と対応させておく。つまり例えば画面配列の上段かつ右端の画面に対応した振動子は座っているユーザが感じる上段かつ右端と同じである。

（検出した情報種類に応じて呈示を可変する）
検出した情報種類に応じて呈示を可変させることでさらに効率的に情報を取得することが可能になる。例えば番組の先頭か番組中のCM後かなどトピック先頭の種類によって呈示の仕方を変える。また、自分が特に所望している情報が出現したときとそうでない情報が出現したときで呈示の仕方を変えることが有効である。過去に視聴した情報と似た情報が出現したときと全く新規の情報が出現したときで呈示の仕方を変えることもできる。
呈示の変え方はメディア毎に以下のものがある。

ＯＳＤによる通知では表示パターンを変える（例えば画面の枠の色、点滅などのパターンを変える）。音声による通知では通知を行う画面の音量を変えたり、周波数を変える。また、振動による通知では通知を行う画面に対応する振動子の振動パターンを変える。

（トピック先頭検出の詳細）
トピック先頭を行う処理や構成は様々なものが考えられるが、ここでは次のようにして検出する。図６はトピック検出方法を説明する図である。まず映像の中でＣＭ４０の区間の検出を行い、ＣＭ４０の終了後をトピックの先頭４１とする。また画面内において、顔４３の検出と画面中央下部のテロップ４４によってトピック先頭を検出する。さらに画面の角に表示されるテロップ４５（時刻テロップかどうかは「：」の表示で判別することができる）を検出する。

マルチテレビで視聴するコンテンツがハードディスクに録画されたものである場合は、オフラインであらかじめトピックを検出しておくことも可能である。オフライン処理で検出する場合は未来の情報、つまり現在見ている映像より後の映像を使って検出できるためリアルタイム処理よりも高精度な検出が可能である。

次に、図７に各テレビジョン受像機１０における処理動作の例のフローチャートを示す。最初のステップＳ１ではリモートコントローラからコマンドを受けたか否かを判断する。コマンドを受け取った場合は次の主画面選択ステップＳ２に進む。コマンドを受け取っていなければトピック先頭検出ステップＳ５に進む。

主画面選択ステップＳ２では、受け取ったコマンドが主画面選択コマンド（どの画面の音声を聞きたいかのコマンド）であるか否かを判断し、主画面選択コマンドである場合は次の音声呈示ステップＳ３へ進む。そうでない場合はテレビジョン操作ステップＳ４へ進み、コマンドに応じてテレビジョン操作（例えばチャンネルの切り替え）を行う。ここまでの操作によって主画面が決定され番組を視聴できる。

次にトピック検出ステップＳ５でトピック検出を行う。トピック先頭が検出された場合、次の裏音声入力信号の切り替えステップＳ６に進む。トピック先頭が検出されない場合最初に戻る。

トピック先頭が検出された場合、音声切り替えステップＳ７で裏音声入力信号の切替えを行う。裏音声入力信号としてトピック先頭を検出したチャンネルの音声が入力される。音声基盤のスピーカ出力にはユーザが選択したチャンネルの音声が入力される。

次に属性分類ステップＳ８でトピック先頭が例えばニュースであるか天気予報であるかという、属性分類を行う。その結果から音声（裏音声入力信号）の前処理として呈示方法決定ステップＳ９に進む。ここでは音声の提示方法決定テーブルに基づいて呈示を行う。

次に、判断ステップＳ１０で、他の画面で通知しているか否かを判断する。他の画面で通知中でなければテーブル参照ステップＳ１２で、スピーカ出力パラメータテーブルを参照してスピーカから音声を出力する。通知中であればミュートステップＳ１１で音声出力をミュート（無音化）して最初のステップに戻る。

次に、図７のフローチャートで説明した音声呈示の具体的な例について説明する。図７のフローチャートにおいて、トピック先頭が検出された場合、どのように音声を呈示するかは、例えば図８に示した提示方法決定テーブルに基づいておこなう。例えば属性値が１のとき、ＯＳＤでは画面の枠を色Ｃ１、太さＢ１で表示する。ここでＣ１、Ｂ１は本実施の形態の例において設定したものであり、任意の色、太さで定義されている。音声は一定時間音声を出力する。また振動機能付き椅子は、例えば振動を一定時間ごとに発生させるパターンで振動させる。図中ではこれをＶ１として表している。

音声は図９に示したブロックを有する音声処理部にて行う。図示したように音声処理部は入力音声の周波数の変更を行う周波数操作部６１と、周波数が変更された音の音量を変化させる音量操作部６２と、属性値に応じたパラメータを格納するパラメータ格納部６３を有する。

周波数操作部６１、音量操作部６２ともにパラメータ格納部６３から転送されたパラメータに基づいて入力音声を操作する。操作された音声は音声提示部へ送られる。

次に図１０で示したように音声提示部は入力音声を遅延させる遅延操作部７２と、音量を変化させる音量操作部７３を有している。さらに入力音声の周波数を解析する周波数解析部７１と、パラメータ格納部７４を有している。

音声提示部で音声を出力するときはスピーカ出力パラメータテーブルに基づいて遅延量と音量を制御して最終的な出力を行う。これは、音声出力を行う画面が、自身のＩＤ番号と、どの画面が主画面として選択されているか、つまりリモートコントローラを通じてユーザが音声を聞きたい画面と、トピック先頭検出結果（どの画面でトピック先頭が検出されたか）から決定される。なお、スピーカ出力パラメータテーブルは図１０に示したパラメータ格納部７４において保持されている。

次にスピーカから音を出力する際について説明する。スピーカ１１から音を出力する際は、トピック検出を知らせるために対応する画面から音が出力されることが好ましい。これは例えば画面周辺に設置されたスピーカ１１（図１参照）から出力される音の位相を進めたり遅らせたりする、いわゆる位相制御によって行うことができる。

音声は主画面からも出力されているので、トピックの検出を知らせる音声は主画面の音声の音源からできるだけ遠ざけて出力されることが好ましい。これは図１１に示したように１つの画面１０の中で音像１５の位置を、他の音声の音像位置から離れるにようにする。例えば画面１０−１が主画面であり、画面の中央に音像が定位している。次に、画面１０−２でトピック検出があり、ユーザに音声で通知するときは画面１０−２の角に音像１５が定位するようにする。

このように音を出力する出力状態の例について次に説明する。図１２の例では、各画面が３行×３列のアレイ状になるように配置されているディスプレイ１０−１乃至１０−９には、それぞれ異なる番組の画像が表示されている。すなわち、図１２のマルチディスプレイ装置１においては、９個の画面が構成されており、９個の画面のうち、上段の左側のディスプレイ１０−１の画面（ディスプレイ１０−１に表示されている顔の画像）ＧＧ１が主画面として設定されている。

マルチスピーカ２は、主画面である、ディスプレイ１０−１の画面ＧＧ１に音像を定位させるように、ディスプレイ１０−１の画面ＧＧ１に対応する音声を、例えば、ディスプレイ１０−１の真上に配置されるスピーカ１１Ｌ−１及び１１Ｒ−１、ディスプレイ１０−１の真下に配置されるスピーカ１１Ｌ−７及び１１Ｒ−７、ディスプレイ１０−１の左右に配置されるスピーカ１１Ｌ−４及び１１Ｒ−４からのみ出力させる。なお、ハッチングがなされたスピーカ１１は、他のスピーカ１１よりも使用重要度が高いことを表しており、図４の例においては、使用重要度が高いスピーカ１１からのみ、音声が出力される例が示されている。

その際、マルチスピーカ２においては、ディスプレイ１０−１の左右に配置されるスピーカ１１Ｌ−４及び１１Ｒ−４に出力させる音声の音声信号に対して遅延操作を行い、ディスプレイ１０−１の上下に配置されるスピーカ１１Ｌ−１及び１１Ｒ−１並びにスピーカ１１Ｌ−７及び１１Ｒ−７に出力させる音声の音声信号に対して音量操作を行うことで、ディスプレイ１０−１に対する上下左右の音像定位が実現されている。

すなわち、人間の耳の配置などの聴覚的な特性より、人間においては、上下方向の知覚よりも左右方向の知覚のほうが優れており、このことが、音の方向を知覚する上で非常に顕著にあらわれることは過去の解析により自明となっている。したがって、遅延操作は、左右方向への音像定位に効果的であるが、上下方向にはさほど効果的ではない。

そこで、マルチスピーカ２においては、上下方向への音像定位を実現するために、上下に配置されたスピーカの音量操作を有効的に用いることで、上下方向へのロバストな音像定位が実現される。具体的には、マルチスピーカ２においては、各スピーカ１１（に出力される音声信号）に対して、主画面（図１２の場合、画面ＧＧ１）への上下左右の音像定位に対応して設定された音声信号の遅延操作及び音量操作のパラメータが割り当てられる。

図１３は、図１２の場合のスピーカに割り当てられるパラメータの例を示している。図１３の例においては、図１２の例におけるディスプレイ１０−１の左右に配置されるスピーカ１１Ｌ−４及び１１Ｒ−４、ディスプレイ１０−１の真上に配置されるスピーカ１１Ｌ−１及び１１Ｒ−１、並びに、ディスプレイ１０−１の真下に配置されるスピーカ１１Ｌ−７及び１１Ｒ−７の音量パラメータ及び遅延パラメータが示されている。なお、図示せぬその他のスピーカ１１の音量パラメータ及び遅延パラメータは「０」とされている。

スピーカ１１Ｌ−４には、「０．５」の音量パラメータと「０」の遅延パラメータが割り当てられ、スピーカ１１Ｒ−４には、「０．５」の音量パラメータと「５０」の遅延パラメータが割り当てられる。

また、スピーカ１１Ｌ−１及び１１Ｒ−１には、「０．９」の音量パラメータと「０」の遅延パラメータが割り当てられ、スピーカ１１Ｌ−７及び１１Ｒ−７には、「０．４」の音量パラメータと「０」の遅延パラメータが割り当てられる。

ここで、音量パラメータは、最大値を１とした場合の値が示されており、遅延パラメータは、サンプリング周波数４８kHzの音声に対する遅延サンプル量とされる。

すなわち、図１３の例の場合、左右方向に対しては、スピーカ１１Ｌ−４よりも、ディスプレイ１０−１の画面ＧＧ１からの距離が離れているスピーカ１１Ｒ−４を５０サンプル遅延させることで、ディスプレイ１０−１の画面ＧＧ１への音像定位がなされている。

上下方向に対しては、例えば、左右のスピーカ１１Ｌ−４及び１１Ｒ−４の音量パラメータ「０．５」を基準にすると、ディスプレイ１０−１の画面ＧＧ１からの距離が離れているスピーカ１１Ｌ−１および１１Ｒ−１の音量パラメータを「０．９」と基準よりも大きくさせ、スピーカ１１Ｌ−７および４１Ｒ−７の音量パラメータを「０．４」と基準よりも小さくさせることで、ディスプレイ１０−１の画面ＧＧ１への音像定位がなされている。

以上のように、マルチスピーカ２における音像定位は、両耳への時間到達差を利用した遅延操作と両耳へ到達する音声の音量差を用いた音量操作によって実現される。

マルチディスプレイ装置で視聴するコンテンツがハードディスクに録画されたものである場合は、オフライン処理によってあらかじめ検出しておくことも可能である。上記を実現するための例を以下に示す。

図１４はこの場合のシステムの全体構成図である。画像解析装置１６は、それぞれのハードディスクレコーダ１２が備えるハードディスクに録画された映像データを読み出し、トピック先頭検出処理と属性分類処理を行い、結果を付加データ（映像の識別子とタイムコードと属性値）としてハードディスクに記録するものである。図１４の例では、１つの画像解析装置１６で、全てのハードディスクに録画された映像データを解析する構成としたが、各ハードディスクレコーダ１２ごとに、個別の解析装置１６で解析を行ってもよい。
画像解析装置１６で解析を行う処理内容に関しては、既に説明した図２の画像解析部３３で解析処理と同じ機能である。したがって、個々のテレビジョンの画像解析部においては検出処理を行う必要はなく映像とともに記録されている付加データの属性値をリードするだけでよい。

本発明の一実施の形態のシステムの全体構成図である。例において、トピックの先頭を示した図である。 本発明の一実施の形態におけるテレビジョン受像機の構成例を示したブロック図である。 一実施の形態の例における表示例を示す説明図である。 一実施の形態の例におけるマルチディスプレイで複数の番組を視聴している状態の例を示した概念図である。 一実施の形態の例の振動子を有する椅子の構成例を示した斜視図である。 一実施の形態の例におけるトピック検出処理状態を示す説明図である。 一実施の形態の例の各テレビジョン受像機における処理例を示したフローチャートである。 一実施の形態の例において、トピックの先頭をユーザに呈示するときの、呈示方法決定テーブルの一例を示した図である。 一実施の形態の例において、音声処理部の構成例を示したブロック図である。 一実施の形態の例において、音声提示部の構成例を示したブロック図である。 一実施の形態の例において、トピックの検出を知らせる音声の、マルチディスプレイ上の音像を示した説明図である。 一実施の形態の例において、トピックを知らせる音声の、マルチディスプレイ上の音像を示した説明図である。 一実施の形態の例において、各スピーカに割り当てられるパラメータの例を示した説明図である。 一実施の形態の例において、ハードディスクレコーダに録画された映像を表示する場合に適用される全体構成図である。

符号の説明

１０・・・テレビジョン、１１・・・スピーカ、２０・・・振動機能付きいす、２１・・・振動子、３０・・・制御部、３１・・・チューナ、３２・・・入力選択部、３３・・・画像解析部、３４・・・判定部、３５・・・テーブル格納部、３６・・・提示部

Claims (4)

1. 複数の画像を縦横マトリクス状に並べて表示するマルチディスプレイ部と、
   前記マルチディスプレイ部が表示するそれぞれの画像のトピックの先頭を検出する画像解析部と、
   前記画像解析部で検出したトピックの属性に対応した呈示パラメータを格納するテーブル格納部と、
   前記画像解析部で検出したトピックと、前記テーブル格納部に格納されたパラメータとを対応させて呈示内容を決定する判定部と、
   前記マルチディスプレイ部が表示する複数の画像の内の主画像の音声を出力すると共に、前記画像解析部で前記主画像以外の画像のトピックの先頭を検出した場合、前記判定部で決定した呈示内容に基づいて、そのトピックの先頭を検出した画像の音声を一時的に出力する音声出力部と、
   前記マルチディスプレイ部の縦横マトリクス状の複数の画像の配置に対応して、複数の振動子を縦横マトリクス状に配置した椅子とを有し、
   前記音声出力部は、音像が定位する位置の設定が可能であり、
   前記主画像の音声の音像を、前記マルチディスプレイ部の画面の中央に定位させ、
   前記トピックの先頭を検出した画像の音声を、前記中央以外の位置に定位させ、
   前記トピックの先頭を検出した画像の音声の出力に連動して、縦横マトリクス状に配置した前記振動子の内の、そのトピックの先頭を検出した画像の配置位置に対応した前記振動子を振動させる
   表示装置。
2. 前記振動子の振動パターンを、判定部が判定した呈示内容により変更する
   請求項１に記載の表示装置。
3. マルチディスプレイ部に複数の画像を縦横マトリクス状に並べて表示し、前記マルチディスプレイ部の複数の画像の配置に対応して、椅子に縦横マトリクス状に複数の振動子を配置し、
   前記表示した複数の画像の内の主画像の音声を出力すると共に、
   前記マルチディスプレイ部が表示する前記主画像以外の画像のトピックの先頭を検出した際に、その検出したトピックの属性に対応した呈示パラメータから呈示内容を決定し、そのトピックの先頭を検出した画像の音声を前記呈示内容で一時的に出力し、
   前記主画像の音声の音像を、前記マルチディスプレイ部の画面の中央に定位させ、
   前記トピックの先頭を検出した画像の音声を、前記中央以外の位置に定位させ、
   前記トピックの先頭を検出した画像の音声の出力に連動して、縦横マトリクス状に配置した前記振動子の内の、そのトピックの先頭を検出した画像の配置位置に対応した前記振動子を振動させる
   表示方法。
4. 前記振動子の振動パターンを、判定部が判定した呈示内容により変更する
   請求項３に記載の表示方法。

Images