JP5132804B1 - 映像処理装置および映像処理方法 - Google Patents

Abstract

【課題】視聴者が、良好な立体映像を容易に観察することができる映像処理装置を提供する。
【解決手段】一実施形態によれば、映像処理装置は、表示部と、開口制御部と、観測部と、視聴者検出部と、提示部と、視聴者選択部と、算出部と、視域制御部とを備える。表示部は、複数の視差画像を表示する。開口制御部は、表示部に表示された複数の視差画像を所定の方向に出力する。観測部は、一又は複数の視聴者を観測した観測画像を得る。視聴者検出部は、観測画像を用いて視聴者の位置を検出する。提示部は、観測画像を視聴者に提示する。視聴者選択部は、入力された視聴者選択信号に応じて、観測画像上の一又は複数の視聴者の中から一以上の視聴者を選択する。算出部は、選択された視聴者の位置に応じた領域に、複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する。視域制御部は、制御パラメータに応じて、視域を制御する。
【選択図】図２

Description

本発明の実施形態は、映像処理装置および映像処理方法に関する。

近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。このように視聴者が立体映像を見ることの可能な領域を視域という。

しかしながら、このような視域は限定的であるという問題がある。すなわち、例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体映像を正しく認識できなくなる観察位置である逆視領域が存在する。このため、裸眼方式の立体映像表示装置において、視聴者は、視聴位置によっては良好な立体映像を観察することが困難である。

特開平１１−３３１８７６号公報

本発明の目的は、視聴者が、良好な立体映像を容易に観察することができる映像処理装置および映像処理方法を提供することにある。

一実施形態によれば、映像処理装置は、表示部と、開口制御部と、観測部と、視聴者検出部と、提示部と、視聴者選択部と、算出部と、視域制御部とを備える。表示部は、複数の視差画像を表示する。開口制御部は、表示部に表示された複数の視差画像を所定の方向に出力する。観測部は、一又は複数の視聴者を観測した観測画像を得る。視聴者検出部は、観測画像を用いて視聴者の位置を検出する。提示部は、観測画像を視聴者に提示する。視聴者選択部は、入力された視聴者選択信号に応じて、観測画像上の一又は複数の視聴者の中から一以上の視聴者を選択する。算出部は、選択された視聴者の位置に応じた領域に、複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する。視域制御部は、制御パラメータに応じて、視域を制御する。前記視聴者選択部は、優先度付けルールに基づいて、前記選択された視聴者に優先度を付け、前記表示部と視聴者との間の距離である視聴距離が、前記複数の視差画像を立体的に見る上で最適な視聴距離に近い視聴者から順に高い優先度を付ける。前記算出部は、複数の視聴者が選択された場合、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう前記制御パラメータを算出不可能な場合、最も高い優先度が付けられた前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出する。

一実施形態に係る映像処理装置の外観図。 図１の映像処理装置の概略構成を示すブロック図。 一実施形態に係る液晶パネルおよびレンチキュラレンズの一部を上方から見た図。 一実施形態に係る液晶パネルの一部に表示された観測画像と俯瞰画像を示す図。 一実施形態に係る制御パラメータを算出する手法の一例を示す図。 一実施形態に係る視域調整方法を示すフローチャート。 一実施形態に係る優先度付けルールによる視聴者への優先度付けを説明するための図。 変形例に係る映像処理装置の概略構成を示すブロック図。

以下に、図面を参照して本発明の実施形態について説明する。これらの実施形態は、本発明を限定するものではない。

図１は、一実施形態に係る映像処理装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像処理装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。

液晶パネル（表示部）１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（図示せず）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。つまり、液晶パネル１は、複数の視差画像を表示する。

レンチキュラレンズ（開口制御部）２は液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。つまり、レンチキュラレンズ２は、液晶パネル１に表示された複数の視差画像を所定の方向に出力する。

本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。

以下の説明では、液晶パネル１の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。

一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。

なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。

また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。

図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。

図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。

実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。

そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。

例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。

また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。

このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図２のコントローラ１０により制御される。

図１に戻り、カメラ（観測部）３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。つまり、カメラ３は、一又は複数の視聴者を観測した観測画像（カメラ映像）を得る。ただし、カメラの取り付け位置は、上記位置に限定されるものではない。観測画像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。また、観測画像は、コントローラ１０を介して液晶パネル１に供給され、それにより視聴者に提示され、視域を調整すべき視聴者を選択するため等に用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。カメラ３は、可視カメラや赤外線カメラ等であってもよい。また、カメラ３の代わりにセンサやレーダ等を観測部として用いて観測画像を得てもよい。ただし、センサやレーダ等を用いる場合、直接観測画像を得ることができないため、ＣＧ（Computer Graphics）やアニメーション等を用いて観測画像を生成することが好ましい。

受光部（操作信号受信部）４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモートコントローラから送信される赤外線信号を受信する。赤外線信号は、立体映像を表示するか２次元映像を表示するか、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。また、赤外線信号は、視域を調整すべき視聴者を選択するための視聴者選択信号を含む。

図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者検出部１３と、算出部１４と、画像調整部１５と、視聴者選択部１６と、提示部１７と、記憶部１８とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。

チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像処理装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。

チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。

視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。

２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。

２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。

これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。

一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。

多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。

多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。

視聴者検出部１３は、カメラ３により観測された観測画像を用いて一又は複数の視聴者の位置及び顔等を検出し、その視聴者の位置情報及び顔情報等（視聴者認識情報）を視聴者選択部１６および提示部１７に供給する。視聴者検出部１３は、視聴者が動いても、視聴者の顔情報に基づいて追尾することが可能である。よって、後述するように、選択された視聴者に視域を追従させること（オートトラッキングモード）や、視聴者ごとの視聴時間を把握すること等もできる。

視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。より具体的には、視聴者検出部１３は、まず、観測画像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部１３は観測画像における顔の位置からＸ軸およびＹ軸上の位置を算出し、顔の大きさからＺ軸上の位置を算出する。視聴者が複数いる場合、視聴者検出部１３は、予め定めた数、例えば１０人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。

提示部１７は、カメラ３により観測された観測画像を液晶パネル１に供給して視聴者に提示する。その際、提示部１７は、視聴者検出部１３からの視聴者の位置情報に基づいて、観測画像上の位置が検出された視聴者の顔に枠を付けることができる。視聴者は、枠の有無により、自分が認識されているか否か分かる。

さらに、提示部１７は、視聴者の位置情報と、算出部１４からの現在設定されている視域のパターンを示す視域情報とを用いて、液晶パネル１と視域と視聴者との位置関係を表す俯瞰画像を生成する。そして、提示部１７は、この生成された俯瞰画像を液晶パネル１に供給して視聴者に提示する。つまり、この俯瞰画像は、液晶パネル１および視聴領域を上方から俯瞰した状態を示す画像である。視聴領域は、視聴者が液晶パネル１に表示されている画像を観察可能な領域である。視聴者は、俯瞰画像を見ることで、自分が視域に入っているか否か分かる。

提示部１７は、観測画像と俯瞰画像の少なくとも何れかを液晶パネル１に供給すればよい。これにより、液晶パネル１は、観測画像と俯瞰画像の少なくとも何れかを表示できる。観測画像および俯瞰画像は二次元の画像として表示される。なお、俯瞰図に関しては、立体画像（コンピュータ・グラフィックスのような三次元の画像）として表示してもよい。

図４は、液晶パネル１の一部に表示された観測画像と俯瞰画像を示す。一例として、上下に並べられた観測画像と俯瞰画像は、液晶パネル１の右側に表示されている。観測画像上の３人の視聴者２０Ａ，２０Ｂ，２０Ｃの顔には、それぞれ枠Ａ，Ｂ，Ｃが付されている。観測画像及び俯瞰画像上の視聴者２０Ｃの顔には、選択用の枠Ｓが付されている。図示する例では、俯瞰画像から分かるように、視聴者２０Ａは視域２１に入っていて立体映像を観察できる。視聴者２０Ｂは一部が視域２１に入っているが立体映像を観察できない可能性がある。視聴者２０Ｃは逆視領域２２に入っていて立体映像を観察できない。

観測画像と俯瞰画像は、左右に並べられてもよく、斜めに並べられてもよく、液晶パネル１の全面に表示されてもよい。また、観測画像と俯瞰画像は、放送波による映像等の他の映像上に重畳されてもよく、他の映像上に重畳されなくてもよい。

視聴者選択部１６は、入力された視聴者選択信号に応じて、観測画像または俯瞰画像上の一又は複数の視聴者の中から一以上の視聴者を選択する。例えば、視聴者選択信号は、リモートコントローラのカーソルボタンや決定ボタンを押した際に送信される信号である。具体的には、視聴者選択部１６は、視聴者検出部１３から供給された一又は複数の視聴者の位置情報の中から一以上の視聴者の位置情報を選択して、選択された視聴者の位置情報を算出部１４に供給する。

この時、提示部１７は、例えば図４に示すように、観測画像または俯瞰画像上において、ある視聴者に選択用の枠Ｓを付して、視聴者選択信号に応じて選択用の枠Ｓが付される視聴者を変更できる。これにより、視聴者は、例えばリモートコントローラのカーソルボタンを押すことで選択用の枠Ｓを移動させて、選択用の枠Ｓが所望の視聴者に付されている状態で決定ボタンを押すことで、その視聴者を選択できる。

視聴者選択信号は、液晶パネル１に表示させたタッチパネル等の信号入力部（図示せず）から入力されてもよい。

視聴者選択部１６は、視聴者選択信号に応じて、優先度を付けて一以上の視聴者を選択してもよい。この場合、例えば、視聴者が選択された順番に優先度を高く付けてもよい。あるいは、視聴者を選択する際に、視聴者がリモートコントローラを用いて優先度を入力するようにしてもよい。

また、視聴者選択部１６は、所定の優先度付けルールに基づいて、選択された視聴者に優先度を付けてもよい。優先度付けルールについては後述する。優先度付けルールは、予め設定されており、視聴者がメニュー画面等を用いて複数の優先度付けルールの中から所望のものを選択してもよいし、製品出荷時に所定の優先度付けルールを設定してもよい。

算出部１４は、視聴者選択部１６で選択された視聴者の位置に応じた領域に適切に視域が設定されるよう、制御パラメータを算出し、画像調整部１５に供給する。この制御パラメータは、例えば、図３で説明した視差画像をずらす量である。

より詳しくは、所望の視域を設定するために、算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部１８に予め格納されている。算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つける。算出部１４は、適切であると判断した視域を示す視域情報を、提示部１７に供給する。

図５は、制御パラメータを算出する手法の一例を示す図である。視聴者選択部１６で一人の視聴者が選択された場合について説明する。算出部１４は、視域データベースに格納された各視域について、視域と選択された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図５の例では、予め定めた図５（ａ）〜図５（ｅ）の５つの視域（網掛けの領域）のパターンのうち、視域を液晶パネル１に向かって左側に設定する図５（ｂ）において、選択された視聴者２０と視域とが重なる面積が最大となる。よって、算出部１４は図５（ｂ）の視域のパターンを適切な視域と判断する。この場合、図５（ｂ）の視域のパターンで視差画像を表示するための制御パラメータが図２の画像調整部１５に供給される。

算出部１４は、視聴者選択部１６で複数の視聴者が選択された場合、最初に、全ての選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する。即ち、算出部１４は、全ての選択された視聴者が平等に立体映像を観察可能なように制御パラメータを算出する。

しかし、選択された視聴者の数や位置によっては、視域を平等に設定不可能な場合がある。そこで、算出部１４は、全ての選択された視聴者の位置に応じた領域に視域が設定されるよう制御パラメータを算出不可能な場合、最も高い優先度が付けられた選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する。

例えば、図４の例において、３人の視聴者２０Ａ，２０Ｂ，２０Ｃが選択された場合、全ての選択された視聴者２０Ａ，２０Ｂ，２０Ｃの位置に応じた領域に視域２１が設定できない。つまり、視域２１を液晶パネル１に向かって図４の俯瞰画像の例より左側に設定して、視聴者２０Ｃが視域２１に入るようにした場合、視聴者２０Ｂが視域２１に入らないようになる。同様に、視域２１を液晶パネル１に向かって図４の例より右側に設定して、視聴者２０Ｂの全体が視域２１に入るようにした場合、視聴者２０Ｃが視域２１に入らない。よって、この例の場合、視聴者２０Ａの優先度が最も高いと仮定すると、視聴者２０Ａが視域２１に入るようにする。

なお、上述のように制御パラメータを算出不可能な場合に、算出部１４は、選択された視聴者のうち、優先度が相対的に低い視聴者を収めず、かつ優先度が相対的に高い視聴者を収める視域を設定するための制御パラメータを算出してもよい。例えば、まず、選択された視聴者のうち優先度が最も低い視聴者を除外して、残りの選択された視聴者が全て視域内に収まる視域を設定するための制御パラメータの算出を試みる。それでもなお制御パラメータを算出できない場合には、残った視聴者のうち最も優先度の低い視聴者を除外して、制御パラメータの算出を試みる。これを繰り返すことで、優先度が相対的に高い視聴者については常に視域内に収めることができる。

あるいは、算出部１４は、全ての選択された視聴者の位置に応じた領域に視域が設定されるよう制御パラメータを算出せずに、最初から、最も高い優先度が付けられた選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出してもよい。

画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。これにより、液晶パネル１は調整された視差画像信号に対応する複数の視差画像を表示する。

記憶部１８は、フラッシュメモリなどの不揮発性メモリであり、視域データベースの他、優先度付けルール、後述するユーザ登録情報、３Ｄ優先視聴者情報、初期視聴位置などを記憶する。この記憶部１８は、コントローラ１０の外部に設けられてもよい。

本実施形態の映像処理装置１００では、例えば、３次元視聴位置チェック機能を用いて視域を調整可能である。以下、図６を参照して３次元視聴位置チェック機能を用いた視域調整の方法について説明する。３次元視聴位置チェック機能は、例えば、リモートコントローラの所定のボタンを押すことで起動でき、液晶パネル１に観測画像と俯瞰画像の少なくとも何れかを表示した状態（例えば、図４の状態）で視域を調整可能なものである。

図６は、一実施形態に係る視域調整方法を示すフローチャートである。図６に示すように、まず、カメラ３により、一又は複数の視聴者を観測した観測画像を得る（ステップＳ１１）。

次に、視聴者検出部１３により、ステップＳ１１で得られた観測画像を用いて一又は複数の視聴者の位置を検出する（ステップＳ１２）。

次に、提示部１７により、観測画像と俯瞰画像の少なくとも何れかを液晶パネル１に供給して視聴者に提示する（ステップＳ１３）。

視聴者は、液晶パネル１に表示された観測画像と俯瞰画像の少なくとも何れかを見ながら、リモートコントローラのカーソルボタンや決定ボタン等を用いて、視域を調整すべき視聴者を選択する。つまり、視聴者選択部１６により、入力された視聴者選択信号に応じて、一又は複数の視聴者の中から一以上の視聴者を選択する（ステップＳ１４）。

その後、例えば視聴者がリモートコントローラの所定のボタンを押すと、選択された視聴者に視域が調整される。つまり、算出部１４により、選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する（ステップＳ１５）。

ステップＳ１５で制御パラメータを算出できた場合（ステップＳ１６；Ｙｅｓ）、ステップＳ１８に移行する。

ステップＳ１５で制御パラメータを算出不可能な場合（ステップＳ１６；Ｎｏ）、算出部１４により、最も高い優先度が付けられた選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する（ステップＳ１７）。前述のように、制御パラメータを算出不可能な場合として、例えば、複数の視聴者が選択された場合などがある。

ステップＳ１５，Ｓ１７において視域情報も更新されるため、俯瞰画像の視域も更新される。

次に、画像調整部１５により、ステップＳ１５またはステップＳ１７で算出された制御パラメータに応じて、視域を制御する（ステップＳ１８）。

そして、液晶パネル１により、視差画像を表示する（ステップＳ１９）。

３次元視聴位置チェック機能が起動されている時、例えばリモートコントローラの所定のボタンを押すと、チェック用の静止画が表示されるようにしてもよい。このチェック用の静止画は、複数の視差画像からなる。よって、視聴者は、この静止画が立体的に見えるか否か確認できる。

このようにして、選択された視聴者は、液晶パネル１に表示された複数の視差画像を立体的に見ることができる。

なお、映像処理装置１００は、選択された視聴者に視域が追従するように定期的に視域を調整するオートトラッキングモードを有してもよい。オートトラッキングモードが有効になっている場合、３次元視聴位置チェック機能においては、以上のステップＳ１１からステップＳ１９の一連の処理が定期的に繰り返される。従って、この場合、視聴者検出部１３により、一又は複数の視聴者の位置を定期的に検出するようになる（ステップＳ１２）。また、算出部１４により、一又は複数の視聴者の位置が検出される度に制御パラメータを算出するようになる（ステップＳ１５，Ｓ１７）。これにより、選択された視聴者が移動しても、その視聴者の位置に視域が追従するようなる。従って、３次元視聴位置チェック機能が終了された後、選択された視聴者が移動しても、この視聴者は複数の視差画像を立体的に見ることができる。３次元視聴位置チェック機能が終了された後は、ステップＳ１３とステップＳ１４の処理を除いたステップＳ１１，Ｓ１２，Ｓ１５〜Ｓ１９の一連の処理が定期的に繰り返されて、視域が調整される。

［優先度付けルール］
次に、上述した優先度付けルールの具体例（ａ）〜（ｈ）を列挙する。

（ａ）液晶パネル１の端よりも正面にいる視聴者の方が、高い視聴意欲を有している可能性が大きい。そこで、本優先度付けルールでは、図７（ａ）に示すように、液晶パネル１の正面方向にいる視聴者Ａから液晶パネル１の端にいる視聴者Ｂの順に高い優先度を付ける。
本優先度付けルールを採る場合、視聴者選択部１６は、例えば、視聴者の位置情報を用いて、液晶パネル１の表示面と、視聴者および液晶パネル１の中心を通る垂直方向の面とがなす角度（最大９０°）を求め、その角度が大きい視聴者から順に高い優先度を付ける。

（ｂ）立体映像を見る上で最適な視聴距離（液晶パネル１と視聴者との間の距離）に近い視聴者を優先する。本優先度付けルールでは、図７（ｂ）に示すように、視聴距離が立体映像を見る上で最適な視聴距離（最適視聴距離ｄ）に近い視聴者Ａから順に高い優先度を付ける。なお、最適視聴距離ｄの値は、液晶パネルのサイズ等の各種パラメータに依存するため、映像処理装置の製品ごとに異なる値が設定される。また、最適視聴距離ｄの値は、視聴者が設定してもよい。
本優先度付けルールを採る場合、視聴者選択部１６は、視聴者の位置情報に含まれるＺ軸上の位置と、最適視聴距離ｄとの差を求め、その差が小さい視聴者から順に高い優先度を付ける。

（ｃ）視聴時間が長い視聴者ほど、その番組に対して高い視聴意欲を有している可能性が大きい。そこで、本優先度付けルールでは、視聴時間が長い視聴者から順に高い優先度を付ける。視聴時間は、例えば、視聴中の番組の開始時間を基準として計算する。視聴中の番組の開始時間は、電子番組表（ＥＰＧ）等から取得可能である。また、視聴時間は、視聴中の番組が選局された時間を基準として計算してもよい。また、視聴時間は、映像表示装置１００の電源が投入され、映像表示を開始した時間を基準として計算してもよい。
本優先度付けルールを採る場合、視聴者選択部１６は、視聴者ごとに視聴時間を計算し、視聴時間が長い視聴者から順に高い優先度を付ける。

（ｄ）リモートコントローラを持っている視聴者は、リモートコントローラを操作して視聴チャンネルを選択するため、中心的な視聴者である可能性が大きい。そこで、本優先度付けルールでは、リモートコントローラを持っている視聴者、またはリモートコントローラに近い視聴者に最も高い優先度を付ける。
本優先度付けルールを採る場合、視聴者検出部１３は、リモートコントローラを持っている視聴者を認識し、その視聴者の視聴者認識情報を視聴者選択部１６に供給する。リモートコントローラを持っている視聴者の認識方法としては、リモートコントローラから発せられる赤外線もしくはリモートコントローラに予め設けられた目印をカメラ３で検出して、リモートコントローラ位置から最も近い視聴者を認識する方法、または、画像認識によってリモートコントローラを持っている視聴者を直接的に認識する方法などがある。そして、視聴者選択部１６は、リモートコントローラを持っている視聴者に最も高い優先度を付ける。なお、視聴者選択部１６は、リモートコントローラを持っている視聴者以外の視聴者については、例えばリモートコントローラに近い視聴者から順に高い優先度を付けるようにしてもよい。

（ｅ）映像処理装置１００のユーザに関する情報を、ユーザ登録情報として記憶部１８に記憶させることも可能である。このユーザ登録情報は、顔写真、及び、立体映像を視聴する優先度を示す３Ｄ視聴優先度などの情報を含むことができる。本優先度付けルールでは、この３Ｄ視聴優先度の高い視聴者を優先する。
本優先度付けルールを採る場合、視聴者検出部１３は、カメラ３で撮影された映像から各視聴者の顔情報を取得する。そして、視聴者検出部１３は、視聴者の各々について、顔情報とマッチングするユーザ登録情報の顔写真を検索することによりその視聴者の３Ｄ視聴優先度を記憶部１８から読み出す。そして、視聴者検出部１３は、各視聴者について、視聴者認識情報（位置情報）と３Ｄ視聴優先度の組み合わせを視聴者選択部１６に供給する。視聴者選択部１６は、３Ｄ視聴優先度が高い視聴者から順に高い優先度を付ける。なお、ユーザ登録情報のない視聴者については低め（あるいは最低）の優先度を付けてもよい。

（ｆ）映像処理装置１００およびソファーや椅子などの家具の配置状況によっては、液晶パネル１の正面からではなく斜め方向から視聴することが多くなる場合が想定される。そのような場合には、視域が液晶パネル１の斜め方向に設定される頻度が高くなる。そこで、本優先度付けルールでは、視域に頻繁に設定される場所にいる視聴者を優先する。
本優先度付けルールを採る場合、算出部１４は、例えば、制御パラメータを算出するごとに、算出された制御パラメータを記憶部１８に保存する。そして、視聴者選択部１６は、記憶部１８に保存された制御パラメータから、設定回数の多い視域を特定し、その視域内にいる視聴者に当該視域外にいる視聴者よりも高い優先度を付ける。

（ｇ）映像処理装置１００のユーザは、最も視聴しやすい位置などを初期視聴位置として設定することも可能である。本優先度付けルールでは、ユーザが初期視聴位置を予め設定しておき、その初期視聴位置に最も近い視聴者を優先する。
本優先度付けルールを採る場合、記憶部１８は、ユーザが設定した初期視聴位置に関する情報を保存する。視聴者選択部１６は、設定された初期視聴位置を記憶部１８から読み出し、その初期視聴位置に最も近い視聴者に高い優先度を付ける。

以上で説明したように、本実施形態によれば、カメラ３で視聴者を観測した観測画像と俯瞰画像の少なくとも何れかを液晶パネル１に表示して、視聴者が入力した視聴者選択信号に応じて、観測画像上または俯瞰画像上の視聴者の中から一以上の視聴者を選択するようにしている。その上で、選択された視聴者の位置に応じた領域に、複数の視差画像を立体的に見ることが可能な視域が設定されるようにしている。これにより、複数の視聴者が存在する場合に、視域を調整すべき視聴者を、視聴者が自由に選択できる。また、一人の視聴者がリモートコントローラを操作することで自分以外も含めた任意の視聴者に視域を調整することができるので、複数の視聴者がリモートコントローラを持ち替えて操作する手間が省ける。

さらに、選択された視聴者に優先度を付けるようにしているので、選択された複数の視聴者の一部が視域内に収まらない場合であっても、優先度の高い視聴者を視域内に必ず収めることで、優先度の高い視聴者は高品位の立体映像を見ることができる。

このように、以上で説明した実施形態によれば、視聴者が、良好な立体映像を容易に観察することができる。

（変形例）
上述した実施形態に対して様々な変更を加えることが可能である。以下、図面を適宜参照しながら、変形の一例について説明する。

上記実施形態ではレンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部として設けてもよい。また、図８は、図２の変形例である映像表示装置１００’の概略構成を示すブロック図である。同図に示すように、映像処理装置１００’のコントローラ１０’は、画像調整部１５の代わりに、視域制御部１５’を備える。この視域制御部１５’は、算出部１４により算出された制御パラメータに応じて開口制御部２’を制御する。この場合、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部２’との水平方向のずれ量等を制御パラメータとし、液晶パネル１に表示された視差画像の出力方向を制御することにより視域が制御される。このように、液晶パネル１に表示される視差画像の表示位置を調整する処理を行わず、視域制御部１５’により開口制御部２’を制御してもよい。

さらに、上記実施形態において、観測画像と俯瞰画像は液晶パネル１に表示されるとして説明したが、これに限られない。例えば、提示部１７は、観測画像と俯瞰画像の少なくとも何れかを、映像処理装置１００と有線または無線により接続された情報端末やパーソナルコンピュータ等に送信してもよい。この場合、視聴者は、情報端末に表示された観測画像と俯瞰画像の少なくとも何れかを見て、情報端末を操作することで視聴者を選択できる。そして、情報端末が視聴者選択信号を映像処理装置１００の操作信号受信部に向けて送信できる。また、リモートコントローラに液晶表示装置等を設けておき、提示部１７は、観測画像と俯瞰画像の少なくとも何れかをリモートコントローラに送信して、この液晶表示装置等に表示させて視聴者に提示してもよい。

これらの変形例によっても、上記実施形態と同様の効果が得られる。

上述した実施形態で説明したコントローラ１０の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、コントローラ１０の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、コントローラ１０の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 液晶パネル（表示部）
２ レンチキュラレンズ（開口制御部）
３ カメラ（観測部）
４ 受光部（操作信号受信部）
１０ コントローラ
１１ チューナデコーダ
１２ 視差画像変換部
１３ 視聴者検出部
１４ 算出部
１５ 画像調整部（視域制御部）
１６ 視聴者選択部
１７ 提示部
１８ 記憶部
１００ 映像処理装置

Claims (10)

1. 複数の視差画像を表示する表示部と、
   前記表示部に表示された前記複数の視差画像をある方向に出力する開口制御部と、
   一又は複数の視聴者を含む観測画像を得る観測部と、
   前記観測画像における前記一又は複数の視聴者の位置を検出する視聴者検出部と、
   前記観測画像を前記一又は複数の視聴者に提示する提示部と、
   視聴者選択信号に応じて、前記観測画像における一以上の視聴者を選択する視聴者選択部と、
   前記選択された一以上の視聴者の位置に応じた領域に、前記複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する算出部と、
   前記制御パラメータに応じて、前記視域を制御する視域制御部と、を備え、
   前記視聴者選択部は、優先度付けルールに基づいて、前記選択された視聴者に優先度を付け、前記表示部と視聴者との間の距離である視聴距離が、前記複数の視差画像を立体的に見る上で最適な視聴距離に近い視聴者から順に高い優先度を付け、
   前記算出部は、複数の視聴者が選択された場合、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう前記制御パラメータを算出不可能な場合、最も高い優先度が付けられた前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出する
   映像処理装置。
2. 前記提示部は、前記観測画像を前記表示部に供給し、
   前記表示部は前記観測画像を表示する
   請求項１に記載の映像処理装置。
3. 前記提示部は、前記一又は複数の視聴者の位置情報と、前記視域を示す視域情報とを用いて、前記表示部と、前記視域と、前記一又は複数の視聴者との位置関係を表す俯瞰画像を生成して、当該俯瞰画像を前記表示部に供給し、
   前記表示部は、前記観測画像と前記俯瞰画像とを表示する
   請求項２に記載の映像処理装置。
4. 前記視聴者検出部は、前記一又は複数の視聴者の位置を定期的に検出し、
   前記算出部は、前記一又は複数の視聴者の位置が検出される度に、前記制御パラメータを算出する
   請求項１に記載の映像処理装置。
5. 複数の視差画像を表示する表示部と、
   前記表示部に表示された前記複数の視差画像をある方向に出力する開口制御部と、
   一又は複数の視聴者を含む観測画像を得る観測部と、
   前記観測画像における前記一又は複数の視聴者の位置を検出する視聴者検出部と、
   前記観測画像を前記一又は複数の視聴者に提示する提示部と、
   視聴者選択信号に応じて、前記観測画像における一以上の視聴者を選択する視聴者選択部と、
   前記選択された一以上の視聴者の位置に応じた領域に、前記複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する算出部と、
   前記制御パラメータに応じて、前記視域を制御する視域制御部と、を備え、
   前記視聴者選択部は、優先度付けルールに基づいて、前記選択された視聴者に優先度を付け、視聴時間が長い視聴者から順に高い優先度を付け、
   前記算出部は、複数の視聴者が選択された場合、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう前記制御パラメータを算出不可能な場合、最も高い優先度が付けられた前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出する
   映像処理装置。
6. 前記提示部は、前記観測画像を前記表示部に供給し、
   前記表示部は前記観測画像を表示する
   請求項５に記載の映像処理装置。
7. 前記提示部は、前記一又は複数の視聴者の位置情報と、前記視域を示す視域情報とを用いて、前記表示部と、前記視域と、前記一又は複数の視聴者との位置関係を表す俯瞰画像を生成して、当該俯瞰画像を前記表示部に供給し、
   前記表示部は、前記観測画像と前記俯瞰画像とを表示する
   請求項６に記載の映像処理装置。
8. 前記視聴者検出部は、前記一又は複数の視聴者の位置を定期的に検出し、
   前記算出部は、前記一又は複数の視聴者の位置が検出される度に、前記制御パラメータを算出する
   請求項５に記載の映像処理装置。
9. 一又は複数の視聴者の画像を得、
   前記画像における前記一又は複数の視聴者の位置を検出し、
   前記画像を前記一又は複数の視聴者に提示し、
   視聴者選択信号に応じて、前記画像における一以上の視聴者を選択し、
   優先度付けルールに基づいて、前記選択された視聴者に優先度を付け、前記表示部と視聴者との間の距離である視聴距離が、前記複数の視差画像を立体的に見る上で最適な視聴距離に近い視聴者から順に高い優先度を付け、
   前記選択された視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出し、
   複数の視聴者が選択された場合、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう前記制御パラメータを算出不可能な場合、最も高い優先度が付けられた前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、
   前記制御パラメータに応じて、前記視域を制御する
   映像処理方法。
10. 一又は複数の視聴者の画像を得、
    前記画像における前記一又は複数の視聴者の位置を検出し、
    前記画像を前記一又は複数の視聴者に提示し、
    視聴者選択信号に応じて、前記画像における一以上の視聴者を選択し、
    優先度付けルールに基づいて、前記選択された視聴者に優先度を付け、視聴時間が長い視聴者から順に高い優先度を付け、
    前記選択された視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出し、
    複数の視聴者が選択された場合、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう前記制御パラメータを算出不可能な場合、最も高い優先度が付けられた前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出し、
    前記制御パラメータに応じて、前記視域を制御する
    映像処理方法。

Images