JP5129377B1 - 映像処理装置 - Google Patents

Abstract

【課題】カメラの位置ずれを容易に補正し、視聴者が良好な立体映像を見ることを可能にする映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、映像処理装置は、カメラで撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する視聴者検出部と、前記カメラの取り付け位置のずれに伴う前記位置情報の誤差を補償するための補正量を算出する補正量算出部と、前記補正量算出部により算出された前記補正量を用いて前記位置情報を補正する、位置情報補正部と、前記位置情報補正部により補正された位置情報を用いて、前記視聴者を収める視域を設定するための制御パラメータを算出する視域情報算出部と、前記制御パラメータに応じて視域を制御する視域制御部と、を備える。
【選択図】図２

Description

本発明の実施形態は、映像処理装置に関する。

近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像（視差画像）を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。このように視聴者が立体映像を見ることの可能な領域を視域という。

この視域は制限された領域であり、視聴者が視域の外にいる場合、立体映像を見ることはできない。このため、立体映像表示装置は、立体映像表示装置に設けられたカメラを用いて視聴者の位置を検出し、視聴者が視域内に入るように視域を制御する機能を有する（フェイス・トラッキング機能）。

しかしながら、カメラの交換などにより、カメラの取り付け位置がずれることがある。この場合、カメラの位置ずれ量に応じて、視聴者の位置が誤って認識される。このため、視聴者の位置に基づいて生成された視域に視聴者が入らず、その結果、視聴者が良好な立体映像を見ることができないおそれがある。

特開２００７−９４０２２号公報

カメラの位置ずれを容易に補正し、視聴者が良好な立体映像を見ることを可能にする映像処理装置を提供する。

実施形態によれば、映像処理装置は、カメラで撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する視聴者検出部と、前記カメラの取り付け位置のずれに伴う前記位置情報の誤差を補償するための補正量を算出する補正量算出部と、前記補正量算出部により算出された前記補正量を用いて、前記位置情報を補正する位置情報補正部と、前記位置情報補正部により補正された位置情報を用いて、前記視聴者を収める視域を設定するための制御パラメータを算出する視域情報算出部と、前記制御パラメータに応じて視域を制御する視域制御部と、前記視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する表示部であって、複数の視差画像から構成され、前記複数の視差画像のうち中心の２枚の視差画像がそれ以外の視差画像にない共通のガイド文字を有する３Ｄ視聴位置チェック画面を表示する、表示部と、前記表示部に表示された複数の視差画像を所定の方向に出力する開口制御部と、を備える。

一実施形態に係る映像処理装置１００の外観図である。 一実施形態に係る映像処理装置１００の概略構成を示すブロック図である。 液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。 映像処理装置の視聴領域Ｐにおける複数の視域２１の一例を示す上面図である。 変形例に係る映像処理装置１００’の概略構成を示すブロック図である。 一実施形態に係るカメラキャリブレーション方法を示すフローチャートである。 図６Ａに続く、一実施形態に係るラキャリブレーション方法を示すフローチャートである。 ３Ｄ視聴位置チェック画面の一例を示す。 （１）〜（９）はそれぞれ３Ｄ視聴位置チェック画面の第１〜第９視差画像を示す。 （ａ）および（ｂ）ともに、３Ｄ視聴位置チェック画面の第１〜第９視差画像の光線と、視聴者２０とを上方から見た図である。 スライドバーが表示された３Ｄ視聴位置チェック画面の一例を示す。 （１）および（２）ともに、３Ｄ視聴位置チェック画面の第１〜第９視差画像の光線と、視聴者２０とを上方から見た図である。 補正量を算出するための各パラメータの関係を示した図である。 変形例に係るカメラキャリブレーション方法を示すフローチャートである。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

図１は、一実施形態に係る映像表示装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像表示装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。

液晶パネル（表示部）１は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。

レンチキュラレンズ（開口制御部）２は、液晶パネル１（表示部）に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ２は、液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。

本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。

以下の説明では、液晶パネル１の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。

一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。

なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。

また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。

図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。

図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。

実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。

そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。

例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。

また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。

このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には、図４に示すように、複数の視域２１が視聴領域Ｐに存在し、これらは連動して移動する。視域は、後述する図２のコントローラ１０により制御される。なお、視域２１以外の視聴領域は、逆視やクロストーク等の発生により、良好な立体映像を見ることが困難な逆視領域２２である。

図１に戻り、映像処理装置１００の各構成要素について説明する。

カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。

受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示するか、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。

次に、コントローラ１０の構成要素の詳細について説明する。図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者検出部１３と、視域情報算出部１４と、画像調整部１５と、位置情報補正部１６と、記憶部１７と、補正量算出部１８とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。

チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像表示装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。

チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。

視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。

２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。

２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。

これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。

一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。

多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。

多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。

視聴者検出部１３は、カメラ３により撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する。この位置情報は、後述の位置情報補正部１６および補正量算出部１８に供給される。なお、視聴者検出部１３は、視聴者が動いても追尾することが可能であるため、視聴者ごとの視聴時間を把握することもできる。

視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。図４に示す視聴者２０の位置は、座標（Ｘ１，Ｙ１，Ｚ１）で表される。より具体的には、視聴者検出部１３は、まず、カメラ３により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部１３は映像における視聴者の位置からＸ軸およびＹ軸上の位置（Ｘ１，Ｙ１）を算出し、顔の大きさからＺ軸上の位置（Ｚ１）を算出する。視聴者が複数いる場合、視聴者検出部１３は、予め定めた数、例えば１０人分の視聴者を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。

視域情報算出部１４は、後述の位置情報補正部１６から供給された視聴者の位置情報を用いて、検出された視聴者を収める視域を設定するための制御パラメータを算出する。この制御パラメータは、例えば、図３で説明した視差画像をずらす量であり、１つのパラメータ、または複数のパラメータの組み合わせである。そして、視域情報算出部１４は、算出した制御パラメータを画像調整部１５に供給する。

より詳しくは、所望の視域を設定するために、視域情報算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部１７に予め格納されている。視域情報算出部１４は、視域データベースを検索することによって、視聴者を収めることの可能な視域を見つける。

画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。液晶パネル１は調整された視差画像信号に対応する画像を表示する。

位置情報補正部１６は、後述の補正量算出部１８により算出された補正量を用いて、視聴者検出部１３により取得された視聴者の位置情報を補正し、補正された位置情報を視域情報算出部１４に供給する。なお、補正量の算出をまだ行っていない場合には、位置情報補正部１６は、視聴者検出部１３により取得された視聴者の位置情報をそのまま視域情報算出部１４に供給する。

記憶部１７は、フラッシュメモリなどの不揮発性メモリであり、視域データベース、位置情報の補正量などを記憶する。なお、この記憶部１７は、コントローラ１０の外部に設けられてもよい。

補正量算出部１８は、カメラ３の取り付け位置のずれに伴って発生する、視聴者の位置情報の誤差を補償するための補正量を算出する。この補正量の算出には、後で詳しく説明するように、（ａ）視聴者は移動せず、視差画像の出力方向を変える方式と、（ｂ）視差画像の出力方向は変えず、視聴者が移動する方式とがある。なお、ここでいう取り付け位置のずれは、カメラの取り付け方向のずれ（光軸のずれ）を含む。

以上、映像処理装置１００の構成について説明した。本実施形態ではレンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部２’として設けてもよい。図５は、図２に示す本実施形態の変形例である映像処理装置１００’の概略構成を示すブロック図である。同図に示すように、映像処理装置１００’のコントローラ１０’は、画像調整部１５の代わりに、視域制御部１５’を備える。この視域制御部１５’は、視域情報算出部１４により算出された制御パラメータに応じて開口制御部２’を制御する。本変形例の場合、制御パラメータは、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部２’との水平方向のずれ量などである。

本変形例では、液晶パネル１に表示された視差画像の出力方向を、開口制御部２’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部１５’により開口制御部２’を制御してもよい。

次に、上記のように構成された映像処理装置１００（１００’）による映像処理方法（カメラのキャリブレーション方法）について、図６Ａおよび図６Ｂのフローチャートを用いて説明する。

（１）液晶パネル１は、３Ｄ視聴位置チェック画面（３Ｄテストパターン）を表示する（ステップＳ１）。３Ｄ視聴位置チェック画面は、立体視用のテスト画像であり、複数の視差画像（例えば、第１〜第９視差画像）から構成される。さらに、３Ｄ視聴位置チェック画面には、どの視差画像が目に入っているかを示すガイド文字が表示される。ここでいうガイド文字は、文字に限らず、図７および図８で例示するように二重丸、丸、三角などの記号でもよいし、その他、絵、模様、色彩など視聴者が判別できるものも含む。

また、３Ｄ視聴位置チェック画面には、好ましくは、視聴者が所定の位置でカメラ調整キーを押下することを促すメッセージを表示する。例えば、「１ｍ程度離れて、なるべく正面付近でカメラ調整キーを押して下さい。」と表示する。

図７は、３Ｄ視聴位置チェック画面の一例を示している。３Ｄ視聴位置チェック画面は、ガイド文字３２を表示するためのガイド表示部３１を含む。また、図７に示すように、３Ｄ視聴位置チェック画面は、球体や柱体等の立体映像を含んでもよい。

図８は、９視差の場合の３Ｄ視聴位置チェック画面であり、図８（１）〜（９）は第１〜第９視差画像をそれぞれ示している。第４視差画像（図８（４））および第５視差画像（図８（５））は、視域内の最適な視聴位置（例えば視域の中心）であることを示す二重丸のガイド文字が表示される。最適な視聴位置から外れるにつれて、ガイド文字は丸、三角、バツとなる。図８（９）では、ガイド表示部３１も表示されない。なお、第５視差画像および第６視差画像に、視域内の最適な視聴位置であることを示すガイド文字（例えば二重丸）を表示してもよい。

このように、３Ｄ視聴位置チェック画面は複数の視差画像から構成され、中心の２枚の視差画像はそれ以外の視差画像にない共通のガイド文字（上記の例では二重丸）を有する。ここで、中心の２枚の視差画像とは、ほぼ中央の視野を表示する２枚の視差画像である。一般的に言えば、３Ｄ視聴位置チェック画面が第１〜第ｎ視差画像から構成される場合、中心の２枚の視差画像は、ｎが奇数のとき、第（ｎ＋１）／２視差画像および第（ｎ＋１）／２−１視差画像（若しくは第（ｎ＋１）／２＋１視差画像）であり、ｎが偶数のとき、第ｎ／２視差画像および第ｎ／２＋１視差画像である。

（２）受光部４は、リモコンから送信される赤外線信号を受信し、リモコンのカメラ調整キーが押下されたか否かを判定する（ステップＳ２）。カメラ調整キーが押下されたならば、ステップＳ３に進む。なお、リモコンのカメラ調整キーを押下する代わりに、同様の機能をもつ項目をメニュー画面から選択してもよい。

（３）視聴者検出部１３は、カメラ３により撮影された映像（カメラ映像）を用いて顔認識を行い、視聴者の位置情報（Ｘ１，Ｙ１，Ｚ１）を算出する（ステップＳ３）。そして、視聴者を検出したか否かを判定し（ステップＳ４）、視聴者を検出すれば、ステップＳ６に進む。一方、視聴者を検出しないならば、液晶パネル１はエラーメッセージ（例えば「顔認識できません。」）を表示する（ステップＳ５）。

（４）視聴者検出部１３は、視聴者が１人であるか否かを判定する（ステップＳ６）。その結果、視聴者が１人であれば、ステップＳ９に進み、一方、視聴者が複数人であれば、液晶パネル１はエラーメッセージ（例えば「カメラ調整は、１人の場合に実施可能です。」）を表示する（ステップＳ７）。なお、ステップＳ５およびステップＳ７のエラーメッセージの表示に続いて、カメラ映像および顔認識の状態（例えば、認識された視聴者の顔に付けられた枠模様）を液晶パネル１に表示してもよい（ステップＳ８）。

（５）ステップＳ３で得られた視聴者の位置情報に基づいて、視域を生成する（ステップＳ９）。具体的には、視域情報算出部１４が、視聴者検出部１３により取得された位置情報に基づいて、視域を設定するための制御パラメータを算出する。その後、前述のようにして、算出された制御パラメータをもとに視域を生成する。

図９（ａ）および（ｂ）は、３Ｄ視聴位置チェック画面の第１〜第９視差画像の光線と、視聴者２０とを上方から見た図である。図９（ａ）および（ｂ）において、符号（１）〜（９）はそれぞれ、図８（１）〜（９）に示す視差画像の光線である。

カメラ３の位置ずれがない場合には、図９（ａ）に示すように、視聴者２０の右目には第４視差画像が入り、左目には第５視差画像が入るため、視聴者２０はガイド表示部３１内に二重丸のガイド文字３２を見ることになる。一方、図９（ｂ）に示すように、カメラ３が映像処理装置１００から見て右方向にずれている場合には、視聴者検出部１３は、カメラ３の位置ずれのない場合に比べて視聴者２０が左方向にいると認識する。このため、第１〜第９視差画像は、カメラ３のずれ分だけ、映像処理装置１００から見て左側に出力される。図９（ｂ）の場合、視聴者の右目には第６視差画像が入り、左目には第７視差画像が入るため、視聴者は、右目で丸印、左目で三角印をみることになる。

（６）視域が生成された後、液晶パネル１は、３Ｄ視聴位置チェック画面に、カメラ調整用のスライドバーを表示する（ステップＳ１０）。また、本実施形態におけるカメラキャリブレーションは視聴者の位置が変化しないことが前提であるので、視聴者がカメラ調整中に視聴位置を変えないように、メッセージ（例えば「視聴位置を変えずに、カメラ調整をして下さい。」）を３Ｄ視聴位置チェック画面上に表示する。

図１０は、スライドバーを表示した３Ｄ視聴位置チェック画面（カメラ調整画面）の一例を示している。図１０に示すように、３Ｄ視聴位置チェック画面の下部に、ツマミ３４を含むスライドバー３３が設けられる。視聴者は、リモコンの方向キーなどにより、ツマミ３４の位置を左右に移動させることが可能である。このツマミ３４を移動させることで、３Ｄ視聴位置チェック画面の第１〜第９視差画像の出力方向を変えることができる。即ち、視域を移動させることができる。例えば、視聴者がツマミ３４をスライドバー３３の中心から左側に移動させると、第１〜第９視差画像は視聴者から見て左方向に出力され、視聴者がツマミ３４をスライドバー３３の中心から右側に移動させると、第１〜第９視差画像は視聴者から見て右方向に出力される。

また、ツマミ３４は、カメラ調整を初めて行う場合には、スライドバー３３の中心に表示され、カメラ調整を行ったことがある場合には、前回算出された補正量に対応する位置に表示される。

（７）画像調整部１５（視域制御部１５’）は、ツマミ３４の位置が変化したか否かを判定し（ステップＳ１１）、ツマミ３４の位置が変化した場合にはステップＳ１２に進む。

（８）ツマミ３４の位置が変化すると、画像調整部１５（視域制御部１５’）は、ツマミ３４の位置に応じて、第１〜第９視差画像の出力方向を変化させる（ステップＳ１２）。即ち、画像調整部１５（視域制御部１５’）は、視聴位置を変えない視聴者からの指示に応じて、３Ｄ視聴位置チェック画面の第１〜第９視差画像の出力方向を変化させる。

ツマミ３４の位置と、３Ｄ視聴位置チェック画面の第１〜第９視差画像の出力方向との関係について、図１１を用いて説明する。図１１（１）および（２）は、３Ｄ視聴位置チェック画面の第１〜第９視差画像の光線と、視聴者２０とを上方から見た図である。カメラ３は、図９と同様に右方向にずれている。

図１０に示すようにツマミ３４がスライドバー３３の中心から左側に位置する場合、第１〜第９視差画像は図９（ｂ）に比べて視聴者から見て左方向（映像処理装置１００から見て右方向）に出力され、視域が左方向に移動する。図１１（１）に示す状態では、第５視差画像が視聴者の右目に入り、第６視差画像が視聴者の左目に入る。この状態では、視聴者は、右目で二重丸印、左目で丸印をみることになり、まだ両目で二重丸印を見ることができない。

ツマミ３４がさらに左側に位置する場合、図１１（２）に示すように、第１〜第９視差画像は図１１（１）よりもさらに視聴者２０から見て左方向に出力され、視域が左方向に移動する。その結果、第４視差画像が視聴者の右目に入り、第５視差画像が視聴者の左目に入る。この状態において、視聴者は、両目で二重丸印をみることができる。

視聴者は、両目で二重丸印を見ると、リモコンの決定キーを押下する。なお、リモコンの決定キーを押下する代わりに、同様の機能をもつ項目をメニュー画面から選択してもよい。

（９）受光部４は、リモコンから送信される赤外線信号を受信し、リモコンの決定キーが押下されたか否かを判定する（ステップＳ１３）。決定キーが押下されたならば、ステップＳ１４に進む。

（１０）補正量算出部１８は、下記の式（１）により、位置情報の補正量を算出し、記憶部１７に保存する（ステップＳ１４）。
Δｘ＝Ｚ１・（ｔａｎθ２−ｔａｎθ１） ・・・（１）
ここで、Δｘは補正量、Ｚ１は視聴者のＺ軸上の位置、θ１は出力方向を変化させる前の複数の視差画像の出力方向、θ２は視聴者が中心の２枚の視差画像のうち一方を右目で他方を左目で見た状態における複数の視差画像の出力方向である。

本実施形態では、角度θ１はステップＳ９で視域を生成したときの視差画像の出力方向であり、角度θ２は決定キーが押下されたときの視差画像の出力方向である。

図１２に、式（１）の各パラメータの関係を示す。視差画像の出力方向を示す角度θ１，θ２は、液晶パネル１の法線Ｌと、視差画像の光線Ｒ１，Ｒ２とのなす角度として定義される。光線Ｒ１は視差画像の出力方向を変化させる前の光線であり、光線Ｒ２は視差画像の出力方向を変化させた後の光線である。また、ｘ１およびｘ２はＸ軸上の位置を表し、ｘ１＝Ｚ１・ｔａｎθ１、ｘ２＝Ｚ１・ｔａｎθ２である。例えば、ｘ１は補正前の位置情報が示す視聴者の位置であり、ｘ２は補正後の位置情報が示す視聴者の位置（即ち、真の視聴者の位置）である。

なお、上記では位置情報の補正量はＸ方向についてのみ求めたが、Ｙ方向についてもＸ方向と同様にして補正量Δｙを求めることができる。その場合、記憶部１７に保存される位置情報の補正量は、Ｘ方向の補正量とＹ方向の補正量の組み合わせ（Δｘ，Δｙ）となる。また、視差画像の出力方向を調整する手段は、スライドバー３３に限らない。

上述したように、本実施形態では、視聴者は視聴位置を変えずに視差画像の出力方向を変化させることで、視域の調整を行い、視聴者の位置情報の誤差を補償するための補正量を算出する。より具体的には、視聴者は、ガイド表示部３１のガイド文字３２が両目で二重丸に見えるように、３Ｄ視聴位置チェック画面に表示したスライドバー３３のツマミ３４を移動させ、ツマミの移動量から補正量を算出する。

次に、補正量を算出する別の方法に係る変形例について説明する。上記のカメラキャリブレーションの方法とは反対に、本変形例では、視差画像の出力方向を固定し、視聴者の位置を変化させる。図１３は本変形例に係る映像処理方法（カメラのキャリブレーション）を示すフローチャートである。前述の図６Ａで説明したステップＳ１〜Ｓ９までは同じなので説明を省略し、図１３に沿って、ステップＳ９の次のステップから説明する。
（１）液晶パネル１は、現在の位置（視聴者が移動する前の位置）から、複数の視差画像のうち中心の２枚の視差画像の一方を右目で他方を左目で見る位置まで移動するよう、視聴者に促すメッセージを表示する（ステップＳ２１）。このメッセージとして、例えば、「両目で二重丸が見える位置に移動して決定キーを押して下さい。」と表示する。
（２）視聴者検出部１３は、決定キーが押下されたか否かを判定し（ステップＳ２２）、決定キーが押下されればステップＳ２３に進む。
（３）決定キーが押下されると、視聴者検出部１３は、カメラ映像を用いて顔認識を行い、視聴者の位置情報を取得する（ステップＳ２３）。決定キーが押された時点で、視聴者は両目で二重丸のガイド文字３２を見ている。このため、本ステップでは、視聴者検出部１３は、視聴者が中心の２枚の視差画像のうち一方を右目で、他方を左目で見た位置を示す位置情報を取得している。
（４）補正量算出部１８は、視聴者が移動する前の位置を示す位置情報（Ｘ１，Ｙ１）（ステップＳ３で算出）と、視聴者が移動した後の位置を示す位置情報（Ｘ２，Ｙ２）（ステップＳ２３で算出）とから、式（２）を用いて補正量（Δｘ，Δｙ）を算出し、記憶部１７に保存する（ステップＳ２４）。
（Δｘ，Δｙ）＝（Ｘ２，Ｙ２）−（Ｘ１，Ｙ１） ・・・（２）
即ち、補正量算出部１８は、補正量として、移動前の位置情報（Ｘ１，Ｙ１）と移動後の位置情報（Ｘ２，Ｙ２）との差分を計算する。

上述したように、本変形例では、視差画像の出力方向は固定し、視聴者の視聴位置を変えることで、視域の調整を行い、視聴者の位置情報の誤差を補償するための補正量を算出する。即ち、視聴者は、ガイド表示部３１のガイド文字３２が両目で二重丸に見える位置に移動し、移動前後の位置情報から補正量を算出する。

なお、上記の実施形態および変形例において液晶パネル１に視聴者への各種メッセージを表示したが、これに代えて、映像処理装置１００のスピーカ（図示せず）を用いて、音声で視聴者にメッセージを伝えてもよい。

次に、上記の位置情報の補正量（Δｘ，Δｙ）を用いて、立体映像を視聴する時に適切な視域を生成する方法について説明する。
（１）視聴者検出部１３は、カメラ映像から算出した視聴者の位置情報（Ｘ１，Ｙ１）を位置情報補正部１６に供給する。
（２）位置情報補正部１６は、視聴者検出部１３から視聴者の位置情報が供給されると、記憶部１７から位置情報の補正量（Δｘ，Δｙ）を読み出し、この補正量（Δｘ，Δｙ）を用いて視聴者検出部１３から供給された位置情報（Ｘ１，Ｙ１）を補正し、補正された位置情報（Ｘ１’，Ｙ１’）を得る。この補正された位置情報は、式（３）により求められる。位置情報補正部１６は、補正された位置情報（Ｘ１’，Ｙ１’）を視域情報算出部１４に供給する。
（Ｘ１’，Ｙ１’）＝（Ｘ１，Ｙ１）＋（Δｘ，Δｙ） ・・・（３）
（３）前述のように、視域情報算出部１４および画像調整部１５（視域制御部１５’）によって、位置（Ｘ１’，Ｙ１’）を含む視域が生成される。より詳しくは、まず、視域情報算出部１４が、補正された位置情報（Ｘ１’，Ｙ１’）を用いて制御パラメータを算出する。そして、画像調整部１５が、視域情報算出部１４により算出された制御パラメータを用いて視差画像を調整し、液晶パネル１に供給する。映像処理装置１００’の場合には、視域制御部１５’が視域情報算出部１４により算出された制御パラメータを用いて、開口制御部２’を制御する。
（４）液晶パネル１は、画像調整部１５により調整された画像を表示する。映像処理装置１００’の場合には、液晶パネル１は、視差画像変換部１２から供給される画像を表示する。

上述したように、立体映像を視聴する際には、補正量を用いて視聴者の位置情報を補正し、補正された位置に視域を生成する。これにより、カメラの位置ズレが生じている場合でも、視聴者を収める視域を生成することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 液晶パネル
２ レンチキュラレンズ
２’ 開口制御部
３ カメラ
４ 受光部
１０，１０’ コントローラ
１１ チューナデコーダ
１２ 視差画像変換部
１３ 視聴者検出部
１４ 視域情報算出部
１５ 画像調整部
１５’ 視域制御部
１６ 位置情報補正部
１７ 記憶部
１８ 補正量算出部
２０ 視聴者
２１ 視域
２２ 逆視領域
３１ ガイド表示部
３２ ガイド文字
３３ スライドバー
３４ ツマミ
１００，１００’ 映像処理装置
Ｐ 視聴領域

Claims (8)

1. カメラで撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する、視聴者検出部と、
   前記カメラの取り付け位置のずれに伴う前記位置情報の誤差を補償するための補正量を算出する、補正量算出部と、
   前記補正量算出部により算出された前記補正量を用いて、前記位置情報を補正する、位置情報補正部と、
   前記位置情報補正部により補正された位置情報を用いて、前記視聴者を収める視域を設定するための制御パラメータを算出する、視域情報算出部と、
   前記制御パラメータに応じて視域を制御する、視域制御部と、
   前記視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する表示部であって、複数の視差画像から構成され、前記複数の視差画像のうち中心の２枚の視差画像がそれ以外の視差画像にない共通のガイド文字を有する３Ｄ視聴位置チェック画面を表示する、表示部と、
   前記表示部に表示された複数の視差画像を所定の方向に出力する、開口制御部と、
   を備える映像処理装置。
2. 前記視域制御部は、視聴位置を変えない前記視聴者からの指示に応じて、前記３Ｄ視聴位置チェック画面の前記複数の視差画像の出力方向を変化させ、
   前記補正量算出部は、式（１）により前記補正量を算出する、請求項１に記載の映像処理装置。
   Δｘ＝Ｚ１・（ｔａｎθ２−ｔａｎθ１） ・・・（１）
   ここで、Δｘは前記補正量、Ｚ１は前記視聴者のＺ軸上の位置、θ１は出力方向を変化させる前の前記複数の視差画像の出力方向、θ２は前記視聴者が前記中心の２枚の視差画像のうち一方を右目で他方を左目で見た状態における前記複数の視差画像の出力方向である。
3. 前記視域制御部は、前記３Ｄ視聴位置チェック画面に表示され、かつ前記視聴者が操作可能なスライドバーのツマミの位置に応じて、前記３Ｄ視聴位置チェック画面の前記複数の視差画像の出力方向を変化させる、請求項２に記載の映像処理装置。
4. 前記補正量算出部は、算出した前記補正量を記憶部に保存し、
   前記位置情報補正部は、前記視聴者検出部から前記位置情報が供給されると、前記記憶部から前記補正量を読み出し、読み出した前記補正量を用いて前記位置情報を補正する、請求項２に記載の映像処理装置。
5. 前記視聴者検出部が視聴者を検出しない場合または複数の視聴者を検出した場合には、前記表示部は、エラーメッセージを表示する、請求項２に記載の映像処理装置。
6. 前記視聴者検出部は、前記視聴者が移動する前の位置を示す第１の位置情報、および、前記視聴者が移動した後の位置であって前記中心の２枚の視差画像のうち一方を右目で他方を左目で見る位置を示す第２の位置情報を取得し、
   前記補正量算出部は、前記補正量として、前記第１の位置情報と前記第２の位置情報との差分を計算する、請求項１に記載の映像処理装置。
7. 前記補正量算出部は、算出した前記補正量を記憶部に保存し、
   前記位置情報補正部は、前記視聴者検出部から前記位置情報が供給されると、前記記憶部から前記補正量を読み出し、読み出した前記補正量を用いて前記位置情報を補正する、請求項６に記載の映像処理装置。
8. 前記視聴者検出部が視聴者を検出しない場合または複数の視聴者を検出した場合には、前記表示部は、エラーメッセージを表示する、請求項６に記載の映像処理装置。

Images