JP5343156B1 - 検出装置、検出方法および映像表示装置 - Google Patents

Abstract

【課題】リモコンの操作者を検出する検出装置および検出方法、ならびに、この検出装置を用いた映像表示装置を提供する。
【解決手段】実施形態によれば、映像表示装置を遠隔操作するリモコンの操作者を検出する検出装置であって、撮影された映像から視聴者の顔の位置を検出する顔検出部と、前記撮影された映像から前記リモコンの位置を検出するリモコン検出部と、前記検出された視聴者の顔が複数ある場合に、前記検出された顔の位置、および、前記検出されたリモコンの位置に基づいて、前記リモコンを操作している視聴者を特定する操作者特定部と、を備える検出装置が提供される。
【選択図】図１

Description

本発明の実施形態は、検出装置、検出方法および映像表示装置に関する。

近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。

しかしながら、裸眼３Ｄテレビでは、視聴者の位置によっては、映像が立体的に見えないという問題がある。そこで、視聴者が映像を立体的に見えるよう、裸眼３Ｄテレビ側で調整するのが望ましい。

ところで、複数の視聴者が映像表示装置を視聴することもある。この場合、複数の視聴者の中でも、リモコンで映像表示装置を遠隔操作している視聴者が最も視聴意欲が高いことが多い。そのため、リモコンを操作している視聴者に対して、映像を立体的に見えるように調整するのが望ましい。

特表２０１１−５０４７１０号公報

リモコンの操作者を検出する検出装置および検出方法、ならびに、この検出装置を用いた映像表示装置を提供する。

実施形態によれば、映像表示装置を遠隔操作するリモコンの操作者を検出する検出装置であって、撮影された映像から視聴者の顔の位置を検出する顔検出部と、前記撮影された映像から前記リモコンの位置を検出するリモコン検出部と、前記検出された視聴者の顔が複数ある場合に、前記検出された顔の位置、および、前記検出されたリモコンの位置に基づいて、前記リモコンを操作している視聴者を特定する操作者特定部と、を備える検出装置が提供される。そして、前記操作者特定部は、前記検出された視聴者の顔が複数ある場合に、前記映像における前記顔の水平方向位置と前記リモコンの水平方向位置との差が最小であり、かつ、下式を満たす視聴者を、リモコンを操作している視聴者と特定する。
ｙ＞Ｙ＋ｆ（ｚ）
ｙは前記映像における前記顔の垂直方向位置、Ｙは前記映像における前記リモコンの垂直方向位置、ｆ（ｚ）は前記映像表示装置と前記検出された顔との距離ｚが大きくなるほど小さくなる値。

映像表示装置１００を複数の視聴者４１〜４３が視聴している様子を上から見た図。 リモコン５１の操作者を検出するリモコン操作者検出システムの概略構成を示すブロック図。 カメラ３が撮影する映像の一例を示す図。 カメラ３が有する撮像素子の受光感度を概略的に示す図。 リモコン検出部２２の動作を説明する図。 リモコン検出部２２の動作を説明する図。 視域制御機能を有する映像表示装置１００の外観図。 視域制御機能を有する映像表示装置１００の概略構成を示すブロック図。 液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図。 視域情報を算出する手法の一例を示す図。 図８の変形例である映像表示装置１００’の概略構成を示すブロック図。

以下、実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、映像表示装置１００を複数の視聴者４１〜４３が視聴している様子を上から見た図である。同図では、視聴者４２がリモコン５１を保持して操作している。このリモコン５１は、映像表示装置１００を遠隔操作するために、赤外線信号を発するものである。そして、図２は、リモコン５１の操作者を検出するリモコン操作者検出システムの概略構成を示すブロック図である。

リモコン操作者検出システムは、カメラ３と、リモコン操作者検出装置（以下、単に検出装置という）２０とを備えている。検出装置２０は、顔検出部２１と、リモコン検出部２２と、操作者特定部２３とを有する。さらに、リモコン操作者検出システムが受光部４を備えるとともに、検出装置２０がコード検出部２４を有してもよい。

図２のカメラ３は、例えばＣＭＯＳカメラやＣＣＤカメラである。このカメラ３は、例えば映像表示装置１００の中央下部のベゼルに取り付けられ、あるいは、組み込まれている。そして、カメラ３は映像表示装置１００の表示パネルと同じ方向を向いており、映像表示装置１００の前方を撮影する。例えば、図１の状態をカメラ３で撮影すると、図３のような映像が得られる。

なお、同図の破線および座標は後述の説明で用いるものであって、実際の映像上に表示されるわけではない。また、便宜上、映像の左下を原点とし、水平方向をｘ軸（右向きが正）、垂直方向をｙ軸（上向きが正）とする。加えて図１に示すように、映像表示装置１００からの距離をｚとする。

ここで、カメラ３は、可視光はもちろんのこと、以下のように赤外線も検出できる。図４は、カメラ３が有する撮像素子の受光感度を概略的に示す図である。カメラ３はＲ撮像素子と、Ｇ撮像素子と、Ｂ撮像素子とを有する。Ｒ撮像素子は可視光のうち長波長の光に対して感度が高く、かつ、赤外（ＩＲ）領域にも感度がある。そのため、Ｒ撮像素子はリモコンが発する赤外線信号を撮影でき、カメラ３で撮影された映像に赤外線信号が現れる。

なお、Ｇ撮像素子は可視光のうち中波長の光に対して感度が高く、Ｂ撮像素子は可視光のうち短波長の光に対して感度が高い。よって、Ｇ撮像素子およびＢ撮像素子は、赤外線信号に対してほとんど反応しない。

カメラ３で撮影された映像は、図２における検出装置２０内の顔検出部２１およびリモコン検出部２２に供給される。

顔検出部２１は、カメラ３で撮影された映像から顔を検出し、その位置を特定する。顔検出部２１は、目、鼻、口等、顔の特徴を示す情報を予め記憶しておき、これらの特徴と一致する映像内の部分を顔として検出する。そして、顔検出部２１は、顔の位置、より具体的には顔の中心位置のｘ軸およびｙ軸上の位置、ならびに、映像表示装置１００との距離ｚを視聴者の顔の位置（ｘ，ｙ，ｚ）として特定する。映像表示装置１００との距離ｚは、例えば検出された顔の幅や右目と左目との距離から推測できる。図３において、検出された視聴者４１〜４３の顔の位置をそれぞれ（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），（ｘ３，ｙ３，ｚ３）とする。これら顔の位置は操作者特定部２３に供給される。

一方、リモコン検出部２２は、カメラ３で撮影された映像からリモコン５１を検出し、その位置を特定する。図５および図６は、リモコン検出部２２の動作を説明する図である。図５（ａ），（ｂ）は、それぞれ時刻ｔ１，ｔ２に撮影された映像を示している。時刻ｔ１ではリモコン５１は操作されておらず、リモコン５１は赤外線信号を発していない。時刻ｔ１より後である時刻ｔ２で視聴者４２がリモコン５１を操作すると、リモコン５１は赤外線信号５２を発する。上述したように、カメラ３は赤外線信号５２をも撮影する。

そして、リモコン検出部２２は、時刻ｔ１の映像と時刻ｔ２の映像との差分を、画素ごとに算出する。図６は差分処理の結果を模式的に示している。時刻ｔ１と時刻ｔ２が近接していれば、リモコン５１が赤外線信号５２を発したこと以外、時刻ｔ１の映像と時刻ｔ２の映像とに差はないはずである。すなわち、赤外線信号５２に対応する画素では差分値が高くなり、その他の画素では差分値がほぼ０となる。

このようにして、差分処理により赤外線信号の位置が検出される。以下では、検出された赤外線信号のｘ軸およびｙ軸上の位置を（Ｘ，Ｙ）とする。リモコン５１の位置（Ｘ，Ｙ）は操作者特定部２３に供給される。なお、リモコン５１と映像表示装置１００との距離は取得しなくてもよい。

なお、映像にノイズが存在することもある。この場合、撮影時刻が異なる２つの映像の差分処理を行っても、赤外線信号に対応する画素以外の画素でも差分値が高くなることがある。そのため、リモコン検出部２２は、例えば差分値が所定値以上である画素が所定サイズ以下だけ隣接している場合に、リモコン５１の赤外線信号であると判断してもよい。赤外線信号はそれほど大きくないためである。

上記の所定サイズは、例えば映像表示装置１００から１ｍだけ離れたところからリモコン５１の赤外線信号を発した時に撮影される画素数として定めることができる。具体例として、所定サイズを水平方向４画素×垂直方向４画素としてもよい。

また、リモコン検出部２２は、カメラ３のＲ，ＧおよびＢ撮像素子で撮影された画素値を用いてもよいが、Ｒ撮像素子で撮影された画素値のみを用いてもよい。図４に示すように、赤外線に対してはＲ撮像素子が最も感度が高いため、Ｒ撮像素子のみを用いてもリモコンを検出でき、差分処理の負荷を軽減できる。また、Ｇ撮像素子およびＢ撮像素子で撮影された画素値を用いないことで、ノイズの影響を低減できる。

図２に戻り、検出装置２０の操作者特定部２３は、顔検出部２１から供給される顔の位置と、リモコン検出部２２から供給されるリモコン５１の位置とに基づいて、いずれの視聴者がリモコンを操作しているかを特定する。より具体的には、操作者特定部２３は、複数の視聴者４１〜４３の中から以下の２条件を満たす視聴者をリモコン操作者として特定する。

（１）．｜Ｘ−ｘ｜が最小であること。

（２）．ｙ＞Ｙであること。

上記（１）は、リモコン操作者は、他の視聴者と比べ、顔のｘ軸上の位置とリモコン５１のｘ軸上の位置が近くなると考えられることから導かれる条件である。上記（２）は、通常はリモコン５１を手で操作するので、リモコン５１の位置より顔の位置の方が高くなることから導かれる条件である。

図３において、｜Ｘ−ｘ１｜および｜Ｘ−ｘ３｜より、｜Ｘ−ｘ２｜が小さい。かつ、図６においてｙ２＞Ｙである。よって、操作者特定部２３は視聴者４２がリモコン操作者であることを特定できる。なお、顔が１つしか検出されなかった場合、リモコン５１が検出されなかった場合、上記の２条件を満たす視聴者がいない場合には、操作者特定部２３はリモコン操作者を特定しない。

また、より正確にリモコン操作者を特定するためには、上記（２）に代えて下記（２’）の条件としてもよい。

（２’）ｙ＞Ｙ＋ｆ（ｚ）であること。

ｆ（ｚ）はｚに依存する値であり、より具体的には、ｚが大きいほどｆ（ｚ）は小さくなる値である。視聴者が映像表示装置１００から離れているほど（ｚが大きいほど）、映像における顔とリモコンとの距離は小さくなるためである。

以上のようにして、検出装置２０はリモコン操作者を特定できる。

ところで、図２のリモコン検出部２２は、映像表示装置１００用のリモコンだけでなく、エアコン等他の機器用のリモコンを検出してしまうことがある。その結果、操作者特定部２３が、他の機器用のリモコンを操作している視聴者を、誤って映像表示装置１００用のリモコンを操作している視聴者と特定してしまうこともある。

そこで、受光部４が受光したリモコンからの赤外線信号に基づいて、当該赤外線信号が映像表示装置１００に対する信号か否かを判定するコード検出部２４を設けてもよい。コード検出部２４は、赤外線信号のコードを解析することで、映像表示装置１００に対する信号か否かを判定できる。映像表示装置１００に対する信号でない場合、コード検出部２４はその旨を操作者特定部２３に通知する。

この場合、操作者特定部２３は、上記の条件を満たす視聴者がいる場合でも、リモコンの操作者を特定しない。

このように、第１の実施形態では、カメラ３で撮影された映像を用いて、視聴者の顔およびリモコンを検出し、これらの位置関係に基づいてリモコン操作者を特定できる。

（第２の実施形態）
第２の実施形態は、第１のリモコン操作者検出システムを用いた立体映像表示装置に関するものであり、より具体的には、検出されたリモコン操作者に視域を設定するものである。

図７は、視域制御機能を有する映像表示装置１００の外観図であり、図８は、その概略構成を示すブロック図である。映像表示装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。

液晶パネル（表示部）１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。

レンチキュラレンズ（開口制御部）２は液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。

本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。

以下の説明では、レンチキュラレンズ２の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。

一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。

なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。

また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。

図９は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図９は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。

実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。

そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。

例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図９（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図９（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。

また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図９（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図９（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。

このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図９では説明を簡略化するために視域を１つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図８のコントローラ１０により制御される。

図８に戻り、カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０内の検出部２０に供給さる。

受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示する、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。

次に、コントローラ１０の構成要素の詳細について説明する。図８に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、検出部２０と、視域情報算出部１４と、画像調整部１５とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。

チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像表示装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。

チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。

視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。

２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。

２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。

これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。

一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。

多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。

多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。

検出部２０は第１の実施形態で説明した検出装置２０であり、カメラ３により撮影された映像を用いて、視聴者の中からリモコン操作者を検出し、その位置情報を視域情報算出部１４に供給する。

視域情報算出部１４は、検出された視聴者の位置情報に応じて適切に視域が設定されるよう、制御パラメータ（例えば、図９で説明した視差画像をずらす量）を算出し、画像調整部１５に供給する。

図１０は、視域情報を算出する手法の一例を示す図である。視域情報算出部１４は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部１４は、各視域について、視域と検出された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図１０の例では、予め定めた図１０（ａ）〜図１０（ｅ）の５つの視域（網掛けの領域）のパターンのうち、視域を液晶パネル１に向かって左側に設定する図１０（ｂ）において、リモコン５１を操作する視聴者４２と視域とが重なる面積が最大となる。よって、視域情報算出部１４は図１０（ｂ）の視域のパターンを適切な視域と判断する。この場合、図１０（ｂ）のパターンで視差画像を表示するための制御パラメータが図２の画像調整部１５に供給される。

より詳しくは、所望の視域を設定するために、視域情報算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いてもよい。視域情報算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つけることができる。

画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。液晶パネル１は調整された視差画像信号に対応する画像を表示する。

なお、コントローラ１０は、常時リモコン操作者を検出し、リモコン５１が操作される度にリアルタイムに視域を設定してもよい。しかしながら、リモコン５１が操作される度に、頻繁に視域が移動すると、却って映像が見づらくなることもある。そこで、視聴者が視域を設定するタイミングをリモコン５１で操作してもよい。

例えば、リモコン５１の所定のボタンを押下すると視域調整指示信号が発せられ、これを受光部４が受光する。これに同期して、視域情報算出部１４は制御パラメータを更新してもよい。言い換えると、検出部２０がリモコン操作者を検出しても、視域調整指示信号が生成されるまで、視域は再設定されないようにしてもよい。

なお上述した各実施形態の映像表示装置１００では、レンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部として設けてもよい。また、図１１は、図８の変形例である映像表示装置１００’の概略構成を示すブロック図である。同図に示すように、視差画像をずらす処理を行わず、コントローラ１０’内に視域制御部１５’を設けて開口制御部２’を制御してもよい。この場合、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部との水平方向のずれ量等を制御パラメータとし、液晶パネル１に表示された視差画像の出力方向を制御することにより視域が制御される。

このように、第２の実施形態では、
上述した実施形態で説明したリモコン操作者検出システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、リモコン操作者検出システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、リモコン操作者検出システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 液晶パネル
２ レンチキュラレンズ
３ カメラ
４ 受光部
１１ チューナデコーダ
１２ 視差画像変換部
１４ 視域情報算出部
１５ 画像調整部
１５’ 視域制御部
２０ 検出装置
２１ 顔検出部
２２ リモコン検出部
２３ 操作者特定部
２４ コード検出部
１００ 映像表示装置

Claims (14)

1. 映像表示装置を遠隔操作するリモコンの操作者を検出する検出装置であって、
   撮影された映像から視聴者の顔の位置を検出する顔検出部と、
   前記撮影された映像から前記リモコンの位置を検出するリモコン検出部と、
   前記検出された視聴者の顔が複数ある場合に、前記検出された顔の位置、および、前記検出されたリモコンの位置に基づいて、前記リモコンを操作している視聴者を特定する操作者特定部と、を備え、
   前記操作者特定部は、前記検出された視聴者の顔が複数ある場合に、前記映像における前記顔の水平方向位置と前記リモコンの水平方向位置との差が最小であり、かつ、下記（１）式を満たす視聴者を、リモコンを操作している視聴者と特定する検出装置
   ｙ＞Ｙ＋ｆ（ｚ） ・・・（１）
   ｙは前記映像における前記顔の垂直方向位置、Ｙは前記映像における前記リモコンの垂直方向位置、ｆ（ｚ）は前記映像表示装置と前記検出された顔との距離ｚが大きくなるほど小さくなる値。
2. 前記リモコン検出部は、第１の時刻に撮影された映像と、前記第１の時刻より後の第２の時刻に撮影された映像と、の差分に基づいて、前記リモコンの位置を検出する請求項１に記載の検出装置。
3. 前記リモコン検出部は、第１の時刻に撮影された映像の各画素の値と、前記第１の時刻より後の第２の時刻に撮影された映像の各画素の値と、の差分値が所定値以上である画素が、所定サイズ以下隣接している位置を、前記リモコンの位置として検出する請求項１に記載の検出装置。
4. 前記リモコンは赤外線を発し、
   前記リモコン検出部は、カメラで撮影された映像から前記リモコンの位置を検出し、
   前記カメラは、
   可視光のうち長波長の光に対して感度が高い第１の撮像素子と、
   可視光のうち中波長の光に対して感度が高い第２の撮像素子と、
   可視光のうち短波長の光に対して感度が高い第３の撮像素子と、を有し、
   前記リモコン検出部は、前記第１の撮像素子で撮影された画素値を用い、かつ、前記第２の撮像素子および前記第３の撮像素子で撮影された画素値を用いずに、前記リモコンの位置を検出する請求項１に記載の検出装置。
5. 前記カメラは、ＣＭＯＳカメラまたはＣＣＤカメラである請求項４に記載の検出装置。
6. 前記リモコンが発する信号のコードに基づいて、前記映像表示装置を遠隔操作するリモコンであるか否かを検出するコード検出部を備え、
   前記操作者特定部は、前記映像表示装置を遠隔操作するリモコンである場合に、前記リモコンを操作している視聴者を特定する請求項１に記載の検出装置。
7. 請求項１乃至６のいずれかに記載の検出装置と、
   立体表示可能な表示パネルと、
   前記検出されたリモコンを操作している視聴者の位置に、前記表示パネルに表示される映像を立体的に見ることが可能な視域を設定する視域制御部と、を備える映像表示装置。
8. 前記リモコンからの信号を受光する受光部を備え、
   前記視域制御部は、前記リモコンが発する視域調整指示信号を前記受光部が受信したタイミングで、前記検出されたリモコンを操作している視聴者の位置に、前記視域を設定する請求項７に記載の映像表示装置。
9. 映像表示装置を遠隔操作するリモコンの操作者を検出する検出方法であって、
   撮影された映像から視聴者の顔の位置を検出する方法と、
   前記撮影された映像から前記リモコンの位置を検出するステップと、
   前記検出された視聴者の顔が複数ある場合に、前記検出された顔の位置、および、前記検出されたリモコンの位置に基づいて、前記リモコンを操作している視聴者を特定するステップと、を備え、
   前記リモコンを操作している視聴者を特定するステップでは、前記検出された視聴者の顔が複数ある場合に、前記映像における前記顔の水平方向位置と前記リモコンの水平方向位置との差が最小であり、かつ、下記（１）式を満たす視聴者を、リモコンを操作している視聴者と特定する検出方法
   ｙ＞Ｙ＋ｆ（ｚ） ・・・（１）
   ｙは前記映像における前記顔の垂直方向位置、Ｙは前記映像における前記リモコンの垂直方向位置、ｆ（ｚ）は前記映像表示装置と前記検出された顔との距離ｚが大きくなるほど小さくなる値。
10. 前記リモコンの位置を検出するステップでは、第１の時刻に撮影された映像と、前記第１の時刻より後の第２の時刻に撮影された映像と、の差分に基づいて、前記リモコンの位置を検出する請求項９に記載の検出方法。
11. 前記リモコンの位置を検出するステップでは、第１の時刻に撮影された映像の各画素の値と、前記第１の時刻より後の第２の時刻に撮影された映像の各画素の値と、の差分値が所定値以上である画素が、所定サイズ以下隣接している位置を、前記リモコンの位置として検出する請求項９に記載の検出方法。
12. 前記リモコンは赤外線を発し、
    前記リモコンの位置を検出するステップでは、カメラで撮影された映像から前記リモコンの位置を検出し、
    前記カメラは、
    可視光のうち長波長の光に対して感度が高い第１の撮像素子と、
    可視光のうち中波長の光に対して感度が高い第２の撮像素子と、
    可視光のうち短波長の光に対して感度が高い第３の撮像素子と、を有し、
    前記リモコンの位置を検出するステップでは、前記第１の撮像素子で撮影された画素値を用い、かつ、前記第２の撮像素子および前記第３の撮像素子で撮影された画素値を用いずに、前記リモコンの位置を検出する請求項９に記載の検出方法。
13. 前記カメラは、ＣＭＯＳカメラまたはＣＣＤカメラである請求項１２に記載の検出方法。
14. 前記リモコンが発する信号のコードに基づいて、前記映像表示装置を遠隔操作するリモコンであるか否かを検出するステップを備え、
    前記リモコンを操作している視聴者を特定するステップでは、前記映像表示装置を遠隔操作するリモコンである場合に、前記リモコンを操作している視聴者を特定する請求項９に記載の検出方法。

Images