JP5050120B1

JP5050120B1 - 立体画像表示装置

Info

Publication number: JP5050120B1
Application number: JP2011189621A
Authority: JP
Inventors: 澤創大
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-08-31
Filing date: 2011-08-31
Publication date: 2012-10-17
Anticipated expiration: 2031-08-31
Also published as: US20130050197A1; CN102970559A; JP2013051629A

Abstract

【課題】視聴者がより良い視域内に位置しているか否かを容易に知らしめることのできる立体画像表示装置を提供する。
【解決手段】本実施形態の立体画像表示装置は、画素がマトリクス状に配列された表示画面を有する表示パネルと、前記表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、複数の多視差画像を有し視聴位置に応じて異なる多視差画像を前記視聴者が見ることが可能であるテストパターンであって、好ましくない視聴位置から見える多視差画像に前記視聴者がよりよい視聴位置に移動することを促す記号またはメッセージが付されているテストパターンを記憶するメモリと、前記テストパターンを前記表示パネルに表示させるように制御する画像表示制御部と、を備えている。
【選択図】図３

Description

本発明の実施形態は、立体画像表示装置に関する。

裸眼方式の立体画像表示装置では、視聴者（ユーザ）が特殊なメガネを使用せずに裸眼で立体画像を視聴することができる。このような立体画像表示装置においては、視点の異なる複数の画像を平面表示装置（例えば、液晶表示装置）に表示し、これらの画像からの光線を、例えばパララックスバリア、レンチキュラーレンズなどの光線制御素子によって制御することにより立体画像が視聴者に視聴される。光線制御素子は一般に平面表示装置の前面に設けられる。制御された光線は、視聴者の両眼に導かれるが、視聴者の視聴位置が適切であれば、視聴者は立体画像を視認することができる。このような立体画像を視認可能な視聴位置の領域を視域という。

しかし、このような視域は限定的であるという問題がある。すなわち、例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体画像を正しく視認することのできなくなる視聴位置である逆視領域が存在する。このため、裸眼方式の立体画像表示装置においては、視聴者の視聴位置によっては正常な立体画像を視聴できない場合がある。

そこで、観察者の位置を検出するセンサを立体画像表示装置に設け、このセンサからの出力に基づいて、観察者の位置と、視域のみあるいは視域および逆視領域とを示した位置情報を生成し、この生成した位置情報を表示することが行われている。

特許３４４３２７１号公報

本発明が解決しようとする課題は、視聴者がより良い視域内に位置しているか否かを容易に知らしめることのできる立体画像表示装置を提供することである。

本実施形態による立体画像表示装置は、画素がマトリクス状に配列された表示画面を有する表示パネルと、前記表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、複数の多視差画像を有し視聴位置に応じて異なる多視差画像を前記視聴者が見ることが可能であるテストパターンであって、好ましくない視聴位置から見える多視差画像に前記視聴者がよりよい視聴位置に移動することを促す記号またはメッセージが付されているテストパターンを記憶するメモリと、前記テストパターンを前記表示パネルに表示させるように制御する画像表示制御部と、を備えていることを特徴とする。

一実施形態による立体画像表示装置を説明する図。一実施形態による立体画像表示装置を説明する図。一実施形態の立体画像表示装置を説明するブロック図。カメラ映像および視域画像の表示例を示す図。テストパターンの一例を示す図。多視差画像を説明する図。

以下に図面を参照して、実施形態を説明する。

一実施形態による立体画像表示装置を図１に示す。この実施形態の立体画像表示装置１は、裸眼方式の立体画像表示装置であって、画像を表示する表示装置１０と、撮像された画像に基づいて視聴者の位置を検出するカメラ２０と、を備えている。表示装置１０は、画素がマトリクス状に配列された表示画面を有している。カメラ２０は、例えば、表示装置１０の表示画面を取り囲んでいる枠のうちの下枠に設けられる。

そして、本実施形態の立体画像表示装置においては、座標系ＸＹＺが設定される。例えば、カメラ２０の位置を原点として、表示装置１０の表示画面に平行な面をＸ−Ｙ面とし、このＸ−Ｙ面に垂直で視聴者１００に向かう方向を正方向とするＺ軸として座標系ＸＹＺが設定される。なお、Ｘ軸は表示画面の横方向（水平方向）に平行となるように設定し、Ｙ軸は表示画面の縦方向（垂直方向）に平行に設定する。

表示装置１０は、図２に示すように、表示パネル１０ａと、この表示パネル１０ａの前面に設けられた光線制御素子１０ｂとを備えている。光線制御素子１０ｂは、例えばパララックスバリア、レンチキュラーレンズなどであって、表示画面の画素からの光線を制御する。

また、本実施形態の立体画像表示装置１は、図３に示すように、フェイストラッキング部３０と、メモリ３５と、メモリ３７と、画像表示制御部４０とを備えている。フェイストラッキング部３０は、カメラ２０によって撮像された画像の画像処理を行い、視聴者が表示装置１０の前に存在しているか否かの判定を行うとともに、視聴者１００が存在している場合に、表示装置１０から視聴者１００までの距離および上記座標系における視聴者１００の位置を検出する。フェイストラッキング部３０は、カメラ２０からの画像を処理することにより、視聴者１００の顔を認識し、顔の大きさで表示装置１０から視聴者１００までの距離および上記座標系における視聴者１００の位置を検出する。例えば、カメラ２０は、視聴者１００の両眼すなわち左目１０１ａおよび右目１０１ｂを認識し、両眼の中心間距離は人によらずほぼ一定であるので、両眼１０１ａ、１０１ｂを含む画像から、視聴者１００までの距離ｚを求めることができる。この距離ｚは、図２に示すように、光線制御素子１０ｂの前面から視聴者１００の眼間中心１０２までの距離を意味する。そして視聴者１００の位置とは、視聴者１００の眼間中心１０２の座標（ｘ、ｙ、ｚ）を意味する。フェイストラッキング部３０のフェイストラッキング動作（検出動作）は一定の周期（例えば、１秒〜数秒間隔）で行われる。すなわち、聴者１００までの距離および視聴者１００の位置は、一定の周期でサンプリングされる。

メモリ３５は、フェイストラッキング部３０によってサンプリングされた視聴者１００までの距離および視聴者１００の位置を逐次記憶する。メモリ３７は、後述するテストパターンを記憶する。

このフェイストラッキング部３０のフェイストラッキング動作は、視聴者１００が図２に示すリモートコントローラ１０５を介してオートトラッキングモードを選択し（オートトラッキングモードがオン）かつ表示装置１０に表示している画像が立体画像であるときに行われる。また、視聴者１００が図２に示すリモートコントローラ１０５を介してオートトラッキングモードを選択していないときに（オートトラッキングモードがオフ）、表示装置１０に表示している画像が立体画像でありかつ視聴者１００がリモートコントローラ１０５を介してオートトラッキングモードを手動で選択したときに行われる。また、オートトラッキングモードがオフのときに、表示装置１０に表示される画像が２次元画像から立体画像に変わったときにも行われる。

画像表示制御部４０は、カメラ映像表示制御部４２と、視域表示制御部４４と、テストパターン表示制御部４６とを備えている。

カメラ映像表示制御部４２は、カメラ２０によって撮像され、フェイストラッキング部３０によってサンプリングされたカメラ映像を、表示パネル１０ａに表示するように制御する。なお、表示パネル１０ａに表示された際のカメラ映像は鏡像、すなわち左右反転した映像である。視域表示制御部４４は、フェイストラッキング部３０によってサンプリングされた視聴者１００までの距離および視聴者１００の位置に基づいて、視聴者１００が視域に位置しているか否かを示す視域画像を表示パネル１０ａに表示するように制御する。この視域画像は、視聴者と表示パネル１０ａの表示画面との相対的な位置関係を示すように表示される。そして、表示パネル１０ａに表示される上記カメラ映像および上記視域画像は１つの画面に分割されて表示される。図４に、表示パネル１０ａの表示面に分割されて表示されたカメラ映像１２および視域画像１４の一例を示す。この表示例では、３人の視聴者１００ａ、１００ｂ、１００ｃがおり、それぞれの視聴者１００ａ、１００ｂ、１００ｃのカメラ映像が１つのカメラ映像１２として表示される。また、視域画像１４においては、例えば、３つの視域６０ａ、６０ｂ、６０ｃが表示され、視聴者１００ａは視域６０ａ内に存在し、視聴者１００ｂは視域６０ｂ内に存在し、視聴者１００ｃは顔の半分が視域６０ｃに存在していることを表示している。そして、カメラ映像１２および視域画像１４は、フェイストラッキング部３０によるフェイストラッキング動作毎に更新される。したがって、カメラ映像１２および視域画像１４を視聴者が見て視域内に視聴者が位置するように視聴者が動いた場合には、この視聴者の位置の変化に応じて、視域画像も変化することになる。

このように、カメラ映像１２および視域画像１４が表示されているときに、視聴者がリモートコントローラ１０５の、あるボタン（例えば、青ボタン）を押下すると、リモートコントローラ１０５から制御信号が送られる。すると、この制御信号に基づいて、テストパターン表示制御部１６が動作を開始し、テストパターン用メモリ３７に記憶されていたテストパターンを表示パネル１０ａに表示させるように制御する。立体画像を、多視差画像、例えば９視差画像を用いて表示する９視差方式の場合における、テストパターンの一例を図５（ａ）乃至５（ｉ）に示す。図６に示すように、９視差画像は、同一の対称物３００を、対称物３００から一定の距離（視距離）Ｌに位置している９個のカメラ２２ａ〜２２ｉで撮影した視差画像のそれぞれの視差画像成分を切り出して合成したものである。図５（ａ）は視聴者が最も右側の視域に位置しているときに見える９視差画像を表し、図５（ｂ）は図５（ａ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表し、図５（ｃ）は図５（ｂ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表す。図５（ｄ）は図５（ｃ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表し、図５（ｅ）は図５（ｄ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表す。図５（ｆ）は図５（ｅ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表し、図５（ｇ）は図５（ｆ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表す。図５（ｈ）は図５（ｇ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表し、図５（ｉ）は図５（ｈ）の場合の視域に最も近い左側の視域に視聴者が位置しているときに見える９視差画像を表す。すなわち、図５（ｉ）は視聴者が最も左側の視域に位置しているときに見える９視差画像を表す。

したがって、視聴者が位置している視域に応じて、図５（ａ）乃至図５（ｉ）に示す９視差画像のうちのいずれかの９視差画像が見えることになる。そして、本実施形態においては、図５（ａ）乃至５（ｉ）に示すように、最適な視聴位置から見える９視差画像には二重丸を付し（図５（ｄ）、５（ｅ））、最適ではないが良好な視聴位置から見える９視差画像には一重丸を付し（図５（ｃ）、５（ｆ））、好ましくない視聴位置から見える９視差画像には三角印を付し（図５（ｂ）、５（ｇ））、より好ましくない視聴位置から見える９視差画像には×印を付す（図５（ａ）、５（ｈ）、５（ｉ））。このような記号を９視差画像に付すことにより、視聴者が、より適切な視聴位置に移動することを促すことができる。

また、好ましくない視聴位置から見える多視差画像には、より好ましい視聴位置への移動方向を示す矢印を付してもよい。例えば、「→」という矢印は、よりよい視聴位置が右側にあることを示し、「←」という矢印は、よりよい視聴位置が左側にあることを示す。このように、好ましくない視聴位置から見える多視差画像に矢印を付すことにより、視聴者が、より適切な視聴位置に移動することを促すことができる。

また、好ましくない視聴位置から見える多視差画像には、例えば「適切な視聴位置に移動して下さい」という警告メッセージを表示してもよい。このように、好ましくない視聴位置から見える多視差画像に警告メッセージを付すことにより、視聴者が、より適切な視聴位置に移動することを促すことができる。

なお、図示してはいないが、画像表示制御部４０は、外部から送られてきた画像信号が２次元画像信号である場合には、この２次元画像信号から画像の奥行き情報を生成し、この奥行き情報を用いて、２次元画像信号から多視差画像信号を生成する機能を有している。また、外部から送られてきた画像信号が多視差画像信号である場合には、表示パネル１０ａに適した多視差画像信号に変化する機能も有している。そして、更に、これらの多視差画像信号から立体画像に変換する機能も有している。

以上説明したように、本実施形態によれば、視聴者がより良い視域内に位置しているか否かを容易に知らしめることのできる立体画像表示装置を提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１立体画像表示装置
１０表示装置
１０ａ表示パネル
１０ｂ光線制御素子
１２カメラ映像
１４視域画像
２０カメラ
２２ａ〜２２ｉカメラ
３０フェイストラッキング部
３５メモリ
３７テストパターン用メモリ
４０画像表示制御部
４２カメラ映像表示制御部
４４視域画像表示制御部
４６テストパターン表示制御部
６０ａ、６０ｂ、６０ｃ視域
１００視聴者
１００ａ、１００ｂ、１００ｃ視聴者
１０１ａ左眼
１０１ｂ右眼
１０２眼間中心
１０５リモートコントローラ
３００対称物

Claims

画素がマトリクス状に配列された表示画面を有する表示パネルと、前記表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、
同一の対象物に関する、視聴位置に応じて異なって見える複数の多視差画像と、前記複数の多視差画像のそれぞれに付され、視聴者が好ましい視聴位置に位置しているか否かを示す記号またはメッセージとを備えているテストパターンを記憶するメモリと、
前記テストパターンを前記表示パネルに表示させるように制御する画像表示制御部と、を備えていることを特徴とする立体画像表示装置。
前記記号またはメッセージは、「×」印または「△」印を示す記号であることを特徴とする請求項１記載の立体画像表示装置。
前記記号またはメッセージは、前記視聴者の移動方向を示す矢印であることを特徴とする請求項１記載の立体画像表示装置。
前記記号またはメッセージは、警告メッセージであることを特徴とする請求項１記載の立体画像表示装置。
前記表示装置に設けられたカメラと、
前記カメラによって撮像された画像から視聴者が前記表示装置の前に存在している場合に、前記表示装置から前記視聴者までの距離および前記視聴者の位置を検出するトラッキング部と、
を更に備え、
前記画像表示制御部は、
前記トラッキング部によって検出された前記表示装置から前記視聴者までの距離および前記視聴者の位置に基づいて、前記視聴者が視域に位置しているか否かを示す視域画像を前記表示パネルに表示させるように制御する視域画像表示制御部を更に備えていることを特徴とする請求項１乃至４のいずれかに記載の立体画像表示装置。
前記トラッキング部は所定間隔でトラッキング動作を行い、前記視域画像表示制御部は前記トラッキング動作が行われる度に、前記視域画像を更新することを特徴とする請求項５記載の立体画像表示装置。
前記画像表示制御部は、前記視域画像を前記表示パネルに表示させた後、前記視聴者からの指令に基づいて、前記テストパターンを前記表示パネルに表示させることを特徴とする請求項５または６記載の立体画像表示装置。
前記画像表示制御部は、前記カメラによって撮像されたカメラ映像を前記表示パネルに表示させるように制御するカメラ映像表示制御部を更に備え、
前記画像表示制御部は前記視域画像を前記表示パネルに表示するとともに前記カメラによって撮像されたカメラ映像を前記表示パネルに表示させることを特徴とする請求項５乃至７のいずれかに記載の立体画像表示装置。
前記記号またはメッセージは、前記複数の多視差画像に応じて異なる位置に表示されることを特徴とする請求項１乃至８のいずれかに記載の立体画像表示装置。