JP4475201B2 - 立体画像表示装置及び立体画像表示装置システム - Google Patents

Description

この発明は、立体画像表示装置及び立体画像表示装置システムに関し、特に、擬似立体画像生成を行って両眼視差画像を、例えば液晶シャッター眼鏡などを使用して鑑賞するための立体画像表示装置及び立体画像表示装置システムに関するものである。

従来、３次元立体画像を観察する技術として、特開平９−２３４５２に映像信号を１フィールド毎に左目用映像信号と右目用映像信号とで交互に表示し、１フィールド毎に左目用映像と右目用映像とが、二重像の状態で再生される。そして、ディスプレイの前面に配置された偏光フィルターで１フィールド毎のタイミングをもったスイッチング信号によって第１と第２の偏光角に制御され、第１と第２の偏光角に対応した左目用偏光フィルターと、右目用偏光フィルターより成る偏光メガネを掛けて立体映像を観賞する方式が開示されている。

また、特開平９−２００８０４には、投射形立体映像表示装置において、一対のカメラでそれぞれピックアップされた一対の映像をそれぞれダブルスキャンし、ダブルスキャンされた映像をラインインタレ−シング方法で合成して一つの立体映像を形成することにより、一つの表示装置を介して立体映像を表示できる立体映像表示方法が開示されている。

また、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体化画像を作成することが行われる。

特開平８−２２７４６４には、２次元の原画像のうち任意の画面について領域分割された各画像領域を視点からの距離に従って異なるレイヤーにマッピングする初期工程と、画面の進行に従って変化する各レイヤーと視点との距離を算出する距離算出工程と、算出された距離に基づいて疑似立体動画像を生成する画像生成工程によって、疑似立体動画像を生成する方法が開示されている。
特開平９−２３４５２公報 特開平９−２００８０４公報 特開平８−２２７４６４公報 特開平９−１８５７１２号公報 特開平７−２２２２０１号公報 Y.Horry, K.Anjyo, K.Arai："Tour Into the Picture：Using a Spidery Mesh Interface to Make Animation from a Single Image",SIGGRAPH’97 Proceedings,pp.225-232(1997) C.Tomasi and T.Kanade: "Shape and Motion from Image Streams under Orthography: A Factorization Method", Int. Journal of Computer Vision.Vol.9,No.2, pp.137-154(1992)

従来の立体映像表示装置には、それぞれ、２次元の画像を、両眼視差を用いた立体視に適応できる画像生成方法、あるいは、リアプロジェクション立体映像表示装置に２つの光学エンジンを搭載しフィールドシーケンシャルに表示する方式、あるいは表示装置を汎用にしてフィールドシーケンシャルに両眼視差画像を表示し、偏光メガネを掛けて立体映像を観賞する方式がある。

しかし、システムとして組み合わせたときに、偏光眼鏡スイッチングのタイミング信号を発生させるスイッチング信号発生部の場所によっては、視聴領域とスイッチング信号受信可能領域との不一致により視聴位置が限定されることがあった。また、立体画像を視聴しながらリモコンによって制御信号を発信するときに、画面エリヤとは別の領域にある信号受信部に向けないと制御信号を受信できないなどの問題があった。特に、画面が大型化して、必ずしもリモコン光受光部が画面中央に近い部分に設置されていない場合、画面近くのユーザーがリモコンを使う際に、リモコンを向ける方向に戸惑う場合が多かった。

本発明は、透過式スクリーンを備えたリアプロジェクション型の画像表示装置において、非常に視聴者に使い勝手の良い、眼鏡型立体画像鑑賞が可能な、立体画像表示装置及び立体画像表示装置システムを提供することを目的とする。

そこで、上記課題を解決するために本発明は、以下の立体画像表示装置及び立体画像表示装置システムを提供するものである。
（１） 非立体画像信号を基に両眼視差画像を生成する擬似立体画像生成手段と、
前記両眼視差画像を、光学プロジェクションから照射してミラーにて反射させ透過型スクリーンに時分割表示する両眼視差画像表示手段と、
前記両眼視差画像を時分割表示させるための表示切り換え信号を生成し、前記両眼視差画像表示手段に供給する表示切り換え信号発生手段と、
前記表示切り換え信号を伝送する伝送信号を前記ミラーにて反射させ、前記透過型スクリーンを通過させて外部に伝送する伝送手段と、
を備えたことを特徴とする立体画像表示装置。
（２） 上記（１）記載の立体画像表示装置において、
前記透過型スクリーンを外部から内部に向けて通過し、前記ミラーにて反射された外部制御装置からの制御信号を受信し、その制御信号に応じた制御を行う制御信号受信手段を設けたことを特徴とする立体画像表示装置。
（３） 非立体画像信号を基に両眼視差画像を生成する擬似立体画像生成手段と、
前記両眼視差画像を、光学プロジェクションから照射してミラーにて反射させ透過型スクリーンに時分割表示する両眼視差画像表示手段と、
前記両眼視差画像を時分割表示させるための表示切り換え信号を生成し、前記両眼視差画像表示手段に供給する表示切り換え信号発生手段と、
前記表示切り換え信号を伝送する伝送信号を前記ミラーにて反射させ、前記透過型スクリーンを通過させて外部に伝送する伝送手段と、
を有する立体画像表示装置と、
前記伝送信号を受信して前記表示切り換え信号を生成し、この前記表示切り換え信号によって、右目用画像入光部と左目用画像入光部とを交互に遮光する眼鏡装置と、
を備えたことを特徴とする立体画像表示装置システム。

本発明の立体画像表示装置及び立体画像表示装置システムによれば、擬似立体画像生成部を表示装置内に設け、リアプロジェクション特有の透過型スクリーンとミラーとの光学系の仕組みを用いて、眼鏡装置側へ表示切り換え信号の到達するエリアと、視聴者の視聴可能エリアとを一致させることができ、非常に使い勝手の良い装置、システムを提供できる。

また、透過型スクリーンを外部から内部に向けて通過し、ミラーにて反射された外部制御装置からの制御信号を受信し、その制御信号に応じた制御を行う制御信号受信手段を設けた本発明の立体画像表示装置によれば、外部制御装置からの制御信号の照射目標を、透過型スクリーン上の画像投影位置と一致させることができ、非常に使い勝手の良い装置を提供できる。例えば、立体画像を用いてオンスクリーン表示などで立体の奥行き量などを調整する場合に、制御信号の照射目標が透過型スクリーン上の画像投影位置と一致していると人間工学的に、人の感覚と一致して、使い勝手の良い装置を提供できる。

［実施例］
以下、図１、図２を用いて本発明の立体画像表示装置及び立体画像表示システムを適用した一実施例について説明する。図１は一実施例の立体画像表示システムの全体を示す図である。この立体画像表示システムはリアプロジェクションを用いたＴＶ装置である。

光学プロジェクション１０６から照射された画像信号は、ミラー１０７で反射され、透過型スクリーン１０８に投影される。スクリーン１０８は光を集光するフレネルレンズや拡散する板から構成されている。

光学プロジェクション１０６のレンズ近傍に、スイッチング信号発生部（表示切り換え信号発生手段）１０３、及び、立体画像表示制御信号受信部（制御信号受信手段）１０５が設置されている。また、ＴＶ装置内部には非立体画像信号を基に両眼視差画像を生成する擬似立体画像生成部１０４も内蔵されている。さらに、疑似立体画像生成部１０４からの両眼視差画像を時分割表示する両眼視差画像表示部（図示せず）と、ＴＶ信号受像回路（図示せず）が内蔵されている。実際には、疑似立体画像生成部１０４は両眼視差画像表示部と、ＴＶ信号受像回路とともに、光学プロジェクション１０６の中に組み込まれている。

ＴＶ装置の外部には、スイッチング信号受光部１０２により赤外線を受光し、その赤外線で伝送されたスイッチング信号に同期して観察者の右目、左目の画像を視聴者の目に入光させる、液晶を用いたシャッター付き眼鏡装置を用いる。

同様にＴＶ装置の外部には、立体画像表示装置内部の立体画像表示制御信号受信部１０５に受信させることを目的とした、立体画像表示制御信号発生部１０１を備えたリモコン装置（外部制御装置）を用いる。これらの信号動作は後述する。

図２は図１のシステムを前方より見た図である。疑似立体画像生成部１０４は図視せぬ両眼視差画像表示部と、ＴＶ信号受像回路とともに、光学プロジェクションの中に組み込まれている。

スイッチング信号発生部１０３、及び、立体画像表示制御信号受信部１０５は図２にように、光学プロジェクション１０６のプロジェクションレンズの近傍に設置してある。よって、光学プロジェクションからの光が、ミラーを反射して、スクリーンへ向かい透過して、視聴者の目に届くルートと、ほぼ同じように、スイッチング信号が赤外線により、ミラーを反射して、スクリーンへ向かい透過して、ユーザーの立体視のための液晶シャッター付き眼鏡装置のスイッチング信号受光部１０２へ届く。

またＴＶ装置外部からの立体画像表示制御信号発生部１０１を備えたリモコンからの赤外線は、画像表示に用いるスクリーンを外部から内部に向けて通過して、ミラーで反射され、ＴＶ装置内部の立体画像表示制御信号受信部１０５で受信される。

次に、図５、図３、図４を用いて、立体画像表示のためのＴＶ装置内部の信号処理について説明する。図５はＴＶ装置内部の立体画像表示のための信号処理部分のブロック図である。

まずＴＹ装置内部の図視せぬＴＶ信号受像回路で映像信号が生成され、その映像信号は疑似立体画像生成部５０１（図１の１０４に相当）において、非立体画像信号を基に両眼視差画像を生成する。人間の左右の目は約７〜８ｃｍ離れており、同一の物体を見ても左右の目に映る画像は水平方向に視差をもつ。この左右の視差（両眼視差）により人間は物体を立体として認識することができる。立体画像表示システムにおいて非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体化画像を作成することが行われる。

また、立体視に限らず２次元画像からシーンの３次元構造を推定し画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている（例えば、非特許文献１参照）。この非特許文献１記載のツァー・インツー・ピクチャ（"Tour Into the Picture"）では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。また、上記の"Tour Into the Picture"では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる擬似立体画像作成装置及び擬似立体画像作成方法も従来より知られている（例えば、特許文献４参照）。この特許文献４記載の発明では、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、上記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。

また、古典的な２次元→３次元手法としては所謂シェープ・フロム・モーション（"shape from motion"）が知られている（例えば、非特許文献２参照）。これは文字通り動き情報から奥行きを推定するもので、動画の動き情報を用いて立体画像を構成するというものである。しかし、編集なしに動きのみから安定した奥行き推定を自動的に行うことは困難であり、この編集を行い易くするための擬似立体画像作成装置及び擬似立体画像作成方法も知られている（例えば、特許文献５参照）。この特許文献５には、元の２次元画像を複数個のシーンに分割し、そのシーン毎に２次元画像のままにするか３次元画像に変換するかによって、２次元画像から生成される３次元画像の前記２次元画像に対する変換率を調整する２次元画像から３次元画像への変換方法が開示されている。

以上のような方法を用いて非立体画像信号を基に両眼視差画像を生成することが可能である。生成された両眼視差画像は、例えば右目用の画像はフレームメモリー（Ｒ）５０５に、左目用の画像はフレームメモリー（Ｌ）５０６に一時的にメモリーされる。

一方、映像信号は同期信号分離器５０４に入力され、水平同期信号、垂直同期信号が分離され、スイッチング信号発生部５０８に入力される。スイッチング信号発生部５０８では、右目用画像と左目用画像を１フィールド毎に切り替える表示タイミング信号であるスイッチング信号を発生させる。

図３の（ａ）のように、右目用の画像としては、ＮＴＳＣであれば５９．９４ＨｚでＲ１、Ｒ２、Ｒ３、Ｒ４というように右目用フィールド画像が生成される。（もちろんプログレッシブ化された画像であってもよい。）また、疑似立体画像生成部によって、左目用画像としては、図３（ｂ）のようにＬ１、Ｌ２、Ｌ３、Ｌ４のように左目用フィールド画像が生成される。図３（ｃ）のように、入力された映像信号のフィールド画像の垂直同期信号をもとに、各フィールドの開始タイミングにおいて、反転する表示タイミング信号であるスイッチング信号を生成する。

このスイッチング信号は、スイッチング呼び出し部５０７に入力される。スイッチング呼び出し部５０７は、フレームメモリ（Ｒ）５０５と、フレームメモリー（Ｌ）５０６の画像を、入力されたスイッチング信号をもとに、図４（ａ）に示すように、ＲとＬのフィールドを交互に呼び出す。即ち、Ｒ１、Ｌ２、Ｒ３、Ｌ４というように交互に２つのフレームメモリーから呼びだし、画像表示部５１０へ伝送し、画像表示が図１に示す光学プロジェクション１０６によりなされる。

画像表示の仕組みは図１のように、各画像が光学プロジェクション１０６のプロジェクションレンズから照射され、ミラーで反射され、フレネルレンズと拡散板により構成されたスクリーンによって表示される。

また、画像表示と同時に、スイッチング信号がスイッチング信号発信部５０９に入力される。スイッチング信号発信部５０９は信号受信伝送部５１１にスイッチング信号を伝送し、赤外線などの伝送信号を用いてスイッチング信号を、ミラーを経由し、スクリーンを通過して、ＴＶ装置外部へ送信する。ブロック５０８、５０９、５１１が図１に示すスイッチング信号発生部１０３に相当する。

次に、図６を用いて、眼鏡装置での信号処理について説明する。赤外線などを用いて、ミラーを経由し、スクリーンを通過して、ＴＶ装置外部へ送信されたスイッチング信号は、液晶シャッター付の眼鏡装置に設けられた信号受信部６０１で受信する。受信した赤外線信号はスイッチング信号受信部６０２に入力される。スイッチング信号受信部６０２では、図４（ｂ）のスイッチング信号を生成し、液晶制御部６０３に入力する。ブロック６０１、６０２が図１に示すスイッチング信号受信部１０２に相当する。

液晶制御部６０３では、スイッチング信号を基にフィールド毎に、右目用の画像と左目用の画像とが時間的に交互に入光されるように液晶シャッターを制御する。シャッター付き眼鏡装置は左右独立に対応した液晶シャッターが設けられ、ＴＶ装置内部の信号処理にて表示されている時間交互の両眼視差フィールド画像に同期して、液晶シャッターが駆動され、液晶シャッター付き眼鏡装置の左右のシャッター開閉が同期される。これにより、視聴者は時間的に交互に右目、左目に両眼視差のついた画像を入力されることになり、もとは非立体画像信号であった映像信号を、立体映像信号として認識し、立体視をすることができる。

なお、ここでは５９．９４Ｈｚの所謂ＮＴＳＣの信号を基本として説明したが、ＰＡＬの方式の５０Ｈｚでも構わない。またＨＤ規格には、１２８０ｘ７２０の３０Ｈｚや６０Ｈｚのプログレッシブ画像を扱う規格も存在するが、そのような規格にも適応可能である。

さらに、プログレッシブ表示が通常のスキャンモードとなっているパソコンや、取り込みビデオ信号の特性を自動的に検出して、フィールド表示やプログレッシブ表示などを制御する大画面のディスプレイシステムに応用することも可能である。

次に、図７を用いてリモコンに関する信号処理について説明する。まず視聴者のユーザーインターフェース７０１によって、ユーザーが所望する立体画像表示に関する制御信号を入力情報化する。例えば立体画像の奥行きの出し方などのレベルを大きくしたり、小さくしたりする制御信号などである。情報化されたユーザーのリモコン信号はリモコン信号発生部７０２に入力される。リモコン信号発生部では制御パラメータに応じた信号に変換され、信号伝送部７０３に入力される。信号伝送部７０３では赤外線などを用いて信号を、スクリーンを通過して、ミラーを経由し、ＴＶ内部へ送信する。ブロック７０１〜７０３が図１に示す立体画像表示制御信号発生部１０１に相当する。

ＴＶ装置内部に送信された信号は、図５の信号受信伝送部５１１で受信される。受信された信号は立体画像表示制御信号受信部５０３に入力される。立体画像表示制御信号受信部は立体画像を表示するときに必要なパラメータなどの情報を受信しＣＰＵ５０２へ出力する。

ＣＰＵでは入力された立体画像を表示するときに必要なパラメータ情報を基に、例えば立体表示の奥行きレベルを大きくして、飛び出し量を大きくするなど、両眼視差のつけ方をスカラー倍するなどの量に変換して、疑似立体画像生成部５０１へ伝送する。疑似立体画像生成部では前記したように、それらのパラメータ情報を用いて、非立体画像信号を基に両眼視差画像を生成する。

次に、図８を用いて、スクリーンとミラーを経由して、トラッキング信号やリモコン信号を送信受信することの効果を説明する。図８のように、リアプロジェクションＴＶ装置などの大画面で立体画像によって、空中に浮いたオンスクリーンのメニューを選択するような場合を考える。従来であれば、スイッチング信号発生部８０１や立体画像表示制御信号受信部８０２などが画面の下部などに設置される。こうした場合、画面に近づいて立体画像をユーザーが楽しもうとすると、液晶シャッター付き眼鏡装置で受信されるべきスイッチング信号が、送信可能エリアの上下左右角度の限界を超えて、眼鏡装置に届かないことがある。

同様に、空中に浮かんだ立体画像で表示されたメニュー画面に向けてリモコン操作するようなことがしばしばある。この時、立体画像表示制御信号受信部８０２が画面の下に設置されている場合、リモコン受光可能エリアの左右上下の角度を超えて、空中情報に向けてリモコンを向けてしまう場合に、やはり、リモコン信号が立体画像表示制御信号受信部８０２に届かないことがある。

このような立体画像表示装置に特有な課題は、図１や図２にように、スクリーンとミラーを経由して、トラッキング信号やリモコン信号を送信受信することにより解決できる。即ち、眼鏡装置に対してスイッチング信号を発生させるスイッチング信号発生部の場所により、視聴領域とスイッチング信号受信可能領域との不一致が発生し視聴位置が限定されるといった問題を解決できる。また、、立体画像を視聴しながらリモコンによって制御信号を発信するときに、画面表示エリヤとは別の領域にあるリモコン信号受信部にリモコンを向けなければならないなどの問題を解決できる。

特に、画面が大型化して、必ずしもリモコン光受光部が画面中央に近い部分に設置されていない場合、画面近くのユーザーがリモコンを使う際に、リモコンを向ける方向に戸惑う場合が多かった。本実施例によれば、リアプロジェクション装置に特有のスクリーンとミラーとの光学系の仕組みを用いて、使い勝手の良い、眼鏡型立体画像鑑賞が可能な、立体画像表示システムを実現することができる。

本発明を適用した立体画像表示システムの一実施例を示す全体構成図（側面）である。 立体画像表示システムの一実施例を示す全体構成図（前面）である。 一実施例の右目、左目用の画像の表示タイミングを示す説明図である。 一実施例の右目、左目用の交互表示画像を示す説明図である。 一実施例の立体画像表示に関する信号処理部分のブロック図である。 一実施例における眼鏡装置の信号処理部分のブロック図である。 一実施例におけるリモコンの信号処理部分のブロック図である。 一実施例の効果を説明するための図である。

符号の説明

１０１ 立体画像表示制御信号発生部
１０２ スイッチング信号受光部
１０３ スイッチング信号発生部
１０４ 疑似立体画像生成部
１０５ 立体画像表示制御信号受信部
１０６ 光学プロジェクション
１０７ ミラー
１０８ 透過型スクリーン
５０１ 疑似立体画像生成部
５０２ ＣＰＵ
５０３ 立体画像表示制御信号受信部
５０４ 同期信号分離器
５０５ フレームメモリー（Ｒ）
５０６ フレームメモリー（Ｌ）
５０７ スイッチング呼び出し部
５０８ スイッチング信号発生部
５０９ スイッチング信号発信部
５１０ 画像表示部
５１１ 信号受信伝送部
６０１ 信号受信部
６０２ スイッチング信号受信部
６０３ 液晶制御部
６０４ 眼鏡液晶
７０１ ユーザーインターフェース
７０２ リモコン信号発生部
７０３ 信号伝送部
８０１ スイッチング信号発生部
８０２ 立体画像表示制御信号受信部

Claims (3)

1. 非立体画像信号を基に両眼視差画像を生成する擬似立体画像生成手段と、
   前記両眼視差画像を、光学プロジェクションから照射してミラーにて反射させ透過型スクリーンに時分割表示する両眼視差画像表示手段と、
   前記両眼視差画像を時分割表示させるための表示切り換え信号を生成し、前記両眼視差画像表示手段に供給する表示切り換え信号発生手段と、
   前記表示切り換え信号を伝送する伝送信号を前記ミラーにて反射させ、前記透過型スクリーンを通過させて外部に伝送する伝送手段と、
   を備えたことを特徴とする立体画像表示装置。
2. 請求項１記載の立体画像表示装置において、
   前記透過型スクリーンを外部から内部に向けて通過し、前記ミラーにて反射された外部制御装置からの制御信号を受信し、その制御信号に応じた制御を行う制御信号受信手段を設けたことを特徴とする立体画像表示装置。
3. 非立体画像信号を基に両眼視差画像を生成する擬似立体画像生成手段と、
   前記両眼視差画像を、光学プロジェクションから照射してミラーにて反射させ透過型スクリーンに時分割表示する両眼視差画像表示手段と、
   前記両眼視差画像を時分割表示させるための表示切り換え信号を生成し、前記両眼視差画像表示手段に供給する表示切り換え信号発生手段と、
   前記表示切り換え信号を伝送する伝送信号を前記ミラーにて反射させ、前記透過型スクリーンを通過させて外部に伝送する伝送手段と、
   を有する立体画像表示装置と、
   前記伝送信号を受信して前記表示切り換え信号を生成し、この前記表示切り換え信号によって、右目用画像入光部と左目用画像入光部とを交互に遮光する眼鏡装置と、
   を備えたことを特徴とする立体画像表示装置システム。

Images