JP6027764B2 - ミラーシステム、および、その制御方法 - Google Patents

Description

本発明は、オブジェクトの鏡像に任意の画像を重畳表示するミラーシステムに関する。

従来より、反射像を映すだけでなく鏡面に映像を表示させるミラーシステムが各種提案されている(例えば、特許文献１,２参照)。

このようなミラーシステムの応用例として、人体の機能回復を目的としたリハビリテーションシステムや、健康維持のための体操の質を判断するシステム等が考えられている。

このような応用システムにおいては、体験者の姿勢評価結果や過去の状態、トレーナーによる正しい教示動作等の評価指標映像を、体験者の鏡像と同時に鏡面に呈示することによって、効果的なリハビリやトレーニングを行うことが期待できる。

特開2006-330011号公報 特開2009-156990号公報

上記特許文献１，２に記載された技術では、鏡面を形成するハーフミラーの裏に拡散層(スクリーン)を設置して映像を呈示している。したがって、上記応用システムとして体験者の姿勢とその評価指標を呈示する際には、以下のような不具合が発生する。

まず、画像呈示面の奥行きがスクリーン上に固定されるため、評価指標映像が鏡像とは異なる奥行きに呈示されてしまう。すなわち、該システムの体験者の鏡像と呈示画像の虚像間での輻輳角および焦点距離が異なるため、体験者が注視点を変更せずに、自身の鏡像と呈示画像を同時に観察することは困難となる。例えば体験者が、自身と鏡の間隔(距離)の2倍相当の奥行きに存在する自身の鏡像に注視した場合、鏡表面に呈示されている評価指標映像に対する両眼視差が一致せず、評価指標映像が二重にぼやけて見えてしまう。逆に、体験者が鏡表面の評価指標映像を注視した場合、鏡の奥に存在する自身の鏡像が二重にぼやけてしまう。

さらに、体験者が前後に移動した場合、該移動に応じて鏡像位置は変動するのに対し、評価指標映像はスクリーン上に固定されているため、体験者の動きに評価指標映像の呈示が追従できない。

また、体験者の動きの評価を行う際に、評価指標映像として、姿勢に応じたボーンやCG等を部位ごとに重畳表示することが考えられる。この場合、頭部・四肢等の各部位の奥行きが異なるような姿勢をとることが予想され、各部位の評価指標映像を自身の姿勢に部位ごとに重畳して観察することは困難である。

上記問題を解決するために、上記特許文献１,２におけるハーフミラー裏の映像呈示装置を3Dディスプレイとすることで、評価指標映像の表示に奥行きをもたせることが考えられる。この場合すなわち、体験者は裸眼立体視もしくは偏光式に代表される3D体験用メガネ等を装着し、呈示画像の左右視差を模擬的に作成する。しかしながら、このように3Dディスプレイを用いた場合でも、実際に呈示される映像は上記スクリーン上である。したがって、ヒト眼球の焦点調節機構や輻輳角調節機構上では、体験者の鏡像と評価指標映像とは異なる奥行きとなるため、体験者に適切な映像を呈示することはやはり困難である。

本発明は、オブジェクトの鏡像の奥行きに合わせた奥行きを有する呈示画像を鏡像に重畳表示することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

すなわち、表面側に正対するオブジェクトからの入射光を反射して鏡像を呈示し、背面からの入射光を透過するミラーと、前記オブジェクトを撮影する撮影手段と、前記オブジェクトを撮影した画像に基づいて、前記鏡像へ重畳される呈示画像の画像データを生成する生成手段と、前記画像データに基づいて、前記鏡像へ重畳される前記呈示画像を表示出力する表示手段と、前記表示手段と前記ミラーの背面の間に設置され、前記呈示画像を呈示する光学手段と、前記オブジェクトと前記ミラーの間の距離情報を取得する取得手段と、前記距離情報に応じて前記光学手段による前記呈示画像の結像位置を制御する制御手段と、を有することを特徴とする。

本発明によれば、オブジェクトの鏡像の奥行きに合わせた奥行きを有する呈示画像を鏡像に重畳表示することが可能となる。

第１実施形態におけるミラーシステムの基本構成を示すブロック図、 第１実施形態におけるミラーシステム使用時の外観を示す図、 図１から体験者の位置が変化した際の構成を示すブロック図、 第２実施形態におけるミラーシステム使用時の外観を示す図、 第２実施形態のシステム構成(時系列制御方式)を示すブロック図、 第２実施形態のシステム構成(並列制御方式)を示すブロック図、 第３実施形態におけるミラーシステム使用時の外観を示す図、 第３実施形態のシステム構成を示すブロック図、である。

以下、本発明に係る実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
●システム構成
まず図１を用いて、本実施形態に係る表示装置であるミラーシステム190の基本構成について説明する。ミラーシステム190においては、オブジェクトとして該システムの体験者100の鏡像を映し、さらに所定の呈示画像を該体験者の鏡像に重畳する。

ミラーシステム190は、体験者100の前面に設置され、その鏡像を映すハーフミラー110と、該鏡像への重畳対象となる画像を表示する画像表示部120を備える。また、画像表示部120に表示する画像(以下、呈示画像)を生成し、その表示を制御する表示制御部125を備える。また、所定の呈示画像を体験者100に呈示するために、該呈示画像をハーフミラー110の後方へ導光する光学系130を備える。さらに、鏡面に正対する体験者100の映像と体験者100から鏡面までの距離を取得するオブジェクト位置取得部140と、呈示画像の虚像の奥行き位置を制御する結像位置制御部150を備える。

ハーフミラー110は、入射光の一部を反射し、一部を透過させる透過ミラーであって、その反射光と透過光の割合は1:1に限定されない。ハーフミラー110は、鏡面前方(表面側)の距離dの位置に立つ体験者100に対し、該鏡面の後方(背面側)に距離dの位置、すなわち体験者100から距離2dの位置に、体験者100の鏡像101を呈示する。同時に、ハーフミラー110の後方から光学系130を介して導光された、画像表示部120からの呈示画像を透過させて、体験者100に呈示する。

画像表示部120は例えばLCDディスプレイであり、例えば評価指標となる映像(評価指標映像)を呈示画像として表示する。画像表示部120はその表示面がハーフミラー110の鏡面に対して直角をなすよう、図中上方に向けて設置されている。

表示制御部125は画像生成手段として機能する例えばコンピュータ(PC)であり、鏡像への重畳対象となる、所定の呈示画像を生成して画像表示部120へ出力する。また、オブジェクト位置取得部140から取得した、体験者100の位置を示す奥行き情報に基づき、呈示画像の虚像位置を制御するための焦点距離情報を算出し、結像位置制御部150へ出力する。

光学系130は、例えば複数のレンズから構成されるレンズ系131と、導光系ミラーである反射鏡132から構成されており、画像表示部120に表示された呈示画像をハーフミラー110の背面へ導光し、透過させる。これにより、ハーフミラー110の表面側から、呈示画像の虚像121が観察される。なお光学系130は後述するように、結像位置制御部150によってレンズ系131の焦点距離が調整されるため、呈示画像の虚像121が所定の奥行き位置に発生する。図１の例では、虚像121が体験者100から奥行き2dの位置、すなわち体験者100の鏡像101と同平面上に発生するように、光学系130が調整されている。

オブジェクト位置取得部140は例えばステレオカメラであり、ハーフミラー110の上部に設置される。そして、体験者100の像を撮影すると同時に、ハーフミラー110に正対する体験者100の位置(距離d)を計測し、奥行き情報として取得することで、距離情報取得手段として機能する。オブジェクト位置取得部140で取得された奥行き情報が、体験者100の像とともに表示制御部125に入力されることで、表示制御部125において体験者100の動作情報をリアルタイムに検知できる。

結像位置制御部150は光学系130に接続されており、表示制御部125でオブジェクト位置取得部140からの奥行き情報に基づいて制御された焦点距離情報に応じて、レンズ系131の焦点距離を制御する。これにより、画像表示部120による表示画像の結像位置を調整して、虚像121の位置を、ハーフミラー110に対して前後(ハーフミラー110に近づく方向と/遠ざかる方向)に調整可能とする。なお、奥行き情報と焦点距離情報との関係は、光学系130の構成や、光学系130と画像表示部120との距離等による。したがって、奥行き情報に応じた最適な焦点距離情報を得るために、例えば予め計測を行い、その結果をテーブルとして保持しておば良い。

●呈示画像の重畳処理
上記構成からなる本実施形態のミラーシステム190では、人体の機能回復を目的としたリハビリテーションシステムを実現するとする。すなわち、体験者の動作に対して、評価指標となる呈示画像をCGとして重畳し、観察可能なように呈示する。以下、呈示画像を重畳する処理について、図２および図３を用いて詳細に説明する。

図２は、本実施形態のミラーシステム使用時の外観を示す図であり、体験者100がハーフミラー110の前方に立ち、リハビリテーション用の体操を行っている様子を示している。ハーフミラー110には、体験者100の鏡像101が、鏡からの奥行きd(体験者100とハーフミラー110間の距離)にあるように表示され、体験者100の行う体操の様子を映している。

このとき表示制御部125では、オブジェクト位置取得部140で撮影された、体験者100の姿勢映像および奥行き情報(距離d)を取得し、該姿勢映像から体軸を表す指標や肩の水平を表す指標等の評価指標200を算出する。そして該評価指標200に基づき、体験者100の現在の姿勢に合うように、呈示画像のCGを作成して画像表示部120に表示する。すると該表示された呈示画像のCGが光学系130を介してハーフミラー110の背面側から透過することで、その虚像201が体験者100に対して呈示される。このとき、虚像201は体験者100の鏡像101と同じ奥行きに位置することで、体験者100から同じ奥行きの像として観察されるが、その詳細については後述する。これにより体験者100は、リハビリテーション体操の動作に応じた評価指標の虚像201が、自己の鏡像101と同じ輻輳角、焦点距離に存在する像として重畳され、自己の鏡像101と同時に観察することが可能となる。

ここで、体験者100が前後に移動した場合の表示について説明する。上記図１に示す状態(体験者100とハーフミラー110間が距離d)から、体験者100が後ろに下がることで、図３に示すように体験者100とハーフミラー110間の距離がd'となる。以下、距離d'時の体験者を300とする。この場合、体験者300の鏡像301が、鏡面後方に奥行きd'の位置に表示され、オブジェクト位置取得部140が距離d'を取得する。すると、距離d'に基づいて表示制御部125で算出された焦点距離情報に応じて、結像位置制御部150が光学系130を制御する。詳細には、光学系130におけるレンズ位置を、図１の131に示す状態から、図３の331に示す状態に変更することで、その焦点距離を制御する。これにより、画像表示部120に表示された評価指標200の結像位置が変更され、その虚像321が、ハーフミラー110の鏡面から後方へ距離d'の位置に存在するように観察される。したがって、体験者300は移動後の鏡像301と同じ奥行き、すなわち同一の距離d'の位置に、評価指標200の呈示画像を観察することが可能となる。すなわち体験者300は、注視点を変更することなく、鏡像301と虚像321を同時に観察することができる。

以上説明したように本実施形態によれば、体験者300の前後の動きと面対象になるように虚像321の奥行きを調整可能とすることで、自身の鏡像301と輻輳角・焦点距離ともに等しい位置に、呈示画像の虚像321を配置することができる。これにより体験者300は、自身の鏡像301と虚像321とを同時に視認することが容易に可能となる。

なお、虚像321は必ずしも体験者300自身の鏡像と同じ奥行きにある必要はなく、虚像321が、体験者300とハーフミラー110との距離に連動した奥行きを有する画像として、呈示されれば良い。

なお本実施形態では、画像表示部120に表示された呈示画像を体験者に呈示するために、ハーフミラー110を用いて該呈示画像を鏡背面へ導光する例を示した。しかしながら本発明が備えるべきミラーはハーフミラーに限らず、鏡像と呈示画像を同一奥行き面に呈示できれば、例えば全反射鏡を使用しても良い。

また本実施形態では、オブジェクト位置取得部140をステレオカメラによって構成する例を示したが、このように撮像装置を備える例に限らず、体験者100の奥行き位置(距離d)が計測できれば良い。したがって、TOF(Time Of Flight)法を用いた測距システムや、焦電センサのような距離センサ等を用いて測距を行うことも可能である。また、オブジェクト位置取得部140を明示的な構成として備えなくても良い。例えば、カメラ等の画像入力装置を用いて体験者100の顔検出を行い、その検出サイズから距離を概算することで、体験者100までの距離dを推定しても良い。

また本実施形態では、評価指標200として、体験者100の姿勢に応じたガイドラインのCGを呈示する例を示した。しかしながら、呈示画像として重畳される評価指標200はこの例に限定されず、理学療法士やインストラクターの実写映像等のビデオ画像や文字等も呈示可能であることは言うまでもない。

また、結像位置制御部150が光学系130を制御して虚像位置を変更する例を示したが、虚像位置を変更できれば、他の方法も適用可能である。例えば、光学系130に対する画像表示部120の位置(距離)を制御する方法や、画像表示部120における表示状態を変更する方法も考えられる。

また、ミラーシステムに鏡像が写りこむオブジェクトとして、該システムの体験者の身体を例として説明したが、オブジェクトはこの例に限定されないことはもちろんである。例えば、オブジェクトは人物ではない物体であっても良いし、また該物体(または人物)の一部であっても良い。

また、本実施形態においてはオブジェクトを体験者とし、その鏡像および重畳された呈示画像を体験者自身が観察する例を示した。しかしながら、鏡像を観察するのは体験者自身に限らず、ミラー前方にいる他の人物(観察者)であることも考えられる。このように体験者と観察者が異なる場合であっても、観察者はやはり注視点を変えることなく、体験者の鏡像とそれに重畳された呈示画像とを同時に視認可能である。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態では、上述した第１実施形態で示したミラーシステムにおいて、オブジェクトとして複数の人物が存在し、相互の言語を翻訳する、いわゆる同時通訳システムを実現する例を示す。なお、第２実施形態のミラーシステムにおいて、上述した第１実施形態で図１に示した構成と同様の構成については同一番号を参照するとし、説明を省略する。

まず図４に、第２実施形態においてハーフミラー110に複数人物の鏡像が写った状態（写り状態450)を示す。同図に示す写り状態450においては、ハーフミラー110の前方に二人の人物(中国人400と日本人410)が存在し、それぞれの鏡像401,411が写っている。詳細には、ハーフミラー110から距離d1の位置に中国人400が、ハーフミラー110に対して中国人400より後方となる距離d2(d1＜d2)の位置に日本人410が立っている。

このような状態で、日本人410が日本語で「お酒は飲めますか？」と質問したとする。するとミラーシステム190は、周知の音声認識、翻訳エンジン等を用いて、日本人410が発語した日本語による質問を中国語に変換し、吹き出し412に表示することで、日本人410からの質問を中国人400に対して呈示する。このとき中国人400は、話者である日本人410の鏡像411を注視しながら会話を行うことが想定されるため、吹き出し412が話者の鏡像411と同一奥行きに呈示されることが望ましい。

吹き出し412に中国語が表示されることにより、中国人400は日本人410の質問を理解することができ、中国語で「我不能喝酒」と回答する。するとミラーシステム190は、この回答を翻訳エンジン等を介して日本語に変換し、中国人400の鏡像401と同一奥行きに配置された吹き出し402に表示することで、中国人400からの回答を日本人410に呈示する。このように第２実施形態では、システム内に存在する中国人400、日本人410間における相互の同時通訳を行う同時通訳システムを実現する。

第２実施形態の同時通訳システムにおいては、中国人400と日本人410の立ち位置が異なる。したがって、両名またはそれを観察する人に対し、中国人400および日本人410のそれぞれの立ち位置と同じ奥行きに、それぞれの吹き出し402、412を呈示する必要がある。また、両名はそれぞれの立ち位置を自由に変えるため、独立した吹き出し402,412をハーフミラー110へ表示する際に奥行き制御を行う必要がある。

以下、第２実施形態において、複数の奥行きを独立して制御するための構成について説明する。図５および図６は、第２実施形態のミラーシステムの構成を示すブロック図であり、それぞれが異なる方式によって複数の奥行きを制御する。

まず図５を用いて、時系列制御方式によって複数奥行きへの虚像呈示を行う例を示す。第２実施形態では、オブジェクト位置取得部140において、ビデオカメラによって撮影された映像に対して顔認識を行うエンジンを搭載している。該エンジンにより認識された各人物400、410の顔サイズから、該人物の奥行きを推定し、各人の奥行き情報(距離d1,d2)を取得する。すなわち、人物400に対する顔認識の出力矩形401の大きさから奥行きd1を推定し、人物410に対する顔認識の出力矩形の大きさから奥行きd2を推定する。また、このように顔認識検出を行うことによって、虚像位置制御の対象も検出可能となる。

図５においては、上述した第１実施形態の構成(図１)に対し、吹き出し402の画像を呈示する画像表示系500と、吹き出し412の画像を呈示する画像表示系510を備える。画像表示系500は画像表示部501とレンズ系502からなり、画像表示系510は画像表示部511とレンズ系512からなる。これらのレンズ系502,512も、第１実施形態で図１に示したレンズ系131と同様に、結像位置制御部150によってその焦点距離が制御可能であが、それぞれの制御は独立に行われる。また、画像表示部501と511は、互いに異なる呈示画像を表示可能である。

図５に示す構成においてはさらに、導光路切替部520を備えることで、画像表示系500と510を時系列的に切り替えることでいずれか一方を有効とし、画像表示部501の表示画像と、画像表示部511の表示画像を択一で呈示する。もちろん、導光路切替部520を時系列で切り替えることで２つの呈示画像を交互に表示するようにし、この切替間隔を短縮することで、２つの呈示画像があたかも同時に表示されているように見せることも可能である。

次に図６を用いて、空間的に独立させて複数の画像表示系を備えることで、複数奥行きへの虚像呈示を並列して行う例(並列制御方式)を示す。

図６においては、吹き出し402の画像を呈示する画像表示系600と、吹き出し412の画像を呈示する画像表示系610を備える。画像表示系610は第１実施形態の光学系130と同様に、画像表示部611とレンズ系612、反射鏡613からなる。そして結像位置制御部150が、人物410に対して推定された奥行きd2に応じて、レンズ系612の焦点距離を制御する。これにより、人物410の移動に応じて、適切な位置に吹き出し412の虚像513が生成され、呈示される。

一方、画像表示系600は、画像表示部601とレンズ系602、反射鏡603からなるが、反射鏡603が画像表示系610とは異なり、入射光の一部を反射し、一部を透過するハーフミラーとなっている。そして結像位置制御部150が、人物400に対して推定された奥行きd1に応じて、レンズ系602の焦点距離を制御する。これにより、人物400の移動に応じて、適切な位置に吹き出し402の虚像503が生成され、呈示される。

結像位置制御部150が、各レンズ系602,612のそれぞれの焦点距離を独立に制御することで、画像表示部601の表示画像と、画像表示部611の表示画像が同時に呈示される。

以上説明したように第２実施形態によれば、第１実施形態で示したミラーシステムにおいて、複数のオブジェクトに対する呈示画像が、それぞれの鏡像と同様の奥行きに呈示されるように独立に制御する。これにより、複数の人物による発語を呈示画像とした同時通訳システムを実現することができる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。第３実施形態では、上述した第１実施形態で示したミラーシステムにおいて、体験者が鏡面前でゲームやスポーツのフォームチェックを行うシステムを実現する例を示す。すなわち、体験者の身体の部分的な領域(パーツ)に対して、個別に異なる奥行きの虚像を呈示する。なお、第３実施形態のミラーシステムにおいて、上述した第１実施形態で図１に示した構成と同様の構成については同一番号を参照するとし、説明を省略する。

図７は、第３実施形態のミラーシステム使用時の外観を示す図であり、オブジェクトである体験者710がハーフミラー110の前方に、スポーツもしくはゲーム用の所定のポーズで立ち、その鏡像720を映している。ここでは、体験者710の一部(以下、パーツ)である頭部711、左手712、右手713、および右つま先714のそれぞれは、ハーフミラー110に対して異なる奥行きに存在しているとする。そして第３実施形態では、体験者700のパーツ711〜714ごとに、それぞれの奥行きに応じた呈示画像721〜724を重畳表示する。

図７に示すように第３実施形態では、ハーフミラー110の上部に、体験者と鏡面間の距離dを取得するためのオブジェクト位置取得部730を備える。オブジェクト位置取得部730は、赤外線パターン照明を用いて、体験者700のデプス付き画像を取得するデプスカメラによって構成されている。オブジェクト位置取得部730では、予め体験者700のプレイ(動作)前に基本姿勢を取らせて撮影しておくことで、体験者700における各パーツ711〜714の初期状態を取得する。そして、各パーツ711〜714を時系列的に追跡することで、各パーツ711〜714の奥行き情報を取得する。

図８は、第３実施形態のミラーシステムの構成を示すブロック図である。図中、710は体験者、720はその鏡像を示す。体験者710内の711〜714は図７に示した体験者710の身体の各パーツを示し、それぞれの奥行きが異なっている。鏡像720においても、各パーツ711〜714の鏡像が相応の奥行き(721〜724)で表示されている。

第３実施形態では、画像表示部120として第１実施形態と同様のLCDディスプレイを使用するが、この画像表示部120を、その表示面がハーフミラー110の背面(体験者700の存在しない側)に対向するように設置する。そして、ハーフミラー110と画像表示部120との間に、それぞれが独立に結像位置を制御可能な複数のレンズ部を二次元に配置した光学制御部800を配置する。光学制御部800は、画像表示部120の表示領域を分割した部分領域ごとに、対応するレンズ部の結像位置を制御する。以下、光学制御部800として液体レンズアレイや液晶レンズアレイ等の可変焦点レンズアレイを用いた場合について説明を行う。

第３実施形態の表示制御部125は、オブジェクト位置取得部730より取得したデプス付き画像から、各パーツ711〜714の奥行き情報および、画面上の位置を取得することができる。そして該取得した情報から、デプス付き画像上で体験者710の頭部パーツ711に相当する、光学制御部800の部分領域801を抽出する。他のパーツ712〜714に対しても同様に、それぞれに相当する部分領域802〜804を抽出する。

そして、850は結像位置制御部であり、表示制御部125から入力される、各パーツ712〜714の奥行き情報から、光学制御部800における部分領域801〜804ごとに最適な焦点距離情報を算出し、それぞれの焦点距離を制御する。このように第３実施形態では、可変焦点レンズアレイ上の各部分領域801〜804ごとに焦点距離を変動させる。これにより、画像表示部120に表示される呈示画像のうち、各パーツ711〜714に対応する部分画像の虚像721〜724が、それぞれの奥行きに応じた位置に作成される。

以上説明したように第３実施形態によれば、それぞれが異なる奥行きである部分領域ごとに、それぞれの奥行き応じて虚像を呈示することができる。すなわち、1画面内において複数の奥行きを制御することが可能となる。

なお、第３実施形態では光学制御部800として可変焦点レンズアレイを用いる例を示したが、可変焦点ミラーアレイ等、部分領域ごとの焦点距離を制御可能なデバイスであれば適用可能である。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のプロセッサやコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (10)

1. 鏡面に画像を表示するミラーシステムであって、
   表面側に正対するオブジェクトからの入射光を反射して鏡像を呈示し、背面からの入射光を透過するミラーと、
   前記オブジェクトを撮影する撮影手段と、
   前記オブジェクトを撮影した画像に基づいて、前記鏡像へ重畳される呈示画像の画像データを生成する生成手段と、
   前記画像データに基づいて、前記鏡像へ重畳される前記呈示画像を表示出力する表示手段と、
   前記表示手段と前記ミラーの背面の間に設置され、前記呈示画像を呈示する光学手段と、
   前記オブジェクトと前記ミラーの間の距離情報を取得する取得手段と、
   前記距離情報に応じて前記光学手段による前記呈示画像の結像位置を制御する制御手段とを有することを特徴とするミラーシステム。
2. 前記制御手段は、前記ミラーの表面から前記距離情報に応じた奥行きを有する画像として前記呈示画像が観察されるように、前記光学手段による前記呈示画像の結像位置を制御することを特徴とする請求項1に記載されたミラーシステム。
3. 前記制御手段は、前記ミラーの背面側の前記距離情報に応じた位置に、前記呈示画像の虚像が発生するように、前記光学手段における前記呈示画像の結像位置を制御することを特徴とする請求項1または請求項2に記載されたミラーシステム。
4. 前記制御手段は、前記距離情報に応じて前記光学手段のレンズ系の焦点距離を制御することを特徴とする請求項1から請求項3の何れか一項に記載されたミラーシステム。
5. 前記表示手段は、互いに異なる呈示画像を表示可能な複数の表示部を備え、
   前記光学手段は、前記複数の表示部それぞれと前記ミラーの背面の間に配置された複数の光学系を有し、
   前記制御手段は、前記複数の光学系による呈示画像の結像位置を制御することを特徴とする請求項1から請求項4の何れか一項に記載されたミラーシステム。
6. 前記取得手段は、複数のオブジェクトの距離情報を取得し、
   前記複数の表示部は、前記複数のオブジェクトそれぞれに対応する呈示画像を表示し、
   前記制御手段は、前記複数のオブジェクトそれぞれの距離情報に応じて、前記複数のオブジェクトそれぞれに対応する呈示画像の結像位置を制御することを特徴とする請求項5に記載されたミラーシステム。
7. 前記光学手段は、前記複数の光学系の一つからの光を前記ミラーの背面に導く光学切替手段を有することを特徴とする請求項5または請求項6に記載されたミラーシステム。
8. 前記光学手段は、それぞれが結像位置を制御可能な複数のレンズ部を並列に配置したレンズアレイを有し、
   前記制御手段は、前記表示手段の表示領域を分割した部分領域ごとに、前記部分領域に対応する前記レンズアレイのレンズ部の結像位置を制御することを特徴とする請求項1から請求項4の何れか一項に記載されたミラーシステム。
9. 表面側に正対するオブジェクトからの入射光を反射して鏡像を呈示し、背面からの入射光を透過するミラーと、
   前記鏡像へ重畳される呈示画像を表示出力する表示手段と、
   前記表示手段と前記ミラーの背面の間に設置され、前記呈示画像を呈示する光学手段と、を有し、鏡面に画像を表示するミラーシステムの制御方法であって、
   撮影手段が、前記オブジェクトを撮影し、
   生成手段が、前記オブジェクトを撮影した画像に基づいて、前記鏡像へ重畳される呈示画像の画像データを生成し、
   表示制御手段が、前記画像データに基づいて、前記表示手段に前記呈示画像を表示出力させ、
   取得手段が、前記オブジェクトと前記ミラーの間の距離情報を取得し、
   制御手段が、前記距離情報に応じて前記光学手段による前記呈示画像の結像位置を制御することを特徴とする制御方法。
10. コンピュータに請求項9に記載されたミラーシステムの制御方法を実行させるプログラム。

Images