WO2014103088A1

WO2014103088A1 - 表示システム及び表示制御方法

Info

Publication number: WO2014103088A1
Application number: PCT/JP2013/003404
Authority: WO
Inventors: 雅雄今井; 鈴木　尚文; 浩今井; 友嗣大野
Original assignee: 日本電気株式会社
Priority date: 2012-12-28
Filing date: 2013-05-29
Publication date: 2014-07-03

Abstract

　表示システム（１００）は、表示装置（１１０）と制御部（１２０）を備える。表示装置（１１０）は、視差画像を表示する視差画像表示部（１１２）と、視差画像表示部（１１２）の前に設けられたハーフミラー（１１４）を有する。制御部（１２０）は、視差画像表示部（１１２）に対して、該視差画像表示部（１１２）に表示させる視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する。制御部（１２０）は、具体的には、上記奥行き表示位置が、ハーフミラー（１１４）より奥になるように制御を行う。該表示システムは、ディスプレイに表示された情報と、鏡像とに同時に眼を合わせることを可能にする。

Description

表示システム及び表示制御方法

　本発明は、表示技術、特に、実世界の風景や物体に情報を重ねて表示する技術に関する。

　身の回りにある壁や家具などが必要なときにディスプレイとして機能する所謂アンビエント・ディスプレイが知られている。アンビエント・ディスプレイによれば、ユーザがわざわざディスプレイのある場所に移動したり、ディスプレイを持ち運んだりするなどの必要がなくなるため、日常生活において人が情報と接する機会を飛躍的に増やすことができる。特に、実世界の物体と、その物体に関連付けた情報とを重ねて表示すると、顔を動かして物体とディスプレイとをその都度見比べなくても済むので有用である。

　アンビエント・ディスプレイの一例として、ディスプレイの前面にハーフミラーを配置することによって、鏡に映った物体に情報を重ねて表示する表示システムがある。

　特許文献１には、鏡面の一部に映像を透視可能にしたマジックミラーを設け、マジックミラーの裏面に受像管を対向して設けてなる鏡が開示されている。この鏡を用いると、美容室や理容室において、テレビを観賞しながら同時に顔を動かすことなく、そのまま、自己に施されている美容や理容の施術の経過を容易に視認することができる。

　特許文献２には、表面にハーフミラーを貼り付けたディスプレイと、イメージセンサと、顔検出手段および提示情報制御手段より構成される環境的情報表示装置が開示されている。該情報表示装置は、イメージセンサによりディスプレイの正面領域を撮像し、顔検出手段により、イメージセンサの撮像した映像から人の顔領域を検出し、提示情報制御手段は、顔検出手段が検出した顔領域の位置と形状に基づいて、ディスプレイに表示する提示情報を変更する。該情報表示装置は、このような構成により、ユーザが視認し易いように提示情報を変更することができる。

　特許文献３には、ミラー面と照明ユニットとを有し、照明ユニットが三次元画像を生成するミラーユニットが開示されている。ミラーユニットは、更に、接近センサーとコントローラを有し、照明ユニットにより生成した三次元の仮想スイッチを用いて、照明パラメータなどを制御することができる。

　また、特許文献４には、観察者の各部位（口や目など）の位置を夫々測定し、これらの部位がハーフミラーに映った位置に、これらの部位に夫々対応する画像が重ねて表示されるように、各画像の表示位置を調整する技術が開示されている。

　また、近年、視差画像を表示する立体ディスプレイが普及しつつあり、立体ディプレイについて、種々の視点からの技術が提案されている。

　例えば、特許文献５には、表示サイズや視距離などの表示条件の変化により、視差画像を表示した際の視差量が変更し、観察者の融合限界を超えてしまうことを解決する技術が提案されている。該技術は、実際の視差量を測定すると共に、測定した視差量が観察者の融合限界を超えたときに、視差画像に含まれる各画像にオフセットを与える。この技術によれば、表示条件にかかわらず、融合限界を超えないように立体画像を表示することができる。

実公昭５９－１２８６６号公報特開２００６－２３６０１３号公報特表２０１２－５１６１８０号公報特開２０１０－１５１２７号公報特開２０１２－１４２９２２号公報

　しかしながら、特許文献１に開示された技術の場合において、観察者がテレビを観賞しているときには、観察者はテレビに眼を合わせている。テレビは鏡の裏面に配置されていることから、観察者はほぼ鏡の面に眼を合わせている。一方、鏡に映った観察者の顔は鏡像であり、観察者から鏡像までの距離は、観察者から鏡までの距離の２倍である。つまり、観察者が自分の顔を見るときには、観察者から鏡までの距離の２倍の位置に眼を合わせることになる。したがって、観察者は、鏡に映った自分の顔とテレビを、同時に眼を合わせることはできない。これについて、図８と図９を参照してより詳細に説明する。

　図８に示す表示システム１０は、ディスプレイ１１とハーフミラー１２を備え、ハーフミラー１２は、ディスプレイ１１の前面に配置されている。図８は、観察者がハーフミラー１２から距離Ｌ離れた位置においてディスプレイ１１を観賞している場合の様子を模式的に示している。

　図８に示すように、観察者の顔２０と、観察者の顔の鏡像３０とは、ハーフミラー１２の面に対して対称な位置にある。すなわち、観察者の顔の鏡像３０は、観察者２０から距離２Ｌの位置にあるように見える。

　一例として、観察者がディスプレイ１１に表示された文字「Ａ」を見ているとする。このとき、観察者の左眼の視線２３と右眼の視線２４は、文字Ａに合わせるために、互いに内側を向く。この左眼の視線２３と右眼の視線２４のなす角が輻輳角θ１である。観察者がディスプレイ１１に表示された文字Ａを見ているとき、観察者の左眼２１から見た左眼の鏡像３１は、文字Ａの左側に映る一方、観察者の右眼２２から見た左眼の鏡像３１は、文字Ａの右側に映る。すなわち、観察者がディスプレイ１１に表示された映像を観賞しているとき、ハーフミラー１２に映った自分の顔の鏡像３０は２重に見える。

　図９は、観察者がハーフミラー１２に映った自分の顔の鏡像３０を見ている場合の様子を模式的に示す図である。一例として、観察者がハーフミラー１２に映った自分の顔の鏡像３０の左眼３１を見ているとする。観察者の左眼の視線２３と右眼の視線２４は左眼の鏡像３１に合わせるため、輻輳角はθ２となり、図８に示した輻輳角θ１とは異なる角度になる。観察者の左眼２１から見た文字Ａは、左眼の鏡像３１の右側に映る一方、観察者の右眼２２から見た文字Ａは、左眼の鏡像３１の左側に映る。すなわち、観察者がハーフミラー１２に映った自分の顔の鏡像３０を見ているとき、ディスプレイ１１に表示された映像は２重に見える。

　このように、特許文献１に開示された技術によれば、観察者は、ハーフミラー１２に映った自分の顔の鏡像３０とディスプレイ１１に表示された映像とに同時に眼を合わせることができない。特にディスプレイ１１に表示された映像が文字である場合、文字が２重に見えると読み取ることは困難である。したがって、観察者は、ディスプレイ１１に表示された映像と、鏡に映った自分の顔の鏡像３０とを見るときに、その都度輻輳角を調節しながら見なければならないという問題がある。

　また、特許文献２に開示された環境的情報表示装置は、イメージセンサを用いて、装置とユーザとの位置関係を推定し、ディスプレイに表示する提示情報を変更することにより、ユーザの姿に重畳しない領域に情報を提示している。しかし、情報の提示位置は、鏡の面に平行な方向、すなわち観察者の左右または上下方向であるから、鏡の面に垂直な方向、すなわち観察者の前後方向における情報提示位置のずれによって輻輳角をその都度調節しながら見なければならないという問題を解決することができない。

　また、特許文献３に開示されたミラーユニットは、単に三次元画像を生成するものである。観察者は、ミラーユニットの前面に表示された三次元画像に輻輳角を合わせることができるが、上述した問題、すなわち、ディスプレイに表示された映像と、鏡に映った自分の顔の鏡像に輻輳角をその都度調節しながら見なければならないという問題を解決することができない。

　また、特許文献４に開示された技術も、ハーフミラーの面における画像の表示位置を調整するものであり、ハーフミラーの面に垂直な方向における情報提示位置のずれによって輻輳角をその都度調節しながら見なければならないという上述の問題を解決することができない。

　また、特許文献５は、視差画像の視差量が融合限界を超えないようにするための技術を開示したに過ぎず、上述した問題の解決について何ら示唆も課題認識が無い。

　なお、以上において、観察者がディスプレイに表示された映像と自分の顔の鏡像とに同時に眼を合わせることができない場合を例に説明したが、観察者の顔の代わりに、例えば観察者の手にとった商品などの場合においても同様である。この場合、観察者の手にとった商品の詳細情報をディスプレイに表示させれば、観察者が商品とその詳細情報を同時に見ることができるが、従来技術では、観察者が、ディスプレイに表示された詳細情報と、手に取った商品とに輻輳角をその都度調節しながら見なければならないという問題は同様に存在する。

　本発明は、上記事情に鑑みてなされたものであり、ディスプレイに表示された情報と、鏡像とに同時に眼を合わせることが可能な表示技術を提供する。

　本発明の１つの態様は、表示システムである。該表示システムは、立体表示装置と、ハーフミラーと、制御部とを備える。

　前記立体表示装置は、視差画像を表示するものであり、前記ハーフミラーは、前記立体表示装置の前に設けられている。

　前記制御部は、前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御するものであり、具体的には、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行う。

　なお、上記態様の表示システムを表示装置や表示方法に置換えて表現したもの、上記態様の表示システムにおける制御部、該制御部の処理を制御方法に置換えて表現したもの、該制御方法をコンピュータに実行せしめるプログラムなども、本発明の態様としては、有効である。

　本発明にかかる技術によれば、ディスプレイに表示された情報と、鏡像とに同時に眼を合わせることが可能であり、見やすさを向上させることができる。

本発明の第１の実施の形態にかかる表示システムを示す図である。図１に示す表示システムの動作原理を説明するための図である。図１に示す表示システムの別の動作原理を説明するための図である。観察者から観察対象までの距離と、輻輳角との関係を示す図である。本発明の第２の実施の形態にかかる表示システムを示す図である。本発明の第３の実施の形態にかかる表示システムを示す図である。本発明の第４の実施の形態にかかる表示システムを示す図である。従来技術の問題点を説明するための図である（その１）。従来技術の問題点を説明するための図である（その２）。

　以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

　また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

　また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

＜第１の実施の形態＞
　図１は、本発明の第１の実施の形態にかかる表示システム１００を示す。表示システム１００は、表示装置１１０、制御部１２０を備える。

　表示装置１１０は、視差画像表示部１１２とハーフミラー１１４を備える。ハーフミラー１１４は、視差画像表示部１１２の前に配置されている。なお、本明細書において、観察者に近いほうを「前」としている。

　視差画像表示部１１２は、いわゆる立体ディスプレイや三次元ディスプレイと呼ばれる立体表示装置であり、視差画像を表示する。なお、「視差画像」とは、両眼視差を有する画像であり、少なくとも一対の左眼用画像と右眼用画像により構成される。視差画像表示部１１２には、この種のディスプレイと同様に、右眼には右眼用画像だけが、左眼には左眼用画像だけが見えるように、例えばパララックスバリアが形成されている。

　ハーフミラー１１４は、光を透過する特性と反射する特性を有している。視差画像表示部１１２に何も表示されていない、あるいは黒い画像が表示されているときは、ハーフミラー１１４は単なる鏡として機能する。視差画像表示部１１２に画像が表示されているときには、表示された画像の光がハーフミラー１１４を透過するため、観察者は画像を観察することができる。そのため、観察者は、ハーフミラー１１４を介して、ハーフミラー１１４に映った自分の姿と、視差画像表示部１１２に表示された画像を同時に観察することができる。

　制御部１２０は、観察者の鏡像からハーフミラー１１４までの距離と、視差画像の奥行き表示位置とが同一になるように、視差画像の奥行き表示位置を調整する。この調整は、例えば、視差画像の視差量を変更することにより行われる。

　なお、「奥行き表示位置」とは、観察者が視差画像表示部１１２に表示された視差画像を観察することによって、観察者が鏡像空間内において画像を知覚する位置のことである。また、「鏡像空間」とは、ハーフミラー１１４に映った物体が存在するように見える空間であり、観察者からは、ハーフミラー１１４を境に、観察者と反対側に存在するように見える空間のことである。

　図２を参照して、表示システム１００の一動作例の原理を説明する。なお、視差画像表示部１１２に表示される視差画像は、文字Ａであるとし、所定の視差量を有する一対の左眼用画像と右眼用画像により構成される。また、この例は、観察対象が観察者自身の顔である場合の例である。

　図２は、観察者がハーフミラー１１４から距離Ｌ離れた位置においてハーフミラー１１４に映った自分の顔を見ている場合の様子を模式的に示す図である。このとき、観察者の顔１３０の鏡像１４０は、ハーフミラー１１４を挟んで、観察者とは反対側の、ハーフミラー１１４から距離Ｌ離れた位置に見える。すなわち、観察者は、自分から距離２Ｌ離れた位置にある鏡像１４０を見ている。

　ここで、視差画像に含まれる一対の左眼用画像１５１と右眼用画像１５２の視差量が図示目標視差量１５３になるように表示すると、観察者が視差画像表示部１１２に表示された文字Ａを左眼の鏡像１４１の位置に見えるようにすることができる。

　目標視差量１５３をＴＤ、観察者の左眼１３１と右眼１３２との両眼間隔１３５をＢＤとすると、目標視差量１５３は、ハーフミラー１１４から観察者の鏡像１４０までの距離Ｌと、観察者から鏡像１４０までの距離２Ｌを用いて、幾何学的位置関係から下記の式（１）に従って算出できる。
　　　　ＴＤ＝ＢＤ×Ｌ／（２Ｌ）＝ＢＤ/２　　　（１）

　例えば、両眼間隔１３５が６５ｍｍであり、ハーフミラー１１４から観察者の鏡像１４０までの距離Ｌが１ｍである場合において、目標視差量１５３は３２．５ｍｍとなる。

　すなわち、観察者からハーフミラーまでの距離Ｌに関わらず、観察者の両眼間隔１３５の１／２になるように左眼用画像と右眼用画像の視差量を調整することにより、観察者が視差画像表示部１１２に表示された文字Ａを左眼の鏡像１４１の位置に見ることができる。なお、観察者の両眼間隔１３５は、例えば人間の平均的な両眼間隔を用いることができる。

　同様に、視差画像表示部１１２の画面内における文字Ａの上下左右方向の位置についても、同様に幾何学的位置関係から求めることができる。

　目標視差量１５３を有するように視差画像を表示すると、観察者が左眼の鏡像１４１を見るときの左眼の視線と、視差画像表示部１１２に表示された文字Ａを見るときの左眼の視線は、同一の視線（図中視線１３３）である。また、観察者が左眼の鏡像１４１を見るときの右眼の視線と、視差画像表示部１１２に表示された文字Ａを見るときの右眼の視線も、同一の視線（図中視線１３４）である。したがって、視差画像表示部１１２に表示された文字Ａが二重に見えることなく、観察者は、左眼の鏡像１４１と文字Ａに、同時に眼を合わせることができる。

　同様の原理から、視差画像表示部１１２に表示された文字Ａを右眼の鏡像１４２の位置に見えるようにするための視差量も、目標視差量１５３である。

　つまり、制御部１２０は、視差画像表示部１１２に表示される視差画像の視差量が目標視差量１５３になるように調整することにより、観察者の鏡像１４０の奥行き方向における位置と、視差画像表示部１１２に表示された画像の奥行き表示位置とを一致させることができる。そのため、観察者は、観察者の鏡像１４０と、視差画像表示部１１２に表示された画像とに同時に眼を合わせることができ、見やすい表示システムが実現される。

　図３を参照して、表示システム１００の別の動作例の原理を説明する。該図は、観察者がハーフミラー１１４から距離Ｌ離れた位置において、手に持った商品１６０をハーフミラー１１４に映して見ている場合の様子を模式的に示す図である。この例では、観察対象が観察者の手に持った商品１６０である。商品１６０からハーフミラー１１４までの距離は、距離Ｇであるとする。このとき、商品１６０の鏡像１７０は、ハーフミラー１１４から商品１６０とは反対側の距離Ｇ離れた位置に見える。すなわち、観察者は、観察者から距離「Ｌ＋Ｇ」の位置に商品１６０の鏡像１７０を見ている。

　ここで、視差画像に含まれる一対の左眼用画像１５１と右眼用画像１５２の視差量が図示目標視差量１５４になるように表示すると、観察者が視差画像表示部１１２に表示された文字Ａを商品１６０の鏡像１７０の位置に見えるようにすることができる。

　目標視差量１５４をＴＤ、観察者の左眼１３１と右眼１３２との両眼間隔１３５をＢＤとすると、目標視差量１５４は、ハーフミラー１１４から商品１６０の鏡像１７０までの距離Ｇと、観察者から商品１６０の鏡像１７０までの距離「Ｌ＋Ｇ」を用いて、幾何学的位置関係から下記の式（２）に従って算出できる。
　　ＴＤ＝ＢＤ×Ｇ／（Ｌ＋Ｇ）　　　（２）

　例えば、両眼間隔１３５、ハーフミラー１１４から観察者までの距離Ｌ、ハーフミラー１１４から商品１６０までの距離Ｇが、夫々６５ｍｍ、１ｍ、０．７ｍである場合に、目標視差量１５４は２６．８ｍｍとなる。

　すなわち、ハーフミラー１１４と観察者間の距離Ｌ、及びハーフミラー１１４と商品１６０間の距離Ｇに基づいて、目標視差量１５４になるように左眼用画像と右眼用画像の視差量を調整することにより、観察者が視差画像表示部１１２に表示された文字Ａを商品１６０の鏡像１７０の位置に見ることができる。

　つまり、この例において、制御部１２０は、ハーフミラー１１４から観察者までの距離Ｌと、ハーフミラー１１４から商品１６０までの距離Ｇに応じて、視差画像表示部１１２に表示される視差画像の視差量が目標視差量１５４になるように調整することにより、商品１６０の鏡像１７０からハーフミラー１１４までの距離と、視差画像表示部１１２に表示された画像の奥行き表示位置とを一致させることができる。そのため、観察者は、商品１６０の鏡像１７０と、視差画像表示部１１２に表示された画像とに同時に眼を合わせることができ、見やすい表示システムが実現される。

　なお、ハーフミラー１１４から観察者までの距離Ｌと、ハーフミラー１１４から商品１６０までの距離Ｇは、例えば観察者の立ち位置と、商品１６０の位置を定め、制御部１２０に対して予め設定するようにしてもよく、観察者や表示システム１００の管理者（例えば店員）によりその都度設定するようにしてもよい。

　上記において、画像の位置を、物体（観察者や、観察者の持った商品など）の鏡像の位置に一致させる場合を例にして説明した。画像と、物体の鏡像とを完全に重ねて表示する場合に限らず、物体の鏡像の上下左右方向にずらせた位置に画像を表示させてもよい。例えば、観察者の鏡像の周囲に、観察者の興味ある情報などを表示してもよい。

　また、上記において、画像の奥行き表示位置からハーフミラーまでの距離と、鏡像からハーフミラーまでの距離とを一致させる場合を例にしたが、画像の奥行き表示位置が、ハーフミラーより奥の、物体の鏡像までの任意の位置であってもよい。こうした場合の意義について、図４を参照して説明する。

　図４は、観察者から観察対象までの距離と、観察者の両眼の輻輳角との関係を示すグラフである。図示のように、観察者から観察対象までの距離が大きいほど、輻輳角は小さくなると共に、変化の割合も小さくなる。

　輻輳角は、観察対象が観察者から離れるに従い単調に減少することから、従来技術のようにハーフミラーの位置に画像を表示させる場合に比べて、ハーフミラーよりも奥に画像を表示させることにより、物体の鏡像と画像を見るときの輻輳角の変化は小さくなり、見やすさの向上という効果が得られる。

　例えば、両眼間隔が６５ｍｍであり、ハーフミラーから観察者までの距離が１ｍであるとすると、観察者がハーフミラーの位置に表示された画像を見るときの輻輳角は３．７２度である。対して、観察者がハーフミラー映った自分の顔を見るときの輻輳角は１．８６度である。つまり、観察者がハーフミラーに映った自分の顔を見るときと、ハーフミラーの位置に表示された画像を見るときの輻輳角の差異が１．８６度である。一方、ハーフミラーから観察者の顔の鏡像方向に０．８ｍ離れた位置、すなわち観察者の顔の鏡像からハーフミラー側に０．２ｍ離れた位置に表示された画像を見るときの輻輳角は２．０７度である。すなわち、観察者がハーフミラーに映った自分の顔を見るときと、ハーフミラーの奥に表示された画像を見るときの輻輳角の差異が０．２１度しかない。このように、画像の奥行き表示位置と鏡像の位置とを一致させなくても、見やすさの向上効果が得られる。

　ハーフミラーから距離が遠い物体例えば背景に関する情報の表示は、背景の前後の位置における輻輳角の変化はさらに小さいので、必ずしも、表示情報を背景の鏡像の位置に一致させなくてもよい。場合によっては、観察者の周囲に情報を表示させてもよい。

　但し、表示情報を不透明な物体の鏡像よりも奥に重ねて表示すると、物体の内部に情報が表示されているように見えたり、物体を透過して情報が表示されているように見えたりするため不自然な表示となる。したがって、不透明な物体に対しては、表示情報などの画像の奥行き表示位置は、少なくともハーフミラーよりも奥であり、かつ物体の鏡像までの位置であることが望ましい。

＜第２の実施の形態＞
　図５は、本発明の第２の実施の形態にかかる表示システム２００を示す。表示システム２００は、表示装置１１０、検出部２１０、制御部２２０を備える。

　表示装置１１０は、図１に示す表示システム１００における表示装置１１０と同様のものである。

　検出部２１０は、観察対象（ハーフミラー１１４に映る物体）例えば観察者からハーフミラー１１４までの距離を検出して制御部２２０に供するものである。本実施の形態において、例として、検出部２１０は、距離センサー２１２と検出実行部２１４により構成される。

　検出実行部２１４は、距離センサー２１２を用いて、近赤外光のランダムなパターンを観察者に投影し、観察者に映ったパターンをカメラで撮影する。そして、距離センサー２１２により撮影した画像に基づいて、三角測量の原理を利用して観察者までの距離を算出する。

　制御部２２０は、検出部２１０から供された距離を用いて視差画像表示部１１２に表示させる視差画像の視差量を調整することにより、奥行き表示位置を制御する。その動作原理や具体的な手法などは、第１の実施の形態にかかる表示システム１００の制御部１２０と同様であるため、ここで詳細な説明を省略する。

　なお、上記において、検出部２１０が観察者からハーフミラー１１４までの距離を測定し、制御部２２０が検出部２１０により測定された距離に応じて視差画像の奥行き表示位置を制御する例を説明した。観察者以外の物体例えば観察者の手に持った商品が観察対象である場合には、検出部２１０が観察者からハーフミラー１１４までの距離に加え、観察者の手に持った商品からハーフミラー１１４までの距離も測定し、制御部２２０は、この２つの距離に基づいて視差画像の奥行き表示位置を制御する。これについても、図３を参照して説明したときと同様である。

　すなわち、本実施の形態にかかる表示システム２００によれば、表示システム１００と同様の効果を得ることができると共に、検出部２１０により観察対象までの距離を測定するため、観察者や観察者の手に持った商品の位置を固定する必要も、ユーザによる距離の設定をする必要もなく、便利である。

　なお、観察対象が動いた場合に、その動きに追従して視差画像の奥行き表示位置を変更することが望ましいが、観察対象の動きに追従せずに視差画像の奥行き表示位置を定位するように表示しても、従来より見やすい視覚効果を得ることができる。

＜第３の実施の形態＞
　図６は、本発明の第３の実施にかかる表示システム３００を示す。図示のように、表示システム３００は、表示装置１１０、検出部３１０、制御部３２０を備える。表示装置１１０は、図１に示す表示システム１００における表示装置１１０と同様のものである。

　検出部３１０は、観察対象からハーフミラー１１４までの距離に加え、さらに、観察者の視点位置（両眼の夫々の位置）を検出して制御部３２０に供するものであり、距離センサー２１２、イメージセンサー３１２、検出実行部３１４を備える。

　観察対象からハーフミラー１１４までの距離の測定に関しては、表示システム２００における検出部２１０と同様であり、説明を省略する。

　観察者の視点位置の検出に関しては、イメージセンサー３１２が用いられる。イメージセンサー３１２は、例えば、ＣＣＤやＣＭＯＳなどのイメージセンサーである。

　イメージセンサー３１２には、例えば近赤外照明装置が内蔵されている。近赤外照明で観察者を照明すると、観察者の眼の瞳孔から強い再帰反射光が得られるので、これをイメージセンサー３１２により撮影することによって、撮影画像から観察者の視点位置を検出できる。検出実行部３１４は、イメージセンサー３１２が得た撮影画像から観察者の視点位置を検出して、それを示す情報を制御部３２０に出力する。

　制御部３２０は、検出部３１０が得られた視点位置から観察者の両眼間隔を算出すると共に、算出した両眼間隔と、検出部３１０から供された距離とを用いて、視差画像表示部１１２に表示させる視差画像の視差量を調整することにより奥行き表示位置を制御する。制御部３２０は、観察者の両眼間隔として、実測値を用いる点を除き、表示システム２００における制御部２２０と同様である。

　人間の両眼間隔は、個人差がある。第１と第２の実施の形態では、この両眼間隔として平均値を用いた。本第３の実施の形態にかかる表示システム３００は、両眼間隔として実測値を用いるため、表示システム２００と同様の効果を得ることができると共に、奥行き表示位置の制御精度を向上させることができる。

　制御部３２０による視点位置の活用方法は、上述した両眼間隔の算出に限らず、様々考えられる。例えば、視点位置に基づいて、視差画像に含まれる左眼用画像が右眼で観察され、右眼用画像が左目で観察されるような位置に観察者が移動したことを検出した場合、左眼用画像と右眼用画像を入れ替えることにより、観察者が良好に視差画像を観察することができる。

　また、イメージセンサー３１２により近赤外光を照射し、その再帰反射光の撮影画像から視点位置を検出する代わりに、イメージセンサー３１２により観察者を撮像して得た画像に対して、瞳検出などの画像処理技術を適用することにより視点位置を検出するようにしてもよい。

　さらに、この場合、イメージセンサー３１２により得た画像に対して顔認識を行い、認識した顔から種々の情報を推定し、推定結果に応じた情報を表示するようにしてもよい。これらの情報は、例えば、顧客名などの観察者を特定する情報や、観察者の年齢や性別などの属性が考えられる。また、推定結果に応じた情報は、例えば、観察者の個人のスケジュールや、電子メールや、当該観察者の関心のあるインターネット上の情報などが考えられる。

　また、例えば、検出部３１０は、イメージセンサー３１２により得た画像から観察者の手に持った商品を認識し、制御部３２０は、検出部３１０の認識結果が示す商品に関連する情報を視差画像表示部１１２に表示させるようにすることもできる。検出部３１０による商品の認識は、商品の特徴点の検出や、商品に付属されたバーコードや二次元コードなどの読取りにより行われる。商品に関連した情報としては、価格、色やサイズが異なる商品、性能が異なる商品などの情報である。あるいは、食品の賞味期限、産地、栄養成分、アレルギー成分の情報など、さまざまな情報が考えられる。

　観察対象に対する検出部３１０の上述した種々の認識処理は、検出部３１０内の記憶装置に蓄積された情報に基づいて行われるようにしてもよく、例えば、検出部３１０は、通信部を有し、ネットワークを介して異なる場所にあるサーバーのデータベースにアクセスするなどの方法で物体の属性の検出や、個人認証を行ってもよい。

　制御部３２０は、内部の記憶装置に記憶された種々の表示情報を表示するようにしてもよいし、検出部３１０からの認識結果などに応じて、記憶された表示情報を加工してから表示させるようにしてもよい。さらに、制御部３２０は、通信部を有し、ネットワークを介して表示情報を入手するようにしてもよい。例えば、テレビ電話やテレビ会議のような使い方で、観察者の横に通話または通信の相手や、話題になっている情報などを表示するように制御を行ってもよい。

　なお、イメージセンサー３１２の個数も１つに限らず、例えば、観察者の視点位置の測定、観察対象の認識など、用途別に複数個備えるようにしてもよい。勿論、同様の画像に対して視点位置の検出と観察対象の認識が可能な場合には、１つのイメージセンサーでこれらの機能を共に実現するようにしてもよい。

　さらに、商品の認識に関しては、画像認識技術ではなく、他の手法を用いてもよい。例えば、無線通信機能を有するセンサーを検出部３１０にさらに設け、該センサーにより商品に取り付けられたＲＦタグと無線通信を行うことにより商品を認識するようにしてもよい。

＜第４の実施の形態＞
　図７は、本発明の第４の実施の形態にかかる表示システム４００を示す。図示のように、表示システム４００は、表示装置１１０、検出部４１０、制御部４２０を備える。表示装置１１０は、図１に示す表示システム１００における表示装置１１０と同様のものである。

　検出部４１０は、距離センサー２１２、イメージセンサー３１２、センサー４１２、検出実行部４１４を備える。距離センサー２１２とイメージセンサー３１２は、表示システム３００における距離センサー２１２とイメージセンサー３１２と夫々同様のものであり、検出実行部４１４が距離センサー２１２とイメージセンサー３１２を用いて行う処理も、表示システム３００における検出実行部３１４が距離センサー２１２とイメージセンサー３１２を用いて行う処理と同様である。

　表示システム４００において、センサー４１２は、例えば、表示システム４００の設置場所の環境情報や観察者の健康情報を測定するものである。環境情報は、例えば気温や湿度、時刻などであり、健康情報は、例えば観察者の体重や、血圧、体温などの健康状態を示す情報である。なお、図７において、センサー４１２について１つのみ示しているが、環境情報と健康情報用のセンサーを夫々設けたり、環境情報の種類毎、健康情報の種類毎に相対応するセンサーを設けたりするようにしてもよい。

　検出実行部４１４は、センサー４１２により測定した情報を制御部４２０に出力する。
　制御部４２０は、表示システム３００における制御部３２０と同様の処理に加え、センサー４１２により得られた情報に基づいた制御も行う。

　一例として、センサー４１２が、明るさを図る照度計であるとする。
　この場合、制御部４２０は、センサー４１２が測定した明るさに応じて、視差画像表示部１１２に表示される視差画像の明るさを調整することが考えられる。例えば、センサー４１２が測定した明るさに合致するように、視差画像表示部１１２に表示される視差画像の明るさを調整する。こうすることにより、ハーフミラー１１４に映った観察者の鏡像と、視差画像の明るさとを一致させ、より良い観察効果を得ることができる。

　また、例えば、センサー４１２が観察者の健康情報を測定するものである場合には、制御部４２０は、観察者の健康情報に応じて視差画像表示部１１２に表示させる情報を選択することも考えられる。例えば、血圧が高い観察者の場合には、血圧が高いことを示す情報を表示したり、血圧を下げる効果のある食品の情報を表示したりするなどができる。

　また、センサー４１２は、図示しない運動器具に取り付けられた加速度センサーであってもよい。この場合、上記加速度センサーを利用して、観察者の運動能力や身体機能を検出することができる。そして、制御部４２０は、加速度センサーが測定したデータに基づいて、運度器具の設定の推奨値や、推奨プログラムを視差画像表示部１１２に表示するように制御することが考えられる。

　さらに、制御部４２０は、センサー４１２が該観察者に対して測定した情報を蓄積しておき、現在の測定値と過去の測定値とを比較して、推移が分かるようにグラフ化したものを表示してもよい。

　以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減、組合せを行ってもよい。これらの変更、増減、組合せが行われた変形例も本発明の範囲にあることは、当業者に理解されるところである。

　例えば、上述した各実施の形態において、一例として、視差画像表示部１１２がパララックスバリア方式の立体ディスプレイであると説明したが、視差画像表示部１１２は、パララックスバリア方式の立体ディスプレイに限られるものではない。例えば、レンチキュラーレンズ方式など、他の立体ディスプレイや三次元ディスプレイであってもよい。

　また、視差画像表示部１１２の表示面は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどのようなフラットパネルディスプレイを用いることが好ましいが、投射型のディスプレイを用いてもよい。さらに、パララックスバリアを液晶素子などで形成し、視差画像を表示する状態と、通常の２次元表示の状態とを切り替えられるように構成してもよい。

　また、視差画像も、一対の右眼用画像と左眼用画像に限らず、複数の視差画像の組を用いてもよい。表示する情報は、例えばフラットパネルディスプレイの表示面と同様に平面状で表示してもよいし、情報を重畳させる物体の凹凸形状に合わせた立体形状で表示しても構わない。さらに、表示する情報は、静止画に限らず、動画でも良く、三次元表示や点滅表示などの視覚効果を高めるような手法を用いても良い。

　また、ハーフミラーの光を透過する透過率と光を反射する反射率は、表示装置の輝度や観察する環境の明るさに応じて設定されたものを用いるのが好ましい。あるいは、エレクトロクロミックミラーのような調光ミラーを用いて、必要に応じて透過率と反射率を制御してもよい。ディスプレイ部に液晶ディスプレイのような偏光光を利用して表示するものを用いる場合、反射型偏光板をハーフミラーとして用いてもよい。

　また、ハーフミラーと視差画像表示部とは、密着して配置しても良く、間隙を設けて設置してもよい。あるいは、両者の間に透明材料であるガラスやプラスチックを配置しても構わない。

　また、距離センサーについて、パターン投影方式のセンサーを例に説明したが、投射光が物体まで往復してくる時間から距離を計測するＴｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ法を用いるものや、レーザ光を走査するもの、あるいは電波を利用するものなどを用いてもよい。

　また、距離センサーの位置は、表示装置の上部に限るものではない。表示装置の下部、左右側、あるいは表示装置と離れた位置に配置してもよい。

　また、制御部が、視差画像表示部に表示させる画像を選択するなどの制御を行う場合には、制御部に、これらの画像を蓄積するメモリーや、画像を加工する演算装置を設けてもよい。また、制御部に通信部を設け、ネットワークを介して異なる場所にあるサーバーから画像など必要な情報を入手してもよい。

　また、制御部に入力装置が含まれていてもよい。キーボードやマウス、リモコン、さらにはタッチスクリーンやジェスチャーインターフェースを用いて、メニュー画面の操作などを実施できるように構成してもよい。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１２年１２月２８日に出願された日本出願特願２０１２－２８７３３６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

＜付記１＞
　視差画像を表示する立体表示装置と、
　前記立体表示装置の前に設けられたハーフミラーと、
　前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する制御部とを備え、
　前記制御部は、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示システム。
＜付記２＞
　前記制御部は、前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする付記１に記載の表示システム。
＜付記３＞
　前記制御部は、前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように制御を行うことを特徴とする付記１または２に記載の表示システム。
＜付記４＞
　前記制御部は、前記奥行き表示位置が前記観察対象の鏡像の位置になるように制御を行うことを特徴とする付記３に記載の表示システム。
＜付記５＞
　検出部をさらに備え、
　前記観察対象は、観察者の顔であり、
　前記検出部は、前記観察者と前記ハーフミラー間の距離を検出し、
　前記制御部は、前記検出部により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記３または４に記載の表示システム。
＜付記６＞
　検出部をさらに備え、
　前記観察対象は、観察者の顔以外の物体であり、
　前記検出部は、前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離を検出し、
　前記制御部は、前記検出部により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記３または４に記載の表示システム。
＜付記７＞
　前記検出部は、さらに、前記観察者の視点位置を検出し、
　前記制御部は、前記検出部により検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする付記５または６に記載の表示システム。
＜付記８＞
　前記制御部は、前記検出部により検出した前記視点位置を用いて両眼間隔を算出し、前記距離と前記両眼間隔に基づいて、前記奥行き表示位置を制御することを特徴とする付記７に記載の表示システム。
＜付記９＞
　前記制御部は、前記検出部により検出した前記視点位置を用いて、前記立体表示装置における前記視差画像に含まれる左眼用画像と右眼用画像の表示位置を制御することを特徴とする付記７に記載の表示システム。
＜付記１０＞
　前記検出部は、さらに、前記ハーフミラーの前に位置する観察対象を認識し、
　前記制御部は、前記検出部による認識結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記５から９のいずれか１つに記載の表示システム。
＜付記１１＞
　前記認識結果は、前記観察対象を特定する情報、及び／または、前記観察者の年齢と性別のうちの少なくとも１つを含む属性情報であることを特徴とする付記１０に記載の表示システム。
＜付記１２＞
　前記検出部は、さらに、前記表示システムの設置場所の環境情報を検出し、
　前記制御部は、前記検出部による検出結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記５から１１のいずれか１つに記載の表示システム。
＜付記１３＞
　前記検出部は、さらに、前記観察対象の状態を検出し、
　前記制御部は、前記検出部による検出結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記５から１２のいずれか１つに記載の表示システム。
＜付記１４＞
　前記制御部または前記検出部は、さらに、通信部を有し、
　前記通信部は、ネットワークを介して、前記検出部または前記制御部の処理に用いられる情報を取得することを特徴とする付記５から１３のいずれか１つに記載の表示システム。
＜付記１５＞
　前記立体表示装置は、前記視差画像を表示する状態と、通常の２次元表示の状態とを切り替えられることを特徴とする付記１から１４のいずれか１つに記載の表示システム。
＜付記１６＞
　前記ハーフミラーは、調光ミラーであることを特徴とする付記１から１５のいずれか１つに記載の表示システム。
＜付記１７＞
　前記制御部は、さらに入力装置を備えていることを特徴とする付記１から１６のいずれか１つに記載の表示システム。
＜付記１８＞
　視差画像を表示する立体表示装置と、該立体表示装置の表示面の前に設けられたハーフミラーとを有する表示システムにおける前記立体表示装置に対して、
　前記視差画像の、奥行き方向における表示位置である奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示制御方法。
＜付記１９＞
　前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする付記１８に記載の表示制御方法。
＜付記２０＞
　前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように前記制御を行うことを特徴とする付記１８または１９に記載の表示制御方法。
＜付記２１＞
　前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像の位置になるように前記制御を行うことを特徴とする付記２０に記載の表示制御方法。
＜付記２２＞
　前記観察対象は、観察者の顔であり、
　前記観察者と前記ハーフミラー間の距離の検出をさらに行い、
　検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記２０または２１に記載の表示制御方法。
＜付記２３＞
　前記観察対象は、観察者の顔以外の物体であり、
　前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離の検出をさらに行い、
　検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記２０または２１に記載の表示制御方法。
＜付記２４＞
　前記観察者の視点位置の検出をさらに行い、
　検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする付記２２または２３に記載の表示制御方法。
＜付記２５＞
　前記ハーフミラーの前に位置する観察対象の認識をさらに行い、
　前記認識の結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記２２から２４のいずれか１つに記載の表示制御方法。

　本発明にかかる技術は、例えば、実世界の風景や物体に情報を重ねて表示する装置などに適用可能である。

　１０　表示システム
　１１　ディスプレイ
　１２　ハーフミラー
　２０　観察者の顔
　２１　左眼
　２２　右眼
　２３　左眼の視線
　２４　右眼の視線
　３０　観察者の顔の鏡像
　３１　左眼の鏡像
　１００　表示システム
　１１０　表示装置
　１１２　視差画像表示部
　１１４　ハーフミラー
　１２０　制御部
　１３０　観察者の顔
　１３１　観察者の左眼
　１３２　観察者の右眼
　１３３　左眼の視線
　１３４　右眼の視線
　１３５　両眼間隔
　１４０　観察者の鏡像
　１４１　左眼の鏡像
　１４２　右眼の鏡像
　１５１　左眼用画像
　１５２　右眼用画像
　１５３　目標視差量
　１５４　目標視差量
　１６０　商品
　１７０　鏡像
　２００　表示システム
　２１０　検出部
　２１２　距離センサー
　２１４　検出実行部
　２２０　制御部
　３００　表示システム
　３１０　検出部
　３１２　イメージセンサー
　３１４　検出実行部
　３２０　制御部
　４００　表示システム
　４１０　検出部
　４１２　センサー
　４１４　検出実行部
　４２０　制御部
　Ｌ　観察者からハーフミラーまでの距離
　Ｇ　観察者が持った商品からハーフミラーまでの距離
　θ１、θ２　輻輳角

Claims

　視差画像を表示する立体表示装置と、
　前記立体表示装置の前に設けられたハーフミラーと、
　前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する制御手段とを備え、
　前記制御手段は、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示システム。
　前記制御手段は、前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする請求項１に記載の表示システム。
　前記制御手段は、前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように制御を行うことを特徴とする請求項１または２に記載の表示システム。
　前記制御手段は、前記奥行き表示位置が前記観察対象の鏡像の位置になるように制御を行うことを特徴とする請求項３に記載の表示システム。
　検出手段をさらに備え、
　前記観察対象は、観察者の顔であり、
　前記検出手段は、前記観察者と前記ハーフミラー間の距離を検出し、
　前記制御手段は、前記検出手段により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする請求項３または４に記載の表示システム。
　検出手段をさらに備え、
　前記観察対象は、観察者の顔以外の物体であり、
　前記検出手段は、前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離を検出し、
　前記制御手段は、前記検出手段により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする請求項３または４に記載の表示システム。
　前記検出手段は、さらに、前記観察者の視点位置を検出し、
　前記制御手段は、前記検出手段により検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする請求項５または６に記載の表示システム。
　視差画像を表示する立体表示装置と、該立体表示装置の前に設けられたハーフミラーとを有する表示システムにおける前記立体表示装置に対して、
　前記視差画像の、奥行き方向における表示位置である奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示制御方法。
　前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする請求項８に記載の表示制御方法。
　前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように前記制御を行うことを特徴とする請求項８または９に記載の表示制御方法。