JP6341355B2 - 拡張現実空間表示装置 - Google Patents

Description

本発明は、現実空間に画像を合成した拡張現実空間を表示する拡張現実空間表示装置に関する。

いわゆるＡＲ(Augmented Reality）技術によって、視界内に画像を重ねて表示し操作ガイダンスなどを実現する方法が実用化されつつある。これに用いられるヘッドマウントディスプレイは、プリズムやハーフミラーなどにより画像表示素子に表示した画像を視界に光学的に合成する構成が一般的である。この際、使用環境によっては逆光や発光物や視界内の色彩によって、視界に重ねあわせた画像の視認性が悪くなることがあった。

この問題に対応する技術として、たとえば、外界からの光を減衰させる減衰フィルタを設けると共に外界の明るさを検出し、外界の明るさに応じて減光フィルタの透過率を制御する透過型ヘッドマウントディスプレイがある（特許文献１参照）。

また、輝度の高い部分の透過光量を選択的に減衰させるようにした表示装置がある（特許文献２参照）。この表示装置では、輝度が高い部分に情報表示が重なる場合には、情報表示する部分での減衰量を他の部分より少なくすることで、情報表示の視認性の低下を防いでいる。

このほか、緊急度の高い情報を表示する場合に、外界からの光量をシャッタで低下させる情報表示システムがある（特許文献３参照）。

特開２００４−２３３９０８号公報 特開２００８−２４２１３４号公報 特開２００９−２５１４２８号公報

特許文献１，３に開示された技術では、視界全体の輝度を下げている。このため、合成した画像以外の部分も暗くなり、見難くなってしまう。

特許文献２に開示された技術では、眩しい箇所とその周辺の透過光量を減衰させる、もしくは、情報表示部分の周囲の透過光量を減衰させるので、たとえば、表示された情報を見ながら組立作業などを行う場合、周りが見え難くなって作業性が低下する。また、外光を光源として情報表示を行う方式のため（自発光式でないため）、表示している情報の色が外光の色に由来して変化してしまい、色再現性を要求される場合には使用できない。

本発明は、上記の問題を解決しようとするものであり、視界の色や明るさに影響されることなく、表示される情報の視認性、色再現性を良好に確保することのできる拡張現実空間表示装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］現実空間から到来する光に自発光式の表示部が出力する光を重ね合わせることで、前記表示部に表示した画像を現実空間に合成した拡張現実空間を表示するＡＲ表示部と、
前記現実空間から到来する光を遮光もしくは減光する遮断領域を任意に変更可能なシャッタ部と、
前記表示部による画像の表示と前記シャッタ部による遮光もしくは減光を制御する制御部と、
前記現実空間を撮影するカメラ部と、
を備え、
前記制御部は、前記拡張現実空間において前記表示部に表示させた画像が重なる部分の前記現実空間からの光を前記シャッタ部で遮光もしくは減光するように前記遮断領域を設定すると共に、前記遮断領域として前記重なる部分と前記重なる部分以外の他部分とを設定し、前記他部分に対応する前記表示部の領域に、前記カメラ部が出力する映像もしくはこれを加工した映像を表示させる
ことを特徴とする拡張現実空間表示装置。

上記発明では、表示部に表示させた画像と重なる部分以外の他部分にも遮光領域を設定し、該他部分に、カメラ部の出力する現実空間の映像もしくはこれを加工した映像を表示する。たとえば、高輝度部分にも遮断領域を設定し、この部分に対応するカメラ映像を、明るさを下げて合成表示するといったことが可能になる。なお、他部分は、表示させた画像と重なる部分から離れた領域でもよいし、重なる部分と連続した領域でもよい。

［２］前記遮断領域は、前記表示部に表示予定の画像と前記拡張現実空間において重なる部分を含んで該重なる部分より広い領域であり、
前記遮断領域に対応する前記表示部の領域に、前記カメラ部が出力する映像のうち前記遮断領域に対応する部分の映像もしくはこれを加工した映像に前記表示予定の画像を合成した画像を表示させる
ことを特徴とする［１］に記載の拡張現実空間表示装置。

上記発明では、表示予定の画像を含むより広い範囲を遮断領域とし、この遮断領域に対応する部分に、該遮断領域に対応する現実空間のカメラ映像もしくはこれを加工した映像に表示予定の画像を合成した画像を表示する。表示予定の画像の周辺の現実空間が、表示予定の画像に近い色の場合や輝度が高すぎる場合などに、表示予定の画像の周辺をカメラ映像に置き換えることで、表示予定の画像の周囲の視界に対して色や明るさの補正を行って見やすい状態にすることができる。

［３］前記制御部は、前記カメラ部が出力する映像から高輝度領域を検出し、前記高輝度領域に対応する部分の現実空間からの光を前記シャッタ部で遮光もしくは減光するように前記遮断領域を設定する
ことを特徴とする［１］または［２］に記載の拡張現実空間表示装置。

上記発明では、高輝度部分を遮光することで、合成する画像の視認性が向上する。

［４］人の頭部に装着して使用されるヘッドマウントディスプレイである
ことを特徴とする［１］乃至［３］のいずれか１つに記載の拡張現実空間表示装置。

本発明に係る拡張現実空間表示装置によれば、視界の色や明るさに影響されることなく、表示される情報の視認性、色再現性を良好に確保することができる。

本発明の実施の形態に係る拡張現実空間表示装置の光学系の構成例を示す図である。 本発明の実施の形態に係る拡張現実空間表示装置の光学系の他の構成例を示す図である。 本発明の実施の形態に係る拡張現実空間表示装置の概略構成を示すブロック図である。 第１の実施の形態の拡張現実空間表示装置が画像を合成表示する際に行う処理の流れ図である。 遮断領域決定処理（図４のステップＳ１０３）の詳細を示す流れ図である。 ユーザの見ている現実空間、これに合成する重畳画像、遮断領域の一例を示す図である。 ユーザの見る拡張現実空間が、現実空間、遮断領域、重畳画像を重ね合わせて形成される様子を示す説明図である。 図６に対して、高輝度領域をさらに遮光した様子を示す説明図である。 第２の実施の形態の拡張現実空間表示装置が画像を合成表示する際に行う処理の流れ図である。 遮断領域決定処理（図９のステップＳ２０３）の詳細を示す流れ図である。 ユーザの見ている現実空間、これに合成する重畳画像、遮断領域の一例を示す図である。 ユーザの見る拡張現実空間が、現実空間、遮断領域、重畳画像を重ね合わせて形成される様子を示す説明図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の第１の実施の形態に係る拡張現実空間表示装置１０の光学系１０Ａの概略構成を示している。拡張現実空間表示装置１０は、人の頭部にメガネのように装着されて使用される、所謂、ヘッドマウントディスプレイとして構成されている。

拡張現実空間表示装置１０は、ユーザの見ている現実空間（視界）から到来する光（外光Ｌ１）に、自発光式の表示部である画像表示素子１１が出力する光（画像光Ｌ２とする）をプリズム１２で重ね合わせることで、画像表示素子１１に表示した画像をユーザの見ている現実空間に合成した拡張現実空間を表示するＡＲ表示部１３を有する。画像表示素子１１はドットマトリクス式の表示装置であり、任意の画像を表示することができる。画像表示素子１１は、自発光式であり、表示する画像の部分は発光し、画像のないブランク部分は発光しない。

また、拡張現実空間表示装置１０は、ユーザの見ている現実空間から到来する外光Ｌ１を遮光もしくは減光するシャッタ１４と、ユーザの見ている現実空間を撮影するカメラ部１５をさらに備えている。カメラ部１５にはユーザの見ている現実空間から到来する外光Ｌ１をプリズム１６で一部反射した一方の光が入射される。ＡＲ表示部１３のプリズム１２にはプリズム１６を透過した他方の光が入射される。

シャッタ１４はプリズム１２の手前に設けられており、プリズム１６を経てプリズム１２に入射する外光Ｌ１を遮光もしくは減光する。なお、以後、遮光は減光を含むものとして説明する。

シャッタ１４は、遮光する領域（以後、遮断領域とする）を任意に変更可能に構成されている。たとえば、シャッタ１４は微小な遮光部を縦横のマトリクス状に配列した液晶シャッタで構成される。シャッタ１４は画像表示素子１１と同一もしくは画像表示素子１１以上の解像度を有することが好ましい。

拡張現実空間表示装置１０は、ＡＲ表示部１３に表示される拡張現実空間において、画像表示素子１１に表示させる画像（重畳画像とする）と重なる部分の現実空間からの外光Ｌ１をシャッタ１４によって遮光する。もしくは、任意の遮光したい領域、たとえば、太陽や発光体などの高輝度の領域、あるいは外界の物体の形状に合わせた領域、をシャッタ１４によって遮光する。これにより、外界の色や明るさの響を受けることなくユーザに重畳画像を見せることができ、視界内での重畳画像の色再現性や視認性を大幅に高めることができる。

図２は、拡張現実空間表示装置１０で採用可能な他のタイプの光学系１０Ｂを示している。ＡＲ表示部は、自発光式であって透過型の画像表示素子１３Ｂで構成される。シャッタ１４、カメラ部１５、プリズム１６は図１に示すものと同一である。シャッタ１４は、透過型の画像表示素子１３Ｂの背面（プリズム１６からの外光Ｌ１が入射する側）に設けられている。

図２に示す光学系１０Ｂでは、外光Ｌ１はプリズム１６およびシャッタ１４（遮光していない部分）を通過して透過型の画像表示素子１３Ｂの背面に入射する。透過型の画像表示素子１３Ｂに入射した外光Ｌ１は、透過型の画像表示素子１３Ｂにおいて該透過型の画像表示素子１３Ｂの出力する画像光Ｌ２と重ねあわされてユーザの目に到達する。

拡張現実空間表示装置１０の光学系は、図１に示す光学系１０Ａ、図２に示す光学系１０Ｂのいずれでもかまわない。以後の説明では図１の光学系１０Ａを使用した拡張現実空間表示装置１０について説明する。

図３は、拡張現実空間表示装置１０の電気的な概略構成を示すブロック図である。拡張現実空間表示装置１０は、前述したカメラ部１５と、画像表示素子１１と、シャッタ１４のほかに、カメラ部１５の姿勢を検出して姿勢情報を出力するカメラ姿勢検出部２１と、画像表示素子１１に表示する画像（オブジェクト）を生成する空間内オブジェクト生成部２２と、画像表示素子１１に表示する画像である重畳画像を生成する重畳画像生成部２３と、遮断領域を決定する遮断領域決定部２４を備えて構成される。

カメラ姿勢検出部２１、空間内オブジェクト生成部２２、重畳画像生成部２３、遮断領域決定部２４は、画像表示素子１１による画像の表示とシャッタ１４による遮光を制御する制御部としての機能を果たし、ＣＰＵ（Central Processing Unit）、不揮発メモリ、ＲＡＭ（Random Access Memory）を主要部として構成される。ＣＰＵは、不揮発メモリに格納されているプログラムを実行することで上記の制御を行う。ＲＡＭはＣＰＵがプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや表示する画像のデータを格納する画像メモリなどとして使用される。不揮発メモリには、プログラムのほか、画像表示素子１１に表示する画像の元データ等が記憶されている。

カメラ姿勢検出部２１は、たとえば、カメラ部１５と一体に設けられたジャイロによりカメラ部１５の姿勢を検出する。空間内オブジェクト生成部２２は、画像表示素子１１に表示するオブジェクトの画像を生成する。重畳画像生成部２３は、画像表示素子１１に表示する重畳画像を生成する。たとえば、カメラ部１５の出力する姿勢情報からユーザの視線方向（上下、左右、斜めなど）を認識し、空間内オブジェクト生成部２２によって生成されたオブジェクトの画像を、ユーザの視線方向から見た状態の画像に変換し、これを重畳画像として画像表示素子１１に出力して表示させる。ユーザの視線から見た状態の重畳画像を現実空間に合成することで、３次元の現実空間に対して違和感なく重畳画像が合成された拡張現実空間を表示することができる。

遮断領域決定部２４は、重畳画像生成部２３が生成した重畳画像に基づいて、シャッタ１４によって外光Ｌ１を遮光する遮断領域を決定し、該遮断領域を示す情報をシャッタ１４へ出力する。シャッタ１４は、遮断領域決定部２４から入力された遮断領域を示す情報に従って外光Ｌ１を遮光する。

図４は、拡張現実空間表示装置１０が行う処理の概要を示している。カメラ姿勢検出部２１によってカメラ部１５の姿勢を検出し（ステップＳ１０１）、空間内オブジェクト生成部２２が生成したオブジェクトをカメラ部１５の姿勢から検出したユーザの視線方向から見た状態の重畳画像を作成する（ステップＳ１０２）。

次に、ステップＳ１０２で作成した重畳画像および高輝度部分の外光を低減するか否かに関する設定に基づいて遮断領域を決定する（ステップＳ１０３）。そして、重畳画像のデータを画像表示素子１１へ出力して画像表示素子１１に重畳画像を表示させると共に、遮断領域の情報をシャッタ１４へ出力して、シャッタ１４に該遮断領域の外光Ｌ１を遮光させる（ステップＳ１０４）。

なお、この処理は短時間の周期（たとえば５ｍｓ周期）で繰り返し実行される。これにより、ヘッドマウントディスプレイである拡張現実空間表示装置１０を装着しているユーザが視線を移動させても、重畳画像を表示する場所やシャッタ１４で遮光する遮断領域を動的に変更してユーザの動きに追従することができる。

図５は、遮断領域を決定する処理（図４のステップＳ１０３）の詳細を示している。まず、重畳画像に対応する部分（拡張現実空間において重畳画像と重なる部分）を遮断領域に設定する（ステップＳ１１１）。次に、外光を低減する設定が成されているか否かを調べ（ステップＳ１１２）、外光を低減する設定がなされていない場合は（ステップＳ１１２；Ｎｏ）、ステップＳ１１１で設定した遮断領域を確定させて、本処理を終了する。

外光を低減する設定が成されている場合は（ステップＳ１１２；Ｙｅｓ）、カメラ画像を解析して、高輝度部分を抽出し、この高輝度部分に対応する部分をステップＳ１１１で設定した遮断領域に追加し、追加後の内容で遮断領域を確定させて、本処理を終了する。

次に、拡張現実空間表示装置１０が、遮断領域の外光Ｌ１を遮光して重畳画像を表示する例を示す。

図６（ａ）は、ユーザが見ている現実空間３１の例を示している。

図６（ｂ）は画像表示素子１１に表示するオブジェクト３２の例を示している。

図６（ｃ）は、カメラ姿勢検出部２１で検出した姿勢に応じてオブジェクト３２を変形して得た重畳画像３３を示している。

図６（ｄ）は、重畳画像３３に対応する遮断領域３４を遮光した状態のシャッタ１４を示している。なお、遮断領域３４の減光率は、１００％（完全に光を遮断）としてもよいし、任意の減光率でもよい。また減光率を変化させてもよい。たとえば、現実空間の明るさ、あるいは現実空間と重畳画像３３との明るさの比などに応じて減光率を変化させてもよい。

なお、図６の例では、遮断領域３４を文字のストローク部分のみとしたが、文字の内側の空白部分を含めた領域を遮断領域３４としてもよい。すなわち、重畳画像３３のうち（画像表示素子１１の発光部分に対応する領域のみを遮断領域３４としてもよいし、発光部分の最外周で囲まれる領域全体を遮断領域３４としてもよい。

図７は、図６（ａ）の現実空間３１から外光を、図６（ｄ）のシャッタ１４の遮断領域３４で遮光し、これに図６（ｃ）の重畳画像３３を合成して拡張現実空間３５が形成される様子を示している。ユーザは拡張現実空間３５を視認する。

図８は、高輝度部分にも遮光領域３７を設けた場合を示している。この例では、部屋の窓の部分が高輝度部３６として抽出されている。高輝度部３６からの外光がユーザの目に届かないように、高輝度部３６に対応する領域（もしくは高輝度部３６とその周囲を含む領域）がさらに遮断領域３７として追加されている。なお、遮断領域３７の減光率は、現実空間内の高輝度部３６の明るさ、あるいは現実空間内の高輝度部３６の明るさとその周囲の明るさとの比率などに応じて決定すればよい。

なお、遮断領域３７の縁部では、回折効果により光の回り込みが生じる。そこで、遮断領域３７は高輝度部分や表示するオブジェクトに丁度一致した形状よりも、ある程度その周囲を含むように大きくするとよい。これにより、外光が強い場合などの光の回り込みの影響を少なくすることができる。また、重畳画像の最小線幅などを一定以上に制限してもよい。これにより、光の回り込みがある程度生じても、遮光の効果が確保される。

次に、本発明の第２の実施の形態について説明する。拡張現実空間表示装置１０のハード構成は第１の実施の形態と同様でありその説明は省略する。

第２の実施の形態では、画像表示素子１１に表示する画像に対応する部分と他部分とを遮断領域に設定し、少なくとも他部分に、カメラ部１５の撮影した映像もしくはこれを加工した映像を表示する。

第２の実施の形態では、たとえば、高輝度部分に対応する領域を第２の遮断領域として加え、カメラ部１５の出力する映像から第２の遮断領域に対応する部分の映像を抽出し、明るさを低減する加工や色を補正する加工等を施して、第２の遮断領域に対応する部分の画像表示素子１１に表示する、といったことが可能になる。これにより、拡張現実空間において第２の遮断領域に対応する部分に、その部分に対応する現実空間の映像が表示されるので、高輝度部分の外光を遮断しても、その部分が黒の背景になってしまうことがなく、ユーザに違和感を与えない。また、映像を加工することで、外界の色や視認性を改善することができる。

また、第２の実施の形態では、現実空間に配置された３Ｄタグに従って３Ｄ画像を合成した拡張現実空間に表示するような場合に、３Ｄタグとその周辺部分を遮光領域に追加設定し、その部分の現実空間のカメラ映像から３Ｄタグを消去した画像を作成してその遮光領域に対応する位置に表示すれば、ユーザに、３Ｄタグを見せないようにして、３Ｄ画像を合成した拡張現実空間を見せることができる。

また、第２の実施の形態では、視界の一部の矩形領域を視界映像のズーム領域として表示することができる。また、第２の実施の形態では、外界の物体の外形に合わせて遮断領域を設定し、その部分にカメラ映像から得たその物体の画像と所定の表示情報とを視認性を高めて合成した画像を作成し、この画像を遮断領域に対応する位置に表示する、といったことが可能になる。

さらには、視界のすべて（シャッタ１４全体）を遮断領域に設定し、カメラ部１５の出力する映像またはこれを加工した映像に、表示予定のオブジェクトの画像を合成した重畳画像を作成し、該重畳画像を画像表示素子１１の表示領域全体に表示して、視認性や色再現性を確保した表示を行う、といったことが可能になる。

図９は、第２の実施の形態に係る拡張現実空間表示装置１０が行う処理の概要を示している。カメラ姿勢検出部２１によってカメラ部１５の姿勢を検出する（ステップＳ２０１）。

次に、画像表示素子１１に表示予定の画像を作成する（ステップＳ２０２）。たとえば、空間内オブジェクト生成部２２が生成したオブジェクトを、カメラ部１５の姿勢から検出したユーザの視線方向から見た状態の画像を表示予定の画像として作成する（ステップＳ２０２）。

次に、カメラ画像を合成するか否か等に応じて遮断領域を決定する（ステップＳ２０３）。そして、ステップＳ２０３の結果に応じて、表示予定の画像にカメラ画像を合成した重畳画像を作成する、もしくは表示予定の画像をそのまま重畳画像に確定する（ステップＳ２０４）。

表示予定の画像にカメラ画像を合成した重畳画像の作成は、次のように行われる。カメラ部１５の出力する映像から遮断領域に対応する領域の画像を抽出し、該抽出した画像に対して所定の加工を施す。たとえば、前述した３Ｄタグを消去したり、画像の明るさを下げて視認性を改善したりする。そして、加工後の画像に表示予定の画像を重ね合わせて重畳画像を作成する。

その後、重畳画像のデータを画像表示素子１１へ出力して画像表示素子１１に重畳画像を表示させると共に、遮断領域の情報をシャッタ１４へ出力して、シャッタ１４に該遮断領域の外光Ｌ１を遮光させる（ステップＳ２０５）。この処理は、図４の処理と同様に繰り返し実行される。

図１０は、遮断領域を決定する処理（図９のステップＳ２０３）の詳細を示している。まず、表示予定の画像に対応する部分（拡張現実空間において表示予定の画像と重なる部分）を抽出し、これを遮断領域に設定する（ステップＳ２１１）。次に、カメラ画像を合成する合成モードが設定されているか否かを調べ（ステップＳ２１２）、設定がなされていない場合は（ステップＳ２１２；Ｎｏ）、ステップＳ２１１で設定した遮断領域を確定させて、本処理を終了する。

合成モードが設定されている場合は（ステップＳ２１２；Ｙｅｓ）、表示予定の画像に対応する部分とその周囲一定範囲を含む領域を遮断領域に設定して（ステップＳ２１３）、本処理を終了する。

次に、合成モードにおける拡張現実空間表示装置１０の表示例を説明する。ここでは、現実空間にある３Ｄタグに対応した３Ｄ画像を合成し、かつ現実空間にあった３Ｄタグが消去された拡張現実空間を表示する場合を例示する。

図１１（ａ）は、ユーザが見ている現実空間４１の例である。現実空間４１には３Ｄタグ４２が配置されている。

図１１（ｂ）は、３Ｄタグ４２に対応したオブジェクトをカメラ姿勢検出部２１で検出した姿勢に応じて変形して得た表示予定の画像４３を示している。

図１１（ｃ）は、現実空間４１に表示予定の画像４３を単に合成した場合の拡張現実空間を示している。また、図１１（ｃ）には、表示予定の画像４３に対応する部分と３Ｄタグ４２とを含むように決定した遮断領域４４を破線で示してある。

図１１（ｄ）は、カメラ部１５の出力する映像から遮断領域４４に対応する部分を抽出した抽出画像４５を示している。

図１１（ｅ）は、遮断領域４４の部分を遮光した状態のシャッタ１４を示している。

図１１（ｆ）は、図１１（ｄ）に示す抽出画像４５から３Ｄタグ４２を消去する加工を施した加工画像４６を示している。

図１１（ｇ）は、図１１（ｆ）に示す加工画像４６に図１１（ｂ）に示す表示予定の画像４３を合成した重畳画像４７を示している。

図１２は、図１１（ａ）の現実空間４１から外光を、図１１（ｅ）のシャッタ１４の遮断領域４４で遮光し、これに図１１（ｇ）の重畳画像４７を合成して拡張現実空間４８が形成される様子を示している。ユーザは拡張現実空間４８を視認する。拡張現実空間４８には、３Ｄタグ４２は現れず、３Ｄタグ４２に対応する３Ｄ画像４３が表示されている。

以上のように、拡張現実空間表示装置１０では、重畳画像の形状に合わせて重畳画像に対応する部分を遮断領域としてシャッタ１４で外光Ｌ１を遮光するので、ユーザの見る拡張現実空間において、重畳画像を、外光の影響を受けずに表示することができ、拡張現実空間における重畳画像の色再現性や視認性を高めることができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、拡張現実空間表示装置１０をヘッドマウントディスプレイとしたが、拡張現実空間を表示する装置であれば、ヘッドマウントディスプレイに限定されるものではない。たとえば、カメラおよびディスプレイを備えた携帯端末などでもかまわない。

シャッタ１４は、液晶シャッタに限定されるものではなく、遮光もしくは減光する領域を任意の範囲・形状に変更可能な機能があればよい。
プリズム１２およびプリズム１６は、プリズムに限定されるものではなく、ハーフミラーとレンズ光学系など、光学的に映像を分離または合成できる機能があれば良い。

１０…拡張現実空間表示装置
１０Ａ、１０Ｂ…拡張現実空間表示装置の光学系
１１…画像表示素子
１２…プリズム
１３…ＡＲ表示部
１３Ｂ…透過型の画像表示素子
１４…シャッタ
１５…カメラ部
１６…プリズム
２１…カメラ姿勢検出部
２２…空間内オブジェクト生成部
２３…重畳画像生成部
２４…遮断領域決定部
３１…現実空間
３２…オブジェクト
３３…重畳画像
３４…遮断領域
３５…拡張現実空間
３６…高輝度部
３７…遮断領域
４１…現実空間
４２…３Ｄタグ
４３…表示予定の画像
４４…遮断領域
４５…抽出画像
４６…加工画像
４７…重畳画像
４８…拡張現実空間
Ｌ１…外光
Ｌ２…画像光

Claims (4)

1. 現実空間から到来する光に自発光式の表示部が出力する光を重ね合わせることで、前記表示部に表示した画像を現実空間に合成した拡張現実空間を表示するＡＲ表示部と、
   前記現実空間から到来する光を遮光もしくは減光する遮断領域を任意に変更可能なシャッタ部と、
   前記表示部による画像の表示と前記シャッタ部による遮光もしくは減光を制御する制御部と、
   前記現実空間を撮影するカメラ部と、
   を備え、
   前記制御部は、前記拡張現実空間において前記表示部に表示させた画像が重なる部分の前記現実空間からの光を前記シャッタ部で遮光もしくは減光するように前記遮断領域を設定すると共に、前記遮断領域として前記重なる部分と前記重なる部分以外の他部分とを設定し、前記他部分に対応する前記表示部の領域に、前記カメラ部が出力する映像もしくはこれを加工した映像を表示させる
   ことを特徴とする拡張現実空間表示装置。
2. 前記遮断領域は、前記表示部に表示予定の画像と前記拡張現実空間において重なる部分を含んで該重なる部分より広い領域であり、
   前記遮断領域に対応する前記表示部の領域に、前記カメラ部が出力する映像のうち前記遮断領域に対応する部分の映像もしくはこれを加工した映像に前記表示予定の画像を合成した画像を表示させる
   ことを特徴とする請求項１に記載の拡張現実空間表示装置。
3. 前記制御部は、前記カメラ部が出力する映像から高輝度領域を検出し、前記高輝度領域に対応する部分の現実空間からの光を前記シャッタ部で遮光もしくは減光するように前記遮断領域を設定する
   ことを特徴とする請求項１または２に記載の拡張現実空間表示装置。
4. 人の頭部に装着して使用されるヘッドマウントディスプレイである
   ことを特徴とする請求項１乃至３のいずれか１つに記載の拡張現実空間表示装置。