WO2022196368A1

WO2022196368A1 - 表示装置、表示方法およびプログラム

Info

Publication number: WO2022196368A1
Application number: PCT/JP2022/009054
Authority: WO
Inventors: 鉄二鈴木
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2021-03-18
Filing date: 2022-03-03
Publication date: 2022-09-22
Also published as: JP2022144057A; US20230421747A1

Abstract

外光を計測する外光計測部（１５）と、オブジェ画像を生成する映像生成部（１３）と、オブジェクトの画像を表示する第１表示部（１１）と、第１表示部（１１）より外側に配置される第２表示部（１２）と、第２表示部（１２）の領域の透過率を調整可能な制御部（１４）と、を備え、制御部（１４）は、外光の明るさに応じて第２表示部（１２）の領域の透過率を調整する。

Description

表示装置、表示方法およびプログラム

　本開示は、表示装置、表示方法およびプログラムに関する。

　近年、仮想現実（ＶＲ：Virtual　Reality）や拡張現実（ＡＲ：Augmented　Reality）を実現する技術として、例えば、使用者が頭部に装着して用いるヘッドマウント型の表示装置（ヘッドマウントディスプレイ：ＨＭＤ：Head　Mounted　Display）が知られている。このような表示装置は、外部から取得した実際の画像に、仮想オブジェクトの画像を重ねて表示することができる。このような表示装置としては、例えば、下記特許文献１に記載されたものがある。

特開２０１４－２２８５９５号公報

　ところで、外部から取得した実際の画像は、明瞭な表示画像である一方、仮想オブジェクトの画像は、半透明な表示画像である。使用者は、明瞭な表示画像の上に重ねられた仮想オブジェクトの画像を見る。しかし、仮想オブジェクトの画像が半透明であることから、使用者は、仮想オブジェクトを透過して実際の画像が見えることとなり、仮想オブジェクトの画像の現実感が不十分となってしまうという課題がある。

　本開示は、上記に鑑みてなされたものであって、実際の風景上に仮想オブジェクトの画像を重ねて最適表示させることを目的とする。

　上述した課題を解決し、目的を達成するために、本開示に係る表示装置は、外光を計測する外光計測部と、オブジェ画像を生成する映像生成部と、オブジェクトの画像を表示する第１表示部と、前記第１表示部より外側に配置される第２表示部と、前記第２表示部の領域の透過率を調整可能な制御部と、を備え、前記制御部は、外光の明るさに応じて前記第２表示部の領域の透過率を調整する。

　本開示に係る表示方法は、外光を計測するステップと、オブジェ画像を生成するステップと、オブジェクトの画像を第１表示部に表示するステップと、前記第１表示部より外側に配置される第２表示部の領域の透過率を外光の明るさに応じて調整するステップと、を含む。

　本開示に係るプログラムは、外光を計測するステップと、オブジェ画像を生成するステップと、オブジェクトの画像を第１表示部に表示するステップと、前記第１表示部より外側に配置される第２表示部の領域の透過率を外光の明るさに応じて調整するステップと、を表示装置として動作するコンピュータに実行させる。

　本開示によれば、実際の風景上に仮想オブジェクトの画像を重ねて最適表示させることができるという効果を奏する。

図１は、第１実施形態に係る表示装置を表すブロック構成図である。図２は、表示装置の具体的な構成を表す概略図である。図３は、第１実施形態に係る表示方法を表すフローチャートである。図４－１は、第１表示部の画像を表す概略図である。図４－２は、第２表示部の画像を表す概略図である。図４－３は、第２表示部の画像の上に第１表示部の画像を重ねた画像を表す概略図である。図４－４は、第２表示部の画像の上に第１表示部の画像を重ねて強調処理をした画像を表す概略図である。図５は、第１実施形態に係る表示方法の変形例を表すフローチャートである。図６は、第２実施形態に係る表示装置を表すブロック構成図である。図７は、第２実施形態に係る表示方法を表すフローチャートである。図８は、第２実施形態に係る表示方法の第１変形例を表すフローチャートである。図９は、第２実施形態に係る表示方法の第２変形例を表すフローチャートである。図１０は、第３実施形態に係る表示装置の具体的な構成を表す概略図である。図１１－１は、仮想オブジェクトの画像を表す概略図である。図１１－２は、現実空間の画像の一例を表す概略図である。図１１－３は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図である。図１１－４は、現実空間の画像の一例を表す概略図である。図１１－５は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図である。図１１－６は、現実空間の画像の上に仮想オブジェクトの画像を重ねて強調処理をした画像を表す概略図である。図１２－１は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図である。図１２－２は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図である。図１２－３は、現実空間の画像の上に仮想オブジェクトの画像を重ねて強調処理をした画像を表す概略図である。

　以下に添付図面を参照して、本開示に係る表示装置、表示方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

＜第１実施形態＞
［表示装置］
　第１実施形態の表示装置は、拡張現実を実現するヘッドマウント型の表示装置に適用して説明する。

　図１は、第１実施形態に係る表示装置を表すブロック構成図である。

　第１実施形態において、図１に示すように、表示装置１０は、第１表示部１１と、第２表示部１２と、映像生成部１３と、光制御部（制御部）１４と、照度センサ（外光計測部）１５と、記憶部１６とを有する。

　第１表示部１１は、表示装置１０の内部に配置される。第１表示部１１は、映像生成部１３から仮想オブジェクトの画像に関する映像信号を取得し、仮想オブジェクトの画像を表示する。

　第２表示部１２は、仮想オブジェクトの画像より外側に配置される。第２表示部１２は、光制御部１４から制御信号を取得し、第２表示部１２の透過率を調整する。

　映像生成部１３は、映像信号に基づいて仮想オブジェクトを生成し、第１表示部１１に仮想オブジェクトの画像を表示させる。また、映像生成部１３は、現実空間の明るさに応じて仮想オブジェクトの画像の明るさや色を調整可能である。なお、映像生成部１３は、記憶部１６から取得した仮想オブジェクトの画像に関する映像信号を第１表示部１１と第２表示部１２へ送信する。また、映像生成部１３は、照度センサ１５から取得した現実空間の明るさに関する情報を光制御部１４へ送信する。

　光制御部１４は、映像生成部１３から入力される現実空間の明るさに応じて第２表示部１２の透過率を調整可能である。光制御部１４は、仮想オブジェクトの画像に対向する領域の透過率を調整可能である。光制御部１４は、映像生成部１３から取得した仮想オブジェクトの画像に関する映像信号と、現実空間の明るさに関する情報とから、現実空間に存在する物体の画像の明るさが仮想オブジェクトの画像の明るさより明るいかどうかを判定する。光制御部１４は、制御信号を第２表示部１２へ送信する。

　照度センサ１５は、外光を計測する。すなわち、照度センサ１５は、表示装置１０の周囲、特に、前方の画像、つまり、現実空間の画像の情報を取得することで、現実空間の明るさ（照度）を計測する。例えば、照度センサ１５は、ＣＭＯＳイメージセンサであるが、この構成に限定されない。照度センサ１５は、現実空間の明るさに関する情報を映像生成部１３へ送信する。

　記憶部１６は仮想オブジェクトの画像に関する映像信号等を記憶する。記憶部１６は仮想オブジェクトの画像に関する映像信号を映像生成部１３へ送信する。なお、記憶部１６に記憶された仮想オブジェクトの画像に関する映像信号は予め記憶されていてもよく、また外部と接続可能な通信部（不図示）を介して仮想オブジェクトの画像に関する映像信号を取得し記憶してもよい。記憶部１６は例えばメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。

　なお、映像生成部１３、光制御部１４は、例えばＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）の少なくとも一つによって構成される。

　図２は、表示装置の具体的な構成を表す概略図である。

　図２に示すように、第１表示部１１は、外装２０に支持される。第１表示部１１は、第１表示パネル２１と、ハーフミラー２２と、コンバイナミラー２３とを有する。第１表示パネル２１は、外装２０の上部に水平をなして配置される。第１表示パネル２１は、平面形状をなし、例えば、液晶パネル、有機ＥＬパネル、プラズマパネルなど、各種の表示パネルが適用可能である。第１表示パネル２１は、下面に仮想オブジェクトＡの画像を表示可能な表示面２１ａを有する。表示面２１ａは、下方、つまり、外装２０の内部に向けて表示光Ｌａを照射可能である。

　ハーフミラー２２は、外装２０の内部で、第１表示パネル２１の下方に配置される。ハーフミラー２２は、第１表示パネル２１に対して所定の角度に傾斜して配置される。ハーフミラー２２は、上面側に反射コート２２ａが設けられ、下面側に反射防止コート２２ｂが設けられる。ハーフミラー２２は、上方からの光を反射し、前方からの光を透過する。つまり、ハーフミラー２２は、第１表示パネル２１から照射された表示光Ｌａをコンバイナミラー２３に向けて反射する。また、ハーフミラー２２は、コンバイナミラー２３で反射された反射光Ｌｂを後方に透過する。

　コンバイナミラー２３は、外装２０の内部で、ハーフミラー２２の前方に配置される。コンバイナミラー２３は、外装２０の前部に鉛直をなして配置される。コンバイナミラー２３は、凹面形状をなす。コンバイナミラー２３は、内面側に反射コート２３ａが設けられる。コンバイナミラー２３は、第１表示パネル２１から照射されてハーフミラー２２で反射された表示光Ｌａを反射し、反射光Ｌｂとしてハーフミラー２２に向けて照射する。

　第１表示部１１は、第１表示パネル２１から照射された表示光Ｌａをハーフミラー２２により前方に反射させ、表示光Ｌａをコンバイナミラー２３により後方に反射させ、反射光Ｌｂとしてハーフミラー２２を透過させて使用者の眼球に導光させる。そのため、使用者は、第１表示部１１により表示された仮想オブジェクトＡの画像が、表示装置１０の前方に位置するように視認する。

　また、コンバイナミラー２３は、現実空間に存在する物体Ｂの画像を構成する実像光Ｌｃが外部からハーフミラー２２側に透過して取り込む。第１表示部１１は、物体Ｂの画像を構成する実像光Ｌｃがコンバイナミラー２３およびハーフミラー２２を透過して使用者の左右の眼球に到達させる。そのため、使用者は、現実空間に存在する物体Ｂの画像を直接視認する。

　このとき、仮想オブジェクトＡの画像を生成する反射光Ｌｂ（表示光Ｌａ）と、現実空間に存在する物体Ｂの画像を生成する実像光Ｌｃが使用者の眼球に到達する。そのため、使用者は、現実空間に存在する物体Ｂの画像の上に仮想オブジェクトＡの画像が重なった合成画像を視認する。

　第２表示部１２は、第２表示パネル３１を有する。第２表示パネル３１は、外装２０の前部に鉛直方向に沿って支持される。第２表示パネル３１は、コンバイナミラー２３の外側に所定間隔を空けて配置される。第２表示パネル３１は、平面形状をなし、例えば、液晶パネル、有機ＥＬパネル、プラズマパネルなど、各種の表示パネルが適用可能である。第２表示パネル３１は、マトリックス状に画素が設けられ、それぞれの画素は、透明から不透明に調整制御可能である。そのため、第２表示パネル３１は、透過率を０％～１００％の間で調整可能である。

　図１および図２に示すように、照度センサ１５は、現実空間の明るさを計測する。光制御部１４は、現実空間から入射する光の画像（物体Ｂの画像）の明るさに応じて、仮想オブジェクトＡの画像（ここでは、仮想オブジェクトＡの形状に応じた三角画像）に対向する第２表示パネル３１の領域の透過率を調整可能である。

　具体的には、第１表示パネル２１で表示された仮想オブジェクトＡの虚像（画像）の光線が第２表示パネル３１を横切るので、この横切る部分の領域の透過率を調整する。ここで、視野の中心部は第２表示パネル３１とコンバイナミラー２３が近いが、視野の周辺部では距離が離れるため、視野全域をカバーするためにはさらに大きなパネルが必要となる。図２に示された第２表示パネル３１は平面パネルであるが、平面パネルの代わりに曲面パネルとしてもよい。この曲面パネルの曲面形状はコンバイナミラー２３の曲面形状に沿った形状とすることが望ましい。視野の中心から周辺部に至るまで、仮想オブジェクトＡの画像の形状に対応した形状で調整制御を行うことができる。装置を小型化し視野周辺まできれいに調整制御行うことができる。

　なお、映像生成部１３、光制御部１４はいずれの位置に設置してもよい。

［表示方法］
　図３は、第１実施形態に係る表示方法を表すフローチャートである。

　図１から図３に示すように、ステップＳ１１にて、映像生成部１３は、映像信号に基づいて仮想オブジェクトＡの画像情報を取得して表示する。ステップＳ１２にて、照度センサ１５は、現実空間に存在する物体Ｂの画像情報を取得し、現実空間に存在する物体Ｂの画像の明るさを取得する。ステップＳ１３にて、光制御部１４は、現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るいかどうかを判定する。なお、ステップＳ１３における画像の明るさ判定処理は、予め設定された判定値に基づいて判定する。判定値は、予め実験やシミュレーションなどにより仮想オブジェクトＡの画像を鮮明度に基づいて設定する。

　ここで、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るいと判定（Ｙｅｓ）すると、ステップＳ１４に移行する。ステップＳ１４にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を下げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しにくくなり、仮想オブジェクトＡの画像の背景側が暗くなる。そのため、使用者は、物体Ｂの画像の明るさの影響を受けずに、仮想オブジェクトＡの画像を鮮明に視認することができる。

　一方、ステップＳ１３にて、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るくないと判定（Ｎｏ）すると、ステップＳ１５に移行する。ステップＳ１５にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができ、仮想オブジェクトＡの画像と物体Ｂの画像の両方を鮮明に視認することができる。

　なお、ステップＳ１５では、ただ単に第２表示部１２の所定の領域の透過率を上げるだけでなく、物体Ｂの画像の明るさと仮想オブジェクトＡの画像の明るさに応じて、第２表示部１２の所定の領域の透過率を調整してもよい。

　図４－１は、第１表示部の画像を表す概略図、図４－２は、第２表示部の画像を表す概略図、図４－３は、第２表示部の画像の上に第１表示部の画像を重ねた画像を表す概略図、図４－４は、第２表示部の画像の上に第１表示部の画像を重ねて強調処理をした画像を表す概略図である。

　図４－１に示すように、第１表示部１１に仮想オブジェクトＡの画像が表示される。図４－２に示すように、第２表示部１２における仮想オブジェクトＡの画像に対向する所定の領域Ｂ１の透過率を下げて暗くする。すると、図４－３に示すように、第２表示部１２の暗くなった所定の領域Ｂ１の上に第１表示部１１の仮想オブジェクトＡの画像が表示される。このとき、暗くする所定の領域Ｂ１の大きさは、仮想オブジェクトＡの画像の大きさと同じか、または、大きくなるようにすることが好ましい。そのため、使用者は、仮想オブジェクトＡの画像を鮮明に視認することができる。また、図４－４に示すように、映像生成部１３が仮想オブジェクトＡの画像の周囲に縁取りＣを形成する強調処理をすることで、仮想オブジェクトＡの画像を鮮明に表示することができる。縁取りＣは、白色や黒色、または、仮想オブジェクトＡの画像の色の反対色を適用することが好ましい。

［変形例］
　図５は、第１実施形態に係る表示方法の変形例を表すフローチャートである。

　図１および図２、図５に示すように、ステップＳ２１にて、映像生成部１３は、映像信号に基づいて仮想オブジェクトＡの画像情報を取得して表示する。ステップＳ２２にて、照度センサ１５は、現実空間に存在する物体Ｂの画像情報を取得し、現実空間に存在する物体Ｂの画像の明るさを取得する。ステップＳ２３にて、光制御部１４は、現実空間に存在する物体Ｂの画像の色度が仮想オブジェクトＡの画像の色度に近いかどうかを判定する。色度とは、明るさを無視した色の性質であり、明度を除いた光の色、色相と彩度を数量的に表示したものである。なお、ステップＳ１３における画像の色度判定処理は、予め設定された判定値に基づいて判定する。判定値は、予め実験やシミュレーションなどにより仮想オブジェクトＡの画像を鮮明度に基づいて設定する。

　ここで、光制御部１４が現実空間に存在する物体Ｂの画像の色度が仮想オブジェクトＡの画像の色度に近いと判定（Ｙｅｓ）すると、ステップＳ２４に移行する。ステップＳ２４にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を下げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しにくくなり、仮想オブジェクトＡの画像の背景側が暗くなる。そのため、使用者は、物体Ｂの画像の色度の影響を受けずに、仮想オブジェクトＡの画像を鮮明に視認することができる。このとき、映像生成部１３は、仮想オブジェクトＡの画像の色を調整することで、仮想オブジェクトＡの画像が明瞭になるようにしてもよい。

　一方、ステップＳ１３にて、光制御部１４が現実空間に存在する物体Ｂの画像の色度が仮想オブジェクトＡの画像の色度に近くないと判定（Ｎｏ）すると、ステップＳ２５に移行する。ステップＳ２５にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができ、仮想オブジェクトＡの画像と物体Ｂの画像の両方を鮮明に視認することができる。

＜第２実施形態＞
　図６は、第２実施形態に係る表示装置を表すブロック構成図である。

　第２実施形態において、図６に示すように、表示装置１０Ａは、第１表示部１１と、第２表示部１２と、映像生成部１３と、光制御部１４と、照度センサ１５と、記憶部１６と、姿勢センサ（歩行検出部）１７とを有する。ここで、第１表示部１１、第２表示部１２、映像生成部１３、光制御部１４、照度センサ１５、記憶部１６は、第１実施形態と同様であり、説明は省略する。

　姿勢センサ１７は、使用者の歩行を検出する。姿勢センサ１７は、歩行の検出結果を映像生成部１３へ送信する。映像生成部１３は、姿勢センサ１７の検出結果に応じて仮想オブジェクトの画像の明るさや色を調整可能である。なお、映像生成部１３は、姿勢センサ１７から取得した歩行の検出結果を光制御部１４へ送信する。光制御部１４は、映像生成部１３から入力される姿勢センサ１７の検出結果に応じて第２表示部１２の透過率を調整可能である。具体的に、光制御部１４は、姿勢センサ１７が使用者の歩行を検出すると、第２表示部１２の所定の領域の透過率が高くなるように調整する。

　図７は、第２実施形態に係る表示方法を表すフローチャートである。

　図６および図７に示すように、ステップＳ３１にて、映像生成部１３は、映像信号に基づいて仮想オブジェクトＡの画像情報を取得して表示する。ステップＳ３２にて、照度センサ１５は、現実空間に存在する物体Ｂの画像情報を取得し、現実空間に存在する物体Ｂの画像の明るさを取得する。ステップＳ３３にて、姿勢センサ１７が検出した使用者の歩行状態を取得する。

　ステップＳ３４にて、光制御部１４は、姿勢センサ１７が検出した使用者の歩行状態に基づいて使用者が歩行中であるかどうかを判定する。ここで、光制御部１４が、使用者が歩行中でないと判定（Ｎｏ）すると、ステップＳ３５に移行する。ステップＳ３５にて、光制御部１４は、現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさよりも明るいかどうかを判定する。ここで、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るいと判定（Ｙｅｓ）すると、ステップＳ３６に移行する。ステップＳ３６にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を下げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しにくくなり、仮想オブジェクトＡの画像の背景側が暗くなる。そのため、使用者は、物体Ｂの画像の明るさの影響を受けずに、仮想オブジェクトＡの画像を鮮明に視認することができる。

　一方、ステップＳ３５にて、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るくないと判定（Ｎｏ）すると、ステップＳ３７に移行する。ステップＳ３７にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができ、仮想オブジェクトＡの画像と物体Ｂの画像の両方を明瞭に視認することができる。

　また、ステップＳ３４にて、光制御部１４が、使用者が歩行中であると判定（Ｙｅｓ）すると、ステップＳ３７に移行する。ステップＳ３７にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができる。すなわち、使用者は、歩行中に仮想オブジェクトＡの画像を視認するものの、仮想オブジェクトＡの画像を通して物体Ｂの画像、つまり、周囲の背景画像を視認することができ、安全に歩行することができる。

　なお、使用者が歩行中であると判定されたときは、光制御部１４は、現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るくないと判定されたときよりも、第２表示部１２の所定の領域の透過率を高くすることが好ましい。つまり、使用者が歩行中であると判定されたとき、第２表示部１２の所定の領域の透過率を１００％近くまで上げることが好ましい。また、このとき、仮想オブジェクトＡの画像の縁取りによる強調処理を行ってもよい。

［第１変形例］
　図８は、第２実施形態に係る表示方法の第１変形例を表すフローチャートである。

　図６および図８に示すように、ステップＳ４１にて、映像生成部１３は、映像信号に基づいて仮想オブジェクトＡの画像情報を取得して表示する。ステップＳ４２にて、照度センサ１５は、現実空間に存在する物体Ｂの画像情報を取得し、現実空間に存在する物体Ｂの画像の明るさを取得する。ステップＳ４３にて、姿勢センサ１７が検出した使用者の歩行状態を取得する。

　ステップＳ４４にて、光制御部１４は、姿勢センサ１７が検出した使用者の歩行状態に基づいて使用者が歩行中であるかどうかを判定する。ここで、光制御部１４が、使用者が歩行中でないと判定（Ｎｏ）すると、ステップＳ４５に移行する。ステップＳ４５にて、光制御部１４は、現実空間に存在する物体Ｂの画像の色度が仮想オブジェクトＡの画像の色度に近いかどうかを判定する。ここで、光制御部１４が現実空間に存在する物体Ｂの画像の色度が仮想オブジェクトＡの画像の色度に近いと判定（Ｙｅｓ）すると、ステップＳ４６に移行する。ステップＳ４６にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を下げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しにくくなり、仮想オブジェクトＡの画像の背景側が暗くなる。そのため、使用者は、物体Ｂの画像の明るさの影響を受けずに、仮想オブジェクトＡの画像を鮮明に視認することができる。

　一方、ステップＳ４５にて、光制御部１４が現実空間に存在する物体Ｂの画像の色度が仮想オブジェクトＡの画像の色度に近くないと判定（Ｎｏ）すると、ステップＳ４７に移行する。ステップＳ４７にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができ、仮想オブジェクトＡの画像と物体Ｂの画像の両方を明瞭に視認することができる。

　また、ステップＳ４４にて、光制御部１４が、使用者が歩行中であると判定（Ｙｅｓ）すると、ステップＳ４７に移行する。ステップＳ４７にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができる。すなわち、使用者は、歩行中に仮想オブジェクトＡの画像を視認するものの、仮想オブジェクトＡの画像を通して物体Ｂの画像、つまり、周囲の背景画像を視認することができ、安全に歩行することができる。

［第２変形例］
　図９は、第２実施形態に係る表示方法の第２変形例を表すフローチャートである。

　図６および図９に示すように、ステップＳ５１にて、映像生成部１３は、映像信号に基づいて仮想オブジェクトＡの画像情報を取得して表示する。ステップＳ５２にて、照度センサ１５は、コンバイナミラー２３を通して現実空間に存在する物体Ｂの画像情報を取得し、現実空間に存在する物体Ｂの画像の明るさを取得する。ステップＳ５３にて、姿勢センサ１７が検出した使用者の歩行状態を取得する。

　ステップＳ５４にて、光制御部１４は、姿勢センサ１７が検出した使用者の歩行状態に基づいて使用者が歩行中であるかどうかを判定する。ここで、光制御部１４が、使用者が歩行中でないと判定（Ｎｏ）すると、ステップＳ５５に移行する。ステップＳ５５にて、光制御部１４は、現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさよりも明るいかどうかを判定する。ここで、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るいと判定（Ｙｅｓ）すると、ステップＳ５６に移行する。ステップＳ５６にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を下げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しにくくなり、仮想オブジェクトＡの画像の背景側が暗くなる。そのため、使用者は、物体Ｂの画像の明るさの影響を受けずに、仮想オブジェクトＡの画像を鮮明に視認することができる。

　一方、ステップＳ５５にて、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るくないと判定（Ｎｏ）すると、ステップＳ５７に移行する。ステップＳ５７にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができ、仮想オブジェクトＡの画像と物体Ｂの画像の両方を明瞭に視認することができる。

　また、ステップＳ５４にて、光制御部１４が、使用者が歩行中であると判定（Ｙｅｓ）すると、光制御部１４は、判定結果を映像生成部１３へ送信し、ステップＳ５８に移行する。ステップＳ５８にて、映像生成部１３は、仮想オブジェクトＡの画像が使用者の視野の中心にあるかどうかを判定する。この場合、例えば、仮想オブジェクトＡの画像の一部が使用者の視野の中心に重なっているかどうかを判定する。また、仮想オブジェクトＡの画像の一部が使用者の視野の中心をした所定の領域にあるかどうかを判定してもよい。ここで、映像生成部１３が仮想オブジェクトＡの画像が使用者の視野の中心にあると判定（Ｙｅｓ）すると、映像生成部１３は、この判定結果を光制御部１４へ送信し、ステップＳ５９にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。このとき、映像生成部１３は、仮想オブジェクトＡの画像の明るさを下げるように調整してもよい。

　そして、ステップＳ６０にて、映像生成部１３は、仮想オブジェクトＡの画像を使用者の視野の周辺部、つまり、視野の端部に移動する。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができる。また、仮想オブジェクトＡの画像が使用者の視野の中心部ではなく端部に表示されることとなる。そのため、使用者は、仮想オブジェクトＡの画像が邪魔にならずに物体Ｂの画像を視認することができる。すなわち、使用者は、歩行中に仮想オブジェクトＡの画像を視認するものの、周囲の背景画像を明瞭に視認することで、安全に歩行することができる。

　一方、ステップＳ５８にて、映像生成部１３が仮想オブジェクトＡの画像が使用者の視野の中心にないと判定（Ｎｏ）すると、映像生成部１３は、この判定結果を光制御部１４へ送信し、ステップＳ５７に移行する。ステップＳ５７にて、光制御部１４は、仮想オブジェクトＡの画像に対向する第２表示部１２の所定の領域の透過率を上げる。すると、第２表示部１２は、所定の領域で現実空間からの光が透過しやすくなり、仮想オブジェクトＡの画像の背景側が明るくなる。そのため、使用者は、仮想オブジェクトＡの画像を透過して物体Ｂの画像を視認することができる。すなわち、使用者は、歩行中に仮想オブジェクトＡの画像を視認するものの、仮想オブジェクトＡの画像を通して物体Ｂの画像、つまり、周囲の背景画像を視認することができ、安全に歩行することができる。

＜第３実施形態＞
　図１０は、第３実施形態に係る表示装置の具体的な構成を表す概略図である。

　第３実施形態において、図１に示すように、表示装置１０Ｂは、第１表示部１１と、映像生成部１３と、照度センサ１５と、記憶部１６とを有する。

　ここで、第１表示部１１、映像生成部１３、照度センサ１５、記憶部１６は、第１実施形態と同様の構成並びに機能であることから、説明は省略する。

　表示装置１０Ｂは、第１表示部１１により仮想オブジェクトＡの画像を生成する反射光Ｌｂ（表示光Ｌａ）と、現実空間に存在する物体Ｂの画像を生成する実像光Ｌｃが使用者の眼球に到達させる。そのため、使用者は、現実空間に存在する物体Ｂの画像の上に仮想オブジェクトＡの画像が重なった合成画像を視認する。

　このとき、光制御部１４が現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより明るいと判定したとき、また、仮想オブジェクトＡの画像の明るさと現実空間に存在する物体Ｂの画像の明るさが近似していると判定したとき、光制御部１４は、その判定結果を映像生成部１３に送信する。映像生成部１３は、送信された判定結果に基づいて仮想オブジェクトＡの画像に対して強調処理を行う。

　図１１－１は、仮想オブジェクトの画像を表す概略図、図１１－２は、現実空間の画像の一例を表す概略図、図１１－３は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図、図１１－４は、現実空間の画像の一例を表す概略図、図１１－５は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図、図１１－６は、現実空間の画像の上に仮想オブジェクトの画像を重ねて強調処理をした画像を表す概略図である。

　図１１－１に示すように、第１表示部１１に仮想オブジェクトＡの画像が表示される。図１１－２に示すように、現実空間に存在する明るさの暗い物体Ｂの画像を取得する。図１１－３に示すように、現実空間に存在する明るさの暗い物体Ｂの画像の上に仮想オブジェクトＡの画像を重ねた合成画像が表示される。ここで、現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＡの画像の明るさより暗いことから、使用者は、仮想オブジェクトＡの画像を明瞭に視認することができる。

　一方、図１１－４に示すように、現実空間に存在する明るい物体Ｂの画像を取得する。図１１－５に示すように、現実空間に存在する明るい物体Ｂの画像の上に仮想オブジェクトＡの画像を重ねた合成画像が表示される。ここで、現実空間に存在する物体Ｂの画像の明るさと仮想オブジェクトＡの画像の明るさが近似していることから、使用者は、仮想オブジェクトＡの画像を明瞭に視認することが困難となる。そのため、図１１－６に示すように、映像生成部１３は、仮想オブジェクトＡの画像の周囲に縁取りＣを形成する強調処理をすることで、仮想オブジェクトＡの画像を鮮明に表示する。縁取りＣは、白色や黒色、または、仮想オブジェクトＡの画像の色の反対色を適用することが好ましい。

　図１２－１は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図、図１２－２は、現実空間の画像の上に仮想オブジェクトの画像を重ねた画像の一例を表す概略図、図１２－３は、現実空間の画像の上に仮想オブジェクトの画像を重ねて強調処理をした画像を表す概略図である。

　図１２－１に示すように、現実空間に存在する明るさの暗い物体Ｂの画像の上に仮想オブジェクトＤの３次元画像を重ねた合成画像が表示される。ここで、現実空間に存在する物体Ｂの画像の明るさが仮想オブジェクトＤの３次元画像の明るさより暗いことから、使用者は、仮想オブジェクトＤの３次元画像を明瞭に視認することができる。

　一方、図１２－２に示すように、現実空間に存在する明るい物体Ｂの画像の上に仮想オブジェクトＤの３次元画像を重ねた合成画像が表示される。ここで、現実空間に存在する物体Ｂの画像の明るさと仮想オブジェクトＤの３次元画像の明るさが近似していることから、使用者は、仮想オブジェクトＤの３次元画像を明瞭に視認することが困難となる。そのため、図１２－３に示すように、映像生成部１３は、仮想オブジェクトＤの３次元画像の周囲に縁取りＥを形成する強調処理をすることで、仮想オブジェクトＤの３次元画像を鮮明に表示する。

［実施形態の作用効果］
　本実施形態では、外光を計測する照度センサ（外光計測部）１５と、オブジェ画像を生成する映像生成部１３と、オブジェクトの画像を表示する第１表示部１１と、第１表示部１１より外側に配置される第２表示部１２と、第２表示部１２の領域の透過率を調整可能な光制御部（制御部）１４とを備え、光制御部は、外光の明るさに応じて第２表示部１２の領域の透過率を調整する。

　そのため、現実空間から外光の明るさに応じて、第２表示部１２の所定の領域の透過率を調整することで、使用者に対してオブジェクトの画像を明瞭に視認させることができる。その結果、実際の風景上に仮想オブジェクトの画像を重ねて最適表示させることができる。例えば、現実空間から外光の画像が仮想オブジェクトの画像より明るさが明るいとき、第２表示部１２の所定の領域の透過率を下げることで暗くする。すると、使用者は、仮想オブジェクトの画像を明瞭に視認することができる。

　本実施形態では、使用者の歩行状態を検出する姿勢センサ（歩行検出部）１７を備え、光制御部１４は、姿勢センサ１７が検出した使用者の歩行状態に基づいて第２表示部１２の領域の透過率が調整する。そのため、使用者が歩行中であるとき、仮想オブジェクトの画像に対向する第２表示部１２の所定の領域の透過率を調整することとなり、使用者は、仮想オブジェクトの画像を透過して現実空間から入射する光の画像を視認することができる。その結果、使用者は、周囲の背景画像を明瞭に視認しながら安全に歩行することができる。

　本実施形態では、映像生成部１３は、外光の明るさに応じて、オブジェクトの画像の色を調整する。そのため、仮想オブジェクトの画像を明瞭に表示することができる。

　これまで本開示に係る表示装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

　図示した表示装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

　表示装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

　また、上記の実施形態では、第１表示部１１を第１表示パネル２１とハーフミラー２２とコンバイナミラー２３とから構成したが、この構成や配置に限定されるものではない。

　本開示の表示装置、表示方法およびプログラムは、例えば、ヘッドマウントディスプレイに適用することができる。

　１０，１０Ａ，１０Ｂ　表示装置
　１１　第１表示部
　１２　第２表示部
　１３　映像生成部
　１４　光制御部（制御部）
　１５　照度センサ（外光計測部）
　１６　記憶部
　１７　姿勢センサ（歩行検出部）
　２１　第１表示パネル
　２２　ハーフミラー
　２３　コンバイナミラー
　３１　第２表示パネル
　Ｌａ　表示光
　Ｌｂ　反射光
　Ｌｃ　実像光

Claims

　外光を計測する外光計測部と、
　オブジェ画像を生成する映像生成部と、
　オブジェクトの画像を表示する第１表示部と、
　前記第１表示部より外側に配置される第２表示部と、
　前記第２表示部の領域の透過率を調整可能な制御部と、
　を備え、
　前記制御部は、外光の明るさに応じて前記第２表示部の領域の透過率を調整する、
　表示装置。
　使用者の歩行状態を検出する歩行検出部を、さらに備え、
　前記制御部は、前記歩行検出部が検出した前記使用者の歩行状態に基づき、前記第２表示部の領域の透過率を調整する、
　請求項１に記載の表示装置。
　前記映像生成部は、外光の明るさに応じて、オブジェクトの画像の色を調整する、
　請求項１または請求項２に記載の表示装置。
　外光を計測するステップと、
　オブジェ画像を生成するステップと、
　オブジェクトの画像を第１表示部に表示するステップと、
　前記第１表示部より外側に配置される第２表示部の領域の透過率を外光の明るさに応じて調整するステップと、
　を含む表示方法。
　外光を計測するステップと、
　オブジェ画像を生成するステップと、
　オブジェクトの画像を第１表示部に表示するステップと、
　前記第１表示部より外側に配置される第２表示部の領域の透過率を外光の明るさに応じて調整するステップと、
　を表示装置として動作するコンピュータに実行させるプログラム。