JP5659195B2 - 画像提示装置及び方法 - Google Patents

Description

本発明の実施形態は、画像提示装置及び方法に関する。

観察者が見ている風景に、目標位置等を示す指標画像を重畳して提示するヘッドアップディスプレイ（ＨＵＤ）やヘッドマウントディスプレイ（ＨＭＤ）等の画像提示装置がある。このような画像提示装置では、観察者の移動時（歩行時や、車両運転時等）に発生する振動による指標画像のぶれを低減し、精度よく指標画像を提示することができることが望ましい。

従来の画像提示装置では、振動を検知した場合に、指標画像をぼかしたり、指標画像の一部を消すことにより、指標画像のぶれを低減しようとするものがある。しかしながら、移動中は振動していることが多いため、かえって指標画像が見づらくなるという課題がある。

特開２００５−２１５８７９号公報

発明が解決しようとする課題は、指標画像を精度よく風景に重畳でき、かつ、観察者に見やすい指標画像を提示することができる画像提示装置及び方法を提供することである。

上記課題を解決するために、本発明の実施形態に係る画像提示装置は、生成部と、測定部と、変更部と、提示部とを備える。

生成部は、観察者が観察する風景に重畳すべき画像を生成する。測定部は、前記観察者の横方向の傾きの時間変化を振動として測定する。変更部は、前記振動の周期が所定の条件を満たす場合、提示される前記画像が仮現運動として知覚される時間内で、前記画像の形態を一定時間変化させる。提示部は、前記画像を前記観察者の眼に向かって提示する。

第１の実施形態に係る画像提示装置１を表すブロック図。 画像提示装置１の処理を表すフローチャート。 観察者１００の頭部の傾きの時間変化の測定グラフの一例図。 観察者１００の頭部を基準とする座標系を表す図。 判定部１３１の処理を表すフローチャート。 仮現運動の実験結果を表す一例図。 指標画像の説明図。

以下、本発明の実施形態について図面を参照して詳細に説明する。

本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
第１の実施形態に係る画像提示装置１は、観察者１００の頭部に装着可能なヘッドマウントディスプレイ（ＨＭＤ）や、ＡＲ（拡張現実）メガネ等に好適である。

画像提示装置１は、観察者１００が見ている風景に、目標位置等を示す指標画像（例えば矢印）を重畳して提示するものである。画像提示装置１は、観察者１００から見て、指標画像が目標位置まで進むように、当該指標画像を順次生成して提示する。

画像提示装置１は、観察者の移動時の振動の周期を推定し、当該振動の周期が所定の範囲内である場合、提示する指標画像の視認性を一定時間低下させる。これにより、観察者１００が感じる指標画像のぶれを軽減させることができる。

図１は、画像提示装置１を表すブロック図である。画像提示装置１は、推定部１０と、生成部１１と、測定部１２と、変更部１３と、提示部１４と、記憶部５１とを備える。

記憶部５１は、地図等の地理情報を記憶している。

推定部１０は、観察者１００の現在位置を推定する。例えば、推定部１０は、記憶部５１に記憶されている地理情報と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）とにより、現在位置を推定してよい。

推定部１０は、推定された現在位置と地図情報とに基づいて、観察者１００が目標位置に接近したか否かを判定する。目標位置は、例えば観察者１００が予め設定しておいてよい。

生成部１１は、観察者１００が目標位置に接近した場合、目標位置まで進むように知覚される指標画像を順次生成する。このとき、生成部１１は、観察者１００の眼の位置と視線方向とを推定する。生成部１１は、眼の位置と視線方向とから、目標位置に重畳するように指標画像を生成する。

測定部１２は、観察者１００の移動により発生する画像提示装置１の振動を測定する。本実施形態において、測定部１２は、観察者１００の頭部の横方向への傾きの時間変化を検出することにより振動を測定する。測定部１２は、例えば、加速度センサ等を用いて、観察者１００の頭部の傾きの時間変化を検出してよい。

変更部１３は、判定部１３１と、制御部１３２とを含む。判定部１３１は、測定された振動の周期が所定の条件を満たすか否かを判定する。詳細は後述する。

測定された振動の周期が、所定の条件を満たさないと判定された場合、制御部１３２は、生成部１１が生成した指標画像が提示されるように、提示部１４を制御する。

測定された振動の周期が、所定の条件を満たすと判定された場合、制御部１３２は、生成部１１が生成した指標画像を視認性が低くなるように変更する。制御部１３２は、変更した指標画像を一定時間提示するように、提示部１４を制御する。詳細は後述する。

提示部１４は、観察者１００の眼に向かって、指標画像の形状をした光束を投影することにより、指標画像を提示する。

提示部１４は、光源１４１と、光束制限部１４２と、拡散部１４３と、画像形成部１４４と、第１レンズ１４５と、開口部１４６と、第２レンズ１４７と、反射板１４８とを含む。

第１レンズ１４５の焦点距離をｆ１、第２レンズ１４７の焦点距離をｆ２とすると、開口部１４６は、第１レンズ１４５からｆ１の距離で、かつ第２レンズ１４７からｆ２の距離の位置に配置されるのが望ましい。

光源１４１から出射した光束は、光束制限部１４２で、進行方向が制限された状態で、拡散部１４３を備えた画像形成部１４４へと入射する。拡散部１４３により、光束は拡散されて一様に画像形成部１４４へと入射することができる。画像形成部１４４は、光束を部分的に透過もしくは遮断することにより、指標画像の形状をした光束を形成する。

画像形成部１４４を通った光束は、第１レンズ１４５と開口部１４６と第２レンズ１４７を通過する。光束は発散角(光束が拡がっていく角度）が制御された状態で反射板１４８へと入射する。反射板１４８は、光束を観察者１００の眼に向けて反射させる。

画像形成部１４４が開口部１４６よりも光源１４１側にあることにより、開口部１４６が画像形成部１４４よりも光源１４１側にある場合に比べて、画像形成部１４４を通る光束の透過率を高くすることができる。そのため、光源１４１の消費電力を抑えられる。

光源１４１には発光ダイオードや高圧水銀ランプ、ハロゲンランプ、レーザー等が用いられる。光束制限部１４２にはテーパライトガイド、拡散部１４３には拡散フィルターや拡散板、画像形成部１４４には液晶ディスプレイやデジタルミラーデバイス等が用いられる。

推定部１０と、生成部１１と、測定部１２と、変更部１３とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。記憶部５２は、ＣＰＵが用いるメモリ、あるいは補助記憶装置により実現されてよい。

以上、画像提示装置１の構成について説明した。

図２は、画像提示装置１の処理を表すフローチャートである。推定部１０は、現在位置を推定する（Ｓ１０１）。推定部１０は、推定された現在位置と地図情報とに基づいて、観察者１００が目標位置に接近したか否かを判定する（Ｓ１０２）。例えば、推定部１０は、観察者１００から目標位置までの距離が所定の閾値以下となった場合に、観察者１００が目標位置に接近したと判定してよい。

観察者１００が目標位置に接近していない場合（Ｓ１０２：ＮＯ）、観察者１００が目標位置に接近するまで、ステップＳ１０２の判定を続ける。

観察者１００が目標位置に接近した場合（Ｓ１０２：ＹＥＳ）、生成部１１は、目標位置まで進むように知覚される指標画像を順次生成する（Ｓ１０３）。

測定部１２は、観察者１００の移動により発生する画像提示装置１の振動の周期を測定する（Ｓ１０４）。

判定部１３１は、測定された振動の周期が所定の条件を満たすか否かを判定する（Ｓ１０５）。

測定された振動の周期が所定の条件を満たさないと判定された場合（ステップＳ１０５：ＮＯ）、制御部１３２は、生成部１１が生成した指標画像が提示されるように、提示部１４を制御する（Ｓ１０６）。

測定された振動の周期が所定の条件を満たすと判定された場合（ステップＳ１０５：ＹＥＳ）、制御部１３２は、生成部１１が生成した指標画像を視認性が低くなるように変更する。制御部１３２は、変更した指標画像を一定時間提示するように、提示部１４を制御する（Ｓ１０７）。

提示部１４は、観察者１００の眼に向かって、指標画像の形状をした光束を投影することにより、指標画像を提示し（Ｓ１０８）、処理を終了する。

以上、画像提示装置１の処理について説明した。

以下、本実施形態について、詳細に説明する。

測定部１２は、観察者１００の頭部の傾きの時間変化を測定可能なセンサ（傾きセンサ）を有する。傾きセンサには、例えば加速度センサ等が適用可能である。すなわち、測定部１２は、傾きセンサを用いて、観察者１００の頭部の横方向（左右方向）の回転角度の時間変化を測定すればよい。

図３は、観察者１００の頭部の傾きの時間変化の測定グラフの一例図である。図３において、横軸は時刻を表す。縦軸は観察者１００の頭部の横方向（左右方向）の回転角度を表す。図４は、観察者１００の頭部を基準とする座標系を表す。図４のような座標系を定義した場合、図３に示す測定グラフの縦軸は、ｙ軸の回転角度を表している。

測定部１２は、傾きセンサから得られるｙ軸の回転角度を用いて、回転角度の時間変化の向きが変化する時刻である変化時刻ｔｓを求める。すなわち、変化時刻ｔｓとは、図３に示す測定グラフの波形における「山」及び「谷」に対応する時刻である。測定部１２は、制御部１３２が指標画像の形態を一定時間変化させる際の開始時刻に、変化時刻ｔｓを用いる。例えば、測定部１２は、式１を満たす時刻を変化時刻ｔｓとして求めてよい。

ここで、ｒ（ｔｓ）は、変化時刻ｔｓにおける観察者１００の頭部の回転角度を表す。Δｔは、予め設定される微小時間を表す。

なお、得られた変化時刻ｔｓから、予め定めた時間後の時刻を、新たな変化時刻ｔｓとしてもよい。またy軸以外の軸の変化点を変化時刻ｔｓとしてもよい。また、測定部１２は、傾きセンサ以外に、観察者１００の足の動きを検出することができるモーションセンサを用いてもよい。この場合、測定部１２は、観察者１００の足が着地した時刻を変化時刻ｔｓとして、求めてもよい。

測定部１２は、変化時刻ｔｓと直前の時刻の変化時刻ｔｓの差から周期Ｔを算出する。測定部は、変化時刻ｔｓと周期Ｔとを判定部１３１と制御部１３２とに供給する。

図５は、判定部１３１の処理を表すフローチャートである。判定部１３１は、周期Ｔの時間変化の度合い（時間変化量）が所定の閾値以下か否かを判定する（Ｓ２０１）。ステップＳ２０１における判定がＮＯの場合、判定部１３１は、指標画像の表示を消去すると判定する（Ｓ２０２）。

ステップＳ２０１における判定がＹＥＳの場合、判定部１３１は、周期Ｔは所定の閾値以下か否かを判定する（Ｓ２０３）。ステップＳ２０３における判定がＹＥＳの場合はステップＳ２０２に遷移する。

ステップＳ２０３における判定がＮＯの場合、判定部１３１は、変化時刻ｔｓから現在時刻までの経過時間が、所定の閾値以下か否かを判定する（Ｓ２０４）。

ステップＳ２０４における判定がＮＯの場合、判定部１３１は、指標画像の形態を変化させないと判定する（Ｓ２０５）。ステップＳ２０４における判定がＹＥＳの場合、判定部１３１は、指標画像の視認性を低くするように形態を変化させると判定する（Ｓ２０６）。

判定部１３１により、指標画像の視認性を低くするように形態を変化させると判定された場合の制御部１３２の処理について、以下説明する。

制御部１３２は、変化時刻ｔｓから予め設定された一定時間だけ、指標画像の視認性が低くなるように、指標画像の形態を変化させる。例えば、制御部１３２は、指標画像の輝度を下げることにより、指標画像の視認性を低下させてよい。あるいは、制御部１３２は、指標画像の一部を消滅することにより、指標画像の視認性を低下させてもよい。

設定される一定時間は、仮現運動が起こる範囲で設定してもよい。仮現運動とは、物体（本実施形態の場合は指標画像）が消えていても、人間の眼の錯覚により、物体が動いているように見える運動のことである。仮現運動が起こる限界時間は、約２００ミリ秒であると一般的に言われている。

図６は、仮現運動の実験結果を表す一例図である。本図は、移動する指標画像の表示を「表示消去時間」だけ消去した場合において、観察者１００が、指標画像があると錯覚する位置と、指標画像を消去しなかったときの実際の位置との誤差の測定を、複数人の被験者に対して行なって得られた実験結果である。本図から、０ミリ秒から２００ミリ秒の間で、指標画像を消去することにより、観察者１００が錯覚する指標画像の位置との誤差が少ないことが分かる。

制御部１３２は、視認性が低くなるように、一定時間、形態を変化させた指標画像を提示部１４に供給し、提示部１４を制御する。なお、制御部１４は、一定時間後、供給された指標画像の形態を変更せずに提示部１４に供給する。また、制御部１３２は、周期が閾値より小さい場合は、指標画像の視認性を低下させるように形態を変化させた指標画像を提示部１４に供給してもよい。また、制御部１３２は、周期を時系列で保存し、時系列の差分が閾値以下となる時刻が一定時間以上続かない場合は、指標画像の視認性を低下させるように形態を変化させた指標画像を提示部１４に供給してもよい。

図７は、視認性を低くして提示された指標画像を時系列で表した説明図である。例えば、左足や右足が着地した時刻から一定時間消去することにより、観察者に見やすい指標画像を提示することができる。

本実施形態によれば、指標画像を精度よく風景に重畳でき、かつ、観察者に見やすい指標画像を提示することができる。

なお、本実施形態は、表示する物体をナビゲーションに用いる指標画像を想定して説明したが、エンターテインメント向けの電子ペットや遊具等、現実世界の特定位置に、拡張現実的に表示された物体であれば適用可能である。

なお、上述した各実施形態に係る画像提示装置１は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、画像提示装置１が備えるべき構成要素は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像提示装置１は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１・・・画像提示装置
１０・・・推定部
１１・・・生成部
１２・・・測定部
１３・・・変更部
１４・・・提示部
１３１・・・判定部
１３２・・・制御部
１４１・・・光源
１４２・・・光束制限部
１４３・・・拡散部
１４４・・・画像形成部
１４５・・・第１レンズ
１４６・・・開口部
１４７・・・第２レンズ
１４８・・・反射板

Claims (5)

1. 観察者が観察する風景に重畳すべき画像を生成する生成部と、
   前記観察者の横方向の傾きの時間変化を振動として測定する測定部と、
   前記振動が所定の条件を満たす場合、提示される前記画像が仮現運動として知覚される時間内で、前記画像の視認性が低下するように、前記画像の形態を一定時間変化させる変更部と、
   前記画像を前記観察者の眼に向かって提示する提示部と
   を備える、画像提示装置。
2. 観察者が観察する風景に重畳すべき画像を生成する生成部と、
   前記観察者の移動時に発生する振動を測定する測定部と、
   （１）前記振動の周期の時間変化量が所定の閾値以下、かつ、（２）前記振動の周期が所定の閾値より大きい、かつ、（３）前記振動の周期における特定の時刻からの時間経過が所定の閾値以内、である場合に、提示される前記画像の視認性が低下するように、前記画像の形態を一定時間変化させる変更部と、
   前記画像を前記観察者の眼に向かって提示する提示部と
   を備える、画像提示装置。
3. 前記生成部は、観察者に指示すべき指示地点まで順次移動する指標画像を生成し、
   前記提示部は、前記指標画像を前記観察者の眼に向かって提示する、
   請求項１又は２に記載の画像提示装置。
4. 観察者が観察する風景に重畳すべき画像を生成し、
   前記観察者の横方向の傾きの時間変化を振動として測定し、
   前記振動が所定の条件を満たす場合、提示される前記画像が仮現運動として知覚される時間内で、提示される前記画像の形態を一定時間変化させ、
   前記画像を前記観察者の眼に向かって提示する、
   画像提示方法。
5. 観察者が観察する風景に重畳すべき画像を生成し、
   前記観察者の移動時に発生する振動を測定し、
   （１）前記振動の周期の時間変化量が所定の閾値以下、かつ、（２）前記振動の周期が所定の閾値より大きい、かつ、（３）前記振動の周期における特定の時刻からの時間経過が所定の閾値以内、である場合に、提示される前記画像の視認性が低下するように、前記画像の形態を一定時間変化させ、
   前記画像を前記観察者の眼に向かって提示する、
   画像提示方法。

Images