JP5273323B1 - ヘッドマウントディスプレイ装置 - Google Patents

Abstract

【課題】本発明は使用者に対して現実画像と架空画像とを重ね合わせて表示するヘッドマウントディスプレイ装置において、低消費電力かつ高精度な拡張現実を実現することを目的とする。
【解決手段】この目的を達成するために、本発明のヘッドマウントディスプレイ装置１０は、現実画像１２を撮像する撮像部１４と、使用者１１の動きを検出するモーションセンサ１５と、現実画像１２及び使用者１１の動きを用いて架空画像１３を制御する制御部１６と、架空画像１３を出力する架空画像出力部１７と、現実画像１２を透過し、架空画像１３を反射するハーフミラー１８と、を備え、撮像部１４は現実画像１２を断続的に撮像し、制御部１６は、現実画像１２に応じて架空画像１３の表示内容及び表示位置を定め、現実画像１２が得られない間は、使用者１１の動きを用いて架空画像１３の表示内容又は表示位置を制御する構成とする。
【選択図】図１

Description

本発明は、使用者に対して現実画像と架空画像とを重ね合わせて表示するヘッドマウントディスプレイ装置に関する。

図５に示すように、従来のヘッドマウントディスプレイ装置１は、撮像する現実画像に重ね合わせて架空画像を出力する画像処理手段２と、現実視野を撮像し、その撮像によって得られた画像データを画像処理手段２に送出するＣＣＤカメラ３と、使用者の眼球の視線方向を検出する視線検出手段４（例えば、赤外線を眼球に照射し、その反射光をＣＣＤ等の視線方向検出用のセンサで検出）と、画像処理手段２から出力された架空画像を出力する架空画像出力手段５と、使用者がカーソル操作等を行う操作入力手段６と、を備えていた。

なお、この出願の発明に関する先行技術文献情報としては、例えば、特許文献１が知られている。

特開２００１−０５６４４６号公報

従来のヘッドマウントディスプレイ装置１において、架空画像を現実画像に適切に重ね合わせるために、現実視野を撮像するＣＣＤカメラ３や、視線検出手段４（赤外線照射部やＣＣＤセンサ等）を常に動作させていたため、消費電力が大きくなっていた。

そこで、本発明は、使用者に対して現実画像と架空画像とを重ね合わせて表示するヘッドマウントディスプレイ装置であって、前記現実画像を撮像する撮像部と、前記使用者の動きを検出するモーションセンサと、前記現実画像及び前記使用者の動きを用いて前記架空画像を制御する制御部と、前記架空画像を出力する架空画像出力部と、前記現実画像を透過し、前記架空画像を反射するハーフミラーと、を備え、前記撮像部は前記現実画像を断続的に撮像し、前記制御部は、前記現実画像に応じて前記架空画像の表示内容及び表示位置を定め、前記現実画像が得られない間は、前記使用者の動きを用いて前記架空画像の表示内容又は表示位置を制御する構成とする。

上記構成により、本発明のヘッドマウントディスプレイ装置は、撮像部を断続的に動作させるとともに、撮像部を動作させない間はモーションセンサを用いて架空画像を現実画像に重ね合わせるため、低消費電力かつ高精度な拡張現実を実現できる。

実施の形態１におけるヘッドマウントディスプレイ装置の概略ブロック図 実施の形態１におけるヘッドマウントディスプレイ装置の動作説明図 実施の形態１における撮像部の動作例を示す図 実施の形態１におけるヘッドマウントディスプレイ装置の実装例を示す図 従来のヘッドマウントディスプレイ装置の概略ブロック図

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
図１は本実施の形態におけるヘッドマウントディスプレイ装置の概略ブロック図である。

ヘッドマウントディスプレイ装置１０は、使用者１１に対して現実画像１２と架空画像１３とを重ね合わせて表示する装置であり、現実画像１２を撮像する撮像部１４と、使用者１１の動きを検出するモーションセンサ１５と、現実画像１２及び使用者１１の動きを用いて架空画像１３を制御する制御部１６と、架空画像１３を出力する架空画像出力部１７と、現実画像１２を透過し、架空画像１３を反射するハーフミラー１８と、を備えている。

撮像部１４は現実画像１２を断続的に撮像する。制御部１６は、現実画像１２に応じて架空画像１３の表示内容及び表示位置を定め、現実画像１２が得られない間は、使用者１１の動きを用いて架空画像１３の表示内容又は表示位置を制御する。

この構成により、低消費電力かつ高精度な拡張現実を実現することができる。

具体的には、図１は、使用者１１が英字新聞を読んでいる場面である。現実画像１２は英字新聞であり、架空画像１３はこの英字新聞の和訳文である。使用者がかけている眼鏡がヘッドマウントディスプレイ装置１０に対応している。この眼鏡のフレーム部分に撮像部１４やモーションセンサ１５、制御部１６、架空画像出力部１７が実装されている。また、眼鏡のレンズ部分にハーフミラー１８が実装されている。

英字新聞（現実画像１２）は、ハーフミラー１８を透過し、使用者１１に視認される。同時に、撮像部１４は英字新聞（現実画像１２）を断続的に撮影し（すなわち、撮像と非撮像を不連続な間隔で繰り返し）、撮影した画像を制御部１６に送る。制御部１６は画像に含まれる英文字部分の画像と、前もって記録された英文字パターンとの照合により英文字を特定し、英文字データに変換する。さらに英文字データの集合からなる英文を和訳し、和訳文を得る。この和訳文を架空表示データとして架空画像出力部１７に送出する。架空画像出力部１７は、架空表示データを架空画像１３に変換し、光学系を使ってハーフミラー１８に向けて投射する。ハーフミラー１８は、架空画像１３を使用者１１に向けて反射する。その結果、使用者１１は英字新聞（現実画像１２）に和訳文（架空画像１３）を重ね合わせて見ることができる。

以下、各構成要素について詳述する。

撮像部１４は、集光レンズの後段にカラーフィルタを備え、さらに後段に電荷結合素子（ＣＣＤ）や相補性金属酸化膜半導体（ＣＭＯＳ）等の受光素子を備えた構成であり、現実画像１２から照射される光を電気信号に変換する。この撮像部１４は断続的に動作し、現実画像１２は完結的に制御部１６に送られる。したがって、撮像部１４の消費電力は低減される。

モーションセンサ１５は、例えば、角速度センサや加速度センサ、またはこれらの組み合わせからなる複合センサである。図１の例では、モーションセンサ１５は使用者１１がかけている眼鏡のフレーム部分に組み込まれ、使用者１１の頭部の動きを検出することにより、使用者１１が現実画像１２のどの部分を見ているかを推定する。使用者１１が英字新聞や雑誌等を読む際には、記事を読み進めるにしたがって頭部を回転させるため、この頭部の回転を検出することにより、読んでいる位置を推定することができる。

具体的には、英字新聞（現実画像１２）の記事が横書きの場合、読み進めるにしたがって、頭部を左右に回転させる。したがって、頭頂部を通る体軸回り（図１のＺ軸回り）の角速度を検出することにより、使用者１１の着目箇所を推定できる。記事が縦書きの場合、読み進めるにしたがって、頭部を上下に回転させる。したがって、両耳を通る軸回り（図１のＸ軸回り）の角速度を検出することにより、使用者１１の着目箇所を推定できる。さらに、Ｚ軸回りとＸ軸回りの２軸の角速度を検出することにより、頭部の上下左右の２軸の回転を検出できるため、記事の上下左右の着目位置を推定できる。

また、モーションセンサとして加速度センサを用いてもよい。図１のＺ軸方向の加速度を検出することにより、頭部の上下方向の変位を検出できる。また、Ｘ軸方向の加速度を検出することにより、頭部の左右方向の変位を検出できる。さらに、Ｚ軸方向とＸ軸方向の２軸の加速度を検出することにより、頭部の上下左右の変位を検出できるため、記事の上下左右の着目位置を推定できる。加速度センサは一般に角速度センサよりも消費電力が小さいため、ヘッドマウントディスプレイ装置１０がバッテリーで駆動される場合に、長時間の使用が可能となるため特に有用である。

また、角速度センサと加速度センサとの複合センサを用いることにより、使用者１１の頭部の回転と変位を検出できるため、記事の着目位置を高精度に推定することができる。

制御部１６は、撮像部１４が撮像した現実画像１２及びモーションセンサ１５が検出した使用者１１の動きを用いて架空画像１３を制御する機能を有する。この制御部１６は、信号処理回路やプロセッサーを用いたソフトウェア処理により実現される。制御部１６は、撮像部１４から断続的に現実画像１２を取得し、この現実画像１２に基づいて架空画像１３の表示内容及び表示位置を定める。図１の例では、英字新聞（現実画像１２）から和訳文（表示内容）を生成する。さらに、この和訳文が英字新聞（現実画像１２）の英文字部分に重ねあわせて表示されるように、和訳文の表示位置を定める。また、制御部１６は、撮像部１４から現実画像１２が得られない間は、モーションセンサ１５が検出した使用者１１の動きを用いて和訳文の内容又は表示位置を制御する（詳細は後述する）。

架空画像出力部１７は、架空画像１３をハーフミラー１８に投射する機能を有し、光源から出射した光を赤／緑／青の三原色のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を通して作られた画像を合成し投映するＬＣＤ方式や、ミラー素子にランプ光をあて、反射光をレンズを通して投影する方式、反射型の液晶表示パネルを用いた方式などを採用できる。

ハーフミラー１８は、現実画像１２を透過し、架空画像１３を反射する機能を有し、プリズム型、平面型、ウェッジ基板型などを採用できる。

図２は、本実施の形態におけるヘッドマウントディスプレイ装置１０の動作説明図である。

図２（ａ−１）〜（ａ−３）は、架空画像１３（吹き出し）の表示位置を制御する動作例である。図２（ａ）は、使用者１１が紙面の左側から右側へ視線移動した場合である。（ａ−１）は、使用者１１が紙面の左上部分を見ている初期状態である。英字新聞（現実画像１２）の英文を和訳した和文訳（「本日のトップニュースは・・・」）を架空画像１３として吹き出し表示している。（ａ−２）は、従来技術において、使用者１１が紙面の右上部分に視線移動した場合である。撮像部１４が断続的に動作しているため、撮像部１４から現実画像１２を得られない間は、制御部１６は架空画像１３の表示位置を制御できない。そのため、使用者１１の頭部の右回りの回転（図１のＺ軸の正方向から見て時計回り）にともなって吹き出しも右上部分に移動する。その結果、実際には英文がない箇所（紙面の右上部分）に吹き出しが表示される。（ａ−３）は、本実施の形態におけるヘッドマウントディスプレイ装置１０において、使用者１１が紙面の右上部分に視線移動した場合である。制御部１６は現実画像１２が得られない間は、モーションセンサ１５が検出した使用者１１の頭部の動きに基づいて、吹き出しの表示位置を変更している。すなわち、モーションセンサ１５は使用者１１の頭部の右回り（図１のＺ軸の正方向から見て時計回り）の回転を検出し、制御部１６は吹き出しを逆方向（図１のＺ軸の正方向から見て反時計回り）に同じ回転量だけ移動させている。その結果、本来の英文位置に吹き出しが表示される。このように、撮像部１４を動作させていない間であっても、モーションセンサ１５を用いることにより、使用者１１に対し、適切な箇所に吹き出し（架空画像１３）を表示することができる。

図２（ｂ−１）〜（ｂ−３）は、架空画像１３（吹き出し）の表示内容を制御する動作例である。図２（ｂ）は、使用者１１が紙面の上側から下側へ視線移動した場合である。（ｂ−１）は、使用者１１が紙面の左上部分を見ている初期状態である。英字新聞（現実画像１２）の英文を和訳した和訳文（「本日のトップニュースは・・・」）を架空画像１３として吹き出し表示している。（ｂ−２）は、従来技術において、使用者１１が紙面の左下部分に視線移動した場合である。撮像部１４が断続的に動作しているため、撮像部１４から現実画像１２を得られない間は、制御部１６は架空画像１３の表示位置を制御できない。そのため、使用者１１の頭部の下回りの回転（図１のＸ軸の正方向から見て反時計回り）に伴って吹き出しも左下部分に移動する。その結果、左下部分の英文に対し、誤った和文訳（「本日のトップニュースは・・・」）が吹き出しとして表示される。（ｂ−３）は、本実施の形態におけるヘッドマウントディスプレイ装置１０において、使用者１１が紙面の左下部分に視線移動した場合である。制御部１６は現実画像１２が得られない間は、モーションセンサ１５が検出した使用者１１の頭部の動きに基づいて、該当の英文に対応する和訳文（「次のトップニュースは・・・」）に吹き出しの表示内容を変更している。すなわち、モーションセンサ１５は使用者１１の頭部の下回りの回転（図１のＸ軸の正方向から見て反時計回り）を検出し、制御部１６はメモリ（図示せず）に記録した現実画像１２を参照して左下部分の英文を抽出する。そして、この左下部分の英文に対応した和文訳を吹き出し（「次のトップニュースは・・・」）として表示する。このように、撮像部１４を動作させていない間であっても、モーションセンサ１５を用いることにより、使用者１１に対し、読んでいる英文箇所の適切な和文訳を表示することができる。

なお、以上においては、現実画像１２として英字新聞とし、架空画像１３として和文訳を表示する例を説明したが、他の例にも適用可能である。具体的には、現実画像１２をビルや商店等の建造物とし、架空画像１３を建造物の説明や広告としてもよい。建造物の説明や広告をネットワーク経由で取得することにより、使用者１１はビルや商店の詳細情報を実際の位置に重ね合わせて見ることができる。さらに本発明を適用することにより、使用者１１が歩行や視線移動により現実画像１２と架空画像１３がずれた場合であっても、モーションセンサ１５を用いて架空画像１３の位置補正或いは表示内容の変更ができる。また、現実画像１２として人物とし、架空画像１３としてその人物の名前や付加情報としてもよい。事前に人物の写真（又は顔の特徴など）と関連付けて名前や付加情報を記録しておき、この名前や付加情報を人物に重ね合わせて表示する。これにより、使用者１１が対面した人物の名前などを失念した場合であっても、人物関連情報を架空画像１３として見ることができる。さらに本発明を適用することにより、使用者１１が歩行や視線移動により現実画像１２と架空画像１３がずれた場合であっても、モーションセンサ１５を用いて架空画像１３の位置補正或いは表示内容の変更ができる。

図３は、本実施の形態における撮像部１４の動作例を示す図である。

図３の（ａ−１）および（ａ−２）は、撮像部１４を間欠的に動作させた場合（すなわち、周期的に起動と停止を繰り返した場合）の撮像部１４の動作状態およびモーションセンサ１５の検出値である。（ａ−１）は、横軸は時間であり、縦軸は撮像部１４の動作状態である。区間Ｔ１（ｔ０−ｔ１、ｔ５−ｔ６、ｔ１０−ｔ１１）は撮像部１４が現実画像１２を撮像しており、区間Ｔ２（ｔ１−ｔ５、ｔ６−ｔ１０）は撮像していない。（ａ−２）は、横軸は時間であり、縦軸はモーションセンサ１５の検出値としてＺ軸回りの角速度を示している。使用者１１の頭部の右回りの回転（図１のＺ軸の正方向から見て時計回り）を正とし、左回りの回転（図１のＺ軸の正方向から見て反時計回り）を負としている。この図を見ると、時間ｔ３−ｔ５では正の角速度を検知しているため、使用者１１が頭部を右回りに回転させたことが分かる。この右回りの回転量から使用者１１の右方向への視線移動量を算出し、架空画像１３を逆方向（左方向）に視線移動量と同じ移動量だけ移動させる。このようにして、撮像部１４が撮像していない区間Ｔ２（ｔ１−ｔ５、ｔ６−ｔ１０）においても、制御部１６はモーションセンサ１５の検出値を用いて架空画像１３の表示位置を制御することができる。なお、時間ｔ５−ｔ６は撮像部１４から現実画像１２が得られるため、現実画像１２に対して、架空画像１３の位置を正確に合わせることができる。ここで、撮像部１４の撮像時間（Ｔ１）と非撮像時間（Ｔ２）の時間比率は１：４であるため、常に撮像している場合と比べて、撮像部１４の消費電力は約１／５となり、大幅な低消費電力化を実現できる。

図３の（ｂ−１）および（ｂ−２）は、モーションセンサ１５の検出値に応じて撮像部１４の動作周期を変えた場合の動作例である。モーションセンサ１５の検出値であるＺ軸回りの角速度に対し、正側閾値Ｔｈ１と負側閾値Ｔｈ２を設ける。Ｚ軸回りの角速度が正側閾値Ｔｈ１と負側閾値Ｔｈ２の間にある場合は、撮像部１４の動作周期を長くする。（ｂ−２）において、時間ｔ６−ｔ１０の間、Ｚ軸回りの角速度が正側閾値Ｔｈ１と負側閾値Ｔｈ２の間にある。したがって、時間ｔ１０−ｔ１１に撮像部１４を動作させず、ｔ１１−ｔ１２に動作させている。この例では１単位時間のみ遅らせたが、１周期（５単位時間）を遅らせてもよい。このように、モーションセンサ１５の検出値に応じて撮像部１４の動作周期を変えることにより、撮像部１４の消費電力をさらに低減できる。

図３の（ｃ−１）および（ｃ−２）は、モーションセンサ１５の検出値に応じて撮像部１４を動作させた例である。モーションセンサ１５の検出値であるＺ軸回りの角速度に対し、正側閾値Ｔｈ１と負側閾値Ｔｈ２を設ける。このＺ軸回りの角速度が正側閾値Ｔｈ１以上となった場合、又は、負側閾値Ｔｈ２以下となった場合に、使用者１１が所定以上の動きを行ったと判断し、撮像部１４を動作させている。撮像部１４は、最初に現実画像１２を取得するために時間ｔ０−ｔ１に動作する。その後、Ｚ軸回りの角速度が正側閾値Ｔｈ１以上となる時間ｔ３−ｔ６だけ動作している。その他の時間（ｔ１−ｔ３、ｔ６−ｔ１２）は、Ｚ軸回りの角速度が正側閾値Ｔｈ１と負側閾値Ｔｈ２の間にあるため、動作していない。このように、使用者１１が所定以上の動きを行った場合にのみ撮像部１４を動作させることにより、撮像部１４の動作を大幅に低減できる。

なお、図３の説明においてはＺ軸回りの角速度を例として説明したが、Ｘ軸回りの角速度やＹ軸回りの角速度に対しても適用できる。またＸ軸方向、Ｙ軸方向、Ｚ軸方向の加速度に対しても適用できる。

なお、本実施の形態では、制御部１６は眼鏡のフレーム部分に実装された構成としたが、外部の携帯端末に実装してもよい。この場合、眼鏡のフレーム部分に無線部を設け、外部の携帯端末に現実画像１２やモーションセンサ１５の出力を送信する。携帯端末内の制御部１６は受信した現実画像１２やモーションセンサ１５の出力から架空画像１３を生成し、眼鏡のフレーム部分に設けられた架空画像出力部１７に送信する。これにより、携帯端末内の高性能なプロセッサーを用いて和文翻訳等の架空画像生成処理を高速に行うことができる。

図４は、ヘッドマウントディスプレイ装置１０の実装例である。眼鏡１９のフレーム２０に撮像部１４、モーションセンサ１５、架空画像出力部１７および無線部２２が実装されている。また眼鏡１９のレンズ２１にハーフミラー１８が実装されている。携帯端末２３に制御部１６と無線部２４が実装されている。このように、無線部２２、２４を介在させることにより、携帯端末２３が有する高性能プロセッサーを用いて制御部１６を実現できる。

モーションセンサ１５は、ヘッドマウントディスプレイ装置１０が使用者の耳に支持される支持部分２０ａよりもハーフミラー１８寄りの箇所２０ｂに設けるのが好ましい。使用者１１が歩行等により動いた場合に、眼鏡１９は支持部分２０ａを支持点として位置ずれする可能性がある。この場合、架空画像１３の投影先であるハーフミラー１８とモーションセンサ１５が支持部分２０ａに対して同じ側にあることにより、ハーフミラー１８（或いはレンズ２１）の動きを高精度に検出できるため、現実画像１２に対して架空画像１３を高精度に重ね合わせることができる。また、モーションセンサ１５として加速度センサを用いた場合、使用者１１の顔の上下左右の動きに対して、フレーム２０の支持部分２０ａの変位量よりもレンズ２１寄りの箇所２０ｂの変位量の方が大きいため、使用者１１の動きを高精度に検出できる。

さらに好ましくは、モーションセンサ１５の実装位置とハーフミラー１８の実装位置との距離を、架空画像出力部１７の実装位置とハーフミラー１８の実装位置との距離よりも短くする。これにより、架空画像出力部１７とハーフミラー１８との間の光路長を長くできるとともに、モーションセンサ１５とハーフミラー１８とを近接させ、使用者１１の動きを高精度に検出できる。

本発明は、低消費電力かつ高精度な拡張現実を実現できるので、使用者に対して現実画像と架空画像とを重ね合わせて表示するヘッドマウントディスプレイ装置として有用である。

１ ヘッドマウントディスプレイ装置
２ 画像処理手段
３ ＣＣＤカメラ
４ 視線検出手段
５ 架空画像出力手段
６ 操作入力手段
１０ ヘッドマウントディスプレイ装置
１１ 使用者
１２ 現実画像
１３ 架空画像
１４ 撮像部
１５ モーションセンサ
１６ 制御部
１７ 架空画像出力部
１８ ハーフミラー
１９ 眼鏡
２０ フレーム
２１ レンズ
２２、２４ 無線部
２３ 携帯端末

Claims (4)

1. 使用者に対して現実画像と架空画像とを重ね合わせて表示するヘッドマウントディスプレイ装置であって、
   前記現実画像を撮像する撮像部と、
   前記使用者の動きを検出するモーションセンサと、
   前記現実画像及び前記使用者の動きを用いて前記架空画像を制御する制御部と、
   前記架空画像を出力する架空画像出力部と、
   前記現実画像を透過し、前記架空画像を反射するハーフミラーと、を備え、
   前記撮像部は前記現実画像を断続的に撮像し、
   前記制御部は、前記現実画像に応じて前記架空画像の表示内容及び表示位置を定め、前記現実画像が得られない間は、前記使用者の動きを用いて前記架空画像の表示内容又は表示位置を制御するヘッドマウントディスプレイ装置。
2. 前記撮像部は、前記モーションセンサの検出値に応じて動作周期を変える請求項１に記載のヘッドマウントディスプレイ装置。
3. 前記撮像部は、前記モーションセンサの検出値が所定範囲外となった場合に前記現実画像を撮像する請求項１に記載のヘッドマウントディスプレイ装置。
4. 前記モーションセンサは、前記ヘッドマウントディスプレイ装置が前記使用者に支持される支持部分よりも前記ハーフミラー寄りに設けられた請求項１に記載のヘッドマウントディスプレイ装置。