JP5295714B2 - 表示装置、画像処理方法、及びコンピュータプログラム - Google Patents

Description

本発明は、使用者が頭部に装着して用いられるヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）などの表示装置に関する。

ＨＭＤには、主に、ビデオシースルー方式と光学シースルー方式とがある。
ビデオシースルー方式のＨＭＤは、ビデオカメラなどの撮像装置で撮像した現実世界の像である外界像をＨＭＤの表示機構に表示することで、使用者に外界像を提供する。ビデオシースルー方式のＨＭＤでは、撮像装置が撮像する方向が、使用者の眼の位置と表示機構の位置とを結ぶ線の方向と一致する場合に、使用者が外界像を直接見ていることと同じ像を見ることができる。また、ビデオシースルー方式のＨＭＤでは、撮像装置で撮像した外界像に、コンピュータグラフィックスなどで作成した仮想世界の像を重畳した合成画像を、使用者に提供することもできる。現実世界の像と仮想世界の像とを重畳させた合成画像は、複合現実感に関する研究などに便用することができる。

光学シースルー方式のＨＭＤは、ガラスなどのシースルーの表示機構に仮想世界の像を表示することで、仮想世界の像と表示機構であるガラスなどを通して直接見ることのできる外界像とを、同時に使用者に提供することができる。

この他に、ＨＭＤは、使用者の視線方向を検出して、その視線方向を入力インタフェースとして用いる視線入力装置として用いることができる。特許文献１は、このような視線方向を検出する機能を有するＨＭＤの従来技術である。
特開平０８−５０２５６号公報

ＨＭＤは、使用者の頭部に装着して用いられるために、小型、軽量であることが望ましい。しかし、視線方向を検出する機能を有するＨＭＤでは、使用者の瞳の位置を検出するために複雑な光学機構が必要になり、どうしても小型化、軽量化には限界が生じてしまう。例えば、特許文献１では、プリズム体の大きさがネックになって、小型化、軽量化が図りづらい。

本発明は、上記の問題に鑑み、使用者の視線方向を検出する機能を有しながらも、従来より小型化、軽量化を実現した表示装置を提供することを主たる課題とする。

以上の課題を解決する本発明の表示装置は、外界像及び使用者の眼の画像をそれぞれ撮像装置に導くとともに、所定の表示機構に表示された画像を前記使用者の眼に導くための光学機構と、前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像を重ねた重畳画像から、前記使用者の瞳の位置を検出するとともに、検出した前記使用者の瞳の位置に応じて、所定のオブジェクトを表すオブジェクト画像を前記表示機構に表示させる制御手段と、を備えている。前記光学機構は、反射角及び屈折角が適宜決められた複数のホログラムシートの組み合わせを少なくとも一部に含んで構成されている。

本発明の表示装置は、光学機構を複数のホログラムシートの組み合わせにより実現している。そのために、光学機構に従来のプリズム体のような大きいサイズの構成部品を用いる必要が無く、小型化、軽量化が可能になる。

本発明の表示装置において、前記制御手段は、例えば、前記外界像に特定の物体の画像が含まれる場合に、その画像及び位置を検出して、当該物体に応じたオブジェクトを表すオブジェクト画像を当該物体の位置に応じて、前記表示機構に表示させるように構成されていてもよい。

本発明の表示装置において、前記制御手段は、例えば、前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像をそれぞれ記憶する画像メモリと、前記画像メモリから前記外界像及び前記使用者の眼の画像を取得して前記重畳画像を生成し、この重畳画像から前記使用者の瞳の画像及び前記外界像に含まれる前記特定の物体の画像をそれぞれの位置座標とともに検出する画像処理部と、前記画像処理部で検出された前記使用者の瞳の画像及びその位置座標から前記所定のオブジェクトを表すオブジェクト画像をその表示位置とともに決定するとともに、前記特定の物体の画像及びその位置座標から当該物体に応じたオブジェクトを表すオブジェクト画像をその表示位置とともに決定する画像生成部と、を備える。また、前記制御手段は、前記使用者の眼の画像が検出されない場合に、所定の処理を行うコマンド処理手段を更に備えていてもよい。

本発明の表示装置は、光学シースルー方式のヘッドマウントディスプレイの場合に、使用時に前記使用者の眼の前に位置するシースルー部材を更に備える。この場合、前記光学機構は、前記シースルー部材に取り付けられて、前記シースルー部材を介して、前記外界像を前記撮像装置の他に前記使用者の眼にも導くようになっている。ビデオシースルー方式のヘッドマウントディスプレイの場合には、前記制御手段が、前記表示機構に、前記オブジェクト画像とともに前記外界像を表示する。

本発明の画像処理方法は、外界像及び使用者の眼の画像をそれぞれ撮像装置に導くとともに、所定の表示機構に表示された画像を前記使用者の眼に導くための光学機構と、前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像に応じて、所定のオブジェクトを表すオブジェクト画像を前記表示機構に表示させる制御装置と、を備えており、前記光学機構が、反射角及び屈折角が適宜決められた複数のホログラムシートの組み合わせを少なくとも一部に含んで構成されている、表示装置により実行される。この画像処理方法では、前記制御装置が、前記外界像及び前記使用者の眼の画像をそれぞれ所定の画像メモリに記憶する段階と、前記画像メモリから前記外界像及び前記使用者の眼の画像を取得して前記重畳画像を生成し、この重畳画像から前記使用者の瞳の画像を前記外界像における視線の位置とともに検出する画像処理部と、前記画像処理部で検出された前記使用者の瞳の画像及び視線の位置により、前記所定のオブジェクトを表すオブジェクト画像をその表示位置とともに決定する段階と、を含む。

本発明のコンピュータプログラムは、外界像及び使用者の眼の画像をそれぞれ撮像装置に導くとともに、所定の表示機構に表示された画像を前記使用者の眼に導くための光学機構と、前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像に応じて、所定のオブジェクトを表すオブジェクト画像を前記表示機構に表示させるプロセッサと、を備えており、前記光学機構が、反射角及び屈折角が適宜決められた複数のホログラムシートの組み合わせを少なくとも一部に含んで構成されている、コンピュータシステムの前記プロセッサに、前記外界像及び前記使用者の眼の画像をそれぞれ所定の画像メモリに記憶させる処理、前記画像メモリから前記外界像及び前記使用者の眼の画像を取得して前記重畳画像を生成し、この重畳画像から前記使用者の瞳の画像を前記外界像における視線の位置とともに検出する処理、前記画像処理部で検出された前記使用者の瞳の画像及び視線の位置により、前記所定のオブジェクトを表すオブジェクト画像をその表示位置とともに決定する処理、を実行させるためのコンピュータプログラムである。

以上のような本発明の表示装置は、光学機構をホログラムシートの組み合わせで実現することで、従来よりも、小型で軽量の表示装置を実現することができる。

以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の表示装置の一実施形態であるＨＭＤ１を、使用者Ｕが装着した場合の外観図である。図１（ａ）は、使用者Ｕを横から見た場合の外観図であり、図１（ｂ）は使用者Ｕを頭上から見た場合の外観図である。
ＨＭＤ１は、外観がメガネ形状であり、使用者Ｕは、メガネと同様にツルを耳にかけて使用することになる。ＨＭＤ１は、撮像装置１０と、ＬＣＯＳ（Liquid Crystal On Silicon）などで構成される表示機構２０と、外界像及び使用者Ｕの眼の画像を撮像装置１０に導くとともに表示機構２０に表示される画像を使用者Ｕの眼に導くための光学機構３０と、制御装置４０とを備えている。光学機構３０は、ホログラムシートの組み合わせで構成されている。光学機構３０は、メガネのレンズに相当するシースルー部材Ｌに取り付けられる。撮像装置１０、表示機構２０、及び制御装置４０は、ツルに内蔵される。

外界像は、使用者Ｕの眼に直接導かれる他に、光学機構３０及びシースルー部材Ｌを介して撮像装置１０に導かれる。使用者Ｕの眼の画像は、光学機構３０及びシースルー部材Ｌを介して撮像装置１０に導かれる。撮像装置１０は、光学機構３０及びシースルー部材Ｌにより導かれた外界像を表す画像データ（以下、「外界像データ」という。）及び使用者Ｕの眼の画像を表す画像データ（以下、「眼画像データ」という。）を、制御装置４０へ送る。制御装置４０は、外界像データ及び眼画像データに応じて、所定のオブジェクトの画像（以下、「オブジェクト画像」という。）を表示機構２０に表示させる。オブジェクト画像は、光学機構３０及びシースルー部材Ｌを介して使用者Ｕの眼に導かれる。
ＨＭＤ１により、使用者Ｕの眼には、外界像とオブジェクト画像とが導かれることになる。そのために使用者Ｕは、外界像とオブジェクト画像とが合成された画像を視認することができる。

図２は、外界像及び使用者Ｕの眼の画像が、撮像装置１０で撮像されるための光路を説明する図である。図２は、操作者の右目を例としているが、左目についても同様の構成である。光学機構３０は、前述の通りホログラムシートを組み合わせて構成される。図２では、６枚のホログラムシート３０１〜３０６により光学機構３０が形成されるが、ホログラムシート３０１〜３０６の数はこれに限定されるものではない。
各ホログラムシート３０１〜３０６は、少なくとも外界から使用者Ｕの眼の方向へは可視光を通し、使用者Ｕの眼側の面の反射角が適宜決められている。また、ホログラムシート３０１〜３０３の屈折角が適宜決められている。

外界像は、１点破線で示されるように、ホログラムシート３０１を通過した後に、ホログラムシート３０２により光路が屈折する。ホログラムシート３０２では、外界像が、屈折する他に、図示はしていないが通過して使用者Ｕの眼にも導かれる。そのために、ホログラムシート３０２により、撮像装置１０側に導かれる外界像の光量が減少する。ホログラムシート３０２で光路が屈折した外界像は、シースルー部材Ｌの使用者Ｕ側の面で反射してツルの方へ導かれる。その後、外界像はホログラムシート３０５で反射され、ハーフミラー６０を通過して撮像装置１０に入力される。
使用者Ｕの眼の画像は、２点破線で示されるように、ホログラムシート３０３、シースルー部材Ｌの使用者Ｕ側の面、及びホログラムシート３０６で反射されて、ハーフミラー６０を介して撮像装置１０に入力される。

光学機構３０により、撮像装置１０には、例えば図３に例示するような画像が入力される。図３の例では、外界像と使用者Ｕの眼の画像とが、撮像装置１０の撮像面の異なる領域で撮像される。

図４は、表示機構２０に表示されたオブジェクト画像が使用者Ｕの眼に導かれる光路を説明するための図である。表示機構２０に表示されたオブジェクト画像は、破線で示されるように、ハーフミラー６０で反射された後に、ホログラムシート３０４、シースルー部材Ｌの使用者Ｕ側の面、及びホログラムシート３０１で反射されて、使用者Ｕの眼に導かれる。使用者Ｕの眼には、実線で示されるように、外界像も入る。
そのために、使用者Ｕは、外界像とオブジェクト画像との合成画像を視認することができる。

撮像装置１０で撮像された外界像と眼の画像とは、外界像データと眼画像データとして撮像装置１０から制御装置４０に送られる。撮像装置１０は、例えばビデオカメラであり、動画像の撮像を行うものである。そのために、外界像データ及び眼画像データは、１フレーム毎に連続して制御装置４０に送られる。

図５は、制御装置４０の構成図である。制御装置４０は、撮像装置１０と表示機構２０とに接続されている。制御装置４０は、撮像装置１０から入力される外界像データ及び眼画像データにより、所望のオブジェクトのオブジェクト画像及び当該オブジェクト画像の表示位置を決める。オブジェクト画像及びその表示位置は、オブジェクト画像データとして表示機構２０に送られる。
制御装置４０は、入出力制御部４１、画像メモリ４２、画像処理部４３、画像生成部４４、オブジェクト記憶部４５、及びコマンド処理部４６を備えている。これらの各構成要素は、ハードウェアとして備えてもよいが、汎用のプロセッサにより本発明のコンピュータプログラムを実行することで実現してもよい。

入出力制御部４１は、撮像装置１０からの外界像データ及び眼画像データの入力を受け付けるとともに、表示機構２０にオブジェクト画像データを送るためのインタフェース制御を行う。

画像メモリ４２は、入出力制御部４１で入力を受け付けた外界像データ及び眼画像データを１フレーム毎に記憶する。画像メモリ４２は、少なくとも眼画像データ及び外界像データの最新のフレームの画像を記憶するための記憶容量を必要とする。

画像処理部４３は、画像メモリ４２から最新のフレームの眼画像データ及び外界像データを取得してこれらを重ねた画像（以下、「重畳画像」という。）を生成する。画像処理部４３は、生成した重畳画像から、既知のパターンマッチングなどの画像検出技術、例えば、特開２００７−２１３６２３号公報に記載の発明を用いることで、使用者Ｕの瞳の画像、外界像に含まれる特定の物体の画像などを検出する。画像処理部４３は、検出したこれらの画像の位置座標をそれぞれ検出する。例えば、瞳の画像から瞳の位置座標（例えば、瞳の中心の位置座標）を検出する。検出された瞳の画像の位置座標及び特定の物体の位置座標は、それらが何の画像についてのものであるかを表すデータとともに画像生成部４４へ送られる。なお、画像処理部４３は、瞳の画像が検出されない場合に、その旨を表すデータをコマンド処理部４６へ送る。

画像生成部４４は、画像処理部４３で検出された位置座標及びその位置座標が何の画像についてのものであるかを表すデータに応じて、オブジェクト画像及びオブジェクトの表示位置を決定する。画像生成部４４は、複数のオブジェクト画像を記憶するためのオブジェクト記憶部４５に接続されており、位置座標が何の画像についてのものであるかを表すデータに応じて、表示するオブジェクト画像をオブジェクト記憶部４５から読み出す。オブジェクト記憶部４５は、画像生成部４４に内蔵されていてもよい。
画像生成部４４は、例えば、瞳の画像の位置座標から、カーソル画像の表示位置を当該位置座標に応じて決定し、特定の物体の位置座標から、所定のキャラクタ画像の表示位置を当該位置座標に応じて決定する。画像生成部４４は、決定したオブジェクト画像及びオブジェクトの表示位置を表すオブジェクト画像データを生成して、これを入出力制御部４１を介して表示機構２０に送る。

コマンド処理部４６は、瞳の画像が検出されない旨を表すデータが画像処理部４３から入力されると、所定のコマンドによる処理を実行する。所定のコマンドによる処理とは、例えば、オブジェクト画像の色や形状の変化、通常のマウスによるクリック操作と同じ処理である。

表示機構２０は、オブジェクト画像データで表される表示位置にオブジェクト画像を表示する。表示機構２０に表示されるオブジェクト画像は、上述の通り、光学機構３０を介して使用者Ｕの眼に導かれる。

瞳の画像の位置座標を検出するに先立ち、キャリブレーションを行うことで、瞳の画像の位置座標の基準点を決める。この場合、表示機構２０には、図６に示すキャリブレーション用の表示画像（以下、「キャリブレーション用画像」）が表示される。キャリブレーション用画像は、例えば、ＨＭＤ１の使用開始時に初期状態として表示装置２０に表示される。キャリブレーション用画像は、表示機構２０の表示画面の四隅及び中心にマーカポイント４７を備える。使用者Ｕがキャリブレーション用画像の中心のマーカポイント４７に視線を合わせ、図示しないスイッチを操作することで、キャリブレーションが行われる。また、スイッチを用いずに、例えばまばたきにより瞳画像が検出されない状態にすることで、コマンド処理部４６によりキャリブレーションを行うようにしてもよい。

図７は、画像処理部４３で行われる瞳の画像の位置座標の検出を説明するための図である。キャリブレーション時の瞳の画像の位置を点線で表す。図７では、瞳の画像は、キャリブレーション時よりも右上に視線が移動している。画像処理部４３は、キャリブレーション時の瞳の位置を原点として、移動した瞳の画像の位置座標を検出する。

図８は、使用者Ｕが視認する合成画像の例示図である。表示機構２０には、瞳の画像の位置に応じて表示されるカーソル画像４８とカード４９の画像の位置に応じて表示されるキャラクタ画像５０とが表示される。画像処理部４３は、カード４９の形状、模様などにより、２枚のカード４９を識別可能である。そのために画像生成部４４は、各カード４９に応じて別のキャラクタ画像５０を表示可能である。使用者Ｕは、外界像によりカードを視認するとともに、表示機構２０によりカーソル画像４８及びキャラクタ画像５０を視認する。

図８の合成画像において、使用者Ｕが、例えば人物のキャラクタ画像５０の頭部に視線を合わせると、画像処理部４３ではこのときの瞳の画像の位置を検出して、使用者Ｕの視線の位置にカーソル画像４８を表示する。使用者Ｕが視線を別の場所に移すと、カーソル画像４８は視線の移動に追随して移動する。使用者Ｕがまばたきをすると、瞳の画像が検出されないために、制御装置４０は、コマンド処理部４６により、例えばポップアップメニューが開いたり、キャラクタ画像５０の表示を変化させるなどの処理を行うことができる。つまり、瞳の画像をインタフェースとして用いることができる。

このように、本実施形態のＨＭＤ１は、ホログラムシート３０１〜３０６を光学機構３０に用いることにより、ＨＭＤ１全体の小型化、軽量化を実現している。また、使用者Ｕの眼の位置などの使用者Ｕの状態を検出することができる。そのために、使用者Ｕの状態を入力として用いることができる。
このような構成をとる場合、外界と使用者の映像を光学的に異なる位置に結像させ、1つのカメラで両方の画像を撮影することが可能である。さらには左右それぞれに対して、外界、使用者の合計４種類の画像を１つのカメラで撮影しさらに小型化を図ることが可能である。

なお、上記の実施形態ではＨＭＤ１を光学シースルー方式として説明したが、ビデオシースルー方式であってもよい。ビデオシースルー方式の場合、ホログラムシート３０１〜３０６を通過して使用者Ｕの眼に直接導かれる外界像が無くなる。外界像は、撮像装置１０で撮像され、制御装置４０により表示機構２０に、オブジェクト画像とともに表示される。

ＨＭＤを使用者が装着した場合の簡易外観図であり、図１（ａ）は、使用者を横から見た場合の外観図、図１（ｂ）は使用者を頭上から見た場合の外観図である。 外界像及び使用者の眼の画像が撮像装置で撮像されるための光路を説明するための図である。 撮像装置に入力される画像の例示図である。 表示機構に表示されたオブジェクト画像が使用者の眼に導かれる光路を説明するための図である。 制御装置の回路構成図である。 キャリブレーション用の表示画像の例示図である。 瞳の画像の位置座標の検出を説明するための図である。 使用者が視認する合成画像の例示図である。

符号の説明

１…ＨＭＤ、１０…撮像装置、２０…表示機構、３０…光学機構、３０１〜３０６…ホログラムシート、４０…制御装置、４１…入出力制御部、４２…画像メモリ、４３…画像処理部、４４…画像生成部、４５…オブジェクト記憶部、４６…コマンド処理部、４７…マーカポイント、４８…カーソル画像、４９…カード、５０…キャラクタ画像、Ｌ…シースルー部材、Ｕ…使用者

Claims (8)

1. 外界像及び使用者の眼の画像をそれぞれ撮像装置に導くとともに、所定の表示機構に表示された画像を前記使用者の眼に導くための光学機構と、
   前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像を重ねた重畳画像から、前記使用者の瞳の位置を検出するとともに、検出した前記使用者の瞳の位置に応じて、所定のオブジェクトを表すオブジェクト画像を前記表示機構に表示させる制御手段と、を備えており、
   前記光学機構は、反射角及び屈折角が適宜決められた複数のホログラムシートの組み合わせを少なくとも一部に含んで構成されており、
   メガネ形状で、そのツルに前記撮像装置、前記表示機構、前記光学機構、及び前記制御手段が内蔵される、
   表示装置。
2. 前記制御手段は、前記外界像に特定の物体の画像が含まれる場合に、その画像及び位置を検出して、当該物体に応じたオブジェクトを表すオブジェクト画像を当該物体の位置に応じて、前記表示機構に表示させる、
   請求項１記載の表示装置。
3. 前記制御手段は、
   前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像をそれぞれ記憶する画像メモリと、
   前記画像メモリから前記外界像及び前記使用者の眼の画像を取得して前記重畳画像を生成し、この重畳画像から前記使用者の瞳の画像及び前記外界像に含まれる前記特定の物体の画像をそれぞれの位置座標とともに検出する画像処理部と、
   前記画像処理部で検出された前記使用者の瞳の画像及びその位置座標から前記所定のオブジェクトを表すオブジェクト画像をその表示位置とともに決定するとともに、前記特定の物体の画像及びその位置座標から当該物体に応じたオブジェクトを表すオブジェクト画像をその表示位置とともに決定する画像生成部と、を備えている、
   請求項２記載の表示装置。
4. 前記制御手段は、前記使用者の眼の画像が検出されない場合に、所定の処理を行うコマンド処理手段を更に備える、
   請求項３記載の表示装置。
5. 使用時に前記使用者の眼の前に位置するシースルー部材を更に備えており、
   前記光学機構は、前記シースルー部材に取り付けられて、前記シースルー部材を介して、前記外界像を前記撮像装置の他に前記使用者の眼にも導くようになっている、
   請求項１〜４のいずれか１項記載の表示装置。
6. 前記制御手段は、前記表示機構に、前記オブジェクト画像とともに前記外界像を表示するようになっている、
   請求項１〜４のいずれか１項記載の表示装置。
7. 外界像及び使用者の眼の画像をそれぞれ撮像装置に導くとともに、所定の表示機構に表示された画像を前記使用者の眼に導くための光学機構と、前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像に応じて、所定のオブジェクトを表すオブジェクト画像を前記表示機構に表示させる制御装置と、を備えており、前記光学機構が、反射角及び屈折角が適宜決められた複数のホログラムシートの組み合わせを少なくとも一部に含んで構成されており、メガネ形状で、そのツルに前記撮像装置、前記表示機構、前記光学機構、及び前記制御装置が内蔵される表示装置により実行される方法であって、
   前記制御装置が、
   前記外界像及び前記使用者の眼の画像をそれぞれ所定の画像メモリに記憶する段階と、
   前記画像メモリから前記外界像及び前記使用者の眼の画像を取得して前記重畳画像を生成し、この重畳画像から前記使用者の瞳の画像を前記外界像における視線の位置とともに検出する画像処理部と、
   前記画像処理部で検出された前記使用者の瞳の画像及び視線の位置により、前記所定のオブジェクトを表すオブジェクト画像をその表示位置とともに決定する段階と、を含む、
   画像処理方法。
8. 外界像及び使用者の眼の画像をそれぞれ撮像装置に導くとともに、所定の表示機構に表示された画像を前記使用者の眼に導くための光学機構と、前記撮像装置で撮像された前記外界像及び前記使用者の眼の画像に応じて、所定のオブジェクトを表すオブジェクト画像を前記表示機構に表示させるプロセッサと、を備えており、前記光学機構が、反射角及び屈折角が適宜決められた複数のホログラムシートの組み合わせを少なくとも一部に含んで構成されており、メガネ形状で、そのツルに前記撮像装置、前記表示機構、前記光学機構、及び前記プロセッサが内蔵されるコンピュータシステムの前記プロセッサに、
   前記外界像及び前記使用者の眼の画像をそれぞれ所定の画像メモリに記憶させる処理、
   前記画像メモリから前記外界像及び前記使用者の眼の画像を取得して前記重畳画像を生成し、この重畳画像から前記使用者の瞳の画像を前記外界像における視線の位置とともに検出する処理、
   前記画像処理部で検出された前記使用者の瞳の画像及び視線の位置により、前記所定のオブジェクトを表すオブジェクト画像をその表示位置とともに決定する処理、
   を実行させるためのコンピュータプログラム。

Images