JP7443819B2 - 画像表示装置、画像表示方法、および画像表示プログラム - Google Patents

Description

本開示は、仮想的な入力を可能とする画像表示技術に関する。

キーボードやマウス、タッチパネルといった現実の入力デバイスに代えて、仮想的な入力デバイスを表示し、これに対して入力作業を可能にする仕組みが種々提案されている。例えば、下記特許文献１には、ジェスチャーにより手書き文字や図形を入力する情報処理装置が開示されている。この情報処理装置では、描画できるペンオンの状態とペンオフの状態とを切り替える必要があることから、ペン入力操作を行なう指やペンなどの操作対象までの距離を、超音波やカメラの自動焦点の技術を用いて測定し、操作対象までの距離が所定の条件を満たすかを判別して、ペンのオン・オフを切り替え、その状態を表示している。

特開２０１５－２２５３７４号公報

しかしながら、特許文献１の技術では、超音波の送受信時間の測定やカメラの自動焦点の技術による測距を行なうため、特別な機材が必要となったり、処理にかなりの時間を要し、操作対象の動きに対して、タイムラグが生じてしまったりする等の問題があった。

本開示は、以下の形態又は適用例として実現することが可能である。本開示の第１の態
様は、画像表示装置としての態様である。この画像表示装置は、外景の少なくとも一部を
表示領域として画像を表示する画像表示部と前記表示領域を含む領域を、撮像画像として
撮像する撮像部と前記撮像画像から、操作対象を、前記操作対象の色の領域として抽出す
る抽出部と前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変
更する描画モード変更部と前記変更された描画モードに従って、前記画像表示部における
画像表示を制御する制御部と、を備え、前記描画モード変更部は、前記操作対象の色の範
囲の大きさが、予め定めた面積範囲である第１範囲に入っている場合は描画可能な第１モ
ードに、前記第１範囲に入っていない場合には、描画可能でない第２モードに、前記描画
モードを変更し、前記制御部は、前記第１モードでは、前記操作対象の動きに応じて描画
を行ない、前記第２モードでは、前記描画を行なわず、前記操作対象は、使用者の手指で
あり、前記予め定めた面積範囲は、使用者の体型によって異なる。

また、本開示の第２の態様は、外景の少なくとも一部を表示領域として描画を行なう画像表示方法としての態様である。この画像表示方法は、前記表示領域を含む領域を撮像し、前記領域を撮像した撮像画像から、操作対象を、前記操作対象の色の領域として抽出し、前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更し、前記変更された描画モードに従って、前記表示領域における画像表示を制御する。

更に、本開示の第３の態様は、コンビューターにより実行される画像表示プログラムとしての態様である。この画像表示プログラムは、外景の少なくとも一部を表示領域とし、表示領域を含む領域を撮像する機能と、前記領域を撮像した撮像画像から、操作対象を、前記操作対象の色の領域として抽出する機能と、前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更する機能と、前記変更された描画モードに従って、前記表示領域における画像表示を制御する機能と、をコンピューターにより実現する。

実施形態における表示システムとしてのＨＭＤの外観構成を示す説明図。 画像表示部が備える光学系の構成を示す要部平面図。 表示装置の信号処理回路の構成を示す概略構成図。 第１実施形態において、制御装置が実行する描画処理ルーチンを示すフローチャート。 初期表示の一例を示す説明図。 ツール選択処理ルーチンを示すフローチャート。 距離によって見える大きさが異なる様子を示す説明図。 操作対象が認識されていない場合の描画ツールの表示例を示す説明図。 描画モードサイズの一例を示す説明図。 操作対象の認識サイズが認識中モード２のサイズになった場合の描画ツールの表示例を示す説明図。 操作対象の認識サイズが描画モードのサイズになった場合の描画ツールの表示例を示す説明図。 操作対象を用いた描画の様子を示す説明図。 描画中に、操作対象の認識サイズが認識中モードのサイズ２になった場合の表示例を示す説明図。 第２実施形態の概略構成図。 描画中に、操作対象の認識サイズが認識中モードのサイズ１になった場合の表示例を示す説明図。 操作対象のサイズが描画モードのサイズから逸脱した際のガイダンスの表示例を示す説明図。 手を認識していない場合のガイダンスの表示の一例を示す説明図。 描画モード中に、操作対象の認識サイズが描画モードの上下限値に近づいた場合の表示例を示す説明図。 使用者の手にシールを貼って認識させる場合を示す説明図。

Ａ．第１実施形態：
Ａ－１．ＨＭＤの全体構成：
図１は、第１実施形態における表示システムとしてのＨＭＤ（頭部装着型表示装置、Head Mounted Display）１００の外観構成を示す図である。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる表示装置としての画像表示部２０と、画像表示部２０に表示する画像を生成する制御装置７０と、を備える。画像表示部２０は、画像表示以外にも、撮像部として働くビデオカメラや６軸センサーなどを搭載しているので、画像表示部２０のうち、特に画像表示を行なっている部分を、第１表示部と呼ぶ。第１表示部については、後で説明する。他方、制御装置７０は、画像表示部２０と信号をやり取りして、センサーの値を読み込んだり、画像表示部２０に画像を表示させるために必要な処理を行なう。制御装置７０は、タッチパネル機能を有するディスプレイ７３を備える。

この制御装置７０は、後述するように、描画を行なうための各機能を実現する。従って、制御装置７０は、抽出部、描画モード変更部、制御部として働く。このＨＭＤ１００を装着した使用者は、第１表示部に表示される画像を視認しつつ、描画などの操作を行なうことができる。その際、制御装置７０は、画像表示部２０と協働し、操作対象の動きを認識して、描画を実現する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズムやホログラム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって虚像を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、表示システムであるＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

画像表示部２０には、上述した画像表示に関する部材の他、撮像部として働くビデオカメラ６１Ｒ，６１Ｌ、内側カメラ６２、照度センサー６５、６軸センサー６６、インジケーター６７が設けられている。２台のビデオカメラ６１Ｒ，６１Ｌは、画像表示部２０の前部フレーム２７の上側に配置されている。２台のビデオカメラ６１Ｒ，６１Ｌは、本実施形態では、使用者のほぼ両眼に対応する位置に設けられているが、ビデオカメラ６１Ｒ，６１Ｌは、どこに設けられていてもよく、前部フレーム２７の端部ＥＲ，ＥＬにそれぞれ配置されていてもよい。

ビデオカメラ６１Ｒ，６１Ｌは、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。ビデオカメラ６１Ｒ，６１Ｌは、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。ビデオカメラ６１Ｒ，６１Ｌは、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。本実施形態では、ビデオカメラ６１Ｒ，６１Ｌの画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。ビデオカメラ６１Ｒ，６１Ｌの画角の広さを適宜設定可能な光学系を設けてもよい。また、本実施形態では、撮像部であるビデオカメラ６１Ｒを用いた操作対象までの距離の認識は、二つのビデオカメラ６１Ｒ，６１Ｌが撮像した画像の視差を用いないので、ビデオカメラは、単眼、つまりビデオカメラ６１Ｌはなくてもよい。単眼とすれば、ビデオカメラを一つにでき、装置構成を簡略化できる。また、撮像に関するソフトウェアも簡略化できる。単眼の場合、ビデオカメラ６１Ｒは、画像表示部２０の中央部に設けてもよい。

内側カメラ６２は、ビデオカメラ６１Ｒ，６１Ｌと同様に、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。内側カメラ６２は、ＨＭＤ１００の内側方向、換言すれば、画像表示部２０の装着状態における使用者と対向する方向を撮像する。本実施形態の内側カメラ６２は、使用者の右眼を撮像するための内側カメラと、左眼を撮像するための内側カメラと、を含んでいる。本実施形態では、内側カメラ６２の画角の広さは、使用者の右眼または左眼の全体を撮像可能な範囲に設定される。内側カメラ６２は、使用者の眼球、特に瞳孔の位置を検出し、両眼の瞳孔の位置から、使用者の視線の方向を算出するのに用いられる。もとより、内側カメラ６２は、画角の広さを適宜設定可能な光学系を設けてもよく、使用者の瞳孔のみならず、更に広い領域を撮像することで、使用者の表情などを読取るのに用いてもよい。なお、内側カメラ６２は設けなくてもよい。

照度センサー６５は、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、前部フレーム２７の端部ＥＲに配置される。ＬＥＤインジケーター６７は、ビデオカメラ６１Ｒ，６１Ｌによる撮像を実行中に点灯して、撮像中であることを報知する。

６軸センサー６６は、加速度センサーであり、使用者の頭部のＸＹＺ方向（３軸）の移動量と、使用者頭部のＸＹＺ方向に対する傾き（３軸）を検出する。ＸＹＺ方向は、Ｚ方向が重力方向に沿った方向であり、Ｘ方向は、使用者の後から前に向かう方向、Ｙ方向が使用者の左から右に向かう方向である。また、頭部の傾きは、ＸＹＺ方向の各軸（Ｘ軸，Ｙ軸，Ｚ軸）の周りの角度である。６軸センサー６６からの信号を積分することで、初期位置からの使用者頭部の移動量と角度を知ることができる。

画像表示部２０は、接続ケーブル４０により、制御装置７０と接続されている。接続ケーブル４０は、左保持部２３の先端から引き出され、中継コネクター４６を介して、制御装置７０に設けられたコネクター７７に着脱可能に接続される。接続ケーブル４０には、ヘッドセット３０が含まれる。ヘッドセット３０は、マイク６３と使用者の左右の耳に装着される右イヤホン３２および左イヤホン３４が含まれる。ヘッドセット３０は、中継コネクター４６に接続されて、接続ケーブル４０に一体化される。

制御装置７０から画像を表示するための信号が、接続ケーブル４０を介して画像表示部２０に出力されると、画像表示部２０は、右表示ユニット２２および左表示ユニット２４を用いて画像を形成する。使用者に画像を認識させる光学的な構成について説明する。図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図示するように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに虚像を視認させる構成として、右画像表示部としての右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル（以下、単にＯＬＥＤと略記する）２２３と、ＯＬＥＤ２２３を駆動するＯＬＥＤ駆動回路（以下、単にＲ－ＣＰＬＤと略記する）２２５とを有する。ＯＬＥＤ２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤ２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

Ｒ－ＣＰＬＤ２２５は、制御装置７０から送られる信号に従って、ＯＬＥＤ２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。Ｒ－ＣＰＬＤ２２５は、ＯＬＥＤ２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。Ｒ－ＣＰＬＤ２２５は、例えばＯＬＥＤ２２３を駆動する半導体デバイスで構成され、ＯＬＥＤ２２３の裏面に固定される基板に実装されてもよい。なお、ＯＬＥＤ２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤ２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤ２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に虚像を視認させる。

左眼ＬＥに虚像を視認させる構成として、左画像表示部としての左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤ２４３と、ＯＬＥＤ２４３を駆動するＬ－ＣＰＬＤ２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤ２２３、Ｒ－ＣＰＬＤ２２５と同じである。左光学系２５２の詳細は右光学系２５１と同じである。

以上、図２を用いて説明したように、画像表示部２０は、使用者の右左眼に画像光Ｌを導く光学系と、外光ＯＬを導く光学系とを備える。このため、使用者の右左眼に画像光Ｌを導いて虚像を視認させる光学系を、以下の説明では、単に画像表示部２００と呼ぶ。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる虚像が視認される。つまり、ＨＭＤ１００の画像表示部２０は、外景を透過することで使用者に対して虚像に加え外景を視認させる。

ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

Ａ－２．制御装置７０の構成：
次に、画像表示部２０に各種信号を出力する制御装置７０の構成について説明する。図３は、制御装置７０および画像表示部２０の内部構成を示すブロック図である。制御装置７０は、既述したディスプレイ７３に加えて、通信部７５、ＣＰＵ８０、タッチパネルドライバー７６、ディスプレイドライバー７８、入出力インターフェース（以下、単に入出力Ｉ／Ｆと略記する）７９等を備える。なお、７０の駆動電力は図視しないバッテリーから各部に供給される。

ディスプレイ７３は、画像をフルカラーで表示する表示部７１と、表示部７１を使用者が指先等で触ったときに、その位置と強さを検出するタッチパネル７２とを備える。この表示部７１は、ＣＰＵ８０からの信号を受けたディスプレイドライバー７８により駆動される。また、タッチパネル７２は、タッチパネルドライバー７６に接続されており、タッチパネルドライバー７６による駆動信号を受けて、ディスプレイ７３におけるタッチ位置の検出をダイナミックに行ない、検出したタッチ位置と強さをタッチパネルドライバー７６を介してＣＰＵ８０に出力する。

通信部７５は、携帯端末１１０と通信して、画像や音声を含む映像信号を受け取る。通信方式としては、ＷｉＦｉ（登録商標）やBluetooth（登録商標）などどのようなものでも差し支えない。また、有線により携帯端末１１０から映像信号を受け取るようにしてもよい。なお、ＨＭＤ１００は、携帯端末１１０とやり取りする機能を有しなくてもよい。制御装置７０に設けられた入出力Ｉ／Ｆ７９は、いわゆるＴｙｐｅ－Ｃの規格に準拠したコネクター形状およびシリアル通信によりデータの入出力が可能である。

これら各部を統御するＣＰＵ８０は、内部にメモリー８５を備え、このメモリー８５に記憶したプログラムを実行することにより、オペレーティングシステム（以下、単にＯＳと略記する）８１や、入力イベント検出部８２などの機能を実現する。本実施形態で用いるＯＳ８１は、携帯端末１１０などで用いられ汎用のＯＳと基本機能を同一としている。相違点は、ビデオカメラ６１Ｒ，６１Ｌを用いて外景を撮像する機能や、内側カメラ６２を用いて視線を検出する機能、画像表示部２００と共にディスプレイ７３に画像を表示する機能などが拡張されていることである。従って、ＯＳ８１用に作られたアプリケーションプログラムを、そのまま、あるいは僅かな修正により、制御装置７０で実行することができる。こうしたアプリケーションプログラムとしては、ゲームや、各種の作業支援を行なうアプリケーションプログラム等が考えられる。これらを対象アプリ８３と呼ぶ。また、本実施形態では、対象アプリ８３とは別に、各種の入力方法を提供するユーザーインタフェース支援アプリケーションプログラム（以下、単にＵＩアプリと呼ぶ）８４を、対象アプリ８３と同時に実行可能である。

ＣＰＵ８０は、ＯＳ８１の管理の下で、画像表示部２００に表示させようとする画像を、入出力Ｉ／Ｆ７９を介して、画像表示部２０に出力する。こうした映像信号の入出力と共に、ＣＰＵ８０は、ディスプレイ７３を入力部として扱い、入力に必要なボタンやキー、あるいはフィールドなどの画像を、ディスプレイドライバー７８を介して表示部７１に表示させ、この表示に応じた使用者のタッチパネル７２へのタッチの位置と強さを、タッチパネルドライバー７６を介して入力する。タッチパネルドライバー７６が検出したタッチの位置と強さは、入力イベント検出部８２に入力され、ＵＩアプリ８４から受け取った入力用のユーザーインタフェースの状況と照合され、ＯＳ８１により解釈されて、対象アプリ８３に出力される。

対象アプリ８３が描画を行なう描画アプリケーションプログラムの場合、ＣＰＵ８０は、プログラムを実行することにより、描画のための操作対象（例えば手など）の色の領域を抽出する抽出部や、操作対象による描画モードを変更する描画モード変更部や、画像表示部２００における画像表示を制御する制御部として機能する。描画アプリケーションプログラムが動作した場合のこれら各部の働きについては、後で詳しく説明する。

画像表示部２０は、図３下段に示した様に、大きくはベーシックボード３５、光学モジュールボード３６、カメラモジュールボード３７から構成されている。ベーシックボード３５は、制御装置７０の入出力Ｉ／Ｆ７９との間で映像信号のやり取りを行なうインターフェース部（以下、単にＩ／Ｆ部という）９１，Ｉ／Ｆ部９１との間で信号を分離し仲介するＨＵＢ９２、ＨＵＢ９２からの信号の一方を取り込んで動作するＭＣＵ９４、ＭＣＵ９４による処理により映像信号を処理し、光学モジュールボード３６に出力するディスプレイブリッジ９３を搭載している。

ＨＵＢ９２からのもう一つの信号線は、カメラモジュールボード３７に接続され、カメラモジュールボード３７に搭載されたビデオカメラ６１Ｒ，６１Ｌおよび内側カメラ６２からの映像信号を、ＨＵＢ９２およびＩ／Ｆ部９１を介して制御装置７０に出力するのに用いられている。ＣＰＵ８０は、ビデオカメラ６１Ｒ，６１Ｌからの映像を解析し、描画のために必要な情報を取得するといった処理も可能である。

光学モジュールボード３６は、ＦＰＧＡ９５と、既述したＲ－ＣＰＬＤ２２５，Ｌ－ＣＰＬＤ２４５と、６軸センサー６６とを搭載している。ＦＰＧＡ９５は、ベーシックボード３５のディスプレイブリッジ９３と接続され、ディスプレイブリッジ９３から受け取った映像信号を、右眼用と左眼用の映像信号に分離し、更にＲＧＢの信号に変換する。Ｒ－ＣＰＬＤ２２５，Ｌ－ＣＰＬＤ２４５は、このＦＰＧＡ９５からの信号に従って、ＯＬＥＤ２２３，２４３を駆動する。６軸センサー６６は、ベーシックボード３５上のディスプレイブリッジ９３に接続され、２０の姿勢（３軸）と各軸方向への加速度（３軸）を、出力する。

姿勢を示す３軸は、重力方向をＺ軸方向（上下方向）、Ｚ軸方向に直交し画像表示部２０を使用者が装着した状態（図１）での右眼から左眼方向をＹ軸方向（左右方向）、Ｚ軸およびＹ軸に直交する方向をＸ方向（前後方向）とする姿勢である。もとより、人の頭部は、骨格の構造上、頭部を、おおよそＺ軸を中心に右眼側（図１矢印ＲＴ側）に回転させる右側回転姿勢、同じく左眼側（図１矢印ＬＴ側）に回転させる左側回転姿勢、上方側（図１矢印ＵＰ側）に回転させる上方回転姿勢、下方側（図１矢印ＤＷ側）に回転させる下方回転姿勢、の４つを取りやすいことから、６軸センサー６６からの信号を画像表示部２０側で処理し、上記４つの姿勢として出力するように、画像表示部２０を構成しても良い。加速度は、Ｘ，Ｙ，Ｚの各軸方向の加速度である。

Ａ－３．描画の態様：
使用者は、ＨＭＤ１００を頭部に装着した状態で、画像表示部２００を見ながら描画することができる。この手法を、図４に示したフローチャートを参照しつつ説明する。使用者は、まず制御装置７０のディスプレイ７３に表示されたアプリケーションプログラムのアイコンの一つをタップして、描画用の対象アプリ８３を起動する。描画用の対象アプリ８３が起動されると、図４に示した処理が起動され、まず、初期表示処理が行なわれる（ステップＳ１００）。初期表示処理は、描画のための初期表示を行なう処理である。

本実施形態では、初期表示処理により、図５Ａに例示するように、画像表示部２００に、描画のためのツールのアイコンを含むツールバーＴＢが表示される。ツールバーＴＢには、この例では、描画のためのツールとして、ペンツールＰＴ、マーカーＭＴ、消しゴムＥＴ、投げ縄ＳＴに対応するアイコンが表示される。そこで、使用者は、まずツールを選択する。これがツール選択処理（ステップＳ１１０）である。

ツール選択処理（ステップＳ１１０）の詳細を、図５Ｂに示した。ツール選択処理が開始されると、まず入力モードをミラーモードとし、画像表示部２００とディスプレイ７３とに同じものを表示するモードとする。これにより、ディスプレイ７３にも、画像表示部２００と同様に、各種ツールのアイコンを含むツールバーＴＢが表示される。そこで使用者は、ディスプレイ７３上で、いずれかのツールを選択する処理を行なう（ステップＳ１１２）。ディスプレイ７３は、タッチパネル７２が設けられているので、対象アプリ８３は、使用者がいずれのツールのアイコンを選択したかを、イベント検出部８２、ＵＩアプリ８４を介して、認識できる。なお、ツールは、デフォルトでは、特定のツール、例えばペンツールＰＴが選択状態とされていてもよい。また、ツールバーＴＢに表示されるツールは、ペンツールだけでもよく、その場合は選択処理（ステップＳ１２０）を行なわないものとしてもよい。ツールバーＴＢには、他のツール、例えば塗り潰しツールや、ベクトルデータとしての直線や円、あるいは多角形などを描画するツールを含ませてもよい。もとより、ツールの選択は、こうしたツールバーＴＢによる選択に限らず、ポップアップメニューやプルダウンメニューから選択する方法等、各種の手法が採用可能である。あるいは音声認識を利用して、ツールを選択するようにしても差し支えない。

使用者がディスプレイ７３にタッチして、何らかのツールを選択すると、選択されたツールについて判断し（ステップＳ１１３）、選択されたアイコンが、ペンツールＰＴであれば、ペンツールＰＴを選択し、表示する（ステップＳ１１４）。ペンツールＰＴが選択されると、ツールバーＴＢのペンツールのアイコンＰＴが黒く反転して、選択状態にあることを表示する。また、画像表示部２００に、ペンツールＰＴを輪郭線で表示する（図６参照）。

同様に、選択されたツールについての判断（ステップＳ１１３）において、選択されたアイコンが、マーカーＭＴであれば、マーカーＭＴを選択し、表示する（ステップＳ１１５）。マーカーＭＴが選択されると、ツールバーＴＢのマーカーのアイコンＭＴが黒く反転して、選択状態にあることを表示する。また、画像表示部２００に、マーカーＭＴ（図示省略）を表示する。同様に、選択されたツールについての判断（ステップＳ１１３）において、選択されたアイコンが、消しゴムＥＴであれば、消しゴムＥＴを選択し、表示する（ステップＳ１１６）。消しゴムＥＴが選択されると、ツールバーＴＢの消しゴムのアイコンＥＴが黒く反転して、選択状態にあることを表示する。また、画像表示部２００に、消しゴムＥＴを（図示省略）表示する。

これらの処理の後、あるいはステップＳ１１３の判断でツールの変更がないと判断された場合には、「ＮＥＸＴ」に抜けてツール選択処理を終了し、図４のステップＳ１２０に進み、描画モードサイズを取得する。描画モードサイズとは、操作対象の大きさが、描画モードとして扱うことができる大きさであるか否かを決定するサイズである。本実施形態では、操作対象として使用者の手の面積を用いる。手の面積は、手の色の部分の大きさで判断する。手の色として予め定めた色の部分の大きさの判断方法などについては、後で詳しく説明する。またその際に用いる描画モードサイズについても、その際に併せて説明する。

続いて、視野画像を取得する処理を行なう（ステップＳ１３０）。視野画像とは、ビデオカメラ６１Ｒ，６１Ｌが撮像する画像であり、使用者の視野として想定される画像である。視野画像は２つのビデオカメラ６１Ｒ，６１Ｌの画像を合成した画像であってもよいし、２つのビデオカメラ６１Ｒ，６１Ｌの一方の画像であってもよい。ビデオカメラ６１Ｒによる視野画像の撮像のイメージを図５Ｃに示した。ビデオカメラ６１Ｒは、いわゆる無焦点レンズを備え、ビデオカメラ６１Ｒからの距離によらず、一定の範囲についてピントのあった画像を撮像可能である。もとより、オートファーカスの機能を付け、操作対象である手にピントを合わせるようにしてもよい。図５Ｃでは、使用者の右手とビデオカメラ６１Ｒとの離間距離が異なる場合の、撮像された画像における手の大きさの様子を、ビデオカメラ６１Ｒに最も近い画像Ｐｎ、最も遠い画像Ｐｆ、両者の中間の画像Ｐｍの３枚の画像により示した。図示するように、使用者の手の実際の大きさは、いずれの位置でも同一だが、ビデオカメラ６１Ｒによる撮像範囲は、ビデオカメラ６１Ｒから遠いほど広くなるから、撮像された手の大きさは、相対的に小さくなる。このため、ビデオカメラ６１Ｒに最も近い位置で撮像した画像Ｐｎにおいては、手の画像ＨＤｎは最も大きく、最も遠い画像Ｐｆにおいては、手の画像ＨＤｆは最も小さく、両者の中間の画像Ｐｍにおいては、手の画像ＨＤｍは、その中間の大きさとなる。

視野画像を取得した後、取得した画像内の手を認識する処理を行なう（ステップＳ１３５）。手は、いわゆる肌の色として、予め定めた色範囲に入っている画素集合と考えることができる。したがって、予め肌の色の範囲として指定したＲＧＢ値の範囲に入る画素であって、連続した画素を認識することにより、撮像した画像内に手があることを抽出することは容易である。もとより、肌の色の範囲には、個人差があるので、どの色範囲を肌の色の範囲とするかは、調整可能としてもよい。肌の色に対応するとして定めたＲＧＢ値の画素の連続する領域が二つ以上あれば、そのうち一番大きな領域を手として認識する。また、認識した領域の面積が数画素以下など小さければ、手があるという認識は行なわない。

こうして、取得した視野画像から手を認識できた場合には、その手の先端位置を認識する処理を行なう（ステップＳ１４０）。手の先端位置の認識は様々な手法が提案されているが、例えば所定のＲＧＢ値の範囲に入っている領域の重心を求め、重心から最も隔たった位置を手の先端として認識してもよい。また、単純に手の色の領域として認識した領域の左上を手の先端として認識してもよい。利き手による先端位置の違いを考慮して、左上または左下、あるいは右上または右下を先端の候補として取り扱うものとし、どこを手の先端と認識するかを使用者が設定出来るようにしてもよい。あるいは、予め定めた色のシールを手の先端に貼っておき、これを手の先端として認識してもよい。手が認識できていなければ、当然手の先端の認識も行なわれない。

手の先端を認識したら、続いて。手の面積を算出する（ステップＳ１５０）。ここでは、手の面積は、ステップＳ１３５で手として認識した領域の画素数をカウントすることにより求めている。もとより、画素数に代えて、画像表示部２００上の面積として求めてもよい。手の面積を求めると、この面積が先に取得した描画モードサイズ（ステップＳ１２０）に対してどのような関係にあるかを判断する（ステップＳ１６０）。ステップＳ１２０で取得する描画モードサイズの一例を図７に示した。図示した数値は、画素数に対応している。この描画モードサイズは、使用者の体型（サイズ）によって、「Ｓ」「Ｍ」「Ｌ」の３つの段階に分けられている。サイズ「Ｓ」は、小さめの使用者であり、実社会では女性や子供など身長１５５センチ未満が想定されている。サイズ「Ｍ」は、普通の大きさの使用者であり、同様に、中肉中背の男性～大柄な女性であって、身長１５５センチ～１７５センチが想定されている。サイズ「Ｌ」は、大きめの使用者であり、同様に、大柄な男性であって、身長１７５センチ超えが想定されている。なお、この例では、使用者の手のサイズを判断する使用者のサイズとして、「Ｓ」「Ｍ」「Ｌ」の三段階を想定したが、更に細かく分けてもよい。あるいは、使用者を限定して、一つのサイズあるいは二つのサイズのみを用意してもよい。モードサイズは、使用者の手が、描画を行なうことが可能な距離に入っているか否かを判断するための範囲を示している。

本実施形態では、各サイズに対して、認識中モード１、描画モード範囲、認識中モード２の３つの判断基準に用意した。このうち、描画モード範囲は、手の大きさがこの範囲に入っていれば、描画モードとして扱うという範囲、つまり第１範囲である。他方、認識中モード１は、描画モード範囲より手の面積が小さく、手の認識はなされるが、描画モードとしては扱わない範囲である。更に、認識中モード２は、描画モード範囲より手の面積が大きく、手の認識はなされるが、描画モードとしては扱わない範囲である。認識中モード１と認識中モード２とを一括して、認識モードという。

ステップＳ１５０で求めた手の面積が、認識中モード１の下限値より小さいか、あるいは認識中モード２の上限値より大きければ、使用者の手の位置は、描画可能な位置や描画可能な位置の近傍には至っていないとして、何も行なわず、ステップＳ１９０に移行する。ステップＳ１９０では、描画処理の終了が指示されたかを判断し、指示されていなければ、ステップＳ１００に戻って、上述した処理を繰り返す。

ステップＳ１６０において、認識した手の面積が、使用者について設定された認識モードの範囲（図７）に入っていると判断されると、認識中表示を行なう（ステップＳ１７０）。認識中表示の一例を、図８に示した。この例では、ステップＳ１１０の選択処理により選択されて輪郭線で表示されたペンツールＰＴの内部を、認識した手ＨＤの大きさに応じた領域ＲＤだけ塗り潰している。また、ペンツールＰＴは、使用者の手ＨＤ近傍であって、手ＨＤと重ならない位置に表示される。この例では、手ＨＤの形状から使用者が右利きであると判断し、ペンツールＰＴの向きを、ペン先が画像表示部２００において左下方向となるように、かつ手ＨＤの左側に描画している。このようにすることで、仮想的なペンツールＰＴを用いた描画の違和感を低減でき、現実のペンによる描画の感覚に近づけることができる。なお、図８に示した例では、手ＨＤの面積が認識モードの範囲であることを、輪郭線で示されたペンツールＰＴの内部を部分的に塗り潰すことで示したが、ペンツールＰＴの輪郭線の色や線種を変えたり、ツールを点滅させたり、形状を変更したり、「認識中」といったテキストを表示したり、更には音声により認識中モードであって描画モードではないことを提示したり、など他の手法によってもよいことは勿論である。

ステップＳ１６０において、認識した手の面積が、使用者について設定された描画モードサイズ（図７）に入っていると判断されると、描画を行なうモードであること示した上で、描画の処理を行なう（ステップＳ１８０）。具体的には、図９に示したように、ペンツールＰＴの内部を全て塗り潰している。また、ペンツールＰＴは、使用者の手ＨＤ近傍であって、手ＨＤと重ならない位置に表示される。この状態で、使用者が自らの手を動かすと、認識している手の先端の動きをビデオカメラ６１Ｒで認識し、その動きに応じて、ペンツールＰＴを移動し、ペンツールＰＴの先端の軌跡に沿って描線ＰＪを、画像表示部２００に描く。この様子を、図１０に例示した。描画された画像はビットマップデータとして扱ってもよいし、ベジュエ曲線やスプライン曲線などのベクトルデータとして扱ってもよい。これらのデータは、適宜、メモリー８５に保存される。

上述した処理のうち、ステップＳ１５０の処理が、撮像画像から、操作対象を、操作対象の色の領域として抽出する抽出部に相当し、ステップＳ１６０とこれに続く処理（ステップＳ１７０，Ｓ１８０）が、抽出した色の領域の大きさに従って、操作対象、ここでは手による描画モードを変更する描画モード変更部に相当する。なお、この例では、手の色の面積に応じて変更される描画モードは、少なくとも実際に線を描く状態（描画するモード）と、描画するモードに近い状態（認識中であるモード）との２つを区別しているが、３つ以上のモードを用意し、この間で変更するようにしてもよい。３つ以上のモードとしては、例えば仮の描線を描くモードや、描画した線などを消去するモードなど、種々の描画モードを想定することができる。

図９、図１０に示した例では、手ＨＤの面積が描画モードサイズであることは、輪郭線で示されたペンツールＰＴの内部を全て塗り潰すことで示したが、ペンツールＰＴの輪郭線の色や線種を変えたり、ツールを点滅させたり、形状を変更したり、「描画中」といったテキストを表示したり、更には音声により描画モードであることとを提示したり、など他の手法によってもよいことは勿論である。

このように手ＨＤの面積が描画モードサイズに入っていれば、ペンツールＰＴを塗り潰した画像として表示し、手ＨＤの動きに応じた描画を行なう描画モードに切り替える。描画を続けているうちに、使用者が手ＨＤの位置を使用者に近づけ過ぎたり（認識中モード２）、あるいは遠ざけ過ぎたり（認識中モード１）した場合には、ステップＳ１６０での判断は変更され、図１１に例示したように、ペンツールＰＴは一部が塗り潰された画像表示に変更され、指先の動きに従う描画も中止される。ペンツールＰＴの一部を塗り潰す表示の場合、塗り潰す範囲は、描画モードサイズに対して、検出した手ＨＤの面積がどの程度相違しているか、によって変更してもよい。つまり、第２モードに相当する認識モードにおいて、操作対象である手の色の領域の大きさを、描画モードサイズである第１範囲に対してどの程度相違しているかにより複数の段階に分けて認識し、第２モードにおける第２態様の表示、つまりツールの塗りつぶしの範囲を、認識した段階により異ならせて表示する。段階は、例えば画素数が、１０％異なる度に、塗り潰す面積を１０％ずつ変更するといったようにしてもよい。もちろん２段階程度であってもよい。

こうして、使用者の手ＨＤが、画像表示部２０を頭部に装着した使用者の視野に入ってくると、その手ＨＤの画像表示部２００内での大きさを認識することで、画像表示部２０から手ＨＤまでの距離を認識し、手ＨＤまでの距離が認識モードの距離範囲に入っていればこれをペンツールＰＴの一部を塗り潰した状態の画像表示とし、手ＨＤの面積が描画モードサイズに入っていれば、ペンツールＰＴの全部を塗り潰した状態の画像表示に変更し、手ＨＤの動きに応じて描画を行なう。所定の色範囲に入っていることで手の面積を求める処理は、画像処理としては簡単なので、画像処理を行なうコンピューターにかける負担を小さくし、素早く面積を求めて、手ＨＤまでの距離を知って、描画モードを切り替えることができる。

上記実施形態では、操作対象である手の色の領域の大きさで、描画モードを変更しているが、描画モードである状態から手を使用者の側に、つまり手前に引くと描画モードから認識中モードに変更される。これは、机の上で鉛筆やペン、マーカー等で描画している場合の動きと同様である。このため、描画モードの変更の仕方を直感的に理解し易い。上記実施形態では、図７に示した描画モード範囲外には、手がビデオカメラから遠ざかる「認識中モード１」とビデオカメラに近づく「認識中モード２」とを、同じように描画しないモードとして扱ったが、認識中モード２を、ツールが机上を離れたものとして、描画でないモードとして扱い、認識中モード１を、ツールが机上に強く押しつけられたものとして、例えばペン先が大きくなった描画モード、消しゴムが広い範囲を消すモードのように、机との距離に見立てて、扱いを変えるものとしてもよい。

上記実施形態では、ＨＭＤ１００は、画像表示部２０以外に、制御装置７０にもディスプレイ７３を有しているが、このディスプレイ７３に画像表示部２０と同一の画像を表示するミラーモードなどを用いなくても、画像表示部２０のみで描画することができる。このため、使用者はいちいち制御装置７０の方を見なくても、自然な姿勢、自然な視野において、描画を行なうことができる。もとより、ＨＭＤ１００をディスプレイ７３のない構成とすることも可能である。この場合、図５Ａに示したツールバーＴＢも、画像表示部２０側で選択するようにすればよい。ツールバーＴＢに表示された各アイコンの選択は、描画と同様に、手の色の面積により、「選択状態」と「非選択状態」とを区別するようにしてもよい。もとより従来から知られたジェスチャーによりアイコンを選択するものとしてもよい。

更に、制御装置７０自体も、画像表示部２０側に搭載して一体化しても差し支えない。この場合、バッテリーなどを共有することができる。一体化した場合、頭部装着時のバランスをとるために、眼鏡型にこだわらず、頭部にベルト等で装着する形態としてもよい。また、制御装置７０と画像表示部２０との接続を無線通信により行なうものとしてもよい。この場合、頭部に装着される装置の軽量化を図ることができる。更に、上記実施形態のＨＭＤ１００は、例えばパーソナルコンピューターの表示装置として用いることもできるが、それ自身で、ワードプロセッサや表計算、図面描画などのアプリケーションプログラムが実行されるコンピューターとしての機能を実現できるよう構成してもよい。具体的には、高速のＣＰＵや、ＳＳＤなどの記憶装置、ＤＰＳなどを搭載してもよい。こうした機能を実現可能なＨＭＤ１００では、入出力手段として、上述した操作対象の色の領域の大きさによる描画モードの切り換えは、柔軟性があり、また簡易に実現できる入力方法として利用可能である。例えば、表計算プログラムにおけるセルの選択や、ワープロにおける単語の選択などに利用することができる。こうした選択・非選択の切り換えも、広い意味の描画モードの変更に相当する。もとより、アプリケーションプログラムが実行されるコンピューターとＨＭＤのような表示装置との、どちら側にどの程度の機能を振り分けるかは、任意である。採用可能な機器の大きさや重さ、発熱など、種々の要件を勘案して、配分を決めればよい。

Ｂ．第２実施形態：
第２実施形態の画像表示システム４００について説明する。画像表示システム４００は、図１２に示すように、電子白板５００とビデオカメラ５６１と制御装置５７０とを備える。電子白板５００は、短焦点プロジェクター５１０と、スクリーン５２０とを備える。電子白板５００は、制御装置５７０からの画像信号を受けると、短焦点プロジェクター５１０を用いて、指示された画像をスクリーン５２０上に表示させる。電子白板５００と制御装置５７０とは、有線接続してもよいし、ＷｉＦｉ（登録商標）などの無線通信によって接続してもよい。制御装置５７０は、第１実施形態と同様に、図示しないディスプレイを備える。したがって、使用者ＰＳは、第１実施形態同様に、制御装置５７０を用いて描画用のアプリケーションプログラムを起動し、ペンツールＰＴなどを選択することができる。ツールが選択されると、選択されたツールのアイコンが、短焦点プロジェクター５１０によりスクリーン５２０上に表示される。図１２に示した例では、ペンツールＰＴのアイコンが表示されている。

ビデオカメラ５６１は使用者ＰＳの電子白板５００側に配置される。具体的には、使用者ＰＳの胸ポケットなどに装着される。もとより、スタンドを用いて配置してもよいし、使用者が首からぶら下げるようにしてもよい。ビデオカメラ５６１と制御装置５７０とは、無線または有線接続される。ビデオカメラ５６１は、電子白板５００のスクリーン５２０の存在領域を撮像するよう撮像範囲や画角が設定されている。図１２において、使用者ＰＳの手ＨＤは、電子白板５００のスクリーン５２０よりかなり手前側に存在することになるが、ビデオカメラ５６１からは、スクリーン５２０の枠内に手ＨＤが存在するように、使用者が手を動かすことは容易である。第１実施形態と同様に、ビデオカメラ５６１が撮像した範囲における手ＨＤの色をした領域を認識し、その大きさが、予め定めた範囲に入っていれば、制御装置５７０は、認識モードと判断し、ツールのアイコンＰＴの一部ＲＤを塗り潰した画像を、電子白板５００のスクリーン５２０上に表示する。また、操作対象の色の領域の大きさが描画モードサイズに入っていれば、制御装置５７０は、ツールアイコンを塗り潰した画像を、電子白板５００を用いて、スクリーン５２０に表示すると共に、使用者ＰＳの手ＨＤの動きに応じた描線ＰＪを、電子白板５００によりスクリーン５２０上に表示する。

手ＨＤの使用者ＰＳに対する前後方向の動きにより、ビデオカメラ５６１が撮像する手ＨＤの色の領域の大きさは変化するから、この大きさに応じた画像表示が種々行なわれる点は、第１実施形態と同様である。

以上説明した第２実施形態によれば、使用者ＰＳは、制御装置５７０に接続されたビデオカメラ５６１を装着するだけで、電子白板５００のスクリーン５２０を用いて自由に描画を行なうことができる。また、描画に伴う各種操作を、第１日し形態と同様に行なうことができる。更に、第２実施形態では、使用者ＰＳが描画しているものとを、他のメンバーと共有することができる。電子会議などで、参加者が個々人用のビデオカメラ５６１を装着して、電子白板５００のスクリーンに５２０に向かって描画動作すれば、その結果を複数の参加者間で共有できる。描画するだけでなく、消去したり複製したりすることも、ツールを持ち替えて容易に行なうことができる。電子会議等で、複数台の画像表示システム４００をネットワークで接続すれば、遠隔地のメンバーと画像を共有しつつ、各参加者が画像に対して描画操作でき、またその結果を共有することができる。電子白板５００にプリンターなどの印刷装置を接続して、会議の結果などを印刷できるようにすることも望ましい。

Ｃ．他の実施形態：
上記各実施形態では、画像表示の制御として、操作対象の移動により描線を描くなどの描画モードと、操作対象を移動しても描画しないモードとを説明したが、画像表示の制御としては、これに留まらず、描画済みの画像の移動や複製などの制御を行なう実施形態も可能である。また、第１実施形態では、画像表示部２０における画像表示部２００は透過して外景を視認可能なタイプとしたが、非透過タイプの画像表示部を採用し、ビデオカメラ６１Ｒにより撮像した画像を表示することで、外景を視認可能とした実施形態としてもよい。

また上記各実施形態では、操作対象の色の領域の大きさが、描画モードサイズか認識モードのサイズかは、そのときに採用されているツール、例えばペンツールＰＴのアイコンの表示態様の違いとして表現したが、描画用のツールと、描画モードの違いを表わす画像表示とを分離した実施形態も可能である。例えば、ペンツールＰＴの近傍に丸や四角などの図形を表示し、この図形の内部を塗り潰すか否かなどの画像表示により、描画モードの違いを表示する実施形態としてもよい。もとより、こうした画像表示には、テキストにより、描画モードを表示するものも含まれる。

上記各実施形態では、手ＨＤに対応した色範囲の面積を求めることで、画像表示部２０から手までの距離を認識して描画モードの切換を行なってツールの画像表示を変更したが、手ＨＤの面積が描画モードサイズでなく認識モードサイズの場合、図１３に例示するように、単にツールの画像表示を一部の塗り潰し変更するだけでなく、手ＨＤに重ねて、描画モードサイズに対応した手の大きさを示す手の画像ＨＨを表示する実施形態も可能である。こうすれば、使用者は、画像表示部２００に表示された画像ＨＨに自らの手ＨＤが重なる様に、手を移動させる。この場合は、手を遠ざけることで視野内の手ＨＤが小さくなり、画像ＨＨに重なるようにすれば、描画モードサイズとなり、描画モードに復帰する。表示される手の画像ＨＨは、手ＨＤの大きさによって制御される画像表示の一例である。

同様の表示は、使用者の手が遠くなって、描画モードサイズより小さくなった場合にも、行なうことができる。この場合には、図１４に例示したように、ガイド表示としての手の画像ＨＨ２は、実際に見えている使用者の手より大きな画像として画像表示される。こうした手のガイド表示（図１３の画像ＨＨ、または図１４に例示した画像ＨＨ２）に代えて、ツールの画像表示を変えることで、ガイド表示の機能を持たせることも可能である。例えば、図１３では、ペンツールＰＴの塗り潰しをペン先から行ない、ペンツールＰＴの終端側ＰＤを塗り残している。他方、図１４では、ペンツールＰＴの先端側を塗り残している。こうすれば、ツールの塗り残す側をどちらにするかによって、手を近づけて大きくすれば描画モードサイズになるのか、あるいはその逆かを示すことができる。この場合は、画像ＨＨや画像ＨＨ２は、表示しなくてもよい。また、ガイド表示は、文字によって行なうものとし、例えば手ＨＤが小さければ、「手を近づけてください」といった表示を行なうものとしてもよい。

更に、使用者が描画のために、手を画像表示部２０の視野内に持って行っていないといった場合、つまり図４のステップＳ１３５において手が認識できないといった場合、図１５に例示したように、手の画像ＨＨ１を表示して、画像表示部２０の視野内に使用者の手が入るようにすることをガイドする実施形態も可能である。もとより、こうした画像ＨＨ１に代えて、あるいは画像ＨＨ１と共に、音声や文字表示により、「手を視野内に入れてください」といったガイドを行なってもよい。

このほか、描画に用いられるツールの表示を変更して様々な情報を表示することも可能である。例えばペンツールＰＴの場合、先端の三角形の部分と、ツール本体を示す長方形の部分とが存在するので、手ＨＤの大きさが描画モードサイズに入っている場合には、この長方形の部分を全て塗り潰すものとし、三角形の部分ＱＤを描画モードサイズの範囲の状況を示すものとして扱う実施形態も可能である。使用者が描画モードにおいて描画している場合、手ＨＤを動かすことで、手ＨＤの面積が描画モードサイズの上下限値に近づく場合がある。こうした場合に、図１６に例示したように、三角形の部分ＱＤの塗り潰しを一部解除するといった表示を行なうことで、使用者の手ＨＤが、使用者に近づきすぎたり遠ざかり過ぎたりして、描画モードサイズから離脱しかかっていることを使用者に報知できる。描画モードサイズの上限か下限かいずれの側に近づいているかは、塗り潰しを解除する位置で報知してもよい。使用者は、自らの手ＨＤの動きが、遠近いずれの側に対するものであるかを感じ取ることができるから、単に描画モードサイズの範囲から外れそうになっていることを表示するだけでも差し支えない。

上記の実施形態では、抽出部の動作として、手の色として想定できる色範囲の画像の面積から手の大きさを認識し、手の距離を求めて描画モードの切り換えや、ツールの画像表示を変更するといった処理を行なったが、手の色として想定される色範囲には個人差もあるので、その色範囲を事前に学習できるようにしてもよい。予め、使用者の手などをビデオカメラで写し、取得した手の色のＲＧＢ値に対して、それぞれ所定の幅を設定して、その範囲のＲＧＢ値を有する画素を手の色範囲に属すると判断するのである。標準の肌の色を決めておき、そこからの差分として学習してもよい。

また、手に代えて、使用者が特定の色の手袋をはめるものとして、この手袋の画像を用いる実施形態としてもよい。特定の色の手袋を用いれば、実際の手の色よりも認識に用いる色範囲を狭くでき、また色の領域の境界も明確にしやすいので、その色の領域の面積を正確に求めることができる。同様に、図１７に例示したように、手ＨＤに所定の色のシールＭＲＫを貼り、その色のシールを操作対象として扱い、面積を求めて操作対象までの距離を認識する実施形態としてもよい。この場合は、予めシールの色と共にその形を決めておけば、シールの形状も、操作対象の認識に利用できる。更に、操作対象として、特定の色のペンや棒、ライトなどを持つものとし、これらの色の面積を求めるようにしてもよい。こうすれば、認識すべき操作対象の大きさと使用者の手指の大きさとは無関係になり、操作対象の大きさを予め定めることができるので、使用者の性別や身長などに応じて、認識するサイズの範囲を切り替えるといった手間を要しない。

以上、幾つかの実施形態について説明したが、これらの実施形態では、操作対象をその操作対象を示すとされた色の領域として認識しているので、操作対象の形によらず、操作対象までの距離を判別することができる。仮想的なツールを用いて描画する場合、例えば手をどのような形にするかは、使用者の自由なので、様々な手の形を取りうるが、面積で判断すれば、そうした手の形にとらわれず判別することができる。手以外の、例えば特定の色の棒を手に持ったり、シールを手に貼ったりして、これを操作対象とする場合でも、棒の傾きや持ち方が相違しても、面積の算出は容易であり、持ち方などにとらわれず判別することができる。

Ｄ．他の態様：
本開示は、以下の態様としても実施可能である。
（１）例えば、画像表示装置は、外景の少なくとも一部を表示領域として画像を表示する画像表示部と、前記表示領域を含む領域を、撮像画像として撮像する撮像部と、前記撮像画像から、操作対象を、前記操作対象の色の領域として抽出する抽出部と、前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更する描画モード変更部と、前記変更された描画モードに従って、前記画像表示部における画像表示を制御する制御部とを備えた構成としてもよい。

この画像表示装置は、操作対象をその色の領域として抽出し、抽出した色領域の大きさによって、描画モードを変更し、描画モードに従って画像表示部における画像表示を制御する。したがって、撮像部に対する操作対象の隔たりを、操作対象の大きさで容易に判定でき、描画モードの変更や画像表示の制御を容易に行なうことができる。画像表示の制御としては、例えば描画したり、描画済みの画像の移動や複製などが想定される。この結果、描画モードの変更や画像表示の制御をレスポンスよく実現できる。こうした効果は、特に画像表示装置のハードウェアの能力が高くない場合に顕著なものとなる。操作対象であると判断する色は、通常は一定の色の範囲に入っているかによって判断するが、その範囲は、操作対象の色が、例えば予め色が決められた手袋やシールであるような場合には、狭い範囲にでき、撮像画像に含まれる他のものから操作対象を判別しやすくできる。また、操作対象が使用者の手のようにあり得る色の範囲が広い場合には、操作対象の色の領域として抽出する際の色の範囲を広くしたり、使用者の手の色に合わせて調整したりすることも有効である。

抽出した色の領域の大きさで描画モードを変更する際の判断は、抽出した色の領域の大きさが、予め定めた閾値より大きいか小さいかといった二値的な判断としてもよいし、その領域の大きさに応じて多段階に判断するようにしてもよい。また判断の閾値は、操作対象の違いにより、複数用意し、いずれかを選択するようにしてもよい。例えば操作対象が画像表示装置の使用者の手である場合、使用者の身長や性別、体格などに応じて切り替えるようにしてもよい。この場合、切り換えは、使用者が選択してもよいし、撮像部が撮像した使用者の手の画像などを用いて選択する様にしてもよい。

（２）こうした画像表示装置において、前記描画モード変更部は、前記操作対象の色の範囲の大きさが、予め定めた面積範囲である第１範囲に入っている場合は描画可能な第１モードに、前記第１範囲に入っていない場合には、描画可能でない第２モードに、前記描画モードを変更し、前記制御部は、前記第１モードでは、前記操作対象の動きに応じて描画を行ない、前記第２モードでは、前記描画を行なわないものとしてもよい。こうすれば、操作対象の色の範囲の大きさだけで、操作対象が描画を行なう範囲に入っているか否かを判別して、描画する・描画しないを決められるので、簡略な構成で、使用者は自在に描画することができる。

（３）こうした画像表示装置において、前記制御部は、前記第１モードでは、前記操作対象に関連付けて、第１態様の表示を行ない、前記第２モードとでは、前記第１態様とは異なる第２態様の表示を行なうものとしてもよい。こうすれば、操作対象に関連付けて第１態様の表示が行なわれるので、現在の描画モードが第１モードかどうかを使用者は容易に視認できる。関連付けは、操作対象の近傍に第１態様の表示を行ない、操作対象の移動に合わせて表示位置を変更するといったものでもよい。また第１態様とは異なる第２態様の表示とは、第１態様とは形状や塗り潰しの範囲、色、点滅などが異なる表示であれば、どのようなものでもよい。

（４）こうした画像表示装置において、前記描画モード変更部は、前記第２モードにおける前記操作対象の色の領域の大きさが、前記第１範囲に対して相違する程度により複数の段階に分けて認識し、前記制御部は、前記第２モードにおける前記第２態様の表示を、前記段階により異なる態様で表示するものとしてよい。こうすれば、操作対象の色の領域の大きさが第１の範囲に対してどの程度相違しているかを使用者は認識でき、操作対象の色の領域の大きさを、第１の範囲に近づけて、描画モードを第１モードに変更した第１モードへの変更を回避したり、といった操作が行ないやすい。どの程度相違するかは、どの程度相違していないか（近接しているか）として判断してもよい。もとより、第２モードにおける第２態様の表示を変更しないものであっても差し支えない。

（５）こうした画像表示装置において、前記制御部は、前記第２モードにおける第２態様の表示を、前記段階が、前記第１範囲に近づくほど、前記第１態様の表示に近づけた表示の態様としてもよい。こうすれば、第１態様に対応した第１モードへの切り換えを更に容易に制御できる。この結果、第１モードに容易に切り替えられるばかりでなく、第１モードに切り替えたくない場合に、これを避ける方向に操作対象を操作することも容易となる。

（６）こうした画像表示装置において、前記制御部は、前記第１態様の表示および前記第２態様での表示を、予め定めたアイコンを用いて行なうものとしてもよい。こうすれば、アイコンを用いるので、現在の描画モードがどのようなものか容易に理解できる。アイコン以外に文字を用いて表示してもよい。また、アイコンは動画を含んでもよい。

（７）こうした画像表示装置において、前記制御部は、前記アイコンを前記操作対象よりも、前記表示領域の中心側、または前記操作対象の先端側のいずれかに表示するものとしてもよい。中心側に表示すれば、アイコンが表示領域のセンター側に配置されるので、アイコンを視認しやすくできる。また、操作対象の先端側に表示すれば、使用者は操作対象の先端を注視している可能性が高いので、アイコンを視認しやすくなる。アイコンは、使用者の利き手に応じて操作対象の聞き手の側と反対側、つまり使用者が右利きの場合には操作対象の左側に、表示してもよい。こうすれば、使用者が操作する操作対象に対して、いつも同じ側に表示されるので、視認しやすくなる。また、操作対象の先端側ではなく、末端側や予め定めた位置関係、例えば操作対象の重心の近くなどに表示するものとしてもよい。アイコンの表示位置は、使用者が選択可能としてもよい。

（８）こうした画像表示装置において、前記操作対象の色の領域の大きさは、前記撮像部が撮像した撮像画像における画素を単位として計測するものとしてもよい。画素を単位に操作対象の色の領域の大きさを計測すれば、操作対象の色として判断した画素の数を数えるだけで済み、処理を一層簡便なものにできる。もとより、抽出した色の領域の大きさは、面積として計測するものとしてもよい。

（９）こうした画像表示装置において、前記制御部は、前記撮像画像に前記操作対象が含まれない場合には、前記画像表示部に、前記操作対象に関連付けられたガイドを表示するものとてもよい。こうすれば、使用者は、操作対象を画像表示部の表示領域を含む領域に持ち込めばよいことを理解でき、この画像表示装置を用いた描画を実行しやすくなる。

（１０）こうした画像表示装置において、前記操作対象は、使用者の手指、使用者が持つペン形状の対象物、使用者の手に貼られたシールのうちの少なくとも１つであるものとしもよい。使用者の手指であれば、使用者は特別な操作対象を用いることなく描画が行なうことがで、また描画に際して違和感が小さい。使用者が持つペン形状の対象物であれば、操作対象の色を特定しやすく、また描画における違和感も小さい。使用者の手に貼られたシールであれば、操作対象の色を特定しやすく、また使用者の手に貼るだけで済み、容易に利用できる。

（１１）こうした画像表示装置において、前記画像表示部は、使用者の頭部に装着される頭部装着型表示装置の表示部であって、外景を視認可能な表示部であるものとしてもよい。こうすれば、使用者がいずれの方向を向いても、その方向の外景を視認しつつ、画像を表示できる。

（１２）あるいは、こうした画像表示装置において、前記画像表示部は、平面上に画像を表示する電子白板であり、前記撮像部は、使用者から前記電子白板の存在領域を撮像可能であるものとしてもよい。こうすれば、電子白板の前に操作対象をかざすことで、その操作対象の色の領域の大きさにより、容易に描画モードを変更し、描画することができる。

（１３）本開示の他の態様としては、外景の少なくとも一部を表示領域として描画を行なう画像表示方法がある。この画像表示方法は、前記表示領域を含む領域を撮像し、前記領域を撮像した撮像画像から、操作対象を、前記操作対象の色の領域として抽出し、前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更し、前記変更された描画モードに従って、前記表示領域における画像表示を制御する。この画像表示方法によっても、上述した画像表示装置と同様の各種形態で実施でき、またその作用効果も同様である。

（１４）本開示の更に他の態様としては、コンピューターにより実行され、外景の少なくとも一部を表示領域として描画を行なう画像表示プログラムがある。このコンピュータープログラムは、前記表示領域を含む領域を撮像する機能と、前記領域を撮像した撮像画像から、操作対象を、前記操作対象の色の領域として抽出する機能と、前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更する機能と、前記変更された描画モードに従って、前記表示領域における画像表示を制御する機能と、を前記コンビューターにより実現させる。この画像表示プログラムによっても、上述した画像表示装置や画像表示方法と同様の各種形態で実施でき、またその作用効果も同様である。

（１５）上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、３５…ベーシックボード、３６…光学モジュールボード、３７…カメラモジュールボード、４０…接続ケーブル、４６…中継コネクター、６１Ｒ，６１Ｌ…ビデオカメラ、６２…内側カメラ、６３…マイク、６５…照度センサー、６６…６軸センサー、６７…ＬＥＤインジケーター、７０…制御装置、７１…表示部、７２…タッチパネル、７３…第２表示部、７５…通信部、７６…タッチパネルドライバー、７７…コネクター、７８…ディスプレイドライバー、８０…ＣＰＵ、８２…入力イベント検出部、８３…対象アプリ、８４…ＵＩアプリ、８５…メモリー、９１…Ｉ／Ｆ部、９３…ディスプレイブリッジ、１０…ＨＭＤ、２００…第１表示部、２２１，２４１…ＯＬＥＤユニット、２２３，２４３…ＯＬＥＤ、２２５…Ｒ－ＣＰＬＤ、２４５…Ｌ－ＣＰＬＤ、２５１…右光学系、２５２…左光学系、２６１，２８１…ハーフミラー、４００…画像表示システム、５００…電子白板、５１０…短焦点プロジェクター、５２０…スクリーン、５６１…ビデオカメラ、５７０…制御装置

Claims (12)

1. 外景の少なくとも一部を表示領域として画像を表示する画像表示部と、
   前記表示領域を含む領域を、撮像画像として撮像する撮像部と、
   前記撮像画像から、操作対象を、前記操作対象の色の領域として抽出する抽出部と、
   前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更する描
   画モード変更部と、
   前記変更された描画モードに従って、前記画像表示部における画像表示を制御する制御
   部と、を備え、
   前記描画モード変更部は、前記操作対象の色の範囲の大きさが、予め定めた面積範囲で
   ある第１範囲に入っている場合は描画可能な第１モードに、前記第１範囲に入っていない
   場合には、描画可能でない第２モードに、前記描画モードを変更し、
   前記制御部は、前記第１モードでは、前記操作対象の動きに応じて描画を行ない、前記
   第２モードでは、前記描画を行なわず、
   前記操作対象は、使用者の手指であり、
   前記予め定めた面積範囲は、使用者の体型によって異なる、画像表示装置。
2. 前記制御部は、前記第１モードでは、前記操作対象に関連付けて、第１態様の表示を行
   ない、前記第２モードとでは、前記第１態様とは異なる第２態様の表示を行なう、請求項
   １に記載の画像表示装置。
3. 前記描画モード変更部は、前記第２モードにおける前記操作対象の色の領域の大きさが
   、前記第１範囲に対して相違する程度により複数の段階に分けて認識し、
   前記制御部は、前記第２モードにおける前記第２態様の表示を、前記段階により異なる
   態様で表示する、請求項２に記載の画像表示装置。
4. 前記制御部は、前記第２モードにおける第２態様の表示を、前記段階が、前記第１範囲
   に近づくほど、前記第１態様の表示に近づけた表示の態様とする、請求項３に記載の画像
   表示装置。
5. 前記制御部は、前記第１態様の表示および前記第２態様での表示を、予め定めたアイコ
   ンを用いて行なう、請求項２から請求項４のいずれか一項に記載の画像表示装置。
6. 前記制御部は、前記アイコンを前記操作対象よりも、前記表示領域の中心側、または前
   記操作対象の先端側のいずれかに表示する、請求項５に記載の画像表示装置。
7. 前記操作対象の色の領域の大きさは、前記撮像部が撮像した撮像画像における画素を単
   位として計測する、請求項１から請求項６のいずれか一項に記載の画像表示装置。
8. 前記制御部は、前記撮像画像に前記操作対象が含まれない場合には、前記画像表示部に
   、前記操作対象に関連付けられたガイドを表示する、請求項１から請求項７のいずれか一
   項に記載の画像表示装置。
9. 前記画像表示部は、使用者の頭部に装着される頭部装着型表示装置の表示部であって、
   外景を視認可能な表示部である、請求項１から請求項８のいずれか一項に記載の画像表示
   装置。
10. 前記画像表示部は、平面上に画像を表示する電子白板であり、
    前記撮像部は、使用者から前記電子白板の存在領域を撮像可能である、
    請求項１から請求項８のいずれか一項に記載の画像表示装置。
11. 外景の少なくとも一部を表示領域として画像の描画を行なう画像表示方法であって、
    前記表示領域を含む領域を撮像し、
    前記領域を撮像した撮像画像から、操作対象を、前記操作対象の色の領域として抽出し
    、
    前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更し、
    前記変更された描画モードに従って、前記表示領域における画像表示を制御し、
    前記操作対象の色の範囲の大きさが、予め定めた面積範囲である第１範囲に入っている
    場合は描画可能な第１モードに、前記第１範囲に入っていない場合には、描画可能でない
    第２モードに、前記描画モードを変更し、
    前記第１モードでは、前記操作対象の動きに応じて描画を行ない、前記第２モードでは
    、前記描画を行なわず、
    前記操作対象は、使用者の手指であり、
    前記予め定めた面積範囲は、使用者の体型によって異なる、画像表示方法。
12. コンピューターにより実行され、外景の少なくとも一部を表示領域として描画を行なう
    画像表示プログラムであって、
    前記表示領域を含む領域を撮像する機能と、
    前記領域を撮像した撮像画像から、操作対象を、前記操作対象の色の領域として抽出す
    る機能と、
    前記抽出した色の領域の大きさに従って、前記操作対象による描画モードを変更する機
    能と、
    前記変更された描画モードに従って、前記表示領域における画像表示を制御する機能と
    、
    前記操作対象の色の範囲の大きさが、予め定めた面積範囲である第１範囲に入っている
    場合は描画可能な第１モードに、前記第１範囲に入っていない場合には、描画可能でない
    第２モードに、前記描画モードを変更する機能と、
    前記第１モードでは、前記操作対象の動きに応じて描画を行ない、前記第２モードでは
    、前記描画を行なわない機能と、を前記コンピューターにより実行させ、
    前記操作対象は、使用者の手指であり、
    前記予め定めた面積範囲は、使用者の体型によって異なる、画像表示プログラム。

Images