A.実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。本実施形態の頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。
本実施形態のHMD100は、現実世界に実在するオブジェクトである「実オブジェクト」に対して、HMD100のCPUを用いて情報を付加する拡張現実感(AR、Augmented Reality)処理を行うことができる。ここで、オブジェクトとは、任意の人、任意の動植物、任意の物(人工物、自然物等を含む)等を意味する。また、拡張現実感処理において、実オブジェクトに対して、付加的に表示される情報を「仮想オブジェクト」と呼ぶ。本実施形態のHMD100は、拡張現実感処理において付加提示する仮想オブジェクトの表示態様を「第1の表示態様」と、「第2の表示態様」と、の間で切り替えることで、仮想オブジェクトの表示が実オブジェクトを視認する際の妨げとなりづらい拡張現実感処理を実現することができる。ここで、第1の表示態様での仮想オブジェクトは、第2の表示態様での仮想オブジェクトに対して、視認性阻害度が高い。換言すれば、第2の表示態様での仮想オブジェクトは、第1の表示態様での仮想オブジェクトに対して、視認性阻害度が低い。
視認性阻害度とは、利用者が、仮想オブジェクトを含んだ虚像を介して現実世界を視認する際の「利用者の視認性を妨げる程度」を意味する。視認性阻害度は、換言すれば、視認性抑制度と表現することもできる。
本実施形態において、第1の表示態様の仮想オブジェクトと、第2の表示態様の仮想オブジェクトとは、以下に列挙するいずれかの態様をとることにより、その視認性阻害度を向上/低下させることができる。
(A)仮想オブジェクトが虚像に占める面積を大きく/小さくする。ここで、「仮想オブジェクトが虚像に占める面積」とは、虚像が利用者の眼前に現れ得る範囲に対して、仮想オブジェクトが占める面積を意味する。この場合、第2の表示態様での仮想オブジェクトは、虚像に占める面積が「0」のものも含む。
(B)仮想オブジェクトのうち、少なくとも一部の透過率を下げる/上げる。この場合、第2の表示態様での仮想オブジェクトは、第1の表示態様での仮想オブジェクトの全体の透過率が上げられている態様や、第1の表示態様での仮想オブジェクトの影だけが表示されている(影以外の部分の透過率を上げる)態様や、第1の表示態様での仮想オブジェクトの輪郭だけが表示されている(輪郭以外の部分の透過率を上げる)態様を含む。
(C)仮想オブジェクトを含む虚像を両眼表示/片眼表示する。ここで、両眼表示とは、左右の画像光生成部から画像光を利用者の両眼に向けて射出することを意味し、片眼表示とは、右または左の画像光生成部から画像光を利用者の片目に向けて射出することを意味する。
以降の例では、第1の表示態様の仮想オブジェクトと、第2の表示態様の仮想オブジェクトと、の視認性阻害度を向上/低下させるための方法として、態様Aを採用した場合を例示して説明する。なお、拡張現実感処理の詳細や、各表示態様の詳細については後述する。
HMD100は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。なお、以降の説明において、HMD100によって利用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、HMD100が画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
A−1−1.画像表示部の構成:
図2は、HMD100の構成を機能的に示すブロック図である。画像表示部20は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である(図1)。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、視線検出部62と、9軸センサー66と、を備えている。以降、利用者が画像表示部20を装着した状態における、画像表示部20の各部の位置関係と機能について説明する。
図1に示すように、右光学像表示部26および左光学像表示部28は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、利用者の眉間に対応する位置で接続されている。図2に示すように、右光学像表示部26は、右導光板261と調光板(図示省略)とを備えている。右導光板261は、光透過性の樹脂材料等によって形成され、右表示駆動部22から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼REに導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(利用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261を保護し、導光板261の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
左光学像表示部28は、左導光板262と調光板(図示省略)とを備えている。これらの詳細は、右光学像表示部26と同様である。なお、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。
図1に示すように、右保持部21は、右光学像表示部26の他端ERから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部23は、左光学像表示部28の他端ELから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、利用者の頭部に画像表示部20を保持する。なお、右保持部21および左保持部23を総称して単に「保持部」とも呼ぶ。
図1に示すように、右表示駆動部22は、右保持部21の内側(利用者の頭部に対向する側)に配置されている。左表示駆動部24は、左保持部23の内側に配置されている。図2に示すように、右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD(液晶ディスプレイ、Liquid Crystal Display)制御部211および右LCD241と、右投写光学系251とを備えている。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて右バックライト221を駆動する。右バックライト221は、例えばLED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズである。
左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを備えている。これらの詳細は、右表示駆動部22と同様である。なお、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼ぶ。
図1に示すように、カメラ61は、利用者の左右の目尻の上方に対応する位置にそれぞれ配置されているステレオカメラである。左右のカメラ61は、画像表示部20の表側方向、換言すれば、HMD100を装着した状態における利用者の視界方向の外景(外部の景色)をそれぞれ撮像し、左右に対応した2枚の外景画像を取得する。カメラ61はいわゆる可視光カメラであり、カメラ61により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。カメラ61によって得られる2枚の外景画像を画像認識することで、制御部10のCPU140は、利用者の手の動きを検出し、取得することができる。画像認識の精度を向上させるために、CPU140は、利用者の指先や、利用者の手に付けられた指輪や、利用者が手に持っている特定の道具等を、検出のための目印にすることができる。この場合、カメラ61とCPU140とは、利用者の手の動きを取得する「動き取得部」として機能する。なお、本実施形態におけるカメラ61はステレオカメラであるが、単眼カメラとしてもよい。
図1に示すように、視線検出部62は、利用者の左右の目尻の下方に対応する位置にそれぞれ配置されている。左右の視線検出部62は、図示しない赤外線発光部と赤外線受光部とをそれぞれ備える。右側の視線検出部62は、赤外線発光部から射出されて、利用者の右眼に当たり反射した赤外線を受光する。制御部10のCPU140は、右側の視線検出部62が受光した赤外線の強さに基づいて、利用者の右眼の視線の動きを取得する。同様に、左側の視線検出部62は、赤外線発光部から射出されて、利用者の左眼に当たり反射した赤外線を受光する。CPU140は、左側の視線検出部62が受光した赤外線の強さに基づいて、利用者の左眼の視線を検出する。赤外線の反射率は、赤外線が虹彩(黒目)に当たった場合と、赤外線がまぶたに当たった場合と、赤外線が白目に当たった場合と、でそれぞれ異なる。具体的には、赤外線の反射率は、赤外線が虹彩に当たった場合が最も低く、次いで、まぶた、白目の順に高くなる。このため、CPU140は、視線検出部62が受光した赤外線の強さによって、利用者の視線の動きを取得することができる。この場合、視線検出部62とCPU140とは、利用者の視線の動きを取得する「視線取得部」として機能する。なお、本実施形態における視線検出部62は左右それぞれに設けられるとしたが、左右いずれか一方でもよい。
図1に示すように、9軸センサー66は、利用者の右側のこめかみに対応する位置に配置されている。9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が頭部に装着されているときには、利用者の頭部の動きを検出し、取得することができる。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
図1に示すように、画像表示部20は、画像表示部20と制御部10とを接続するための接続部40を備えている。接続部40は、制御部10に接続される本体コード48と、本体コード48が分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右表示駆動部22に接続され、左コード44は、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。本体コード48における連結部材46とは反対側の端部には、コネクター(図示省略)が設けられている。このコネクターは、制御部10に設けられたコネクター(図示省略)との嵌合/嵌合解除により、制御部10と画像表示部20との接続/接続解除を実現する。画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
A−1−2.制御部の構成:
制御部10はHMD100を制御するための装置である。図1に示すように、制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を備えている。決定キー11は、押下操作を検出して、制御部10において操作された内容を決定するための信号を出力する。点灯部12は、例えばLEDによって実現され、HMD100の動作状態(例えば電源のON/OFF等)を発光状態によって通知する。表示切替キー13は、押下操作を検出して、例えばコンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、および、電源スイッチ18に対する操作入力に応じた信号を取得する。入力情報取得部110は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ(利用者の足により操作するスイッチ)による操作入力を取得してもよい。フットスイッチによる操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部110は、利用者からの操作入力を取得することができる。
記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部120には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部120には、表示状態121と、過去維持時間122と、維持時間設定123と、過去基準時間124と、基準時間設定125と、簡易表示態様126と、が予め記憶されている。
表示状態121には、現在の拡張現実感処理における仮想オブジェクトの表示態様が、第1の表示態様であるか、第2の表示態様であるか、を表すための情報が格納される。表示状態121には、例えば、フラグを用いて表示態様の種別が格納されてもよいし、数字や文字列を用いて表示態様の種別が格納されてもよい。
過去維持時間122には、過去の拡張現実感処理において使用された維持時間の履歴が格納される。ここで「維持時間」とは、拡張現実感処理において、仮想オブジェクトの表示態様を、第1の表示態様から第2の表示態様へと遷移させるまでの時間を意味する。過去維持時間122には、過去の拡張現実感処理において使用された維持時間と、その際の第1の表示状態での仮想オブジェクトの情報量と、その際の利用者の識別子と、を対応付けて格納することができる。
維持時間設定123には、利用者が設定した維持時間が格納される。維持時間設定123の内容は、HMD100の製造時において、何らかの初期値が記憶されてもよい。維持時間設定123の内容は、利用者によって適宜変更可能であってもよい。
過去基準時間124には、過去の拡張現実感処理において使用された基準時間の履歴が格納される。ここで、「基準時間」とは、拡張現実感処理において、仮想オブジェクトの表示態様を、第2の表示態様から第1の表示態様へと遷移させるまでの時間を意味する。過去基準時間124には、過去の拡張現実感処理において使用された基準時間と、その際の第1の表示状態での仮想オブジェクトの情報量と、その際の利用者の識別子と、を対応付けて格納することができる。
基準時間設定125には、利用者が設定した基準時間が格納される。基準時間設定125の内容は、HMD100の製造時において、何らかの初期値が記憶されてもよい。基準時間設定125の内容は、利用者によって適宜変更可能であってもよい。
簡易表示態様126には、仮想オブジェクトの第2の表示態様において採用される、具体的な表示態様を表すための情報が格納される。本実施形態では、第2の表示態様において採用される具体的な表示態様としては、(態様1)端部アイコン表示と、(態様2)近傍アイコン表示と、(態様3)強調表示と、(態様4)非表示と、がある。各態様の詳細な説明は後述する。簡易表示態様126には、上述した態様1〜4のうちの、いずれかを表す情報が格納される。簡易表示態様126には、例えば、フラグを用いて具体的な表示態様が格納されてもよいし、数字や文字列を用いて具体的な表示態様が格納されてもよい。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
無線通信部132は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Bluetooth(登録商標)に例示される近距離無線通信、IEEE802.11に例示される無線LAN等である。
GPSモジュール134は、GPS衛星からの信号を受信することにより、HMD100の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、拡張現実感処理部142、OS150、画像処理部160、音声処理部170、表示制御部190として機能する。
拡張現実感処理部142は、拡張現実感処理を実行する。拡張現実感処理部142は、さらに、通常表示処理部144と、簡易表示処理部146と、を含んでいる。通常表示処理部144は、後述する通常表示処理を実行することで、第1の表示態様での仮想オブジェクトを含む虚像を画像表示部20に形成させる。簡易表示処理部146は、後述する簡易表示処理を実行することで、第2の表示態様での仮想オブジェクトを含む虚像を画像表示部20に形成させる。拡張現実感処理部142は、後述する遷移条件に基づいて、通常表示処理部144による通常表示処理と、簡易表示処理部146による簡易表示処理と、を切り替えて実行させる。すなわち、本実施形態において、通常表示処理と簡易表示処理とは、拡張現実感処理のサブルーチンとして実行される。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。例えば、コンテンツがディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成する。なお、ディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とは不要である。画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51、52を介して、画像表示部20へ送信する。送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、左右のLCD制御部211、212による左右のLCD241、242の駆動ON/OFFや、左右のバックライト制御部201、202による左右のバックライト221、222の駆動ON/OFFを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部190は、これらの制御信号を、送信部51、52を介して画像表示部20へ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32の図示しないスピーカーと、左イヤホン34の図示しないスピーカーとに対して供給する。
インターフェイス180は、所定の有線通信規格に則って、外部装置OAとの間で通信を行う。所定の有線通信規格としては、例えば、MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface、HDMIは登録商標)、DVI(Digital Visual Interface)、VGA(Video Graphics Array)、コンポジット、RS−232C(Recommended Standard 232)、IEEE802.3に例示される有線LAN等である。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等を利用することができる。
図3は、利用者に視認される虚像の一例を示す説明図である。図3(A)は、拡張現実感処理を実行していない場合の利用者の視野VRを例示している。上述のようにして、HMD100の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像VIを視認する。図3(A)の例では、虚像VIは、HMD100のOS150の待ち受け画面である。利用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のHMD100の利用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。
図3(B)は、拡張現実感処理を実行している場合の利用者の視野VRを例示している。後述の拡張現実感処理を実行することによって、利用者は、仮想オブジェクトVO1〜VO3を含んだ虚像VIを視認する。仮想オブジェクトVO1は、外景SC内の現実世界の山(実オブジェクト)の近傍に表示された吹き出し形状の情報である。仮想オブジェクトVO2,VO3は、外景SC内の現実世界の木(実オブジェクト)に重畳するように表示されたノート形状の情報である。このように、利用者は、虚像VIに含まれる仮想オブジェクトVO1〜VO3と、虚像VIの背後に透過して見える外景SC内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。
A−2.拡張現実感処理:
拡張現実感処理は、現実世界に実在する実オブジェクトに対して、情報(仮想オブジェクト)を付加提示するための処理である。拡張現実感処理は、拡張現実感処理部142がOS150や他のアプリケーションから拡張現実感処理の開始指示を受信したことや、拡張現実感処理部142がHMD100の電源がONされた旨を受信したことに伴って開始される。
A−2−1.拡張現実感処理の状態遷移:
図4は、拡張現実感処理の状態遷移図である。本実施形態の拡張現実感処理は、通常表示状態ST1と、簡易表示状態ST2と、をとることができる。通常表示状態ST1では、拡張現実感処理部142は、通常表示処理部144に通常表示処理を実行させる。この結果、画像表示部20には、第1の表示態様での仮想オブジェクトを含む虚像が形成される。一方、簡易表示状態ST2では、拡張現実感処理部142は、簡易表示処理部146に簡易表示処理を実行させる。この結果、画像表示部20には、第2の表示態様での仮想オブジェクトを含む虚像が形成される。
拡張現実感処理が開始された後、拡張現実感処理部142は、遷移条件1の成立を監視する。遷移条件1は、拡張現実感処理の状態を、開始後の状態から、通常表示状態ST1へと遷移させるための条件であり、換言すれば、第1の表示状態での仮想オブジェクトを表示させるための条件である。拡張現実感処理部142は、複数の条件を遷移条件1として利用することができるため、遷移条件1の詳細については後述する。
通常表示状態ST1において、拡張現実感処理部142は、遷移条件2の成立と、無効化アクションと、を監視する。遷移条件2は、拡張現実感処理の状態を、通常表示状態ST1から簡易表示状態ST2へと遷移させるための条件であり、換言すれば、第2の表示状態での仮想オブジェクトを表示させるための条件である。拡張現実感処理部142は、複数の条件を遷移条件2として利用することができるため、遷移条件2の詳細については後述する。
無効化アクションは、拡張現実感処理の状態遷移を取り消すために、利用者によって行われる所定の動作である。本実施形態では、無効化アクションとして「手を振る動作」を採用する。拡張現実感処理部142は、動き検出部(カメラ61およびCPU140の拡張現実感処理部142)によって取得された利用者の手の動きが、予め記憶されている手を振る動作のパターンに一致するか否かを判定する。一致する場合、拡張現実感処理部142は無効化アクションが行われたと判定し、一致しない場合、拡張現実感処理部142は無効化アクションが行われていないと判定する。この場合、拡張現実感処理部142は「要求取得部」として機能し、無効化アクションは「第1の要求」として機能する。
なお、無効化アクションとしては、利用者の手と、足と、声と、頭部と、または、これらの組み合わせと、のうちの少なくともいずれかによってなされる他の動作を採用してもよい。例えば、無効化アクションとしては、手を所定の形とする動作、制御部10に対するキャンセル入力動作、図示しないマイクを介した音声によるキャンセル入力動作等を採用してもよい。
通常表示状態ST1において、遷移条件2が成立し、かつ、無効化アクションを検出していない場合、拡張現実感処理部142は、拡張現実感処理の状態を、通常表示状態ST1から簡易表示状態ST2へと遷移させる。一方、通常表示状態ST1において、遷移条件2が成立し、かつ、無効化アクションを検出した場合、拡張現実感処理部142は、拡張現実感処理の状態を通常表示状態ST1のままとする。
このようにすれば、拡張現実感処理部142は、利用者からの第1の要求(無効化アクション)に応じて、第1の表示態様から第2の表示態様への遷移、換言すれば、通常表示状態ST1から簡易表示状態ST2への遷移を中止することができるため、利用者の利便性を向上させることができる。さらに、要求取得部として機能する拡張現実感処理部142は、利用者の手と、足と、声と、頭部と、または、これらの組み合わせと、のうちの少なくともいずれかによる利用者からの要求を、第1の要求として取得することができる。
簡易表示状態ST2において、拡張現実感処理部142は、遷移条件3の成立と、無効化アクションと、を監視する。遷移条件3は、拡張現実感処理の状態を、簡易表示状態ST2から通常表示状態ST1へと遷移させるための条件であり、換言すれば、第1の表示状態での仮想オブジェクトを表示させるための条件である。拡張現実感処理部142は、複数の条件を遷移条件3として利用することができるため、遷移条件3の詳細については後述する。また、無効化アクションについては、通常表示状態ST1における無効化アクションと同じである。
簡易表示状態ST2において、遷移条件3が成立し、かつ、無効化アクションを検出していない場合、拡張現実感処理部142は、拡張現実感処理の状態を、簡易表示状態ST2から通常表示状態ST1へと遷移させる。一方、簡易表示状態ST2において、遷移条件3が成立し、かつ、無効化アクションを検出した場合、拡張現実感処理部142は、拡張現実感処理の状態を簡易表示状態ST2のままとする。
このようにすれば、拡張現実感処理部142は、利用者からの要求(無効化アクション)に応じて、第2の表示態様から第1の表示態様への遷移、換言すれば、簡易表示状態ST2から通常表示状態ST1への遷移を中止することができるため、利用者の利便性を向上させることができる。さらに、要求取得部として機能する拡張現実感処理部142は、利用者の手と、足と、声と、頭部と、または、これらの組み合わせと、のうちの少なくともいずれかによる利用者からの要求を取得し、拡張現実感処理部142における第2の表示態様から第1の表示態様への遷移を中止させることができる。
A−2−2.通常表示処理:
図5は、通常表示処理の手順を示すフローチャートである。通常表示処理は、第1の表示態様での仮想オブジェクトを表す虚像を画像表示部20に形成させるための処理である。通常表示処理は、通常表示状態ST1(図4)において、拡張現実感処理部142からの指示に基づいて開始され、通常表示処理部144によって実行される。
ステップS100において通常表示処理部144は、処理内で使用する変数iに「0」をセットする。ステップS102において通常表示処理部144は、カメラ61に外景画像を取得させる。
ステップS104において通常表示処理部144は、取得した外景画像から、対象オブジェクトの特徴を抽出する。ここで、「対象オブジェクト」とは、外景画像に含まれている複数の実オブジェクトのうち、遷移条件1または遷移条件3の成立時において「利用者の視界内に入った実オブジェクト」または「注目動作の対象となった実オブジェクト」を意味する。「注目動作」とは、利用者が、特定の1点を注目する動作を意味する。注目動作は、視線取得部(図2)によって取得される利用者の視線や、動き取得部(図2)によって取得される利用者の手の動きを利用して特定することができる。注目動作の取得方法については後述する。
具体的には、ステップS104において通常表示処理部144は、以下に例示するa1、a2のような画像認識の方法を用いて、取得した外景画像に含まれる対象オブジェクトの特徴を抽出する。なお、方法a1と方法a2とは、組み合わせてもよい。
(a1)対象オブジェクトのエッジ(特徴部)を検出する。
(a2)対象オブジェクトに予め付されたマーカー(特徴部)を検出する。なお、オブジェクトに付すマーカーは種々の種類のマーカーを使用可能であり、例えば、テープ、シール、マジック、レーザーマーカー、マジックテープ(登録商標)等を使用することができる。また、オブジェクトに付すマーカーの数は任意である。
ステップS106において拡張現実感処理部142は、HMD100の利用者の視野内における対象オブジェクトの位置と、HMD100と対象オブジェクトの間の距離と、を取得する。具体的には、拡張現実感処理部142は、ステップS104で抽出した特徴部の位置を、視野内における対象オブジェクトの位置とする。また、拡張現実感処理部142は、ステップS104で抽出した特徴から、対象オブジェクトが何であるか、および、対象オブジェクトが外景画像全体に占める大きさを特定する。拡張現実感処理部142は、特定した物体および大きさから、対象オブジェクトがHMD100からどの程度離れた位置に存在するか(両者間の距離)を推定する。なお、HMD100が深度センサーや、測距センサーを備える場合、ステップS106において拡張現実感処理部142は、これらセンサーの測定値を用いて、HMD100と対象オブジェクトとの間の距離を取得してもよい。そうすれば、拡張現実感処理部142は、より正確な距離を取得することができる。
ステップS108において拡張現実感処理部142は、対象オブジェクトに対応する1つまたは複数の仮想オブジェクトを取得する。拡張現実感処理部142は、仮想オブジェクトを、HMD100内の図示しないデータベースから取得してもよく、HMD100にネットワークを介して接続されている他の装置(サーバー等)内の図示しないデータベースから取得してもよい。
ステップS110において拡張現実感処理部142は、対象オブジェクトの位置および距離に合わせて仮想オブジェクトを配置して、通常表示用画像を生成する。具体的には、拡張現実感処理部142は、ステップS108で取得した仮想オブジェクト(文字や画像)を、ステップS106で取得した対象オブジェクトの距離に合わせた大きさに加工し、ステップS106で取得した対象オブジェクトの位置に合わせた位置に配置する。また、拡張現実感処理部142は、通常表示用画像のうち、仮想オブジェクトが配置されていない領域については、画像が表示された際における外景SCの視認性を向上させるために、黒色のデーターを配置する。
図6は、利用者に視認される通常表示用画像の一例を示す説明図である。図5のステップS112において拡張現実感処理部142は、通常表示用画像を表示させる。具体的には、拡張現実感処理部142は、ステップS110で生成した通常表示用画像を画像処理部160へ送信する。画像を受信した画像処理部160は、図2で説明した表示処理を実行する。この結果、図6に示すように、利用者は、視野VRにおいて、仮想オブジェクトVO1〜VO3が含まれた通常表示用画像NIを表す虚像VIを視認することができる。また、利用者は、虚像VIの背後の外景SCにおいて、仮想オブジェクトVO1〜VO3が装飾する対象オブジェクト(実オブジェクト)を視認することができる。
図6の例では、対象オブジェクトは、作業現場に置かれているテーブルカッターである。また、仮想オブジェクトVO1は、部品の場所を表す地図の画像であり、仮想オブジェクトVO2は、利用者に対する作業内容の指示を表す文字であり、仮想オブジェクトVO3は、作業内容の指示を補助する矢印の画像である。仮想オブジェクトVO1,VO2は、テーブルカッターの近傍に配置されており、仮想オブジェクトVO3はテーブルカッターに重畳されて配置されている。このように、拡張現実感処理部142は、仮想オブジェクトを対象オブジェクトの近傍に表示させてもよいし、仮想オブジェクトを対象オブジェクトに重ねて表示させてもよい。なお、図6の例では、1つの対象オブジェクトに3つの仮想オブジェクトが対応付けられている例を示した。しかし、1つの対象オブジェクトに対応付けられている仮想オブジェクトの数は任意であり、1つでもよく、複数でもよい。
図5のステップS114において拡張現実感処理部142は、変数iが「0」である場合に、通常表示用画像NIの表示時間の計測を開始する。ステップS116において拡張現実感処理部142は、変数iに「1」をセットする。その後、拡張現実感処理部142は、ステップS102へ処理を遷移させ、上述した処理を繰り返す。
以上のように、通常表示処理(図5)において通常表示処理部144は、HMD100の利用者に対して、拡張現実感を与えるための仮想オブジェクトVO1〜VO3を含む虚像VIを、画像表示部20に表示させることができる。通常表示処理において表示される仮想オブジェクトVO1〜VO3は、利用者の仮想オブジェクトの視認性を優先した、換言すれば、視認性阻害度が高い「第1の表示態様」である。
A−2−3.簡易表示処理:
図7は、簡易表示処理の手順を示すフローチャートである。簡易表示処理は、第2の表示態様での仮想オブジェクトを表す虚像を画像表示部20に形成させるための処理である。簡易表示処理は、簡易表示状態ST2(図4)において、拡張現実感処理部142からの指示に基づいて開始され、簡易表示処理部146によって実行される。
ステップS200において簡易表示処理部146は、通常表示処理(図5)のステップS114において開始した、通常表示用画像NIの表示時間の計測を終了する。簡易表示処理部146は、計測した表示時間を、既存のデーター区別可能な態様で過去維持時間122に記憶させる。
ステップS202において簡易表示処理部146は、簡易表示態様126(第2の表示態様において採用される具体的な表示態様)を取得する。ステップS202およびS206において簡易表示処理部146は、取得した簡易表示態様126の値を参照する。
図8は、非表示の一例を示す説明図である。図7において、簡易表示態様126が「非表示」であることを示している場合(ステップS202:非表示)、ステップS204において簡易表示処理部146は、通常表示用画像NI(図6)を非表示とする。具体的には、簡易表示処理部146は、以下に例示するb1〜b4のいずれかの方法を用いて、通常表示用画像NIを非表示とすることができる。
(b1)仮想オブジェクトを突然消す:
簡易表示処理部146は、各仮想オブジェクトVO1〜VO3を突然消す態様で、通常表示用画像NIを非表示とする。具体的には、簡易表示処理部146は、画像処理部160への通常表示用画像NIの送信を停止する。または、簡易表示処理部146は、表示制御部190に対して表示駆動部(LCDまたはバックライト)の駆動を停止させる旨の要求を送信する。これにより、画像表示部20による通常表示用画像NIを表す虚像VIの表示が中止される。
(b2)仮想オブジェクトを枠外へフェードアウトさせる:
簡易表示処理部146は、各仮想オブジェクトVO1〜VO3を画像の枠外へフェードアウトさせる態様で、通常表示用画像NIを非表示とする。具体的には、簡易表示処理部146は、各仮想オブジェクトVO1〜VO3が、通常表示用画像NIの枠外へフェードアウトしている途中の通常表示用画像の生成と、生成した画像の画像処理部160への送信と、を繰り返せばよい。これにより、図8に示すように、処理が繰り返される毎に、仮想オブジェクトの位置は画像の枠外(図8において矢印で示す方向)に向かって徐々に移動する。この結果、利用者には、仮想オブジェクトが枠外に向かって段階的に消えていくように見えるため、表示態様の変化に伴って利用者に与える違和感を低減させることができる。
(b3)仮想オブジェクトの透過率を上げてフェードアウトさせる:
簡易表示処理部146は、各仮想オブジェクトVO1〜VO3の透過率を徐々に上げてフェードアウトさせる態様で、通常表示用画像NIを非表示とする。具体的には、簡易表示処理部146は、各仮想オブジェクトVO1〜VO3のドットをn個(nは任意の整数)抜いた通常表示用画像の生成と、生成した画像の画像処理部160への送信と、を繰り返せばよい。これにより、処理が繰り返される毎に、仮想オブジェクトのドットがn個ずつ減っていく。この結果、利用者には、仮想オブジェクトの透過率が上がって段階的に消えていくように見えるため、表示態様の変化に伴って利用者に与える違和感を低減させることができる。なお、簡易表示処理部146は、仮想オブジェクトのドットを抜く代わりに、仮想オブジェクトのドットを黒ドットと置き換えてもよく、仮想オブジェクトを輪郭だけ表示した仮想オブジェクトに置き換えてもよく、通常表示用画像NIのα値を上げてもよく、通常表示用画像NIの彩度を下げてもよい。
(b4)仮想オブジェクトの透過率を上げつつ、枠外へフェードアウトさせる:
方法b2と方法b3との組み合わせである。これにより、処理が繰り返される毎に、仮想オブジェクトのドットがn個ずつ減ると共に、仮想オブジェクトの位置は画像の枠外(図8において矢印で示す方向)に向かって徐々に移動していく。この結果、利用者には、仮想オブジェクトの透過率が上がりつつ、仮想オブジェクトが枠外に向かって段階的に消えていくように見えるため、表示態様の変化に伴って利用者に与える違和感を低減させることができる。
図9は、端部アイコン表示の一例を示す説明図である。図7において、簡易表示態様126が「端部アイコン表示」であることを示している場合(ステップS202:その他、ステップS206:端部アイコン表示)、ステップS210において簡易表示処理部146は、通常表示用画像NI(図6)に表示されている各仮想オブジェクトVO1〜VO3に対応する1つまたは複数のアイコン画像を取得する。簡易表示処理部146は、アイコン画像を、HMD100内の図示しないデータベースから取得してもよく、HMD100にネットワークを介して接続されている他の装置(サーバー等)内の図示しないデータベースから取得してもよい。アイコン画像は、仮想オブジェクトと1対1の関係で対応付けられていてもよいし、1対多、多対1の関係で対応付けられていてもよい。
ステップS212において簡易表示処理部146は、ステップS210で取得した全てのアイコン画像を端部に配置し、簡易表示用画像を生成する。ここで「端部」とは、上下左右どこでもよい。ただし、情報受容能力に優れる有効視野である水平約30°、垂直約20°の範囲内、または、注視点が迅速に安定して見える安定注視野である水平60°〜90°、垂直45°〜70°の範囲内を避けることが好ましい。また、簡易表示処理部146は、簡易表示用画像のうち、アイコン画像が配置されていない領域については、画像が表示された際における外景SCの視認性を向上させるために、黒色のデーターを配置する。
ステップS240において簡易表示処理部146は、通常表示用画像NI(図6)に代えて、生成した簡易表示用画像を表示させる。この結果、図9に示すように、利用者は、視野VRにおいて、仮想オブジェクト(アイコン画像)VO4,VO5が含まれた簡易表示用画像SIを表す虚像VIを視認することができる。また、利用者は、虚像VIの背後の外景SCにおいて、仮想オブジェクトVO4,VO5が装飾する対象オブジェクト(実オブジェクト)を視認することができる。
図9の例では、対象オブジェクトは、図6と同様に、作業現場に置かれているテーブルカッターである。また、仮想オブジェクトVO4は、地図のアイコン画像であり、仮想オブジェクトVO5は、マニュアルのアイコン画像である。仮想オブジェクトVO4は、仮想オブジェクトVO1に対応付けられている。仮想オブジェクトVO5は、仮想オブジェクトVO2およびVO3に対応付けられている。仮想オブジェクトVO4,VO5は、共に、簡易表示用画像SIの右下端部に配置されている。
図10は、近傍アイコン表示の一例を示す説明図である。図7において、簡易表示態様126が「近傍アイコン表示」であることを示している場合(ステップS202:その他、ステップS206:近傍アイコン表示)、ステップS220において簡易表示処理部146は、通常表示用画像NI(図6)に表示されている各仮想オブジェクトVO1〜VO3に対応する1つまたは複数のアイコン画像を取得する。詳細は、ステップS210と同様である。
ステップS222において簡易表示処理部146は、カメラ61に外景画像を取得させる。ステップS224において簡易表示処理部146は、取得した外景画像から、対象オブジェクトの特徴を抽出する。詳細は、図5のステップS104と同様である。ステップS226において簡易表示処理部146は、対象オブジェクトの位置と、距離とを取得する。詳細は、図5のステップS106と同様である。
ステップS228において簡易表示処理部146は、対象オブジェクトの位置および距離に合わせてアイコン画像を配置して、簡易表示用画像を生成する。具体的には、簡易表示処理部146は、ステップS220で取得したアイコン画像を、ステップS226で取得した対象オブジェクトの距離に合わせた大きさに加工し、ステップS226で取得した対象オブジェクトの位置に合わせた位置(近傍)に配置する。また、簡易表示処理部146は、簡易表示用画像のうち、アイコン画像が配置されていない領域については、画像が表示された際における外景SCの視認性を向上させるために、黒色のデーターを配置する。
ステップS240において簡易表示処理部146は、通常表示用画像NI(図6)に代えて、生成した簡易表示用画像を表示させる。この結果、図10に示すように、利用者は、視野VRにおいて、仮想オブジェクト(アイコン画像)VO4,VO5が含まれた簡易表示用画像SIを表す虚像VIを視認することができる。図10の例では、対象オブジェクト、および、仮想オブジェクトVO4,VO5は、図9と同様である。図10が図9と相違する点は、仮想オブジェクトが簡易表示用画像の端部ではなく、対象オブジェクト(実オブジェクト)の近傍に配置されている点である。
図11は、強調表示の一例を示す説明図である。図7において、簡易表示態様126が「強調表示」であることを示している場合(ステップS202:その他、ステップS206:強調表示)、ステップS230において簡易表示処理部146は、カメラ61に外景画像を取得させる。ステップS232において136は、取得した外景画像から、対象オブジェクトの特徴を抽出する。詳細は、図5のステップS104と同様である。ステップS234において簡易表示処理部146は、対象オブジェクトの位置と、距離とを取得する。詳細は、図5のステップS106と同様である。
ステップS236において簡易表示処理部146は、対象オブジェクトの装飾用画像を生成する。具体的には、簡易表示処理部146は、ステップS232で特定した対象オブジェクトの特徴と、ステップS234で取得した対象オブジェクトの位置と距離とに応じて、対象オブジェクトの少なくとも一部分を装飾するための画像を生成する。ここで、「装飾」とは、強調することを意味する。このため、「装飾するための画像」とは、対象オブジェクトの少なくとも一部分が発光(点灯、点滅含む)しているように見せるための画像や、対象オブジェクトの少なくとも一部分を縁取るための画像や、対象オブジェクトの少なくとも一部分を浮き出して見せるための画像等を意味する。
ステップS238において簡易表示処理部146は、対象オブジェクトの位置および距離に合わせて、ステップS236で生成した装飾用画像を配置して、簡易表示用画像を生成する。また、簡易表示処理部146は、簡易表示用画像のうち、装飾用画像が配置されていない領域については、画像が表示された際における外景SCの視認性を向上させるために、黒色のデーターを配置する。
ステップS240において簡易表示処理部146は、通常表示用画像NI(図6)に代えて、生成した簡易表示用画像を表示させる。この結果、図11に示すように、利用者は、視野VRにおいて、仮想オブジェクト(装飾用画像)VO6が含まれた簡易表示用画像SIを表す虚像VIを視認することができる。
図11の例では、対象オブジェクト(実オブジェクト)は、図6と同様に、作業現場に置かれているテーブルカッターである。また、仮想オブジェクトVO6は、テーブルカッターの一部分、すなわち、刃の部分を強調するための装飾用画像である。
図7のステップS240が終了した後、簡易表示処理部146は、ステップS202へ処理を遷移させ、上述した処理を繰り返す。
以上のように、簡易表示処理(図7)において、簡易表示処理部146が「端部アイコン表示」と、「近傍アイコン表示」と、「強調表示」と、のうちのいずれかである場合、簡易表示処理部146は、HMD100の利用者に対して、拡張現実感を与えるための仮想オブジェクトVO4〜VO6を含む虚像VIを、画像表示部20に表示させることができる。簡易表示処理において表示される仮想オブジェクトVO4〜VO6は、利用者の外景の視認性を優先した、換言すれば、視認性阻害度が低い「第2の表示態様」である。
以上のように、簡易表示処理(図7)によれば、第1の表示態様の仮想オブジェクト(図6、VO1〜VO3)と比較して、虚像VIに占める仮想オブジェクトの面積が小さい(視認性阻害度が低い)第2の表示態様の仮想オブジェクト(図8、図9、図10、図11、VO4〜VO6)を用いて、第1の表示態様での仮想オブジェクトの内容を示唆することができる。
なお、上述した端部アイコン表示、近傍アイコン表示、強調表示の各説明において、通常表示用画像NI(図6)と簡易表示用画像SI(図9、図10、図11)との遷移は、突然行われるものとした。しかし、通常表示用画像NIから簡易表示用画像SIへの遷移は、徐々に行ってもよい。具体的には、ステップS204の方法b2〜b4と同様の方法を用いることができる。このようにすれば、利用者には、通常表示用画像NIが段階的に簡易表示用画像SIへ変化するように見えるため、表示態様の変化に伴って利用者に与える違和感を低減させることができる。
また、上述した端部アイコン表示、近傍アイコン表示の各説明において、仮想オブジェクトVO4,VO5は、アイコン画像であるとした。また、強調表示の説明において、仮想オブジェクトVO6は、図形画像であるとした。しかし、これら第2の表示態様での仮想オブジェクトは、必ずしもアイコン画像や図形画像でなくともよい。第2の表示態様での仮想オブジェクトは、第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の内容を示唆する文字と、図形と、絵柄と、記号と、または、これらの組み合わせとからなる限りにおいて、任意の態様を採用することができる。例えば、第2の表示態様での仮想オブジェクトは、単なる文字列であってもよいし、単なる記号であってもよいし、絵柄と文字列との組み合わせであってもよい。
以降では、拡張現実感処理において拡張現実感処理部142が実施する、遷移条件1〜3の成立の監視の手順について説明する。
A−2−4.遷移条件1の成立の監視:
図12は、遷移条件1の成立の監視の手順を示すフローチャートである。拡張現実感処理部142には、以下に列挙する条件1−1〜1−5のうちの少なくともいずれか1つ(複数でもよい)が、遷移条件1として予め設定されている。拡張現実感処理部142は、設定されている条件(1−1〜1−5)のうちの、少なくともいずれか1つが成立した場合に、遷移条件1が成立したと判定する。
(1−1)利用者の視界内に、仮想オブジェクトの表示対象である実オブジェクトが入った場合
(1−2)利用者による注目動作が、過去の拡張現実感処理における基準時間の統計値以上、継続された場合
(1−3)利用者による注目動作が、仮想オブジェクトの情報量から求めた時間以上、継続された場合
(1−4)利用者による注目動作が、利用者によって設定された設定値以上、継続された場合
(1−5)利用者による注目動作が、利用者の個人差と仮想オブジェクトの情報量とを考慮して求めた時間以上、継続された場合
以降、拡張現実感処理部142が条件1−1〜1−5の成立を判定するための具体的な手順について、図12を用いて説明する。
(1−1)CASE(視界内):利用者の視界内に、仮想オブジェクトの表示対象である実オブジェクトが入った場合
ステップS310において拡張現実感処理部142は、カメラ61を用いて外景画像を取得する。ステップS312において拡張現実感処理部142は、取得した外景画像を画像認識することで、外景画像に仮想オブジェクトの表示対象である実オブジェクトが含まれているか否かを判定する。この「仮想オブジェクトの表示対象である実オブジェクト」は、通常表示処理(図5)における「対象オブジェクト」となる。
対象オブジェクトが含まれている場合(ステップS312:YES)、ステップS314において拡張現実感処理部142は、遷移条件1が成立したと判定する。なお、対象オブジェクトが含まれていない場合、拡張現実感処理部142は、条件1−1〜1−5の成立を引き続き監視する。
このように、条件1−1を用いれば、拡張現実感処理部142は、仮想オブジェクトの表示対象である実オブジェクト(対象オブジェクト)が利用者の視界内に入った場合に、遷移条件1が成立したと判定し、拡張現実感処理の状態(図4)を、初期状態から通常表示状態ST1へと遷移させることができる。この結果、通常表示処理部144による通常表示処理(図5)が実行され、HMD100は、第1の表示状態での仮想オブジェクトを含む虚像VI(図6)を利用者に視認させることができる。
(1−2)CASE(過去基準時間):利用者による注目動作が、過去の拡張現実感処理における基準時間の統計値以上、継続された場合
ステップS320において拡張現実感処理部142は、利用者による注目動作(利用者が特定の1点を注目する動作)の開始を検出する。本実施形態では、視線取得部(視線検出部62およびCPU140の拡張現実感処理部142)によって取得された利用者の視線が、所定時間以上に亘ってある1点から動かない場合に、注目動作が開始されたと判定することができる。所定時間とは任意に定めることができる。また、「ある1点から動いたか否か」の判定においては、眼球振盪に起因する視線のぶれを考慮して、所定の範囲内のぶれを許容することが好ましい。なお、動き検出部(カメラ61およびCPU140の拡張現実感処理部142)によって取得された利用者の手の動きが、所定時間以上に亘ってある1点から動かない場合に、注目動作が開始されたと判定してもよい。この場合も、「ある1点から動いたか否か」の判定において、手ぶれを考慮して、所定の範囲内のぶれを許容することが好ましい。
ステップS322において拡張現実感処理部142は、過去基準時間124に記憶されている、過去の拡張現実感処理において使用された基準時間(以降、「過去の基準時間」とも呼ぶ。)の履歴を、他の利用者の履歴も含めて、全て取得する。なお、ステップS322において拡張現実感処理部142は「基準時間取得部」として機能し、過去基準時間124は「基準時間情報」として機能する。
ステップS324において拡張現実感処理部142は、取得した履歴を用いて、過去の基準時間の統計値を求める。統計値は、任意の統計的手法によって求めることができ、例えば、平均値、最頻値、中央値等とすることができる。拡張現実感処理部142は、求めた統計値を「今回の処理で使用する基準時間」とする。
ステップS326において拡張現実感処理部142は、ステップS320から検出を開始した利用者の注目動作の継続時間が、今回の処理で使用する基準時間(ステップS324の統計値)以上となったか否かを判定する。
統計値以上となった場合(ステップS326:YES)、ステップS328において拡張現実感処理部142は、遷移条件1が成立したと判定する。そして、拡張現実感処理部142は、ステップS320から検出を開始した実際の利用者の注目動作の継続時間と、第1の表示態様での仮想オブジェクトの情報量と、利用者の識別子と、を過去基準時間124に記憶させる。第1の表示態様での仮想オブジェクトの情報量の求め方は、ステップS332で説明する。
さらに、ステップS328において拡張現実感処理部142は、注目動作の対象となった実オブジェクトを特定する。具体的には、拡張現実感処理部142は、ステップS320によって検出された利用者の視線の方向と、カメラ61によって得られた外景画像とを照合することによって、注目動作の対象となった実オブジェクトを特定することができる。この「注目動作の対象となった実オブジェクト」は、通常表示処理(図5)および簡易表示処理(図7)における「対象オブジェクト」となる。なお、ステップS320において利用者の手の動きを用いる場合、拡張現実感処理部142は、カメラ61によって得られた外景画像を画像解析し、利用者の手(例えば指先)によって示されているオブジェクトを、注目動作の対象となった実オブジェクトとしてもよい。
なお、統計値以上となる前に注目動作が終了した場合、拡張現実感処理部142は、条件1−1〜1−5の成立を引き続き監視する。
このように、条件1−2を用いれば、拡張現実感処理部142は、過去の拡張現実感処理で使用された基準時間(過去の基準時間)の統計値、すなわち、過去の基準時間の傾向に基づいて、自動的に、現在の拡張現実感処理で使用する基準時間を変更することができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件1が成立したと判定し、拡張現実感処理の状態(図4)を、初期状態から通常表示状態ST1へと遷移させることができる。
(1−3)CASE(情報量):利用者による注目動作が、仮想オブジェクトの情報量から求めた時間以上、継続された場合
ステップS330において拡張現実感処理部142は、利用者による注目動作の開始を検出する。詳細は、ステップS320と同様である。
ステップS332において拡張現実感処理部142は、仮想オブジェクトの情報量を取得する。具体的には、拡張現実感処理部142は、ステップS320において検出された、注目動作の対象となった実オブジェクト(すなわち、対象オブジェクト)を特定する。詳細は、ステップS326と同様である。拡張現実感処理部142は、特定した対象オブジェクトに対応する1つまたは複数の仮想オブジェクト(第1の表示態様の仮想オブジェクト)を取得する。詳細は、図5のステップS108と同様である。拡張現実感処理部142は、取得した1つまたは複数の仮想オブジェクトの情報量を求める。拡張現実感処理部142は、仮想オブジェクトの情報量を、例えば、以下に例示するc1〜c3のいずれかの方法を用いて求めることができる。仮想オブジェクトが複数取得された場合は、複数の平均値を情報量としてもよいし、複数の合計値を情報量としてもよい。
(c1)仮想オブジェクトのファイルサイズ:拡張現実感処理部142は、仮想オブジェクトが文字と画像との結合である場合や、仮想オブジェクトが映像である場合や、仮想オブジェクトの種類が不明である場合において、方法c1を採用することが好ましい。
(c2)仮想オブジェクトに含まれる文字数:拡張現実感処理部142は、仮想オブジェクトが文字である場合に、方法c2を採用することが好ましい。
(c3)仮想オブジェクトを二値化した際の黒色ドットの割合:拡張現実感処理部142は、仮想オブジェクトが画像である場合に、方法c3を採用することが好ましい。
上述した方法c1〜c3を使い分ければ、拡張現実感処理部142は、第1の表示態様での仮想オブジェクトの種類に適した方法で仮想オブジェクトの情報量を求めることができるため、より正確に仮想オブジェクトの情報量を把握することができる。
ステップS334において拡張現実感処理部142は、ステップS332で取得した仮想オブジェクトの情報量から、今回の処理で使用する基準時間の閾値を求める。閾値は、任意の方法で求めることができ、例えば、情報量に所定の係数を乗じて閾値としてもよいし、情報量の候補と閾値の候補とを対応付けたテーブルを用いて閾値を求めてもよい。拡張現実感処理部142は、求めた閾値を「今回の処理で使用する基準時間」とする。
ステップS336において拡張現実感処理部142は、ステップS330から検出を開始した利用者の注目動作の継続時間が、今回の処理で使用する基準時間(ステップS334の閾値)以上となったか否かを判定する。
閾値以上となった場合(ステップS336:YES)、ステップS338において拡張現実感処理部142は、遷移条件1が成立したと判定する。遷移条件1成立後の処理(過去基準時間124への記憶、注目動作の対象となった実オブジェクトの特定)は、ステップS328と同様である。なお、閾値以上となる前に注目動作が終了した場合、拡張現実感処理部142は、条件1−1〜1−5の成立を引き続き監視する。
このように、条件1−3を用いれば、拡張現実感処理部142は、虚像VIに占める面積が大きな(視認性阻害度が高い)第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の情報量に基づいて、現在の拡張現実感処理で使用する基準時間を変更することができる。このようにすれば、拡張現実感処理部142は、例えば、第1の表示態様での仮想オブジェクトの情報量が多い場合、換言すれば、初期状態から第1の表示態様への遷移に伴う仮想オブジェクトの表示が、実オブジェクトを視認する際の妨げとなりやすい場合の基準時間を、情報量が少ない場合の基準時間よりも長くすることもできるため、利用者の利便性を向上させることができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件1が成立したと判定し、拡張現実感処理の状態(図4)を通常表示状態ST1へと遷移させることができる。
(1−4)CASE(利用者の設定):利用者による注目動作が、利用者によって設定された設定値以上、継続された場合
ステップS340において拡張現実感処理部142は、利用者による注目動作の開始を検出する。詳細は、ステップS320と同様である。
ステップS342において拡張現実感処理部142は、基準時間設定125に記憶されている、利用者が設定した基準時間の設定値を取得する。なお、ステップS342において拡張現実感処理部142は「基準時間取得部」として機能する。拡張現実感処理部142は、取得した設定値を「今回の処理で使用する基準時間」とする。
ステップS344において拡張現実感処理部142は、ステップS340から検出を開始した利用者の注目動作の継続時間が、今回の処理で使用する基準時間(ステップS342の設定値)以上となったか否かを判定する。
設定値以上となった場合(ステップS344:YES)、ステップS346において拡張現実感処理部142は、遷移条件1が成立したと判定する。遷移条件1成立後の処理(過去基準時間124への記憶、注目動作の対象となった実オブジェクトの特定)は、ステップS328と同様である。なお、設定値以上となる前に注目動作が終了した場合、拡張現実感処理部142は、条件1−1〜1−5の成立を引き続き監視する。
このように、条件1−4を用いれば、拡張現実感処理部142は、基準時間設定125に記憶されている利用者の好みの設定値に応じて、現在の拡張現実感処理で使用する基準時間を変更することができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件1が成立したと判定し、拡張現実感処理の状態(図4)を、初期状態から通常表示状態ST1へと遷移させることができる。
(1−5)CASE(利用者の個人差):利用者による注目動作が、利用者の個人差と仮想オブジェクトの情報量とを考慮して求めた時間以上、継続された場合
ステップS350において拡張現実感処理部142は、利用者による注目動作の開始を検出する。詳細は、ステップS320と同様である。
ステップS352において拡張現実感処理部142は、過去基準時間124に記憶されている過去の拡張現実感処理において使用された基準時間の履歴から、現在のHMD100の利用者についての履歴を取得する。拡張現実感処理部142は、利用者の識別子をキーとして過去基準時間124を検索すればよい。なお、ステップS322において拡張現実感処理部142は「基準時間取得部」として機能する。
ステップS354において拡張現実感処理部142は、取得した履歴の「情報量」を「注目動作の継続時間」で除することで、HMD100の利用者が単位時間あたりに注目することのできる情報量を求める。次に拡張現実感処理部142は、第1の表示態様での仮想オブジェクトの情報量を、求めた情報量(単位時間あたりに注目することのできる情報量)で除することで、理想基準時間を求める。拡張現実感処理部142は、求めた理想基準時間を「今回の処理で使用する基準時間」とする。なお、第1の表示態様での仮想オブジェクトの情報量の求め方は、ステップS332と同様である。
ステップS356において拡張現実感処理部142は、ステップS320から検出を開始した利用者の注目動作の継続時間が、今回の処理で使用する基準時間(ステップS354の理想基準時間)以上となったか否かを判定する。
理想基準時間以上となった場合(ステップS356:YES)、ステップS358において拡張現実感処理部142は、遷移条件1が成立したと判定する。遷移条件1成立後の処理(過去基準時間124への記憶、注目動作の対象となった実オブジェクトの特定)は、ステップS328と同様である。なお、理想基準時間以上となる前に注目動作が終了した場合、拡張現実感処理部142は、条件1−1〜1−5の成立を引き続き監視する。
このように、条件1−5を用いれば、拡張現実感処理部142は、基準時間情報(過去基準時間124)を用いて、利用者が単位時間当たりに注目することのできる情報量を求めることができる。このため、拡張現実感処理部142は、例えば、求めた情報量(利用者が単位時間当たりに注目することのできる情報量)と、第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の情報量と、に基づいて、現在の拡張現実感処理で使用する基準時間を変更することができる。このようにすれば、拡張現実感処理部142は、例えば、利用者が単位時間あたりに注目することのできる情報量が少ない場合、換言すれば、初期状態から第1の表示態様への遷移に伴う仮想オブジェクトの表示が、実オブジェクトを視認する際の妨げとなりやすい場合の基準時間を、情報量が多い場合の基準時間よりも長くすることができる。この結果、拡張現実感処理部142は、利用者の個人差に応じて基準時間を変更することができるため、利用者の利便性を向上させることができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件1が成立したと判定し、拡張現実感処理の状態(図4)を、初期状態から通常表示状態ST1へと遷移させることができる。
以上のように、拡張現実感処理(遷移条件1の成立に伴う、初期状態から通常表示状態ST1への遷移)によれば、拡張現実感処理部142は、所定の基準時間に亘る注目動作の継続に応じて、少なくとも注目動作のなされた実オブジェクト(対象オブジェクト)について、第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)を含んだ虚像VI(NI)を画像表示部20に形成させる。このようにして、注目動作の継続という利用者の意図によって仮想オブジェクトを表示させるため、利用者は、注目動作を継続して行わない限り、現実世界に実在する実オブジェクトを視認しやすい状態を維持することができる。この結果、仮想オブジェクトの表示が、実オブジェクトまたはその背景を視認する際の妨げとなりづらい頭部装着型表示装置(HMD100)を提供することができる。
さらに、拡張現実感処理(遷移条件1の成立の監視)によれば、拡張現実感処理部142は、張現実感処理が開始された後、虚像VIに占める仮想オブジェクトVO1〜VO3の面積が大きな(視認性阻害度が高い)第1の表示態様(図6)へと表示態様を遷移させるための基準時間を、例えば、条件1−2〜1−5に列挙したような、種々の条件に応じて変更することができる。
さらに、拡張現実感処理(遷移条件1の成立の監視)において、視線取得部(視線検出部62およびCPU140の拡張現実感処理部142)によって取得された利用者の視線を用いることとすれば、利用者は、手や足を動かさずに視線を用いて注目動作を行うことが可能となる。このため、利用者が手を離すことが困難である作業中等の場面においても、利用者は、簡単に注目動作を行うことができる。また、拡張現実感処理(遷移条件1の成立の監視)において、動き検出部(カメラ61およびCPU140の拡張現実感処理部142)によって取得された利用者の手の動きを用いることとすれば、利用者は、普段の動作において慣れた手の動きを用いて、簡単に注目動作を行うことが可能となる。
A−2−5.遷移条件3の成立の監視:
遷移条件3の成立の監視の手順は、図12に示した遷移条件1とほぼ同じである。以降、相違点について説明する。拡張現実感処理部142には、以下に列挙する条件3−1〜3−5のうちの少なくともいずれか1つ(複数でもよい)が、遷移条件3として予め設定されている。拡張現実感処理部142は、設定されている条件(3−1〜3−5)のうちの、少なくともいずれか1つが成立した場合に、遷移条件3が成立したと判定する。
(3−1)利用者の視界内に仮想オブジェクトの表示対象である実オブジェクトが入り、かつ、利用者が所定の動作を行った場合
(3−2)利用者による注目動作が、過去の拡張現実感処理における基準時間の統計値以上、継続された場合
(3−3)利用者による注目動作が、仮想オブジェクトの情報量から求めた時間以上、継続された場合
(3−4)利用者による注目動作が、利用者によって設定された設定値以上、継続された場合
(3−5)利用者による注目動作が、利用者の個人差と仮想オブジェクトの情報量とを考慮して求めた時間以上、継続された場合
(3−1)利用者の視界内に仮想オブジェクトの表示対象である実オブジェクトが入り、かつ、利用者が所定の動作を行った場合
ステップS310、S312は図12と同様である。ステップS312において対象オブジェクトが含まれている場合(ステップS312:YES)、拡張現実感処理部142は、利用者によって所定の動作が行われたか否かを監視する。所定の動作としては、図4で説明した無効化アクションとは異なる動作である限りにおいて任意の動作を採用することができ、例えば、特定の「ジェスチャー」を採用することができる。ジェスチャーの取得方法は、無効化アクションの取得方法と同様である。所定の動作が行われた場合、ステップS314において拡張現実感処理部142は、遷移条件3が成立したと判定する。
このように、条件3−1を用いれば、拡張現実感処理部142は、仮想オブジェクトの表示対象である実オブジェクト(対象オブジェクト)が利用者の視界内に入り、かつ、利用者が所定の動作を行った場合に、遷移条件3が成立したと判定し、拡張現実感処理の状態(図4)を、簡易表示状態ST2から通常表示状態ST1へと遷移させることができる。
(3−2)利用者による注目動作が、過去の拡張現実感処理における基準時間の統計値以上、継続された場合
ステップS320〜S326は図12と同様である。ステップS328において拡張現実感処理部142は、遷移条件3が成立したと判定後、過去基準時間124への記憶(ステップS328と同様)を実施する。その後、拡張現実感処理部142は、以下d1、d2いずれかの実オブジェクトを特定する。特定方法は、ステップS328と同様である。
(d1)注目動作の対象となった実オブジェクト
(d2)注目動作の対象となった第2の表示態様での仮想オブジェクトに対応付けられている実オブジェクト
このように、条件3−2を用いれば、拡張現実感処理部142は、条件1−2と同様に、過去の基準時間の統計値(過去の基準時間)の傾向に基づいて、自動的に、現在の拡張現実感処理で使用する基準時間を変更することができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件3が成立したと判定し、拡張現実感処理の状態(図4)を、簡易表示状態ST2から通常表示状態ST1へと遷移させることができる。
(3−3)利用者による注目動作が、仮想オブジェクトの情報量から求めた時間以上、継続された場合
ステップS330、S334、S336は図12と同様である。ステップS332、S338については、「注目動作の対象となった実オブジェクト」との記載を「条件3−2で説明したd1、d2いずれかの実オブジェクト」と読み替えればよい。
このように、条件3−3を用いれば、拡張現実感処理部142は、条件1−3と同様に、虚像VIに占める面積が大きな(視認性阻害度が高い)第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の情報量に基づいて、現在の拡張現実感処理で使用する基準時間を変更することができる。このようにすれば、拡張現実感処理部142は、例えば、第1の表示態様での仮想オブジェクトの情報量が多い場合、換言すれば、第2の表示態様(図8、図9、図10、図11)から第1の表示態様への遷移に伴う仮想オブジェクトの表示が、実オブジェクトを視認する際の妨げとなりやすい場合の基準時間を、情報量が少ない場合の基準時間よりも長くすることもできるため、利用者の利便性を向上させることができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件3が成立したと判定し、拡張現実感処理の状態(図4)を、簡易表示状態ST2から通常表示状態ST1へと遷移させることができる。
(3−4)利用者による注目動作が、利用者によって設定された設定値以上、継続された場合
ステップS340〜S344は図12と同様である。ステップS346については、「注目動作の対象となった実オブジェクト」との記載を「条件3−2で説明したd1、d2いずれかの実オブジェクト」と読み替えればよい。
このように、条件3−4を用いれば、拡張現実感処理部142は、条件1−4と同様に、基準時間設定125に記憶されている利用者の好みの設定値に応じて、現在の拡張現実感処理で使用する基準時間を変更することができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件3が成立したと判定し、拡張現実感処理の状態(図4)を、簡易表示状態ST2から通常表示状態ST1へと遷移させることができる。
(3−5)利用者による注目動作が、利用者の個人差と仮想オブジェクトの情報量とを考慮して求めた時間以上、継続された場合
ステップS350〜S356は図12と同様である。ステップS358については、「注目動作の対象となった実オブジェクト」との記載を「条件3−2で説明したd1、d2いずれかの実オブジェクト」と読み替えればよい。
このように、条件3−5を用いれば、拡張現実感処理部142は、条件1−5と同様に、例えば、利用者が単位時間当たりに注目することのできる情報量と、第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の情報量と、に基づいて、現在の拡張現実感処理で使用する基準時間を変更することができる。このようにすれば、拡張現実感処理部142は、例えば、利用者が単位時間あたりに注目することのできる情報量が少ない場合、換言すれば、第2の表示態様(図8、図9、図10、図11)から第1の表示態様への遷移に伴う仮想オブジェクトの表示が、実オブジェクトを視認する際の妨げとなりやすい場合の基準時間を、情報量が多い場合の基準時間よりも長くすることができる。この結果、拡張現実感処理部142は、利用者の個人差に応じて基準時間を変更することができるため、利用者の利便性を向上させることができる。また、拡張現実感処理部142は、利用者の注目動作の継続時間が、現在の拡張現実感処理で使用する基準時間以上となった場合に、遷移条件3が成立したと判定し、拡張現実感処理の状態(図4)を、簡易表示状態ST2から通常表示状態ST1へと遷移させることができる。
以上のように、拡張現実感処理(遷移条件3の成立に伴う、簡易表示状態ST2から通常表示状態ST1への遷移)によれば、拡張現実感処理部142は、第2の表示態様での仮想オブジェクト(図8、図9、図10、図11、VO4〜VO6)を含んだ虚像VI(SI)を画像表示部20に形成させた後においては、実オブジェクト(上記d1)に加えて、第2の表示態様での仮想オブジェクト(上記d2)に対する所定の基準時間に亘る注目動作の継続に応じて、第2の表示態様よりも虚像に占める仮想オブジェクトの面積が大きい(視認性阻害度が高い)第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)を含んだ虚像VI(NI)を画像表示部20に形成させることができる。また、注目動作の継続という利用者の意図によって、第2の表示状態から第1の表示状態へと仮想オブジェクトの表示状態が遷移し、表示される虚像に占める仮想オブジェクトの面積が大きくなる(視認性阻害度が高くなる)ため、利用者は、注目動作を継続して行わない限り、現実世界に実在する実オブジェクトを視認しやすい状態を維持することができる。換言すれば、利用者は、自分の意図で仮想オブジェクトの視認性阻害度を制御することができる。この結果、仮想オブジェクトの表示が、実オブジェクトまたはその背景を視認する際の妨げとなりづらい頭部装着型表示装置(HMD100)を提供することができる。
さらに、拡張現実感処理(遷移条件3の成立の監視)によれば、拡張現実感処理部142は、虚像VIに占める仮想オブジェクトVO4〜VO6の面積が小さな(視認性阻害度が低い)第2の表示態様(図8、図9、図10、図11)から、虚像VIに占める仮想オブジェクトVO1〜VO3の面積が大きな(視認性阻害度が高い)第1の表示態様(図6)へと表示態様を遷移させるための基準時間を、例えば、条件3−2〜3−5に列挙したような、種々の条件に応じて変更することができる。
A−2−6.遷移条件2の成立の監視:
図13は、遷移条件2の成立の監視の手順を示すフローチャートである。拡張現実感処理部142には、以下に列挙する条件2−1〜2−5のうちの少なくともいずれか1つ(複数でもよい)が、遷移条件2として予め設定されている。拡張現実感処理部142は、設定されている条件(2−1〜2−5)のうちの、少なくともいずれか1つが成立した場合に、遷移条件2が成立したと判定する。
(2−1)利用者の視界内から、仮想オブジェクトの表示対象である実オブジェクトが外れた場合
(2−2)第1の表示態様での仮想オブジェクトの表示後、過去の拡張現実感処理における維持時間の統計値以上の時間が経過した場合
(2−3)第1の表示態様での仮想オブジェクトの表示後、仮想オブジェクトの情報量から求めた時間以上の時間が経過した場合
(2−4)第1の表示態様での仮想オブジェクトの表示後、利用者によって設定された設定値以上の時間が経過した場合
(2−5)第1の表示態様での仮想オブジェクトの表示後、利用者の個人差と仮想オブジェクトの情報量とを考慮して求めた時間以上の時間が経過した場合
以降、拡張現実感処理部142が条件2−1〜2−5の成立を判定するための具体的な手順について、図13を用いて説明する。
(2−1)CASE(視界外):利用者の視界から、仮想オブジェクトの表示対象である実オブジェクトが外れた場合
ステップS410において拡張現実感処理部142は、カメラ61を用いて外景画像を取得する。ステップS412において拡張現実感処理部142は、取得した外景画像を画像認識することで、外景画像に第1の表示態様で表示している仮想オブジェクトについての実オブジェクトが含まれているか否かを判定する。この「仮想オブジェクトの表示対象である実オブジェクト」は、簡易表示処理(図7)における「対象オブジェクト」となる。
対象オブジェクトが含まれていない場合(ステップS412:NO)、ステップS414において拡張現実感処理部142は、遷移条件2が成立したと判定する。なお、対象オブジェクトが含まれている場合、拡張現実感処理部142は、条件2−1〜2−5の成立を引き続き監視する。
このように、条件2−1を用いれば、拡張現実感処理部142は、第1の表示態様で表示している仮想オブジェクトについての実オブジェクト(対象オブジェクト)が利用者の視界から外れた場合に、遷移条件2が成立したと判定し、拡張現実感処理の状態(図4)を、通常表示状態ST1から簡易表示状態ST2へと遷移させることができる。この結果、簡易表示処理部146による簡易表示処理(図7)が実行され、HMD100は、第2の表示態様での仮想オブジェクトを含む虚像VI(図8、図9、図10、図11)を利用者に視認させることができる。
(2−2)CASE(過去維持時間):第1の表示態様での仮想オブジェクトの表示後、過去の拡張現実感処理における維持時間の統計値以上の時間が経過した場合
ステップS420において拡張現実感処理部142は、過去維持時間122に記憶されている、過去の拡張現実感処理において使用された維持時間(以降、「過去の維持時間」とも呼ぶ。)の履歴を、他の利用者の履歴も含めて、全て取得する。なお、ステップS420において拡張現実感処理部142は「維持時間取得部」として機能し、過去維持時間122は「維持時間情報」として機能する。
ステップS422において拡張現実感処理部142は、取得した履歴を用いて、過去の維持時間の統計値を求める。統計値は、任意の統計的手法によって求めることができ、例えば、平均値、最頻値、中央値等とすることができる。拡張現実感処理部142は、求めた統計値を「今回の処理で使用する維持時間」とする。
ステップS424において拡張現実感処理部142は、図5のステップS114から計測を開始している通常表示用画像NI(図6)の表示時間が、今回の処理で使用する維持時間(ステップS422の統計値)以上となったか否かを判定する。なお、通常表示用画像NI(図6)の表示時間とは、すなわち、第1の表示態様での仮想オブジェクトの表示時間と同義である。
統計値以上となった場合(ステップS424:YES)、ステップS426において拡張現実感処理部142は、遷移条件2が成立したと判定する。なお、表示時間が統計値より小さい場合、拡張現実感処理部142は、条件2−1〜2−5の成立を引き続き監視する。
このように、条件2−2を用いれば、拡張現実感処理部142は、拡張現実感処理部142は、過去の拡張現実感処理で使用された維持時間(過去の維持時間)の統計値、すなわち、過去の維持時間の傾向に基づいて、自動的に、現在の拡張現実感処理で使用する維持時間を変更することができる。また、拡張現実感処理部142は、通常表示用画像NIの表示時間(第1の表示態様での仮想オブジェクトVO1〜VO3の表示時間)が、現在の拡張現実感処理で使用する維持時間以上となった場合に、遷移条件2が成立したと判定し、拡張現実感処理の状態(図4)を、通常表示状態ST1から簡易表示状態ST2へと遷移させることができる。
(2−3)CASE(情報量):第1の表示態様での仮想オブジェクトの表示後、仮想オブジェクトの情報量から求めた時間以上の時間が経過した場合
ステップS430において拡張現実感処理部142は、第1の表示態様で表示している仮想オブジェクトの情報量を取得する。仮想オブジェクトの情報量の取得方法については、図12のステップS332の方法c1〜c3と同様である。
ステップS432において拡張現実感処理部142は、ステップS430で取得した仮想オブジェクトの情報量から、今回の処理で使用する維持時間の閾値を求める。閾値は、任意の方法で求めることができ、例えば、情報量に所定の係数(図12のステップS334とは異なる係数とする)を乗じて閾値としてもよいし、情報量の候補と閾値の候補とを対応付けたテーブル(図12のステップS334とは異なるテーブルとする)を用いて閾値を求めてもよい。拡張現実感処理部142は、求めた閾値を「今回の処理で使用する維持時間」とする。
ステップS434において拡張現実感処理部142は、図5のステップS114から計測を開始している通常表示用画像NI(図6)の表示時間が、今回の処理で使用する維持時間(ステップS432の閾値)以上となったか否かを判定する。
閾値以上となった場合(ステップS434:YES)、ステップS436において拡張現実感処理部142は、遷移条件2が成立したと判定する。なお、表示時間が閾値より小さい場合、拡張現実感処理部142は、条件2−1〜2−5の成立を引き続き監視する。
このように、条件2−3を用いれば、拡張現実感処理部142は、虚像VIに占める面積が大きな(視認性阻害度が高い)第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の情報量に基づいて、現在の拡張現実感処理で使用する維持時間を変更することができる。このようにすれば、拡張現実感処理部142は、例えば、第1の表示態様での仮想オブジェクトの情報量が多い場合、換言すれば、利用者が仮想オブジェクトの内容の確認に多くの時間を要すると推定される場合の維持時間を、情報量が少ない場合の維持時間よりも長くすることもできるため、利用者の利便性を向上させることができる。また、拡張現実感処理部142は、第1の表示態様での仮想オブジェクトの表示時間が現在の拡張現実感処理で使用する維持時間以上となった場合に、遷移条件2が成立したと判定し、拡張現実感処理の状態(図4)を、通常表示状態ST1から簡易表示状態ST2へと遷移させることができる。
(2−4)CASE(利用者の設定):第1の表示態様での仮想オブジェクトの表示後、利用者によって設定された設定値以上の時間が経過した場合
ステップS440において拡張現実感処理部142は、維持時間設定123に記憶されている、利用者が設定した維持時間の設定値を取得する。なお、ステップS440において拡張現実感処理部142は「維持時間取得部」として機能する。拡張現実感処理部142は、取得した設定値を「今回の処理で使用する維持時間」とする。
ステップS442において拡張現実感処理部142は、図5のステップS114から計測を開始している通常表示用画像NI(図6)の表示時間が、今回の処理で使用する維持時間(ステップS440の設定値)以上となったか否かを判定する。
設定値以上となった場合(ステップS442:YES)、ステップS444において拡張現実感処理部142は、遷移条件2が成立したと判定する。なお、表示時間が設定値より小さい場合、拡張現実感処理部142は、条件2−1〜2−5の成立を引き続き監視する。
このように、条件2−3を用いれば、拡張現実感処理部142は、維持時間設定123に記憶されている利用者の好みの設定値に応じて、現在の拡張現実感処理で使用する維持時間を変更することができる。また、拡張現実感処理部142は、第1の表示態様での仮想オブジェクトの表示時間が現在の拡張現実感処理で使用する維持時間以上となった場合に、遷移条件2が成立したと判定し、拡張現実感処理の状態(図4)を、通常表示状態ST1から簡易表示状態ST2へと遷移させることができる。
(2−5)CASE(利用者の個人差):第1の表示態様での仮想オブジェクトの表示後、利用者の個人差と仮想オブジェクトの情報量とを考慮して求めた時間以上の時間が経過した場合
ステップS450において拡張現実感処理部142は、過去維持時間122に記憶されている過去の拡張現実感処理において使用された維持時間の履歴から、現在のHMD100の利用者についての履歴を取得する。拡張現実感処理部142は、利用者の識別子をキーとして過去維持時間122を検索すればよい。なお、ステップS322において拡張現実感処理部142は「維持時間取得部」として機能し、過去維持時間122は「維持時間情報」として機能する。
ステップS452において拡張現実感処理部142は、取得した履歴の「情報量」を「維持時間」で除することで、HMD100の利用者が単位時間あたりに認識することのできる情報量を求める。次に拡張現実感処理部142は、第1の表示態様での仮想オブジェクトの情報量を、求めた情報量(単位時間あたりに認識することのできる情報量)で除することで、理想維持時間を求める。拡張現実感処理部142は、求めた理想維持時間を「今回の処理で使用する維持時間」とする。なお、仮想オブジェクトの情報量の取得方法については、図12のステップS332の方法c1〜c3と同様である。
ステップS454において拡張現実感処理部142は、図5のステップS114から計測を開始している通常表示用画像NI(図6)の表示時間が、今回の処理で使用する維持時間(ステップS452の理想維持時間)以上となったか否かを判定する。
理想維持時間以上となった場合(ステップS454:YES)、ステップS456において拡張現実感処理部142は、遷移条件2が成立したと判定する。なお、表示時間が理想維持時間より小さい場合、拡張現実感処理部142は、条件2−1〜2−5の成立を引き続き監視する。
このように、条件2−5を用いれば、拡張現実感処理部142は、維持時間情報(過去維持時間122)を用いて、利用者が単位時間あたりに認識することのできる情報量を求めることができる。このため、拡張現実感処理部142は、例えば、求めた情報量(利用者が単位時間あたりに認識することのできる情報量)と、第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)の情報量と、に基づいて、現在の拡張現実感処理で使用する維持時間を変更することができる。このようにすれば、拡張現実感処理部142は、例えば、利用者が単位時間あたりに認識することのできる情報量が少ない場合、換言すれば、利用者が第1の表示態様での仮想オブジェクトの内容の確認に多くの時間を要すると推定される場合の維持時間を、情報量が多い場合の維持時間よりも長くすることができる。この結果、拡張現実感処理部142は、利用者の個人差に応じて維持時間を変更することができるため、利用者の利便性を向上させることができる。また、拡張現実感処理部142は、第1の表示態様での仮想オブジェクトの表示時間が現在の拡張現実感処理で使用する維持時間以上となった場合に、遷移条件2が成立したと判定し、拡張現実感処理の状態(図4)を、通常表示状態ST1から簡易表示状態ST2へと遷移させることができる。
以上のように、拡張現実感処理(遷移条件2の成立に伴う、通常表示状態ST1から簡易表示状態ST2への遷移)によれば、拡張現実感処理部142は、第1の表示態様での仮想オブジェクト(図6、VO1〜VO3)を含んだ虚像VI(NI)を画像表示部20に形成させた後、所定の維持時間の経過後に、第1の表示態様よりも虚像に占める仮想オブジェクトの面積が小さい(視認性阻害度が低い)第2の表示態様での仮想オブジェクト(図8、図9、図10、図11、VO4〜VO6)を含んだ虚像VI(SI)を画像表示部20に形成させる。このようにして、維持時間の経過後に自動的に、表示される虚像に占める仮想オブジェクトの面積が小さく(視認性阻害度が低下する)なるため、利用者は、現実世界に実在する実オブジェクトを視認しやすくなる。この結果、仮想オブジェクトの表示が、実オブジェクトまたはその背景を視認する際の妨げとなりづらい頭部装着型表示装置(HMD100)を提供することができる。
さらに、拡張現実感処理(遷移条件2の成立の監視)によれば、拡張現実感処理部142は、虚像VIに占める仮想オブジェクトVO1〜VO3の面積が大きな(視認性阻害度が高い)第1の表示態様(図6)から、虚像VIに占める仮想オブジェクトVO4〜VO6の面積が小さな(視認性阻害度が低い)第2の表示態様(図8、図9、図10、図11)へと表示態様を遷移させるための維持時間を、例えば、条件2−2〜2−5に列挙したような、種々の条件に応じて変更することができる。
B.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線LANや赤外線通信やBluetooth等の無線の信号伝送路を介した接続により接続し、接続部(コード)を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。
例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、上記実施形態では、制御部が送信部を備え、画像表示部が受信部を備えるものとしたが、送信部および受信部はいずれも、双方向通信が可能な機能を備えており、送受信部として機能してもよい。また、例えば、制御部が備えるとした操作用インターフェイス(各種キーやトラックパッド等)の一部を省略してもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
図14は、変形例におけるHMDの外観の構成を示す説明図である。図14(A)の例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め上にそれぞれ配置されている。図14(B)の例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様のHMDとして実現することもできる。
例えば、制御部が備えるとした各処理部(例えば画像処理部、表示制御部、拡張現実感処理部等)は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。また、各処理部は、制御部ではなく画像表示部に配置されていてもよい。
例えば、HMDは、両眼タイプの透過型HMDであるものとしたが、単眼タイプのHMDとしてもよい。また、利用者がHMDを装着した状態において外景の透過が遮断される非透過型HMDとして構成してもよいし、非透過型HMDにカメラを搭載したビデオシースルーとして構成してもよい。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)を採用してもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたHMDとして構成されてもよい。
例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
・変形例2:
上記実施形態では、拡張現実感処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、拡張現実感処理は、通常表示状態ST1から開始(すなわち、初期状態から、通常表示状態ST1へ遷移)することとしたが、拡張現実感処理は簡易表示状態ST2から開始(すなわち、初期状態から、簡易表示状態ST2へ遷移)してもよい。
例えば、拡張現実感処理部は、遷移条件1の監視中においても、遷移条件2、3と同様に、無効化アクションを監視し、状態遷移の中止を行ってもよい。また、例えば、拡張現実感処理部は、遷移条件2、3の監視中における無効化アクションの監視を省略してもよい。
例えば、拡張現実感処理部は、遷移条件1、3の監視中において、上記実施形態で説明した視線取得部(視線の動きを取得)や動き取得部(手の動きを取得)に代えて、または、視線取得部や動き取得部と共に、9軸センサーによって取得される利用者の頭部の動きによって実現される「注目動作」を監視してもよい。
例えば、通常表示処理部は、通常表示処理(図5)において、外景画像に含まれている複数の実オブジェクトのうち、遷移条件1または遷移条件3の成立時において、利用者の注目動作の対象となっていない実オブジェクト(以降、「他の実オブジェクト」とも呼ぶ)についても、仮想オブジェクトを表示させてもよい。通常表示処理部は、他の実オブジェクトに付加する仮想オブジェクトの表示態様と、注目動作の対象となった実オブジェクト(すなわち、対象オブジェクト)に付加する仮想オブジェクトの表示態様と、を変えてもよい。表示態様とは、例えば、大きさ、明度、彩度等である。
例えば、上述した無効化アクション(第1の要求)に代えて、または、無効化アクションと共に、拡張現実感処理を強制的に状態遷移させるための強制遷移アクション(第2の要求)を用いてもよい。強制遷移アクションは、利用者の手と、足と、声と、頭部と、または、これらの組み合わせと、のうちの少なくともいずれかによってなされる動作であり、かつ、無効化アクションとは異なる動作である限りにおいて、任意の動作を採用することができる。拡張現実感処理が通常表示状態ST1である場合に強制遷移アクションが検出された場合、拡張現実感処理部は、拡張現実感処理を簡易表示状態ST2へと遷移させる。このようにすれば、拡張現実感処理部は、利用者からの第2の要求に応じて、維持時間の経過前であっても、第1の表示態様から第2の表示態様へ強制的に遷移させることができるため、利用者の利便性を向上させることができる。一方、拡張現実感処理が簡易表示状態ST2である場合に強制遷移アクションが検出された場合、拡張現実感処理部は、拡張現実感処理を通常表示状態ST1へと遷移させる。このようにすれば、拡張現実感処理部は、利用者からの第2の要求に応じて、基準時間の経過前であっても、第1の表示態様での仮想オブジェクトを表示させることができるため、利用者の利便性を向上させることができる。
・変形例3:
上記実施形態で例示した拡張現実処理に対して、以下に挙げるe1〜e8の変形を施せば、HMDを用いた作業支援を実現することができる。
(e1)記憶部に、作業に関連した情報(例えば、作業内容の指示、作業内容の指示を補助する情報、作業に要する標準時間、作業時の利用者の動きを特定するための情報等を含む)を予め記憶しておく。
(e2)9軸センサーと、カメラと、を利用(単独でもよいし併用でもよい。他のセンサーをさらに併用してもよい)して、利用者の体の動きを取得する。
(e3)作業支援の開始後、記憶部内の作業に関連した情報(作業に要する標準時間、作業時の利用者の動きを特定するための情報)と、変形e2により取得した利用者の体の動きとを照合し、利用者による作業の進捗具合を監視する。
(e4)変形e3の監視結果が、利用者の体の動きが止まっている「作業停止」か、進捗が所定の時間以上遅れている「作業遅延」のどちらかである場合、拡張現実感処理の遷移条件1(初期状態から通常表示状態ST1への遷移条件)が成立したと判定し、第1の表示態様での仮想オブジェクトを表示させる。表示される仮想オブジェクトは、記憶部内の作業に関連した情報(作業内容の指示、作業内容の指示を補助する情報)に基づく情報である。
(e5)通常表示状態ST1において、変形e3の監視結果が、進捗が予定通りである「作業中」である場合、拡張現実感処理の遷移条件2(通常表示状態ST1から簡易表示状態ST2への遷移条件)が成立したと判定し、第2の表示態様での仮想オブジェクトを表示させる。第2の表示態様での仮想オブジェクトは、上述したように、非表示でもよいし、アイコン画像や文字等を使った表示でもよい。
(e6)通常表示状態ST1において、変形e3の監視結果が、作業停止または作業遅延である場合、通常表示状態ST1を継続する。
(e7)簡易表示状態ST2において、変形e3の監視結果が、作業停止または作業遅延である場合、拡張現実感処理の遷移条件3(簡易表示状態ST2から通常表示状態ST1への遷移条件)が成立したと判定し、第1の表示態様での仮想オブジェクトを表示させる。
(e8)簡易表示状態ST2において、変形e3の監視結果が、作業中である場合、簡易表示状態ST2を継続する。
このようにすれば、HMDは、スムーズに作業を進めることができる熟練した作業者の場合は簡易表示状態ST2(第2の表示態様での仮想オブジェクトの表示/非表示含む)を継続することができ、作業に不慣れな作業者の場合は通常表示状態ST1(第1の表示態様での仮想オブジェクトの表示)を継続することができる。また、熟練した作業者であっても、途中の手順で不明点が生じた場合等、作業が止まった際には、通常表示状態ST1へ遷移し、第1の表示態様での仮想オブジェクトを表示させることができる。この結果、作業者における利便性を向上させた作業支援が可能なHMDを提供することができる。また、この結果、熟練した作業者がHMDの利用者となる場合等、仮想オブジェクトを表示することが必要ないと思われる場合には、仮想オブジェクトの表示を省略(または簡略化)することができる。このため、実オブジェクトの視認性が不必要に損なわれる可能性を低減し、利用者が煩わしさを感じるおそれを低減することができる。
以上のように、変形例3において拡張現実感処理部は、所定の基準時間(作業に要する標準時間)以内に、利用者(作業者)による所定の動作(作業時の利用者の動きを特定するための情報)が開始されていない場合に、第1の表示態様での仮想オブジェクトを含んだ虚像を画像表示部に形成させる。換言すれば、拡張現実感処理部は、基準時間以内に利用者による所定の動作が開始されている場合は、第1の表示態様での仮想オブジェクトを表示させない。このため、例えば、利用者が所定の動作(例えば何らかの作業)をしている場合に、第1の表示態様での仮想オブジェクトが表示されて、使用者の眼前を遮るという可能性を低減することができる。この結果、仮想オブジェクトの表示が、実オブジェクトまたはその背景を視認する際の妨げとなりづらい頭部装着型表示装置(HMD)を提供することができる。
変形例3においても、上記実施形態と同様に、「所定の基準時間に亘る注目動作の継続」で、通常表示状態ST1と簡易表示状態ST2との間を遷移させてもよい。このようにすれば、一連の作業を行う作業者が、次の動作を思い出せない(または知らない)ことにより、作業者が途方に暮れている場合に、簡易表示状態ST2から通常表示状態ST1へと状態遷移して、作業支援を行うことができる。
なお、上述した「所定の基準時間以内に、利用者による所定の動作が開始されていない場合に、第1の表示態様での仮想オブジェクトを含んだ虚像を画像表示部に形成させる。」との記載において、「所定の動作」を「注目動作の継続をやめる(停止する)動作」とすれば、上記実施形態の内容と整合する。
・変形例4:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。