JP6539981B2 - 表示装置、表示装置の制御方法、表示システム、及び、プログラム - Google Patents

表示装置、表示装置の制御方法、表示システム、及び、プログラム Download PDF

Info

Publication number
JP6539981B2
JP6539981B2 JP2014217270A JP2014217270A JP6539981B2 JP 6539981 B2 JP6539981 B2 JP 6539981B2 JP 2014217270 A JP2014217270 A JP 2014217270A JP 2014217270 A JP2014217270 A JP 2014217270A JP 6539981 B2 JP6539981 B2 JP 6539981B2
Authority
JP
Japan
Prior art keywords
information
display
unit
biometric information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014217270A
Other languages
English (en)
Other versions
JP2016085322A (ja
Inventor
辰典 ▲高▼橋
辰典 ▲高▼橋
高野 正秀
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014217270A priority Critical patent/JP6539981B2/ja
Priority to US14/878,545 priority patent/US20160116740A1/en
Publication of JP2016085322A publication Critical patent/JP2016085322A/ja
Application granted granted Critical
Publication of JP6539981B2 publication Critical patent/JP6539981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、表示装置、表示装置の制御方法、表示システム、及び、プログラムに関する。
従来、頭部装着型の表示装置が知られている。この種の表示装置の中に、装置を装着する使用者が、装置の動作に関する設定を行うことが可能なものがある(例えば、特許文献1参照)。特許文献1は、使用者であるプレイヤーの頭部に装着する表示装置において、画像の表示位置の位置合わせを行うことで、より自然な表示を行うことが可能な構成を開示している。
特開2002−159019号公報
上述のように、頭部装着型の表示装置は、調整を行うことで、例えば使用者の個人差による使用感の低下を防止できる。しかしながら、表示装置を使用するごとに調整を行うことは煩雑である。また、例えば、複数の使用者が表示装置を共用する場合、それぞれの使用者が表示装置を装着するごとに調整を行わなければならず、操作の負担が大きい。
本発明は上記事情に鑑みてなされたものであり、表示装置を使用者に合わせて設定する際の、使用者の負担を軽減することを目的とする。
上記目的を達成するために、本発明の表示装置は、頭部装着型の表示部を備える表示装置であって、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部と、前記識別情報を入力する入力部と、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部とを備えることを特徴とする。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
また、本発明は、上記表示装置において、前記記憶部が記憶する前記識別情報は、前記使用者の生体情報に含まれる特徴の一部を含む、ことを特徴とする。
本発明によれば、識別情報として生体情報を用いることで使用者を識別が可能であり、使用者の生体情報に含まれる特徴の一部を含むことで情報量を削減し、身体的な特徴に応じた簡易な設定が可能になる。
また、本発明は、上記表示装置において、前記制御部は、前記入力部により前記識別情報として入力される生体情報の特徴の一部と、前記記憶部が記憶する前記生体情報の特徴の一部とを照合して、前記設定情報を特定することを特徴とする。
本発明によれば、身体的な特徴に応じた簡易な設定が可能になる。
また、本発明は、上記表示装置において、前記表示部は、外景を透過し、前記外景とともに視認できるように画像を表示し、前記制御部は、前記画像の表示位置及び表示サイズの少なくともいずれかを、前記設定情報に対応して複数段階に変更することを特徴とする。
本発明によれば、画像の表示位置及び表示サイズを、使用者に合わせて段階的に設定できる。
また、本発明は、上記表示装置において、前記表示部は、外景を透過し、前記外景とともに視認できるように画像光を前記使用者の眼に入射する光学素子と、前記使用者の視線方向の対象物を検出する対象検出部と、前記表示部の表示領域に対する前記対象物の位置を検出する位置検出部と、を備え、前記制御部は、前記位置検出部で検出した前記対象物の位置、及び、前記光学素子と前記使用者の瞳孔の位置との位置関係に応じて、前記光学素子による前記画像の表示位置を変更することを特徴とする。
本発明によれば、画像の表示位置を使用者に合わせて設定できる。
また、本発明は、上記表示装置において、前記設定情報は、言語の設定に関する情報を含み、前記制御部は、前記表示部に、文字を含むコンテンツを表示する場合に、前記設定情報に対応した言語の文字を前記表示部に表示させることを特徴とする。
本発明によれば、表示部に表示する文字の言語を、使用者に合わせて設定できる。
また、本発明は、上記表示装置において、通信部を備え、前記制御部は、前記記憶部に記憶する前記設定情報と前記識別情報とを対応付けて、前記通信部により外部の装置に送信し、前記通信部により前記設定情報と前記識別情報とを受信し、受信した前記設定情報と前記識別情報とを対応付けて前記記憶部に記憶することを特徴とする。
本発明によれば、設定情報と識別情報とを外部の装置に送信し、或いは、外部の装置から受信できる。これにより、設定情報と識別情報とを容易に取得して記憶でき、外部の装置と設定情報及び識別情報を共有できる。
また、上記目的を達成するために、本発明の表示システムは、頭部装着型の表示部をそれぞれ備える複数の表示装置を備え、前記表示装置は、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部と、前記識別情報を入力する入力部と、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部と、他の前記表示装置と通信する通信部と、を備え、前記制御部は、前記記憶部に記憶する前記設定情報と前記識別情報とを対応付けて、前記通信部により送信し、前記通信部により前記設定情報と前記識別情報とを受信し、受信した前記設定情報と前記識別情報とを対応付けて前記記憶部に記憶することを特徴とする。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。また、設定情報と識別情報とを表示装置間で送受信するので、設定情報と識別情報とを、複数の表示装置間で共有できる。
また、上記目的を達成するために、本発明の表示装置の制御方法は、頭部装着型の表示部を備える表示装置の制御方法であって、識別情報を入力するステップと、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部を参照して、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御するステップと、を備えることを特徴とする。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
また、上記目的を達成するために、本発明のプログラムは、頭部装着型の表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、コンピューターを、識別情報を入力する入力部と、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部を参照して、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部として機能させる。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
通信システム及び表示システムの概略構成図。 頭部装着型表示装置の外観構成を示す説明図。 導光板の構成を示す平面図。 頭部装着型表示装置を構成する各部の機能ブロック図。 使用者情報テーブルの構成例を示す模式図。 情報登録モードにおける頭部装着型表示装置の動作を示すフローチャート。 情報登録モードで頭部装着型表示装置が表示する画像の例を示し、(A)はシルエット画像の例を示し、(B)はシルエット画像を用いた調整の例を示す。 使用者情報を登録する頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が表示する画像の例として、シルエット画像に追加ガイドを表示した例を示す。 通信データの構成例を示す模式図。
図1は、本発明を適用した実施形態として、通信システム1の構成を示す概略構成図である。通信システム1は、複数の頭部装着型表示装置100を備えた表示システム2を、通信ネットワーク4を介してサーバー5に接続したシステムである。
頭部装着型表示装置100は、図1に示すように使用者が頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
なお、以下の説明では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
図1には、表示システム2が備える複数の頭部装着型表示装置100を、それぞれ、頭部装着型表示装置100A、100Bとする。以下では、頭部装着型表示装置100A、100Bを区別する必要のない場合、頭部装着型表示装置100と記載する。
通信ネットワーク4は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク4は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたLAN(Local Area Network)であってもよい。また、通信ネットワーク4、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク4が複数の通信回線で構成されてもよい。
表示システム2は、建物内等に設置されるLAN等を利用して構成される。表示システム2は、無線通信を行う無線アクセスポイント3と、複数の頭部装着型表示装置100A、100Bとを備える。無線アクセスポイント3は、アクセスポイントやルーター等の通信装置であり、頭部装着型表示装置100Aと頭部装着型表示装置100Bとの間のデータ通信、及び、頭部装着型表示装置100A、100Bと通信ネットワーク4とのデータ通信を中継する。
頭部装着型表示装置100Aは、無線アクセスポイント3を介して他の頭部装着型表示装置100Bとデータ通信を実行できる。また、頭部装着型表示装置100A、100Bは、無線アクセスポイント3を介して、サーバー5との間でデータ通信を実行する。なお、それぞれの頭部装着型表示装置100Aは、他の頭部装着型表示装置100Bとの間で、例えばアドホックモードで直接、無線通信を実行してもよい。また、有線の通信回線により頭部装着型表示装置100A、100Bが接続されてもよい。
すなわち、表示システム2は、頭部装着型表示装置100Aが頭部装着型表示装置100Bと通信可能であれば、その構成は特に限定されない。また、通信システム1は、表示システム2が備える頭部装着型表示装置100A、100Bと、サーバー5との通信が可能な構成であればよい。
図2は、頭部装着型表示装置100の外観構成を示す説明図である。上述の頭部装着型表示装置100A、100Bは共通の構成を有するため、以下に頭部装着型表示装置100として説明する。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、第1カメラ61と、第2カメラ62と、マイク63とを備える。右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21及び左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図4参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図4参照)と調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板20Aは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
入力部としての第1カメラ61は、右光学像表示部26の他端である端部ERに配置される。第1カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。第1カメラ61は、単眼カメラであってもステレオカメラであってもよい。
第1カメラ61の撮像方向すなわち画角は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する方向である。また、第1カメラ61の画角の広さは適宜設定可能であるが、第1カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるように第1カメラ61の撮像範囲が設定されているとより好ましい。
第2カメラ62は、右光学像表示部26と左光学像表示部28との境目部分、すなわち、使用者の左右の眼の中間位置に配置される。第2カメラ62は、画像表示部20の内側を向いており、使用者の眼の側を撮像する。第2カメラ62は、単眼カメラであってもステレオカメラであってもよい。
図3は、左導光板262の構成を平面図により示す。使用者の左眼と右眼に虚像を視認させる構成は左右対称である。このため、ここでは左導光板262についてのみ説明し、右導光板261は図3の左導光板262と左右対称の構成であるため図示及び説明を省略する。
画像表示部20の左表示駆動部24は、LED等の光源と拡散板とを有する左バックライト222と、左バックライト222の拡散板から発せられる光の光路上に配置される透過型の左LCD242とを備える。また、画像表示部20の左表示駆動部24は、及び左LCD242を透過した画像光Lを導くレンズ群等を備えた左投写光学系252を備える。
左投写光学系252は、左LCD242から射出された画像光Lを並行状態の光束にするコリメートレンズによって構成される。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板262に入射される。左導光板262は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。そして、左眼LEの眼前に位置するハーフミラー262Aで反射した画像光Lは左眼LEに向けて左光学像表示部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。この導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
使用者の左眼LEには、ハーフミラー262Aで反射した画像光Lだけでなく、調光板20Aを透過した外光OLが入射する。つまり、頭部装着型表示装置100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、頭部装着型表示装置100の調光板20Aを透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。つまり、頭部装着型表示装置100は、シースルー型の表示装置といえる。
また、図示はしないが、右導光板261は、ハーフミラー261Aを備える。ハーフミラー261Aの構成は、図3のハーフミラー262Aと左右対称である。
図2に示す第2カメラ62の撮像方向すなわち画角は、頭部装着型表示装置100の裏側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の顔を撮像する方向である。第2カメラ62は、使用者の眼の位置、眼間の距離、使用者の顔の画像(顔画像)を撮像できる。また、第2カメラ62の画角の広さは適宜設定可能であるが、頭部装着型表示装置100を装着した使用者の顔と、ハーフミラー261A、262Aとを撮像可能な範囲であることが好ましい。なお、第2カメラ62の画角は、ハーフミラー261A、262Aを撮像可能な画角でなくても、例えば、調光板20A等の光学素子を撮像可能な画角を有していればよい。後述する制御部140は、撮像された調光板20Aの角度に基づき、ハーフミラー261A、262Aの角度を算出する。
図2に戻り、頭部装着型表示装置100は、画像表示部20を制御装置10に接続するための接続部40を有している。接続部40は、制御装置10に接続される本体コード48と、右コード42と、左コード44と、連結部材46とを備える。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸している。イヤホンプラグ30の近傍にはマイク63が設けられている。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がっている。
マイク63は、例えば図2に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部187(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
また、右コード42と左コード44とを一本のコードにまとめることも可能である。具体的には、右コード42の内部の導線を、画像表示部20の本体内部を通して左保持部23側に引き込み、左コード44内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御装置10とのそれぞれには、互いに嵌合するコネクター(図示略)が設けられている。本体コード48のコネクターと制御装置10のコネクターとの嵌合/嵌合解除により、制御装置10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御装置10は、頭部装着型表示装置100を制御する。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が指によりタッチ操作するトラックパッド14を備える。
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。
トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図4は、頭部装着型表示装置100を構成する各部の機能ブロック図である。
図4に示すように、頭部装着型表示装置100は、インターフェイス125を介して外部機器OAに接続される。インターフェイス125は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等が用いられる。
頭部装着型表示装置100の制御装置10は、制御部140と、操作部111と、入力情報取得部110と、記憶部120と、インターフェイス125と、送信部(Tx)51及び送信部(Tx)52とを有している。
操作部111は、使用者による操作を検出する。操作部111は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17及び電源スイッチ18の各部を備える。
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。また、制御装置10は、電源部(図示略)を備え、制御装置10及び画像表示部20の各部に電源を供給する。
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納する。また、記憶部120には、頭部装着型表示装置100の画像表示部20に表示する画像データが格納されていても良い。
また、記憶部120は、使用者情報を登録する使用者情報テーブルを記憶する。使用者情報テーブルは、生体情報(識別情報)と、設定情報とを各使用者を識別する使用者IDに対応付けて登録したテーブルである。生体情報は、使用者を特定可能な、使用者本人に固有の生体に関する情報である。また、設定情報は、画像表示部20の表示に関する設定や、頭部装着型表示装置100の動作に関する設定の情報である。使用者情報テーブルの詳細については後述する。
例えば、使用者の眼とハーフミラー261A、262Aとの距離は、使用者の鼻の高さ、眼窩や眼球の大きさ等によって個人差がある。また、使用者の中には、左右の耳の高さが異なる人もおり、頭部装着型表示装置100を装着した場合に、画像表示部20が水平にならない場合もある。このように、使用者の頭部の解剖学的構造の個人差により、画像表示部20を装着したときの画像表示部20の各部と使用者の眼との相対的な位置関係が影響される。従って、使用者の身体に合うように、使用者の眼と光学素子との距離や、頭部装着型表示装置100を装着した際の光学素子の角度等を調整すれば、個人差を吸収して、良好な使用感を実現できる。
そこで、本実施形態の頭部装着型表示装置100は、使用者が初めて頭部装着型表示装置100を装着する際に、制御部140の制御によりキャリブレーションを行う。そして、頭部装着型表示装置100は、使用者の眼と光学素子との距離や、頭部装着型表示装置100を装着した際の光学素子の角度等を測定する。制御部140は、測定された使用者の設定情報を使用者情報テーブルに登録する。また、制御部140は、使用者情報テーブルには、使用者を特定可能な生体情報を、使用者の設定情報に対応付けて登録する。そして、使用者が頭部装着型表示装置100を実際に使用する際には、制御部140は、第1カメラ61の撮像画像から検出した生体情報に基づいて使用者を特定する。頭部装着型表示装置100は、特定した使用者の設定情報に応じて、画像表示部20が表示する画像の表示位置やサイズを調整する。
頭部装着型表示装置100が使用する生体情報としては、指紋、掌紋、掌線、網膜の血管パターン、顔の撮像画像、全身の撮像画像、声などが挙げられる。これらは頭部装着型表示装置100が備える入力部としての第1カメラ61、第2カメラ62、マイク63等で検出可能な情報である。掌線は、掌に表れる線状の皺(凹部)またはその組合せで構成される図形であり、いわゆる、手相の線をいう。また、使用者の手の絶対長、指の長さ、指の長さの比等を用いることも可能である。
本実施形態では、入力部として第1カメラ61を用い、画像として処理可能な生体情報を処理する例を示す。頭部装着型表示装置100は、指紋、掌紋、掌線、網膜の血管パターン、顔の撮像画像、全身の撮像画像等の生体情報そのものから、生体的な特徴である1つ又は複数の特徴情報を抽出し、抽出した特徴情報を使用する。例えば、生体情報が掌線である場合、特徴情報には、掌線の始点及び終点の位置座標、長さ比、曲率といった生体情報の特徴を表す複数の情報が含まれる。本実施形態では、手の絶対長、指の長さ比、掌線、及び、掌線を生体情報として利用する例を示す。
頭部装着型表示装置100が使用する生体情報は、記憶部120が記憶する使用者情報テーブルに登録される。
図5は、本実施形態で記憶部120が記憶する使用者情報テーブルの具体的な例を示す模式図である。図5(A)は、使用者情報テーブル120Aを示し、図5(B)は使用者情報テーブル120Aの情報を補完する掌線情報テーブル120Bを示す。使用者情報テーブル120Aに掌線情報テーブル120Bを加えたものが本実施形態の使用者情報テーブルに相当する。
使用者情報テーブル120A及び掌線情報テーブル120Bは、生体情報として、手の絶対長情報と、指の長さ比情報と、掌の面の角度情報と、掌線情報と含む。これらの生体情報は、第1カメラ61の撮像した使用者の手の撮像画像に基づいて、制御部140が検出する。使用者情報テーブル120A及び掌線情報テーブル120Bに登録された生体情報を、特に、登録生体情報と呼ぶ。
手の絶対長情報には、使用者の手の長手方向の長さと、短手向の長さ(単位:cm)とが含まれる。手の長手方向の長さは、例えば、手首から中指までの長さであり、短手方向の長さは、例えば、掌の幅である。また、指の長さ比は、手の長手方向の長さを基準とした指の長さである。指の長さ比は、使用者の各指の長さ比を登録してもよいし、例えば、人差し指の長さ比だけを登録してもよい。
掌の面の角度情報は、使用者が第1カメラ61に掌をかざした場合の掌の角度を示す情報である。この角度は、第1カメラ61の撮像面、或いは、導光板261,262や調光板20Aを基準とした角度である。例えば、撮像面に平行な場合を0度とした角度、導光板261、262のハーフミラー261A、262Aの画像光Lの光軸に対する角度、或いは、調光板20Aに平行な場合を0度とする角度である。掌の面の角度の測定は、例えば、第1カメラ61がステレオカメラである場合や、頭部装着型表示装置100が距離センサーを備えている場合に、第1カメラ61や距離センサーにより掌上の複数の測定点までの距離を測定することで実現できる。
掌線情報は、掌線の長さや掌線が構成する図形の形状に関する情報である。掌線情報は情報量が多いため、別のテーブルである掌線情報テーブル120Bに登録される。使用者情報テーブル120Aと掌線情報テーブル120Bとは、掌線情報IDにより紐付けられる。頭部装着型表示装置100は、第1カメラ61の撮像画像をもとに、使用者の掌の複数の掌線情報を得ることができる。図5(B)の掌線情報テーブル120Bでは、主な掌線に掌線IDが付され、各掌線の位置及び長さに関する情報が対応付けて格納され、この掌線を検出した使用者の使用者IDが対応付けて登録される。
掌線の始点及び終点座標は、原点を基準とした掌線の開始座標及び終了座標である。原点は、任意の位置に設定することができる。例えば、使用者の手を撮影した撮影画像の左上を原点としてもよいし、撮影画像から所定サイズで検出した使用者の手の領域の左上を原点としてもよい。また、掌線の長さ比は、手の長手方向の長さを基準にした掌線の長さであり、曲率は、例えば、1つの掌線の中で曲率が最大の値である。
登録生体情報として使用する生体情報は、図5(A)に挙げたものに限られず、眼間距離、瞳の色、顔の撮像画像等、簡易に計測可能な生体情報を簡易生体情報として使用者情報テーブル120Aに登録してもよい。
使用者情報テーブル120Aの設定情報は、眼間距離と、輻輳角と、眼と光学素子との相対位置と、光学素子の角度と、利き眼と、色彩情報と、明るさと、使用言語と、表示位置調整情報とを含む。眼間距離は、使用者の両眼の内側、すなわち目頭間の距離であってもよいし、瞳孔の中心間の距離であってもよい。
眼と光学素子との相対位置は、例えば、瞳孔の中心と、光学素子としてのハーフミラー261A,262Aの中心とのずれを表す値である。この値は、左右の平均値であってもよいし、左右の眼の中心の位置の値であってもよい。すなわち、使用者の右眼の瞳孔中心と右側のハーフミラー261Aの中心とのずれ、及び、使用者の左眼の瞳孔中心と左側のハーフミラー262Aの中心とのずれを、平均した値であってもよい。また、使用者の左右の眼の瞳孔の中央位置と、ハーフミラー261Aの中心とハーフミラー262Aの中心との中央位置と、について、ずれを求めた値であってもよい。
制御部140は、第2カメラ62の撮像画像に基づいて、瞳孔の中心と、ハーフミラー261A,262Aの中心とのずれを算出し、算出結果を使用者情報テーブルに登録する。この処理において、瞳孔の中心は、撮像画像における瞳孔の中心位置のX、Y座標値で表される。X座標は、撮像画像の水平方向を示し、Y座標は、撮像画像の垂直方向を示す。また、ハーフミラー261A,262Aの中心は、撮像画像におけるハーフミラー261A,262Aの中心位置のX、Y座標値で表される。制御部140は、例えば、瞳孔の中心位置を基準として、ハーフミラー261A,262Aの中心位置がX座標の方向、及びY座標の方向にどの程度ずれているのかを算出する。
また、光学素子の角度は、9軸センサー66の測定値に基づいて算出される。光学素子の角度は、画像表示部20を使用者の頭部に装着した際の、ハーフミラー262Aの回転角度(θr,θp,θy)により表される。なお、回転角度(θr,θp,θy)は、例えば、ハーフミラー262Aの中心を原点とし、その原点において互いに直交するロール軸、ピッチ軸、及びヨー軸を定義した場合、ハーフミラー262Aの光軸方向と、ロール軸との成す角度をロール角θrで表す。また、ハーフミラー262Aの光軸方向と、ピッチ軸との成す角度をピッチ角θp、ハーフミラー262Aの光軸方向と、ヨー軸との成す角度をヨー角θyで表す。
明るさは、画像表示部20の表示領域に表示される画像の明るさを示す情報である。色彩情報は、使用者が色覚に対して異常があるか否かを示す情報である。使用言語は、使用者が使用する、日本語、英語等の言語情報である。
インターフェイス125は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
また、制御部140には、3軸センサー113、GPS115、通信部117及び音声認識部114が接続される。3軸センサー113は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス125に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117及びインターフェイス125を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAからコンテンツデータを取得する。データ取得部DAは、頭部装着型表示装置100が表示する画像のデータ(以下、「表示画像データ」という)を、外部機器OAから取得する。
音声認識部114は、マイク63により集音され、後述する音声処理部187によりディジタルデータに変換されたディジタル音声データから特徴を抽出してモデル化する。音声認識部114は、音声の特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識や、音声をテキストに変換するテキスト変換を行う。また、音声認識部114は、音声認識の処理において、音声データの言語の種類を識別できる構成であってもよい。
制御部140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)150、画像処理部160、表示制御部170、生体情報検出部181、設定情報検出部182として機能する。また、制御部140は、設定部183、対象検出部184、位置検出部185、情報表示制御部186、音声処理部187として機能する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに記憶部120内のDRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データDataのそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御装置10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部170は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部170は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを個別に制御する。また、表示制御部170は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを個別に制御する。これにより、表示制御部170は、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部170は、制御信号により右表示駆動部22及び左表示駆動部24を制御して、右表示駆動部22と左表示駆動部24との両方に画像光を生成させたり、一方のみに画像光を生成させたりする。また、表示制御部170は、制御信号により右表示駆動部22及び左表示駆動部24を制御して、右表示駆動部22及び左表示駆動部24の両方に画像光を生成させないようにすることもできる。
また、表示制御部170は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51及び52を介して送信する。また、表示制御部170は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
入力部としての生体情報検出部181は、動作モードとして、情報登録モードと、使用者特定モードとを有している。情報登録モードは、使用者の生体情報や設定情報を検出して、検出した生体情報や設定情報を使用者情報テーブルに登録するモードである。使用者特定モードは、使用者の生体情報を検出し、検出した生体情報と一致する生体情報が使用者情報テーブルに登録されているか否かを判定するモードである。
生体情報検出部181は、情報登録モードでは、第1カメラ61の撮像画像から、使用者の生体情報を抽出する。設定情報検出部182は、情報登録モードでは、第2カメラ62の撮像画像や、9軸センサー66の測定値に基づいて、設定情報を算出する。なお、情報登録モードで使用者情報テーブルに登録された生体情報を登録生体情報と呼ぶ。
図6は、情報登録モードにおける頭部装着型表示装置100の動作を示すフローチャートであり、特に、生体情報検出部181と、設定情報検出部182との処理手順を示す。また、図7は情報登録モードで頭部装着型表示装置100が表示する画像の例を示し、図7(A)はシルエット画像Sの例を示し、図7(B)はシルエット画像Sを用いた調整の例を示す。
生体情報検出部181は、情報登録モードでは、手の形状の画像(以下、シルエット画像Sという)を表示制御部170に出力して、画像表示部20により表示させる(ステップS1)。図7(A)に、画像表示部20により表示されるシルエット画像Sを示す。使用者が見る視野VRと、画像表示部20が画像を表示する表示領域Tと、表示領域Tに表示されたシルエット画像Sとが画像表示部20により表示される。なお、画像表示部20の表示領域Tは、右光学像表示部26及び左光学像表示部28が表示する画像が使用者に見える範囲である。この表示領域Tは、画像表示部20が画像を視認させることができる最大の範囲であり、画像表示部20は表示領域Tの全部又は一部に画像を表示する。
使用者は、画像表示部20に表示されたシルエット画像Sを視認しながら、自身の手がシルエット画像に合致するように手の位置を調整する。図7(B)には、表示領域Tに表示されたシルエット画像Sに合致するように、使用者の手Rの位置調整を行う様子を示す。使用者は、手Rの位置を調整すると、もう一方の手で操作部111を操作して、手Rの画像の撮像を指示する。生体情報検出部181は、操作部111の操作が入力されると、第1カメラ61に、使用者の手Rの画像を撮像させる(ステップS2)。第1カメラ61の撮像画像は、生体情報検出部181に入力される。
生体情報検出部181は、入力された撮像画像を画像処理して、生体情報を抽出する(ステップS3)。生体情報検出部181は、まず、撮像画像をグレースケール化して、グレースケール後の撮像画像に対しエッジ検出を行う。生体情報検出部181は、検出したエッジの形状と、シルエット画像Sの輪郭形状とを対比して、使用者の手Rが写った領域(以下、手領域)を検出する。なお、ガイドとしてのシルエット画像Sを表示領域Tの所定の位置に表示しているため、第1カメラ61の撮像画像に写る手Rの位置は、ほぼ一定である。このため、生体情報検出部181は、撮像画像の全体に対してエッジ検出を行う必要はなく、事前に設定された領域に対してエッジ検出を行えばよい。
生体情報検出部181は、検出した使用者の手領域の撮像画像から、使用者の生体情報を抽出する(ステップS3)。生体情報検出部181は、手領域の撮像画像から、生体情報として、手の絶対長情報、指の長さ比情報と、掌線情報とをそれぞれ検出する。
生体情報検出部181は、生体情報を検出すると、使用者を識別する使用者IDを生成して、生成した使用者IDに対応付けて使用者情報テーブルに登録する。また、手の撮像画像からは、複数の掌線情報を検出することができるが、生体情報検出部181は、検出可能なすべての掌線の掌線情報を使用者情報テーブルに登録しなくてもよい。生体情報検出部181は、撮像画像から検出可能な掌線の中から掌線を選択し(間引いて)、使用者情報テーブルに登録する。なお、掌線情報に限らず、複数の生体情報が得られる場合には、間引きを行って、使用者情報テーブルに登録する登録数を削減するとよい。
また、設定情報検出部182は、情報登録モードにおいて、使用者の設定情報を算出する(ステップS4)。設定情報検出部182は、第2カメラ62に撮像を実行させる。第2カメラ62によって、使用者の顔と、ハーフミラー262A(図2参照)とが撮像される。第2カメラ62の撮像画像は、設定情報検出部182に入力される。設定情報検出部182は、第2カメラ62の撮像画像に基づいて、設定情報を算出する(ステップS4)。設定情報検出部182は、設定情報として、使用者の眼間距離や、輻輳角、瞳孔と光学素子の相対位置を算出する。設定情報検出部182は、算出した設定情報を、該当する使用者の生体情報に対応づけて使用者情報テーブルに登録する(ステップS5)。
また、設定情報検出部182は、9軸センサー66の測定値に基づいて、使用者が頭部装着型表示装置100を装着した際の光学素子の角度を、設定情報として算出する(ステップS4)。光学素子の角度は、画像表示部20を使用者の頭部に装着した際の、ハーフミラー262Aの回転角度(θr,θp,θy)により表される。設定情報検出部182は、算出した設定情報を、該当する使用者の生体情報に対応づけて使用者情報テーブルに登録する(ステップS5)。
設定情報検出部182は、この他に、使用者が操作部111の操作により入力される、利き眼や、明るさ設定、色彩情報、使用言語等の設定情報を、該当する使用者の生体情報に対応づけて使用者情報テーブルに登録する。
例えば、画像表示部20が表示する画像の明るさを調整する場合、設定情報検出部182は、表示制御部170を制御して、明るさを調整するためのテスト画像を、画像表示部20により表示させる。使用者は、画像表示部20が表示する画像を視認しながら、操作部111の輝度切替キー15を操作して、テスト画像の明るさを増減させる操作を入力する。設定情報検出部182は、操作部111から入力された操作に従って表示制御部170を制御し、画像表示部20が表示するテスト画像の明るさを調整する。また、設定情報検出部182は、決定キー11の操作を受け付けると、画像表示部20が表示するテスト画像の明るさ、すなわち、右バックライト221及び左バックライト222の輝度情報を記憶部120に記憶させる。
また、設定情報検出部182は、表示制御部170を制御して、利き眼や、色彩情報、使用言語の入力を促す表示データを画像表示部20に表示させ、操作部111の操作を受け付ける。例えば、設定情報検出部182は、表示制御部170を制御して、画像表示部20に、「あなたの利き眼は右目ですか」、「使用言語は日本語ですか」といったメッセージを表示させる。設定情報検出部182は、操作部111で受け付ける操作に基づいて使用者の利き眼や使用言語を判定し、対応する使用者IDの設定情報として使用者情報テーブルに登録する。
また、生体情報検出部181は、使用者特定モードでは、生体情報登録モードの場合と同一の手順により使用者の生体情報を検出し、検出した生体情報を設定部183に渡す。設定部183は、生体情報検出部181から渡された生体情報と、使用者情報テーブルに登録された登録生体情報とを比較して、生体情報検出部181が検出した生体情報に一致する登録生体情報が、使用者情報テーブルに登録されているか否かを判定する。
設定部183は、使用者特定モードである場合、生体情報検出部181から生体情報が入力される。
設定部183は、入力された生体情報(以下、入力生体情報という)と、使用者情報テーブルに登録された登録生体情報とを照合して、入力生体情報に一致する登録生体情報が使用者情報テーブルに登録されているか否かを判定する、照合処理を行う。
設定部183は、照合処理を行う際に、照合処理に使用する生体情報を間引く間引き処理を行う。設定部183は、入力生体情報と、登録生体情報との両方に対して、同一の間引き処理を行う。
例えば、図5(A)、(B)に示す使用者情報テーブル120A及び掌線情報テーブル120Bには、登録生体情報として手の絶対長と、指の長さ比と、掌面の角度と、掌線情報とが登録されている。設定部183は、これらの登録生体情報の中から、照合処理に使用する、1又は複数の生体情報を選択する。設定部183は、入力生体情報についても、登録生体情報から選択した生体情報と同一の生体情報を選択する。そして、設定部183は、選択した入力生体情報と、選択した登録生体情報との照合処理を行う。設定部183は、例えば、使用者情報テーブルに登録された登録生体情報の中から、掌線情報と、指の長さ比とを選択する。同様に、設定部183は、入力生体情報の中から、掌線情報と、指の長さ比とを選択する。設定部183は、選択した登録生体情報としての掌線情報と、選択した入力生体情報としての掌線情報とを比較して照合を行う。同様に、設定部183は、選択した登録生体情報としての指の長さ比と、選択した入力生体情報としての指の長さ比とを比較して照合を行う。
また、設定部183は、照合処理に使用する登録生体情報を選択するのではなく、照合処理に使用する特徴情報を間引くことで、照合処理の負荷を軽減してもよい。例えば、図4に示す使用者情報テーブルには、掌線情報として、同一の使用者の複数の掌線情報が登録される。設定部183は、使用者情報テーブルに登録された複数の掌線情報の中から、照合に使用する掌線情報を1又は複数選択する。設定部183は、入力生体情報の中から、選択した掌線情報の始点座標及び終点座標に座標が最も近い掌線情報を選択して、これらの掌線情報の照合を行う。
また、設定部183は、照合に使用する特徴情報の種類を間引くことで、照合処理の負荷を軽減してもよい。
例えば、図4に示す使用者情報テーブルには、掌線情報として、始点座標及び終点座標と、長さ比と、曲率とが登録されている。設定部183は、使用者情報テーブルに登録された複数の掌線情報の中から、照合に使用する掌線情報の種類を1又は複数選択する。例えば、設定部183は、掌線情報の中から掌線の長さ比を照合に使用する特徴情報として選択する。設定部183は、入力生体情報の中から掌線情報を選択すると、選択した掌線情報の始点座標及び終点座標に座標が最も近い掌線情報を使用者情報テーブルから取り出す。設定部183は、取り出した掌線情報の長さ比と、入力生体情報から選択した掌線情報の長さ比とを比較して照合を行う。
なお、設定部183が行う間引き処理は、照合処理に使用する生体情報の間引きと、照合処理に使用する特徴情報の間引きと、照合処理に使用する特徴情報の種類の間引きとのいずれか1つを選択して行うものであってもよい。また、設定部183が行う間引き処理は、前述した複数の間引きを組み合わせて照合を行うものであってもよい。
設定部183は、入力生体情報と登録生体情報との照合により、入力生体情報が使用者情報テーブルに登録された登録生体情報に一致すると判定すると、一致した生体情報に対応する設定情報を使用者情報テーブルから読み出す。設定部183は、設定情報に登録された明るさ設定を表示制御部170に出力する。表示制御部170は、設定部183から入力された明るさ設定に従って、右バックライト221及び左バックライト222の光量を、明るさ設定に対応する光量となるように調整する。
また、設定部183は、設定情報として登録された利き眼の情報を表示制御部170に渡す。表示制御部170は、例えば、画像表示部20により3次元(3D)画像を表示している場合に、操作部111が操作され、2次元画像への切り替えが指示された場合、利き眼情報の示す利き眼の側の画像を表示させる。例えば、設定情報に、使用者の利き眼として「左眼」が登録されていた場合、表示制御部170は、画像表示部20により、左眼用画像を表示させる。これにより、3次元画像の表示状態から、2次元画像に表示切り替えをするときに、表示モードの切り替わりに伴う違和感を低減することができる。
また、設定部183は、設定情報として登録された色彩情報と、使用言語とを情報表示制御部186に渡す。情報表示制御部186は、設定部183から渡された色彩情報や、使用言語に基づいて、表示データ(後述する)を加工したり、新たな表示データの追加を行う。
また、設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、画像表示部20の表示領域における表示位置/又は表示サイズを補正する補正係数を算出する。設定部183は、算出した補正係数を位置検出部185に渡す。
また、設定情報検出部182が、頭部装着型表示装置100を装着した使用者から測定した設定情報に基づいて、使用者の属する区分を判定し、判定した区分を示す情報を使用者情報テーブルに登録しておくこともできる。記憶部120には、区分ごとに、各区分に分類される眼間距離の範囲、眼と光学素子の相対距離の範囲、輻輳角の範囲、光学素子の角度の範囲をそれぞれに設定した情報が記憶される。設定情報検出部182は、生体情報検出部181により、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度とが測定されると、測定された各情報に基づいて、該当の使用者が属する区分を判定する。
また、記憶部120には、各区分に対応する補正係数が記憶される。また、設定部183は、入力生体情報に対応する登録生体情報から区分を示す情報を読み出すと、読み出した区分の情報に基づいて、記憶部120から区分に対応する補正係数を読み出す。設定部183は、読み出した補正係数を位置検出部185に出力する。これにより、画像の表示位置及び表示サイズの少なくともいずれかを、設定情報に対応して複数段階に変更することが可能になる。
対象検出部184は、第1カメラ61に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データ又はモノクロ画像データとして第1カメラ61から出力されるが、第1カメラ61が画像信号を出力して、対象検出部184が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部184は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、第1カメラ61の撮像方向すなわち使用者の視線方向に存在する物体又は人である。
位置検出部185は、第1カメラ61の撮像画像における対象物の画像の位置をもとに、使用者に対象物が見える位置と、画像表示部20が表示する画像が見える位置との相対位置を求める。この処理には、画像表示部20の表示領域と第1カメラ61の撮像範囲(画角)との位置関係を示す情報が必要である。この情報に代えて、使用者の視野(視界)と第1カメラ61の撮像範囲(画角)との位置関係を示す情報、及び、使用者の視野(視界)と画像表示部20の表示領域との位置関係を示す情報を用いてもよい。これらの情報は、例えば記憶部120に予め記憶されている。
位置検出部185は、対象物の画像について、表示領域に対する位置を検出すると、この位置を、設定部183から渡された補正係数に基づいて補正する。
また、位置検出部185は、対象物の位置とともに、表示領域に対する対象物の表示サイズを検出してもよい。
位置検出部185は、対象物の画像について、表示領域に対する表示位置と表示サイズとを検出すると、検出した表示位置及び表示サイズを、設定部183から渡された補正係数に基づいて補正する。これにより、画像表示部20が表示する画像と、外景における対象物とが使用者に見える場合に、使用者が知覚する表示画像と対象物の像の大きさが所定の状態となるように、画像を表示できる。さらに、眼間距離や、眼と光学素子の相対距離、光学素子の角度等の使用者の身体的な特徴に応じて、使用者が知覚する表示画像と対象物の像の大きさが所定の状態となるように、画像を表示できる。
情報表示制御部186は、設定部183、対象検出部184及び位置検出部185の処理結果に基づき、画像表示部20によって、表示データを表示させる。頭部装着型表示装置100は、データ取得部DAにより、動画像、静止画像、文字、記号等様々なデータを取得する構成としてもよく、これらのデータを表示データとして利用できる。
情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した表示位置及び/又は表示サイズ等に基づき、表示データの表示位置や、表示サイズを決定する。また、情報表示制御部186は、例えば表示データがテキストデータである場合、文字の表示位置や表示サイズに加え、表示色、字体、太字やイタリック等の文字装飾の有無等を設定する。また、情報表示制御部186は、例えば表示データが画像データである場合、画像の表示位置や表示サイズに加え、表示色、透明度等を設定する。
情報表示制御部186は、設定部183から入力される色彩情報や使用言語に基づいて表示データを加工する。例えば、入力された色彩情報が、使用者が緑色に対して異常があることを示す色彩情報である場合、情報表示制御部186は、緑色の表示データを他の表示色に変換する。情報表示制御部186は、変換した表示データを表示制御部170に出力して、画像表示部20により表示させる。
また、入力された使用言語として、英語が設定されていた場合、情報表示制御部186は、表示データとしてのテキストデータを英語に翻訳し、翻訳した英語のテキストデータを表示データとして表示制御部170に出力する。表示データは、画像表示部20により、表示される。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)および左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
また、音声処理部187は、マイク63により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部187は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)及び左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32及び左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262とを備える。また、画像表示部20は、第1カメラ61と、第2カメラ62と、振動センサー65と、9軸センサー66とを備える。
振動センサー65は、加速度センサーを利用して構成され、図1に示すように画像表示部20の内部に配置される。図1の例では右保持部21において、右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているとき、制御部140は、9軸センサー66の検出値に基づいて使用者の頭部の動きを検出できる。検出された使用者の頭部の動きから画像表示部20の向きがわかるため、制御部140は、使用者の視線方向を推定できる。
インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部170から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、第1カメラ61、第2カメラ62、振動センサー65及び9軸センサー66のインターフェイスである。振動センサー65による振動の検出結果や、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果は、インターフェイス25を介して制御装置10の制御部140に送られる。
右表示駆動部22は、受信部53と、光源として機能する右バックライト(BL)制御部201及び右バックライト(BL)221と、表示素子として機能する右LCD制御部211及び右LCD241と、右投写光学系251とを備える。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御装置10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54と、光源として機能する左バックライト(BL)制御部202及び左バックライト(BL)222と、表示素子として機能する左LCD制御部212及び左LCD242と、左投写光学系252と、を備える。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。
図8は、使用者情報を登録する場合の頭部装着型表示装置100の動作を示すフローチャートである。
図8のステップS11の処理は、図6のフローチャートで説明したステップS1の処理に相当し、ステップS12はステップS1(図6)に相当し、ステップS13はステップS3(図6)に相当する。
すなわち、生体情報検出部181は、情報登録モードでシルエット画像Sを表示制御部170に出力して、画像表示部20により表示させる(ステップS11)。使用者は、シルエット画像Sを視認しながら手の位置を調整して操作部111を操作し、手Rの画像の撮像を指示する。生体情報検出部181は、操作部111の操作が入力されると、第1カメラ61に、使用者の手Rの画像を撮像させる(ステップS12)。第1カメラ61の撮像画像は、生体情報検出部181に入力され、生体情報検出部181は、撮像画像を画像処理して、生体情報を抽出する(ステップS13)。
使用者特定モードにおいて、設定部183には、生体情報検出部181から生体情報が入力される。
設定部183は、生体情報検出部181から入力生体情報が入力されると、照合処理に使用する生体情報を選択する(ステップS14)。なお、この処理フローでは、設定部183は、掌線情報を使用して照合処理を行うとする。設定部183は、入力生体情報に含まれる複数の掌線情報の中から、照合に使用する1又は複数の掌線情報を選択する。これにより、照合に使用する掌線情報が間引きされる。設定部183は、入力生体情報から掌線情報を選択すると、選択した掌線情報の始点座標及び終点座標に最も座標が近い掌線情報を使用者情報テーブルから読み出して、照合処理を行う(ステップS15)。設定部183は、使用者情報テーブルから取り出した掌線情報の長さ比及び/又は曲率と、入力生体情報から選択した掌線情報の長さ比及び/又は曲率との照合を行う。設定部183は、選択したすべての掌線情報について照合処理を行う(ステップS16)。照合処理により長さ比及び/又は曲率の一致度がしきい値よりも低い、すなわち、一致しないと判定されると(ステップS16/NO)、設定部183は、画像表示部20が表示するシルエット画像Sに、ガイド表示を追加表示させる(ステップS17)。設定部183は、照合処理において、一致度が高いと判定された掌線情報の掌線を、追加ガイド表示としてシルエット画像Sに追加させる(図9参照)。
図9は、掌線を追加ガイド表示としてシルエット画像Sに追加した例を示す。この例では、表示領域Tに表示されるシルエット画像Sに、追加ガイドとして曲線が追加されて表示される。この追加ガイドにより、使用者の手Rをシルエット画像Sに重ねる操作が、より容易になる。例えば、第1カメラ61と手との距離や角度によっては、照合処理の一致度が低くなる場合がある。このため、設定部183が、シルエット画像Sに掌線のガイド表示を表示させることで、認証処理の照合精度を高めることができる。なお、追加ガイドは掌線に相当する曲線に限らず、直線であってもよいし、文字や他の図形を含んでもよい。シルエット画像Sに手を重ねる操作において、手の位置を案内する情報を含んでいればよい。
また、照合処理により、長さ比及び/又は曲率の一致度がしきい値よりも高いと判定されると(ステップS16/YES)、設定部183は、設定情報を使用者情報テーブルから読み出す(ステップS18)。この設定情報は、入力生体情報に一致度が高いと判定された登録生体情報に対応付けられた設定情報である。設定部183は、読み出した設定情報に基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、補正係数を算出すると、算出した補正係数を位置検出部185に出力する。
位置検出部185は、対象検出部184が撮像画像から検出した対象物の画像について、表示領域に対する位置とサイズとを検出する。位置検出部185は、表示領域に対する位置とサイズとを検出すると、検出した位置及びサイズを、設定部183から渡された補正係数に基づいて補正する(ステップS19)。情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した位置及び/又はサイズ等に基づき、表示データの表示位置を決定する。その後、情報表示制御部186は、表示データを表示制御部170に出力し、画像表示部20により表示を実行させる。
続いて、通信システム1において、使用者情報テーブル120A及び掌線情報テーブル120Bの内容を送受信する動作について説明する。
第1の通信態様として、頭部装着型表示装置100A、及び、頭部装着型表示装置100Bが、それぞれ、データをサーバー5に送信する態様が挙げられる。頭部装着型表示装置100Aは、記憶部120に記憶する使用者情報テーブル120A、及び、掌線情報テーブル120Bを、サーバー5に送信する。また、頭部装着型表示装置100Bは、記憶部120に記憶する使用者情報テーブル120A、及び、掌線情報テーブル120Bを、サーバー5に送信する。
サーバー5は、頭部装着型表示装置100A、100Bのそれぞれから送信される使用者情報テーブル120A、及び、掌線情報テーブル120Bのデータを記憶する。ここで、サーバー5は、頭部装着型表示装置100A、100Bのそれぞれから送信されるテーブルを集約して、表示システム2の使用者情報テーブルを構成できる。
図10は、サーバー5が生成し記憶する使用者情報テーブルの構成例を示す模式図であり、図10(A)は使用者情報テーブル5Aを示し、図10(B)は掌線情報テーブル5Bを示し、図10(C)はデバイス情報テーブル5Cを示す。
使用者情報テーブル5Aは、頭部装着型表示装置100A、100Bから受信した記憶部120のデータを集約したテーブルである。また、掌線情報テーブル5Bは、頭部装着型表示装置100A、100Bから受信した掌線情報テーブル120Bを集約したテーブルである。
使用者情報テーブル5Aでは、図5に示した使用者情報テーブル120Aのデータに、デバイスIDが対応付けられている。使用者情報テーブル5AにおいてデバイスIDが「1」に設定されたデータは、デバイスID「1」が付与された頭部装着型表示装置100がサーバー5に送信したデータである。また、デバイスIDが「2」に設定されたデータは、デバイスID「2」が付与された頭部装着型表示装置100がサーバー5に送信したデータである。また、掌線情報テーブル5Bでは、デバイスIDに対応付けて、掌線情報テーブル120Bのデータが含まれる。
図10(A)、(B)の例では、使用者IDが「1」となっているデータ(レコード)が2つある。これは、一人の使用者が2つの頭部装着型表示装置100A、100Bのそれぞれで生体情報を登録したことを示す。
このように、サーバー5は、複数の頭部装着型表示装置100から使用者情報テーブル120A、掌線情報テーブル120Bを受信し、受信したデータを集約して記憶する。これにより、通信システム1を構成する頭部装着型表示装置100で登録された生体情報及び設定情報を、全ての頭部装着型表示装置100で共有できる。例えば、サーバー5が、使用者情報テーブル5A及び掌線情報テーブル5Bを、複数の頭部装着型表示装置100に送信することで、頭部装着型表示装置100Aで登録した生体情報及び設定情報を、頭部装着型表示装置100Bで使用できる。つまり、使用者は、いずれか1つの頭部装着型表示装置100で登録を行えば、自分の設定情報に基づき、登録した設定を、他の頭部装着型表示装置100で実現できる。従って、複数の使用者が1つの頭部装着型表示装置100を使用する場合、及び、一人の使用者が複数の頭部装着型表示装置100を使用する場合のいずれも、生体情報に基づいて、予め設定され使用者に適した設定を実現できる。
また、サーバー5は、デバイス情報テーブル5Cを有していてもよい。デバイス情報テーブル5Cは、デバイスIDに対応付けて、頭部装着型表示装置100毎の仕様に関するデータを格納する。デバイス情報テーブル5Cによれば、通信システム1が備える複数の頭部装着型表示装置100について、それぞれの頭部装着型表示装置100の仕様の違いを特定できる。例えば、サーバー5が、頭部装着型表示装置100Aに対し、頭部装着型表示装置100Bで登録された設定情報を含む使用者情報テーブル5Aを送信するときに、デバイス情報テーブル5Cに基づき使用者情報テーブル5Aの値を変換できる。この場合、頭部装着型表示装置100Bと頭部装着型表示装置100Aの仕様の違いを加味して、頭部装着型表示装置100Bの設定と同じ状態を頭部装着型表示装置100Aで実現できる。また、例えば、デバイス情報テーブル5Cを頭部装着型表示装置100A、100Bの両方にサーバー5が送信し、頭部装着型表示装置100A、100Bが上記の変換を実行してもよい。これにより、通信システム1が備える頭部装着型表示装置100の仕様に違いがあっても、それぞれの頭部装着型表示装置100で、使用者に合わせた設定状態を実現できる。
第2の通信態様として、頭部装着型表示装置100Aから頭部装着型表示装置100Bに、或いは、頭部装着型表示装置100Bから頭部装着型表示装置100Aに、データを送信する態様がある。この場合、頭部装着型表示装置100A、100Bが相互に直接通信し、或いは、無線アクセスポイント3を介して通信して、使用者情報テーブル5A、及び掌線情報テーブル5Bを生成して記憶部120に記憶してもよい。この場合も、通信システム1が備える複数の頭部装着型表示装置100で、登録された生体情報及び設定情報を共有できるという利点がある。
以上説明したように、本発明を適用した実施形態の頭部装着型表示装置100は、記憶部120と、入力部としての第1カメラ61及び生体情報検出部181と、情報表示制御部186とを備える。記憶部120は、画像表示部20の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する。また、入力部としての第1カメラ61は、使用者の手の画像を撮像し、入力部としての生体情報検出部181は、撮像画像から生体情報を抽出する。情報表示制御部186は、入力した生体情報に対応する設定情報に基づいて、画像表示部20の表示を制御する。これにより、設定情報に基づき、頭部装着型表示装置100の表示に関して、使用者に合わせた設定を、速やかに行うことができる。
また、記憶部120が記憶する使用者情報テーブル120Aには、使用者の生体情報に含まれる特徴の一部が含まれる。生体情報を用いることで使用者を識別が可能であり、生体情報に含まれる特徴の一部が含まれることで、身体的な特徴に応じた簡易設定が可能になる。
情報表示制御部186は、第1カメラ61及び生体情報検出部181により識別情報として入力される生体情報の特徴の一部と、記憶部120が識別情報として記憶する生体情報の特徴の一部とを照合して、設定情報を特定する。従って、身体的な特徴に応じた簡易設定が可能になる。
また、画像表示部20は、外景を透過し、外景とともに視認できるように画像を表示し、情報表示制御部186は、画像の表示位置及び表示サイズの少なくともいずれかを、設定情報に対応して複数段階に変更する。このため、画像表示部20における画像の表示位置及び表示サイズを、使用者に合わせて段階的に設定できる。
また、画像表示部20は、外景を透過し、外景とともに視認できるように画像光を使用者の眼に入射する右導光板261、左導光板262を備える。また、制御部140は、使用者の視線方向の対象物を検出する対象検出部184と、画像表示部20の表示領域に対する対象物の位置を検出する位置検出部185とを備える。情報表示制御部186は、位置検出部185で検出した対象物の位置、及び、右導光板261、左導光板262と使用者の瞳孔の位置との位置関係に応じて、光学素子による画像の表示位置を変更する。このため、画像の表示位置を使用者に合わせて設定できる。
また、使用者情報テーブル120Aの登録情報には、設定情報として、言語の設定に関する情報が含まれる。情報表示制御部186は、画像表示部20に文字を含むコンテンツを表示させる場合に、設定情報に対応した言語の文字を表示させる。このため、画像表示部20に表示する文字の言語を、使用者に合わせて設定できる。
また、頭部装着型表示装置100は、通信部117を備え、情報表示制御部186は、記憶部120に記憶する使用者情報テーブル120A及び掌線情報テーブル120Bをサーバー5に送信する。また、頭部装着型表示装置100は、通信部117で使用者情報テーブル5A及び掌線情報テーブル5Bを受信し、記憶部120に記憶してもよい。この場合、使用者情報テーブル120A及び掌線情報テーブル120Bを他の頭部装着型表示装置100と共有できる。また、他の装置で登録された情報を含む使用者情報テーブル5A及び掌線情報テーブル5Bに基づき、使用者に合わせた表示の設定を行うことができる。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ(Head-up Display;HUD)であってもよい。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10と画像表示部20とをより長いケーブルにより接続した場合に、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
さらに、本発明の光学素子は、ハーフミラー261A、262Aを有する右導光板261、左導光板262に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的に、又は可動に設置された透光性の平面や曲面(ガラスや透明なプラスチック等)に画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、図4に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図2に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部111のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図4に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成された制御部140と画像表示部20に形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
また、設定情報として、瞳の色の情報を使用者情報テーブル120Aに登録しておき、使用者の瞳の色に応じて、表示駆動部22,24から出力される画像光の強さや、配色を変更してもよい。また、使用者の体型情報(標準体型、やせ型、肥満型)を使用者情報テーブル120Aに登録しておき、使用者の体型に応じて表示駆動部22,24から出力される画像光の配色を変更してもよい。例えば、使用者が肥満体型である場合、画像表示部20が食べ物の画像を表示させる場合に、画像の色を青みがかった色に変更してもよい。これにより、使用者の食欲を抑制することができる。また、右光学像表示部26及び左光学像表示部28に透過率を変更可能なシェードを設けて、使用者の瞳の色に応じて、シェードの透過率を変更してもよい。
また、設定情報として、使用者の背丈、体重、性別等の身体的な特徴を使用者情報テーブル120Aに登録しておき、画像表示部20の表示領域における表示位置/又は表示サイズを、使用者の身体的な特徴に基づいて補正してもよい。
1…通信システム、2…表示システム、5…サーバー、10…制御装置、20…画像表示部(表示部)、21…右保持部、22…右表示駆動部(第2の表示部)、23…左保持部、24…左表示駆動部(第1の表示部)、25…インターフェイス、26…右光学像表示部、28…左光学像表示部、61…カメラ、63…マイク、100、100A、100B…頭部装着型表示装置(表示装置)、117…通信部、120…記憶部、125…インターフェイス、140…制御部、150…オペレーティングシステム、160…画像処理部、170…表示制御部、181…生体情報検出部、182…設定情報検出部、183…設定部、184…対象検出部、185…位置検出部、186…情報表示制御部、187…音声処理部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板(光学素子)、262…左導光板(光学素子)。

Claims (11)

  1. 頭部装着型の表示部を備える表示装置であって、
    前記表示部の表示に関する設定情報を、使用者の複数種類の生体情報を含む登録生体情報に対応付けて記憶する記憶部と、
    前記使用者の複数種類の生体情報を含む入力生体情報を入力する入力部と、
    前記入力生体情報と前記登録生体情報とを照合することにより前記使用者に対応する前記設定情報を特定し、特定した前記設定情報に基づいて、前記表示部の表示を制御する制御部と、
    を備え、
    前記制御部は、前記登録生体情報から選択した生体情報と同一の生体情報を前記入力生体情報から選択する処理を実行し、この処理において、前記登録生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、前記入力生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、
    前記登録生体情報から選択した生体情報と前記入力生体情報から選択した生体情報を照合することにより前記設定情報を特定することを特徴とする表示装置。
  2. 前記制御部は、前記登録生体情報に含まれる前記使用者の生体情報のうち1または複数の種類の生体情報を選択し、前記入力生体情報の特徴の一部と、前記登録生体情報から選択した生体情報の特徴の一部とを照合して、前記設定情報を特定する、ことを特徴とする請求項記載の表示装置。
  3. 前記記憶部は、前記使用者の掌線を示す座標を含む掌線情報を同一の前記使用者について複数登録した前記登録生体情報に、前記表示部の表示に関する設定情報を対応付けて記憶し、
    前記制御部は、前記入力生体情報に含まれる複数の掌線情報から1または複数の掌線情報を選択し、選択した掌線情報の座標と最も近い座標を有する掌線情報を前記登録生体情報から取り出して照合することを特徴とする請求項1載の表示装置。
  4. カメラを備え、
    前記入力部は、前記カメラの撮影画像から前記使用者の生体情報を抽出して前記入力生体情報として入力し、
    前記表示部は、前記カメラにより前記使用者の掌線情報を入力する操作を案内するガイドを表示し、
    前記制御部は、前記入力生体情報から選択した掌線情報と前記登録生体情報から選択した掌線情報とを照合し、掌線情報が一致しないと判定した場合に、前記表示部が表示する前記ガイドに掌線を示す追加ガイドを表示させる、請求項記載の表示装置。
  5. 前記制御部は、前記入力生体情報から選択した掌線情報と前記登録生体情報から選択した掌線情報との長さ比及び/又は曲率の一致度がしきい値よりも高い場合に、前記登録生体情報に対応づけて前記記憶部に記憶された設定情報を特定し、特定した設定情報に基づいて、前記表示部における表示位置又はサイズを補正する補正係数を算出する、請求項または記載の表示装置。
  6. 前記表示部は、外景を透過し、前記外景とともに視認できるように画像光を前記使用者の眼に入射する光学素子と、
    前記使用者の視線方向の対象物を検出する対象検出部と、
    前記表示部の表示領域に対する前記対象物の位置を検出する位置検出部と、を備え、
    前記制御部は、前記位置検出部で検出した前記対象物の位置、及び、前記光学素子と前記使用者の瞳孔の位置との位置関係に応じて、前記画像光により表示される画像の表示位置を変更する、ことを特徴とする請求項1からのいずれかに記載の表示装置。
  7. 前記設定情報は、言語の設定に関する情報を含み、
    前記制御部は、前記表示部に、文字を含むコンテンツを表示する場合に、前記設定情報に対応した言語の文字を前記表示部に表示させる、ことを特徴とする請求項1からのいずれか1項に記載の表示装置。
  8. 通信部を備え、
    前記制御部は、前記記憶部に記憶する前記設定情報と前記登録生体情報とを対応付けて、前記通信部により外部の装置に送信し、
    前記通信部により前記設定情報と前記登録生体情報とを受信し、受信した前記設定情報と前記登録生体情報とを対応付けて前記記憶部に記憶すること、
    を特徴とする請求項1からのいずれかに記載の表示装置。
  9. 頭部装着型の表示部をそれぞれ備える複数の表示装置を備え、
    前記表示装置は、
    前記表示部の表示に関する設定情報を、使用者の複数種類の生体情報を含む登録生体情報に対応付けて記憶する記憶部と、
    前記使用者の複数種類の生体情報を含む入力生体情報を入力する入力部と、
    前記入力生体情報と前記登録生体情報とを照合することにより前記使用者に対応する前記設定情報を特定し、特定した前記設定情報に基づいて、前記表示部の表示を制御する制御部と、
    他の前記表示装置と通信する通信部と、を備え、
    前記制御部は、前記登録生体情報から選択した生体情報と同一の生体情報を前記入力生体情報から選択する処理を実行し、この処理において、前記登録生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、前記入力生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、
    前記登録生体情報から選択した生体情報と前記入力生体情報から選択した生体情報を照合することにより前記設定情報を特定し、
    前記制御部は、前記記憶部に記憶する前記設定情報と前記登録生体情報とを対応付けて、前記通信部により送信し、
    前記通信部により前記設定情報と前記登録生体情報とを受信し、受信した前記設定情報と前記登録生体情報とを対応付けて前記記憶部に記憶すること、
    を特徴とする表示システム。
  10. 頭部装着型の表示部を備える表示装置の制御方法であって、
    使用者の生体情報を含む入力生体情報を入力するステップと、
    前記表示部の表示に関する設定情報を、前記使用者の複数種類の生体情報を含む登録生体情報に対応付けて記憶する記憶部を参照して、前記入力生体情報と前記登録生体情報とを照合することにより前記使用者に対応する前記設定情報を特定し、特定した前記設定情報に基づいて、前記表示部の表示を制御する表示制御ステップと、
    を備え、
    前記表示制御ステップで、前記登録生体情報から選択した生体情報と同一の生体情報を前記入力生体情報から選択する処理を実行し、この処理において、前記登録生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、前記入力生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、
    前記登録生体情報から選択した生体情報と前記入力生体情報から選択した生体情報を照合することにより前記設定情報を特定することを特徴とする表示装置の制御方法。
  11. 頭部装着型の表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、
    コンピューターを、
    使用者の複数種類の生体情報を含む入力生体情報を入力する入力部と、
    前記表示部の表示に関する設定情報を、前記使用者の複数種類の生体情報を含む登録生体情報に対応付けて記憶する記憶部を参照して、前記入力生体情報と前記登録生体情報とを照合することにより前記使用者に対応する前記設定情報を特定し、特定した前記設定情報に基づいて、前記表示部の表示を制御する制御部と、
    して機能させ、
    前記制御部は、前記登録生体情報から選択した生体情報と同一の生体情報を前記入力生体情報から選択する処理を実行し、この処理において、前記登録生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、前記入力生体情報に含まれる前記使用者の生体情報の一部を間引いて選択し、
    前記登録生体情報から選択した生体情報と前記入力生体情報から選択した生体情報を照合することにより前記設定情報を特定することを特徴とするプログラム。
JP2014217270A 2014-10-24 2014-10-24 表示装置、表示装置の制御方法、表示システム、及び、プログラム Active JP6539981B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014217270A JP6539981B2 (ja) 2014-10-24 2014-10-24 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US14/878,545 US20160116740A1 (en) 2014-10-24 2015-10-08 Display device, control method for display device, display system, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014217270A JP6539981B2 (ja) 2014-10-24 2014-10-24 表示装置、表示装置の制御方法、表示システム、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016085322A JP2016085322A (ja) 2016-05-19
JP6539981B2 true JP6539981B2 (ja) 2019-07-10

Family

ID=55971759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014217270A Active JP6539981B2 (ja) 2014-10-24 2014-10-24 表示装置、表示装置の制御方法、表示システム、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6539981B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098944A (ja) * 2017-04-05 2020-06-25 シャープ株式会社 映像生成装置、映像生成方法および映像生成プログラム
KR102260393B1 (ko) * 2019-11-27 2021-06-03 주식회사 피앤씨솔루션 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치
JP2021145785A (ja) * 2020-03-17 2021-09-27 ソニーグループ株式会社 プログラム、情報処理装置及び端末装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5715842B2 (ja) * 2011-02-08 2015-05-13 新日鉄住金ソリューションズ株式会社 情報提供システム、情報提供方法、及びプログラム
JP6144681B2 (ja) * 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング,エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
JP5844880B2 (ja) * 2012-03-01 2016-01-20 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
SG11201405394PA (en) * 2012-03-16 2014-11-27 Universal Robot Kabushiki Kaisha Personal authentication method and personal authentication device
JP6026836B2 (ja) * 2012-09-28 2016-11-16 パイオニア株式会社 画像表示装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2016085322A (ja) 2016-05-19

Similar Documents

Publication Publication Date Title
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
CN110068926B (zh) 显示装置
US9898868B2 (en) Display device, method of controlling the same, and program
JP6701631B2 (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
CN105607255B (zh) 头部佩戴型显示装置、控制其的方法及计算机可读存储介质
JP6786792B2 (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
JP6217244B2 (ja) 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
JP6344125B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20160313973A1 (en) Display device, control method for display device, and computer program
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
CN105739095B (zh) 显示装置以及显示装置的控制方法
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6707809B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033757A (ja) 表示装置、表示装置の制御方法、および、プログラム
US20160116740A1 (en) Display device, control method for display device, display system, and computer program
US20160035137A1 (en) Display device, method of controlling display device, and program
JP2017102516A (ja) 表示装置、通信システム、表示装置の制御方法、及び、プログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
JP6539981B2 (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US9866823B2 (en) Head mounted display device, control method for head mounted display device, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190527

R150 Certificate of patent or registration of utility model

Ref document number: 6539981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150