JP6565310B2 - 表示装置、表示装置の制御方法、及び、プログラム - Google Patents
表示装置、表示装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP6565310B2 JP6565310B2 JP2015095603A JP2015095603A JP6565310B2 JP 6565310 B2 JP6565310 B2 JP 6565310B2 JP 2015095603 A JP2015095603 A JP 2015095603A JP 2015095603 A JP2015095603 A JP 2015095603A JP 6565310 B2 JP6565310 B2 JP 6565310B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging
- display
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、上記課題に鑑みてなされたものであり、撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供することを目的とする。
本発明によれば、発光部が発する光が対象物に投射された場合に、対象物上の光を撮像部で撮像し、撮像画像を利用して、表示部に対する撮像部の相対位置や相対方向等を検出できる。
上記表示装置において、前記可動部により前記撮像部の撮像方向が変化する範囲の少なくとも一部において、前記撮像部の撮像範囲に、前記発光部が光を発する方向を含む構成としてもよい。また、前記所定パターンは位置検出用のパターンであってもよい。
本発明によれば、撮像部により、表示部に対する撮像部の相対位置や相対方向等を高精度で検出可能な撮像画像を得ることができる。
本発明によれば、表示部に対する撮像部の相対位置や相対方向等を検出するためのパターンを容易に得ることができる。
本発明によれば、複数の撮像部の撮像画像を利用して、表示部に対する撮像部の相対的な位置関係を検出できる。
上記表示装置において、前記可動部により前記第1撮像部の撮像方向と前記第2撮像部の撮像方向との相対方向が変化する範囲の少なくとも一部において、前記第1撮像部の撮像範囲と前記第2撮像部の撮像範囲との少なくとも一部が重複する構成としてもよい。また、前記制御部は、前記第1撮像部の撮像画像に基づき前記表示部に画像を表示させて、前記第1撮像部の撮像画像と前記第2撮像部の撮像画像とに基づいて、前記第1撮像部と前記表示部との相対位置を検出してもよい。
本発明によれば、発光部が発する光が対象物に投射された場合に、対象物上の光を撮像部で撮像し、撮像画像を利用して、表示部に対する撮像部の相対位置関係の変化、または相対位置関係を検出できる。
本発明によれば、複数の撮像部の撮像画像を利用して、表示部に対する撮像部の相対的な位置関係を検出できる。
本発明によれば、発光部が発する光が対象物に投射された場合に、対象物上の光を撮像部で撮像し、撮像画像を利用して、表示部に対する撮像部の相対位置関係の変化、または相対位置関係を検出できる。
本発明によれば、複数の撮像部の撮像画像を利用して、表示部に対する撮像部の相対的な位置関係を検出できる。
図1から図11に基づき、本発明を適用した第1実施形態について説明する。
図1は、本実施形態に係るHMD(Head Mounted Display:頭部装着型表示装置)100の構成を示す斜視図であり、虚像表示装置1が使用者に装着された状態を示す。また、図2及び図3は、虚像表示装置1を正面側及び背面側から見た斜視図である。換言すると、図2は、虚像表示装置1を使用者側とは反対側から見た斜視図であり、図3は、使用者側から見た斜視図である。
また、制御装置300には、ケーブルCBと分岐するオーディオケーブルCOが接続する。オーディオケーブルCOは、右イヤホン33及び左イヤホン34と、マイク63とが接続される。右イヤホン33及び左イヤホン34は、音声処理部187(図10)が出力する音声信号に基づき音声を出力する。
ここで、虚像表示装置1が電池等の電源を有する場合には、虚像表示装置1と制御装置300とを無線通信により接続することも可能である。
ヘッドバンド部2は、後述するアーム部4の一端が取り付けられるとともに、虚像表示装置1における機能の一部を制御するものである。
このヘッドバンド部2は、使用者USの頭部に沿う円弧状の外形を有し、図2に示すように、使用者USの頭部に沿って配置される本体ケース21と、当該ヘッドバンド部2を使用者USの頭部やヘルメット等の固定部位に固定する固定部としてのバンド22と、撮像部23と、制御基板24とを有する。なお、固定部位は、使用者USの頭部(詳しくは、眉及び耳を通る頭部の外周線より上側の部位)に応じた位置であり、頭部とヘッドバンド部2との間にヘルメット等が介在していてもよい。
制御基板24は、ケーブルCBにより制御装置300に接続される。制御基板24は、撮像部23及び撮像部23に付随する回路(図示略)、及び、9軸センサー238(図9)を実装する。また、制御基板24は、後述する発光部81とケーブルCBとを接続する。制御基板24は、制御装置300に対し、撮像部23の撮像画像及び9軸センサー238の検出値等を送受信し、制御装置300が発光部81の点灯を制御する信号を、発光部81に送出する。
本体ケース21は、図4に示すように、使用者US(図4における点線で輪郭を示す使用者US)の前額部に沿って配置され、頭部にバンド22によって固定される。この本体ケース21は、上記制御基板24(図2参照)やケーブルCB等を内部に収納し、かつ、撮像部23やアーム部4を支持する筐体である。
この本体ケース21は、使用者USの前額部及び側頭部の形状に沿う略半円形状(略U字状)の外形を有する。すなわち、本体ケース21において、使用者USの前額部から側頭部に対向する内面211は、Y方向側から見て、使用者USの頭部に沿って湾曲している。
また、図5に示すように、本体ケース21の円弧状の両端近傍には、それぞれのアーム部4の一端を回動可能に軸支する回動軸部25が設けられている。なお、後に詳述するが、各アーム部4における当該一端は、本体ケース21の内部に配置されている。
バンド本体221は、図3及び図4に示すように、両端に帯部222を取り付ける環状部221Aを有する。
帯部222は、図4に示すように、バンド本体221の両端の環状部221Aに取り付けられ、バンド本体221とともに環状のバンド22を構成する。帯部222は、例えば、伸縮性を有する帯状の部材で形成される。この帯部222が、バンド本体221側に向かって使用者USの頭部やヘルメット等の装着対象を押圧することにより、バンド22ひいてはヘッドバンド部2が、使用者USの頭部に固定される。
また、モジュール筐体234のX方向に交差する側面234Aには、当該側面234AからX方向に沿って突出する回動軸部236が設けられている。詳述すると、回動軸部236は、側面234AにおけるY方向とは反対側の位置に突設されている。この回動軸部236は、モジュール筐体234が配置される本体ケース21の凹部213に設けられた軸受け部(図示省略)によって支持されている。これら回動軸部236及び軸受け部等により、本発明の調整機構が構成される。なお、図2では、2つの側面234AのX方向の基端側における回動軸部236のみを図示しているが、X方向の先端側の側面の対応する位置にも回動軸部が設けられている。
このようなモジュール筐体234は、回動軸部236によって規定されるX方向に平行な回動軸R1を中心として所定範囲内にて回動可能である。このため、本体ケース21に対するモジュール筐体234の姿勢を調整することにより、ステレオカメラ231の撮像方向(すなわち、撮像部23による撮像方向)を調整できる。
表示部3は、入力される画像情報に応じた画像を形成して、当該画像を虚像として使用者に視認させる。この表示部3は、使用者の右眼と左眼のそれぞれに対して配置される一対の光学装置31(左眼用及び右眼用光学装置を、それぞれ31L,31Rとする)と、一対の光学装置31を保持する略U字状のフレーム部32とを備える。一対の光学装置31のうちの左眼用光学装置31Lは、ハーフミラーを含む導光部材313Lを有し、右眼用光学装置31Rは、ハーフミラーを含む導光部材313Rを有する。なお、左眼用光学装置31Lと、右眼用光学装置31Rとは、互いに鏡面対称の関係を有する。
一対の光学装置31のそれぞれは、カバー部材311と、光学ユニット312(図6参照)と、導光部材313(図3参照)とを有する。
カバー部材311は、光学ユニット312を内部に収納する筐体である。
光学ユニット312は、カバー部材311の内部に配置されており、後述する画像生成部20が生成する画像光を、対応する導光部材313に出射する。
一対のアーム部4は、図2及び図3に示したように、ヘッドバンド部2の本体ケース21と、表示部3の各カバー部材311とを接続するとともに、当該本体ケース21に対して回動可能に構成されている。これらアーム部4における本体ケース21側の端部は、図5に示すように、当該本体ケース21の下面214(Y方向とは反対側の面214)に形成された開口部214Aを介して、本体ケース21の内に回動自在に支持されている。これらアーム部4は、それぞれ、第1端部41及び第2端部42を有する。
本実施形態では、図7に示すように、アーム部4は、表示部3及びアーム部4のいずれかがヘッドバンド部2と接触するまで、当該ヘッドバンド部2側に上記回動軸R2を中心として、図中に矢印RAで示す方向に回動可能である。一方、アーム部4は、開口部214AのZ方向とは反対側の端部と、アーム部4とが接触するまで、上記とは逆方向すなわち図中に矢印RBで示す方向に回動可能である。
移動機構5は、表示部3とアーム部4とを接続するとともに、アーム部4に対して表示部3を、ヘッドバンド部2に接離する方向(すなわちY方向及びY方向とは反対方向)に移動可能に構成されている。この移動機構5は、図6に示すように、ガイドレール51及びスライド部材52を2組備える。
スライド部材52は、上記のように、各アーム部4の第2端部42におけるZ方向側の面から突設されている。このスライド部材52は、ガイドレール51の軸方向に沿って摺動可能に係合されている。これにより、図8に示すように、表示部3がY方向に移動され、ヘッドバンド部2と表示部3との距離を調整することができる。すなわち、表示部3は、矢印TAで示すようにY方向に沿って上昇する方向、及び、矢印TBで示すように、Y方向に沿って下降するように、動かすことができる。
虚像表示装置1は、R2軸を中心として表示部3を回動させる機構と、移動機構5により表示部3を上下にスライドさせる機構との両方を具備することで、使用者の視界から表示部3を退避させることも、表示部3の表示を見る位置を変更することもできる。なお、眼球の回転中心を通る仮想軸を中心として表示部3を回動させる機構が採用され、当該構造において表示部3の回動範囲で表示部3が利用者の顔に抵触しないような構成(例えば長い回動半径、または小さい表示部3)が採用されてもよい。そのような機構によれば、適切に表示部3を退避させることと、適切に表示部3の表示を見る位置を変更することと、を一つの可動部で実現し得る。
虚像表示装置1は、ヘッドバンド部2と表示部3とを、アーム部4を介してRA、RB方向の回動及びTA、TB方向のスライドが可能なように連結することで、撮像部23の撮像範囲と表示部3の位置との相対位置が変化する。この構成は、撮像部23をヘッドバンド部2に設けることで表示部3を軽量化できる点で有利である。表示部3を軽量化することで、表示部3を支える構造、例えば移動機構5、及び第1端部41の支持構造をシンプルかつ軽量な構成とすることができる。また、使用者の意図に応じて、使用者が弱い力で表示部3を動かすことができるという利点もある。撮像部23の撮像範囲は、少なくとも、表示部3を通して視認される範囲に重なる。撮像部23の撮像範囲に、表示部3を通して視認される範囲を含んでもよい。
図1、図2及び他の各図に示すように、表示部3は、左右両端部に、4つの発光部81を備える。発光部81は、LED、或いはレーザーダイオード等の固体光源、或いはランプを有して構成され、光を前方に照射する。本実施形態の発光部81は、光源としてLEDを備える。より詳細には、発光部81は、表示部3の右側の端部においてカバー部材311に埋設設置されるLED81A、81B、及び、表示部3の左側の端部においてカバー部材311に埋設設置されるLED81C、81Dにより構成される。これら4つのLED81A、81B、81C、81Dが発する光LA、LB、LC、LD(図5参照)は、使用者の略視線方向に向けて照射される。光LA、LB、LC、LDは、ステレオカメラ231により撮像可能な波長域の光であって、可視領域内の光であってもよいし、赤外光等の可視領域外の光であってもよい。また、LED81A、81B、81C、81Dが発する光は、好ましくは直進性の高い光であり、例えばLED81A、81B、81C、81Dに光の照射方向を制限するレンズ等の光学部品を設けてもよい。
使用者USの頭部に沿う本体部としてのヘッドバンド部2は、当該ヘッドバンド部2とアーム部4を介して接続される表示部3によって表示される虚像が使用者USによって視認可能な位置に固定される。これによれば、ヘッドバンド部2は、額に沿って配置された状態で、使用者USの額等の固定部位に固定されるので、虚像表示装置1の荷重が使用者の鼻に加わることを抑制できる。従って、虚像表示装置1の使用時における使用者USへの負荷を軽減でき、使用感を向上させることができる。
ここで、表示部3に撮像部23が位置する場合には、撮像部23の荷重によって虚像表示装置1の重量バランスがずれることが考えられる。これに対し、撮像部23は、上記固定部位に固定されるヘッドバンド部2に位置することにより、表示部3の重量を低減できるだけでなく、虚像表示装置1の重量バランスを適正化しやすくすることができる。従って、使用者USへの負荷を一層軽減できる。
これに対し、表示部3から延出したケーブルCRは、アーム部4内及びヘッドバンド部2内を通って制御基板24に接続される。また、制御基板24から延出したケーブルCBは、ヘッドバンド部2内を通って外部に延出する。これによれば、カバー部材311やフレーム部32等の強度を高める必要がない他、虚像表示装置1の外観を良好なものにすることができる。
図10は、HMD100を構成する各部の機能ブロック図である。
図10に示すように、HMD100は、インターフェイス125を介して外部機器OAに接続される。インターフェイス125は、制御装置300に対して、コンテンツの供給元となる種々の外部機器OAを接続する。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器OAは、HMD100に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等が用いられる。
また、制御装置300は、電源部130を備え、制御装置300及び虚像表示装置1の各部に電源を供給する。
画像生成部20Rは、LED等の光源と拡散板とを有する右バックライト205と、右バックライト205を駆動する右バックライト制御部201とを備える。また、右バックライト205が発する光の光路上に配置される透過型の右LCD241、及び、右LCD241を駆動する右LCD制御部203を備える。
右LCD241を透過した画像光は光学ユニット312に入射する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右バックライト制御部201及び左バックライト制御部202は、表示制御部170から受信する制御信号に従って、右バックライト205及び左バックライト206のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト205及び左バックライト206は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体であり、レーザー光源やランプを用いて構成してもよい。
また、音声処理部187は、マイク63により集音された音声をディジタルデータに変換する。音声処理部187は、ディジタル音声データから特徴を抽出してモデル化することにより、例えば話者認識処理や音声認識処理を実行する。話者認識処理では、マイク63が集音する音声から人間の声を検出し、検出した人間の声を人毎に識別して、声ごとに話している人間を特定する。また、音声認識処理では、例えば、マイク63が集音した音声をテキストに変換するテキスト変換を行う。
また、インターフェイス28は、ステレオカメラ231の撮像画像を制御部140に出力し、制御部140が送出するLED233の駆動信号を、LED233に出力する。これにより、LED233は、制御部140の制御に従って点灯及び消灯する。
また、インターフェイス28は、発光部81を構成するLED81A、81B、81C、81D(図2)を、制御部140に接続する。制御部140が発光部81の駆動信号を出力すると、インターフェイス28を介してLED81A、81B、81C、81Dのそれぞれに駆動信号が入力され、LED81A、81B、81C、81Dは制御部140の制御により点灯及び消灯する。
なお、虚像表示装置1は、インターフェイス28にLED233及びLED81A、81B、81C、81Dを接続する構成に限定されない。例えば、制御部140の制御に従って、LED233及びLED81A、81B、81C、81Dのそれぞれに対し、駆動電流、駆動パルス等を出力するドライバー回路(図示略)を備えてもよい。
本実施形態の発光部81は、4つのLED81A、81B、81C、81Dを同時に点灯、及び消灯させることができればよく、LED81A、81B、81C、81Dのそれぞれに対して個別に点灯、及び消灯させることが可能な構成は必須ではない。
受信部133、134は、制御装置300と虚像表示装置1との間におけるシリアル伝送のためのレシーバーとして機能する。
図10は、HMD100の表示に係る制御の説明図であり、(A)はAR表示の例を示し、(B)は位置検出の様子を示す。
虚像表示装置1が備える表示部3は、使用者が外景を視認でき、かつ、導光部材313により画像を視認するシースルー型の表示装置である。HMD100は、使用者が表示部3を透過して外景を視認する場合に、外景と重なって視認される画像を表示する。この表示の一態様として、実空間である外景に関する情報を提供する、いわゆるAR効果を奏する画像(以下、AR画像という)を表示する。AR画像は、実空間に存在する対象物に関する情報を、対象物と重なって、或いは対象物と並ぶように表示される。AR画像を見ることで、使用者は、対象物と、対象物に関する各種の情報とを同時に見ることができる。AR画像の表示は、使用者にとって対象物が見える位置に合わせて表示するときにより効果的である。
撮像制御部181は、虚像表示装置1が備える撮像部23を制御して撮像を実行させ、撮像画像データを取得する。
AR表示制御部183は、撮像制御部181の機能により取得される撮像画像を解析し、撮像画像から対象物の画像を検出する。HMD100では、検出する対象物の画像について、形状、色彩などの特徴量に関するデータを記憶部120に記憶する。AR表示制御部183は、記憶部120に記憶したデータを用いて、撮像画像から対象物の画像を検出し、撮像画像における対象物の画像の位置を特定する。さらに、AR表示制御部183は、表示部3の表示領域、すなわち、導光部材313R、313Lにおいて画像光を使用者の眼に向けて反射する領域に対する画像AR1の位置を特定し、画像AR1を表示制御部170に表示させる。画像AR1の画像データは、インターフェイス125を介して取得するコンテンツデータ、記憶部120に記憶されたコンテンツデータ、または、AR表示制御部183がデータ処理により生成する画像データ等である。
(I)眼間距離:
制御部140が、表示部3における2つの光学装置に、同一のキャリブレーション用画像を表示させる。そうすると、表示部3を掛ける使用者は、左右の眼を介して、キャリブレーション用画像を視認する。そこで、使用者は、ユーザーインターフェイス(トラックパッドなど)を介して制御部140に指示を与えることで、2つのキャリブレーション用画像が一致して視認できるように、表示された2つのキャリブレーション用画像の少なくとも一方を他方に対して相対移動させる。2つのキャリブレーション用画像を一致して視認したタイミングで、使用者はユーザーインターフェイスを介して制御部140に通知する。制御部140は、その通知に応じて、当該タイミングでの2つのキャリブレーション用画像の光学装置に対する位置に基づき、画像処理部160に画像の光学装置上での表示位置を調整させる。このことにより、眼間距離に対応した表示部3のキャリブレーションができる。
上記(I)により眼間距離についてのキャリブレーションがされた後で、制御部140が、表示部3の中央にキャリブレーション用画像(例えば仮想2Dマーカー)を固定して表示させる。また、制御部140は、キャリブレーション用画像に対応した参照実物体(例えば、仮想2Dマーカーに相似で、大きさが既知の2Dマーカー)を、撮像部23を介して撮像し、その特徴点に基づいて、撮像部23に対する参照実物体の回転、並進を検出する。使用者は、頭部を動かし、キャリブレーション用画像を参照実物体にアライン(位置、大きさ、向きを一致)させ、アラインしたタイミングで制御部140に通知する。このとき、表示部3と参照用実物体との間の回転、並進が既定の関係になる。制御部140は、上記通知の当該タイミングでの参照実物体の撮像画像における位置情報を取得し、ARオブジェクトと実物体とを重ねて表示するためのパラメーター(キャリブレーションデータ121)を、その使用者用にカスタマイズする。キャリブレーションデータ121は、表示部3に対する撮像部23の回転と並進を表すパラメーターを含む。
制御部140は、キャリブレーションの実行条件の成立に対し待機する(ステップST11)。キャリブレーションの実行条件は、例えば、トラックパッド302に対する操作が挙げられるが、9軸センサー238が閾値を超えるヘッドバンド部2の動きを検出した場合としてもよい。具体的には、9軸センサー238により、ヘッドバンド部2の着脱、ヘッドバンド部2への衝撃などを検出したことを実行条件としてもよい。制御部140は、HMD100の電源がオンの間、或いはHMD100によりAR画像を表示する間、キャリブレーションの実行条件が成立しなければ待機する(ステップST11;No)。
HMD100のキャリブレーションでは、使用者が、HMD100を固定平面S(対象物)に正対させる。固定平面Sは壁面であってもよいし、虚像表示装置1の正面に対し多少の傾きがあってもよい。また、固定平面Sは硬質な平面でなくてもよく、幕であってもよい。また、キャリブレーションに用いる対象物は、少なくとも、LED81A、81B、81C、81Dが発する光LA、LB、LC、LDを反射できる平面を有するものであればよい。従って、固定平面Sのように大きな平面に制限されず、例えば、箱状の対象物の一側面を、固定平面Sと同様に使用することも可能である。後述するように、HMD100は、固定平面Sに光を投射するが、固定平面Sは鏡面のように光を反射する面に限定されない。固定平面S上において、投射された光を撮像部23の撮像画像から検出できればよい。固定平面S等の対象物にHMD100が投射した光が、対象物上で視認され或いは撮像画像において検出可能な場合に、この対象物上の光を、反射光と呼ぶ。
撮像部23はヘッドバンド部2に対し回動軸R1まわりに回動可能に設けられる。また、LED81A、81B、81C、81Dは表示部3に固定的に設けられる。このため、撮像部23の撮像範囲Aは、LED81A、81B、81C、81Dの光の照射方向に対し、回動軸R1、R2及び移動機構5の各可動部の動きによって変化する。撮像部23は、可動部の動きにより変化する範囲の少なくとも一部で、撮像範囲Aに、LED81A、81B、81C、81Dが光LA、LB、LC、LDを照射する方向を含む。言い換えれば、可動部を動かすことで、LED81A、81B、81C、81Dが光LA、LB、LC、LDを照射する方向が、撮像部23の撮像範囲Aから外れることがあってもよい。この場合、キャリブレーションを実行できないが、制御部140は、撮像部23の向きが適正でない旨を表示部3の表示等により使用者に報知すればよい。
なお、本処理を終了した後、制御部140は、再びステップST11で実行条件の成立を監視すれば良い。
パラメーターPA2の回転に関する成分は、HMD100が表示部3の表示により、使用者に対し、平面図形を映している平面(例えば、図10(B)の固定平面S)と表示部3とが平行になるように、平面の前に立つように促すことで、ゼロと見なすことができる。壁などの平面は重力方向に平行に立っており、人間も垂直に立つことから、使用者が装着する表示部3が平面の真正面に正対すると考えてよいので、回転成分はないと見なせるからである。
パラメーターPA2の並進(距離)に関する成分は、平面(例えば、図10(B)の固定平面S)と、使用者が装着する表示部3との間の距離が、予め設定された距離であれば、この距離に基づき算出できる。
上記は、キャリブレーションデータ121を補正するパラメーターを求めるための動作の一例であるが、例えば上記のようにして、HMD100は、キャリブレーションデータ121を適切に補正できる。
また、HMD100では、可動部により撮像部23の撮像方向が変化する範囲の少なくとも一部において、撮像部23の撮像範囲Aに、発光部が光を発する方向を含む。
図12は、本発明を適用した第2実施形態に係る虚像表示装置1Aの構成を示す斜視図である。また、図13は、HMD100Aの説明図であり、(A)は位置検出の様子を示し、(B)は虚像表示装置1Aが備えるプロジェクター82(発光部)の構成を示す。
第2実施形態は、後述するプロジェクター82に係る構成及び制御部140の動作を除き、第1実施形態と共通する構成及び機能を具備する。このため、第2実施形態の説明において、第1実施形態と同一の構成を有する各部には同符号を付し、同一の構成及び動作についての説明を省略する。
図12には、虚像表示装置1Aの構成を示す。この図12に示すように、虚像表示装置1Aは、表示部3に、プロジェクター82を備える。プロジェクター82は、表示部3に固定的に設けられ、使用者が光学装置31を通して視認する外景の方向に、画像光を投射する。プロジェクター82は、表示部3において前面側に配置されていればよく、図12には表示部3の右側端部においてカバー部材311に埋設された例を示す。例えば、プロジェクター82を表示部3の左側端部に設けてもよい。
プロジェクター82は、光源821、光変調部822(変調部)、及び投射光学系823を備える。光源821は、例えば、LED、レーザーダイオード、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)素子等の固体光源、あるいはランプ等を備えて構成される。光源821は、光変調部822に向けて光を照射する。光変調部822は、透過型の液晶表示パネル、反射型の液晶表示パネル、或いはDMD(デジタルミラーデバイス)等を備え、光源821が発する光を変調して、画像光を生成する。投射光学系823は、例えばレンズ群を備え、光変調部822が生成する画像光Lを表示部3の前方に向けて投射する。プロジェクター82において、光源821と光変調部822との間、及び光変調部822と投射光学系823との間において、光路を形成するプリズムやミラー等の光学素子(図示略)を設けてもよい。光変調部822は、例えばマトリクス状に配置される画素を単位として光を変調して画像光を生成するので、位置調整用パターンPの形状は限定されない。すなわち、位置調整用パターンPの構成を、光変調部822において自在に変更できる。
第2実施形態のHMD100Aは、上記第1実施形態のHMD100において、虚像表示装置1を虚像表示装置1Aに代えた構成である。すなわち、HMD100Aは、HMD100が有する発光部81に代えて、プロジェクター82、及び、発光駆動部83を備える。
これにより、HMD100Aを用いてAR表示を行うことで、HMD100と同様の効果を得ることができる。また、位置調整用パターンPを光変調部822により形成するので、位置調整用パターンPの複雑さに影響されず、位置調整用パターンPを容易に得ることができる。
そして、HMD100Aは、平面図形に対する表示部3の回転・並進に関するパラメーターPA2を取得し、パラメーターPA1、PA2を用いることで、表示部3に対する撮像部23の回転・並進すなわち相対的位置関係を導出(補正)することができる。
図15は、本発明を適用した第3実施形態に係る虚像表示装置1Bの機能ブロック図である。第3実施形態は、後述する発光部84に係る構成及び制御部140の動作を除き、第1、第2実施形態と共通する構成及び機能を具備する。このため、第3実施形態の説明において、第1、第2実施形態と同一の構成を有する各部には同符号を付し、同一の構成及び動作についての説明を省略する。
発光部84は、表示部3に対して固定的に設けられ、例えばプロジェクター82と同様に、表示部3の右側の端部でカバー部材311に埋設設置される。
これにより、HMD100Bを用いてAR表示を行うことで、HMD100、100Aと同様の効果を得ることができる。また、位置調整用パターンPを、パターンプレート842を用いたシンプルな構成によって容易に形成できる。例えば複数の光源で位置調整用パターンを構成する発光部81に比べ、比較的複雑な位置調整用パターンPを得ることができる。
そして、HMD100Bは、平面図形に対する表示部3の回転・並進に関するパラメーターPA2を取得し、パラメーターPA1、PA2を用いることで、表示部3に対する撮像部23の回転・並進すなわち相対的位置関係を導出(補正)することができる。
図16は、本発明を適用した第4実施形態に係る虚像表示装置1Cの構成を示す斜視図である。図17は、HMD100Cの位置検出の様子を示す説明図である。
第4実施形態は、後述するカメラ86に係る構成及び制御部140の動作を除き、第1実施形態と共通する構成及び機能を具備する。このため、第4実施形態の説明において、第1実施形態と同一の構成を有する各部には同符号を付し、同一の構成及び動作についての説明を省略する。
第4実施形態のHMD100Cは、上記第1実施形態のHMD100において、虚像表示装置1を虚像表示装置1Cに代えた構成である。すなわち、HMD100Cは、HMD100が有する発光部81に代えて、カメラ86を備える。
カメラ86は、インターフェイス28を介して制御部140に接続され、制御部140の制御により撮像を行い、撮像画像データを制御部140に出力する。制御部140は、ステレオカメラ231及びカメラ86を制御して、同時に撮像を実行させることも可能である。
制御部140は、キャリブレーションの実行条件の成立に対し待機する(ステップST31)。キャリブレーションの実行条件は、図11で説明した通りである。制御部140は、HMD100の電源がオンの間、或いはHMD100によりAR画像を表示する間、キャリブレーションの実行条件が成立しなければ待機する(ステップST31;No)。
また、ステップST35で取得したデータが示す撮像部23と表示部3との位置関係が、既に記憶されているキャリブレーションデータ121と、閾値以上の差異を有さない場合(ステップST37;No)、制御部140は本処理を終了する。
なお、本処理を終了した後、制御部140は、再びステップST31で実行条件の成立を監視すれば良い。
そして、HMD100Cは、平面図形に対する表示部3の回転・並進に関するパラメーターPA2を取得し、パラメーターPA1、PA2を用いることで、表示部3に対する撮像部23の回転・並進すなわち相対的位置関係を導出(補正)することができる。
本発明は、上記の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記各実施形態では、一対のアーム部4を備え、これら一対のアーム部4が表示部3をX方向の両側から支持する構成を例示した。しかしながら、本発明は、これに限らない。例えば、1つのアーム部4を備える構成としてもよい。この際、アーム部4は、表示部3のX方向における略中央と接続されていてもよく、X方向における一端側に接続されていてもよい。このような構成では、虚像表示装置1を構成する部品点数を減らすことができ、軽量化を図ることができる。なお、表示部3を一対のアーム部4で両側から支持する構成では、1箇所で支持するよりも、表示部3を安定的に支持することができる。
例えば、1つのアーム部4で表示部3を支持する構成や、上述のように左側のアーム部4で左眼用光学装置31Lを、右側のアーム部4で右眼用光学装置31Rを個別に支持する構成において、Y軸に平行な回動軸を中心にアーム部4を回動可能としてもよい。
また、例えば、ZX面に沿い、かつ、使用者USの視方向と交差する回動軸を中心にアーム部4を回動可能としてもよい。
具体的には、固定部の構成として、固定部位を覆って装着されるヘッドキャップ型や、固定部位に沿う複数のバンドが頭頂部において交差する交差バンド型や、固定部位の周囲を囲み配置されるベルト型の構成を採用してもよい。また、固定部は、使用者の前後方向や、左右方向から、固定部位を挟むように当接される2以上の当接部材と、当該当接部材を連結する連結部と、を備える構成であってもよい。
また、移動機構5は、ガイドレール51に沿ってスライド部材52を摺動させる構成に限らず、表示部3とアーム部4とを相対的に移動させることで、ヘッドバンド部2に対して表示部3を接離させることができる移動機構であればよい。例えば、表示部3に接続されたアーム部4が、本体部としてのヘッドバンド部2に対してY方向に沿って移動可能に構成されていてもよい。
上記各実施形態では、ケーブルCBがヘッドバンド部2の内部を引き回され、ケーブルCRがアーム部4の内部を引き回された後、ヘッドバンド部2の内部を引き回されて制御基板24に接続される構成を例示した。しかしながら、本発明はこれに限らない。例えば、ケーブルCB,CRが、ヘッドバンド部2やアーム部4の外側を引き回された構成としてもよい。
例えば、コントローラーが接続される構成において、虚像表示装置1(画像表示装置)とコントローラーとのうちの一方が、使用者の操作に応じた操作情報を取得する機能と、画像情報を取得して当該画像情報に応じて表示部3を駆動させる機能と、電力を供給する機能の少なくともいずれかを有し、他方が、残りの機能を有するように構成してもよい。
また、虚像表示装置1(画像表示装置)が、コントローラーを介して画像供給装置(PC等)に接続されてもよく、コントローラーを介さずに当該画像供給装置に直接接続されてもよい。このような構成において、虚像表示装置1は、画像供給装置における画像表示部分として用いられ、虚像表示装置1の各種動作は、画像供給装置によって制御される構成としてもよい。なお、この場合、画像供給装置が、虚像表示装置1を駆動させる電力を供給してもよい。
また、虚像表示装置1、1A、1B、1C(例えば、ヘッドバンド部2や表示部3)にバッテリーや、画像処理装置等の制御装置が配置されてもよく、更に、メモリーカード等のスロットが設けられていてもよい。更に、虚像表示装置1に、使用者の操作を受け付ける操作部を設けてもよく、タップ操作を検出可能な構成を設けてもよい。すなわち、コントローラーは無くてもよい。
Claims (6)
- 使用者の頭部に装着される頭部装着型の表示装置であって、
外景を視認可能に、画像を表示する表示部と、
前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、
少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、
前記表示部に対して固定的に設けられる発光部と、
制御部と、を備え、
前記表示部には、使用者の右眼と左眼に対して配置される一対の光学装置が左右に並べて配置され、
前記発光部は、前記表示部において前記光学装置の左側と右側とに分散して配置される複数の光源を備え、所定パターンを含む光を発し、
前記撮像部の撮像範囲に位置する対象物の平面に前記発光部の光が投射された場合に、前記対象物上の前記光を前記撮像部で撮像可能に構成され、
前記制御部は、前記撮像部の撮像画像から前記平面上の前記光の像を検出し、前記使用者が前記対象物の平面と前記表示部とを平行にするときに検出した像の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求めること、
を特徴とする表示装置。 - 複数の前記光源が発する光により前記所定パターンが形成されること、
を特徴とする請求項1記載の表示装置。 - 前記制御部は、前記撮像画像から検出した光の像の間の距離を求めることにより、前記撮像部と前記表示部との相対位置を求めること、
を特徴とする請求項1または2記載の表示装置。 - 前記撮像部と前記表示部との相対位置を示すキャリブレーションデータを記憶する記憶部を備え、
前記制御部は、前記撮像画像における前記光の位置に基づき求めた前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係により、前記キャリブレーションデータを補正すること、
を特徴とする請求項1から3のいずれか1項に記載の表示装置。 - 使用者の右眼と左眼に対して配置される一対の光学装置が左右に並べて配置された構成を有し、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられ、前記表示部において前記光学装置の左側と右側とに分散して配置される複数の光源を備える発光部と、を有し、使用者の頭部に装着される頭部装着型の表示装置を制御して、
前記発光部が発する光が前記撮像部の撮像範囲に位置する対象物の平面に投射された場合に、前記対象物上の前記光を前記撮像部により撮像し、
前記撮像部の撮像画像から前記平面上の前記光の像を検出し、前記使用者が前記対象物の平面と前記表示部とを平行にするときに検出した像の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求めること、
を特徴とする表示装置の制御方法。 - 使用者の右眼と左眼に対して配置される一対の光学装置が左右に並べて配置された構成を有し、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられ、前記表示部において前記光学装置の左側と右側とに分散して配置される複数の光源を備える発光部と、を有し、使用者の頭部に装着される頭部装着型の表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記発光部が発する光が前記撮像部の撮像範囲に位置する対象物の平面に投射された場合に、前記対象物上の前記光を前記撮像部により撮像し、
前記撮像部の撮像画像から前記平面上の前記光の像を検出し、前記使用者が前記対象物の平面と前記表示部とを平行にするときに検出した像の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求める制御部として機能させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015095603A JP6565310B2 (ja) | 2015-05-08 | 2015-05-08 | 表示装置、表示装置の制御方法、及び、プログラム |
US15/092,041 US10306217B2 (en) | 2015-04-17 | 2016-04-06 | Display device, control method for display device, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015095603A JP6565310B2 (ja) | 2015-05-08 | 2015-05-08 | 表示装置、表示装置の制御方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016213663A JP2016213663A (ja) | 2016-12-15 |
JP6565310B2 true JP6565310B2 (ja) | 2019-08-28 |
Family
ID=57552118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015095603A Active JP6565310B2 (ja) | 2015-04-17 | 2015-05-08 | 表示装置、表示装置の制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6565310B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230291889A1 (en) * | 2020-07-28 | 2023-09-14 | Sony Group Corporation | Information processing apparatus |
JP2024005485A (ja) * | 2022-06-30 | 2024-01-17 | キヤノン株式会社 | 頭部装着型表示装置、状態判断装置、頭部装着型表示装置の制御方法、状態判断装置の制御方法、およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10327433A (ja) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
JP2001211403A (ja) * | 2000-01-25 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | 頭部装着型表示装置及び頭部装着型表示システム |
JP3926311B2 (ja) * | 2003-05-21 | 2007-06-06 | Necビューテクノロジー株式会社 | 傾斜角度測定装置を有するプロジェクタ |
JP4552485B2 (ja) * | 2004-03-31 | 2010-09-29 | ブラザー工業株式会社 | 画像入出力装置 |
JP4900277B2 (ja) * | 2008-02-20 | 2012-03-21 | コニカミノルタホールディングス株式会社 | 頭部装着式映像表示装置 |
JP4982715B2 (ja) * | 2008-08-21 | 2012-07-25 | 学校法人関西学院 | 情報提供方法及び情報提供システム |
US20140176609A1 (en) * | 2011-08-09 | 2014-06-26 | Pioneer Corporation | Mixed reality apparatus |
-
2015
- 2015-05-08 JP JP2015095603A patent/JP6565310B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016213663A (ja) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10306217B2 (en) | Display device, control method for display device, and computer program | |
JP6550885B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
US9411160B2 (en) | Head mounted display, control method for head mounted display, and image display system | |
US9836120B2 (en) | Display device, method of controlling the same, and computer program | |
US20160284129A1 (en) | Display, control method of display, and program | |
JP6492531B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
US9904053B2 (en) | Display device, and method of controlling display device | |
KR20160048881A (ko) | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 | |
JP2017016056A (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
TW201506444A (zh) | 顯示裝置、頭部配戴型顯示裝置、顯示系統及顯示裝置之控制方法 | |
JP6432197B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016004340A (ja) | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
US20160170482A1 (en) | Display apparatus, and control method for display apparatus | |
JP2016024208A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016122177A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016186561A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016033759A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6565310B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2017092628A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP6620417B2 (ja) | 表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2016219897A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016033763A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6638195B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6565310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |