JPH11142784A - 位置検出機能付きヘッドマウントディスプレイ - Google Patents
位置検出機能付きヘッドマウントディスプレイInfo
- Publication number
- JPH11142784A JPH11142784A JP31909797A JP31909797A JPH11142784A JP H11142784 A JPH11142784 A JP H11142784A JP 31909797 A JP31909797 A JP 31909797A JP 31909797 A JP31909797 A JP 31909797A JP H11142784 A JPH11142784 A JP H11142784A
- Authority
- JP
- Japan
- Prior art keywords
- hmd
- image
- wearer
- video
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
なく、HMDのみにより自身の位置(向き)を正確に検
出して、より正確な現実映像及び仮想映像の重畳表示を
行なうことができるシースルー型ヘッドマウントディス
プレイ(HMD)を提供する。 【解決手段】 装着者の眼前に、可視光を透過し赤外光
のみを反射するホットミラー15を配置し、反射された
赤外光をCCDカメラ17により撮影する。撮影したC
CD映像に対して周知の画像処理を施すことにより、予
め赤外光源を取り付けておいた物体を識別し、その位置
を検出する。検出された位置の情報を用いて、HMD1
0の半透過スクリーン12上のその物体の位置(又は、
その近傍等)に、その物体に関する情報を投映する。
Description
の操縦訓練・教育機、バーチャルリアリティ(仮想現
実)体験機等に用いられるヘッドマウントディスプレイ
(HMD)に関する。
提供するクローズド型HMDと、装着者による外部の景
色の視認を可能とし、外部景色の映像(現実映像)に仮
想映像を重畳表示して提供するシースルー型HMDとが
ある。後者の場合に、現実映像と仮想映像との間に位置
的な関連付けを行なって重畳表示しようとすると、外部
環境の中におけるHMDの向きを正確に検出しなければ
ならない。従来、このための方法として磁気方式や超音
波方式が用いられていた。これらはいずれも、HMDに
磁気発生器又は超音波発生器を固定し、HMDの外部に
固定された磁気検出器又は超音波検出器との相互作用に
よりHMDの位置(向き)を検出するというものであ
る。なお、発生器と検出器は逆に取り付けられる場合も
ある。
ずれも、HMDに加えて外部にも発生器/検出器を設け
なければならないため、事前の準備及び調整が煩わしい
という問題がある。また、例えば磁気方式では近傍に金
属物が存在すると検出精度が低下する等、いずれも位置
検出精度が必ずしも十分でなかった。
成されたものであり、その目的とするところは、HMD
のみにより、その位置(向き)を正確に検出し、それに
より、より正確な現実映像及び仮想映像の重畳表示を行
なうことができるHMDを提供することにある。
に成された本発明は、装着者の眼前に配置される半透過
スクリーンを備えたシースルー型ヘッドマウントディス
プレイにおいて、 a)装着者の眼前の外部の映像を撮影する外部映像撮影手
段と、 b)撮影された外部映像に基づき、所定の物体の位置を検
出する物体位置検出手段と、 c)検出された位置の情報を用いて、上記半透過スクリー
ン上の該物体の位置に関連する位置に、該物体に関する
情報を投映する物体情報出力手段と、を備えることを特
徴としている。
ると、眼前には半透過スクリーンが位置する。装着者は
半透過スクリーンを通して外部の映像を視認できる。一
方、HMDの外部映像撮影手段は装着者の眼前の外部の
映像を撮影し、その映像情報を物体位置検出手段に送
る。物体位置検出手段は、周知の画像処理方法を用い
て、映像中に含まれる所定の物体の位置を検出する。検
出された位置の情報は物体情報出力手段に送られ、物体
情報出力手段はその情報を用いて、半透過スクリーンの
その物体の位置に関連する位置に、その物体に関する情
報を投映する。物体に関する情報の投映位置を適切に設
定することにより、外部の映像とその物体に関する情報
とが装着者に分かりやすく重畳表示され、訓練、教育、
バーチャルリアリティ等において従来よりも大きな効果
を挙げることができるようになる。
ら画像処理により物体の位置を検出するため、従来の磁
気又は超音波による検出よりもより正確な位置検出を行
なうことができ、ずれの少ない重畳表示を行なうことが
できる。
を図1〜図5により説明する。図1及び図2に示す通
り、本実施例のHMD10は、従来のシースルー型HM
Dに外部映像撮影手段が付加されたものとなっている。
すなわち、従来のHMDと同様、装着者の頭部に装着さ
れる本体部11、本体部11を装着したときに装着者の
眼前に配置される半透過型のスクリーン12、スクリー
ン12に映像を出力する映像出力部13等を備え、更
に、外部映像撮影手段として、装着者の左右眼前に1対
の赤外撮像部14が設けられている。各赤外撮像部14
は、装着者の眼前に配置されるホットミラー15と、ホ
ットミラー15の外側に設けられたカメラレンズ16及
びCCDカメラ17から成る。ホットミラー15は、可
視光を透過し、赤外光を反射する光学素子であり、装着
者の眼前の景色から装着者の目の方に来る光のうち赤外
光のみを反射してCCDカメラ17の方に送る。
に示す。映像出力部13は、半透過スクリーン12に表
示すべき映像を生成する映像生成部21と、生成された
映像をスクリーン12に投映する投映部22とから成
る。映像生成部21はコンピュータから成り、予め用意
されたプログラムを実行することにより映像生成部21
として機能する。本実施例のHMD10ではコンピュー
タに、この映像生成部21としての機能に加え、赤外映
像処理部23としての機能をも持たせている。
の使用方法を次に説明する。まず、予め、これから視認
しようとする外部の物体25に赤外光源26を取り付け
る。赤外光源26としては、赤外LED(発光ダイオー
ド)が簡便で使用しやすい。なお、視認しようとする外
部物体25は1個でもよいし複数個でもよいが、複数個
の場合は各赤外光源26を識別できるようにしておく。
例えば、発光の時間的パターンを変えるとか、空間的パ
ターンをバーコード形式としておく等の方策をとること
ができる。
頭部に装着し、エアバッグ等により本体部11を頭部に
固定する。頭部に対する本体部11の位置が固定された
後、半透過スクリーン12に適当な調整用パターンを投
映し、装着者がその調整用パターンを所定の位置で視認
するように、映像出力部13の調整を行なう。なお、必
要があれば出力映像の焦点調整も行なう。
装着者が外部物体25の方に向くと、外部物体25に取
り付けられた赤外光源26から発した赤外光は左右のホ
ットミラー15で反射され、カメラレンズ16を介して
それぞれの対応CCDカメラ17に送られる。CCDカ
メラ17は撮影した映像を表わす映像信号を生成し、赤
外映像処理部23に送る。なお、赤外映像処理部23に
おける物体認識をより容易にするため、CCDカメラ1
7の前に赤外光フィルタを設け、撮影画像から予め不要
な可視光を除去しておいてもよい。
26の像が抜き出せるように、所定の赤外域波長を閾値
として映像信号から2値映像を生成する。この2値映像
に基づき、周知の画像処理技術により、各赤外光源26
の位置を検出するとともに、時間的パターン又は空間的
パターンに基づいて各赤外光源26の特定を行なう。赤
外映像処理部23は、特定した赤外光源26に対応して
予め記憶されている情報(物体情報)をメモリ(図示せ
ず)から取り出し、赤外光源26の位置の情報とともに
映像生成部21に送る。映像生成部21では、物体情報
を映像化し、その物体情報映像を赤外光源26の箇所又
はその近傍に配置した投映映像を生成する。投映映像は
投映部22によりスクリーン12に投映される。
過してくる外部の物体25の映像と、スクリーン12に
投映される映像とを重畳して視認することになる。この
重畳映像の一例を図4に示す。この例では、赤外光源2
6を付けた物体25の近傍にその物体25に関する情報
(例えば、その物体25の名称、属性等)が表示されて
いる。図5は、物体27の内部構造又は物体27の内部
に含まれる物の映像28を物体27と同じ箇所に重畳し
て表示する例を示したものである。このような重畳表示
により、装着者は各物体25、27に関する情報をその
場で認識することができ、飛行機や自動車の操縦訓練、
安全教育等においてより有効な訓練、教育を行なうこと
ができる。また、仮想現実体験等においては、外部に種
々の物体を配置すると共に、それに関する情報を予め準
備しておくことにより、装着者により多様な仮想現実体
験を与えることができるようになる。
トミラー15を設けることにより、装着者が視認する外
部映像に最も近い映像を撮影するようにしていたが、H
MDの左右側部からCCDカメラで直接前方の外部映像
を撮影するようにし、赤外映像処理部23における画像
処理の段階で視差を補正するようにしてもよい。
源を取り付ける構成としたが、HMDに赤外光の発光源
を取り付けるようにしてもよい。すなわち、HMDの前
面に赤外光を投射して、その反射光をCCDカメラで撮
影することにより赤外光映像を撮影し、それに対して画
像処理を施すことにより物体を特定することができる。
この方法は、特に物体の外形が特徴を有する場合に有効
となる。
Claims (1)
- 【請求項1】 装着者の眼前に配置される半透過スクリ
ーンを備えたシースルー型ヘッドマウントディスプレイ
において、 a)装着者の眼前の外部の映像を撮影する外部映像撮影手
段と、 b)撮影された外部映像に基づき、所定の物体の位置を検
出する物体位置検出手段と、 c)検出された位置の情報を用いて、上記半透過スクリー
ン上の該物体の位置に関連する位置に、該物体に関する
情報を投映する物体情報出力手段と、 を備えることを特徴とするヘッドマウントディスプレ
イ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31909797A JP3898816B2 (ja) | 1997-11-04 | 1997-11-04 | 位置検出機能付きヘッドマウントディスプレイ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31909797A JP3898816B2 (ja) | 1997-11-04 | 1997-11-04 | 位置検出機能付きヘッドマウントディスプレイ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11142784A true JPH11142784A (ja) | 1999-05-28 |
JP3898816B2 JP3898816B2 (ja) | 2007-03-28 |
Family
ID=18106450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31909797A Expired - Fee Related JP3898816B2 (ja) | 1997-11-04 | 1997-11-04 | 位置検出機能付きヘッドマウントディスプレイ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3898816B2 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117046A (ja) * | 1999-10-22 | 2001-04-27 | Shimadzu Corp | 視線検出機能付ヘッドマウントディスプレイシステム |
WO2010029788A1 (ja) * | 2008-09-11 | 2010-03-18 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2010066599A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
WO2010098275A1 (ja) * | 2009-02-27 | 2010-09-02 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
WO2010088296A3 (en) * | 2009-01-27 | 2010-10-28 | Thomson Chip E | User-wearable video displays, systems, and methods |
CN101930125A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 头戴型显示器以及头戴型显示器中的图像显示方法 |
JP2011138141A (ja) * | 2011-01-20 | 2011-07-14 | Olympus Corp | 画像再生装置 |
JP2011192048A (ja) * | 2010-03-15 | 2011-09-29 | Nec Corp | 発言内容出力システム、発言内容出力装置及び発言内容出力方法 |
US8355610B2 (en) | 2007-10-18 | 2013-01-15 | Bae Systems Plc | Display systems |
WO2013035758A1 (ja) * | 2011-09-06 | 2013-03-14 | Necビッグローブ株式会社 | 情報表示システム、情報表示方法、及び記憶媒体 |
WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
JP2014183554A (ja) * | 2013-03-21 | 2014-09-29 | Ntt Docomo Inc | 表示装置 |
JP2014203153A (ja) * | 2013-04-02 | 2014-10-27 | パイオニア株式会社 | 表示制御装置 |
WO2015129966A1 (en) * | 2014-02-27 | 2015-09-03 | Lg Electronics Inc. | Head mounted display providing closed-view and method of controlling therefor |
KR20150135847A (ko) * | 2014-05-26 | 2015-12-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
JP2015228009A (ja) * | 2014-06-03 | 2015-12-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム |
JP2017103639A (ja) * | 2015-12-02 | 2017-06-08 | 日本電信電話株式会社 | 分光方法、分光装置、及びプログラム |
JP2017182814A (ja) * | 2012-06-29 | 2017-10-05 | ノキア テクノロジーズ オサケユイチア | 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置 |
US10101571B2 (en) | 2012-07-10 | 2018-10-16 | Novadaq Technologies ULC | Perfusion assessment multi-modality optical medical device |
-
1997
- 1997-11-04 JP JP31909797A patent/JP3898816B2/ja not_active Expired - Fee Related
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117046A (ja) * | 1999-10-22 | 2001-04-27 | Shimadzu Corp | 視線検出機能付ヘッドマウントディスプレイシステム |
US8355610B2 (en) | 2007-10-18 | 2013-01-15 | Bae Systems Plc | Display systems |
WO2010029788A1 (ja) * | 2008-09-11 | 2010-03-18 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2010067083A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010066599A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
US8494212B2 (en) | 2008-09-11 | 2013-07-23 | Brother Kogyo Kabushiki Kaisha | Head mounted display |
WO2010088296A3 (en) * | 2009-01-27 | 2010-10-28 | Thomson Chip E | User-wearable video displays, systems, and methods |
JP2010200209A (ja) * | 2009-02-27 | 2010-09-09 | Brother Ind Ltd | ヘッドマウントディスプレイ |
WO2010098275A1 (ja) * | 2009-02-27 | 2010-09-02 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
CN101930125A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 头戴型显示器以及头戴型显示器中的图像显示方法 |
US9189829B2 (en) | 2009-06-22 | 2015-11-17 | Sony Corporation | Head mounted display, and image displaying method in head mounted display |
JP2011192048A (ja) * | 2010-03-15 | 2011-09-29 | Nec Corp | 発言内容出力システム、発言内容出力装置及び発言内容出力方法 |
JP2011138141A (ja) * | 2011-01-20 | 2011-07-14 | Olympus Corp | 画像再生装置 |
US9459706B2 (en) | 2011-09-06 | 2016-10-04 | Biglobe, Inc. | Information display system, information display method, and recording medium |
WO2013035758A1 (ja) * | 2011-09-06 | 2013-03-14 | Necビッグローブ株式会社 | 情報表示システム、情報表示方法、及び記憶媒体 |
WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
JP2017182814A (ja) * | 2012-06-29 | 2017-10-05 | ノキア テクノロジーズ オサケユイチア | 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置 |
US10101571B2 (en) | 2012-07-10 | 2018-10-16 | Novadaq Technologies ULC | Perfusion assessment multi-modality optical medical device |
JP2014183554A (ja) * | 2013-03-21 | 2014-09-29 | Ntt Docomo Inc | 表示装置 |
JP2014203153A (ja) * | 2013-04-02 | 2014-10-27 | パイオニア株式会社 | 表示制御装置 |
WO2015129966A1 (en) * | 2014-02-27 | 2015-09-03 | Lg Electronics Inc. | Head mounted display providing closed-view and method of controlling therefor |
KR20150135847A (ko) * | 2014-05-26 | 2015-12-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
JP2015228009A (ja) * | 2014-06-03 | 2015-12-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム |
US10102627B2 (en) | 2014-06-03 | 2018-10-16 | Seiko Epson Corporation | Head-mounted display device, method of controlling a head-mounted display device, an information transmitting and receiving system, and a non-transitory computer readable medium for augmenting visually recognized outside scenery |
JP2017103639A (ja) * | 2015-12-02 | 2017-06-08 | 日本電信電話株式会社 | 分光方法、分光装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3898816B2 (ja) | 2007-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11142784A (ja) | 位置検出機能付きヘッドマウントディスプレイ | |
US11199706B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
CN108885341B (zh) | 基于棱镜的眼睛跟踪 | |
US11330200B2 (en) | Parallax correction using cameras of different modalities | |
WO2017026371A1 (ja) | ヘッドマウントディスプレイ | |
JP3647376B2 (ja) | 視点位置検出装置、視点位置検出方法及び立体画像表示システム | |
JP2008502992A (ja) | イメージの情報を与える交信方法 | |
JPWO2015012280A1 (ja) | 視線検出装置 | |
CN111684336A (zh) | 使用了视网膜扫描型显示部的图像显示装置及其方法 | |
WO2017090319A1 (ja) | 視線方向検出装置、及び視線方向検出システム | |
JP2008276328A (ja) | 顔画像撮像装置 | |
JP6349660B2 (ja) | 画像表示装置、画像表示方法、および画像表示プログラム | |
US20210035533A1 (en) | Display device and display method | |
JP2015194884A (ja) | 運転者監視システム | |
US10672269B2 (en) | Display control assembly and control method therefor, head-up display system, and vehicle | |
US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
CN116137902A (zh) | 用于红外光检测的计算机视觉相机 | |
EP3771967A2 (en) | Electronic device, control method, and computer readable medium | |
JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
US8218135B2 (en) | System and method for stereo photography | |
CN109983393A (zh) | 平铺波导显示器 | |
JP2021009270A (ja) | 表示装置および表示方法 | |
KR101544957B1 (ko) | 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법 | |
KR20220120356A (ko) | 전자 장치 및 그 동작 방법 | |
JP4226010B2 (ja) | ステレオ撮影装置及びステレオ撮影装置の撮影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061222 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |