JPH11142784A - 位置検出機能付きヘッドマウントディスプレイ - Google Patents

位置検出機能付きヘッドマウントディスプレイ

Info

Publication number
JPH11142784A
JPH11142784A JP31909797A JP31909797A JPH11142784A JP H11142784 A JPH11142784 A JP H11142784A JP 31909797 A JP31909797 A JP 31909797A JP 31909797 A JP31909797 A JP 31909797A JP H11142784 A JPH11142784 A JP H11142784A
Authority
JP
Japan
Prior art keywords
hmd
image
wearer
video
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP31909797A
Other languages
English (en)
Other versions
JP3898816B2 (ja
Inventor
Katsuaki Fukai
克明 深井
Hisashi Tento
久 天藤
Kenji Mase
健二 間瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR CHINO EIZO TSUSHIN KENKYUS
ATR CHINO EIZO TSUSHIN KENKYUSHO KK
Shimadzu Corp
Original Assignee
ATR CHINO EIZO TSUSHIN KENKYUS
ATR CHINO EIZO TSUSHIN KENKYUSHO KK
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR CHINO EIZO TSUSHIN KENKYUS, ATR CHINO EIZO TSUSHIN KENKYUSHO KK, Shimadzu Corp filed Critical ATR CHINO EIZO TSUSHIN KENKYUS
Priority to JP31909797A priority Critical patent/JP3898816B2/ja
Publication of JPH11142784A publication Critical patent/JPH11142784A/ja
Application granted granted Critical
Publication of JP3898816B2 publication Critical patent/JP3898816B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

(57)【要約】 【課題】 外部に磁気・超音波発信器等を設ける必要が
なく、HMDのみにより自身の位置(向き)を正確に検
出して、より正確な現実映像及び仮想映像の重畳表示を
行なうことができるシースルー型ヘッドマウントディス
プレイ(HMD)を提供する。 【解決手段】 装着者の眼前に、可視光を透過し赤外光
のみを反射するホットミラー15を配置し、反射された
赤外光をCCDカメラ17により撮影する。撮影したC
CD映像に対して周知の画像処理を施すことにより、予
め赤外光源を取り付けておいた物体を識別し、その位置
を検出する。検出された位置の情報を用いて、HMD1
0の半透過スクリーン12上のその物体の位置(又は、
その近傍等)に、その物体に関する情報を投映する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、航空機や自動車等
の操縦訓練・教育機、バーチャルリアリティ(仮想現
実)体験機等に用いられるヘッドマウントディスプレイ
(HMD)に関する。
【0002】
【従来の技術】HMDには、仮想の映像のみを装着者に
提供するクローズド型HMDと、装着者による外部の景
色の視認を可能とし、外部景色の映像(現実映像)に仮
想映像を重畳表示して提供するシースルー型HMDとが
ある。後者の場合に、現実映像と仮想映像との間に位置
的な関連付けを行なって重畳表示しようとすると、外部
環境の中におけるHMDの向きを正確に検出しなければ
ならない。従来、このための方法として磁気方式や超音
波方式が用いられていた。これらはいずれも、HMDに
磁気発生器又は超音波発生器を固定し、HMDの外部に
固定された磁気検出器又は超音波検出器との相互作用に
よりHMDの位置(向き)を検出するというものであ
る。なお、発生器と検出器は逆に取り付けられる場合も
ある。
【0003】
【発明が解決しようとする課題】上記従来の方法ではい
ずれも、HMDに加えて外部にも発生器/検出器を設け
なければならないため、事前の準備及び調整が煩わしい
という問題がある。また、例えば磁気方式では近傍に金
属物が存在すると検出精度が低下する等、いずれも位置
検出精度が必ずしも十分でなかった。
【0004】本発明はこのような課題を解決するために
成されたものであり、その目的とするところは、HMD
のみにより、その位置(向き)を正確に検出し、それに
より、より正確な現実映像及び仮想映像の重畳表示を行
なうことができるHMDを提供することにある。
【0005】
【課題を解決するための手段】上記課題を解決するため
に成された本発明は、装着者の眼前に配置される半透過
スクリーンを備えたシースルー型ヘッドマウントディス
プレイにおいて、 a)装着者の眼前の外部の映像を撮影する外部映像撮影手
段と、 b)撮影された外部映像に基づき、所定の物体の位置を検
出する物体位置検出手段と、 c)検出された位置の情報を用いて、上記半透過スクリー
ン上の該物体の位置に関連する位置に、該物体に関する
情報を投映する物体情報出力手段と、を備えることを特
徴としている。
【0006】
【発明の実施の形態及び効果】装着者がHMDを装着す
ると、眼前には半透過スクリーンが位置する。装着者は
半透過スクリーンを通して外部の映像を視認できる。一
方、HMDの外部映像撮影手段は装着者の眼前の外部の
映像を撮影し、その映像情報を物体位置検出手段に送
る。物体位置検出手段は、周知の画像処理方法を用い
て、映像中に含まれる所定の物体の位置を検出する。検
出された位置の情報は物体情報出力手段に送られ、物体
情報出力手段はその情報を用いて、半透過スクリーンの
その物体の位置に関連する位置に、その物体に関する情
報を投映する。物体に関する情報の投映位置を適切に設
定することにより、外部の映像とその物体に関する情報
とが装着者に分かりやすく重畳表示され、訓練、教育、
バーチャルリアリティ等において従来よりも大きな効果
を挙げることができるようになる。
【0007】本発明に係るHMDでは、撮影した映像か
ら画像処理により物体の位置を検出するため、従来の磁
気又は超音波による検出よりもより正確な位置検出を行
なうことができ、ずれの少ない重畳表示を行なうことが
できる。
【0008】
【実施例】本発明の一実施例であるシースルー型HMD
を図1〜図5により説明する。図1及び図2に示す通
り、本実施例のHMD10は、従来のシースルー型HM
Dに外部映像撮影手段が付加されたものとなっている。
すなわち、従来のHMDと同様、装着者の頭部に装着さ
れる本体部11、本体部11を装着したときに装着者の
眼前に配置される半透過型のスクリーン12、スクリー
ン12に映像を出力する映像出力部13等を備え、更
に、外部映像撮影手段として、装着者の左右眼前に1対
の赤外撮像部14が設けられている。各赤外撮像部14
は、装着者の眼前に配置されるホットミラー15と、ホ
ットミラー15の外側に設けられたカメラレンズ16及
びCCDカメラ17から成る。ホットミラー15は、可
視光を透過し、赤外光を反射する光学素子であり、装着
者の眼前の景色から装着者の目の方に来る光のうち赤外
光のみを反射してCCDカメラ17の方に送る。
【0009】本実施例のHMD10の機能的構成を図3
に示す。映像出力部13は、半透過スクリーン12に表
示すべき映像を生成する映像生成部21と、生成された
映像をスクリーン12に投映する投映部22とから成
る。映像生成部21はコンピュータから成り、予め用意
されたプログラムを実行することにより映像生成部21
として機能する。本実施例のHMD10ではコンピュー
タに、この映像生成部21としての機能に加え、赤外映
像処理部23としての機能をも持たせている。
【0010】以上の構成を有する本実施例のHMD10
の使用方法を次に説明する。まず、予め、これから視認
しようとする外部の物体25に赤外光源26を取り付け
る。赤外光源26としては、赤外LED(発光ダイオー
ド)が簡便で使用しやすい。なお、視認しようとする外
部物体25は1個でもよいし複数個でもよいが、複数個
の場合は各赤外光源26を識別できるようにしておく。
例えば、発光の時間的パターンを変えるとか、空間的パ
ターンをバーコード形式としておく等の方策をとること
ができる。
【0011】次に、HMD10の本体部11を装着者の
頭部に装着し、エアバッグ等により本体部11を頭部に
固定する。頭部に対する本体部11の位置が固定された
後、半透過スクリーン12に適当な調整用パターンを投
映し、装着者がその調整用パターンを所定の位置で視認
するように、映像出力部13の調整を行なう。なお、必
要があれば出力映像の焦点調整も行なう。
【0012】以上の準備が整った後、使用を開始する。
装着者が外部物体25の方に向くと、外部物体25に取
り付けられた赤外光源26から発した赤外光は左右のホ
ットミラー15で反射され、カメラレンズ16を介して
それぞれの対応CCDカメラ17に送られる。CCDカ
メラ17は撮影した映像を表わす映像信号を生成し、赤
外映像処理部23に送る。なお、赤外映像処理部23に
おける物体認識をより容易にするため、CCDカメラ1
7の前に赤外光フィルタを設け、撮影画像から予め不要
な可視光を除去しておいてもよい。
【0013】赤外映像処理部23では、まず、赤外光源
26の像が抜き出せるように、所定の赤外域波長を閾値
として映像信号から2値映像を生成する。この2値映像
に基づき、周知の画像処理技術により、各赤外光源26
の位置を検出するとともに、時間的パターン又は空間的
パターンに基づいて各赤外光源26の特定を行なう。赤
外映像処理部23は、特定した赤外光源26に対応して
予め記憶されている情報(物体情報)をメモリ(図示せ
ず)から取り出し、赤外光源26の位置の情報とともに
映像生成部21に送る。映像生成部21では、物体情報
を映像化し、その物体情報映像を赤外光源26の箇所又
はその近傍に配置した投映映像を生成する。投映映像は
投映部22によりスクリーン12に投映される。
【0014】これにより装着者は、スクリーン12を通
過してくる外部の物体25の映像と、スクリーン12に
投映される映像とを重畳して視認することになる。この
重畳映像の一例を図4に示す。この例では、赤外光源2
6を付けた物体25の近傍にその物体25に関する情報
(例えば、その物体25の名称、属性等)が表示されて
いる。図5は、物体27の内部構造又は物体27の内部
に含まれる物の映像28を物体27と同じ箇所に重畳し
て表示する例を示したものである。このような重畳表示
により、装着者は各物体25、27に関する情報をその
場で認識することができ、飛行機や自動車の操縦訓練、
安全教育等においてより有効な訓練、教育を行なうこと
ができる。また、仮想現実体験等においては、外部に種
々の物体を配置すると共に、それに関する情報を予め準
備しておくことにより、装着者により多様な仮想現実体
験を与えることができるようになる。
【0015】なお、上記実施例では装着者の眼前にホッ
トミラー15を設けることにより、装着者が視認する外
部映像に最も近い映像を撮影するようにしていたが、H
MDの左右側部からCCDカメラで直接前方の外部映像
を撮影するようにし、赤外映像処理部23における画像
処理の段階で視差を補正するようにしてもよい。
【0016】また、上記実施例では、外部物体に赤外光
源を取り付ける構成としたが、HMDに赤外光の発光源
を取り付けるようにしてもよい。すなわち、HMDの前
面に赤外光を投射して、その反射光をCCDカメラで撮
影することにより赤外光映像を撮影し、それに対して画
像処理を施すことにより物体を特定することができる。
この方法は、特に物体の外形が特徴を有する場合に有効
となる。
【図面の簡単な説明】
【図1】 本発明の一実施例であるHMDの平面図。
【図2】 実施例のHMDの側面図。
【図3】 実施例のHMDの機能ブロック図。
【図4】 実施例のHMDの表示の一例を示す説明図。
【図5】 別の表示の例を示す説明図。
【符号の説明】
10…ヘッドマウントディスプレイ(HMD) 11…本体部 12…半透過スクリーン 13…映像出力部 14…赤外撮像部 15…ホットミラー 16…カメラレンズ 17…CCDカメラ 21…映像生成部 22…投映部 23…赤外映像処理部 25、27…外部物体 26…赤外光源
フロントページの続き (72)発明者 天藤 久 京都市中京区西ノ京桑原町1番地 株式会 社島津製作所三条工場内 (72)発明者 間瀬 健二 京都府相楽郡精華町光台2−2 株式会社 エイ・ティ・アール知能映像通信研究所内

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 装着者の眼前に配置される半透過スクリ
    ーンを備えたシースルー型ヘッドマウントディスプレイ
    において、 a)装着者の眼前の外部の映像を撮影する外部映像撮影手
    段と、 b)撮影された外部映像に基づき、所定の物体の位置を検
    出する物体位置検出手段と、 c)検出された位置の情報を用いて、上記半透過スクリー
    ン上の該物体の位置に関連する位置に、該物体に関する
    情報を投映する物体情報出力手段と、 を備えることを特徴とするヘッドマウントディスプレ
    イ。
JP31909797A 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ Expired - Fee Related JP3898816B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31909797A JP3898816B2 (ja) 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31909797A JP3898816B2 (ja) 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JPH11142784A true JPH11142784A (ja) 1999-05-28
JP3898816B2 JP3898816B2 (ja) 2007-03-28

Family

ID=18106450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31909797A Expired - Fee Related JP3898816B2 (ja) 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ

Country Status (1)

Country Link
JP (1) JP3898816B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
WO2010029788A1 (ja) * 2008-09-11 2010-03-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010066599A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010098275A1 (ja) * 2009-02-27 2010-09-02 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010088296A3 (en) * 2009-01-27 2010-10-28 Thomson Chip E User-wearable video displays, systems, and methods
CN101930125A (zh) * 2009-06-22 2010-12-29 索尼公司 头戴型显示器以及头戴型显示器中的图像显示方法
JP2011138141A (ja) * 2011-01-20 2011-07-14 Olympus Corp 画像再生装置
JP2011192048A (ja) * 2010-03-15 2011-09-29 Nec Corp 発言内容出力システム、発言内容出力装置及び発言内容出力方法
US8355610B2 (en) 2007-10-18 2013-01-15 Bae Systems Plc Display systems
WO2013035758A1 (ja) * 2011-09-06 2013-03-14 Necビッグローブ株式会社 情報表示システム、情報表示方法、及び記憶媒体
WO2013146385A1 (ja) * 2012-03-27 2013-10-03 株式会社ニコン 表示装置及びプログラム
JP2014183554A (ja) * 2013-03-21 2014-09-29 Ntt Docomo Inc 表示装置
JP2014203153A (ja) * 2013-04-02 2014-10-27 パイオニア株式会社 表示制御装置
WO2015129966A1 (en) * 2014-02-27 2015-09-03 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
KR20150135847A (ko) * 2014-05-26 2015-12-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
JP2015228009A (ja) * 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
JP2017103639A (ja) * 2015-12-02 2017-06-08 日本電信電話株式会社 分光方法、分光装置、及びプログラム
JP2017182814A (ja) * 2012-06-29 2017-10-05 ノキア テクノロジーズ オサケユイチア 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置
US10101571B2 (en) 2012-07-10 2018-10-16 Novadaq Technologies ULC Perfusion assessment multi-modality optical medical device

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
US8355610B2 (en) 2007-10-18 2013-01-15 Bae Systems Plc Display systems
WO2010029788A1 (ja) * 2008-09-11 2010-03-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010067083A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010066599A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ
US8494212B2 (en) 2008-09-11 2013-07-23 Brother Kogyo Kabushiki Kaisha Head mounted display
WO2010088296A3 (en) * 2009-01-27 2010-10-28 Thomson Chip E User-wearable video displays, systems, and methods
JP2010200209A (ja) * 2009-02-27 2010-09-09 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010098275A1 (ja) * 2009-02-27 2010-09-02 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN101930125A (zh) * 2009-06-22 2010-12-29 索尼公司 头戴型显示器以及头戴型显示器中的图像显示方法
US9189829B2 (en) 2009-06-22 2015-11-17 Sony Corporation Head mounted display, and image displaying method in head mounted display
JP2011192048A (ja) * 2010-03-15 2011-09-29 Nec Corp 発言内容出力システム、発言内容出力装置及び発言内容出力方法
JP2011138141A (ja) * 2011-01-20 2011-07-14 Olympus Corp 画像再生装置
US9459706B2 (en) 2011-09-06 2016-10-04 Biglobe, Inc. Information display system, information display method, and recording medium
WO2013035758A1 (ja) * 2011-09-06 2013-03-14 Necビッグローブ株式会社 情報表示システム、情報表示方法、及び記憶媒体
WO2013146385A1 (ja) * 2012-03-27 2013-10-03 株式会社ニコン 表示装置及びプログラム
JP2017182814A (ja) * 2012-06-29 2017-10-05 ノキア テクノロジーズ オサケユイチア 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置
US10101571B2 (en) 2012-07-10 2018-10-16 Novadaq Technologies ULC Perfusion assessment multi-modality optical medical device
JP2014183554A (ja) * 2013-03-21 2014-09-29 Ntt Docomo Inc 表示装置
JP2014203153A (ja) * 2013-04-02 2014-10-27 パイオニア株式会社 表示制御装置
WO2015129966A1 (en) * 2014-02-27 2015-09-03 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
KR20150135847A (ko) * 2014-05-26 2015-12-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
JP2015228009A (ja) * 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
US10102627B2 (en) 2014-06-03 2018-10-16 Seiko Epson Corporation Head-mounted display device, method of controlling a head-mounted display device, an information transmitting and receiving system, and a non-transitory computer readable medium for augmenting visually recognized outside scenery
JP2017103639A (ja) * 2015-12-02 2017-06-08 日本電信電話株式会社 分光方法、分光装置、及びプログラム

Also Published As

Publication number Publication date
JP3898816B2 (ja) 2007-03-28

Similar Documents

Publication Publication Date Title
JPH11142784A (ja) 位置検出機能付きヘッドマウントディスプレイ
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN108885341B (zh) 基于棱镜的眼睛跟踪
US11330200B2 (en) Parallax correction using cameras of different modalities
WO2017026371A1 (ja) ヘッドマウントディスプレイ
JP3647376B2 (ja) 視点位置検出装置、視点位置検出方法及び立体画像表示システム
JP2008502992A (ja) イメージの情報を与える交信方法
JPWO2015012280A1 (ja) 視線検出装置
CN111684336A (zh) 使用了视网膜扫描型显示部的图像显示装置及其方法
WO2017090319A1 (ja) 視線方向検出装置、及び視線方向検出システム
JP2008276328A (ja) 顔画像撮像装置
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US20210035533A1 (en) Display device and display method
JP2015194884A (ja) 運転者監視システム
US10672269B2 (en) Display control assembly and control method therefor, head-up display system, and vehicle
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
CN116137902A (zh) 用于红外光检测的计算机视觉相机
EP3771967A2 (en) Electronic device, control method, and computer readable medium
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
US8218135B2 (en) System and method for stereo photography
CN109983393A (zh) 平铺波导显示器
JP2021009270A (ja) 表示装置および表示方法
KR101544957B1 (ko) 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법
KR20220120356A (ko) 전자 장치 및 그 동작 방법
JP4226010B2 (ja) ステレオ撮影装置及びステレオ撮影装置の撮影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100105

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140105

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees