JP5360115B2 - ヘッドマウントディスプレイ - Google Patents
ヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP5360115B2 JP5360115B2 JP2011082618A JP2011082618A JP5360115B2 JP 5360115 B2 JP5360115 B2 JP 5360115B2 JP 2011082618 A JP2011082618 A JP 2011082618A JP 2011082618 A JP2011082618 A JP 2011082618A JP 5360115 B2 JP5360115 B2 JP 5360115B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- video
- image
- data
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
シースルー特性はヘッドマウントディスプレイのハンズフリー性をより向上させるものであり、更に視界方向の映像を表示できる特性は視界方向の情報取得性を向上させる。このためシースルー型のヘッドマウントディスプレイは、弱視者等の視覚補助手段として活用される場合も多くある。
本発明を適用したヘッドマウントディスプレイは、従来からの撮像装置で取得した映像を観者の眼前に設けられた表示装置に連続して表示させる視覚補助手段としての機能に加えて、装着者の視線方向に位置する対象物(例えば、動物や昆虫等)を撮像装置で映像データとして捉え、この取得した映像データに各種の映像処理を施して対象物の特定を行い予めメモリに記録された対象物に関する各種の情報を図やテキスト形式でシースルー型の表示装置に表示させ、肉眼で実際に対象物を観察しながら関連情報を取得することで学習や遊戯等に活用することを可能とするものである。以下、視覚補助手段としての機能を「通常モード」、対象物の情報表示機能を「観察モード」とする。
図1に、ヘッドマウントディスプレイ1の外観構成を示す。なお、以下の説明において、接眼方向と反対の方向を正面とする。
ヘッドマウントディスプレイ1は、通常の眼鏡と同様に、鼻当て2及びテンプル3R及び3Lが備えられるフレーム4とレンズ部5R及び5Lを有する。このフレーム4のレンズ部5Rの上方には、表示装置6及び撮像装置7が一体となって設置されている。また、テンプル3R及び3Lのそれぞれの中間部にケーブルが支持されてイヤホン8R及び8Lが観者の耳に装着可能に設けられている。表示装置6、撮像装置7及びイヤホン8R、8Lは、それぞれケーブルを介してコントロールボックス9に接続される。
また、接眼光学系16は、レンズ部5Rと光の屈折率を同一とする単一の部材で構成されており、表面方向が段差なく連続するように接合されている。観者は、レンズ部5及び接眼光学系16を通して外界の視界を観察することが可能であるとともに、ホログラム素子22によって外界視界と重畳する映像を観察することが可能となっている。
ヘッドマウントディスプレイ1は、CCD(Charge Coupled Device)25、CCD駆動回路26、CDS(Correlated Double Sampling)回路27、A/D(Analog/digital)変換回路28、表示装置6、表示装置駆動回路29、入力部30、T/G(タイミングジェレータ)31、制御部32、メモリ33、メモリ制御回路34、DSP35、グラフィックメモリ36、グラフィックメモリ制御回路37、時計回路38、イヤホン8Rと8L及び電源39から構成される。
対象物(蛙)の予測移動方向は映像データとして記憶されているものであり、矢印で表示される。第1の実施形態では、予め移動方向が上下左右及び斜めの8方向に設定され対象物の前面、背面、上面、底面、左側面及び右側面等の「標本データ」に対応して記憶されている。即ち、対象物である「カエル(蛙)」が左側面を示す「標本データ」と対応すると認識された場合は、左方向及び左斜め方向(跳ねる場合もある)の矢印の2つが表示されるように記憶されている。
なお、その他の生態等に関する情報はテキストデータ又は音声データとして記憶されている。音声データは、「カエル(蛙)」の生態情報等を音声として案内する構成としても、鳴き声を案内する構成としてもよい。
映像認識決定処理としては、パターンマッチング法を用いる構成としている。パターンマッチング法は、「特徴データ」と「標本データ」とを直接重ね合わせ、最もよく類似したものを「標本パターン」と同じカテゴリーと見なす手法である。具体的には、2つのデータから画素データレベル対応の相関(画素値の一致比率)を調べることにより判別を行う。画素値の一致比率は所期の値に設定することができる。
電源の供給により起動すると、「モード」の検出が行われ(ステップS101)、「観察モード」であると(ステップS101:YES)CCD25から取得された映像信号の映像認識処理が開始される(ステップS102)。映像認識の処理中は、表示装置6に「サーチ中」のテキスト表示を行う(ステップS103)。
また、「特徴データ」と「標本データ」とが同定されない場合は(ステップS104:NO)、ステップS102に戻って映像認識処理を実行する。
変形例におけるヘッドマウントディスプレイ1は、ROM41に特定対象物の発見機能が記述されたアプリケーション(以下、「探索モード」という。)が記憶されている。入力部30からの操作信号を受けCPU40は、「探索モード」を起動する。探索する特定対象物は、入力部30からの指示信号に基づいて予め設定される。
「特定対象物の種類別検出回数」とは、特定対象物の下位のカテゴリーに属する分類の検出回数であり、例えば「特定対象物」が「カエル(蛙)」と設定されている場合には「ガマガエル」「アオガエル」「ミドリガエル」等の検出回数である。
「視野内滞在時間」とは、特定対象物を撮像装置7で捕らえて、映像認識手段が認識決定処理を行った瞬間から認識決定処理が連続して継続する時間を時計回路38からの信号に基づいて計時された時間をいう。
「特定対象物の種類別視野内滞在時間」とは、「視野内滞在時間」を「特定対象物」の下位のカテゴリーで計時した結果である。
第2実施形態におけるヘッドマウントディスプレイ50は、第1の実施形態におけるヘッドマウントディスプレイ1の「観察モード」の作動時に、外部から送信される情報をカットインする機能を有するものである。例えば、「観察モード」はヘッドマウントディスプレイに防水処理を施すことにより、水中で魚類等の観察を行うことも可能である。しかしながら、ダイビング時には、ボンベの空気残量(残圧)等のダイバーの生命に関わる事項の確認やダイバーが帰還する船の状況(海上の天候情報等)を確認する必要がある。「観察モード」作動時にこれらの情報が滞りなく確認できれば、ダイバーの危険を回避しつつ対象物の観察を行うことができ便利である。
ヘッドマウントディスプレイ50は、一般にダイビングに用いられるダイビングマスク51のフレーム52に表示装置6と撮像装置7を備える。表示装置6は、ヘッドマウントディスプレイ1における接眼光学系16とレンズ部5Rとの構成と同様に、マスクレンズ53と接眼光学系16とが表面を平滑に接合される。また、ホログラム素子22によるホログラム映像の表示構成もヘッドマウントディスプレイ1と同様である(図2参照)。イヤホン8、表示装置6、撮像装置7及びコントロールボックス9は防水処理が施され、水中での作動を可能とする。
また、I/F54bは、図示しない無線機と接続されており、海上(ダイバーを輸送する船)の無線機と無線通信が可能となっている。
制御部32のRAM42には、第1の実施形態及びその変形例と同様に、通常の映像表示を行う「通常モード」、不特定の対象物の関連情報を提供する「観察モード」及び特定の対象物の探索を目的とする「探索モード」のアプリケーションが記憶されている。各モード設定によりCPU40により読み込まれ、全体制御が実行される。
これら両機能は、ソフトウェアモジュールとして制御部32に格納されている。
表示の間隔は自由に設定可能であるが、第2の実施形態では、いずれも1分おきに3秒間表示させる設定としている。なお、後述するゲージの各種パラメータと予め対応させた閾値をソフトウェアモジュールに設定し、パラメータがこの閾値に近づくにつれて表示間隔を変化させる制御を行ってもよい。例えば、ボンベの残圧が減少するに従い表示間隔を短くするなどの制御を行ってもよいし、安全停止時間経過前に水深の変化が生じた際に安全停止時間の表示や警告表示を表示する制御を行ってもよい。
なお、割り込みルーチンは「探索モード」でも「通常モード」でも適用可能である。
第3の実施形態のヘッドマウントディスプレイ60は、映像認識処理において使用する「標本データ」を撮像装置7から取得した映像データから複数登録可能とし、これと対応付けられる複数の「対象物に関するデータ」を表示装置6で表示する構成とする。
ヘッドマウントディスプレイ60は、通信部55にてNIC(Network Interface Card)を介して無線通信手段62と接続され、ネットワーク通信が可能に構成されている。無線通信手段としては、GSM(Global System for Mobile communication)方式、GPRS(General Packet Radio System ;汎用パケット無線システム)方式、PDC(Personal Digital Cellular)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband Code Division Multiple Access)方式、PHS(Personal Handyphone System)方式、Bluetooth無線通信方式、無線LAN(Local Area Network)等の各種携帯電話や無線モデムの規格、通信方式が適用できる。図示しない通信業者の無線基地局と通信用アンテナ(不図示)との間で、データ通信を無線通信手段62を介して行われ、受信された信号を制御部32へ出力する。
なお、ヘッドマウントディスプレイ60を装着した主婦は、台所にて家事をしているものとする。
次に、部屋Mに移動しベビーベッドを表示装置6の所定の領域にあわせ、十字キー12を操作しベビーベッドを中心とした映像を撮像装置7から取り込む。その後「登録標本データ」として設定されたベビーベッドの映像とWebカメラ65aのアドレスデータとがメモリ33に記憶される。
以下、同様にお年寄りが布団の中に寝ている状態及び玄関Gを家の中から見た状態を「登録標本データ」として設定し、それぞれWebカメラ65b、65cのアドレスデータとともにメモリ33に記憶する。以上が、事前登録設定である。
録標本データ」と同定すると認識決定する場合は(ステップS406:YES)、映像認識決定処理を繰り返す。
5R、5L レンズ部
6 表示装置
7 撮像装置
8R、8L イヤホン
9 コントロールボックス
10 モード切替スイッチ
11 電源スイッチ
12 十字キー
15 映像生成ユニット
16 接眼光学系
21 プリズム
22 ホログラム素子
25 CCD
28 A/D変換回路
30 入力部
31 T/G
32 制御部
33 メモリ
35 DSP
36 グラフィックメモリ
51 ダイビングマスク
52 フレーム
53 マスクレンズ
54a、54b I/F
55 通信部
62 無線通信手段
65a、65b、65c Webカメラ
66 Webサーバ
Claims (3)
- 頭部に装着可能な装着具に、眼前に位置して映像を光学的に眼に導く映像表示手段及び該映像表示手段に映像を投射する映像投射手段からなる表示装置を備え、視界に重畳する複数の映像を順次表示可能とするヘッドマウントディスプレイにおいて、
視線方向の注目対象物の映像を取得する注目対象物検出手段と、
前記注目対象物の映像から抽出された特徴データを予め登録された複数の登録標本データと比較して、当該注目対象物の映像を認識する映像認識決定処理を行う映像認識手段と、
前記複数の登録標本データについて前記映像認識決定処理を行った順番どおりに前記複数の登録標本データのそれぞれに対応付けられた複数の映像の表示順序を設定する設定手段と、
前記設定手段により設定された表示順序を記憶する記憶手段と、
前記記憶手段に記憶された表示順序に従って前記複数の映像を前記表示装置に表示させる制御手段と、を備えることを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイにおいて、
前記制御手段は、前記複数の登録標本データのそれぞれについての前記映像認識決定処理に要した時間に基づいて、前記複数の映像の各映像表示時間を設定することを特徴とするヘッドマウントディスプレイ。 - 請求項1又は2に記載のヘッドマウントディスプレイにおいて、
ネットワークを介して映像情報を受信する通信手段を更に備え、
前記複数の映像は前記通信手段から取得するものであることを特徴とするヘッドマウントディスプレイ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011082618A JP5360115B2 (ja) | 2011-04-04 | 2011-04-04 | ヘッドマウントディスプレイ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011082618A JP5360115B2 (ja) | 2011-04-04 | 2011-04-04 | ヘッドマウントディスプレイ |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005089047A Division JP2006267887A (ja) | 2005-03-25 | 2005-03-25 | 映像認識手段を備えたヘッドマウントディスプレイ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011191767A JP2011191767A (ja) | 2011-09-29 |
JP5360115B2 true JP5360115B2 (ja) | 2013-12-04 |
Family
ID=44796677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011082618A Expired - Fee Related JP5360115B2 (ja) | 2011-04-04 | 2011-04-04 | ヘッドマウントディスプレイ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5360115B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10037708B2 (en) | 2014-03-31 | 2018-07-31 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for analyzing exam-taking behavior and improving exam-taking skills |
US10013889B2 (en) | 2014-03-31 | 2018-07-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for enhancing interactions between teachers and students |
JP2017068360A (ja) * | 2015-09-28 | 2017-04-06 | ブラザー工業株式会社 | 情報表示装置 |
WO2020188721A1 (ja) * | 2019-03-18 | 2020-09-24 | マクセル株式会社 | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10229554A (ja) * | 1997-02-14 | 1998-08-25 | Meidensha Corp | 監視システム |
EP1027627B1 (en) * | 1997-10-30 | 2009-02-11 | MYVU Corporation | Eyeglass interface system |
JP2001034615A (ja) * | 1999-07-16 | 2001-02-09 | Nippon Telegr & Teleph Corp <Ntt> | 作業支援システム及び作業支援方法 |
JP4289039B2 (ja) * | 2003-06-25 | 2009-07-01 | 株式会社パトライト | 表示装置 |
-
2011
- 2011-04-04 JP JP2011082618A patent/JP5360115B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011191767A (ja) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006267887A (ja) | 映像認識手段を備えたヘッドマウントディスプレイ | |
JP6094190B2 (ja) | 情報処理装置および記録媒体 | |
JP6574937B2 (ja) | 通信システム、制御方法、および記憶媒体 | |
CN108399349B (zh) | 图像识别方法及装置 | |
KR102039427B1 (ko) | 스마트 글라스 | |
CN110506249B (zh) | 信息处理设备、信息处理方法和记录介质 | |
CN105659200B (zh) | 用于显示图形用户界面的方法、设备和系统 | |
US20130177296A1 (en) | Generating metadata for user experiences | |
CN104094590A (zh) | 用于无人值守图像俘获的方法及设备 | |
JP2010061265A (ja) | 人物検索登録システム | |
CN110225244A (zh) | 一种图像拍摄方法与电子设备 | |
JP6091669B2 (ja) | 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 | |
JP5360115B2 (ja) | ヘッドマウントディスプレイ | |
JP2011070458A (ja) | ヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システム | |
JP2010224715A (ja) | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 | |
KR102646344B1 (ko) | 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법 | |
KR20180132989A (ko) | 주의 기반 렌더링 및 피델리티 | |
KR20200141517A (ko) | 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체 | |
KR20150134822A (ko) | 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치 | |
EP3218896A1 (en) | Externally wearable treatment device for medical application, voice-memory system, and voice-memory-method | |
Manjari et al. | CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment | |
JP2020077271A (ja) | 表示装置、学習装置、及び、表示装置の制御方法 | |
US20230368327A1 (en) | Capturing and storing an image of a physical environment | |
CN110998673A (zh) | 信息处理装置、信息处理方法和计算机程序 | |
US20230199297A1 (en) | Selectively using sensors for contextual data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5360115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |