JP3277109B2 - 画像表示装置 - Google Patents

画像表示装置

Info

Publication number
JP3277109B2
JP3277109B2 JP31564195A JP31564195A JP3277109B2 JP 3277109 B2 JP3277109 B2 JP 3277109B2 JP 31564195 A JP31564195 A JP 31564195A JP 31564195 A JP31564195 A JP 31564195A JP 3277109 B2 JP3277109 B2 JP 3277109B2
Authority
JP
Japan
Prior art keywords
sound
image
environmental
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31564195A
Other languages
English (en)
Other versions
JPH08320454A (ja
Inventor
誠一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP31564195A priority Critical patent/JP3277109B2/ja
Priority to US08/757,550 priority patent/US6329964B1/en
Priority to GB9725859A priority patent/GB2317528B/en
Priority to GB9625255A priority patent/GB2308036B/en
Publication of JPH08320454A publication Critical patent/JPH08320454A/ja
Priority to US08/880,402 priority patent/US6091827A/en
Application granted granted Critical
Publication of JP3277109B2 publication Critical patent/JP3277109B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像表示装置に関
し、より詳細には液晶ディスプレイをレンズで拡大して
使用する頭部搭載型ディスプレイ(Head Moun
ted Display:以下、HMDと略す)に関す
る。
【0002】例えば、テレビやビデオの視聴、立体画像
の観賞、バーチャルリアリティーのディスプレイ、テレ
ビゲームのモニター、コンピュータ入力のモニター等に
利用されるものである。
【0003】
【従来の技術】近年、液晶ディスプレイの小型化に伴
い、HMDの研究が盛んになってきている。例えば、図
20は従来のHMDの構成概略図であり、図中、131
は拡大レンズ、132は視野絞り、133は液晶ディス
プレイ、134はバックライトである。これらは、ケー
スに納められ、観賞者はレンズにより拡大された液晶デ
ィスプレイを観賞することができる。
【0004】また、前記HMDは液晶ディスプレイの有
効表示部分だけが見えるように、その周辺部は黒色の視
野絞りによって覆われていた。従って、観賞者からは、
図21に示すように、暗黒のなかにスクリーンが浮かん
でいるように見える装置となっていた。
【0005】しかし、前記のようなHMDによる鑑賞で
は以下のような問題が生じる。
【0006】第1に、ディスプレイの視野の周辺と中心
との輝度差が大きいため、目の疲労が生じる。第2に、
HMD着装中は観賞者自身の周囲の状況は全く見えない
ため、部屋でスクリーンを見る場合のような周囲の雰囲
気が失われる。
【0007】そこで、前記問題の解決のため、例えば図
22に示すように、液晶ディスプレイの周辺部に環境映
像を設けて、あたかも部屋の中でスクリーンに映る映画
を見ているかのごとく認識させる装置がある。この環境
映像を有するHMDにより、ディスプレイとディスプレ
イ周辺との輝度差がなくなり、目が疲れにくくなる、デ
ィスプレイの大きさを評価する手がかりが与えられる、
映像を見る場所の雰囲気が楽しめ、臨場感が増加すると
いったメリットがある。
【0008】
【発明が解決しようとする課題】しかしながら、上述の
ような環境映像を備えたHMDにおいても、環境映像は
変化しないため、上述の環境映像のメリットが失われる
場合が生じる。
【0009】例えば、ディスプレイの輝度は常に一定で
はなく様々に変化するため、環境映像の輝度もそれに応
じて変化しないと、ディスプレイと環境映像との間に大
きな輝度差が生まれる場合も生じる。そのため、目の疲
労を軽減するといったメリットが失われる。
【0010】また、観賞者がHMDを装着、脱着する時
の部屋の明るさと、HMDの視野との間に輝度差がある
場合、過度な知覚変化が生じ観賞者の目が疲労するとい
った問題点も有している。
【0011】さらに、ディスプレイは変化していくにも
関わらず、環境映像が何も変化しなければ、全体的印象
が退屈なものになり、観賞者の臨場感を高めるには不十
分である。よって、臨場感を高めるメリットも失われ
る。
【0012】そしてまた、人間の臨場感や迫力といった
ものは、視聴覚の相互作用によって生じるものである
が、ディスプレイに映像、音声が提示されていない時
は、環境映像による視覚のみの提示となってしまい、こ
のような場合には、臨場感が失われてしまうという問題
がある。
【0013】さらに、HMDの問題点の一つとして、H
MD装着時の周辺状況の把握が困難であることがあげら
れる。一般的なHMDにおいては、ディスプレイの映
像、音声に没入して楽しめるように、外界が見えないよ
うにしてディスプレイ映像だけが見えるように、及びヘ
ッドフォンからディスプレイの音声を提示して外界から
の雑音は聞こえないようにしていたので、ディスプレイ
鑑賞者は外界が知覚できず、周囲で何が起こっているの
かが分からないため、例えば、他人から声を掛けられた
り、電話等の呼出音が鳴っても、気が付かないという問
題点を有している。
【0014】本発明は前記課題を解決するためになされ
たものであり、本来、環境映像のもつ特徴である目の疲
労の軽減、臨場感の増加といったメリットをさらに向上
させ、且つ装着時の周囲状況の把握も可能とした画像表
示装置を提供することを目的とする。
【0015】
【課題を解決するための手段】本願第1の発明に係る画
像表示装置は、前記問題点を解決するためになされたも
のであり、映像を表示するディスプレイ及び前記ディス
プレイの周辺部に配置された映像(以下、環境映像)を
拡大して鑑賞する画像表示装置において、ディスプレイ
観賞者の該画像表示装置の使用状況、例えば、HMDの
液晶ディスプレイの輝度、HMD使用者の周囲の部屋の
明るさ、スピーカーからの音量や音周波数、等の状況を
検出する状況検出手段を備えたことを特徴とする。
【0016】また、本願第2の発明に係る画像表示装置
は、映像を表示するディスプレイ及び前記ディスプレイ
の周辺部に配置された環境映像を拡大して鑑賞する画像
表示装置において、前記状況検出手段によって検出され
た状況に応じて、前記環境映像を変化させる画像変化手
段を備えたことを特徴とする。
【0017】さらに、前記状況検出手段は、前記ディス
プレイもしくはディスプレイ観賞者の周囲の光量もしく
は輝度を検出し、前記画像変化手段は前記光量もしくは
輝度に応じて、環境映像の光量を変化させることを特徴
とする。また、前記状況検出手段は、前記ディスプレイ
もしくはディスプレイ観賞者の周囲の音量もしくは音を
検出し、前記画像変化手段は、前記音量もしくは音に応
じて、環境映像の光量を変化させることを特徴とする。
また、前記状況検出手段は、前記ディスプレイもしくは
ディスプレイ観賞者の周囲の光量もしくは輝度を検出
し、前記画像変化手段は、前記光量もしくは輝度に応じ
て、環境映像の色調を変化させることを特徴とする。ま
た、前記状況検出手段は、前記ディスプレイもしくはデ
ィスプレイ観賞者の周囲の音量もしくは音を検出し、前
記画像変化手段は、前記音量もしくは音に応じて、環境
映像の色調を変化させることを特徴とする。
【0018】すなわち、本発明の画像表示装置において
は、液晶ディスプレイに映し出される映像の輝度あるい
は光量、色調、または映像に伴う音、音の周波数、さら
には液晶ディスプレイ鑑賞者の外周囲の状況などの変化
を検出して、その検出結果を液晶ディスプレイの周囲に
配置された環境映像の輝度、光量、色調などに反映させ
ることができるようになる。
【0019】そのため、画像表示装置の鑑賞者、特にH
MD着装者は、従来に比べて、液晶ディスプレイと環境
映像、或は、観賞者の周囲の明るさとHMDの視野の輝
度との間に極端な輝度差、光量差がなくなり、観賞者の
ディスプレイ観賞時やHMDの装脱着時の目の疲労を減
少させることができるようになる。
【0020】更に、液晶ディスプレイの映像、音によっ
て環境映像の輝度を変化させ、環境映像と液晶ディスプ
レイの映像とをシンクロさせることが可能であるため、
観賞者は、従来の画像提示装置、特に従来のHMDより
高い臨場感を得ることが可能となる。
【0021】また、本願第3の発明に係る画像表示装置
は、映像を表示するディスプレイ及び前記ディスプレイ
の周辺部に配置された環境映像を拡大して鑑賞する画像
表示装置において、前記環境映像に応じた環境音を提示
する環境音提示手段を備えたことを特徴とする。
【0022】さらに、前記環境音提示手段は、前記ディ
スプレイの音声と前記環境音とを合成して出力すること
を特徴とする。また、前記環境音提示手段は、前記ディ
スプレイの音声と前記環境音とをそれぞれ個別に出力す
ることを特徴とする。また、前記環境音提示手段は、前
記ディスプレイの音声の有無を検出し、それに応じて前
記ディスプレイの音声と前記環境音とを切替選択して出
力するすることを特徴とする。
【0023】このため、本発明の画像表示装置の場合、
鑑賞者は環境映像と環境音との視聴覚相互作用から、従
来の画像表示装置、特に従来のHMDより高い臨場感を
得ることが可能となる。また、鑑賞者はディスプレイの
音声がある場合は該ディスプレイの音声を、ディスプレ
イの音声がない場合は環境音を楽しむことができる。さ
らに、これをディスプレイの音声の有無によって切り替
えることにより、環境音に妨害されることなくディスプ
レイの音声を楽しむことができる。
【0024】そしてまた、本願第4の発明に係る画像表
示装置は、映像を表示するディスプレイ及び前記ディス
プレイの周辺部に配置された環境映像を拡大して鑑賞す
る画像表示装置において、前記ディスプレイもしくはデ
ィスプレイ鑑賞者の周囲の音を検出し、その中から特定
の音を選択して、環境音とともに出力する環境音提示手
段を備えたことを特徴とする。
【0025】これによって、ディスプレイ鑑賞者は、周
囲の特定の音を環境音として聴覚できるので、常に周り
の状況を把握することが可能となる。
【0026】
【発明の実施の形態】以下、図面に基づいて本発明の実
施態様を説明する。図1は本発明による画像表示装置を
バーチャルリアリティー等に用いるHMDに応用した一
つの実施態様の構成概略図である。図1中、11は拡大
レンズ、12は環境映像用スライド、13は環境映像用
バックライト、14は液晶ディスプレイ、15は液晶デ
ィスプレイ用バックライト、16は液晶ディスプレイの
光量センサー、17は光量変更装置、18はヘッドフォ
ンスピーカーである。
【0027】図22は図1に示したHMDの液晶ディス
プレイ観賞者から見た視野を示した図である。図22に
おいて、中央部分には液晶ディスプレイの映像が、その
周辺には環境映像用スライドが見える。ここで、図1に
示す液晶ディスプレイ用の光量センサー16は拡大レン
ズ11の視野外にあるため、ディスプレイの視野を遮る
ことはない。このように、環境映像を用いると、従来の
装置と同様に、あたかも部屋で映画を見ているごとくに
知覚される。
【0028】図2は本発明の特徴部分である状況検出手
段の構成例を示す部分拡大図であり、図3は画像変化手
段である光量変更装置を示す機能ブロック図である。図
中、21は拡大レンズ、22は光量センサー、23は環
境映像用スライド及び液晶ディスプレイを含む表示装置
である。図3における光量変更装置35は、状況検出手
段であるセンサー31からの液晶ディスプレイの輝度デ
ータと、現在のバックライトの光量34を比較し、光量
をアップするか、ダウンするかを決定する判定部32及
び、判定部からの要請により、環境映像用バックライト
光量をコントロールする調光部33より構成される。
【0029】図4は図3に示す判定部32の制御動作の
フローチャートを示す図である。図4に示すように、ス
テップ(以下、Sと略す)42でセンサー部から液晶デ
ィスプレイの輝度、光量データが入力され、S43でそ
のデータが現在の環境映像のバックライトの光量データ
と同じであるか否かの判定を行う。同じである場合には
何の調整もせずS41に戻り、異なる場合にはS44で
液晶ディスプレイの光量が、環境映像のバックライトよ
りも高いか否かの判定がなされる。液晶ディスプレイが
環境映像より明るい場合には、S45で環境映像の光量
アップの、暗い場合はS46で環境映像の光量ダウンの
命令が調光部に要請されることにより光量の調整を行
う。
【0030】以上のように、光量変更装置の判定部は送
られてきた光量データをもとに環境映像用バックライト
の光量を決定し、調光部に伝え、環境映像用バックライ
トの光量に反映する。この構成によって、環境映像と液
晶ディスプレイとの輝度差を無くすことができ、観賞者
は目の疲れが無い映像を楽しむことができる。
【0031】また、この状況検出手段を備える位置を変
えることにより、前記実施例と異なる状況検出が可能と
なる装置を得ることもできる。例えば、図5に示すよう
に、HMDの外周囲の光量を測定するように光量センサ
ー56を設置し、その光量データを図3、4と同じよう
に処理することによって、液晶ディスプレイ観賞者の周
りの明るさと同じ明るさに、環境映像の輝度を変化させ
ることが可能である。
【0032】図5において、光量センサーの位置および
何を検出しているかが、図1と異なるのみで、その他の
構成は図1に示すものとほぼ同様である。つまり、観賞
者の周りの明るさを検出する装置を備え、観賞者の周り
の明るさに応じて環境映像の明るさを変化させる構成に
より、液晶ディスプレイ観賞者がHMDを使用しようと
した時、その部屋と同じ明るさの雰囲気、例えば、暗い
部屋で見た時は暗い雰囲気の環境映像でディスプレイ映
像を楽しむことができる。
【0033】さらに、観賞者がHMDをはずす時にも部
屋の明るさと同じ輝度の環境映像を得ることができるた
め、目に過度な知覚変化をもたらすことなく、目の疲労
を軽減させることができる。さらには、観賞者はHMD
使用中の周囲の明るさの状況を環境映像の輝度から知る
ことができるために、ある程度の周囲の状況認知が可能
となる。例えば、HMDを装着中時には、視野全体が装
置に覆われてしまうため、その部屋に誰かが入って来
て、暗い部屋の照明を明るくした等の自分の周囲の状況
を全く分からなかったが、本発明によれば、自分の周囲
の状況をHMD装着時にもある程度知ることが可能とな
る。
【0034】次に、状況検出手段について、その他の実
施態様を説明する。状況検出手段を液晶ディスプレイ映
像に伴って、スピーカーから出力される音量(即ち、テ
レビやゲームなどで映像と一緒になり発せられる音の大
きさ)を検出する装置にすることにより、スピーカーか
らの音量に応じて環境映像の明るさを変化させることも
可能である。
【0035】例えば、図6に示すように、スピーカーか
らの音量を測定する音量測定装置66(音量センサー)
を設置し、そのデータを図3と同じように光量変更装置
を通して処理する。この音量測定装置は音信号の強度を
測定し、例えばDA変換で数値データに変換する装置で
ある。図6において、音量測定装置66の位置および何
を検出しているかが、図1と異なるのみで、その他の構
成は図1に示すものとほぼ同様である。
【0036】図7は状況検出手段として音量測定装置を
備えた場合、判定部の制御動作のフローチャートを示す
図である。図7に示すように、S72で音量測定装置6
6からの音量データが入力され、その音量データが設定
された基準(ある閾値)音量よりも、大きな音であるか
否かの判定がS73でなされる。音量が小さな場合には
S71に戻り、大きな場合にはS74で例えば環境映像
の光量アップの命令が調光部に要請される。
【0037】更に、S75で音量測定装置66からの音
量データが入力され、S76でその音量データが設定さ
れた基準(ある閾値)音量データよりも小さな音である
か否かの判定がなされる。音量が大きな場合にはS75
に戻り、小さな場合にはS77で光量ダウンの命令が調
光部に要請され、S71に戻る。
【0038】以上のように、音量測定装置はディスプレ
イから発せられる音がどれほどの音量であるかを検出し
て、その結果を光量変更装置に送る。光量変更装置の判
定部は送られてきた音量データをもとに環境映像用バッ
クライトの光量を決定し、調光部に伝え、環境映像用バ
ックライトの光量に反映する。スピーカーからの音量は
液晶ディスプレイ映像とシンクロしているため、当然、
環境映像はディスプレイ映像とシンクロする。従って、
スピーカー音量が変化すると、ディスプレイ映像が変化
し、かつ環境映像も変化するといった臨場感が高いHM
Dが実現可能となる。
【0039】また、その他の種類の音量測定装置による
状況検出手段について、実施態様を説明する。前記音量
測定装置は音の大きさを測定するものであるが、音信号
を周波数分解して、特定の周波数成分の音を検出するよ
うに設定することもできる。例えば、低いある特定の周
波数成分の音のみを検出して、その音データを判定部に
送る。この構成により、例えば爆発シーンなどの低音が
強調される液晶ディスプレイ映像の時には、環境映像を
変化させることにより、さらに臨場感のある映像を楽し
むことが可能である。或は、人間の声の周波数成分の音
データを測定して、そのデータを判定部に送ることによ
り、人間のセリフのときのみ環境映像が変化するといっ
た面白みがある映像を得ることも可能である。
【0040】また、この音量測定装置を例えば、音量セ
ンサーで液晶ディスプレイ観賞者の周囲の音量を検出す
るように設定し、観賞者の外周囲の音の変化によって、
環境映像が変化するようにすることも当然可能である。
このように、観賞者の外周囲の音によって環境映像が変
化するように設定することにより、例えば、HMD使用
中に他人に話しかけられたり、電話がかかってきたりす
る場合等、周囲の状況を把握することも可能である。
【0041】さらには、状況検出手段を複数個備えて、
液晶ディスプレイ映像や周囲の状況により、より細かく
環境映像を変化させることも可能である。例えば、状況
検出手段として、ディスプレイの音量測定装置と観賞者
の外周囲の明るさを検出する光量センサーの2つを備
え、2つのデータから環境映像を変化させる場合の実施
例の構成を示す機能ブロック図を図8に示す。
【0042】図8中、光データ判定部83はディスプレ
イ観賞者の周囲の明るさを検出する光量センサー81か
らの光量データによって、音データ判定部84はディス
プレイのスピーカー音量を検出する音量測定装置82か
らの音量データによって、環境映像用のバックライト光
量を決定し、調光部85に光量のアップダウンを要請す
る手段である。
【0043】前記光量データ及び音量データは、例え
ば、図9(a)に示すように、その時間時間的変化を光
量の曲線91及び音量の曲線92として表すことができ
る。そして、図9(a)のデータを基に光量変換装置8
7の調光部85において、環境映像用のバックライト光
量を図9(b)に示すように変化させ、環境映像の輝度
を光量データ及び音量データに対応させたものとする。
この構成によれば、環境映像が観賞者の周囲の明るさと
ディスプレイ音量に応じて変化することとなり、目の疲
労を軽減し、臨場感が高いHMDが実現可能となる。
【0044】次に、上記光量変更装置以外の画像変化手
段について以下に説明する。画像変化手段として、図1
0に示すような赤、青、緑のLEDをデルタ状に配列し
たLEDアレイで、環境映像の光色を変化させる光色変
化装置を備えた実施例について説明する。図10中、1
01はデルタ状に配置された赤色LED、102は青色
LED、103は緑色LED、104は前記LEDアレ
イ全体、105は環境映像用スライドを示す。前記3色
のLEDの発光量を別々に制御できるように設定するこ
とにより、全体的な光色調を変化させることが可能とな
る。
【0045】図11は、この光色変更装置119の機能
ブロック図である。色調センサー111からのデータを
判別して、バックライトの光色調を判定部112にて決
定し、それぞれの色の調光部、ここでは緑色LED調光
部113、青色LED調光部114、赤色LED調光部
115の指令により、緑色LED116、青色LED1
17、赤色LED118の各色LEDの光量をコントロ
ールする。前記構成は、LEDを用いる代わりに3色の
ELパネルを用いることによっても、同様に実現可能で
ある。
【0046】図12は図11に示す判定部112の制御
動作の一例を示す図である。判定部には予め、音基準
(閾値)データ1と音基準(閾値)データ2が設定され
ており、基準データとセンサーからの入力データを比較
して、その状況に応じた光色状態に変化させる。例え
ば、音量測定装置から送られてきた音データが音基準デ
ータ1よりも大きい時には赤っぽい環境映像、音基準デ
ータ2よりも小さい時には緑っぽい環境映像といった、
鑑賞者の自由な設定による面白みがある環境映像を楽し
むことが可能となる。当然、基準データを多くし、入力
データに対し様々に色光を変化させることも可能であ
る。
【0047】上記構成により、環境映像を観賞者の状況
によって変化させ、目の疲れを軽減し、臨場感の高いH
MDの実現が可能となる。
【0048】さらに、本発明によるHMDの他の実施態
様について、図13乃至図15とともに説明する。図1
3中、161は拡大光学系、162は環境映像、163
は液晶パネル、164は液晶パネル用バックライト、1
65は環境音提示手段、167は映像入力端子、168
は音声入力端子であり、これらはメガネケース166に
納められている。外部からの映像信号169及び音声信
号170は、映像入力端子167、音声入力端子168
を介して、HMDに入力される。
【0049】図14はHMDの鑑賞者から見た視野を示
した図であり、液晶ディスプレイ171の周辺の環境映
像によって、図14(A)は映画館で映画を見ている、
図17(B)は宇宙船でゲームをしている、図14
(C)は森の中でTVを鑑賞しているような臨場感が得
られる様子を各々示している。
【0050】図15は本発明の特徴部分である環境音提
示手段165の構成例を示すブロック図である。図中、
181は環境音が記憶された環境音メモリー部、182
は音声入力端子168からの液晶ディスプレイ171の
音声、183は環境音と液晶ディスプレイの音声とをミ
キシングする合成部、184はヘッドフォンスピーカー
である。
【0051】環境音メモリー部181には、ICメモリ
ーカードやマイクロテープなどのメモリーによって、環
境映像162に対応した環境音が記憶されおり、例え
ば、図14(A)に示す映画館の環境映像では人混みの
雑踏、図14(B)に示す宇宙船内部の環境映像ではエ
ンジン音やサイレン音、図14(C)に示す森林の環境
映像では小鳥のさえずりなどの環境音が記憶されてい
る。この環境音メモリー部181は、HMDの電源ON
と同時に音声信号を合成部183に送り、その後、記憶
された環境音をリピートすることによって、電源OFF
時まで音声信号を送出し続ける。
【0052】合成部183は、環境音メモリー部181
からの音声信号と液晶ディスプレイ171の音声とを合
成して、合成した音声信号をヘッドフォンスピーカー1
84に送るが、このときの合成は、例えば、 環境音の強度 20dB 液晶ディスプレイの音声の強度 70dB の設定で行われる。また、環境音は例えば700Hz以
上の高い周波数帯域からなるものとしている。
【0053】人間の聴覚には、同時に存在する他の音に
よって、ある音が聞こえなくくなるというマスキング効
果があることが知られており、このマスキング効果は、
周波数が高く強度が弱い音は周波数が低く強度が強い音
によって、聞こえにくくなる(マスクされる)という特
徴を有する。従って、上述したように合成部183で合
成された音は、液晶ディスプレイ171の音声が提示し
ているときは環境音がマスクされ、液晶ディスプレイ1
71の音声が提示されていないときは環境音が鑑賞者に
聞こえることとなる。尚、上記のそれぞれの音声強度設
定は一例を示したものであり、マスキング効果が得られ
る設定であれば、他の設定であってもよいことは言うま
でもない。
【0054】上述したように、本実施形態のHMDにお
いては、鑑賞者がHMDを装着して、液晶ディスプレイ
171に係る映像信号169及び音声信号170が入力
されていない状態では、環境映像と環境音とが鑑賞者に
提示され、視聴覚の相互作用により高い臨場感を得るこ
とができる。そして、液晶ディスプレイ171に係る映
像信号169及び音声信号170が入力されると、マス
キング効果により上記環境音は聞こえなくなり、液晶デ
ィスプレイ171に表示の映像とその音声を楽しむこと
ができる。また、液晶ディスプレイ171の映像鑑賞中
であっても、例えばTVチャンネル切換え時等の音声が
なくなるときは、環境音が聞こえるので、臨場感を失う
ことはない。
【0055】尚、上記実施態様においては、環境音を提
示するヘッドフォンスピーカーを左右耳用の一対のみと
したものについて説明したが、図16のブロック図に示
すように、環境音用ヘッドフォンスピーカー195と、
ディスプレイの音声用ヘッドフォンスピーカー196
と、両音声の強度設定を調整する調整部193,194
とを備え、図15における合成部183を省いた構成と
しても良く、この場合、合成部による音の劣化を防止す
ることが可能である。
【0056】さらに、本発明の特徴部分である環境音提
示手段の他の実施形態を、図17とともに説明する。図
17において、201は環境音メモリー部、202はデ
ィスプレイの音声、203は環境音とディスプレイの音
声202との切替えを行う切替え部、204はヘッドフ
ォンスピーカー、205は上記ディスプレイの音声20
2の有無を検出し、切替え部203の切替えを制御する
検出部である。具体的には、検出部205にてディスプ
レイの音声202が有ると検出された場合には該ディス
プレイの音声202を出力するよう切替え部203を制
御し、ディスプレイの音声202が無いと検出された場
合には環境音メモリー部201からの環境音を出力する
よう切替え部203を制御する。これによって、環境音
メモリー部201に記憶される環境音の周波数帯域を制
限する必要がなくなる。
【0057】次に、本発明によるHMDのもう一つの他
の実施態様について、図18及び図19とともに説明す
る。図18中、211は拡大光学系、212は環境映
像、213は液晶パネル、214は液晶パネル用バック
ライト、215は環境音提示手段、216はディスプレ
イ鑑賞者の周辺の音を検出する音センサー、217は映
像入力端子、218は音声入力端子であり、鑑賞者はH
MDを頭に装着して、入力映像と環境映像とを楽しむこ
とができる。
【0058】図19は本実施形態における環境音提示手
段215を示すブロック図である。図中、221は環境
音が記憶された環境音メモリー部、222は外部から入
力されるディスプレイの音声、223は環境音とディス
プレイの音声とHMD周辺の音とをミキシングする合成
部、224はヘッドフォンスピーカー、225は音セン
サー216からのHMD周辺の音を判定する周辺音声判
定部である。
【0059】周辺音声判定部225は、音センサー21
6から送られてきたHMD周囲の音が一定のレベル、例
えば80dB以上の強度であるか否かを判定し、80d
B以下である場合は何も出力せず、80dB以上である
場合は合成部223に音信号を出力する。合成部223
ではHMD周囲の音とディスプレイの音声と環境音とを
合成して、ヘッドフォンスピーカー224より提示す
る。ここで、合成部223での音声の合成は、例えば以
下のように設定される。
【0060】 環境音の強度 20dB ディスプレイの音声の強度 70dB HMD周辺の音の強度 80dB このような各音声強度の設定により、ディスプレイ鑑賞
者の周辺の音は、ディスプレイの音声と環境音との両方
の音声が提示されている場合、及び環境音のみ提示され
ている場合のいずれの場合でもディスプレイ鑑賞者に知
覚される。尚、合成される各音声強度は上記設定例に限
らず、いずれの状況においてもHMD周辺の音が知覚で
きるものであれば、他の設定であってもよい。
【0061】上述したとおり、本実施形態のHMDにお
いては、HMDによって視聴覚が覆われたディスプレイ
鑑賞者であっても、周辺で例えば声を掛けられた場合や
電話などの呼出音が鳴った場合、その音がヘッドフォン
スピーカー224より提示され、知覚することができる
ので、周辺の状況把握が可能となる。また、例えば80
dB以下の小さい雑音等は提示されないので、HMDの
ディスプレイ映像及び音声、または環境映像及び環境音
を高い臨場感と迫力で楽しむことができる。
【0062】
【発明の効果】本発明によれば、以下のような効果があ
る。第1に、液晶ディスプレイの輝度によって、環境映
像はその光量および輝度を変化させることが可能である
ため、ディスプレイ輝度と環境映像との光量及び輝度差
が極めて少なくでき、観賞者の目の疲れが減少する。
【0063】第2に、環境映像は観賞者の周辺の明るさ
によって、その光量及び輝度を変化させることが可能で
あるため、画像提示装置、特にHMD装着、脱着時の過
度な知覚変化が無くなり、観賞者の目の疲れが減少す
る。
【0064】第3に、環境映像をディスプレイ映像の光
量、輝度、色調や音とシンクロさせることが可能である
ため、従来の画像提示装置、特にHMDの映像より、よ
り高い臨場感を得ることができる。
【0065】第4に、環境映像に応じた環境音を提示す
ることが可能であるため、映像と音声との視聴覚相互作
用によって、従来の画像提示装置、特にHMDの映像よ
り、より高い臨場感を得ることができる。
【0066】第5に、鑑賞者の周囲の音を提示すること
が可能であるため、常に周辺の状況把握ができるように
なる。
【図面の簡単な説明】
【図1】本発明によるHMDの一実施形態を示す構成概
略図である。
【図2】本発明によるHMDの一実施形態における状況
検出手段の構成例を示す部分拡大図である。
【図3】本発明によるHMDの一実施形態における画像
変化手段である光量変更装置を示す機能ブロック図であ
る。
【図4】本発明によるHMDの一実施形態における光量
変換装置の判定部の制御動作を示すフローチャートであ
る。
【図5】本発明による外周囲の光量を測定する光量セン
サーを備えたHMDの構成概略図である。
【図6】本発明による音量を測定するための音量測定装
置を備えたHMDの構成概略図である。
【図7】本発明によるHMDの一実施形態における音量
測定装置の判定部の制御動作を示すフローチャートであ
る。
【図8】本発明によるHMDの複数個の状況検出手段を
備えた実施形態を示す機能ブロック図である。
【図9】(a)は光量データ及び音量データの時間的変
化を示す曲線を表す図であり、(b)は環境映像の輝度
の時間的変化を示す曲線を表す図である。
【図10】本発明のHMDにおける画像変化手段の構成
例を示す部分拡大図である。
【図11】本発明のHMDにおける画像変化手段である
光色変更装置を示す機能ブロック図である。
【図12】本発明のHMDにおける光色変更装置の判定
部の制御動作の一例を示す説明図である。
【図13】本発明によるHMDの他の実施形態を示す構
成概略図である。
【図14】本発明によるHMDを鑑賞者からみた視野を
示す説明図である。
【図15】本発明によるHMDの他の実施形態における
環境音提示手段の構成例を示すブロック図である。
【図16】本発明によるHMDにおける環境音提示手段
の他の構成例を示すブロック図である。
【図17】本発明によるHMDにおける環境音提示手段
のもう一つの他の構成例を示すブロック図である。
【図18】本発明によるHMDのもう一つの他の実施形
態を示す構成概略図である。
【図19】本発明によるHMDのもう一つの他の実施形
態における環境音提示手段の構成例を示すブロック図で
ある。
【図20】従来のHMDを示す構成概略図である。
【図21】従来のHMDで液晶ディスプレイ鑑賞者から
見た視野を示す図である。
【図22】環境映像を有するHMDのディスプレイ観賞
者から見た視野を示す図である。
【符号の説明】
11 拡大レンズ 12 環境映像用スライド 13 環境映像用バックライト 14 液晶ディスプレイ 15 液晶ディスプレイ用バックライト 16 液晶ディスプレイ用の光量センサー 17 光量変更装置 18 ヘッドフォンスピーカー 21 拡大レンズ 22 光量センサー 23 環境映像用スライド及び液晶ディスプレイを含む
表示装置 31 状況検出手段であるセンサー 32 判定部 33 調光部 34 環境映像用のバックライトの光量 35 光量変更装置 51 拡大レンズ 52 環境映像用スライド 53 環境映像用バックライト 54 液晶ディスプレイ 55 バックライト 56 光量センサー(観賞者の周辺用) 57 光量変更装置 58 ヘッドフォンスピーカー 61 拡大レンズ 62 環境映像用スライド 63 環境映像用バックライト 64 液晶ディスプレイ 65 液晶ディスプレイ用バックライト 66 音量測定装置 67 光量変更装置 68 ヘッドフォンスピーカー 81 光量センサー 82 音量測定装置 83 光データ判定部 84 音データ判定部 85 調光部 86 環境映像用バックライト 87 光量変更装置 91 光量の曲線 92 音量の曲線 93 環境映像の輝度曲線 101 デルタ状に配置された赤色LED 102 デルタ状に配置された青色LED 103 デルタ状に配置された緑色LED 104 LEDアレイ全体 105 環境映像用スライド 111 色調センサー 112 判定部 113 緑色LED調光部 114 青色LED調光部 115 赤色LED調光部 116 緑色LED 117 青色LED 118 赤色LED 119 光色変更装置 161 拡大光学系 162 環境映像 163 液晶パネル 164 バックライト 165 環境音提示手段 166 メガネケース 167 映像入力端子 168 音声入力端子 169 映像信号 170 音声信号 181 環境音メモリー部 182 ディスプレイの音声 183 合成部 184 ヘッドフォンスピーカー 191 環境音メモリー部 192 ディスプレイの音声 193 環境音用調整部 194 ディスプレイの音声用調整部 195 環境音用ヘッドフォンスピーカー 196 ディスプレイの音声用ヘッドフォンスピーカー 201 環境音メモリー部 202 ディスプレイの音声 203 切替え部 204 ヘッドフォンスピーカー 205 検出部 211 拡大光学系 212 環境映像 213 液晶パネル 214 バックライト 215 環境音提示手段 216 音センサー 217 映像入力端子 218 音声入力端子 221 環境音メモリー部 222 ディスプレイの音声 223 合成部 224 ヘッドフォンスピーカー 225 周辺音声判定部

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項1】 映像を表示するディスプレイ及び前記デ
    ィスプレイの周辺部に配置された環境映像を拡大して鑑
    賞する画像表示装置において、 ディスプレイ観賞者の画像表示装置使用状況を検出する
    状況検出手段を備えたことを特徴とする画像表示装置。
  2. 【請求項2】 映像を表示するディスプレイ及び前記デ
    ィスプレイの周辺部に配置された環境映像を拡大して鑑
    賞する画像表示装置において、 請求項1記載の状況検出手段により検出された状況に応
    じて、前記環境映像を変化させる画像変化手段を備えた
    ことを特徴とする画像表示装置。
  3. 【請求項3】 請求項1もしくは請求項2記載の画像表
    示装置において、 状況検出手段は、前記ディスプレイもしくはディスプレ
    イ観賞者の周囲の光量もしくは輝度を検出し、画像変化
    手段は前記光量もしくは輝度に応じて、環境映像の光量
    を変化させることを特徴とする画像表示装置。
  4. 【請求項4】 請求項1もしくは請求項2記載の画像表
    示装置において、 状況検出手段は、前記ディスプレイもしくはディスプレ
    イ観賞者の周囲の音量もしくは音を検出し、 画像変化手段は、前記音量もしくは音に応じて、環境映
    像の光量を変化させることを特徴とする画像表示装置。
  5. 【請求項5】 請求項1もしくは請求項2記載の画像表
    示装置において、 状況検出手段は、前記ディスプレイもしくはディスプレ
    イ観賞者の周囲の光量もしくは輝度を検出し、 画像変化手段は、前記光量もしくは輝度に応じて、環境
    映像の色調を変化させることを特徴とする画像表示装
    置。
  6. 【請求項6】 請求項1もしくは請求項2記載の画像表
    示装置において、 状況検出手段は、前記ディスプレイもしくはディスプレ
    イ観賞者の周囲の音量もしくは音を検出し、 画像変化手段は、前記音量もしくは音に応じて、環境映
    像の色調を変化させることを特徴とする画像表示装置。
  7. 【請求項7】 映像を表示するディスプレイ及び前記デ
    ィスプレイの周辺部に配置された環境映像を拡大して鑑
    賞する画像表示装置において、 前記環境映像に応じた環境音を提示する環境音提示手段
    を備えたことを特徴とする画像表示装置。
  8. 【請求項8】 請求項7記載の画像表示装置において、 環境音提示手段は、前記ディスプレイの音声と前記環境
    音とを合成して出力することを特徴とする画像表示装
    置。
  9. 【請求項9】 請求項7記載の画像表示装置において、 環境音提示手段は、前記ディスプレイの音声と前記環境
    音とをそれぞれ個別に出力することを特徴とする画像表
    示装置。
  10. 【請求項10】 請求項7記載の画像表示装置におい
    て、 環境音提示手段は、前記ディスプレイの音声の有無を検
    出し、それに応じて前記ディスプレイの音声と前記環境
    音とを切替選択して出力することを特徴とする画像表示
    装置。
  11. 【請求項11】 請求項7記載の画像表示装置におい
    て、 環境音提示手段は、前記ディスプレイもしくはディスプ
    レイ鑑賞者の周囲の音を検出し、その中から特定の音を
    選択して、環境音とともに出力することを特徴とする画
    像表示装置。
JP31564195A 1995-03-22 1995-12-04 画像表示装置 Expired - Fee Related JP3277109B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP31564195A JP3277109B2 (ja) 1995-03-22 1995-12-04 画像表示装置
US08/757,550 US6329964B1 (en) 1995-12-04 1996-11-27 Image display device
GB9725859A GB2317528B (en) 1995-12-04 1996-12-03 Image display device
GB9625255A GB2308036B (en) 1995-12-04 1996-12-03 Image display device
US08/880,402 US6091827A (en) 1995-12-04 1997-06-23 Image display device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-62551 1995-03-22
JP6255195 1995-03-22
JP31564195A JP3277109B2 (ja) 1995-03-22 1995-12-04 画像表示装置

Publications (2)

Publication Number Publication Date
JPH08320454A JPH08320454A (ja) 1996-12-03
JP3277109B2 true JP3277109B2 (ja) 2002-04-22

Family

ID=26403596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31564195A Expired - Fee Related JP3277109B2 (ja) 1995-03-22 1995-12-04 画像表示装置

Country Status (1)

Country Link
JP (1) JP3277109B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI252592B (en) 2000-01-17 2006-04-01 Semiconductor Energy Lab EL display device
JP2001305988A (ja) * 2000-04-26 2001-11-02 Semiconductor Energy Lab Co Ltd ゴーグル型表示装置
US7236179B2 (en) * 2003-10-28 2007-06-26 Eastman Kodak Company Display device color channel reconstruction
US8319714B2 (en) 2004-12-22 2012-11-27 Semiconductor Energy Laboratory Co., Ltd. Display device, and method of operation thereof
JP2009251428A (ja) * 2008-04-09 2009-10-29 Konica Minolta Holdings Inc 情報表示システム
JP4809925B2 (ja) * 2010-08-30 2011-11-09 株式会社半導体エネルギー研究所 ヘッドマウントディスプレイ
JP2013257492A (ja) * 2012-06-14 2013-12-26 Sony Corp 制御装置、表示装置、制御方法、照明制御方法及びプログラム
CN111630849A (zh) * 2018-01-25 2020-09-04 索尼公司 图像处理装置、图像处理方法、程序和投影系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3077166B2 (ja) * 1990-05-22 2000-08-14 ソニー株式会社 眼鏡型映像表示装置
JP3336687B2 (ja) * 1993-07-21 2002-10-21 セイコーエプソン株式会社 眼鏡型表示装置
JP2916076B2 (ja) * 1993-08-26 1999-07-05 シャープ株式会社 画像表示装置

Also Published As

Publication number Publication date
JPH08320454A (ja) 1996-12-03

Similar Documents

Publication Publication Date Title
US6091827A (en) Image display device
JP7323633B2 (ja) ヘッドマウント型ディスプレイのための画像表示方法及びデバイス
RU2602363C2 (ru) Система отображения, устройство отображения и устройство ретрансляции
US6611297B1 (en) Illumination control method and illumination device
EP0640859B1 (en) Image display unit
US6564108B1 (en) Method and system of auxiliary illumination for enhancing a scene during a multimedia presentation
US20130281162A1 (en) Portable Personal Entertainment Video Viewing System
US20070002130A1 (en) Method and apparatus for maintaining eye contact during person-to-person video telecommunication
JPH06194600A (ja) 表示装置
US20150269779A1 (en) Head-Mounted Augumented Reality Display System
JP3277109B2 (ja) 画像表示装置
JP2004246274A (ja) 表示装置、およびこれを用いた携帯電話端末、モバイルゲーム端末、テレビ受像機、立体表示システム
JP5145669B2 (ja) 携帯信号処理装置及びウエアラブルディスプレイ
JP2959000B2 (ja) 顔面装着型視覚装置
JP4751723B2 (ja) 液晶表示装置、液晶表示システム
GB2317528A (en) Head mounted stereoscopic display with environmental image displayed at periphery of main image and including environmental sound presenting means.
WO2020157979A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
JPH01133479A (ja) 視覚装置
CN114401574B (zh) 发光控制方法及系统、显示设备、可读存储介质
JPH06335007A (ja) 眼鏡型映像表示装置における自動調光機構
JPH03203478A (ja) 顔面装着型視覚装置
JPH06217298A (ja) テレビ電話機
CN117794025A (zh) 音箱氛围灯控制方法、计算机可读存储介质及音箱
JPH0461495A (ja) 画像表示装置
Miller et al. Virtual and Augmented Reality Displays

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090208

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100208

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100208

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees