JP6350283B2 - 画像表示装置及び画像表示方法、並びに記録媒体 - Google Patents

画像表示装置及び画像表示方法、並びに記録媒体 Download PDF

Info

Publication number
JP6350283B2
JP6350283B2 JP2014535407A JP2014535407A JP6350283B2 JP 6350283 B2 JP6350283 B2 JP 6350283B2 JP 2014535407 A JP2014535407 A JP 2014535407A JP 2014535407 A JP2014535407 A JP 2014535407A JP 6350283 B2 JP6350283 B2 JP 6350283B2
Authority
JP
Japan
Prior art keywords
image
display
user
display device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014535407A
Other languages
English (en)
Other versions
JPWO2014041871A1 (ja
Inventor
佐古 曜一郎
曜一郎 佐古
宮島 靖
靖 宮島
武川 洋
洋 武川
楢原 立也
立也 楢原
高井 基行
基行 高井
正資 武田
正資 武田
浩明 小川
浩明 小川
和田 成司
成司 和田
いちご 早川
いちご 早川
丹下 明
明 丹下
貴央 谷亀
貴央 谷亀
一英 剱持
一英 剱持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014041871A1 publication Critical patent/JPWO2014041871A1/ja
Application granted granted Critical
Publication of JP6350283B2 publication Critical patent/JP6350283B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本明細書で開示する技術は、頭部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、並びに記録媒体に係り、特に、表示画像を虚像光学系により拡大虚像として観察者に観察させるように表示する画像表示装置及び画像表示方法、並びに記録媒体に関する。
頭部に装着して画像の視聴に利用される頭部装着型の画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。一般に、頭部装着型画像表示装置は、左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用することで、視覚及び聴覚を制御できるように構成されている。また、頭部装着型画像表示装置は、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3次元画像を提示することができる。
頭部装着型画像表示装置は、左右の眼の表示部として、例えば液晶や有機EL(Electro−Luminescence)素子などからなる高解像度の表示パネルを装備する。また、頭部装着型画像表示装置を、遮光性のタイプと透過性のタイプに分類することもできる。遮光性の頭部装着型画像表示装置は、頭部に装着した際に、ユーザーの眼を直接覆うように構成され、画像視聴時に没入感が増す。虚像光学系を用いて表示画面を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させるとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる(例えば、特許文献1を参照のこと)。一方、透過性の頭部装着型画像表示装置の場合、ユーザーが頭部に装着して画像を表示している間も、画像越しに外景を眺める(すなわち、シースルー)ことができるので(例えば、特許文献2を参照のこと)、屋外での使用時や歩行中の使用時において、ユーザーは障害物との衝突などの危険から回避することができる。
ところで、薄型の表示装置においては、表と裏の両面で画像を表示可能な表示装置について提案がなされている(例えば、特許文献3、4を参照のこと)。両面表示装置は、両面で同一のコンテンツを表示することも、両面で別々のコンテンツを表示することもできる。ユーザーは装置本体の表側及び裏側の双方で画像を観察することができることから、両面表示装置は良好な情報提供ツールとなり得る。
他方、上述した頭部装着型の画像表示装置は、表側すなわち装着者の眼に対向して画像を表示することはできるが、裏側すなわち画像表示装置の外部に対して画像を表示することはない。このため、周囲の者は、装着者が何を見ているのかまったく確認することはできない。また、装着者の眼が覆い隠されているので、周囲の者は装着者の状態(例えば、話しかけてもよいか、後にすべきか)を把握するのが難しい。
頭部装着型画像表示装置は、個人の究極のディスプレイの1つと言える。しかしながら、装置を装着したユーザー本人以外は、その本人の状態や、本人が何をしているか、何を視聴しているのか、視聴に集中若しくは没入している度合いを知ることができない。また、ユーザー本人が自分の状態を周囲に報知したい場合や、視聴しているコンテンツを外部に知らせたい場合や、コンテンツに関連する有用な情報を伝えたい場合もあるが、一旦装置を外してからでないと伝えることができず、視聴が中断してしまう。
本明細書で開示する技術の目的は、頭部に装着して画像の視聴に利用され、周囲の者に対して、装着者が何を見ているか、装着者の現在の状態など、さまざまな情報を提示することができる、優れた画像表示装置及び画像表示方法、並びに記録媒体を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
前記ユーザー側から見える内側画像を表示する第1の表示部と、
前記画像表示装置の外部から見える外側画像を表示する第2の表示部と、
前記内側画像と前記外側画像の表示を制御する制御部と、
を具備する画像表示装置置である。
本願の請求項2に記載の技術によれば、請求項1に記載の画像表示装置の前記表示部は、前記内側画像及び前記外側画像を表示する単一の表示デバイスと、前記表示デバイスに表示された前記内側画像を前記ユーザー側から見える場所に導くとともに、前記表示デバイスに表示された外側画像を前記画像表示装置の外側から見える場所に導く導光部を備えている。
本願の請求項3に記載の技術によれば、請求項1に記載の画像表示装置は、前記外側画像を前記画像表示装置の外側に向けて投影する投影部をさらに備えている。
本願の請求項4に記載の技術によれば、請求項1に記載の画像表示装置は、前記ユーザーが入力操作を行なう入力操作部をさらに備えている。そして、前記制御部は、前記ユーザーによる入力操作に応じて、前記内側画像並びに前記外側画像の表示を制御するように構成されている。
本願の請求項5に記載の技術によれば、請求項4に記載の画像表示装置の前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記内側画像又は前記外側画像の表示オン/オフ、前記内側画像又は前記外側画像の色調整、前記内側画像又は前記外側画像の輝度調整、前記外側画像の表示サイズ切り換え、又は、前記外側画像の表示エリア移動を行なうように構成されている。
本願の請求項6に記載の技術によれば、請求項4に記載の画像表示装置の前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像として、前記内側画像と同じ画像、前記内側画像とは異なる画像、周囲環境の情報、前記ユーザーの現在の状態のうち少なくとも1つを表示させ、又は、前記外側画像を前記内側画像として表示させるように構成されている。
本願の請求項7に記載の技術によれば、請求項4に記載の画像表示装置の前記制御部は、前記ユーザーの瞬目動作又は眼球の運動に基づく入力操作に応じて、前記外側画像の表示を切り替えるように構成されている。
本願の請求項8に記載の技術によれば、請求項4に記載の画像表示装置の前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像の連続表示、間欠表示、又は所定時間毎の表示のいずれかを行なわせるように構成されている。
本願の請求項9に記載の技術によれば、請求項1に記載の画像表示装置は前記画像表示装置の周囲環境に関する情報を取得する環境情報取得部をさらに備えている。そして、前記制御部は、前記周囲環境に基づいて、前記内側画像と前記外側画像の表示を制御するように構成されている。
本願の請求項10に記載の技術によれば、請求項9に記載の画像表示装置の前記制御部は、環境光の明暗変化を検出したことに応答して、前記外側画像の輝度を制御するように構成されている。
本願の請求項11に記載の技術によれば、請求項9に記載の画像表示装置の前記制御部は、現在時刻の経過に応答して、前記外側画像の間欠表示又はタイマー表示を制御するように構成されている。
本願の請求項12に記載の技術によれば、請求項9に記載の画像表示装置の前記制御部は、周囲にいる人数に応じて、前記外側画像の表示オン/オフ、輝度レベル、表示エリア、表示サイズを制御するように構成されている。
本願の請求項13に記載の技術によれば、請求項1に記載の画像表示装置は、前記ユーザーの状態に関する情報を取得する状態情報取得部をさらに備えている。そして、前記制御部は、前記ユーザーの状態に基づいて、前記内側画像と前記外側画像の表示を制御するように構成されている。
本願の請求項14に記載の技術によれば、請求項13に記載の画像表示装置の前記制御部は、前記状態情報取得部が取得した前記ユーザーの現在の作業状態、行動状態、精神状態、又は生理状態を、前記外側画像として表示するように構成されている。
本願の請求項15に記載の技術によれば、請求項13に記載の画像表示装置の前記制御部は、前記ユーザーの瞬目動作の情報に基づいて前記ユーザーの精神状態を特定し、前記精神状態に応じて前記外側画像の表示を制御するように構成されている。
本願の請求項16に記載の技術によれば、請求項13に記載の画像表示装置の前記制御部は、前記ユーザーの頭部の横の傾きに応じて、前記外側画像内の文字情報を水平に保つように制御するように構成されている。
本願の請求項17に記載の技術によれば、請求項13に記載の画像表示装置の前記制御部は、前記ユーザーの頭部の回転に応じて、前記内側画像又は前記外側画像の位置を保つように制御するように構成されている。
本願の請求項18に記載の技術によれば、請求項1に記載の画像表示装置は、前記内側表示部に表示する画像コンテンツに関するコンテンツ情報を取得するコンテンツ情報取得部をさらに備えている。そして、前記制御部は、前記コンテンツ情報に応じて、前記外側画像の表示を制御するように構成されている。
また、本願の請求項19に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示方法であって、
前記ユーザー側から見える内側画像を表示する第1の表示ステップと、
前記画像表示装置の外部から見える外側画像を表示する第2の表示ステップと、
前記内側画像と前記外側画像の表示を制御する制御ステップと、
を有する画像表示方法である。
また、本願の請求項20に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラムを記録したコンピューターに読み取り可能な記録媒体であって、前記コンピューター・プログラムは前記コンピューターを、
前記ユーザー側から見える内側画像を表示させる第1の表示部、
前記画像表示装置の外部から見える外側画像を表示させる第2の表示部、
前記内側画像と前記外側画像の表示を制御する制御部、
として機能させる、記録媒体である。
本明細書で開示する技術によれば、頭部に装着して画像の視聴に利用され、周囲の者に対して、装着者が何を見ているか、装着者の現在の状態など、さまざまな情報を提示することができる、優れた画像表示装置及び画像表示方法、並びに記録媒体を提供することができる。
本明細書で開示する技術に係る頭部装着型の画像表示装置は、装着したユーザー側から見える内側表示部の他に、外側から見える外側表示部を備えており、装着者が見ているものと同じ画像や、装着者の状態などを外側表示部に表示して、外部にさまざまな情報を提供することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、遮光性のタイプの頭部装着型画像表示装置1を装着したユーザーを正面から眺めた様子を示した図である。 図2は、遮光性のタイプの頭部装着型画像表示装置1を上方から眺めた様子を示した図である。 図3は、透過性のタイプの頭部装着型画像表示装置3を装着したユーザーを正面から眺めた様子を示した図である。 図4は、透過性のタイプの頭部装着型画像表示装置3を上方から眺めた様子を示した図である。 図5は、図1及び図2に示した遮光性のタイプの頭部装着型画像表示装置1の機能構成を模式的に示した図である。 図6は、図3及び図4に示した透過性のタイプの頭部装着型画像表示装置3の機能構成を模式的に示した図である。 図7は、内側画像と外側画像の表示間隔を例示した図である。 図8は、虚像・実像光学部612の構成例を示した図である。 図9は、図8に示した虚像・実像光学部612において、表示パネル611から射出した直後の表示光の偏光特性を示した図である。 図10は、図8に示した虚像・実像光学部612において、光軸方位を0度に設定した2分の1波長板802を通過した表示光の偏光特性を示した図である。 図11は、図8に示した虚像・実像光学部612において、光軸方位を45度に傾けた2分の1波長板802を通過した表示光の偏光特性を示した図である。 図12は、図8に示した虚像・実像光学部612において、偏光ビーム・スプリッター804を透過した表示光の偏光特性を示した図である。 図13は、図8に示した虚像・実像光学部612において、凹面鏡806で反射及び集光された後、偏光ビーム・スプリッター804を透過した表示光の偏光特性を示した図である。 図14は、2分の1波長板802の光軸方位の動作例を示した図である。 図15は、2分の1波長板802の光軸方位の動作に同期した表示パネル611の表示動作例を示した図である。 図16は、2分の1波長板802の光軸方位を0度と45度の中間の角度θに設定した様子を示した図である。 図17は、2分の1波長板802の光軸方位を角度θに設定したときに出射されるS偏光成分を示した図である。 図18は、2分の1波長板802の光軸方位を角度θに設定したときに出射されるP偏光成分を示した図である。 図19は、図18に示したP偏光成分が4分の1波長板805を通過して円偏光に変換された様子を示した図である。 図20は、図19に示した円偏光が4分の1波長板805を通過してS偏光に変換された様子を示した図である。 図21は、虚像・実像光学部612の他の構成例を示した図である。 図22は、虚像・実像光学部612の他の構成例を示した図である。 図23は、入力操作部502を介したユーザーからの指示に応じた頭部装着型画像表示装置1又は3の動作例を示した状態遷移図である。 図24は、環境情報に応じた頭部装着型画像表示装置1又は3の動作例を示したフローチャートである。 図25は、ユーザーの状態情報に応じた頭部装着型画像表示装置1又は3の動作例を示したフローチャートである。 図26は、瞼を閉じている状態(目の開き具合)を表現したアイコンの表示例を示した図である。 図27は、視線の方向(瞳の向き)を表現したアイコンの表示例を示した図である。 図28は、眼電方式により検出した時間当たり瞬目回数並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示した図である。 図29は、眼電方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示した図である。 図30は、撮影方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示した図である。 図31は、外側画像内に表示されている文字情報3101を水平に保つように制御する様子を示した図である。 図32は、実空間にマッピングされた内側画像又は外側画像の位置を保つように制御する様子を示した図である。 図33は、コンテンツ情報に応じた頭部装着型画像表示装置1又は3の動作例を示したフローチャートである。 図34は、頭部装着型画像表示装置1又は3の表示画像を壁面に投影している様子を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
既に述べたように、頭部装着型の画像表示装置は、遮光性のタイプ(例えば、特許文献1を参照のこと)と透過性のタイプ(例えば、特許文献2を参照のこと)に分類することができる。本明細書で開示する技術は、これらのいずれのタイプにも適用することができる。
A.装置構成
図1には、遮光性のタイプの頭部装着型画像表示装置1を装着したユーザーを正面から眺めた様子を示している。
図1に示すように、ユーザーは、不透明の頭部装着型画像表示装置1を装着し、左右の眼が直接覆われている。頭部装着型画像表示装置1本体のユーザーの顔と対峙する側面を「内側」、その反対側の側面を「外側」と定義する。ユーザーが頭部装着型画像表示装置1を装着した際、内側の面はユーザーのみが観察することができ、他方の外側の面は外部に露出して外部の者からも観察することができる。装置1本体の内側の左右の眼に対向する位置には、ユーザーが観察する内側表示部(図1では図示しない)が配設されている。また、装置本体1の外側には、外部の者が観察できる外側表示部が配設されている。内側表示部並びに外側表示部は、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。
図2には、遮光性のタイプの頭部装着型画像表示装置1を上方から眺めた様子を示している。図示のように、頭部装着型画像表示装置1は、内側すなわちユーザーの顔面と対向する側面に、左眼用及び右眼用の内側表示部を持つ。内側表示部は、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。内側表示部の表示画像は、虚像光学部を通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。このため、頭部装着型画像表示装置1は、右眼用の表示部と左眼用の表示部の間に、眼幅を調整する眼幅調整機構を装備している。
図1及び図2に示した例では、頭部装着型画像表示装置1は、内側表示部とは表裏の関係にある位置に外側表示部が配設されているが、他の場所に外側表示部を配置してもよい。また、頭部装着型画像表示装置1は左右一対の外側表示部を備えているが、単一又は3以上の外側表示部を備えていてもよい。
なお、図1及び図2では図示を省略したが、頭部装着型画像表示装置1は、画像に付随した音声を出力する音声出力部を備えている。また、頭部装着型画像表示装置1は、ユーザーの頭部又は顔部に当該装置1を装着する装着部(図示しない)を備えている。例えば装着したユーザーの頭部の後方に巻き付けられるベルトなどの部材によって、頭部に固定される(例えば、本出願人に既に譲渡されている特願2011−48424号明細書を参照のこと)。また、図1及び図2に示した頭部装着型画像表示装置1は左右両方の眼に表示部を備えた両眼タイプであるが、左右いずれか一方にのみ表示部を備えた単眼タイプとして構成することも可能である。
他方、図3には、透過性すなわちシースルーのタイプの頭部装着型画像表示装置3を装着したユーザーを正面から眺めた様子を示している。
図3に示す例では、頭部装着型画像表示装置3は、視力矯正用の眼鏡に類似した構造からなる。頭部装着型画像表示装置3本体のユーザーの顔と対峙する側面を「内側」、その反対側の側面を「外側」と定義する。ユーザーが頭部装着型画像表示装置3を装着した際、内側の面はユーザーのみが観察することができ、他方の外側の面は外部に露出して外部の者からも観察することができる。装置3本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部が配設され、虚像光学部の内側には、ユーザーが観察する画像が表示される。また、虚像光学部の外側には、外部の者が観察できる外側画像が表示される。虚像光学部は、例えば、眼鏡フレーム状の支持体によって支持されている。
図4には、頭部装着型画像表示装置3を上方から眺めた様子を示している。図示のように、頭部装着型画像表示装置3の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネルが配設されている。各表示パネルは、液晶ディスプレイ又は有機EL素子などのマイクロ・ディスプレイからなるが、それぞれ、左眼用及び右眼用の内側画像と外側画像のフレームを例えば時分割により多重して表示出力する。左右の表示画像は、虚像光学部によって左右それぞれの眼付近まで導光されるとともに、内側画像と外側画像に分離される。そして、内側画像の拡大虚像がユーザーの瞳に結像されるとともに、外側画像の拡大虚像は虚像光学部の外側に配設されたスクリーン上に結像される。なお、虚像光学部が表示パネルの出力画像を導光し、内側画像と外側画像に分離するとともに拡大虚像を形成する構成の詳細については、後述に譲る。
図3及び図4に示した例では、頭部装着型画像表示装置3は、内側画像の表示領域とは表裏の関係にある位置に外側画像の表示領域が配設されているが、他の場所に外側画像を表示するようにしてもよい。また、頭部装着型画像表示装置3は左右一対の場所に外側画像を表示させているが、単一又は3以上の場所に外側画像を表示するようにしてもよい。
なお、図3及び図4では図示を省略したが、頭部装着型画像表示装置3は、画像に付随した音声を出力する音声出力部を備えている。また、頭部装着型画像表示装置3は、ユーザーの頭部又は顔部に当該装置3を装着する装着部を備えている。例えば、眼鏡フレームに類似した形状をなす装置3本体の左右それぞれの端部に回動可能に支持されたテンプル部(図示しない)がユーザーの左右の耳介に引っ掛かることによって、頭部に装着される。また、図3及び図4に示した頭部装着型画像表示装置3は左右両方の眼に表示部を備えた両眼タイプであるが、左右いずれか一方にのみ表示部を備えた単眼タイプとして構成することも可能である。
図5には、図1及び図2に示した遮光性のタイプの頭部装着型画像表示装置1の機能構成を模式的に示している。上述したように、頭部装着型画像表示装置1は、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像をそれぞれ表示する機能を備えている。以下、各部について説明する。
制御部501は、ROM(Read Only Memory)501AやRAM(Random Access Memory)501Bを備えている。ROM501A内には、制御部501で実行するプログラム・コードや各種データを格納している。制御部501は、RAM501Bへロードしたプログラムを実行することで、当該装置1を装着したユーザー側から見える内側画像や外側から見える外側画像の表示制御を始め、当該装置1全体の動作を統括的にコントロールする。ROM501Aに格納するデータとして、当該装置1を識別する装置識別情報やその他の装置固有の情報を挙げることができる。
入力操作部502は、キーやボタン、スイッチなど、ユーザーが入力操作を行う1以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部501に出力する。また、入力操作部502は、リモコン受信部503で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部501に出力する。さらに、入力操作部502は、筋電センサー、眼電センサーなどの状態センサー(後述)から得られる目の運動や瞬目動作を通じて、ユーザーの指示を受け付けるようにしてもよい。
本実施形態では、制御部501は、入力操作部502を介したユーザーからの指示に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部501は、ユーザーからの指示に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報をコントロールする。また、制御部501は、内側画像として表示するコンテンツに連動又は連携した外側画像を、ユーザーからの指示に応じてコントロールする。
環境情報取得部504は、頭部装着型画像表示装置1の外部の環境に関する情報を取得して、制御部501に出力する。環境情報取得部504は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像、外側にいる人数などを取得する。また、環境情報取得部504は、これらの環境情報を取得するために、光量センサーや、マイクロフォン、GPS(Global Positioning System)センサー、温度センサー、湿度センサー、時計、イメージ・センサー(カメラ)、放射線センサーなどの各種の環境センサー(いずれも図5には図示しない)を備えていてもよい。これらの環境センサーから取得された環境情報は、例えばRAM501B内に一時的に保持される。
本実施形態では、制御部501は、環境情報取得部504が取得した環境情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部501は、環境情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報をコントロールする。また、制御部501は、内側画像として表示するコンテンツに連動又は連携した外側画像を、環境情報に応じてコントロールする。
状態情報取得部505は、頭部装着型画像表示装置1を装着する観察者の状態に関する情報を取得して、制御部501に出力する。状態情報取得部505は、状態情報として、例えば、ユーザーの作業状態(ユーザーの装着の有無)や、ユーザーの行動状態(装着中のユーザーの頭部の姿勢、歩行などの移動、瞼の開閉状態)、精神状態(内側画像を観察中に没頭若しくは集中しているか(あるいは、ながら見、流し見をしているか)などの興奮度、覚醒度、感情や情動など)、さらには生理状態を取得する。また、状態情報取得部505は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電センサー、眼電センサー、脳波センサーなどの各種の状態センサー(いずれも図5には図示しない)を備えていてもよい。これらの状態センサーから取得された状態情報は、例えばRAM501B内に一時的に保持される。
本実施形態では、制御部501は、状態情報取得部505が取得したユーザーの現在の状態情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部501は、ユーザーの状態情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報(眼の開き具合や視線の方向を表現するアイコンや文字情報の表示)をコントロールする。また、制御部501は、内側画像として表示するコンテンツに連動又は連携した外側画像を、ユーザーの状態情報に応じてコントロールする。
通信部506は、他の装置との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部506は、内側画像として表示出力するための画像信号を、画像ソースとなる外部機器(図示しない)から受信する。勿論、通信部506は内側画像とは異なる外側画像も、外部機器から受信することができる。
通信部506で受信し復調及び復号処理された、内側画像若しくは外側画像、あるいはその他の受信データは制御部501に供給される。また、制御部501は、外部機器への送信データを通信部506から送出する。
通信部506の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部506を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、MHL(Mobile High−definition Link)やUSB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)、Bluetooth(登録商標)通信、赤外線通信などを挙げることができる。
コンテンツ情報取得部507は、通信部506を介して入力される画像コンテンツの情報を取得する。図示の例では、コンテンツ情報取得部507は、制御部501内で実行するプログラムによって実現されるが、制御部501外の専用ハードウェアとしてコンテンツ情報取得部507を構成することもできる。コンテンツ情報取得部507は、例えば、画像コンテンツに付随するメタデータ(コンテンツのタイトル、ジャンル、詳細情報、関連サイトのURL(Uniform Resouorce Locator)など)や、画像コンテンツの総再生時間、現在の再生位置若しくは残り再生時間、ペアレンタル・コントロールやその他の使用制限の有無などのコンテンツ情報を取得する。また、コンテンツ情報取得部507は、符号化され画像コンテンツ本体内に埋め込まれた文字列などのデータを復号するデコーダーを備えている。
本実施形態では、制御部501は、コンテンツ情報取得部507が取得したコンテンツ情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部501は、コンテンツ情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報(コンテンツの詳細情報や関連情報を提供するURLなどの文字列、又は、文字列を符号化したQRコード(登録商標)など)をコントロールする。また、制御部501は、内側画像として表示するコンテンツに連動又は連携した外側画像を、コンテンツ情報に応じてコントロールする。
画像処理部508は、制御部501から出力される画像信号に基づいて内側画像を生成する内側画像生成部508−1と、制御部501から出力される画像信号に基づいて外側画像を生成する外側画像生成部508−2を含み、生成された内側画像並びに外側画像に対して画質補正などの信号処理をさらに行なうとともに、それぞれ内側画像用表示パネル511、外側画像用表示パネル512の画面に合わせた解像度に変換する。但し、内側画像と同じ画像を外側に表示する場合には、外側画像生成部508-2は省略される。そして、表示駆動部509、510はそれぞれ、内側画像用表示パネル511、外側画像用表示パネル512の画素を行毎に順次選択し、線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
内側画像用表示パネル511、外側画像用表示パネル512は、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される(内側画像用表示パネル511と外側画像用表示パネル512が同じ素材である必要はない)。内側画像用表示パネル511は、頭部装着型画像表示装置1の内側(すなわち、ユーザーの顔と対峙する装置1本体の側面)に配設される。
内側画像用表示パネル511の表示面の前方には虚像光学部513が配設されている。虚像光学部513は、内側画像用表示パネル511の表示画像を拡大投影して、ユーザーには拡大虚像として観察される。一方、外側画像用表示パネル512は、頭部装着型画像表示装置1の外側(すなわち、内側とは反対側の装置1本体の側面)に配設される。
また、オプションとして、外側画像用表示パネル512の表示面の前方に、投影光学部514を配設してもよい。投影光学部514は、外側画像用表示パネル512に表示された外側画像の実像を、頭部装着型画像表示装置1に近隣の壁面(図示しない)などに拡大投影する。すなわち、頭部装着型画像表示装置1を小型プロジェクターとしても活用することができる。図34には、頭部装着型画像表示装置1の表示画像を壁面に投影している様子を示している(但し、内側画像と外側画像が同一の場合)。
なお、図5中では、図面の簡素化のため、内側画像用表示パネル511及び虚像光学部513を1つしか描いていないが、頭部装着型画像表示装置1が両眼式の場合には、左右の眼毎に内側画像用表示パネル511及び虚像光学部513が配設される。
また、図6には、図3及び図4に示した透過性のタイプの頭部装着型画像表示装置3の機能構成を模式的に示している。上述したように、頭部装着型画像表示装置3は、当該装置3を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像をそれぞれ表示する機能を備えている。図5に示した頭部装着型画像表示装置1と同様の機能要素については同一の参照番号を付している。以下では、主に頭部装着型画像表示装置1とは異なる機能要素について説明する。
画像多重化部609は、内側画像生成部508−1並びに外側画像生成部508−2でそれぞれ生成された内側画像と外側画像のフレームを、単一の表示パネル611で表示出力するよう、多重化処理する。多重化の方法は任意であるが、以下では時分割多重処理するものとして説明する。例えば、図7に示すように、画像多重化部609は、時間軸上で連続する内側画像フレームN枚につき、外側画像フレームを1枚挿入する。この場合の、内側画像と外側画像の輝度比(若しくは、画像の鮮明度)は、単純にはN:1となる(但し、内側画像と外側画像それぞれの出力時の輝度が同一と仮定する)。ここで、Nは1以上の正の整数である(図示の例では、N=4)。Nの値が大きくなると、最終的に表示出力される外側画像はより明るく鮮明な画像になる。但し、内側画像と同じ画像を外側に表示する場合には、画像多重化部609における多重化処理は省略される。
透過性すなわちシースルー・タイプの頭部装着型画像表示装置3は、画像の表示系統として、内側画像及び外側画像を多重して表示する表示パネル611と、表示パネル611で表示された表示光を入射して、内側画像と外側画像に分離して、観察者の瞳に内側画像の拡大虚像を導くとともに、外側画像の実像を外部へ導く虚像・実像光学部612を備えている。
表示パネル611は、例えば、有機EL(Electro Luminescence)ディスプレイ、無機ELディスプレイや、液晶ディスプレイ(LCD:Liquid Crystal Display)などのマイクロ・ディスプレイからなる。以下では、直線偏光からなる画像光を出力する液晶ディスプレイを表示パネル611に適用することを前提として説明する。また、表示駆動部610は、表示パネル611の画素を行毎に順次選択し、線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
虚像・実像光学部612は、多重化された内側画像と外側画像を例えば光学作用により分離し、内側画像を拡大した虚像をユーザーの瞳に結像するとともに、外側画像の実像を外側に配設されたスクリーン(図4を参照のこと)上に結像する。
なお、オプションとして、外側画像の実像が投射されるスクリーンの前方に、さらに投影光学部514を配設してもよい。投影光学部514は、外側画像用表示パネル512に表示された外側画像の実像を、頭部装着型画像表示装置1に近隣の壁面(図示しない)などに拡大投影する(同上)。すなわち、頭部装着型画像表示装置3を小型プロジェクターとしても活用することができる(図34を参照のこと)。
B.透過性の頭部装着型画像表示装置における光学系の構成
図8には、虚像・実像光学部612の構成例を示している。図示の虚像・実像光学部612は、コリメート光学部801と、2分の1波長板(Half Wave Plate:HWP)802と、導光部(wave guide)803と、導光部803の内部に配設された偏光ビーム・スプリッター(Poparization Beam Splitter:PBS)804及び4分の1波長板(Quarter Wave Plate)805と、導光部803の端面に形成された凹面鏡(concave mirror)806と、外側画像を投影するためのスクリーン807を備えている。
偏光ビーム・スプリッター804は、表示パネル611からの入射光の光軸に対し45度だけ傾けて配置される。また、4分の1波長板805は、表示パネル611からの入射光の光軸と直交するように配置される。また、凹面鏡806は、表示パネル611からの表示光の入射側とは反対側となる導光部803の端面に形成されている。
コリメート光学部801は、例えば凸レンズで構成され、表示パネル611の各画素から射出された光束を入射して平行光束群とするよう光学系であり、凸レンズの焦点距離の所定位置に表示パネル611が配置される。コリメート光学部801から射出された平行光束群は、それぞれ2分の1波長板802を介して導光部803に入射される。表示パネル611から射出した直後の表示光はS偏光成分のみからなる(図9を参照のこと)。
表示パネル611と偏光ビーム・スプリッター804の間には、2分の1波長板802が配設されている。図8に示す例では、表示パネル611を出射した表示光は、コリメート光学部801で平行光束群となった後に、2分の1波長板802に入射する。ここで用いられる2分の1波長板802は、その光軸方向をダイナミックに偏光可能である。光軸方向をダイナミックに偏光可能な2分の1波長板802の一例として、強誘電液晶で構成された光ダブラーを挙げることができる(例えば、特許文献5を参照のこと)。
ここで、2分の1波長板802の光軸方位を0度に設定すると、2分の1波長板802からは、S偏光からなる表示光がそのまま通過する(図10を参照のこと)。また、2分の1波長板802の光軸方位を45度だけ傾けると、2分の1波長板802からはP偏光に変換された表示光が通過する(図11を参照のこと)。したがって、2分の1波長板802の光軸の角度変更によって、2分の1波長板802を通過する表示光の偏光をS偏光とP偏光に交互に切り換えることができる。また、2分の1波長板802の光軸の角度設定の周期を切り替えることによって、2分の1波長板802を通過するS偏光とP偏光のデューティーを任意に調整することができる。
導光部803は、ほぼ透明な素材からなる。2分の1波長板802を通過した後のS偏光又はP偏光からなる平行光束群は、導光部803の一方の端面から入射すると、導光部803の内部で全反射して、直進方向に伝搬する。
偏光ビーム・スプリッター804は、平行光束群の光路上に、表示パネル611からの入射光の光軸に対し45度だけ傾けて配置されている。偏光ビーム・スプリッター804は、P偏光を透過し、S偏光を反射する性質を持つ(周知)。2分の1波長板802の光軸の角度変更によって平行光束群がS偏光とP偏光に交互に切り換わることは、既に述べた通りである。
2分の1波長板802の光軸方位を0度に設定し、その通過光がS偏光となるときには、偏光ビーム・スプリッター804の表側で反射する(図8中の反射光A)。この反射光Aは、導光部803の内側の側面から出射した後、表示パネル611の表示画像の拡大虚像として観察者の瞳で観察される。したがって、表示パネル611で内側画像を表示するタイミングでは、2分の1波長板802の光軸方位を0度に設定すればよい。
一方、2分の1波長板802の光軸方位を45度だけ傾け、その通過光がP偏光のときには、偏光ビーム・スプリッター804を透過する。この透過光は、さらに後方の4分の1波長板805で一旦円偏光に変換される(図12を参照のこと)。この円偏光は、導光部803の他方の端面に形成された凹面鏡806で反射及び集光された後、再び4分の1波長板805を通過することで、S偏光に変換される(図13を参照のこと)。このS偏光は、偏光ビーム・スプリッター804の裏側で反射されると(図8中の反射光B)、観察者の瞳とは反対側すなわち外側に進行する。
図8に示すように、観察者の瞳とは反対側すなわち外側には、散乱体からなるスクリーン807が配設されている。偏光ビーム・スプリッター804の裏側で反射されたS偏光Bは、導光部803の外側の側面から出射した後、スクリーン807上に投射され、表示パネル611の表示画像の実像を投影表示することになる。したがって、表示パネル611で外側画像を表示するタイミングでは、2分の1波長板802の光軸方位を45度だけ傾くように設定すればよい。
スクリーン807に投射される外側画像の高輝度を確保するには、偏光ビーム・スプリッター804の反射率を上げ、好ましくは反射率を90%以上とする。併せて、スクリーン807のサイズをあまり大きくせず、好ましくは2インチ以下とする。さらには、スクリーン807のゲインを高くし、好ましくはゲイン2以上とする(完全拡散時のゲインを1とし、ゲイン1のときに比べ正面輝度が2倍以上となるような拡散特性とする)。
スクリーン807として、高分子分散型液晶(Polymer Dispersed Liquid Crystal:PDLC)を用いることができる。PDLCは、印加電圧に応じて、ポリマー・ネットワークの作用により液晶分子の配列が不規則な状態を誘起して光を散乱させることができる。したがって、表示パネル611で外側画像を表示するとともに、その表示光を2分の1波長板802でP偏光に変換して、その実像を投影表示するときのみ、スクリーン807の散乱作用を生じさせればよい。一方、表示パネル611で内側画像を表示するとともに、2分の1波長板802で表示光をS偏光のまま通過させ、表示パネル611の拡大虚像として観察者の瞳に投影するときには、スクリーン807の散乱作用を抑制することで、頭部装着型画像表示装置3の透過性すなわちシースルーとしての特性を活かすことができる。
あるいは、スクリーン807として、ホログラム・スクリーンを用いることができる。ホログラム・スクリーンは、樹脂フィルム上に干渉縞を積層した構造体からなり、特定波長の光を回折し、その他の波長の光に対しては透明となる性質を持つ。したがって、表示パネル611で外側画像を表示するとともに、その表示光を2分の1波長板802でP偏光に変換して、その実像を投影表示するときのみ、表示パネル611の表示画像を特定波長で出力すればよい。一方、表示パネル611で内側画像を表示するとともに、2分の1波長板802で表示光をS偏光のまま通過させ、表示パネル611の拡大虚像として観察者の瞳に投影するときには、表示パネル611の表示画像を特定波長以外で出力することで、スクリーン807の透明性を保ち、頭部装着型画像表示装置3の透過性すなわちシースルーとしての特性を活かすことができる。
なお、オプションとして、スクリーン807の前方に、さらに投影光学部514を配設してもよい。投影光学部514は、表示パネル611に表示された外側画像の実像を、頭部装着型画像表示装置3に近隣の壁面などに拡大投影する(図34を参照のこと)。すなわち、頭部装着型画像表示装置3を小型プロジェクターとしても活用することができる(前述)。
図8に示した構成例によれば、2分の1波長板802の光軸方位を0度に設定したときには、表示パネル611の表示画像の拡大虚像が観察者に観察される。一方、2分の1波長板802の光軸方位を45度だけ傾けたときには、表示パネル611の表示画像の実像がスクリーン807上に投射される。したがって、2分の1波長板802の光軸の角度変更に同期して、表示パネル611で内側画像と外側画像のフレームを交互に切り換えることで、内側画像を観察者の瞳への拡大虚像として出力するとともに、外側画像をスクリーン807への実像として出力することができる。すなわち、2分の1波長板802の光軸方位を0度に設定する期間に同期して、表示パネル611で内側画像を表示するとともに、2分の1波長板802の光軸方位を45度だけ傾ける期間に同期して、表示パネル611で外側画像を表示するようにすればよい。
図14には、2分の1波長板802の光軸方位の動作例を示している。同図では、2分の1波長板802の光軸方位を0度に設定する区間と、45度に設定する区間が交互に切り替わる。
2分の1波長板802の光軸方位を0度に設定する区間では、表示パネル611を出射したS偏光が偏光ビーム・スプリッター802に入射し、表示パネル611の表示画像の拡大虚像が観察者に観察される虚像表示区間となる。したがって、この虚像表示区間に同期して、表示パネル611で内側画像を表示すればよい。
2分の1波長板802の光軸方位を45度に設定する区間では、表示パネル611を出射したP偏光が偏光ビーム・スプリッター802に入射し、表示パネル611の表示画像の実像がスクリーン807に投射される実像表示区間となる。したがって、この実像表示区間に同期して、表示パネル611で外側画像を表示すればよい。
また、表示パネル611は、2分の1波長板802の光軸方位を0度に設定する虚像表示区間内で内側画像を表示すべきであるが、区間全体にわたり画像を点灯させる必要はない。図15には、2分の1波長板802の光軸方位の動作に同期した表示パネル611の表示動作例を示している。図示の例では、表示パネル611は、虚像表示区間の一部でのみ虚像用すなわち内側画像を点灯させている。虚像表示区間内での画像の点灯時間の割合により、観察者が観察する拡大虚像の輝度を調整することができる。他方、外側画像は、スクリーン807に投射される投影画像であり、輝度が比較的低いので、実像表示区間全体にわたり表示部611が画像を点灯することが好ましいと思料される。
ここまでは、図10及び図11に示したように、2分の1波長板802の光軸方位を0度と45度の2段階で切り替えることで、内側画像又は外側画像を時分割で交互に表示させる例について説明してきた。これ対し、2分の1波長板802の光軸方位を0度と45度の中間の角度θに設定することで(図16を参照のこと)、その出射光のS偏光成分とP偏光成分の割合を調整することができる。2分の1波長板802の光軸方位を替えるには、2分の1波長板802自体を物理的に回転させればよい。
2分の1波長板802を通過した後のS偏光成分は(図17を参照のこと)、偏光ビーム・スプリッター804の表側で反射することから(図8中の反射光A)、表示パネル611の表示画像の拡大虚像として観察者に観察される。また、2分の1波長板802を通過した後のP偏光成分は(図18を参照のこと)、偏光ビーム・スプリッター804を透過し、後方の4分の1波長板805で一旦円偏光に変換された後(図19を参照のこと)、凹面鏡806で反射し再び4分の1波長板805を通過することで、S偏光に変換されると(図20を参照のこと)、偏光ビーム・スプリッター804の裏側で反射することから(図8中の反射光B)、外側画像としてスクリーン807に投影される。
例えば、2分の1波長板802の光軸方位をθに設定したときには、S偏光成分とP偏光成分の比率、言い換えれば、内側画像と外側画像の輝度比はcos2θ:sin2θとなる。内側画像と同じ外側画像を表示するときには、2分の1波長板802の光軸方位θを変更することで、外側画像の輝度を調整することができる。
図8に示した虚像・実像光学部612の構成例では、多重された内側画像と外側画像を分離するので、内側画像とは異なる外側画像を提示することができる。これに対し、内側画像と共通の外側画像を提示するのであれば、虚像・実像光学部612の構成を簡素化することができる。
図21には、虚像・実像光学部612の他の構成例を示している。図示の虚像・実像光学部612は、導光部2101と、導光部の内部に配設されたハーフ・ミラー2102と、導光部2101の端面に形成された凹面鏡2103と、内側画像を結像するコリメート光学部2104と、外側画像を投影するためのスクリーン2105を備えている。
表示パネル611を出射した表示光は、導光部2101の一方の端面から入射する。ハーフ・ミラー2102は、表示パネル611からの入射光の光軸に対し45度だけ傾けて配置されており、入射した表示光の一部を反射するとともに、一部を透過する。反射光と透過光の強度はほぼ等しいが、例えば反射光の方の強度が大きくなるように調整してもよい。
ハーフ・ミラー2102の表側で反射した表示光は(図21中の反射光A)、導光部2101の内側の側面から出射した後、コリメート光学部2104で集光され、表示パネル611の表示画像の拡大虚像として観察者の瞳で観察される。
一方・ハーフ・ミラー2102を通過した光は、導光部2101の他方の端面に形成された凹面鏡2103で反射及び集光された後、ハーフ・ミラー2102の裏側で反射される(図21中の反射光B)。この反射光Bは、導光部2101の外側の側面から出射した後、スクリーン2105上に投射され、表示パネル611の表示画像の実像を投影表示することになる。
スクリーン2105に投射される外側画像の高輝度を確保するには、ハーフ・ミラー2102の反射率を上げ、好ましくは反射率を90%以上とする。併せて、スクリーン2105のサイズをあまり大きくせず、好ましくは2インチ以下とする。さらには、スクリーン2105のゲインを高くし、好ましくはゲイン2以上とする(完全拡散時のゲインを1とし、ゲイン1のときに比べ正面輝度が2倍以上となるような拡散特性とする)。
また、図22には、虚像・実像光学部612のさらに他の構成例を示している。図示の虚像・実像光学部612は、導光部2201と、導光部2201の内部に配設されたハーフ・ミラー2202と、導光部2201の端面に形成された平面鏡2203と、内側画像を結像するコリメート光学部2204と、外側画像を投影するための投影光学部2205及びスクリーン2206を備えている。
表示パネル611を出射した表示光は、導光部2201の一方の端面から入射する。ハーフ・ミラー2202は、表示パネル611からの入射光の光軸に対し45度だけ傾けて配置されており、入射した表示光の一部を反射するとともに、一部を透過する(同上)。反射光と透過光の強度はほぼ等しいが、例えば反射光の方の強度が大きくなるように調整してもよい。
ハーフ・ミラー2202の表側で反射した表示光は(図22中の反射光A)、導光部2201の内側の側面から出射した後、コリメート光学部2204で集光され、表示パネル611の表示画像の拡大虚像として観察者の瞳で観察される。
一方・ハーフ・ミラー2202を通過した光は、導光部2201の他方の端面に形成された平面鏡2203で全反射された後、さらにハーフ・ミラー2202の裏側で反射して、導光部2201の外側の側面から出射する(図22中の反射光B)。この反射光Bは、投影光学部2205によりスクリーン2206上に拡大投射され、表示画像の投影像を表示することになる。
スクリーン2206に投射される外側画像の高輝度を確保するには、ハーフ・ミラー2202の反射率を上げ、併せて、スクリーン2206のサイズをあまり大きくせず、且つ、スクリーン2206のゲインを高くすることが好ましい(同上)。
C.頭部装着型画像表示装置における外側への画像表示
頭部装着型画像表示装置は、個人の究極のディスプレイの1つということができる。しかしながら、従来の頭部装着型画像表示装置は、外部に対して情報を伝達する手段を備えていないので、周囲の者は、装着したユーザーから何ら情報を受け取ることができない。また、ユーザー本人も、一旦装置を外し、コンテンツの視聴を中断しないと、外部に情報を伝えることはできない。
これに対し、本実施形態に係る頭部装着型画像表示装置1並びに3は、当該装置を装着したユーザー側から見える内側画像の他に、当該装置の外側から見える外側画像を表示する機能も備えている。したがって、周囲の者は、外側画像を通じて、ユーザー本人の状態や、本人が何をしているか、何を視聴しているのか、視聴に集中若しくは没入している度合いを知ることができる。また、ユーザー本人は、装置を装着したままでも(すなわち、コンテンツの視聴を継続しながら)、外側画像を通じて、自分の状態や、視聴しているコンテンツに関する情報を伝えることができる。
C−1.ユーザー操作に応じた画像制御
上述したように、制御部501は、入力操作部502を介したユーザーからの指示に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報をコントロールする。また、制御部501は、内側画像として表示するコンテンツに連動又は連携した外側画像を、ユーザーからの指示に応じてコントロールする。ユーザーからの指示に応じた外側画像及び内側映像の表示制御方法の一例を、以下の表1にまとめておく。
図23には、入力操作部502を介したユーザーからの指示に応じた頭部装着型画像表示装置1又は3の動作例を状態遷移図の形式で例示している。
初期状態では、頭部装着型画像表示装置1又は3は、内側画像オン、外側画像オフとする。ここで、入力操作部502を通じて外側画像の表示が指示されると、外側画像をオンにして、両側画像オン状態に移行する。また、両側画像オン状態で外側画像の表示オフが指示されると、外側画像をオフにして、初期状態に復帰する。
なお、図23では図示を省略したが、両側画像オン状態で内側画像の表示オフが指示されると、内側画像をオフにして、外側画像のみオン状態になる。
両側画像オン状態では、さらに入力操作部502を介したユーザーからの指示に応じて、外側画像や内側画像として表示する画像の切り替え制御や、外側画像並びに内側画像の色調整、外側画像並びに内側画像の輝度コントロール、外側画像の表示サイズ切り換えや、外側画像の表示エリアの移動などを行なう(全面表示、左右いずれか一方の表示、画面の一部を用いた表示など)。
また、初期状態で、入力操作部502を通じて内側画像の表示オフが指示されると、内側画像をオフにして、両側画像オフ状態に移行する。また、両側画像オフ状態で内側画像の表示オンが指示されると、内側画像をオンにして、初期状態に復帰する。
外側画像がオンとなる両側画像オン状態並びに外側画像のみオン状態では、外側画像として、内側画像と同じ画像、あるいは内側画像とは異なる外側専用の画像を表示する(例えば、ユーザーが現在視聴している内側画像を周囲の者に対し隠蔽若しくはカムフラージュしたいときには、すり替えた画像コンテンツを外側画像として表示する)。また、外側画像として、環境センサー(前述)が取得した周囲環境の情報、状態センサー(前述)が取得したユーザーの状態などを表示することができる。さらに、入力操作部502を介したユーザーからの指示(筋電センサーや眼電センサーで検出される瞬目動作や眼球の動きを含む)に応じて、外側画像として表示する情報を、(例えばスライドショーのように)切り替えるようにしてもよい。また、入力操作部502を介したユーザーからの指示に応じて、外側画像を内側にも表示して、装着中のユーザーが外側画像を目視で確認できるようにしてもよい。
外側画像がオンとなる両側画像オン状態並びに外側画像のみオン状態では、外側画像を常時すなわち連続表示する必要は必ずしもなく、間欠表示や、所定時間になると表示するタイマー表示を行なうようにしてもよい。制御部501は、入力操作部502を介したユーザーからの指示に応じて、連続表示、間欠表示、タイマー表示のいずれかを行なわせるようにしてもよい。
内側画像がオンとなっている初期状態又は両側画像オン状態では、入力操作の禁止を指示する入力操作に応じて、内側画像に対するユーザー入力操作を禁止する禁止状態に移行し、さらに禁止解除を指示する入力操作に応じて、内側画像に対するユーザー入力操作の禁止を解除する。また、外側画像がオンになっている両眼画像オン状態では、入力操作の禁止を指示する入力操作に応じて、外側画像に対するユーザー入力操作を禁止する禁止状態に移行し、さらに禁止解除を指示する入力操作に応じて、外側画像に対するユーザー入力操作の禁止を解除する。
C−2.周囲環境に応じた画像制御
制御部501は、環境情報取得部504が取得した環境情報に応じて、当該装置1又は3を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。環境情報に応じた外側画像及び内側映像の表示制御方法の一例を、以下の表2にまとめておく。
図24には、環境情報に応じた頭部装着型画像表示装置1又は3の動作例をフローチャートの形式で例示している。図示の処理動作は、例えば定期的に起動する。
まず、環境情報取得部504が、各種環境センサー(前述)の出力情報を環境情報として取得する(ステップS2401)。そして、制御部501は、取得した環境情報を解析して(ステップS2402)、周囲環境を特定し、内側画像又は外側画像の切り替えを行なうべき環境の変化が発生したかどうかをチェックする(ステップS2403)。
そして、内側画像又は外側画像の切り替えを行なうべき環境の変化が発生したときには(ステップS2403のYes)、制御部501は、現在の環境に応じた外側画像の表示を制御する(ステップS2404)。
例えば、環境情報取得部504から、環境光の明暗変化が検出されたときや、位置情報やカメラの撮影画像に基づいて屋外から屋内へ(あるいは屋内から屋外へ)移動したことが検出されたとき、あるいは時計が計時する現在時刻に応じて日中又は日没後であることを判別して、制御部501は、現在の周囲環境に適合するように、外側画像の輝度レベルを調整する。
また、制御部501は、時計で計時される現在時刻に応じて、外側画像の間欠表示やタイマー表示を行なうようにしてもよい。
また、制御部501は、周囲カメラの撮影画像の認識結果に基づいて、頭部装着型画像表示装置1又は3の周囲に人物がいるかどうかを判定し、人物が現れたことに応答して、外側画像の表示を開始する。さらに、制御部501は、出現した人物がいる場所(方位)や距離に応じて、外側画像の表示エリアや表示サイズを制御する。また、制御部501は、周囲にいる人数に応じて外側画像の表示エリアや表示サイズを制御する。人数が多いときには、画像の機密レベルが低下することが想定されることから、制御部501は、周囲にいる人数に応じて外部画像の輝度レベルを制御するようにしてもよい。
C−3.ユーザー状態に応じた画像制御
制御部501は、状態情報取得部505が取得したユーザーの現在の状態情報に応じて、当該装置1又は3を装着したユーザー側から見える内側画像と、当該装置1又は3の外側から見える外側画像の表示動作をコントロールする。状態情報に応じた外側画像及び内側映像の表示制御方法の一例を、以下の表3にまとめておく。
図25には、ユーザーの状態情報に応じた頭部装着型画像表示装置1又は3の動作例をフローチャートの形式で例示している。図示の処理動作は、例えば定期的に起動する。
まず、状態情報取得部505が、各種状態センサー(前述)の出力情報を状態情報として取得する(ステップS2501)。そして、制御部501は、取得した状態情報を解析して(ステップS2502)、ユーザーの現在の作業状態、行動状態、精神状態、並びに生理状態を特定して、周囲の者に通知すべきユーザー状態が発生したかどうかをチェックする(ステップS2503)。
そして、周囲の者に通知すべきユーザー状態が発生したときには(ステップS2503のYes)、制御部501は、そのユーザー状態に応じた外側画像の表示を制御する(ステップS2504)。
例えば、制御部501は、筋電センサーや眼電センサー、カメラなどの状態センサーの出力情報に基づいて、瞼の状態や視線の方向を特定すると、瞼を閉じている状態(目の開き具合)や、視線の方向(瞳の向き)を表現したアイコン(例えば、図26、図27を参照のこと)を外側画像に表示する。また、図26や図27に示したようなアイコンを、内側画像と同じとなる外側画像上に重畳して表示してもよい。
また、制御部501は、状態センサーの出力情報に基づいて、ユーザーの精神状態(内側画像を観察中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など)を特定すると、その精神状態を表現したアイコン(図示しない)を外側画像に表示する。さらに、精神状態に基づいて、ユーザーに話しかけてもよいか、内側画像の視聴を中断してよいか、邪魔してもよいかといった状況を判定し、判定した状況表現したアイコン(図示しない)、あるいは「只今没入中」、「話し掛けないでください!」といったメッセージ文を外側画像に表示する。
例えば、筋電センサーや眼電センサーなどの状態センサーの出力情報に基づいて、瞬目動作を検出できることが知られている。制御部501は、時間当たり瞬目回数並びに瞬目時間に応じて、ユーザーの精神状態を判定することができる。図28には、眼電方式により検出した時間当たり瞬目回数並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示している。
また、制御部501は、瞬目間隔並びに瞬目時間に応じて、ユーザーの精神状態を判定することができる。図29には、眼電方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示している。
ここで、眼電方式により検出した瞬目時間をtb、瞬目間隔をtiとする。また、瞬目時間閾値をThb、瞬目間隔閾値をThi、瞬目間隔最大閾値をMiとして、サンプリング数nにて、平均瞬目時間A(tb)、平均瞬目間隔A(ti)をそれぞれ下式(1)、(2)のように計算する。
そして、上式(1)、(2)に従って算出した平均瞬目時間A(tb)、平均瞬目間隔A(ti)に基づいて、以下に示す検出優先順位順で、状態を推定する。
また、カメラの撮影画像に基づいて瞬目動作を検出する撮影方式も知られている。図30には、撮影方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示している。撮影方式では、上式(1)、(2)に従って算出した平均瞬目時間A(tb)、平均瞬目間隔A(ti)に基づいて、以下に示す検出優先順位順で、状態を推定する。
瞬目動作では、閉眼と睡眠を区別し難い場合もある。閉眼と睡眠は、ともに画面を見ていない状態であるが、ユーザーが表示コンテンツを認識しているか否かの違いがある。閉眼時の脳波を眼電電極から取得することができる。閉眼安静時には脳波からα波成分(周波数10Hz程度、振幅数十μV)を観測することができるが、睡眠時には脳波からα波が消失する。
以上の推定結果に基づいて、ユーザーに話しかけてよい状態か否かを以下のように判断することができる。
また、制御部501は、状態センサーの出力情報に基づいて、ユーザーの行動状態を特定すると、その行動状態に適合するように、外側画像並びに内側画像を表示する。
ジャイロ・センサーや加速度センサー、カメラなどの状態センサーの出力情報に基づいて、ユーザーの頭部(若しくはユーザーが装着している頭部装着型画像表示装置1又は3)の姿勢を検出することができる。
頭部が横(ロール方向)に傾いたと検出されたときには、制御部501は、外側画像内に表示されている文字情報3101を水平に保つように制御する(図31を参照のこと)。
頭が(ヨー方向)に回転したと検出されたときには、制御部501は、実空間にマッピングされた内側画像又は外側画像の位置を保つようにする。例えば、図32中の参照番号3201に示す画像が、内側画像又は外側画像の表示用に用意され、現在の頭の回転位置では参照番号3202で示すエリアが表示されているとする。このような場合、頭がヨー方向(左向き)に回転すると、参照番号3203で示す表示エリアに移動する。また、頭がヨー方向(右向き)に回転すると、参照番号3204で示す表示エリアに移動する。
また、ジャイロ・センサーや加速度センサー、カメラなどの状態センサーの出力情報に基づいて、ユーザーが静止(臥位、座位、立位を含む)、歩行、走行、移動体での移動などの行動状態を検出することができる。制御部501は、外側画像の表示を、このような行動状態に適合させるように制御する。
C−4.表示コンテンツに応じた画像制御
制御部501は、内側画像として表示されるコンテンツの情報に応じて、当該装置1又は3を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。コンテンツ情報に応じた外側画像及び内側映像の表示制御方法の一例を、以下の表5にまとめておく。
図33には、コンテンツ情報に応じた頭部装着型画像表示装置1又は3の動作例をフローチャートの形式で例示している。図示の処理動作は、例えば定期的に起動する。
まず、コンテンツ情報取得部507がコンテンツ情報を取得すると(ステップS3301)、制御部501は、取得した状態情報を解析する(ステップS3302)。
コンテンツ情報取得部507は、例えば、画像コンテンツに付随するメタデータ(コンテンツのタイトル、ジャンル、詳細情報、関連サイトのURL(Uniform Resouorce Locator)など)や、画像コンテンツの総再生時間、現在の再生位置若しくは残り再生時間、ペアレンタル・コントロールやその他の使用制限の有無などのコンテンツ情報を取得する。
そして、制御部501は、周囲の者に通知すべきコンテンツ情報を取得したかどうかをチェックする(ステップS3103)。
ここで、周囲の者に通知すべきコンテンツ情報を取得できたときには(ステップS3303のYes)、制御部501は、コンテンツ情報取得部507が取得したコンテンツ情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする(ステップS3304)。
例えば、制御部501は、コンテンツ情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報(コンテンツの詳細情報や関連情報を提供するURLなどの文字列、又は、これらの文字列を符号化したQRコード(登録商標)など)をコントロールする。また、制御部501は、内側画像として表示するコンテンツに連動又は連携した外側画像を、コンテンツ情報に応じてコントロールする。
D.本明細書で開示する技術の構成例
本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、前記ユーザー側から見える内側画像を表示する第1の表示部と、前記画像表示装置の外部から見える外側画像を表示する第2の表示部と、前記内側画像と前記外側画像の表示を制御する制御部と、
を具備する画像表示装置。
(2)前記表示部は、前記ユーザー側から見える場所に配設され前記内側画像を表示する第1の表示デバイスと、前記画像表示装置の外側から見える場所に配設され前記外側画像を表示する第2の表示デバイスを備える、上記(1)に記載の画像表示装置。
(3)前記表示部は、前記内側画像及び前記外側画像を表示する単一の表示デバイスと、前記表示デバイスに表示された前記内側画像を前記ユーザー側から見える場所に導くとともに前記表示デバイスに表示された外側画像を前記画像表示装置の外側から見える場所に導く導光部を備える、上記(1)に記載の画像表示装置。
(4)前記外側画像を前記画像表示装置の外側に向けて投影する投影部をさらに備える、上記(1)に記載の画像表示装置。
(5)前記ユーザーが入力操作を行なう入力操作部をさらに備え、前記制御部は、前記ユーザーによる入力操作に応じて、前記内側画像並びに前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(6)前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記内側画像又は前記外側画像の表示オン/オフ、前記内側画像又は前記外側画像の色調整、前記内側画像又は前記外側画像の輝度調整、前記外側画像の表示サイズ切り換え、又は、前記外側画像の表示エリア移動を行なう、上記(5)に記載の画像表示装置。
(7)前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像として、前記内側画像と同じ画像、前記内側画像とは異なる画像、周囲環境の情報、前記ユーザーの現在の状態のうち少なくとも1つを表示させる、上記(5)に記載の画像表示装置。
(8)前記制御部は、前記ユーザーの瞬目動作又は眼球の運動に基づく入力操作に応じて、前記外側画像の表示を切り替える、上記(5)に記載の画像表示装置。
(9)前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像を前記内側画像として表示させる、上記(5)に記載の画像表示装置。
(10)前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像又は前記内側画像に対する操作を禁止し、又は、禁止を解除する、上記(5)に記載の画像表示装置。
(11)前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像の連続表示、間欠表示、又は所定時間毎の表示のいずれかを行なわせる、上記(5)に記載の画像表示装置。
(12)前記画像表示装置の周囲環境に関する情報を取得する環境情報取得部をさらに備え、前記制御部は、前記周囲環境に基づいて、前記内側画像と前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(13)前記制御部は、環境光の明暗変化を検出したことに応答して、前記外側画像の輝度を制御する、上記(12)に記載の画像表示装置。
(14)前記制御部は、現在時刻の経過に応答して、前記外側画像の間欠表示又はタイマー表示を制御する、上記(12)に記載の画像表示装置。
(15)前記制御部は、周囲にいる人数に応じて、前記外側画像の表示オン/オフ、輝度レベル、表示エリア、表示サイズを制御する、上記(12)に記載の画像表示装置。
(16)前記ユーザーの状態に関する情報を取得する状態情報取得部をさらに備え、前記制御部は、前記ユーザーの状態に基づいて、前記内側画像と前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(17)前記制御部は、前記状態情報取得部が取得した前記ユーザーの現在の作業状態、行動状態、精神状態、又は生理状態を、前記外側画像として表示する、上記(16)に記載の画像表示装置。
(18)前記制御部は、前記ユーザーの瞬目動作の情報に基づいて前記ユーザーの精神状態を特定し、前記精神状態に応じて前記外側画像の表示を制御する、上記(16)に記載の画像表示装置。
(19)前記制御部は、前記状態情報取得部が取得した前記ユーザーの現在の行動状態に適合するように前記外側画像の表示を制御する、上記(16)に記載の画像表示装置。
(20)前記制御部は、前記ユーザーの頭部の横の傾きに応じて、前記外側画像内の文字情報を水平に保つように制御する、上記(16)に記載の画像表示装置。
(21)前記制御部は、前記ユーザーの頭部の回転に応じて、前記内側画像又は前記外側画像の位置を保つように制御する、上記(16)に記載の画像表示装置。
(22)前記内側表示部に表示する画像コンテンツに関するコンテンツ情報を取得するコンテンツ情報取得部をさらに備え、前記制御部は、前記コンテンツ情報に応じて、前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(23)ユーザーの頭部又は顔部に装着して用いられる画像表示方法であって、前記ユーザー側から見える内側画像を表示する第1の表示ステップと、前記画像表示装置の外部から見える外側画像を表示する第2の表示ステップと、前記内側画像と前記外側画像の表示を制御する制御ステップと、を有する画像表示方法。
(24)ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラムを記録したコンピューターに読み取り可能な記録媒体であって、前記コンピューター・プログラムは前記コンピューターを、前記ユーザー側から見える内側画像を表示させる第1の表示部、前記画像表示装置の外部から見える外側画像を表示させる第2の表示部、前記内側画像と前記外側画像の表示を制御する制御部、として機能させる、記録媒体。
特開2012−141461号公報 特開2012−42654号公報 特開2000−75815号公報 特開2007−251331号公報 米国特許第6198523号公報
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
頭部装着型の画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、頭部装着型の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、頭部装着型の画像表示装置は、眼鏡型や耳掛け型であってもよいことは勿論である。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
1…頭部装着型画像表示装置(遮光性タイプ)
3…頭部装着型画像表示装置(透過性タイプ)
501…制御部、501A…ROM、501B…RAM
502…入力操作部、503…リモコン受信部
504…環境情報取得部、505…状態情報取得部
506…通信部、507…コンテンツ情報取得部
508…画像処理部
508−1…内側画像生成部、508−2…外側画像生成部
509、510…表示駆動部
511、512…表示パネル
513…虚像光学部、514…投影光学部
609…画像多重化部、610…表示駆動部
611…表示パネル、612…虚像・実像光学部
801…コリメート光学部、802…2分の1波長板
803…導光部、804…偏光ビーム・スプリッター
805…4分の1波長板、806…凹面鏡
807…スクリーン
2101…導光部、2102…ハーフ・ミラー
2103…凹面鏡、2104…コリメート光学部
2105…スクリーン
2201…導光部、2202…ハーフ・ミラー
2203…凹面鏡、2204…コリメート光学部
2205…投影光学部、2206…スクリーン

Claims (14)

  1. ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
    前記ユーザー側から見える内側画像を表示する第1の表示部と、
    前記画像表示装置の外部から見える外側画像を表示する第2の表示部と、
    前記ユーザーの状態に関する情報を取得する状態情報取得部と、
    前記内側画像と前記外側画像の表示を制御する制御部と、
    を具備し、
    前記制御部は、前記ユーザーの状態に基づいて前記外側画像の表示を制御する、
    画像表示装置。
  2. 前記内側画像及び前記外側画像を表示する単一の表示デバイスをさらに備え
    前記第1の表示部は、前記表示デバイスに表示された前記内側画像を前記ユーザー側から見える場所に導く第1の導光部を備え、
    前記第2の表示部は、前記表示デバイスに表示された外側画像を前記画像表示装置の外側から見える場所に導く第2の導光部を備える、
    請求項1に記載の画像表示装置。
  3. 前記ユーザーが入力操作を行なう入力操作部をさらに備え、
    前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記内側画像又は前記外側画像の表示オン/オフ、前記内側画像又は前記外側画像の色調整、前記内側画像又は前記外側画像の輝度調整、前記外側画像の表示サイズ切り換え、又は、前記外側画像の表示エリア移動を行なう、
    請求項1に記載の画像表示装置。
  4. 前記制御部は、前記ユーザーの前記入力操作部に対する入力操作に応じて、前記外側画像として、前記内側画像と同じ画像、前記内側画像とは異なる画像、周囲環境の情報、前記ユーザーの現在の状態のうち少なくとも1つを表示させ、又は、前記外側画像を前記内側画像として表示させる、
    請求項に記載の画像表示装置。
  5. 前記制御部は、前記ユーザーの瞬目動作又は眼球の運動に基づく入力操作に応じて、前記外側画像の表示を切り替える、
    請求項に記載の画像表示装置。
  6. 前記画像表示装置の周囲環境に関する情報を取得する環境情報取得部をさらに備え、
    前記制御部は、前記周囲環境に基づいて、前記内側画像と前記外側画像の表示を制御する、
    請求項に記載の画像表示装置。
  7. 前記制御部は、前記状態情報取得部が取得した前記ユーザーの現在の作業状態、行動状態、精神状態、又は生理状態を、前記外側画像として表示する、
    請求項に記載の画像表示装置。
  8. 前記制御部は、前記ユーザーの瞬目動作の情報に基づいて前記ユーザーの精神状態を特定し、前記精神状態に応じて前記外側画像の表示を制御する、
    請求項に記載の画像表示装置。
  9. 前記制御部は、前記ユーザーの頭部の横の傾きに応じて、前記外側画像内の文字情報を水平に保つように制御する、
    請求項1に記載の画像表示装置。
  10. 前記制御部は、前記ユーザーの頭部の回転に応じて、前記内側画像又は前記外側画像の位置を保つように制御する、
    請求項に記載の画像表示装置。
  11. 前記第1の表示部に表示する画像コンテンツに関するコンテンツ情報を取得するコンテンツ情報取得部をさらに備え、
    前記制御部は、前記コンテンツ情報に応じて、前記外側画像の表示を制御する、
    請求項に記載の画像表示装置。
  12. 頭部又は顔部に画像表示装置を装着したユーザーの状態に関する情報を取得する状態情報取得ステップと、
    前記ユーザー側から見える内側画像を表示する第1の表示ステップと、
    前記状態情報取得ステップで取得された前記ユーザーの状態に基づいて生成された外側画像を前記画像表示装置の外部から見える場所に表示する第2の表示ステップと、
    前記内側画像と前記外側画像の表示を制御する制御ステップと、
    を有する画像表示方法。
  13. ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラムを記録したコンピューターに読み取り可能な記録媒体であって、前記コンピューター・プログラムは前記コンピューターを、
    前記ユーザー側から見える内側画像を表示させる第1の表示部、
    前記画像表示装置の外部から見える外側画像を表示させる第2の表示部、
    前記ユーザーの状態に関する情報を取得する状態情報取得部、
    前記内側画像と前記外側画像の表示を制御する制御部、
    として機能させ、
    前記制御部は、前記ユーザーの状態に基づいて前記外側画像の表示を制御する、
    記録媒体。
  14. ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
    前記ユーザー側から見える内側画像を表示する第1の表示部と、
    前記画像表示装置の外部から見える外側画像を表示する第2の表示部と、
    前記内側画像と前記外側画像の表示を制御する制御部と、
    を具備し、
    前記制御部は、周囲にいる人数に応じて、前記外側画像の表示オン/オフ、輝度レベル、表示エリア、表示サイズを制御する、画像表示装置。
JP2014535407A 2012-09-12 2013-07-01 画像表示装置及び画像表示方法、並びに記録媒体 Expired - Fee Related JP6350283B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012200902 2012-09-12
JP2012200902 2012-09-12
PCT/JP2013/068002 WO2014041871A1 (ja) 2012-09-12 2013-07-01 画像表示装置及び画像表示方法、並びに記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017176226A Division JP6569707B2 (ja) 2012-09-12 2017-09-13 画像制御装置及び画像制御方法

Publications (2)

Publication Number Publication Date
JPWO2014041871A1 JPWO2014041871A1 (ja) 2016-08-18
JP6350283B2 true JP6350283B2 (ja) 2018-07-04

Family

ID=50278005

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014535407A Expired - Fee Related JP6350283B2 (ja) 2012-09-12 2013-07-01 画像表示装置及び画像表示方法、並びに記録媒体
JP2017176226A Expired - Fee Related JP6569707B2 (ja) 2012-09-12 2017-09-13 画像制御装置及び画像制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017176226A Expired - Fee Related JP6569707B2 (ja) 2012-09-12 2017-09-13 画像制御装置及び画像制御方法

Country Status (7)

Country Link
US (2) US9798144B2 (ja)
EP (1) EP2896986B1 (ja)
JP (2) JP6350283B2 (ja)
KR (1) KR102044054B1 (ja)
CN (1) CN104603675B (ja)
BR (1) BR112015004958A8 (ja)
WO (1) WO2014041871A1 (ja)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
CN104603674B (zh) * 2012-09-12 2017-12-26 索尼公司 图像显示装置
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
CN103646587B (zh) * 2013-12-05 2017-02-22 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
GB2521831A (en) * 2014-01-02 2015-07-08 Nokia Technologies Oy An apparatus or method for projecting light internally towards and away from an eye of a user
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
CN104951259B (zh) * 2014-03-28 2019-10-18 索尼公司 显示设备及其显示控制方法
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
JP6276170B2 (ja) * 2014-12-03 2018-02-07 日本電信電話株式会社 表示装置および表示方法
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US9740282B1 (en) * 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3059658A1 (en) * 2015-02-18 2016-08-24 Nokia Technologies OY Apparatus, methods and computer programs for providing images
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
WO2016170966A1 (ja) * 2015-04-20 2016-10-27 ソニー株式会社 光源装置、投射型表示装置および表示システム
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10545714B2 (en) 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
CN107111130B (zh) * 2015-10-23 2020-08-28 深圳市柔宇科技有限公司 头戴式显示装置
WO2017067000A1 (zh) * 2015-10-23 2017-04-27 深圳市柔宇科技有限公司 头戴式显示装置
DE102015014450B4 (de) * 2015-11-07 2017-11-23 Audi Ag Virtual-Reality-Brille und Verfahren zum Betreiben einer Virtual-Reality-Brille
US20170230640A1 (en) * 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external display
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
EP3625724B1 (en) 2016-05-18 2023-07-26 COLOP Digital GmbH A method to authenticate a substrate using speckle patterns and a device to perform the method
US10522109B2 (en) * 2016-06-14 2019-12-31 Lenovo (Singapore) Pte. Ltd. Adjusting brightness settings based on context data
US10268438B2 (en) * 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
KR20180050143A (ko) * 2016-11-04 2018-05-14 삼성전자주식회사 눈을 촬영하여 정보를 획득하는 방법 및 장치
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US10183231B1 (en) * 2017-03-01 2019-01-22 Perine Lowe, Inc. Remotely and selectively controlled toy optical viewer apparatus and method of use
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
CN107065196B (zh) * 2017-06-16 2019-03-15 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
CN107422478B (zh) * 2017-06-21 2023-07-25 深圳传音通讯有限公司 可外部观察的虚拟现实头戴设备
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
EP3672697B1 (en) * 2017-08-24 2024-08-07 Vuzix Corporation Waterproof ar goggle system
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ, インコーポレイテッド 光学導波管上の反射防止性コーティング
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US11435583B1 (en) * 2018-01-17 2022-09-06 Apple Inc. Electronic device with back-to-back displays
CN111699460A (zh) * 2018-02-02 2020-09-22 交互数字Ce专利控股公司 多视图虚拟现实用户界面
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN108668008B (zh) * 2018-03-30 2021-04-16 Oppo广东移动通信有限公司 电子装置、显示参数调整方法和装置及计算机可读存储介质
JP2019184807A (ja) * 2018-04-10 2019-10-24 株式会社ジャパンディスプレイ ヘッドマウントディスプレイ
US10345902B1 (en) * 2018-04-24 2019-07-09 Dell Products, Lp Method and apparatus for maintaining a secure head-mounted display session
US10747309B2 (en) * 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US10642369B2 (en) * 2018-06-14 2020-05-05 Dell Products, L.P. Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10962783B2 (en) * 2018-06-19 2021-03-30 Apple Inc. Electronic devices having electrically adjustable optical layers
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ, インコーポレイテッド 患者視認システム
US11982809B2 (en) * 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
JP7472127B2 (ja) * 2018-11-16 2024-04-22 マジック リープ, インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
CN111323919A (zh) * 2018-12-17 2020-06-23 施轩杰 一种显示与双面成像共享结构方案
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
WO2020133221A1 (zh) * 2018-12-28 2020-07-02 深圳市柔宇科技有限公司 显示屏的屏幕控制方法及终端及计算机可读存储介质
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
CN110162248A (zh) * 2019-04-22 2019-08-23 西安万像电子科技有限公司 显示处理方法、装置及系统
EP3939837A1 (en) * 2019-05-17 2022-01-19 Kabushiki Kaisha Tokai Rika Denki Seisakusho Control system and presentation system
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11740742B2 (en) * 2019-09-23 2023-08-29 Apple Inc. Electronic devices with finger sensors
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
US11347060B2 (en) * 2019-12-02 2022-05-31 Arm Limited Device and method of controlling device
US20210211757A1 (en) * 2020-01-06 2021-07-08 Sourcepicture Inc. Systems and methods for adapting playback device for content display
US20210390784A1 (en) * 2020-06-15 2021-12-16 Snap Inc. Smart glasses with outward-facing display
US11579693B2 (en) 2020-09-26 2023-02-14 Apple Inc. Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US11380022B2 (en) * 2020-10-22 2022-07-05 Sony Group Corporation Content modification in a shared session among multiple head-mounted display devices
JP2022102681A (ja) * 2020-12-25 2022-07-07 ソフトバンク株式会社 眼鏡型デバイス、プログラム、及び制御方法
US11796801B2 (en) * 2021-05-24 2023-10-24 Google Llc Reducing light leakage via external gaze detection
US11852822B2 (en) 2021-07-09 2023-12-26 Realwear, Inc. Convertible waveguide optical engine assembly for head-mounted device
US11940627B2 (en) * 2021-07-09 2024-03-26 Realwear, Inc. Opaque waveguide optical engine assembly for head-mounted device
US11808945B2 (en) * 2021-09-07 2023-11-07 Meta Platforms Technologies, Llc Eye data and operation of head mounted device
US12092822B2 (en) 2022-06-30 2024-09-17 Vuzix Corporation Multi-antenna augmented reality display
WO2024043519A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2024058472A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 어플리케이션에 대한 정보를 외부 디스플레이를 통해 제공하는 웨어러블 장치 및 상기 웨어러블 장치의 제어 방법
WO2024071537A1 (ko) * 2022-09-26 2024-04-04 엘지전자 주식회사 투사광학계를 이용한 큰 종횡비를 갖는 차량용 영상 장치
US20240281056A1 (en) * 2023-02-16 2024-08-22 Microsoft Technology Licensing, Llc Muscle group movement tracking using rf sensors
US11972526B1 (en) 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2647556B1 (fr) * 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
JPH05328257A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US6100943A (en) * 1996-07-09 2000-08-08 Harness System Technologies Research, Inc. Vehicular display device for directly and indirectly displaying information
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP2000075815A (ja) 1998-08-31 2000-03-14 Toppan Printing Co Ltd 両面液晶ディスプレイ装置
JP2001100144A (ja) * 1999-09-30 2001-04-13 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP4245750B2 (ja) * 1999-10-15 2009-04-02 オリンパス株式会社 立体観察装置
US6198523B1 (en) 1999-10-28 2001-03-06 Hewlett-Packard Co. Ferroelectric liquid crystal light doubler with temperature and voltage controlled tilt angle
US7233908B1 (en) * 2000-11-03 2007-06-19 Quality Data Management, Inc. Method and system for presentation of survey and report data
JP2004199027A (ja) 2002-10-24 2004-07-15 Seiko Epson Corp 表示装置、及び電子機器
KR100580619B1 (ko) * 2002-12-11 2006-05-16 삼성전자주식회사 사용자와 에이전트 간의 대화 관리방법 및 장치
US20060132914A1 (en) * 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
WO2005072667A1 (ja) * 2004-01-29 2005-08-11 Konica Minolta Photo Imaging, Inc. 視覚補助表示装置
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
EP1877981A4 (en) * 2005-05-02 2009-12-16 Univ Virginia SYSTEMS, DEVICES AND METHODS FOR INTERPRETATION OF MOVEMENTS
US20070035546A1 (en) * 2005-08-11 2007-02-15 Kim Hyun O Animation composing vending machine
US7493566B2 (en) * 2005-12-19 2009-02-17 International Business Machines Corporation Display of information for two oppositely situated users
US20070176847A1 (en) * 2005-12-30 2007-08-02 Shah Kamalesh R Method and system to reduce display power consumption
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
JP2007251331A (ja) 2006-03-14 2007-09-27 Seiko Epson Corp 両面映像ディスプレイ装置、および音声出力方法
US7853566B2 (en) * 2006-08-04 2010-12-14 Apple Inc. Navigation of electronic backups
EP2053963A2 (en) * 2006-08-17 2009-05-06 Koninklijke Philips Electronics N.V. Dynamic body state display device
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP4901534B2 (ja) * 2007-03-02 2012-03-21 株式会社デンソー 情報通信システム、施設側装置、ユーザ側装置、状態検出装置、更新装置、施設側装置用プログラム、ユーザ側装置用プログラム、状態検出装置用プログラム及び更新装置用プログラム
US20090024050A1 (en) * 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US8099392B2 (en) * 2007-06-08 2012-01-17 Apple Inc. Electronic backup of applications
US8624924B2 (en) * 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
US20090213038A1 (en) * 2008-02-25 2009-08-27 Joseph Huang Head Mounted Display and Real-Time Video Device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP2010134057A (ja) * 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010139688A (ja) * 2008-12-11 2010-06-24 Panasonic Corp 画像投影装置
JP5262688B2 (ja) * 2008-12-24 2013-08-14 ブラザー工業株式会社 プレゼンテーションシステム及びそのプログラム
EP2254109A1 (en) * 2009-05-20 2010-11-24 Dialog Semiconductor GmbH Tagged multi line address driving
JP5090411B2 (ja) 2009-08-25 2012-12-05 株式会社スクウェア・エニックス 通信システム、コミュニティ支援サーバ、コミュニティ支援方法、及びコミュニティ支援プログラム
JP5287683B2 (ja) * 2009-11-26 2013-09-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 tv
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
TW201142778A (en) * 2010-05-18 2011-12-01 Ind Tech Res Inst Pixel structure and circuit of pixel having multi-display-medium
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2418865A3 (en) * 2010-08-09 2014-08-06 LG Electronics Inc. 3D viewing device, image display apparatus, and method for operating the same
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
WO2012051539A2 (en) * 2010-10-14 2012-04-19 Cyandia, Inc. Methods, apparatus, and systems for presenting television programming and related information
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CA2822978C (en) * 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
US9898556B2 (en) * 2011-06-20 2018-02-20 Ford Global Technology, Llc Immersive dimensional variation
JP5119357B2 (ja) * 2011-11-28 2013-01-16 オリンパス株式会社 情報表示装置
CN106961621A (zh) * 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
US20130169545A1 (en) * 2011-12-29 2013-07-04 Research In Motion Corporation Cooperative displays
US8982471B1 (en) * 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
US8862104B2 (en) * 2012-06-29 2014-10-14 Intel Corporation System and method for gesture-based management
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP2015069443A (ja) * 2013-09-30 2015-04-13 株式会社東芝 電子機器および支援方法

Also Published As

Publication number Publication date
EP2896986A4 (en) 2016-05-11
JPWO2014041871A1 (ja) 2016-08-18
EP2896986B1 (en) 2021-02-24
BR112015004958A2 (pt) 2017-07-04
WO2014041871A1 (ja) 2014-03-20
US20150253573A1 (en) 2015-09-10
JP6569707B2 (ja) 2019-09-04
CN104603675A (zh) 2015-05-06
JP2018026832A (ja) 2018-02-15
KR102044054B1 (ko) 2019-11-12
EP2896986A1 (en) 2015-07-22
KR20150056521A (ko) 2015-05-26
US9798144B2 (en) 2017-10-24
BR112015004958A8 (pt) 2019-08-13
CN104603675B (zh) 2019-01-18
US20180003983A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
JP6569707B2 (ja) 画像制御装置及び画像制御方法
JP6260536B2 (ja) 画像表示装置
US10009542B2 (en) Systems and methods for environment content sharing
KR102182605B1 (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
US10667981B2 (en) Reading assistance system for visually impaired
US11320655B2 (en) Graphic interface for real-time vision enhancement
CN105934730B (zh) 自动内容滚动
EP3310047B1 (en) Method for displaying 3d image and device for same
WO2015198477A1 (ja) 視線検知装置
JP2014010326A (ja) 立体映像観察デバイスおよび透過率制御方法
TW201220819A (en) Method, shutter glasses, and apparatus for controlling environment brightness received by shutter glasses
JP2013114123A (ja) 透過型表示装置、表示方法および表示プログラム
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN106990534B (zh) 一种虚拟现实眼镜
JP2014010460A (ja) 映像観察デバイスおよび透過率制御方法
JP2018098729A (ja) メガネ型装具

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R151 Written notification of patent or utility model registration

Ref document number: 6350283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees