JPWO2014034378A1 - 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム - Google Patents

画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム Download PDF

Info

Publication number
JPWO2014034378A1
JPWO2014034378A1 JP2014532898A JP2014532898A JPWO2014034378A1 JP WO2014034378 A1 JPWO2014034378 A1 JP WO2014034378A1 JP 2014532898 A JP2014532898 A JP 2014532898A JP 2014532898 A JP2014532898 A JP 2014532898A JP WO2014034378 A1 JPWO2014034378 A1 JP WO2014034378A1
Authority
JP
Japan
Prior art keywords
image
information
display device
image display
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014532898A
Other languages
English (en)
Inventor
武川 洋
洋 武川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014034378A1 publication Critical patent/JPWO2014034378A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

観察者に観察させる2次元画像を、画像表示装置側の個体差に応じて好適に処理して提示する。画像表示装置10は、ROM201A内に補正情報を格納しており、読み出した補正情報を画像提供装置20に送信する。これに対し、情報通信端末20は、受信した補正情報に従って色むら補正演算を行なった後に、画像情報を画像表示装置10に送信する。この結果、画像表示装置10側では、受信した画像情報を表示パネル209に表示し、色むらがキャンセルされた拡大虚像を虚像光学部210により観察者に観察させる。

Description

本明細書で開示する技術は、画像を観察者に観察させる画像表示装置及び画像表示方法、画像表示装置に接続され画像データを送受信可能な情報通信端末及び情報通信方法、並びに、画像表示装置と情報通信端末を含んだ画像表示システムに係り、例えば、観察者が頭部に装着して用いられ、画像を虚像光学系により拡大虚像として観察者に観察させる画像表示装置及び画像表示方法、頭部装着型画像表示装置に接続され画像情報データを送受信可能な情報通信端末及び情報通信方法、並びに画像表示システムに関する。
頭部に装着して画像の視聴に利用される頭部装着型の画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。頭部装着型画像表示装置は、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用することで、視覚及び聴覚を制御できるように構成されている。また、頭部装着型画像表示装置は、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3次元画像を提示することができる。
頭部装着型画像表示装置を、遮光性のタイプと透過性のタイプに分類することもできる。遮光性の頭部装着型画像表示装置は、頭部に装着した際に、ユーザーの眼を直接覆うように構成され、画像視聴時に没入感が増す(例えば、特許文献1を参照のこと)。一方、透過性の頭部装着型画像表示装置の場合、ユーザーが頭部に装着して画像を表示している間も、画像越しに外景を眺める(すなわち、シースルーする)ことができるので(例えば、特許文献2を参照のこと)、屋外での使用時や歩行中の使用時において、ユーザーは障害物との衝突などの危険から回避することができる。
遮光性並びに透過性いずれのタイプであっても、頭部装着型画像表示装置は、左右の両眼(若しくは単眼)の表示部として、例えば液晶や有機EL(Electro−Luminescence)素子などからなる高解像度のマイクロ・ディスプレイを装備し、マイクロ・ディスプレイに表示された2次元画像を虚像光学系により拡大虚像として観察者に観察させるという点では共通する。
遮光性の頭部装着型画像表示装置の場合、例えば接眼光学レンズを用いて2次元画像の拡大虚像を形成する。ここで、光の屈折には波長依存特性があるため、光学レンズには倍率色収差があることが知られている。このため、ある位置から出射した白色光は、レンズを介すると、R、G、Bの波長成分毎に異なる場所に結像するため(図13を参照のこと)、観察者にとっては色むらが観察される。色収差によって生じる色むらなどの光学的な原因による画像劣化を、表示パネルに供給するRGB各色の画像信号に対して個別に補正を行なうという電気的な処理によってキャンセルする方法が提案されている(例えば、特許文献3を参照のこと)。
また、透過性の頭部装着型画像表示装置の場合、ホログラムに代表される回折光学素子を用いて画像の拡大虚像を形成する方法が知られている。回折光学素子は、波長によって回折角度が相違することから、白色光が回折光学素子を通過すると、R、G、Bの波長成分毎に分散するという色割れを生じてしまい、観察者が観察する拡大虚像がぼやけてしまう。そこで、同じ回折光学素子を2枚組み合わせ、1枚目の回折光学素子で反射した際に生じる波長分散を2枚目の回折光学素子で反射する際に元に戻す(すなわち、色割れをキャンセルする)方法(図14を参照のこと)が提案されている。また、色割れを光学的にキャンセルできたとしても、回折光学素子への入射角に応じて回折効率が相違するという問題がある。図14に示した構成例では、表示パネルから特定波長(特定の帯域幅)の光(例えばG)を出射した場合、1枚目の回折格子への入射角(言い換えれば、コリメート光学レンズを通過する場所)に応じて回折効率のよい波長が変化することから(図15を参照のこと)、最終的な拡大虚像は水平位置に応じて波長が変化する像となる(図16を参照のこと)。特定波長Gについて説明したが、R、G、Bを重ねると色むらが観察されることになる。このように光学系によって生じる色むらなどの画像劣化を、表示パネルに供給するRGB各色の画像信号に対して個別に補正を行なうという電気的な処理によってキャンセルする方法が提案されている(例えば、特許文献2を参照のこと)。
まとめると、拡大虚像に生じる色むらは、虚像光学系の特性に基因する。個々のレンズ毎に光学特性が相違するという観点から、色むらを補正するために使用する補正係数は、個々のレンズ毎に区々の値であり、装置毎に固有の情報ということができる。色むらを電気的な処理によってキャンセルする際には、レンズ毎に相違する補正係数を用いる必要がある。
付言すれば、遮光性並びに透過性いずれのタイプの頭部装着型画像表示装置であっても、マイクロ・ディスプレイに表示出力する前に、コントラスト調整やブライトネス調整、ガンマー補正処理、ディザー処理、ブランキング時間調整、画像反転といった画像補正処理を施すのが一般的である。
本明細書で開示する技術の目的は、観察者に観察させる画像を、画像表示装置側に固有の特性に応じて好適に処理して提示することができる、優れた画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システムを提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
画像データを送受信可能な情報通信端末に接続される画像表示装置において、
画像を表示する表示部と、
前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、
前記表示部、前記光学系、又は前記センサーに関する特性情報を保持する特性情報保持部と、
前記情報通信端末に前記特性情報を送信する送信部と、前記情報通信端末側で前記特性情報に基づいて画像処理された画像又は情報を受信する受信部を有し、前記画像処理された画像を前記表示部に表示出力させる制御部と、
を具備する画像表示装置である。
本願の請求項2に記載の技術によれば、請求項1に記載の画像表示装置において、前記センサーは、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つである。また、前記表示部、前記光学系、又は前記センサーに関する特性情報は、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報である。
また、本願の請求項3に記載の技術は、
画像を表示する表示部と、前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーとを備え、画像データを送受信可能な情報通信端末に接続される画像表示装置における画像表示方法において、
前記表示部、前記光学系、又は前記センサーに関する特性情報を保持する特性情報保持ステップと、
前記情報通信端末に前記特性情報を送信する送信ステップと、
前記情報通信端末側で前記特性情報に基づいて画像処理された画像又は情報を受信する受信ステップと、
前記画像処理された画像を前記表示部に表示出力する表示ステップと、
を有する画像表示方法である。
また、本願の請求項4に記載の技術は、
画像データを送受信可能な情報通信端末に接続される画像表示装置において、
画像を表示する表示部と、
前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、
前記画像表示装置に固有の識別情報を保持する識別情報保持部と、
前記情報通信端末に前記識別情報を送信する送信部と、前記情報通信端末側で前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて画像処理された画像又は情報を受信する受信部を有し、前記画像処理された画像を前記表示部に表示出力させる制御部と、
を具備する画像表示装置である。
また、本願の請求項5に記載の技術は、
画像を表示する表示部と、前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーとを備え、画像データを送受信可能な情報通信端末に接続される画像表示装置における画像表示方法において、
前記画像表示装置に固有の識別情報を保持する識別情報保持ステップと、
前記情報通信端末に前記識別情報を送信する送信ステップと、
前記情報通信端末側で前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて画像処理された画像又は情報を受信する受信ステップと、
前記画像処理された画像を前記表示部に表示出力する表示ステップと、
を有する画像表示方法である。
また、本願の請求項6に記載の技術は、
画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末において、
前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得する特性情報取得部と、
前記画像表示装置に提供する画像を、前記特性情報に基づいて処理する画像処理部と、
前記画像処理部により処理した後の画像を前記画像表示装置に送出する画像送信部と、
を具備する情報通信端末である。
本願の請求項7に記載の技術によれば、前記画像表示装置は、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つを有している。そして、本願の請求項6に係る情報通信端末の前記特性情報取得部は、前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報を前記特性情報として取得するように構成されている。
また、本願の請求項8に記載の技術は、
画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末の情報通信方法において、
前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得する特性情報取得ステップと、
前記画像表示装置に提供する画像を、前記特性情報に基づいて処理する画像処理ステップと、
前記画像処理ステップにより処理した後の画像を前記画像表示装置に送出する画像送信ステップと、
を有する情報通信方法である。
また、本願の請求項9に記載の技術は、
画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末において、
前記画像表示装置に固有の識別情報を前記画像表示装置から取得する識別情報取得部と、
前記画像表示装置に提供する画像を、前記識別情報に基づいて取得した前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理する画像処理部と、
前記画像処理部により処理した後の画像を前記画像表示装置に送出する画像送信部と、
を具備する情報通信端末である。
また、本願の請求項10に記載の技術は、
画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末の情報通信方法において、
前記画像表示装置に固有の識別情報を取得する識別情報取得ステップと、
前記画像表示装置に提供する画像を、前記識別情報に基づいて取得した前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理する画像処理ステップと、
前記画像処理ステップにより処理した後の画像を前記画像表示装置に送出する画像送信ステップと、
を有する情報通信方法である。
また、本願の請求項11は、
画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、前記光学系又は前記センサーに関する特性情報を有する画像表示装置と、
前記画像表示装置に接続され、画像データを送受信可能な情報通信端末と、
を具備し、
前記情報通信端末は、前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得し、前記特性情報に基づいて処理した後の画像を前記画像表示装置に送出する、
画像表示システムである。
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない(以下、同様)。
本願の請求項12に記載の技術によれば、請求項11に係る画像表示システムにおいて、前記画像表示装置は、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つを有している。そして、前記情報通信端末は、前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報を前記特性情報として取得するように構成されている。
また、本願の請求項13に記載の技術は、
画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、前記光学系又は前記センサーに関する特性情報を有する画像表示装置と、
前記画像表示装置に接続され、画像データを送受信可能な情報通信端末と、
を具備し、
前記情報通信端末は、前記画像表示装置に固有の識別情報を前記画像表示装置から取得するとともに、前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理した後の画像を前記画像表示装置に送出する、
画像表示システムである。
本明細書で開示する技術によれば、観察者に観察させる2次元画像を、画像表示装置側に固有の特性に応じて好適に処理して提示することができる、優れた画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システムを提供することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、2次元画像を観察者に観察させるための画像表示装置10と、画像表示装置10に画像情報を提供する情報通信端末20を含んだ画像表示システム1の構成を模式的に示した図である。 図2は、頭部装着型の画像表示装置10の内部構成例を示した図である。 図3は、情報通信端末20としての多機能携帯端末の内部構成例を示した図である。 図4は、携帯電話機能搭載ヘッド・マウント・ディスプレイの内部構成例を示した図である。 図5は、画像表示システム1における画像提供方法を説明するための図である。 図6は、画像表示システム1内で情報通信端末20から画像表示装置10へ画像を提供する際の処理シーケンス例を示した図である。 図7は、図5の変形例を示した図である。 図8は、画像表示システム1における画像提供方法を説明するための図である。 図9は、画像表示システム1内で情報通信端末20から画像表示装置10へ画像を提供する際の処理シーケンス例を示した図である。 図10は、図8の変形例を示した図である。 図11Aは、画像表示システム1における画像提供方法を説明するための図である。 図11Bは、画像表示システム1における画像提供方法の変形例を説明するための図である。 図12は、図11Aに対応する、画像表示システム1内で情報通信端末20から画像表示装置10へ画像を提供する際の処理シーケンス例を示した図である。 図13は、光学レンズの倍率色収差を説明するための図である。 図14は、透過性の頭部装着型画像表示装置の構成例を示した図である。 図15は、図14に示した画像表示装置において、特定波長の光を出射した際の入射角に応じた回折効率の相違を示した図である。 図16は、図14に示した画像表示装置における観察画像を示した図である。 図17は、画像補正処理の手順を模式的に示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、2次元画像を観察者に観察させるための画像表示装置10と、画像表示装置10に画像情報を提供する情報通信端末20を含んだ画像表示システム1の構成を模式的に示している。
画像表示装置10と情報通信端末20は、所定の通信路30を介して相互接続される。例えば、MHL(Mobile High−definition Link)やUSB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)、Wi−Fiなどの無線LAN(Local Area Network)、Bluetooth(登録商標)通信、赤外線通信などのうちいずれかの通信規格に基づく通信路30を相互接続に用いることができる。
また、情報通信端末20は、インターネットに接続して、各種のサーバーから必要な情報を取得することができる。なお、画像表示装置10もインターネットの接続機能を装備していてもよいが、本明細書で開示する技術を実現する上で必須ではない。
画像表示装置10は、画像の観察者が装着して用いる、遮光性又は透過性の頭部装着型画像表示装置である。画像表示装置10は、情報通信端末20から提供された画像情報に基づいて2次元画像を形成するとともに、虚像光学系を介して2次元画像の拡大虚像を観察者に観察させる。
また、情報通信端末20は、スマートフォンなどの多機能情報端末である。多機能情報端末としての情報通信端末20は、例えばAndroid OSのようなオペレーティング・システムが提供する実行環境下で、各種のアプリケーションを実行させることができる。また、多機能情報端末としての情報通信端末20をインターネットに接続して、例えばAndroidマーケットのようなダウロード・サイト40から、さまざまなアプリケーションを取得することができる。
情報通信端末20が、画像表示装置10に提供する画像情報として、内蔵カメラを用いて撮影した画像、ワンセグ・チューナーで受信した放送画像、ネットワークから受信したストリーミング画像、記憶部(装填したメモリカードを含む)から再生する画像などを挙げることができる。本実施形態では、情報通信端末20は、画像表示装置10側に固有の特性情報に基づいて必要な処理を画像情報に適用してから、画像表示装置10に送出する。情報通信端末20は、画像表示装置10の特性情報を、画像表示装置10自体から直接取得する場合がある他、インターネット上の特性情報管理サーバー50に照会して取得する場合も想定される。特性情報に基づく画像提供処理の詳細については後述に譲る。
図2には、頭部装着型の画像表示装置10の内部構成例を示している。以下、各部について説明する。
制御部201は、ROM(Read Only Memory)201AやRAM(Random Access Memory)201Bを備えている。ROM201A内には、制御部201で実行するプログラム・コードや各種データを格納している。制御部201は、RAM201Bへロードしたプログラムを実行することで、画像の表示制御を始め、当該装置10全体の動作を統括的にコントロールする。ROM201Aに格納するデータとして、当該装置10を識別する識別情報や、虚像光学部210の光学特性など装置毎に固有の特性情報、光学特性に応じて画像信号を補正する際に使用する補正情報(キャリブレーション情報や補正係数、補正アルゴリズムを含む)、画像補正に使用する補正情報(ガンマー補正に使用するガンマー補正係数や、ディザー処理に使用するディザー係数、補正アルゴリズムを含む)などを挙げることができる。また、後述する画像表示装置10外の周辺環境に関する環境情報を取得する各種環境センサーや、画像表示装置10を利用するユーザーの状態に関する状態情報を取得する各種状態センサーを画像表示装置10内に装備する場合には、これらのセンサーの出力情報を補正する際に使用する補正情報も、ROM201A内に格納しておいてもよい。
入力操作部202は、キーやボタン、スイッチなど、ユーザーが入力操作を行う1以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部201に出力する。また、入力操作部202は、リモコン受信部203で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部201に出力する。
環境情報取得部204は、画像表示装置10外の周辺環境に関する環境情報を取得して、制御部201に出力する。環境情報取得部204は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像などを取得する。また、環境情報取得部204は、これらの環境情報を取得するために、光量センサーや、マイクロフォン、GPS(Global Positioning System)センサー、温度センサー、湿度センサー、時計、イメージ・センサー(カメラ)、放射線センサーなどの各種の環境センサー(いずれも図2には図示しない)を備えていてもよい。あるいは、画像表示装置10自体は環境センサーを備えず、環境センサーを装備する外部の装置(図示しない)から環境情報取得部204が環境情報を取得するように構成してもよい。取得された環境情報は、当該装置10の設置場所などに依存する値であり、特性情報として、例えばRAM201B内に一時的に保持される。
状態情報取得部205は、画像表示装置10を利用するユーザーの状態に関する状態情報を取得して、制御部201に出力する。状態情報取得部505は、状態情報として、例えば、ユーザーの作業状態(ユーザーの装着の有無)や、ユーザーの行動状態(装着中のユーザーの頭部の姿勢、歩行などの移動、瞼の開閉状態)、精神状態(内部画像を観察中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など)、さらには生理状態を取得する。また、状態情報取得部205は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電センサー、眼電センサー、脳波センサーなどの各種の状態センサー(いずれも図2には図示しない)を備えていてもよい。あるいは、画像表示装置10自体は状態センサーを備えず、状態センサーを装備する外部の装置(図示しない)から状態情報取得部205が状態情報を取得するように構成してもよい。取得された状態情報は、当該装置10を装着したユーザーの個人差に基因する特性情報として、例えばRAM201B内に一時的に保持される。
システム内通信部206は、画像表示システム1内で、情報通信端末20など他の装置との通信処理、並びに、通信信号の変復調並びに符号化復号処理を行なう。例えば、システム内通信部206は、表示出力するための画像信号を情報通信端末20から受信する。システム内通信部206で受信し復調及び復号処理された画像あるいはその他の受信データは制御部201に供給される。また、制御部201は、情報通信端末20などシステム1内の他の装置への送信データを、システム内通信部206を介して送出する。
システム内通信部206の構成は任意である。例えば、画像表示システム1内の通信路30で使用する通信規格に応じて、システム内通信部206が構成され、情報通信端末20と双方向通信を行なうことができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、MHLやUSB、HDMI(登録商標)、無線LAN、Bluetooth(登録商標)通信、赤外線通信などを挙げることができる。
映像処理部207は、制御部201から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示パネル209の画面に合わせた解像度に変換する。そして、表示駆動部208は、表示パネル209の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
表示パネル209は、例えば有機EL素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。虚像光学部210は、表示パネル209の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。なお、図2中では、図面の簡素化のため、表示パネル209並びにこれに対応する虚像光学部210をそれぞれ1つしか描いていないが、画像表示装置10が両眼式のヘッド・マウント・ディスプレイである場合には、左右の眼毎に表示パネル209と虚像光学部210が配設される。
画像表示装置10が遮蔽型のヘッド・マウント・ディスプレイの場合、虚像光学部210は接眼光学レンズで構成される。光学レンズは倍率色収差があるため、観察者が観察する拡大虚像に色むらを発生させる原因となる。表示パネル209に供給するR、G、B各色の画像信号に対して個別に補正を行なうという電気的な処理によって、色むらをキャンセルすることができる(前述)。補正処理の際に用いるR、G、Bの色毎の補正係数は、虚像光学部210として用いる光学レンズに固有の値であり、本実施形態では、画像表示装置10の特性情報として扱う。また、この種の特性情報には、補正係数の他、補正のためのキャリブレーション情報や補正アルゴリズムを含めることができる。
また、画像表示装置10が透過型のヘッド・マウント・ディスプレイの場合、虚像光学部210は回折光学素子などで構成される。回折光学素子は入射角に応じて回折効率が変化するため、観察者が観察する拡大虚像に色むらを発生させる原因となる。表示パネル209に供給するR、G、B各色の画像信号に対して個別に補正を行なうという電気的な処理によって、色むらをキャンセルすることができる(前述)。補正処理の際に用いるR、G、Bの色毎の補正係数は、虚像光学部210として用いる光学レンズに固有の値であり、本実施形態では、画像表示装置10の特性情報として扱う。また、この種の特性情報には、補正係数の他、補正のためのキャリブレーション情報や補正アルゴリズムを含めることができる。
画像表示装置10が、遮光型又は透過型のいずれのヘッド・マウント・ディスプレイであるにせよ、虚像光学部210が持つ光学特性に基因した補正情報(キャリブレーション情報や補正係数、補正アルゴリズムを含む)は、特性情報としてROM201B内に格納されている。
また、表示パネル209として用いられるマイクロ・ディスプレイの駆動方法に適合するとともに、自然な表示画像となるように、画像信号を補正又は調整する各種の画像補正処理が行なう必要がある。図17には、この種の画像補正処理の手順を模式的に示している。以下、各処理について説明しておく。コントラスト調整1701は、色の明暗の差異を変化させる処理である。ブライトネス調整1702は、輝度すなわち明暗を調整する処理である。ガンマー補正処理1703、1704は、表示系の違いやユーザーの好みに応じたガンマー曲線による黒領域並びに白領域をそれぞれ調整する処理である。ディザー処理1705は、階調調整であり、例えば画素の周りの画素を使って見かけ上の階調表現を現実のビット数(8ビット)よりも豊かにする。ブランキング時間調整1706は、フレーム間のブランキング(画像を出力していない)時間を調整する処理であり、ブランキング時間に黒信号を挿入する。画像反転処理1707は、入力画像を鏡面処理して鏡面画像を生成する。
一般には、上記処理1701〜1707のうち少なくとも1つは実施される。図1に示した画像表示システム1に当て嵌めると、上記処理1701〜1707などの画像補正処理を、画像表示装置10内の制御部201、映像処理部207、又は表示駆動部208のいずれかで行なうことも可能である。しかしながら、とりわけガンマー処理1703、1704やディザー処理1705は計算負荷が大きく、画像表示装置10内で行なう負担は過大になる。これに対し、画像表示装置10に画像情報を提供する情報通信端末20側で上記処理1701〜1707などの画像補正処理を行なう方法も考えられる。
図3には、情報通信端末20としての多機能携帯端末の内部構成例を示している。以下、各部について説明する。
CPU(Central Processing Unit)301は、ROM302に記憶されているプログラム、又は記憶部1004からRAM303にロードされたプログラムを実行する。RAM303には、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
本実施形態では、CPU301が実行するアプリケーションとして、内蔵カメラを用いた動画又は静止画の撮影処理、ワンセグ放送の受信処理、ネットワーク経由でのストリーミング画像の受信処理、記憶部304に蓄積した画像の再生処理、ナビゲーション情報の表示処理、画像表示装置10などシステム1内の他の機器への画像情報の送信処理、画像データなど画像表示装置10への送信情報を画像表示装置10の特性情報に基づいて補正などの処理などをそれぞれ行なうアプリケーションが挙げられる。また、2以上の処理機能を併せた単一のアプリケーションが存在することも想定される。
画像表示装置10への送信情報に対する補正など処理を、CPU201など情報通信端末20側のリソースを使わず、画像表示装置10内部で実行する方法もある。本実施形態において、この種の処理に情報通信端末20側のリソースを使うのは、スマートフォンなどの多機能情報端末は、最先端の敗戦プロセス技術で製造された、低消費電力で高い演算能力を持つプロセッサーを搭載しており、画像補正などの高負荷の処理に適していると考えられるからである。
なお、CPU301が実行するプログラムは、例えば、Android OSのようなオペレーティング・システムや、オペレーティング・システムが提供する実行環境下で動作するアプリケーションが挙げられる。また、実行するアプリケーションは、当該装置20にプリインストールされている他、Androidマーケットのようなダウロード・サイトから取得することができる。
CPU301、ROM302、及びRAM303は、バス304を介して相互に接続されている。また、バス304には、記憶部305、携帯電話送受信部306、システム内通信部307、ワンセグ・チューナー部308、操作部309、LED(Light Emitting Diode)310、バイブレーター311、音声入出力制御部312、ディスプレイ315、撮像部316などが接続されている。
記憶部305は、SSD(Solid State Drive)やHDD(Hard Disc Drive)などの比較的大容量の記憶装置で構成され、CPU301で実行するアプリケーションや、ワンセグ・チューナー部308で受信したワンセグ放送コンテンツ、撮像部316で撮影した動画や静止画などの画像コンテンツなど、各種データを格納するのに用いられる。また、図面の簡素化のため図示を省略したが、外部から装填されるメモリカードも記憶部305に含まれるものとする。
携帯電話送受信部306は、完全に機能するセルラー無線送受信機として、例えばW−CDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)などの標準規格を含む任意の既知の標準規格に従って動作することができる。
外部ネットワーク通信部317は、インターネットなどの画像表示システム1外のネットワークとの接続を行なう。外部ネットワーク通信部317は、例えばWi−Fiなどの無線LANにより最寄りのアクセスポイント(図示しない)を介して、インターネットに接続する。勿論、外部ネットワーク通信部317は、無線ではなく、有線LANを使用してもよい。また、上記の携帯電話送受信部306が外部ネットワーク通信部317を兼ねていてもよい。
システム内通信部307は、画像表示システム1内で通信路30を介した通信処理を行なう。システム内通信部307の構成は任意である。例えば、画像表示システム1内の通信路30で使用する通信規格に応じて、システム内通信部307が構成され、画像表示装置10と双方向通信を行なうことができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、MHLやUSB、HDMI(登録商標)、無線LAN、Bluetooth(登録商標)通信、赤外線通信などを挙げることができる。あるいは、外部ネットワーク通信部317がシステム内通信部307としても機能し、携帯電話網を介してシステム内通信を行なうようにしてもよい。
ワンセグ・チューナー部308は、地上ディジタル・テレビ放送の1セグメントが割り当てられたQVGA(Quarter Video Graphic Array)の放送信号を受信する。
操作部309は、ボタン類やジョグダイヤルなどにより構成され、当該装置20のユーザーからの操作を受け付ける。ユーザー操作としては、電話番号入力や各種設定の他、アプリケーションの起動や画像表示装置10への送信指示などを挙げることができる。LED310は、例えば、ユーザーに情報を提示する際、当該情報機器にユーザーの注意を向けさせるために発光する。また、バイブレーター311は、電話若しくはメールの着信時などにユーザーの注意を向けさせるための振動を当該装置20本体に加える。
マイクロフォン313は、ユーザーの音声を電気オーディオ信号に変換し、スピーカー314は、オーディオ信号を、ユーザーが聴くことのできる可聴信号に変換する。音声入出力制御部312は、基本的なアナログ出力信号をスピーカー314に供給するとともに、マイクロフォン313からアナログ・オーディオ入力を受け入れる。
ディスプレイ315は、通常の携帯電話として使用するときには、オペレータがダイヤルされた数字やイメージ、呼出し状況、メニュー・オプション、及び他のサービス情報を見ることを可能にする。また、撮像部316による撮影時には、ディスプレイ315をスルー画像や撮影画像の表示再生出力に利用することができる。
撮像部316は、光学系及びCCD(Charge Coupled Device)などのイメージ・センサーからなる内蔵カメラと、内蔵カメラによる撮像信号を処理するイメージ・プロセッサー(いずれも図示しない)を備えている。光学系は単一レンズ又は複数のレンズからなり、イメージ・センサーは、光学系によって結像されたイメージを取り込む。イメージ・プロセッサーは、イメージ・センサーによって取り込まれた圧縮画像データ又はRAW画像データを、記憶部305への保管、ディスプレイ315への表示出力、又は携帯電話送受信部306、システム内通信部307による送信のために処理する。
なお、画像表示装置10が市場に出荷される製品の形態として、携帯電話機能搭載ヘッド・マウント・ディスプレイも想定される。携帯電話機能搭載ヘッド・マウント・ディスプレイは、概念的には、画像表示装置10と情報通信端末20を単一の装置として構成したものである。
図4には、携帯電話機能搭載ヘッド・マウント・ディスプレイの内部構成例を示している。図3に示した装置において、ディスプレイ315の表示面の前方に虚像光学部210を配置した構成であり、虚像光学部210は表示画像を拡大投影し、ユーザーには拡大虚像として観察される。また、虚像光学部210の光学特性に基因する画像の色むら補正を行なうための補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)や、その他の装置固有の特性情報、装置を識別する装置IDは、ROM302内に格納される。
既に述べたように、画像表示装置10が、遮光型又は透過型のいずれのヘッド・マウント・ディスプレイであるにせよ、虚像光学部210が持つ光学特性に基因して、観察者が観察する拡大虚像に色むらが発生する。この色むらは、表示パネル209に供給するR、G、B各色の画像信号に対して個別に補正を行なうという電気的な処理によって、色むらをキャンセルすることができる。
色むらの補正処理の演算量は膨大である。例えば、透過型のヘッド・マウント・ディスプレイの場合には、水平方向の画素毎に算出された3行×1列のマトリックスからなる補正係数を、各画素に乗算しなければならない(例えば、特許文献2を参照のこと)。
また、表示パネル209として用いられるマイクロ・ディスプレイの駆動方法に適合するとともに、自然な表示画像となるように、画像信号を補正又は調整する各種の画像補正処理が行なう必要がある(前述並びに図17を参照のこと)。この種の画像補正は、例えばガンマー補正やディザー処理などの演算負荷の高い処理を含んでいる。
そこで、本実施形態では、情報通信端末20が画像表示装置10の虚像光学部210における補正情報や画像補正のための補正情報を取得し、低消費電力で高い演算能力を持つプロセッサーを搭載する情報通信端末20側で色むら補正の演算処理や画像補正を行なってから、補正後の画像情報を画像表示装置10に提供するようにしている。
なお、情報通信端末20は、CPU301がアプリケーションを実行することで画像の補正処理を行なうようにしてもよいし、画像補正処理用の専用ハードウェアを装備していてもよい。
例えば、図5に示すように、画像表示装置10は、ROM201A内に補正係数を格納しており、情報通信端末20に画像を要求する際には、ROM201Aから読み出した補正情報(虚像光学部210で発生する色むらを補正するためのキャリブレーション情報や補正係数、補正アルゴリズム、あるいは画像補正に使用する補正係数(ガンマー補正係数やディザー係数など)や補正アルゴリズムを含む)を、通信路30を介して送信する(参照番号501)。これに対し、情報通信端末20は、受信した補正情報に従って色むら補正や画像補正の演算を行なった後に、画像情報を通信路30経由で画像表示装置10に送信する(参照番号502)。画像表示装置10側では、受信した画像情報を表示パネル209に表示し、虚像光学部210によりその拡大虚像を観察者に観察させる。この拡大虚像から色むらはキャンセルされている。また、表示パネル209として用いられるマイクロ・ディスプレイの駆動方法に適合した画像信号が提供され、表示パネル209からより自然な画像が表示されることになる。
図6には、画像表示システム1内で情報通信端末20から画像表示装置10へ画像を提供する際の処理シーケンス例を示している。図示の例では、画像表示装置10と情報通信端末20は、システム内通信路30上で接続が既に確立しているものとする。
情報通信端末20は、画像表示装置10から画像要求を受信すると(SEQ601)、画像表示装置10に対して補正情報を要求する(SEQ602)。
画像表示装置10の例えば出荷時において、虚像光学部210で発生する色むらを補正するためのキャリブレーション情報や補正係数、補正アルゴリズム、あるいは画像補正に使用する補正係数(ガンマー補正係数やディザー係数など)や補正アルゴリズムなどの補正情報がROM201A内に書き込まれる。画像表示装置10は、補正情報の要求に応答して、ROM201Aから補正情報を読み出して(SEQ603)、情報通信端末20に送信する(SEQ604)。
そして、情報通信端末20は、受信した補正情報を用いて、要求されている画像に対して像光学部210で発生する色むらを補正するための補正処理、あるいはマイクロ・ディスプレイの駆動方法に適合した画像信号にするための補正処理を行なってから(SEQ605)、画像表示装置10に送信する(SEQ606)。
色むらを補正するため補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)は、虚像光学部210で使用する光学レンズや回折光学素子の光学特性に基因する画像表示装置10に固有の特性情報である。また、画像補正のための補正情報(使用する補正係数(ガンマー補正係数やディザー係数など)や補正アルゴリズム)は、表示パネル209で使用されるマイクロ・ディスプレイに対応した(言い換えれば、製品型番に対応した)特性情報である。情報通信端末20は、異なる画像表示装置から画像要求された場合であっても、その都度、色むらを補正するため補正情報又は画像補正のための補正情報を受け取ることができるので、いかなる画像表示装置に対しても、色むらの発生しない画像を常に提供することができる。
なお、図4に示したように画像表示装置10と情報通信端末20を単一の装置とした、携帯電話機能搭載ヘッド・マウント・ディスプレイの場合には、例えば、図7に示すように、画像表示を行なうアプリケーションを実行中のCPU301は、虚像光学部210の光学特性に基因する色むらを補正するための補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)、又は、画像補正に使用する補正情報(ガンマー補正係数やディザー係数などの補正係数や補正アルゴリズム)を、バス304経由でROM302から読み出して(参照番号701)、画像に対して色むら補正演算を行なう。そして、補正後の画像をバス304経由でディスプレイ315から表示出力する(参照番号702)。この場合も、虚像光学部210により観察者に観察させる拡大虚像から、色むらはキャンセルされる。また、表示パネル209として用いられるマイクロ・ディスプレイの駆動方法に適合した画像信号が提供され、表示パネル209からより自然な画像が表示されることになる。
図5並びに図6に示した処理シーケンスでは、画像表示装置10の虚像光学部210に対応した補正情報を、画像表示装置10内で管理することを前提としている。これに対し、虚像光学部210の補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)などの装置毎に固有の特性情報や、画像補正に使用する補正情報(ガンマー補正係数やディザー係数などの補正係数や補正アルゴリズム)などの製品型番毎に固有の特性情報を、例えばインターネット上の特性情報管理サーバー50などで集中管理する場合も想定される。
図8には、画像表示装置10の補正情報を特性情報管理サーバー50で集中管理する場合の動作例を示している。画像表示装置10の製造業者は、装置毎に固有の補正情報あるいは製品型番毎に固有の補正情報を、出荷時にROM201A内に書き込むのではなく、特性情報管理サーバー50上にアップしておく(参照番号801)。そして、特性情報管理サーバー50は、受け取った補正情報を対応する画像表示装置10の装置識別情報(装置ID)あるいは製品型番と紐付けして管理する。
画像表示装置10は、情報通信端末20に画像を要求する際には、ROM201Aから読み出した装置ID又は製品型番を、通信路30を介して送信する(参照番号802)。情報通信端末20は、画像表示装置10から取得した装置ID又は製品型番を特性管理サーバー50に照会して(参照番号803)、該当する補正情報を取得することができる(参照番号804)。そして、情報通信端末20は、画像表示装置10に送信する画像に対して色むら補正又は画像補正の演算を行なった後に、画像情報を通信路30経由で画像表示装置10に送信する(参照番号805)。画像表示装置10側では、受信した画像情報を表示パネル209に表示し、虚像光学部210によりその拡大虚像を観察者に観察させる。この拡大虚像から色むらはキャンセルされている。また、表示パネル209として用いられるマイクロ・ディスプレイの駆動方法に適合した画像信号が提供され、表示パネル209からより自然な画像が表示されることになる。
図9には、情報通信端末20が、特性情報管理サーバー50を利用して、画像表示装置10へ補正後の画像を提供する際の処理シーケンス例を示している。
情報通信端末20は、通信路30に適用される通信プロトコルに従って、機器発見や認証などの手順を経て、画像表示装置10との間の接続を確立する(SEQ901)。そして、情報通信端末10は、接続処理を通じて、画像表示装置10の装置IDや製品型番を取得する。
情報通信端末20は、接続中の画像表示装置10から画像要求を受信すると(SEQ902)、画像表示装置10の装置IDや製品型番を特性情報管理サーバー50に送信して、色むら補正や画像補正の補正情報を照会する(SEQ903)。特性情報管理サーバー50は、装置IDや製品型番に対応する補正情報を保持している場合には、これを返信する(SEQ904)。
情報通信端末20は、特性情報管理サーバー50から取得した補正情報を用いて、画像表示装置10が要求している画像に対して色むら補正や画像補正の補正処理を行なう(SEQ905)。そして、情報通信端末20は、補正後の画像を画像表示装置10に送信する(SEQ906)。
色むら補正の補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)は、虚像光学部210で使用する光学レンズや回折光学素子の光学特性に基因する画像表示装置10に固有の情報である。また、画像補正の補正情報ガンマー補正係数やディザー係数などの補正係数や補正アルゴリズム)は、同じマイクロ・ディスプレイを使用する同一製品(すなわち、同一の製品型番)毎に固有の情報である。情報通信端末20は、異なる画像表示装置から画像要求された場合であっても、その都度、特性情報管理サーバー50に照会して装置毎又は製品型番毎の補正情報を受け取ることができるので、いかなる画像表示装置に対しても、色むらの発生しない画像やマイクロ・ディスプレイの駆動方法に適合した自然な画像を常に提供することができる。
また、図10には、図4に示したように画像表示装置10と情報通信端末20を単一の装置とした、携帯電話機能搭載ヘッド・マウント・ディスプレイの補正情報を特性情報管理サーバー50で集中管理する場合の動作例を示している。ヘッド・マウント・ディスプレイの製造業者は、装置毎に固有の補正情報あるいは製品型番毎に固有の補正情報を、出荷時にROM302内に書き込むのではなく、特性情報管理サーバー50上にアップしておく(参照番号1001)。そして、特性情報管理サーバー50は、受け取った補正情報を対応する画像表示装置10の装置識別情報(装置ID)あるいは製品型番と紐付けして管理する(参照番号1001)。
画像表示を行なうアプリケーションを実行中のCPU301は、ROM201Aから当該装置の装置ID又は製品型番を読み出と(参照番号1002)、インターネット上の特性情報管理サーバー50に装置ID又は製品型番を送信して(参照番号1003)、虚像光学部210の光学特性に基因する色むらなどを補正するための補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)又は画像補正に使用する補正情報(ガンマー補正係数やディザー係数などの補正係数や補正アルゴリズム)を照会する(参照番号1004)。そして、CPU301は、取得した補正情報を用いて色むら補正演算を行ない、ディスプレイ315から画像を表示出力することになる(参照番号1005)。この場合も、虚像光学部210により観察者に観察させる拡大虚像から、色むらはキャンセルされる。また、表示パネル209として用いられるマイクロ・ディスプレイの駆動方法に適合した画像信号が提供され、表示パネル209からより自然な画像が表示されることになる。
色むら補正の補正情報は、主に虚像光学部210の光学特性に基づいて算出される、画像表示装置10に固有の特性情報である。また、ガンマー補正やディザーなどの画像補正の補正情報は、同じマイクロ・ディスプレイを使用する同一製品(すなわち、同一の製品型番)毎に固有の特性情報である。さらに本実施形態では、画像表示装置10は、虚像光学部210の光学特性に起因する色むら補正の補正情報や真衣録・ディスプレイに対応する画像補正の補正情報の他に、光量センサーや、マイクロフォン、GPSセンサー、温度センサー、湿度センサー、時計、イメージ・センサー(カメラ)などの環境センサーから取得した装置10周辺の環境情報や、体温センサー、発汗センサー、筋電センサー、眼電センサー、脳波センサーなどのユーザーの作業状態や行動状態、精神状態、生理状態などユーザーの状態を計測する状態センサーから取得した状態情報ための補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)、並びに環境センサーや状態センサーのセンサー出力情報を補正するための補正情報(キャリブレーション情報、補正係数、補正アルゴリズム)も、画像表示装置10に固有の特性情報として扱えるように構成されている。
したがって、情報通信端末20側でも、以下で例示するように、さまざまな種類の特性情報に対応した画像情報のサービスを提供することができる。
(1)撮像部316で撮影した動画又は静止画を、送信先の画像表示装置10側の環境情報や状態情報に応じた装飾を施すなどの画像処理を行なってから、画像表示装置10に送信する。
(2)ワンセグ・チューナー部308で受信したワンセグ放送コンテンツに対して、送信先の画像表示装置10側の環境情報や状態情報に応じた装飾を施すなどの画像処理を行なってから、画像表示装置10に転送する。
(3)外部ネットワーク通信部317がネットワーク経由で受信したストリーミング画像に対して、送信先の画像表示装置10側の環境情報や状態情報に応じた装飾を施すなどの画像処理を行なってから、画像表示装置10に転送する。
(4)CPU301が実行するナビゲーション・アプリケーションが作成したナビゲーション情報に対して、送信先の画像表示装置10側の環境情報や状態情報に応じた装飾を施すなどの画像処理を行なってから、画像表示装置10に転送する。ナビゲーション情報はさまざまなカテゴリーに分類されるが、例えば気温や湿度など画像表示装置10が設置されている場所の環境情報、あるいは、画像表示装置10を装着しているユーザーの精神状態や健康状態に応じたナビゲーション情報の重み付け選択処理を行なう。
例えば、図11Aに示すように、画像表示装置10は、各種の環境センサーからなる環境情報取得部204で取得した環境情報や、各種の状態センサーからなる状態情報取得部205で取得したユーザーの状態情報を、当該装置10に固有の特性情報として、RAM201B内に一時的に格納する(参照番号1101)。また、画像表示装置10は、環境センサーや状態センサーを画像表示装置10内に装備する場合には、これらのセンサーの出力情報を補正する際に使用する補正情報(キャリブレーション情報や補正係数、補正アルゴリズムを含む)を、特性情報としてROM201A内に格納している。
そして、画像表示装置10は、情報通信端末20に画像を要求する際には、RAM201Bから環境センサーや状態センサーの出力情報からなる特性情報を読み出して、通信路30を介して送信する(参照番号1102)。また、画像表示装置10は、必要に応じて、センサーの出力情報を補正する際に使用する補正情報からなる特性情報も、ROM201Aから読み出して送信する。
これに対し、情報通信端末20は、要求された画像を、受信した特性情報に応じて画像処理を行ない、さらに必要に応じて画像に対する補正処理を行なった後に、通信路30を介して画像表示装置10に送信する(参照番号1103)。この結果、画像表示装置10側では、特性情報に応じて処理された画像を表示し、ユーザーは、現在自分が置かれている環境や自分の状態に応じた画像を利用することができる。例えば、上述したような画像情報のサービス(1)〜(4)を提供することができる。
図12には、画像表示システム1内で情報通信端末20から画像表示装置10へ画像を提供する際の処理シーケンス例を示している。図示の例では、画像表示装置10と情報通信端末20は、システム内通信路30上で接続が既に確立しているものとする。
画像表示装置10側では、所定のタイミングで、環境情報取得部204が環境情報を取得するとともに、状態情報取得部205が状態情報を取得し、特性情報としてRAM201B内に書き込む(SEQ1201)。
情報通信端末20は、画像表示装置10から画像要求を受信すると(SEQ1202)、画像表示装置10に対して特性情報を要求する(SEQ1203)。
画像表示装置10は、特性情報の要求に応答して、RAM201Bから特性情報を読み出して(SEQ1204)、情報通信端末20に送信する(SEQ1205)。また、画像表示装置10は、必要に応じて、センサーの出力情報を補正する際に使用する補正情報からなる特性情報も、ROM201Aから読み出して送信する。
そして、情報通信端末20は、受信した特性情報を用いて、要求されている画像に対して画像表示装置10側の特性情報に適合させた処理を行なった後に(SEQ1206)、処理後の画像を画像表示装置10に送信する(SEQ1207)。
特性情報は、各種の環境センサーからなる環境情報取得部204で取得した環境情報や、各種の状態センサーからなる状態情報取得部205で取得したユーザーの状態情報である。また、センサーの出力情報を補正する際に使用する補正情報も特性情報に含まれるので、情報通信端末20側では、画像表示装置10から受信した環境情報や状態情報に対して、必要に応じてキャリブレーションや補正を行なうことができる。情報通信端末20は特性情報に応じて処理を行なった画像を提供するので、画像表示装置10側では特性情報に応じて処理された画像を表示し、ユーザーは、現在自分が置かれている環境や自分の状態に応じた画像を利用することができる。例えば、上述したような画像情報のサービス(1)〜(4)を提供することができる。
また、図11Bには、図4に示したように画像表示装置10と情報通信端末20を単一の装置とした、携帯電話機能搭載ヘッド・マウント・ディスプレイの場合の、状態情報や環境情報に応じた画像提供サービスの変形例を示している。各種の環境センサーからなる環境情報取得部204で取得した環境情報や、各種の状態センサーからなる状態情報取得部205で取得したユーザーの状態情報を、当該装置10に固有の特性情報として、RAM201B内に一時的に格納する(参照番号1111)。また、環境センサーや状態センサーの出力情報を補正する際に使用する補正情報(キャリブレーション情報や補正係数、補正アルゴリズムを含む)を、特性情報としてROM201A内に格納している。
そして、画像表示を行なうアプリケーションを実行中のCPU301は、RAM201Bから環境センサーや状態センサーの出力情報からなる特性情報をバス304経由で読み出す(参照番号1112)。また、CPU301は、必要に応じて、センサーの出力情報を補正する際に使用する補正情報からなる特性情報も、バス304経由でROM201Aから読み出して送信する。
次いで、CPU301は、要求された画像を、受信した特性情報に応じて画像処理を行ない、さらに必要に応じて画像に対する補正処理を行なった後に、バス304経由でディスプレイ315から表示出力する(参照番号1113)。この結果、ディスプレイ315では、特性情報に応じて処理された画像を表示し、ユーザーは、現在自分が置かれている環境や自分の状態に応じた画像を利用することができる。例えば、上述したような画像情報のサービス(1)〜(4)を提供することができる。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像データを送受信可能な情報通信端末に接続される画像表示装置において、
画像を表示する表示部と、
前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、
前記表示部、前記光学系、又は前記センサーに関する特性情報を保持する特性情報保持部と、
前記情報通信端末に前記特性情報を送信する送信部と、前記情報通信端末側で前記特性情報に基づいて画像処理された画像又は情報を受信する受信部を有し、前記画像処理された画像。
(2)前記センサーは、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つであり、
前記表示部、前記光学系、又は前記センサーに関する特性情報は、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報である、
上記(1)に記載の画像表示装置。
(3)画像を表示する表示部と、前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーとを備え、画像データを送受信可能な情報通信端末に接続される画像表示装置における画像表示方法において、
前記表示部、前記光学系、又は前記センサーに関する特性情報を保持する特性情報保持ステップと、
前記情報通信端末に前記特性情報を送信する送信ステップと、
前記情報通信端末側で前記特性情報に基づいて画像処理された画像又は情報を受信する受信ステップと、
前記画像処理された画像を前記表示部に表示出力する表示ステップと、
を有する画像表示方法。
(4)画像データを送受信可能な情報通信端末に接続される画像表示装置において、
画像を表示する表示部と、
前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、
前記画像表示装置に固有の識別情報を保持する識別情報保持部と、
前記情報通信端末に前記識別情報を送信する送信部と、前記情報通信端末側で前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて画像処理された画像又は情報を受信する受信部を有し、前記画像処理された画像を前記表示部に表示出力させる制御部と、
を具備する画像表示装置。
(5)画像を表示する表示部と、前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーとを備え、画像データを送受信可能な情報通信端末に接続される画像表示装置における画像表示方法において、
前記画像表示装置に固有の識別情報を保持する識別情報保持ステップと、
前記情報通信端末に前記識別情報を送信する送信ステップと、
前記情報通信端末側で前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて画像処理された画像又は情報を受信する受信ステップと、
前記画像処理された画像を前記表示部に表示出力する表示ステップと、
を有する画像表示方法。
(6)画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末において、
前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得する特性情報取得部と、
前記画像表示装置に提供する画像を、前記特性情報に基づいて処理する画像処理部と、
前記画像処理部により処理した後の画像を前記画像表示装置に送出する画像送信部と、
を具備する情報通信端末。
(7)前記画像表示装置は、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つを有し、
前記特性情報取得部は、前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報を前記特性情報として取得する、
上記(6)に記載の情報通信端末。
(8) 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末の情報通信方法において、
前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得する特性情報取得ステップと、
前記画像表示装置に提供する画像を、前記特性情報に基づいて処理する画像処理ステップと、
前記画像処理ステップにより処理した後の画像を前記画像表示装置に送出する画像送信ステップと、
を有する情報通信方法。
(9)画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末において、
前記画像表示装置に固有の識別情報を前記画像表示装置から取得する識別情報取得部と、
前記画像表示装置に提供する画像を、前記識別情報に基づいて取得した前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理する画像処理部と、
前記画像処理部により処理した後の画像を前記画像表示装置に送出する画像送信部と、
を具備する情報通信端末。
(10)画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末の情報通信方法において、
前記画像表示装置に固有の識別情報を取得する識別情報取得ステップと、
前記画像表示装置に提供する画像を、前記識別情報に基づいて取得した前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理する画像処理ステップと、
前記画像処理ステップにより処理した後の画像を前記画像表示装置に送出する画像送信ステップと、
を有する情報通信方法。
(11)画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、前記光学系又は前記センサーに関する特性情報を有する画像表示装置と、
前記画像表示装置に接続され、画像データを送受信可能な情報通信端末と、
を具備し、
前記情報通信端末は、前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得し、前記特性情報に基づいて処理した後の画像を前記画像表示装置に送出する、
画像表示システム。
(12)前記画像表示装置は、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つを有し、
前記情報通信端末は、前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報を前記特性情報として取得する、
上記(11)に記載の画像表示システム。
(13)画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、前記光学系又は前記センサーに関する特性情報を有する画像表示装置と、
前記画像表示装置に接続され、画像データを送受信可能な情報通信端末と、
を具備し、
前記情報通信端末は、前記画像表示装置に固有の識別情報を前記画像表示装置から取得するとともに、前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理した後の画像を前記画像表示装置に送出する、
画像表示システム。
特開2012−141461号公報 特開2009−36955号公報 特開2008−258802号公報
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
頭部装着型の画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、頭部装着型の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。
また、情報通信端末の一例として、スマートフォンなどの多機能携帯端末を挙げたが、画像情報を外部に出力可能な他のさまざまな情報機器を情報通信端末として用いることができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
1…画像表示システム
10…画像表示装置(ヘッド・マウント・ディスプレイ)
20…情報通信端末(多機能携帯端末)
201…制御部、201A…ROM、201B…RAM
202…入力操作部、203…リモコン受信部
204…環境情報取得部、205…状態情報取得部
206…通信部、207…映像処理部
208…表示駆動部、209…表示パネル、210…虚像光学部
301…CPU、302…ROM、303…RAM
304…バス、305…記憶部
306…携帯電話送受信部、307…システム内通信部
308…ワンセグ・チューナー部、309…操作部
310…LED、311…バイブレーター
312…音声入出力制御部、313…マイクロフォン、314…スピーカー
315…ディスプレイ、316…撮像部

Claims (13)

  1. 画像データを送受信可能な情報通信端末に接続される画像表示装置において、
    画像を表示する表示部と、
    前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、
    前記表示部、前記光学系、又は前記センサーに関する特性情報を保持する特性情報保持部と、
    前記情報通信端末に前記特性情報を送信する送信部と、前記情報通信端末側で前記特性情報に基づいて画像処理された画像又は情報を受信する受信部を有し、前記画像処理された画像を前記表示部に表示出力させる制御部と、
    を具備する画像表示装置。
  2. 前記センサーは、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つであり、
    前記表示部、前記光学系、又は前記センサーに関する特性情報は、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報である、
    請求項1に記載の画像表示装置。
  3. 画像を表示する表示部と、前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーとを備え、画像データを送受信可能な情報通信端末に接続される画像表示装置における画像表示方法において、
    前記表示部、前記光学系、又は前記センサーに関する特性情報を保持する特性情報保持ステップと、
    前記情報通信端末に前記特性情報を送信する送信ステップと、
    前記情報通信端末側で前記特性情報に基づいて画像処理された画像又は情報を受信する受信ステップと、
    前記画像処理された画像を前記表示部に表示出力する表示ステップと、
    を有する画像表示方法。
  4. 画像データを送受信可能な情報通信端末に接続される画像表示装置において、
    画像を表示する表示部と、
    前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、
    前記画像表示装置に固有の識別情報を保持する識別情報保持部と、
    前記情報通信端末に前記識別情報を送信する送信部と、前記情報通信端末側で前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて画像処理された画像又は情報を受信する受信部を有し、前記画像処理された画像を前記表示部に表示出力させる制御部と、
    を具備する画像表示装置。
  5. 画像を表示する表示部と、前記表示部から出力される画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーとを備え、画像データを送受信可能な情報通信端末に接続される画像表示装置における画像表示方法において、
    前記画像表示装置に固有の識別情報を保持する識別情報保持ステップと、
    前記情報通信端末に前記識別情報を送信する送信ステップと、
    前記情報通信端末側で前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて画像処理された画像又は情報を受信する受信ステップと、
    前記画像処理された画像を前記表示部に表示出力する表示ステップと、
    を有する画像表示方法。
  6. 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末において、
    前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得する特性情報取得部と、
    前記画像表示装置に提供する画像を、前記特性情報に基づいて処理する画像処理部と、
    前記画像処理部により処理した後の画像を前記画像表示装置に送出する画像送信部と、
    を具備する情報通信端末。
  7. 前記画像表示装置は、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つを有し、
    前記特性情報取得部は、前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報を前記特性情報として取得する、
    請求項6に記載の情報通信端末。
  8. 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末の情報通信方法において、
    前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得する特性情報取得ステップと、
    前記画像表示装置に提供する画像を、前記特性情報に基づいて処理する画像処理ステップと、
    前記画像処理ステップにより処理した後の画像を前記画像表示装置に送出する画像送信ステップと、
    を有する情報通信方法。
  9. 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末において、
    前記画像表示装置に固有の識別情報を前記画像表示装置から取得する識別情報取得部と、
    前記画像表示装置に提供する画像を、前記識別情報に基づいて取得した前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理する画像処理部と、
    前記画像処理部により処理した後の画像を前記画像表示装置に送出する画像送信部と、
    を具備する情報通信端末。
  10. 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーを有する画像表示装置に接続され、画像データを送受信可能な情報通信端末の情報通信方法において、
    前記画像表示装置に固有の識別情報を取得する識別情報取得ステップと、
    前記画像表示装置に提供する画像を、前記識別情報に基づいて取得した前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理する画像処理ステップと、
    前記画像処理ステップにより処理した後の画像を前記画像表示装置に送出する画像送信ステップと、
    を有する情報通信方法。
  11. 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、前記光学系又は前記センサーに関する特性情報を有する画像表示装置と、
    前記画像表示装置に接続され、画像データを送受信可能な情報通信端末と、
    を具備し、
    前記情報通信端末は、前記画像表示装置から前記表示部、前記光学系、又は前記センサーに関する特性情報を取得し、前記特性情報に基づいて処理した後の画像を前記画像表示装置に送出する、
    画像表示システム。
  12. 前記画像表示装置は、加速度センサー、GPSセンサー、ジャイロ・センサー、速度センサー、圧力センサー、温度センサー、発汗センサー、筋電センサー、眼電センサー、又は放射線センサーのうち少なくとも1つを有し、
    前記情報通信端末は、前記画像表示装置の前記表示部、前記光学系、又は前記センサーに関する、キャリブレーション情報、補正係数、補正アルゴリズム、若しくは前記センサーの出力情報を前記特性情報として取得する、
    請求項11に記載の画像表示システム。
  13. 画像を表示する表示部、前記表示部の表示画像を光学処理する光学系、又は、前記画像表示装置又は前記画像表示装置の使用者に関する情報を検出するセンサーと、前記光学系又は前記センサーに関する特性情報を有する画像表示装置と、
    前記画像表示装置に接続され、画像データを送受信可能な情報通信端末と、
    を具備し、
    前記情報通信端末は、前記画像表示装置に固有の識別情報を前記画像表示装置から取得するとともに、前記識別情報に基づいて取得した前記表示部、前記光学系、又は前記センサーに関する特性情報を用いて処理した後の画像を前記画像表示装置に送出する、
    画像表示システム。
JP2014532898A 2012-08-27 2013-08-02 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム Pending JPWO2014034378A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012187028 2012-08-27
JP2012187028 2012-08-27
PCT/JP2013/070978 WO2014034378A1 (ja) 2012-08-27 2013-08-02 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム

Publications (1)

Publication Number Publication Date
JPWO2014034378A1 true JPWO2014034378A1 (ja) 2016-08-08

Family

ID=50183196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014532898A Pending JPWO2014034378A1 (ja) 2012-08-27 2013-08-02 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム

Country Status (8)

Country Link
US (1) US20150213573A1 (ja)
EP (1) EP2889873B1 (ja)
JP (1) JPWO2014034378A1 (ja)
KR (1) KR20150047481A (ja)
CN (1) CN104584115B (ja)
MY (1) MY174590A (ja)
RU (1) RU2649950C2 (ja)
WO (1) WO2014034378A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483754A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
JP6638325B2 (ja) * 2015-10-30 2020-01-29 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20160165220A1 (en) * 2014-12-08 2016-06-09 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
EP3399364A4 (en) * 2015-12-31 2019-09-11 Shenzhen Royole Technologies Co., Ltd. DISPLAY DEVICE ATTACHED TO HEAD AND DISPLAY SYSTEM ATTACHED TO HEAD
US10176785B2 (en) * 2016-05-17 2019-01-08 International Business Machines Corporation System and method of adjusting a device display based on eyewear properties
GB2557569B (en) * 2016-09-09 2022-07-06 Displaylink Uk Ltd Adjusting display data
US10354573B2 (en) * 2017-07-25 2019-07-16 Lenovo (Singapore) Pte Ltd Screen color calibration
CN107633792B (zh) * 2017-08-31 2023-07-21 北京集创北方科技股份有限公司 一种显示设备和显示控制方法
CN107517332A (zh) * 2017-09-25 2017-12-26 四川长虹电器股份有限公司 基于电视机的自动gamma数据校正系统
CN108282664B (zh) 2018-01-30 2020-12-29 深圳创维-Rgb电子有限公司 图像处理方法、装置、系统及计算机可读存储介质
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US11562712B2 (en) * 2018-09-26 2023-01-24 Sharp Nec Display Solutions, Ltd. Video reproduction system, video reproduction device, and calibration method for video reproduction system
CN114682524B (zh) * 2020-12-31 2023-07-28 合肥美亚光电技术股份有限公司 一种信号校正方法、装置及分选设备
CN113538733B (zh) * 2021-07-09 2023-03-14 江苏金海星导航科技有限公司 一种基于卫星通信和云计算技术的黑匣子系统
CN117572647B (zh) * 2024-01-15 2024-04-26 北京晟启光芯科技有限公司 一种微显示器、智能显示装置及其画面防抖方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032212A (ja) * 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
JP2006189476A (ja) * 2004-12-28 2006-07-20 Konica Minolta Photo Imaging Inc 表示システム
JP2007065899A (ja) * 2005-08-30 2007-03-15 Canon Inc 表示装置、表示制御装置、及び制御方法
JP2008005460A (ja) * 2006-05-22 2008-01-10 Canon Inc 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0121584D0 (en) * 2001-09-06 2001-10-24 Sockatyes Ltd A display device
CN100350792C (zh) * 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
JP2008258802A (ja) 2007-04-03 2008-10-23 Canon Inc 画像表示システム
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
JP5092609B2 (ja) 2007-08-01 2012-12-05 ソニー株式会社 画像表示装置及びその駆動方法
US8248509B2 (en) * 2008-08-01 2012-08-21 Canon Kabushiki Kaisha Information registration system, information registration method, registration apparatus, and image pickup apparatus
JP5870929B2 (ja) * 2010-11-02 2016-03-01 日本電気株式会社 情報処理システム、情報処理装置および情報処理方法
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
US10083639B2 (en) * 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
US9285871B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US20130248691A1 (en) * 2012-03-23 2013-09-26 Google Inc. Methods and Systems for Sensing Ambient Light

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032212A (ja) * 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
JP2006189476A (ja) * 2004-12-28 2006-07-20 Konica Minolta Photo Imaging Inc 表示システム
JP2007065899A (ja) * 2005-08-30 2007-03-15 Canon Inc 表示装置、表示制御装置、及び制御方法
JP2008005460A (ja) * 2006-05-22 2008-01-10 Canon Inc 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム

Also Published As

Publication number Publication date
KR20150047481A (ko) 2015-05-04
EP2889873A4 (en) 2016-03-09
US20150213573A1 (en) 2015-07-30
WO2014034378A1 (ja) 2014-03-06
RU2649950C2 (ru) 2018-04-05
EP2889873A1 (en) 2015-07-01
EP2889873B1 (en) 2018-07-11
CN104584115B (zh) 2019-04-05
MY174590A (en) 2020-04-28
RU2015105987A (ru) 2016-09-10
CN104584115A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
WO2014034378A1 (ja) 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム
CN105684074B (zh) 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
US9448625B2 (en) Head-mounted display device, control method for head-mounted display device, and image display system
CN104469464B (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
US11178344B2 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
KR102318013B1 (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
JP6852411B2 (ja) 映像信号処理装置、映像信号処理方法およびプログラム
JPWO2017138458A1 (ja) 映像表示システム
JP2017022665A (ja) 映像表示システム、映像表示装置及び映像表示方法
JP2023525191A (ja) 環境的に整合した人工現実コンテンツを生成するために光センサーを使用するディスプレイ
US20210136296A1 (en) Electronic device capable of controlling image display effect, and method for displaying image
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
US20150269779A1 (en) Head-Mounted Augumented Reality Display System
EP3675477B1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
CN105227828B (zh) 拍摄装置和方法
WO2014098143A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
CN109636715A (zh) 图像数据的传输方法、装置及存储介质
JP2018157578A (ja) 映像表示システム、映像表示装置及び映像表示方法
EP3687167A1 (en) Stereo infrared imaging for head mounted devices
US20230324988A1 (en) Display calibration
JP6686697B2 (ja) 送信制御プログラム、送信制御方法および送信制御システム
WO2021140711A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法
JP2021110825A (ja) 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法
JP2021110824A (ja) 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171003