WO2015159847A1 - シースルー型表示装置およびその表示方法 - Google Patents
シースルー型表示装置およびその表示方法 Download PDFInfo
- Publication number
- WO2015159847A1 WO2015159847A1 PCT/JP2015/061361 JP2015061361W WO2015159847A1 WO 2015159847 A1 WO2015159847 A1 WO 2015159847A1 JP 2015061361 W JP2015061361 W JP 2015061361W WO 2015159847 A1 WO2015159847 A1 WO 2015159847A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display
- solid
- video
- display device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 15
- 239000007787 solid Substances 0.000 claims abstract description 68
- 238000012937 correction Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 abstract description 2
- 235000019557 luminance Nutrition 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
- G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
Abstract
表示される映像が外界の自然画像と重ねあわされることによる視認性の低下が抑制されるシースルー型の表示装置を提供する。 シースルー型の本表示装置１００は、カメラ３０により外界の自然画像を取得し（Ｓ１００）、そのベタ領域を検出し（Ｓ１１０）、表示すべき映像領域の表示位置を読み込んで（Ｓ１２０）、ベタ領域内か否か判定する（Ｓ１３０）。ベタ領域内でない場合にはベタ領域内に表示位置を変更し（Ｓ１４０）、ベタ領域内である場合にはその位置のまま映像を表示する（Ｓ１５０）。このように外界の自然画像に含まれるベタ領域内に映像が表示されるため、映像の視認性が向上する。
Description
本発明は、シースルー型表示装置および表示方法に関し、より詳しくはヘッドマウントディスプレイなどの表示装置に使用されるシースルー型表示装置および表示方法に関する。
頭部に装着するヘッドマウントディスプレイなどの表示装置では、表示画面またはその虚像を通して外界を見ることができるシースルー型の表示装置が使用されることが多い。このようなシースルー型の表示装置は、導光板によって表示素子からの映像光を観察者の瞳に導くことにより表示画面の虚像を形成する構成のものや、液晶パネルが透明基板によって構成されているものなど、従来より種々の構成が提案されている。
ここで、上記のシースルー型の表示装置では、外界が明るい場合、外界光に比べて表示される映像の輝度が低くなるため、映像のコントラストが低下して見にくくなることがある。また外界の自然画像と重ねあわされると見えにくくなることがある。
このように見えにくくなる場合に見やすい映像を提供するため、例えば、日本の特開２０１２－８８４７２号公報には、外界光が所定の閾値より強い場合、映像光を瞳に導く導光板の外界側に調光板を設け、外界光の透過状態を調節するシースルー型の表示装置の構成が開示されている。この構成を以下では、第１の従来例と呼ぶ。
また、例えば、日本の特開２０１３－１７４７０８号公報には、照度センサによって検出される外界照度に応じてバックライトの輝度を決定するシースルー型の液晶表示装置の構成が開示されている。この構成を以下では、第２の従来例と呼ぶ。
さらに、例えば、日本の特開２０１３－１７１０７４号公報には、撮像手段によって取得された背景の明るさを判定し、背景の明るさに基づいて表示部の明るさを調整するシースルー型の表示装置の構成が開示されている。この構成を以下では、第３の従来例と呼ぶ。
さらにまた、例えば、日本の特開２００８－１１６７０４号公報には、背景の明るさに応じて表示されるべき線画像の白黒を反転させるシースルー型の表示装置の構成が開示されている。この構成を以下では、第４の従来例と呼ぶ。
また、例えば、日本の特開平６－３３５００７号公報には、光センサによって眼に入ると同じ方向の外界光の光量を検出し、当該光量に応じてバックライト輝度または液晶パネルの光透過率を調節するシースルー型の表示装置の構成が開示されている。この構成を以下では、第５の従来例と呼ぶ。
しかし、上記第１の従来例では、調光板の制御がさらに必要となり、また調光板の重量が増加する問題点がある。また上記第２および第３の従来例では、外界が明るいほど表示部を明るくするため、消費電力が増大する問題点がある。さらに、上記第４の従来例では、線画像の視認性は向上するが、それ以外の映像が表示される場合には適さない問題点がある。さらにまた、上記第１から第５までの従来例では、映像が外界の自然画像と重ねあわされる場合には視認性があまり向上しない問題点がある。
そこで本発明では、表示される映像が外界の自然画像と重ねあわされる場合にも視認性が向上するシースルー型の表示装置を提供することを目的とする。
本発明の第１の局面は、外界からの光を透過しつつ映像を表示するシースルー型の表示装置であって、
外界の像を取得する撮像部と、
前記映像を表示画面上に表示する表示制御装置と、
前記撮像部により取得される外界の像のうち、同一輝度の画素からなるベタ画像および当該ベタ画像に近似する画像の少なくとも一方からなるベタ領域を検出するベタ領域検出部と
を備え、
前記表示制御装置は、前記映像が表示される領域と、前記ベタ領域検出部により検出されるベタ領域に対応する外界の像とが前記表示画面に対応する領域上で重なる面積が最大になるようにまたは最大に近づくように、前記映像が表示される前記表示画面上の位置を決定することを特徴とする。
外界の像を取得する撮像部と、
前記映像を表示画面上に表示する表示制御装置と、
前記撮像部により取得される外界の像のうち、同一輝度の画素からなるベタ画像および当該ベタ画像に近似する画像の少なくとも一方からなるベタ領域を検出するベタ領域検出部と
を備え、
前記表示制御装置は、前記映像が表示される領域と、前記ベタ領域検出部により検出されるベタ領域に対応する外界の像とが前記表示画面に対応する領域上で重なる面積が最大になるようにまたは最大に近づくように、前記映像が表示される前記表示画面上の位置を決定することを特徴とする。
本発明の第２の局面は、本発明の第１の局面において、
前記表示制御装置は、外界の明るさを検出する照度センサをさらに備えていることを特徴とする。
前記表示制御装置は、外界の明るさを検出する照度センサをさらに備えていることを特徴とする。
本発明の第３の局面は、本発明の第２の局面において、
前記表示制御装置は、前記照度センサにより検出される明るさが大きくなると、ガンマ値が小さくなるようにガンマ補正を行うことを特徴とする。
前記表示制御装置は、前記照度センサにより検出される明るさが大きくなると、ガンマ値が小さくなるようにガンマ補正を行うことを特徴とする。
本発明の第４の局面は、本発明の第２または第３の局面において、
前記表示制御装置は、
前記映像を形成するための光を発するバックライトと、
前記バックライトからの光を透過させることにより前記表示画面上に前記映像を形成する表示パネルとを含み、
外界の明るさが大きくなると、前記バックライトの発光輝度を大きくすることを特徴とする。
前記表示制御装置は、
前記映像を形成するための光を発するバックライトと、
前記バックライトからの光を透過させることにより前記表示画面上に前記映像を形成する表示パネルとを含み、
外界の明るさが大きくなると、前記バックライトの発光輝度を大きくすることを特徴とする。
本発明の第５の局面は、外界からの光を透過しつつ映像を表示するシースルー型表示装置における表示方法であって
外界の像を取得する撮像ステップと、
前記映像を表示画面上に表示する表示制御ステップと、
前記撮像ステップにおいて取得される外界の像のうち、同一輝度の画素からなるベタ画像および当該ベタ画像に近似する画像の少なくとも一方からなるベタ領域を検出するベタ領域検出ステップと
を備え、
前記表示制御ステップでは、前記映像が表示される領域と、前記ベタ領域検出ステップにより検出されるベタ領域に対応する外界の像とが前記表示画面に対応する領域上で重なる面積が最大になるようにまたは最大に近づくように、前記映像が表示される前記表示画面上の位置を決定することを特徴とする。
外界の像を取得する撮像ステップと、
前記映像を表示画面上に表示する表示制御ステップと、
前記撮像ステップにおいて取得される外界の像のうち、同一輝度の画素からなるベタ画像および当該ベタ画像に近似する画像の少なくとも一方からなるベタ領域を検出するベタ領域検出ステップと
を備え、
前記表示制御ステップでは、前記映像が表示される領域と、前記ベタ領域検出ステップにより検出されるベタ領域に対応する外界の像とが前記表示画面に対応する領域上で重なる面積が最大になるようにまたは最大に近づくように、前記映像が表示される前記表示画面上の位置を決定することを特徴とする。
本発明の第１の局面によれば、映像が表示される領域と、ベタ領域に対応する外界の像とが表示画面に対応する領域（例えば虚像として形成される領域）上で重なる面積が最大になるようにまたは最大に近づくように映像が表示される表示画面上の位置が決定されるので、例えば外界の自然画像に含まれるベタ領域内に映像が表示され、映像の視認性が向上する。
本発明の第２の局面によれば、外界の明るさを照度センサにより測定するため、正確な外界の明るさに基づき、映像の視認性を向上させることができる。
本発明の第３の局面によれば、外界の明るさが大きくなるとガンマ値が小さくなるようにガンマ補正が行われるため、例えば中間階調値付近の階調が大きくなり、さらに映像の視認性が向上する。
本発明の第４の局面によれば、外界の明るさが大きくなると、バックライトの発光輝度を大きくするので、外界が明るい場合にも映像の視認性を向上させることができる。
本発明の第５の局面によれば、第==の発明における効果と同様の効果を表示方法において奏することができる。
以下、本発明の各実施形態について添付図面を参照して説明する。
＜１． 第１の実施形態＞
＜１．１ 表示装置の全体的な構造＞
図１は、本実施形態のシースルー型表示装置の概略的な構造を示す斜視図である。この図１に示されるシースルー型表示装置（以下、単に「表示装置」と称する）１００は、両眼に対応する２つの表示画面の虚像を形成するヘッドマウントディスプレイであって、眼鏡のように頭部に装着することにより、虚像である表示画面上で映像を見ながら当該表示画面の虚像を通して（虚像に重ね合わせて）外界の像を見ることができる。
＜１． 第１の実施形態＞
＜１．１ 表示装置の全体的な構造＞
図１は、本実施形態のシースルー型表示装置の概略的な構造を示す斜視図である。この図１に示されるシースルー型表示装置（以下、単に「表示装置」と称する）１００は、両眼に対応する２つの表示画面の虚像を形成するヘッドマウントディスプレイであって、眼鏡のように頭部に装着することにより、虚像である表示画面上で映像を見ながら当該表示画面の虚像を通して（虚像に重ね合わせて）外界の像を見ることができる。
この表示装置１００は、第１の表示装置１０１と、第２の表示装置１０２と、左側筐体１１１と、右側筐体１１２と、カメラ３０とを備える。このカメラ３０は、外界の像を取得する撮像手段として機能する。また、第１および第２の表示装置１０１、１０２は、いずれも単独でシースルー型表示装置の表示部として機能する。例えば、第１の表示装置１０１は、使用者の左眼に向けて、外界光Ｌｏを透過しつつ、映像光Ｌｄを投射する。さらに、図２を参照して、表示装置の詳しい構成を説明する。なお、以下では、第１の表示装置１０１について説明するが、第２の表示装置１０２も同一の構成であり同様の動作を行うため、その説明を省略する。
図２は、第１の表示装置１０１の構成を説明するための図である。図２に示されるように、使用者の左眼Ｅｌは、導光板４０を通して外界光Ｌｏを受け取るとともに、導光板４０の左側から入射される映像光Ｌｄを受け取る。この導光板４０は、光透過性の樹脂材料またはガラス材料等により形成され、内部に光路変換のためのプリズム部４１と、外界光Ｌｏの入射面および出射面に沿って内部に配置される図示されない多数の半透過性の微小ミラーとを含む。なお、プリズム部４１や微小ミラーは、銀やアルミニウムなどの周知の反射膜からなる。
導光板４０の左側から入射された映像光Ｌｄは、多数の微少ミラーによって上記二つの面から内側へ向かって反射されながらプリズム部４１まで到達し、そこで光路変換されることにより、使用者の左眼Ｅｌに投射される。また、入射面から入射された外界光Ｌｏは、導光板４０をそのまま透過し、使用者の左眼Ｅｌに到達する。このような導光板４０の構造は、日本の特開２０１２－８８４７２号公報に記載される上記第１の従来例のように周知のものであるため、詳しい説明を省略する。
この導光板４０の右側から入射される映像光Ｌｄは、バックライト７０と、液晶パネル６０と、コリメートレンズ５０とにより生成される。すなわち、バックライト７０から放たれた光は、アクティブマトリクス型の液晶パネル６０に配列される画素形成部の液晶層を通過する。そのとき液晶層の光透過率が各画素形成部毎に制御されることにより、表示されるべき画像が形成される。形成された画像は、コリメートレンズ５０を通ることにより平行光の映像光Ｌｄとなる。これらの構成も上記第１の従来例のように周知であるため、詳しい説明を省略する。
なお、これらバックライト７０、液晶パネル６０、およびコリメートレンズ５０は、左側筐体１１１に格納される。また、右側筐体１１２にも同様の構成要素が備えられている。次に、図３を参照して、表示装置１００の全体的な機能構成を説明する。
図３は、表示装置１００の全体的な構成を示すブロック図である。この図３に示される表示装置１００は、第１の表示装置１０１と、第２の表示装置１０２と、制御装置１１と、カメラ３０とを備えている。
制御装置１１は、一般的な制御用のコンピュータであって、ＣＰＵ、ＲＡＭ、ＲＯＭ，および入出力インタフェースなどを備えている。また、ＲＯＭ内には、本発明の特徴的な構成であるベタ領域の検出などの画像処理を行うためのプログラムが格納されている。このような制御装置１１の構成も周知であるため詳しい説明を省略する。なお、制御装置１１は、図示されない外部の映像出力装置（例えば携帯端末など）から出力される映像信号を受け取り、第１および第２の表示装置１０１、１０２に映像として表示する。
ここで、この制御装置１１は、図１には図示されていないが、左側筐体１１１に格納されている。なおこのような構造は例示であって、右側筐体１１２に格納されていても、両方にそれぞれ１つずつまたは１つが複数の構成要素に分割されて格納されていてもよい。また、離れた位置の筐体に格納され、第１および第２の表示装置１０１、１０２と、カメラ３０との間で無線により接続される構成であってもよい。次に、制御装置１１における表示制御の動作について、図４を参照して説明する。
＜１．２ 制御装置の動作＞
図４は、制御装置１１における動作の流れを示すフローチャートである。図４に示されるステップＳ１００において、制御装置１１は、カメラ３０から画像を取得する。ここで前述したように、カメラ３０は外界光を受け取るが、カメラ３０によって受け取られた外界光と、利用者の眼によって受け取られた外界光Ｌｏとは通常同一とはならない。そこで、カメラ３０は、その撮像方向や画角などの光学的なパラメータが適宜に調整され、制御装置１１は、上記カメラ３０によって取得された画像を適宜に加工する（例えば拡大、縮小、または切り取りなどを行う）ことによって、利用者の眼に映る像と同一の画像を生成する。このようにして生成された画像を以下では「カメラ画像」と呼ぶ。なお、このような利用者の眼に映る像と同一の画像を生成する技術は周知であるため、詳しい画像処理方法の説明は省略する。
図４は、制御装置１１における動作の流れを示すフローチャートである。図４に示されるステップＳ１００において、制御装置１１は、カメラ３０から画像を取得する。ここで前述したように、カメラ３０は外界光を受け取るが、カメラ３０によって受け取られた外界光と、利用者の眼によって受け取られた外界光Ｌｏとは通常同一とはならない。そこで、カメラ３０は、その撮像方向や画角などの光学的なパラメータが適宜に調整され、制御装置１１は、上記カメラ３０によって取得された画像を適宜に加工する（例えば拡大、縮小、または切り取りなどを行う）ことによって、利用者の眼に映る像と同一の画像を生成する。このようにして生成された画像を以下では「カメラ画像」と呼ぶ。なお、このような利用者の眼に映る像と同一の画像を生成する技術は周知であるため、詳しい画像処理方法の説明は省略する。
次に、ステップＳ１１０において、制御装置１１は、ステップＳ１１０においてカメラ３０により取得され、利用者の眼に映る像と同一になるよう加工された画像であるカメラ画像から、ベタ領域を検出する。このベタ領域は、一般的には単一色の画素のみで構成される画像領域を指すが、ここではこのベタ領域の画像に近似する画像もベタ領域として扱う。
具体的には、制御装置１１は、所定の大きさの画像領域に含まれる全ての画素の輝度が同一か、または所定の値近傍に集中している場合、当該画像領域はベタ領域であると判断する。このような輝度分布の集中が生じているか否かの判断については、輝度ヒストグラムや度数分布表などを使用して統計的に解析を行うなど周知の手法を採用することにより実現することができる。
また、上記カメラ画像に対して周知の微分フィルタを適用することにより、カメラ画像に含まれる輝度が急激に変化している箇所（すなわちエッジ部分）を抽出し、このエッジ部分以外の画像部分をベタ領域としてもよい。このような広義のベタ領域画像（すなわちベタ領域の画像に近似する画像）は、上記の他にも様々な周知の手法により検出することができるため、周知の各種手法を採用することができる。
続いて、ステップＳ１２０において、制御装置１１は、外部の映像出力装置等から受け取った映像を第１の表示装置１０１における（虚像として形成される）表示画面のどの位置に表示するかを示す表示位置をＲＡＭなどの一時的記憶装置から読み込む。この表示位置は、右上隅近傍など、情報が見やすい位置が初期的に定められてＲＯＭに記憶されており、装置起動時にはこの初期的な表示位置がＲＡＭに書き込まれる。
次に、ステップＳ１３０において、制御装置１１は、外部の映像出力装置等から受け取った映像をステップＳ１２０において読み込まれた表示位置に表示する場合、当該映像が占める表示領域（以下、「映像領域」と呼ぶ）が、ステップＳ１１０において検出されたベタ領域の範囲内に表示されるか否かを判断する。判断の結果、ベタ領域内に表示されない場合（ステップＳ１３０においてＮｏの場合）、ベタ領域内に映像が表示されるよう、上記表示位置を変更し（ステップＳ１４０）、当該表示位置に映像を表示して（ステップＳ１５０）、処理は終了する。
また、映像がベタ領域内に表示される場合（ステップＳ１３０においてＹｅｓの場合）には、そのまま当該表示位置に映像を表示し（ステップＳ１５０）、処理は終了する。その後、次の映像を表示すべき場合や、当該表示位置に次々と映像を表示し続けて一定時間が経過した場合などの適宜の時点で、再びステップＳ１００の処理が開始される。
ここで、ステップＳ１４０における処理を中心に、図５および図６を参照しつつ、制御装置１１の動作を具体的に説明する。図５は、映像領域がベタ領域の範囲内に表示されない場合のカメラ画像を示す図であり、図６は、映像領域がベタ領域の範囲内に表示される場合のカメラ画像を示す図である。これらの図中には、映像領域５００が点線で示されている。
まず、ステップＳ１３０において読み込まれた表示位置、すなわち映像領域５００の初期表示位置または前回の表示位置が図５に示す位置である。図５を参照すれば分かるように、映像領域５００は、ベタ領域ではない樹木の像部分に差し掛かっている。この樹木の像に対応する画像部分は、複雑な形状をしており輝度分布が集中していない、または多くのエッジ部分を含むなどの理由から、ステップＳ１１０においてベタ領域とは検出されない。したがって、映像がベタ領域内に表示されない場合（ステップＳ１３０においてＮｏの場合）として、ベタ領域内に映像が表示されるよう、上記表示位置が変更される（ステップＳ１４０）。
ここで、ステップＳ１１０においてベタ領域であると検出される領域は、図５では、例えば空の像部分である。輝度分布が例えば青色に集中している、またはエッジ部分を含まないなどの理由からである。そこで、ステップＳ１４０において、制御装置１１は映像領域５００がベタ領域内に含まれるよう、表示位置を変更する。この表示位置は、ベタ領域の重心位置や、ベタ領域の境界から最も離れた位置などを計算することにより決定してもよいし、予め定められた次の候補位置（例えば左方向に所定距離だけ離れた位置など）に表示位置を変更した場合に映像領域５００がベタ領域内に含まれるかを判定することにより決定してもよい。その他、ベタ領域内に映像領域５００が含まれるような表示位置を計算する種々の方法を適用可能である。
またここでは説明の便宜のため、ベタ領域内に映像領域５００が完全に含まれるよう表示位置を変更する例で説明したが、実際には、ベタ領域内に映像領域５００ができるだけ含まれるよう表示位置を変更する構成であることが好ましい。なぜなら、ベタ領域の大きさが映像領域５００よりも小さい場合や、ベタ領域の形状等の理由から、ベタ領域内に映像領域５００が完全に含まれるよう表示できないことが考えられるためである。そこで、ステップＳ１４０では、ベタ領域と映像領域５００との表示画面（に対応する虚像の領域）上で重なる面積が最大または最大に近づくように、表示位置を決定する構成が好ましい。なお、この最大に近づくように表示位置を決定する構成は、変更前の表示位置においてベタ領域と映像領域５００との表示画面（に対応する虚像の領域）上で重なる面積が、変更後にはそれよりも大きくなる構成であればよく、さらに重なる面積が最大に近くなるような表示位置が他に存在していてもよい。
＜１．３ 効果＞
以上のように、本実施形態におけるシースルー型の表示装置によれば、表示装置による虚像の表示画面上に表示される映像（の虚像）が外界の自然画像と重ねあわされる場合、外界の自然画像に含まれるベタ領域内に映像が表示されるため、映像の視認性が向上する。
以上のように、本実施形態におけるシースルー型の表示装置によれば、表示装置による虚像の表示画面上に表示される映像（の虚像）が外界の自然画像と重ねあわされる場合、外界の自然画像に含まれるベタ領域内に映像が表示されるため、映像の視認性が向上する。
＜２． 第２の実施形態＞
＜２．１ 表示装置の全体的な構造＞
図７は、本実施形態のシースルー型表示装置の概略的な構造を示す斜視図である。この図７に示されるシースルー型表示装置２００は、図１に示される表示装置１００とほぼ同様の構成であるため同一の構成要素には同一の符号を付して説明を省略するが、外界の明るさ（照度）を測定する照度センサ８０が新たに設けられている点が表示装置１００とは異なる。
＜２．１ 表示装置の全体的な構造＞
図７は、本実施形態のシースルー型表示装置の概略的な構造を示す斜視図である。この図７に示されるシースルー型表示装置２００は、図１に示される表示装置１００とほぼ同様の構成であるため同一の構成要素には同一の符号を付して説明を省略するが、外界の明るさ（照度）を測定する照度センサ８０が新たに設けられている点が表示装置１００とは異なる。
また、図８は、表示装置２００の全体的な構成を示すブロック図である。この図８に示される表示装置２００は、上述のように図３に示される表示装置１００とほぼ同様の構成であるため同一の構成要素には同一の符号を付して説明を省略するが、照度センサ８０が新たに設けられている点が表示装置１００とは異なる。以下、照度センサ８０によって測定された外界の明るさに基づく制御装置の表示動作について説明する。
＜２．２ 制御装置の動作＞
上述したように、本実施形態における制御装置１１の動作は、図４に示す制御装置１１における動作の流れと同様であるが、ステップＳ１５０において映像を表示する際に照度センサ８０によって測定された外界の明るさに基づき、後述するガンマ補正に行う際のガンマ値を変更する。
上述したように、本実施形態における制御装置１１の動作は、図４に示す制御装置１１における動作の流れと同様であるが、ステップＳ１５０において映像を表示する際に照度センサ８０によって測定された外界の明るさに基づき、後述するガンマ補正に行う際のガンマ値を変更する。
図９は、ガンマ値によって変化する入力階調値と出力階調値との関係を示す図である。一般的に、液晶パネルなどの表示装置では入力階調値Ｘに対する出力階調値Ｙの関係が必ずしも線形とはならず、おおむね次式（１）のような関係になることが知られている。
Ｙ＝Ｘγ …（１）
Ｙ＝Ｘγ …（１）
したがって、入力階調値Ｘに対する出力階調値Ｙの関係をおおむね線形とするためには上式（１）に対する逆関数に基づき補正を行えばよい。このような補正はガンマ補正と呼ばれている。ここで上式（１）におけるべき乗の指数γをガンマ値（γ値）と呼び、上式（１）におけるべき乗の指数を１／γとした逆関数を使用することにより、ガンマ補正を行うことができる。
図９では、各ガンマ値に応じた入力階調値と出力階調値との関係を点線で示している。この図９を参照すればわかるように、例えば、ガンマ値が２．２のときの上式（１）の逆関数は、ガンマ値が１／２．２のときの上式（１）に相当し、ガンマ値が１．８のときの上式（１）の逆関数は、ガンマ値が１／１．８のときの上式（１）に相当する。したがって、例えば一般的な液晶パネルのガンマ値が２．２であるときには、ガンマ値が１／２．２に対応する関数を使用してガンマ補正を行うことにより、液晶パネルの入力階調値Ｘに対する出力階調値Ｙの関係をおおむね線形（γ＝１）とすることができる。
しかし、外界の明るさが大きいときには、中間階調付近で映像の明るさが相対的に不足することになるため、ガンマ値が１よりも小さくなるようガンマ補正を行うことが好ましい。例えば、外界の明るさが所定値よりも大きいときにはガンマ値が１よりも小さい値である１／１．８となるようにガンマ補正を行い、下界の明るさが上記所定値よりも小さいときにはガンマ値が１になるようガンマ補正を行う構成が考えられる。そうすれば、外界の明るさが大きいときにも、中間階調付近で映像の明るさが大きくなるため、映像の視認性を向上させることができる。
なお、上記ガンマ値は例示であって、表示パネルに固有の表示特性や使用環境などに応じてどのような値を使用してもよく、また明るさに応じて使用されるガンマ値は３つ以上でもよいし、所定の計算式により算出されてもよい。
ここで上記ガンマ補正を行う場合には、一般的に入力階調値と出力階調値との対応関係を示すテーブルが使用されることが多い。そこで、例えばガンマ値を１にするためのガンマ補正用テーブルとガンマ値を１／１．８にするためのガンマ補正用テーブルとを予め作成しておき、これらを外界の明るさに応じて切り替えるような構成が考えられる。また、このような制御装置１１のガンマ補正動作は、画像処理を行うためのプログラムに従って行われる。
＜２．３ 効果＞
以上のように、本実施形態におけるシースルー型の表示装置によれば、第１の実施形態と同様に、表示装置の表示画面上に表示される映像（の虚像）が外界の自然画像と重ねあわされる場合、外界の自然画像に含まれるベタ領域内に映像が表示されるため、映像の視認性が向上するとともに、照度センサにより測定された外界の明るさに応じてガンマ値が変更されるので、さらに映像の視認性が向上する。
以上のように、本実施形態におけるシースルー型の表示装置によれば、第１の実施形態と同様に、表示装置の表示画面上に表示される映像（の虚像）が外界の自然画像と重ねあわされる場合、外界の自然画像に含まれるベタ領域内に映像が表示されるため、映像の視認性が向上するとともに、照度センサにより測定された外界の明るさに応じてガンマ値が変更されるので、さらに映像の視認性が向上する。
＜２．４ 第２の実施形態の変形例＞
第２の実施形態では、照度センサ８０により測定される外界の明るさが大きいとガンマ値を小さくしたガンマ補正を行うことにより、中間階調値の輝度を大きくして映像の視認性を向上させるが、さらに映像光Ｌｄの輝度を大きくするため、バックライト７０の発光輝度を大きくするよう制御してもよい。そうすれば、バックライト７０の輝度を大きくすることにより映像がより明るくなるので、外界が明るい場合にも映像の視認性がより向上する。なお、バックライトの輝度は、予め定められた２つの輝度を切り替える構成だけではなく、３つ以上を切り替えてもよいし、所定の計算式により算出されてもよい。
第２の実施形態では、照度センサ８０により測定される外界の明るさが大きいとガンマ値を小さくしたガンマ補正を行うことにより、中間階調値の輝度を大きくして映像の視認性を向上させるが、さらに映像光Ｌｄの輝度を大きくするため、バックライト７０の発光輝度を大きくするよう制御してもよい。そうすれば、バックライト７０の輝度を大きくすることにより映像がより明るくなるので、外界が明るい場合にも映像の視認性がより向上する。なお、バックライトの輝度は、予め定められた２つの輝度を切り替える構成だけではなく、３つ以上を切り替えてもよいし、所定の計算式により算出されてもよい。
また、このような制御装置１１のバックライト７０の輝度変更動作は、図８に示す画像処理プログラムに従って行われてもよいし、そのほかのバックライト制御プログラムなどに従って行われてもよい。
＜３． その他の変形例＞
上記各実施形態では、眼鏡型のヘッドマウントディスプレイを例に説明したが、外界からの光に対して映像を重ね合わせて表示可能な装置であれば、バイザー型のディスプレイや、携帯型の端末など周知のどのような装置であってもよい。
上記各実施形態では、眼鏡型のヘッドマウントディスプレイを例に説明したが、外界からの光に対して映像を重ね合わせて表示可能な装置であれば、バイザー型のディスプレイや、携帯型の端末など周知のどのような装置であってもよい。
また、上記各実施形態におけるシースルー型表示装置の構成は一例であって、外界からの光に対して映像を重ね合わせて表示可能な周知の装置であれば、ハーフミラーを使用する表示装置や、透明基板を使用した液晶パネルなどが使用されてもよい。ここで透明液晶パネルなどの透明表示パネルを使用する場合には、表示パネルを外界光Ｌｏが直接に透過する構成となるため、表示画面が虚像として形成されるわけではないが、表示画面上で映像と自然画像とが重なり合う点で同じであるため、上記各実施形態における動作と同様の動作を行うことができる。
また上記実施形態では、液晶表示パネルを使用する例で説明したが、マトリクス型の表示装置であれば液晶を使用した表示装置には限定されず、無機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や有機ＥＬ素子等の電気光学素子を使用した表示装置であってもよい。ここで電気光学素子とは、ＥＬ素子の他、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ディスプレイ、ＬＥＤ、電荷駆動素子、Ｅインクなど、電気を与えることにより光学的な特性が変化する全ての素子をいう。
本発明は、ヘッドマウントディスプレイなどの表示装置に使用されるシースルー型表示装置に適用することができる。
１１ …制御装置
３０ …カメラ
４０ …導光板
６０ …液晶パネル
７０ …バックライト
８０ …照度センサ
１００、２００ …シースルー型表示装置
１０１ …第１の表示装置
１０２ …第２の表示装置
５００ …映像領域
Ｌｏ …外界光
Ｌｄ …映像光
３０ …カメラ
４０ …導光板
６０ …液晶パネル
７０ …バックライト
８０ …照度センサ
１００、２００ …シースルー型表示装置
１０１ …第１の表示装置
１０２ …第２の表示装置
５００ …映像領域
Ｌｏ …外界光
Ｌｄ …映像光
Claims (5)
- 外界からの光を透過しつつ映像を表示するシースルー型の表示装置であって、
外界の像を取得する撮像部と、
前記映像を表示画面上に表示する表示制御装置と、
前記撮像部により取得される外界の像のうち、同一輝度の画素からなるベタ画像および当該ベタ画像に近似する画像の少なくとも一方からなるベタ領域を検出するベタ領域検出部と
を備え、
前記表示制御装置は、前記映像が表示される領域と、前記ベタ領域検出部により検出されるベタ領域に対応する外界の像とが前記表示画面に対応する領域上で重なる面積が最大になるようにまたは最大に近づくように、前記映像が表示される前記表示画面上の位置を決定することを特徴とする、シースルー型表示装置。 - 前記表示制御装置は、外界の明るさを検出する照度センサをさらに備えていることを特徴とする、請求項１に記載のシースルー型表示装置。
- 前記表示制御装置は、前記照度センサにより検出される明るさが大きくなると、ガンマ値が小さくなるようにガンマ補正を行うことを特徴とする、請求項２に記載のシースルー型表示装置。
- 前記表示制御装置は、
前記映像を形成するための光を発するバックライトと、
前記バックライトからの光を透過させることにより前記表示画面上に前記映像を形成する表示パネルとを含み、
外界の明るさが大きくなると、前記バックライトの発光輝度を大きくすることを特徴とする、請求項２または請求項３に記載のシースルー型表示装置。 - 外界からの光を透過しつつ映像を表示するシースルー型表示装置における表示方法であって
外界の像を取得する撮像ステップと、
前記映像を表示画面上に表示する表示制御ステップと、
前記撮像ステップにおいて取得される外界の像のうち、同一輝度の画素からなるベタ画像および当該ベタ画像に近似する画像の少なくとも一方からなるベタ領域を検出するベタ領域検出ステップと
を備え、
前記表示制御ステップでは、前記映像が表示される領域と、前記ベタ領域検出ステップにより検出されるベタ領域に対応する外界の像とが前記表示画面に対応する領域上で重なる面積が最大になるようにまたは最大に近づくように、前記映像が表示される前記表示画面上の位置を決定することを特徴とする、表示方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-086819 | 2014-04-18 | ||
| JP2014086819 | 2014-04-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015159847A1 true WO2015159847A1 (ja) | 2015-10-22 |
Family
ID=54324053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/061361 WO2015159847A1 (ja) | 2014-04-18 | 2015-04-13 | シースルー型表示装置およびその表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2015159847A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107991778A (zh) * | 2018-01-17 | 2018-05-04 | 上海渺视光学科技有限公司 | 一种多层微棱镜波导结构近眼显示视频眼镜 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005323175A (ja) * | 2004-05-10 | 2005-11-17 | Mitsubishi Electric Corp | 携帯機器 |
| JP2005338266A (ja) * | 2004-05-25 | 2005-12-08 | Denso Corp | 輝度調整装置、表示装置、及びプログラム |
| JP2006153966A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 携帯情報端末装置 |
| WO2014024649A1 (ja) * | 2012-08-06 | 2014-02-13 | ソニー株式会社 | 画像表示装置および画像表示方法 |
-
2015
- 2015-04-13 WO PCT/JP2015/061361 patent/WO2015159847A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005323175A (ja) * | 2004-05-10 | 2005-11-17 | Mitsubishi Electric Corp | 携帯機器 |
| JP2005338266A (ja) * | 2004-05-25 | 2005-12-08 | Denso Corp | 輝度調整装置、表示装置、及びプログラム |
| JP2006153966A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 携帯情報端末装置 |
| WO2014024649A1 (ja) * | 2012-08-06 | 2014-02-13 | ソニー株式会社 | 画像表示装置および画像表示方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107991778A (zh) * | 2018-01-17 | 2018-05-04 | 上海渺视光学科技有限公司 | 一种多层微棱镜波导结构近眼显示视频眼镜 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9711114B1 (en) | Display apparatus and method of displaying using projectors | |
| JP5420793B1 (ja) | 画像の視認距離を調整できるヘッドマウントディスプレイ | |
| KR101441584B1 (ko) | 투과형 영상표시장치 및 그 방법 | |
| JP6364715B2 (ja) | 透過型表示装置および透過型表示装置の制御方法 | |
| JP6225546B2 (ja) | 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 | |
| US20160266391A1 (en) | Head up display for vehicle and control method thereof | |
| CN108463766B (zh) | 平视显示器装置 | |
| JP6089705B2 (ja) | 表示装置、および、表示装置の制御方法 | |
| US9375639B2 (en) | Image display system and head-mounted display device | |
| US9773459B2 (en) | Image display apparatus that has a light emitting unit and method of controlling same | |
| US20160286626A1 (en) | Display apparatus and method for controlling region for luminance reduction | |
| JP6671942B2 (ja) | ヘッドアップディスプレイ装置 | |
| JP6701657B2 (ja) | 透過型表示装置及び透過型表示装置用の調光シェード | |
| TW201725422A (zh) | 具有可變驅動電壓之液晶顯示器 | |
| JP2018090170A (ja) | ヘッドアップディスプレイシステム | |
| JP2018205621A (ja) | 虚像表示装置、中間像形成部および画像表示光生成ユニット | |
| CN112384883A (zh) | 可穿戴设备及其控制方法 | |
| JP6318038B2 (ja) | ヘッドアップディスプレイ装置 | |
| JP6561606B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP2008116704A (ja) | 映像表示装置 | |
| JP2016130771A (ja) | 表示装置、制御方法、プログラム及び記憶媒体 | |
| WO2015159847A1 (ja) | シースルー型表示装置およびその表示方法 | |
| JP5590412B2 (ja) | 投光システム及び顔撮影システム | |
| TWI536342B (zh) | 顯示器的控制方法 | |
| US20160295183A1 (en) | Image processing device and image display apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15779877 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15779877 Country of ref document: EP Kind code of ref document: A1 |