JP6225546B2 - 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 - Google Patents

表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 Download PDF

Info

Publication number
JP6225546B2
JP6225546B2 JP2013161080A JP2013161080A JP6225546B2 JP 6225546 B2 JP6225546 B2 JP 6225546B2 JP 2013161080 A JP2013161080 A JP 2013161080A JP 2013161080 A JP2013161080 A JP 2013161080A JP 6225546 B2 JP6225546 B2 JP 6225546B2
Authority
JP
Japan
Prior art keywords
display
image
user
display screen
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013161080A
Other languages
English (en)
Other versions
JP2015032131A (ja
Inventor
小林 伸一
伸一 小林
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to JP2013161080A priority Critical patent/JP6225546B2/ja
Publication of JP2015032131A publication Critical patent/JP2015032131A/ja
Application granted granted Critical
Publication of JP6225546B2 publication Critical patent/JP6225546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Description

本発明は、使用者に表示画面を虚像として視認させる透過型の表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法に関するものである。
従来、この種の透過型の表示装置として、使用者の頭部に装着される光学透過型の頭部装着型表示装置が知られている(特許文献1参照)。この表示装置では、使用者が、画像を虚像として視認すると同時に、現実風景(外景)も直接視認可能に構成されている。
特開2012−163637号公報
ところで、この種の透過型の表示装置に、AR(Augmented Reality)システムを適用することが考えられた。すなわち、使用者の視界内における実物体を認識し、視界内(現実風景)の実物体に付加するように拡張現実画像を表示する構成である。例えば、実物体の表面に載置されているかのように、拡張現実画像を表示させる。かかる構成によれば、視認している実物体にAR画像を重ねる構成であるため、撮影画像と画像オブジェクトとを合成する一般的なARシステムに比べ、高いリアル感を得ることができる。
しかしながら、この種の透過型の表示装置に、単にARシステムを適用すると、以下のような問題が生じた。すなわち、この種の透過型の表示装置では、使用者の輻輳角に合わせた焦点距離で画像が視認される。そのため、AR画像の焦点距離が実物体の位置から外れてしまい、AR画像が実物体から離れて認識されてしまうという問題があった。よって、AR画像が、実物体に付加されているように(例えば載置されているように)認識されず、現実空間と仮想空間との親和性が著しく低下してしまう。特に、使用者の輻輳角は、通常、無限遠に合わせた輻輳角となっているので、AR画像の焦点距離が無限遠になる。そのため、実物体が使用者に近ければ近いほど、AR画像が実物体から離れて認識されてしまう。
本発明は、簡単な構成で、拡張現実画像を実物体に付加されているように認識させることができる表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法を適用することを課題としている。
本発明の表示装置は、使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置であって、使用者の視界内における実物体を認識する物体認識部と、使用者から実物体までの距離を検出する距離検出部と、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、表示画面を表示する表示部と、を備え、表示制御部は、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を、表示画面上に表示させることを特徴とする。
本発明の頭部装着型表示装置は、使用者の頭部に装着され且つ使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の頭部装着型表示装置であって、使用者の視界内における実物体を認識する物体認識部と、使用者から実物体までの距離を検出する距離検出部と、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、表示画面を表示する表示部と、を備え、表示制御部は、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を、表示画面上に表示させることを特徴とする。
本発明の表示システムは、使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示システムであって、使用者の視界内における実物体を認識する物体認識部と、使用者から実物体までの距離を検出する距離検出部と、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、表示画面を表示する表示部と、を備え、表示制御部は、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を表示画面に表示させることを特徴とする。
本発明の表示装置の制御方法は、使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置の制御方法であって、使用者の視界内における実物体を認識する物体認識ステップと、使用者から実物体までの距離を検出する距離検出ステップと、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御ステップと、表示画面を表示する表示ステップと、を実行し、表示制御ステップでは、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を表示画面に表示させることを特徴とする。
これらの構成によれば、上記画像によって、検出した実物体までの距離に合った輻輳角となるように使用者の視線(輻輳角:寄り目の度合い)を誘導することで、使用者の輻輳角を実物体の位置に合わせることができ、これに伴って拡張現実画像の焦点距離(焦点位置)を、実物体の位置に合わせることができる。すなわち、特定の画像(例えば画面効果)を表示させるだけで(表示制御のみで)、拡張現実画像の焦点距離を調整することができ、簡単な構成で、拡張現実画像を実物体に付加されているように認識させることができる。よって、拡張現実画像を実物体に付加して表示することができ、現実空間と仮想空間との親和性を向上させることができる。なお、上記画像の表示は、拡張現実画像の表示に先駆けて行うことが好ましい。また、上記画像は、静止画像であっても良いし、動画像であっても良い。
上記の表示装置において、表示制御部は、各アプリケーションを呼び出すための画像オブジェクトであって、透視図法を用いて内向きの遠近画像に変換された複数の画像オブジェクトを、表示画面上に表示させると共に、上記画像として、複数の画像オブジェクトの内向きの傾き度合を徐々に変化させることが好ましい。
この場合、複数の画像オブジェクトは、アイコン、メニューおよび縮小化したアプリケーション画面のいずれかであることが好ましい。
これらの構成によれば、複数の画像オブジェクトにおける内向きの傾き度合を変化させる。すなわち、複数の画像オブジェクトを門扉とする門が、開閉するかのように変化させる。この変化に釣られて使用者の輻輳角が変化する。このように、複数の画像オブジェクトの内向きの傾き度合を変化させることで、各アプリケーションを呼び出すための画像オブジェクトを利用して、使用者の輻輳角を誘導することができる。
また、表示制御部は、表示画面の外縁側から中央側に延びる複数のガイド線を、周方向に並んで配置したガイドを、表示画面上に表示させると共に、上記画像として、ガイドにおけるガイド線の周方向のピッチを徐々に変化させることが好ましい。
この構成によれば、ガイド線の周方向のピッチを徐々に変化させることで、複数のガイド線によって生じた遠近錯視による遠近感を徐々に変化させる。この遠近感の変化に釣られて使用者の輻輳角が変化する。このように、複数のガイド線のピッチを変化させることで、使用者の輻輳角を効果的に誘導することができる。
さらに、表示制御部は、表示画面中央を囲う枠状画像および表示画面中央を囲うリング状画像のいずれか一方の画像を、表示画面上に表示させると共に、上記画像として、一方の画像の大きさを徐々に変化させることが好ましい。
また、表示制御部は、実物体を中心とした枠状画像および実物体を中心としたリング状画像のいずれか一方の画像を、表示画面上に表示させると共に、上記画像として、一方の画像の大きさを徐々に変化させることが好ましい。
これらの構成によれば、枠状画像またはリング状画像の大きさを徐々に変化させることで、枠状画像またはリング状画像が徐々に奥手前方向に移動するかのように錯覚させる。この錯覚に釣られて使用者の輻輳角を変化する。このように、枠状画像またはリング状画像の大きさを変化させることで、使用者の輻輳角を効果的に誘導することができる。
また、表示制御部は、表示画面の外縁側から中央側にかけて暗くなるグラデーション画像を、表示画面上に表示させると共に、上記画像として、グラデーション画像における明暗の変化度合を徐々に変化させることが好ましい。
この構成によれば、明暗のグラデーション画像によって生じた遠近錯視による遠近感を徐々に変化させる。この遠近感の変化に釣られて輻輳角が変化する。このように、グラデーション画像の明暗の変化度合を変化させることで、使用者の輻輳角を効果的に誘導することができる。
一方、実物体に対する使用者の相対的な移動速度を検出する速度検出部を、さらに備え、表示制御部は、速度検出部の検出結果に基づいて、上記画像を調整することが好ましい。
この構成によれば、実物体に対する使用者の相対的な移動速度を加味して上記画像を調整することで、実物体の位置に対する拡張現実画像の焦点距離の合わせ込みを精度良く行うことができる。
また、表示制御部は、使用者の輻輳角を示すインジケーターを表示画面上に表示させることが好ましい。
この構成によれば、使用者がインジケーターを確認することで、自身の輻輳角を確認することができる。
さらに、表示部は、画像光を出力する画像光出力部と、出力された画像光を前記使用者の眼に導く導光部と、を有し、導光部は、外光を透過し、当該外光を画像光と共に使用者の眼に入射させることが好ましい。
この構成によれば、いわゆる虚像投写型の表示装置を用いることで、簡単な構成で且つ安価な透過型の表示装置を提供することができる。
実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。 使用者が視認可能な虚像および現実風景の一例について説明する図である。 頭部装着型表示装置の制御構成について説明するブロック図である。 表示画面について説明する図である。 複数のアイコンによる画面効果について説明する画面遷移図である。 遠近ガイドによる画面効果について説明する画面遷移図である。 ターゲットによる画面効果について説明する画面遷移図である。 頭部装着型表示装置によるAR画像の表示動作について説明するフローチャートである。 ターゲットによる画面効果の第1変形例について説明する画面遷移図である。 ターゲットによる画面効果の第2変形例について説明する画面遷移図である。 グラデーション画像による画面効果について説明する画面遷移図である。 インジケーターについて説明する画面遷移図である。
以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法について説明する。本実施形態では、本発明の表示装置を適用した頭部装着型表示装置を例示する。この頭部装着型表示装置は、使用者の頭部に装着される表示装置であり、ヘッドマウンドディスプレイ(Head Mounted Display:HMD)とも呼ばれる。本実施形態の頭部装着型表示装置は、使用者に画像を虚像として視認させると同時に現実風景(外景)も直接視認可能な光学透過型の頭部装着型表示装置(透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ)であり、眼鏡型(ゴーグル型)の形状を有している。
図1に示すように、頭部装着型表示装置1は、右保持部11と、右表示駆動部12と、左保持部13と、左表示駆動部14と、右光学像表示部15と、左光学像表示部16と、外界用カメラ17と、右耳用の右イヤホン18および左耳用の左イヤホン19と、を有している。
右光学像表示部15および左光学像表示部16は、頭部装着型表示装置1の装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部15の一端と、左光学像表示部16の一端とは、それぞれ、頭部装着型表示装置1の装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部15の他端である端部ERからは、右保持部11が延伸している。同様に、左光学像表示部16の他端である端部ELからは、左保持部13が延伸している。
右保持部11は、右光学像表示部15の端部ERから頭部装着型表示装置1の装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部15とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部13は、左光学像表示部16の端部ELから頭部装着型表示装置1の装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部16とほぼ直角を成すように延伸して設けられた部材である。右保持部11および左保持部13は、眼鏡のテンプル(つる、耳掛け)のようにして、使用者の頭部に頭部装着型表示装置1を保持する。
右表示駆動部12は、右保持部11の内側、換言すれば、頭部装着型表示装置1の装着時における使用者の頭部に対向する側であって、右光学像表示部15の端部ER側に配置されている。また、左表示駆動部14は、左保持部13の内側であって、左光学像表示部16の端部EL側に配置されている。
外界用カメラ17は、頭部装着型表示装置1を装着した状態における使用者の視界方向(使用者の前方)の現実風景23を撮像する。詳細は後述するが、外界用カメラ17による撮像画像は、実物体Aに設けられたマーカーMKの認識、ひいては実物体Aの認識に用いられる。
右イヤホン18および左イヤホン19は、使用者が頭部装着型表示装置1を装着した際に、それぞれ右および左の耳に装着され、右および左の耳への各種音声出力を行う。
次に図2を参照して、頭部装着型表示装置1を装着した使用者が視認可能な虚像22および現実風景23の一例について説明する。図2に示すように、頭部装着型表示装置1を装着した使用者の視界21には、頭部装着型表示装置1が生成する表示画面26が虚像22として表示される。表示画面26は、虚像22が表示される(虚像22を表示可能な)虚像表示領域27全域に表示される。また、使用者の視界21では、使用者は、右光学像表示部15および左光学像表示部16を透過して、現実風景23を見ることができる。図2の例では、現実風景23として、実物体Aであるテーブルが見えている。すなわち、使用者が、視界21内において、虚像22と現実風景23とを同時に視認できるように構成されている。本実施形態では、虚像22(表示画面26)が、使用者の輻輳角に合わせた焦点距離で視認される。
次に図3を参照して、頭部装着型表示装置1の制御構成について説明する。図3に示すように、頭部装着型表示装置1は、使用者に虚像22を視認させる表示部30と、外界用カメラ17と、右イヤホン18と、左イヤホン19と、センサー部31と、電源部32と、無線通信インターフェース33と、これら各部を制御する制御部34とを有している。
センサー部31は、頭部装着型表示装置1の制御に係る各種情報を検出する。具体的には、センサー部31は、距離センサー(距離検出部)41、GPS受信機42および9軸センサー43を有している。距離センサー41は、例えば光学式や超音波式により、使用者(厳密には、頭部装着型表示装置1)から実物体A(厳密にはマーカーMK)までの距離を検出する。GPS受信機42は、GPS信号を受信して、使用者(厳密には、頭部装着型表示装置1)の位置を示す位置情報を取得する。9軸センサー43は、3軸加速度、3軸角速度および3軸地磁気を検出する。
電源部32は、頭部装着型表示装置1の各部に電力を供給する。無線通信インターフェース33は、無線ネットワークを介して、外部サーバーとの通信を行うためのものである。
表示部30は、右表示駆動部(画像光出力部)12と、左表示駆動部(画像光出力部)14と、右光学像表示部15としての右導光板(導光部)46と、左光学像表示部16としての左導光板(導光部)47と、を有している。
右表示駆動部12は、光源として機能する右バックライト(BL)制御部51および右バックライト(BL)52と、表示素子として機能する右LCD(Liquid Crystal Display)制御部53および右LCD54と、右投写光学系55とを含んでいる。
右バックライト制御部51は、入力された制御信号に基づいて、右バックライト52を駆動制御する。右バックライト52は、例えば、LED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部53は、入力された表示データに基づいて、右LCD54を駆動制御する。右LCD54は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系55は、右LCD54から射出された画像光を投写(出力)するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部15としての右導光板46は、光透過性の樹脂素材等によって形成され、右投写光学系55から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。また、右導光板46は、外光(現実風景23の光)を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。
左表示駆動部14は、右表示駆動部12と同様に、左バックライト(BL)制御部61と、左バックライト(BL)62と、左LCD制御部63と、左LCD64と、左投写光学系65とを含んでいる。左表示駆動部14に含まれる各要素の構成や機能は、右表示駆動部12に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部16としての左導光板47は、光透過性の樹脂素材等によって形成され、左投写光学系65から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。また、左導光板47は、外光を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。
このようにして、頭部装着型表示装置1の使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図2に示すように虚像表示領域27内に虚像22(表示画面26)を視認する。すなわち、本頭部装着型表示装置1は、虚像投写型のヘッドマウントディスプレイの構成を有している。本頭部装着型表示装置1では、虚像22を、使用者の輻輳角に合わせた焦点距離で使用者に視認させる。なお、ここでは、画像光を網膜に結像することを、「表示」もしくは「表示する」と呼称している。
制御部34は、CPU(Central Processing Unit)67と、記憶部68とを有している。記憶部68は、ROM(Read Only Memory)やRAM(Random Access Memory)等により構成されており、種々のコンピュータープログラムが格納されている。CPU67は、記憶部68からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)71、画像解析部(物体認識部)72、表示制御部74、表示状態制御部75および音声処理部76として機能する。
画像解析部72は、外界用カメラ17によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部72は、画像解析により実物体Aに設けられた物体認識用のマーカーMKを認識し、マーカーMKが設けられた実物体Aを認識する(マーカーMKおよび実物体Aは図2参照)。これにより使用者の視界21内における実物体Aを認識する。なお、本実施形態では、実物体AにマーカーMKが設けられており、これを認識して実物体Aを認識する構成であるが、マーカーレスで、実物体Aの特徴位置(特徴点)を認識して実物体Aを認識する構成であっても良い。また、GPS受信機42および9軸センサー43から得られた使用者の位置情報と、9軸センサー43から得られた使用者の頭部の向きと、画像解析部72により得られた視界21内におけるマーカーMKの位置とに基づいて、現実空間におけるマーカーMKの位置情報を検出し、検出した位置情報に基づいて実物体Aを認識する構成であっても良い。かかる場合、マーカーMKの位置情報と実物体Aとの対応データは、頭部装着型表示装置1に予め記憶しておく構成であっても良いし、外部サーバーに記憶しておき、マーカーMKの位置情報の検出の都度、対応する実物体Aの情報を、無線通信インターフェース33により、外部サーバーから取得する構成であっても良い。
表示制御部74は、表示データを生成し、表示データを表示部30(右LCD制御部53および左LCD制御部63)に送信する。表示制御部74は、表示画面26の表示データを生成し、この表示データを表示部30に送信することで、表示画面26を表示部30に表示させる。すなわち、本頭部装着型表示装置1では、表示制御部74により、表示画面26の表示データを生成して表示部30に送信し(表示制御ステップ)、表示部30により、送信された表示データに基づいて、表示画面26を表示(画像光を網膜に結像)する(表示ステップ)。
また、表示制御部74は、ARアプリケーションに従って、認識した実物体Aに対するAR画像(拡張現実画像)Gを、表示画面26上に表示させる。具体的には、表示制御部74は、画像解析部72による実物体Aの認識結果に基づいて、
実物体Aに対するAR画像Gを、実物体Aに付加されるように(例えば載置されるように)表示画面26上に配置し表示させる(図2参照)。すなわち、表示制御部74は、実物体Aに付加されて視認されるように、AR画像Gの表示位置、表示サイズおよび向きを決定し、これらに基づいてAR画像Gを表示画面上に配置し表示させる。なお、実物体Aに対するAR画像Gは、各実物体Aに対応する各AR画像Gを記憶部68に記憶しておく構成であっても良いし、各実物体Aに対応する各AR画像Gを、無線通信インターフェース33により外部サーバーから取得する構成であっても良い。また、表示制御部74は、画像解析部72による実物体Aの認識結果に加え、実物体Aに対する使用者の相対的な移動速度を加味してAR画像Gを表示させる。すなわち、距離センサー41および9軸センサー43により実物体Aに対する使用者の相対的な移動速度を検出し(速度検出部)、この検出結果と、上記実物体Aの認識結果とに基づいて、表示画面26上におけるAR画像Gの表示位置、表示サイズおよび向きを決定し、これらに基づいてAR画像Gを配置し表示させる。
また、詳細は後述するが、表示制御部74は、AR画像Gの表示に先駆けて、使用者の輻輳角を、使用者から実物体Aまでの距離に合わせた輻輳角となるように誘導する画面効果を表示させる。
表示状態制御部75は、右表示駆動部12および左表示駆動部14を制御する制御信号を生成し、表示部30に送信することにより、表示部30における画像表示状態を制御する。具体的には、表示状態制御部75は、制御信号により、右LCD制御部53による右LCD54の駆動のON/OFFや、右バックライト制御部51による右バックライト52の駆動ON/OFF、左LCD制御部63による左LCD64の駆動ON/OFFや、左バックライト制御部61による左バックライト62の駆動のON/OFF等を個別に制御することにより、右表示駆動部12および左表示駆動部14のそれぞれによる画像光の生成および射出を制御する。
音声処理部76は、音声信号を右イヤホン18および左イヤホン19に送信して、右イヤホン18および左イヤホン19に音声出力を行わせる。
次に図4を参照して頭部装着型表示装置1の表示画面26について説明する。表示画面26は、各アプリケーションを呼び出すためのアイコン81を配置した画面であり、例えばホーム画面である。図4の例では、AR画像Gを表示させる前の表示画面26を図示している。図4に示すように、表示画面26は、表示画面26の左右に配置された複数のアイコン(画像オブジェクト)81と、中央を除く表示画面26全域に形成された遠近ガイド(ガイド)82と、表示画面26の中央に配置された2重円環状のターゲット83と、を有している。また、表示画面26の中央には、現実風景23を見るための視界確保領域84が予め設定されている。また、表示画面26の背景は、全透過とする。
複数のアイコン81は、視界確保領域84を左右に避けた退避領域85のみに配置されている。複数のアイコン81は、左右の退避領域85に2分され、両退避領域85にそれぞれ配置されている。また、各アイコン81として、矩形のアイコン画像を、透視図法(遠近法)を用いて遠近画像に変換させたものを配置する。具体的には、矩形のアイコン画像を、表示画面26の中央を消失点とし且つ視界確保領域84に対する内向き(視界確保領域84側向き)の遠近画像に変換させたものを配置する。すなわち、矩形のアイコン画像にパースをつけたものを配置している。これにより、複数のアイコン81の矩形のアイコン画像が、使用者から見て、透視図法上、左右の壁に張り付いているかのように表示される。なお、複数のアイコン81には、ARアプリケーションを呼び出すためのアイコン81が含まれている。
遠近ガイド82は、表示画面26中央を消失点とする消失線に相当する複数の第1ガイド線91と、水平線に相当する複数の第2ガイド線92と、鉛直線に相当する複数の第3ガイド線93とを有している。複数の第1ガイド線91は、周方向に並んで配置されており、表示画面26の外縁側から中央側に延びている。具体的には、複数の第1ガイド線91は、視界確保領域84を避け、表示画面26の外縁から視界確保領域84の手前まで延びている。なお、請求項にいう「ガイド線」は、第1ガイド線91により構成されている。
複数の第2ガイド線92は、左右方向に延びると共に、視界確保領域84を避け、表示画面26の上下端部に配置されている。一方、複数の第3ガイド線93は、上下方向に延びると共に、視界確保領域84を避け、表示画面26の左右端部に配置されている。よって、表示画面26の上下端部では、第1ガイド線91および第2ガイド線92が、透視図法上、天壁および底壁の形態を成している。一方、表示画面26の左右端部では、第1ガイド線91および第3ガイド線93が、透視図法上、左側壁および右側壁の形態を成している。すなわち、第1ガイド線91、第2ガイド線92および第3ガイド線93が、透視図法上、前後壁がない部屋状(箱状)の形態を成している。
ターゲット83は、表示画面26の中央を囲う2つのリング状画像94により構成されている。2つのリング状画像94は、径が異なると共に、表示画面26中央を中心点とする同心円状に形成されている。
ここで、表示制御部74による画面効果の表示について説明する。上述したように、表示制御部74は、AR画像Gの表示に先駆けて、使用者の輻輳角(寄り目度合)を、使用者から実物体Aまでの距離に合わせた輻輳角となるように誘導する画面効果を表示させる。具体的には、画面効果として、表示画面26上の画像(複数のアイコン81、遠近ガイド82およびターゲット83)の形態を徐々に変化させることで、使用者の輻輳角(両眼の各視線)を誘導する。本実施形態では、使用者の輻輳角が、画面効果表示前のデフォルトの状態で無限遠に合っているものとし、これを基準として上記距離に合わせるのに必要な輻輳角の調整量を求め、求めた輻輳角の調整量に基づいて、画像の形態の変化量を決定する。なお、輻輳角の調整量に対する上記変化量の決定は、予め実験で得られた各変化量に対する各調整量のデータテーブルに基づいて行われる。
なお、本実施形態では、表示制御部74は、実物体Aに対する使用者の相対的な移動速度に基づいて、画面効果を調整する。すなわち、表示制御部74は、距離センサー41および9軸センサー43により実物体Aに対する使用者の相対的な移動速度を検出し、使用者から実物体Aまでの距離と、当該移動速度に基づいて、上記変化量を決定する。つまり、使用者が移動していると、距離検出時と画面効果表示時とのタイムラグによって、検出した上記距離と、画面効果を表示する時の実際の上記距離とにズレが生じてしまう。本実施形態では、これを加味して変化量を補正する。
次に図5ないし6を参照して、複数のアイコン81、遠近ガイド82およびターゲット83を利用した画面効果について個々に説明する。図5は、複数のアイコン81による画面効果を説明する画面遷移図である。図5に示すように、表示制御部74は、画面効果として、透視図法上の、複数のアイコン81の内向きの傾き度合を徐々に変化させる。つまり、複数のアイコン81を門扉とした門が開閉するかのように徐々に変化させる。すなわち、決定した変化量だけ上記門を徐々に閉塞する。これにより、使用者に、複数のアイコン81が手前側に迫ってくるような錯覚を起こさせることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。
図6は、遠近ガイド82による画面効果を説明する画面遷移図である。図6に示すように、表示制御部74は、画面効果として、遠近ガイド82における第1ガイド線91の周方向のピッチを徐々に変化させる。すなわち、決定した変化量だけ、第1ガイド線91の周方向のピッチを徐々に広くする。これにより、複数の第1ガイド線91によって生じた遠近錯視による遠近感を徐々に変化させることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。
図7は、ターゲット83による画面効果を説明する画面遷移図である。図7に示すように、表示制御部74は、画面効果として、ターゲット83における2つのリング状画像94の大きさを徐々に変化させる。すなわち、決定した変化量だけ、2つのリング状画像94を徐々に拡大させる。これにより、2つのリング状画像94が徐々に手前方向に移動するかのように錯覚させることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。
なお、図5ないし図7では、各画面効果を個々に図示し、画面効果に利用する各画像のみ図示したが、表示制御部74は、AR画像Gに先駆けて、これら全ての画面効果を表示させる構成であっても良いし、これらの画面効果のうち、いずれか1つのみ表示させる構成であっても良い。
次に図8を参照して、頭部装着型表示装置1によるAR画像Gの表示動作について説明する。なお、本表示動作は、表示画面26が表示された状態で行われると共に、図外のコントローラーにより、ARアプリケーションのアイコン81がクリックされたことに起因し、ARアプリケーションに従って実行される。
図8に示すように、頭部装着型表示装置1は、まず、外界用カメラ17により、現実風景23を撮像する(S1)。そして、画像解析部72により、外界用カメラ17の撮像画像中のマーカーMKを認識し、実物体Aを認識する(S2:物体認識ステップ)。
実物体Aを認識したら、距離センサー41により、使用者から、認識した実物体Aまでの距離を検出し(S3:距離検出ステップ)、距離センサー41および9軸センサー43により、認識した実物体Aに対する使用者の相対的な移動速度を検出する(S4)。
その後、表示制御部74により、検出した使用者から実物体Aまでの距離と、検出した上記移動速度とに基づいて、画面効果における変化量を決定する(S5)。そして、当該変化量に基づいて、画面効果を表示させる(S6)。
画面効果の表示が終了したら、表示制御部74により、画像解析部72による実物体Aの認識結果と、検出した上記移動速度とに基づいて、AR画像Gが実物体Aに付加されるようにAR画像Gの表示位置、表示サイズおよび向きを決定する(S7)。そして、決定した表示位置、表示サイズおよび向きに基づいて、AR画像Gを表示させる(S8)。これにより、本表示動作を終了する。
以上のような構成によれば、画面効果によって、検出した実物体Aまでの距離に合った輻輳角となるように使用者の輻輳角(寄り目の度合い)を誘導することで、使用者の輻輳角を実物体Aの位置に合わせることができ、これに伴ってAR画像Gの焦点距離(焦点位置)を、実物体Aの位置に合わせることができる。すなわち、特定の画面効果を表示させるだけで(表示制御のみで)、AR画像Gの焦点距離を調整することができ、簡単な構成で、AR画像Gを実物体Aに付加されているように認識させることができる。よって、AR画像Gを実物体Aに付加して表示することができ、現実空間と仮想空間との親和性を向上させることができる。
また、画面効果として、複数のアイコン81の内向きの傾き度合を変化させることで、アイコン81を利用して、使用者の輻輳角を誘導することができる。
さらに、画面効果として、遠近ガイド82における第1ガイド線91の周方向のピッチを変化させることで、使用者の輻輳角を効果的に誘導することができる。
またさらに、画面効果として、リング状画像94の大きさを徐々に変化させることで、使用者の輻輳角を効果的に誘導することができる。
また、実物体Aに対する使用者の相対的な移動速度を検出し、当該相対的な移動速度により画面効果を調整することで、実物体Aの位置に対するAR画像Gの焦点距離の合わせ込みを精度良く行うことができる。
なお、本実施形態においては、ターゲット83を2つのリング状画像94により構成し、画面効果として、2つのリング状画像94の大きさを変化させる構成であったが、図9に示すように、ターゲット83を、表示画面26中央を囲う2つの枠状画像101により構成し、画面効果として、2つの枠状画像101の大きさを変化させる構成であっても良い。また。ターゲット83を、1つのリング状画像94または1つの枠状画像101により構成しても良い。
また、本実施形態においては、表示画面26中央を囲うリング状画像94または枠状画像101を表示し、画面効果として、このリング状画像94または枠状画像101の大きさを変化させる構成であったが、図10に示すように、認識した実物体Aを中心としたリング状画像94または枠状画像101を表示し、画面効果として、このリング状画像94または枠状画像101の大きさを変化させる構成であっても良い。
さらに、本実施形態において、画面効果として、グラデーション画像を利用する構成であっても良い。すなわち、図11に示すように、表示制御部74は、表示画面26の外縁側から中央側にかけて暗くなるグラデーション画像102を、表示画面26上に表示させると共に、グラデーション画像102における明暗の変化度合を徐々に変化させる。すなわち、グラデーション画像102によって左右に壁があるかのように認識させると共に、決定した変化量だけ明暗の変化度合を徐々に緩やかにする。これにより、使用者に、上記壁が手前側に迫ってくるような錯覚を起こさせることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。かかる構成によれば、グラデーション画像102を用いることで、使用者の輻輳角を効果的に誘導することができる。
またさらに、本実施形態においては、使用者の輻輳角が、画面効果表示前のデフォルトの状態で無限遠に合っているとし、これを基準として輻輳角の誘導を行う構成であったが、使用者の輻輳角を検出し、これを基準として輻輳角の誘導を行う構成であっても良い。具体的には、頭部装着型表示装置1は、使用者の各眼球の視線を検出する視線検出センサー(例えば赤外線方式)をさらに備え、CPU67は、視線検出センサーの検出結果に基づいて使用者の輻輳角を検出する輻輳角検出部としても機能する。また、表示制御部74は、輻輳角検出部の検出結果に基づき、これを基準とし、検出した上記距離に合わせるのに必要な輻輳角の調整量を求め、当該調整量に基づいて画面効果の変化量を決定する。そして、決定した変化量だけ、上記画像の形態を変化させる構成とする。なお、輻輳角を縮小する誘導が必要な場合には、図示した画面遷移を逆順((c)、(b)、(a)の順)で実行する。
また、本実施形態において、図12に示すように、画面効果を表示させるときに、一緒に、使用者の輻輳角を示すインジケーター103を表示させる構成であっても良い。かかる構成によれば、使用者がインジケーター103を視認することで、自身の輻輳角を確認することができる。
さらに、本実施形態においては、マーカーMKもしくは実物体Aの特徴位置に基づいて、実物体Aを認識する構成であったが、実物体Aが、サイネージや看板等の、文字列を表示する表示物である場合、表示している文字列を認識して実物体Aを認識する構成であっても良い。
またさらに、本実施形態においては、ARアプリケーションを起動する前(AR画像Gの表示を指示する前)に、画面効果に利用する画像(複数のアイコン81、遠近ガイド82およびターゲット83)を表示させている構成であったが、ARアプリケーションを起動した後に、これらの画像を表示させ、画面効果を表示させる構成であっても良い。
また、本実施形態においては、AR画像Gの表示に先駆けて、AR画像Gを表示する前に画面効果を表示させる構成であったが、AR画像Gを表示した後に画面効果を表示させる構成であっても良い。
さらに、本実施形態においては、複数のアイコン81を表示画面26上に表示させる構成であったが、各アプリケーションを呼び出すための画像オブジェクトを表示画面26上に表示させる構成であれば、これに限るものではない。例えば、当該画像オブジェクトとして、各アプリケーションを示すメニューや、縮小化したアプリケーション画面を表示画面26上に表示させる構成であっても良い。
また、各アプリケーションを呼び出すための複数の画像オブジェクトに代えて、各ファイルや各フォルダを呼び出すための複数の画像オブジェクト(例えばアイコン81やショートカット等)を表示画面26上に表示させる構成であっても良いし、各アプリケーションを呼び出すための複数の画像オブジェクトに代えて、各ユーザー操作を行うための画像オブジェクト(例えばラジオボタン、選択ボタンやソフトキーボード等)を表示画面26上に表示させる構成であっても良い。
またさらに、本実施形態において、頭部装着型表示装置1が図外のコントローラーを有し、当該コントローラーに、画像解析部72、表示制御部74、表示状態制御部75および音声処理部76の一部または全部を搭載する構成であっても良い。かかる場合、当該コントローラーは、コード等により、制御部34もしくは表示部30等(表示部30、外界用カメラ17、センサー部31、右イヤホン18および左イヤホン19)に有線接続されている構成であっても良いし、無線LANや赤外線通信、Bluetooth(登録商標)等により、制御部34もしくは表示部30等に無線接続されている構成であっても良い。また、当該コントローラーの機能を、パーソナルコンピュータ(PC)、携帯情報端末(PDA、携帯電話、時計型携帯端末、スマートフォン)等により実現しても良い。
また、本実施形態においては、表示装置として両眼タイプの頭部装着型表示装置1(光学透過型頭部装着型表示装置)を例示しているが、本発明は、例えば、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施形態では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置1を例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ(眼の前方の一部を覆うタイプ)の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイ等の他の表示装置にも適用可能である。
さらに、本実施形態においては、画像光出力部が、バックライト制御部(右バックライト制御部51および左バックライト制御部61)と、バックライト(右バックライト52および左バックライト62)と、LCD制御部(右LCD制御部53および左LCD制御部63)と、LCD(右LCD54および左LCD64)とを備える構成であったが、この様態はあくまでも一例である。画像光出力部が、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。
例えば、画像光出力部が、有機EL(有機エレクトロルミネッセンス,Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像光出力部が、LCDに代えて、LCOS(Liquid crystal on silicon,LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を備える構成であっても良い。
またさらに、本実施形態においては、いわゆる虚像投写型の頭部装着型表示装置1(ヘッドマウントディスプレイ)に、本発明を適用したが、例えば、レーザー網膜投影型(いわゆる網膜走査型)の頭部装着型表示装置に対して本発明を適用することも可能である。
また、本実施形態においては、画像光出力部が、投写光学系(右投写光学系55および左投写光学系65)を備え、LCDから射出された画像光を投写する構成であったが、画像光出力部が、投写光学系に代えて、例えばMEMSミラーで構成された走査光学系を備えると共に、走査光学系に信号光を射出する信号光変調部(信号光形成部)を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系(MEMSミラー)に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成される。この虚像を使用者が眼で捉えることで画像を認識させることができる。
さらに、本実施形態においては、頭部装着型表示装置1に本発明を適用する構成であったが、頭部装着型表示装置1と、外部機器もしくは外部サーバーとをネットワークを介して接続した表示システムに、本発明を適用しても良い。かかる場合、画像解析部72、表示制御部74、表示状態制御部75および音声処理部76の一部または全部を、外部機器もしくは外部サーバー側に搭載する構成とする。
1:頭部装着型表示装置、 22:虚像、 26:表示画面、 30:表示部、 41:距離センサー、 72:画像解析部、 74:表示制御部、 81:アイコン、 82:遠近ガイド、 91:第1ガイド線、 94:リング状画像、 A:実物体、 G:AR画像

Claims (13)

  1. 使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置であって、
    前記使用者の視界内における実物体を認識する物体認識部と、
    前記使用者から前記実物体までの距離を検出する距離検出部と、
    前記実物体に対する拡張現実画像を配置した前記表示画面を表示させる表示制御部と、
    前記表示画面を表示する表示部と、を備え、
    前記表示制御部は、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する、徐々に変化する画像を、前記表示画面上に表示させることを特徴とする表示装置。
  2. 前記表示制御部は、
    各アプリケーションを呼び出すための画像オブジェクトであって、透視図法を用いて内向きの遠近画像に変換された複数の画像オブジェクトを、前記表示画面上に表示させると共に、
    前記画像として、前記複数の画像オブジェクトの内向きの傾き度合を徐々に変化させることを特徴とする請求項1に記載の表示装置。
  3. 前記複数の画像オブジェクトは、アイコン、メニューおよび縮小化したアプリケーション画面のいずれかであることを特徴とする請求項2に記載の表示装置。
  4. 前記表示制御部は、
    前記表示画面の外縁側から中央側に延びる複数のガイド線を、周方向に並んで配置したガイドを、前記表示画面上に表示させると共に、
    前記画像として、前記ガイドにおける前記ガイド線の前記周方向のピッチを徐々に変化させることを特徴とする請求項1ないし3のいずれか1項に記載の表示装置。
  5. 前記表示制御部は、
    前記表示画面中央を囲う枠状画像および前記表示画面中央を囲うリング状画像のいずれか一方の画像を、前記表示画面上に表示させると共に、
    前記画像として、前記一方の画像の大きさを徐々に変化させることを特徴とする請求項1ないし4のいずれか1項に記載の表示装置。
  6. 前記表示制御部は、
    前記実物体を中心とした枠状画像および前記実物体を中心としたリング状画像のいずれか一方の画像を、前記表示画面上に表示させると共に、
    前記画像として、前記一方の画像の大きさを徐々に変化させることを特徴とする請求項1ないし4のいずれか1項に記載の表示装置。
  7. 前記表示制御部は、
    前記表示画面の外縁側から中央側にかけて暗くなるグラデーション画像を、前記表示画面上に表示させると共に、
    前記画像として、前記グラデーション画像における明暗の変化度合を徐々に変化させることを特徴とする請求項1ないし6のいずれか1項に記載の表示装置。
  8. 前記実物体に対する前記使用者の相対的な移動速度を検出する速度検出部を、さらに備え、
    前記表示制御部は、前記速度検出部の検出結果に基づいて、前記画像を調整することを特徴とする請求項1ないし7のいずれか1項に記載の表示装置。
  9. 前記表示制御部は、前記使用者の輻輳角を示すインジケーターを前記表示画面上に表示させることを特徴とする請求項1ないし8のいずれか1項に記載の表示装置。
  10. 前記表示部は、
    画像光を出力する画像光出力部と、
    出力された前記画像光を前記使用者の眼に導く導光部と、を有し、
    前記導光部は、外光を透過し、当該外光を前記画像光と共に前記使用者の眼に入射させることを特徴とする請求項1ないし9のいずれか1項に記載の表示装置。
  11. 使用者の頭部に装着され且つ使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の頭部装着型表示装置であって、
    前記使用者の視界内における実物体を認識する物体認識部と、
    前記使用者から前記実物体までの距離を検出する距離検出部と、
    前記実物体に対する拡張現実画像を配置した前記表示画面を表示させる表示制御部と、
    前記表示画面を表示する表示部と、を備え、
    前記表示制御部は、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する、徐々に変化する画像を、前記表示画面上に表示させることを特徴とする頭部装着型表示装置。
  12. 使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示システムであって、
    前記使用者の視界内における実物体を認識する物体認識部と、
    前記使用者から前記実物体までの距離を検出する距離検出部と、
    前記実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、
    前記表示画面を表示する表示部と、を備え、
    前記表示制御部は、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する、徐々に変化する画像を前記表示画面に表示させることを特徴とする表示システム。
  13. 使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置の制御方法であって、
    前記使用者の視界内における実物体を認識する物体認識ステップと、
    前記使用者から前記実物体までの距離を検出する距離検出ステップと、
    前記実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御ステップと、
    前記表示画面を表示する表示ステップと、を実行し、
    前記表示制御ステップでは、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する、徐々に変化する画像を前記表示画面に表示させることを特徴とする表示装置の制御方法。
JP2013161080A 2013-08-02 2013-08-02 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 Active JP6225546B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013161080A JP6225546B2 (ja) 2013-08-02 2013-08-02 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2013161080A JP6225546B2 (ja) 2013-08-02 2013-08-02 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
TW103126068A TWI638188B (zh) 2013-08-02 2014-07-30 顯示裝置、頭部配戴型顯示裝置、顯示系統及顯示裝置之控制方法
CN201410374335.XA CN104345456B (zh) 2013-08-02 2014-07-31 显示装置、显示系统以及显示装置的控制方法
BR112016002365A BR112016002365A2 (pt) 2013-08-02 2014-08-01 dispositivo de exibição, visor montado na cabeça, sistema de exibição e método para controle de dispositivo de exibição
PCT/JP2014/004050 WO2015015811A1 (en) 2013-08-02 2014-08-01 Display device, head mounted display, display system, and control method for display device
RU2016107371A RU2639654C2 (ru) 2013-08-02 2014-08-01 Устройство отображения, головной дисплей, система отображения и способ управления для устройства отображения
US14/905,306 US9886796B2 (en) 2013-08-02 2014-08-01 Display device, head mounted display, display system, and control method for display device
KR1020167003807A KR101773892B1 (ko) 2013-08-02 2014-08-01 표시 장치, 두부 장치형 표시 장치, 표시 시스템 및 표시 장치의 제어 방법
EP14762100.7A EP3028122A1 (en) 2013-08-02 2014-08-01 Display device, head mounted display, display system, and control method for display device

Publications (2)

Publication Number Publication Date
JP2015032131A JP2015032131A (ja) 2015-02-16
JP6225546B2 true JP6225546B2 (ja) 2017-11-08

Family

ID=51535483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013161080A Active JP6225546B2 (ja) 2013-08-02 2013-08-02 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法

Country Status (9)

Country Link
US (1) US9886796B2 (ja)
EP (1) EP3028122A1 (ja)
JP (1) JP6225546B2 (ja)
KR (1) KR101773892B1 (ja)
CN (1) CN104345456B (ja)
BR (1) BR112016002365A2 (ja)
RU (1) RU2639654C2 (ja)
TW (1) TWI638188B (ja)
WO (1) WO2015015811A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090230B (zh) * 2006-06-01 2012-05-30 瑞萨电子株式会社 升压电源电路及其控制方法和驱动器ic

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP6149584B2 (ja) * 2013-08-01 2017-06-21 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法
USD802603S1 (en) * 2014-03-14 2017-11-14 Microsoft Corporation Display screen with animated graphical user interface
JP6443677B2 (ja) 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
CN111175978B (zh) * 2015-06-19 2021-08-10 麦克赛尔株式会社 头戴式显示装置
DE112015006725T5 (de) * 2015-07-21 2018-04-12 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigevorrichtung und Anzeigesteuerverfahren
JP6703747B2 (ja) * 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
JP6509101B2 (ja) * 2015-12-09 2019-05-08 Kddi株式会社 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
US10589626B2 (en) * 2016-06-20 2020-03-17 Caterpillar Inc. Implement positioning guidance system
CN106331681A (zh) * 2016-08-22 2017-01-11 石惠卿 一种头戴显示器的图像显示方法
AU2017314940B2 (en) 2016-08-26 2021-09-23 Magic Leap, Inc. Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US10008042B2 (en) * 2016-09-30 2018-06-26 Intel Corporation Augmented reality rendered structured content
WO2018150722A1 (ja) * 2017-02-20 2018-08-23 シャープ株式会社 ヘッドマウントディスプレイ
CN108012147B (zh) * 2017-12-22 2019-08-02 歌尔股份有限公司 Ar成像系统虚像距测试方法及装置
KR102012831B1 (ko) * 2017-12-29 2019-08-21 주식회사 버넥트 3차원 자세정보를 이용하여 증강현실 객체의 조작이 가능한 증강현실 시스템
US10867174B2 (en) 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
TWI719343B (zh) * 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
US10778953B2 (en) 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets
CN109782444A (zh) * 2018-12-24 2019-05-21 武汉西山艺创文化有限公司 基于透明液晶显示屏的头戴式ar显示器及其交互方法
CN110738548B (zh) * 2019-09-26 2021-11-09 维沃移动通信有限公司 虚拟试衣的方法、装置、移动终端及计算机可读存储介质
US10817648B1 (en) 2020-01-30 2020-10-27 Leap Tools Inc. Systems and methods for product visualization using a single-page application
US11194952B2 (en) * 2020-01-30 2021-12-07 Leap Tools, Inc. Systems and methods for product visualization using a single-page application

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3447308B2 (ja) 1992-05-26 2003-09-16 オリンパス光学工業株式会社 頭部装着型ディスプレイ
EP0724758A4 (en) * 1993-10-07 1998-03-04 Virtual Vision Inc HEAD-MOUNTED BINOCULAR DISPLAY SYSTEM
US6600461B1 (en) * 1994-10-12 2003-07-29 Canon Kabushiki Kaisha Display apparatus and control method therefor
US6002403A (en) 1996-04-30 1999-12-14 Sony Corporation Graphical navigation control for selecting applications on visual walls
US5745109A (en) 1996-04-30 1998-04-28 Sony Corporation Menu display interface with miniature windows corresponding to each page
KR20000064931A (ko) 1996-04-30 2000-11-06 밀러 제리 에이 컴퓨터시스템내에서의프로그램,파일및데이터를탐색,구성및실행하는사용자인터페이스
US6043818A (en) 1996-04-30 2000-03-28 Sony Corporation Background image with a continuously rotating and functional 3D icon
JP2002156599A (ja) * 2000-11-16 2002-05-31 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP4207459B2 (ja) * 2002-05-20 2009-01-14 株式会社ニコン 画像表示装置および眼疲労解消装置
JP2004271805A (ja) * 2003-03-07 2004-09-30 Mitsubishi Electric Corp 焦点調節誘導方法
JP2005084569A (ja) 2003-09-11 2005-03-31 Brother Ind Ltd 画像表示装置
JP3931342B2 (ja) * 2003-09-30 2007-06-13 マツダ株式会社 経路誘導装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
WO2005116939A1 (en) 2004-05-27 2005-12-08 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
JP2005339267A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2005346177A (ja) 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
JP2005343351A (ja) 2004-06-04 2005-12-15 Olympus Corp 運転支援装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP4757091B2 (ja) 2006-04-28 2011-08-24 本田技研工業株式会社 車両搭載機器の操作装置
JP4984771B2 (ja) 2006-09-14 2012-07-25 ブラザー工業株式会社 ヘッドマウントディスプレイ
RU2340116C1 (ru) * 2007-05-15 2008-11-27 ГОУ ВПО "Саратовский государственный университет им. Н.Г. Чернышевского" Способ воспроизведения стереоскопического изображения от видеокамер со сходящимися осями
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
JP4557058B2 (ja) 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
JP5136950B2 (ja) 2008-03-25 2013-02-06 株式会社デンソー 車載機器の操作装置
DE102008049407A1 (de) * 2008-09-29 2010-04-01 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren
JP2010098567A (ja) 2008-10-17 2010-04-30 Seiko Epson Corp 頭部顔面装着型画像表示装置
JP5327468B2 (ja) * 2009-08-04 2013-10-30 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
KR20110037657A (ko) * 2009-10-07 2011-04-13 삼성전자주식회사 모션을 이용한 gui 제공방법 및 이를 적용한 디스플레이 장치
US9129295B2 (en) * 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5646923B2 (ja) 2010-09-03 2014-12-24 矢崎総業株式会社 車両用表示装置及び車両用表示システム
US20120069055A1 (en) * 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US10083639B2 (en) 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
JP5919624B2 (ja) * 2011-02-04 2016-05-18 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5977922B2 (ja) 2011-02-24 2016-08-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置
US8203605B1 (en) * 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP6008086B2 (ja) 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
JP2015031703A (ja) 2013-07-31 2015-02-16 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
JP6149584B2 (ja) 2013-08-01 2017-06-21 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090230B (zh) * 2006-06-01 2012-05-30 瑞萨电子株式会社 升压电源电路及其控制方法和驱动器ic

Also Published As

Publication number Publication date
KR101773892B1 (ko) 2017-09-01
WO2015015811A1 (en) 2015-02-05
TW201506444A (zh) 2015-02-16
CN104345456A (zh) 2015-02-11
CN104345456B (zh) 2018-11-23
JP2015032131A (ja) 2015-02-16
BR112016002365A2 (pt) 2017-08-01
RU2639654C2 (ru) 2017-12-21
RU2016107371A (ru) 2017-09-07
KR20160031537A (ko) 2016-03-22
EP3028122A1 (en) 2016-06-08
TWI638188B (zh) 2018-10-11
US9886796B2 (en) 2018-02-06
US20160163109A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
JP6225546B2 (ja) 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
US10162412B2 (en) Display, control method of display, and program
US9898868B2 (en) Display device, method of controlling the same, and program
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
US9483968B1 (en) Display device, head-mounted display device, display system, and control method for display device
US20150153572A1 (en) Adjustment of Location of Superimposed Image
US20130088413A1 (en) Method to Autofocus on Near-Eye Display
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9857588B2 (en) Display device, head mounted display, display system, and control method for display device
US8823740B1 (en) Display system
JP2016224086A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2017049468A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2015026286A (ja) 表示装置、表示システムおよび表示装置の制御方法
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6287399B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016212769A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016031373A (ja) 表示装置、表示方法、表示システム、及び、プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160620

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170925

R150 Certificate of patent or registration of utility model

Ref document number: 6225546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150