JP6775197B2 - 表示装置及び表示方法 - Google Patents

表示装置及び表示方法 Download PDF

Info

Publication number
JP6775197B2
JP6775197B2 JP2017057761A JP2017057761A JP6775197B2 JP 6775197 B2 JP6775197 B2 JP 6775197B2 JP 2017057761 A JP2017057761 A JP 2017057761A JP 2017057761 A JP2017057761 A JP 2017057761A JP 6775197 B2 JP6775197 B2 JP 6775197B2
Authority
JP
Japan
Prior art keywords
display
image
unit
user
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017057761A
Other languages
English (en)
Other versions
JP2018160836A (ja
Inventor
田中 彰
彰 田中
中野 信之
信之 中野
勝長 辻
勝長 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017057761A priority Critical patent/JP6775197B2/ja
Priority to US15/901,897 priority patent/US20180275414A1/en
Publication of JP2018160836A publication Critical patent/JP2018160836A/ja
Application granted granted Critical
Publication of JP6775197B2 publication Critical patent/JP6775197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、空中の表示領域に空中画像を表示する表示装置及び表示方法に関する。
空中の表示領域に空中画像を表示する表示装置が知られている(例えば、特許文献1及び2参照)。この種の表示装置では、表示パネルと、結像光学パネルとが用いられる。表示パネルに表示された画像は、結像光学パネルに対して表示パネルと面対称に位置する空中の表示領域に空中画像として結像される。これにより、ユーザは、空中に浮かび上がった空中画像を視認することができる。
国際公開第2009/131128号 特開2013−33344号公報
しかしながら、上述した従来の表示装置では、ユーザは、例えば姿勢を変化させた際に、空中画像の一部が欠けて見えるなど、空中画像を正しく視認することができなくなるおそれがある。
そこで、本発明は、ユーザの姿勢が変化した場合であっても、空中画像を正しく視認することができる表示装置及び表示方法を提供する。
本発明の一態様に係る表示装置は、画像を表示するための表示面を有する表示部と、素子面を有する結像光学素子であって、前記表示面に表示された前記画像を、前記素子面に対して前記表示面と面対称に位置する空中の表示領域に空中画像として結像させる結像光学素子と、前記表示領域の前方に存在するユーザの頭部の位置を検出する検出部と、前記検出部の検出結果に基づいて、前記結像光学素子に対する前記画像の位置を調節する調節部と、を備える。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明の表示装置では、ユーザの姿勢が変化した場合であっても、空中画像を正しく視認することができる。
実施の形態1に係る表示装置の概略構成を示す図である。 実施の形態1に係る表示装置の表示部及び結像光学素子を抜き出して示す斜視図である。 実施の形態1に係る表示装置の制御部の機能構成を示すブロック図である。 頭部検出部及び指先検出部の各機能を説明するための図である。 操作画面生成部及び操作画面描画部の各機能を説明するための図である。 実施の形態1に係る表示装置の動作を示すフローチャートである。 頭部検出部により検出されるユーザの頭部の位置の検出範囲の一例を示す図である。 記憶部に記憶されたテーブルの一例を示す図である。 操作画面描画部により描画された操作画面の一例を示す図である。 実施の形態1に係る表示装置において、ユーザの姿勢が変化した様子を示す斜視図である。 実施の形態1に係る表示装置において、表示領域における空中画像の表示位置を調節した様子を示す斜視図である。 実施の形態2に係る表示装置の構成を示す斜視図である。
上述した問題を解決するために、本発明の一態様に係る表示装置は、画像を表示するための表示面を有する表示部と、素子面を有する結像光学素子であって、前記表示面に表示された前記画像を、前記素子面に対して前記表示面と面対称に位置する空中の表示領域に空中画像として結像させる結像光学素子と、前記表示領域の前方に存在するユーザの頭部の位置を検出する検出部と、前記検出部の検出結果に基づいて、前記結像光学素子に対する前記画像の位置を調節する調節部と、を備える。
本態様によれば、調節部は、検出部の検出結果に基づいて、結像光学素子に対する画像の位置を調節するので、ユーザの頭部の動きに追従して、空中の表示領域における空中画像の位置を調節することができる。これにより、ユーザは、姿勢を変化させた場合であっても、空中画像を正しく視認することができる。
例えば、前記調節部は、前記検出部の検出結果に基づいて、前記表示面における前記画像の表示位置を調節するように構成してもよい。
本態様によれば、調節部は、検出部の検出結果に基づいて、表示面における画像の表示位置を調節するので、比較的簡単な構成で、結像光学素子に対する画像の位置を調節することができる。
例えば、前記表示装置は、さらに、前記ユーザの前記頭部の位置と前記表示面における前記画像の描画開始位置とを対応付けたテーブルを記憶する記憶部を備え、前記調節部は、前記検出部の検出結果に基づいて前記テーブルを参照することにより、前記表示面における前記画像の前記描画開始位置を決定し、決定した前記描画開始位置から前記画像の描画を開始するように構成してもよい。
本態様によれば、調節部は、検出部の検出結果に基づいてテーブルを参照することにより、表示面における画像の描画開始位置を決定するので、比較的簡単な構成で、表示面における画像の表示位置を調節することができる。
例えば、前記調節部は、さらに、前記検出部の検出結果に基づいて、前記表示面における前記画像の大きさを調節するように構成してもよい。
本態様によれば、調節部は、検出部の検出結果に基づいて、表示面における画像の大きさを調節するので、ユーザの頭部が空中の表示領域に対して近付く又は遠ざかった場合であっても、ユーザは、空中画像を正しく視認することができる。
例えば、前記表示装置は、さらに、前記表示部を前記結像光学素子に対して移動させる駆動部を備え、前記調節部は、前記検出部の検出結果に基づいて、前記駆動部を駆動することにより、前記表示部を前記結像光学素子に対して移動させるように構成してもよい。
本態様によれば、調節部は、検出部の検出結果に基づいて、駆動部を駆動することにより、表示部を結像光学素子に対して移動させるので、比較的簡単な構成で、結像光学素子に対する画像の位置を調節することができる。
本発明の一態様に係る表示方法は、表示部の表示面に画像を表示させるステップと、前記表示面に表示された前記画像を、結像光学素子の素子面に対して前記表示面と面対称に位置する空中の表示領域に空中画像として結像させるステップと、前記表示領域の前方に存在するユーザの頭部の位置を検出するステップと、検出された前記ユーザの前記頭部の位置に基づいて、前記結像光学素子に対する前記画像の位置を調節するステップと、を含む。
本態様によれば、検出されたユーザの頭部の位置に基づいて、結像光学素子に対する画像の位置を調節するので、ユーザの頭部の動きに追従して、空中の表示領域における空中画像の位置を調節することができる。これにより、ユーザは、姿勢を変化させた場合であっても、空中画像を正しく視認することができる。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1−1.表示装置の概略構成]
まず、図1を参照しながら、実施の形態1に係る表示装置2の概略構成について説明する。図1は、実施の形態1に係る表示装置2の概略構成を示す図である。
図1に示すように、実施の形態1に係る表示装置2は、表示部4と、結像光学素子6と、カメラ8と、制御部10とを備えている。
表示装置2は、例えば車両用の表示装置であり、自動車12のダッシュボード14の内部に配置されている。また、表示装置2は、空中(例えばダッシュボード14の近傍における空中)の表示領域16に空中画像18を表示する空中ディスプレイとしての機能と、空中画像18に対するユーザ20(例えば運転者)のタッチ操作を受け付ける空中タッチパネルとしての機能とを有している。なお、図1等において、Z軸のプラス方向は、自動車12の進行方向を表している。
空中画像18は、例えば、自動車12に搭載されたカーステレオ、カーエアコン又はカーナビゲーション等の車載機器を操作するための操作画面46(後述する)である。ユーザ20は、例えばステアリングホイール22を操作して運転している際に、空中に浮かび上がった空中画像18(操作画面46)を指先20bでタッチすることにより、自動車12の車載機器を操作することができる。
[1−2.表示部及び結像光学素子]
次に、図1及び図2を参照しながら、実施の形態1に係る表示装置2の表示部4及び結像光学素子6について説明する。図2は、実施の形態1に係る表示装置2の表示部4及び結像光学素子6を抜き出して示す斜視図である。
図1及び図2に示すように、表示部4は、例えば液晶ディスプレイパネルである。表示部4は、画像24を表示するための表示面26を有している。なお、画像24の大きさは、表示面26の大きさよりも小さい。すなわち、画像24は、表示面26のうち一部の領域にのみ表示されている。なお、本実施の形態では、表示部4の結像光学素子6に対する位置は固定されている。
図1及び図2に示すように、結像光学素子6は、表示部4の表示面26に表示された画像24を、空中の表示領域16に空中画像18として結像させる光学デバイス(いわゆる、反射型面対称結像素子)である。結像光学素子6は、例えば樹脂材料で形成された平板状のプレートであり、表示部4に対して45°傾斜して配置されている。また、結像光学素子6は、素子面28を有する。図2において二点鎖線で示すように、素子面28は、結像光学素子6の厚み方向における中央部を通る仮想的な面であって、結像光学素子6の主面(入射面又は出射面)に対して平行な面である。
素子面28には、例えば、1辺が約100μm、深さが約100μmの微小な貫通孔が複数形成されており、当該貫通孔の内面はマイクロミラー(鏡面)で形成されている。結像光学素子6の入射面(表示部4側の面)に入射した光は、複数の貫通孔の各々の隣接する2面のマイクロミラーにより2回反射された後に、結像光学素子6の出射面(表示領域16側の面)から出射する。
上記構成により、結像光学素子6は、素子面28に対して表示面26と面対称に位置する空中の表示領域16に、画像24の実像である空中画像18を形成する。画像24と空中画像18とは、結像光学素子6を対称軸として1:1の関係にある。すなわち、素子面28から表示面26上の画像24までの距離と、素子面28から表示領域16上の空中画像18までの距離とは等しく、且つ、画像24の大きさと空中画像18の大きさとは等しい。
[1−3.カメラ]
次に、図1を参照しながら、カメラ8について説明する。
図1に示すように、カメラ8は、例えばTOF(Time Of Flight)カメラであり、自動車12のダッシュボード14の上方に配置されている。
カメラ8は、表示領域16の前方(Z軸のマイナス側)に存在するユーザ20の頭部20a及び指先20bのIR(赤外光)画像を撮影する。カメラ8により撮影された画像データは、制御部10に送信される。
[1−4.制御部]
次に、図3〜図5を参照しながら、制御部10について説明する。図3は、実施の形態1に係る表示装置2の制御部10の機能構成を示すブロック図である。図4は、頭部検出部30及び指先検出部32の各機能を説明するための図である。図5は、操作画面生成部36及び操作画面描画部38の各機能を説明するための図である。
図3に示すように、制御部10は、頭部検出部30(検出部の一例)と、指先検出部32と、操作制御部34と、操作画面生成部36と、操作画面描画部38(調節部の一例)と、記憶部40とを有している。
図4に示すように、頭部検出部30は、カメラ8からの画像データに基づいて、ユーザ20の頭部20aの位置42として、例えばユーザ20の左目20cと右目20dとの中間部の3次元位置を検出する。具体的には、頭部検出部30は、パターン認識によりIR画像上の頭部20aの2次元位置を特定し、デプス(depth)画像から対応する頭部20aの3次元位置を特定する。
図4に示すように、指先検出部32は、カメラ8からの画像データに基づいて、ユーザ20の指先20bの位置44として、例えば空中画像18(操作画面46)にタッチした指先20bの3次元位置を検出する。具体的には、指先検出部32は、パターン認識によりIR画像上の指先20bの2次元位置を特定し、デプス画像から対応する指先20bの3次元位置を特定する。
操作制御部34は、空中画像18(操作画面46)がユーザによりタッチされたか否かを判定する。具体的には、操作制御部34は、指先検出部32により検出された指先20bの位置44と、空中画像18の操作画面46上の例えばボタン48a(図5参照)の3次元位置との距離が閾値以下となった際に、ボタン48aがユーザによりタッチされたと判定する。この場合、操作制御部34は、操作画面46を遷移するための画面IDを操作画面生成部36に通知する。
図5の(a)に示すように、操作画面生成部36は、自動車12の車載機器を操作するための操作画面46を生成する。操作画面46は、例えば、2×2の行列状に配置された4つのボタン48a,48b,48c及び48dの画像を含む。これらのボタン48a,48b,48c及び48dにはそれぞれ、自動車12の車載機器の複数の操作が割り当てられている。例えば、ユーザがボタン48aをタッチすることにより、ボタン48aに割り当てられた操作として、自動車12のカーステレオの音量アップが実行される。なお、操作画面46のサイズは、例えば200pixel×200pixelである。
記憶部40は、ユーザ20の頭部20aの位置42(ex,ey,ez)と、表示面26における操作画面46の描画開始位置(ox,oy)と、表示面26における操作画面46の描画拡縮率(scale)とを対応付けたテーブルを記憶する。
ここで、描画開始位置(ox,oy)は、図5の(b)において表示部4の表示面26の左上の頂点を原点(0pixel,0pixel)としたとき、操作画面46の描画を開始するピクセル位置(すなわち、図5の(b)において操作画面46の左上の頂点の位置)である。また、描画拡縮率は、操作画面46のサイズを拡大又は縮小する割合である。
図5の(b)に示すように、操作画面描画部38は、操作画面生成部36により生成された操作画面46を、画像24として表示部4の表示面26に描画する。具体的には、操作画面描画部38は、頭部検出部30により検出された頭部20aの位置42に基づいて、記憶部40に記憶されたテーブルを参照することにより、表示面26における操作画面46の描画開始位置(ox,oy)及び描画拡縮率(scale)を決定する。これにより、操作画面描画部38は、決定した描画開始位置(ox,oy)から操作画面46の描画を開始し、且つ、決定した描画拡縮率(scale)で操作画面46のサイズを拡大又は縮小する。その結果、操作画面描画部38は、表示面26における操作画面46(画像24)の表示位置及び大きさを調節する(すなわち、結像光学素子6に対する画像24の位置を調節する)。なお、表示面26のサイズは、例えば640pixel×480pixelである。
[1−5.表示装置の動作]
次に、図6〜図9を参照しながら、実施の形態1に係る表示装置2の動作(表示方法)について説明する。
図6は、実施の形態1に係る表示装置2の動作を示すフローチャートである。図7は、頭部検出部30により検出されるユーザ20の頭部20aの位置42の検出範囲の一例を示す図である。図8は、記憶部40に記憶されたテーブルの一例を示す図である。図9は、操作画面描画部38により描画された操作画面46の一例を示す図である。
図6に示すように、まず、頭部検出部30は、カメラ8からの画像データに基づいて、ユーザ20の頭部20aの位置42を検出する(S1)。このとき、図7に示す例では、頭部検出部30により検出されるユーザ20の頭部20aの位置42の検出範囲は、水平方向(X軸方向)の大きさが200mm、垂直方向(Y軸方向)の大きさが100mm、奥行き方向(Z軸方向)の大きさが200mmである直方体である。
なお、図7に示す検出範囲(直方体)の8つの頂点P0〜P7の3次元位置(x、y、z)をそれぞれ、例えばP0(0,0,0)、P1(200,0,0)、P2(0,100,0)、P3(200,100,0)、P4(0,0,200)、P5(200,0,200)、P6(0,100,200)及びP7(200,100,200)と定義する。
その後、操作画面生成部36は、操作画面46を生成する(S2)。その後、操作画面描画部38は、頭部検出部30により検出された頭部20aの位置42に基づいて、記憶部40に記憶されたテーブルを参照する(S3)。図8に示すように、記憶部40に記憶されたテーブルでは、検出範囲の頂点P0〜P7の各々について、ユーザ20の頭部20aの位置42(ex,ey,ez)と、表示面26における操作画面46の描画開始位置(ox,oy)と、表示面26における操作画面46の描画拡縮率(scale)とが対応付けられている。
例えば、テーブルの1行目(頂点P0)では、頭部20aの位置42(0,0,0)と、操作画面46の描画開始位置(70,250)と、操作画面46の描画拡縮率1.0とが対応付けられている。また、テーブルの5行目(頂点P4)では、頭部20aの位置42(0,0,200)と、操作画面46の描画開始位置(40,205)と、操作画面46の描画拡縮率0.8とが対応付けられている。
その後、操作画面描画部38は、テーブルの参照結果に基づいて、表示面26における操作画面46の描画開始位置(ox,oy)及び描画拡縮率(scale)を決定し(S4)、操作画面46を表示部4の表示面26に描画する(S5)。
このとき、頭部検出部30により検出された頭部20aの位置42(ex,ey,ez)が検出範囲の頂点P0〜P7のいずれかの3次元位置と一致する場合には、操作画面描画部38は、テーブルから操作画面46の描画開始位置及び描画拡縮率を直接決定する。例えば、頭部20aの位置42(ex,ey,ez)が検出範囲の頂点P0の3次元位置(0,0,0)と一致する場合には、頂点P0に対応する(ox,oy)=(70,250)及びscale=1.0をそれぞれ、操作画面46の描画開始位置及び描画拡縮率として決定する。これにより、図9の(a)に示すように、操作画面描画部38は、描画開始位置(70,250)から操作画面46の描画を開始し、且つ、操作画面46のサイズを200(=200×1.0)pixel×200(=200×1.0)pixelに調節する。
一方、頭部検出部30により検出された頭部20aの位置42(ex,ey,ez)が検出範囲の頂点P0〜P7のいずれかの3次元位置と一致しない(すなわち、頭部20aの位置42が検出範囲の内部に位置する)場合には、操作画面描画部38は、操作画面46の描画開始位置及び描画拡縮率を、検出範囲の頂点P0〜P7の各3次元位置から線形補間により算出する。
以下、描画開始位置oxを線形補間により算出する方法の一例について説明する。まず、次式1〜4に示すように、操作画面描画部38は、描画開始位置oxをX軸方向に線形補間する。
ox01=(200−ex)/200×ox0+ex/200×ox1 (式1)
ox23=(200−ex)/200×ox2+ex/200×ox3 (式2)
ox45=(200−ex)/200×ox4+ex/200×ox5 (式3)
ox67=(200−ex)/200×ox6+ex/200×ox7 (式4)
次に、次式5及び6に示すように、操作画面描画部38は、描画開始位置oxをY軸方向に線形補間する。
ox0123=(100−ey)/100×ox01+ey/100×ox23 (式5)
ox4567=(100−ey)/100×ox45+ey/100×ox67 (式6)
次に、次式7に示すように、操作画面描画部38は、描画開始位置oxをZ軸方向に線形補間する。
ox01234567=(200−ez)/200×ox0123+ez/200×ox4567 (式7)
操作画面描画部38は、上述のようにして求めたox01234567を描画開始位置oxとして決定する。操作画面描画部38は、描画開始位置oyと操作画面46の描画拡縮率scaleについても、上述と同様の方法で線形補間により算出する。
例えば、頭部20aの位置42(ex,ey,ez)が検出範囲の中心(100,50,100)に位置する場合には、操作画面描画部38は、上述した線形補間により、(ox,oy)=(230,150)及びscale=0.9をそれぞれ、操作画面46の描画開始位置及び描画拡縮率として決定する。これにより、図9の(b)に示すように、操作画面描画部38は、描画開始位置(230,150)から操作画面46の描画を開始し、且つ、操作画面46のサイズを180(=200×0.9)pixel×180(=200×0.9)pixelに調節する。
また、例えば、頭部20aの位置42(ex,ey,ez)が検出範囲の頂点P7の近傍(150,75,150)に位置する場合には、操作画面描画部38は、上述した線形補間により、(ox,oy)=(321,98)及びscale=0.85をそれぞれ、操作画面46の描画開始位置及び描画拡縮率として決定する。これにより、図9の(c)に示すように、操作画面描画部38は、描画開始位置(321,98)から操作画面46の描画を開始し、且つ、操作画面46のサイズを170(=200×0.85)pixel×170(=200×0.85)pixelに調節する。
操作画面46の表示を継続して行う場合には(S6でNO)、上述したステップS1〜S5を再度実行する。操作画面46の表示を終了する場合には(S6でYES)、処理を終了する。
[1−6.効果]
次に、図10A及び図10Bを参照しながら、実施の形態1に係る表示装置2により得られる効果について説明する。
図10Aは、実施の形態1に係る表示装置2において、ユーザ20の姿勢が変化した様子を示す斜視図である。図10Bは、実施の形態1に係る表示装置2において、表示領域16における空中画像18の表示位置を調節した様子を示す斜視図である。
図10Aに示すように、ユーザ20の頭部20aが位置P1に位置している際には、ユーザ20は、操作画面46(空中画像18)の全領域を正しく視認することができる。しかしながら、図10Aに示すように、ユーザ20の姿勢が変化することにより、ユーザ20の頭部20aが位置P1から位置P2まで移動した際には、ユーザ20から見て、操作画面46の一部の領域が欠けて見えるようになる。
そのため、実施の形態1に係る表示装置2では、図10Bに示すように、ユーザ20の姿勢が変化した際に、ユーザ20の頭部20aの動きに追従して、表示部4の表示面26における操作画面46の表示位置及び/又は大きさが調節される。このとき、上述したように、画像24と空中画像18とは結像光学素子6を対称軸として1:1の関係にあるため、空中の表示領域16における操作画面46の表示位置及び/又は大きさが調節される。すなわち、表示部4の表示面26における操作画面46の移動方向及び拡縮率はそれぞれ、空中の表示領域16における操作画面46の移動方向及び拡縮率と同一である。
図10Bに示すように、ユーザ20の姿勢が変化することにより、ユーザ20の頭部20aが位置P1から位置P2まで移動した際には、操作画面46が表示部4の表示面26において矢印A1で示す方向に移動する。これに伴い、操作画面46が空中の表示領域16において矢印A2で示す方向に移動するので、ユーザ20は、操作画面46の全領域を正しく視認することができる。
なお、ユーザ20の姿勢が変化することにより、ユーザ20の頭部20aが表示領域16に近付く方向に移動した際には、表示部4の表示面26における画像24の大きさを縮小すればよい。これにより、表示領域16における操作画面46の大きさが縮小するので、ユーザ20は、操作画面46の全領域を正しく視認することができる。
また、ユーザ20の姿勢が変化することにより、ユーザ20の頭部20aが表示領域16から遠ざかる方向に移動した際には、表示部4の表示面26における画像24の大きさを拡大すればよい。これにより、表示領域16における操作画面46の大きさが拡大するので、ユーザ20は、表示領域16から比較的遠い位置であっても、操作画面46の全領域を視認し易くなる。
(実施の形態2)
次に、図11を参照しながら、実施の形態2に係る表示装置2Aについて説明する。図11は、実施の形態2に係る表示装置2Aの構成を示す斜視図である。なお、本実施の形態では、上記実施の形態1と同一の構成要素には同一の符号を付して、その説明を省略する。
図11に示すように、実施の形態2に係る表示装置2Aは、上記実施の形態1に係る表示装置2の構成要素に加えて、駆動部50を備えている。駆動部50は、例えば、表示部4Aを結像光学素子6に対して移動させるためのモータである。
また、表示部4Aの大きさは、上記実施の形態1の表示部4の大きさよりも小さい。これにより、画像24の大きさは、表示面26Aの大きさとほぼ等しくなる。
操作画面描画部38A(図3参照)は、頭部検出部30(図3参照)により検出された頭部20aの位置に基づいて、駆動部50を駆動することにより、表示部4Aを結像光学素子6に対して移動させる。これにより、上記実施の形態1と同様に、結像光学素子6に対する画像24の位置が調節されるので、空中の表示領域16における空中画像18の表示位置を調節することができる。
(変形例)
以上、一つ又は複数の態様に係る表示装置及び表示方法について、上記各実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態又は変形例における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
上記各実施の形態では、表示装置2(2A)を自動車12に搭載する場合について説明したが、これに限定されず、例えば自動二輪車、航空機、電車又は船舶等に搭載されてもよい。
また、上記各実施の形態では、表示装置2(2A)を車両に搭載する場合について説明したが、これに限定されず、例えばATM(Automated Teller Machine)等の各種機器に搭載してもよい。
また、上記各実施の形態では、表示部4(4A)を液晶ディスプレイパネルで構成したが、これに限定されず、例えば有機EL(Electro Luminescence)パネル等で構成してもよい。
また、上記各実施の形態では、頭部検出部30は、ユーザ20の頭部20aの位置42として、ユーザ20の左目20cと右目20dとの中間部の3次元位置を検出したが、これに限定されず、例えばユーザ20の額の中央部又は鼻等の3次元位置を検出してもよい。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ROMからRAMにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールには、上記の超多機能LSIが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有してもよい。
(4)本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
また、本発明は、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
また、プログラム又はデジタル信号を記録媒体に記録して移送することにより、又はプログラム又はデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明の表示装置は、例えば車両用の空中ディスプレイ等に適用することができる。
2,2A 表示装置
4,4A 表示部
6 結像光学素子
8 カメラ
10 制御部
12 自動車
14 ダッシュボード
16 表示領域
18 空中画像
20 ユーザ
20a 頭部
20b 指先
20c 左目
20d 右目
22 ステアリングホイール
24 画像
26,26A 表示面
28 素子面
30 頭部検出部
32 指先検出部
34 操作制御部
36 操作画面生成部
38,38A 操作画面描画部
40 記憶部
42,44 位置
46 操作画面
48a,48b,48c,48d ボタン
50 駆動部

Claims (5)

  1. 画像を表示するための表示面を有する表示部と、
    素子面を有する結像光学素子であって、前記表示面に表示された前記画像を、前記素子面に対して前記表示面と面対称に位置する空中の表示領域に空中画像として結像させる結像光学素子と、
    前記表示領域の前方に存在するユーザの頭部の位置を検出する検出部と、
    前記検出部の検出結果に基づいて、前記表示面における前記画像の表示位置及び大きさを調節する調節部と、
    前記ユーザの前記頭部の位置と前記表示面における前記画像の描画開始位置とを対応付けたテーブルを記憶する記憶部と、を備え、
    前記調節部は、前記検出部により検出された前記ユーザの前記頭部の位置と前記表示領域との距離に基づいて前記テーブルを参照することにより、前記表示面における前記画像の前記描画開始位置及び大きさを決定し、決定した前記描画開始位置から前記画像の描画を開始する
    表示装置。
  2. 前記調節部は、前記ユーザの前記頭部の位置と前記表示領域との距離が小さくなった場合、前記表示面における前記画像の大きさを小さくする
    請求項1に記載の表示装置。
  3. 前記調節部は、前記ユーザの前記頭部の位置と前記表示領域との距離が大きくなった場合、前記表示面における前記画像の大きさを大きくする
    請求項1又は2に記載の表示装置。
  4. 前記表示装置は、さらに、前記表示部を前記結像光学素子に対して移動させる駆動部を備え、
    前記調節部は、前記検出部の検出結果に基づいて、前記駆動部を駆動することにより、前記表示部を前記結像光学素子に対して移動させる
    請求項1〜3のいずれか1項に記載の表示装置。
  5. 表示部の表示面に画像を表示させるステップと、
    前記表示面に表示された前記画像を、結像光学素子の素子面に対して前記表示面と面対称に位置する空中の表示領域に空中画像として結像させるステップと、
    前記表示領域の前方に存在するユーザの頭部の位置を検出するステップと、
    検出された前記ユーザの前記頭部の位置に基づいて、前記表示面における前記画像の表示位置及び大きさを調節するステップと、
    前記ユーザの前記頭部の位置と前記表示面における前記画像の描画開始位置とを対応付けたテーブルを記憶部に記憶させるステップと、を含み、
    前記調するステップでは、検出された前記ユーザの前記頭部の位置と前記表示領域との距離に基づいて前記テーブルを参照することにより、前記表示面における前記画像の前記描画開始位置及び大きさを決定し、決定した前記描画開始位置から前記画像の描画を開始する
    表示方法。
JP2017057761A 2017-03-23 2017-03-23 表示装置及び表示方法 Active JP6775197B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017057761A JP6775197B2 (ja) 2017-03-23 2017-03-23 表示装置及び表示方法
US15/901,897 US20180275414A1 (en) 2017-03-23 2018-02-22 Display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017057761A JP6775197B2 (ja) 2017-03-23 2017-03-23 表示装置及び表示方法

Publications (2)

Publication Number Publication Date
JP2018160836A JP2018160836A (ja) 2018-10-11
JP6775197B2 true JP6775197B2 (ja) 2020-10-28

Family

ID=63582440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017057761A Active JP6775197B2 (ja) 2017-03-23 2017-03-23 表示装置及び表示方法

Country Status (2)

Country Link
US (1) US20180275414A1 (ja)
JP (1) JP6775197B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102607175B1 (ko) * 2016-09-05 2023-11-28 주식회사 케이티 홀로그램 장치에서 색수차를 보정하는 방법 및 시스템
KR20200042660A (ko) * 2018-10-16 2020-04-24 현대자동차주식회사 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법
FR3091931B1 (fr) * 2019-01-18 2021-05-28 Psa Automobiles Sa Dispositif d’affichage pour véhicule automobile
JP7272294B2 (ja) * 2020-01-31 2023-05-12 住友電気工業株式会社 表示装置
CN117043710A (zh) * 2020-12-22 2023-11-10 富士胶片株式会社 空中成像显示系统及输入系统
JP2022176748A (ja) * 2021-05-17 2022-11-30 株式会社東海理化電機製作所 操作装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8500284B2 (en) * 2008-07-10 2013-08-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
JP5392613B2 (ja) * 2009-09-28 2014-01-22 スタンレー電気株式会社 ヘッドアップディスプレイ
JP6540988B2 (ja) * 2014-06-09 2019-07-10 日本精機株式会社 ヘッドアップディスプレイ装置
JP6405739B2 (ja) * 2014-06-20 2018-10-17 船井電機株式会社 画像表示装置
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
DE102016203185A1 (de) * 2015-03-11 2016-09-15 Hyundai Mobis Co., Ltd. Head-Up-Display und Steuerverfahren dafür
CN105974583B (zh) * 2015-03-11 2019-06-18 现代摩比斯株式会社 用于车辆的抬头显示器及其控制方法
US9881529B2 (en) * 2015-06-12 2018-01-30 Innolux Corporation Display device and operating method thereof
JP6608208B2 (ja) * 2015-07-24 2019-11-20 国立大学法人静岡大学 画像表示装置

Also Published As

Publication number Publication date
US20180275414A1 (en) 2018-09-27
JP2018160836A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6775197B2 (ja) 表示装置及び表示方法
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
JP6304628B2 (ja) 表示装置および表示方法
US9030465B2 (en) Vehicle user interface unit for a vehicle electronic device
JP4661866B2 (ja) ゲーム装置において実行される表示制御プログラム
US20110157236A1 (en) Head-mounted display
JP6440115B2 (ja) 表示制御装置、表示制御方法、および表示制御プログラム
KR20170032403A (ko) 사발형 이미징 시스템에서의 물체 추적
US20180150132A1 (en) Method and device for providing an image
JP6515028B2 (ja) 車両用操作装置
US10747007B2 (en) Intelligent vehicle point of focus communication
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
EP3457254A1 (en) Method and system for displaying virtual reality information in a vehicle
JP2016159656A (ja) 車両用表示装置
JPWO2018225176A1 (ja) 状態判定装置および状態判定方法
JPWO2019225516A1 (ja) 虚像表示装置
US20180052564A1 (en) Input control apparatus, input control method, and input control system
US10953811B2 (en) Vehicle image controller, system including the same, and method thereof
TWI636395B (zh) 基於深度值之手勢操作方法及其系統
EP2816455B1 (en) Projector with photodetector for inclination calculation of an object
JP6662175B2 (ja) 表示方法及び運転支援装置
US10810800B2 (en) Apparatus and method for providing virtual reality content of moving means
JP7223283B2 (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
JP6990874B2 (ja) 駐車支援装置および車両
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200918

R151 Written notification of patent or utility model registration

Ref document number: 6775197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03