JP6724987B2 - 制御装置および検出方法 - Google Patents

制御装置および検出方法 Download PDF

Info

Publication number
JP6724987B2
JP6724987B2 JP2018525216A JP2018525216A JP6724987B2 JP 6724987 B2 JP6724987 B2 JP 6724987B2 JP 2018525216 A JP2018525216 A JP 2018525216A JP 2018525216 A JP2018525216 A JP 2018525216A JP 6724987 B2 JP6724987 B2 JP 6724987B2
Authority
JP
Japan
Prior art keywords
display
icon
image
user
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018525216A
Other languages
English (en)
Other versions
JPWO2018003861A1 (ja
Inventor
英範 栗林
英範 栗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018003861A1 publication Critical patent/JPWO2018003861A1/ja
Application granted granted Critical
Publication of JP6724987B2 publication Critical patent/JP6724987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、制御装置および検出方法に関する。
指とタッチパネルとの間の距離を算出する静電容量式のタッチセンサにより、空中に表示された３次元オブジェクトに対する操作を検出する電子機器が開示されている（特許文献１）。しかし、特許文献１には、３次元オブジェクト（対象）に対して行う操作を検出することは記載されているものの、オブジェクトに対する操作の際の操作性についてはまだ不十分である。
日本国特開２０１２−２０３７３７号公報
第１の態様によれば、空中に表示される第１表示への使用者の操作を検出する検出部を制御する制御装置であって、前記操作を検出するための検出基準位置と前記操作が検出された位置との位置関係を取得する取得部を備え、前記制御装置は、前記取得部によって取得された前記位置関係と、前記第１表示とは異なる位置に表示される第２表示の表示態様とに基づいて、前記検出基準位置を調整する。
第２の態様によれば、空中に表示される第１表示への使用者の操作を検出する検出方法であって、前記操作を検出するための検出基準位置と前記操作が検出された位置との位置関係を取得し、取得された前記位置関係と、前記第１表示とは異なる位置に表示される第２表示の表示態様とに基づいて、前記検出基準位置を調整する。
第１の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は斜視図、（ｂ）は断面図、（ｃ）は結像光学系の構成を示す断面図である。 第１の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第１の実施の形態において表示される空中像を模式的に示す図であり、（ａ）は模式図、（ｂ）、（ｃ）、（ｄ）は、操作検出器と空中像と検出基準との関係を示す断面図である。 第１の実施の形態において表示されるキャリブレーション処理用の空中像を模式的に示し、補助画像の表示位置の変更と知覚される奥行との関係を説明する図である。 第１の実施の形態におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）、（ｄ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。 キャリブレーション処理の後に表示される空中像操作モードにおける空中像を模式的に示す図である。 第１の実施の形態における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態における第２のキャリブレーション処理モードにおける空中像と検出基準と指の到達位置との位置関係を示す図である。 第１の実施の形態における第２のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例１におけるアイコンと第１範囲の表示態様との関係を模式的に示す図である。 第１の実施の形態の変形例１におけるアイコンと第１範囲の表示態様との関係の別の例を模式的に示す図である。 第１の実施の形態の変形例１の別の例における表示装置の主要部構成を説明するブロック図である。 第１の実施の形態の変形例１におけるアイコンと第１範囲の表示態様との関係の別の例を模式的に示す図である。 （ａ）は第１の実施の形態の変形例１の別の例における表示装置の断面図であり、（ｂ）、（ｃ）、（ｄ）は変形例１におけるアイコンと第１範囲の表示態様との関係の別の例を模式的に示す図である。 第１の実施の形態の変形例１におけるアイコンと第１範囲の表示態様との関係の別の例を模式的に示す図である。 第１の実施の形態の変形例１におけるアイコンと第１範囲の表示態様との関係の別の例を模式的に示す図である。 第１の実施の形態の変形例２における表示装置の主要部構成を説明するブロック図である。 第１の実施の形態の変形例２におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。 第１の実施の形態の変形例２における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例４において第１のキャリブレーション処理モード表示される空中像を模式的に示す図である。 第１の実施の形態の変形例４におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。 第１の実施の形態の変形例４における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例７における表示装置の主要部構成を説明するブロック図である。 第１の実施の形態の変形例８における表示装置を説明する図であり、（ａ）は表示装置の外観斜視図であり、（ｂ）は表示装置の主要部構成を説明するブロック図である。 第１の実施の形態の変形例８に係る表示装置の内部構成を示す断面図である。 第２の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は断面図、（ｂ）は表示器と結像光学系との断面図であり、（ｃ）は主要部構成を説明するブロック図である。 第２の実施の形態の変形例１に係る表示装置の構成を説明する図であり、（ａ）は断面図であり、（ｂ）は主要部構成を説明するブロック図、（ｃ）は第３の実施の形態の変形例１の別の例に係る表示装置の断面図である。 第２の実施の形態の変形例２に係る表示装置の構成を説明する断面図である。 第３の実施の形態に係る表示装置の構成を説明する図であり、（ａ）斜視図、（ｂ）は主要部構成を説明するブロック図である。 第３の実施の形態において表示される空中像を模式的に示す図である。 第３の実施の形態の変形例１において表示される空中像の別の例を模式的に示す図である。 第３の実施の形態の変形例１において表示される空中像の別の例を模式的に示す図である。 第３の実施の形態の変形例１において表示される空中像の別の例を模式的に示す図である。 第３の実施の形態の変形例２において表示される空中像の別の例を模式的に示す図である。 第３の実施の形態の変形例３における表示装置の構成を説明する図であり、（ａ）は斜視図、（ｂ）は主要部構成を説明するブロック図である。 第３の実施の形態の変形例３における空中像と指標との表示を模式的に示す図である。
−第１の実施の形態−
図面を参照しながら、第１の実施の形態による表示装置について説明する。第１の実施の形態においては、本実施の形態の表示装置が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、操作パネルに限らず、携帯電話、テレビ、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。また、本実施の形態の表示装置は、デジタルサイネージ（電子看板）等の電子機器にも組み込むことができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、本実施の形態の表示装置は、例えば現金自動預払機（ＡＴＭ装置）においてユーザが暗証番号や金額等を入力するためのパネルや、鉄道やバスの乗車券・定期券等の自動券売機や、図書館や美術館等の各種の情報検索端末装置等のパネルに組み込むことが可能である。また、本実施の形態の表示装置は、各種のロボット（たとえば自走可能なロボットや、自走式の掃除機のような電子機器）に搭載しても良い。
図１（ａ）は表示装置１の斜視図であり、図１（ｂ）は表示装置１の一部を拡大して示す断面図であり、図１（ｃ）は表示装置１の一部を拡大して表示する側面図である。なお、説明の都合上、表示装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、表示装置１の矩形表示面の短辺方向に設定され、Ｙ軸は、表示装置１の矩形表示面の長辺方向に設定され、Ｚ軸は、表示面に垂直な方向に設定されている。
表示装置１は、制御部２０を内蔵する本体１０と、結像光学系９と、表示器１１と、操作検出器１３と、ステージ１４と、プロジェクタ１５とを備える。結像光学系９と、表示器１１と、操作検出器１３と、ステージ１４と、プロジェクタ１５とは、本体１０内に配置されている。表示器１１は、たとえば、液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器１１は、制御部２０により制御されて、表示用画像データに対応する画像を表示する。
図１（ｃ）に示すように、結像光学系９は、内部に複数の微細なミラー素子９０が二次元状に配置され、ＺＸ平面に対して所定の角度、たとえば４５°傾斜して配置される。結像光学系９は、表示器１１に表示される表示画像からのＹ方向＋方向への光を反射して、ステージ１４の上方空間に、表示画像の実像を空中像３０として形成する。このとき、空中像３０は、結像光学系９に関して表示器１１の表示面と対称な位置に形成される。即ち、表示器１１の表示面と結像光学系９との距離ｄと、結像光学系９と空中像３０との距離ｄが等しくなる。こうして、表示装置１の使用者（以下、ユーザ１２という）は、表示器１１の表示面に表示された表示画像を、ステージ１４の上方の空中に浮いた空中像３０として観察することができる。なお、このような結像光学系９の具体的な構成は、例えば、特開２０１６−１４７７７号公報に記載されている。また、結像光学系９は、上記で説明した結像光学系９に限らず、たとえば凸レンズであってもよい。なお、凸レンズの場合、焦点距離によっては、光軸方向に厚みをもってしまうため、フレネルレンズのような構成であってもよい。このように状況に基づいて、表示装置１に使用する結像光学系９を適宜選択してもよい。
また、表示装置１は、後述する第１の実施の形態の変形例２にて説明するように公知のライトフィールド方式を用いて空中像３０を表示させてもよい。
また、表示器１１と結像光学系９との間のＹ方向の距離ｄを可変にすることにより、空中像３０が表示される位置をＺ方向に沿って移動させることができる。たとえば表示器１１と結像光学系９との間の距離を小さくすると、即ち、表示器１１を結像光学系９に近づく方向に移動すると、空中像３０はユーザ１２から遠ざかる方向（Ｚ方向−側）に移動して表示される。逆に、表示器１１と結像光学系９との間の距離を大きくすると、即ち、表示器１１を結像光学系９から遠ざかる方向に移動すると、空中像３０はユーザ１２に接近する方向（Ｚ方向＋側）に移動して表示される。表示器１１のＹ方向の移動は、不図示のモータやその他のアクチュエータなどの駆動装置により行うことができる。
なお、結像光学系９の種類によっては、上記と逆になる場合がある。すなわち、表示器１１を結像光学系９に近づく方向に移動すると、空中像３０はユーザ１２に近づく方向（Ｚ方向＋側）に移動して表示される。逆に、表示器１１と結像光学系９との間の距離を大きくすると、すなわち、表示器１１を結像光学系９から遠ざける方向に移動すると、空中像３０はユーザ１２から遠ざかって（Ｚ方向−側）に移動して表示される。したがって、結像光学系９の種類によって、適宜表示器１１を移動させる方向を変更して使用するのがよい。
空中像３０は、表示装置１の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン３０Ａ（操作ボタン）を含む。本実施の形態にあっては、アイコン３０Ａは、例えば１行×３列に配列されている。
操作検出器１３は、後述するステージ１４に対してＺ方向−側にＸＹ平面に平行に設けられ、たとえば、公知の透明静電容量式パネル（以下、静電容量パネルと記載）によって構成される。静電容量パネルからなる操作検出器１３は、実質的に透明な部材からなる電極によって電界を形成する。操作検出器１３は、ユーザ１２が空中像３０の表示位置を操作するために指またはスタイラスを空中像３０の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、操作検出器１３は、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザ１２の指のＸ軸、Ｚ軸上での位置を検出する。
なお、操作検出器１３は、ステージ１４上にＺＸ平面に平行に設けても良い。
また、操作検出器１３は、後に詳述するように自身の表面からＺ方向の所定範囲に静電容量の検出範囲を有する。操作検出器１３は、この所定の検出範囲内の指またはスタイラスと操作検出器１３との間の間隔（Ｙ軸上での位置）を、例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて検出する。勿論、空中像３０は、操作検出器１３の所定の検出範囲内に位置するように、好ましくは所定の検出範囲のＺ方向の中頃に位置するように、結像光学系９によって結像される。このように、操作検出器１３は、ユーザ１２が空中像３０の表示位置を指またはスタイラスで操作することを検出するので、ユーザ１２は、操作検出器１３に直接に触れることなく、空中像３０に対する操作を実行することができる。なお、以下の説明では、指でもって空中像３０の表示位置を操作する例を説明するが、スタイラスなどにより操作する場合も同様である。
ステージ１４は、ＺＸ平面に平行な面として設けられ、このステージ１４の上方に空中像３０が表示される。以下の説明では、ステージ１４が矩形形状であるものとするが、矩形に限定されず、円形形状や多角形形状等、種々の形状を適用できる。
プロジェクタ１５は、ステージ１４の上方（Ｙ方向＋側）に設けられ、制御部２０による制御に従って、表示素子上に形成された画像データをＹ方向−側に向けて投影することにより、ステージ１４上に投影画像を投影する。プロジェクタ１５は、空中像３０の位置に対して所定の位置に投影画像を投影する。
図２は、表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１の表示器１１及び操作検出器１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、プロジェクタ制御部２００とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。なお、操作検出器１３の表面から指先までの距離と、操作検出器１３がその指先を検出したときの静電容量との間の対応関係は、予め記憶部２０５に記憶させておく。従って、操作検出器１３は、指先が操作検出器１３の所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部２０５に記憶された上記の対応関係とから、Ｚ方向における指先の位置を検出することができる。
画像生成部２０１は、記憶媒体に記憶されている画像データに基づいて、表示器１１に表示するための表示画像に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する画像を表示器１１に表示させる。また、表示制御部２０２は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行うと、その操作されたアイコン３０Ａの種類に基づいて表示器１１の表示画像の切り替え制御を行う。なお、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１の表示画像の切り替え制御を行うことに限られない。例えば、表示器１１は表示画像として動画像を表示し、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
キャリブレーション部２０３は、後に詳述する第１、第２のキャリブレーション処理モードのキャリブレーション処理を実行する。検出基準制御部２０４は、検出面、即ち検出基準を、ステージ１４の上方空間に設定する。具体的には、検出基準制御部２０４は、操作検出器１３の所定の検出範囲内であって空中像３０の位置（または所定範囲）に検出基準を設定する。検出基準制御部２０４は、更に、ユーザ１２の指が検出基準に達したことを操作検出器１３によって検出された静電容量の値に基づき判定する。即ち、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置（Ｘ軸、Ｙ軸、Ｚ軸の各軸での位置）が設定された検出基準の位置と一致した時に、ユーザ１２がアイコン３０Ａの表示位置を操作したと判定する。検出基準制御部２０４は、検出基準を予め定められた所定の初期位置に設定する。この検出基準の初期位置は、予め記憶部２０５に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザ１２に対して共通の位置であってもよいし、ユーザ１２による表示装置１の使用履歴などに基づき、ユーザ１２毎に異なる位置を設定してもよい。なお、検出基準制御部２０４は、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正してもよい。
また、検出基準の位置（初期位置や、変更または修正された位置）は、操作検出器１３のステージ１４の平面上（Ｘ軸、Ｙ軸上）全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置１の使用時に設定された検出基準を記憶部２０５に記憶しておき、それを読み出して使用してもよい。なお、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置が検出基準の位置に一致した場合に限らず、指位置が検出基準の位置に略一致した場合にユーザ１２がアイコン３０Ａの表示位置を操作したと判定してもよい。この略一致したと判定する範囲は、予め設定してもよい。
プロジェクタ制御部２００は、プロジェクタ１５を制御して、表示された空中像３０のＸ方向の位置とＺ方向の位置をユーザ１２が把握するための補助画像をステージ１４上に投影させる。この補助画像については、詳細な説明を後述する。
図３（ａ）は、表示装置１によって表示される空中像３０の一例を示し、図３（ｂ）、（ｃ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図３（ｂ）は、空中像３０と検出基準４０との位置関係をＹＺ平面に平行な面による断面を示し、図３（ｃ）は、空中像３０と検出基準４０との位置関係をＺＸ平面に平行な面による断面を示す。
図３（ａ）において、第１の像（第１表示像）である空中像３０は、上述のように１行×３列に配列された３個のアイコン３０Ａを含む。アイコン３０Ａはユーザ１２によって操作される空中像３０の第１部分である。アイコン３０Ａの下方（Ｙ方向−側）のステージ１４上には、プロジェクタ１５により投影された補助画像３１が投影される。空中像３０の第１部分であるアイコン３０Ａとは異なる第２部分である補助画像３１は、ユーザ１２がアイコン３０ＡのＺ方向の位置関係を知覚するための手がかりとなる画像であり、ステージ１４上の所定の投影領域１４０に投影される。補助画像３１は、第１範囲３１１と第２範囲３１２とからなる。なお、補助画像３１、所定の投影領域１４０、第１範囲３１１および第２範囲３１２の詳細については、説明を後述する。図３（ｂ）、（ｃ）において、検出基準４０は、検出基準制御部２０４によって、空中像３０の位置近傍に設置される。具体的には図示例では空中像３０よりも僅かにユーザ１２側（Ｚ方向＋側）の位置に、検出基準制御部２０４によって検出基準４０が設定される。図３（ｂ）では、空中像３０内のアイコンは、太い点線３０Ａで示されている。なお、アイコン３０Ａは、空中像３０の一部であるので空中像３０の位置と同一位置に位置しているが、図３（ｂ）、（ｃ）においては、アイコン３０Ａを表す太い点線を、空中像３０を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
図３（ｂ）、（ｃ）において、操作検出器１３は、ステージ１４の上方（Ｙ方向＋側）に静電容量の検出範囲１３Ａを有する。図３（ｂ）、（ｃ）では、操作検出器１３の前方（Ｚ方向＋側）のＺ方向に沿った静電容量の検出限界が破線１３ａで示され、この静電容量の検出限界１３ａと操作検出器１３との間隔が静電容量検出範囲１３Ａとして示されている。
図３（ｂ）の例では、検出限界１３ａがステージ１４のＺ方向＋側の端部の上方に設定された場合を示す。すなわち、静電容量検出範囲１３Ａがステージ１４のＺ方向の長さＨｚと等しい。この場合、ＺＸ平面上におけるステージ１４と静電容量検出範囲とが一致しているので、ステージ１４の上方の空間で行われるユーザ１２の操作が操作検出器１３にて検出される。なお、ＺＸ平面上におけるステージ１４の大きさと静電容量検出範囲とが一致せず、ステージ１４よりも狭い静電容量検出範囲が設定されてもよいし、ステージ１４よりも広い静電容量検出範囲が設定されてもよい。
空中像３０は、ステージ１４の上方に、操作検出器１３からＺ方向＋側に距離Ｈ１だけ離れた位置に形成される。検出基準４０は、ステージ１４の上方に、操作検出器１３からＺ方向＋側に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定されている。空中像３０と検出基準４０は、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）、（ｃ）では空中像３０よりもＺ方向＋側に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０よりもＺ方向−側でも、または空中像３０の位置に一致させてもよい。ここで、静電容量検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲を検出基準外４１とする。
なお、検出基準制御部２０４は、上述した検出基準４０の位置を、検出範囲１３Ａ内においてＹ方向に移動させて変更してもよい。たとえば、後述するキャリブレーション処理の結果に基づいて、検出基準制御部２０４は、図３（ｂ）、（ｃ）のように設定された検出基準４０をＺ方向＋方向または−方向に移動させてよい。図３（ｂ）、（ｃ）においては、空中像３０と検出基準４０は、ＸＹ平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。また、図３（ｄ）に示したように、検出基準４０は、平面ではなくアイコン３０Ａ毎に段差を持つようにしてよい。換言すると、或るアイコン３０Ａとそのアイコンに対する検出基準４０との間隔が、別のアイコン３０Ａとその別のアイコンに対する検出基準４０との間隔と異なっていてもよい。このように、検出基準４０に段差を設けることは、空中像３０が立体像であって、複数のアイコン３０Ａの位置がＺ方向に互いにずれている場合に特に有効である。例えば、立体の空中像３０の複数のアイコン３０ＡのＺ方向のずれに基づいて、各アイコン３０Ａに対応する検出基準４０のＺ方向の位置をずらすことによって、アイコン３０Ａと対応する検出基準４０との間の距離を、一定にすることもできる。また、検出基準４０は、図３（ｄ）に示す複数のアイコン３０Ａのそれぞれに設定された検出基準４０を、独立して移動させることにより検出基準４０の位置を変更してよい。すなわち、図３（ｄ）の紙面左端のアイコン３０Ａに対する操作に基づいてキャリブレーション処理が行われた場合、検出基準制御部２０４は、紙面左端のアイコン３０Ａに対応して設定された検出基準４０の位置をＺ方向に移動させてよい。このとき、検出基準制御部２０４は、他のアイコン３０Ａ（図３（ｄ）の紙面中央部および右端のアイコン３０Ａ）に対応して設定された検出基準４０のＺ方向の位置は移動させない。
操作検出器１３は、ユーザ１２の指先が操作検出器１３から距離Ｈ２に達した時に、距離Ｈ２に対応した検出出力を出力する。検出基準制御部２０４は、操作検出器１３による検出出力に基づいて、ユーザ１２の指先が検出基準４０に一致したと判定し、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。
アイコン３０Ａは、操作検出器１３から距離Ｈ１の位置に位置している。このアイコン３０Ａは空中像３０として表示されるので、或るユーザ１２と別のユーザ１２とでは、空中像３０のアイコン３０Ａの表示位置、即ち距離Ｈ１を、視覚的に異なって感じることがある。また、同一のユーザ１２でも、この表示装置１を操作する環境によっては、アイコン３０Ａの表示位置を異なって感じることがある。例えば、検出基準４０が空中像３０の位置に一致するように設定された場合に、或るユーザ１２が、アイコン３０Ａの表示位置への操作のために、指を空中像３０のアイコン３０Ａの方に移動したとする。そのユーザ１２は未だ指がアイコン３０Ａの手前（Ｚ方向＋側）にあると感じているのに、実際には指がアイコン３０Ａ、即ち検出基準４０に達していた場合には、ユーザ１２の意思に反してアイコン操作が実行されてしまう。逆に、別のユーザ１２が、アイコン操作のために、指を空中像３０のアイコン３０Ａの方に移動したとする。そのユーザ１２は指がアイコン３０Ａに到達してアイコン３０Ａの表示位置を操作していると思っているのに、実際には指がアイコン３０Ａ、即ち検出基準４０よりもＺ方向＋側に位置していた場合には、ユーザ１２の意思に反してアイコン操作が実行されない。いずれの場合にも、ユーザ１２は、アイコン操作に違和感を覚えることになる。
本実施の形態の表示装置１は、上述した空中像３０に対する操作を行う空中像操作モードに加えて、上記のアイコン操作の違和感を軽減するためのキャリブレーション処理モードを備える。キャリブレーション処理モードでは、表示装置１は、空中像３０と検出基準４０との位置関係を変更することなく、補助画像３１の表示態様を変更する。この補助画像３１は、所定の固定領域（第２の表示領域）に表示され、空中像３０に基づいた形状を有する低輝度の領域（第１領域）、即ち第１範囲３１１と、第１領域の外部であって第１領域よりも輝度が高い第２領域、即ち第２範囲３１２とを含む。すなわち、表示装置１は、空中像３０に対応する領域である第１範囲３１１以外の第２範囲３１２に表示輝度が高い第２の像（第２表示像）を表示し、第１範囲３１１には、第２の像と輝度の異なる第３の像を表示する。表示装置１は、固定領域内で低輝度の第１領域の位置を移動させることにより、あたかも空中像３０の表示位置がＺ方向（奥行方向）に移動したようにユーザ１２に知覚させるものである。これにより、表示装置１は、ユーザ１２によるアイコン操作の奥行方向における位置を変更させて、ユーザ１２のアイコン操作が検出基準４０の位置にて検出されるようにする。以下、キャリブレーション処理モードについて詳細な説明を行う。なお、低輝度は、輝度がゼロ、すなわち真っ暗な場合も含む。
なお、キャリブレーション処理モードにおいて、表示装置１は、空中像３０と検出基準４０との位置関係を変更せずに補助画像３１の表示態様を変更するものに限定されず、空中像３０と検出基準４０との位置関係を変更しつつ、補助画像３１の表示態様を変更してもよい。
本実施の形態の表示装置１は、上述したように第１、及び第２のキャリブレーション処理モードを有する。第１のキャリブレーション処理モードは、空中像操作モードとは別に、即ち、空中像操作モードが実行されていない時にキャリブレーション処理が実行されるものである。第２のキャリブレーション処理モードは、表示装置１の起動後に空中像操作モードが実行された際にその空中像操作モードの実行中にキャリブレーション処理が実行されるものである。これらの第１〜第２のキャリブレーション処理モードは、図２に示したキャリブレーション部２０３によって実行される。
第１〜第２のキャリブレーション処理モードのいずれを実行するかは、図示を省略した表示装置１に設けたキャリブレーション処理モード選択用の操作ボタンをユーザ１２が操作して、選択してもよい。キャリブレーション処理モード選択用の操作ボタンにより第１〜第２のキャリブレーション処理モードのいずれも選択されていない場合には、制御部２０は、空中像操作モードを選択して実行してもよい。また、表示装置１は、キャリブレーション処理モード選択用の操作ボタンを備えておらず、常時第２のキャリブレーション処置モードを行ってもよい。以下に、第１〜第２のキャリブレーション処理モードを順次説明する。なお、第１〜第２のキャリブレーション処理モードの選択は、操作ボタンの他に、空中像のアイコンを操作することにより行われてもよい。
最初に第１のキャリブレーション処理モードを説明する。表示装置１が起動され、ユーザ１２がキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。ユーザ１２による操作により第１のキャリブレーション処理モードが選択されると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション処理に用いる表示画像を表示する。画像生成部２０１は、補助画像用データを生成し、この補助画像用データに基づき、プロジェクタ１５は、補助画像３１をステージ１４上に投影する。
図４（ａ）は、このキャリブレーション処理用の表示画像の空中像３００と補助画像３１と補助画像３１が投影されるステージ１４上の投影領域１４０との一例を模式的に示す。空中像３００は、キャリブレーション用アイコン３００Ａを含む。画像生成部２０１は、キャリブレーション用アイコン３００Ａに、メッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を重畳表示させる。なお、画像生成部２０１は、上述のメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を、キャリブレーション処理の際に必ずしも表示させなくてもよい。例えば、キャリブレーション処理モードを選択したユーザ１２が、キャリブレーション処理モードにおいて何を操作するべきかを予め認識している場合などには、画像生成部２０１は上述のメッセージの表示を行わない。
本実施の形態では、補助画像３１としてアイコン３００Ａの影を表示させる例を挙げる。すなわち、たとえばアイコン３００Ａを実際に空中に存在する物体と見なしたときに、その物体を上方（Ｙ方向＋側）から照明した場合に形成される影に相当する画像が補助画像３１として表示される場合を例に挙げる。
投影領域１４０は、プロジェクタ１５が表示素子の全領域からの投影光を投影したときに、ステージ１４上に補助画像３１が投影される領域である。本実施の形態では、投影領域１４０は、ステージ１４上において、操作検出器１３からＺ方向＋側の距離Ｈ１の位置を中心とした所定の範囲であるものとする。なお、ステージ１４上に投影領域１４０が予め設定され、プロジェクタ１５は、表示素子の全領域のうち投影領域１４０に対応する範囲から投影光を投影して補助画像３１を投影してもよい。図４に示す例では、操作検出器１３からＺ方向＋側の距離Ｈ１の位置を基準として、前後方向（Ｚ方向の＋側と−側）にそれぞれ距離ｈ１（＜Ｈ１）の範囲、に投影領域１４０が設定された場合を示す。すなわち、図４に示す例では、投影領域１４０がステージ１４上の一部の範囲に設定されている。なお、投影領域１４０は、図４に示す例に限定されず、ステージ１４上の全領域でもよい。
画像生成部２０１は、アイコン３００Ａの下方、すなわち操作検出器１３から距離Ｈ１の位置を中心とした投影領域１４０にアイコン３００Ａの形状に応じた影が形成された状態を表す補助画像データを生成する。たとえば角柱のような形状を有するアイコン３００Ａを表示する場合には、画像生成部２０１は影を矩形形状にし、たとえば円柱のような形状を有するアイコン３００Ａを表示する場合には、画像生成部２０１は影を円形にする。また、たとえば平面状のアイコン３００Ａを表示する場合には、画像生成部２０１は、影を線状にする。図４に示す例では、影の形状を矩形とした場合を示す。
画像生成部２０１は、表示されるアイコン３００Ａに応じた形状を有する範囲の輝度と、アイコン３００Ａに応じた形状の範囲の外部の範囲の輝度とを異ならせて、補助画像データを生成する。この場合、画像生成部２０１は、アイコン３００Ａに応じた形状の範囲の輝度を低くし、外部の範囲の輝度を高くする。すなわち、画像生成部２０１は、アイコン３０Ａの形状に基づいて輝度分布を異ならせた補助画像データを生成する。プロジェクタ１５がこの補助画像データを投影することにより、投影領域１４０の内部の一部の領域で輝度分布が異なる第１範囲（第１領域）３１１と第２範囲（第２領域）３１２とを有する補助画像３１が投影される。上述したように、補助画像３１は、投影領域１４０内の一部の固定領域内に投影される。第１範囲３１１は、補助画像３１内、すなわち投影領域１４０内で、アイコン３００Ａに応じた形状を有し、輝度の低い領域である。第２範囲３１２は、補助画像３１内で、第１範囲３１１の外部の輝度が高い領域である。なお、第１範囲３１１と第２範囲３１２とが投影領域１４０の一部の領域に投影された場合を例に挙げて説明するが、これに限定されず、第１範囲３１１と第２範囲３１２とが投影領域１４０の全領域に投影されてもよい。図３、図４では、図示の都合上、補助画像３１のうち、第１範囲３１１および第２範囲３１２内の輝度分布をドットを用いて表し、第１範囲３１１に付したドットの濃度を濃くかつ密度を高くすることにより、第１範囲３１１と第２範囲３１２と輝度の違いを表現する。
画像生成部２０１は、第１範囲３１１に対応する範囲を中央部に、第２範囲３１２に対応する範囲をその外部に設定して補助画像データを生成する。プロジェクタ１５は、この補助画像データを投影することにより投影領域１４０に補助画像３１を投影する。すなわち、プロジェクタ１５によって、図４（ａ）に示すように、操作検出器１３からＺ方向＋側に距離Ｈ１の位置に第１範囲３１１が投影され、その外部に第２範囲３１２が投影される。
なお、プロジェクタ１５の内部にプロジェクタ１５の動作を制御する制御部と、補助画像データを生成する生成部とを有しても良い。この場合、生成部は、上述した画像生成部２０１と同様にして、補助画像データを生成してもよい。また、プロジェクタ１５の動作を制御する制御部は、制御部２０のプロジェクタ制御部２００から入力した制御信号に基づいて、プロジェクタ１５の動作を制御して、補助画像３１を投影してもよい。
上述したように、第１範囲３１１は、第２範囲３１２と比較して輝度が低い暗い範囲であるので、ユーザ１２は、第１範囲３１１をあたかもアイコン３００Ａが上方（Ｙ方向＋側）から照明されることにより形成された影のように視認する。空中像３００を視認するユーザ１２は、実際の物体であるステージ１４上に投影された第１範囲３１１とステージ１４との位置関係から、空中像３００のアイコン３００ＡのＺ方向における位置を認識する。これにより、ユーザ１２は、アイコン３００Ａが操作検出器１３から距離Ｈ１の位置に表示されていると視認する。すなわち、表示装置１は、第１の表示である空中像３００の奥行方向の位置、換言すると検出基準４０の位置を、第２の表示である補助画像３１によってユーザ１２に認識させる。
図４（ｃ）、図４（ｄ）は、図４（ａ）、図４（ｂ）に示す初期表示の場合と比べて、空中像３００およびアイコン３００Ａの表示位置は変わらないが、第１範囲３１１の投影される位置がＺ方向−側に変更された例を示す。すなわち、画像生成部２０１が第１範囲３１１に対応する範囲をＺ方向−側に変更した補助画像データを生成し、プロジェクタ１５がこの補助画像データに基づいて、投影光を投影した場合を示す。空中像３００は透過性を有して表示されるため、ユーザ１２は空中像３００の位置を安定的に視認できない。すなわち、空中像３００の表示位置はＺ方向において不安定なものとしてユーザ１２に視認される。そのため、表示装置１は、空中像３００の表示位置を示すために、空中像３００の近傍に影に相当する第１範囲３１１を表示することにより、Ｚ方向における空中像３００の表示位置が第１範囲３１１の位置にあるようにユーザ１２に知覚させる。この場合、ユーザ１２は、空中像３００およびアイコン３００Ａと低輝度の第１範囲３１１との相対的位置関係から、アイコン３００ＡのＺ方向での位置が第１範囲３１１のＺ方向位置またはその近傍位置にあるものとして認識する。すなわち、ユーザ１２は、図４（ｃ）、（ｄ）に示すように、ユーザ１２側から見て、第１範囲３１１を空中像３００およびアイコン３００Ａの表示位置よりも遠方に投影すると、ユーザ１２は、図４（ｃ）に示すアイコン３００Ａを、初期表示の状態よりもＺ方向−側に位置するものとして認識する。
図４（ｅ）、図４（ｆ）は、初期表示の場合と比べて、空中像３００およびアイコン３００Ａの表示位置は変わらないが、第１範囲３１１の投影される位置がＺ方向＋側に変更された例を示す。すなわち、画像生成部２０１が第１範囲３１１に対応する範囲をＺ方向＋側に変更した補助画像データを生成し、プロジェクタ１５がこの補助画像データに基づいて、投影光を投影した場合を示す。この場合も、ユーザ１２は空中像３００およびアイコン３００Ａと第１範囲３１１との相対的位置関係から、アイコン３００ＡのＺ方向の位置が第１範囲３１１のＺ方向位置またはその近傍位置にあるものとして認識する。すなわち、図４（ｅ）、（ｆ）に示すように、ユーザ１２側から見て、第１範囲３１１を空中像３００およびアイコン３００Ａの表示位置よりも前方に投影すると、ユーザ１２は、図４（ｅ）に示すアイコン３００Ａを、初期表示の状態よりもＺ方向＋側に位置するものとして認識する。
なお、以上の説明では、プロジェクタ１５が第１範囲３１１に対応する範囲が変更された補助画像データを投影することにより、第１範囲３１１のステージ１４上でのＺ方向の位置を移動させる例を挙げたが、これに限定されない。たとえば、プロジェクタ１５は、Ｚ方向に沿って移動可能に配置され、プロジェクタ１５の複数の表示画素上では、予め第１範囲３１１に対応する範囲と第２範囲３１２に対応する範囲が定められている。プロジェクタ１５が、後述するようにして算出された移動量に従ってＺ方向に移動することにより、第１範囲３１１の位置を移動してもよい。
図５を参照して、キャリブレーション処理時の空中像３００に対するユーザ１２の指の位置と、補助画像３１の表示とについて説明を行う。図５（ａ）は、操作検出器１３と空中像３００と検出基準４０と指Ｆの位置との関係を模式的に示す断面図である。
検出基準制御部２０４は、図５（ａ）に示すように、検出基準４０を空中像３００の近傍位置、例えば、空中像３００よりも僅かにＺ方向＋側の位置に設定する。勿論、検出基準制御部２０４は、検出基準４０を、空中像３００に一致させてもよいし、空中像３００よりも僅かにＺ方向−側の位置に設定してもよい。この場合、表示制御部２０２は、たとえば図４（ａ）に示す空中像３００を表示させる。
図５（ａ）において、ユーザ１２が、空中像３００のアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置を操作するために、指先Ｆをアイコン３００Ａの方に移動する。指先ＦがＺ方向−側に移動して、図２の操作検出器１３の静電容量の検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザ１２の指先Ｆの接近移動、即ちＺ方向−側への移動を静電容量の変化として検出する。
図５（ｂ）は、指先ＦがＺ方向−側へ移動して検出基準４０よりも僅かにＺ方向＋側の点線位置５０に達した場合を示す。このとき、ユーザ１２は、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａを押す操作を実行したと感じて、指先Ｆを所定距離だけＺ方向＋側に移動させたものとする。操作検出器１３は、指先Ｆの上記のＺ方向−側への移動、即ち押し込みとそれに引き続く所定距離の戻し移動とを、静電容量の変化として検出する。検出基準制御部２０４は、操作検出器１３が指先Ｆの上記の押し込みとそれに引き続く所定距離の戻し移動とを検出すると、アイコン３００Ａの表示位置に操作が行われたと判定する。なお、ユーザ１２の指先Ｆがアイコン３００Ａの表示位置への操作のために押し込みを行った後に所定距離の戻し移動をした場合に、検出基準制御部２０４は、最も押し込まれた位置を到達位置とする。即ち、点線位置５０を到達位置と称する。
到達位置５０が、図５（ｂ）に示すように検出基準４０に対してユーザ１２側（Ｚ方向＋側）に位置する場合、操作検出器１３は、検出基準４０でユーザ１２の指先Ｆを検出することができない。この場合、ユーザ１２の指先Ｆが検出基準４０で検出されるためには、図５（ｂ）に示す場合と比較して、到達位置５０が空中像３００側、すなわちＺ方向−側に近づく必要がある。本実施の形態では、制御部２０は、操作検出器１３により検出されたユーザ１２の操作が検出された位置と検出基準４０との位置関係を取得し、この位置関係に基づいて補助画像３１の表示態様を変更する。これにより、表示装置１は、到達位置５０であるユーザ１２の指先Ｆを図５（ｂ）に示す場合よりもＺ方向−側に移動させるように導くものである。すなわち、ユーザに、図５（ｂ）にて二点鎖線に示す位置に空中像３００’とアイコン３００Ａ’とが位置していると知覚させるために、ステージ１４上に破線で示す第１範囲３１１’を投影させて、ユーザの指先Ｆを図示する位置よりもＺ方向−側に移動させる。画像生成部２０１は、図４（ａ）に示すように表示されたアイコン３００Ａの下方に投影された第１範囲３１１の投影位置を、図４（ｃ）に示す投影位置に変更する。画像生成部２０１は、第１範囲３１１に対応する範囲をＺ方向−側へ移動した補助画像データを生成し、この補助画像データに基づいてプロジェクタ１５は投影光を投影する。すなわち、画像生成部２０１は、ユーザ１２による操作が検出された位置と検出基準４０との位置関係に基づいて、第１範囲３１１の移動する方向を制御する。この場合、画像生成部２０１は、ユーザ１２による操作が検出された位置と検出基準４０との位置関係に基づいて、後述する輝度分布の重心位置の移動する方向を制御する。
このようにして、画像生成部２０１は、ユーザ１２がアイコン３００Ａを押下する操作に基づく方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、補助画像３１の範囲を変更せずに第１範囲３１１の投影位置を変更する。換言すると、画像生成部２０１は、操作検出器１３により検出された操作により、第２の像（第２表示像）の表示形態を変更することにより、相対的に第１範囲３１１の投影位置を変更させる。なお、ユーザ１２が押下する操作は厳密にＺ方向に沿った方向に移動した場合に限られない。ユーザ１２が押下する操作がＺ軸に対して傾きを有して行われた場合であっても、すなわちユーザ１２の押下する操作の移動方向にＺ方向成分が含まれている場合に、制御部２０はユーザ１２によって押下する操作が行われたと判断してもよい。そして、画像生成部２０１は、アイコン３００Ａの表示位置が押下する操作に基づく方向であるＺ方向に変更したとユーザ１２に知覚されるように、第１範囲３１１の投影位置を移動させてもよい。
なお、画像生成部２０１は、ユーザ１２の押下する操作に基づいて、押下する操作に基づく方向である、ユーザ１２による押下する操作と同じ方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、第１範囲３１１の投影位置、すなわち後述する輝度分布の重心位置を移動してもよい。
画像生成部２０１は、第１範囲３１１の移動量を、検出基準４０と到達位置５０との間のずれ量、すなわちＺ方向の距離に基づいて決定する。画像生成部２０１は、初期表示の際の補助画像データの輝度分布の重心位置を、決定した距離に基づいて変更する。すなわち、検出基準４０と到達位置５０との間のずれ量が、Ｚ方向＋側に２ｃｍの場合には、画像生成部２０１は、第１範囲３１１の移動量をＺ方向−側に２ｃｍとなるように、輝度分布の重心位置の移動量を決定する。決定された第１範囲３１１の移動量は記憶部２０５に記憶される。
画像生成部２０１は、以下の式（１）を用いて、輝度分布の重心位置Ｇを算出する。
Figure 0006724987
上記の式（１）において、表示画素はｋ行×ｋ列に配列され、各表示画素の座標を（ｘｉ、ｙｊ）とし、ｆ（ｘｉ、ｙｊ）は座標（ｘｉ、ｙｊ）の表示画素の輝度を表す。
なお、ｋ行×ｋ列の表示画素は、第１範囲３１１の全範囲と第２範囲３１２の全範囲とを合わせた範囲に相当するものでもよいし、第１範囲３１１の全範囲と第２範囲３１２の一部の範囲とを合わせた範囲に相当するものでもよい。また、ｋ行×ｋ列の表示画素は、第１範囲３１１のうちの一部を除外した範囲と、第２範囲３１２の一部の範囲とを合わせた範囲に相当するものでもよい。
また、画像生成部２０１は、上記の式（１）を用いて算出した輝度分布の重心位置を移動させるものに限定されない。たとえば、画像生成部２０１は、第１範囲３１１の中心を算出し、検出基準４０と到達位置５０との間のずれ量に基づいて、第１範囲３１１の中心の移動量を算出してもよい。
なお、上述した第１範囲３１１の移動量は、到達位置５０と検出基準４０との距離の増減に基づいて、増減するように決定される。第１範囲３１１の移動量は、到達位置５０と検出基準４０との距離の増減に基づいて線形的に増減するように決定されてもよいし、到達位置５０と検出基準４０との距離が所定量の増減をするごとに段階的に増減するように決定されてもよい。また、到達位置５０と検出基準４０との距離に関わらず、第１範囲３１１の移動が所定の固定値だけ変更するように決定されてもよい。この場合、所定量はユーザ１２により設定可能に構成されてもよい。
以上のようにして、画像生成部２０１は、算出した輝度分布の重心位置Ｇを、ユーザ１２による操作が行われた位置と検出基準４０との位置関係に基づいた方向に制御して、決定した移動量にて移動させることにより、第１範囲３１１の投影位置を移動させる。このようにして第１範囲３１１のステージ１４上での投影位置が図４（ｃ）、（ｄ）に示すように変更されると、ユーザ１２は、アイコン３００ＡがあたかもＺ方向−側、すなわちユーザ１２から離れる方向に移動したように知覚する。すなわち、ユーザ１２は、空中像３００とアイコン３００Ａとは実際にＺ方向には移動していないにもかかわらず、図５（ｂ）の二点鎖線で示す位置に移動したように知覚する。ユーザ１２は、自身から更に離れた位置にアイコン３００Ａが表示されたように知覚しているので、アイコン３００Ａに対して操作を行う際に、ユーザ１２により指先Ｆを更にＺ方向−側に位置させる操作が行われることが期待される。これにより、ユーザ１２の指先Ｆの到達位置５０が図５（ｂ）に示す場合よりもＺ方向−側に位置することになり、図５（ｃ）に示すように到達位置５０が検出基準４０に位置する。したがって、操作検出器１３は検出基準４０でユーザ１２の指先Ｆを検出可能となる。
以上では、指の到達位置５０が検出基準４０よりも手前（Ｚ方向＋側）に位置することにより、ユーザ操作が検出基準４０で検出されない場合を説明した。到達位置５０が検出基準４０よりも奥側（Ｚ方向−側）に位置することにより、ユーザ操作が検出基準４０で検出されない場合も、検出基準制御部２０４は上述と同様に到達位置５０を判定し、その到達位置５０に基づき画像生成部２０１は第１範囲３１１の位置を変更する。この場合、図５（ｄ）に到達位置５０と検出基準４０との位置関係を示す。この場合、ユーザ１２の指先Ｆが検出基準４０で検出されるためには、図５（ｄ）に示す場合と比較して、到達位置５０がユーザ１２側、すなわちＺ方向＋側に位置する必要がある。すなわち、ユーザに、図５（ｄ）にて二点鎖線に示す位置に空中像３００’とアイコン３００Ａ’とが位置していると知覚させるために、ステージ１４上に破線で示す第１範囲３１１’を投影させて、ユーザの指先Ｆを図示する位置よりもＺ方向＋側に移動させる。画像生成部２０１は、輝度分布の重心位置Ｇを、到達位置５０と検出基準４０との位置関係に基づいて制御することにより、図４（ａ）に示すように投影された第１範囲３１１の投影位置を、図４（ｅ）に示す第１範囲３１１の投影位置となるように変更する。すなわち、画像生成部２０１は、第１範囲３１１の位置をＺ方向＋側へ移動した補助画像データを生成し、この補助画像データに基づいてプロジェクタ１５は投影光を投影する。
この場合も、画像生成部２０１は、第１範囲３１１、すなわち輝度分布の重心位置の移動量を、検出基準４０と到達位置５０との間のずれ量、すなわちＺ方向の距離に基づいて決定する。この場合も、すなわち、検出基準４０と到達位置５０との間のずれ量が、Ｚ方向−側に２ｃｍの場合には、画像生成部２０１は、第１範囲３１１の移動量をＺ方向＋側に２ｃｍとなるように、輝度分布の重心位置の移動量を決定する。決定された第１範囲３１１の移動量は記憶部２０５に記憶される。図４（ｅ）、（ｆ）に示すように第１範囲３１１の投影位置が変更されることによって、表示装置１は、アイコン３００ＡがあたかもＺ方向＋側、すなわちユーザ１２に接近する方向に移動したようにユーザ１２に知覚させる。ユーザ１２は、自身から更に接近した位置にアイコン３００Ａが表示されたように知覚しているので、アイコン３００Ａに対して操作を行う際に、ユーザ１２により指先Ｆを更にＺ方向＋側に位置させる操作が行われることが期待される。これにより、ユーザ１２の指先Ｆの到達位置５０が図５（ｄ）に示す場合よりもＺ方向＋側に位置することになり、図５（ｃ）に示すように、到達位置５０が検出基準４０に位置するようになる。したがって、操作検出器１３は検出基準４０でユーザ１２の指先Ｆを検出可能となる。
このようにして、画像生成部２０１は、ユーザ１２がアイコン３００Ａを押下する操作に基づく方向とは反対の方向にアイコン３００Ａの投影位置が変更したとユーザ１２に知覚されるように、第１範囲３１１の投影位置を変更する。なお、ユーザ１２が押下する操作が厳密にＺ方向に沿った方向に移動した場合に限られない。ユーザ１２が押下する操作がＺ軸に対して傾きを有して行われた場合であっても、すなわちユーザ１２の押下する操作の移動方向にＺ方向成分が含まれている場合に、制御部２０はユーザによって押下する操作が行われたと判断する。そして、画像生成部２０１は、アイコン３００Ａの表示位置が押下する方向に基づく方向であるＺ方向に変更されたとユーザ１２によって知覚されるように、第１範囲３１１の投影位置を変更してよい。
なお、画像生成部２０１は、ユーザ１２の押下する操作に基づいて、押下する操作に基づく方向である、ユーザ１２による押下する操作とは反対の方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、第１範囲３１１の投影位置、すなわち輝度分布の重心位置Ｇを移動してよい。
なお、画像生成部２０１は、補助画像データの輝度分布の重心位置を変更するため、初期表示の第１範囲３１１と、図４（ｃ）、（ｅ）における第１範囲３１１との間で形状が異なってもよい。
また、到達位置５０が検出基準４０に一致する場合にも検出基準制御部２０４は上述と同様に到達位置５０を判定する。しかし、到達位置５０が検出基準４０に一致しているので、画像生成部２０１は、ユーザ１２がアイコン３００Ａの奥行き位置が変更したと知覚するような、第１範囲３１１の投影位置の変更を行わない。
また、到達位置５０が検出基準４０よりも奥側（Ｚ方向−側）に位置する場合には、指先Ｆは、到達位置５０に到達する前に、検出基準４０を通過する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０に達したことを判定する。しかし、第１のキャリブレーション処理モードでは、画像生成部２０１は表示器１１の表示の切り替えを行わない。到達位置５０が検出基準４０に一致する場合も同様に、画像生成部２０１は表示器１１の表示の切り替えを行わない。勿論、指先Ｆが検出基準４０に達した時に、例えば、画像生成部２０１は、アイコン３００Ａを点滅させるなどのハイライト表示をして、指先Ｆが検出基準４０に到達したことをユーザ１２に告知してもよい。
以上の説明では、アイコン３００Ａの表示位置への操作の例としてユーザ１２によるアイコン３００Ａを押し込む操作を例に挙げたがこれに限られない。ユーザ１２によるアイコン３００Ａに対する所定の非接触操作が操作検出器１３によって検出された場合、所定の非接触操作が行われた場所、すなわち操作検出器１３によって所定の非接触操作が検出された位置に基づいて、画像生成部２０１は第１範囲３１１の位置を変更してもよい。所定の非接触操作とは、例えば、アイコン３００Ａをタッチするようなジェスチャー操作である。アイコン３００Ａをタッチするような操作を行った位置に基づいて、画像生成部２０１は第１範囲３１１の位置を変更してもよい。タッチするような操作とは、例えば、アイコン３００Ａをユーザ１２の手で振り払うようなジェスチャーなどが挙げられる。また、タッチするような操作を行った位置として、ユーザ１２の手で振り払うようなジェスチャーが終了し、ユーザ１２の手が停止したと判定された位置やユーザ１２の手で振り払うようなジェスチャーが開始された位置に基づいて決定してもよい。
また、所定の非接触操作として、ユーザ１２が指Ｆを距離Ｌ１だけＺ方向−側（奥側）へ移動した後にＵターンして、距離Ｌ１だけＺ方向＋側（手前側）に移動する操作である。即ち、この所定の非接触操作は、奥側への移動距離と手前側への移動距離とが等しいＵターン軌跡である。また、この所定の非接触操作は、Ｕターン、即ちＵ字の軌跡ではなく、Ｖ字の軌跡を描くものでも良く、また、指Ｆが距離Ｌ１だけ奥側へ移動した後にその奥側への移動軌跡に沿って距離Ｌ１だけ手前側に移動する操作であってもよい。更には、この所定の非接触操作は、奥側への移動距離Ｌ１と手前側への移動距離Ｌ１とが等しくなく異なっていても良い。すなわち、所定の非接触操作とは、指の奥側への移動に引き続き指の手前側への移動がなされる操作であれば良い。
また、所定の非接触操作として、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後、所定時間指Ｆを停止する操作でもよいし、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後、指Ｆを横方向に少なくとも所定距離Ｌ２移動させる操作でもよい。
所定の非接触操作は、上述した種々の指Ｆの移動軌跡で表されるものに限られず、その移動軌跡（指Ｆや手の移動軌跡）が操作検出器１３で検出できるものであれば、その他の移動軌跡を描くものであってよい。なお、操作検出器１３によって所定の非接触操作が検出された位置は、それぞれの操作によって適宜設定してもよい。たとえば、上記した所定の非接触操作として、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後にＵターンして、距離Ｌ１だけ手前側に移動する操作の場合、Ｕターンを行った最もＺ方向−側の位置を非接触操作が検出された位置としてよい。この所定の非接触操作が検出された位置の別の例としては、距離Ｌ１の半分の位置を非接触操作が検出された位置としてよい。
なお、検出基準制御部２０４が到達位置５０を判定する方法は、上述の押し込み移動から所定距離の戻し移動への変化に基づき判定する方法に限られず、以下に述べるようにその他の種々の方法によっても、判定することができる。例えば、ユーザ１２は、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａへの押し込み操作を実行したと感じて、指のＺ方向−側への移動、即ち押し込みを停止する。検出基準制御部２０４は、操作検出器１３が検出する静電容量の値が殆ど変化しなくなったことをもって、指の押し込みの停止を判定し、この押し込みの停止位置を到達位置５０と判定、即ち決定する。なお、Ｚ方向−側への移動の停止は、操作検出器１３が検出する静電容量の値が短時間、例えば０．１秒〜１秒程度の間、変化しないことをもって、判定される。更に別の方法としては、検出基準制御部２０４は、ユーザ１２の指の移動の速度ベクトル、即ち、指の移動速度と移動方向とを、静電容量の変化から検出する。検出基準制御部２０４は、静電容量の変化から、指の速度ベクトルの向きがＺ軸−方向からＺ軸＋方向に変化したこと及びＺ軸＋方向の速度ベクトルが所定の大きさになったことに基づき、Ｚ軸＋方向の所定の大きさの速度ベクトルを検出した時の指の位置を到達位置５０と判定してもよい。この方法の場合には、上記の速度ベクトルの所定の大きさを略ゼロに設定すると、速度ベクトルの向きがＺ軸−方向からＺ軸＋方向に変化する時点の指の位置、即ち最も指が押し込まれた位置が到達位置として判定される。所定の大きさをゼロ以外の値に設定すると、指が上述の最も押し込まれた位置から所定距離だけ戻された位置が、到達位置５０として判定される。以上のように、到達位置５０は、検出基準制御部２０４によって指がアイコンの表示位置を操作したと判定された時の指先Ｆの最も押し込まれた位置またはその近傍の位置に決定される。
また、上述の例では、検出基準制御部２０４は、指やスタイラスのうち、空中像３００のアイコン３００Ａに接触する部分、即ち指先部分の位置やスタイラスの端部の位置を基準として、到達位置を決定した。その代わりに、検出基準制御部２０４は、ユーザ１２の指の爪先の位置や、指の第１関節の位置を基準にして到達位置を決定してもよい。更には、検出基準制御部２０４は、ユーザ１２の指に限らず、ユーザ１２の足や肘などでアイコンを操作する場合には、足や肘などを基準にして到達位置を決定してもよい。スタイラスを使用する場合には、スタイラスの所定の位置にマークを付け、検出基準制御部２０４は、そのマークの位置を基準に到達位置を決定してもよい。なお、指の第１関節やスタイラスのマークなどを使用して到達位置を決定する場合には、操作検出器１３として、静電容量式パネルを用いる代わりに、後述の変形例８において説明する撮像装置などを使用することが望ましい。
また、上述した説明では、検出基準４０を単一の平面または段差を有する平面としたが、これに限定されず、検出基準４０が前面（Ｚ方向＋側）と後面（Ｚ方向−側）とに挟まれた所定の厚みを持った領域であってもよい。この場合、検出基準４０は、後面が空中像３０よりも手前（Ｚ方向＋側）に設定されてもよいし、前面が空中像３０よりも奥（Ｚ方向−側）に設定されてもよいし、前面と後面との間に空中像３０が位置するように設定されてもよい。このため、検出基準制御部２０４は、より確実に表示位置への操作を判定することができる。例えば、指が、たまたまアイコン３０Ａに対してＺ軸にほぼ沿って移動されずに、斜め方向から移動された場合を仮定する。この場合、検出基準４０が図３に示したように平面であると、アイコン３０Ａの位置に対応した部分の検出基準４０を通過せず、その横の部分を通過してしまい、検出基準制御部２０４が指のアイコン３０Ａの表示位置への操作を判定することができないことが起こり得る。しかし、検出基準４０が所定の厚さを有しているので、指が斜め方向から移動された場合にも、検出基準制御部２０４は、指が検出基準４０に入ったことを確実に検出することができる。更には、指が空中像３０に並行に移動して、アイコン３０Ａの表示位置を操作した場合にも、検出基準４０が所定の厚さを有しているので、検出基準制御部２０４は、指が検出基準４０内に入ったことを確実に検出することができる。
なお、上述したように、検出基準４０が厚みを有する場合には、検出基準４０の内部で上述した所定の非接触操作が行われない場合には、検出基準制御部２０４は、所定の非接触操作が行われていないと判定する。たとえば、所定の非接触操作が、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後にＵターンして、距離Ｌ１だけ手前側に移動する操作であるとする。このとき、ユーザ１２が検出基準４０内で指Ｆを距離Ｌ１だけ奥側へ移動した後、指Ｆを手前側に距離Ｌ１になるまで移動させなかったとする。この場合には、検出基準制御部２０４は、ユーザ１２により所定の非接触操作が行われていないと判定する。
以上のようにして第１のキャリブレーション処理モードが行われると、そのキャリブレーション処理の結果に基づいて、図３（ａ）に示す空中像操作モードにおける補助画像３１の表示位置が変更される。
図６に、上述した第１のキャリブレーション処理モードによるキャリブレーション処理の結果が反映された空中像操作モードにおける空中像３０と補助画像３１とを示す。図６（ａ）は、図３（ａ）と同様に、初期表示の空中像３０と補助画像３１とを示す。図６（ａ）では、１行×３列に配列されたアイコン３０Ａに対して、紙面に向かって左側から符号３０Ａａ、３０Ａｂ、３０Ａｃを付与する。また、アイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれに対応する第１範囲３１１に対して、符号３１１ａ、３１１ｂ、３１１ｃを付与する。
図６（ｂ）は、到達位置５０が検出基準４０の手前に位置した場合（図５（ｂ）参照）に行われたキャリブレーション処理の結果が反映された空中像３０と第１範囲３１１とを示す。すなわち、図６（ｂ）は、アイコン３０Ａがあたかもユーザ１２から離れる方向に移動したように知覚されるように、第１範囲３１１ａ〜３１１ｃの表示位置がＺ方向−側に変更された場合を示す。これにより、ユーザ１２は、第１のキャリブレーション処理モードのときよりもＺ方向−側に到達位置５０が位置するように操作を行うことが期待される。
図６（ｃ）は、到達位置５０が検出基準４０の奥側に位置した場合（図５（ｄ）参照）に行われたキャリブレーション処理の結果が反映された空中像３０と第１範囲３１１とを示す。すなわち、図６（ｃ）は、アイコン３０Ａがあたかもユーザ１２に接近する方向に移動したように知覚されるように、第１範囲３１１ａ〜３１１ｃの表示位置が変更された場合を示す。これにより、ユーザ１２は、第１のキャリブレーション処理モードのときよりもＺ方向＋側に到達位置５０が位置するように操作を行うことが期待される。
以上のようにして、第１キャリブレーション処理モードにて検出されたユーザ１２の操作位置と検出基準４０との間の距離に基づいて、空中像操作モードにおいてアイコン３０Ａの下方に投影される第１範囲３１１の位置が変更された補助画像３１が投影される。すなわち、表示装置１は、空中像３０の表示位置、すなわち検出基準４０と補助画像３１との位置関係を、補助画像３１の表示態様（第１範囲３１１の位置）を制御することにより変更する。
なお、図６に示す例では、画像生成部２０１は、複数のアイコン３０Ａａ、３０Ａｂ、３０Ａｃの全てに対して、キャリブレーション処理の結果に基づいて、その第１範囲３１１ａ、３１１ｂ、３１１ｃの表示位置を変更したが、これに限定されない。画像生成部２０１は、複数のアイコン３０Ａａ〜３０Ａｃに対応する第１範囲３１１ａ〜３１１ｃのうちの少なくとも１つの第１範囲３１１の表示位置を変更してもよい。または、画像生成部２０１は、各アイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれに対して、個別にキャリブレーション処理の結果を反映させて第１範囲３１１ａ、３１１ｂ、３１１ｃの表示位置を変更してもよい。
上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係について、図７に示すフローチャートを参照して説明する。図７のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
ステップＳ１において、ユーザ１２によりキャリブレーション処理モード選択用の操作ボタンによって第１のキャリブレーション処理モードが選択されていることを認識すると、ステップＳ２に進む。ステップＳ２において、図２に示したキャリブレーション部２０３が第１のキャリブレーション処理モードを開始して、ステップＳ３に進む。ステップＳ３では、画像生成部２０１がキャリブレーション用の表示用画像データを生成し、表示制御部２０２は、表示用画像データに基づくキャリブレーション用の画像を表示器１１に表示させると共に、検出基準制御部２０４は、検出基準４０を所定の初期位置に設定する。同時に、画像生成部２０１が補助画像３１用の画像データを生成し、プロジェクタ１５が図４（ａ）に示したように、補助画像３１をその第１範囲３１１がアイコン３００Ａの下に位置するように、投影領域１４０に投影する。表示器１１の表示画像は、結像光学系９によって生成される図４（ａ）に示すキャリブレーション用の空中像３００であり、空中像３００は、アイコン３００Ａとメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を含む。ステップＳ４において、操作検出器１３は、ユーザ１２の指先ＦのＺ方向−側への移動を検出し、ステップＳ５に進む。
ステップＳ５において、図２に示された検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置５０に達したか否かを判定する。ステップＳ５において肯定判定された場合、即ち、指が到達位置５０に達したと判定された場合、ステップＳ６に進む。ステップＳ５において否定判定された場合、即ち、指は停止していないと判定された場合、肯定判定されるまで待機する。ステップＳ６において、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づき、輝度分布の重心位置を変更して補助画像データを生成する。また、画像生成部２０１は、このときの重心位置の移動量、すなわち第１範囲３１１の移動量を示すデータを図２に示した記憶部２０５に記憶して、ステップＳ７に進む。
ステップＳ７において、第１のキャリブレーション処理モードを終了して、ステップＳ８に進む。ステップＳ８では、空中像操作モードを開始し、ステップＳ９に進む。ステップＳ９において、図８に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示される。このとき、画像生成部２０１は、ステップＳ６において記憶部２０５に記憶した第１範囲３１１の移動量を示すデータを記憶部２０５から読み出す。画像生成部２０１は、読み出したデータに基づき空中像操作モード用の補助画像データを生成し、プロジェクタ１５は、補助画像データに基づいて補助画像３１をステージ１４上に投影する。このようにして、この空中像操作モードでは、第１のキャリブレーション処理モードにおいて設定されたユーザ１２の操作特性に適したアイコン３０Ａと補助画像３１との位置関係が設定された状態で空中像３０が表示される。
ユーザ１２がアイコン３０Ａの表示位置を操作するために、指を空中像３０に向けてＺ方向に移動させると、ステップＳ１０において、図２に示した操作検出器１３がユーザ１２の指の奥行方向への移動を検出し、ステップＳ１１に進む。ステップＳ１１において、検出基準制御部２０４が、操作検出器１３の検出出力に基づき指が検出基準４０に達したかどうか判定する。ステップＳ１１において肯定判定された場合、即ち、指が検出基準４０に達したと判定された場合、ステップＳ１２に進む。ステップＳ１１において否定判定された場合、即ち、指が検出基準４０に達していないと判定された場合、肯定判定されるまで待機する。ステップＳ１２において、表示制御部２０２は表示器１１の表示画像を、操作されたアイコン３０Ａに応じた表示画像に切り替え、ステップＳ１３に進む。ステップＳ１３において、表示装置１の停止操作が行われたかどうか判定する。ステップＳ１３において、肯定判定された場合、即ち、表示装置１の停止操作が行われた場合、表示装置１は停止する。ステップＳ１３において否定判定された場合、ステップＳ１０に戻る。
以上の説明では、第１のキャリブレーション処理モードは、表示装置１が起動された後、空中像操作モードに先立って、実行されるものであったが、第１のキャリブレーション処理モードは、空中像操作モードの後に実行することもできる。例えば、ユーザ１２は、空中像操作モードの実行中に、例えばアイコン３０Ａの表示位置への操作に違和感を覚えたときに、表示装置１のキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。この場合には、第１のキャリブレーション処理モードは、実行中の空中像操作モードを中断して、実行され、この第１のキャリブレーション処理モードの終了後に、空中像操作モードが再開される。なお、上述したユーザ１２による操作ボタンの操作に従って表示装置１が第１のキャリブレーション処理モードを選択するものに代えて、キャリブレーション部２０３は、アイコン３０Ａの表示位置への操作に対する違和感からユーザ１２が不快感を抱いている様子を検出したときに、第１のキャリブレーション処理モードを実行しても良い。表示装置１は、たとえばユーザ１２の脈拍数（生体情報）を検出し、検出した脈拍数が所定値を超える場合に、ユーザ１２が不快感を抱いている様子を検出することができる。
次に、第２のキャリブレーション処理モードを図８及び図９を参照して説明する。なお、以下で説明する第２のキャリブレーション処理モードについては、上述の第１のキャリブレーション処理モードで説明した処理を適宜適用してよい。
図８は空中像操作モード用の空中像３０と検出基準４０と指先Ｆの到達位置５０とを示した図である。図９は、第２のキャリブレーション処理モードの動作を表したフローチャートである。図９のフローチャートに示す各処理は、表示装置１の起動後、制御部２０によってプログラムを実行して行われる。
ステップＳ２１において、第２のキャリブレーション処理モードが選択されていることを認識し、ステップＳ２２に進む。ステップＳ２２において、空中像操作モードと第２のキャリブレーション処理モードとが共に開始され、ステップＳ２３に進む。ステップＳ２３において、図３に示されたアイコン３０Ａを含む空中像３０が表示されると共に、図２に示した検出基準制御部２０４が、検出基準４０を予め定められた初期位置、例えば、空中像３０の位置または空中像３０の位置よりも僅かにＺ方向＋側の位置に設定し、ステップＳ２４に進む。このとき、プロジェクタ１５は、アイコン３０Ａの初期位置に応じた位置、すなわち操作検出器１３からＺ方向＋側に距離Ｈ１の位置に補助画像３１を投影する。この時、空中像３０には、メッセージ「アイコンの操作中にキャリブレーションが行われます」が短時間だけ表示される。なお、このメッセージは表示されなくてもよい。
ステップＳ２４において、ユーザ１２がアイコン３０Ａの表示位置への操作のために、指をＺ方向−側に移動させると、操作検出器１３が指の移動の検出を開始し、ステップＳ２５に進む。ステップＳ２５において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指がＺ方向−側への移動中に検出基準４０を通過したかを判定する。ステップＳ２５において肯定判断された場合、即ち、指がＺ方向−側へ移動中に検出基準４０を通過して、更にＺ方向−側へ移動した場合、ステップＳ２６に進む。図８の指Ｆ１は、Ｚ方向−側への移動中に検出基準４０を通過した指を示す。ステップＳ２６では、検出基準制御部２０４は指Ｆ１が検出基準４０に達したこと、即ち検出基準４０を通過したことを判定して、アイコン表示の切り替えを行い、即ち、空中像３０が操作されたアイコン３０Ａに基づいて切り替わり、ステップＳ２７に進む。ステップＳ２７では、検出基準制御部２０４は、指Ｆ１が到達位置５０に達したかを判定し、肯定判定の場合にはステップＳ２８に進み、否定判定の場合には、肯定判定されるまで維持する。ステップＳ２８では、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づき、第１範囲３１１の位置を変更してステップＳ３３へ進む。具体的には、画像生成部２０１は、図４（ｄ）に示すように第１範囲３１１がＺ方向＋側（ユーザ１２側）に位置するように、輝度分布の重心位置を変更した補助画像データを生成する。プロジェクタ１５は、生成された補助画像データに基づいて補助画像３１をステージ１４上に投影する。
なお、ステップＳ２８においては、検出基準制御部２０４が到達位置５０と検出基準４０と位置関係を比較して、到達位置５０が検出基準４０から所定の範囲よりもＺ方向−側に位置しないことを検出した場合、画像生成部２０１は補助画像３１の投影位置を変更しなくてもよい。または、画像生成部２０１は、補助画像３１の投影位置の変更量（補助画像３１の移動量）をゼロに設定してもよい（すなわち、実質的に補助画像３１の投影位置を変更しない）。
前述のステップＳ２５で否定判定された場合、即ち、指がＺ方向−側へ移動中に検出基準４０を通過していない場合には、ステップＳ２９に進む。ステップＳ２９では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指先Ｆが到達位置５０に達しているかを判定し、肯定判定の場合にはステップＳ３０に進む。否定判定の場合には、肯定判定されるまで維持する。図８の指Ｆ２は、到達位置５０が検出基準４０に一致したことを示している。ステップＳ３０では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、到達位置５０が検出基準４０に一致するかを判定し、肯定判定の場合にステップＳ３１に進み、否定判定の場合にステップＳ３２に進む。ステップＳ３１では、到達位置５０が検出基準４０に一致しているので、アイコン表示の切り替えを行うが、第１範囲３１１の移動を行わずにステップＳ３３へ進む。
なお、検出基準制御部２０４は、到達位置５０と検出基準４０とが完全に一致しない場合、たとえば検出基準４０から所定の範囲内に到達位置５０を検出した場合であっても、到達位置５０が検出基準４０に一致したと判定してもよい。この場合、図９のステップＳ２５においては、検出基準制御部２０４は、到達位置５０が検出基準４０から所定の範囲よりも下方に位置しているか否かを判定してよい。到達位置５０が検出基準４０から所定の範囲よりも下方に位置する場合には、ステップＳ２５が肯定判定されてステップＳ２６へ進む。また、ステップＳ３０では、検出基準制御部２０４は、到達位置５０が検出基準４０から所定の範囲内に位置するか否かを判定してよい。到達位置５０が検出基準４０から所定の範囲内に位置する場合には、ステップＳ３０が肯定判定されてステップＳ３１へ進む。
ステップＳ３２では、図８の指Ｆ３に示したように到達位置５０が検出基準４０のＺ方向＋側に位置しており、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づき第１範囲３１１の位置を変更する。具体的には、画像生成部２０１は、図４（ｃ）に示すように第１範囲３１１がＺ方向−側（ユーザ１２側とは反対側）に位置するように、輝度分布の重心位置を変更した補助画像データを生成する。プロジェクタ１５は、生成された補助画像データに基づいて補助画像３１をステージ１４上に投影する。ステップＳ３３では、第２のキャリブレーション処理モードの終了操作が行われたかを判定し、肯定判定の場合には第２のキャリブレーション処理モードを終了し、否定判定の場合にステップＳ２４に戻る。
以上のように、第２のキャリブレーション処理モードは、空中像操作モードを実行中に並行して行われるため、キャリブレーション処理の実行を意識することなく、ユーザ１２に適した検出基準４０で空中像３０の表示位置に対する操作を実行することができる。なお、第１〜２のキャリブレーション処理モードは必ずしもユーザ１２が選択しなくてもよい。表示装置１が自動的に第１〜２のキャリブレーション処理モードのうちのいずれか一つを選択するようにしてもよい。また、第１〜２のキャリブレーション処理モードの全てを備えるのではなく、そのうちの一つを備えるものであってもよい。
また、第１の実施の形態では、Ｚ軸方向に沿ってアイコン３０Ａの表示位置が変更したとユーザに知覚させるように、画像生成部２０１は、補助画像３１の表示態様の変更をしたが、これに限定されない。たとえば、画像生成部２０１は、アイコン３０Ａの表示位置の移動方向として知覚される方向が結像光学系９の光軸方向に移動したと知覚されるように、補助画像３１の表示態様を変更してよい。すなわち、本実施の形態では、画像生成部２０１は、結像光学系９の光軸と直交する方向以外の方向に移動したとユーザ１２に知覚されるように、補助画像３１の表示態様を変更してもよい。したがって、画像生成部２０１は、第１範囲３１１の移動方向に結像光学系９の光軸に沿った成分が含まれるように移動させてよい。
また、上述した第１の実施の形態では、補助画像３１が投影領域１４０内の一部の固定領域に投影されるものとして説明したが、補助画像３１が投影される領域を固定しなくてもよい。補助画像３１が投影領域１４０内を移動して投影されてもよいし、大きさが変更されて投影されてもよい。
なお、上述した第１の実施の形態の表示装置１において、表示装置１の周囲の輝度に基づいて、プロジェクタ制御部２００は、プロジェクタ１５が投影する補助画像３１の輝度を制御してもよい。この場合、表示装置１の本体１０には、周囲の明るさを検出する照度センサ等が設けられる。なお、照度センサとして、カメラの測光機能を用いても良い。表示装置１が日光や照明等により照射されることにより表示装置１の周囲が明るい場合には、プロジェクタ１５により投影された補助画像３１の第１範囲３１１がユーザ１２に視認しにくくなる。そこで、表示装置１の周囲が明るい場合には、プロジェクタ１５から投影される第２範囲３１２の輝度を高くすることにより、ユーザ１２により暗い第１範囲３１１を視認させる。
この場合、照度センサで検出した周囲輝度の増減に基づいて、プロジェクタ制御部２００は、第２範囲３１２に対応する範囲の投影光の輝度を増減させる。プロジェクタ制御部２００は、投影光が周囲輝度の増減に基づいて線形的に増減するように制御してもよいし、周囲輝度が所定量の増減をするごとに段階的に増減するように制御してもよい。また、周囲輝度が所定値を超える場合に、プロジェクタ制御部２００が第２範囲３１２に対応する範囲の投影光の輝度を制御してもよい。
なお、プロジェクタ１５の投影光の輝度が周囲輝度に基づいて制御されるものに限定されない。たとえば、ユーザ１２の操作によりプロジェクタ１５の投影光の輝度が設定され、この設定に従って、プロジェクタ制御部２００が投影光の輝度を制御してもよい。この場合、ユーザ１２は、表示装置１の本体１０に設けられた操作ボタンを操作してプロジェクタ１５の投影光の輝度を設定できる。なお、表示装置１は、この操作ボタンを空中像として表示してもよい。
また、プロジェクタ１５からの投影光が高輝度で投影される場合、明るい投影光によって、ユーザ１２は、空中像３０、３００を視認しにくくなる場合がある。この場合、表示制御部２０２は、プロジェクタ１５の投影光の輝度の増減に基づいて、表示器１１に表示される表示画像の輝度を増減させる。表示制御部２０２は、表示画像の輝度が投影光の増減に基づいて線形的に増減するように制御してもよいし、投影光の輝度が所定量の増減をするごとに段階的に増減するように制御してもよい。また、投影光の輝度が所定値を超える場合に、表示制御部２０２が表示器１１に表示される表示画像の輝度を制御してもよい。
なお、上述したようにプロジェクタ１５の投影光の輝度がユーザ１２の操作に基づいて設定された場合も、表示制御部２０２は、設定された輝度に基づいて、表示器１１の表示画像の輝度を制御できる。
なお、表示制御部２０２による表示画像の輝度の制御は、投影光の輝度に基づいて行うものに限定されず、表示装置１の周囲輝度に基づいて行われてもよい。すなわち、周囲輝度の増減に基づいて、表示制御部２０２が表示器１１の表示画像の輝度の制御を行ってもよい。
なお、また、上述した第１の実施の形態においては、補助画像３１として影に相当する画像を例に挙げたが、補助画像３１として影に相当する画像以外を適用することができる。たとえば、補助画像３１として、空中像３０の位置を示し、物を載置するような台、テーブル、机等を表示させてもよい。上記のような補助画像３１を空中像３０の下に表示することにより、空中像３０が補助画像３１に載置されているようにユーザ１２により知覚される場合がある。
なお、後述する第３の実施の形態の変形例２に記載されているように、補助画像３１は、空中像３０に関連性が高い物を表示した方がユーザ１２は、補助画像３１のうち第１範囲３１１の位置に空中像３０が表示されていると知覚する可能性が高くなる。後に詳しく説明するが、補助画像３１と空中像３０との間の関連性が高いものとは、補助画像３１と空中像３０とを表示させる対象同士が、現実世界で近くにあるもの、接して設置されるもの、対象同士が一体的になって構成されているもの等である。
第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作を検出する検出基準４０と、検出されたユーザ１２の操作の位置との位置関係に基づいて、補助画像３１を制御する。これにより、ユーザ１２は、補助画像３１に基づいて、検出基準４０にて操作を行うことが可能になる。具体的には、画像生成部２０１は、操作検出器１３で検出した操作により、表示輝度が高い第２の像（第２表示像）の表示形態を変更する。これにより、補助画像３１のうち輝度の低い領域である第１範囲３１１の位置が変化し、ユーザは、この第１範囲３１１を手がかりとして検出基準４０にて操作を行うことが可能になる。
また、第１の実施の形態では、画像生成部２０１は、検出基準４０でユーザ１２の操作が検出されない場合、補助画像３１を制御する。これにより、ユーザ１２は、補助画像３１に基づいて、検出基準４０の位置を知覚して、検出基準４０にて操作を行うことが可能になる。
また、第１の実施の形態では、画像生成部２０１は、第２の表示領域内の補助画像３１の第１範囲３１１を制御する。これにより、ユーザ１２は、アイコン３０Ａの影に相当する画像に基づいて、検出基準４０の位置を知覚することができる。
また、第１の実施の形態では、画像生成部２０１は、第２の表示である補助画像３１の表示態様を制御する。これにより、ユーザ１２は、補助画像３１の表示態様を視認することにより、検出基準４０の位置を知覚しやすくなる。
また、第１の実施の形態では、画像生成部２０１は、第２の表示領域内の補助画像３１の第１範囲３１１を制御する。これにより、ユーザ１２は、アイコン３０Ａの影に相当する画像の表示態様を視認することにより、検出基準４０の位置を知覚しやすくなる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２側またはユーザ１２側とは反対側に空中像３０の位置が変更したとユーザ１２に知覚させるように、補助画像３１の表示態様を変更する。したがって、ユーザ１２に、Ｚ方向に沿って操作を行う位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
また、第１の実施の形態では、画像生成部２０１は、検出基準４０に対するユーザ１２の操作が検出された位置に基づいて、補助画像３１の第１範囲３１１の位置を変更する方向を決定する。これにより、キャリブレーション処理により、ユーザ１２の操作の到達位置５０を検出基準４０に到達させることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作に基づく方向、またはユーザ１２の操作に基づく方向とは反対の方向に補助画像３１の第１範囲３１１を移動させる。したがって、ユーザ１２に、Ｚ方向に沿って操作を行う位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
なお、ユーザ１２が押下する操作を行う場合には、画像生成部２０１は、ユーザ１２が押下する操作に基づく方向または押下する操作に基づく方向とは反対の方向に補助画像３１の第１範囲３１１を移動させる。これにより、ユーザ１２は、押下する操作の位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作が検出基準４０に到達しない場合（図５（ｂ）参照）、ユーザ１２の操作に基づく方向に補助画像３１の第１範囲３１１の表示の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３０Ａの位置がユーザ１２から離れる方向に変更されたように知覚する。これにより、ユーザ１２にさらにＺ方向−方向へ操作させて、検出基準４０に到達させることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作が検出基準４０に到達する場合（図５（ｄ）参照）、ユーザ１２の操作に基づく方向とは反対方向に補助画像３１の第１範囲３１１の表示の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３０Ａの位置がユーザ１２に接近する方向に変更されたように知覚する。これにより、ユーザ１２に、操作をよりユーザ１２に近い側の位置で行わせ、ユーザ１２の操作を検出基準４０に位置させることができる。
また、第１の実施の形態では、画像生成部２０１は、補助画像３１の輝度の分布を制御する。これにより、アイコン３０Ａの下方にあたかも影のような第１範囲３１１をユーザ１２に知覚させることができる。
また、第１の実施の形態では、画像生成部２０１は、補助画像３１の輝度分布の輝度の重心の位置を制御する。これにより、補助画像３１の第１範囲３１１が移動したようにユーザ１２に知覚させることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作に基づいて、補助画像３１の輝度分布の輝度の重心の位置を制御する。これにより、補助画像３１の第１範囲３１１がユーザ１２の操作に基づいて移動して、ユーザ１２に検出基準４０の位置を知覚させることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作の到達位置５０が検出基準４０に到達したか否かに基づいて、補助画像３１の輝度分布の輝度の重心の位置を移動する方向を決定する。これにより、キャリブレーション処理により、ユーザ１２の操作の到達位置５０を検出基準４０に到達させることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作に基づく方向、またはユーザ１２の操作に基づく方向とは反対の方向に補助画像３１の輝度分布の輝度の重心の位置を移動させる。したがって、ユーザ１２に、Ｚ方向に沿って操作を行う位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
なお、ユーザ１２が押下する操作を行う場合には、画像生成部２０１は、ユーザ１２が押下する操作に基づく方向または押下する操作に基づく方向とは反対の方向に補助画像３１の輝度分布の輝度の重心の位置を移動させる。これにより、ユーザ１２は、押下する操作の位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作が検出基準４０に到達しない場合（図５（ｂ）参照）、ユーザ１２の操作に基づく方向に補助画像３１の輝度分布の輝度の重心の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３０Ａの位置がユーザ１２から離れる方向に変更されたように知覚する。これにより、ユーザ１２にさらにＺ方向−方向へ操作させて、検出基準４０に到達させることができる。
また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作が検出基準に到達する場合（図５（ｄ）参照）、ユーザ１２の操作に基づく方向とは反対方向に補助画像３１の輝度分布の輝度の重心の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３０Ａの位置がユーザ１２に接近する方向に変更されたように知覚する。これにより、ユーザ１２に、操作をよりユーザ１２に近い側の位置で行わせ、ユーザ１２の操作を検出基準４０に位置させることができる。
（第１の実施の形態の変形例１）
第１の実施の形態においては、キャリブレーション処理の結果に基づいてステージ１４上で投影される第１範囲３１１の位置が変更される場合を説明した。変形例１においては、補助画像３１の表示態様として適用可能な例について説明する。
＜１．第１範囲３１１の大きさを変更＞
画像生成部２０１は、アイコン３０Ａの大きさに基づいて第１範囲３１１の大きさを異ならせてよい。たとえば、図１０（ａ）に示すように、空中像操作モードに対応する空中像３０として２つのアイコン３０Ａ１、３０Ａ２が表示されるものとする。図１０（ａ）では、アイコン３０Ａ１と比較して、アイコン３０Ａ２の大きさが大きい。この場合、画像生成部２０１は、アイコン３０Ａ１に対応する第１範囲３１１Ａ１よりもアイコン３０Ａ２に対応する第１範囲３１１Ａ２の方が大きい、すなわち面積が大きくなるように、輝度分布を設定して補助画像データを生成する。
また、図１０（ｂ）に示すように初期表示されていたアイコン３０Ａと第１範囲３１１とに対して、アイコン３０Ａの大きさを異ならせた表示に切り替えた場合に、画像生成部２０１は、アイコン３０Ａの大きさの変更に基づいて第１範囲３１１の大きさを変更してもよい。たとえば、図１０（ｃ）に示すように、アイコン３０Ａの大きさが拡大された場合、画像生成部２０１は、アイコン３０Ａの拡大率に基づいて、第１範囲３１１の大きさが拡大されるように輝度分布を設定して補助画像データを生成する。プロジェクタ１５が補助画像データに基づいて補助画像３１を投影することにより、図１０（ｃ）に示すように、初期表示における第１範囲３１１よりも面積の大きい第１範囲３１１をアイコン３０Ａの下方に投影する。
なお、画像生成部２０１は、上述した第１範囲３１１の大きさの変更と、第１の実施の形態にて説明した第１範囲３１１との表示位置の移動とを組み合わせて表示用画像データを生成してよい。
第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの大きさに基づいて、補助画像３１の第１範囲３１１の大きさを変更する。これにより、ユーザ１２はアイコン３０Ａと第１範囲３１１との間に関連があるものとして認識し、補助画像３１を手掛かりとしてアイコン３０Ａの位置を知覚することができる。
＜２．第１範囲３１１の明るさを調節＞
画像生成部２０１は、アイコン３０ＡのＹ方向の表示位置に基づいて、第１範囲３１１の明るさが異なるように補助画像データを生成してよい。一般に、実物とその影ができる面との鉛直方向の距離が大きいほど影は薄く、近づくほど影は濃くなる。このような現象を、画像生成部２０１は、第１範囲３１１の濃さ、すなわち明るさを制御することにより空中像３０と第１範囲３１１との間で再現する。この場合、画像生成部２０１は、補助画像データの全領域の輝度分布の平均値を制御する。輝度分布の平均値Ａｖは、以下の式（２）により表される。
Figure 0006724987
なお、式（２）においては、上述した式（１）の場合と同様に、ｋ行×ｋ列に配列された表示画素の座標を（ｘｉ、ｙｊ）とし、ｆ（ｘｉ、ｙｊ）は座標（ｘｉ、ｙｊ）の表示画素の輝度を表す。ここでの説明は、ｋ行×ｋ列の範囲を、第１範囲３１１の全範囲と第２範囲３１２の全範囲とを合わせた範囲で説明を行う。
また、ｋ行×ｋ列の表示画素は、必ずしも第１範囲３１１の全範囲と第２範囲３１２の全範囲とを合わせた範囲にする必要はなく、第１範囲３１１の全範囲と第２範囲３１２の一部の範囲とを合わせた範囲に相当するものでもよい。また、ｋ行×ｋ列の表示画素は、第１範囲３１１のうちの一部を除外した範囲と、第２範囲３１２の一部の範囲とを合わせた範囲に相当するものでもよい。
図１１（ａ）は、初期表示されたアイコン３０Ａと補助画像３１とを示す図である。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ１とする。この場合、画像生成部２０１は、第１範囲３１１の輝度を、第２範囲３１２の輝度に対して、たとえば５０パーセントとなるよう輝度分布の平均値を設定した補助画像データを生成する。図１１（ｂ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向−側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ２（＜Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ１−Ｈｙ２）に基づいて、図１１（ｂ）の第１範囲３１１の全範囲と第２範囲３１２の全範囲とを合わせた範囲の輝度分布の平均値が、図１１（ａ）の平均値よりも小さく設定した補助画像データを生成する。この場合、画像生成部２０１は、第１範囲３１１の鮮鋭度が初期表示の場合よりも高くなるように補助画像データを生成することになる。これにより、プロジェクタ１５によって、初期表示の場合よりも暗い第１範囲３１１がアイコン３０Ａの下方に投影されることになる。上記の式（２）の算出に用いる表示画素のｋ行×ｋ列の領域が固定されているため、画像生成部２０１は、初期表示の第１範囲３１１との間で輝度を比較することができる。ただし、補助画像３１が投影される範囲が投影領域１４０の全領域にした場合には、表示画素のｋ行×ｋ列の領域を移動させたり大きさを変更させたとしても初期表示の第１範囲３１１との間で輝度を比較することができる場合もある。なお、図１１（ｂ）においては、図示の都合上、第１範囲３１１に付したドットを図１１（ａ）の場合よりも密にして描くことにより、第１範囲３１１を低輝度に変更したことを示す。
図１１（ｃ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向＋側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ３（＞Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ３−Ｈｙ１）に基づいて、図１１（ｃ）の第１範囲３１１の全範囲と第２範囲３１２の全範囲とを合わせた範囲の輝度の平均値が、図１１（ａ）の平均値よりも大きく設定した補助画像データを生成する。この場合、画像生成部２０１は、第１範囲３１１の鮮鋭度が初期表示の場合よりも低くなるように補助画像データを生成することになる。これにより、プロジェクタ１５によって、初期表示の場合よりも明るい第１範囲３１１がアイコン３０Ａの下方に投影されることになる。図１１（ｂ）においては、図示の都合上、第１範囲３１１に付したドットを図１１（ａ）の場合よりも粗くして描くことにより、第１範囲３１１を低輝度に変更したことを示している。
なお、以上の説明では、画像生成部２０１は、第１範囲３１１の明るさを変更する例について説明した。画像生成部２０１は、第１範囲３１１の明るさの変更と、上述した第１範囲３１１の大きさの変更と、第１の実施の形態にて説明した第１範囲３１１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。
第１の実施の形態の変形例１では、第１範囲３１１の鮮鋭度を変更する。これにより、ユーザ１２に、あたかもアイコン３０Ａの空中での表示の位置が移動したように知覚させ、ユーザ１２の操作の位置を変更させることができる。
＜３．第１範囲３１１が空中像３０の表示位置の移動に追従して移動＞
アイコン３０Ａの表示位置が移動する場合に、画像生成部２０１は、アイコン３０Ａの移動に追従して第１範囲３１１もステージ１４上を移動するように補助画像データを生成してもよい。この場合、表示装置１は、ユーザ１２が所定のジェスチャーを行った場合、そのジェスチャーに従って空中像３０を移動させる。この場合、表示装置１は、図１２の主要部構成のブロック図に示す構成を有する。即ち、表示装置１は、制御部２０と、制御部２０によって制御される撮像装置１８と、表示器１１と、結像光学系９と、操作検出器１３と、プロジェクタ１５とを有している。撮像装置１８は、詳細を後述する変形例８の表示装置１が備える撮像装置と同様の構成が適用できる。制御部２０は、図２に示す第１の実施の形態の表示装置１の制御部２０が有する構成に加えて、検出部２１２と決定部２１３とを備える。検出部２１２は、撮像装置１８により生成された複数の撮像データを用いて、ユーザ１２により行われたジェスチャーを検出する。決定部２１３は、検出されたジェスチャーに基づいて、空中像３０の移動方向や移動量を決定する。
表示装置１により形成された空中像３０を視認しているユーザ１２が、空中像３０の位置を移動させたい場合には、予め決められた特定のジェスチャーを行う。予め決められた特定のジャスチャーとして、例えば、ユーザ１２が視認している空中像３０の位置を右側（例えばＸ方向＋側）に移動させたい場合に、ユーザ１２が手や腕を右方向（例えばＸ方向＋側）に振る動作や、ユーザ１２が表示装置１の方向に向けて指や手を押し込んでから一定方向（Ｘ方向＋側）にはじくように移動するフリック動作や、指や手を一定方向（Ｘ方向＋側）になぞるように移動するスワイプ動作等がある。また、ユーザ１２が視認している空中像３０を手前側（たとえばＹ方向＋側）に移動させたい場合に、ユーザ１２が前に突き出した腕を手前に引くような動作や、手招きするような動作等がある。
検出部２１２は、撮像装置１８により撮像された撮像データを用いて、撮像データ上でユーザ１２が上記のジェスチャーを行ったか否かを検出する。検出部２１２によりジェスチャーが行われたことが検出されると、決定部２１３は、空中像３０を移動させる方向と移動量を決定する。この場合、決定部２１３は、ユーザ１２が手や腕を右方向（Ｘ方向＋側）に振るジェスチャーをした場合に、ユーザ１２の手や腕が移動したＸ方向＋側を、空中像３０を移動させる方向として決定する。決定部２１３は、空中像３０の移動量をジェスチャーの際に手や腕が移動した量に従って決定する。即ち、決定部２１３は、ユーザ１２が手や腕を振ったときの手や腕の移動量が小さい場合は空中像３０の移動量を小さくし、手や腕の移動量が大きい場合には空中像３０の移動量を大きくする。または、決定部２１３は、空中像３０が形成されている位置から予め決められた移動量だけ離れた位置に移動させても良い。即ち、ユーザ１２が行ったジェスチャーの大きさに拘わらず、空中像３０は一定の移動量で移動する。この場合、ユーザ１２の所望する位置まで空中像３０が移動されない場合には、空中像３０が所望の位置に移動するまで、ユーザ１２が同様のジャスチャーを繰り返し行う。
画像生成部２０１は、決定部２１３によって決定された空中像３０の移動方向と移動量とに基づいて、表示用画像データを生成するとともに、第１範囲３１１の位置、すなわち輝度分布の重心位置を上記の移動方向と移動量とに基づいて変更して補助画像データを生成する。この結果、空中像３０は、ユーザ１２が行うジェスチャーに基づいてＸＹ平面上を移動し、第１範囲３１１は空中像３０の移動に伴って、空中像３０の下方のステージ１４上を移動するようにプロジェクタ１５によって投影される。すなわち、空中像３０の移動に追従して、空中像３０の下方で第１範囲３１１がステージ１４上を移動する。
なお、以上の説明では、画像生成部２０１は、空中像３０の移動に追従して第１範囲３１１を移動する例について説明した。画像生成部２０１は、第１範囲３１１の移動に加えて、上述した第１範囲３１１の明るさの変更と、上述した第１範囲３１１の大きさの変更と、第１の実施の形態にて説明した第１範囲３１１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。
第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの位置が変更された場合、アイコン３０Ａの位置に追従して補助画像３１の第１範囲３１１の位置を変更する。これにより、ユーザ１２は、アイコン３０Ａが移動した場合であっても、アイコン３０ＡのＺ方向の位置を知覚することができる。
＜４．空中像３０のＹ方向に沿った移動に基づいて第１範囲３１１の形状が変更＞
画像生成部２０１は、アイコン３０ＡのＹ方向の表示位置に基づいて、第１範囲３１１の大きさや形状が異なるように補助画像データを生成してよい。一般に、実物とその影ができる面との鉛直方向の距離が大きいほど影は大きくなりエッジはぼけ、近づくほど影は小さくなりエッジは明瞭になる。このような現象を、画像生成部２０１は、第１範囲３１１の大きさとボケ量を制御することにより空中像３０と第１範囲３１１との間で再現する。
図１３（ａ）は、上述した図１１（ａ）と同様に、初期表示されたアイコン３０Ａと補助画像３１とを示す図であり、アイコン３０Ａとステージ１４との間のＹ方向の距離がＨｙ１としたものである。この場合、画像生成部２０１は、第１範囲３１１の大きさを、アイコン３０Ａの大きさに対して距離Ｈｙ１に基づいて拡大し、第１範囲３１１ボケ量が所定の初期状態となるように、輝度分布の平均値を設定した補助画像データを生成する。
図１３（ｂ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向−側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ２（＜Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ１−Ｈｙ２）に基づいて、第１範囲３１１の大きさを初期表示の場合の大きさよりも縮小し、ボケ量が初期状態の場合よりも小さく明瞭となるように、上記の式（２）に示す輝度分布の平均値を小さな値に設定して補助画像データを生成する。これにより、プロジェクタ１５によって、初期表示の場合よりも小さく、エッジが明瞭となった暗い第１範囲３１１がアイコン３０Ａの下方に投影されることになる。なお、図１３（ｂ）では、初期表示のときの第１範囲３１１を破線で示しているが、実際にはこの第１範囲３１１は投影されなくてもよいし、低輝度にて投影されてもよい。
図１３（ｃ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向＋側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ３（＞Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ３−Ｈｙ１）に基づいて、第１範囲３１１の大きさを初期表示の場合の大きさよりも拡大しボケ量を大きくする。すなわち、画像生成部２０１は、上記の式（２）に示す輝度分布の平均値を初期状態のときよりも大きい値に設定して補助画像データを生成する。これにより、プロジェクタ１５によって、初期表示の場合より大きく、エッジがボケた明るい第１範囲３１１がアイコン３０Ａの下方に投影されることになる。
なお、上述した説明では、画像生成部２０１は、第１範囲３１１の大きさとボケ量とをアイコン３０ＡのＹ方向の位置に基づいて変更したが、第１範囲３１１の大きさとボケ量の何れか一方を変更するものでもよい。
また、画像生成部２０１は、影領域の大きさとエッジ部のボケ量とを変更する際に、上述した第１範囲３１１の移動と、上述した第１範囲３１１の明るさの変更と、上述した第１範囲３１１の大きさの変更と、第１の実施の形態にて説明した第１範囲３１１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。
第１の実施の形態の変形例１では、画像生成部２０１は、補助画像３１の輝度分布の平均値を制御する。これにより、第１範囲３１１の大きさが変更できるので、ユーザ１２はアイコン３０Ａと補助画像３１との関係を把握しやすくなる。
また、第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの影の大きさを大きくする場合、補助画像３１の輝度分布の平均値を小さくする。これにより、実際の物体と影との関係性が補助画像３１を用いて再現され、ユーザ１２はアイコン３０Ａと補助画像３１との関係を把握しやすくなる。
なお、画像生成部２０１は、上記の変形例１の例２〜例４にて説明した補助画像３１とアイコン３０Ａとは、たとえば後述する第３の実施の形態（図２９参照）の表示器１１と結像光学系９とによって表示することができる。すなわち、補助画像３１の輝度分布の平均値を制御して、空中像３０のアイコン３０Ａがユーザ１２の操作と検出基準４０との位置関係に基づいて、アイコン３０Ａの位置が移動したようにユーザ１２に知覚させてもよい。
検出基準制御部２０４は、ステージ１４の上方（Ｙ方向＋側）の操作検出器１３の検出範囲１３Ａ内にＺＸ平面に平行に検出基準４０を設定する。この場合、ユーザ１２は、指をＹ方向＋側から−側へ移動させる押下する操作を行い、再びＹ方向＋側へ戻すように移動させる。すなわち、操作検出器１３は、空中像３０に対して行われたユーザ１２の押下する操作の結像光学系９の光軸方向の到達位置を検出する。プロジェクタ１５は、空中像３０のアイコンの下方（Ｙ方向−側）に配置されたステージ１４上に、第１の実施の形態と同様にして補助画像３１を投影する。なお、プロジェクタ１５からの投影光により、ステージ１４上にユーザ１２が操作する指等が影として映らないように、投影方向が調整されている。
図１４（ａ）〜（ｃ）にこの場合に表示される空中像３０と補助画像３１とを模式的に示す。図１４（ａ）はアイコン３０Ａと補助画像３１とが初期表示された場合を示す。この場合、画像生成部２０１は、第１範囲３１１の大きさを、アイコン３０Ａの大きさに対して距離Ｈｙ１に基づいて拡大し、第１範囲３１１ボケ量が所定の初期状態となるように、輝度分布の平均値を設定した補助画像データを生成する。
図１４（ａ）に示す初期表示の状態から、アイコン３０Ａが結像光学系９の光軸方向に対してユーザ１２から離れる方向に移動したと知覚させる場合について説明する。ユーザ１２の指を押下する操作の到達位置が検出基準４０よりも上方（Ｙ方向＋側）の場合に、画像生成部２０１は、第１範囲３１１の表示態様を変更する。図１４（ｂ）に示すように、画像生成部２０１は、第１範囲３１１の大きさが、破線で示す初期表示の第１範囲３１１よりも小さくなり、濃度の濃い影に相当する画像となるように、輝度分布の平均値を設定する。すなわち、画像生成部２０１は、到達位置が検出基準４０に到達しない場合には、補助画像３１の輝度分布の平均値を小さくした補助画像データを生成する。この場合、ユーザ１２は、第１範囲３１１の表示態様を視認して、あたかもアイコン３０ＡがＹ方向−側に移動したと知覚する。これにより、ユーザ１２が、到達位置や指定位置をよりＹ方向−側で行うようになることが期待される。
図１４（ａ）に示す初期表示の状態から、アイコン３０Ａが結像光学系９の光軸方向に対してユーザ１２に接近する方向に移動したと知覚させる場合について説明する。ユーザ１２の指を押下する操作の到達位置が検出基準４０よりも下方（Ｙ方向−側）の場合に、画像生成部２０１は、第１範囲３１１の表示態様を変更する。図１４（ｃ）に示すように、画像生成部２０１は、第１範囲３１１の大きさが、破線で示す初期表示の第１範囲３１１よりも大きくなり、濃度の薄い影に相当する画像となるように、輝度分布の平均値を設定する。すなわち、画像生成部２０１は、到達位置が検出基準４０に到達する場合には、補助画像３１の輝度分布の平均値を大きくした補助画像データを生成する。この場合、ユーザ１２は、第１範囲３１１の表示態様を視認して、あたかもアイコン３０ＡがＹ方向＋側に移動したと知覚する。これにより、ユーザ１２が、到達位置や指定位置をよりＹ方向＋側で行うようになることが期待される。
＜５．空中像３０のピッチ方向の移動に応じた変更＞
空中像３０がＸＹ平面に平行な面内に表示されない場合、すなわち空中像３０がＺＸ平面に対して所定の傾き角度θ０（＜９０°）となるように傾斜して表示させるような場合、すなわち垂直方向（Ｙ方向）よりも傾いて表示させる場合におけるアイコン３０Ａの補助画像３１について説明する。
図１５に、この場合のアイコン３０Ａと、補助画像３１とを模式的に示す。図１５（ａ）は初期表示を示し、図１５（ｂ）は、アイコン３０Ａがユーザ１２から離れる場合の表示を示し、図１５（ｃ）は、アイコン３０Ａがユーザ１２に接近する場合の表示を示す。
このような空中像３０において、画像生成部２０１は、アイコン３０Ａを、ＺＸ平面と所定の傾きを有する平面に対して直交する方向、すなわち矢印ＡＲ１に沿って移動するようにユーザ１２に知覚されるように補助画像データを生成する。なお、矢印ＡＲ１の方向は、ＺＸ平面と所定の傾きを有する平面に対して直交する方向に限定されるものではなく、ＺＸ平面の所定の傾きを有する平面に対して交わる方向であればよい。
上述したように、一般に、実物とその影ができる面との鉛直方向の距離が大きいほど影は大きくなりエッジはぼけ、近づくほど影は小さくなりエッジは明瞭になる。また、実物の移動が鉛直方向ではない場合には、形成される影の形状は歪み、鉛直方向の距離が大きくなるほど歪みの程度が大きくなる。
図１５に示す例では、画像生成部２０１は、上記の現象を補助画像３１にて表す。図１５に示す例では、アイコン３０Ａの下辺（Ｙ方向−側の辺）からステージ１４までの距離は、アイコン３０Ａの上辺（Ｙ方向＋側の辺）からステージ１４までの距離よりも短い。すなわち、アイコン３０Ａの下辺の影は、アイコン３０Ａの上辺の影よりも短くなる。このため、図１５に示す例では、アイコン３０Ａがステージ１４上に形成する影の形状は、すなわち画像生成部２０１により生成される第１範囲３１１の形状は、上底よりも下底の方が短い台形形状となる。
図１５（ａ）に示す初期表示の状態から、アイコン３０Ａがユーザ１２から離れるように矢印ＡＲ１に沿って移動したと知覚させる場合について説明する。この場合、図１５（ｂ）に示すように、画像生成部２０１は、第１範囲３１１の大きさが、破線で示す初期表示の第１範囲３１１よりも小さくなり、形状が初期表示の台形形状から歪むように輝度分布の重心位置を設定した補助画像データを生成する。図１５（ａ）に示す初期表示の状態から、アイコン３０Ａがユーザ１２に近づくように移動したと知覚させる場合について説明する。この場合、図１５（ｃ）に示すように、画像生成部２０１は、第１範囲３１１の大きさが破線で示す初期表示の補助画像よりも大きくなり、形状が初期表示の台形形状から歪むように輝度分布の重心位置を設定した補助画像データを生成する。
また、画像生成部２０１は、第１範囲３１１の形状を歪ませる際に、上述した輝度分布の平均値の、すなわち明るさの変更も行ってよい。この場合、図１５（ｂ）に示す第１範囲３１１を投影させるためには、画像生成部２０１は、輝度分布の平均値を低くして、第１範囲３１１の輝度を低くすればよい。図１５（ｃ）に示す第１範囲３１１を投影させるためには、画像生成部２０１は、輝度分布の平均値を高くして、第１範囲３１１の輝度を高くする。
また、以上の説明では、画像生成部２０１は、影の領域の形状を歪ませる場合に、上述した第１範囲３１１の空中像３０に追従した移動と、第１範囲３１１の明るさの変更と、上述した第１範囲３１１の大きさの変更と、第１の実施の形態にて説明した第１範囲３１１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。
第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａが垂直方向（Ｙ方向）よりも傾いて表示される場合、補助画像３１の形状と輝度の平均値を制御する。これにより、第１範囲３１１の濃淡と形状とを変更することにより、実際の物体と影との関係性が補助画像３１を用いて再現され、ユーザ１２はアイコン３０Ａと補助画像３１との関係を把握しやすくなる。
なお、上述した第１の実施の形態と変形例の各例では、補助画像３１として影に相当する画像を例に挙げたが、補助画像３１として影に相当する画像以外を適用することができる。たとえば、画像生成部２０１は、図１６（ａ）に示すように、アイコン３０Ａの下方の第１範囲３１１を明るくし、第２範囲３１２を暗くするような補助画像データを生成してよい。
この場合、画像生成部２０１は、アイコン３０Ａがあたかも下方から照明されているような表示用画像データを生成してもよい。たとえば、暗い場所で指向性のある光を照明した場合に光の筋（光芒）のように観察されるような現象を画像生成部２０１が再現してもよい。
図１６（ｂ）にこの場合の空中像３０と補助画像３１とを模式的に示す。画像生成部２０１は、アイコン３０Ａを含んだＹ方向に延びる領域Ｒに白色等を重畳して表示用画像データを生成する。これにより、ユーザ１２には、空中像３０において、アイコン３０Ａをステージ１４から照明する光がＹ方向＋側に向けて伸びる光の筋のように視認される。
なお、図１６に示す例においては、プロジェクタ１５をステージ１４の下部（Ｙ方向−側）に配置して、Ｙ方向＋側に向けて投影光を投影してもよい。この場合、ステージ１４は透明な材料を用いて製造されるとよい。
（第１の実施の形態の変形例２）
上述した第１の実施の形態とその変形例１の表示装置１は、ユーザ１２の指先がアイコンの表示位置への操作のために奥側（Ｚ方向−側）へ向けて操作を行った後に所定距離手前（Ｚ方向＋側）に移動した場合に、最も奥側に移動した位置を到達位置とした。そして、表示装置１は、到達位置と検出基準との間の距離に基づいて、第１範囲の表示位置を変更した。これに対して、変形例２の表示装置１は、操作検出器１３の検出出力に基づき、ユーザ１２の指先Ｆの速度あるいは加速度を算出し、算出した速度または加速度に基づき指先Ｆの到達位置を予測してもよい。そして、表示装置１は、その予測到達位置と検出基準との間の距離に基づいて第１範囲の表示位置を変更するものであってもよい。図１７は、本変形例２の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。
変形例２の表示装置１のうち、第１の実施の形態の表示装置に対して相違している構成について説明する。図１７において、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。到達位置予測部２０７は、速度・加速度検出部２０６から出力される指の移動速度または加速度に基づき指の到達位置を予測する。到達位置予測部２０７は、例えば、指の移動が加速している状態または略一定速度状態から、減速状態に移行したことを検出し、その減速具合から指の到達位置を予測することができる。画像生成部２０１は、到達位置予測部２０７によって予測された到達位置に基づき、補助画像３１の表示位置を変更する。
次に、変形例２の表示装置１による第１のキャリブレーション処理モードを図１８及び図１９を参照して説明する。図１９のフローチャートにおいて、ステップＳ１０４からステップＳ１０７以外は、図７のフローチャートと同一であるので、説明を省略する。図１８（ａ）に示したように、指先Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ１０４において操作検出器１３が指先Ｆの移動を静電容量値の変化として検出する。ステップＳ１０５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度または加速度を算出する。ステップＳ１０６で、到達位置予測部２０７が速度・加速度検出部２０６が算出した移動速度または加速度に基づき指先Ｆの到達位置を算出する。図１８（ｂ）において、到達位置予測部２０７が算出した、即ち予測した指の到達位置を点線６０で示す。ステップＳ１０７において、画像生成部２０１は、図１８（ｂ）に示したように予測到達位置６０に基づき第１範囲３１１の表示位置を変更すると、画像生成部２０１は、第１範囲３１１の表示位置の移動量を示すデータを記憶部２０５に記憶する。その後のステップＳ１１０において、この記憶されたデータに基づいて、画像生成部２０１は、第１範囲３１１の表示位置を変更した表示用画像データを生成し、プロジェクタ１５が空中像操作モードの第１範囲３１１として投影する。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出した。しかし、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、速度・加速度検出部２０６はユーザ１２の指の移動速度または加速度を算出したが、そのほかに、ユーザ１２の足や肘、ユーザ１２が所持しているスタイラスペンであってもよい。
なお、算出したユーザ１２の指の移動速度または加速度に基づき、到達位置予測部２０７はユーザ１２の指の予測到達位置６０を算出し、画像生成部２０１はユーザ１２の指の予測到達位置６０に基づいて第１範囲３１１の表示位置を変更していた。しかし、到達位置予測部２０７は、操作毎にユーザ１２の指の予測到達位置６０を決定する必要はない。ユーザ１２が操作を行う前に意図せず動いてしまった場合、その動きに基づいて到達位置予測部２０７が予測到達位置６０を算出してしまうと、第１範囲３１１の表示位置が頻繁に変更されるなど、適切な位置にユーザ１２の指先Ｆを導くことができなくなってしまう。上述のような場合を防ぐため、速度・加速度検出部２０６が所定の閾値以上のユーザ１２の指の移動速度及び加速度を検出した場合のみ、到達位置予測部２０７は予測到達位置６０を算出し、画像生成部２０１は、予測到達位置６０に基づいて第１範囲３１１の表示態様を変更してもよい。
変形例２では、指の到達位置５０が、指の移動の速度や加速度に基づいて予測される。これにより、キャリブレーション処理を迅速に行うことができる。
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードにも適用できる。この場合、第１の実施の形態にて説明した図９に示すフローチャートにおいて、ステップＳ２４の後に、図１９に示すフローチャートのステップＳ１０５〜ステップＳ１０６を行う。その後、図９のステップＳ２７およびステップＳ２９を行うことなく、ステップＳ２８およびステップＳ３２にて、算出された予測到達位置６０に基づいて、補助画像３１の位置を変更する。
本変形例２を第２のキャリブレーション処理モードに適用した場合、空中像操作中のユーザ１２の指先Ｆが検出基準４０に達する前に指先Ｆの到達位置を事前に予測し、予測した到達位置に基づいて空中像３０の表示態様を変更することが可能になる。そのため、ユーザ１２の指先Ｆが検出基準４０に達せずアイコン表示の切り替えが生じなかったなどの誤操作を未然に防ぎ、ユーザ１２に快適な操作を行わせることができる。
（第１の実施の形態の変形例３）
第１の実施の形態及び変形例１、２に係る表示装置１は、一回のキャリブレーション処理において、到達位置を検出、または予測し、その到達位置５０と検出基準４０との間の距離に基づき画像生成部２０１は第１範囲３１１の表示位置を変更するものであった。これに代えて、変形例３に係る表示装置１は、複数回のキャリブレーション処理においてそれぞれ検出された到達位置と検出基準との間の距離に基づいて、画像生成部２０１は、空中像操作モードにおける第１範囲３１１の表示位置を変更するものである。
第一回目のキャリブレーション処理において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指の到達位置５０を判定する。画像生成部２０１は、この到達位置５０に基づき、第１範囲３１１の表示位置の移動量を算出する。画像生成部２０１は、この算出した移動量を示すデータを記憶部２０５に記憶する。引き続き第２回目のキャリブレーション処理を行い、同様に移動量を示すデータを記憶部２０５に記憶する。更に、引き続き第三回のキャリブレーション処理を行ってもよい。このようにして連続的に行われた複数回のキャリブレーション処理によって、記憶部２０５に記憶された複数の移動量を示すデータから、画像生成部２０１は空中像操作モードにおける第１範囲３１１の一つの移動量を決定する。
これら複数の移動量を示すデータを用いて一つの第１範囲３１１の表示位置を決定するには、様々な手順が考えられる。例えば、画像生成部２０１は、第１範囲３１１の移動量を相加平均して、第１範囲３１１用に一つの移動量を算出してもよいし、相乗平均して一つの移動量を算出してもよい。また、画像生成部２０１は、複数の移動量のそれぞれに適当な重み付けを行って新たな移動量を決定してもよい。例えば、画像生成部２０１は、Ｎ回目の操作から求めた移動量ＨＮと、Ｎ＋１回目の操作から求めた移動量ＨＮ＋１について、３：７の割合で重み付けを行って第１範囲３１１用の移動量を算出してもよい。具体的には、画像生成部２０１は、ＨＮとＨＮ＋１を用いて（ＨＮ×３＋ＨＮ＋１×７）／１０の計算を行い、その結果に基づいて第１範囲３１１用の移動量を算出する。重み付けは３：７に限られず、また、操作回数も２回に限られない。勿論、複数回のキャリブレーション処理毎に指の到達位置に基づき移動量を算出し、それぞれ記憶部２０５に記憶するのではなく、複数回のキャリブレーション処理毎に検出した指の到達位置をそれぞれ記憶部２０５に記憶して、その記憶された複数の到達位置に基づき、第１範囲３１１用の一つの移動量を算出してもよい。
また、キャリブレーション処理は、到達位置５０と検出基準４０との間隔が所定値以下である場合、即ち、到達位置５０が検出基準４０の近傍である場合には、画像生成部２０１は第１範囲３１１の表示位置の変更をおこなわなくでもよい。
更に、キャリブレーション処理において、キャリブレーション処理毎に、画像生成部２０１は第１範囲３１１の表示位置の変更を行わなくてもよい。複数回のキャリブレーション処理において、到達位置５０を判定した回数と、実際に到達位置５０が検出基準４０に達したことを判定した回数と、から、制御部２０は、アイコンの表示位置への操作が失敗した回数を算出する。所定の回数以上、失敗したと判定された時に、画像生成部２０１は、第１範囲３１１の表示位置を変更するようにしてもよい。
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードや上述した各変形例１〜３にも適用できる。
変形例３では、上述したキャリブレーション処理において、制御部２０は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置を操作する際に通常行う自然な操作動作を検出し、到達位置５０を判定する。即ち制御部２０は、指でアイコンを奥側へ押し込んでから指を手前に戻す方向に移動する動作や、指がアイコンに接触するとそれを奥側へ押し込んで短時間停止させる動作などを検出して到達位置５０を判定している。これにより、ユーザ１２は、キャリブレーション処理において到達位置５０の検出・判定が行われていることに気付かず、従ってユーザ１２はキャリブレーション処理を意識することなく実行することができる。
（第１の実施の形態の変形例４）
第１の実施の形態においては、操作検出器１３は、ユーザ１２の指の空中像３０の表示位置に対する操作を検出して到達位置５０を判定し、画像生成部２０１は、到達位置５０に基づいて第１範囲３１１の表示位置の変更を行った。しかし、ユーザ１２は、空中像のアイコンの表示位置を操作したと感じた指の位置を指定して、その指定位置を検出基準制御部２０４が判定し、指定位置に基づいて画像生成部２０１が第１範囲３１１の表示位置を変更してもよい。以下に、ユーザ１２が空中像３０の表示位置を操作する位置を指定位置として指定する変形例を説明する。なお、以下の説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜４にも適用できる。
以下に変形例４の表示装置を説明する。表示装置１が起動され、ユーザ１２がキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図２０は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｂを含み、このキャリブレーション用アイコン３００Ｂは、メッセージ「キャリブレーションを行います。このアイコンの位置を指で指し示し、その状態で指を横方向に移動させて下さい」が重畳表示されている。また、検出基準制御部２０４は、図２１（ａ）に示したように、検出基準４０を空中像３００の近傍の初期位置に設定する。
図２１（ａ）において、ユーザ１２がアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、指先Ｆをアイコン３００Ｂの方にＺ方向−側へ押し込む方向に移動させ、指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂへのユーザ１２の指Ｆの接近移動、即ちＺ方向−側への移動を静電容量の変化として検出する。
ユーザ１２は、指ＦをさらにＺ方向−側へ押し込む方向に移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置に達したと感じた時に、指Ｆを空中像３０の表示面に沿って横方向、すなわちＸＹ平面上で移動させる。操作検出器１３は、この指Ｆの押し込む方向への移動及び横方向の移動を検出する。検出基準制御部２０４は、指の押し込む方向への移動を検出していた操作検出器１３が指Ｆの横方向の移動を検出したことを判定して、押し込む方向への移動から横方向移動へ変化したときの指ＦのＺ方向の位置を指定位置５０Ａと判定する。画像生成部２０１は、この指定位置５０Ａに基づき、第１範囲３１１の表示位置を変更、すなわち第１範囲３１１の表示位置の移動量を算出する。この変更された移動量を示すデータは記憶部２０５に記憶され。なお、指定位置５０Ａは、図２１（ｂ）では、空中像３００のＺ方向の位置として例示されているが、指定位置５０Ａは、指先Ｆが空中像３００のアイコン３００Ｂに達したとユーザ１２が感じた時の位置であるから、空中像３００に一致した位置に指定されることもあるし、または、空中像３００よりもＺ方向−側の位置に指定されることもある。
なお、検出基準制御部２０４は、以上の説明では指Ｆが押し込む方向への移動から横方向の移動に変化した時の指のＺ方向の位置を指定位置５０Ａと判定したが、これに限られない。検出基準制御部２０４は、例えば指Ｆが押し込む方向への移動から横方向の移動に変化し、その横方向移動が終了した時の指ＦのＺ方向の位置を指定位置５０Ａとして判定してもよい。また、検出基準制御部２０４は、指Ｆの横方向の移動開始から横方向の移動終了までの指ＦのＺ方向の位置の平均値や中央値などを指定位置５０Ａとしてもよい。このように、操作が検出された位置である指定位置５０Ａが検出基準制御部２０４によって検出される。
上記説明の変形例４のキャリブレーション処理について、図２２に示すフローチャートを参照して説明する。なお、図２２のフローチャートはステップＳ１２１〜ステップＳ１２９を示し、それ以降のステップは省略した。ステップＳ１２９以降の処理は、図１９に示すフローチャートのステップＳ１０９以降の処理と同様である。
ステップＳ１２１〜ステップＳ１２４の各処理は、図７に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１２６において、操作検出器１３は、ユーザ１２の指の横方向移動を検出する。ステップＳ１２７において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指Ｆが押し込む方向への移動から横方向移動に変化したことを判定して、その変化時の指Ｆの位置を指定位置５０Ａと判定する。画像生成部２０１は、指定位置５０Ａに基づき、補助画像３１の表示位置を変更し、表示位置の移動量を示すデータを記憶部２０５に記憶して、ステップＳ１２８に進む。ステップＳ１２８において、第１のキャリブレーション処理モードを終了して、ステップＳ１２９に進む。ステップＳ１２９では、空中像操作モードを開始する。この空中像操作モードでは、記憶部２０５から読み出された移動量を示すデータに基づき、画像生成部２０１は、第１範囲３１１の表示位置を変更する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図９に示すフローチャートの処理を行う。ただし、図９のフローチャートにおいてステップＳ２４においてユーザ１２のアイコン３０Ａに対する操作を検出し、検出基準制御部２０４が、指Ｆが押し込む方向への移動から横方向移動に変化したことを検出した場合に、ステップＳ２７およびステップＳ２９において到達位置の判定に代えて、指定位置５０Ａを判定する。ステップＳ２９にて指定位置５０Ａが判定された場合には、ステップＳ２９にて検出基準制御部２０４は指定位置５０Ａが検出基準４０と一致するか否かを判定する。
変形例４では、ユーザ１２は、キャリブレーション処理において指Ｆが空中像３００の表示位置を操作したと感じる位置を、指Ｆを押し込む方向への移動から横方向移動に変化させることによって指定している。このように、アイコン３００Ｂの表示位置を操作したと知覚する位置が、ユーザ１２によって指定位置として指定されることにより、表示装置１はキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、指定位置を指Ｆの押し込む方向への移動から横方向移動への変化によって指定することは、操作性がよく、迅速にキャリブレーション処理を行うことができる。
（第１の実施の形態の変形例５）
変形例４の表示装置１においては、ユーザ１２は、指先でアイコンの表示位置を操作したと思った位置を指定位置として、指のＺ方向−側へ押し込む方向への移動から横方向への移動に変化させることによって指定した。変形例５の表示装置１は、ユーザ１２が、指先でアイコンの表示位置を操作したと思った位置を別のアイコンを操作することによって、指定するものである。このキャリブレーション処理について次に説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜４にも適用できる。
表示装置１が起動され、ユーザ１２がキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示するこの場合、空中像３００は、第１の実施の形態の変形例４の図２０に示すキャリブレーション用アイコン３００Ｂとアイコン３００Ｂの近傍（たとえばＸ方向−側）に表示される別のアイコンとを含む。キャリブレーション用アイコン３００Ｂには、図２０に示すメッセージに代えて、たとえば「キャリブレーションを行います。右手の指でこのアイコンの位置を指し示して下さい。右手の指で指し示した状態で、左手の指で左側のアイコンにタッチして下さい」が重畳表示されている。
ユーザ１２がアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、右手の指先Ｆをアイコン３００Ｂの方に移動させる。ユーザ１２の指先が操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂの表示位置へのユーザ１２の指の接近移動、即ちＺ方向−側への移動を静電容量の変化として検出する。ユーザ１２は指をさらにＺ方向−側へ移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置を操作していると感じた時点で、メッセージに従い、左手の指先Ｆで別のアイコンの表示位置への操作をしようとして、左手の指先を別のアイコンの方に移動させる。操作検出器１３は別のアイコンに向けた指先Ｆの移動を検出する。検出基準制御部２０４は、ユーザ１２の指が別のアイコンの上に位置することを操作検出器１３が検出したことをもって、その時点における右手の指先Ｆの位置を指定位置５０Ａと判定する。画像生成部２０１は、指定位置５０Ａに基づき、第１の実施の形態の場合と同様にして、第１範囲３１１の表示位置の移動量を算出する。画像生成部２０１は、算出した第１範囲３１１の表示位置の移動量を示すデータを記憶部２０５に記憶する。
なお、アイコン３００Ｂの表示位置を操作する右手の指は、その操作したと感じた時の位置が指定位置と判定されるので、空中像３００に接近するＺ方向−側への移動が必要である。しかしながら、左側の別のアイコンの表示位置への操作をする左側の指は、指を別のアイコンのＺ方向＋側または−側に位置付ければよいので、ユーザ１２は必ずしも左手の指をＺ方向−側へ移動させる必要はない。左手の指は、例えば空中像３００の平面に平行な方向、即ち横方向に移動して別のアイコンのＺ方向＋側または−側の位置まで横方向移動してもよい。
また、ユーザ１２は必ずしも左手の指と右手の指とを用いる必要はなく、キャリブレーション用空中像３００のアイコン３００Ｂ上と別のアイコン上との両方において上記の動作が検出されるように操作すればよい。例えば、ユーザ１２は一方の手の２本の指を用いてもよい。また、この変形例５では、ユーザ１２が別のアイコンの表示位置への操作をする代わりに、表示装置１に設けた不図示の決定ボタンを押すように構成することもできる。
さらに、検出基準制御部２０４は、ユーザ１２が別のアイコンの表示位置への操作をしたり、不図示の決定ボタンを押したりした時点における右手の指先の位置を指定位置と判定するものに代えて、ユーザ１２がたとえば左手で所定のジェスチャーを行ったことを検出したときにおける右手の指先の位置を指定位置と判定しても良い。この場合、表示装置１は、後述する変形例８の撮像装置１８（図２４、２５参照）を備え、この撮像装置１８により取得された画像を用いてユーザ１２のジェスチャー（たとえば手をグーからパーに変える）が行われたことを検出する。
上記説明のキャリブレーション処理について、第１の実施の形態の変形例４の図２２に示すフローチャートを参照して説明する。以下では、主な変更のみ説明し、同様の処理を行うステップについては、説明を省略する。この場合、図２２のステップＳ１２３において、アイコン３００Ｂと別のアイコンとを表示する。ステップＳ１２４では、操作検出器１３は、ユーザ１２の右手の指先のＺ方向−側への移動の検出を開始する。ユーザ１２は指をさらにＺ方向−側へ移動させて、指先が空中像３００のアイコン３００Ｂの表示位置を操作していると感じた時点で、左手の指先で別のアイコンの表示位置への操作をする。ステップＳ１２７においては、左手が別のアイコンの表示位置への操作をした時点における右手の指先の位置を指定位置５０Ａとし、画像生成部２０１は、指定位置５０Ａに基づき、第１範囲３１１の表示位置を変更し、その変更された第１範囲３１１の移動量のデータを記憶部２０５に記憶する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図９に示すフローチャートの処理を行う。ただし、図９のフローチャートにおいてステップＳ２４において、検出基準制御部２０４は、ユーザ１２の右手によるアイコン３０Ａに対する操作を検出している状態で、検出基準制御部２０４が、左手による別のアイコンの表示位置への操作を検出したとする。この場合に、検出基準制御部２０４は、ステップＳ２７およびステップＳ２９において到達位置の判定に代えて、ユーザ１２の右手の指先の位置を指定位置５０Ａと判定する。ステップＳ３０では、ステップＳ２９で判定された指定位置５０Ａが検出基準４０と一致するか否かを判定する。
変形例５では、ユーザ１２は、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、別のアイコン、または表示装置１の決定ボタンを操作することによって指定している。このようにユーザ１２がアイコン３００Ｂを知覚する位置をユーザ１２に指定させるため、表示装置１は、正確にキャリブレーション処理を行うことができる。また、このような指定位置を、別のアイコンまたは表示装置のボタンの操作によって指定することは、迅速にキャリブレーション処理を行うことができる。
（第１の実施の形態の変形例６）
変形例６の表示装置は、ユーザ１２が指先でアイコンの表示位置を操作したと思ったら、ユーザ１２が指を所定時間停止させることにより指定位置を指定するものである。なお、この本変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜５にも適用できる。
この場合には、キャリブレーション用の空中像に含まれるアイコンに、メッセージ「キャリブレーションを行います。このアイコンの位置を指し示して下さい。指し示した状態をしばらくキープして下さい。」が重畳表示される。ユーザ１２がアイコンの表示位置を操作したと感じて、しばらくの間、指の移動を停止すると、操作検出器１３は指の下降移動が所定時間停止したことを検出する。検出基準制御部２０４は、このときの操作検出器１３の検出出力に基づき、指の停止位置を指定位置として判定する。
この指定位置の判定は、次のように行われる。即ち、Ｚ方向−側に移動している指先Ｆが停止してＺ方向の比較的小さい所定の停止範囲内に所定の時間以上、滞在したことをもって、アイコン３００Ａの表示位置への操作が行われたと判定する。このように、指先Ｆが所定の時間以上、所定の停止範囲内に留まることをもって、指先Ｆのアイコン３００Ａの表示位置への操作と判定する理由は、次の通りである。すなわち、ユーザ１２による操作が空中像３００のアイコン３００Ａの表示位置への操作であるため、タッチパネルへの操作とは異なり、指先Ｆがアイコン３００Ａの表示位置で完全には停止しない可能性があるからである。なお、指定位置判定のための所定の停止範囲は、操作検出器１３の静電容量の検出範囲１３Ａに比べて十分に小さい値、例えば５ｍｍに設定され、また、所定の時間は、例えば２秒程度に設定される。
変形例６では、ユーザ１２は、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、指先Ｆを停止させることによって指定している。このようにユーザ１２がアイコン３００Ａを知覚する位置をユーザ１２に指定させるため、表示装置１は、正確にキャリブレーション処理を行うことができる。
（第１の実施の形態の変形例７）
変形例７の表示装置は、ユーザ１２が、指先でアイコンの表示位置を操作したと思った指定位置を発声によって指定するものである。なお、この変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜６にも適用できる。
図２３は、本変形例の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。この表示装置１には、集音器１９を含み、制御部２０には音声検出部２０８が備えられる。集音器１９は、表示装置１の周囲の音を集音し、音声データとして音声検出部２０８に出力する。集音器１９としては市販のマイクロフォンを用いることができる。音声検出部２０８は、集音器１９からの音声データを識別し、その音声データが「ハイ」に相当するか否かを判別する。
図２３において、キャリブレーション部２０３が第１のキャリブレーション処理モードを起動すると、画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。この場合、空中像３００は、第１の実施の形態の変形例４の図２０に示すキャリブレーション用アイコン３００Ｂを含み、このキャリブレーション用アイコン３００Ｂには、図２０に示すメッセージに代えて、たとえば「キャリブレーションを行います。このアイコンにタッチしたところで「ハイ」と声を出して下さい」が重畳表示されている。
ユーザ１２は、アイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置への操作をするために、指先をアイコン３００Ｂの方に向けて移動する。ユーザ１２は、指先がアイコン３００Ｂにタッチしたと思ったところで、メッセージに従い「ハイ」と声を出す。操作検出器１３は、指先のＺ方向−側への移動を検出する。集音器１９は、この声を集音し、音声データとして音声検出部２０８に出力する。音声検出部２０８が、音声データが「ハイ」に対応することを判定すると、検出基準制御部２０４が、その時点における操作検出器１３によって検出される指先の位置を指定位置５０Ａと判定する。画像生成部２０１は、判定された指定位置５０Ａに基づいて、第１の実施の形態の場合と同様にして、第１範囲３１１の表示位置の移動量を算出して、表示位置を変更する。画像生成部２０１は、算出した移動量を示すデータを記憶部２０５に記憶する。
上記説明のキャリブレーション処理について、第１の実施の形態の変形例４の図２２に示すフローチャートを参照して説明する。変更点は図２２のステップＳ１２６であるため、図２２のステップＳ１２６を重点的に説明し、他のステップの説明は省略する。図２２のステップＳ１２６では、音声検出部２０８は、集音器１９からの出力に基づいて、ユーザ１２が「ハイ」を発声したかどうか判定する。ステップＳ１２６において肯定判定された場合、即ち、ユーザ１２がアイコン３００Ｂをタッチしたと思って「ハイ」という声を出したと判定した場合、検出基準制御部２０４が、音声検出部２０８が音声「ハイ」を判定した時点における指先の位置を指定位置５０Ａと決定、即ち判定する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図９に示すフローチャートの処理を行う。ただし、図９のフローチャートにおいてステップＳ２４においてユーザ１２のアイコン３０Ａに対する操作を検出し、音声検出部２０８が音声「ハイ」を判定した場合に、検出基準制御部２０４はステップＳ２７およびステップＳ２９において到達位置の判定に代えて、指定位置５０Ａと判定する。ステップＳ３０では、ステップＳ２９で判定された指定位置５０Ａが検出基準４０と一致するか否かを判定する。
変形例７では、ユーザ１２は、アイコンの表示位置を操作したと思った指の位置、即ち指定位置を、発声によって指定するものである。ユーザ１２が到達位置を発声によって指定することにより、表示装置１は迅速にキャリブレーション処理を行うことができる。
なお、表示装置１が集音器１９を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。
（第１の実施の形態の変形例８）
上記説明において、ユーザ１２の指先の下方への移動を、静電容量パネルにより構成される操作検出器１３によって検出したが、撮像装置によりユーザ１２の指先の位置を検出してもよい。変形例８の表示装置１は、図２４（ａ）に示すように、操作検出器として撮像装置（例えばデジタルカメラ）１８を備え、この撮像装置１８は表示装置１の上面に配置される。このような表示装置１のブロック図を図２４（ｂ）に示す。
図２４（ｂ）にブロック図を示した表示装置１は、制御部２０には、画像解析部２０９を備えている。撮像装置１８は、表示器１１の上方に位置する物体、即ちユーザ１２の指を撮像し、撮像された撮像画像は、画像解析部２０９に入力される。画像解析部２０９は、撮像装置１８から入力された撮像画像を解析してユーザ１２の指先の位置を求める。即ち、画像解析部２０９は、撮像画像内における指の像の位置から、ユーザ１２の指先が複数のアイコンのうちのどのアイコンを操作しているのか判定する。更に、画像解析部２０９は、撮像画像内における指の像の大きさを、基準の指の大きさ、具体的には事前に撮像した所定高さ位置の指の大きさと比較することによって指の高さ位置、即ち指の降下位置を判定する。これにより、ユーザ１２の指先の３次元空間における位置が求められる。このような構成によって、変形例８の表示装置１は、静電容量パネルを用いた操作検出器１３により求めた指先の位置に関する情報と同様の情報を、撮像装置１８による撮像画像の解析により得ることができる。従って、変形例８の表示装置は、上述した第１実施の形態および種々の変形例１〜７で説明した静電容量パネルの代わりに撮像装置１８を使用して、上述した実施の形態および変形例と同様の処理を行うことができる。
変形例８の表示装置１は、画像解析部２０９が、撮像画像における指の大きさから指の高さ位置を算出したが、その代わりに、撮像装置１８が、デジタルカメラに搭載されている位相差式焦点検出装置と画像認識装置によって、指の高さ位置を検出することもできる。具体的には、画像認識装置が指を認識し、位相差式焦点検出装置が画像認識装置によって認識された指についてデフォーカス量を検出し、このデフォーカス量から指の高さ位置を算出することができる。また、位相差式焦点検出装置の代わりにデジタルカメラに搭載されているコントラスト検出式焦点検出装置を使用しても同様に指の高さ位置を検出することができる。
撮像装置１８としては、位相差式焦点検出装置やコントラスト検出式焦点検出装置の代わりに、ＴＯＦ（Time of Flight）装置を搭載したカメラを好適に用いることができる。ＴＯＦカメラは、カメラ本体から赤外線を出射し、対象物に反射してＴＯＦカメラに入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、ＴＯＦカメラから対象物までに距離を算出する。従って、測定対象物をユーザ１２の指先として、ＴＯＦカメラからユーザ１２の指先に向けて赤外光を出射し、指先からの反射光を受光することで、ＴＯＦカメラからユーザ１２の指先までの距離を求めることができる。なお、撮像装置１８は、その撮像レンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を搭載し、それらの撮像画像によりユーザ１２の指先の位置をより検出してもよい。
ＴＯＦカメラを表示装置１に装備した例を図２５に示す。図２５は、表示装置１の内部構成のみを表しており、表示装置の本体は省略している。図２５において、本体１０の表面に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されている。ＴＯＦカメラ１１８’は赤外線を所定範囲にスキャンすることで、ユーザ１２の指先に赤外線を照射し、その反射光の位相変化により、ＴＯＦカメラ１１８’からユーザ１２の指先までの距離を測定する。この距離と赤外線の出射方向に基づいて、ＴＯＦカメラ１１８’に対するユーザ１２の指先の３次元空間における位置を求めることができる。即ち、指先の位置が空中像面内のいずれの位置に相当するか、また、指先の位置が表示装置１の表面からどれほど離れているか、が求まる。これにより、静電容量パネルによる指先の位置の検出情報と同様の情報を、ＴＯＦカメラ１１８’による測距結果から得ることができる。なお、上記の説明として、表示装置１の表面に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されているような構成で説明したが、これに限らず、ＴＯＦカメラ１１８’を表示器１１の外部に設置するような構成であってもよい。
変形例８の表示装置１においても、図２５に示すように、空中像３０が表示装置１のステージ１４のＺ方向−側の端部１４ｚから距離Ｈ１だけ離れた位置に形成され、検出基準４０は、ステージ１４のＺ方向−側の端部１４ｚから距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定される。ＴＯＦカメラ１１８’は、ステージ１４の上方（Ｙ方向＋側）においてＺ方向にユーザ１２の指先の位置を検出するための検出範囲１３Ａを有する。図２５では、ＴＯＦカメラ１１８’のＺ方向＋側に撮像可能な範囲の限界を破線１３ａで示し、この検出限界１３ａとステージ１４の端部１４ｚとの間隔が検出範囲１３Ａとして示される。変形例８においても、上記の第１の実施の形態や変形例１〜７の場合と同様に、空中像３０と検出基準４０とが検出範囲１３Ａ内に位置するように設定される。なお、検出基準４０は、図２５では空中像３０よりもＺ方向＋側に設定されているが、検出範囲１３Ａ内であれば、空中像３０よりもＺ方向−側でも、または空中像３０の位置に一致させてもよい。また、変形例９においても、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲は検出基準外４１である。なお、検出範囲１３Ａは、ＴＯＦカメラ１１８’の撮像可能な範囲の限界として設定されるものに限定されず、撮像可能な範囲のうち一部の範囲（たとえば図２５中の左右方向の端部の所定範囲）を除いた範囲として設定されてもよい。
上記説明では、本変形例８の表示装置１は、操作検出器１３としての静電容量パネルに代えて撮像装置１８を備えるものであった。しかし、表示装置１は、操作検出器１３と撮像装置１８とを共に備えるものであってもよい。この場合には、例えば、図３（ｃ）に示された操作検出器１３の検出範囲１３ＡをＺ方向＋側と−側にて二つに分割して、Ｚ方向−側の検出範囲（ステージ１４の端部１４ｚに近い方の検出範囲）とＺ方向＋側の検出範囲（ステージ１４の端部１４ｚから遠い方の検出範囲）とを形成する。Ｚ方向−側の検出範囲を静電容量パネルの検出範囲とし、Ｚ方向＋側の検出範囲を撮像装置１８の検出範囲とすることができる。このような構成によって、ユーザ１２が表示位置への操作のために指をＺ方向＋側から移動させた時には、撮像装置１８がその指の移動の前半部分を検出し、静電容量パネルが指の移動の後半部分を検出する。一般に、静電容量パネルは、ステージ１４の端部１４ｚの近傍範囲を高精度に検出することができ、逆に、撮像装置１８は、ステージ１４の端部１４ｚの近傍範囲を撮像することが難しい場合がある。このため、静電容量パネルの検出範囲と撮像装置１８の検出範囲とを上述のように分担させることは、好ましいことである。なお、検出範囲１３Ａの２分割は、検出範囲１３ＡをＺ方向に二等分する場合に限らず、不等分に分割してもよい。また、操作検出器１３は、静電容量パネルや撮像装置１８に限らず、他の近接センサなどを使用することができる。従って、検出範囲１３Ａを分割した場合には、種々の操作検出器１３が分割された検出範囲を分担することを可能である。
図１７に示した速度・加速度検出部２０６は、図２５のＴＯＦカメラ１１８’の撮像画像に基づき指の移動速度や加速度を算出することもできる。従って、検出範囲１３Ａを分割した場合には、上方及び下方の検出範囲毎に、指の移動速度や加速度を算出し、到達位置予測部２０７が指の到達位置を予測することもできる。
また、第１の実施の形態とその変形例１〜８において説明した結像光学系９に代えて、ハーフミラーと、再帰性反射部材とにより構成してもよい。再帰性反射部材は、たとえば複数の直角三角錐体の立体プリズムを配置し、入射した光を再び同一光路に向けて反射する反射材により製造される。このような構成を用いる場合、表示器１１からの光は、ハーフミラーで反射され（またはハーフミラーを透過して）、再帰性反射部材に入射して、同一光路に向けて反射される。再帰性反射部材からの光は、同一光路を進みながら結像する。再帰性反射部材からの光は、再びハーフミラーに入射し、ハーフミラーを透過して（またはハーフミラーで反射され）、表示器１１と共役な位置に結像することにより空中像を形成する。
なお、上述の第１の実施の形態とその変形例１〜８では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第１の実施の形態、または変形例１〜８に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第１の実施の形態、または変形例１〜８に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。
−第２の実施の形態−
図面を参照しながら、第２の実施の形態に係る表示装置１について説明する。第２の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
第２の実施の形態の表示装置１は、第１の実施の形態の表示装置１と同様に、アイコンの空中像の下方に影に相当する画像を表示するものであるが、表示装置１の装置構成が第１の実施の形態の表示装置１とは異なる。したがって、第１の実施の形態に係る表示装置１の代わりに第２の実施の形態に係る表示装置１を、第１の実施の形態に適用してもよい。以下、詳細に説明する。
図２６（ａ）に、第２の実施の形態の表示装置１のＹＺ平面による断面を模式的に示す。表示装置１は、本体１０の内部に、結像光学系９と、表示器１１と、操作検出器１３と、制御部２０とを有する。第２の実施の形態の表示装置１は、国際公開公報２０１１／１５８９１１に記載の技術を適用させて良い。すなわち、表示器１１が三次元の立体像を表示させるライトフィールド表示が可能な構成を有し、表示器１１に二次元表示用の画像を表示させることにより、Ｚ方向に沿った異なる位置に空中像３０を形成させることができる。
図２６（ｂ）は、第２の実施の形態による表示装置１の表示器１１と結像光学系９とを模式的に示すＹＺ平面における断面図である。図示の通り、表示器１１の表示面には、二次元状に配列された複数のマイクロレンズ１１１により構成されるマイクロレンズアレイ１１２が配置される。１つのマイクロレンズ１１１は、表示器１１の複数の表示画素Ｐごとに設けられる。第２の実施の形態では、表示器１１とマイクロレンズアレイ１１２とは、ＺＸ平面に対して所定の傾き−θを有して配置される。なお、図２６（ｂ）に示す例では、図示の都合上、５×５の表示画素Ｐに対して１個のマイクロレンズ１１１が設けられた例を示しているが、実際の表示画素Ｐの個数よりも少なく描いている。マイクロレンズアレイ１１２は、表示器１１の表示面からマイクロレンズ１１１の焦点距離ｆだけＺ方向＋側に離れた位置に配置される。各マイクロレンズ１１１は、表示された画像に基づいて表示画素Ｐからの光をＹ方向の所定の像面に投影する。なお、マイクロレンズ１１１に代えて、レンチキュラーレンズを配置しても良い。
結像光学系９は、マイクロレンズアレイ１１２の上方（Ｙ方向＋側）に、マイクロレンズアレイ１１２から所定の間隔を設け、ＺＸ平面に平行に配置される。結像光学系９は、第１の実施の形態において図１（ｃ）に示す結像光学系９と同様の構成が適用される。結像光学系９内に配置された複数のミラー素子９０は、それぞれ、表示画素Ｐから出射された光を反射し、収束してＺＸ平面と角度θをなす実像を結像する（図２６（ｂ）参照）。この実像は、倍率が等倍、すなわち大きさが表示画素Ｐと同一である。すなわち、複数のミラー素子９０は、表示器１１から出射された光を反射して、ステージ１４上の空中の結像位置に結像させる。
この表示器１１では、空中像３０を構成する各光点ＬＰが空中に形成されるためには、それぞれの光点ＬＰを形成する光は、異なる複数のマイクロレンズ１１１のそれぞれに被覆される一部の表示画素Ｐから出射される。なお、光点ＬＰは、表示器１１とマイクロレンズ１１１とによって空中に表示された像であるため、空中像である。図２６（ｂ）に示す例では、斜線を付して示す表示画素Ｐから出射された光がマイクロレンズ１１１により投影されて光点ＬＰを形成する。この場合、１つのマイクロレンズ１１１によって被覆される表示画素Ｐの個数（図２６（ｂ）の例では５×５個）が異なる複数のマイクロレンズ１１１に分散して割り当てられる。この割り当て方に基づいて、空中に形成される光点ＬＰの、表示器１１の表示面に垂直な方向に対する位置を異ならせることができる。空中像３０は、このようにして形成された光点Ｐが結像光学系９によってＹ方向に結像されることにより形成される。以上により、空中像３０のＺ方向に対する位置は、表示器１１に表示する画像を変更することによって変更される。
図２６（ｃ）は、第２の実施の形態による表示装置１の主要部構成を示すブロック図である。図２６（ｃ）は、制御部２０と、制御部２０によって制御される表示器１１と、操作検出器１３とを示す。制御部２０が備える構成として、図２に示す第１の実施の形態の画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と同様の構成を適用することができる。また、第２の実施の形態の表示装置１が行う到達位置や指定位置の検出や、補助画像３１の表示態様には、第１の実施の形態や第１の実施の形態の各変形例で説明した種々の方法を適用することができる。
第２の実施の形態では、画像生成部２０１が第１部分であるアイコン３０Ａとは異なる第２部分である第１範囲３１１と第２範囲３１２とを有する補助画像３１を表示するための補助画像データを生成し、表示制御部２０２が生成された補助画像データを表示器１１に表示させる。これにより、補助画像３１、すなわち第２の表示の基礎となる画像が表示器１１に表示され、補助画像３１が表示器１１によって第４の表示として図２６（ａ）の領域Ｒ１に表示される。領域Ｒ１の第４の表示は、結像光学系９により、第２の表示である補助画像３１として空中に表示される。なお、画像生成部２０１は、第１の実施の形態の変形例１で示した各種の態様の第１範囲３１１（図１０、図１１、図１３、図１５）に対応するように、輝度分布の重心位置や輝度分布の平均値を制御して補助画像データを生成してよい。
第１範囲３１１は、第１の表示であるアイコン３０Ａの影に相当するので、アイコン３０Ａの下方（Ｙ方向−側）に表示されるのがよい。このため、表示制御部２０２は、補助画像データが結像光学系９によって図２６の領域Ｒ１にて光点を形成するように、補助画像データを表示器１１の表示画素Ｐに表示させる。すなわち、表示制御部２０２は、領域Ｒ１が結像光学系９の下部（Ｙ方向−側）の近傍に形成されるように、補助画像データを表示画素Ｐに割り当てる。領域Ｒ１で結像した光は、結像光学系９によって、図２６（ａ）に示すように、結像光学系９の上部（Ｙ方向＋側）の近傍の位置、すなわち表示器１１とアイコン３０Ａとの間に補助画像３１として表示される。
表示制御部２０２は、アイコン３０Ａを表示させるための表示用画像データ、すなわちアイコン３０Ａの基礎となる第１画像を表示画素Ｐに表示させる。アイコン３０Ａは、補助画像３１よりも上方（Ｙ方向＋側）に表示されるのがよい。このため、表示制御部２０２は、表示用画像データが、領域Ｒ１よりも下方（Ｙ方向−側）、すなわち結像光学系９に近い側の領域Ｒ２にて光点を形成するように、表示用画像データを表示画素Ｐに割り当てる。
ただし、補助画像データを表示するべき表示画素Ｐと表示用画像データを表示するべき表示画素Ｐとが同一の表示画素Ｐの場合、補助画像データと表示用画像データとを同時に表示させることができなくなる。このため、表示器１１によりアイコン３０Ａと補助画像３１との表示を行う場合、表示制御部２０２は、表示画素Ｐによる補助画像データの表示と、表示画素Ｐによる表示用画像データの表示とを、所定の周期ごとに切り替えて行う。これにより、ユーザ１２は、アイコン３０Ａとその下方の補助画像３１とを空中像として視認する。
キャリブレーション処理を行う場合には、第１の実施の形態とその変形例にて説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、第１範囲３１１の位置を変更する。この場合、画像生成部２０１が、第１の実施の形態とその変形例の場合と同様にして輝度分布の重心位置や輝度分布の平均値を制御して、補助画像データを生成し、表示制御部２０２は補助画像データを表示画素Ｐに表示させる。すなわち、第１の実施の形態において、図７のフローチャートにおけるステップＳ９や、図９のフローチャートにおけるステップＳ２８やＳ３２において、表示制御部２０２が補助画像データを表示画素Ｐに表示させる。
なお、第２の実施の形態の表示装置１は、キャリブレーション処理を実行しなくてもよい。すなわち、第２の実施の形態の表示装置１は、ユーザ１２の操作に基づいて所定の動作を行うものではなく、単にある画像の空中像３０と、その影に相当する第１範囲３１１を含む補助画像３１とを表示するための装置であってもよい。
また、上記の説明では、補助画像３１として影に相当する画像を表示させる場合を例に挙げたが、第１の実施の形態の変形例１のうち図１６に示す例のように、第１範囲３１１が照明光源のような明るい画像であってもよい。
または、補助画像３１として、第１の実施の形態において説明したように、空中像３０の位置を示し、物を載置するような台、テーブル、机等を表示させてもよい。また、表示装置１によって、立体的な補助画像３１を表示させてもよい。すなわち、補助画像３１として表示させる台、テーブル、机等の載置する物を立体的に表示させてもよい。また、立体的に補助画像３１を表示させる場合は、空中像３０を支持するような棒を表示させてもよい。棒の先端部分を空中像３０に接続するように表示し、あたかも補助画像３１の棒によって空中像３０が支持されているように表示してもよい。なお、第１の実施の形態や後述する第３の実施の形態の変形例２に記載しているように、補助画像３１は空中像３０に関連性が深いものを表示させた方がよい。
また、第２の実施の形態の表示装置１が結像光学系９を備えていなくてもよい。すなわち、表示器１１からの光をマイクロレンズアレイ１１２で結像させて空中像３０を表示させてよい。この場合、図２６（ａ）の断面図で結像光学系９が配置された位置に、光を透過可能な光透過板を設けてもよい。表示装置１は、補助画像３１をこの光透過板の近傍に空中像として表示させ、アイコン３０Ａを表示させる光は光透過板を通過して、補助画像３１の上方（Ｙ方向＋側）の空中に表示させる。これにより、補助画像３１が実物である表示装置１の本体１０の表面近傍に表示させるので、ユーザ１２は、補助画像３１を介して本体１０を基準として空中像３０の位置を知覚することができる。
第２の実施の形態では、表示器１１は補助画像データを表示し、結像光学系９は補助画像データを補助画像３１として表示する。これにより、補助画像３１を空中像として表示させてユーザ１２にアイコン３０Ａの位置を知覚させ、操作を検出基準４０で行わせることができる。
また、第２の実施の形態では、結像光学系９は、補助画像３１を空中像３０とは異なる位置に表示させる。これにより、ユーザ１２は、補助画像３１との相対的な位置関係かアイコン３０Ａの位置を知覚することができる。
また、第２の実施の形態では、表示器１１は、空中像３０の表示用画像データと、補助画像データとを交互に表示する。これにより、単一の表示器１１により空中像３０と補助画像３１とを表示できる。
また、表示装置１の装置を小型化できる。
また、第２の実施の形態では、結像光学系９は、空中像３０を補助画像３１よりも表示器１１からの距離が遠い位置に表示する。これにより、ユーザ１２は、空中像３０の下方に表示された補助画像３１を基準として空中像３０のアイコン３０Ａの位置を知覚することができる。
また、結像光学系９は、空中像３０を補助画像３１よりも表示器１１からの距離が遠い位置に表示するため、表示器１１からの光が直接ユーザ１２の眼に入りづらくなり、空中像３０が見やすくなる。表示器１１からの光がユーザ１２の眼に入る場合、表示器１１にユーザ１２の眼のピントが合ってしまい、空中像３０の浮遊感が失われてしまう場合があるが、上記のような構成にすることによって、このような問題を低減することができる。
なお、表示制御部２０２が、上記のように補助画像データの表示画素Ｐによる表示と、表示用画像データの表示画素Ｐによる表示とを、所定の周期ごとに切り替えるものに限定されない。表示制御部２０２が、補助画像データの表示画素Ｐによる表示と、表示用画像データの表示画素Ｐによる表示とを同時に行ってもよい。この場合、補助画像データを表示する表示画素Ｐと、表示用画像データを表示する表示画素Ｐと同一の表示画素Ｐとはならない場合には、表示制御部２０２は、補助画像データの表示と表示用画像データの表示とを同時に行う。
補助画像データを表示するべき表示画素Ｐと、表示用画像データを表示するべき表示画素Ｐと同一の表示画素Ｐ（以下、同一表示画素Ｐと呼ぶ）となる場合には、表示制御部２０２は、補助画像データと表示用画像データとの何れか一方を同一表示画素Ｐに表示させる。このような場合のために、表示器１１に設けられた複数の表示画素Ｐは、補助画像データの表示を優先する表示画素Ｐ１（以後、第１表示画素と呼ぶ）と、表示用画像データの表示を優先する表示画素Ｐ２（以後、第２表示画素と呼ぶ）とに分類される。第１表示画素Ｐ１と第２表示画素Ｐ２とは、表示器１１の表面で、たとえば千鳥状に配置される。
表示制御部２０２は、同一表示画像Ｐが第１表示画素Ｐ１の場合には、その同一表示画素Ｐに補助画像データを表示させる。表示制御部２０２は、同一表示画像Ｐが第２表示画素Ｐ２の場合には、その同一表示画素Ｐに表示用画像データを表示させる。これにより、所定の周期ごとに表示画素Ｐによる補助画像データと表示用画像データとを切り替えることなく、アイコン３０Ａと補助画像３１とを表示できる。
表示器１１は、表示用画像データと補助画像データとを同時に表示する。これにより、表示用画像データと補助画像データとを表示させるための制御の処理負荷を低減できる。
上述した説明では、表示装置１は、単一の表示器１１と結像光学系９とにより空中像３０と補助画像３１とを表示させる例を説明したが、これに限定されない。たとえば、表示装置１は、空中像３０を表示させるための表示器および結像光学系と、補助画像３１を表示させるための表示器および結像光学系とを、別体で備えてもよい。すなわち、表示用画像データを表示させるための表示器と結像光学系とを、第１の実施の形態とその変形例にて説明した構成を適用して配置する。
（第２の実施の形態の変形例１）
第２の実施の形態の変形例１による表示装置１は、第２の実施の形態の表示装置１とは異なる構成を有し、補助画像３１を空中像とは異なる方法にて表示する。本変形例１の表示装置１では、液晶表示器を用いて補助画像３１を表示する。以下、詳細に説明する。
図２７（ａ）は、本変形例１の表示装置１のＹＺ平面による断面を模式的に示す図である。表示装置１は、本体１０の内部に、結像光学系９と、表示器１１と、操作検出器１３と、制御部２０と、第２表示器９１とを有する。表示器１１と、結像光学系９と、操作検出器１３とは、第１の実施の形態と同様の構成が適用され、図２６（ａ）に示す場合と同様にして本体１０内に配置される。第２表示器９１は、液晶モニタであり、ＺＸ平面と平行に配置される。図２７（ａ）に示す例では、第２表示器９１が、結像光学系９に対してＺ方向＋側であり、結像光学系９の脇に配置される。なお、第２表示器９１が結像光学系９に対してＺ方向−側に配置されてもよい。また、第２表示器９１が結像光学系９の脇に配置されるものに限定されない。たとえば、結像光学系９のうち一部を切り欠いた領域を設け、その切り欠いた領域に第２表示器９１を配置してもよい。
また、第２表示器９１は、液晶モニタ以外でもよく、たとえば有機ＥＬディスプレイでもよい。
図２７（ｂ）は、変形例１における表示装置１の主要部構成を示すブロック図である。図２７（ｂ）は、制御部２０と、制御部２０によって制御される表示器１１と、操作検出器１３と、第２表示器９１とを示す。制御部２０が備える構成として、図２７（ｂ）に示す画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と同様の構成を適用することができる。ただし、表示制御部２０２は、表示器１１に加えて、第２表示器９１の表示も制御する。なお、第２表示器９１が制御部を備える場合には、表示制御部２０２からの制御信号に基づいて、第２表示器９１の制御部が第２表示器９１の表示を制御してもよい。
表示制御部２０２は、画像生成部２０１が生成した表示用画像データを表示器１１に表示させ、補助画像データを第２表示器９１に表示させる。すなわち、第２表示器９１は、影に相当する第１範囲３１１と、第２範囲３１２とからなる補助画像３１を表示するための専用の表示器である。なお、画像生成部２０１は、第１の実施の形態の変形例１で示した各種の態様の第１範囲３１１（図１０、図１１、図１３、図１５）に対応する補助画像データを生成してよい。これにより、空中に表示されたアイコン３０Ａの下方（Ｙ方向−側）に、影に相当する第１範囲３１１を含む補助画像３１が第２表示器９１により表示される。なお、第２表示器９１が画像を生成する生成部を備える場合には、第２表示器９１の生成部は、上述した画像生成部２０１と同様にして補助画像データを生成して、第２表示器９１に補助画像３１を表示させてもよい。
なお、結像光学系９と第２表示器９１との配置位置の関係は、図２７（ａ）に示す例に限定されない。
図２７（ｃ）に別の例の表示装置１のＺＸ平面に平行な面での断面を模式的に示す。第２表示器９１は、結像光学系９の上方（Ｙ方向＋側）に配置される。この場合、第２表示器９１の下面と結像光学系９の上面とが接するように配置されてもよいし、間隔を有して配置されてもよい。第２表示器９１は、光を透過する光透過可能な材料を用いて製造された液晶モニタである。
図２７（ｃ）に示すように結像光学系９と第２表示器９１とを配置した場合、第２表示器９１に補助画像３１が表示されていると、第１範囲３１１と第２範囲３１２とが表示された領域によって表示器１１からの光の通過が妨げられ、空中像３０の視認性が低下する。このような事態を防ぐため、表示制御部２０２は、表示器１１による表示用画像の表示、すなわち、空中像３０を空中で表示させるため、表示器１１からの光を通過させるための表示（第３の表示）と、第２表示器９１による補助画像３１の表示とを、所定の周期ごとに切り替えて行わせる。従って、表示器１１に表示画像が表示されているときには、第２表示器９１には補助画像が表示されないので、表示器１１からの光は第２表示器９１と通過して空中像３０を形成する。すなわち、表示器１１に表示画像が表示されている場合には、第２表示器９１は、補助画像を表示しているときと比べて表示器１１からの光が通過する量が大きい状態となる。
なお、表示制御部２０２が表示器１１の表示と第２表示器９１の表示とを所定の周期ごとに切り替えて行わせるものに限定されない。たとえば、第２表示器９１が有する複数の画素は、補助画像３１を表示させるための画素（以下、第１画素と呼ぶ）と、表示器１１からの光を通過させるための画素、すなわち補助画像３１が表示されない画素（以下、第２画素と呼ぶ）とに分類されてもよい。第１画素と第２画素とは、表示器１１の表面で、たとえば千鳥状に配置される。または、第１画素が配置された画素行と第２画素が配列された画素行とが、交互に、または所定の複数行ごとにインターレスに配置される。
キャリブレーション処理を行う場合には、第１の実施の形態とその変形例にて説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、第１範囲３１１の位置を変更する。この場合、画像生成部２０１が、第１の実施の形態とその変形例の場合と同様にして表示画像用データと補助画像データとを生成し、表示制御部２０２は表示用画像データの表示用画像を表示器１１に表示させ、補助画像データを第２表示器９１に表示させる。すなわち、第１の実施の形態において、図７のフローチャートにおけるステップＳ９や、図９のフローチャートにおけるステップＳ２８やＳ３２において、表示制御部２０２が表示用画像を表示器１１に表示させ、補助画像３１を第２表示器に表示させる。
第２の実施の形態の変形例１では、第２表示器９１は、補助画像３１を表示し、空中像３０の表示の下方に配置される。これにより、補助画像３１が空中像３０の下方に表示されるので、ユーザ１２は、補助画像３１の表示に基づいて、空中像３０の位置を知覚することができる。
また、第２の実施の形態の変形例１では、第２表示器９１は、空中像３０を表示する結像光学系９とは異なる位置に配置される。これにより、補助画像３１を空中像３０に対して適切な位置に表示させることができる。
また、第２の実施の形態の変形例１では、表示器１１は、空中像３０の表示用画像データと、補助画像データとを交互に表示する。これにより、単一の表示器１１により空中像３０と補助画像３１とを表示できる。
また、表示装置１の小型化が可能になる。
（第２の実施の形態の変形例２）
第２の実施の形態の変形例２による表示装置１は、第２の実施の形態とその変形例１の表示装置１とは異なる構成を有し、補助画像３１を空中像とは異なる方法にて表示する。本変形例２の表示装置１では、プロジェクタを用いて補助画像３１を拡散板等に投影する。以下、詳細に説明する。
図２８（ａ）は、本変形例２の表示装置１のＹＺ平面による断面を模式的に示す図である。表示装置１は、本体１０の内部に、結像光学系９と、表示器１１と、操作検出器１３と、プロジェクタ１５と、制御部２０と、拡散板９２とを有する。表示器１１と、結像光学系９と、操作検出器１３と、プロジェクタ１５とは、第１の実施の形態と同様の構成が適用される。表示器１１と、結像光学系９と、操作検出器１３とは、図２６（ａ）に示す場合と同様にして本体１０内に配置される。プロジェクタ１５は、図１（ｂ）に示す第１の実施の形態と同様に本体１０の上方に配置され、Ｙ方向＋側から拡散板９２へ投影光を投影する。また、第２の実施の形態の変形例２の表示装置１は、図２に示す第１の実施の形態の表示装置１と同様の主要部構成を適用できる。
拡散板９２は、たとえばすりガラス等であり、図２８（ａ）に示す例では、結像光学系９に対してＺ方向＋側であって結像光学系９の近傍に配置される。なお、拡散板９２が結像光学系９に対してＺ方向−側に配置されてもよい。プロジェクタ１５は、第１の実施の形態の場合と同様に、画像生成部２０１により生成された補助画像データに基づいて、補助画像３１を投影する。本変形例２では、プロジェクタ１５は、上方（Ｙ方向＋側）から拡散板９２に向けて補助画像３１を投影するように、その投影方向が定められて配置される。プロジェクタ１５から投影された補助画像３１は、拡散板９２により拡散されることにより、ユーザ１２に視認される。これにより、空中像３０のアイコン３０Ａの下方（Ｙ方向−側）に影に相当する第１範囲３１１と、第２範囲３１２とからなる補助画像３１が投影される。なお、画像生成部２０１は、第１の実施の形態の変形例１で示した各種の態様の第１範囲３１１（図１０、図１１、図１３、図１５）に対応する補助画像データを生成してよい。
また、図２８（ｂ）に示すように、拡散板９２を結像光学系９の上方（Ｙ方向＋側）に配置してもよい。この場合、拡散板９２には、プロジェクタ１５からの投影光を拡散させる第１領域と、表示器１１からの光を通過させる第２領域とが、たとえば千鳥状に配置される。表示器１１からの光は第２領域を通過して空中像３０を表示し、プロジェクタ１５からの投影光は第１領域で拡散されて、ユーザ１２に補助画像３１として視認される。なお、拡散板９２の上方（Ｙ方向＋側）に結像光学系９を配置してもよい。この場合は、プロジェクタ１５は、表示器１１の近傍に配置され、拡散板９２の下方から投影光を拡散板９２に向けて投影するように、その投影方向が定められている。すなわち、プロジェクタ１５は、拡散板９２と表示器１１との間に設置され、プロジェクタ１５は、Ｙ方向＋側にある拡散板９２に向けて投影光を投影する。この場合、プロジェクタ１５として、たとえば近距離に画像を投影する超単焦点プロジェクタを適用することができる。
上記の構成により、ユーザ１２は、影に相当する第１範囲３１１を、空中像３０のアイコン３０Ａの下方（Ｙ方向−側）に視認することができる。
キャリブレーション処理を行う場合には、第１の実施の形態とその変形例にて説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、第１範囲３１１が表示される位置を変更する。この場合、画像生成部２０１が、第１の実施の形態とその変形例の場合と同様にして表示画像用データと補助画像データとを生成する。表示制御部２０２は表示用画像データの表示用画像を表示器１１に表示させ、プロジェクタ制御部２００がプロジェクタ１５に補助画像データに対応する投影光を拡散板９２に投影させて、補助画像３１を投影させる。すなわち、第１の実施の形態において、図７のフローチャートにおける各処理や、図９のフローチャートにおける各処理と同様の処理を行う。
第２の実施の形態の変形例２では、プロジェクタ１５は、補助画像３１を投影する。これにより、ユーザ１２は、投影された補助画像３１の表示に基づいて、空中像３０の位置を知覚することができる。
また、第２の実施の形態の変形例２では、拡散板９２が結像光学系９とは異なる位置に配置され、拡散板９２によってプロジェクタ１５から出射された光が拡散される。これにより、ユーザ１２は補助画像３１を空中像３０の下方に視認して、空中像３０の位置を知覚することができる。
なお、表示装置１は、上述した拡散板９２に代えて、ホログラムを表示器１１の上方に配置してもよい。このホログラムには、予め拡散板９２の映像が記憶されている。プロジェクタ１５は、このホログラムに向けて、記憶時の参照光と同じ光を投影する。プロジェクタ１５からの投影光は、ホログラムに拡散板９２の映像が記憶されているため、ホログラムにより回折された光は、あたかも拡散板９２により拡散されたように拡散する。これのようなホログラムに、プロジェクタ１５が補助画像データに対応する投影光を投影することにより、補助画像３１がユーザ１２に視認される。
この場合、プロジェクタ１５の投影光の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の周波数帯と、表示器１１が出射する光の各色成分（Ｒ’成分、Ｇ’成分、Ｂ’成分）の周波数帯とを異ならせる。これにより、表示器１１からの光がホログラムにより回折されず、透過して、空中像３０を形成する。これにより、ユーザ１２は、空中像３０の下方に補助画像３１を視認することができる。
なお、プロジェクタ１５の投影光の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の周波数帯と、表示器１１が出射する光の各色成分（Ｒ’成分、Ｇ’成分、Ｂ’成分）の周波数帯とを異ならせるものに限定されない。たとえば、プロジェクタ１５からの投影光がホログラムに入射する際の入射角と、表示器１１からの光がホログラムに入射する際の入射角とが異なるように、プロジェクタ１５および表示器１１を配置してもよい。この場合、表示器１１からの光がホログラムに入射する角度が、ホログラムに記憶する際の参照光の入射角と異なる入射角となるように配置してよい。これにより、表示器１１からの光がホログラムにより回折される効率が低下することになり、表示器１１の光はホログラムを通過して空中像３０を形成できる。そのため、プロジェクタ１５からの投影光のみがホログラムによって回折され、表示器１１からの光はホログラムによって回折されず、好適に空中像３０を表示することができる。
なお、上述の第２の実施の形態とその変形例１、２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第２の実施の形態、または変形例１、２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。
−第３の実施の形態−
図面を参照しながら、第３の実施の形態に係る表示装置１について説明する。第３の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
第１の実施の形態とその変形例や第２の実施の形態では、表示装置１は、第１の表示である空中像３０と第２の表示である補助画像３１とにより、空中像３０のＺ方向の表示位置をユーザ１２に知覚させるものであった。すなわち、補助画像３１の位置が空中像３０の表示位置を示す位置として用いられるものであった。これに対して、第３の実施の形態の表示装置は、空中像のうちユーザ１２の操作の態様となる空中像の第１部分とは異なる空中像の第２部分の表示態様を制御することにより、ユーザ１２が空中像の第１部分の表示位置を知覚できるようにするものである。以下、詳細に説明する。
図２９（ａ）は第３の実施の形態の表示装置１を模式的に示す外観斜視図であり、図２９（ｂ）は表示装置１の主要部構成を示すブロック図である。第３の実施の形態の表示装置１は、第１の実施の形態の表示装置１が有する結像光学系９と、表示器１１と、操作検出器１３と、制御部２０とを有する。
図２９（ｂ）に示すように、第３の実施の形態の制御部２０は、図２に示す第１の実施の形態の制御部２０が有する画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える構成が適用される。本実施の形態では、制御部２０は、到達位置や指定位置を、第１の実施の形態とその変形例で説明した各種の方法を適用して取得する。
なお、第３の実施の形態の表示装置１が第１の実施の形態の変形例８に示す撮像装置１８（図２４、２５参照）を備えても良い。
図３０は、第３の実施の形態の表示装置１によりキャリブレーション処理の際に表示される空中像３００を模式的に示す。図３０では、空中像３００は、第１部分である第１アイコン３００Ａ１と第２部分である第２アイコン３００Ａ２とを含む。第１アイコン３００Ａ１は、キャリブレーション処理の際にユーザ１２に操作させるための第１の表示のアイコンである。第２アイコン３００Ａ２は、第１アイコン３００Ａ１が表示される領域（第１の表示領域）の周辺の領域（第２の表示領域）に表示され、ユーザ１２に第１アイコン３００Ａ１のＺ方向における表示位置を知覚させるための第２の表示としてのアイコンである。すなわち、第２アイコン３００Ａ２は、ユーザ１２が第１アイコン３００Ａ１のＺ方向の奥行きを知覚するための奥行手がかりである。
ここで、奥行手がかりについて説明をする。我々人間等の網膜に投影される像は２次元の平面画像である。しかし、人間等は３次元の世界を知覚することができる。これは、実空間での奥行を知覚するために様々な手がかりを用いているからである。奥行を判断する手がかりを大別すると、単眼性の奥行手がかりと両眼性の奥行手がかりとに分けることができる。単眼性の奥行手がかりとは、奥行き位置を知りたい物体とは異なる別の物体の大きさや、物体間の重なり等である。このような手がかりを利用して、人間等は、対象の奥行きを知覚する。一方、両眼性の奥行手がかりとは、両眼視差などがある。ここで両眼視差について説明すると、一つの対象を両目で見ると、左右の目の網膜には少しずれて投影される。このずれが両眼視差である。人間等は、このずれ量に基づいて、対象の奥行きを知覚することができる。
このような奥行手がかりを利用して人間等は、対象の奥行き位置を判断している。言い換えれば、対象自体を変化させる、または奥行手がかりを変化させることによって、人間等は実際にある位置とは異なる位置に対象の奥行き位置があると知覚するようになる。以下では、対象（第１アイコン３００Ａ１）に対して単眼または両眼の奥行手がかり（たとえば第２アイコン３００Ａ２）を変化させることにより、対象（第１アイコン３００Ａ１）の奥行き位置が変化したようにユーザ１２に知覚させる方法について説明を行う。
なお、単眼の奥行手がかりを変化させる方法については、第３の実施の形態および第３の実施の形態の変形例に詳しく記載している。なお、第１の実施の形態および、第２の実施の形態に記載されている影を示す補助画像についても、第１の表示であるアイコン３００Ａの奥行手がかりであるとも言える。
図３０（ａ）は、初期表示における第１アイコン３００Ａ１と第２アイコン３００Ａ２との表示の例を示す。初期表示においては、第１アイコン３００Ａ１と第２アイコン３００Ａ２とは、同一の大きさとなるように画像生成部２０１は表示用画像データを生成する。
この初期表示された空中像３００に対して行われたユーザ１２の操作の到達位置５０が第１アイコン３００Ａ１の手前（Ｚ方向＋側）の場合、すなわち図５（ｂ）に示す状態のように検出基準４０で到達位置５０が検出されない場合を説明する。この場合、表示制御部２０２は、第１アイコン３００Ａ１が図３０（ａ）に示す場合よりもＺ方向−側に表示されているようにユーザ１２に知覚させる。本変形例１では、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコン３００Ａ２があたかもユーザ１２に接近する方向（Ｚ方向＋側）に移動したようにユーザ１２に知覚されるために、第２アイコン３００Ａ２の表示態様の変更を行う。図３０（ｂ）に示す例では、画像生成部２０１は、表示態様の変更の一例として、第２アイコン３００Ａ２の大きさを拡大した場合を表す。この場合、画像生成部２０１は、第２アイコン３００Ａ２の大きさを、到達位置５０と検出基準４０との間の距離に基づいて大きくした表示用画像データを生成する。すなわち、制御部２０によって、ユーザ操作が検出された位置と検出基準４０との位置関係が取得され、その取得された位置関係に基づいて、第２の表示である第２アイコン３００Ａ２が表示される領域（第２表示領域）が制御される。この場合、制御部２０は、第２アイコン３００Ａ２が表示される第２表示領域の表示態様を制御する。なお、図３０（ｂ）においては、初期表示の第２アイコン３００Ａ２を破線で示すが、実際には表示されない。この空中像３００を視認するユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１がＺ方向−側に位置するように知覚する。
次に、この初期表示された空中像３００に対して行われたユーザ１２の操作の到達位置５０が第１アイコン３００Ａ１の奥側（Ｚ方向−側）の場合、すなわち図５（ｄ）に示す状態のように検出基準４０で到達位置５０が検出されない場合を説明する。この場合、表示制御部２０２は、第１アイコン３００Ａ１が図３０（ａ）に示す場合よりもＺ方向＋側に表示されているようにユーザ１２に知覚させる。本変形例１では、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコン３００Ａ２があたかもユーザ１２から離れる方向（Ｚ方向−側）に移動したようにユーザ１２に知覚されるために、第２アイコン３００Ａ２の表示態様の変更を行う。すなわち、制御部２０によって、ユーザ操作が検出された位置と検出基準４０との位置関係が取得され、その取得された位置関係に基づいて、第２の表示である第２アイコン３００Ａ２が制御される。図３０（ｃ）に示す例では、画像生成部２０１は、第２アイコン３００Ａ２の大きさを、到達位置５０と検出基準４０との間の距離に基づいて小さくした表示用画像データを生成する。なお、図３０（ｃ）においては、初期表示の第２アイコン３００Ａ２を破線で示すが、実際には表示されない。この空中像３００を視認するユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１がＺ方向＋側に位置するように知覚する。
なお、到達位置や指定位置と検出基準４０との距離と、第２アイコン３００Ａ２の大きさとの関係は、試験等の結果に基づいて予め関連付けされた関連データとして記憶部２０５に記憶されている。画像生成部２０１は、この関連データを参照して第２アイコン３００Ａ２の大きさを変更する。
第３の実施の形態の表示装置１のキャリブレーション処理について、第１のキャリブレーション処理モードを例に説明する。この場合、図７に示す第２の実施の形態のフローチャートにおけるステップＳ３の処理の際、表示制御部２０２は、第１アイコン３００Ａ１と第２アイコン３００Ａ２とを表示する。図７のステップＳ６の処理の際、画像生成部２０１は、第２アイコン３００Ａ２の大きさの変更量を算出する。図７のステップＳ９にて、表示制御部２０２は、第２アイコン３００Ａ２を算出された変更量に基づいて大きさを変更させて表示させる。
なお、第２のキャリブレーション処理モードの場合には、第１の実施の形態において示した図９のフローチャートの処理を行う。ただし、図９におけるステップＳ２８およびステップＳ３２の処理に代えて、画像生成部２０１は、第２アイコンの大きさの変更量を算出し、算出された変更量に基づいて第２アイコンの大きさを変更させて表示させる。
第３の実施の形態では、ユーザ操作が検出された位置と検出基準４０との位置関係に基づいて、画像生成部２０１は、ユーザ１２によって操作される第１アイコン３００Ａ１とは異なる第２アイコン３００Ａ２を制御する。これにより、ユーザ１２は、第２アイコン３００Ａ２に基づいて、検出基準４０にて操作を行うことができる。
また、第３の実施の形態では、画像生成部２０１は、第２の表示領域、すなわち第２アイコン３００Ａ２の表示態様を制御する。これにより、ユーザ１２は、第２アイコン３００Ａ２の表示態様を視認することにより、空中像の表示位置を知覚しやすくなる。
また、第３の実施の形態では、画像生成部２０１が、ユーザ１２が操作を行う第１アイコン３００Ａ１の周辺に表示された第２アイコン３００Ａ２の表示態様を変更する。これにより、ユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１のＺ方向の位置が変化したと知覚する。ユーザ１２は、第１アイコン３００Ａ１のＺ方向の位置が変化したと知覚しているので、以後、ユーザ１２による操作が検出基準４０にて行われることが期待される。
なお、上述の第３の実施の形態では、ユーザ１２による操作の対象ではない空中像の第２アイコン３００Ａ２の大きさ（表示態様）を変更し、第２アイコン３００Ａ２がＺ方向に移動したようにユーザ１２に知覚させる。これにより、空中像３００の第１アイコン３００Ａ１のＺ方向の位置が、第２アイコン３００Ａ２が移動した方向とは逆に移動したようにユーザ１２に知覚させるものであった。しかし、ユーザ１２によっては、第２の表示の第２アイコン３００Ａ２の位置を、第１の表示の第１アイコン３００Ａ１の位置として知覚する場合があり、第１アイコン３００Ａ１のＺ方向の位置が、第２アイコン３００Ａ２が移動した方向とは逆に移動したようにユーザ１２に知覚されない場合がある。すなわち、第２アイコン３００Ａ２がＺ方向に移動したようにユーザ１２に知覚させた場合、第１アイコン３００Ａ１も同じ方向に移動したとユーザ１２が知覚する場合がある。ここで、２アイコン３００Ａ２の位置が、第１アイコン３００Ａ１の位置にあるように知覚するか否かはユーザ１２に依存するが、第２アイコン３００Ａ２と第１アイコン３００Ａ１との間の関連性が高い場合、ユーザ１２は、第２アイコン３００Ａ２を第１アイコン３００Ａ１の位置として知覚しやすくなる。
ここで、第２アイコン３００Ａ２と第１アイコン３００Ａ１との間の関連性が高いものとは、第１の表示である第１アイコン３００Ａ１と、第２の表示である第２アイコン３００Ａ２同士が、現実世界で近くにあるもの、接して設置されるもの、対象同士が一体的になって構成されているもの等である。一般的な例として、空中像のアイコンに限らない例を一つ挙げると、表示装置１が、第１の表示として絵画を表示し、第２の表示として額縁を表示する場合がある。実物の絵画は額縁に収納されているため、一般的に実物の場合は、額縁の位置と絵画の位置とは同じ位置に存在する。そのため、空中像で表示された、第１の表示の絵画と第２の表示の額縁との位置がＺ方向に対してずれていたとしても、ユーザ１２は、空中像として表示された、第２の表示の額縁の位置に第１の表示の絵があるように感じる場合がある。同様に、第１の実施の形態や第２の実施の形態等で説明した、補助画像である第２の表示に第１の表示の影を表示した例も、第１の表示と第２の表示との関連性が深い例である。逆に、このような現象は、第１の表示と第２の表示との間の関連性が低い場合は起こりづらい。例えば、第２の表示が音楽のアイコンの空中像であり、第１の表示がペットボトルを示す空中像である場合、ユーザ１２は、上記のように第１の表示が第２の表示の位置にあるように知覚しづらくなる。これは、第１の表示であるペットボトルと、第２の表示である音楽のアイコンとは関連性が低く、現実世界で音楽のアイコンの近くにペットボトルがあることが少なく、また音楽のアイコンとペットボトルとが一体的に構成されていることがほとんどないからである。
このように、第２の表示（第２アイコン３００Ａ２）の表示態様を変化した場合、第１の表示（第１アイコン３００Ａ１）と第２の表示（第２アイコン３００Ａ２）との関係によって、ユーザが知覚する第１の表示（第１アイコン３００Ａ１）が変化する奥行き位置の方向が変更する。
（第３の実施の形態の変形例１）
なお、上述した説明では、画像生成部２０１は、表示態様の変更として第２アイコン３００Ａ２の大きさを変更する場合を例に挙げたが、この例に限定されない。以下に第１アイコン３００Ａ１の周囲にある、他の空中像の表示態様の変更について例示する。以下の例では、他の空中像は、単眼性の奥行手がかりとなる。
＜１．第２アイコン３００Ａ２の表示位置の変更＞
画像生成部２０１は、第２の表示である第２アイコン３００Ａ２の空中像３００上での表示位置を移動することにより表示態様を変更してもよい。図３１にこの場合の空中像３００の表示の一例を模式的に示す。図３１（ａ）は、図３０（ａ）と同様に初期表示を示す。図３１（ｂ）は、第１アイコン３００Ａ１がユーザ１２に接近したように知覚させるために、第２アイコン３００Ａ２の表示位置を変更した場合を示す。図３１（ｃ）は、第１アイコン３００Ａ１がユーザ１２から離れたように知覚させるために、第２アイコン３００Ａ２の表示位置を変更した場合を示す。すなわち、第２アイコン３００Ａ２は、第１アイコン３００Ａ１の奥行手がかりである。なお、図３１（ｂ）、（ｃ）においては、初期表示の第２アイコン３００Ａ２を破線で示すが、実際には表示されない。また、図３１（ｂ）、（ｃ）では、説明の都合上、矩形の空中像３００の中心位置（すなわち対角線の交点）を点Ｐ１として示すが、点Ｐ１は空中像３００に表示されてもよいし、表示されなくてもよい。
図３１（ｂ）に示すように、第２アイコン３００Ａ２がユーザ１２から離れる方向に移動したように知覚させるためには、画像生成部２０１は、第２アイコン３００Ａ２の表示位置を点Ｐ１に接近する方向に移動させる。このとき、画像生成部２０１は、点Ｐ１と空中像３００の１つの頂点Ｐ２とを結ぶ方向に沿って第２アイコン３００Ａ２を移動させる。これにより、ユーザ１２は、表示位置が変更された第２アイコン３００Ａ２を基準とすることにより、第１アイコン３００Ａ１があたかも接近する方向に移動したように知覚するので、ユーザ１２の操作が検出基準４０で行われることが期待できる。
また、図３１（ｃ）に示すように、第２アイコン３００Ａ２がユーザ１２に接近する方向に移動したように知覚させるためには、画像生成部２０１は、第２アイコン３００Ａ２の表示位置を点Ｐ１から離れる方向に移動させる。このときも、画像生成部２０１は、点Ｐ１と空中像３００の１つの頂点Ｐ２とを結ぶ方向に沿って第２アイコン３００Ａ２を移動させる。これにより、ユーザ１２は、表示位置が変更された第２アイコン３００Ａ２を基準とすることにより、第１アイコン３００Ａ１があたかも離れる方向に移動したように知覚するので、ユーザ１２の操作が検出基準４０で行われることが期待できる。
なお、第２アイコン３００Ａ２の移動方向がよりユーザ１２によって知覚しやすくなるように、画像生成部２０１は、空中像３００に第１アイコン３００Ａ１、第２アイコン３００Ａ２の奥行手がかりとなる表示を行ってもよい。図３１（ｄ）、（ｅ）に、この場合の空中像３００の表示例を模式的に示す。なお、図３１（ｄ）は、図３１（ｂ）と同様にして第２アイコン３００Ａ２の表示態様が変更された例を示し、図３１（ｅ）は、図３１（ｃ）と同様にして第２アイコン３００Ａ２の表示態様が変更された例を示す。図３１（ｄ）、（ｅ）においても、初期表示の第２アイコン３００Ａ２を破線で示しているが、実際には表示されない。
図３１（ｄ）、（ｅ）は、画像生成部２０１が、奥行手がかりとして、基準線３２０〜３２４を透視図の形式にて表示した例である。この場合、第２アイコン３００Ａ２と基準線３２０〜３２４とを第２の表示とすることができる。すなわち、第２アイコン３００Ａ２と基準線３２０〜３２４とが、第１アイコン３００Ａ１に対する奥行手がかりである。透視図とは、三次元空間を二次元の平面に再現するための図法であり、複数の直線を用いて遠近を表現する。図３１（ｄ）、（ｅ）に示す例では、空中像３００の矩形外周３０１の４つの頂点から矩形の中心に向かって直線の基準線３２１〜３２４が設けられ、中心の近傍に外周３０１よりも小さい矩形の基準線３２０が設けられている。即ち、一対の基準線３２１、３２３は、矩形外周３０１の一方の対角線の一部を構成し、一対の基準線３２２、３２４は、矩形外周３０１の他方の対角線の一部を構成し、これらの対角線の交点が矩形外周３０１の中心に相当する。
なお、図３１（ｄ）、（ｅ）に示す基準線３２０は、外周３０１の相似の関係にある例を示すが、相似の関係になくてもよい。また、基準線３２０が矩形であるものに限定されず、円形や他の多角形でもよい。また、基準線３２０が設けられていなくてもよい。
基準線３２１〜３２４は、基準線３２０の頂点と空中像３００の外周３０１の頂点とを結ぶ直線である。このような基準線３２０〜３２４にて示す透視図では、空中像３００の中心の点Ｐ１の近傍が、遠近法にて平行線が交わる消失点（遠方の点）となる。すなわち、基準線３２１〜３２４は、単眼の奥行手がかりである。したがって、この空中像３００は、外周３０１から消失点、すなわち中心の点Ｐ１の近傍に設けられた矩形の基準線３２０に近づくほど遠方になるような視覚的な作用を、空中像３００を視覚するユーザ１２に与える。なお、図３１（ｄ）、（ｅ）においては、消失点が１つの場合を例に挙げたが、これに限定されず、複数の消失点を有する透視図でもよい。また、図３１（ｄ）、（ｅ）の例では、基準線３２１〜３２４が消失点で交わる場合を示したが、基準線３２１〜３２４が必ずしも消失点で交わらなくてもよい。
＜２．第２アイコン３００Ａ２の鮮鋭度の変更＞
画像生成部２０１は、第２アイコン３００Ａ２の表示態様の変更として、鮮鋭度を変更してもよい。画像生成部２０１は、図３０（ａ）や、図３１（ａ）に示す第２アイコン３００Ａ２の鮮鋭度を上げることにより、第２アイコン３００Ａ２があたかもユーザ１２に接近する方向に移動したように知覚させる。すなわち、相対的に第１アイコン３００Ａ１がユーザ１２から離れる方向に移動したように知覚させる。画像生成部２０１は、第２アイコン３００Ａ２の鮮鋭度を下げることにより、第２アイコン３００Ａ２があたかもユーザ１２から離れる方向に移動したように知覚させる。すなわち、相対的に第１アイコン３００Ａ１がユーザ１２に接近する方向に移動したように知覚させる。画像生成部２０１は、鮮鋭度として、たとえば第２アイコン３００Ａ２のボケ度合いを変更したり、空気透視（空気遠近法）の考え方に従って第２アイコン３００Ａ２に付与する白みのかかり度合い（霞のかかり度合い）を変更する。
画像生成部２０１は、第２アイコン３００Ａ２のエッジ部分や、重畳された文字や模様等のボケ度合いを低くし明瞭にする程、第２アイコン３００Ａ２がユーザ１２に接近する方向に移動したように知覚させる。画像生成部２０１は、第２アイコン３００Ａ２のエッジ部分や、重畳された文字や模様等のボケ度合いを高める程、第２アイコン３００Ａ２がユーザ１２から離れる方向に移動したように知覚させる。また、画像生成部２０１は、第２アイコン３００Ａ２への白みのかかり度合い低くする程、第２アイコン３００Ａ２がユーザ１２に接近する方向に移動したように知覚させる。画像生成部２０１は、第２アイコン３００Ａ２への白みのかかり度合いを高める程、第２アイコン３００Ａ２がユーザ１２から離れる方向に移動したように知覚させる。
画像生成部２０１は、到達位置や指定位置と検出基準４０との距離に基づいて、画像生成部２０１は第２アイコン３００Ａ２の鮮鋭度の変更量を決定し、この変更量に基づいて、第２アイコン３００Ａ２の鮮鋭度を変更する。これにより、ユーザ１２に、あたかも第１アイコン３００Ａ１の空中での表示の位置が移動したように知覚させ、空中像３０に対する操作の位置を変更させることができる。
なお、以上の説明では、第２アイコン３００Ａ２の表示態様の変更として鮮鋭度の変更を説明した。画像生成部２０１は、第２アイコン３００Ａ２の表示態様の変更として、鮮鋭度の変更と、大きさの変更と、表示位置の変更とを適宜組み合わせてよい。
＜３．第２アイコン３００Ａ２の色の変更＞
画像生成部２０１は、表示態様の変更として、図３０（ａ）や図３１（ａ）に示す第２アイコン３００Ａ２の色を変更する。一般に、寒色系の色が付されているものは、同一の大きさを有し暖色系の色が付されているものよりも離れた位置に知覚される。画像生成部２０１は、第２アイコン３００Ａ２に寒色系の青などの後退色を付すことにより、第２アイコン３００Ａ２がユーザ１２から離れる方向に移動したように知覚させる。すなわち、ユーザ１２は、第１アイコン３００Ａ１がユーザ１２に近づくように知覚して、操作位置（到達位置や指定位置）が変更されることが期待される。
反対に、画像生成部２０１は、第２アイコン３００Ａ２に暖色系の赤や黄などの進出色を付すことにより、第２アイコン３００Ａ２がユーザ１２に接近する方向に移動したように知覚させることができる。
なお、以上の説明では、第２アイコン３００Ａ２の表示態様の変更として色の変更を説明した。画像生成部２０１は、第２アイコン３００Ａ２の表示態様の変更として、色の変更と、鮮鋭度の変更と、大きさの変更と、表示位置の変更とを適宜組み合わせてよい。
＜４．第２アイコン３００Ａ２の輝度を変更＞
画像生成部２０１は、表示態様の変更として、図３０（ａ）や図３１（ａ）の第２アイコン３００Ａ２の輝度を変更する。画像生成部２０１は、第２アイコン３００Ａ２の輝度を下げ暗くする程、第２アイコン３００Ａ２がユーザ１２から離れる方向に移動したように知覚させる。画像生成部２０１は、第２アイコン３００Ａ２の輝度を上げ明るくする程、第２アイコン３００Ａ２がユーザ１２に接近する方向に移動したように知覚させる。
これにより、第２アイコン３００Ａ２の輝度を上げ明るさが増大することにより、ユーザ１２は第２アイコン３００Ａ２がユーザ１２に近い側に位置するように知覚する場合がある。すなわち、ユーザ１２は、第１アイコン３００Ａ１がユーザ１２から離れた側に位置するように知覚して、操作位置（到達位置や指定位置）が変更されることが期待される。
なお、以上の説明では、第２アイコン３００Ａ２の表示態様の変更として輝度の変更を説明した。画像生成部２０１は、第２アイコン３００Ａ２の表示態様の変更として、輝度の変更と、色の変更と、鮮鋭度の変更と、大きさの変更と、表示位置の変更とを適宜組み合わせてよい。
＜５．第２アイコン３００Ａ２と第１アイコン３００Ａ１の重なり＞
画像生成部２０１は、表示態様の変更として、第１アイコン３００Ａ１と第２アイコン３００Ａ２との重なりを変更する。図３２は、この場合の空中像３００を模式的に示す図である。図３２（ａ）は、初期表示の第１アイコン３００Ａ１と第２アイコン３００Ａ２とを示す。図３２（ｂ）は、画像生成部２０１が、第１アイコン３００Ａ１と第２アイコン３００Ａ２とが重なって、第１アイコン３００Ａ１の一部が第２アイコン３００Ａ２により隠れるように第２アイコン３００Ａ２の表示態様を変更した場合を示す。この場合、ユーザ１２は、第２アイコン３００Ａ２を基準として、相対的に第１アイコン３００Ａ１がユーザ１２から離れた側に位置しているように知覚する。すなわち、到達位置や指定位置が検出基準４０より手前（Ｚ方向＋側）に位置する場合（図５（ｂ）参照）、画像生成部２０１は、図３２（ｂ）に示すように第２アイコン３００Ａ２の表示態様を変更する。
図３２（ｃ）は、画像生成部２０１が、第１アイコン３００Ａ１と第２アイコン３００Ａ２とが重なって、第２アイコン３００Ａ２の一部が第１アイコン３００Ａ１により隠れるように表示態様を変更した場合を示す。この場合、ユーザ１２は、第２アイコン３００Ａ２を基準として、相対的に第１アイコン３００Ａ１がユーザ１２に近い側に位置しているように知覚する。すなわち、到達位置や指定位置が検出基準４０より奥側（Ｚ方向−側）に位置する場合（図５（ｄ）参照）、画像生成部２０１は、図３２（ｃ）に示すように第２アイコン３００Ａ２の表示態様を変更する。
画像生成部２０１は、第１アイコン３００Ａ１と第２アイコン３００Ａ２とが重なる量を、到達位置や指定位置と検出基準４０との間の距離に基づいて算出し、第１アイコン３００Ａ１と第２アイコン３００Ａ２との重なり量を変更する。れにより、ユーザ１２に、あたかも第１アイコン３００Ａ１の空中での表示の位置が移動したように知覚させ、空中像３０に対する操作の位置を変更させることができる。
また、画像生成部２０１は、運動視差による効果を付加してもよい。画像生成部２０１は、図３２（ａ）に示す初期表示の状態から、第２アイコン３００Ａ２を移動させるとき、第１アイコン３００Ａ１と第２アイコン３００Ａ２との重なり量を時間の経過とともに変化させてもよい。これにより、第２アイコン３００Ａ２の見かけ上の奥行方向への移動を強調させることができる。
なお、以上の説明では、第２アイコン３００Ａ２の表示態様の変更として、第１アイコン３００Ａ１との重なりの変更を説明した。画像生成部２０１は、第２アイコン３００Ａ２の表示態様の変更として、第１アイコン３００Ａ１との重なりの変更と、輝度の変更と、色の変更と、鮮鋭度の変更と、大きさの変更と、表示位置の変更とを適宜組み合わせてよい。
＜６．第１アイコン３００Ａ１に付した陰影を変更する。＞
画像生成部２０１は、第１アイコン３００Ａ１に陰影を付加した表示用画像データを生成する。画像生成部２０１は、この第１アイコン３００Ａ１に付加した陰影を変更する。図３３は、第１アイコン３００Ａ１に上方から光を当てたと仮定した場合に形成される影画像３１５との一例を模式的に示す図である。図３３（ａ）と、図３３（ｂ）と、図３３（ｃ）とでは、第１アイコン３００Ａ１が形成する影画像３１５の面積が異なる。なお、図３３（ａ）〜図３３（ｃ）において、第１アイコン３００Ａ１の大きさと、空中像３００における表示位置とは同一とする。
図３３（ｂ）の影画像３１５は、図３３（ａ）の影画像３１５よりも面積が小さい。影画像３１５の面積が小さい図３３（ｂ）に示す第１アイコン３００Ａ１は、初期表示の第１アイコン３００Ａ１と比較して、影画像３１５と第１アイコン３００Ａ１との間の距離が小さいように知覚することができる。すなわち、ユーザ１２は、図３３（ｂ）に示す第１アイコン３００Ａ１の方が図３３（ａ）に示す第１アイコン３００Ａ１よりもユーザ１２より遠い側に位置するように知覚することができる。
影画像３１５の面積が大きい図３３（ｃ）に示す第１アイコン３００Ａ１は、図３３（ａ）に示す初期表示の第１アイコン３００Ａ１と比較して、影画像３１５と第１アイコン３００Ａ１との間の距離が大きいように知覚することができる。すなわち、ユーザ１２は、図３３（ｃ）に示す第１アイコン３００Ａ１の方が初期表示の第１アイコン３００Ａ１よりもユーザ１２に近い側に位置するように知覚することができる。このような効果に基づいて、画像生成部２０１は、第１アイコン３００Ａ１の影画像３１５の面積を制御することにより、第１アイコン３００Ａ１がユーザ１２から離れる方向または接近する方向に移動したように知覚させる。画像生成部２０１は、たとえば、図３３（ａ）の初期表示の空中像３００に対し、キャリブレーション処理時の到達位置５０が検出基準４０の上方（図５（ｂ）参照）の場合には、図３３（ｂ）の空中像３００を表示する。画像生成部２０１は、キャリブレーション処理時の到達位置５０が検出基準４０の下方（図５（ｄ）参照）の場合には、図３３（ｃ）の空中像３００を表示する。
画像生成部２０１は、ユーザの操作と検出基準４０との位置関係に基づいて、アイコン３００Ａ１に陰影を施す処理を行う。これにより、ユーザに、あたかもアイコン３００Ａ１の表示の位置が移動したように知覚させ、ユーザの操作の位置を変更させることができる。
なお、以上の説明では、表示態様の変更として、影画像３１５の付加を説明した。画像生成部２０１は、第１アイコン３００Ａ１の表示態様の変更として、影画像３１５の付加と、第２アイコン３００Ａ２との重なりの変更と、輝度の変更と、色の変更と、鮮鋭度の変更と、大きさの変更と、表示位置の変更とを適宜組み合わせてよい。
なお、画像生成部２０１は、第３の実施の形態の変形例１にて例示した各表示態様の変更の例を個別に行ってもよいし、複数の表示態様の変更を組み合わせて実行してもよい。たとえば、画像生成部２０１は、ユーザ１２の操作の位置と検出基準４０との位置関係に基づいて、アイコン３０Ａの表示位置、大きさ、および輝度のうち少なくとも一つを変更してよい。
また、上述した説明では、ユーザ１２が単眼にて第１アイコン３００Ａ１の奥行方向の変化を知覚することが可能な表示態様の変更の例を挙げたが、これに限定されない。すなわち、両眼視差によって奥行手がかりである第２アイコン３００Ａ２の奥行き位置を変化させ、第１アイコン３００Ａ１の奥行き位置が変化したようにユーザ１２に知覚させてもよい。たとえば、表示装置１において、空中像を生成する構成の例としては、表示装置１の表示器１１に視差画像を表示する方法がある。すなわち、画像生成部２０１は、右目で視認する画像と、右目で視認する画像とは視差を有する左目で視認する画像とを表示させることにより、ユーザ１２には表示器によって表示されている画像と異なる奥行に感じられる画像を生成する方法がある。このような方法によって、第２アイコン３００Ａ２を異なる奥行に表示させてもよい。具体的には、画像生成部２０１は、視差画像の視差量を変更させ、ユーザ１２に第２アイコン３００Ａ２の奥行感が変更したように知覚させればよい。この場合、結像光学系９として、たとえば公知のレンチキュラーレンズを用いることができる。このように、両眼性の奥行手がかりである第２アイコン３００Ａ２の奥行き位置を変化させることによって、第１アイコン３００Ａ１の奥行き位置が変化したとユーザ１２に知覚させてもよい。
上述した第３の実施の形態とその変形例１においては、画像生成部２０１は、第２の表示として第２アイコン３００Ａ２を表示させる例を説明したが、これに限定されない。たとえば、画像生成部２０１は、第２の表示として、枠や机や椅子や台等を表示させてもよい。
（第３の実施の形態の変形例２）
上述したように、空中像は透過性を有するものであるため、同一のユーザ１２であっても空中像の表示位置が異なって感じることがある。このため、ユーザ１２が空中像の位置を正しく知覚できず、ユーザ１２の操作が検出基準で検出されない虞がある。すなわち、ユーザ１２は空中像の位置を不安定なものとして知覚する虞がある。
このような空中像の位置の不安定さを低減して、ユーザ１２が空中像であるアイコンの表示位置を実際の物体を基準としてより正しく知覚できるように、画像生成部２０１は、第１の表示であるアイコンとは異なる第２の表示である空中像を実際の物体に重なる（接続する）ように表示する。すなわち、ユーザ１２が第２の表示である空中像を介して実際の物体を基準とすることにより、アイコンの表示位置を知覚できるようにするものである。以下、詳細に説明する。
図３４に第３の実施の形態の変形例２の表示装置１により表示される空中像３０と、ステージ１４とを模式的に示す。ステージ１４の表面（Ｙ方向＋側の面）には、縞の模様が付されているものとする。図３４（ａ）では、空中像３０の第１部分としての第１の空中像３０−１と、第２部分としての第２の空中像３０−２とを含む。図３４では、第１の表示である第１の空中像３０−１は、４個のアイコン３０Ａからなる例を示す。なお、アイコン３０Ａの個数は一例であり、４個に限定されるものではない。第２の表示である第２の空中像３０−２は、アイコン３０Ａは配置されたパネル盤を模した画像である。画像生成部２０１は、第２の空中像３０−２がステージ１４の上に載置されているような表示用画像データを生成する。画像生成部２０１は、第２の空中像３０−２が実際の物体であるステージ１４に重なるような表示用画像データを生成する。すなわち、画像生成部２０１は、第１の空中像３０−１の下（Ｙ方向−側）に第２の空中像３０−２が配置されるように表示用画像データを生成する。表示装置１上のステージ１４の位置は安定しているので、ユーザ１２は、実際の物体であるステージ１４の上に載置されたように表示された第２の空中像３０−２を奥行の手がかりとしてアイコン３０Ａを視認する。これにより、ユーザ１２は、アイコン３０Ａとステージ１４との相対的な位置関係、すなわちアイコン３０ＡのＺ方向の位置を安定的なものとして知覚できる。
上述したように第２の空中像３０−２がステージ１４に載置されているように空中像３０が表示された場合であっても、ユーザ１２によっては、第２の空中像３０−２とステージ１４とが乖離しているように知覚する虞がある。すなわち、ユーザ１２が、第２の空中像３０−２がステージ１４の上に載置されていないように知覚する可能性がある。このような事態が生じないようにするため、画像生成部２０１は、図３４（ａ）のように表示された第２の空中像３０−２がステージ１４と重なる部分に、さらに第３の空中像を表示させるように表示用画像データを生成してもよい。図３４（ｂ）にこの場合の空中像３０を示す。第１の空中像３０−１と第２の空中像３０−２とは、図３４（ａ）に示す例と同様である。第３の空中像３０−３は、たとえば第２の空中像３０−２の下部の近傍におけるステージ１４の表面を表す画像に対応する。この場合、画像生成部２０１は、ステージ１４の表面のうち、たとえば模様等を撮像装置等により撮像した撮像データを用いて第３の空中像３０−３に対応する表示用画像データを生成する。これにより、ユーザ１２は、第２の空中像３０−２がステージ１４に載置していると知覚することができ、第３の空中像３０−３を介してステージ１４を基準としてアイコン３０ＡのＺ方向の位置をより安定的に知覚できる。
なお、画像生成部２０１は、上述のようにして第２の空中像３０−２が第３の空中像３０−３を介してステージ１４と重なるようにした状態で、さらに第２の空中像３０−２が第１の空中像３０−１の少なくとも一部と重なるような表示用画像データを生成してよい。この場合、画像生成部２０１は、第１の空中像３０−１と第２の空中像３０−２との間に隙間等がなく、互いに接しているように表示させる。たとえば、第１の空中像３０−１が瓶やペットボトルであり、第２の空中像３０−２が机である場合には、画像生成部２０１は、瓶やペットボトルが机の上に載置されている状態を表す表示用画像データを生成する。これにより、第１の空中像３０−１は、実際の物体であるステージ１４に対して安定的に視認される第２の空中像３０−２に重なるので、ユーザ１２は、第１の空中像３０−１をより安定的に視認できる。
第３の実施の形態の変形例２では、画像生成部２０１は、第１の空中像３０−１と、第１の空中像３０−１の下方（Ｙ方向−側）に配置された実物（ステージ１４）との間に第２の空中像３０−２を表示させる。これにより、ユーザ１２は、ステージ１４を基準として、第２の空中像３０−２を介し第１の空中像３０−１の空中での位置を知覚しやすくなる。
また、第３の実施の形態の変形例２では、画像生成部２０１は、第２の空中像３０−２をステージ１４の一部に重なるように表示させる。これにより、ユーザ１２は、ステージ１４の上に載置されたように表示された第２の空中像３０−２を介してアイコン３０Ａを視認するので、アイコン３０Ａとステージ１４との相対的な位置関係を安定的なものとして知覚できる。
また、第３の実施の形態の変形例２では、画像生成部２０１は、第２の空中像３０−２のうちステージ１４と重なる部分に、ステージ１４に対応する第３の空中像３０−３を表示させる。これにより、ユーザ１２は、第２の空中像３０−２がステージ１４に載置していると知覚することができ、第２の空中像３０−２および第３の空中像３０−３を介してステージ１４を基準としてアイコン３０ＡのＺ方向の位置を知覚できる。
また、第３の実施の形態の変形例２では、画像生成部２０１は、第１の空中像３０−１の一部に重ねて第２の空中像３０−２を表示させる。これにより、ユーザ１２は、第１の空中像３０−１と第２の空中像３０−２とはＺ方向に同一の位置にあるように知覚するので、第２の空中像３０−２および第３の空中像３０−３を介してステージ１４を基準としてアイコン３０ＡのＺ方向の位置を知覚できる。
（第３の実施の形態の変形例３）
上述した第３の実施の形態とその変形例１、２では、空中像３０、３００に表示された第１の表示の空中像の周囲の第２の表示の空中像の表示態様を変更する場合を例に挙げたが、この例に限定されない。たとえば、表示装置１は、空中像３０の表示される位置の周囲に実際の物体として枠等を有し、この枠に第１アイコン３００Ａ１の奥行きの位置を知覚させるために指標等の表示を行う。表示装置１は、この指標等の表示態様を変更することにより、第１アイコン３００Ａ１の奥行方向の位置があたかも移動したようにユーザ１２に知覚させる。ここで、指標等が、第１アイコン３００Ａ１に対する奥行手がかりになる。以下、詳細に説明する。
図３５（ａ）は、この場合の表示装置１の外観斜視図である。この場合の表示装置１は、図２９に示す第３の実施の形態の表示装置１のステージ１４上の枠１０２と、第３表示器１０３とを有する。図３５（ｂ）は、表示装置１の主要部構成を説明するブロック図である。図３５（ｂ）は、制御部２０と、制御部２０によって制御される表示器１１と操作検出器１３と第３表示器１０３とを示すブロック図である。制御部２０は、図２９（ｂ）に示す第３の実施の形態の制御部２０が有する機能に加えて、第３表示器１０３の表示を制御する指標表示制御部２１０をさらに備える。
なお、第３表示器１０３が、第３表示器１０３による表示を制御する制御部を備えていてもよい。この場合、指標表示制御部２１０からの制御信号に基づいて、制御部は第３表示器１０３の表示を制御すればよい。
表示装置１の本体１０には、実際の物体として枠１０２が、ステージ１４上にＸＹ平面に平行に設けられる。枠１０２は、中に開口部１０２ＯＰを有し、この開口部１０２ＯＰに空中像３００が表示される。第３表示器１０３は、たとえば液晶モニタ等であり、枠１０２のＺ方向＋側の表面に、Ｚ方向＋側から表示内容が視認可能に配置される。第３表示器１０３には、空中像３００を観察するユーザ１２が空中での空中像３００の表示位置を把握するための案内となる指標１０４が表示される。指標表示制御部２１０は、表示装置１を起動して空中像操作モードを開始する際、または表示装置１の起動時にキャリブレーション処理モードを起動する際に、第３表示器１０３を制御して、指標１０４の表示を開始させる。
図３６は、空中像３００および指標１０４の表示の一例を模式的に示す。図３６では、指標１０４として矩形形状のマークが表示された場合を示す。なお、指標１０４は、矩形形状に限られず、円形形状でもよいし、矢印や星印等の記号や、アルファベット等の文字でもよい。また、図３６は、指標１０４は、第３表示器１０３のＸ方向＋側の表示面に１つ表示される場合を例示しているが、この例に限定されず、複数個表示されてもよい。また、指標１０４は、第３表示器１０３のＸ方向−側の表示面や、Ｙ方向＋側の表示面や、Ｙ方向−側の表示面に、１個、または複数個表示されてもよい。
図３６（ａ）は、第１アイコン３００Ａ１と指標１０４とが初期表示された場合を示す。この初期表示された第１アイコン３００Ａ１に対して行われたユーザ１２の操作の到達位置や指定位置が第１アイコン３００Ａ１の手前（Ｚ方向＋側）の場合、すなわち図５（ｂ）に示す状態の場合を説明する。この場合、指標表示制御部２１０は、指標１０４の表示態様を変更して、第１アイコン３００Ａ１があたかもユーザ１２から離れる方向（Ｚ方向−側）に移動したようにユーザ１２に知覚させる。以下の説明では、指標表示制御部２１０が指標１０４の表示態様の変更として大きさを変更する場合を例に挙げる。
図３６（ｂ）に、指標１０４の表示態様が変更された場合の表示を例示する。この場合、指標表示制御部２１０は、初期表示された指標１０４の大きさを拡大する。指標表示制御部２１０は、到達位置や指定位置と検出基準４０との間の距離に基づいて、指標１０４の大きさを拡大する。この第１アイコン３００Ａ１を視認するユーザ１２は、大きさが拡大された指標１０４を基準として相対的に第１アイコン３００Ａ１がＺ方向−側に位置するように知覚する。これにより、ユーザ１２の操作がＺ方向−側で行われ、到達位置や指定位置が検出基準４０で検出されるようになることが期待される。
次に、この初期表示された第１アイコン３００Ａ１に対して行われたユーザ１２の操作の到達位置や指定位置が第１アイコン３００Ａ１の奥側（Ｚ方向−側）の場合、すなわち図５（ｄ）に示す状態の場合を説明する。この場合、指標表示制御部２１０は、指標１０４の表示態様を変更して、第１アイコン３００Ａ１があたかもユーザ１２に接近する方向（Ｚ方向＋側）に移動したようにユーザ１２に知覚させる。
図３６（ｃ）に、指標１０４の表示態様が変更された場合の表示を例示する。この場合、指標表示制御部２１０は、初期表示された指標１０４の大きさを縮小する。指標表示制御部２１０は、到達位置や指定位置と検出基準４０との間の距離に基づいて、指標１０４の大きさを縮小する。この第１アイコン３００Ａ１を視認するユーザ１２は、大きさが縮小された指標１０４を基準として相対的に第１アイコン３００Ａ１がＺ方向＋側に位置するように知覚する。これにより、ユーザ１２の操作がＺ方向＋側で行われ、到達位置や指定位置が検出基準４０で検出されるようになることが期待される。
なお、到達位置や指定位置と検出基準４０との距離と、指標１０４の大きさとの関係は、試験等の結果に基づいて予め関連付けされた関連データとして記憶部２０５に記憶されている。指標表示制御部２１０は、この関連データを参照して指標１０４の大きさを変更する。
また、上述した説明において、指標表示制御部２１０による指標１０４の表示態様の変更として、大きさの変更を例に挙げたが、これに限定されない。指標表示制御部２１０は、変形例１の各例にて説明した、鮮鋭度の変更や、色の変更や、輝度の変更を表示態様の変更として実行することができる。
また、以上の説明では、指標表示制御部２１０が指標１０４の表示態様を変更する場合を例に挙げたが、これに限定されない。たとえば、第３表示器１０３が制御部を備える場合には、この制御部が、指標表示制御部２１０と同様にして指標１０４の表示態様を変更してよい。
上述した表示装置１のキャリブレーション処理について、第１のキャリブレーション処理モードを例に説明する。この場合、図７に示す第１の実施の形態のフローチャートにおけるステップＳ３の処理の際、表示制御部２０２は空中像３００を初期表示し、指標表示制御部２１０は指標１０４を第３表示器１０３に初期表示する（図３６（ａ）参照）。図７のステップＳ６の処理の際、指標表示制御部２１０は、指標１０４の表示態様の変更量を算出する。図７のステップＳ８にて、表示制御部２０２は空中像３００を表示し、指標表示制御部２１０は変更量に基づいて表示態様が変更された指標１０４を第３表示器１０３に表示させる（図３６（ｂ）、（ｃ）参照）。
なお、第２のキャリブレーション処理モードの場合には、第１の実施の形態において示した図９のフローチャートの処理を行う。ただし、図９のフローチャートにおけるステップＳ２８およびステップＳ３２の処理に代えて、指標表示制御部２１０は、指標１０４の表示態様の変更量を算出し、変更量に基づいて表示態様が変更された指標１０４を第３表示器１０３に表示させる。
なお、上述の第３の実施の形態とその変形例１〜３では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第３の実施の形態、または変形例１に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第３の実施の形態、または変形例１〜３に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。
以上で説明した全ての実施の形態と全ての変形例の表示装置１が空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を３次元空間中に自由に制御することで空中に実像として３次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する（フォグディスプレイ）ことで、空中に像を生成してもよい。
表示装置１が空中像３０の位置を移動させるために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第１２８２１１号（２０１６年６月２８日出願）
１…表示装置、９…結像光学系、１１…表示器、１３…操作検出器、
１５…プロジェクタ、１８…撮像装置、１９…集音器、２０…制御部、
９１…第２表示器、１０３…第３表示器、
２００…プロジェクタ制御部、２０１…画像生成部、
２０２…表示制御部、２０３…キャリブレーション部、２０４…検出基準制御部、
２０６…速度・加速度検出部、２０７…到達位置予測部、２０８…音声検出部、
２０９…画像解析部、２１０…指標表示制御部、
２１２…検出部、２１３…決定部

Claims (8)

  1. 空中に表示される第１表示への使用者の操作を検出する検出部を制御する制御装置であって、
    前記操作を検出するための検出基準位置と前記操作が検出された位置との位置関係を取得する取得部を備え、
    前記制御装置は、前記取得部によって取得された前記位置関係と、前記第１表示とは異なる位置に表示される第２表示の表示態様とに基づいて、前記検出基準位置を調整する制御装置。
  2. 請求項１に記載の制御装置であって、
    前記検出部は、前記操作を検出開始してから所定の期間内に前記操作を検出しない場合、前記検出基準位置を調整する制御装置。
  3. 請求項１に記載の制御装置であって、
    前記位置関係に基づいて、前記第２表示の表示態様を制御する表示制御部を備える制御装置。
  4. 請求項３に記載の制御装置であって、
    前記表示制御部は、前記検出部が前記操作を検出開始してから所定の期間内に前記操作を検出しない場合、前記第２表示の表示態様を変化させる制御装置。
  5. 請求項４に記載の制御装置であって、
    前記表示制御部は、前記使用者の操作を前記検出基準位置に導くように、前記第２表示の表示態様を変化させる制御装置。
  6. 請求項１から５までのいずれか一項に記載の制御装置であって、
    前記表示態様とは、表示位置、大きさ、表示画像、輝度分布、表示濃度の少なくとも一つである制御装置。
  7. 請求項１から６までのいずれか一項に記載の制御装置において、
    前記検出基準位置は、３次元領域であり、
    前記３次元領域に前記使用者の一部または前記使用者により操作される部材が到達すると、前記使用者の操作として検出する制御装置。
  8. 空中に表示される第１表示への使用者の操作を検出する検出方法であって、
    前記操作を検出するための検出基準位置と前記操作が検出された位置との位置関係を取得し、
    取得された前記位置関係と、前記第１表示とは異なる位置に表示される第２表示の表示態様とに基づいて、前記検出基準位置を調整する検出方法。
JP2018525216A 2016-06-28 2017-06-28 制御装置および検出方法 Active JP6724987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016128211 2016-06-28
JP2016128211 2016-06-28
PCT/JP2017/023761 WO2018003861A1 (ja) 2016-06-28 2017-06-28 表示装置および制御装置

Publications (2)

Publication Number Publication Date
JPWO2018003861A1 JPWO2018003861A1 (ja) 2019-04-18
JP6724987B2 true JP6724987B2 (ja) 2020-07-15

Family

ID=60785132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525216A Active JP6724987B2 (ja) 2016-06-28 2017-06-28 制御装置および検出方法

Country Status (4)

Country Link
US (1) US20190243469A1 (ja)
JP (1) JP6724987B2 (ja)
CN (2) CN109643173A (ja)
WO (1) WO2018003861A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003860A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 表示装置、プログラム、表示方法および制御装置
US11074747B2 (en) * 2017-10-13 2021-07-27 Autodesk, Inc. Computer-aided techniques for designing detailed three-dimensional objects
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
JP7456583B2 (ja) * 2018-09-28 2024-03-27 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイ用ホログラフィック対象物中継部
JP2020064632A (ja) * 2018-10-11 2020-04-23 オムロン株式会社 入力装置
JP7097335B2 (ja) * 2019-07-31 2022-07-07 コイト電工株式会社 非接触入力装置
JP2022554404A (ja) 2019-11-12 2022-12-28 ライト フィールド ラボ、インコーポレイテッド 中継システム
CN110991273B (zh) * 2019-11-18 2021-03-19 支付宝(杭州)信息技术有限公司 层板调控设备、方法及装置
EP4071701A4 (en) * 2019-12-04 2022-12-07 NEC Corporation INFORMATION PRESENTATION SYSTEM, INFORMATION PRESENTATION METHOD, COMPUTER PROGRAM AND AUTHENTICATION SYSTEM
CN111246012B (zh) * 2020-01-06 2022-09-16 北京小米移动软件有限公司 应用界面显示方法、装置及存储介质
WO2022046340A1 (en) * 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
JP2022063542A (ja) * 2020-10-12 2022-04-22 マクセル株式会社 空間浮遊映像情報表示システムおよび光源装置
CN114660918B (zh) * 2020-12-24 2023-05-23 腾讯科技（深圳）有限公司 全息立体影像的显示设备、方法、装置及介质
CN112756281B (zh) * 2021-01-15 2023-12-12 镇江润茂钢球有限公司 一种钢球表面粗糙度筛选装置及其使用方法
JP2022132259A (ja) * 2021-02-27 2022-09-08 株式会社アーティフィス 生体反応物質付着防止部を有する情報入力装置
JP7402265B2 (ja) * 2021-06-28 2023-12-20 日立チャネルソリューションズ株式会社 情報処理システム
WO2024070437A1 (ja) * 2022-09-26 2024-04-04 マクセル株式会社 空中浮遊映像表示装置
WO2024070986A1 (ja) * 2022-09-29 2024-04-04 京セラ株式会社 空中像表示装置
WO2024079832A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェース装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4576131B2 (ja) * 2004-02-19 2010-11-04 パイオニア株式会社 立体的二次元画像表示装置及び立体的二次元画像表示方法
JP4804122B2 (ja) * 2005-11-21 2011-11-02 株式会社バンダイナムコゲームス プログラム、テクスチャデータ構造、情報記憶媒体及び画像生成システム
JP5350612B2 (ja) * 2007-07-04 2013-11-27 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
US8416268B2 (en) * 2007-10-01 2013-04-09 Pioneer Corporation Image display device
KR20110069526A (ko) * 2009-12-17 2011-06-23 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
JP2013168120A (ja) * 2012-01-19 2013-08-29 Panasonic Corp 立体画像処理装置、立体画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20190243469A1 (en) 2019-08-08
CN109643173A (zh) 2019-04-16
JPWO2018003861A1 (ja) 2019-04-18
CN116126170A (zh) 2023-05-16
WO2018003861A1 (ja) 2018-01-04

Similar Documents

Publication Publication Date Title
JP6724987B2 (ja) 制御装置および検出方法
JP6822473B2 (ja) 表示装置
US10860139B2 (en) Detection device, electronic apparatus, detection method and program
JP6822472B2 (ja) 表示装置、プログラム、表示方法および制御装置
US10748509B2 (en) Control device, electronic apparatus, control method and program
JP6733731B2 (ja) 制御装置、プログラムおよび制御方法
US20220011900A1 (en) Detection device and program
JP6658809B2 (ja) 検出装置、電子機器、検出方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6724987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250