JP6365660B2 - 検出装置、電子機器、検出方法およびプログラム - Google Patents

検出装置、電子機器、検出方法およびプログラム Download PDF

Info

Publication number
JP6365660B2
JP6365660B2 JP2016509807A JP2016509807A JP6365660B2 JP 6365660 B2 JP6365660 B2 JP 6365660B2 JP 2016509807 A JP2016509807 A JP 2016509807A JP 2016509807 A JP2016509807 A JP 2016509807A JP 6365660 B2 JP6365660 B2 JP 6365660B2
Authority
JP
Japan
Prior art keywords
detection
user
detection reference
display
aerial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016509807A
Other languages
English (en)
Other versions
JPWO2016103520A1 (ja
Inventor
英範 栗林
英範 栗林
達良 田邉
達良 田邉
茉理絵 下山
茉理絵 下山
英史 土岐
英史 土岐
大作 小宮
大作 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2016103520A1 publication Critical patent/JPWO2016103520A1/ja
Application granted granted Critical
Publication of JP6365660B2 publication Critical patent/JP6365660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/54—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being generated by moving a 2D surface, e.g. by vibrating or rotating the 2D surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0444—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single conductive element covering the whole sensing surface, e.g. by sensing the electrical current flowing at the corners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data
    • G07F7/1025—Identification of user by a PIN code
    • G07F7/1033—Details of the PIN pad
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Description

本発明は、検出装置、電子機器、検出方法およびプログラムに関する。
指とタッチパネルとの間の距離を算出する静電容量式のタッチセンサにより、空中に表示された３次元オブジェクトに対する操作を検出する電子機器が開示されている（特許文献１）。
日本国特開２０１２−２０３７３７号公報
しかし、特許文献１には、３次元オブジェクト（対象）に対して行う操作を検出することは記載されているものの、オブジェクトに対する操作の際の操作性についてはまだ不十分である。
本発明の第１の態様によると、空中の表示に対する使用者の操作を検出する検出装置であって、前記操作を検出する検出基準と前記表示との位置関係を変更する制御部を備え、前記制御部は、前記位置関係を使用者によって変更可能であり、前記使用者による前記表示を押下する操作の到達位置を含む所定範囲が前記検出基準となるように前記位置関係を変更し、前記到達位置から前記押下する操作により押し込まれた方向とは反対方向に所定距離離れた位置と前記到達位置とで挟まれた３次元の領域を前記検出基準とする。
本発明の第２の態様によると、空中の表示に対する使用者の操作を検出する検出装置であって、前記操作を検出する検出基準と前記表示との位置関係を変更する制御部を備え、前記制御部は、前記位置関係を使用者によって変更可能であり、前記使用者が指定した指定位置に基づいて、前記位置関係を変更し、前記使用者の操作は、前記使用者の指による操作であり、前記制御部は、前記使用者の発する音声が検出された場合、検出された前記指の位置を前記指定位置とする。
本発明の第３の態様によると、検出装置であって、空中像の表示に対する検出対象物の操作を検出し、前記検出対象物に関する情報または前記操作の少なくとも一方に基づいて、前記操作を検出する検出基準と前記表示との位置関係を変更する検出部を備え、前記検出基準は、前記検出対象物の少なくとも一部が前記操作により到達する到達位置を含む３次元領域である。
本発明の第４の態様によると、検出装置であって、空中の表示に対する検出対象部の操作と、前記検出対象物による所定の音と、を検出する検出部を備え、前記検出部は、前記所定の音が検出されたときに前記検出対象物が到達している位置を含むように、前記操作を検出する検出基準と前記表示との位置関係を変更する。
本発明の第５の態様によると、検出対象物の少なくとも一部が空中の表示に対して行う操作を検出する検出方法であって、前記操作を検出する検出基準を、前記検出対象物の少なくとも一部が前記操作により到達する到達位置を含む３次元領域に設定し、前記検出対象物に関する情報または前記操作の少なくとも一方に基づいて、前記検出基準と前記表示との位置関係を変更する。
本発明の第６の態様によると、検出対象物の少なくとも一部が空中の表示に対して行う操作を検出する検出方法であって、前記検出対象物による所定の音を検出し、前記所定の音が検出されたときに前記検出対象物が到達している到達位置を検出し、前記到達位置を含むように、前記操作を検出する検出基準と前記表示との位置関係を変更する。
本発明の第７の態様によると、検出対象物の少なくとも一部が空中の表示に対して行う操作を検出するコンピュータに実行させるプログラムであって、前記操作を検出する検出基準を、前記検出対象物の少なくとも一部が前記操作により到達する到達位置を含む３次元領域に設定する処理と、前記検出対象物に関する情報または前記操作の少なくとも一方に基づいて、前記検出基準と前記表示との位置関係を変更する処理と、をコンピュータに実行させる。
本発明の第８の態様によると、検出対象物の少なくとも一部が空中の表示に対して行う操作を検出するコンピュータに実行させるプログラムであって、前記検出対象物による所定の音を検出する処理と、前記所定の音が検出されたときに前記検出対象物が到達している到達位置を検出する処理と、前記到達位置を含むように、前記操作を検出する検出基準と前記表示との位置関係を変更する処理と、をコンピュータに実行させる。
第１の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は分解斜視図、（ｂ）は断面図である。 第１の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第１の実施の形態において表示される空中像を模式的に示す図であり、（ａ）は平面図、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準との関係を示す断面図である。 第１の実施の形態において表示されるキャリブレーション処理用の空中像を模式的に示す図である。 第１の実施の形態におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）、（ｄ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。 第１の実施の形態における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態における第２のキャリブレーション処理モードにおける空中像と検出基準と指の到達位置との位置関係を示す図である。 第１の実施の形態における第２のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例１に係る表示装置の主要部構成を説明するブロック図である。 第１の実施の形態の変形例１におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準と指位置との関係を示す断面図である。 第１の実施の形態の変形例１におけるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例３において表示されるキャリブレーション処理用の空中像を模式的に示す図である。 第１の実施の形態の変形例３におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。 第１の実施の形態の変形例３におけるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例４において表示されるキャリブレーション処理用の空中像を模式的に示す図である。 第１の実施の形態の変形例４におけるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例６に係る表示装置の要部構成を説明するブロック図である。 第１の実施の形態の変形例６において表示されるキャリブレーション処理用の空中像を模式的に示す図である。 第１の実施の形態の変形例６におけるキャリブレーション処理を説明するフローチャートである。 第１の実施の形態の変形例７において表示される空中像を模式的に示す図であり、（ａ）は平面図、（ｂ）は操作検出器と空中像と検出基準との関係を示す断面図である。 第１の実施の形態の変形例７におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。 第１の実施の形態の変形例８に係る表示装置の斜視図である。 第１の実施の形態の変形例８に係る表示装置の主要部構成を説明するブロック図である。 第１の実施の形態の変形例８に係る表示装置の内部構成を示す断面図である。 第２の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第２の実施の形態におけるキャリブレーション処理を説明するフローチャートである。 第３の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第３の実施の形態におけるキャリブレーション処理を説明するフローチャートである。 第４の実施の形態に係る表示装置を示す図であり、（ａ）は表示装置の概略構成を説明する断面図、（ｂ）は表示装置が組み込まれた電子機器の斜視図である。 第４の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第４の実施の形態に係る表示装置が装備する操作検出器の平面図である。 第４の実施の形態における操作検出器の構成と機能を説明する図である。 第４の実施の形態の変形例１に係る表示装置の概略構成を示す図である。 第４の実施の形態の変形例１に係る表示装置の別の概略構成を示す図である。 第５の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は分解斜視図、（ｂ）は断面図である。 第５の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第５の実施の形態におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、空中像と検出基準と指の位置との関係を示す断面図である。 第５の実施の形態におけるキャリブレーション処理を説明するフローチャートである。 第５の実施の形態における変形例３の表示装置のキャリブレーション処理を説明するフローチャートである。 第５の実施の形態の変形例４における表示装置の主要部構成を説明するブロック図である。 第５の実施の形態の変形例４における表示装置のキャリブレーション用空中像を示す図である。 第６の実施の形態において表示される空中像を模式的に示す図であり、操作検出器と空中像と検出基準との関係を示す断面図である。 第６の実施の形態における表示装置のキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、空中像と検出基準と指の位置との関係を示す断面図である。 第６の実施の形態における表示装置のキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、空中像と検出基準と指の位置との関係を示す断面図である。 第６の実施の形態の変形例１におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）は、空中像と検出基準と指の位置との関係を示す断面図である。 第７の実施の形態における表示装置の主要部機構を説明するブロック図である。 第８の実施の形態において表示される空中像を模式的に示す図であり、（ａ）は平面図、（ｂ）は操作検出器と空中像と検出基準との関係を示す断面図で、（ｃ）は検出基準の斜視図ある。 第８の実施の形態における所定の非接触操作の例を模式的に示す図である。 第８の実施の形態において所定の非接触操作が検出基準内で検出される場合を模式的に示す図である。 第８の実施の形態において所定の非接触操作が検出基準内で検出されない場合を模式的に示す図であり、（ａ）は所定の非接触操作の全体が検出基準の上方の検出基準外で検出される場合、（ｂ）は所定の非接触操作の全体が検出基準の下方の検出基準外で検出される場合を示す図である。 第８の実施の形態において検出基準の位置の変更を示す図であり、（ａ）は検出基準の位置の変更前、（ｂ）は上方への検出基準の位置の変更後を示す図である。 第８の実施の形態において検出基準の位置の変更を示す図であり、（ａ）は検出基準の位置の変更前、（ｂ）は下方への検出基準の位置の変更後を示す図である。 第８の実施の形態において検出基準の位置の変更を示す図であり、（ａ）は検出基準の位置の変更前、（ｂ）は右方向への検出基準の位置の変更後を示す図である。 第８の実施の形態において非接触操作が検出基準内で検出されない場合を模式的に示す図であり、（ａ）は所定の非接触操作の一部が検出基準の上方の検出基準外で検出され残部が検出基準内で検出される場合、（ｂ）は所定の非接触操作の一部が検出基準の下方または側部の検出基準外で検出され残部が検出基準内で検出される場合を示す図である。 第８の実施の形態におけるキャリブレーション処理を説明するフローチャートである。 第８の実施の形態の変形例２において所定の非接触操作の一部が検出基準で検出される場合に検出基準を変更する場合と変更しない場合とを示す図であり、（ａ）は検出基準を変更する場合を示し、（ｂ）は検出基準を変更しない場合を示す図である。 第８の実施の形態の変形例３の表示装置１における表示装置の主要部構成を説明するブロック図である。 第８の実施の形態の変形例３におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、操作検出器と検出基準と指の位置との関係を示す断面図である。 第８の実施の形態の変形例３におけるキャリブレーション処理を説明するフローチャートである。 第８の実施の形態の変形例６におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は操作検出器と検出基準と指の位置との関係を示す断面図である。 第８の実施の形態の変形例６におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は操作検出器と検出基準と指の位置との関係を示す断面図である。
−第１の実施の形態−
図面を参照しながら、第１の実施の形態による表示装置について説明する。第１の実施の形態においては、本実施の形態の表示装置が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。
図１（ａ）は表示装置１の分解斜視図であり、図１（ｂ）は表示装置１の一部を拡大して示す側面図である。なお、説明の都合上、表示装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、表示装置１の矩形表示面の短辺方向に設定され、Ｙ軸は、表示装置１の矩形表示面の長辺方向に設定され、Ｚ軸は、表示面に垂直な方向に設定されている。
表示装置１は、制御部２０を内蔵する本体１０と、表示器１１と、結像光学系１２と、操作検出器１３とを備える。表示器１１と結像光学系１２と操作検出器１３は、本体１０内に配置されている。表示器１１は、たとえば、液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器１１は、制御部２０により制御されて、表示用画像データに対応する画像を表示する。結像光学系１２は、表示器１１の上方（Ｚ方向＋側）に、表示器１１から所定の間隔を設けて配置される。たとえば、結像光学系１２は図１（b）に明示するように、微小な凸レンズ１２１が二次元状に配列されたマイクロレンズアレイをＺ方向に２個重ねて構成される。
結像光学系１２は、表示器１１に表示された表示画像の空中像３０を、表示装置１の上方空間に形成する。即ち、表示装置１の使用者（以下、ユーザという）は、表示器１１に表示された表示画像を、表示装置１の上方の空中に浮いた空中像３０として観察することができる。空中像３０は、表示装置１の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン３０Ａ（操作ボタン）を含む。本実施の形態にあっては、アイコン３０Ａは、例えば３行×５列に配列されている。なお、結像光学系としてのマイクロレンズアレイに代えて、ピンホールアレイやスリットアレイを用いることも可能である。
操作検出器１３は、結像光学系１２の上方（Ｚ方向＋側）に設けられ、たとえば、公知の透明静電容量式パネル（以下、静電容量パネルと記載）によって構成される。静電容量パネルからなる操作検出器１３は、実質的に透明な部材からなる電極によって電界を形成する。操作検出器１３は、ユーザが空中像３０の表示位置を操作するために指またはスタイラスを空中像３０の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザの指のＸ軸、Ｙ軸上での位置を検出する。また、操作検出器１３は、後に詳述するように自身の上方向の所定範囲に静電容量の検出範囲を有し、この所定の検出範囲内の指またはスタイラスと操作検出器１３との間の間隔（Ｚ軸上での位置）を、例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて検出する。勿論、空中像３０は、操作検出器１３の所定の検出範囲内に位置するように、好ましくは所定の検出範囲の上下方向の中頃に位置するように、結像光学系１２によって結像される。このように、操作検出器１３は、ユーザが空中像３０の表示位置を指またはスタイラスで操作することを検出するので、ユーザは、操作検出器１３に直接に触れることなく、空中像３０に対する操作を実行することができる。なお、以下の説明では、指でもって空中像３０の表示位置を操作する例を説明するが、スタイラスなどにより操作する場合も同様である。
図２は、表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１の表示器１１及び操作検出器１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。なお、操作検出器１３の表面から指先までの距離と、操作検出器１３がその指先を検出したときの静電容量との間の対応関係は、予め記憶部２０５に記憶させておく。従って、操作検出器１３は、指先が操作検出器１３の所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部２０５に記憶された上記の対応関係とから、Ｚ方向における指先の位置を検出することができる。
画像生成部２０１は、記憶媒体に記憶されている画像データに基づいて、表示器１１に表示するための表示画像に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する画像を表示器１１に表示させる。また、表示制御部２０２は、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行うと、その操作されたアイコン３０Ａの種類に応じて表示器１１の表示画像の切り替え制御を行う。なお、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１の表示画像の切り替え制御を行うことに限られない。例えば、表示器１１は表示画像として動画像を表示し、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
キャリブレーション部２０３は、後に詳述する第１、第２のキャリブレーション処理モードのキャリブレーション処理を実行する。検出基準制御部２０４は、検出面、即ち検出基準を、表示装置１の上方空間に、具体的には、操作検出器１３の所定の検出範囲内であって空中像３０の位置（または所定範囲）に設定する。検出基準制御部２０４は、更に、ユーザの指が検出基準に達したことを操作検出器１３によって検出された静電容量の値に基づき判定する。即ち、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置（Ｘ軸、Ｙ軸、Ｚ軸の各軸での位置）が設定された検出基準の位置と一致した時に、ユーザがアイコン３０Ａの表示位置を操作したと判定する。また、検出基準制御部２０４は、検出基準を予め定められた所定の初期位置に設定し、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正する。この検出基準の初期位置は、予め記憶部２０５に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザに対して共通の位置であってもよいし、ユーザによる表示装置１の使用履歴などに基づき、ユーザ毎に異なる位置を設定してもよい。また、検出基準の初期位置および変更された検出基準の位置は、操作検出器１３の平面上（Ｘ軸、Ｙ軸上）全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置１の使用時に設定された検出基準を記憶部２０５に記憶しておき、それを読み出して使用してもよい。なお、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置が検出基準の位置に一致した場合に限らず、指位置が検出基準の位置に略一致した場合にユーザがアイコン３０Ａの表示位置を操作したと判定してもよい。この略一致したと判定する範囲は、予め設定してもよい。
図３（ａ）は、表示装置１によって表示される空中像３０の一例を示し、図３（ｂ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図３（ａ）において、空中像３０は、上述のように３行×５列に配列された１５個のアイコン３０Ａを含む。図３（ｂ）において、検出基準４０は、検出基準制御部２０４によって、空中像３０の位置近傍に、具体的には図示例では空中像３０よりも僅かに上方の位置に設定される。図３（ｂ）では、空中像３０内のアイコンは、太い点線３０Ａで示されている。なお、アイコン３０Ａは、空中像３０の一部であるので空中像３０の位置と同一高さ位置に位置しているが、図３（ｂ）においては、アイコン３０Ａを表す太い点線を、空中像３０を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
図３（ｂ）において、空中像３０は、表示装置１の操作検出器１３の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、操作検出器１３の上方に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定されている。操作検出器１３は、上述のように、その表面から上方に静電容量の検出範囲１３Ａを有する。図３（ｂ）では、操作検出器１３の上方の静電容量の検出限界が点線１３ａで示され、この静電容量の検出限界１３ａと操作検出器１３との間隔が静電容量検出範囲１３Ａとして示されている。空中像３０と検出基準４０は、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）では空中像３０の上方に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０の下方でも、または空中像３０の位置に一致させてもよい。ここで、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲を検出基準外４１とする。
なお、図３（ｂ）においては、空中像３０と検出基準４０は、ＸＹ平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。また、図３（ｃ）に示したように、検出基準４０は、平面ではなくアイコン３０Ａ毎に段差を持つようにしてよい。換言すると、或るアイコン３０Ａとそのアイコンに対する検出基準４０との間隔が、別のアイコン３０Ａとその別のアイコンに対する検出基準４０との間隔と異なっていてもよい。このように、検出基準４０に段差を設けることは、空中像３０が立体像であって、複数のアイコン３０Ａの位置がＺ方向、即ち上下方向に互いにずれている場合に特に有効である。例えば、立体の空中像３０の複数のアイコン３０Ａの上下方向のずれに応じて、各アイコン３０Ａに対応する検出基準４０の位置をずらすことによって、アイコン３０Ａと対応する検出基準４０との間の距離を、一定にすることもできる。
操作検出器１３は、ユーザの指先が操作検出器１３から距離Ｈ２に達した時に、距離Ｈ２に対応した検出出力を出力する。検出基準制御部２０４は、操作検出器１３による検出出力に基づいて、ユーザの指先が検出基準４０に一致したと判定し、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザが空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。
ところで、アイコン３０Ａは、操作検出器１３から距離Ｈ１の位置に位置しているが、空中像３０として表示されるので、或るユーザと別のユーザとでは、空中像３０のアイコン３０Ａの表示位置、即ち高さＨ１を、視覚的に異なって感じることがある。また、同一のユーザでも、この表示装置１を操作する環境によっては、アイコン３０Ａの表示位置を異なって感じることがある。例えば、検出基準４０を空中像３０の位置に一致するように設定した場合に、或るユーザが、アイコン３０Ａの表示位置への操作のために、指を空中像３０のアイコン３０Ａの方に移動した時に、そのユーザは未だ指がアイコン３０Ａの手前にあると感じているのに、実際には指がアイコン３０Ａ、即ち検出基準４０に達していた場合には、ユーザの意思とは別に、アイコン操作が実行されてしまう。逆に、別のユーザは、アイコン操作のために、指を空中像３０のアイコン３０Ａの方に移動した時に、そのユーザは指がアイコン３０Ａに到達してアイコン３０Ａの表示位置を操作していると思っているのに、実際には指がアイコン３０Ａ、即ち検出基準４０の手前に位置していた場合には、ユーザの意思とは別に、アイコン操作が実行されない。いずれの場合にも、ユーザは、アイコン操作に違和感を覚えることになる。
そこで、本実施の形態の表示装置１は、上述した空中像３０に対する操作を行う空中像操作モードに加えて、上記のアイコン操作の違和感を軽減するためのキャリブレーション処理モードを備えるものである。キャリブレーション処理モードは、空中像３０と検出基準４０との相対的な位置関係をユーザの操作感覚・操作特性や表示装置の使用環境などに適した関係に設定するものである。本実施の形態の表示装置１は、上述したように第１、及び第２のキャリブレーション処理モードを有する。第１のキャリブレーション処理モードは、空中像操作モードとは別に、即ち、空中像操作モードが実行されていない時にキャリブレーション処理が実行されるものであり、第２のキャリブレーション処理モードは、表示装置１の起動後に空中像操作モードが実行された際にその空中像操作モードの実行中にキャリブレーション処理が実行されるものである。これらの第１〜第２のキャリブレーション処理モードは、図２に示したキャリブレーション部２０３によって実行される。なお、第１〜第２のキャリブレーション処理モードのいずれを実行するかは、図示を省略した表示装置１に設けたキャリブレーション処理モード選択用の操作ボタンを操作して、選択し、このキャリブレーション処理モード選択用の操作ボタンが第１〜第２のキャリブレーション処理モードのいずれも選択していない場合には、制御部２０は、空中像操作モードを選択して実行してもよい。また、キャリブレーション処理モード選択用の操作ボタンを備えておらず、常時第２のキャリブレーション処置モードを行ってもよい。以下に、第１〜第２のキャリブレーション処理モードを順次説明する。なお、第１〜第２のキャリブレーション処理モードの選択は、操作ボタンの他に、空中像のアイコンから選択してもよい。
最初に第１のキャリブレーション処理モードを説明する。表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション処理に用いる表示画像を表示する。図４及び図５は、このキャリブレーション処理用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ａを含み、このキャリブレーション用アイコン３００Ａは、メッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」が重畳表示されている。また、検出基準制御部２０４は、図５（ａ）に示したように、検出基準４０を空中像３００の近傍位置、例えば、空中像３００よりも僅かに上方の位置に初期設定する。勿論、検出基準４０の初期位置は、空中像３００に一致させてもよいし、空中像３００よりも僅かに下方の位置に設定してもよい。なお、上述のメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」は、キャリブレーション処理の際に必ずしも表示させなくてもよい。例えば、キャリブレーション処理モードを選択したユーザが、キャリブレーション処理モードにおいて何を操作するべきかを予め認識している場合などには、上述のメッセージの表示は不要である。
図５（ａ）において、ユーザが、空中像３００のアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置を操作するために、指先Ｆをアイコン３００Ａの方に下降移動して、指先Ｆが図２の操作検出器１３の静電容量の検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザの指先Ｆの接近移動、即ち下方移動を静電容量の変化として検出する。
図５（ｂ）において、指先Ｆが下降移動して検出基準４０よりも僅かに上方の点線位置５０に達した時に、ユーザは、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａを押下げる操作を実行したと感じて、指先Ｆを所定距離だけ上方に移動させる。操作検出器１３は、指先Ｆの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。検出基準制御部２０４は、操作検出器１３が指先Ｆの上記の押下げとそれに引き続く所定距離の上方移動とを検出すると、アイコン３００Ａの表示位置に操作が行われたと判定する。なお、ユーザの指先Ｆがアイコン３００Ａの表示位置への操作のために押下げを行った後に所定距離上方に移動した場合に、最も下方移動した位置を到達位置とする。即ち、点線位置５０を到達位置と称する。
検出基準制御部２０４は、指先Ｆが到達位置５０においてアイコン３００Ａの表示位置への操作を行ったと判定すると、図５（ｃ）に示すように到達位置５０の位置に検出基準４０を移動、即ち変更すると共に、この変更された検出基準４０の位置データを図２の記憶部２０５に記憶する。なお、検出基準制御部２０４は、図５（ｄ）に示すように到達位置５０から、所定距離ｄ１だけ上方の位置に、検出基準４０を移動、即ち変更すると共に、この変更された検出基準４０の位置データを図２の記憶部２０５に記憶してもよい。この所定距離ｄ１は、例えば、１ｍｍ〜１０ｍｍ程度に設定される。また、装置を利用するユーザごとに所定距離ｄ１を変更してもよく、ユーザの指の先端から第１関節までの長さに基づいて設定されてもよい。例えば、所定距離ｄ１をユーザの指の先端から第１関節までの長さの１／４〜１／２程度に含まれる所定の値に設定されてもよい。
以上では、指の到達位置５０が検出基準４０よりも上方に位置する場合を説明したが、到達位置５０が検出基準４０よりも下方に位置する場合も、上述と同様に到達位置５０を判定し、その到達位置５０に基づき検出基準４０を変更する。また、到達位置５０が検出基準４０に一致する場合にも上述と同様に到達位置５０を判定するが、到達位置５０が検出基準４０に一致しているので、検出基準４０を変更しない。
なお、到達位置５０が検出基準４０よりも下方に位置する場合には、指は、到達位置５０に到達する前に、検出基準４０を通過するので、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０に達したことを判定するが、第１のキャリブレーション処理モードでは、表示器１３の表示の切り替えを行わない。到達位置５０が検出基準４０に一致する場合も同様に、表示器１３の表示の切り替えを行わない。勿論、指が検出基準４０に達した時に、例えば、アイコン３００Ａを点滅させるなどのハイライト表示をして、指が検出基準に到達したことをユーザに告知してもよい。
なお、以上の説明では、アイコン３００Ａの表示位置への操作の例としてユーザによるアイコン３００Ａを押し下げる操作を例に挙げたがこれに限られない。ユーザによるアイコン３００Ａに対する所定の非接触操作が操作検出器１３によって検出された場合、所定の非接触操作が行われた場所に基づいて、検出基準４０を変更してもよい。所定の非接触操作とは、例えば、アイコン３００Ａをタッチするようなジェスチャー操作である。アイコン３００Ａをタッチするような操作を行った位置に基づいて検出基準４０を変更してもよい。タッチするような操作とは、例えば、アイコン３００Ａをユーザの手で振り払うようなジェスチャーなどが挙げられる。また、タッチするような操作を行った位置として、ユーザの手で振り払うようなジェスチャーが終了し、ユーザの手が停止したと判定された位置やユーザの手で振り払うようなジェスチャーが開始された位置に基づいて決定してもよい。
以上のように、第１のキャリブレーション処理モードでは、指が空中像３００のアイコン３００Ａの表示位置を操作したとユーザが感じたことを、指の押下げ移動から所定距離の上方移動への変化を検出することによって判定して、指の到達位置５０よりも所定距離ｄ１だけ上方の位置に、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。すなわち、装置を使用するユーザの情報の一つであるユーザの操作に基づいて、検出基準４０と空中像３００の表示位置との位置関係を変更する。なお、ユーザ用に検出基準４０を変更する場合、装置を利用するユーザを必ずしも検出する必要はなく、上述した操作を操作検出器１３によって検出されたことに基づいて、検出基準４０と空中像３００の表示位置との位置関係を変更すればよい。
なお、検出基準制御部２０４が検出基準４０の位置を変更する場合、検出基準４０全体の位置を移動させてもよいし、検出基準４０のうち、ユーザの指によって操作されるアイコン３００Ａに対応する検出基準４０の一部だけを移動させてもよい。
なお、図５（ｃ）に示した例において、検出基準４０を、到達位置５０よりも所定距離ｄ１だけ上方の位置に変更した理由は、以下のとおりである。即ち、ユーザは、一般にタッチパネルに対して操作を行う際には指をタッチパネルに接触させて指を多少押し下げるので、空中像３００のアイコン３００Ａの表示位置に対して操作を行う際にも指先を空中像３００のアイコン３００Ａの表示位置を操作してもそこで直ちに所定距離上方移動せずに多少押下げた後に所定距離上方移動しがちである。このため、指の到達位置５０は、指がアイコン３００Ａの表示位置を操作したと感じた位置よりも多少下方の位置となりがちであるので、検出基準４０が到達位置５０よりも所定距離ｄ１だけ上方の位置に変更される。勿論、この押下げ量は、ユーザによって、比較的小さい場合、または殆ど存在しない場合もあるので、検出基準４０の位置を到達位置５０に略一致するように変更してもよい。
キャリブレーション処理モードは、上述のように、キャリブレーション用の空中像３００と検出基準４０との相対的な位置関係をユーザの操作特性に適した関係に設定するものであるので、ユーザの操作特性や表示装置に応じて、検出基準４０を到達位置５０の上方ではなく、上述のように到達位置５０に略一致させてもよく、また、到達位置５０よりも下方の位置に変更してもよい。例えば、或るユーザの到達位置５０が、空中像３００の上方に位置し、到達位置５０と静電容量の検出範囲１３Ａの上限１３ａとの間隔が、到達位置５０と空中像３００との間隔よりも小さい場合には、検出基準４０を到達位置５０よりも上方の位置に変更すると、検出基準４０が静電容量の検出範囲１３Ａの上限１３ａに近づき過ぎるので、検出基準４０を到達位置５０に一致させるか、到達位置５０よりも下方の位置に変更することもできる。
なお、到達位置５０を判定する方法は、上述の押下げ移動から所定距離の上方移動への変化に基づき判定する方法に限られず、以下に述べるようにその他の種々の方法によっても、判定することができる。例えば、ユーザは、指がアイコン３００Ａの表示位置に到達してアイコン３００Ａへの押下げ操作を実行したと感じて、指の下方移動、即ち押下げ
を停止する。検出基準制御部２０４は、操作検出器１３が検出する静電容量の値が殆ど変化しなくなったことをもって、指の押下げの停止を判定し、この押下げの停止位置を到達位置５０と判定、即ち決定する。なお、下方移動の停止は、操作検出器１３が検出する静電容量の値が短時間、例えば０．１秒〜１秒程度の間、変化しないことをもって、判定される。更に別の方法としては、ユーザの指の移動の速度ベクトル、即ち、指の移動速度と移動方向とを、静電容量の変化から検出し、指の速度ベクトルの向きが下方向から逆方向に変化したこと及び逆方向の速度ベクトルが所定の大きさになったことに基づき、逆方向の所定の大きさの速度ベクトルを検出した時の指の位置を到達位置と判定してもよい。この方法の場合には、上記の速度ベクトルの所定の大きさを略ゼロに設定すると、速度ベクトルの向きが下向きから逆向きに変化する時点の指の位置、即ち最も下方の位置が到達位置として判定され、所定の大きさをゼロ以外の値に設定すると、指が上述の最も下方の位置から所定距離だけ上方の位置が、到達位置として判定される。以上のように、到達位置は、検出基準制御部４０５によって指がアイコンの表示位置を操作したと判定された時の指の最下方位置またはその近傍の位置に決定される。
また、上述の例では、指やスタイラスは、空中像３００のアイコン３００Ａに接触する部分、即ち指先部分の位置やスタイラスの最下部の位置を基準として、到達位置を決定したが、その代わりに、ユーザの指の爪先の位置や、指の第１関節の位置を基準にして到達位置を決定してもよい。更には、ユーザの指に限らず、ユーザの足や肘などでアイコンを操作する場合には、足や肘などを基準にして到達位置を決定してもよい。スタイラスを使用する場合には、スタイラスの所定の位置にマークを付け、そのマークの位置を基準に到達位置を決定してもよい。なお、指の第１関節やスタイラスのマークなどを使用して到達位置を決定する場合には、操作検出器１３として、静電容量式パネルを用いる代わりに、後述の変形例８において説明する撮像装置などを使用することが望ましい。
上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係について、図６に示すフローチャートを参照して説明する。図６のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。ステップＳ１において、ユーザによりキャリブレーション処理モード選択用の操作ボタンによって第１のキャリブレーション処理モードが選択されていることを認識すると、ステップＳ２に進む。ステップＳ２において、図２に示したキャリブレーション部２０３が第１のキャリブレーション処理モードを開始して、ステップＳ３に進む。ステップＳ３では、画像生成部２０１がキャリブレーション用の表示用画像データを生成し、表示制御部２０２は、表示用画像データに基づくキャリブレーション用の画像を表示器１１に表示させると共に、検出基準制御部２０４は、検出基準を初期位置に設定する。表示器１１の表示画像は、結像光学系１２によって生成される図４に示すキャリブレーション用の空中像３００であり、空中像３００は、アイコン３００Ａとメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」とを含む。ステップＳ４において、操作検出器１３は、ユーザの指先Ｆの下方への移動を検出し、ステップＳ５に進む。
ステップＳ５において、図２に示された検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置に達したか否かを判定する。ステップＳ５において肯定判定された場合、即ち、指が到達位置に達したと判定された場合、ステップＳ６に進む。ステップＳ５において否定判定された場合、即ち、指は停止していないと判定された場合、肯定判定されるまで待機する。ステップＳ６において、検出基準制御部２０４は、到達位置５０に基づき、検出基準４０の位置を変更し、その変更した検出基準４０の位置データを図２に示した記憶部２０５に記憶して、ステップＳ７に進む。ステップＳ７において、第１のキャリブレーション処理モードを終了して、ステップＳ８に進む。ステップＳ８では、空中像操作モードを開始し、ステップＳ９に進む。ステップＳ９において、図３に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示されると共に、ステップＳ６において第１のキャリブレーション処理モードにより変更された検出基準４０の位置データを記憶部２０５から読み出し、その位置データに基づき検出基準４０を図３（ｂ）に示されたように、空中像３０の近傍位置に設定する。このようにして、この空中像操作モードでは、第１のキャリブレーション処理モードにおいて設定されたユーザの操作特性に適した検出基準４０が使用される。
ユーザがアイコン３０Ａの表示位置を操作するために、指を空中像３０に向けて下方に移動させると、ステップＳ１０において、図２に示した操作検出器１３がユーザの指の下方への移動を検出し、ステップＳ１１に進む。ステップＳ１１において、検出基準制御部２０４が、操作検出器１３の検出出力に基づき指が検出基準４０に達したかどうか判定する。ステップＳ１１において肯定判定された場合、即ち、指が検出基準４０に達したと判定された場合、ステップＳ１２に進む。ステップＳ１１において否定判定された場合、即ち、指が検出基準４０に達していないと判定された場合、肯定判定されるまで待機する。ステップＳ１２において、表示制御部２０２は表示器１３の表示画像を、操作されたアイコン３０Ａに応じた表示画像に切り替え、ステップＳ１３に進む。ステップＳ１３において、表示装置１の停止操作が行われたかどうか判定する。ステップＳ１３において、肯定判定された場合、即ち、表示装置１の停止操作が行われた場合、表示装置１は停止する。ステップＳ１３において否定判定された場合、ステップＳ１０に戻る。
以上説明したように、第１のキャリブレーションモードでは、ユーザによる操作に基づき検出基準が変更され、空中像と検出基準との位置関係が変更される。この第１のキャリブレーションモードで変更された検出基準の位置に空中像操作モードの検出基準が設定されるので、ユーザの操作特性や表示装置１の使用環境に適した検出基準に基づき空中像操作モードを実行することができる。
以上の説明では、第１のキャリブレーション処理モードは、表示装置１が起動された後、空中像操作モードに先立って、実行されるものであったが、第１のキャリブレーション処理モードは、空中像操作モードの後に実行することもできる。例えば、ユーザは、空中像操作モードの実行中に、例えばアイコン３００Ａの表示位置への操作に違和感を覚えたときに、表示装置１のキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。この場合には、第１のキャリブレーション処理モードは、実行中の空中像操作モードを中断して、実行され、この第１のキャリブレーション処理の終了後に、空中像操作モードが再開される。なお、上述したユーザによる操作ボタンの操作に従って表示装置１が第１のキャリブレーションモードを選択するものに代えて、アイコン３００Ａの表示位置への操作に対する違和感からユーザが不快感を抱いている様子を検出したときに、第１のキャリブレーション処理モードを実行しても良い。表示装置１は、たとえばユーザの脈拍数（生体情報）を検出し、検出した脈拍数が所定値を超える場合に、ユーザが不快感を抱いている様子を検出することができる。
次に、第２のキャリブレーション処理モードを図７及び図８を参照して説明する。なお、以下で説明する第２のキャリブレーション処理モードについては、上述の第１のキャリブレーション処理モードで説明した処理を適宜適用してよい。図７は空中像操作モード用の空中像３０と初期位置の検出基準４０と指の到達位置５０とを示した図であり、図８は、第２のキャリブレーション処理モードの動作を表したフローチャートである。図８のフローチャートに示す各処理は、表示装置の起動後、制御部２０によってプログラムを実行して行われる。
ステップＳ４１において、第２のキャリブレーション処理モードが選択されていることを認識し、ステップＳ４２に進む。ステップＳ４２において、空中像操作モードと第２のキャリブレーション処理モードとが共に開始され、ステップＳ４３に進む。ステップＳ４３において、図３に示されたアイコン３０Ａを含む空中像３０が表示されると共に、図２に示した検出基準制御部２０４が、検出基準４０を予め定められた初期位置、例えば、空中像３０の位置または空中像３０の位置よりも僅かに上方の位置に設定し、ステップＳ４４に進む。この時、空中像３０には、メッセージ「アイコンの操作中にキャリブレーションが行われます」が短時間だけ表示される。なお、このメッセージは表示されなくてもよい。
ステップＳ４４において、ユーザがアイコン３０Ａの表示位置への操作のために、指を下方に移動させると、操作検出器１３が指の移動の検出を開始し、ステップＳ４５に進む。ステップＳ４５において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が下方移動中に検出基準４０を通過したかを判定する。ステップＳ４５において肯定判断された場合、即ち、指が下降移動中に検出基準４０を通過して、更に下降移動した場合、ステップＳ４６に進む。図７の指Ｆ１は、下降移動中に検出基準４０を通過した指を示す。ステップＳ４６では、検出基準制御部２０４は指Ｆ１が検出基準４０に達したこと、即ち検出基準４０を通過したことを判定して、アイコン表示の切り替えを行い、即ち、空中像３０が操作されたアイコン３０Ａに応じて切り替わり、ステップＳ４７に進む。ステップＳ４７では、検出基準制御部２０４は、指Ｆ１が到達位置５０に達したかを判定し、肯定判定の場合にはステップＳ４８に進み、否定判定の場合には、肯定判定されるまで維持する。ステップＳ４８では、検出基準制御部２０４は、到達位置５０に基づき、検出基準４０の位置を変更する。なお、検出基準４０の位置を変更したとき、変更された検出基準４０がユーザの指先に一致する、または、ユーザの指先の位置よりも上方に位置する場合がある。この場合、ステップＳ４６でアイコン表示の切り替えを既に一度行っているため、アイコン表示の切り替えは行わない。
前述のステップＳ４５で否定判定された場合、即ち、指が下降移動中に検出基準４０を通過していない場合には、ステップＳ４９に進む。ステップＳ４９では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置５０に達しているかを判定し、肯定判定の場合にはステップＳ５０に進む。否定判定の場合には、肯定判定されるまで維持する。図７の指Ｆ２は、到達位置５０が検出基準４０に一致したことを示している。ステップＳ５０では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、到達位置５０が検出基準４０に一致するかを判定し、肯定判定の場合にステップＳ５１に進み、否定判定の場合にステップＳ５２に進む。ステップＳ５１では、到達位置５０が検出基準４０に一致しているので、アイコン表示の切り替えを行うが、検出基準４０の変更は行わない。
ステップＳ５２では、図７の指Ｆ３に示したように到達位置５０が検出基準４０の上方に位置しており、検出基準制御部２０４は、到達位置５０に基づき検出基準４０の位置を変更する、具体的には、検出基準４０の位置を到達位置５０の近傍に変更して、ステップＳ５５に進む。この時、変更された検出基準４０がユーザの指先に一致した場合、または、ユーザの指先の位置よりも上方まで移動した場合には、アイコン表示の切り替えが行われる。一方、変更された検出基準４０が、ユーザの指先の位置に達しなかった場合には、アイコン表示の切り替え表示は行われない。
ステップＳ５５では、第２のキャリブレーション処理モードの終了操作が行われたかを判定し、肯定判定の場合にステップＳ５５に進み、否定判定の場合にステップＳ４４に戻る。
以上のように、第２のキャリブレーション処理モードは、空中像操作モードを実行中に並行して行われるため、キャリブレーション処理の実行を意識することなく、ユーザに適した検出基準で空中像の表示位置に対する操作を実行することができる。なお、第１〜２のキャリブレーション処理モードは必ずしもユーザが選択しなくてもよい。表示装置１が自動的に第１〜２のキャリブレーション処理モードのうちのいずれか一つを選択するようにしてもよい。また、第１〜２のキャリブレーション処理モードの全てを備えるのではなく、そのうちの一つを備えるものであってもよい。
以上説明した第１の実施の形態による表示装置１は、次のように変形できる。
（第１の実施の形態の変形例１）
変形例１の表示装置１は、操作検出器１３の検出出力に基づき、ユーザの指先の速度あるいは加速度を算出し、算出した速度または加速度に基づき指の到達位置を予測し、その予測到達位置に基づいて検出基準を変更するものであってもよい。図９は、本変形例１の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。
変形例１の表示装置１は、第１の実施の形態の表示装置に対して相違している構成について説明する。図９において、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。到達位置予測部２０７は、速度・加速度検出部２０６から出力される指の移動速度または加速度に基づき指の到達位置を予測する。到達位置予測部２０７は、例えば、指の移動が加速している状態または略一定速度状態から、減速状態に移行したことを検出し、その減速具合から指の到達位置を予測することができる。検出基準制御部２０４は、到達位置予測部２０７によって予測された到達位置に基づき、検出基準を変更する。
次に、変形例１の表示装置１による第１のキャリブレーション処理モードを図１０及び図１１を参照して説明する。図１１のフローチャートにおいて、ステップＳ１０３からステップＳ１０７以外は、図６のフローチャートと同一であるので、説明を省略する。図１０（ａ）に示したように、指先Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ１０４において操作検出器１３が指先Ｆの移動を静電容量値の変化として検出する。ステップＳ１０５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度及び加速度を算出する。ステップＳ１０６で、到達位置予測部２０７が速度・加速度検出部２０６が算出した移動速度及び加速度に基づき指先Ｆの到達位置を算出する。図１０（ｂ）において、到達位置予測部２０７が算出した、即ち予測した指の到達位置を点線６０で示す。ステップＳ１０７において、検出基準制御部２０４は、図１０（ｃ）に示したように予測到達位置６０に基づき検出基準４０を変更すると共に、その検出基準４０の位置データを記憶部２０５に記憶する。その後のステップＳ１１０において、この記憶された検出基準４０の位置に空中像操作モードの検出基準が設定される。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出したが、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、ユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
なお、算出したユーザの指の移動速度及び加速度に基づきユーザの指の予測到達位置６０を算出し、ユーザの指の予測到達位置６０に基づいて検出基準４０を変更していたが、操作毎にユーザの指の予測到達位置６０を決定する必要はない。ユーザが操作を行う前に意図せず動いてしまった場合、その動きに基づいて予測到達位置６０を算出してしまうと、極端に上の位置に検出基準４０が設定しまうなど、適切な位置に検出基準を設定することができなくなってしまう。上述のような場合を防ぐため、ユーザの指の移動速度及び加速度を検出した場合に、所定の閾値以上のユーザの指の移動速度及び加速度を検出した場合のみ予測到達位置６０を算出し、予測到達位置６０に基づいて検出基準４０の位置を変更してもよい。
この変形例１によると、指の到達位置が指の移動速度または加速度に基づき、予測されるので、キャリブレーション処理を迅速に行うことができる。
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードにも適用できる。本変形例１を第２のキャリブレーション処理モードに適用した場合、空中像操作中のユーザの指先Ｆが検出基準４０に達する前に指先Ｆの到達位置を事前に予測し、予測した到達位置に基づいて検出基準を変更することが可能になる。そのため、ユーザの指先Ｆが検出基準４０に達せずアイコン表示の切り替えが生じなかったなどの誤操作を未然に防ぎ、ユーザに快適な操作を行わせることができる。
（第１の実施の形態の変形例２）
第１の実施の形態及び変形例１に係る表示装置１は、一回のキャリブレーション処理において、到達位置を検出、または予測し、その到達位置に基づき検出基準を変更し、その検出基準の位置データを記憶部２０５に記憶し、空中像操作モード時に空中像操作モードの検出基準を記憶部２０５に記憶された検出基準の位置に設定、または変更するものであったが、その代わりに、変形例２に係る表示装置は、複数回のキャリブレーション処理においてそれぞれ設定された複数の検出基準の位置をそれぞれ記憶部２０５に記憶し、その記憶された複数の検出基準位置に基づき、空中像操作モードにおける検出基準を変更するものである。第一回目のキャリブレーション処理において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指の到達位置５０を判定し、この到達位置５０に基づき検出基準４０を変更し、その検出基準４０の位置データを記憶部２０５に記憶する。引き続き第２回目のキャリブレーション処理を行い、同様に変更された検出基準の位置データを記憶部２０５に記憶する。更に、引き続き第三回のキャリブレーション処理を行ってもよい。このようにして連続的に行われた複数回のキャリブレーション処理によって、記憶部２０５に記憶された複数の検出基準の位置データから一つの検出基準を算出し、その算出された検出基準の位置データを記憶部２０５に記憶する。その後に実行される空中像操作モードでは検出基準を、記憶部２０５に記憶された算出検出基準の位置に設定する。
これら複数の検出基準４０を用いて一つの検出基準を決定するには、様々な手順が考えられる。例えば、複数の検出基準４０を相加平均して一つの検出基準を算出してもよいし、相乗平均して一つの検出基準を算出してもよい。また、複数の検出基準４０のそれぞれに適当な重み付けを行って新たな検出基準を決定してもよい。例えば、Ｎ回目の操作から求めた検出基準ＨＮと、Ｎ＋１回目の操作から求めた検出基準の位置ＨＮ＋１について、３：７の割合で重み付けを行って検出基準を算出してもよい。具体的には、ＨＮとＨＮ＋１を用いて（ＨＮ×３＋ＨＮ＋１×７）／１０の計算を行い、その結果に基づいて検出基準を算出する。重み付けは３：７に限られず、また、操作回数も２回に限られない。勿論、複数回のキャリブレーション処理毎に指の到達位置に基づき検出位置を設定し、それぞれ記憶部２０５に記憶するのではなく、複数回のキャリブレーション処理毎に検出した指の到達位置をそれぞれ記憶部２０５に記憶して、その記憶された複数の到達位置に基づき一つの検出基準を算出してもよい。
また、キャリブレーション処理は、到達位置と検出基準との間隔が所定値以下である場合、即ち、到達位置が検出基準の近傍である場合には、検出基準の位置の変更をおこなわなくでもよい。
更に、キャリブレーション処理において、キャリブレーション処理毎に、検出基準の変更を行うのではなく、複数回のキャリブレーション処理において、到達位置を判定した回数と、実際に到達位置が検出基準に達したことを判定した回数と、から、アイコンの表示位置への操作が失敗した回数を算出して、所定の回数以上、失敗したと判定された時に、検出基準を変更するようにしてもよい。
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードや上述した変形例１にも適用できる。
上述したキャリブレーション処理では、ユーザが空中像のアイコンの表示位置を操作する際に通常行う自然な操作動作、即ち指でアイコンを押下げてから指を上方向に移動する動作や、指がアイコンに接触するとそれを押下げて短時間停止させる動作などを検出して到達位置を判定しているので、ユーザは、キャリブレーション処理において到達位置の検出・判定が行われていることに気付かず、従ってユーザはキャリブレーション処理を意識することなく実行することができる。
（第１の実施の形態の変形例３）
第１の実施の形態においては、ユーザの指の空中像の表示位置に対する操作を検出して到達位置を判定して、到達位置に基づいて検出基準の変更を行った。しかし、ユーザは、空中像のアイコンの表示位置を操作したと感じた指の位置を指定して、その指定位置を検出基準制御部が判定し、指定位置に基づいて検出基準を変更して、検出基準と空中像との位置関係を変更してもよい。以下に、ユーザが空中像の表示位置を操作する位置を指定位置として指定する変形例を説明する。なお、以下の説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１、２にも適用できる。
以下に変形例３の表示装置を説明する。表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図１２は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｂを含み、このキャリブレーション用アイコン３００Ｂは、メッセージ「キャリブレーションを行います。このアイコンの位置を指で指し示し、その状態で指を横方向に移動させて下さい」が重畳表示されている。また、検出基準制御部２０４は、図１３（ａ）に示したように、検出基準４０を空中像３００の近傍の初期位置に設定する。
図１３（ａ）において、ユーザがアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、指先Ｆをアイコン３００Ｂの方に下降移動させ、指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂへのユーザの指Ｆの接近移動、即ち下方への移動を静電容量の変化として検出する。なお、図１３（ａ）は指を正面から見るように表示したものである。
ユーザは、指をさらに下降移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置に達したと感じた時に、図１３（ｂ）に矢印で示したように、指Ｆを横方向に移動させる。操作検出器１３は、この指Ｆの下降移動及び横方向の移動を検出する。検出基準制御部２０４は、指の下降移動を検出していた操作検出器１３が指の横方向の移動を検出したことを、判定して、下降移動から横方向移動へ変化したときの指の高さ位置を指定位置５０Ａと判定する。検出基準制御部２０４は、この指定位置５０Ａに基づき、検出基準４０の位置を変更し、この変更された検出基準４０の位置データを記憶部２０５に記憶する。なお、指定位置５０Ａは、図１３（ｂ）では、空中像３００の上方の位置として例示されているが、指定位置５０Ａは、指先Ｆが空中像３００のアイコン３００Ｂに達したとユーザが感じた時の位置であるから、空中像３００に一致した位置に指定されることもあるし、または、空中像３００よりも下方の位置に指定されることもある。
なお、検出基準制御部２０４は、以上の説明では指が下降移動から横方向の移動に変化した時の指の位置、即ち指の高さを指定位置５０Ａと判定したが、これに限らず、例えば
指が下降移動から横方向の移動に変化し、その横方向移動が終了した時の指の高さを指定位置５０Ａとして判定してもよい。また、検出基準制御部２０４は、指の横方向の移動開始から横方向の移動終了までの指の高さの平均値や中央値などを指定位置５０Ａとしてもよい。
上記説明の変形例３のキャリブレーション処理について、図１４に示すフローチャートを参照して説明する。なお、図１４のフローチャートはステップＳ１２１〜ステップＳ１２９を示し、それ以降のステップは省略した。ステップＳ１２９以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。
ステップＳ１２１〜ステップＳ１２４の各処理は、図６に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１２６において、操作検出器１３は、ユーザの指の横方向移動を検出する。ステップＳ１２７において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が下降移動から横方向移動に変化したことを判定して、その変化時の指の位置を指定位置５０Ａと判定し、指定位置５０Ａに基づき、検出基準４０の位置を変更し、その変更された検出基準４０の位置データを記憶部２０５に記憶して、ステップＳ１２８に進む。ステップＳ１２８において、第１のキャリブレーション処理モードを終了して、ステップＳ１２９に進む。ステップＳ１２９では、空中像操作モードを開始する。この空中像操作モードでは、記憶部２０５から読み出された変更された検出基準４０の位置データに基づき、検出基準が設定される。
この変形例３では、ユーザは、キャリブレーション処理において指が空中像の表示位置を操作したと感じる位置を指を下降移動から横方向移動に変化させることによって指定している。このように、ユーザは、アイコン３００Ｂの表示位置を操作したと知覚する位置を指定位置として指定してキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、指定位置を指の下降移動から横方向移動への変化によって指定することは、操作性がよく、迅速にキャリブレーション処理を行うことができる。
（第１の実施の形態の変形例４）
変形例３の表示装置１においては、ユーザは、指先でアイコンの表示位置を操作したと思った位置を指定位置として、指の下降移動から横方向への移動に変化させることによって指定した。変形例４の表示装置１は、ユーザが、指先でアイコンの表示位置を操作したと思った位置を別のアイコンを操作することによって、指定するものである。このキャリブレーション処理について次に説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜３にも適用できる。
表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図１５は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｃと３００Ｄとを含み、このキャリブレーション用アイコン３００Ｃは、メッセージ「キャリブレーションを行います。右手の指でこのアイコンの位置を指し示して下さい。右手の指で指し示した状態で、左手の指で左側のアイコンにタッチして下さい」が重畳表示されている。なお、アイコン３００Ｃとアイコン３００Ｄとは、アイコン３００Ｃが右側に、アイコン３００Ｄが左側に位置するように並置されている。
ユーザがアイコン３００Ｃに重畳表示されたメッセージに従いアイコン３００Ｃの表示位置を操作するために、右手の指先をアイコン３００Ｃの方に下降移動させて、指先が操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｃの表示位置へのユーザの指の接近移動、即ち下方への移動を静電容量の変化として検出する。ユーザは指をさらに下降移動させ、指先が空中像３００のアイコン３００Ｃの表示位置を操作していると感じた時点で、メッセージに従い、左手の指先でアイコン３００Ｄの表示位置への操作をしようとして、左手の指先をアイコン３００Ｄの方に移動させる。操作検出器１３はアイコン３００Ｄに向けた指先の移動を検出する。検出基準制御部２０４は、ユーザの指がアイコン３００Ｄの上に位置することを操作検出器１３が検出したことをもって、その時点における右手の指先の位置を指定位置５０Ａと判定する。検出基準制御部２０４は、指定位置５０Ａに基づき検出基準４０を変更すると共に、この変更された検出基準４０の位置データを記憶部２０５に記憶する。
なお、右側のアイコン３００Ｃの表示位置を操作する右手の指は、その操作したと感じた時の位置が指定位置と判定されるので、空中像に接近する下降移動が必要である。しかしながら、左側のアイコン３００Ｄの表示位置への操作をする左側の指は、指をアイコン３００Ｄの上または下に位置付ければよいので、必ずしも左手の指を下降移動させる必要はなく、左手の指は、例えば空中像３００の平面に平行な方向、即ち横方向に移動してアイコン３００Ｄの上または下の位置まで横方向移動してもよい。
また、必ずしも左手の指と右手の指とを用いる必要はなく、キャリブレーション用空中像３００のアイコン３００Ｃ上とアイコン３００Ｄ上との両方において上記の動作が検出されればよい。例えば、一方の手の２本の指を用いてもよい。また、この変形例４は、アイコン３００Ｄの表示位置への操作をする代わりに、表示装置１に設けた不図示の決定ボタンを押すように構成することもできる。
さらに、ユーザがアイコン３００Ｄの表示位置への操作をしたり、不図示の決定ボタンを押したりした時点における右手の指先の位置を指定位置と判定するものに代えて、ユーザがたとえば左手で所定のジェスチャーを行ったことを検出したときにおける右手の指先の位置を指定位置と判定しても良い。この場合、表示装置１は、後述する変形例８の撮像装置１８（図２２参照）を備え、この撮像装置１８により取得された画像を用いてユーザのジェスチャー（たとえば手をグーからパーに変える）が行われたことを検出する。
上記説明のキャリブレーション処理について、図１６に示すフローチャートを参照して説明する。なお、図１６のフローチャートはステップＳ１３１〜ステップＳ１３９を示し、それ以降のステップは省略した。ステップＳ１３９以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。
ステップＳ１３１〜ステップＳ１３３の各処理は、図６に示したフローチャートにおけるステップＳ１〜ステップＳ３の各処理と同様である。ステップＳ１３４において、操作検出器１３は、ユーザの右手の指先の下方への移動の検出を開始する。ユーザは指をさらに下降移動させて、指先が空中像３００のアイコン３００Ｃの表示位置を操作していると感じた時点で、左手の指先でアイコン３００Ｄの表示位置への操作をする。ステップＳ１３６においては、ステップＳ１３５で、左手がアイコン３００Ｄの表示位置への操作をした時点における右手の指先の位置を指定位置５０Ａとし、ステップＳ１３７に進む。ステップＳ１３７において、検出基準制御部２０４は、指定位置５０Ａに基づき、検出基準４０を変更し、その変更された検出基準４０の位置データを記憶部２０５に記憶して、ステップＳ１３８に進む。ステップＳ１３８において、第１のキャリブレーション処理モードを終了して、ステップＳ１３９に進む。ステップＳ１３９では、空中像操作モードを開始する。
上述の変形例４の表示装置１は、ユーザは、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、別のアイコン、または表示装置１の決定ボタンを操作することによって指定している。このようにユーザがアイコン３００を知覚する位置をユーザに指定させてキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、このような指定位置を、別のアイコンまたは表示装置のボタンの操作によって指定することは、迅速にキャリブレーション処理を行うことができる。
（第１の実施の形態の変形例５）
変形例５の表示装置は、ユーザが指先でアイコンの表示位置を操作したと思ったら、ユーザが指を所定時間停止させることにより指定位置を指定するものである。なお、この本変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜４にも適用できる。
この場合には、キャリブレーション用の空中像に含まれるアイコンに、メッセージ「キャリブレーションを行います。このアイコンの位置を指し示して下さい。指し示した状態をしばらくキープして下さい。」が重畳表示される。ユーザがアイコンの表示位置を操作したと感じて、しばらくの間、指の移動を停止すると、操作検出器１３は指の下降移動が所定時間停止したことを検出する。検出基準制御部２０４は、このときの操作検出器１３の検出出力に基づき、指の停止位置を指定位置として判定する。
この指定位置の判定は、次のように行われる。即ち、下方に移動している指先Ｆが停止して上下方向の比較的小さい所定の停止範囲内に所定の時間以上、滞在したことをもって、アイコン３００Ａの表示位置への操作が行われたと判定する。このように、指先Ｆが所定の時間以上、所定の停止範囲内に留まることをもって、指先Ｆのアイコン３００Ａの表示位置への操作と判定する理由は、操作が空中像３００のアイコン３００Ａの表示位置への操作であるため、タッチパネルへの操作とは異なり、指先Ｆがアイコン３００Ａの表示位置で完全には停止しない可能性があるからである。なお、指定位置判定のための所定の停止範囲は、操作検出器１３の静電容量の検出範囲１３Ａに比べて十分に小さい値、例えば５ｍｍに設定され、また、所定の時間は、例えば２秒程度に設定される。
（第１の実施の形態の変形例６）
変形例６の表示装置は、ユーザが、指先でアイコンの表示位置を操作したと思った指定位置を発声によって指定するものである。なお、この変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜５にも適用できる。
図１７は、本変形例の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。この表示装置１には、集音器１４を含み、制御部２０には音声検出部２０８が備えられる。集音器１４は、表示装置１の周囲の音を集音し、音声データとして音声検出部２０８に出力する。集音器１４としては市販のマイクロフォンを用いることができる。音声検出部２０８は、集音器１４からの音声データを識別し、その音声データが「ハイ」に相当するか否かを判別する。
図１７において、キャリブレーション部２０３が第１のキャリブレーション処理モードを起動すると、画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図１８は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｅを含み、このキャリブレーション用アイコン３００Ｅには、メッセージ「キャリブレーションを行います。このアイコンにタッチしたところで「ハイ」と声を出して下さい」が重畳表示されている。
ユーザは、アイコン３００Ｅに重畳表示されたメッセージに従いアイコン３００Ｅの表示位置への操作をするために、指先をアイコン３００Ｅの方に押し下げ、アイコン３００Ｅにタッチしたと思ったところで、メッセージに従い「ハイ」と声を出す。操作検出器１３は、指先の下降移動を検出し、集音器１４は、この声を集音し、音声データとして音声検出部２０８に出力する。音声検出部２０８が、音声データが「ハイ」に対応することを判定すると、検出基準制御部２０４が、その時点における操作検出器１３によって検出される指先の位置を指定位置５０Ａと判定し、指定位置５０Ａに基づき検出基準４０を変更すると共に、この変更された検出基準４０の位置データを記憶部２０５に記憶する。
上記説明のキャリブレーション処理について、図１９に示すフローチャートを参照して説明する。なお、図１９のフローチャートはステップＳ１４１〜ステップＳ１４９を示し、それ以降のステップは省略した。ステップＳ１４９以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。
ステップＳ１４１〜ステップＳ１４４の各処理は、図６に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１４５において、音声検出部２０８は、集音器１４からの出力に基づいて、ユーザが「ハイ」を発声したかどうか判定する。ステップＳ１４５において肯定判定された場合、即ち、ユーザがアイコン３０Ｆをタッチしたと思って「ハイ」という声を出したと判定した場合、ステップＳ１４６に進む。ステップＳ１４５において否定判定された場合は、肯定判定されるまで待機する。ステップＳ１４６において、検出基準制御部２０４が、音声検出部２０８が音声「ハイ」を判定した時点における指先の位置を指定位置５０Ａと決定、即ち判定する。ステップＳ１４７において、指定位置５０Ａに基づいて検出基準４０を変更すると共に、その変更された検出基準４０の位置データを記憶部２０５に記憶し、ステップＳ１４８に進む。ステップＳ１４８において、第１のキャリブレーション処理モードを終了して、ステップＳ１４９に進む。ステップＳ１４９において、空中像操作モードを開始する。
上述の変形例６の表示装置１は、ユーザは、アイコンの表示位置を操作したと思った指の位置、即ち指定位置を、発声によって指定するものである。このような到達位置を、発声によって指定することは、迅速にキャリブレーション処理を行うことができる。
なお、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。
（第１の実施の形態の変形例７）
上記においては、検出基準を単一の平面または段差を持った平面として説明した。しかし、検出基準は面ではなく、厚みを持った領域であってもよい。このような領域を持った検出基準のキャリブレーション処理について説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜６にも適用できる。また、上述した変形例１〜６に適用してもよい。
本変形例の表示装置１は第１の実施の形態で説明した表示装置１と同様の装置であり、その構成は図２に示すブロック図により表される。図２０（ａ）は、本変形例の表示装置１によって表示される空中像操作モード時の空中像３０の一例を示し、図２０（ｂ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図２０（ａ）に示す空中像３０は、図３（ａ）に示す空中像３０と同様である。図２０（ｂ）において、検出基準４０は、上面４０１と下面４０２に挟まれて上下方向に厚さｄ２を有する領域として設定される。
図２０（ｂ）において、空中像３０は、表示装置１の操作検出器１３の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、上面４０１と下面４０２がそれぞれ、操作検出器１３の上方に距離Ｈ３とＨ４（Ｈ１＜Ｈ３＜Ｈ４）だけ離れた位置に設定されている。即ち、ｄ２＝Ｈ４−Ｈ３となる。空中像３０と検出基準４０は、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）では空中像３０の上方に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０の下方に設定しても、または空中像３０の位置を領域ｄ２内に含むように設定してもよい。
操作検出器１３は、ユーザの指先が検出基準４０に侵入した時に、指先の位置に応じて、距離Ｈ３〜Ｈ４の間のいずれかに対応した検出出力を出力し、検出基準制御部２０４は、この操作検出器１３の検出出力が距離Ｈ３とＨ４との間に相当する検出出力である場合、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザが空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。このように、変形例７の表示装置は、空中像操作モードにおいて、指が検出基準４０の厚さｄ２内のどこに位置しても、検出基準制御部２０４は指がアイコン３０Ａの表示位置への操作を行っていると判定するので、より確実に表示位置への操作を判定することができる。例えば、指が、たまたまアイコン３０Ａの真上から下降移動されずに、斜め上方から下降移動された場合には、検出基準４０が図３に示したように平面であると、アイコン３０Ａの真上の検出基準４０を通過せず、その横の部分を通過してしまい、指のアイコン３０Ａの表示位置への操作を判定することができないことが起こり得る。しかし、検出基準４０が厚さｄ２を有していると、指が斜め上方から下降移動された場合にも、指が検出基準４０に入ったことを確実に検出することができるので、上述の事態の発生を低減することができる。更には、指が空中像３０に並行に移動して、アイコン３０Ａの表示位置を操作した場合にも変形例７の表示装置は、検出基準４０が厚さｄ２を有しているので、指が検出基準４０内に入ったことを確実に検出することができる。
このような厚さｄ２の検出基準４０を有する変形例７の表示装置１に関する第１のキャリブレーション処理モードを、以下に説明する。なお、厚さｄ２を有する検出基準４０に関する第２のキャリブレーション処理モードも同様である。また、以下の説明は、第１の実施の形態と同一部分については、省略する。
図２１（ａ）において、第１のキャリブレーション処理モードでは、図４に示されたアイコン３００Ａを含む空中像３００が表示され、検出基準４０が初期設定される。ユーザがアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置への操作をするために、指先Ｆをアイコン３００Ａの方に下方移動して、指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザの指Ｆの接近移動、即ち下方への移動を静電容量の変化として検出する。
図２１（ｂ）において、ユーザは、指がアイコン３００の表示位置を操作していると感じると、ユーザは例えば、指先Ｆを所定距離だけ上方に移動させる。操作検出器１３は、指先Ｆの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。この静電容量の変化に基づいて、検出基準制御部２０４は、上述した到達位置５０または指定位置５０Ａを判定する。
検出基準制御部２０４は、図２１（ｃ）に示すように到達位置５０または指定位置５０Ａに基づき、検出基準４０を厚さｄ２を有する３次元領域の検出基準４０に変更する。図２１（ｃ）では、厚さｄ２の検出基準４０が到達位置５０または指定位置５０Ａを含むように設定されているが、厚さｄ２の検出基準４０は、到達位置５０または指定位置５０Ａよりも上方または下方の位置に設定してもよい。また、到達位置５０または指定位置５０Ａからユーザにより押下する操作により押し込まれた方向とは反対方向に所定距離離れた位置と、到達位置５０または指定位置５０Ａとで挟まれた３次元の領域を厚さｄ２の検出基準４０としてもよい。検出基準制御部２０４は、厚さｄ２の検出基準４０の位置データを記憶部２０５に記憶する。その後に、空中像操作モードが実行されると、記憶部２０５に記憶された位置データに基づき、厚さｄ２の検出基準４０が設定される。
上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係については、図６に示すフローチャートと次の点を除いて同様の手順で行うことができる。即ち、ステップＳ６において、第１の実施の形態においては、検出基準制御部２０４は、到達位置５０に基づき、単一の面である検出基準４０を設定する手順となっている。これに対して、本変形例７においては、到達位置５０または指定位置５０Ａに基づき、厚さｄ２の検出基準４０が設定されることが異なる。
なお、空中像操作モードにおいて、アイコンが操作される度に、ユーザの指先の到達位置５０または指定位置５０Ａを含む面が検出基準４０の上面４０１と下面４０２の中間となるように検出基準４０を設定するようにキャリブレーション処理を行うことも有効である。
また、指先がキャリブレーション処理用のアイコンの上方に位置している限り、ユーザの指が斜めに、すなわちＺ方向に対して角度を有して下降移動した場合であっても、到達位置または指定位置を判定することができる。
（第１の実施の形態の変形例８）
上記説明において、ユーザの指先の下方への移動を、静電容量パネルにより構成される操作検出器１３によって検出したが、撮像装置によりユーザの指先の位置を検出してもよい。変形例８の表示装置１は、図２２に示すように、操作検出器として撮像装置（例えばデジタルカメラ）１８を備え、この撮像装置１８は表示装置１の上面に配置される。このような表示装置１のブロック図を図２３に示す。
図２３にブロック図を示した表示装置１は、制御部２０には、画像解析部２０９を備えている。撮像装置１８は、表示器１１の上方に位置する物体、即ちユーザの指を撮像し、撮像された撮像画像は、画像解析部２０９に入力される。画像解析部２０９は、撮像装置１８から入力された撮像画像を解析してユーザの指先の位置を求める。即ち、画像解析部２０９は、撮像画像内における指の像の位置から、ユーザの指先が複数のアイコンのうちのどのアイコンを操作しているのか判定する。更に、画像解析部２０９は、撮像画像内における指の像の大きさを、基準の指の大きさ、具体的には事前に撮像した所定高さ位置の指の大きさと比較することによって指の高さ位置、即ち指の降下位置を判定する。これにより、ユーザの指先の３次元空間における位置が求められる。このような構成によって、変形例８の表示装置１は、静電容量パネルを用いた操作検出器１３により求めた指先の位置に関する情報と同様の情報を、撮像装置１８による撮像画像の解析により得ることができる。従って、変形例８の表示装置は、上述した実施の形態および種々の変形例で説明した静電容量パネルの代わりに撮像装置１８を使用して、上述した実施の形態および変形例と同様の処理を行うことができる。
変形例８の表示装置１は、画像解析部２０９が、撮像画像における指の大きさから指の高さ位置を算出したが、その代わりに、撮像装置１８が、デジタルカメラに搭載されている位相差式焦点検出装置と画像認識装置によって、指の高さ位置を検出することもできる。具体的には、画像認識装置が指を認識し、位相差式焦点検出装置が画像認識装置によって認識された指についてデフォーカス量を検出し、このデフォーカス量から指の高さ位置を算出することができる。また、位相差式焦点検出装置の代わりにデジタルカメラに搭載されているコントラスト検出式焦点検出装置を使用しても同様に指の高さ位置を検出することができる。
撮像装置１８としては、位相差式焦点検出装置やコントラスト検出式焦点検出装置の代わりに、ＴＯＦ（Time of Flight）装置を搭載したカメラを好適に用いることができる。ＴＯＦカメラは、カメラ本体から赤外線を出射し、対象物に反射してＴＯＦカメラに入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、ＴＯＦカメラから対象物までに距離を算出する。従って、測定対象物をユーザの指先として、ＴＯＦカメラからユーザの指先に向けて赤外光を出射し、指先からの反射光を受光することで、ＴＯＦカメラからユーザの指先までの距離を求めることができる。なお、撮像装置１８は、その撮像レンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を搭載し、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
ＴＯＦカメラを表示装置１に装備した例を図２４に示す。図２４は、表示装置１の内部構成のみを表しており、表示装置の本体は省略している。図２４において、表示器１１と結像光学素子１２との中央部に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されている。ＴＯＦカメラ１１８’は赤外線を所定範囲にスキャンすることで、ユーザの指先に赤外線を照射し、その反射光の位相変化により、ＴＯＦカメラ１１８’からユーザの指先までの距離を測定する。この距離と赤外線の出射方向に基づいて、ＴＯＦカメラ１１８’に対するユーザの指先の３次元空間における位置を求めることができる。即ち、指先の位置が空中像面内のいずれの位置に相当するか、また、指先の位置が表示装置１の表面からどれほど離れているか、が求まる。これにより、静電容量パネルによる指先の位置の検出情報と同様の情報を、ＴＯＦカメラ１１８’による測距結果から得ることができる。なお、上記の説明として、表示器１１と結像光学系１２との中央部に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されているような構成で説明したが、これに限らず、ＴＯＦカメラ１１８’を表示器１１の外部に設置するような構成であってもよい。
変形例８の表示装置１においても、図２４に示すように、空中像３０が表示装置１の結像光学系１２の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、結像光学系１２の上方に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定される。撮像装置１８は、結像光学系１２の表面から上方にユーザの指先の位置を検出するための検出範囲１３Ａを有する。図２４では、撮像装置１８の上方に撮像可能な範囲の限界を破線１３ａで示し、この検出限界１３ａと結像光学系１２の表面との間隔が検出範囲１３Ａとして示される。変形例８においても、上記の第１の実施の形態や変形例１〜７の場合と同様に、空中像３０と検出基準４０とが検出範囲１３Ａ内に位置するように設定される。なお、検出基準２４は、図２４では空中像３０の上方に設定されているが、検出範囲１３Ａ内であれば、空中像３０の下方でも、または空中像３０の位置に一致させてもよい。また、変形例８においても、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲は検出基準外４１である。なお、検出範囲１３Ａは、撮像装置１８の撮像可能な範囲の限界として設定されるものに限定されず、撮像可能な範囲のうち一部の範囲（たとえば図２４中の左右方向の端部の所定範囲）を除いた範囲として設定されてもよい。
上記説明では、本変形例８の表示装置１は、操作検出器としての静電容量パネル１３に代えて撮像装置１８を備えるものであった。しかし、表示装置１は、操作検出器１３と撮像装置１８とを共に備えるものであってもよい。この場合には、例えば、図３に示された操作検出器１３の検出範囲１３Ａを上下に二つに分割して下方の検出範囲（表示器１１に近い方の検出範囲）と上方の検出範囲（表示器１１から遠い方の検出範囲）とを形成し、この下方の検出範囲を静電容量パネル１３の検出範囲とし、上方の検出範囲を撮像装置１８の検出範囲とすることができる。このような構成によって、ユーザが表示位置への操作のために指を降下移動した時には、撮像装置１８がその指の降下移動の前半部分を検出し、静電容量パネル１３が指の降下移動の後半部分を検出する。一般に、静電容量パネル１３は、表示器１３の上方の近傍範囲を高精度に検出することができ、逆に、撮像装置１８は、表示器１３の上方の極く近傍範囲を撮像することが難しい場合があるので、静電容量パネル１３の検出範囲と撮像装置１８の検出範囲とを上述のように分担させることは、好ましいことである。なお、検出範囲１３Ａの２分割は、検出範囲１３Ａを上下に二等分する場合に限らず、不等分に分割してもよい。また、操作検出器１３は、静電容量パネル１３や撮像装置１８に限らず、他の近接センサなどを使用することができる。従って、検出範囲１３Ａを分割した場合には、種々の操作検出器１３が分割された検出範囲を分担することを可能である。
図９に示した速度・加速度検出部２０６は、図２３の撮像装置１８の撮像画像に基づき指の移動速度や加速度を算出することもできる。従って、検出範囲１３Ａを分割した場合には、上方及び下方の検出範囲毎に、指の移動速度や加速度を算出し、停止位置予測部２０７が指の到達位置を予測することもできる。
なお、上述の第１の実施の形態とその変形例１〜７では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とを備えればよい。上述の第１の実施の形態、または変形例１〜７に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第２の実施の形態−
図面を参照しながら、第２の実施の形態に係る表示装置１について説明する。第２の実施の形態においては、本実施の形態の表示装置１が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話、ウエアラブル装置等の電子機器に組み込むことが可能である。
本実施の形態の表示装置１は、図１に示した表示装置１と同様であり、その主要部の構成は、図２５に示すブロック図で表される。即ち、制御部２０と、制御部２０によって制御される表示器１１と操作検出器１３とを示している。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、ユーザ情報解析部２１０とを備える。
制御部２０の主要構成は、ユーザ情報解析部２１０を備えたことを除いて、第１の実施の形態の表示装置１と同様なので、異なる部分を除き説明は省略する。検出基準制御部２０４は、検出基準を初期設定し、後述のキャリブレーション処理の結果に基づき、検出基準を変更する。ユーザ情報解析部２１０は、入力されたユーザに関する情報を解析する。検出基準制御部２０４は、キャリブレーション処理の際にユーザ情報解析部２１０から入力された情報に基づいて検出基準を変更する。
次に、本実施の形態の表示装置１におけるキャリブレーション処理について、図２６に示すフローチャートを参照しながら説明する。なお、図２６のフローチャートはステップＳ２０１〜ステップＳ２０７を示し、それ以降のステップは省略した。ステップＳ２０７以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。図２６のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
ステップＳ２０１において、ユーザによりユーザ情報入力モードの操作ボタンが操作されたかどうか判定する。ステップＳ２０１において肯定判定された場合、即ち、ユーザがユーザ情報入力モードを選択したと判定された場合、ステップＳ２０２に進む。ステップＳ２０１において否定判定された場合、即ち、ユーザがユーザ情報入力モードを選択しなかったと判定された場合、ステップＳ２０６に進む。ステップＳ２０２において、ユーザ情報入力モードを開始して、ステップＳ２０３に進む。ステップＳ２０３において、ユーザ情報の入力が終了したかどうか判定する。この判定は、例えば、ユーザがユーザ情報の入力終了を指示するボタンを操作したかどうかで行われる。ステップＳ２０３において肯定判定された場合、即ち、ユーザがユーザ情報の入力終了を指示した場合、ステップＳ２０４に進む。ステップＳ２０３において否定判定された場合は、肯定判定されるまで待機する。
ステップＳ２０４において、ユーザ情報解析部２１０は、入力されたユーザ情報に基づいて、空中像操作モードにおいて初期設定される検出基準４０を変更すると共に、その変更された検出基準４０の位置データを記憶部２０５に記憶し、ステップＳ２０５に進む。例えば、到達位置５０から、所定距離ｄ１だけ上方の位置に、検出基準４０を変更する。ステップＳ２０５において、ユーザ情報入力モードを終了して、ステップＳ２０６に進む。ステップＳ２０６において、空中像操作モードを開始する。
ユーザ情報としては、例えば、ユーザの性別、年齢、体型（身長、腕の長さ）、視力のうちの少なくとも１種類または複数の組み合わせがある。記憶部２０５には、性別、年齢、体型（身長）、視力の因子のうちの１種類または複数の組み合わせをパラメータとする到達位置５０に関する複数のテーブルが予め記憶されている。ユーザがユーザ情報を入力すると、ユーザ情報解析部２１０は、入力されたユーザ情報の種類と内容に基づいて、該当するテーブルを選択し、そのテーブルから該当する到達位置５０を選択する。検出基準制御部２０４は、選択された到達位置５０に基づいて検出基準４０を決定する。
テーブルとして記憶された到達位置５０は、例えば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人が、操作検出器１３により近い位置に到達位置５０が設定される。
なお、図２６のフローチャートのステップＳ２０１において、ユーザによりユーザ情報入力モードの操作ボタンが操作されたかどうかを判定していたが、この処理を必ずしも行う必要はなく、装置がユーザ情報を取得した段階でステップＳ２０４に移行してもよい。
なお、上記のユーザ情報として、ユーザの性別、年齢、体型（身長、腕の長さ）、視力等の情報を、そのユーザを特定するＩＤ（Identification Code）やパスワードと関連付けて記憶部２０５に記憶してもよい。このようにすることで、使用者は、表示装置１を使用する際に、ＩＤやパスワードを入力するだけで、自身の性別、年齢、体型（身長）、視力等の情報に基づいて検出基準４０を設定することができる。このように、ユーザに関連する情報の一つであるユーザ情報によって、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。
第１の実施の形態の変形例８において説明したような撮像装置１８によってユーザを撮影してその撮像画像を画像解析することにより、ユーザを特定してもよい。例えば、公知の顔認識技術を用いて撮像画像からユーザの年齢や性別などを特定する。検出基準制御部２０４は、そのユーザの性別や年齢等の情報に基づいて検出基準５０を設定する。このようにすれば、ユーザがＩＤやパスワードを入力することを省略することもできる。このように、ユーザに関連する情報の一つであるユーザを特定する情報によって、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。
（第２の実施の形態の変形例１）
第２の実施の形態は次のように変形できる。ユーザによるユーザ情報は、表示装置１に対して行う代わりに、表示装置１とは別の情報入力装置に対して行い、その情報を、インターフェースを介して表示装置１に転送してもよい。また、ユーザ情報は、ＩＣカードに予め記録されていてもよく、その場合には、表示装置１または情報入力装置には、カード情報読み取り機能が備えられることが好ましい。
なお、上述した第２の実施の形態では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とユーザ情報解析部２１０とを備えればよい。なお、上述の第２の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第３の実施の形態−
図面を参照しながら、第３の実施の形態に係る表示装置１について説明する。第３の実施の形態においては、本実施の形態の表示装置１が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。
本実施の形態の表示装置１は、図１に示した表示装置１と同様であり、その主要部の構成は、図２７に示すブロック図で表される。本実施の形態の表示装置１は、制御部２０と、制御部２０によって制御される表示器１１と操作検出器１３と環境検出部１９とを備える。環境検出部１９は、表示装置１の周囲の使用環境を検出する。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、環境解析部２１１とを備える。
環境解析部２１１は、環境検出部１９から入力された環境情報を解析し、環境変化があったか否かを判定し、環境変化があった場合に環境変化情報を検出基準制御部２０４に出力する。検出基準制御部２０４は、環境解析部２１１から入力された環境変化情報に基づいて検出基準のキャリブレーション処理を実行する。
本実施の形態のキャリブレーション処理は、空中像操作モードの実行と並行して実行される。図２８に示すフローチャートを参照して本実施の形態のキャリブレーション処理について説明する。図２８のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
ステップＳ２１１において、空中像操作モードが開始され、ステップＳ２１２に進む。ステップＳ２１２において、図３に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示されると共に、検出基準制御部２０４は、検出基準４０を予め定められた初期位置に設定し、ステップＳ２１３に進む。ステップＳ２１３において、環境解析部２１１は、環境検出部１９によって検出された使用環境に関する環境情報に基づいて、環境変化があったかどうか判定する。ステップＳ２１３において肯定判定された場合、即ち、環境変化があったと判定された場合、ステップＳ２１４に進む。ステップＳ２１３において、否定判定された場合、即ち、環境変化があったとは判定されなかった場合、ステップＳ２１６に進む。ステップＳ２１４においては、環境変化情報を検出基準制御部２０４に出力し、ステップＳ２１５に進む。ステップＳ２１５において、検出基準制御部２０４は、空中像操作モードの検出基準を環境変化情報に基づき変更し、ステップＳ２１６に進む。即ち、ステップＳ２１６において、空中像操作モードが続行される。
環境情報としては、温度、湿度、明るさ等がある。これらの環境の変化に基づいて、検出基準をキャリブレーション処理する理由は次の通りである。ユーザによって表示装置１が使用され、表示装置１の温度または表示装置１の周囲の温度が上昇すると、これに伴って、例えば、表示装置１の内部で、表示器１１と結像光学系１２とを固定している固定部材（不図示）が延び、これに伴って、表示器１１と結像光学系１２との間の距離が長くなる。ユーザによって空中像３０の近傍における温度が変化する要因としては、携帯電話などのユーザの手に持てる表示装置の場合、ユーザが表示装置を握ることにより表示装置の温度が上昇する場合が挙げられる。その結果、空中像３０が生成される位置は、温度上昇前に比べて、ユーザ側に近付く。また、ユーザが表示装置を利用した際に空中像３０の近傍における明るさが変化し、ユーザから空中像３０の見え方が変化する。その結果、空中像３０を実際に明るさが変化する前に比べて遠く感じたりすることも考えられる。空中像３０の近傍における明るさが変化する要因としては、ユーザ自らの影が空中像に重なることが考えられる。または表示装置が携帯電話などのユーザの手で持てる装置の場合、ユーザが表示装置を握ることにより、ユーザの手に汗が発生して周囲湿度が変化した場合にも、表示装置１の表示性能が影響を受けることがある。
環境検出部１９としては、例えば、表示装置１の本体１０内に備えられた、温度センサ、湿度センサ、明るさセンサ等である。なお、明るさについては、カメラの測光機能を用いることができる。
ユーザによる周囲の環境変化情報に基づくキャリブレーションに関する情報について次に説明する。記憶部２０５には、表示装置１の内部あるいは近傍における温度変化と湿度変化、空中像３０近傍における明るさ変化の因子のうちの１種類または複数の組み合わせをパラメータとする検出基準の修正値に関する複数のテーブルが予め記憶されている。環境解析部２１１により、環境変化があったと判定された場合、環境解析部２１１は、環境変化があったと判断した場合、変化があった因子に応じて、概要するテーブルを選択し、そのテーブルから該当する検出基準の修正値を選択する。検出基準制御部２０４は、選択された修正値に基づいて検出基準４０を変更する。このように、ユーザに関連する情報の一つであるユーザによる周囲の環境変化情報によって、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。
上述の環境検出部１９の検出出力は、第１の実施の形態の第１または第２のキャリブレーション処理モードや第１の実施の形態の変形例１〜８において、検出基準を変更する際にも利用することができる。即ち、上述の第１または第２のキャリブレーション処理モードにおいて、ユーザの指の到達位置に基づき検出基準を変更する代わりに、ユーザの指の到達位置または指定位置と環境検出部１９の検出出力との両方に基づいて検出基準を変更することもできる。
なお、上述した環境変化としては、ユーザに起因する周囲の環境変化に限らず、窓から日光が差し込むことによる変化や、天候による湿度の変化や、表示装置の起動継続に伴う装置自体の温度上昇などの種々の環境の変化を検出し、この検出結果に基づき検出基準を変更して、検出基準と空中像との位置関係を変更してもよい。
なお、上述の第３の実施の形態では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４と環境解析部２１１とを備えればよい。上述の第３の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第４の実施の形態−
図面を参照しながら、第４の実施の形態に係る表示装置１００について説明する。本実施の形態における表示装置１００は、操作検出器の構成が第１の実施における操作検出器１３とは異なる。図２９は、本実施の形態に係る表示装置を示す図であり、図２９（ａ）は、第４の実施の形態による表示装置１００の操作検出器１００の概略構成を説明する断面図である。また、図１９（ｂ）は表示装置１００が組み込まれた電子機器の一例として、現金自動預払機（ＡＴＭ装置）２００の斜視図である。表示装置１００は、現金自動預払機２００において、ユーザが暗証番号や金額等を入力するための前面パネル上に装備されている。なお、表示装置１００は、現金自動預払機に限らず、鉄道やバスの乗車券・定期券等の各種の自動券売機や、図書館や美術館等の各種の情報検索端末装置等に広く組み込むことが可能である。説明の都合上、表示装置１００について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。
図２９（ａ）に示す通り、表示装置１００は、本体（不図示）内に、表示器１１１と、結像光学系１１２と、操作検出器１１３とを備える。本体の内部に設けられた表示器１１１は、たとえば、液晶素子や有機ＥＬ素子等により構成され、複数の二次元状に配列された表示画素を有する。表示器１１１は、第１の実施の形態に係る表示装置１の制御部２０に類似の制御部（不図示）により制御されて、表示用画像データに対応する画像を表示する。結像光学系１１２は、表示器１１１に対して所定の位置関係となるように配置される。結像光学系１１２としては、透明基板の内部に２種類の帯状反射部を一定間隔で平行に配列された素子を２個重ねて配置した構成とすることができる。
図３０は、表示装置１００の構成のうち、制御部２０と、制御部２０によって制御される表示器１１１及び操作検出器１１３とを示したブロック図である。図３０のブロック図に示した表示装置１００は、表示器１１１および操作検出器１１３の構成が図２のブロック図に示した表示装置１の表示器１１および操作検出器１３の構成と異なっている以外は、実質的に同様である。即ち、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１００の表示器１１１及び操作検出器１１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。
結像光学系１１２は、表示用画像データに対応して表示器１１１に表示された画像から射出される光束を偏向して、図２９に示したようなアイコンを含む空中像３０を生成する。
操作検出器１１３は、空中像３０の近傍に空中像３０を囲むように設けられる。図３１に操作検出器１１３の平面図を示す。操作検出器１１３は、ＸＹ平面に平行な断面が矩形の枠状のハウジング１１５を備える。ハウジング１１５の内面を構成する４面にうち、隣接する２面には複数の投光素子１１６が配置され、残る隣接する２面には複数の受光素子１１７が配置されている。図３１においては、枠状のハウジング１１５の、ＺＸ平面に平行な一対の内面のうち、内面ＺＸ１には投光素子１１６のみが設けられ、内面ＺＸ２には受光素子１１７のみが設けられる。同様に、ＹＺ平面に平行な一対の内面のうち、内面ＹＺ１には投光素子１１６のみが設けられ、内面ＹＺ２には受光素子１１７のみが設けられる。すなわち、投光素子１１６と受光素子１１７は互いに対向して設けられる。投光素子１１６としては市販のレーザやＬＥＤ素子等を用いることができる。また、受光素子１１７としては、市販のフォトダイオードやフォトトランジスタを用いることができる。なお、投光素子と受光素子を一体に構成した投受光素子を用いることも可能であり、この場合には、投光素子に代えて投受光素子を配置し、受光素子に代えてミラーを配置する。
投光素子１１６と受光素子１１７とは、１個対１個の対応関係となるようにアレイ状に整然と配列され、１個の投光素子１１６から出射された光は対応する１個の受光素子１１７のみに入射するように構成される。投光素子１１６から出射された光線は空中像Ｉと平行な面内（すなわち、ＸＹ平面に平行な面内）を進んで受光素子１１７に入射する。受光素子１１７による光の検出状態は制御部に送られ、制御部では、受光素子１１７の検出状態は受光素子１１７の位置と対応させて把握される。これにより、ハウジング１１５の内部においては、ＸＹ平面に平行な複数段の２次元格子状の光路群が形成される。投光素子１１６から出射する光の波長は赤外域であることが好ましい。
位置検出器１１３の断面を図３２に示す。図３２は説明を簡単にするために、投光素子１１６と受光素子１１７がそれぞれＺ方向に６段ずつ配置された構成を示している。６段の投光素子１１６を、Ｚ方向＋側からそれぞれ１１６ａ、１１６ｂ、１１６ｃ、１１６ｄ、１１６ｅ、１１６ｆとする。また、６段の受光素子１１７を、Ｚ方向＋側からそれぞれ１１７ａ、１１７ｂ、１１７ｃ、１１７ｄ、１１７ｅ、１１７ｆとする。このように、位置検出器１１３は、投光素子１１６ａと１１６ｆとの間に検出範囲を有し、この検出範囲は、第１の実施の形態における図３の検出範囲１３Ａに相当するものである。
操作検出器１１３の機能について、図３２を用いて説明する。表示装置１００において、表示制御部２０４は、表示装置１００から離れた位置に空中像３０を生成する。ここでは、空中像３０はアイコン３０Ａを含み、生成されている上下方向における位置は、投光素子１１６ｄと受光素子１１７ｄとを含む面であるとする。また、検出基準制御部２０４は、検出基準４０を所定の初期位置に設定する。ここでは、検出基準４０は、投光素子１１６ｃと受光素子１１７ｃとを含む面に設定されるものとする。なお、空中像３０および検出基準４０をそれぞれきめ細かく設定するためには、投光素子１１６と受光素子１１７の上下方向の段数が多いことが好ましい。
ユーザは、空中像３０の第１アイコン３０Ａの操作を行うために、指先をアイコン３０Ａに向けて下降移動させ、操作検出器１１３の検出限界（ここでは、投光素子１１６ａと受光素子１１７ａとを含む面）に達すると、操作検出器１１３は、受光素子１１７の出力に基づいてユーザの指先の接近を検出する。
指先Ｆが空中像３０のアイコン３０Ａよりも上方の点線位置５０に達した時に、ユーザは、指がアイコン３０Ｂに到達して操作を実行していると感じて、指先Ｆの下方への移動を停止させる。検出基準制御部２０４は、受光素子１１７ａ、および１１７ｂにおいて光が検出されず、かつ、受光素子１１７ｃにおいて光が検出される状態が所定時間以上継続したことをもって、指先Ｆの下方への移動の停止、即ちアイコンへ３０Ｂの表示位置への操作を判定する。このとき、投光素子１１６ｂと受光素子１１７ｂとを含む面を、指先Ｆがアイコン３０Ａの表示位置を操作して移動を停止した位置である到達位置とする。
検出基準制御部２０４は、到達位置５０を判定すると、初期設定の検出基準４０の位置を例えば、到達位置５０の位置に変更し、この変更された検出基準４０の位置データを図２の記憶部２０５に記憶する。これにより、第１の実施の形態の表示装置１と同様にして、到達位置５０に基づいて、そのユーザに適した検出基準４０が設定される。即ち、予め複数設置された投光素子１１６と受光素子１１７とのうち、投光素子１１６ｃと受光素子１１７ｃとを含む面を検出基準４０として初期設定し、キャリブレーション処理によって、到達位置に基づき検出基準４０を例えば投光素子１１６ｂと受光素子１１７ｂとを含む面に変更することにより、検出基準４０と空中像３０の表示位置との位置関係が変更される。なお、キャリブレーション処理によって、到達位置５０の位置に検出基準４０の位置を変更する、すなわち複数設置された投光素子１１６と受光素子１１７とのうち、投光素子１１６ｂと受光素子１１７ｃとを含む面に変更してもよい。勿論、初期設定された検出基準は、到達位置に基づき、到達位置の上方の位置に変更することもできるし、到達位置の下方の位置に変更することもできる。
更には、検出基準は、図２１（ｃ）に示したように、幅ｄ２を持つ検出基準に変更することもできる。たとえば到達位置５０に対して上方の投光素子１１６ａと受光素子１１７ａとが選択され、投光素子１１６ａと受光素子１１７ａとを含む面を上面４０１とし、到達位置５０に対して下方の投光素子１１６ｃと受光素子１１７ｃとが選択され、投光素子１１６ｃと受光素子１１７ｃとを含む面を下面４０２とする、すなわち複数の投光素子１１６と受光素子１１７との組のうち、一組の投光素子１１６と受光素子１１７とを含む面で上面４０１を設定し、他の一組の投光素子１１６と受光素子１１７とを含む面で下面４０２を設定すればよい。
上述したように、本実施の形態は、複数設置された投光素子１１６と受光素子１１７により設定可能な複数の検出基準の中から、到達位置に基づいて一組あるいは複数組の投光素子１１６と受光素子１１７とを選択することにより検出基準を選択して、検出基準の位置を変更するものである。
以上説明した通り、表示装置１００の表示器１１１と操作検出器１１３とは、表示装置１の表示器１１と操作検出器１３とは構成が異なるものの、検出基準４０の設定を類似の手順により設定できる。従って、第４の実施の形態の表示装置１００による第１および第２のキャリブレーション処理は、それぞれ、図６および図８にフローチャートで示した手順と同様の手順により行うことができる。第４の実施の形態の表示装置１００は、上述した種々の変形例にも適用することができる。
なお、表示装置１００はアクチュエータとエンコーダとを備え、投光素子１１６と受光素子１１７とをＺ方向に微小距離移動させてもよい。たとえば、到達位置５０から距離ｄ１の位置に検出基準４２を変更する場合、到達位置５０から距離ｄ１の位置に最も近い位置の投光素子１１６と受光素子１１７とが選択される。この選択された投光素子１１６と受光素子１１７とが配置された位置と到達位置５０から距離ｄ１との差分に基づいて、投光素子１１６と受光素子１１７とがアクチュエータにより移動されて、投光素子１１６と受光素子１１７との位置が微調整される。すなわち、投光素子１１６と受光素子１１７との位置が微調整されることにより、検出基準４２を到達位置５０から距離ｄ１により接近した位置に変更することができる。
（第４の実施の形態の変形例１）
第４の実施の形態は次のように変形できる。第４の実施の形態の表示装置１００においては、操作検出器１１３がＺ方向に複数段の二次元状に配列された投光素子１１６、受光素子１１７を有する構成として説明した。しかし、二次元状に配列された投光素子１１６、受光素子１１７は１段のみでもよい。このような操作検出器１１３’を装備した構成の表示装置１００を図３３に示す。操作検出器１１３’は枠状のハウジング１１５’を備え、枠状のハウジング１１５’の内面、を構成する４面にうち、隣接する２面にはＸＹ平面に平行な一列に複数の投光素子１１６が配置され、残る隣接する２面にはＸＹ平面に平行な一列に複数の受光素子１１７が配置されている。すなわち、操作検出器１１３’は、図３２にて説明した６段構成の操作検出器１１３のうちの１段のみで構成したものである。ハウジング１１５’にはアクチュエータ１１９が接続され、Ｚ方向に所定の周期（たとえば、毎秒１０サイクル）で往復移動させる。ハウジング１１５’の位置はアクチェータ１１９に組み込まれた位置を検出するセンサ、例えばエンコーダ（不図示）、により検出される。この場合、ハウジング１１５’を往復移動可能な範囲に含まれる所定の位置を検出基準４０と設定する。
操作検出器１１３’を装備した表示装置１００による検出基準のキャリブレーション処理について図３２を用いて説明する。ユーザが空中像３０のアイコン３０Ａの表示位置を操作するために、指先を空中像３０に向けて押し下げる。指先の位置がハウジング１１５’の移動範囲に入ると、投光素子１１６から出射した光がユーザの指により遮られて受光素子１１７に到達しなくなる。このユーザの指により遮られて受光素子１１７に到達しなくなる位置をエンコーダによって検出し、ユーザの指先の位置が検出される。ユーザは空中像３０に含まれるアイコン３０Ａの表示位置を操作するために、さらに指先を空中像３０に向けて押し下げ、ユーザがアイコン３０Ａに到達してアイコン３０Ａの表示位置への操作を実行していると感じ、指先を停止する。ユーザの指先が静止したか否かについては、例えば、往復移動するハウジング１１５’が１往復する間、投光素子１１６からの光が受光素子１１７に到達しなくなる位置が略同じ位置で検出された場合、ユーザの指先が静止していると制御部２０は判定する。この時、ユーザの指先が静止している位置を到達位置とし、決定された到達位置に基づいて、検出基準４０の位置を設定する。各処理を示すフローチャートは図６に示したものと実質的に同じである。
なお、上述の第４の実施の形態、変形例１では、制御部２０と表示器１１１と操作検出器１１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とを備えればよい。上述の第４の実施の形態または変形例１に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
第４の実施の形態においては、投光素子・受光素子を用いた操作検出器を用いてユーザの指先の位置を検出している。しかし、操作検出部として撮像部を備えることも可能である。たとえば、表示装置に撮像部としてカメラを装備して、このカメラによりユーザの指先の動きを検出して、その情報に基づいて検出基準４０のキャリブレーション処理を行ってもよい。図３４は、第４の実施の形態に説明した表示装置１００と同様の表示器１１１と結像光学系１１２を有する表示装置１００’を示す。表示装置１００’は、操作検出器１１３は備えず、その代り、撮像装置（例えばデジタルカメラ）１１８を備えている点で、表示装置１００と異なる。表示装置１００’においては、撮像装置１１８によりユーザの指の位置を把握する。撮像装置１１８に装着するレンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を設け、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
上記第１の実施の形態から第４の実施の形態およびそれらの変形例においては、検出基準４０の位置を移動させることにより、検出基準４０と空中像３０（あるいはアイコン３００Ａ等）との位置関係を変更するように制御を行った。しかし、検出基準４０と空中像３０との相対的位置関係を変更するためには、空中像３０を移動させてもよい。また、検出基準４０と空中像３０との相対的位置関係を変更するためには、検出基準４０と空中像３０との両方を移動させてもよい。
−第５の実施の形態−
以上の実施の形態及びその変形例は、キャリブレーション処理によって検出基準を制御または変更して、検出基準と空中像の表示位置との位置関係を変更するものであったが、次に、キャリブレーション処理によって空中像の表示位置を変更して、検出基準と空中像の表示位置との位置関係を変更する第５の実施の形態を説明する。
図３５及び図３６は、第５の実施の形態の表示装置を示すものである。第５の実施の形態の表示装置１は、第１の実施の形態の表示装置と同様に、図３５に示すように制御部２０を内蔵する本体１０と、表示器１１と、結像光学系１２と、操作検出器１３とを備えると共に、図３６に示すように画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。第５の実施の形態の表示装置１は、上述の構成に加えて更に、表示位置変更部５００と、表示位置制御部２２０とを備える。
表示位置変更部５００は、例えばモーターまたはアクチュエータなどの駆動部を有し、結像光学系１２を矢印で示すように結像光学系１２の光軸方向に移動して、結像光学系１２によって形成される空中像３０の表示位置をＺ軸方向、即ち光軸方向に移動して変更する。空中像３０を上方向、即ち表示器１１から離れる方向に移動させるには、結像光学系１２を下方向、即ち表示器１１に近づく方向に移動させ、逆に空中像３０を下方向、即ち表示器１１に近づく方向に移動させるには、結像光学系１２を上方向、即ち表示器１１から離れる方向に移動させる。なお、表示位置変更部５００は、結像光学系１２を移動する代わりに、表示器１１を結像光学系１２の光軸方向に移動して、空中像３０の表示位置を移動し変更することもできる。
表示器１１と結像光学系１２と操作検出器１３とは、図１に示した第１の実施の形態の表示器１１と結像光学系１２と操作検出器１３の各々と同一の構成のものを使用することができるが、本実施の形態の結像光学系１２または表示器１１は、上述のように結像光学系１２の光軸方向に移動可能に構成されている。
なお、以下の説明では、モーターまたはアクチュエータなどの駆動部を有し、結像光学系１２を矢印で示すように結像光学系１２の光軸方向に移動して、結像光学系１２によって形成される空中像３０の表示位置をＺ軸方向、すなわち光軸方向に移動して変更する例で説明を行うが、これに限定されず、表示位置制御部２２０は、表示器１１を制御し、右目で視認するための表示画像と、右目で視認する画像とは視差を有する左目で視認するための表示画像とを表示させ、空中像３０の奥行の表示位置を変更してもよい。
画像生成部２０１と表示制御部２０２とキャリブレーション部２０３と検出基準制御部２０４と記憶部２０５とは、図１に示した第１の実施の形態の画像生成部２０１と表示制御部２０２とキャリブレーション部２０３と検出基準制御部２０４と記憶部２０５と同一の機能を果たすものである。
制御部２０は、上述のように表示位置制御部２０６を備え、この表示位置制御部２２０は、キャリブレーション処理モードにおいて検出または判定された指の到達位置や指定位置などに基づき空中像３０の移動量を算出または決定して、表示位置変更部５００に空中像３０の表示位置を変更させる。
第５の実施の形態の表示装置の動作を次に説明する。空中像操作モードは、第１の実施の形態の表示装置と同様であり、空中像操作モードが起動されると、図３（ａ）に示された空中像操作モード用の空中像３０が結像光学系１２によって表示され、検出基準制御部２０４によって検査基準４０が所定の初期位置に設定される。指が空中像３０のアイコン３０Ａの表示位置を操作するために下降移動すると、操作検出器１３が指の下降移動を検出する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０の位置に到達したことを判定して、この判定によって、操作されたアイコン３０Ａに応じた機能が実行される、例えば、空中像３０の表示内容が切り替えられる。
第１のキャリブレーション処理モードが実行されると、表示制御部２０２と表示器１１と結像光学系１２とが図４に示したキャリブレーション処理用の空中像３００を空中に形成し、検出基準制御部２０４が検出基準４０を空中像３００の近傍に初期位置に設定する。ユーザが指を空中像３００のアイコン３００Ａを操作するために、下降移動させると、操作検出器１３がその下降移動を検出する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指の到達位置５０を判定する。この判定は、第１の実施の形態で説明した方法や第１の実施の形態の変形例１、２で説明した方法が使用される。表示位置制御部２０６は、指の到達位置５０に基づき、表示位置変更部５００に空中像３００の位置を結像光学系１２の光軸方向に移動させる。
なお、表示制御部２０２と表示器１１と結像光学系１２とは図１２、図１５、図１８に示されたキャリブレーション処理用の空中像３００を形成してもよく、この場合には、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指による指定位置５０Ａを判定する。表示位置制御部２２０は、指定位置５０Ａに基づき、表示位置変更部５００に空中像３００の位置を結像光学系１２の光軸方向に移動させる。この空中像３００の表示位置の移動によって第１のキャリブレーション処理が終了し、これに引き続く空中像操作モードでは、移動された表示位置に空中像操作モード用の空中像３０が表示される。
表示位置制御部２２０及び表示位置変更部５００による空中像３００の表示位置の移動は、次のように行われる。即ち、表示位置制御部２２０及び表示位置変更部５００は、指の到達位置５０または指定位置５０Ａが図３７（ａ）に示したように、検出基準４０よりも上方に位置する場合には、到達位置５０または指定位置５０Ａと検出基準４０との間隔ΔＨを算出して、空中像３００の表示位置を例えば間隔ΔＨだけ下方である点線で示した表示位置３００に移動させる。空中像３００は空間に表示しているため、視認性が悪く、ユーザによっては、空中像３００の表示位置が異なって見える場合がある。図３７（ａ）で示した例では、ユーザは空中像３００の表示位置が実際の位置よりも高い位置に空中像３００があると感じている。そのため、ユーザによる到達位置５０または指定位置５０Ａが、空中像３００の表示位置よりも上方の位置になっている。そこで、ユーザによる空中像３００の表示位置への操作を検出するために、空中像３００の表示位置を間隔ΔＨだけ下方に移動させる。そのため、ユーザは下方へ移動した空中像３００の表示位置を操作するようになり、到達位置５０または指定位置５０Ａがより下方になることが期待できる。到達位置５０または指定位置５０Ａがより下方になるため、到達位置５０または指定位置５０Ａが検出基準に到達し、ユーザによる空中像３００の表示位置への操作を検出できるようになる。このように、空中像３００の表示位置を移動させることにより、ユーザによる空中像３００の表示位置への操作を検出基準４０で検出することができるようになる。
また、表示位置制御部２２０及び表示位置変更部５００は、指の到達位置５０または指定位置５０Ａが図３７（ｂ）に示したように、検出基準４０よりも下方に位置する場合には、到達位置５０または指定位置５０Ａと検出基準４０との間隔ΔＨを算出して、空中像３００の表示位置を例えば間隔ΔＨだけ上方である点線の表示位置３００に移動させる。
更に、表示位置制御部２２０及び表示位置変更部５００は、指の到達位置５０または指定位置５０Ａが、検出基準４０に一致した場合、または検出基準４０の近傍位置に存在した場合には、空中像３００の表示位置を移動しない。
なお、表示位置制御部２２０及び表示位置変更部５００は、到達位置５０または指定位置５０Ａが検出基準４０よりも上方に位置する場合には、空中像３００の表示位置を下方向に移動させ、到達位置５０または指定位置５０Ａが検出基準４０よりも下方に位置する場合には、空中像３００の表示位置を上方向に移動させるが、その移動量は、上述のように到達位置５０または指定位置５０Ａと検出基準４０との間隔ΔＨに一致させる必要はなく、第１の実施の形態において説明したように、間隔ΔＨよりも大きくしてもまたは小さくしてもよい。
なお、空中像の移動量の算出方法の一例としては、多数のユーザに事前にキャリブレーション処理を実行してもらい、到達位置または指定位置と検出基準との距離ΔＨに対して空中像３００の表示位置を種々移動させたときの空中像の操作上、違和感の少ない空中像３００の移動量を求め、その空中像３００の移動量に対して統計的な処理を行って、距離ΔＨに対する空中像の移動量を決定する。
このような統計的処理による空中像の移動量は、例えば、全てのユーザに共通の値であってもよいし、ユーザの年齢層毎に異なった値であってもよいし、性別毎に異なった値であってもよい。なお、この統計的な処理による空中像の移動量の決定方法は、上述の第１の実施の形態において、到達位置または指定位置に基づいて検出基準を変更する際の検出基準の移動量を決定する場合にも適用することができる。
上記説明のキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げ、図３８に示すフローチャートを参照して説明する。なお、図３８のフローチャートはステップＳ３０１〜Ｓ３０８を示し、それ以降のステップは省略した。ステップＳ３０８以降の処理は、図６のステップＳ９以降の処理と同様である。
ステップＳ３０１〜Ｓ３０５の各処理は、図６に示したフローチャートにおけるステップＳ１〜Ｓ５の各処理と同様である。ステップＳ３０６において、表示位置制御部２０６は、空中像３００の表示位置を変更させる。すなわち、表示位置制御部２０６は、指の到達位置５０に基づき、表示位置変更部５００に空中像３００の表示位置を結像光学系１２の光軸方向に移動させてステップＳ３０７へ進む。ステップＳ３０７において、第１のキャリブレーション処理モードを終了して、ステップＳ３０８へ進む。ステップＳ３０８において、空中像操作モードを開始する。なお、ステップＳ３０３にて図１２、図１５、図１８に示す空中像３００を表示させた場合には、ステップＳ３０５にて指定位置５０Ａを判定し、ステップＳ３０６において指定位置５０Ａに基づいて空中像３００の表示位置を変更すればよい。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
以上のように、第５の実施の形態の表示装置は、キャリブレーション処理において到達位置または指定位置に基づき空中像の表示位置を変更して、空中像の表示位置と検出基準との位置関係を変更するものであり、ユーザの操作特性に適した空中像の表示位置と検出基準との位置関係を得ることができる。
また、キャリブレーション処理において空中像を移動することは、キャリブレーション処理において検出基準を変更する場合に変更後の検出基準が図３に示した操作検出器１３の検出範囲１３Ａの外に出てしまったり、検出範囲１３Ａの上限または下限付近に位置するといった事態になりそうな場合には、検出基準の変更の代わりに、空中像の移動を行えば、上記の事態を避けることができる。
（第５の実施の形態の変形例１）
次に、第５の実施の形態の表示装置の変形例１を説明する。
第５の実施の形態の表示装置は、キャリブレーション処理において、到達位置または指定位置に基づき空中像の表示位置を変更したが、第５の実施の形態の表示装置の変形例１は、キャリブレーション処理において、到達位置または指定位置に基づき、表示位置制御部２２０及び表示位置変更部５００が空中像の表示位置を変更すると共に、検出基準制御部２０４が検出基準の位置を変更する。この空中像の表示位置の変更および検出基準の位置の変更によって、ユーザの操作特性に適した空中像の表示位置と検出基準との位置関係をうることができる。表示位置変更部５００が、到達位置または指定位置に基づいて決定される適正な表示位置に高精度に空中像を移動することが難しい場合には、表示位置変更部５００が空中像の表示位置を粗調整し、検出基準制御部２０４が検出基準を微調整することによって、空中像の表示位置と検出基準との位置関係を適正に設定することができる。
（第５の実施の形態の変形例２）
第５の実施の形態の表示装置の変形例２を以下に説明する。変形例２の表示装置は、表示位置制御部２２０及び表示位置変更部５００が空中像の表示位置を移動する際に、移動開始から移動終了の間に空中像の表示をフェードアウトしそれからフェードインする。即ち、空中像の移動開始に伴い表示の輝度を徐々に小さくし、その後、空中像の移動終了に向けて表示輝度を徐々に大きくする。キャリブレーション処理として空中像を移動させているが、ユーザが視認可能な空中像が移動すると、ユーザに違和感が生じる場合がある。そこで、空中像の移動開始に伴い表示の輝度を徐々に小さくすることにより、空中像の移動がユーザに視認されづらくなり、ユーザの違和感を軽減できる。
また、表示制御部２０２は、空中像の移動中、空中像の表示輝度やコントラストを下げたり、輝度やコントラストを下げた状態で空中像の表示を点滅させたり、更には空中像の表示を消したりすることができる。このように、表示位置変更部５００による空中像の移動を目立たなくする、即ち視認し難くすることで、ユーザの違和感を軽減できる。
また、逆に、空中像の移動に伴って空中像自体を目立たせるような表示態様を行っても良い。空中像を目立たせるような表示態様とは、空中像の移動中、空中像の表示輝度やコントラストを上げたり、空中像の表示を点滅させたりすること等である。このように、空中像自体を目立たせるような表示態様を行うことによって、空中像の移動を目立たさなくすることができ、ユーザは空中像の移動よりも空中像自体を注目するようになる。そのためユーザは、空中像の移動が気にならなくなり、ユーザの違和感を軽減できる。
上記のように空中像の移動時における空中像の表示態様の変更は、図３８のフローチャートにおけるステップＳ３０６の処理の最中に行われる。
このような空中像の移動中における空中像の表示を目立たなくしたり、目立つようにしたりすることは、空中像の全体に対して行うのではなく、空中像の一部、例えば、キャリブレーション処理用のアイコンに対して行うようにしてもよい。また、このような空中像の移動を目立たせるか否かは、ユーザの好みに応じて、選択することができるようにしてもよい。
また先ほどの説明とは反対に、キャリブレーション処理の実行中に、空中像の移動をユーザに確認させるため、表示位置変更部５００による空中像の移動が目立つようにしてもよい。表示制御部２０２は、空中像の移動中、空中像の表示輝度やコントラストを上げたり、空中像の表示を点滅させたりしてもよい。上述の説明では、空中像の移動が目立たないようにしていたが、逆にユーザに対して空中像の移動を目立たせることによって、空中像の移動後の位置を明確にさせることができる。
なお上記のように空中像の移動時における空中像の表示輝度の変更は、図３８のフローチャートにおけるステップＳ３０６の処理の最中に行われる。
（第５の実施の形態の変形例３）
第５の実施の形態の表示装置１の変形例３を以下に説明する。変形例３の表示装置１は、キャリブレーション処理の際にユーザの操作によって空中像の表示位置の変更を開始する。この場合、ユーザの操作が終了した後、表示位置制御部２２０は表示位置変更部５００を制御して、空中像の表示位置の変更を開始させる。
上記説明のキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げ、図３９に示すフローチャートを参照して説明する。なお、図３９のフローチャートはステップＳ３１１〜Ｓ３１９を示し、それ以降のステップは省略した。ステップＳ３１９以降の処理は、図６のステップＳ９以降の処理と同様である。
ステップＳ３１１〜Ｓ３１５の各処理は、図３８に示したフローチャートにおけるステップＳ３０１〜Ｓ３０５の各処理と同様である。ステップＳ３１６において、ユーザによる操作が終了したか否かを判定する。ステップＳ３１６において肯定判定された場合、すなわち、ユーザによる操作が終了したと判定された場合には、ステップＳ３１７へ進む。ステップＳ３１６において否定判定された場合には、ステップＳ３１４に戻る。ステップＳ３１７〜Ｓ３１９の各処理は、図３８に示したフローチャートにおけるステップＳ３０６〜Ｓ３０８の各処理と同様である。
なお、ユーザによる操作が終了したか否かを判定するステップＳ３１６は、空中像の表示位置を変更するか否かを決定するものである。従って、ユーザによる操作の終了は、到達位置または指定位置を判定したことをもってユーザの操作終了と判断してもよいし、到達位置または指定位置の判定後に、表示位置を変更するための特定のジェスチャー（ユーザの手の形状がパーからグーになるようなジェスチャー）の検出をもってユーザによる操作終了と判断してもよいし、到達位置または指定位置の判定後に、表示位置を変更するためのボタンが空中像に表示され、そのボタンがユーザによって押下されたことが検出されたことをもってユーザによる操作が終了したと判断してもよい。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
（第５の実施の形態の変形例４）
第５の実施の形態の表示装置１の変形例４を以下に説明する。変形例４の表示装置１は、キャリブレーション処理の際にユーザが空中像の表示位置の変更を開始するタイミングを発声により指定するものである。図４０は、変形例４における表示装置１の構成のうち、制御部２０によって制御される表示器１１および操作検出器１３を示したブロック図である。この表示装置１は、図１７に示す第１の実施の形態の変形例６における集音器１４を含み、制御部２０には音声検出部２０８が備えられる。
表示装置１は、第１の実施の形態の場合と同様にして到達位置５０を判定する。表示制御部２０２は、空中像３００のキャリブレーション用アイコン３００Ｆに、たとえば図４１に示すように、メッセージ「キャリブレーションを実行します。「ハイ」と声を出してください」を重畳表示する。ユーザがキャリブレーション用アイコン３００Ｆのメッセージに従って「ハイ」と声を出すと、集音器１４はこの音声を集音し、音声データとして音声検出器２０８に出力する。音声検出器２０８が、音声データが「ハイ」に対応することを判定すると、表示位置制御部２２０は、表示位置変更部５００を制御して、空中像３００の表示位置を変更する。上記のような空中像の表示位置の変更は、図３９に示す第５の実施の形態の変形例３のフローチャートにおけるステップＳ３１６のユーザによる操作が終了したか否かの代わりに、ユーザが「ハイ」を発声したか否かを判定し、「ハイ」を発声したと判定した場合にはステップＳ３１６が肯定判定されてステップＳ３１７へ進むようにする。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
また、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしてもよい。
なお、以上のように、検出基準制御部２０４が指の到達位置または指定位置を判定したにも拘わらず、ユーザが「ハイ」と発声するまでは空中像を移動せずに、ユーザが「ハイ」と発声したことを検出して空中像を移動するようにすると、ユーザが「ハイ」と発声するまでの間に、空中像の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが「ハイ」と発声した時に、例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置５０の中央値（メジアン）に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、空中像を移動する。
（第５の実施の形態の変形例５）
第５の実施の形態の表示装置の変形例５を以下に説明する。変形例５の表示装置１は、ユーザが空中像を視認している場合には、空中像の移動を中止し、ユーザが空中像から目をそらした場合に、空中像の移動を行う。このために、表示装置１は、第１の実施の形態の変形例８のようにカメラなどの撮像装置を備え、撮像装置がキャリブレーション処理を実行中のユーザを撮影し、制御部２０が撮影された画像データを解析して、この解析結果に基づきユーザの顔の向き、またはユーザの身体の向きを判定して、ユーザが空中像を視認しているか否かを判定する。表示位置制御部２２０および表示位置変更部５００は、ユーザが空中像を視認していないときに、空中像を移動する。キャリブレーション処理として空中像を移動させているが、ユーザが視認可能な空中像が移動すると、ユーザに違和感が生じる場合がある。そこで、ユーザが空中像から目をそらした場合に、空中像の移動を行うことにより、空中像の移動がユーザに視認されず、ユーザの違和感を軽減できる。
表示装置１は、撮像装置の代わりに、または撮像装置に加えて、ユーザの視線を検出する視線検出器を備え、この視線検出器の検出出力に基づき、表示位置制御部２２０および表示位置変更部５００は、ユーザが空中像を視認していないときに、ユーザの視線が空中像に向いていないときに空中像を移動する。上記のような空中像の表示位置の変更は、例えば、図３９に示す第５の実施の形態の変形例３のフローチャートにおけるステップＳ３１６のユーザによる操作が終了したか否かの判定の代わりに、ユーザが空中像を視認しているか否かを判定するようにする。ユーザが空中像を視認していると判定した場合にはステップＳ３１６が肯定判定されてステップＳ３１７へ進むようにする。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
なお、上述の視線検出器または撮像装置は、表示装置１に設けられてなくてもよい。視線線検出器は、表示装置１の外部に設置されていて、視線検出結果を無線通信またはケーブルを介して表示装置１に送信してもよい。また、撮像装置は、表示装置１の外部に設置されていて、撮像データを無線通信またはケーブルを介して表示装置１に送信してもよい。
なお、上述の説明では、ユーザが空中像を視認していると判定した場合に空中像の表示位置の変更をしたが、反対に、ユーザが空中像を視認している場合に、表示位置制御部２２０および表示位置変更部５００は、空中像の表示位置の変更をさせるような制御を行ってもよい。この場合には、ユーザが確実に空中像を視認しているため、どの程度空中像が移動したかをユーザは知覚できるため、ユーザに対して操作する位置の変更を促すことができる。
なお、上述の説明では、ユーザが空中像を視認していない場合に、空中像の表示位置の変更をさせるような制御を行ったが、ユーザの生体情報を取得し、生体情報の値に基づいて空中像の表示位置を変更させるような制御を行ってもよい。例えば、ユーザの生体情報としてユーザの脈拍数を取得する。ユーザの脈拍を取得する方法として、例えば、装置を利用する前にユーザの脈拍数を取得するための装置をユーザに取り付けさせる。そして、表示位置制御部２２０および表示位置変更部５００は、ユーザの脈拍数が大きくなった場合、空中像の表示位置の変更をさせるような制御を行ってもよい。ユーザの脈拍数が大きくなった場合、ユーザは操作がうまくいかずイライラしている場合がある。このような場合に、空中像の表示位置を変更することにより、ユーザに装置を快適に利用させることができる。
なお、以上のように、検出基準制御部が指の到達位置または指定位置を判定したにも拘わらず、ユーザが空中像を視認しているときには空中像を移動せずに、ユーザが空中像を視認しなくなったことを検出して空中像を移動するようにすると、ユーザは、空中像を視認しなくなるまでに、空中像の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが空中像を視認しなくなった時に、例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置５０の中央値（メジアン）に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、空中像を移動する。
（第５の実施の形態の変形例６）
第５の実施の形態の表示装置の変形例６を以下に説明する。変形例６の表示装置１は、キャリブレーション処理において、空中像の移動速度を変更することができる。表示装置１は、空中像を極めて高速度で移動させるか、または空中像を低速で移動させることができる。表示位置制御部２２０と表示位置変更部５００は、空中像を第１の所定値以上の極めて高速度で移動させるか、または空中像を第１の所定値よりも小さい第２の所定値以下の低速度で移動させる。このように、空中像を極めて高速度または低速度で移動させることによって、ユーザは、空中像の移動を視認し難くなる。また、空中像を極めて高速で移動させるか、低速度で移動させるかをユーザが選択スイッチなどによって選択することができるようにしてよい。表示位置制御部２２０と表示位置変更部５００とがこのような制御を行うことにより、ユーザは空中像の表示位置の移動を視認しづらくなる。そのため、空中像の移動がユーザに視認されづらくなり、ユーザの違和感を軽減することができる。また、空中像の表示位置を変更する距離が大きい場合、空中像の表示位置の変更がユーザに目立つ場合があるため、変更する距離に基づいて第１の所定値と第２の所定値とを変更してもよい。たとえば、空中像の表示位置を所定距離以上移動させる場合は、空中像の表示位置を所定距離以下移動させる場合と比較して、第１の所定値の速度を速くし、第２の所定値の速度を遅くしてもよい。
なお、上述した第５の実施の形態やその変形例１〜６では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に挙げたが、制御部２０のみで構成された制御装置や、制御部２０と表示器１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と表示位置制御部２２０とを備えればよい。上述の第５の実施の形態または変形例１〜６に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
−第６の実施の形態−
次に第６の実施の形態の表示装置を、図４２を参照して説明する。説明する表示装置としては、図３５および図３６に示した第５の実施の形態の表示装置と同一の構成を備える。上述した第５の実施の形態の表示装置との差異は、図４２に示したように、空中像３０を挟んで、第１の検出基準４０ａと第２の検出基準４０ｂとが初期に設定されている点である。なお、図４２では、空中像３０が、第１および第２の検出基準４０ａ、４０ｂの間の中間に位置するように、即ち空中像３０と第１の検出基準４０ａとの距離が空中像３０と第２の検出基準４０ｂとの距離とが等しくなるように定められている。しかし、必ずしも空中像３０と第１の検出基準４０ａとの距離と、空中像３０と第２の検出基準４０ｂとの距離とを等しく設定しなくてもよい。また、空中像３０にはアイコン３０Ａが表示されている。
空中像操作モードで、指Ｆをアイコン３０Ａの方へ下降移動させると、操作検出器１３が指Ｆの下降移動を検出する。指Ｆが第１の検出基準４０ａに達すると、検出基準制御部２０４は操作検出器１３の検出出力に基づき、指Ｆが第１の検出基準４０ａに達したことを判定し、この判定に応じて、表示制御部２０２がアイコン３０Ａの表示態様を変化させる。この表示態様の変化は、表示の高輝度化や点滅表示などのハイライト表示でもよいし、表示の色を変えてもよい。このようなアイコン３０Ａの表示態様の変化によって、ユーザは、指がアイコン３０Ａを選択していることを確認することができる。
ユーザが指Ｆを更に降下移動させ、第２の検出基準４０ｂに達すると、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０の表示内容を切り替える。すなわち、第２の検出基準４０ｂは、上述の第５の実施の形態に記載された検出基準４０と同様の機能を果たす。なお、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０の表示内容を切り替える例で説明をしたがこれに限られない。例えば、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０として動画像を表示させ、動画像の再生を行う制御を行っても良い。また、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０をスクロール制御しても良い。
次に、第２のキャリブレーション処理モードを参考にして第６の実施の形態のキャリブレーションを説明する。図４３（ａ）において、第２のキャリブレーション処理で、ユーザは、指Ｆを空中像３０のアイコン３０Ａの方に下降移動させて、アイコン３０Ａに対する選択操作をしたと感じると、すなわち指Ｆが第１の検出基準４０ａに達しているとユーザが判断した場合、ユーザの指Ｆの下降が停止するなどが生じる。図３６に示した検出基準制御部２０４は、操作検出器１３の検出出力に基づき、ユーザの指Ｆの下降が停止等から指の到達位置５０または指定位置５０Ａを判定する。到達位置５０または指定位置５０Ａは、第１の検出基準４０ａよりも距離ΔＨだけ上方に位置している。
到達位置５０または指定位置５０Ａが第１の検出基準４０ａよりも距離ΔＨだけ、上方の位置に位置しているので、表示位置制御部２２０は、空中像３０の表示位置を距離ΔＨだけ下方の位置に、即ち点線で示した位置３０に移動する。
この空中像３０の下方移動によって、空中像３０と第１の検出基準４０ａとの位置関係がキャリブレーション処理される。このキャリブレーション処理によって空中像３０と第２の検出基準４０ｂとの距離が、空中像３０と第１の検出基準４０ａとの距離に比べて小さくなったので、検出基準制御部２０４は、図４３（ｂ）に示したように、第２の検出基準４０ｂを点線で示した位置４０ｂまで下方向に移動して、空中像３０と第２の検出基準４０ｂとの距離を、空中像３０と第１の検出基準４０ａとの距離に等しくする。空中像３０の下方移動によって、空中像３０の位置から第２の検出基準４０ｂの位置までの距離が短くなる。そのため、ユーザは空中像３０に触れたと思った後、すぐに第２の検出基準４０ｂに達してしまうため、操作しづらく感じることがある。このように、空中像３０と第２の検出基準４０ｂとの距離を適切な距離にすることにより、ユーザは操作しやすくなる。また、空中像３０と第２の検出基準４０ｂとの距離を空中像３０と第１の検出基準４０ａとの距離に等しくすると、空中像３０と第１の検出基準４０ａとの距離に基づいて、空中像３０と第２の検出基準４０ｂとの距離をユーザは簡単に把握することができる。
次に、図４４（ａ）に示したように到達位置５０または指定位置５０Ａが第１の検出基準４０ａよりも距離−ΔＨだけ下方の位置に位置する場合には、表示位置制御部２２０と表示位置変更部５００は、図４４（ｂ）に示したように空中像３０の表示位置を距離ΔＨだけ上方に移動する。この空中像３０の移動に伴い、検出基準制御部２０４は、図４４（ｃ）に示したように第２の検出基準４０ｂを点線で示した位置４０ｂまで上方移動する。これによって、空中像３０と第２の検出基準４０ｂとの距離を、空中像３０と第１の検出基準４０ａとの距離に等しくする。空中像３０の上方移動によって、空中像３０の位置から第２の検出基準４０ｂの位置までの距離が長くなる。そのため、ユーザは空中像３０に触れたと思った後、第２の検出基準４０ｂに達するまで距離があり、操作しづらく感じることがある。このように、空中像３０と第２の検出基準４０ｂとの距離を適切な距離にすることにより、ユーザは操作しやすくなる。また、空中像３０と第２の検出基準４０ｂとの距離を、空中像３０と第１の検出基準４０ａとの距離に等しくしているため、空中像３０と第１の検出基準４０ａとの距離に基づいて、空中像３０と第２の検出基準４０ｂとの距離をユーザは簡単に把握することができる。
第２のキャリブレーション処理モードの説明は、以上の通りであるが、第１のキャリブレーション処理モードも同様である。
（第６の実施の形態の変形例１）
上述した第６の実施の形態の表示装置は、第１の検出基準４０ａと空中像３０との位置関係を空中像３０の移動によって変更し、この空中像３０の移動に伴い、第２の検出基準４０ｂを、空中像３０と第２の検出基準４０ｂとの距離が空中像３０と第１の検出基準４０ａとの距離にほぼ等しくなるように、移動するものであった。次に、この変形例１を説明する。この変形例１では、第１の検出基準４０ａと空中像３０との位置関係は、第６の実施の形態の表示装置と同様に空中像３０の移動によって変更するが、空中像３０と第２の検出基準４０ｂとの位置関係は、第２の検出基準に対する指の到達位置または指定位置に基づく第２の検出基準４０ｂの移動によって、変更するものである。
この変形例１の表示装置は、第６の実施の形態の表示装置と同様に図４２に示した空中像３０を表示し、第１および第２の検出基準４０ａ、４０ｂを初期設定する。キャリブレーション処理を図４５（ａ）、（ｂ）、（ｃ）を用いて説明する。なお、図４５（ａ）は、図３９（ａ）と同一である。
図４５（ａ）において、例えば、ユーザは、指Ｆを空中像３０の第１のアイコン３０Ａの方に下降移動させて、アイコン３０Ａに対する選択操作をしたと感じると、すなわち指Ｆが第１の検出基準４０ａに達しているとユーザが判断した場合、ユーザの指Ｆの下降が停止するなどが生じる。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指の到達位置５０または指定位置５０Ａを判定する。到達位置５０または指定位置５０Ａが第１の検出基準４０ａよりも距離ΔＨだけ上方に位置しているので、表示位置制御部２２０は、空中像３０の表示位置を、例えば略距離ΔＨだけ下方の位置に、即ち点線で示した位置３０に移動する。この空中像３０の下方移動によって、空中像３０と第１の検出基準４０ａとの位置関係が変更、即ちキャリブレーション処理される。
ユーザは、キャリブレーション処理を行った後に指Ｆを更に下降移動させて、アイコン３０Ａに対する実行操作をしたと感じると、すなわち指Ｆが第２の検出基準４０ｂに達しているとユーザが判断した場合、ユーザの指Ｆの下降が停止するなどが生じる。図４５（ｂ）に示したように、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、第２の検出基準４０ｂに対する指の到達位置５０または指定位置５０Ａを判定する。この指の到達位置５０または指定位置５０Ａが第２の検出基準４０ｂよりも距離ΔＨだけ上方に位置しているので、図３６の検出基準制御部２０４は、指の到達位置５０または指定位置５０Ａに基づき、第２の検出基準４０ｂを上方向に、例えば略距離ΔＨだけ、移動させる。こうして、第２の検出基準４０ｂは、図４５（ｃ）に示したように、上方向に点線位置４０ａまで移動される。この第２の検出基準４０ｂの上方向移動によって、空中像３０と第２の検出基準４０ｂとの位置関係が変更、即ちキャリブレーションされる。
なお、第１の検出基準４０ａに対する指の到達位置５０または指定位置５０Ａが、第１の検出基準４０ａよりも下方の位置である場合には、図４４（ａ）、（ｂ）において説明した第６の実施の形態の表示装置の場合と同様に、表示位置制御部２２０は、指の到達位置５０または指定位置５０Ａに基づき、空中像３０を上方向に移動させる。この空中像３０の上方移動によって、空中像３０と第１の検出基準４０ａとの位置関係が、変更、即ちキャリブレーション処理される。
また、第２の検出基準４０ｂに対する指の到達位置５０または指定位置５０Ａが、第２の検出基準４０ｂよりも下方の位置である場合には、検出基準制御部２０４は指の到達位置５０または指定位置５０Ａに基づき、第２の検出基準４０ｂを下方向に移動する。この第２の検出基準４０ｂの下方向移動によって、空中像３０と第２の検出基準４０ｂとの位置関係が変更、キャリブレーションされる。このように、空中像３０の移動によって空中像３０と第１の検出基準４０ａとの位置関係を変更した後、第２の検出基準４０ｂの移動によって空中像３０と第２の検出基準４０ｂとの位置関係を変更することにより、空中像３０と第１の検出基準４０ａとの位置関係、空中像３０と第２の検出基準４０ｂとの位置関係の両方をともに適切な位置関係に変更することができる。
なお、上述の変形例１の制御とは異なり、第１の検出基準４０ａに対する指の到達位置５０または指定位置５０Ａに基づいて、空中像３０を移動させ、空中像３０と第１の検出基準４０ａとの位置関係を変更した後、第２の検出基準４０ｂに対する指の到達位置５０または指定位置５０Ａに基づいて、さらに空中像３０を移動させ、空中像３０と第２の検出基準４０ｂとの位置関係を変更してもよい。このように、空中像３０と第１の検出基準４０ａとの位置関係、空中像３０と第２の検出基準４０ｂとの位置関係を、空中像３０のみの移動によって決定できるため、簡単な制御で位置関係の変更をすることができる。
（第６の実施の形態の変形例２）
次に、第６の実施の形態の表示装置の変形例２を説明する。上述の第６の実施の形態および変形例１との差異としては、空中像３０の移動のさせ方が異なる。即ち、ユーザの指の下降移動に合わせて、空中像３０の表示位置を移動させる。
変形例２は、空中像操作モードにおいてユーザの指がアイコン３０Ａの方に下降移動され、指が第１の検出基準４０ａに達し、これによって、アイコン３０Ａの表示態様が変化した後に、指が更に下降移動させ、空中像３０の表示位置に達すると、表示位置制御部２２０は、操作検出器１３の検出出力に基づき、指が空中像３０の表示位置に達したことを判定し、指の下降移動に合わせて空中像３０の表示位置を移動させる。表示位置制御部２２０は、空中像の表示位置と下降移動する指の位置とが所定の範囲に含まれるように空中像３０の表示位置を制御する。このように制御することによって、下降する指に追随しているように空中像３０の表示位置を下降移動させることができる。また、さらに下降する指よりも常に下方に位置するように空中像３０の表示位置を設定し、下降する指に合わせて空中像３０の表示位置を下降移動するように、表示位置制御部２２０が空中像３０の表示位置を制御することによって、ユーザの指が空中像３０を貫通することがなくなる。
指の下降移動およびそれに追随する空中像３０の下降移動によって、指と空中像３０とが第２の検出基準４０ｂに達すると、検出基準制御部２０４が指が第２の検出基準４０ｂに達したことを判定し、表示制御部２０２が再生画像の表示を行う。
このように、指が空中像３０に到達すると、空中像３０が指の下降移動に追随して下降移動するので、ユーザは、指の下降移動が空中像３０によって第２の検出基準４０ｂまで、案内されるように感じられ、第２の検出基準４０ｂに確実に達することができる。
なお、上述した第６の実施の形態や変形例１、変形例２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と表示器１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と表示位置制御部２２０と検出基準制御部２０４とを備えればよい。上述の第６の実施の形態または変形例１または変形例２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
−第７の実施の形態−
第７の実施の形態の表示装置について説明する。本実施の形態に係る表示装置は、図２９、図３１、図３２に示す第４の実施の形態の表示装置１００や、図３３、図３４に示す第４の実施の形態の変形例１の表示装置１００と同様の構成を有している。第７の実施の形態の表示装置１００においても、第５の実施の形態やその変形例１〜４や第６の実施の形態やその変形例１の表示装置１と同様に、空中像の表示位置を変更可能に構成される。
図４６に示す通り、本実施の形態に係る表示装置１００は、図２９に示す第４の実施の形態の表示装置１００の構成に加えて、表示位置変更部５００と表示位置制御部２２０とを備える。検出基準制御部２０４は、第５の実施の形態やその変形例１〜４や第６の実施の形態やその変形例１の場合と同様にして、操作検出器１３の検出出力に基づき、指の到達位置５０を判定する。表示位置制御部２０６は、指の到達位置５０に基づき、表示位置変更部５００に空中像３００の位置を結像光学系１２の光軸方向に移動させる。この場合、表示位置変更部５００は、表示器１１１をＸ方向に移動させることで、空中像３０をＺ方向に移動させる。すなわち表示器１１１をＸ方向＋側へ移動させることで空中像３０をＺ方向＋側へ移動させ、表示器１１１をＸ方向−側へ移動させることで空中像３０をＺ方向−側へ移動させることができる。勿論、表示位置変更部５００は、表示器１１１を移動させず、結像光学系１１２を平行移動させても良いし、結像光学系１１２と表示器１１１とを共に移動させても良い。
上記説明の各実施の形態およびそれらの変形例においては、検出基準４０の位置を移動させる、また空中像３０の表示位置を移動させることにより、検出基準４０と空中像３０（あるいはアイコン３０Ａ等）との相対的位置関係を調整するようにキャリブレーション処理を行った。しかし、検出基準４０と空中像３０との相対的位置関係を調整するためには、検出基準４０と空中像３０との両方を移動させてもよい。
なお、上述の第７の実施の形態では、制御部２０と表示器１１１と操作検出器１１３とを少なくとも含む表示装置１００を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と表示器１１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と表示位置制御部２２０とを備えればよい。上述の第７の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
−第８の実施の形態−
以上の実施の形態及びその変形例は、キャリブレーション処理における指先の到達位置や指定位置に基づいて検出基準およびまたは空中像を制御または変更して、検出基準と空中像の表示位置との位置関係を変更するものであった。次に、キャリブレーション処理における所定の非接触操作が検出基準で検出されない場合に検出基準を変更する第８の実施の形態を説明する。
本実施の形態の表示装置１は、図１、図２に示す第１の実施の形態の表示装置１と同様の構成を備える。第８の実施の形態の表示装置１は、空中像操作モードにおいて、表示制御部２０２と表示器１１と結像光学系１２が図４７（ａ）および（ｂ）に示す空中像操作モード用の空中像３０を空中に表示する。図４７（ａ）において、空中像３０は、たとえば２個の矩形状のアイコン３０Ｄ、３０Ｅを含む。
検出基準制御部２０４は、図４７（ｂ）および図４７（ｃ）に示したように、空中像３０に含まれる２個のアイコン３０Ｄ、３０Ｅのそれぞれについて、直方体形状の検出基準４２を初期設定する。アイコン３０Ｄに対応する検出基準４２の横断面の大きさは、図４７に明示するように、アイコン３０Ｄの大きさに対応する。上下方向、即ちＺ方向の高さはＤ１である。即ち、直方体状の検出基準４２は、横断面の一辺の長さＷ１がアイコン３０Ｄの一辺の長さＷ１に等しく、横断面の他の一辺の長さＷ２がアイコン３０Ｄの他の一辺の長さＷ２に等しく定められている。
直方体状の検出基準４２について、その上面を上部基準面４２ａとし、下面を下部基準面４２ｂとし、長さＷ２とＤ１とで生成される側面を側部基準面４２ｃとし、長さＷ１とＤ１とで生成される側面を側部基準面４２ｄと称する。検出基準４２の外部を検出基準外４１と称する。
また、本実施の形態では、検出基準４２を直方体形状として説明するが、これに限定されるものではない。球状、円柱状や角柱状等でもよいし、それ以外の形状でもよい。
空中像３０は、検出基準４２の上部基準面４２ａと下部基準面４２ｂとの中間に位置するように、即ち空中像３０と上部基準面４２ａとの距離と、空中像３０と下部基準面４２ｂとの距離とが等しくなるように定められている。なお、空中像３０は上部基準面４２ａと下部基準面４２ｂとの中間に位置するものに限定されず、空中像３０と上部基準面４２ａとの距離が空中像３０と下部基準面４２ｂとの距離とが等しくないものや、空中像３０が上部基準面４２ａよりも上方に位置するものや、空中像３０が下部基準面４２ｂの下方に位置するものでも良い。つまり、Ｚ軸方向から見て、空中像３０（アイコン３０Ｄ、３０Ｅ）と検出基準４２の基準面４２ａ、４２ｂとが重畳された状態であればよい。
なお、アイコン３０Ｅに対応する検出基準４２も、アイコン３０Ｄに対応する検出基準４２と同様に、横断面がアイコン３０Ｅの形状に対応し所定の高さを有する直方体形状であるとする。
空中像操作モードでは、ユーザが検出基準４２に対して、所定の非接触操作を行うことにより表示装置１はアイコン３０Ｄやアイコン３０Ｅに割り当てられた機能を実行する。図４８（ａ）〜（ｃ）に本実施の形態における所定の非接触操作６００Ａ〜６００Ｃ（総称する場合には所定の非接触操作６００と称する）の例を示す。図４８では、所定の非接触操作６００Ａ〜６００Ｃを指Ｆが移動する際の軌跡として矢印を用いて模式的に示す。図４８（ａ）に示す所定の非接触操作６００Ａは、ユーザが指Ｆを距離Ｌ１だけ下降移動した後にＵターンして、距離Ｌ１だけ上方に移動する操作である。即ち、この所定の非接触操作６００Ａは、下降移動距離と上昇移動距離とが等しいＵターン軌跡である。また、所定の非接触操作６００Ａは、Ｕターン、即ちＵ字の軌跡ではなく、Ｖ字の軌跡を描くものでも良く、また、指Ｆが距離Ｌ１だけ下降移動した後にその下降軌跡に沿って距離Ｌ１だけ上方に移動する操作であってもよい。更には、所定の非接触操作６００Ａは、下降移動距離Ｌ１と上昇移動距離Ｌ１とが等しくなく異なっていても良い。本実施の形態における所定の非接触操作６００Ａとは、指の下降移動に引き続き指の上昇移動がなされる操作であれば良い。
図４８（ｂ）の所定の非接触操作６００Ｂは、ユーザが指Ｆを距離Ｌ１だけ下降移動した後、所定時間指Ｆを停止するものである。図４８（ｃ）の所定の非接触操作６００Ｃは、ユーザが指Ｆを距離Ｌ１だけ下降移動した後、指Ｆを横方向に少なくとも所定距離Ｌ２移動させる操作である。
所定の非接触操作６００は、上述した種々の指Ｆの移動軌跡で表されるものに限られず、その移動軌跡（指Ｆや手の移動軌跡）が操作検出器１３で検出することができるものであれば、その他の移動軌跡を描くものであっても良い。
空中像操作モードでは、操作検出器１３によって所定の非接触操作６００が検出基準で検出されると、このユーザの指Ｆの移動を検出した操作検出器１３の検出出力に基づき、検出基準制御部２０４は、指Ｆがアイコンの表示位置を操作したと判定する。
図４９は、検出基準制御部２０４によって、前述の所定の非接触操作６００のうち非接触操作６００Ａが検出基準４２で行われたと判定される場合を例示する。所定の非接触操作６００Ａ１は、指Ｆが上部基準面４２ａから下方に距離Ｌ１移動し、引き続きＵターンし上方に距離Ｌ１移動して、指Ｆが上部基準面４２ａに達した場合を示す。所定の非接触操作６００Ａ２は、指Ｆが上部基準面４２ａと下部基準面４２ｂとの中間で指Ｆが下方に距離Ｌ１移動し、引き続きＵターンし上方に距離Ｌ１移動した場合を示す。所定の非接触処理６００Ａ３は指Ｆが下方に距離Ｌ１移動して下部基準面４２ｂにおいてＵターンし上方に距離Ｌ１移動した場合を示す。
以上のように、検出基準制御部２０４は、図４９に示されたように、所定の非接触操作６００Ａの距離Ｌ１の下降移動と、Ｕターンと、距離Ｌ１の上昇移動との全てが検出基準４２内で行われた場合に、所定の非接触操作６００Ａが検出基準４２で行われたと判定する。即ち、検出基準制御部２０４は、所定の非接触操作６００Ａを検出基準４２で検出する。
以上では、所定の非接触操作６００Ａを例として、検出基準制御部２０４が、所定の非接触操作６００が検出基準４２で行われたか否かを判定する方法を説明した。他の所定の非接触操作６００Ｂ、６００Ｃ等についても同様である。検出基準制御部２０４は、所定の非接触操作６００の全体が検出基準４２で行われた場合に、所定の非接触操作６００が検出基準４２で行われたと判定する。所定の非接触操作６００の一部でも検出基準外４１で行われた場合には、所定の非接触操作６００が検出基準４２で行われたと判定しない。所定の非接触操作６００が上下方向に距離Ｌ１の移動を伴う操作である場合、検出基準４２の幅Ｄ１、即ち上部基準面４２ａと下部基準面４２ｂとの間隔（Ｚ方向の長さ）は、少なくとも距離Ｌ１以上必要であり、例えば距離Ｌ１の１．５倍〜３倍程度に定められる。
なお、図４９において検出基準外４１とは、検出基準４２の外側の外部空間である。詳述すると、図４７（ｃ）において、検出基準４２の上部基準面４２ａと、下部基準面４２ｂと、側部基準面４２ｃと、側部基準面４２ｄとで囲まれた空間以外の外側空間である。
次に、所定の非接触操作６００が検出基準外４１で検出される場合を説明する。所定の非接触操作６００が検出基準外４１で検出される場合とは、所定の非接触操作６００の全体が検出基準外４１で検出される場合である。
以降、本実施の形態および変形例の説明においては、代表的に所定の非接触操作６００Ａを用いて説明するが、他の非接触操作６００Ｂ、６００Ｃ等においても同等の技術が適用されるものとする。
図５０は、所定の非接触操作６００Ａの全体が検出基準外４１で検出される場合の例を示したものである。図５０（ａ）において、指Ｆによる所定の非接触操作６００Ａの全体が検出基準４２の上部基準面４２ａの上方の位置で行われている。この場合には、所定の非接触操作６００Ａの全体が操作検出器１３と検出基準制御部２０４とによって、検出基準外４１で検出される。
図５０（ｂ）は、指Ｆによる所定の非接触操作６００Ａａの全体が検出基準４２の下部基準面４２ｂの下方の位置で行われ、また、指Ｆによる所定の非接触操作６００Ａｂの全体が検出基準４２の側部基準面４２ｃよりも外側の位置で行われている。これらの場合にも、所定の非接触操作６００Ａａの全体、６００Ａｂの全体が操作検出器１３と検出基準制御部２０４とによって、それぞれ検出基準外４１で検出される。操作検出器１３と検出基準制御部２０４とによって、検出基準外４１で所定の非接触操作６００を検出する方法を説明する。まず、操作検出器１３が指Ｆの移動を逐次検出する。次に、検出基準制御部２０４は操作検出器１３の検出出力に基づき、指Ｆの移動軌跡が所定の非接触操作６００に対応するか否かと、指Ｆの移動軌跡の位置（検出基準４２又は検出基準外４１又は検出基準４２と検出基準外４１との両方）を判定する。この判定結果に基づき、検出基準外４１で所定の非接触操作６００を検出できる。
次に、所定の非接触操作６００が検出基準外４１で検出される場合におけるキャリブレーション処理を図５１、図５２および図５３を参照して説明する。図５１は、所定の非接触操作６００Ａが検出基準外４１であって、検出基準４２の上部基準面４２ａよりも上方の位置で検出される場合である。なお、以下のキャリブレーション処理は、空中像操作用の空中像３０を使用して行うが、図４等に示したキャリブレーション処理用の空中像３００を使用しても良い。
図５１（ａ）において、ユーザが空中像３０のアイコン３０Ｄの表示位置を操作するために、指Ｆを下降移動させ、その指Ｆが操作検出器１３の検出範囲１３Ａの上限１３ａに達すると、操作検出器１３が指の下降移動を逐次検出し、その指の移動に伴う検出出力を順次、記憶部２０５に記憶する。検出基準制御部２０４は、記憶部２０５に記憶された操作検出器１３の検出出力に基づき、指Ｆの移動軌跡が所定の非接触操作６００Ａに対応するか否かを判定するとともに、その指Ｆの移動軌跡の全てが検出基準４２に存在するか否かを判定する。
検出基準制御部２０４が、所定の非接触操作６００Ａが行われたことを判定し、かつ所定の非接触操作の全てが検出基準外４１で行われたと判定すると、検出基準制御部２０４は、記憶部２０５に記憶された操作検出器１３からの検出出力に基づいて、所定の非接触操作６００Ａの操作開始位置と上部基準面４２ａとの間隔ΔＨ１０を算出する。この間隔ΔＨ１０は、上述のように、所定の非接触操作６００Ａの操作開始位置と上部基準面４２ａの位置とから算出することができるが、以下の方法によっても算出することができる。即ち、所定の非接触操作６００Ａの最も低い位置、すなわち所定の非接触操作６００Ａの到達位置を記憶部２０５に記憶された操作検出器１３からの検出出力に基づいて求め、この所定の非接触操作６００Ａの到達位置と上部基準面４２ａの位置との間隔を算出し、この算出された間隔に所定の非接触操作６００Ａの距離Ｌ１を加算することによっても、間隔ΔＨ１０を算出することができる。
間隔ΔＨ１０が算出されると、検出基準制御部２０４は、図５１（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４２の全体を図中上方に移動する。移動された検出基準４２を一点鎖線で示す。検出基準４２の上方への移動量は、図５１（ｂ）に示したように距離ΔＨ１０と略等しくいてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外４１であって、検出基準４２よりも上方の位置で検出された場合には、検出基準４２の全体を、その所定の非接触操作がなされた位置に近付けるように上方向に移動させて、検出基準４２を変更する。その結果、ユーザの操作が検出基準４２に到達していないために操作が利かない場合、そのユーザの操作位置に合わせて検出基準４２が変更されるため、ユーザの操作上の違和感を緩和することができる。
図５２は、所定の非接触操作６００Ａが検出基準外４１であって、検出基準４２の下部基準面４２ｂよりも下方の位置で検出される場合のキャリブレーション処理を説明する図である。図５２（ａ）において、検出基準制御部２０４が、記憶部２０５に記憶された操作検出器１３の検出出力に基づき所定の非接触操作６００Ａが行われたことを判定し、かつその所定の非接触操作が検出基準外で行われたと判定すると、検出基準制御部２０４は、所定の非接触操作６００Ａの移動軌跡の最も低い位置、すなわち所定の非接触操作６００Ａの到達位置と検出基準４２の下部基準面４２ｂとの間隔ΔＨ１０を算出する。この間隔ΔＨ１０が算出されると、検出基準制御部２０４は、図５２（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４２の全体を図中下方に移動する。移動された検出基準４２を一点鎖線で示す。検出基準４２の下方への移動量は、図５２（ｂ）に示したように距離ΔＨ１０と略等しくいてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外４１であって、検出基準４２よりも下方の位置で検出された場合には、検出基準４２の全体を、所定の非接触操作がなされた位置に近付けるように下方向に移動させて、検出基準４２を変更する。その結果、ユーザの操作が検出基準４２を通り過ぎて操作しているために操作が利かない場合、そのユーザの操作位置に合わせて検出基準４２が変更されるので、ユーザの操作上の違和感を緩和することができる。
図５３は、非接触操作６００Ａが検出基準外４１であって、検出基準４２の側部基準面４２ｃの外側で行われたことが検出された場合のキャリブレーション処理を説明する図である。図５３（ａ）において、検出基準制御部２０４が、記憶部２０５に記憶された操作検出器１３の検出出力に基づき所定の非接触操作６００Ａが行われたことを判定し、かつその所定の非接触操作が側部基準面４２ｃの外側で行われたと判定すると、検出基準制御部２０４は、検出基準４２の側部基準面４２ｃと所定の非接触操作６００Ａの移動軌跡のうち、側部基準面４２ｃから最も離れた部分との距離ΔＨ１０を算出する。この距離ΔＨ１０が算出されると、検出基準制御部２０４は、図５３（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４２の全体を図中の横方向、即ち所定の非接触操作６００Ａに近づく方向に移動させる。移動された検出基準４２を一点鎖線で示す。検出基準４２の横方向への移動量は、図５３（ｂ）に示したように距離ΔＨ１０と略等しくしてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外４１であって、検出基準４２の側部基準面４２ｃまたは４２ｄの外側の位置で検出された場合には、検出基準４２の全体を、所定の非接触操作がなされた位置に近付けるように移動し、検出基準４２を変更する。その結果、ユーザの操作が検出基準４２から外れて操作しているために操作が利かない場合、そのユーザの操作位置に合わせて検出基準４２が変更されるので、ユーザの操作上の違和感を緩和することができる。
なお、図５１〜図５３においては、算出した変更量ΔＨ１０だけ検出基準４２を変更するものとしたが、間隔ΔＨ１０に所定量ｈを加算した値を変更量として検出基準４２を変更してもよい。所定量ｈは、所定の非接触操作６００の到達位置の差分（非接触操作の到達位置から検出基準４２の最も近い基準面までの差分）を平均した値や複数の非接触操作６００の開始位置の差分（非接触操作の開始位置から検出基準４２の最も近い基準面までの差分）を平均した値等があげられる。また、所定量ｈは、予め設定された固定の値でもよい。その場合、間隔ΔＨ１０にマージンとなる所定量ｈが加算された分だけ検出基準４２が移動することになる。そのため、キャリブレーション処理のときに行った非接触操作と厳密に同一の位置で非接触操作を行うことができない場合でも所定量ｈの範囲内での誤差であればユーザの非接触操作を検出基準４２で検出することができる。ユーザの非接触操作の開始位置や到達位置が操作毎に変動しても、ユーザの非接触操作を検出基準４２で検出できる。したがって、間隔ΔＨ１０に所定量ｈを加算した値を変更量とした場合、間隔ΔＨ１０の値を変更量とした場合よりも非接触操作を検出基準４２で検出する割合を高くすることができる。
次に、所定の非接触操作６００とは異なる操作が、検出基準外４１で検出される場合を説明する。所定の非接触操作６００とは異なる操作が、検出基準外４１で検出される場合とは、所定の非接触操作６００の全てではなく、そのうちの一部分のみが、検出基準外４１で検出される場合である。
図５４は、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合の例を示したものである。図５４（ａ）において、指Ｆによる所定の非接触操作６００Ａの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４２の上部基準面４２ａよりも上方の位置で行われ、その残部が検出基準４２内で行われている。言い換えると、検出基準４２で検出された所定の非接触操作６００Ａの一部と、検出基準外４１で検出された所定の非接触操作６００Ａの一部とを合わせると、所定の非接触操作６００Ａになる。
この場合、所定の非接触操作６００Ａの一部が操作検出器１３と検出基準制御部２０４とによって、検出基準外４１で検出される。
図５４（ｂ）において、指Ｆによる所定の非接触操作６００Ａａの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４２の下部基準面４２ｂよりも下方の位置で行われ、その残部が検出基準４２内で行われている。言い換えると、検出基準４２で検出された所定の非接触操作６００Ａａの一部と、検出基準外４１で検出された所定の非接触操作６００ＡのＡａの一部とを合わせると、所定の非接触操作６００Ａａになる。
また、指Ｆによる所定の非接触操作６００Ａｂの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４２の側部基準面４２ｃの外側で行われ、その残部が検出基準４２内で行われている。言い換えると、検出基準４２で検出された所定の非接触操作６００Ａｂの一部と、検出基準外４１で検出された所定の非接触操作６００Ａｂの一部とを合わせると、所定の非接触操作６００Ａｂになる。
これらの場合にも、所定の非接触操作６００Ａａの一部、またはＡｂの一部が操作検出器１３と検出基準制御部２０４とによって検出基準外４１で検出される。
次に、所定の非接触操作６００と異なる操作が検出基準外４１で検出される場合におけるキャリブレーション処理を図５４を参照して説明する。
図５４（ａ）に示す所定の非接触操作６００Ａのように、所定の非接触操作６００Ａの一部が検出基準４２で行われ、その残部が上部基準面４２ａよりも上方の位置で行われた場合に関するキャリブレーション処理は、図５１の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４２の全体を図中上方に移動する。
図５４（ｂ）に示す所定の非接触操作６００Ａａのように、所定の非接触操作６００Ａａの一部が検出基準４２で行われ、その残部が下部基準面４２ｂよりも下方の位置で行われた場合に関するキャリブレーション処理は、図５２の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４２の全体を図中下方に移動する。
図５４（ｂ）に示す所定の非接触操作６００Ａｂのように、所定の非接触操作６００Ａｂの一部が検出基準４２で行われ、その残部が側部基準面４２ｃの外側の位置で行われた場合に関するキャリブレーション処理は、図５３の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４２の全体を横に移動する。
上記説明のキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げ、図５５に示すフローチャートを参照して説明する。なお、図５５のフローチャートはステップＳ７０１〜Ｓ７０９を示し、ステップＳ７０９以降の処理は、図６のステップＳ９以降の処理と同様のためここでの記載は省略する。ステップＳ７０１〜Ｓ７０３の各処理は、図６に示したフローチャートにおけるステップＳ１〜Ｓ３の各処理と同様である。ステップＳ７０４において、操作検出器１３からの検出出力に基づいて、ユーザによる操作（より具体的にはユーザによる空中像３００のアイコン３００Ａの表示位置への操作）が所定の非接触操作であるか否かを判定する。所定の非接触操作である場合には、ステップＳ７０４が肯定判定されてステップＳ７０５へ進み、所定の非接触操作ではない場合には、ステップＳ７０４が否定判定されて肯定判定されるまで待機する。
ステップＳ７０５では、所定の非接触操作が検出基準４２で行われたか否かを判定する。図４９に示すように所定の非接触操作が検出基準４２で行われた場合には、ステップＳ７０５が肯定判定されて、後述するステップＳ７０８へ進む。所定の非接触操作が検出基準４２で検出されない場合、すなわち（１）所定の非接触操作の全部が検出基準外４１で検出された場合、または（２）所定の非接触操作の一部が検出基準４２で検出され他の一部が検出基準外４１で検出された場合には、ステップＳ７０５が否定判定されてステップＳ７０６へ進む。ステップＳ７０６では、所定の非接触操作と検出基準４２との位置関係に基づいて、検出基準４２の変更量を算出してステップＳ７０７へ進む。
ステップＳ７０７では、ステップＳ７０６で算出した変更量に基づいて検出基準４２の位置を変更してステップＳ７０８へ進む。ステップＳ７０８において、第１のキャリブレーション処理モードを終了して、ステップＳ７０９へ進む。ステップＳ７０９において、空中像操作モードを開始する。以上のように、ユーザの所定の非接触操作が検出基準で検出されなかった場合に、検出基準の位置が変更される。つまり、検出基準４２の上下方向の中心位置および／または左右方向の中心位置が変更される。この検出基準の位置の変更によって、ユーザにとって適した場所で操作が可能になる。また、検出基準と空中像との位置関係をユーザの操作に適した位置関係に変更することができる。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、図５５のフローチャートは第２のキャリブレーション処理モードにも適用できる。
なお、上述した第８の実施の形態では、検出基準４２は、各アイコン３０Ｄ、３０Ｅのそれぞれに対応して設定されるものとして説明したが、これに限られない。複数のアイコンに共通して検出基準４２が設定されるものであってもよいし、空中像３０の全域に１個の検出基準４２が設定されるものであってもよい。
（第８の実施の形態の変形例１）
第８の実施の形態では、所定の非接触操作６００が検出された空間上での位置と検出基準４２との位置関係に基づいて、検出基準４２を上下方向および／または左右方向に変更した。すなわち検出基準４２の上下方向の中心位置および／または左右方向の中心位置を変更するものとして説明した。変形例１の表示装置１は、検出基準４２と所定の非接触操作６００との空間上における位置関係を変更する際に、検出基準４２の幅Ｄ１の大きさを変更してもよい。たとえば、図５０（ａ）に示すように、所定の非接触操作６００Ａが検出基準４２の上方の検出基準外４１で検出された場合には、下部基準面４２ｂの位置を変更することなく、上部基準面４２ａのみを変更量ΔＨ１０だけ上方に変更してもよい。すなわち、検出基準４２の幅Ｄ１を変更することにより、検出基準４２の上下方向の中心位置を変更しても良い。または、上部基準面４２ａを変更量ΔＨ１０だけ上方に変更し、下部基準面４２ｂを変更量ΔＨ１０だけ下方に変更してもよい。すなわち、検出基準４２の幅Ｄ１を上下方向に同一の変更量ΔＨ１０にて変更することにより、検出基準４２の上下方向の中心位置を変更することなく検出基準４２を変更しても良い。なお、図５０（ｂ）に示すように、検出基準４２の下方に所定の非接触操作６００Ａａが検出された場合には、下部基準面４２ｂの位置を変更量ΔＨ１０だけ下方に変更しても良いし、下部基準面４２ｂの位置を変更量ΔＨ１０だけ下方に変更するとともに上部基準面４２ａの位置を変更量ΔＨ１０だけ上方に変更しても良い。なお、検出基準４２の右側に所定の非接触操作６００Ａｂが検出された場合にも、同様に左右方向に側部基準面４２ｃの位置を変更しても良い。すなわち、検出基準４２の左右方向の中心位置を変更して検出基準４２を変更しても良いし、中心位置を変更することなく検出基準４２の幅を変更するようにしても良い。
（第８の実施の形態の変形例２）
変形例２の表示装置１について説明する。変形例２の表示装置１は、キャリブレーション処理のときに行われた所定の非接触操作６００が検出基準外４１で検出された場合、所定の非接触操作６００と検出基準４２との距離が所定の値以下の場合に、検出基準４２を変更する。図５０（ａ）に示すように所定の非接触操作６００Ａが検出基準４２の上方の検出基準外４１で検出された場合を例に挙げる。この場合、間隔ΔＨ１０が所定の値以下であると判定されると、すなわち所定の非接触操作６００Ａが検出基準４２の近傍にて行われたと判定されると、表示装置１はユーザが空中像の表示位置への操作を行う意図を有していたものと見なし、検出基準４２を変更する。間隔ΔＨ１０が所定の値より大きいと判定されると、すなわち所定の非接触操作６００Ａが検出基準４２から遠く離れた位置にて行われたと判定されると、表示装置１はユーザが空中像の表示位置への操作を行う意図を有していなかった、誤操作であった、または操作を途中で中断したものと見なし、検出基準４２を変更しない。
また、図５４に示すように、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合に、検出基準外４１にて検出された所定の非接触操作６００の一部の空間上の位置と検出基準４２との距離に基づいて、検出基準４２の位置を変更しても良い。たとえば、図５４（ａ）に示すように検出基準４２の上面基準面４２ａよりも上方で検出された非接触操作６００の一部、すなわち距離ΔＨ１０が所定の閾値以下か否かが判定される。距離ΔＨ１０が所定の閾値以下の場合には、図５６（ａ）に示すように、指Ｆの所定の非接触操作６００Ａの全体が検出基準４２で行われたものではないものの、所定の非接触操作６００Ａの大部分が検出基準４２で行われる。この場合、表示装置１は、ユーザが空中像の表示位置への操作を行う意図を有していたものと見なし、検出基準４２の位置が変更される。距離ΔＨ１０が所定の閾値を超える場合には、図５６（ｂ）に示すように、所定の非接触操作６００Ａの大部分が検出基準外４１で行われる。この場合、表示装置１はユーザが空中像の表示位置への操作を行う意図を有していなかった、誤操作であった、または操作を途中で中断したものと見なし、検出基準４２の位置を変更しない。
（第８の実施の形態の変形例３）
第８の実施の形態の変形例３は、第１の実施の形態の変形例１のように、操作検出器１３の検出出力に基づき、ユーザの指先の速度あるいは加速度を算出し、算出した速度または加速度に基づき検出基準４２の位置を変更するものであってもよい。すなわち、所定の非接触操作６００の少なくとも一部の速さに基づいて、特に、所定の非接触操作６００の一部の速さが所定値よりも小さい場合に検出基準４２を変更する。図５７は変形例３の表示装置１のうち、制御部２０と、制御部２０によって制御される表示器１１および操作検出器１３とを示したブロック図である。
ここで所定の非接触操作６００の少なくとも一部の速さ、とは、所定の非接触操作６００のうち少なくとも一部の操作の速さ、を示すものである。所定の非接触操作６００のうちの少なくとも一部の操作、とは、例えば、所定の非接触操作６００が検出基準外４１の位置から検出基準４２に向けて操作された後、引き続き引き返す操作（所定の非接触操作６００Ａ）である場合において、その操作が検出基準外４１から検出基準４２に向かう際の少なくとも一部区間の操作を示す。あるいは、所定の非接触操作６００が検出基準４２のある位置から検出基準４２の一端に向けて操作された後、引き続き引き返す操作（所定の非接触操作６００Ａ）である場合において、その一端に向かう際の少なくとも一部区間を示す。
なお、所定の非接触操作６００の全操作（例えば所定の非接触操作６００Ａにおける下降開始してから引き続き上昇し終えるまでの操作）における速度（加速度）をモニターし、その速度（加速度）の平均値を算出して、その平均値に基づいて操作の強弱を判断し、次回以降の操作検出の際に検出基準４２を変更するようにしてもよい。例えば、操作速度が平均的に速い場合には検出基準４２を突き抜ける可能性があるので、次回以降の検出基準４２の幅を広げるよう制御してもよい。
図５７に示す速度・加速度検出部２０６は、第１の実施の形態の変形例１と同様に、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出する。また、算出した速度から指の移動加速度を算出し、所定値を超えるか否かを判定する。操作予測部２１１は、速度・加速度検出部２０６により算出された移動速度および／または移動加速度が所定値以下の場合には、速度・加速度検出器２０６から出力される指の移動速度または加速度に基づき、指Ｆの移動軌跡を算出、すなわち予測する。検出基準制御部２０４は、操作予測部２１１により予測された指Ｆの移動軌跡に基づいて、検出基準４２を変更する。すなわち、予測された指Ｆの移動軌跡が検出基準４２にない場合、所定の非接触操作６００は検出基準４２で検出されないと判断する。その場合、第８の実施の形態の場合と同様にして、算出した変更量ΔＨ１０にて検出基準４２を変更する。また、予測された指Ｆの移動軌跡が検出基準４２にある場合、所定の非接触操作６００は検出基準４２で検出されると判断し、検出基準４２を変更しない。
また、操作予測部２１１は、速度・加速度検出部２０６により算出された移動速度および／または移動加速度が所定値以上の場合に、指Ｆの移動軌跡を予測し、検出基準４２を変更してもよい。即ち、指Ｆの移動速度および／または移動加速度が所定値以上の場合に予測された指Ｆの移動軌跡が、検出基準４２にない場合、所定の非接触操作６００は検出基準４２で検出されないと判断する。その場合、第８の実施の形態の場合と同様にして、算出した変更量ΔＨ１０にて検出基準４２を変更する。
次に、変形例３の表示装置１による第１のキャリブレーション処理モードを図５８及び図５９を参照して説明する。図５９のフローチャートにおいて、ステップＳ７６４からステップＳ７６６は、図５６のフローチャートと同一であるので、説明を省略する。図５８（ａ）に示したように、指Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ７６４において操作検出器１３が指Ｆの移動を静電容量値の変化として検出する。ステップＳ７６５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度及び加速度を算出する。ステップＳ７６５で、操作予測部２１１が速度・加速度検出部２０６によって算出された移動速度及び加速度が第１所定値以上第２所定値以下であるか否かを判定する。第１所定値は、検出基準４２の上方からの下方への指Ｆの移動が上部基準面４２ａに届かないことが予測される速度および加速度に対応して決定され、第２所定値は第１所定値よりも大きな値であって、指Ｆの下方への移動が下部基準面４２ｂを通過することが予測される速度および加速度に対応して決定されている。指先Ｆの移動速度及び加速度が第１所定値以上第２所定値以下の場合には、ステップＳ７６５が肯定判定されてステップＳ７７０へ進む。指Ｆの移動速度及び加速度が第１所定値より小さいまたは第２所定値より大きい場合には、ステップＳ７６５が否定判定されてステップＳ７６７へ進む。
ステップＳ７６７では、操作予測部２１１が速度・加速度検出部２０６が算出した移動速度及び加速度に基づき指先Ｆの移動軌跡を算出する。図５８（ｂ）において、移動速度、移動加速度が第１所定値以下の場合に操作予測部２１１が算出した、即ち予測した指Ｆの移動軌跡を破線６００Ａｃで示す。ステップＳ７６８において、検出基準制御部２０４は、図５１に示した場合と同様にして検出基準４２の変更量ΔＨ１０を算出し、検出基準４２を変更する。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
なお、上述の説明では、操作予測部２１１が指先Ｆの移動軌跡を算出するものとしたが、移動軌跡を算出しなくても良い。即ち、表示装置１の制御部２０は操作予測部２１１を備えず、速度・加速度検出部２０６によって算出された移動速度および移動加速度が所定値以下の場合には、予め決められた変更量だけ検出基準４２を変更しても良い。例えば、検出基準４２より所定距離だけ上の位置で、移動速度または移動加速度を検出し、検出された移動速度または移動加速度が所定値以下の場合には、指Ｆが検出基準４２に到達しないと予測し、検出基準４２を変更する。
また、なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出したが、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、ユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
（第８の実施の形態の変形例４）
第８の実施の形態およびその変形例１〜３に係る表示装置１は、一回のキャリブレーション処理において、所定の非接触操作６００Ａの空間上の位置と検出基準４２との位置関係に基づいて、検出基準４２の位置を変更した。即ち、１回のユーザ操作で、１回のキャリブレーション処理を行った。変形例４に係る表示装置１は、複数回のユーザ操作で、１回のキャリブレーション処理を行う。つまり、所定の非接触操作６００Ａが検出基準外４１で検出された回数又は所定の非接触操作６００Ａが検出基準４２で検出された回数に基づいて検出基準４２を変更する。
第１回目のユーザ操作において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指Ｆが所定の非接触操作６００Ａを行ったか否かを判定し、所定の非接触操作６００Ａが行われたことを検出した場合にはその所定の非接触操作６００Ａが行われた空間上の位置を検出する。所定の非接触操作６００Ａが検出基準４２で行われたことを検出した場合には、検出基準制御部２０４は、第１回目のキャリブレーション処理は成功と判定し記憶部２０５に判定結果を記憶する。所定の非接触操作６００Ａが検出基準外４１で検出された場合には、検出基準制御部２０４は、第１回目のユーザ操作は失敗と判定し、第８の実施の形態と同様にして変更量ΔＨ１０を算出し、記憶部２０５に判定結果と変更量ΔＨ１０とを記憶する。引き続き、第２回目のユーザ操作において、操作成功または失敗の判定結果および／または変更量ΔＨ１０が記憶部２０５に記憶される。更に、引き続き第３回目のユーザ操作において、処理を行っても良い。
上記のように、連続的に行われた複数回のユーザ操作において記憶部２０５に記憶された上述の複数の判定結果および／または変更量ΔＨ１０に基づいて検出基準４２を変更する。これら複数回のユーザ操作の判定結果および／または変更量ΔＨ１０に基づいて検出基準４２の変更を行うか否かを決定するには、種々の方法が考えられる。たとえば、連続した複数回のユーザ操作において、判定結果として失敗が記憶部２０５に連続で記憶されている場合、検出基準４２を変更する。具体的には、第１回目のユーザ操作と第２回目のユーザ操作とが共に失敗と判定されている場合に、検出基準４２を変更する。第１回目のユーザ操作は成功と判定され、第２回目のユーザ操作と第３回目のユーザ操作とが失敗と判定された場合に、検出基準４２を変更してもよい。また、複数回のユーザ操作のうち失敗と判定されたユーザ操作が所定回以上存在する場合に、検出基準４２を変更しても良い。具体的には、１０回のユーザ操作のうち、５回以上のユーザ操作が失敗と判定された場合に、検出基準４２を変更する。この場合、５回目にユーザ操作が失敗と判定された時点（失敗判定が５回累積された時点）で検出基準４２を変更してもよいし、１０回のユーザ操作の全てが終了した後、検出基準４２を変更しても良い。なお、検出基準外４１で所定の非接触操作６００Ａが検出される頻度が高い場合には、検出基準４２を変更する頻度を高くしても良い。即ち、１０回のユーザ操作のうち５回以上のユーザ操作が失敗と判定された場合に、検出基準４２を変更すると設定されている場合に、１０回のユーザ操作のうち８回のユーザ操作が失敗と判定されたとする。その場合には、次回以降は、５回のユーザ操作のうち３回以上のユーザ操作が失敗と判定された場合に検出基準４２を変更するようにしても良い。
複数回のユーザ操作の結果を用いて検出基準４２を変更する場合、変更量ΔＨ１０は、第１の実施の形態の変形例２にて検出基準を決定する際の算出方法と同様の処理を行えば良い。すなわち、失敗判定が成されたユーザ操作にて算出された変更量を相加平均や相乗平均することにより、一つの変更量ΔＨ１０が算出されれば良い。この場合も、第１の実施の形態の変形例２にて説明したように、適当な重み付けを行って新たな変更量ΔＨ１０を算出することができる。
なお、複数回のユーザ操作の結果に基づいて検出基準４２を変更する場合、それぞれのユーザ操作にて算出された変更量ΔＨ１０の相加平均や相乗平均の値が所定の閾値を超える場合や、それぞれのユーザ操作にて算出された変更量ΔＨ１０が増加傾向にある場合に、検出基準４２を変更しても良い。
なお、以上の説明では、所定の非接触操作６００Ａが検出基準外４１で検出された場合の回数に基づいて検出基準４２の位置を変更する例を挙げたが、所定の非接触操作６００Ａと異なる操作、すなわち所定の非接触操作６００Ａの一部が検出基準外４１で検出されたときのユーザ操作も失敗と見なしても良い。すなわち、複数回のユーザ操作のうち、連続して所定の非接触操作６００Ａの一部が検出基準外４１で検出された場合や、所定の非接触操作６００Ａの一部が検出基準外４１で所定回以上検出された場合も、検出基準４２が変更されても良い。
（第８の実施の形態の変形例５）
上述の第８の実施の形態では、所定の非接触操作６００は、ユーザが表示位置１に向けて指Ｆを押し込む操作であった。例えば、図４８（ａ）に示すような指ＦがＵターンする操作であったが、これに限られない。所定の非接触操作６００は、表示位置において三本の指を出すことでもよいし、身体の前において指Ｆの表示位置１への移動動作であってもよい。また、所定の非接触操作６００は指Ｆの移動が所定の時間、例えば２０秒間停止する動作であってもよい。
上述の実施の形態では、検出基準制御部２０４が、所定の非接触操作６００が行われたか否かを、操作検出器１３の検出出力に基づき判定した。ところが、ユーザによっては、所定の非接触操作６００を正確に行わない場合、または上手く行うことができない場合がある。例えば、所定の非接触操作６００が、指の１０ｃｍの下降移動とそれに引き続く１０ｃｍの上昇移動である場合に、ユーザによっては、非接触操作として、指の５ｃｍの下降移動とそれに引き続く５ｃｍの上昇移動と、を行う場合がある。また、所定の非接触操作６００が表示位置１において三本の指を出すことである場合に、ユーザによっては三本目の指が上手く開かず、二本の指を出すことがある。また、所定の非接触操作６００が身体の前において指Ｆの表示位置への移動動作である場合に、ユーザによっては身体の横で指Ｆの表示位置への移動を行う場合がある。また、所定の非接触操作６００は指Ｆの移動が所定の時間、例えば２０秒間停止するである場合に、ユーザによっては２０秒に達する前に、例えば１５秒程度で指を動かしてしまう場合がある。
このような場合、例えば検出基準４２の中心位置や検出幅を変更することによって、ユーザ操作の全てを検出基準４２で検出できるようにしていたとしても、ユーザの実行している操作自体（ユーザの操作として検出される検出値自体）が「所定の非接触操作６００」（所定の非接触操作６００を示す基準値）と一致しなければ、たとえ検出基準４２（上述のような位置や幅）を設定（変更）したとしても、ユーザ操作を認識できない。このような場合、検出基準４２の変更として、所定の非接触操作６００を示す基準値を変更することによって、ユーザの操作を所定の非接触操作６００である、と認識することができる。
従って、ユーザが或る非接触操作を行った時に、その或る非接触操作が所定の非接触操作６００と同一ではないが、所定の非接触操作６００と類似の動作、または紛らわしい動作等である場合には、表示装置１は、ユーザが、所定の非接触操作６００を行っていると推測する。そして、表示装置１は、自身が記憶している、所定の非接触操作６００を示す基準値（所定の非接触操作６００の定義）を、ユーザの行っている操作そのもの（ユーザの操作として検出される検出値）に変更（更新）する。例えば、検出基準制御部２０４は、ユーザの非接触操作を検出し、検出したユーザの非接触操作の検出値と、所定の非接触操作６００を示す予め記憶されている基準値とを比較する。所定の非接触操作６００を示す基準値とは、表示装置１に予め記憶されている所定の非接触操作６００の定義やテンプレート等を示すものである。比較の結果、両者の類似度が所定の閾値を越えるとき、所定の非接触操作６００の基準値（予め記憶されている値）を、検出したユーザの非接触操作の検出値に基づいて変更する。これにより、ユーザの行っている非接触操作で操作が利くようにする。例えば、所定の非接触操作６００を示す基準値として、「指Ｆが１０ｃｍ下降する」ことを示す値が記憶されているとする。指Ｆが５ｃｍしか下降していないことを検出した場合、所定の非接触操作６００を示す基準値を「指Ｆが５ｃｍ下降する」ことを示す値に変更する。このように、所定の非接触操作６００を示す基準値を変更することで、所定の非接触操作６００と類似している非接触操作でも操作できるようになる。また、所定の非接触操作６００の基準値を、ユーザの非接触操作の操作量が少なくても操作が利くように変更することで、ユーザの操作の負担を軽減できる。
また、所定の非接触操作を示す基準値として「身体の「前で」指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動する」という動作を示す値が記憶されているとする。ユーザが身体の「横で」指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動している場合、上記の所定の非接触操作６００を示す基準値を「身体の横で指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動する」という動作を示す値に変更する。これによって、身体の横で指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動する動作で表示装置１を操作できるようになる。
なお、ユーザの複数の操作に基づいて検出基準４２（所定の非接触操作６００を示す基準値）を変更してもよい。つまり、所定の非接触操作６００とは異なるが、類似した非接触操作が複数回行われた場合に、上記の所定の非接触操作６００を示す基準値を変更してもよい。
このように、所定の非接触操作６００を示す基準値を変更することが検出基準４２の変更に含まれる。
（第８の実施の形態の変形例６）
第８の実施の形態のおよびその変形例１〜５に係る表示装置１は、所定の非接触操作６００や所定の非接触操作６００の一部が検出基準外４１で検出された場合等に、検出基準４２を変更した。
検出基準４２の変更を指示する操作が検出基準４２で検出された場合に、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、変形例６では、キャリブレーションを指示するジェスチャーが表示装置１に記憶されており、ユーザが検出基準４２でキャリブレーションを指示するジェスチャーを行った場合、検出基準４２を変更してもよい。また、検出基準外４１でキャリブレーションを指示するジェスチャーを検出した場合にも、上述と同様にして検出基準４２を変更してもよい。
（第８の実施の形態の変形例７）
検出基準制御部２０４は、音に基づいて、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、表示装置１は、第１の実施の形態の変形例６と同様の集音器１４を有し、制御部２０は、集音器１４から入力した音声データを検出する音声検出部２０８を備える。なお、この場合において、音声検出部２０８は、「ハイ」以外も音声認識可能な周知の音声認識機能を備えるものである。ユーザが、「実行することができない」旨の発言や会話をした場合や、キャリブレーションして欲しい旨を発言した場合等に、変形例７の表示装置１は、音声認識機能を用いてこの会話や発言を検出して検出基準４２を変更する。具体的には、音（発言）を検出したときのユーザの指の位置が含まれるように、検出基準４２を移動してもよいし、検出基準４２の幅を変更してもよい。あるいは、音（発言）を検出したら、所定量、例えば１ｃｍ、ユーザに近づく方向に検出基準４２を移動してもよいし、検出基準４２の幅を変更してもよい。また、音（発言）を検出したときにユーザの操作として検出された検出値になるよう、所定の非接触操作６００を示す基準値を変更してもよい。また、音（発言）を検出したら、所定量だけ所定の非接触操作６００を示す基準値を変更してもよい。例えば、所定の非接触操作６００を示す基準値として、「１０ｃｍ下降する」操作を示す値が記憶されていた場合、音（発言）を検出したら「９ｃｍ下降する」という操作を示す値を、所定の非接触操作６００を示す基準値として変更（更新）してもよい。
なお、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。
（第８の実施の形態の変形例８）
検出基準制御部２０４は、時間に基づいて、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、所定の非接触操作６００が検出基準４２で所定の時間内に検出されなかった場合に、変形例８の表示装置１は検出基準４２を所定量だけ変更する。このために、制御部２０は、計時部を備え、表示装置１の電源スイッチがオンされて、所定の時間、アイコンなどに対する操作がない場合に、所定時間を計時した計時部の出力に基づき検出基準制御部２０４は検出基準４２を所定量だけ変更する。また、或るアイコンなどに対する操作が行われた後に、所定の時間経っても次のアイコンなどに対する操作が行われない場合には、所定の時間を計時した計時部の出力に基づき検出基準制御部２０４は検出基準４２を所定量だけ変更する。
変形例８において所定の時間の計時に基づき検出基準４２を変更する場合は、検出基準４２をユーザの方に近づく方向に所定量移動するように変更することが望ましい。例えば、所定時間にユーザの操作が検出されなかった場合、所定量、例えば１ｃｍ、ユーザに近づく方向に検出基準４２の中心位置（全体位置）を移動しても良いし、検出基準４２の幅を変更しても良い。また、所定時間経過時のユーザの指の位置が含まれるように検出基準４２の中心位置を移動しても良いし、検出基準４２の幅を変更しても良い。また、所定時間経過時にユーザの操作として検出された検出値になるよう、所定の非接触操作６００を示す基準値を変更しても良い。所定時間経過したら、所定量だけ所定の非接触操作６００を示す基準値を変更してもよい。例えば、所定の非接触操作６００を示す基準値として「１０ｃｍ下降する」という操作を示す値が記憶されていた場合、所定時間経過したら「９ｃｍ下降する」という操作を示す値を、所定の非接触操作６００を示す基準値として変更（更新）しても良い。
（第８の実施の形態の変形例９）
検出基準制御部２０４は、ユーザの顔に基づいて、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、変形例９の表示装置１に設けられたカメラによって、ユーザの顔を撮像し、制御部２０においてその撮像画像を解析して、ユーザの顔の所定の表情を検出（いわゆる顔認識機能による所定表情の認識）すると、検出基準４２を変更する。なお、所定の表情は、例えばユーザが上手く操作を行うことができない場合の困った顔などであり、ユーザの困った顔を検出した場合、検出基準４２を変更する。
例えば、表示装置１の顔認識機能を用いて、ユーザが困っていることを検出すると、所定量（例えば１ｃｍ）ユーザに近づく方向に検出基準４２を移動しても良いし、検出基準４２の幅を変更しても良い。また、困っている顔を認識する直前にユーザが行っていた操作を示す検出値を記憶しておき、その記憶しておいた検出値に基づいて、所定の非接触操作６００を示す基準値を変更しても良い。
（第８の実施の形態の変形例１０）
検出基準制御部２０４は、ユーザによるジェスチャー操作が検出基準４２で検出されない場合に、検出基準４２（検出基準４２の位置や幅、所定の非接触操作を示す基準値）を変更してもよい。例えば、所定の非接触操作６００としてのユーザによるジェスチャー操作が、例えば、手によるグー、チョキ、パーなどの動作、または指Ｆの下降移動に引き続く横方向移動の動作の何れかであった場合に、変形例１０の表示装置１は、それら各動作の特徴情報（特徴を示す基準値）をそれぞれ記憶部２０５に予め記憶しておく。そして、表示装置１は、ユーザのジェスチャー操作を検出し、その検出されたジェスチャー操作と、記憶部２０５に記憶されている複数の特徴情報の中から選択された何れか一つの特徴情報とを比較して、そのジェスチャー操作が上記何れか一つの所定の非接触操作に相当するか否かを判定する。表示装置１は、ユーザのジェスチャー操作が検出基準４２で検出されなかった場合に、検出基準４２を変更する。この場合の検出基準４２の変更は、所定の非接触操作６００を示す基準値の選択の変更である。すなわち、例えば表示装置１が、最初はグーを示す特徴情報を検出基準４２での検出の際に使用する基準値として選択しているとする。表示装置１は、その検出基準４２ではユーザ操作を検出できなかった場合に、基準値を、グーを示す特徴情報から、グーとは別の操作（上述の複数のジェスチャー操作における別の操作、例えばチョキ）を示す特徴情報に選択変更する。
（第８の実施の形態の変形例１１）
所定の非接触操作６００が指Ｆの位置が所定の位置に一致する動作である場合には、その所定の位置が検出基準４２の中にある場合や、所定の位置が検出基準外４１にある場合や、所定の位置がアイコンの表示位置に一致する場合や、所定の位置が検出基準４２の位置である場合等がある。所定の位置が検出基準４２の中にある場合には、指が検出基準４２に存在するときに所定の非接触操作６００が行われたと判定する。所定の位置が検出基準外４１にある場合には、指が検出基準外４１にあるときに所定の非接触操作６００が行われたと判定する。所定の位置がアイコンの表示位置に一致する場合には、指Ｆが空中像のアイコンの表示位置に一致したとき、またはアイコンの表示位置を操作したときに所定の非接触操作６００が行われたと判定する。所定の位置が検出基準４２の位置である場合には、指Ｆが検出基準４２と検出基準外４１との境界を通過するときに、または、指が上記の境界を通過し、再度境界を通過するときに、所定の非接触操作６００が行われたと判定する。
（第８の実施の形態の変形例１２）
第８の実施の形態およびその変形例１〜１１では、検出基準４２は上下方向に幅Ｄ１を有するものとして説明したが、第１の実施の形態の検出基準４０のように面で構成されても良い。図６０（ａ）、（ｂ）に示すように、検出基準４０から下方に向かって距離Ｌ１または距離Ｌ１以上の位置にてＵターンを行う所定の非接触操作６００Ａが行われた場合に、検出基準４０にて所定の非接触操作６００Ａが行われたことが検出される。図６１（ａ）に示すように検出基準４０の上方（静電容量検出範囲１３Ａ内）にて所定の非接触操作６００Ａが行われた場合には、検出基準外４１にて、操作検出器１３を用いて所定の非接触操作６００Ａが検出され、図６１（ｂ）に示すように、検出基準４０を通過して所定の非接触操作６００Ａが行われた場合に、所定の非接触操作６００Ａの一部が検出基準外４１にて操作検出器１３を用いて検出される。図６１（ａ）、（ｂ）の場合には、検出基準４０からの距離に基づいて変位量ΔＨ１０を算出し、この変位量ΔＨ１０にて検出基準４０の位置（図６１中のＺ方向の位置）を変更すれば良い。
第８の実施の形態およびその変形例１〜１２を、第４の実施の形態やその変形例１や第７の実施の形態において説明した表示装置１００により行うことができる。
また、第８の実施の形態およびその変形例１〜１２では、空中像の表示位置への操作に対する所定の非接触操作６００を行う場合について説明したが、この例に限定されない。例えば、第８の実施の形態およびその変形例１〜１２の表示装置の表示器１１に表示された画像に対して空間上で所定の非接触操作６００を行う場合にも、所定の非接触操作６００の空間上の位置と検出基準４２との位置関係に基づいて、検出基準４２の位置を変更して良い。
なお、上述の第８の実施の形態とその変形例１〜１２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置、制御部２０と表示器１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とを備えればよい。
以上で説明した各実施形態とその変形例において、表示装置１については、表示器１１に表示された像を結像光学系１２により空中像として生成するという構成を説明した。また、表示装置１００については、表示器１１１に表示された像を結像光学系１１２により空中像として生成するという構成を説明した。しかし、空中像を生成する構成は上記構成に限られず、以下に説明する方法も含まれる。言うまでもなく、以下に説明する構成は一例であり、それ以外の空中像を生成する方法も含まれる。
表示装置において、空中像を生成する構成の例としては、表示装置の表示器に、右目で視認する画像と、右目で視認する画像とは視差を有する左目で視聴する画像とを表示させることにより、ユーザには表示器によって表示されている画像と異なる奥行に感じられる画像を生成方法がある。この方式によれば、ユーザは、表示器に表示された画像に対応する画像が、空中に表示されているように認識する。
また、表示装置として透過型のヘッドマウントディスプレイ（ＨＭＤ）を用い、これをユーザに装着させることもできる。ＨＭＤに画像を表示させると、ユーザは、表示された画像が実際の視界に重畳されることで、ＨＭＤに表示された画像があたかも空中に像が表示されているように感じる。
なお、空中像を生成する方法としては、虚像を投影する方法やユーザの網膜に画像を直接結像させる方法なども挙げられる。また、空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を３次元空間中に自由に制御することで空中に実像として３次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する（フォグディスプレイ）ことで、空中に像を生成してもよい。
表示装置１や１００を用いてキャリブレーションを実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものであってもよい。
なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含む。
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
なお、上述した各実施の形態および各変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置であって、所定の非接触操作を検出基準で検出する検出部と、操作を検出する検出基準と表示との位置関係を変更し、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である検出装置の構成をとっても良い。この検出装置の制御部は、さらに音に基づいて検出基準を変更してもよい。また、この検出装置の制御部はさらに、時間に基づいて検出基準を変更しても良い。また、この検出装置の制御部はさらに、使用者の顔に基づいて検出基準を変更しても良い。また、この検出装置の制御部はさらに、所定の非接触操作として、所定の動きが検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作として押下する操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作としてジェスチャー操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作として、非接触操作を行う操作物体の形が所定の形と一致しなかった場合、検出基準を変更してもよい。また、上述した各実施の形態および各変形例を組み合わせ、空中の表示に対する使用者の操作を検出装置であって、非接触操作を検出する検出基準を備える検出部と、非接触操作を検出する検出基準と表示との位置関係を変更し、検出基準外で検出された非接触操作に基づき、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である検出装置の構成をとっても良い。
なお、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者の操作に基づいて位置関係を変更する検出装置の構成をとっても良い。また、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者の情報に基づいて位置関係を変更する検出装置の構成をとってもよい。また、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者による検出装置の周辺の環境変化に基づいて位置関係を変更する検出装置の構成をとってもよい。
なお、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置であって、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は表示を制御し位置関係を変更する検出装置の構成をとっても良い。
なお、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者の操作に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。また、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者の情報に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。また、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者による検出装置の周辺の環境変化に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。
なお、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、空中の表示に対する使用者の操作を検出する検出基準と表示との位置関係を表示を制御して変更し、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。この制御装置の制御部はさらに、音に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、時間に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、使用者の顔に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、所定の動きが検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、押下する操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、非接触操作としてジェスチャー操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、非接触操作を行う操作物体の形が所定の形と一致しなかった場合、検出基準を変更してもよい。また、上述した各実施の形態および各変形例を組み合わせ、非接触操作を検出する検出基準を備える検出部と、空中の表示に対する使用者の操作を検出する検出基準と表示との位置関係を表示を制御して変更し、検出基準外で検出された非接触操作に基づき、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である制御装置の構成をとっても良い。
本発明の特徴を損なわない限り、本発明は上記実施の形態や上記変形例に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、本発明は上記実施例の形態や上記変形例を適宜組み合わせてもよい。
１、１００ 表示装置
１１、１１１ 表示器
１２、１１２ 結像光学系
１３、１１３ 操作検出器
１４ 集音器
１８、１１８ 撮像装置
１９ 環境検出部
２０ 制御部
１１６ 投光素子
１１７ 受光素子
１１９ アクチュエータ
２０１ 画像生成部
２０２ 表示制御部
２０３ キャリブレーション部
２０４ 検出基準制御部
２０５ 記憶部
２０６ 速度・加速度検出部
２０７ 停止位置予測部
２０８ 音声検出部
２０９ 画像解析部
２１０ ユーザ情報解析部
２２０ 表示位置制御部
５００ 表示位置変更部

Claims (20)

  1. 空中の表示に対する使用者の操作を検出する検出装置であって、
    前記操作を検出する検出基準と前記表示との位置関係を変更する制御部を備え、
    前記制御部は、前記位置関係を使用者によって変更可能であり、前記使用者による前記表示を押下する操作の到達位置を含む所定範囲が前記検出基準となるように前記位置関係を変更し、前記到達位置から前記押下する操作により押し込まれた方向とは反対方向に所定距離離れた位置と前記到達位置とで挟まれた３次元の領域を前記検出基準とする検出装置。
  2. 請求項１に記載の検出装置であって、
    前記制御部は、前記検出基準または前記検出基準外で検出された前記使用者の操作に基づいて前記位置関係を変更する検出装置。
  3. 請求項１または２に記載の検出装置であって、
    前記制御部は、前記押下する操作の速度に基づいて前記押下する操作の到達位置を決める検出装置。
  4. 空中の表示に対する使用者の操作を検出する検出装置であって、
    前記操作を検出する検出基準と前記表示との位置関係を変更する制御部を備え、
    前記制御部は、前記位置関係を使用者によって変更可能であり、前記使用者が指定した指定位置に基づいて、前記位置関係を変更し、
    前記使用者の操作は、前記使用者の指による操作であり、
    前記制御部は、前記使用者の発する音声が検出された場合、検出された前記指の位置を前記指定位置とする検出装置。
  5. 請求項４に記載の検出装置であって、
    前記制御部は、前記表示に前記指定に関する情報の表示をさせる検出装置。
  6. 請求項４または５に記載の検出装置であって、
    前記使用者の操作は、前記使用者の指による操作であり
    前記制御部は、前記指定位置を決定する操作が検出された場合、検出された前記指の位置を前記指定位置とする検出装置。
  7. 請求項１から請求項６のいずれか一項に記載の検出装置であって、
    前記制御部は、前記使用者の情報に基づいて前記位置関係を変更する検出装置。
  8. 請求項７に記載の検出装置であって、
    前記使用者の情報は、前記使用者の年齢に関する情報、前記使用者の体型に関する情報、前記使用者の性別に関する情報、前記使用者の視力に関する情報、前記使用者を特定する情報のうち少なくとも一つを含む情報である検出装置。
  9. 請求項８に記載の検出装置であって、
    前記制御部は、前記使用者によって入力された情報に基づいて前記使用者を特定する検出装置。
  10. 請求項１から請求項９のいずれか一項に記載の検出装置であって、
    前記制御部は、前記使用者による前記検出装置の周辺の環境変化に基づいて前記位置関係を変更する検出装置。
  11. 請求項１から請求項１０のいずれか一項に記載の検出装置であって、
    前記表示に対する前記使用者の操作を前記検出基準に基づいて検出する検出部とを備える検出装置。
  12. 請求項１１に記載の検出装置であって、
    前記使用者の操作を撮像する撮像部とを備え、
    前記検出部は、前記撮像部によって撮像された画像に基づいて前記使用者による操作を検出する検出装置。
  13. 空中像の表示に対する検出対象物の操作を検出し、前記検出対象物に関する情報または前記操作の少なくとも一方に基づいて、前記操作を検出する検出基準と前記表示との位置関係を変更する検出部を備え、
    前記検出基準は、前記検出対象物の少なくとも一部が前記操作により到達する到達位置を含む３次元領域である検出装置。
  14. 請求項１３に記載の検出装置であって、
    前記検出基準は、前記到達位置から所定方向とは反対方向に所定距離離れた位置と、所定位置とで挟まれた３次元領域である検出装置。
  15. 空中の表示に対する検出対象物の操作と、前記検出対象物による所定の音と、を検出する検出部を備え、
    前記検出部は、前記所定の音が検出されたときに前記検出対象物が到達している位置を含むように、前記操作を検出する検出基準と前記表示との位置関係を変更する検出装置。
  16. 請求項１から請求項１５のいずれか一項に記載の検出装置を備えた電子機器。
  17. 検出対象物の少なくとも一部が空中の表示に対して行う操作を検出する検出方法であって、
    前記操作を検出する検出基準を、前記検出対象物の少なくとも一部が前記操作により到達する到達位置を含む３次元領域に設定し、
    前記検出対象物に関する情報または前記操作の少なくとも一方に基づいて、前記検出基準と前記表示との位置関係を変更する検出方法。
  18. 検出対象物の少なくとも一部が空中の表示に対して行う操作を検出する検出方法であって、
    前記検出対象物による所定の音を検出し、
    前記所定の音が検出されたときに前記検出対象物が到達している到達位置を検出し、
    前記到達位置を含むように、前記操作を検出する検出基準と前記表示との位置関係を変更する検出方法。
  19. 検出対象物の少なくとも一部が空中の表示に対して行う操作を検出するコンピュータに実行させるプログラムであって、
    前記操作を検出する検出基準を、前記検出対象物の少なくとも一部が前記操作により到達する到達位置を含む３次元領域に設定する処理と、
    前記検出対象物に関する情報または前記操作の少なくとも一方に基づいて、前記検出基準と前記表示との位置関係を変更する処理と、をコンピュータに実行させるプログラム。
  20. 検出対象物の少なくとも一部が空中の表示に対して行う操作を検出するコンピュータに実行させるプログラムであって、
    前記検出対象物による所定の音を検出する処理と、
    前記所定の音が検出されたときに前記検出対象物が到達している到達位置を検出する処理と、
    前記到達位置を含むように、前記操作を検出する検出基準と前記表示との位置関係を変更する処理と、をコンピュータに実行させるプログラム。
JP2016509807A 2014-12-26 2014-12-26 検出装置、電子機器、検出方法およびプログラム Active JP6365660B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084714 WO2016103520A1 (ja) 2014-12-26 2014-12-26 検出装置、電子機器、検出方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018127775A Division JP6658809B2 (ja) 2018-07-04 2018-07-04 検出装置、電子機器、検出方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016103520A1 JPWO2016103520A1 (ja) 2017-09-14
JP6365660B2 true JP6365660B2 (ja) 2018-08-01

Family

ID=56149602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509807A Active JP6365660B2 (ja) 2014-12-26 2014-12-26 検出装置、電子機器、検出方法およびプログラム

Country Status (7)

Country Link
US (2) US10359883B2 (ja)
EP (1) EP3239816A4 (ja)
JP (1) JP6365660B2 (ja)
KR (1) KR20170100411A (ja)
CN (1) CN106062683B (ja)
TW (1) TW201633067A (ja)
WO (1) WO2016103520A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173987A (ja) * 2018-07-04 2018-11-08 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
EP3182250B1 (en) * 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
EP3361457B1 (de) 2017-02-13 2023-07-12 Diebold Nixdorf Systems GmbH Eingabeeinrichtung, geldautomat und verfahren
JP6923361B2 (ja) * 2017-05-29 2021-08-18 株式会社ミツトヨ 位置計測装置の操作方法
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN111886567B (zh) * 2018-03-07 2023-10-20 日本电气方案创新株式会社 操作输入装置、操作输入方法及计算机可读的记录介质
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
TWI812872B (zh) * 2020-08-07 2023-08-21 騰騏科技股份有限公司 非接觸式電子輸入裝置
JP2024004509A (ja) * 2020-11-30 2024-01-17 株式会社村上開明堂 空中操作装置
US11775077B2 (en) * 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4274997B2 (ja) 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
TW201020901A (en) * 2008-11-20 2010-06-01 Ibm Visual feedback for drag-and-drop operation with gravitational force model
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8514255B2 (en) * 2009-08-31 2013-08-20 Namco Bandai Games Inc. Information storage medium, image control device, and image control method
JP5446769B2 (ja) * 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 ３次元入力表示装置
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5533254B2 (ja) * 2010-05-24 2014-06-25 アイシン・エィ・ダブリュ株式会社 情報表示装置、情報表示方法及びプログラム
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
CN103154858B (zh) 2010-09-22 2016-03-30 岛根县 操作输入装置与方法及程序
JP5494423B2 (ja) * 2010-11-02 2014-05-14 ソニー株式会社 表示装置、位置補正方法およびプログラム
JP5785753B2 (ja) 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5341126B2 (ja) 2011-03-31 2013-11-13 シャープ株式会社 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
EP2613226A1 (en) 2012-01-05 2013-07-10 Alcatel Lucent Initiating a logical connection between two devices using eye-gazing detection
US9423877B2 (en) * 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input
WO2013136333A1 (en) * 2012-03-13 2013-09-19 Eyesight Mobile Technologies Ltd. Touch free user interface
CN103376891A (zh) * 2012-04-23 2013-10-30 凹凸电子（武汉）有限公司 多媒体系统，显示装置的控制方法及控制器
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
JP2014067071A (ja) 2012-09-10 2014-04-17 Askanet:Kk 空中タッチパネル
EP2905676A4 (en) * 2012-10-05 2016-06-15 Nec Solution Innovators Ltd USER INTERFACE DEVICE AND USER INTERFACE PROCEDURE
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN103731526A (zh) * 2014-01-21 2014-04-16 唐景华 一种能将三维画面悬浮在空中虚拟成像的智能手机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173987A (ja) * 2018-07-04 2018-11-08 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム

Also Published As

Publication number Publication date
CN106062683B (zh) 2021-01-08
KR20170100411A (ko) 2017-09-04
WO2016103520A1 (ja) 2016-06-30
US10860139B2 (en) 2020-12-08
CN106062683A (zh) 2016-10-26
JPWO2016103520A1 (ja) 2017-09-14
TW201633067A (zh) 2016-09-16
US20190286280A1 (en) 2019-09-19
EP3239816A1 (en) 2017-11-01
US10359883B2 (en) 2019-07-23
US20170017344A1 (en) 2017-01-19
EP3239816A4 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
JP6365660B2 (ja) 検出装置、電子機器、検出方法およびプログラム
WO2016103522A1 (ja) 制御装置、電子機器、制御方法およびプログラム
JP6724987B2 (ja) 制御装置および検出方法
JP6822472B2 (ja) 表示装置、プログラム、表示方法および制御装置
JP6733731B2 (ja) 制御装置、プログラムおよび制御方法
US20220011900A1 (en) Detection device and program
JP6658809B2 (ja) 検出装置、電子機器、検出方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180315

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6365660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250