TW201633067A - 檢測裝置、電子機器、檢測方法及程式 - Google Patents

檢測裝置、電子機器、檢測方法及程式 Download PDF

Info

Publication number
TW201633067A
TW201633067A TW104143547A TW104143547A TW201633067A TW 201633067 A TW201633067 A TW 201633067A TW 104143547 A TW104143547 A TW 104143547A TW 104143547 A TW104143547 A TW 104143547A TW 201633067 A TW201633067 A TW 201633067A
Authority
TW
Taiwan
Prior art keywords
user
display
detection
detection reference
finger
Prior art date
Application number
TW104143547A
Other languages
English (en)
Inventor
栗林英範
田邊達良
下山茉理繪
土岐英史
小宮大作
Original Assignee
尼康股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 尼康股份有限公司 filed Critical 尼康股份有限公司
Publication of TW201633067A publication Critical patent/TW201633067A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/54Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being generated by moving a 2D surface, e.g. by vibrating or rotating the 2D surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0444Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single conductive element covering the whole sensing surface, e.g. by sensing the electrical current flowing at the corners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F19/00Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20Automatic teller machines [ATMs]
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F7/00Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data
    • G07F7/1025Identification of user by a PIN code
    • G07F7/1033Details of the PIN pad
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

檢測裝置,係檢測使用者對空中之顯示之操作,其具備:控制部,變更檢測操作之檢測基準與顯示之位置關係;控制部,可由使用者變更位置關係。

Description

檢測裝置、電子機器、檢測方法及程式
本發明係關於檢測裝置、電子機器、檢測方法及程式。
已有揭示一種電子機器,其藉由算出手指與觸碰面板之間之距離之靜電容式觸碰感測器,檢測對顯示於空中之三維物件的操作(專利文獻1)。
[先行技術文獻]
[專利文獻1]日本特開2012-203737號公報
然而,專利文獻1中,雖記載了檢測對三維物件(對象)進行之操作,但關於對物件操作時之操作性仍未充分說明。
根據本發明之第1態樣,為一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:控制部,變更檢測操作之檢測基準與顯示之位置關係;控制部,可由使用者變更位置關係。
根據本發明之第2態樣,為一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:控制部,係根據使用者之資訊,變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第3態樣,為一種檢測裝置,係檢測對空中之顯示之操作,其具備:控制部,係根據操作,變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第4態樣,為一種檢測裝置,其具備:檢測部,檢測使用者對空中之顯示之操作,變更檢測操作之檢測基準與顯示之位置關係;檢測部,可由使用者變更位置關係。
根據本發明之第5態樣,為一種檢測裝置,其具備:檢測部,檢測使用者對空中之顯示之操作,根據使用者之資訊變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第6態樣,為一種檢測裝置,其具備:檢測部,檢測對空中之顯示之操作,根據操作變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第7態樣,為一種檢測方法,係檢測使用者對空中之顯示之操作,其中,係由使用者變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第8態樣,為一種檢測方法,係檢測使用者對空中之顯示之操作,其中,係根據使用者之資訊變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第9態樣,為一種檢測方法,係檢測對空中之顯示之操作,其中,係根據操作,變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第10態樣,為一種檢測方法,係檢測使用者對空中之顯示之操作;由使用者變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第11態樣,為一種檢測方法,係檢測使用者對空中之顯示之操作,其中,係根據使用者之資訊變更檢測操作之檢測基準與顯示之 位置關係。
根據本發明之第12態樣,為一種檢測方法,係檢測對空中之顯示之操作,其中,係根據操作,變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第13態樣,為一種程式,係供檢測使用者對空中之顯示之操作之電腦執行,其中,係由使用者變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第14態樣,為一種程式,係供檢測使用者對空中之顯示之操作之電腦執行,其中,係根據使用者之資訊變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第15態樣,為一種程式,係供檢測對空中之顯示之操作之電腦執行,其中,係根據操作,變更檢測操作之檢測基準與顯示之位置關係。
根據本發明之第16態樣,為一種程式,係供電腦執行以下處理:檢測使用者對空中之顯示之操作之處理;以及由使用者變更檢測操作之檢測基準與顯示之位置關係之處理。
根據本發明之第17態樣,為一種程式,係供電腦執行以下處理:檢測使用者對空中之顯示之操作之處理;以及根據使用者之資訊變更檢測操作之檢測基準與顯示之位置關係之處理。
根據本發明之第18態樣,為一種程式,係供電腦執行以下處理:檢測對空中之顯示之操作之處理;以及根據操作變更檢測操作之檢測基準與顯示之位置關係之處理。
1,100‧‧‧顯示裝置
11,111‧‧‧顯示器
12,112‧‧‧成像光學系
13,113‧‧‧操作檢測器
14‧‧‧收音器
18,118‧‧‧攝影裝置
19‧‧‧環境檢測部
20‧‧‧控制部
116‧‧‧投光元件
117‧‧‧受光元件
119‧‧‧致動器
201‧‧‧影像生成部
202‧‧‧顯示控制部
203‧‧‧校準部
204‧‧‧檢測基準控制部
205‧‧‧記憶部
206‧‧‧速度/加速度檢測部
207‧‧‧到達位置預測部
208‧‧‧聲音檢測部
209‧‧‧影像解析部
210‧‧‧使用者資訊解析部
220‧‧‧顯示位置控制部
500‧‧‧顯示位置變更部
圖1係說明第1實施形態之顯示裝置之構成之圖,(a)係分解立體圖,(b)係剖面圖。
圖2係說明第1實施形態之顯示裝置之主要部位構成之方塊圖。
圖3係示意顯示第1實施形態中所顯示之空中像之圖,(a)係俯視圖,(b),(c)係顯示操作檢測器與空中像與檢測基準之關係之剖面圖。
圖4係示意顯示第1實施形態中所顯示之校準處理用之空中像之圖。
圖5係說明第1實施形態中之校準處理之圖,(a),(b),(c),(d)係顯示操作檢測器與空中像與檢測基準與手指位置之關係之剖面圖。
圖6係說明第1實施形態中之第1校準處理模式之校準處理之流程圖。
圖7係顯示第1實施形態中第2校準處理模式之空中像與檢測基準與手指之到達位置之位置關係之圖。
圖8係說明第1實施形態中第2校準處理模式之校準處理之流程圖。
圖9係說明第1實施形態之變形例1之顯示裝置之主要部位構成之方塊圖。
圖10係說明第1實施形態之變形例1中之校準處理之圖,(a),(b),(c)係顯示操作檢測器與空中像與檢測基準與手指位置之關係之剖面圖。
圖11係說明第1實施形態之變形例1中之校準處理之流程圖。
圖12係示意顯示第1實施形態之變形例3中所顯示之校準處理用空中像之圖。
圖13係說明第1實施形態之變形例3中之校準處理之圖,(a),(b),(c)係顯示操作檢測器與空中像與檢測基準與手指位置之關係之剖面圖。
圖14係說明第1實施形態之變形例3中之校準處理之流程圖。
圖15係示意顯示第1實施形態之變形例4中所顯示之校準處理用空中像之圖。
圖16係說明第1實施形態之變形例4中之校準處理之流程圖。
圖17係說明第1實施形態之變形例6之顯示裝置之主要部位構成之方塊圖。
圖18係示意顯示第1實施形態之變形例6中所顯示之校準處理用空中像之圖。
圖19係說明第1實施形態之變形例6中之校準處理之流程圖。
圖20係示意顯示第1實施形態之變形例7中所顯示之空中像之圖,(a)係俯視圖,(b)係顯示操作檢測器與空中像與檢測基準之關係之剖面圖。
圖21係說明第1實施形態之變形例7中之校準處理之圖,(a),(b),(c)係顯示操作檢測器與空中像與檢測基準與手指位置之關係之剖面圖。
圖22係第1實施形態之變形例8之顯示裝置之立體圖。
圖23係說明第1實施形態之變形例8之顯示裝置之主要部位構成之方塊圖。
圖24係顯示第1實施形態之變形例8之顯示裝置之內部構成之剖面圖。
圖25係說明第2實施形態之顯示裝置之主要部位構成之方塊圖。
圖26係說明第2實施形態中之校準處理之流程圖。
圖27係說明第3實施形態之顯示裝置之主要部位構成之方塊圖。
圖28係說明第3實施形態中之校準處理之流程圖。
圖29係顯示第4實施形態之顯示裝置之圖,(a)係說明顯示裝置之概 略構成之剖面圖,(b)係組裝有顯示裝置之電子機器之立體圖。
圖30係說明第4實施形態之顯示裝置之主要部位構成之方塊圖。
圖31係第4實施形態之顯示裝置所裝備之操作檢測器之俯視圖。
圖32係說明第4實施形態中之操作檢測器之構成與功能之圖。
圖33係顯示第4實施形態之變形例1之顯示裝置之概略構成之圖。
圖34係顯示第4實施形態之變形例1之顯示裝置之另一概略大致構成之圖。
圖35係說明第5實施形態之顯示裝置構成之圖,(a)係分解立體圖,(b)係剖面圖。
圖36係說明第5實施形態之顯示裝置之主要部位構成之方塊圖。
圖37係說明第5實施形態中之校準處理之圖,(a),(b)係顯示空中像與檢測基準與手指位置之關係之剖面圖。
圖38係說明第5實施形態中之校準處理之流程圖。
圖39係說明第5實施形態中之變形例3之顯示裝置之校準處理之流程圖。
圖40係說明第5實施形態之變形例4中之顯示裝置之主要部位構成之方塊圖。
圖41係顯示第5實施形態之變形例4中之顯示裝置之校準用空中像之圖。
圖42係示意顯示第6實施形態中所顯示之空中像之圖,係顯示操作檢測器與空中像與檢測基準之關係之剖面圖。
圖43係說明第6實施形態中之顯示裝置之校準處理之圖,(a),(b) 係顯示空中像與檢測基準與手指位置之關係之剖面圖。
圖44係說明第6實施形態中之顯示裝置之校準處理之圖,(a),(b)係顯示空中像與檢測基準與手指位置之關係之剖面圖。
圖45係說明第6實施形態之變形例1中之校準處理之圖,(a),(b),(c)係顯示空中像與檢測基準與手指位置之關係之剖面圖。
圖46係說明第7實施形態中之顯示裝置之主要部位機構之方塊圖。
圖47係示意顯示第8實施形態中所顯示之空中像之圖,(a)係俯視圖,(b)係顯示操作檢測器與空中像與檢測基準之關係之剖面圖,(c)係檢測基準之立體圖。
圖48係示意顯示第8實施形態中之既定非接觸操作之例之圖。
圖49係示意顯示在第8實施形態中既定非接觸操作在檢測基準內被檢測出之情形之圖。
圖50係示意顯示在第8實施形態中既定非接觸操作在檢測基準內未被檢測出之情形之圖,(a)係顯示既定非接觸操作整體在檢測基準上方之檢測基準外被檢測出之情形,(b)係顯示既定非接觸操作之整體在檢測基準下方之檢測基準外被檢測出之情形之圖。
圖51係顯示第8實施形態中檢測基準位置之變更之圖,(a)係顯示檢測基準之位置之變更前之圖,(b)係顯示檢測基準位置往上方變更後之圖。
圖52係顯示第8實施形態中檢測基準位置之變更之圖,(a)係顯示檢測基準之位置之變更前之圖,(b)係顯示檢測基準位置往下方變更後之圖。
圖53係顯示第8實施形態中檢測基準位置之變更之圖,(a)係顯示檢測基準位置之變更前之圖,(b)顯示檢測基準位置往右方向變更後之圖。
圖54係示意顯示第8實施形態中非接觸操作在檢測基準內未被檢測出之情形之圖,(a)係顯示既定非接觸操作之一部分在檢測基準上方之檢測基準外被檢測出而殘留部分在檢測基準內被檢測出之情形,(b)係顯示既定非接觸操作之一部分在檢測基準下方或側部之檢測基準外被檢測出而殘留部分在檢測基準內被檢測出之情形之圖。
圖55係說明第8實施形態中之校準處理之流程圖。
圖56係顯示第8實施形態之變形例2中既定非接觸操作之一部分在檢測基準被檢測出時變更檢測基準之情形與不變更之情形之圖,(a)係顯示變更檢測基準之情形,(b)係顯示不變更檢測基準之情形之圖。
圖57係說明第8實施形態之變形例3之顯示裝置1中之顯示裝置之主要部位構成之方塊圖。
圖58係說明第8實施形態之變形例3中之校準處理之圖,(a),(b)係顯示操作檢測器與檢測基準與手指位置之關係之剖面圖。
圖59係說明第8實施形態之變形例3中之校準處理之流程圖。
圖60係說明第8實施形態之變形例6中之校準處理之圖,(a),(b)係顯示操作檢測器與檢測基準與手指位置之關係之剖面圖。
圖61係說明第8實施形態之變形例6中之校準處理之圖,(a),(b)係顯示操作檢測器與檢測基準與手指位置之關係之剖面圖。
-第1實施形態-
參照圖式說明第1實施形態之顯示裝置。第1實施形態中,係舉本實施形態之顯示裝置組裝於行動電話之情形為例進行說明。此外,本實施形 態之顯示裝置不限於行動電話,亦能組裝於平板終端、手錶型終端等攜帶型資訊終端裝置、個人電腦、音樂播放器、固定式電話機、穿戴式裝置等之電子機器。
圖1(a)係顯示裝置1之分解立體圖,圖1(b)係將顯示裝置1之一部分擴大顯示之側面圖。此外,為了說明方便,針對顯示裝置1,係將由X軸、Y軸及Z軸構成之座標系如圖示般設定。此外,座標系不限於由X軸、Y軸及Z軸構成之正交座標系,亦可採用極座標系或圓筒座標系。亦即,X軸設定在顯示裝置1之矩形顯示面之短邊方向,Y軸設定在顯示裝置1之矩形顯示面之長邊方向,Z軸設定在與顯示面垂直之方向。
顯示裝置1具備內藏控制部20之本體10、顯示器11、成像光學系12、以及操作檢測器13。顯示器11與成像光學系12與操作檢測器13配置於本體10內。顯示器11,例如由液晶顯示器或有機EL顯示器等構成,具有二維狀排列之複數個顯示像素排列。顯示器11係由控制部20控制,顯示與顯示用影像資料對應之影像。成像光學系12,係於顯示器11上方(Z方向+側),從顯示器11相隔既定間隔而配置。例如,成像光學系12如圖1(b)所明示般,係將二維狀排列有微小之凸透鏡121之微透鏡陣列於Z方向重疊2個而構成。
成像光學系12,係將顯示於顯示器11之顯示影像之空中像30形成於顯示裝置1之上方空間。亦即,顯示裝置1之使用者(以下稱為使用者),能將顯示於顯示器11之顯示影像作為浮在顯示裝置1上方之空中之空中像30來觀察。空中像30,包含與用以指示顯示裝置1之各種設定或各種功能之執行之操作按鈕對應之複數個圖標(ICON)30A(操作按鈕)。 本實施形態中,圖標30A,例如排列成3列×5行。此外,亦能取代作為成像光學系之微透鏡陣列而使用針孔陣列或狹縫陣列。
操作檢測器13設於成像光學系12上方(Z方向+側),例如由公知之透明靜電容式面板(以下記載為靜電容面板)構成。由靜電容面板所構成之操作檢測器13,係藉由實質上透明之構件所構成之電極形成電場。操作檢測器13,在使用者為了操作空中像30之顯示位置而使手指或觸控筆(stylus)移動至空中像30時,檢測出該手指或觸控筆之位置作為靜電容之值。例如,比較在透明靜電容面板四角檢測出之靜電容之值,並根據在四角檢測出之靜電容之值,檢測使用者之手指在X軸、Y軸上之位置。又,操作檢測器13,係如後詳述般,於本身上方向之既定範圍具有靜電容之檢測範圍,此既定檢測範圍內之手指或觸控筆與操作檢測器13之間之間隔(在Z軸上之位置),例如係比較在透明靜電容面板四角檢測出之靜電容之值並根據在四角檢測出之靜電容之值進行檢測。當然,空中像30,係以位於操作檢測器13之既定檢測範圍內之方式、較佳為位於既定檢測範圍之上下方向中段之方式藉由成像光學系12形成。如此,操作檢測器13,由於係檢測出使用者以手指或觸控筆操作空中像30之顯示位置一事,因此使用者能不直接接觸操作檢測器13即執行對空中像30之操作。此外,以下之說明中,雖說明以手指操作空中像30之顯示位置之例,但藉由觸控筆等操作之情形亦相同。
圖2係顯示顯示裝置1之構成中之控制部20、由控制部20控制之顯示器11及操作檢測器13之方塊圖。控制部20具有CPU、ROM、RAM等,包含根據控制程式控制包含顯示裝置1之顯示器11及操作檢測器 13之各種構成要素或執行各種資料處理之運算電路。控制部20具備影像生成部201、顯示控制部202、校準部203、檢測基準控制部204、以及記憶部205。記憶部205包含存放控制程式之不揮發性記憶體、與儲存顯示於顯示器11之影像資料等之記憶媒體等。此外,從操作檢測器13之表面至手指前端為止之距離與操作檢測器13檢測到該手指前端時之靜電容之間之對應關係,預先儲存於記憶部205。是以,操作檢測器13,在手指前端位於操作檢測器13之既定檢測範圍內時,係檢測在手指前端之靜電容,並能從該檢測出之靜電容與儲存於記憶部205之上述對應關係,檢測出在Z方向之手指前端之位置。
影像生成部201,根據儲存於記憶媒體之影像資料,生成與用以顯示於顯示器11之顯示影像對應之顯示用影像資料。顯示控制部202,係使與藉由影像生成部201生成之顯示用影像資料對應之影像顯示於顯示器11。又,顯示控制部202,在使用者對空中像30之圖標30A之顯示位置進行操作後,視該被操作之圖標30A之種類進行顯示器11之顯示影像之切換控制。此外,在使用者已對空中像30之圖標30A顯示位置進行操作時,顯示控制部202不限於進行顯示器11之顯示影像之切換控制。例如,在顯示器11顯示動畫像作為顯示影像,使用者已對空中像30之圖標30A顯示位置進行操作時,顯示控制部202可進行使播放顯示器11顯示之動畫像之控制、或停止動畫像之控制。
校準部203,係執行如後詳述之第1、第2校準處理模式之校準處理。檢測基準控制部204係將檢測面、亦即檢測基準設定於顯示裝置1之上方空間,具體而言,係設定於操作檢測器13之既定檢測範圍內且 為空中像30之位置(或既定範圍)。檢測基準控制部204,進一步根據以操作檢測器13檢測出之靜電容之值判定使用者之手指已到達檢測基準一事。亦即,檢測基準控制部204,在與以操作檢測器13檢測出之靜電容之值對應之手指位置(在X軸、Y軸、Z軸各軸之位置)與所設定之檢測基準之位置一致時,即判定使用者操作了圖標30A之顯示位置。又,檢測基準控制部204,係將檢測基準設定成預先決定之既定初始位置,並根據後述之校準處理之結果,變更或修正檢測基準之位置。此檢測基準之初始位置預先儲存於記憶部205。此外,檢測基準之初始位置,例如可係對所有使用者均共通之位置,或係根據使用者對顯示裝置1之使用歷程等,設定依各使用者而不同之位置。又,檢測基準之初始位置及變更後之檢測基準之位置,可設定於操作檢測器13之整個平面上(X軸、Y軸上),亦可設定於平面上之一部分。再者,檢測基準之初始位置,可係先將前次之顯示裝置1使用時所設定之檢測基準儲存於記憶部205,並讀出其來使用。此外,檢測基準控制部204,並不限於與以操作檢測器13檢測出之靜電容之值對應之手指位置和檢測基準之位置一致之情形,可在手指位置大致一致於檢測基準之位置時判定為使用者已操作圖標30A之顯示位置。此判定為大致一致之範圍亦可預先設定。
圖3(a)係顯示以顯示裝置1顯示之空中像30之一例,圖3(b)係示意顯示本體10或操作檢測器13與空中像30與檢測基準40之位置關係。圖3(a)中,空中像30包含如上所述排列成3列×5行之15個圖標30A。圖3(b)中,檢測基準40,藉由檢測基準控制部204而設定於空中像30之位置附近,具體而言設定於圖示例中較空中像30些微上方之位 置。圖3(b)中,空中像30內之圖標以粗虛線30A顯示。此外,圖標30A雖因係空中像30之一部分而位於與空中像30之位置相同之高度位置,但圖3(b)中,為了將表示圖標30A之粗虛線和表示空中像30之實線區別,係將粗虛線之位置描繪成從實線位置錯開。
圖3(b)中,空中像30形成於往顯示裝置1之操作檢測器13上方分離距離H1之位置,檢測基準40設定於往操作檢測器13上方分離距離H2(H1<H2)之位置。操作檢測器13如上所述,從其表面往上方處具有靜電容之檢測範圍13A。圖3(b)中,操作檢測器13上方之靜電容之檢測極限以虛線13a顯示,此靜電容之檢測極限13a與操作檢測器13之間隔作為靜電容檢測範圍13A顯示。空中像30與檢測基準40設定成位於靜電容之檢測範圍13A內。此外,檢測基準40,在圖3(b)中雖設定於空中像30之上方,但只要在操作檢測器13之靜電容檢測範圍13A內,則無論是在空中像30之下方、或使之與空中像30之位置一致皆可。此處,將檢測範圍13A內設定於檢測基準40之區域以外之範圍設為檢測基準外41。
此外,圖3(b)中,空中像30與檢測基準40,雖係以平行於XY平面之平面表示,但此等不限於均為平面,例如亦可均以曲面構成。又,亦可如圖3(c)所示,檢測基準40非為平面而係於各圖標30A具有段差。換言之,某圖標30A與相對該圖標之檢測基準40之間隔,亦可和另一圖標30A與相對該另一圖標之檢測基準40之間隔不同。如上述,在檢測基準40設置段差一事,在空中像30為立體像且複數個圖標30A之位置在Z方向亦即上下方向彼此錯開時特別有効。例如,可因應立體之空中像30之複數個圖標30A在上下方向之錯位,使對應各圖標30A之檢測基準40位置 錯開,據以將圖標30A與對應之檢測基準40之間之距離設為一定。
操作檢測器13,在使用者手指前端從操作檢測器13起到達距離H2時,係輸出與距離H2對應之檢測輸出。檢測基準控制部204根據操作檢測器13之檢測輸出,判定使用者手指前端一致於檢測基準40,並判定為手指前端已操作圖標30A之顯示位置。以此方式,顯示裝置1檢測出使用者已操作空中像30之圖標30A之顯示位置,執行與該操作之圖標30A對應之功能。例如進行顯示器11之顯示影像之切換等。
此外,圖標30A雖係位於從操作檢測器13起距離H1之位置,但由於係作為空中像30顯示,因此有時會有某使用者與另一使用者對空中像30之圖標30A之顯示位置、亦即高度H1在視覺上不同的感受。又,即使係相同使用者,有時亦會因依操作此顯示裝置1之環境不同,而感受到圖標30A之顯示位置不同。例如,在將檢測基準40設定為與空中像30一致之位置時,某使用者為了對圖標30A之顯示位置進行操作而將手指移動至空中像30之圖標30A時,雖該使用者感到手指仍位在圖標30A前方但實際上手指已到達圖標30A、亦即檢測基準40時,即會有悖於使用者之意思而執行圖標操作。相反地,另一使用者為了操作圖標而將手指移動至空中像30之圖標30A時,在該使用者雖覺得手指已到達圖標30A而操作到圖標30A之顯示位置,但實際上手指位於圖標30A亦即檢測基準40之前方時,即會有悖於使用者之意思而不執行圖標操作。不論係何種情形,使用者均會在圖標操作感受到不協調感。
因此,本實施形態之顯示裝置1,除了上述之對空中像30進行操作之空中像操作模式以外,尚具備用以減輕上述圖標操作之不協調 感之校準處理模式。校準處理模式,係用以將空中像30與檢測基準40之相對位置關係設定為適於使用者之操作感覺、操作特性或顯示裝置之使用環境等的關係。本實施形態之顯示裝置1,如上述般具有第1及第2校準處理模式。第1校準處理模式,係與空中像操作模式不同地,亦即在未執行空中像操作模式時執行校準處理,第2校準處理模式,係在顯示裝置1之啟動後已執行空中像操作模式時在該空中像操作模式之執行中執行校準處理。此等第1~第2校準處理模式,係藉由圖2所示之校準部203執行。此外,關於要執行第1~第2校準處理模式之哪一個,係操作省略圖示之顯示裝置1所設之校準處理模式選擇用操作按鈕來選擇,當此校準處理模式選擇用之操作按鈕未選擇第1~第2校準處理模式之任一者時,控制部20亦可選擇空中像操作模式來執行。又,亦可不具備校準處理模式選擇用操作按鈕,而隨時進行第2校準處理模式。以下,依序說明第1~第2校準處理模式。此外,第1~第2校準處理模式之選擇,除了操作按鈕以外亦可從空中像之圖標選擇。
最初說明第1校準處理模式。在啟動顯示裝置1,使用者操作校準處理模式選擇用操作按鈕而選擇第1校準處理模式後,圖2之校準部203即啟動第1校準處理模式。影像生成部201係生成顯示用影像資料,根據此顯示用影像資料,顯示器11顯示用於校準處理之顯示影像。圖4及圖5顯示此校準處理用顯示影像之空中像300。空中像300包含校準用圖標300A,此校準用圖標300A重疊顯示有訊息「進行校準。請觸碰此圖標。」。又,檢測基準控制部204,如圖5(a)所示,將檢測基準40初始設定於空中像300之附近位置、例如較空中像300些微上方之位置。當然,檢測基準 40之初始位置亦可一致於空中像300,亦可設定於較空中像300些微下方之位置。此外,上述之訊息「進行校準。請觸碰此圖標」,亦可不一定要在校準處理時顯示。例如在已選擇校準處理模式之使用者已預先認知在校準處理模式中應作何操作時等,即不需要上述之訊息顯示。
圖5(a)中,使用者為了依照重疊顯時於空中像300之圖標300A之訊息操作圖標300A之顯示位置,係使手指前端F往圖標300A下降移動,在手指前端F到達圖2之操作檢測器13之靜電容之檢測範圍13A後,操作檢測器13,即檢測出使用者手指前端F對此圖標300A之接近移動亦即下方移動,作為靜電容之變化。
圖5(b)中,在手指前端F下降移動而到達較檢測基準40些微上方之虛線位置50時,使用者感覺到手指前端F到達圖標300A之顯示位置並執行了按下圖標300A之操作,使手指前端F往上方移動既定距離。操作檢測器13,檢測出手指前端F之上述下降移動、亦即按下與接續於其之既定距離之上方移動,作為靜電容之變化。檢測基準控制部204,在操作檢測器13檢測到手指前端F之上述按下與接續於其之既定距離之上方移動後,即判定為已對圖標300A之顯示位置進行操作。此外,在使用者手指前端F為了操作圖標300A之顯示位置而進行按下並已往上方移動既定距離時,即將移動至最下方之位置作為到達位置。亦即,將虛線位置50稱為到達位置。
檢測基準控制部204,在判定為手指前端F在到達位置50中已對圖標300A之顯示位置進行操作後,即如圖5(c)所示使檢測基準40移動、亦即變更至到達位置50之位置,且將此變更後之檢測基準40之 位置資料儲存於圖2之記憶部205。此外,檢測基準控制部204,亦可如圖5(d)所示從到達位置50使檢測基準40移動、亦即變更至既定距離d1上方之位置,且將此變更後之檢測基準40之位置資料儲存於圖2之記憶部205。此既定距離d1設定為例如1mm~10mm左右。又,可依利用裝置之使用者變更既定距離d1,亦可根據使用者手指前端至第1關節之長度予以設定。例如,可將既定距離d1設定為從使用者手指前端至第1關節之長度之1/4~1/2左右所包含之既定值。
以上雖說明了手指之到達位置50位於較檢測基準40上方之情形,但在到達位置50位於較檢測基準40下方之情形亦係與上述同樣地判定到達位置50並根據該到達位置50變更檢測基準40。又,在到達位置50一致於檢測基準40時雖亦與上述同樣地判定到達位置50,但由於到達位置50一致於檢測基準40,因此不變更檢測基準40。
此外,在到達位置50位於較檢測基準40下方時,由於手指在到達到達位置50前通過檢測基準40,因此檢測基準控制部204雖係根據操作檢測器13之檢測輸出判定手指已到達檢測基準40一事,但在第1校準處理模式中,並不進行顯示器11之顯示切換。在到達位置50一致於檢測基準40時亦同樣地,不進行顯示器11之顯示切換。當然,亦可在手指已到達檢測基準40時,例如進行使圖標300A閃爍等之加強顯示,以向使用者告知手指已到達檢測基準。
此外,以上之說明中,雖舉出使用者按下圖標300A之操作作為對圖標300A之顯示位置之操作之例,但不限於此。亦可在使用者對圖標300A進行之既定非接觸操作被操作檢測器13檢測出時,即根據進行既定非接觸操 作之位置變更檢測基準40。所謂既定非接觸操作,例如係觸碰圖標300A之類的手勢操作。亦可根據進行觸碰圖標300A之類的操作的位置變更檢測基準40。所謂觸碰之類的操作,例如可舉出以使用者之手揮開圖標300A之類的手勢等。又,作為進行觸碰之類的操作之位置,可根據使用者的手揮開之手勢結束而判定為使用者的手所停止之位置或以使用者的手揮開之類的手勢開始之位置予以決定。
如以上所述,在第1校準處理模式,藉由檢測出手指之按下移動至往上方移動既定距離之變化,判定使用者已感到手指已操作空中像300之圖標300A之顯示位置,而將檢測基準40變更為較手指之到達位置50上方既定距離d1之位置亦即變更為該使用者用,而變更檢測基準40與空中像300之顯示位置之位置關係。亦即,根據使用裝置之使用者之資訊中之一個亦即使用者之操作,來變更檢測基準40與空中像300之顯示位置之位置關係。此外,在將檢測基準40變更為使用者用時,不一定要檢測出利用裝置之使用者,只要根據以操作檢測器13檢測出上述操作一事來變更檢測基準40與空中像300之顯示位置之位置關係即可。
此外,可在檢測基準控制部204變更檢測基準40之位置時使檢測基準40整體之位置移動,亦可使檢測基準40中與以使用者手指操作之圖標300A對應之檢測基準40之一部分移動。
此外,圖5(c)所示之例中,將檢測基準40變更為較到達位置50上方既定距離d1之位置之理由如下所述。亦即,使用者,由於一般係在對觸碰面板進行操作時使手指接觸觸碰面板並將手指按下些許,因此在對空中像300之圖標300A之顯示位置進行操作時,即使係使手指前端操 作空中像300之圖標300A之顯示位置亦不會在該處立即往上方移動既定距離而往往會按下些許後再往上方移動既定距離。因此,手指之到達位置50,由於容易成為較感覺到手指已操作到圖標300A之顯示位置之位置更下方些許之位置,因此檢測基準40變更為較到達位置50上方既定距離d1之位置。當然,此按下量,依使用者不同亦有較小或幾乎不存在之情形,因此亦可將檢測基準40之位置變更為大致一致於到達位置50。
校準處理模式,如上所述由於係將校準用空中像300與檢測基準40之相對位置關係設定為適於使用者之操作特性的關係,因此亦可依照使用者之操作特性或顯示裝置,非使檢測基準40位於到達位置50之上方而係如上所述般大致一致於到達位置50或變更為較到達位置50下方之位置。例如,在某使用者之到達位置50位於空中像300上方,到達位置50與靜電容之檢測範圍13A之上限13a之間隔較到達位置50與空中像300之間隔小之情形,若將檢測基準40變更為較到達位置50上方之位置,則由於檢測基準40會過於接近靜電容之檢測範圍13A之上限13a,因此亦能使檢測基準40一致於到達位置50或變更為較到達位置50下方之位置。
此外,判定到達位置50之方法,不限於根據從上述之按下移動至往上方移動既定距離之變化進行判定之方法,如下所述藉由其他各種方法亦能判定。例如,使用者,在感覺到手指到達圖標300A之顯示位置而執行了對圖標300A之按下操作,即停止手指之下方移動亦即停止按下。檢測基準控制部204,基於操作檢測器13所檢測之靜電容之值幾乎不變化一事,判定手指之按下停止,並將此按下之停止位置判定、亦即決定為到達位置50。此外,下方移動之停止,係基於操作檢測器13所檢測之靜電容 之值在短時間例如0.1秒~1秒左右之間不變化一事而被判定。進而,作為另一方法,亦可從靜電容之變化檢測出使用者手指移動之速度向量、亦即手指之移動速度與移動方向,並根據手指之速度向量方向從下方向變化為反方向及反方向之速度向量已成為既定大小,將檢測出反方向之既定大小之速度向量時之手指之位置判定為到達位置。在此方法之情形,當將上述速度向量之既定大小設定為大致零時,則將速度向量方向從下方向變化為逆向之時點之手指位置、亦即最下方之位置判定為到達位置,當將既定大小設定為零以外之值時,則將手指從上述最下方位置起之既定距離上方之位置判定為到達位置。如以上所述,到達位置,被決定為藉由檢測基準控制部204判定為手指已操作到圖標之顯示位置時之手指之最下方位置或其附近之位置。
又,上述之例中,雖係將手指或觸控筆接觸空中像300之圖標300A之部分、亦即手指前端部分之位置或觸控筆最下部之位置作為基準決定到達位置,但亦可取代此方式,以使用者手指之指甲前端位置或手指之第1關節之位置作為基準決定到達位置。進而,不限於使用者之手指,當以使用者之腳或手肘等操作圖標之情形時,亦可以腳或手肘等作為基準決定到達位置。在使用觸控筆之情形,亦可於觸控筆之既定位置附加標記,並以該標記位置作為基準決定到達位置。此外,在使用手指之第1關節或觸控筆之標記等決定到達位置之情形時,作為操作檢測器13,較佳為取代靜電容式面板而使用在後述變形例8中所說明之攝影裝置等。
參照圖6所示之流程圖說明上述說明之第1校準處理模式與空中像操作模式之關係。圖6之流程圖所示之各處理,係在啟動顯示裝置1 後,藉由控制部20執行程式來進行。此程式儲存於記憶部205。在步驟S1,在辨識藉由使用者使用校準處理模式選擇用之操作按鈕選擇了第1校準處理模式一事後,進至步驟S2。在步驟S2,圖2所示之校準部203開始第1校準處理模式,進至步驟S3。在步驟S3,影像生成部201生成校準用顯示用影像資料,顯示控制部202使基於顯示用影像資料之校準用影像顯示於顯示器11,且檢測基準控制部204將檢測基準設定為初始位置。顯示器11之顯示影像,係藉由成像光學系12生成之圖4所示之校準用空中像300,空中像300包含圖標300A與訊息「進行校準。請觸碰此圖標」。在步驟S4,操作檢測器13檢測出使用者手指前端F往下方之移動,進至步驟S5。
在步驟S5,圖2所示之檢測基準控制部204,係根據操作檢測器13之檢測輸出,判定手指是否已到達到達位置。在步驟S5判定為肯定時,亦即判定為手指已到達到達位置時,進至步驟S6。在步驟S5判定為否定時,亦即判定為手指未停止時,即待機至判定為肯定為止。在步驟S6,檢測基準控制部204根據到達位置50變更檢測基準40之位置,並將該變更後之檢測基準40之位置資料儲存於圖2所示之記憶部205,進至步驟S7。在步驟S7,結束第1校準處理模式,進至步驟S8。在步驟S8,開始空中像操作模式,進至步驟S9。在步驟S9,顯示包含圖3所示之空中像操作模式用圖標30A之空中像30,且在步驟S6中,從記憶部205讀出藉由第1校準處理模式變更後之檢測基準40之位置資料,根據該位置資料將檢測基準40如圖3(b)所示設定於空中像30之附近位置。以上述方式,在此空中像操作模式,係使用在第1校準處理模式中所設定之適於使用者操作特性之檢測基準40。
在使用者為了操作圖標30A之顯示位置而使手指朝向空中像30往下方移動後,在步驟S10,圖2所示之操作檢測器13檢測出使用者之手指往下方之移動,進至步驟S11。在步驟S11,檢測基準控制部204根據操作檢測器13之檢測輸出判定手指是否已到達檢測基準40。在步驟S11判定為肯定時,亦即判定為手指已到達檢測基準40時,進至步驟S12。在步驟S11判定為否定時,亦即判定為手指未達檢測基準40時,即待機至判定為肯定為止。在步驟S12,顯示控制部202將顯示器11之顯示影像切換為與被操作之圖標30A對應之顯示影像,進至步驟S13。在步驟S13,判定是否已進行顯示裝置1之停止操作。在步驟S13判定為肯定時,亦即已進行顯示裝置1之停止操作時,顯示裝置1停止。在步驟S13判定為否定時,返回至步驟S10。
如以上所說明,在第1校準模式,根據使用者之操作變更檢測基準,而變更空中像與檢測基準之位置關係。由於空中像操作模式之檢測基準被設定為在此第1校準模式變更後之檢測基準之位置,因此能根據適於使用者操作特性或顯示裝置1之使用環境之檢測基準執行空中像操作模式。
以上之說明中,第1校準處理模式雖係在啟動顯示裝置1後,於空中像操作模式前被執行,但第1校準處理模式亦能在空中像操作模式之後執行。例如,使用者在空中像操作模式之執行中,當例如對圖標300A之顯示位置之操作感覺到不協調感時,即操作顯示裝置1之校準處理模式選擇用操作按鈕選擇第1校準處理模式。此情形下,第1校準處理模式係在中斷執行中之空中像操作模式後被執行,於此第1校準處理之結束 後,再度開始空中像操作模式。此外,亦可取代隨著上述使用者對操作按鈕之操作而由顯示裝置1選擇第1校準模式之方式,改成當從對圖標300A之顯示位置之操作之不協調感檢測出使用者帶有不愉快感之情形時,執行第1校準處理模式。顯示裝置1,例如係檢測使用者之脈搏數(生體資訊),在檢測出之脈搏數超過既定值時,即能檢測出使用者帶有不愉快感之情形。
其次,參照圖7及圖8說明第2校準處理模式。此外,以下所說明之第2校準處理模式,可適當使用在上述之第1校準處理模式說明之處理。圖7係顯示空中像操作模式用之空中像30與初始位置之檢測基準40與手指之到達位置50之圖,圖8係表示第2校準處理模式之動作之流程圖。圖8之流程圖所示之各處理,係在顯示裝置之啟動後,藉由控制部20執行程式來進行。
在步驟S41,辨識已選擇第2校準處理模式一事,進至步驟S42。在步驟S42,同時開始空中像操作模式與第2校準處理模式,進至步驟S43。在步驟S43,顯示包含圖3所示之圖標30A之空中像30,且圖2所示之檢測基準控制部204,將檢測基準40設定於預先決定之初始位置、例如較空中像30之位置或空中像30之位置些微上方之位置,進至步驟S44。此時,於空中像30,在一短時間顯示訊息「在圖標之操作中進行校準」。此外,此訊息亦可不顯示。
在步驟S44,在使用者為了對圖標30A之顯示位置進行操作而使手指往下方移動後,操作檢測器13開始手指移動之檢測,進至步驟S45。在步驟S45,檢測基準控制部204,根據操作檢測器13之檢測輸出,判定手指在下方移動中是否已通過檢測基準40。在步驟S45判斷為肯定時、 亦即手指在下降移動中通過檢測基準40且進一步下降移動之情形,進至步驟S46。圖7之手指F1,顯示在下降移動中已通過檢測基準40之手指。在步驟S46,檢測基準控制部204判定手指F1已到達檢測基準40、亦即已通過檢測基準40,而進行圖標顯示之切換,亦即依照操作空中像30之圖標30A來切換,進至步驟S47。在步驟S47,檢測基準控制部204,判定手指F1是否已到達到達位置50,在判定為肯定時進至步驟S48,在判定為否定時,維持至判定為肯定為止。在步驟S48,檢測基準控制部204根據到達位置50變更檢測基準40之位置。此外,在變更檢測基準40之位置時,有時會有變更後之檢測基準40一致於使用者手指前端或位於較使用者手指前端之位置上方之情形。於此情形下,由於在步驟S46已進行了一次圖標顯示之切換,因此不進行圖標顯示之切換。
在前述之步驟S45判定為否定時,亦即在手指下降移動中未通過檢測基準40時,進至步驟S49。在步驟S49,檢測基準控制部204,根據操作檢測器13之檢測輸出,判定手指是否已到達到達位置50,在判定為肯定時進至步驟S50。在判定為否定時,維持至判定為肯定為止。圖7之手指F2,顯示到達位置50一致於檢測基準40。在步驟S50,檢測基準控制部204根據操作檢測器13之檢測輸出判定到達位置50是否一致於檢測基準40,在判定為肯定時進至步驟S51,在判定為否定時進至步驟S52。在步驟S51,由於到達位置50一致於檢測基準40,因此雖進行圖標顯示之切換,但不進行檢測基準40之變更。
在步驟S52,如圖7之手指F3所示到達位置50位於檢測基準40上方,檢測基準控制部204根據到達位置50變更檢測基準40之位置, 具體而言,將檢測基準40之位置變更為到達位置50之附近,進至步驟S55。此時,在變更後之檢測基準40一致於使用者手指前端時或移動至較使用者手指前端之位置上方時,進行圖標顯示之切換。另一方面,在變更後之檢測基準40未達使用者手指前端之位置時,不進行圖標顯示之切換顯示。
在步驟S55,判定是否已進行第2校準處理模式之結束操作,在判定為肯定時進至步驟S55,在判定為否定時返回至步驟S44。
如以上所述,第2校準處理模式,由於係在執行空中像操作模式中並行被進行,因此可在不意識到有執行校準處理之情形下,以適於使用者之檢測基準執行對空中像顯示位置之操作。此外,第1~2校準處理模式亦可不一定要由使用者選擇。亦可由顯示裝置1自動選擇第1~2校準處理模式中之任一個。又,亦可不具備第1~2校準處理模式之全部,而僅具備其中一個。
以上說明之第1實施形態之顯示裝置1可如下方式變形。
(第1實施形態之變形例1)
變形例1之顯示裝置1,亦可根據操作檢測器13之檢測輸出,算出使用者手指前端之速度或加速度,根據算出之速度或加速度預測手指之到達位置,並根據該預測到達位置變更檢測基準。圖9係顯示本變形例1之顯示裝置1之構成中之控制部20與藉由控制部20控制之顯示器11及操作檢測器13的方塊圖。
說明變形例1之顯示裝置1不同於第1實施形態之顯示裝置之構成。圖9中,速度/加速度檢測部206,係每隔既定時間讀出藉由操作檢測器13檢測出之靜電容值,從每既定時間之靜電容值之變化算出手指之移 動速度,且從算出之速度算出手指之移動加速度。到達位置預測部207,係根據從速度/加速度檢測部206輸之手指之移動速度或加速度預測手指之到達位置。到達位置預測部207,能檢測出例如手指從移動加速中之狀態或大致一定速度之狀態移行至減速狀態,從其減速程度預測出手指之到達位置。檢測基準控制部204,根據藉由到達位置預測部207預測之到達位置變更檢測基準。
其次,參照圖10及圖11說明變形例1之顯示裝置1之第1校準處理模式。圖11之流程圖中,步驟S103至步驟S107以外之步驟由於與圖6之流程圖相同,因此省略說明。如圖10(a)所示,在手指前端F進入操作檢測器13之既定檢測範圍13A內後,在步驟S104中操作檢測器13檢測出手指前端F之移動作為靜電容值之變化。在步驟S105,速度/加速度檢測部206根據操作檢測器13之檢測輸出算出手指前端F之移動速度及加速度。在步驟S106,到達位置預測部207根據速度/加速度檢測部206所算出之移動速度及加速度算出手指前端F之到達位置。圖10(b)中,將到達位置預測部207所算出之亦即所預測之手指到達位置以虛線60顯示。在步驟S107,檢測基準控制部204,如圖10(c)所示根據預測到達位置60變更檢測基準40,且將該檢測基準40之位置資料儲存於記憶部205。在其後之步驟S110,於此儲存之檢測基準40之位置設定空中像操作模式之檢測基準。此外,為了預測手指之到達位置,可使用手指之移動速度與加速度之兩方、或使用任一方。
此外,上述說明中,速度/加速度檢測部206,雖係每隔既定時間算出以操作檢測器13檢測出之靜電容值並從每既定時間之靜電容值之變化算出 手指之移動速度,且從所算出之速度算出手指之移動加速度,但不限於此方法,亦可使用攝影裝置作為速度/加速度檢測部206。又,上述說明中,雖係算出使用者之手指移動速度或加速度,但除此之外,亦可係使用者之腳或手肘、使用者所持有之觸控筆。
此外,雖係根據所算出之使用者手指之移動速度及加速度算出使用者手指之預測到達位置60,並根據使用者手指之預測到達位置60變更檢測基準40,但不必於每次操作決定使用者手指之預測到達位置60。當使用者進行操作前非意圖性地移動時,若根據該移動算出預測到達位置60,則會無法將檢測基準設定於適切之位置,如將檢測基準40設定於極度上方之位置等。為了防止如上述之情形,在檢測使用者手指之移動速度及加速度時,僅在檢測出既定臨限值以上之使用者手指之移動速度及加速度時算出預測到達位置60,並根據預測到達位置60變更檢測基準40之位置。
根據此變形例1,由於手指到達位置係根據手指移動速度或加速度而被預測,因此能迅速地進行校準處理。
如上述般,關於本變形例之校準處理,雖說明了適用於第1實施形態之第1校準處理模式之情形,但亦能適用於第2校準處理模式。當將本變形例1適用於第2校準處理模式時,能在空中像操作中之使用者手指前端F到達檢測基準40前事先預測手指前端F之到達位置,並根據所預測之到達位置變更檢測基準。因此,能防範使用者手指前端F未達檢測基準40即產生圖標顯示之切換等之誤操作,可供使用者進行愉快舒適之操作。
(第1實施形態之變形例2)
第1實施形態及變形例1之顯示裝置1,雖係在一次校準處理中,檢測或預測到達位置,根據該到達位置變更檢測基準,將該檢測基準之位置資料儲存於記憶部205,在空中像操作模式時將空中像操作模式之檢測基準設定或變更為儲存於記憶部205之檢測基準之位置,但亦可取代此方式,變形例2之顯示裝置,係將複數次校準處理中分別設定之複數個檢測基準之位置分別儲存於記憶部205,根據該儲存之複數個檢測基準位置變更空中像操作模式中之檢測基準。在第一次校準處理中,檢測基準控制部204根據操作檢測器13之檢測輸出判定手指之到達位置50,根據此到達位置50變更檢測基準40,將該檢測基準40之位置資料儲存於記憶部205。接著進行第二次校準處理,同樣地將變更後之檢測基準之位置資料儲存於記憶部205。進而亦可繼續進行第三次校準處理。藉由以此方式連續地進行之複數次校準處理,從儲存於記憶部205之複數個檢測基準之位置資料算出一個檢測基準,並將該算出之檢測基準之位置資料儲存於記憶部205。在其後所執行之空中像操作模式,將檢測基準設定於儲存於記憶部205之算出檢測基準之位置。
為了使用此等複數個檢測基準40決定一個檢測基準可考量各種步驟。例如亦可將複數個檢測基準40相加平均以算出一個檢測基準,亦可幾何平均以算出一個檢測基準。又,亦可對複數個檢測基準40之各個進行適當之加權來決定新的檢測基準。例如,針對從第N次操作求出之檢測基準HN與從第N+1次操作求出之檢測基準之位置HN+1,以3:7之比例進行加權以算出檢測基準。具體而言,係使用HN與HN+1進行(HN×3+HN+1×7)/10之計算,並根據其結果算出檢測基準。加權不限於3:7,又,操 作次數亦不限於兩次。當然,亦可非於每複數次校準處理時根據手指之到達位置設定檢測位置並分別儲存於記憶部205,亦可將每複數次校準處理時檢測出之手指到達位置分別儲存於記憶部205,並根據該儲存之複數個到達位置算出一個檢測基準。
又,校準處理,在到達位置與檢測基準之間隔為既定值以下時,亦即到達位置為檢測基準之附近時,亦可不進行檢測基準之位置變更。
再者,校準處理中,亦可並非每於校準處理進行檢測基準之變,亦可從在複數次校準處理中判定到達位置之次數與實際判定到達位置已達檢測基準之次數,算出對圖標顯示位置之操作失敗之次數,在既定次數以上判定為失敗時,再變更檢測基準。
如上述般,關於本變形例之校準處理,雖說明了適用於第1實施形態之第1校準處理模式之情形,但亦能適用於第2校準處理模式或上述之變形例1。
上述校準處理中,由於係檢測使用者操作空中像之圖標之顯示位置時通常會進行之自然的操作動作、亦即以手指按下圖標後使手指往上方向移動之動作或手指接觸圖標並按下該圖標且停止短時間之動作等來判定到達位置,因此使用者不會注意到在校準處理中已進行到達位置之檢測、判定,從而能在使用者不意識到校準處理之情形下執行。
(第1實施形態之變形例3)
第1實施形態中,係檢測出使用者手指對空中像之顯示位置之操作而判定到達位置,並根據到達位置進行檢測基準之變更。然而,使用者亦可指定感覺已操作到空中像之圖標之顯示位置之手指位置,並由檢測基準控 制部判定其指定位置,根據指定位置變更檢測基準,並變更檢測基準與空中像之位置關係。以下,說明將使用者操作空中像之顯示位置之位置指定為指定位置的變形例。此外,以下之說明雖係說明適用於第1實施形態之第1校準處理模式之情形,但亦能適用於第2校準處理模式或上述之變形例1、2。
以下說明變形例3之顯示裝置。在啟動顯示裝置1,使用者操作校準處理模式選擇用操作按鈕以選擇第1校準處理模式後,圖2之校準部203即啟動第1校準處理模式。影像生成部201生成顯示用影像資料,根據此顯示用影像資料,顯示器11顯示校準用顯示影像。圖12係顯示此校準用顯示影像之空中像300。空中像300包含校準用圖標300B,此校準用圖標300B,重疊顯示有訊息「進行校準。請以手指指示此圖標之位置,並在該狀態下使手指往橫方向移動」。又,檢測基準控制部204如圖13(a)所示,將檢測基準40設定於空中像300附近之初始位置。
圖13(a)中,使用者為了按照重疊顯示於圖標300B之訊息操作圖標300B之顯示位置,係使手指前端F往圖標300B下降移動,在手指前端F到達圖2之操作檢測器13之靜電容檢測範圍13A時,操作檢測器13即檢測出使用者之手指F對此圖標300B之接近移動、亦即往下方之移動以作為靜電容之變化。此外,圖13(a)係顯示從正面觀看手指之圖。
使用者,使手指更加下降移動,在感覺手指前端F已到達空中像300之圖標300B之顯示位置時,即如圖13(b)中箭頭所示,使手指F往橫方向移動。操作檢測器13,檢測出此手指F之下降移動及橫方向之移動。檢測基準控制部204,判定已檢測手指下降移動之操作檢測器13已檢 測出手指之橫方向移動,將從下降移動變化為橫方向移動時之手指之高度位置判定為指定位置50A。檢測基準控制部204,根據此指定位置50A變更檢測基準40之位置,將此變更後之檢測基準40之位置資料儲存於記憶部205。此外,指定位置50A,在圖13(b)雖例示為空中像300上方之位置,但指定位置50A,由於係使用者感覺手指前端F到達空中像300之圖標300B時之位置,因此亦有指定為與空中像300一致之位置之情形,或指定為較空中像300下方之位置之情形。
此外,檢測基準控制部204,在以上之說明中雖係將手指從下降移動變化為橫方向移動時之手指位置、亦即手指之高度判定為指定位置50A,但並不限於此,例如手指從下降移動變化為橫方向移動,將該橫方向移動結束時之手指之高度判定為指定位置50A亦可。又,檢測基準控制部204,亦可將手指之橫方向移動開始至橫方向移動結束之手指之高度之平均值或中央值等設為指定位置50A。
參照圖14所示之流程圖說明上述說明之變形例3之校準處理。此外,圖14之流程圖係顯示步驟S121~步驟S129,其以後之步驟省略。步驟S129以後之處理係與圖11所示之流程圖之步驟S109以後之處理相同。
步驟S121~步驟S124之各處理,係與圖6所示之流程圖中之步驟S1~步驟S4之各處理相同。在步驟S126,操作檢測器13檢測出使用者手指之橫方向移動。在步驟S127,檢測基準控制部204根據操作檢測器13之檢測輸出,判定手指從下降移動變化成橫方向移動,將該變化時之手指位置判定為指定位置50A,根據指定位置50A變更檢測基準40之位置,將該變更後之檢測基準40之位置資料儲存於記憶部205,進至步驟S128。 在步驟S128,結束第1校準處理模式,進至步驟S129。在步驟S129,開始空中像操作模式。在此空中像操作模式,根據從記憶部205讀出之變更後之檢測基準40之位置資料設定檢測基準。
在此變形例3,使用者係在校準處理中藉由使手指從下降移動變化成橫方向移動來指定感覺手指已操作到空中像顯示位置之位置。如此,使用者,由於將感覺已操作到圖標300B顯示位置之位置指定為指定位置來進行校準處理,因此能正確地進行校準處理。又,藉由手指從下降移動變化至橫方向移動來指定指定位置,其操作性佳,且能迅速地進行校準處理。
(第1實施形態之變形例4)
變形例3之顯示裝置1中,使用者,將覺得已以手指前端操作到圖標顯示位置之位置作為指定位置,藉由使手指從下降移動變化為往橫方向移動來指定。變形例4之顯示裝置1,使用者藉由操作另一圖標來指定覺得已以手指前端操作到圖標顯示位置之位置。關於此校準處理,說明如下。此外,以下說明雖係針對適用於第1實施形態之第1校準處理模式之情形進行說明,但亦能適用於第2校準處理模式或上述之變形例1~3。
在啟動顯示裝置1,使用者操作校準處理模式選擇用操作按鈕而選擇第1校準處理模式後,圖2之校準部203啟動第1校準處理模式。影像生成部201係生成顯示用影像資料,根據此顯示用影像資料,顯示器11顯示校準用顯示影像。圖15係顯示此校準用顯示影像之空中像300。空中像300包含校準用圖標300C與300D,此校準用圖標300C,重疊顯示有訊息「進行校準。請以右手手指指示此圖標之位置。請在以右手手指指示 之狀態下,以左手手指觸碰左側圖標」。此外,圖標300C與圖標300D,係以圖標300C位於右側、圖標300D位於左側之方式並置。
使用者為了依照重疊顯示於圖標300C之訊息操作圖標300C顯示位置,係使右手手指前端往圖標300C下降移動,在手指前端到達操作檢測器13之靜電容檢測範圍13A時,操作檢測器13,即檢測出使用者手指往此圖標300C顯示位置之接近移動、亦即往下方之移動作為靜電容之變化。使用者使手指更加下降移動,在感覺手指前端操作到空中像300之圖標300C顯示位置之時點,即依照訊息,為了以左手手指前端操作圖標300D顯示位置而使左手手指前端往圖標300D移動。操作檢測器13檢測出手指前端往圖標300D之移動。檢測基準控制部204,以操作檢測器13檢測出使用者手指位於圖標300D上一事,將在該時點之右手手指前端位置判定為指定位置50A。檢測基準控制部204,根據指定位置50A變更檢測基準40,且將此變更後之檢測基準40之位置資料儲存於記憶部205。
此外,操作右側圖標300C之顯示位置之右手手指,由於感覺到該已操作時之位置會被判定為指定位置,因此接近空中像之下降移動係必要的。然而,對左側圖標300D之顯示位置進行操作之左側手指,由於只要使手指位於圖標300D上或下即可,因此不一定要使左手手指下降移動,左手手指亦可例如往與空中像300平面平行之方向、亦即橫方向移動並橫方向移動至圖標300D上或下之位置。
又,不一定要使用左手手指與右手手指,只要在校準用空中像300之圖標300C上與圖標300D上之兩方檢測出上述動作即可。例如,亦可使用單手之2支手指。又,此變形例4,亦可取代對圖標300D顯示位置之操作, 而改為按下設在顯示裝置1之未圖示決定按鈕。
再者,亦可取代將在使用者對圖標300D顯示位置之操作或按下未圖示決定按鈕之時點之右手手指前端位置判定為指定位置的方式,而將檢測出在使用者例如以左手進行了既定手勢時之右手手指前端位置判定為指定位置。此情形下,顯示裝置1具備後述之變形例8之攝影裝置18(參照圖22),使用藉由此攝影裝置18取得之影像檢測出已進行了使用者手勢(例如使手從拳頭變為布)。
參照圖16所示之流程圖說明上述說明之校準處理。此外,圖16之流程圖係顯示步驟S131~步驟S139,其後之步驟係省略。步驟S139以後之處理,係與圖11所示之流程圖之步驟S109以後之處理相同。
步驟S131~步驟S133之各處理,係與圖6所示之流程圖中之步驟S1~步驟S3之各處理相同。在步驟S134,操作檢測器13開始使用者右手手指前端往下方移動之檢測。使用者使手指更加下降移動,在感覺手指前端已操作到空中像300之圖標300C顯示位置之時點,以左手手指前端對圖標300D顯示位置進行操作。在步驟S136,將在步驟S135左手操作到圖標300D顯示位置之時點之右手手指前端位置作為指定位置50A,進至步驟S137。在步驟S137,檢測基準控制部204,根據指定位置50A變更檢測基準40,將該變更後之檢測基準40之位置資料儲存於記憶部205,進至步驟S138。在步驟S138,結束第1校準處理模式,進至步驟S139。在步驟S139,開始空中像操作模式。
上述變形例4之顯示裝置1,使用者係操作另一圖標或顯示裝置1之決定按鈕來指定在校準處理中指定手指操作圖標之位置之指定位 置。由於以此方式使使用者指定使用者知覺到圖標300之位置以進行校準處理,而能正確地進行校準處理。又,藉由另一圖標或顯示裝置之按鈕之操作指定此種指定位置,即能迅速地進行校準處理。
(第1實施形態之變形例5)
變形例5之顯示裝置,係當使用者覺得已以手指前端操作到圖標之顯示位置後,使用者使手指停止既定時間來指定指定位置。此外,雖說明此本變形例適用於第1實施形態之第1校準處理模式之情形,但亦能適用於第2校準處理模式或上述之變形例1~4。
在此情形,係於校準用空中像所含之圖標重疊顯示訊息「進行校準。請指示此圖標之位置。請暫時保持指示之狀態。」。在使用者感覺已操作到圖標顯示位置並暫時停止手指之移動,操作檢測器13即檢測出手指之下降移動已停止既定時間。檢測基準控制部204,根據此時之操作檢測器13之檢測輸出將手指之停止位置判定為指定位置。
此指定位置之判定,係如下方式進行。亦即,在往下方移動之手指前端F停止並於上下方向之較小既定停止範圍內滯留既定時間以上時,即判定為已進行對圖標300A顯示位置之操作。如上述之在手指前端F在既定停止範圍內停留既定時間以上即判定為手指前端F已對圖標300A顯示位置進行了操作的理由,係因操作為對空中像300之圖標300A顯示位置之操作,故與對觸碰面板之操作不同地,手指前端F有可能不在圖標300A顯示位置完全停止之故。此外,用以判定指定位置之既定停止範圍,設定為較操作檢測器13之靜電容檢測範圍13A充分小之值、例如5mm,又,既定時間設定為例如2秒左右。
(第1實施形態之變形例6)
變形例6之顯示裝置,係使用者藉由發聲來指定覺得已以手指前端操作到圖標顯示位置之指定位置。此外,本變形例雖係針對適用於第1實施形態之第1校準處理模式之情形加以說明,但亦能適用於第2校準處理模式或上述之變形例1~5。
圖17係顯示本變形例之顯示裝置1之構成中控制部20與藉由控制部20控制之顯示器11及操作檢測器13的方塊圖。此顯示裝置1包含收音器14,於控制部20具備聲音檢測部208。收音器14,係將顯示裝置1周圍之聲音予以收音,作為聲音資料輸出至聲音檢測部208。能使用市售的微型麥克風作為收音器14。聲音檢測部208係識別來自收音器14之聲音資料,判別該聲音資料是否相當於「是()」。
圖17中,在校準部203啟動第1校準處理模式後,影像生成部201即生成顯示用影像資料,根據此顯示用影像資料,顯示器11顯示校準用顯示影像。圖18顯示此校準用顯示影像之空中像300。空中像300包含校準用圖標300E,於此校準用圖標300E重疊顯示有訊息「進行校準。請在觸碰到此圖標時發出「是」之聲音」。
使用者,為了依照重疊顯示於圖標300E之訊息對圖標300E顯示位置進行操作,係使手指前端往圖標300E按下,在覺得觸碰到圖標300E時依照訊息發出「是」之聲音。操作檢測器13,係檢測出手指前端之下降移動,收音器14將此聲音收音,作為聲音資料輸出至聲音檢測部208。聲音檢測部208,在判定聲音資料與「是」對應時,檢測基準控制部204即將在該時點之操作檢測器13所檢測出之手指前端位置判定為指定位置50A, 根據指定位置50A變更檢測基準40,且將此變更後之檢測基準40之位置資料儲存於記憶部205。
參照圖19所示之流程圖說明上述說明之校準處理。此外,圖19之流程圖係顯示步驟S141~步驟S149,其後之步驟係省略。步驟S149以後之處理,係與圖11所示之流程圖之步驟S109以後之處理相同。
步驟S141~步驟S144之各處理,係與圖6所示之流程圖中之步驟S1~步驟S4之各處理相同。在步驟S145,聲音檢測部208,根據來自收音器14之輸出,判定使用者是否發出「是」之聲音。在步驟S145判定為肯定時,亦即判定為使用者覺得觸碰到圖標30F而發出「是」之聲音時,進至步驟S146。在步驟S145判定為否定時,即待機至判定為肯定為止。在步驟S146,檢測基準控制部204,係將聲音檢測部208判定為聲音「是」之時點之手指前端位置決定亦即判定為指定位置50A。在步驟S147,根據指定位置50A變更檢測基準40,且將該變更後之檢測基準40之位置資料儲存於記憶部205,進至步驟S148。在步驟S148,結束第1校準處理模式,進至步驟S149。在步驟S149,開始空中像操作模式。
上述之變形例6之顯示裝置1,使用者藉由發聲來指定覺得已操作到圖標顯示位置之手指位置、亦即指定位置。此種藉由發聲來指定到達位置之方式,能迅速地進行校準處理。
此外,亦可顯示裝置1不具備收音器14,將藉由外部收音裝置取得之聲音資料透過無線或有線輸入,使用從外部收音裝置輸入之聲音資料而由聲音檢測部208進行聲音檢測。
(第1實施形態之變形例7)
上述中說明了檢測基準為單一之平面或具有段差之平面。然而,檢測基準亦可非為面而係具有厚度之區域。說明此種具有區域之檢測基準之校準處理。此外,以下說明雖係說明適用於第1實施形態之第1校準處理模式之情形,但亦能適用於第2校準處理模式或上述之變形例1~6。又,亦可是適用於上述變形例1~6。
本變形例之顯示裝置1係與以第1實施形態說明之顯示裝置1相同之裝置,其構成由圖2所示之方塊圖表示。圖20(a)係顯示以本變形例之顯示裝置1顯示之空中像操作模式時之空中像30一例,圖20(b)係示意顯示本體10或操作檢測器13與空中像30與檢測基準40之位置關係。圖20(a)所示之空中像30與圖3(a)所示之空中像30相同。圖20(b)中,檢測基準40設定為被上面401與下面402所夾而於上下方向具有厚度d2之區域。
圖20(b)中,空中像30形成於往顯示裝置1之操作檢測器13上方分離距離H1之位置,檢測基準40,設定於上面401與下面402分別往操作檢測器13之上方分離距離H3與H4(H1<H3<H4)之位置。亦即,d2=H4=H3。空中像30與檢測基準40,設定為位於靜電容之檢測範圍13A內。此外,檢測基準40,雖在圖3(b)中設定於空中像30之上方,但只要在操作檢測器13之靜電容檢測範圍13A內,則亦可設定於空中像30之下方,或將空中像30之位置設定於包含於區域d2內。
操作檢測器13,在使用者手指前端進入檢測基準40時,即對應於手指前端之位置,輸出與距離H3~H4之間之任一者對應之檢測輸出,檢測基準控制部204,在此操作檢測器13之檢測輸出為相當於距離H3 與H4之間之檢測輸出時,即判定手指前端已操作到圖標30A顯示位置。以此方式,顯示裝置1,檢測出使用者已操作到空中像30之圖標30A之顯示位置,執行與該被操作之圖標30A對應之功能。例如,進行顯示器11之顯示影像之切換等。如此,變形例7之顯示裝置,由於在空中像操作模式中,不論手指位於檢測基準40之厚度d2內何處,檢測基準控制部204均會判定已進行手指對圖標30A顯示位置之操作,因此能更確實地判定對顯示位置之操作。例如,在手指偶然不從圖標30A正上方下降移動而係從斜上方下降移動時,若檢測基準40為如圖3所示之平面,則不會通過圖標30A正上方之檢測基準40而會通過其橫向之部分,可能導致發生無法判定手指對圖標30A顯示位置之操作的情形。然而,若檢測基準40具有厚度d2,則即使在手指從斜上方下降移動之情形,亦能確實地檢測出手指進入檢測基準40,因此能減低上述事態之發生。進而,即使在手指與空中像30並行地移動來操作圖標30A顯示位置之情形,由於變形例7之顯示裝置中檢測基準40具有厚度d2,因此亦能確實地檢測出手指進入檢測基準40內。
以下說明與此種具有厚度d2之檢測基準40之變形例7之顯示裝置1相關之第1校準處理模式。此外,與具有厚度d2之檢測基準40相關之第2校準處理模式亦相同。又,以下說明中,針對與第1實施形態相同之部分,予以省略。
圖21(a)中,在第1校準處理模式,顯示包含圖4所示之圖標300A之空中像300,將檢測基準40初始設定。使用者為了依照重疊顯示於圖標300A之訊息對圖標300A顯示位置進行操作,係使手指前端F往圖標300A下降移動,在手指前端F到達圖2之操作檢測器13之靜電容檢 測範圍13A時,操作檢測器13,即檢測出此使用者之手指F對圖標300A之接近移動,亦即往下方之移動作為靜電容之變化。
圖21(b)中,使用者在感覺手指已操作到圖標300顯示位置後,使用者即例如使手指前端F往上方移動既定距離。操作檢測器13,檢測出手指前端F之上述下降移動、亦即按下與接續於其之往上方之既定距離之移動作為靜電容之變化。根據此靜電容之變化,檢測基準控制部204,判定上述到達位置50或指定位置50A。
檢測基準控制部204,如圖21(c)所示根據到達位置50或指定位置50A,將檢測基準40變更為具有厚度d2之3維區域之檢測基準40。圖21(c)中,雖厚度d2之檢測基準40設定為包含到達位置50或指定位置50A,但厚度d2之檢測基準40亦可設定於較到達位置50或指定位置50A上方或下方之位置。又,亦可將從到達位置50或指定位置50A往藉由使用者按下之操作而被壓入之方向相反之方向分離既定距離之位置與到達位置50或指定位置50A所夾之3維區域作為厚度d2之檢測基準40。檢測基準控制部204,將厚度d2之檢測基準40之位置資料儲存於記憶部205。其後,執行空中像操作模式後,根據儲存於記憶部205之位置資料,設定厚度d2之檢測基準40。
上述說明之第1校準處理模式與空中像操作模式之關係,除了圖6所示之流程圖與如下之點以外可以相同之步驟進行。亦即,在步驟S6,於第1實施形態中,檢測基準控制部204係根據到達位置50來設定單一之面亦即檢測基準40的步驟。相對於此,本變形例7與上述不同者,係根據到達位置50或指定位置50A設定厚度d2之檢測基準40。
此外,在空中像操作模式中,每於操作圖標時,係進行校準處理以將檢測基準40設定為包含使用者手指前端之到達位置50或指定位置50A之面成為檢測基準40之上面401與下面402之中間,此方式亦為有効。
又,只要手指前端位於校準處理用圖標之上方,則即使在使用者手指傾斜地、亦即相對Z方向具有角度地下降移動之情形,亦能判定到達位置或指定位置。
(第1實施形態之變形例8)
上述說明中,雖係藉由以靜電容面板構成之操作檢測器13來檢測使用者手指前端往下方之移動,但亦可藉由攝影裝置來檢測使用者手指前端之位置。變形例8之顯示裝置1,如圖22所示具備攝影裝置(例如數相位機)18作為操作檢測器,此攝影裝置18配置於顯示裝置1之上表面。將此種顯示裝置1之方塊圖顯示於圖23。
圖23中以方塊圖顯示之顯示裝置1中,控制部20具備影像解析部209。攝影裝置18,拍攝位於顯示器11上方之物體、亦即使用者之手指,所拍攝之攝影影像被輸入影像解析部209。影像解析部209,係解析從攝影裝置18輸入之攝影影像而求出使用者手指前端之位置。亦即,影像解析部209,從在攝影影像內之手指之像之位置,判定使用者手指前端操作了複數個圖標中之哪個圖標。進而,影像解析部209,藉由將在攝影影像內之手指之像大小與基準之手指大小、具體而言係與事前拍攝之既定高度位置之手指大小作比較,來判定手指之高度位置、亦即手指之降下位置。藉此,求出使用者手指前端在3維空間之位置。藉由此種構成,變形例8之顯示裝置1,能藉由攝影裝置18對攝影影像之解析,取得與使用了靜電容 面板之操作檢測器13所求出之手指前端位置相關之資訊相同之資訊。是以,變形例8之顯示裝置,可取代上述之實施形態及各種變形例中說明之靜電容面板而改使用攝影裝置18,來進行與上述實施形態及變形例相同之處理。
變形例8之顯示裝置1中,影像解析部209雖係從攝影影像中之手指大小算出手指高度位置,但亦可取代此方式,攝影裝置18亦能藉由數相位機所搭載之相位差式焦點檢測裝置與影像辨識裝置檢測出手指高度位置。具體而言,影像辨識裝置係辨識手指,相位差式焦點檢測裝置針對以影像辨識裝置辨識之手指檢測散焦量,能從此散焦量算出手指高度位置。又,取代相位差式焦點檢測裝置而改使用數相位機所搭載之對比檢測式焦點檢測裝置,亦能同樣地檢測出手指高度位置。
作為攝影裝置18,可取代相位差式焦點檢測裝置或對比檢測式焦點檢測裝置,而非常合適地使用搭載有TOF(Time of Flight)裝置之攝影機。TOF攝影機,係從攝影機本體射出紅外線,接收在對象物反射而射入TOF攝影機之紅外線,根據射出光與接收光之相位變化,算出從TOF攝影機至對象物之距離。是以,能藉由將測定對象物設為使用者手指前端,從TOF攝影機往使用者手指前端射出紅外光,並接收來自手指前端之反射光,以求出從TOF攝影機至使用者手指前端之距離。此外,攝影裝置18中,作為其攝影透鏡,較佳為廣角透鏡以涵蓋空中像30整體,亦可為魚眼透鏡。又,亦可搭載複數(例如2個)個攝影裝置,並藉由該等攝影影像更加檢測使用者手指前端之位置。
圖24顯示將TOF攝影機安裝於顯示裝置1之例。圖24係 僅表示顯示裝置1內部構成,顯示裝置之本體省略。圖24中,係於顯示器11與成像光學系12之中央部設有用以配置TOF攝影機118’之空間,於該空間配置有TOF攝影機118’。TOF攝影機118’藉由將紅外線於既定範圍掃描,而對使用者手指前端照射紅外線,並藉由其反射光之相位變化,測定出從TOF攝影機118’至使用者手指前端之距離。根據此距離與紅外線之射出方向,能求出相對於TOF攝影機118’之使用者手指前端在3維空間之位置。亦即,求出手指前端之位置相當於空中像面內之哪一位置,或求出手指前端之位置從顯示裝置1表面距離多遠。藉此,能從TOF攝影機118’之測距結果取得與透過靜電容面板對手指前端位置之檢測資訊相同之資訊。此外,上述說明中,雖說明於顯示器11與成像光學系12之中央部設有用以配置TOF攝影機118’之空間,並於該空間配置TOF攝影機118’的構成,但並不限於此,亦可係將TOF攝影機118’設置於顯示器11外部之構成。
變形例8之顯示裝置1中,亦如圖24所示,空中像30形成於往顯示裝置1之成像光學系12上方分離距離H1之位置,檢測基準40設定於往成像光學系12上方分離距離H2(H1<H2)之位置。攝影裝置18,於成像光學系12表面上方處具有用以檢測使用者手指前端之位置之檢測範圍13A。圖24中,以虛線13a顯示在攝影裝置18上方能攝影範圍之極限,此檢測極限13a與成像光學系12表面之間隔顯示為檢測範圍13A。變形例8中亦與上述第1實施形態或變形例1~7之情形同樣地,空中像30與檢測基準40設定為位於檢測範圍13A內。此外,檢測基準24,在圖24中雖係設定於空中像30之上方,但只要在檢測範圍13A內,亦可在空中像30之下方,或一致於 空中像30之位置。又,變形例8中亦同樣地,檢測範圍13A內設定於檢測基準40之區域以外之範圍為檢測基準外41。此外,檢測範圍13A,不限於設定為攝影裝置18能攝影範圍之極限,亦可設定為除了能攝影範圍中之一部分範圍(例如圖24中之左右方向端部之既定範圍)以外的範圍。
上述說明中,本變形例8之顯示裝置1,係取代作為操作檢測器13之靜電容面板而具備攝影裝置18。然而,顯示裝置1,亦可同時具備操作檢測器13與攝影裝置18。此情形下,例如將圖3所示之操作檢測器13之檢測範圍13A分割為上下兩個而形成下方之檢測範圍(較接近顯示器11之檢測範圍)與上方之檢測範圍(較遠離顯示器11之檢測範圍),能將此下方之檢測範圍作為靜電容面板之檢測範圍,將上方之檢測範圍作為攝影裝置18之檢測範圍。藉由此種構成,在使用者為了對顯示位置進行操作而將手指下降移動時,攝影裝置18係檢測該手指之下降移動之前半部分,靜電容面板係檢測手指之下降移動之後半部分。一般而言,由於有靜電容面板13能高精度地檢測顯示器11上方之附近範圍,且相反的,攝影裝置18難以拍攝顯示器11上方之極附近之範圍的情形,因此使靜電容面板之檢測範圍與攝影裝置18之檢測範圍如上所述般分攤,較為理想。此外,檢測範圍13A之二分割,不限於將檢測範圍13A上下二等分之情形,亦可分割成不等分。又,操作檢測器13,不限於靜電容面板或攝影裝置18,亦能使用其他近接感測器等。是以,在將檢測範圍13A分割之情形,各種操作檢測器13能分攤經分割之檢測範圍。
圖9所示之速度/加速度檢測部206,亦能根據圖23之攝影裝置18之攝影影像算出手指之移動速度或加速度。是以,在將檢測範圍13A 分割之情形,係依上方及下方之各檢測範圍,算出手指之移動速度或加速度,停止位置預測部207亦能預測手指之到達位置。
此外,上述之第1實施形態與其變形例1~7中,雖係以至少包含控制部20與顯示器11與操作檢測器13之顯示裝置1為例進行了說明,但亦可係僅以控制部20構成之檢測裝置或以控制部20與操作檢測器13構成之檢測裝置。又,控制部20,只要至少具備校準部203與檢測基準控制部204即可。為了得到上述之第1實施形態或變形例1~7所記載之各効果,亦可從上述構成中視必要適當追加構成。
-第2實施形態-
參照圖式說明第2實施形態之顯示裝置1。第2實施形態中,係舉本實施形態之顯示裝置1組裝於行動電話之情形作為一例來進行說明。此外,本實施形態之顯示裝置並不限於行動電話,亦可組裝於平板終端、手錶型終端等之行動型資訊終端裝置、個人電腦、音樂播放器、固定電話機、穿戴式裝置等之電子機器。
本實施形態之顯示裝置1,與圖1所示之顯示裝置1相同,其主要部之構成,以圖25所示之方塊圖表示。亦即,顯示控制部20、藉由控制部20控制之顯示器11與操作檢測器13。控制部20具備影像生成部201、顯示控制部202、校準部203、檢測基準控制部204、記憶部205、以及使用者資訊解析部210。
控制部20之主要構成,由於除了具備使用者資訊解析部210以外,其餘則與第1實施形態之顯示裝置1相同,因此不同部分以外之說明係省略。檢測基準控制部204,對檢測基準進行初始設定,根據後述校準 處理之結果變更檢測基準。使用者資訊解析部210,解析被輸入之與使用者相關之資訊。檢測基準控制部204,係根據在校準處理時從使用者資訊解析部210輸入之資訊變更檢測基準。
其次,參照圖26所示之流程圖說明本實施形態之顯示裝置1之校準處理。此外,圖26之流程圖係顯示步驟S201~步驟S207,其後之步驟係省略。步驟S207以後之處理,係與圖11所示之流程圖之步驟S109以後之處理相同。圖26之流程圖所示之各處理,係在啟動顯示裝置1後,藉由控制部20執行程式來進行。此程式儲存於記憶部205。
在步驟S201,判定使用者是否已操作使用者資訊輸入模式之操作按鈕。在步驟S201中判定為肯定時,亦即,判定為使用者已選擇使用者資訊輸入模式時,進至步驟S202。在步驟S201中判定為否定時,亦即,判定為使用者未選擇使用者資訊輸入模式時,進至步驟S206。在步驟S202,開始使用者資訊輸入模式,進至步驟S203。在步驟S203,判定使用者資訊之輸入是否已結束。此判定,例如係藉由使用者是否已操作指示使用者資訊之輸入結束之按鈕來進行。在步驟S203中判定為肯定時,亦即,在使用者已指示使用者資訊之輸入結束時,進至步驟S204。在步驟S203中判定為否定時,即待機至判定為肯定為止。
在步驟S204,使用者資訊解析部210,根據被輸入之使用者資訊,變更在空中像操作模式中被初始設定之檢測基準40,且將該變更後之檢測基準40之位置資料儲存於記憶部205,進至步驟S205。例如,將檢測基準40從到達位置50變更至往上方既定距離d1之位置。在步驟S205,結束使用者資訊輸入模式,進至步驟S206。在步驟S206,開始空中像操作 模式。
作為使用者資訊,例如有使用者之性別、年齡、體型(身高、手腕長度)、視力之中之至少1種或複數種組合。於記憶部205預先儲存有以性別、年齡、體型(身高)、視力之因子中之1種或複數種組合作為參數之到達位置50相關的複數個表。在使用者輸入使用者資訊後,使用者資訊解析部210,根據被輸入之使用者資訊之種類與內容,選擇相符合之表,並從該表選擇相符合之到達位置50。檢測基準控制部204,根據被選擇之到達位置50決定檢測基準40。
儲存為表之到達位置50中,下述的人係藉由操作檢測器13於較近位置設定到達位置50,即例如女性較男性近、年齡低的人較年齡高的人近、身高低的人較身高高的人近。
此外,在圖26之流程圖之步驟S201,雖係判定是否已藉由使用者操作了使用者資訊輸入模式之操作按鈕,但此處理不一定要進行,亦可在裝置取得使用者資訊之階段時移行至步驟S204。
此外,作為上述使用者資訊,亦可將使用者之性別、年齡、體型(身高、手腕之長度)、視力等資訊,與特定該使用者之ID(Identification Code)或密碼建立關連關係後儲存於記憶部205。藉由此方式,使用者在使用顯示裝置1時,僅需輸入ID或密碼,即能根據本身之性別、年齡、體型(身高)、視力等資訊設定檢測基準40。如此,藉由與使用者相關連資訊之一個亦即使用者資訊,能將檢測基準40變更為該使用者用,變更檢測基準40與空中像300之顯示位置之位置關係。
亦可藉由如以第1實施形態之變形例8中所說明之攝影裝置 18拍攝使用者並對其攝影影像進行影像解析,來特定出使用者。例如使用公知之臉部辨識技術從攝影影像特定出使用者之年齡或性別等。檢測基準控制部204,根據該使用者之性別或年齡等資訊設定檢測基準50。藉此,亦能省略使用者輸入ID或密碼。以此方式,藉由與使用者相關連資訊之一個亦即特定出使用者之資訊,能將檢測基準40變更為該使用者用,變更檢測基準40與空中像300之顯示位置之位置關係。
(第2實施形態之變形例1)
第2實施形態能以如下方式變形。使用者之使用者資訊,亦可取代對顯示裝置1進行之方使,改由與顯示裝置1不同之另一資訊輸入裝置進行,並將該資訊透過介面傳送至顯示裝置1。又,使用者資訊,亦可預先記錄於IC卡,在該情形下,最好是於顯示裝置1或資訊輸入裝置具備卡資訊讀取功能。
此外,在上述第2實施形態,雖以至少包含控制部20與顯示器11與操作檢測器13之顯示裝置1為例進行了說明,但亦可係僅以控制部20構成之檢測裝置或以控制部20與操作檢測器13構成之檢測裝置。又,控制部20,只要至少具備校準部203與檢測基準控制部204與使用者資訊解析部210即可。此外,為了得到上述第2實施形態所記載之各効果,亦可從上述構成視必要適當追加構成。
-第3實施形態-
參照圖式說明第3實施形態之顯示裝置1。第3實施形態中,係舉本實施形態之顯示裝置1組裝於行動電話之情形作為一例來進行說明。此外,本實施形態之顯示裝置並不限於行動電話,亦可組裝於平板終端、手錶型 終端等之行動型資訊終端裝置、個人電腦、音樂播放器、固定電話機、穿戴式裝置等之電子機器。
本實施形態之顯示裝置1,與圖1所示之顯示裝置1相同,其主要部之構成,以圖27所示之方塊圖表示。本實施形態之顯示裝置1具備控制部20、藉由控制部20控制之顯示器11、操作檢測器13、以及環境檢測部19。環境檢測部19檢測顯示裝置1周圍之使用環境。控制部20具備影像生成部201、顯示控制部202、校準部203、檢測基準控制部204、記憶部205、環境解析部211。
環境解析部211,解析從環境檢測部19輸入之環境資訊,判定是否有環境變化,在有環境變化時即將環境變化資訊輸出至檢測基準控制部204。檢測基準控制部204,係根據從環境解析部211輸入之環境變化資訊執行檢測基準之校準處理。
本實施形態之校準處理,係與空中像操作模式之執行並行地被執行。參照圖28所示之流程圖說明本實施形態之校準處理。圖28之流程圖所示之各處理,係在啟動顯示裝置1後,藉由控制部20執行程式來進行。此程式儲存於記憶部205。
在步驟S211,開始空中像操作模式,進至步驟S212。在步驟S212,顯示包含圖3所示之空中像操作模式用之圖標30A之空中像30,且檢測基準控制部204將檢測基準40設定於預先決定之初始位置,進至步驟S213。在步驟S213,環境解析部211,根據以環境檢測部19檢測出之與使用環境相關之環境資訊,判定是否有環境變化。在步驟S213中判定為肯定時,亦即判定為有環境變化時,進至步驟S214。在步驟S213中判定為否 定時,亦即未判定為有環境變化時,進至步驟S216。在步驟S214中,將環境變化資訊輸出至檢測基準控制部204,進至步驟S215。在步驟S215,檢測基準控制部204根據環境變化資訊變更空中像操作模式之檢測基準,進至步驟S216。亦即,在步驟S216持續進行空中像操作模式。
作為環境資訊,有溫度、濕度、亮度等。根據此等之環境變化對檢測基準進行校準處理之理由如下所述。在透過使用者使用顯示裝置1,若顯示裝置1之溫度或顯示裝置1周圍之溫度上升,則會伴隨於此地,例如在顯示裝置1之內部固定顯示器11與成像光學系12之固定構件(未圖示)延伸,且伴隨於此使顯示器11與成像光學系12間之距離變長。作為因使用者使在空中像30附近之溫度變化之主因,可舉出如行動電話等之使用者的手所握持之顯示裝置之情形、因使用者握持顯示裝置使顯示裝置溫度上升的情形。其結果,使生成空中像30之位置相較於溫度上升前更接近使用者側。又,在使用者利用顯示裝置時在空中像30附近之亮度變化,從使用者觀看空中像30之方式亦會變化。其結果,則亦可想見會感覺到空中像30比亮度實際變化前更遠。作為在空中像30附近之亮度變化之主因,可考量到使用者自己的影子重疊於空中像之情形。或者,在顯示裝置為行動電話等以使用者的手握持的裝置之情形、因使用者握持顯示裝置而於使用者的手發汗導致周圍濕度變化的情形,有時亦會使顯示裝置1之顯示性能受到影響。
作為環境檢測部19,例如為顯示裝置1之本體10內所具備之溫度感測器、濕度感測器、亮度感測器等。此外,針對亮度,亦能使用攝影機之測光功能。
其次說明基於因使用者所致之周圍環境變化資訊之校準相關的資訊。於記憶部205中,預先儲存有以在顯示裝置1內部或附近之溫度變化與濕度變化、在空中像30附近之亮度變化之因子中之1種或複數種組合作為參數的檢測基準之修正值相關的複數個表。在藉由環境解析部211判定為有環境變化時,環境解析部211,即依據在判斷為有環境變化之情形時有變化之因子,選擇概要之表,從該表選擇相符合之檢測基準之修正值。檢測基準控制部204,根據所選擇之修正值變更檢測基準40。如上述,藉由與使用者相關連之資訊之一個亦即因使用者所致之周圍環境變化資訊,將檢測基準40變更為該使用者用,變更檢測基準40與空中像300顯示位置之位置關係。
上述之環境檢測部19之檢測輸出,能利用於在第1實施形態之第1或第2校準處理模式或第1實施形態之變形例1~8中變更檢測基準時。亦即,亦能取代在上述之第1或第2校準處理模式中根據使用者手指之到達位置變更檢測基準,而改成根據使用者手指之到達位置或指定位置與環境檢測部19之檢測輸出之兩者變更檢測基準。
此外,作為上述之環境變化,不限於因使用者所致之周圍環境變化,亦可檢測從窗戶射進陽光所致之變化或因天候所致之濕度變化或伴隨顯示裝置之持續啟動而造成之裝置本體溫度上升等之各種環境變化,根據此檢測結果變更檢測基準,變更檢測基準與空中像之位置關係。
此外,在上述第3實施形態,雖以至少包含控制部20與顯示器11與操作檢測器13之顯示裝置1為例進行了說明,但亦可係僅以控制部20構成之檢測裝置或以控制部20與操作檢測器13構成之檢測裝置。又, 控制部20,只要至少具備校準部203與檢測基準控制部204與環境解析部211即可。此外,為了得到上述第3實施形態所記載之各効果,亦可從上述構成視必要適當追加構成。
-第4實施形態-
參照圖式說明第4實施形態之顯示裝置100。本實施形態中之顯示裝置100,其操作檢測器之構成與第1實施形態中之操作檢測器13不同。圖29係顯示本實施形態之顯示裝置之圖,圖29(a),係說明第4實施形態之顯示裝置100之操作檢測器113之概略構成之剖面圖。又,圖19(b)係顯示作為組裝有顯示裝置100之電子機器一例之自動提款機(ATM裝置)200之立體圖。顯示裝置100,安裝於自動提款機200中供使用者輸入密碼或金額等之前面面板上。此外,顯示裝置100不限於自動提款機,亦能廣泛組裝於火車或巴士之車票、定期票等之各種自動售票機或圖書館或美術館等之各種資訊檢索終端裝置等。為了說明方便,針對顯示裝置100,係將X軸、Y軸及Z軸所構成之座標系如圖示般設定。
如圖29(a)所示,顯示裝置100,於本體(未圖示)內具備顯示器111、成像光學系112、操作檢測器113。設於本體內部之顯示器111,具有例如由液晶元件或有機EL元件等構成,複數個排列成二維狀之顯示像素。顯示器111,係被與第1實施形態之顯示裝置1之控制部20類似之控制部(未圖示)控制,顯示與顯示用影像資料對應之影像。成像光學系112,配置成相對顯示器111成既定位置關係。作為成像光學系112,能於透明基板內部將相隔一定間隔平行排列有2種類之帶狀反射部之元件重疊配置有2個而構成。
圖30係顯示顯示裝置100之構成中之控制部20、藉由控制部20控制之顯示器111及操作檢測器113的方塊圖。圖30之方塊圖所示之顯示裝置100,除了顯示器111及操作檢測器113之構成與圖2之方塊圖所示之顯示裝置1之顯示器11及操作檢測器13之構成不同以外,其餘則實質相同。亦即,控制部20具有CPU、ROM、RAM等,包含根據控制程式控制包含顯示裝置100之顯示器111及操作檢測器113之各種構成要素或執行各種資料處理的運算電路。控制部20具備影像生成部201、顯示控制部202、校準部203、檢測基準控制部204、記憶部205。記憶部205,包含存放控制程式之非揮發性記憶體、儲存顯示於顯示器111之影像資料等的儲存媒體等。
成像光學系112,係使從對應顯示用影像資料而顯示於顯示器111之影像射出的光束偏向,生成如圖29所示之包含圖標之空中像30。
操作檢測器113,係於空中像30附近設成包圍空中像30。於圖31顯示操作檢測器113之俯視圖。操作檢測器113,具備與XY平面平行之剖面為矩形之框狀外殼115。於外殼115之構成內面之4面中相鄰接之2面配置有複數個投光元件116,於剩餘之相鄰接2面配置有複數個受光元件117。圖31中,於框狀外殼115之與ZX平面平行之一對內面中,於內面ZX1僅設有投光元件116,於內面ZX2僅設有受光元件117。同樣地,於與YZ平面平行之一對內面中,於內面YZ1僅設有投光元件116,於內面YZ2僅設有受光元件117。亦即,投光元件116與受光元件117彼此對向設置。能使用市售雷射或LED元件等作為投光元件116。又,能使用市售光二極體或光電晶體作為受光元件117。此外,亦能使用將投光元件與受光元件一 體構成之投受光元件,此情形下,係取代投光元件改配置投受光元件,取代受光元件改配置反射鏡。
投光元件116與受光元件117,係以1對1之對應關係整齊地排列成陣列狀,構成為從1個投光元件116射出之光僅射入對應之1個受光元件117。從投光元件116射出之光線在與空中像I平行之面內(亦即與XY平面平行之面內)行進而射入受光元件117。受光元件117對光之檢測狀態被送至控制部,在控制部,受光元件117之檢測狀態與受光元件117位置對應而被掌握。藉此,在外殼115之內部中,形成與XY平面平行之複數段之2維格子狀光路群。從投光元件116射出之光之波長較佳為紅外區。
圖32顯示操作檢測器113之剖面。圖32中為了使說明簡單,係顯示投光元件116與受光元件117分別於Z方向配置6段的構成。將6段之投光元件116從Z方向+側分別設為116a、116b、116c、116d、116e、116f。又,將6段之受光元件117從Z方向+側分別設為117a、117b、117c、117d、117e、117f。如上述,操作檢測器113,於投光元件116a與116f之間具有檢測範圍,此檢測範圍相當於第1實施形態中之圖3之檢測範圍13A。
使用圖32說明操作檢測器113之功能。顯示裝置100中,顯示控制部202,係於與顯示裝置100分離之位置生成空中像30。此處,空中像30包含圖標30A,所生成之在上下方向之位置,係包含投光元件116d與受光元件117d之面。又,檢測基準控制部204,將檢測基準40設定於既定初始位置。此處,檢測基準40,設定為包含投光元件116c與受光元件117c之面。此外,為了將空中像30及檢測基準40分別設定成較精細,較佳為投光元件116與受光元件117在上下方向之段數較多。
使用者為了進行空中像30之第1圖標30A之操作,係使手指前端朝向圖標30A下降移動,當達到操作檢測器113之檢測極限(此處為包含投光元件116a與受光元件117a之面)時,操作檢測器113即根據受光元件117之輸出檢測出使用者手指前端之接近。
在手指前端F到達較空中像30之圖標30A上方之虛線位置50時,使用者感覺到手指到達圖標30B而執行了操作,即使手指前端F往下方之移動停止。檢測基準控制部204,係依據在受光元件117a及117b中光未被檢測出且在受光元件117c中光被檢測之狀態持續既定時間以上一事,判定手指前端F往下方之移動停止、亦即對圖標30B顯示位置之操作。此時,將包含投光元件116b與受光元件117b之面,作為手指前端F操作圖標30A顯示位置而停止移動之位置亦即到達位置。
檢測基準控制部204,在判定到達位置50後,即將初始設定之檢測基準40之位置變更為例如到達位置50之位置,將此變更後之檢測基準40之位置資料儲存於圖2之記憶部205。藉此,以與第1實施形態之顯示裝置1同樣之方式,根據到達位置50,設定適於該使用者之檢測基準40。亦即,將預先設置有複數個之投光元件116與受光元件117中、包含投光元件116c與受光元件117c之面初始設定為檢測基準40,並藉由校準處理,根據到達位置將檢測基準40變更為例如包含投光元件116b與受光元件117b之面,藉此變更檢測基準40與空中像30顯示位置之位置關係。此外,亦可藉由校準處理,將檢測基準40之位置變更為到達位置50之位置,亦即變更為設置有複數個之投光元件116與受光元件117中包含投光元件116b與受光元件117c之面。當然,初始設定後之檢測基準,亦能根據到達位置 而變更為到達位置上方之位置,亦能變更為到達位置下方之位置。
進而,檢測基準,亦能如圖21(c)所示變更為具有寬度d2之檢測基準。例如選擇相對到達位置50為上方之投光元件116a與受光元件117a,將包含投光元件116a與受光元件117a之面設為上面401,並選擇相對到達位置50為下方之投光元件116c與受光元件117c,並將包含投光元件116c與受光元件117c之面設為下面402,亦即只要以包含複數個投光元件116與受光元件117之組中之一組投光元件116與受光元件117的面設定上面401,以包含其他之一組投光元件116與受光元件117的面設定下面402即可。
如上述般,本實施形態,係從能藉由設置有複數個之投光元件116與受光元件117設定之複數個檢測基準中,根據到達位置選擇一組或複數組投光元件116與受光元件117來選擇檢測基準,以變更檢測基準之位置。
如以上說明所述,顯示裝置100之顯示器111與操作檢測器113,雖與顯示裝置1之顯示器11與操作檢測器13的構成不同,但能藉由類似之步驟設定檢測基準40。是以,透過第4實施形態之顯示裝置100之第1及第2校準處理,能分別藉由與於圖6及圖8以流程圖所示之步驟相同之步驟進行。第4實施形態之顯示裝置100,亦能適用於上述各種變形例。
此外,顯示裝置100亦可具備致動器與編碼器,以使投光元件116與受光元件117往Z方向移動微小距離。例如,在將檢測基準42變更為從到達位置50起相隔距離d1之位置時,係選擇與從到達位置50起相隔距離d1之位置最接近之位置之投光元件116與受光元件117。根據配置此選擇之投光元件116與受光元件117之位置與從到達位置50起之距離d1之差分,藉 由致動器移動投光元件116與受光元件117,以微調整投光元件116與受光元件117之位置。亦即,藉由微調整投光元件116與受光元件117之位置,將檢測基準42變更為藉由從到達位置50起之距離d1而接近的位置。
(第4實施形態之變形例1)
第4實施形態能以如下方式變形。在第4實施形態之顯示裝置100中,說明了操作檢測器113為具有在Z方向為複數段二維狀排列之投光元件116、受光元件117的構成。然而,二維狀排列之投光元件116、受光元件117亦可僅為1段。將裝備有此種操作檢測器113’之構成之顯示裝置100顯示於圖33。操作檢測器113’具備框狀外殼115’,於框狀外殼115’之構成內面之4面中,於相鄰接2面配置有與XY平面平行之一行複數個投光元件116,於剩餘之相鄰接2面配置有與XY平面平行之一行複數個受光元件117。亦即,操作檢測器113’,係僅以圖32中所說明之6段構成之操作檢測器113中之1段所構成。於外殼115’連接有致動器119,於Z方向以既定周期(例如毎秒10次循環)往返移動。外殼115’之位置係藉由檢測組裝於致動器119之位置之感測器、例如編碼器(未圖示)來檢測。此情形下,係將能使外殼115’往返移動之範圍所含的既定位置設定為檢測基準40。
使用圖32說明裝備有操作檢測器113’之顯示裝置100對檢測基準之校準處理。使用者為了操作空中像30之圖標30A顯示位置而將手指前端往空中像30按下。在手指前端之位置進入外殼115’之移動範圍時,從投光元件116射出之光即被使用者手指遮蔽而無法到達受光元件117。藉由編碼器檢測出被此使用者手指遮蔽而無法到達受光元件117的位置,以 檢測出使用者手指前端之位置。使用者為了操作空中像30所含之圖標30A之顯示位置而更加將手指前端往空中像30按下,使用者感覺到到達圖標30A而執行了對圖標30A之顯示位置之操作,即停止手指前端。針對使用者手指前端是否靜止,例如在往返移動之外殼115’一次往返之期間,來自投光元件116之光不到達受光元件117之位置均在大致相同之位置被檢測出時,控制部20即判定使用者手指前端為靜止。此時,將使用者手指前端靜止之位置設為到達位置,根據所決定之到達位置,設定檢測基準40之位置。顯各處理之流程圖係與圖6所示者實質相同。
此外,在上述第4實施形態、變形例1中,雖以至少包含控制部20與顯示器11與操作檢測器113之顯示裝置1為例進行了說明,但亦可係僅以控制部20構成之檢測裝置或以控制部20與操作檢測器13構成之檢測裝置。又,控制部20,只要至少具備校準部203與檢測基準控制部204即可。此外,為了得到上述第4實施形態或變形例1所記載之各効果,亦可從上述構成視必要適當追加構成。
在第4實施形態中,係使用利用了投光元件、受光元件之操作檢測器來檢測使用者手指前端之位置。然而,亦能具備攝影部來作為操作檢測部。例如,亦可於顯示裝置裝備攝影機作為攝影部,藉由此攝影機檢測出使用者手指前端之移動,根據其資訊進行檢測基準40之校準處理。圖34係顯示與第4實施形態中說明之顯示裝置100相同之具有顯示器111與成像光學系112之顯示裝置100’。顯示裝置100’不具備操作檢測器113,而係具備攝影裝置(例如數相位機)118來取代操作檢測器113,此點與顯示裝置100不同。在顯示裝置100’中,藉由攝影裝置118掌握使用者 之手指位置。作為安裝於攝影裝置118之透鏡,較佳為廣角透鏡以涵蓋空中像30整體,亦可為魚眼透鏡。又,亦可搭載複數(例如2個)個攝影裝置,並藉由該等攝影影像更加檢測使用者手指前端之位置。
上述第1實施形態至第4實施形態及該等變形例中,係以藉由使檢測基準40之位置移動來變更檢測基準40與空中像30(或圖標300A等)之位置關係之方式進行控制。然而,亦可為了變更檢測基準40與空中像30之相對位置關係而使空中像30移動。又,亦可為了變更檢測基準40與空中像30之相對位置關係而使檢測基準40與空中像30之兩者移動。
-第5實施形態-
以上之實施形態及其變形例,係藉由校準處理控制或變更檢測基準以變更檢測基準與空中像之顯示位置之位置關係,而其次說明藉由校準處理變更空中像之顯示位置以變更檢測基準與空中像之顯示位置之位置關係的第5實施形態。
圖35及圖36係顯示第5實施形態之顯示裝置。第5實施形態之顯示裝置1,係與第1實施形態之顯示裝置同樣地,如圖35所示具備內藏控制部20之本體10、顯示器11、成像光學系12、操作檢測器13,且如圖36所示具備影像生成部201、顯示控制部202、校準部203、檢測基準控制部204、記憶部205。第5實施形態之顯示裝置1,除了上述構成以外還進一步具備顯示位置變更部500、顯示位置控制部220。
顯示位置變更部500,具有例如馬達或致動器等之驅動部,使成像光學系12如箭頭所示往成像光學系12之光軸方向移動,使藉由成像光學系12形成之空中像30之顯示位置往Z軸方向、亦即光軸方向移動來 變更。為了使空中像30往上方、亦即往從顯示器11離開之方向移動,係使成像光學系12往下方、亦即往接近顯示器11之方向移動,相反地為了使空中像30往下方、亦即往接近顯示器11之方向移動,則係使成像光學系12往上方、亦即往從顯示器11離開之方向移動。此外,顯示位置變更部500,亦能取代移動成像光學系12之方式,改成使顯示器11往成像光學系12之光軸方向移動以移動空中像30之顯示位置並加以變更。
顯示器11與成像光學系12與操作檢測器13,雖能使用和圖1所示之第1實施形態之顯示器11與成像光學系12與操作檢測器13之各個相同的構成,但本實施形態之成像光學系12或顯示器11,係如上所述構成為能移動於成像光學系12之光軸方向。
此外,以下說明中,雖係以具有馬達或致動器等之驅動部,使成像光學系12如以箭頭所示往成像光學系12之光軸方向移動,並使藉由成像光學系12形成之空中像30之顯示位置往Z軸方向、亦即光軸方向移動來變更之例來進行說明,但不限定於此,顯示位置控制部220,亦可控制顯示器11,使其顯示用以由右眼目視確認之顯示影像與用以由與由右眼目視確認之影像具有視差的左眼目視確認的顯示影像,以變更空中像30於深度之顯示位置。
影像生成部201與顯示控制部202與校準部203與檢測基準控制部204與記憶部205,係發揮與圖1所示之第1實施形態之影像生成部201與顯示控制部202與校準部203與檢測基準控制部220與記憶部205相同之功能者。
控制部20,如上所述具備顯示位置控制部220,此顯示位置 控制部220,係根據在校準處理模式中檢測或判定出之手指到達位置或指定位置等算出或決定空中像30之移動量,以使顯示位置變更部500變更空中像30之顯示位置。
其次說明第5實施形態之顯示裝置之動作。空中像操作模式,與第1實施形態之顯示裝置相同,在啟動空中像操作模式後,圖3(a)所示之空中像操作模式用之空中像30藉由成像光學系12顯示,並藉由檢測基準控制部204將檢査基準40設定為既定初始位置。在手指為了操作空中像30之圖標30A之顯示位置而下降移動後,操作檢測器13檢測出手指之下降移動。檢測基準控制部204,即根據操作檢測器13之檢測輸出,判定手指已到達檢測基準40之位置,藉由此判定,執行與被操作之圖標30A對應之功能,例如切換空中像30之顯示內容。
在執行第1校準處理模式後,顯示控制部202與顯示器11與成像光學系12將圖4所示之校準處理用之空中像300形成於空中,檢測基準控制部204將檢測基準40於空中像300之附近設定為初始位置。使用者為了操作空中像300之圖標300A而使手指下降移動後,操作檢測器13即檢測出該下降移動。檢測基準控制部204,係根據操作檢測器13之檢測輸出判定手指之到達位置50。此判定,係使用在第1實施形態說明之方法或在第1實施形態之變形例1,2說明之方法。顯示位置控制部220,係根據手指之到達位置50,使顯示位置變更部500將空中像300之位置往成像光學系12之光軸方向移動。
此外,顯示控制部202與顯示器11與成像光學系12亦可形成圖12、圖15、圖18所示之校準處理用之空中像300,此情形下,檢測基 準控制部204,係根據操作檢測器13之檢測輸出判定手指之指定位置50A。顯示位置控制部220,係根據指定位置50A,使顯示位置變更部500將空中像300之位置往成像光學系12之光軸方向移動。藉由此空中像300顯示位置之移動結束第1校準處理,並在接續其之空中像操作模式中,於移動後之顯示位置顯示空中像操作模式用之空中像30。
藉由顯示位置控制部220及顯示位置變更部500所致之空中像300顯示位置之移動係以下述方式進行。亦即,顯示位置控制部220及顯示位置變更部500,在手指之到達位置50或指定位置50A如圖37(a)所示位於較檢測基準40上方時,係算出到達位置50或指定位置50A與檢測基準40之間隔△H,使空中像300之顯示位置移動至例如往下方分隔間隔△H之虛線所示顯示位置300。空中像300由於顯示於空間,因此目視確認性差,依使用者不同,有時會有空中像300之顯示位置看起來不一樣的情形。在圖37(a)所示之例中,使用者感覺到空中像300似乎位於空中像300顯示位置較實際位置高之位置。因此,使用者之到達位置50或指定位置50A,會成為較空中像300之顯示位置上方之位置。因此,為了檢測使用者對空中像300顯示位置之操作,係使空中像300顯示位置往下方移動間隔△H。從而,使用者會操作到往下方移動後之空中像300顯示位置,能期待到達位置50或指定位置50A變得更下方。由於到達位置50或指定位置50A變得更下方,因此到達位置50或指定位置50A到達檢測基準,而能檢測出使用者對空中像300顯示位置之操作。如上述,能藉由使空中像300顯示位置移動,而在檢測基準40檢測出使用者對空中像300顯示位置之操作。
又,顯示位置控制部220及顯示位置變更部500,在手指之到達位置50 或指定位置50A如圖37(b)所示位於較檢測基準40下方時,係算出到達位置50或指定位置50A與檢測基準40之間隔△H,使空中像300之顯示位置移動至往上方分隔例如間隔△H之虛線之顯示位置300。
再者,顯示位置控制部220及顯示位置變更部500,在手指之到達位置50或指定位置50A一致於檢測基準40時、或不存在於檢測基準40附近位置時,即不移動空中像300之顯示位置。
此外,顯示位置控制部220及顯示位置變更部500,雖在到達位置50或指定位置50A位於較檢測基準40上方之情形時,使空中像300之顯示位置往下方移動,在到達位置50或指定位置50A位於較檢測基準40下方之情形時,即使空中像300之顯示位置往上方移動,但其移動量,不必如上所述般與到達位置50或指定位置50A與檢測基準40之間隔△H一致,亦可如在第1實施形態中所說明,較間隔△H大或小。
此外,作為空中像移動量之算出方法之一例,係使多數使用者事前執行校準處理,求出相對於到達位置或指定位置與檢測基準之距離△H使空中像300之顯示位置進行各種移動時之空中像在操作上不協調感少之空中像300之移動量,對該空中像300之移動量進行統計處理,決定相對於距離△H之空中像之移動量。
此種藉統計處理所決定之空中像之移動量,例如亦可為所有使用者均共通之值,亦可為依照使用者之各年齡層而不同之值,亦可依性別不同而為不同之值。此外,此藉統計處理所決定之空中像之移動量之決定方法,亦能適用於上述第1實施形態中,決定根據到達位置或指定位置變更檢測基準時之檢測基準之移動量的情形。
針對上述說明之校準處理,舉出第1校準處理模式為例並參照圖38所示之流程圖加以說明。此外,圖38之流程圖係顯示步驟S301~S308,其後之步驟係省略。步驟S308以後之處理,係與圖6之步驟S9以後之處理相同。
步驟S301~S305之各處理,係與圖6所示之流程圖中之步驟S1~S5之各處理相同。在步驟S306,顯示位置控制部220係使空中像300之顯示位置變更。亦即,顯示位置控制部220,根據手指之到達位置50,使顯示位置變更部500將空中像300之顯示位置往成像光學系12之光軸方向移動,進至步驟S307。在步驟S307,結束第1校準處理模式,進至步驟S308。在步驟S308,開始空中像操作模式。此外,在步驟S303顯示圖12、圖15、圖18所示之空中像300時,只要在步驟S305判定指定位置50A,在步驟S306根據指定位置50A變更空中像300之顯示位置即可。
此外,關於校準處理之說明,雖以第1校準處理模式為例來說明,但亦能適用於第2校準處理模式。
如以上所述,第5實施形態之顯示裝置,係在校準處理中根據到達位置或指定位置變更空中像之顯示位置,以變更空中像之顯示位置與檢測基準之位置關係,而能得到適於使用者操作特性之空中像顯示位置與檢測基準之位置關係。
又,在校準處理中移動空中像時,若在校準處理中變更檢測基準時即將發生變更後之檢測基準超出圖3所示之操作檢測器13之檢測範圍13A外或位於檢測範圍13A上限或下限附近之類的事態時,只要取代檢測基準之變更改進行空中像之移動,即能避免上述事態。
(第5實施形態之變形例1)
其次,說明第5實施形態之顯示裝置之變形例1。
第5實施形態之顯示裝置,雖係在校準處理中根據到達位置或指定位置變更空中像之顯示位置,但第5實施形態之顯示裝置之變形例1,亦可在校準處理中,根據到達位置或指定位置,由顯示位置控制部220及顯示位置變更部500變更空中像之顯示位置,且由檢測基準控制部204變更檢測基準之位置。藉由此空中像之顯示位置之變更及檢測基準之位置之變更,能得到適於使用者操作特性之空中像顯示位置與檢測基準之位置關係。顯示位置變更部500,在難以將空中像高精度地移動至根據到達位置或指定位置所決定之適當顯示位置時,可藉由由顯示位置變更部500粗調整空中像之顯示位置,由檢測基準控制部204微調整檢測基準,來將空中像之顯示位置與檢測基準之位置關係適當地設定。
(第5實施形態之變形例2)
以下說明第5實施形態之顯示裝置之變形例2。變形例2之顯示裝置,在顯示位置控制部220及顯示位置變更部500移動空中像顯示位置時,係在移動開始至移動結束之期間使空中像之顯示淡出(fade-out)之後再淡入(fade-in)。亦即,使伴隨空中像之移動開始而顯示之輝度和緩地變小,其後,隨著空中像之移動結束而使顯示輝度和緩地變大。雖使空中像移動來作為校準處理,但若使用者能目視確認之空中像移動後,有時會有使使用者產生不協調感之情形。因此,藉由伴隨空中像之移動開始使顯示輝度和緩地變小,空中像之移動即不再難以被使用者目視確認,能減輕使用者之不協調感。
又,顯示控制部202,能在空中像之移動中降低空中像之顯示輝度或對比,或在降低輝度或對比之狀態下使空中像之顯示閃爍,或進而消除空中像之顯示。如此,藉顯示位置變更部500進行之空中像之移動變得不醒目,亦即使之難以目視確認,藉此能減輕使用者之不協調感。
又,相反地,亦可進行伴隨空中像之移動使空中像本身變得醒目之顯示態樣。所謂使空中像變得醒目之顯示態樣,係在空中像之移動中提升空中像之顯示輝度或對比,或使空中像之顯示閃爍等。如此,藉由進行使空中像本身變得醒目之顯示態樣,而能使空中像之移動變得醒目,相較於空中像之移動,使用者會更注意到空中像本身。因此,使用者不會去注意空中像之移動,而能減輕使用者之不協調感。
如上所述,在空中像移動時之空中像顯示態樣之變更,係在圖38之流程圖中之步驟S306之處理中進行。
此種在空中像移動中使空中像之顯示變得不醒目或變得醒目之動作,可以不是對空中像之整體進行,而是對空中像之一部分、例如對校準處理用之圖標進行。又,是否要進行此種使空中像之移動變得醒目之動作,可視使用者之喜好來加以選擇。
又,與先前說明相反地,由於在校準處理之執行中由使用者確認空中像之移動,因此亦可使藉顯示位置變更部500進行之空中像之移動變得醒目。顯示控制部202,亦可在空中像之移動中提升空中像之顯示輝度或對比或使空中像之顯示閃爍。上述說明中,雖係使空中像之移動變得不醒目,相反地亦能藉由對使用者使空中像之移動醒目,來使空中像移動後之位置明確。
此外,如上所述,在空中像移動時之空中像顯示輝度之變更,係在圖38之流程圖中之步驟S306之處理中進行。
(第5實施形態之變形例3)
以下說明第5實施形態之顯示裝置1之變形例3。變形例3之顯示裝置1,在校準處理時藉由使用者之操作開始空中像顯示位置之變更。此情形下,在使用者之操作結束後,顯示位置控制部220係控制顯示位置變更部500,開始空中像顯示位置之變更。
關於上述說明之校準處理,舉第1校準處理模式為例並參照圖39所示之流程圖加以說明。此外,圖39之流程圖係顯示步驟S311~S319,其後之步驟係省略。步驟S319以後之處理,係與圖6之步驟S9以後之處理相同。
步驟S311~S315之各處理,係與圖38所示之流程圖中之步驟S301~S305之各處理相同。在步驟S316,判定使用者之操作是否已結束。在步驟S316中判定為肯定時,亦即判定為使用者之操作已結束時,進至步驟S317。在步驟S316中判定為否定時,返回至步驟S314。步驟S317~S319之各處理,係與圖38所示之流程圖中之步驟S306~S308之各處理相同。
此外,判定使用者之操作是否已結束之步驟S316,係決定是否變更空中像顯示位置。是以,使用者之操作之結束,亦可以已判定到達位置或指定位置一事來判斷使用者之操作結束,或亦可在到達位置或指定位置之判定後,以用以變更顯示位置之特定手勢(如使用者之手之形狀從布變為拳頭之手勢)之檢測來判斷使用者之操作結束,或亦可在到達位置或指定位置之判定後,將用以變更顯示位置之按鈕顯示於空中像,以已 檢測出該按鈕已被使用者按下一事來判斷使用者之操作結束。
此外,作為校準處理之說明雖以第1校準處理模式為例進行了說明,但亦能適用於第2校準處理模式。
(第5實施形態之變形例4)
以下說明第5實施形態之顯示裝置1之變形例4。變形例4之顯示裝置1,係藉由發聲來指定在校準處理時使用者開始空中像顯示位置之變更的時點。圖40係顯示變形例4中之顯示裝置1構成中藉由控制部20控制之顯示器11及操作檢測器13的方塊圖。此顯示裝置1,包含圖17所示之第1實施形態之變形例6中之收音器14,於控制部20具備聲音檢測部208。
顯示裝置1,係與第1實施形態之情形同樣地判定到達位置50。顯示控制部202,係於空中像300之校準用圖標300F,例如如圖41所示重疊顯示訊息「執行校準。請發出「是」之聲音」。使用者依照校準用圖標300F之訊息發出「是」之聲音後,收音器14將此聲音收音,作為聲音資料輸出至聲音檢測部208。聲音檢測部208,在判定聲音資料對應「是」後,顯示位置控制部220,即控制顯示位置變更部500,變更空中像300之顯示位置。如上述之空中像顯示位置之變更,係取代圖39所示之第5實施形態之變形例3之流程圖中之步驟S316中判定使用者操作是否已結束之方式,改為判定使用者是否已發出「是」之聲音,在判定為已發出「是」之聲音時即在步驟S316判定為肯定而進至步驟S317。
此外,作為校準處理之說明,雖以第1校準處理模式為例進行了說明,但亦能適用於第2校準處理模式。
又,顯示裝置1亦可不具備收音器14,而將藉由外部收音裝置取得之 聲音資料透過無線或有線輸入,並使用從外部收音裝置輸入之聲音資料,由聲音檢測部208進行聲音檢測。
此外,如以上所述,即使檢測基準控制部204已判定手指之到達位置或指定位置,若使用者至發出「是」之聲音為止不移動空中像,在檢測出使用者已發出「是」之聲音而移動空中像後,在至使用者發出「是」之聲音為止之期間,可能會有對空中像顯示位置之操作反覆複數次的情形。此種情形下,使用者發出「是」之聲音時,例如係根據複數次之到達位置或指定位置之相加平均或幾何平均等之平均值或複數個到達位置50之中央值(median),或根據複數個到達位置或指定位置中最後之到達位置或指定位置,移動空中像。
(第5實施形態之變形例5)
以下說明第5實施形態之顯示裝置之變形例5。變形例5之顯示裝置1,在使用者正在目視確認空中像之情形時,係終止空中像之移動,在使用者之視線從空中像移開之情形時,係進行空中像之移動。是以,顯示裝置1如第1實施形態之變形例8所示具備攝影機等之攝影裝置,攝影裝置拍攝執行校準處理中之使用者,控制部20解析所拍攝之影像資料,根據此解析結果判定使用者臉部之面向或使用者身體之方向,判定使用者是否正在目視確認空中像。顯示位置控制部220及顯示位置變更部500,在使用者未目視確認空中像時,移動空中像。雖係使空中像移動來作為校準處理,但使用者能目視確認之空中像移動時,會有使使用者產生不協調感之情形。因此,在使用者視線從空中像移開之情形時,係藉由進行空中像之移動,空中像之移動不會被使用者目視確認,而能減輕使用者之不協調感。
顯示裝置1,亦可取代攝影裝置或除了攝影裝置外進一步地,具備檢測使用者視線之視線檢測器,根據此視線檢測器之檢測輸出,顯示位置控制部220及顯示位置變更部500,在使用者未目視確認空中像時,在使用者視線未朝向空中像時移動空中像。如上述之空中像顯示位置之變更,例如係取代圖39所示之第5實施形態之變形例3之流程圖中之步驟S316中判定使用者操作是否已結束之方式,改為判定使用者是否正在目視確認空中像。在判定為使用者正在目視確認空中像時,即在步驟S316判定為肯定,進至步驟S317。
此外,作為校準處理之說明雖以第1校準處理模式為例進行了說明,但亦能適用於第2校準處理模式。
此外,上述之視線檢測器或攝影裝置,亦可不設於顯示裝置1。視線檢測器,亦可設置於顯示裝置1外部,並將視線檢測結果透過無線通訊或纜線發送至顯示裝置1。又,攝影裝置,亦可設置於顯示裝置1外部,而將攝影資料透過無線通訊或纜線發送至顯示裝置1。
此外,上述說明中,雖係在判定為使用者正在目視確認空中像時進行了空中像顯示位置之變更,但相反地,亦可在使用者正在目視確認空中像時,顯示位置控制部220及顯示位置變更部500進行使空中像顯示位置變更的控制。此情形下,由於使用者確實地目視確認到空中像,使用者能知覺到空中像移動了何種程度,因此能催促使用者進行操作之位置之變更。
此外,上述說明中,在使用者未目視確認空中像時,雖係進行空中像顯示位置之變更的控制,但亦可取得使用者之生體資訊,並進行根據生體資訊之值使空中像顯示位置變更的控制。例如,係取得使用者之脈搏數作 為使用者之生體資訊。作為取得使用者脈搏之方法,例如係在利用裝置前將用以取得使用者脈搏數之裝置安裝於使用者。接著,顯示位置控制部220及顯示位置變更部500,亦可在使用者脈搏數變多時進行使空中像顯示位置變更的控制。在使用者脈搏數變多時,有時會有使用者無法順利操作而焦躁的情形。此種情形下,藉由變更空中像顯示位置,即能供使用者舒適愉快地利用裝置。
此外,如以上所述,即使檢測基準控制部已判定手指之到達位置或指定位置,若使用者目視確認到空中像時不移動空中像,在檢測出使用者無目視確認空中像而移動空中像後,在至使用者無目視確認空中像為止,可能會有對空中像顯示位置之操作反覆複數次的情形。此種情形下,在使用者無目視確認空中像時,例如係根據複數次之到達位置或指定位置之相加平均或幾何平均等之平均值或複數個到達位置50之中央值(median),或複數個到達位置或指定位置中最後之到達位置或指定位置,移動空中像。
(第5實施形態之變形例6)
以下說明第5實施形態之顯示裝置之變形例6。變形例6之顯示裝置1能在校準處理中變更空中像之移動速度。顯示裝置1能以極高速度使空中像移動或使空中像以低速移動。顯示位置控制部220與顯示位置變更部500,係使空中像以第1既定值以上之極高速度移動或使空中像以較第1既定值小之第2既定值以下之低速度移動。如此,藉由使空中像以極高速度或低速度移動,使用者難以目視確認空中像之移動。又,是要使空中像以極高速移動或以低速度移動,亦可藉由使用者透過選擇開關等來選擇。藉 由顯示位置控制部220與顯示位置變更部500進行此種控制,使用者變得難以目視確認空中像顯示位置之移動。因此,空中像之移動變得難以被使用者目視確認,能減輕使用者之不協調感。又,在變更空中像顯示位置之距離較大的情形,由於有空中像顯示位置之變更對使用者而言較為醒目的情形,因此亦可根據欲變更之距離變更第1既定值與第2既定值。例如,在使空中像之顯示位置移動既定距離以上時,亦可相較於使空中像之顯示位置移動既定距離以下之情形加快第1既定值之速度,並將第2既定值之速度設為較慢。
此外,在上述第5實施形態或其變形例1~6中,雖舉至少包含控制部20與顯示器11與操作檢測器13之顯示裝置1為例,但亦可係僅以控制部20構成之控制裝置或以控制部20與顯示器11構成之控制裝置。又,控制部20,只要至少具備校準部203與顯示位置控制部220即可。為了得到上述之第5實施形態或變形例1~6所記載之各効果,只要從上述構成中視必要適當追加構成即可。
-第6實施形態-
其次參照圖42說明第6實施形態之顯示裝置。作為所說明之顯示裝置,係具備與圖35及圖36所示之第5實施形態之顯示裝置相同之構成。與上述第5實施形態之顯示裝置之差異點在於,如圖42所示,係隔著空中像30而於初始設定有第1檢測基準40a與第2檢測基準40b。此外,圖42中,係設定為空中像30位於第1及第2檢測基準40a,40b間之中間,亦即設定為空中像30與第1檢測基準40a之距離和空中像30與第2檢測基準40b之距離相等。然而,亦可不一定要將空中像30與第1檢測基準40a之距離和 空中像30與第2檢測基準40b之距離設定為相等。又,於空中像30顯示有圖標30A。
在空中像操作模式,使手指F往圖標30A下降移動後,操作檢測器13檢測出手指F之下降移動。在手指F到達第1檢測基準40a時,檢測基準控制部204即根據操作檢測器13之檢測輸出,判定手指F已到達第1檢測基準40a,依據此判定,顯示控制部202使圖標30A之顯示態樣變化。此顯示態樣之變化,亦可係顯示之高輝度化或閃爍顯示等之醒目顯示,亦可改變顯示之顏色。藉由此種圖標30A顯示態樣之變化,使用者能確認手指選擇了圖標30A。
在使用者使手指F更加降下移動而到達第2檢測基準40b時,檢測基準控制部204即根據操作檢測器13之檢測輸出,判定手指F已到達第2檢測基準40b,並依據此判定,顯示控制部202切換空中像30之顯示內容。亦即,第2檢測基準40b,發揮與記載於上述第5實施形態之檢測基準40相同之功能。此外,雖係以判定手指F已到達第2檢測基準40b,並依據此判定,顯示控制部202切換空中像30之顯示內容之例進行了說明,但不限於此。例如,亦可判定手指F已到達第2檢測基準40b,並依據此判定,顯示控制部202使動畫像顯示作為空中像30,並進行動畫像之播放的控制。又,亦可判定手指F已到達第2檢測基準40b,並依據此判定,顯示控制部202捲動控制空中像30。
其次,參考第2校準處理模式說明第6實施形態之校準。圖43(a)中,係在第2校準處理中,使用者使手指F往空中像30之圖標30A之方下降移動,在感覺到已對圖標30A進行選擇操作後,亦即使用者已判 斷手指F已到達第1檢測基準40a時,即產生使用者之手指F下降停止等。圖36所示之檢測基準控制部204,係根據操作檢測器13之檢測輸出,依據使用者之手指F下降停止等判定手指之到達位置50或指定位置50A。到達位置50或指定位置50A,位於較第1檢測基準40a上方相隔距離△H的位置。
由於到達位置50或指定位置50A位於較第1檢測基準40a上方相隔距離△H之位置,因此顯示位置控制部220,係使空中像30顯示位置移動至往下方相隔距離△H位置、亦即虛線所示之位置30。
藉由此空中像30之下方移動,對空中像30與第1檢測基準40a之位置關係進行校準處理。由於藉由此校準處理,空中像30與第2檢測基準40b之距離變得較空中像30與第1檢測基準40a之距離小,因此檢測基準控制部204係如圖43(b)所示,使第2檢測基準40b往下方移動至虛線所示之位置40b,使空中像30與第2檢測基準40b之距離和空中像30與第1檢測基準40a之距離相等。藉由空中像30之下方移動,從空中像30之位置至第2檢測基準40b之位置之距離變短。因此,使用者在覺得觸碰到空中像30後,由於立即到達第2檢測基準40b,因此有難以操作之感。而如上述,藉由將空中像30與第2檢測基準40b之距離設為適切之距離,使用者較容易操作。又,若使空中像30與第2檢測基準40b之距離和空中像30與第1檢測基準40a之距離相等,則使用者能根據空中像30與第1檢測基準40a之距離,簡單地掌握空中像30與第2檢測基準40b之距離。
其次,在如圖44(a)所示到達位置50或指定位置50A位於較第1檢測基準40a往下方相隔距離-△H之位置時,顯示位置控制部 220與顯示位置變更部500,係如圖44(b)所示使空中像30之顯示位置往上方移動距離△H。伴隨此空中像30之移動,檢測基準控制部204,係如圖44(c)所示使第2檢測基準40b往上方移動至虛線所示之位置40b。藉此,使空中像30與第2檢測基準40b之距離和空中像30與第1檢測基準40a之距離相等。藉由空中像30往上方移動,從空中像30之位置至第2檢測基準40b之位置之距離變長。因此,使用者在覺得觸碰到空中像30後,至到達第2檢測基準40b為止還有距離,有難以操作之感。而如上述,藉由將空中像30與第2檢測基準40b之距離設為適切之距離,使用者較容易操作。又,由於使空中像30與第2檢測基準40b之距離和空中像30與第1檢測基準40a之距離相等,因此使用者能根據空中像30與第1檢測基準40a之距離,簡單地掌握空中像30與第2檢測基準40b之距離。
第2校準處理模式之說明雖係如以上所述,第1校準處理模式亦為相同。
(第6實施形態之變形例1)
上述第6實施形態之顯示裝置,係藉由空中像30之移動變更第1檢測基準40a與空中像30之位置關係,並伴隨此空中像30之移動,使第2檢測基準40b移動成空中像30與第2檢測基準40b之距離成為和空中像30與第1檢測基準40a之距離大致相等。其次,說明此變形例1。在此變形例1中,第1檢測基準40a與空中像30之位置關係,雖與第6實施形態之顯示裝置同樣地藉由空中像30之移動來變更,但空中像30與第2檢測基準40b之位置關係,係藉由基於手指對第2檢測基準之到達位置或指定位置之第2檢測基準40b之移動來變更。
此變形例1之顯示裝置,係與第6實施形態之顯示裝置同樣地顯示圖42所示之空中像30,將第1及第2檢測基準40a,40b初始設定。使用圖45(a),(b),(c)說明校準處理。此外,圖45(a)係與圖39(a)相同。
圖45(a)中,例如使用者係使手指F往空中像30之第1圖標30A下降移動,在感覺到已對圖標30A進行選擇操作後,亦即使用者已判斷手指F已到達第1檢測基準40a時,即產生使用者之手指F下降停止等。檢測基準控制部204,係根據操作檢測器13之檢測輸出,判定手指之到達位置50或指定位置50A。由於到達位置50或指定位置50A位於較第1檢測基準40a上方相隔距離△H之位置,因此顯示位置控制部220,係使空中像30顯示位置移動至往下方相隔大致距離△H之位置、亦即虛線所示之位置30。藉由此空中像30之下方移動,變更空中像30與第1檢測基準40a之位置關係,亦即進行校準處理。
使用者在進行校準處理後使手指F更加下降移動,感覺到已對圖標30A進行執行操作後,亦即使用者已判斷手指F到達第2檢測基準40b時,即產生使用者之手指F下降停止等。如圖45(b)所示,檢測基準控制部204,係根據操作檢測器13之檢測輸出,判定手指對第2檢測基準40b之到達位置50或指定位置50A。由於此手指之到達位置50或指定位置50A位於較第2檢測基準40b上方相隔距離△H之位置,因此圖36之檢測基準控制部204,係根據手指之到達位置50或指定位置50A使第2檢測基準40b往上方移動例如大致距離△H。如此一來,第2檢測基準40b如圖45(c)所示,往上方移動至虛線位置40a。藉由此第2檢測基準40b往上方 移動,變更、亦即校準空中像30與第2檢測基準40b之位置關係。
此外,在手指對第1檢測基準40a之到達位置50或指定位置50A係較第1檢測基準40a下方之位置的情形時,與在圖44(a),(b)中所說明之第6實施形態之顯示裝置之情形同樣地,顯示位置控制部220,係根據手指之到達位置50或指定位置50A使空中像30往上方移動。藉由此空中像30往上方之移動,變更空中像30與第1檢測基準40a之位置關係,亦即進行校準處理。
又,在手指對第2檢測基準40b之到達位置50或指定位置50A係較第2檢測基準40b下方之位置的情形時,檢測基準控制部204係根據手指之到達位置50或指定位置50A使第2檢測基準40b往下方移動。藉由此第2檢測基準40b往下方之移動,變更空中像30與第2檢測基準40b之位置關係,亦即進行校準。在如上述般藉由空中像30之移動變更空中像30與第1檢測基準40a之位置關係後,藉由第2檢測基準40b之移動變更空中像30與第2檢測基準40b之位置關係,藉此能將空中像30與第1檢測基準40a之位置關係、空中像30與第2檢測基準40b之位置關係之兩者均變更為適切之位置關係。
此外,亦可與上述變形例1之控制不同地,根據手指對第1檢測基準40a之到達位置50或指定位置50A使空中像30,在變更空中像30與第1檢測基準40a之位置關係後,根據手指對第2檢測基準40b之到達位置50或指定位置50A,進一步使空中像30移動,以變更空中像30與第2檢測基準40b之位置關係。如上述,由於能僅藉由空中像30之移動決定空中像30與第1檢測基準40a之位置關係、空中像30與第2檢測基準40b之 位置關係,因此能以簡單之控制變更位置關係。
(第6實施形態之變形例2)
其次,說明第6實施形態之顯示裝置之變形例2。上述第6實施形態及變形例1之差異在於,使空中像30移動之方式不同。亦即,係配合使用者手指之下降移動使空中像30之顯示位置移動。
變形例2,係在空中像操作模式中使用者之手指往圖標30A下降移動,手指到達第1檢測基準40a,藉此,在圖標30A之顯示態樣變化後,手指更加下降移動而到達空中像30之顯示位置時,顯示位置控制部220即根據操作檢測器13之檢測輸出判定手指到達空中像30之顯示位置,配合手指之下降移動使空中像30之顯示位置移動。顯示位置控制部220,係以空中像顯示位置與下降移動之手指之位置被既定範圍所包含之方式控制空中像30之顯示位置。藉由如上述般控制,能使空中像30之顯示位置以追隨下降之手指之方式下降移動。又,將空中像30之顯示位置設定為隨時在較更加下降之手指下方的位置,並以配合下降之手指使空中像30之顯示位置下降移動之方式由顯示位置控制部220控制空中像30之顯示位置,藉此使用者之手指不會貫穿空中像30。
藉由手指之下降移動及追隨其之空中像30之下降移動,而手指與空中像30到達第2檢測基準40b時,檢測基準控制部204即判定手指已到達第2檢測基準40b,顯示控制部202進行播放影像之顯示。
如上述,手指到達空中像30時,由於空中像30即追隨手指之下降移動而下降移動,因此使用者感覺到手指之下降移動被空中像30導引至第2檢測基準40b,而能確實地到達第2檢測基準40b。
此外,上述第6實施形態或變形例1、變形例2中,雖以至少包含控制部20與顯示器11與操作檢測器13之顯示裝置1為例進行了說明,但亦可係僅以控制部20構成之控制裝置或以控制部20與顯示器11構成之控制裝置。又,控制部20,只要至少具備校準部203與顯示位置控制部220與檢測基準控制部204即可。為了得到上述之第6實施形態或變形例1或變形例2所記載之各効果,只要從上述構成中視必要適當追加構成即可。
-第7實施形態-
說明第7實施形態之顯示裝置。本實施形態之顯示裝置,具有與圖29、圖31、圖32所示之第4實施形態之顯示裝置100或圖33、圖34所示之第4實施形態之變形例1之顯示裝置100相同的構成。第7實施形態之顯示裝置100中,亦與第5實施形態或其變形例1~4或第6實施形態或其變形例1之顯示裝置1同樣地,構成為能變更空中像之顯示位置。
如圖46所示,本實施形態之顯示裝置100,除了圖29所示之第4實施形態之顯示裝置100之構成外還具備顯示位置變更部500與顯示位置控制部220。檢測基準控制部204,係與第5實施形態或其變形例1~4或第6實施形態或其變形例1之情形同樣地,根據操作檢測器13之檢測輸出判定手指之到達位置50。顯示位置控制部220,係根據手指之到達位置50,使顯示位置變更部500將空中像300之位置往成像光學系12之光軸方向移動。此情形下,顯示位置變更部500,藉由使顯示器111移動於X方向,而使空中像30移動於Z方向。亦即能藉由使顯示器111移動於X方向+側而使空中像30往Z方向+側移動,能藉由使顯示器111往X方向-側移動而使空中像30往Z方向-側移動。當然,顯示位置變更部500,可不移動顯示器111 而係平行移動成像光學系112,亦可使成像光學系112與顯示器111一起移動。
在上述說明之各實施形態及該等變形例中,係藉由使檢測基準40之位置移動且使空中像30之顯示位置移動,進行校準處理以調整檢測基準40與空中像30(或圖標30A等)之相對位置關係。然而,亦可使檢測基準40與空中像30之兩方移動來調整檢測基準40與空中像30之相對位置關係。
此外,上述第7實施形態中,雖以至少包含控制部20與顯示器111與操作檢測器113之顯示裝置100為例進行了說明,但亦可係僅以控制部20構成之控制裝置或以控制部20與顯示器111構成之控制裝置。又,控制部20,只要至少具備校準部203與顯示位置控制部220即可。為了得到上述之第7實施形態所記載之各効果,只要從上述構成中視必要適當追加構成即可。
-第8實施形態-
以上之實施形態及其變形例,係根據在校準處理中之手指前端之到達位置或指定位置控制或變更檢測基準及/或空中像,以變更檢測基準與空中像之顯示位置之位置關係。其次,說明在校準處理中之既定非接觸操作非在檢測基準被檢測出時變更檢測基準的第8實施形態。
本實施形態之顯示裝置1,具備與圖1、圖2所示之第1實施形態之顯示裝置1相同之構成。第8實施形態之顯示裝置1,係在空中像操作模式中,顯示控制部202與顯示器11與成像光學系12將圖47(a)及(b)所示之空中像操作模式用之空中像30顯示於空中。圖47(a)中,空中像30包含例 如2個矩形狀圖標30D,30E。
檢測基準控制部204,如圖47(b)及圖47(c)所示,係針對空中像30所含之2個圖標30D,30E之各個初始設定長方體形狀之檢測基準42。與圖標30D對應之檢測基準42之橫剖面大小,如圖47所明示,係對應於圖標30D大小。上下方向、亦即Z方向之高度為D1。亦即,長方體狀之檢測基準42,被決定為橫剖面之一邊長度W1與圖標30D之一邊長度W1相等,橫剖面之另一邊長度W2與圖標30D之另一邊長度W2相等。
長方體狀之檢測基準42中,將其上面稱為上部基準面42a,將下面稱為下部基準面42b,將以長度W2與D1生成之側面稱為側部基準面42c,將以長度W1與D1生成之側面稱為側部基準面42d。將檢測基準42之外部稱為檢測基準外41。
又,本實施形態中,雖說明檢測基準42為長方體形狀,但並不限定於此。亦可係球狀、圓柱狀或角柱狀等,亦可為除此之外之形狀。
空中像30,係被設定為位於檢測基準42之上部基準面42a與下部基準面42b之中間,亦即設定為空中像30與上部基準面42a之距離與空中像30與下部基準面42b之距離為相等。此外,空中像30不限定於位於上部基準面42a與下部基準面42b之中間,亦可為空中像30與上部基準面42a之距離不與空中像30與下部基準面42b之距離相等、或空中像30位於較上部基準面42a上方之位置、或空中像30位於較下部基準面42b下方之位置。亦即,只要係在從Z軸方向觀看時為空中像30(圖標30D,30E)與檢測基準42之基準面42a,42b重疊的狀態即可。
此外,與圖標30E對應之檢測基準42,亦和與圖標30D對應之檢測基 準42同樣地,為橫剖面對應於圖標30E之形狀而具有既定高度的長方體形狀。
在空中像操作模式,藉由使用者對檢測基準42進行既定非接觸操作,顯示裝置1執行被指定於圖標30D或圖標30E的功能。圖48(a)~(c)顯示本實施形態中之既定非接觸操作600A~600C(在總稱之情形時稱為既定非接觸操作600)之例。圖48中,使用箭頭示意顯示既定非接觸操作600A~600C來作為手指F移動時之軌跡。圖48(a)所示之既定非接觸操作600A,係使用者在使手指F下降移動距離L1後U形迴轉,再往上方移動距離L1的操作。亦即,此既定非接觸操作600A,係下降移動距離與上升移動距離相等之U形迴轉軌跡。又,既定非接觸操作600A,亦可非U形迴轉、亦即U字之軌跡,亦可係劃V字軌跡,又,亦可係手指F下降移動距離L1後沿著其下降軌跡往上方移動距離L1之操作。再者,既定非接觸操作600A,下降移動距離L1與上升移動距離L1亦可非相等而彼此不同。本實施形態中之既定非接觸操作600A,只要係接續於手指下降移動後進行手指之上升移動的操作即可。
圖48(b)之既定非接觸操作600B,係在使用者使手指F下降移動距離L1後使手指F停止既定時間。圖48(c)之既定非接觸操作600C,係在使用者使手指F下降移動距離L1後使手指F往橫方向移動至少既定距離L2移動之操作。
既定非接觸操作600,不限於以上述各種手指F移動軌跡所表示,只要係其移動軌跡(手指F或手之移動軌跡)能以操作檢測器13檢測出者,亦可劃出其他移動軌跡。
在空中像操作模式,在藉由操作檢測器13在檢測基準檢測出既定非接觸操作600,即根據檢測出此使用者之手指F移動之操作檢測器13之檢測輸出,檢測基準控制部204判定手指F已操作圖標之顯示位置。
圖49係例示藉由檢測基準控制部204判定在檢測基準42進行前述之既定非接觸操作600中之非接觸操作600A已在檢測基準42進行的情形。既定非接觸操作600A1,係顯示手指F從上部基準面42a往下方移動距離L1,其次U形迴轉而往上方移動距離L1,手指F到達上部基準面42a的情形。既定非接觸操作600A2,係顯示在上部基準面42a與下部基準面42b之中間手指F往下方移動距離L1,其次U形迴轉而往上方移動距離L1的情形。既定非接觸處理600A3係顯示手指F往下方移動距離L1而在下部基準面42b中U形迴轉而往上方移動距離L1的情形。
如以上所述,檢測基準控制部204如圖49所示,在既定非接觸操作600A之距離L1之下降移動、U形迴轉、距離L1之上升移動之所有動作在檢測基準42內被進行的情形,即判定既定非接觸操作600A已在檢測基準42進行。亦即,檢測基準控制部204,在檢測基準42檢測出既定非接觸操作600A。
以上,係以既定非接觸操作600A為例,檢測基準控制部204,判定既定非接觸操作600是否已在檢測基準42進行之方法。針對其他既定非接觸操作600B、600C等亦相同。檢測基準控制部204,在既定非接觸操作600之整體已在檢測基準42被進行之情形時,即判定既定非接觸操作600已在檢測基準42進行。在既定非接觸操作600之一部分在檢測基準外41被進行之情形時,不判定既定非接觸操作600已在檢測基準42被進行。在為既定非接觸操作600伴隨往上下方向移動距離L1之操作的情形 時,檢測基準42之寬度D1、亦即上部基準面42a與下部基準面42b之間隔(Z方向之長度)至少必須為距離L1以上,例如設定為距離L1之1.5倍~3倍左右。
此外,圖49中所謂檢測基準外41,係檢測基準42外側之外部空間。詳言之,即圖47(c)中檢測基準42之上部基準面42a與下部基準面42b與側部基準面42c與側部基準面42d所包圍之空間以外之外側空間。
其次,說明既定非接觸操作600在檢測基準外41被檢測出之情形。所謂既定非接觸操作600在檢測基準外41被檢測出之情形,係既定非接觸操作600整體在檢測基準外41被檢測出的情形。
以下之本實施形態及變形例之說明中,雖係代表性地使用既定非接觸操作600A予以說明,但其他之非接觸操作600B,600C等中亦適用同等之技術。
圖50係顯示既定非接觸操作600A整體在檢測基準外41被檢測出之情形之例。圖50(a)中,手指F之既定非接觸操作600A整體係在檢測基準42之上部基準面42a上方之位置進行。此情形下,既定非接觸操作600A整體係藉由操作檢測器13與檢測基準控制部204而在檢測基準外41被檢測出。
圖50(b),係手指F之既定非接觸操作600Aa整體在檢測基準42之下部基準面42b下方之位置進行,且手指F之既定非接觸操作600Ab整體在較檢測基準42之側部基準面42c外側之位置進行。此等情形亦同樣地,既定非接觸操作600Aa整體、600Ab整體藉由操作檢測器13與檢測基準控制部204而分別在檢測基準外41被檢測出。說明藉由操作檢測器13與檢測基 準控制部204在檢測基準外41檢測既定非接觸操作600的方法。首先,操作檢測器13逐一檢測出手指F之移動。其次,檢測基準控制部204根據操作檢測器13之檢測輸出,判定手指F之移動軌跡是否對應既定非接觸操作600與手指F之移動軌跡之位置(檢測基準42或檢測基準外41或檢測基準42與檢測基準外41之兩者)。根據此判定結果,能在檢測基準外41檢測出既定非接觸操作600。
其次,參照圖51、圖52及圖53說明既定非接觸操作600在檢測基準外41被檢測出之情形下的校準處理。圖51,係既定非接觸操作600A在檢測基準外41且在較檢測基準42之上部基準面42a上方之位置被檢測出之情形。此外,以下之校準處理,雖係使用空中像操作用之空中像30來進行,但亦可使用圖4等所示之校準處理用之空中像300。
圖51(a)中,使用者為了操作空中像30之圖標30D之顯示位置而使手指F下降移動,在該手指F到達操作檢測器13之檢測範圍13A之上限13a時,操作檢測器13即逐一檢測出手指之下降移動,依序將伴隨該手指移動之檢測輸出儲存於記憶部205。檢測基準控制部204,根據儲存於記憶部205之操作檢測器13之檢測輸出,判定手指F之移動軌跡是否對應既定非接觸操作600A,且判定該手指F之移動軌跡之全部是否均存在於檢測基準42。
檢測基準控制部204,在判定已進行既定非接觸操作600A,且判定既定非接觸操作均已在檢測基準外41進行後,檢測基準控制部204,即根據儲存於記憶部205之來自操作檢測器13之檢測輸出,算出既定非接觸操作600A之操作開始位置與上部基準面42a之間隔△H10。此間隔△H10如上所述,雖能從既定非接觸操作600A之操作開始位置與上部基準面42a 之位置算出,但亦可藉由以下之方法算出。亦即,根據儲存於記憶部205之來自操作檢測器13之檢測輸出求出既定非接觸操作600A之最低位置、亦即既定非接觸操作600A之到達位置,算出此既定非接觸操作600A之到達位置與上部基準面42a之位置之間隔,並於所算出之間隔加上既定非接觸操作600A之距離L1,藉此亦可算出間隔△H10。
在算出間隔△H10後,檢測基準控制部204,即如圖51(b)所示根據距離△H10使檢測基準42之整體往圖中上方移動。將移動後之檢測基準42以一點鏈線顯示。檢測基準42往上方之移動量,亦可如圖51(b)所示與距離△H10大致相等,亦可較距離△H10大或較其小。如上述般,在使用者之既定非接觸操作在檢測基準外41且在較檢測基準42上方之位置被檢測出之情形,則使檢測基準42之整體往上方移動成接近進行該既定非接觸操作之位置,來變更檢測基準42。其結果,由於在使用者之操作未到達檢測基準42而操作無發揮作用時配合該使用者之操作位置變更檢測基準42,因此能緩和使用者操作上之不協調感。
圖52係說明既定非接觸操作600A在檢測基準外41且在較檢測基準42之下部基準面42b下方之位置被檢測出之情形之校準處理的圖。圖52(a)中,在檢測基準控制部204根據儲存於記憶部205之操作檢測器13之檢測輸出判定已進行既定非接觸操作600A,且判定該既定非接觸操作已在檢測基準外進行時,檢測基準控制部204,係算出既定非接觸操作600A移動軌跡之最低位置、亦即既定非接觸操作600A之到達位置與檢測基準42之下部基準面42b之間隔△H10。在算出此間隔△H10後,檢測基準控制部204,即如圖52(b)所示根據距離△H10使檢測基準42之整體往圖 中下方移動。將移動後之檢測基準42以一點鏈線顯示。檢測基準42往下方之移動量,亦可如圖52(b)所示與距離△H10大致相等,亦可較距離△H10大或較其小。如上述般,在使用者之既定非接觸操作在檢測基準外41且在較檢測基準42下方之位置被檢測出之情形,則使檢測基準42之整體往下方移動成接近進行既定非接觸操作之位置,來變更檢測基準42。其結果,由於在因使用者之操作通過檢測基準42而操作無發揮作用時配合該使用者之操作位置變更檢測基準42,因此能緩和使用者操作上之不協調感。
圖53係說明非接觸操作600A在檢測基準外41且在檢測基準42之側部基準面42c外側被進行一事被檢測出之情形之校準處理的圖。圖53(a)中,在檢測基準控制部204根據儲存於記憶部205之操作檢測器13之檢測輸出判定已進行既定非接觸操作600A,且判定該既定非接觸操作已在側部基準面42c外側被進行時,檢測基準控制部204係算出檢測基準42之側部基準面42c與既定非接觸操作600A之移動軌跡中與側部基準面42c相距最遠之部分之距離△H10。在算出此距離△H10後,檢測基準控制部204,即如圖53(b)所示根據距離△H10使檢測基準42之整體往圖中之橫方向亦即接近既定非接觸操作600A之方向移動。將移動後之檢測基準42以一點鏈線顯示。檢測基準42往橫方向之移動量,亦可如圖53(b)所示與距離△H10大致相等,亦可較距離△H10大或較其小。如上述般,在使用者之既定非接觸操作在檢測基準外41且在檢測基準42之側部基準面42c或42d外側之位置被檢測出之情形,則使檢測基準42之整體移動成接近進行既定非接觸操作之位置,來變更檢測基準42。其結果,由於在因使用者之操作從檢測基準42脫離而操作無發揮作用時配合該使用者之操作位置變 更檢測基準42,因此能緩和使用者操作上之不協調感。
此外,圖51~圖53中,雖係使檢測基準42變更所算出之變更量△H10,但亦可將於間隔△H10加上既定量h後之值作為變更量來變更檢測基準42。既定量h,可舉出將既定非接觸操作600之到達位置之差分(從非接觸操作之到達位置至檢測基準42之最近之基準面為止之差分)平均後的值或將複數個非接觸操作600之開始位置之差分(從非接觸操作之開始位置至檢測基準42之最近之基準面為止之差分)平均後的值等。又,既定量h亦可係預先設定之固定值。在該情形下,檢測基準42係移動於間隔△H10加上作為裕度之既定量h後的量。因此,即使在與校準處理時進行之非接觸操作極度相同之位置無法進行非接觸操作的情形,只要係在既定量h範圍內之誤差,則能以檢測基準42檢測出使用者之非接觸操作。即使使用者之非接觸操作之開始位置或到達位置每於操作時變動,亦能以檢測基準42檢測出使用者之非接觸操作。是以,將於間隔△H10加上既定量h後之值作為變更量時,能較將間隔△H10之值作為變更量之情形提高以檢測基準42檢測非接觸操作之比例。
其次,說明與既定非接觸操作600不同之操作在檢測基準外41被檢測出之情形。所謂與既定非接觸操作600不同之操作在檢測基準外41被檢測出之情形,係指並非既定非接觸操作600之全部而係僅有其中一部分在檢測基準外41被檢測出之情形。
圖54係顯示既定非接觸操作600A之一部分在檢測基準外41被檢測出之情形之例。圖54(a)中,透過手指F進行之既定非接觸操作600A之一部分、亦即對應距離△H10之部分,係在較檢測基準42之上部基準面42a 上方之位置進行,其殘留部分則在檢測基準42內進行。換言之,將在檢測基準42被檢測出之既定非接觸操作600A之一部分與在檢測基準外41被檢測出之既定非接觸操作600A之一部分相加後才成為既定非接觸操作600A。
此情形下,既定非接觸操作600A之一部分係藉由操作檢測器13與檢測基準控制部204而在檢測基準外41被檢測出。
圖54(b)中,透過手指F進行之既定非接觸操作600Aa之一部分、亦即對應距離△H10之部分係在較檢測基準42之下部基準面42b下方之位置進行,其殘留部分則在檢測基準42內進行。換言之,將在檢測基準42被檢測出之既定非接觸操作600Aa之一部分與在檢測基準外41被檢測出之既定非接觸操作600A之Aa之一部分相加後才成為既定非接觸操作600Aa。
又,透過手指F進行之既定非接觸操作600Ab之一部分、亦即對應距離△H10之部分係在檢測基準42之側部基準面42c外側進行,其殘留部分則在檢測基準42內進行。換言之,將在檢測基準42被檢測出之既定非接觸操作600Ab之一部分與在檢測基準外41被檢測出之既定非接觸操作600Ab之一部分相加後才成為既定非接觸操作600Ab。
此等之情形亦同樣地,既定非接觸操作600Aa之一部分或Ab之一部分係藉由操作檢測器13與檢測基準控制部204而在檢測基準外41被檢測出。
其次,參照圖54說明與既定非接觸操作600不同之操作在檢測基準外41被檢測出之情形之校準處理。
如圖54(a)所示之既定非接觸操作600A,既定非接觸操作600A之一部分在檢測基準42進行、其殘留部分在較上部基準面42a上方之位置進行之情形相關的校準處理,係與圖51之情形相同。亦即,基於距離△H10使 檢測基準42整體往圖中上方移動。
如圖54(b)所示之既定非接觸操作600Aa,既定非接觸操作600Aa之一部分在檢測基準42進行、其殘留部分在較下部基準面42b下方之位置進行之情形相關的校準處理,係與圖52之情形相同。亦即,基於距離△H10使檢測基準42之整體往圖中下方移動。
如圖54(b)所示之既定非接觸操作600Ab,既定非接觸操作600Ab之一部分在檢測基準42進行、其殘留部分在側部基準面42c外側之位置進行之情形相關的校準處理,係與圖53之情形相同。亦即,基於距離△H10使檢測基準42整體橫向移動。
關於上述說明之校準處理,舉第1校準處理模式為例並參照圖55所示之流程圖加以說明。此外,圖55之流程圖係顯示步驟S701~S709,步驟S709以後之處理,由於與圖6之步驟S9以後之處理相同,因此此處之記載省略。步驟S701~S703之各處理,係與圖6所示之流程圖中之步驟S1~S3之各處理相同。在步驟S704,根據來自操作檢測器13之檢測輸出,判定使用者之操作(更具體而言係使用者對空中像300之圖標300A顯示位置之操作)是否為既定非接觸操作。在為既定非接觸操作時,步驟S704即判定為肯定而進至步驟S705,在非為既定非接觸操作時,步驟S704即判定為否定而待機至判定為肯定為止。
在步驟S705,判定既定非接觸操作是否已在檢測基準42進行。在如圖49所示既定非接觸操作已在檢測基準42進行時,步驟S705即判定為肯定而進至後述之步驟S708。在既定非接觸操作非在檢測基準42被檢測出之情形,亦即(1)既定非接觸操作之全部均已在檢測基準外41被 檢測出之情形或(2)既定非接觸操作之一部分已在檢測基準42被檢測出而其他一部分在檢測基準外41被檢測出之情形,步驟S705即判定為否定而進至步驟S706。在步驟S706,根據既定非接觸操作與檢測基準42之位置關係算出檢測基準42之變更量,進至步驟S707。
在步驟S707,根據在步驟S706所算出之變更量變更檢測基準42之位置,進至步驟S708。在步驟S708,結束第1校準處理模式,進至步驟S709。在步驟S709,開始空中像操作模式。如以上所述,在使用者之既定非接觸操作未在檢測基準被檢測出時,即變更檢測基準之位置。亦即變更檢測基準42之上下方向之中心位置及/或左右方向之中心位置。藉由此檢測基準之位置之變更,能在對於使用者而言適合之場所進行操作。又,能將檢測基準與空中像之位置關係變更為適於使用者操作之位置關係。
此外,作為校準處理之說明雖以第1校準處理模式為例進行了說明,但圖55之流程圖亦能適用於第2校準處理模式。
此外,上述第8實施形態中,雖說明檢測基準42係分別對應各圖標30D、30E來設定,但不限於此。亦可於複數個圖標共通地設定檢測基準42,亦可於空中像30全區設定1個檢測基準42。
(第8實施形態之變形例1)
第8實施形態中,係根據在既定非接觸操作600被檢測出之空間上之位置與檢測基準42之位置關係使檢測基準42變更為上下方向及/或左右方向。亦即說明了變更檢測基準42上下方向之中心位置及/或左右方向之中心位置。變形例1之顯示裝置1,亦可在變更檢測基準42與既定非接觸操作600在空間上之位置關係時,變更檢測基準42之寬度D1大小。例如, 如圖50(a)所示,在既定非接觸操作600A在檢測基準42上方之檢測基準外41被檢測出時,亦可不變更下部基準面42b之位置而僅將上部基準面42a往上方變更變更量△H10。亦即,亦可藉由變更檢測基準42之寬度D1來變更檢測基準42上下方向之中心位置。或者,亦可將上部基準面42a往上方變更變更量△H10,將下部基準面42b往下方變更變更量△H10。亦即,亦可藉由使檢測基準42之寬度D1往上下方向以相同之變更量△H10變更,如此可不變更檢測基準42上下方向之中心位置地變更檢測基準42。此外,如圖50(b)所示,在於檢測基準42下方檢測出既定非接觸操作600Aa時,亦可將下部基準面42b之位置往下方變更變更量△H10,亦可將下部基準面42b之位置往下方變更變更量△H10且將上部基準面42a之位置往上方變更變更量△H10。此外,在於檢測基準42右側檢測出既定非接觸操作600Ab時,亦可同樣地往左右方向變更側部基準面42c之位置。亦即,亦可變更檢測基準42左右方向之中心位置來變更檢測基準42,亦可不變更中心位置而變更檢測基準42之寬度。
(第8實施形態之變形例2)
說明變形例2之顯示裝置1。變形例2之顯示裝置1,於校準處理時進行之既定非接觸操作600在檢測基準外41被檢測出時、既定非接觸操作600與檢測基準42之距離成為既定值以下時,變更檢測基準42。如圖50(a)所示舉出既定非接觸操作600A在檢測基準42上方之檢測基準外41被檢測出之情形為例。此情形下,在判定為間隔△H10為既定值以下時,亦即被判定為既定非接觸操作600A已在檢測基準42附近進行時,顯示裝置1即視為使用者有對空中像顯示位置進行操作的意圖,而變更檢測基準42。在判 定為間隔△H10較既定值大時,亦即判定為既定非接觸操作600A已在遠離檢測基準42之位置進行時,顯示裝置1即視為使用者沒有對空中像顯示位置進行操作之意圖的誤操作、或在途中中斷操作,而不變更檢測基準42。
又,如圖54所示,在既定非接觸操作600A之一部分在檢測基準外41被檢測出之情形,亦可根據在檢測基準外41被檢測出之既定非接觸操作600之一部分在空間上之位置與檢測基準42之距離,變更檢測基準42之位置。例如,判定如圖54(a)所示在較檢測基準42之上面基準面42a上方處被檢測出之非接觸操作600之一部分、亦即距離△H10是否為既定臨限值以下。在距離△H10為既定臨限值以下時,即如圖56(a)所示,雖手指F之既定非接觸操作600A整體並非在檢測基準42進行,但既定非接觸操作600A之大部分係在檢測基準42進行。此情形下,顯示裝置1即視為使用者有對空中像顯示位置進行操作的意圖,而變更檢測基準42之位置。在距離△H10超過既定臨限值時,即如圖56(b)所示,既定非接觸操作600A之大部分係在檢測基準外41進行。此情形下,顯示裝置1即視為使用者沒有對空中像顯示位置進行操作之意圖的誤操作、或在途中中斷操作,而不變更檢測基準42之位置。
(第8實施形態之變形例3)
第8實施形態之變形例3,亦可如第1實施形態之變形例1所示,根據操作檢測器13之檢測輸出算出使用者手指前端之速度或加速度,並根據所算出之速度或加速度變更檢測基準42之位置。亦即,根據既定非接觸操作600至少一部分之速度,尤其是在既定非接觸操作600一部分之速度較既定值小時變更檢測基準42。圖57係顯示變形例3之顯示裝置1中控制部20 與藉由控制部20控制之顯示器11及操作檢測器13的方塊圖。
此處所謂既定非接觸操作600至少一部分之速度,係顯示既定非接觸操作600中至少一部分之操作之速度者。所謂既定非接觸操作600中至少一部分之操作,例如係在既定非接觸操作600從檢測基準外41之位置往檢測基準42被操作後,接著進行返回之操作(既定非接觸操作600A)的情形下,該操作顯示從檢測基準外41往檢測基準42時之至少一部分區間之操作。或者,在既定非接觸操作600從檢測基準42之某位置往檢測基準42之一端被操作後,接著進行返回之操作(既定非接觸操作600A)的情形下,顯示往該一端時之至少一部分區間。
此外,亦可監控在既定非接觸操作600之全操作(例如在既定非接觸操作600A中從下降開始接著至上升結束為止之操作)中之速度(加速度),算出該速度(加速度)之平均值,並根據該平均值判斷操作之強弱,在第二次以後之操作檢測時變更檢測基準42。例如在操作速度平均較快之情形時有可能穿越檢測基準42,因此亦可控制成在第二次以後之檢測基準42之寬度較寬。
圖57所示之速度/加速度檢測部206,係與第1實施形態之變形例1同樣地,每隔既定時間讀出藉由操作檢測器13檢測出之靜電容值,從每既定時間之靜電容值之變化算出手指之移動速度。又,從所算出之速度算出手指之移動加速度,判定是否超過既定值。操作預測部211,在藉由速度/加速度檢測部206算出之移動速度及/或移動加速度為既定值以下之情形時,根據從速度/加速度檢測部206輸出之手指移動速度或加速度,算出亦即預測手指F之移動軌跡。檢測基準控制部204,係根據藉由操 作預測部211預測之手指F之移動軌跡變更檢測基準42。亦即,在所預測之手指F之移動軌跡不位於檢測基準42時,即判斷既定非接觸操作600在檢測基準42未被檢測出。在該情形下,與第8實施形態之情形同樣地,以所算出之變更量△H10變更檢測基準42。又,在所預測之手指F之移動軌跡位於檢測基準42時,即判斷既定非接觸操作600在檢測基準42被檢測出,而不變更檢測基準42。
又,操作預測部211,在藉由速度/加速度檢測部206算出之移動速度及/或移動加速度為既定值以上之情形時,係預測手指F之移動軌跡,而不變更檢測基準42。亦即,在手指F之移動速度及/或移動加速度為既定值以上時所預測之手指F之移動軌跡不位於檢測基準42之情形時,即判斷既定非接觸操作600在檢測基準42未被檢測出。於該情形下,係與第8實施形態之情形同樣地,以所算出之變更量△H10變更檢測基準42。
其次,參照圖58及圖59說明變形例3之顯示裝置1之第1校準處理模式。圖59之流程圖中,步驟S764至步驟S766,由於與圖56之流程圖相同,因此省略說明。如圖58(a)所示,在手指F進入操作檢測器13之既定檢測範圍13A內時,在步驟S764,操作檢測器13即檢測出手指F之移動作為靜電容值之變化。在步驟S765,速度/加速度檢測部206根據操作檢測器13之檢測輸出算出手指前端F之移動速度及加速度。在步驟S765,操作預測部211判定以速度/加速度檢測部206算出之移動速度及加速度是否為第1既定值以上第2既定值以下。第1既定值,係與被預測手指F從檢測基準42上方往下方之移動未到達上部基準面42a時之速度及加速度對應地決定,第2既定值係較第1既定值大之值,係與被預測手指F 往下方之移動通過下部基準面42b時之速度及加速度對應地決定。在手指前端F之移動速度及加速度為第1既定值以上第2既定值以下之情形時,步驟S765即判定為肯定而進至步驟S770。在手指F之移動速度及加速度較第1既定值小或較第2既定值大之情形時,步驟S765即判定為否定而進至步驟S767。
在步驟S767,操作預測部211根據速度/加速度檢測部206所算出之移動速度及加速度算出手指前端F之移動軌跡。圖58(b)中,在移動速度、移動加速度為第1既定值以下時操作預測部211所算出、亦即所預測之手指F之移動軌跡以虛線600Ac顯示。在步驟S768,檢測基準控制部204,係與圖51所示之情形同樣地算出檢測基準42之變更量△H10,變更檢測基準42。此外,為了預測手指之到達位置,亦可使用手指之移動速度與加速度之兩者,或亦可使用任一方。
此外,作為校準處理之說明雖以第1校準處理模式為例進行了說明,但亦能適用於第2校準處理模式。
此外,上述說明中,係操作預測部211算出手指前端F之移動軌跡,但亦可不算出移動軌跡。亦即,顯示裝置1之控制部20亦可不具備操作預測部211,而在以速度/加速度檢測部206算出之移動速度及移動加速度為既定值以下之情形時,即將檢測基準42變更預先決定之變更量。例如,在較檢測基準42上方既定距離之位置,檢測移動速度或移動加速度,在被檢測出之移動速度或移動加速度為既定值以下之情形時,即預測手指F未到達檢測基準42,而變更檢測基準42。
又,此外,上述說明中,速度/加速度檢測部206,雖係每隔既定時間 讀出以操作檢測器13檢測出之靜電容值並從每既定時間之靜電容值之變化算出手指之移動速度,且從所算出之速度算出手指之移動加速度,但不限於此方法,亦可使用攝影裝置作為速度/加速度檢測部206。又,上述說明中,雖係算出使用者之手指移動速度或加速度,但除此之外,亦可係使用者之腳或手肘、使用者所持有之觸控筆。
(第8實施形態之變形例4)
第8實施形態及其變形例1~3之顯示裝置1,係在一次之校準處理中根據既定非接觸操作600A在空間上之位置與檢測基準42之位置關係,變更檢測基準42之位置。亦即,在一次使用者操作中進行了一次校準處理。變形例4之顯示裝置1,則在複數次使用者操作中進行了一次校準處理。亦即,係根據既定非接觸操作600A在檢測基準外41被檢測出之次數或既定非接觸操作600A在檢測基準42被檢測出之次數變更檢測基準42。
在第一次使用者操作中,檢測基準控制部204,根據操作檢測器13之檢測輸出判定手指F是否已進行既定非接觸操作600A,在檢測出已進行既定非接觸操作600A之情形時,即檢測進行了該既定非接觸操作600A之空間上之位置。在檢測出既定非接觸操作600A已在檢測基準42進行之情形時,檢測基準控制部204,即判定第一次校準處理為成功而將判定結果儲存於記憶部205。在既定非接觸操作600A在檢測基準外41被檢測出之情形時,檢測基準控制部204,即判定第一次使用者操作為失敗,而與第8實施形態同樣地算出變更量△H10,於記憶部205儲存判定結果與變更量△H10。接著,在第二次使用者操作中,操作成功或失敗之判定結果及/或變更量△H10儲存於記憶部205。進而,亦可在接續之第三次使用者操作中 進行處理。
如上所述,根據在連續地進行之複數次使用者操作中儲存於記憶部205之上述複數個判定結果及/或變更量△H10變更檢測基準42。為了根據此等複數次使用者操作之判定結果及/或變更量△H10決定是否進行檢測基準42之變更,可考量各種方法。例如,在連續複數次使用者操作中,在記憶部205連續儲存失敗作為判定結果之情形時,即變更檢測基準42。具體而言,在第一次使用者操作與第二次使用者操作均判定為失敗之情形時,變更檢測基準42。亦可在第一次使用者操作被判定為成功,而第二次使用者操作與第三次使用者操作被判定為失敗之情形時,變更檢測基準42。又,亦可在複數次使用者操作中被判定為失敗之使用者操作存在既定次數以上之情形時,變更檢測基準42。具體而言,在十次使用者操作中有五次以上之使用者操作被判定為失敗之情形時,變更檢測基準42。此情形下,亦可在第五次使用者操作被判定為失敗之時點(失敗判定累積了五次之時點)變更檢測基準42,亦可在十次使用者操作均結束後變更檢測基準42。此外,在檢測基準外41檢測出既定非接觸操作600A之頻率較高之情形時,亦可提高變更檢測基準42之頻率。亦即,在設定為十次使用者操作中有五次以上之使用者操作被判定為失敗時即變更檢測基準42之情形時,十次使用者操作中有八次使用者操作即判定為失敗。該情形下,亦可於次回以後,在五次使用者操作中有三次以上之使用者操作被判定為失敗之情形時變更檢測基準42。
在使用複數次使用者操作之結果變更檢測基準42之情形,變更量△H10,只要進行與在第1實施形態之變形例2中決定檢測基準時之 算出方法相同之處理即可。亦即,只要藉由將被判定為失敗之使用者操作中所算出之變更量相加平均或幾何平均,而算出一個變更量△H10即可。此情形亦如第1實施形態之變形例2中所說明,能進行適當之加權來算出新的變更量△H10。
此外,在根據複數次使用者操作之結果變更檢測基準42之情形時,亦可在各個使用者操作中所算出之變更量△H10之相加平均或幾何平均之值超過既定臨限值之情形或各個使用者操作中所算出之變更量△H10有增加傾向之情形時,變更檢測基準42。
此外,以上說明中,雖舉出根據既定非接觸操作600A在檢測基準外41被檢測出時之次數變更檢測基準42之位置之例,但亦可係將與既定非接觸操作600A不同之操作、亦即既定非接觸操作600A之一部分在檢測基準外41被檢測出時之使用者操作亦視為失敗。亦即,亦可在複數次使用者操作中既定非接觸操作600A之一部分在檢測基準外41連續地被檢測出之情形或既定非接觸操作600A之一部分在檢測基準外41被檢測出既定次數以上之情形亦變更檢測基準42。
(第8實施形態之變形例5)
上述第8實施形態中,既定非接觸操作600,係使用者往顯示位置壓入手指F的操作。例如,雖係如圖48(a)所示之手指F做U形迴轉之操作,但不限於此。既定非接觸操作600,亦可係在顯示位置中伸出三支手指,亦可係在身體前方手指F對顯示位置之移動動作。又,既定非接觸操作600亦可係手指F之移動停止既定時間、例如20秒間的動作。
上述實施形態中,檢測基準控制部204根據操作檢測器13之檢測輸出 判定是否已進行既定非接觸操作600。然而,依使用者不同,有不正確進行既定非接觸操作600之情形或無法順利進行之情形。例如,既定非接觸操作600,在手指之10cm下降移動與接續於其之10cm上升移動的情形時,依使用者不同,會有其非接觸操作變成進行手指之5cm下降移動與接續於其之5cm上升移動的情形。又,在既定非接觸操作600為在顯示位置1中伸出三支手指之情形時,依使用者不同會有第三支手指無法順利地張開而僅伸出兩支手指的情形。又,在既定非接觸操作600為在身體前方手指F對顯示位置之移動動作之情形時,依使用者不同會有在身體側方進行手指F對顯示位置之移動之情形。又,在既定非接觸操作600為手指F之移動停止既定時間、例如20秒間之情形時,依使用者不同會有在到達20秒前、例如15秒左右即移動手指之情形。
此種情形下,例如即使藉由變更檢測基準42之中心位置或檢測寬度,而能在檢測基準42檢測出使用者之所有操作,但只要使用者所執行之操作本身(檢測出而作為使用者操作之檢測值本身)與「既定非接觸操作600」(表示既定非接觸操作600之基準值)不一致,縱使設定(變更)檢測基準42(如上述之位置或寬度),仍無法辨識使用者操作。此種情形下,作為檢測基準42之變更,能變更表示既定非接觸操作600之基準值,藉此將使用者之操作辨識為既定非接觸操作600。
是以,在使用者已進行某非接觸操作時,雖該某非接觸操作與既定非接觸操作600非相同,但為與既定非接觸操作600類似之動作或會混淆之動作等的情形時,顯示裝置1即推測使用者正在進行既定非接觸操作600。接著,顯示裝置1,將本身所儲存之表示既定非接觸操作600之基 準值(既定非接觸操作600之定義),變更(更新)為使用者正在進行之操作本身(檢測出而作為使用者操作之檢測值)。例如,檢測基準控制部204係檢測出使用者之非接觸操作,並比較檢測出之使用者之非接觸操作之檢測值與表示既定非接觸操作600之預先儲存之基準值。所謂表示既定非接觸操作600之基準值,係表示預先儲存於顯示裝置1之既定非接觸操作600之定義或模板等。比較之結果,在兩者之類似度超越既定臨限值時,即根據檢測出之使用者之非接觸操作之檢測值變更既定非接觸操作600之基準值(預先儲存之值)。藉此,使使用者在正在進行之非接觸操作中之操作成為有效。例如,作為表示既定非接觸操作600之基準值,儲存有表示「手指F下降10cm」之值。在檢測出手指F僅下降5cm之情形時,即將表示既定非接觸操作600之基準值變更為表示「手指F下降5cm」之值。如此,藉由變更表示既定非接觸操作600之基準值,即使係與既定非接觸操作600類似之非接觸操作亦能進行操作。又,藉由將既定非接觸操作600之基準值,變更成即使使用者之非接觸操作之操作量變少亦能使操作有效,而能減輕使用者之操作負擔。
又,作為表示既定非接觸操作之基準值,儲存有表示「在身體「前方」使手指下降移動10cm並接著上升移動10cm」之動作的值。在使用者在身體「側方」使手指下降移動10cm並接著上升移動10cm的情形時,係將上述表示既定非接觸操作600之基準值變更為表示「在身體側方使手指下降移動10cm並接著上升移動10cm」之動作的值。藉此,即能以在身體側方使手指下降移動10cm並接著上升移動10cm之動作來操作顯示裝置1。
此外,亦可根據使用者之複數個操作變更檢測基準42(表示既定非接觸操作600之基準值)。亦即,雖與既定非接觸操作600不同,但在進行了複數次類似之非接觸操作之情形時,亦可變更上述表示既定非接觸操作600之基準值。
如上述,變更表示既定非接觸操作600之基準值之動作亦包含於檢測基準42之變更。
(第8實施形態之變形例6)
第8實施形態及其變形例1~5之顯示裝置1,係在既定非接觸操作600或既定非接觸操作600之一部分在檢測基準外41被檢測出之情形等時,變更檢測基準42。
亦可在指示檢測基準42之變更之操作在檢測基準42被檢測出之情形時,變更檢測基準42。於此情形之檢測基準42之變更,包含檢測基準42之位置或寬度之變更、表示既定非接觸操作600之基準值之變更。例如,在變形例6,亦可指示校準之手勢儲存於顯示裝置1,在使用者進行了在檢測基準42指示校準之手勢之情形時,變更檢測基準42。又,亦可在檢測出在檢測基準外41指示校準之手勢之情形時,亦與上述同樣地變更檢測基準42。
(第8實施形態之變形例7)
檢測基準控制部204,亦可根據聲音變更檢測基準42。於此情形之檢測基準42之變更,包含檢測基準42之位置或寬度之變更、表示既定非接觸操作600之基準值之變更。例如,顯示裝置1具有與第1實施形態之變形例6相同之收音器14,控制部20,具備檢測出從收音器14輸入之聲音資料之聲 音檢測部208。此外,此情形下,聲音檢測部208,具備除「是」以外之聲音亦能辨識的周知聲音辨識功能。在使用者進行了「無法執行」要旨之發言或會話時或欲進行校準之發言時等,變形例7之顯示裝置1,即會使用聲音辨識功能檢測出此會話或發言而變更檢測基準42。具體而言,可以包含檢測出聲音(發言)時之使用者手指之位置之方式移動檢測基準42或變更檢測基準42之寬度。或者,亦可在檢測出聲音(發言)後,使檢測基準42往接近使用者之方向移動既定量例如1cm或變更檢測基準42之寬度。又,亦可以在檢測出聲音(發言)時成為作為使用者之操作被檢測出之檢測值之方式變更表示既定非接觸操作600之基準值。又,亦可在檢測出聲音(發言)後,將表示既定非接觸操作600之基準值變更既定量。例如,在作為表示既定非接觸操作600之基準值,儲存有表示「下降10cm」之操作之值的情形時,亦可在檢測出聲音(發言)後將表示「下降9cm」之操作之值,變更(更新)為表示既定非接觸操作600之基準值。
此外,亦可顯示裝置1不具備收音器14,而將藉由外部收音裝置取得之聲音資料經由無線或有線輸入,並使用從外部收音裝置輸入之聲音資料而由聲音檢測部208進行聲音檢測。
(第8實施形態之變形例8)
檢測基準控制部204,亦可根據時間變更檢測基準42。此情形之檢測基準42之變更,包含檢測基準42之位置或寬度之變更、以及表示既定非接觸操作600之基準值之變更。例如,既定非接觸操作600在檢測基準42於既定時間內未被檢測之情形時,變形例8之顯示裝置1係將檢測基準42變更既定量。是以,控制部20具備計時部,在開啟顯示裝置1之電源開關且在 既定時間無對圖標等之操作的情形時,即根據已計時既定時間之計時部之輸出,檢測基準控制部204將檢測基準42變更既定量。又,在進行對某圖標等之操作後,經過既定時間仍不進行對次一圖標等之操作的情形時,即根據已計時既定時間之計時部之輸出,檢測基準控制部204將檢測基準42變更既定量。
在變形例8中根據既定時間之計時變更檢測基準42之情形,較佳為以使檢測基準42往接近使用者之方向移動既定量之方式來變更。例如,亦可在既定時間內未檢測出使用者之操作之情形時,則使檢測基準42之中心位置(整體位置)往接近使用者之方向移動既定量例如1cm或變更檢測基準42之寬度。又,可以包含經過既定時間時之使用者手指之位置之方式移動檢測基準42之中心位置或變更檢測基準42之寬度。又,亦可以在經過既定時間時成為作為使用者之操作被檢測出之檢測值之方式變更表示既定非接觸操作600之基準值。又,亦可在經過既定時間後,將表示既定非接觸操作600之基準值變更既定量。例如,在作為表示既定非接觸操作600之基準值,儲存有表示「下降10cm」之操作之值的情形時,亦可在經過既定時間後將顯示「下降9cm」之操作之值,變更(更新)為表示既定非接觸操作600之基準值。
(第8實施形態之變形例9)
檢測基準控制部204,亦可根據使用者之臉部變更檢測基準42。此情形之檢測基準42之變更包含檢測基準42之位置或寬度之變更、以及表示既定非接觸操作600之基準值之變更。例如,藉由設於變形例9之顯示裝置1之攝影機,拍攝使用者臉部,並在控制部20中解析其拍攝影像,檢測出使 用者臉部之既定表情(所謂透過臉部辨識功能之既定表情辨識)後,即變更檢測基準42。此外,既定表情,例如是使用者無法順利進行操作時之傷腦筋的臉部表情等,在檢測出使用者之傷腦筋的臉部表情時變更檢測基準42。
例如,亦可使用顯示裝置1之臉部辨識功能,在檢測出使用者傷腦筋時,則使檢測基準42往接近使用者之方向移動既定量例如1cm或變更檢測基準42之寬度。又,亦可先儲存表示在辨識出傷腦筋之臉部表情前一刻使用者進行中之操作的檢測值,根據該儲存之檢測值變更表示既定非接觸操作600之基準值。
(第8實施形態之變形例10)
檢測基準控制部204,亦可在使用者之手勢操作在檢測基準42未被檢測出之情形時,變更檢測基準42(檢測基準42之位置或寬度、表示既定非接觸操作之基準值)。例如,在作為既定非接觸操作600之使用者之手勢操作係例如透過手完成之拳頭、剪刀、布等動作,或接續於手指F下降移動之橫方向移動之動作之任一者時,變形例10之顯示裝置1,係將該等各動作之特徵資訊(表示特徵之基準值)分別預先儲存於記憶部205。接著,顯示裝置1檢測出使用者之手勢操作,將該被檢測出之手勢操作與從儲存於記憶部205之複數個特徵資訊中選擇出之任一個特徵資訊比較,判定該手勢操作是否相當於上述任一個既定非接觸操作。顯示裝置1,在使用者之手勢操作在檢測基準42未被檢測出之情形時,變更檢測基準42。此情形之檢測基準42之變更,係表示既定非接觸操作600之基準值之選擇之變更。亦即,例如顯示裝置1最初選擇表示拳頭之特徵資訊為於在檢測基準42之檢 測時使用的基準值。顯示裝置1,在該檢測基準42無法檢測出使用者操作之情形時,即將基準值從表示拳頭之特徵資訊選擇變更為表示與拳頭不同的另一操作(上述之複數個手勢操作中之另一操作、例如剪刀)之特徵資訊。
(第8實施形態之變形例11)
在既定非接觸操作600係手指F位置與既定位置一致之動作的情形時,有該既定位置位於檢測基準42之中之情形或既定位置位於檢測基準外41之情形或既定位置與圖標之顯示位置一致之情形或既定位置為檢測基準42之位置之情形等。在既定位置位於檢測基準42之中之情形,當手指存在於檢測基準42時判定為已進行既定非接觸操作600。在既定位置位於檢測基準外41之情形,當手指位於檢測基準外41時判定為已進行既定非接觸操作600。在既定位置與圖標之顯示位置一致之情形,當手指F與空中像之圖標顯示位置一致時或操作了圖標顯示位置時判定為已進行既定非接觸操作600。在既定位置為檢測基準42之位置之情形,當手指F通過檢測基準42與檢測基準外41之邊界時或手指通過上述邊界而並再度通過邊界時,即判定為已進行既定非接觸操作600。
(第8實施形態之變形例12)
在第8實施形態及其變形例1~11中,雖說明檢測基準42於上下方向具有寬度D1,但亦可如第1實施形態之檢測基準40所示以面構成。如圖60(a),(b)所示,在從檢測基準40往下方相隔距離L1或距離L1以上之位置進行U形迴轉而進行了既定非接觸操作600A之情形時,即在檢測基準40檢測出已進行既定非接觸操作600A。如圖61(a)所示在檢測基準40 之上方(靜電容檢測範圍13A內)已進行既定非接觸操作600A時,係在檢測基準外41,使用操作檢測器13檢測出既定非接觸操作600A,並如圖61(b)所示,通過檢測基準40而已進行既定非接觸操作600A之情形時,既定非接觸操作600A之一部分係在檢測基準外41使用操作檢測器13予以檢測出。在圖61(a),(b)之情形,只要根據從檢測基準40起之距離算出變位量△H10,並以此變位量△H10變更檢測基準40之位置(圖61中之Z方向之位置)即可。
第8實施形態及其變形例1~12,能藉由第4實施形態或其變形例1或第7實施形態中所說明之顯示裝置100進行。
又,第8實施形態及其變形例1~12中,雖說明了對空中像顯示位置之操作進行既定非接觸操作600之情形,但不限定於此例。例如,在對第8實施形態及其變形例1~12之顯示裝置之顯示器11所顯示之影像於空間上進行既定非接觸操作600之情形,亦可根據既定非接觸操作600在空間上之位置與檢測基準42之位置關係變更檢測基準42之位置。
此外,上述之第8實施形態與其變形例1~12中,雖以至少包含控制部20與顯示器11與操作檢測器13之顯示裝置1為例進行了說明,但亦可係僅以控制部20構成之控制裝置、或以控制部20與顯示器11構成之控制裝置。又,控制部20,只要至少具備校準部203與檢測基準控制部204即可。
以上所說明之各實施形態與其變形例中,針對顯示裝置1,係說明了藉由成像光學系12將顯示於顯示器11之像生成作為空中像的構成。又,針對顯示裝置100,係說明了藉由成像光學系112將顯示於顯示器 111之像生成作為空中像的構成。然而,生成空中像之構成不限於上述構成,以下說明之方法亦為其所含。當然,以下說明之構成僅為一例,亦包含除此以外之生成空中像之方法。
顯示裝置中,作為生成空中像之構成之例,有於顯示裝置之顯示器顯示以右眼目視確認之影像與和以右眼目視確認之影像具有視差之左眼所觀看之影像,藉此生成使用者會感覺到與藉由顯示器顯示之影像不同深度之影像的方法。藉由此方式,使用者會將與顯示於顯示器之影像對應之影像辨識成顯示於空中。
又,亦能使用透過型之頭戴式顯示器(HMD)作為顯示裝置,並將其穿戴於使用者。在於HMD顯示影像後,使用者可藉由被顯示之影像重疊於實際之視野,而感覺到顯示於HMD之影像彷彿顯像於空中。
此外,作為生成空中像之方法,亦可舉出投影虛像之方法或使影像直接形成於使用者之視網膜之方法等。又,作為生成空中像之方法,亦可係使雷射光聚光於空中使構成空氣之分子電漿化而在空中發光,以於空中形成像之方法。此情形下,係藉由將雷射光之聚光位置於3維空間中自由地控制來於空中生成作為實像之3維影像。又,作為生成空中像之方法,亦可使用除了具有投影機功能以外還具有於空氣中產生霧之功能之顯示裝置,於空氣中產生霧而形成螢幕,並藉由將影像投影於由此霧形成之螢幕影像(fog display)而於空中生成像。
亦可將用以使用顯示裝置1或100執行校準之程式預先記錄於電腦可讀取記録媒體,使電腦系統讀入此程式來執行校準。此外,此處所指之「電腦系統」亦可係包含OS(Operating System)或周邊機器等之硬 體者。
此外,上述「電腦系統」,亦包含利用了WWW系統之網頁提供環境(或顯示環境)。又,上述「電腦可讀取記録媒體」,係指軟碟、光磁碟、ROM、快閃記憶體等能寫入之非揮發性記憶體、CD-ROM等之可攜式媒體、內藏於電腦系統之硬碟等記憶裝置。進而上述「電腦可讀取記録媒體」,亦包含如網際網路等之網路或透過電話線路等通訊線路發送程式之情形之伺服器或作為客戶端之電腦系統內部之揮發性記憶體(例如DRAM(Dynamic Random Access Memory))之類,可將程式保存一定時間者。
上述「程式」,亦可係將此程式從存放於記憶裝置等之電腦系統經由傳送媒體或藉由傳送媒體中之傳送波傳送至其他電腦系統。此處,傳送程式之「傳送媒體」,係指如網際網路等之網路(通訊網)或電話線路等通訊線路(通訊線)般具有傳送資訊之功能的媒體。又,上述程式亦可係用以實現上述功能之一部分者。再者,亦可係將前述功能與已記錄於電腦系統之程式的組合來實現之所謂差分檔(差分程式)。
此外,亦可將上述各實施形態及各變形例組合,而採取下述構成:一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:檢測部,在檢測基準檢測出既定非接觸操作;以及控制部,變更檢測出操作之檢測基準與顯示之位置關係,在既定非接觸操作在檢測基準未被檢測出之情形時,變更檢測基準,控制部可由使用者變更位置關係。此檢測裝置之控制部亦可進一步根據聲音變更檢測基準。又,此檢測裝置之控制部亦可進一步根據時間變更檢測基準。又,此檢測裝置之控制部亦可進一步根據使用者臉部變更檢測基準。又,此檢測裝置之控制部亦可進一步在作為既 定非接觸操作之既定動作在檢測基準未被檢測出之情形時變更檢測基準。又,此檢測裝置之控制部,亦可進一步在作為既定非接觸操作之按下操作在檢測基準未被檢測出之情形時變更檢測基準。又,此檢測裝置之控制部,亦可進一步在作為既定非接觸操作之手勢操作在檢測基準未被檢測出之情形時,變更檢測基準。又,此檢測裝置之控制部,亦可進一步在作為既定非接觸操作進行非接觸操作之操作物體之形狀與既定形狀不一致之情形時變更檢測基準。又,亦可將上述各實施形態及各變形例組合,而採取下述構成:一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:檢測部,具備檢測出非接觸操作之檢測基準;以及控制部,變更檢測出非接觸操作之檢測基準與顯示之位置關係,根據在檢測基準外被檢測出之非接觸操作變更檢測基準,控制部可由使用者變更位置關係。
此外,亦可將上述各實施形態及各變形例組合,而採取下述構成:一種檢測裝置,具備:檢測部,在檢測基準檢測出既定非接觸操作;控制部,在既定非接觸操作在檢測基準未被檢測出之情形時變更檢測基準,控制部係根據使用者之操作變更位置關係。又,亦可將上述各實施形態及各變形例組合,而採取下述構成:一種檢測裝置,具備:檢測部,在檢測基準檢測出既定非接觸操作;控制部,在既定非接觸操作在檢測基準未被檢測出之情形時變更檢測基準,控制部係根據使用者資訊變更位置關係。又,亦可將上述各實施形態及各變形例組合,而採取下述構成:一種檢測裝置,具備:檢測部,在檢測基準檢測出既定非接觸操作;控制部,在既定非接觸操作在檢測基準未被檢測出之情形時變更檢測基準,控制部係根據因使用者所致之檢測裝置之周邊環境變化變更位置關係。
此外,亦可將上述各實施形態及各變形例組合,而採取下述構成:一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:檢測部,在檢測基準檢測出既定非接觸操作;以及控制部,在既定非接觸操作在檢測基準未被檢測出之情形時,變更檢測基準,控制部係控制顯示並變更位置關係。
此外,亦可將上述各實施形態及各變形例組合,而採取下述控制裝置之構成,即具備:控制部,根據使用者操作控制顯示以變更用以檢測使用者對空中之顯示之操作之檢測裝置與顯示之位置關係,控制部,能將位置關係由使用者變更。又,亦可將上述各實施形態及各變形例組合,而採取下述控制裝置之構成,即具備:控制部,根據使用者信息控制顯示以變更用以檢測使用者對空中之顯示之操作之檢測裝置與顯示之位置關係,控制部,能將位置關係由使用者變更。又,亦可將上述各實施形態及各變形例組合,而採取下述控制裝置之構成,即具備:控制部,根據使用者所致之檢測裝置之周邊環境變化控制顯示以變更用以檢測使用者對空中之顯示之操作之檢測裝置與顯示之位置關係,控制部,能將位置關係由使用者變更。
此外,亦可將上述各實施形態及各變形例組合,而採取下述控制裝置之構成,即具備:檢測部,在檢測基準檢測出既定非接觸操作;以及控制部,控制顯示以變更檢測出使用者對空中之顯示之操作之檢測基準與顯示之位置關係,在既定非接觸操作在檢測基準未被檢測出之情形時,變更檢測基準,控制部,能將位置關係由使用者變更。此控制裝置之控制部,亦可進一步根據聲音變更檢測基準。又,此控制裝置之控制部, 亦可進一步根據時間變更檢測基準。又,此控制裝置之控制部,亦可進一步根據使用者之臉部變更檢測基準。又,此控制裝置之控制部,亦可進一步在作為既定非接觸操作之既定動作在檢測基準未被檢測出之情形時變更檢測基準。又,此控制裝置之控制部,亦可進一步在作為既定非接觸操作之按下操作在檢測基準未被檢測出之情形時變更檢測基準。又,此控制裝置之控制部,亦可進一步在作為既定非接觸操作之手勢操作在檢測基準未被檢測出之情形時,變更檢測基準。又,此控制裝置之控制部,亦可進一步在作為既定非接觸操作進行非接觸操作之操作物體之形狀與既定形狀不一致之情形時變更檢測基準。又,亦可將上述各實施形態及各變形例組合,而採取下述控制裝置之構成,即具備:檢測部,具備檢測出非接觸操作之檢測基準;以及控制部,控制顯示以變更檢測出使用者對空中之顯示之操作之檢測基準與顯示之位置關係,根據在檢測基準外被檢測出之非接觸操作變更檢測基準,控制部可由使用者變更位置關係。
在不損及本發明之特徵之情形下,本發明不限定於上述實施形態或上述變形例,在本發明技術思想之範圍內可考量到之其他形態亦包含於本發明範圍內。又,本發明亦可適當組合上述實施例之形態或上述變形例。
1‧‧‧顯示裝置
10‧‧‧本體
11‧‧‧顯示器
12‧‧‧成像光學系
13‧‧‧操作檢測器
20‧‧‧控制部
30‧‧‧空中像
30A‧‧‧圖標
121‧‧‧凸透鏡

Claims (47)

  1. 一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:控制部,變更檢測前述操作之檢測基準與前述顯示之位置關係;前述控制部,可由使用者變更前述位置關係。
  2. 如申請專利範圍第1項之檢測裝置,其中,前述控制部係根據前述使用者之操作變更前述位置關係。
  3. 如申請專利範圍第2項之檢測裝置,其中,前述控制部係根據前述檢測基準或在前述檢測基準外被檢測出之前述使用者之操作變更前述位置關係。
  4. 如申請專利範圍第2或3項之檢測裝置,其中,前述控制部係根據前述使用者按下前述顯示的操作變更前述位置關係。
  5. 如申請專利範圍第4項之檢測裝置,其中,前述控制部係根據前述按下之操作之到達位置變更前述位置關係。
  6. 如申請專利範圍第5項之檢測裝置,其中,前述控制部係以包含前述到達位置之既定範圍成為前述檢測基準之方式變更前述位置關係。
  7. 如申請專利範圍第6項之檢測裝置,其中,前述控制部,係將從前述到達位置往與藉由前述按下之操作而被壓入之方向相反之方向分離既定距離的位置、與前述到達位置所夾的三維區域作為前述檢測基準。
  8. 如申請專利範圍第5至7項中任一項之檢測裝置,其中,前述控制部係根據前述按下之操作之速度決定前述按下之操作之到達位置。
  9. 如申請專利範圍第1項之檢測裝置,其中,前述控制部係根據前述使用者所指定之指定位置變更前述位置關係。
  10. 如申請專利範圍第9項之檢測裝置,其中,前述使用者之操作係前述使用者手指之操作;前述控制部,係判定檢測出之前述手指之位置變化是否在既定範圍內,在判定為在前述既定範圍內時,即將前述既定範圍所包含之位置作為前述指定位置。
  11. 如申請專利範圍第9項之檢測裝置,其中,前述使用者之操作係前述使用者手指之操作;前述控制部,在檢測出前述使用者所發出之聲音時,即將檢測出之前述手指之位置作為前述指定位置。
  12. 如申請專利範圍第9至11項中任一項之檢測裝置,其中,前述控制部係使前述顯示進行與前述指定相關之資訊之顯示。
  13. 如申請專利範圍第9項之檢測裝置,其中,前述使用者之操作係前述使用者手指之操作;前述控制部,在檢測出決定前述指定位置之操作時,即將檢測出之前述手指之位置作為前述指定位置。
  14. 如申請專利範圍第2項之檢測裝置,其中,前述控制部係根據前述使用者之複數個操作變更前述位置關係。
  15. 如申請專利範圍第1至14項中任一項之檢測裝置,其中,前述使用者之操作係在顯示有前述顯示之位置的操作。
  16. 如申請專利範圍第1至15項中任一項之檢測裝置,其中,前述使用者之操作係觸碰前述顯示之操作。
  17. 如申請專利範圍第1至16項中任一項之檢測裝置,其中,前述控制 部係根據前述使用者之資訊變更前述位置關係。
  18. 如申請專利範圍第17項之檢測裝置,其中,前述使用者之資訊,包含與前述使用者年齡相關之資訊、與前述使用者體型相關之資訊、與前述使用者性別相關之資訊、與前述使用者視力相關之資訊中之至少一個的資訊。
  19. 如申請專利範圍第17項之檢測裝置,其中,前述使用者之資訊係特定出前述使用者之資訊。
  20. 如申請專利範圍第19項之檢測裝置,其中,前述控制部係根據拍攝前述使用者而得之影像辨識前述使用者之臉部,以特定出前述使用者。
  21. 如申請專利範圍第19項之檢測裝置,其中,前述控制部係根據由前述使用者輸入之資訊特定出前述使用者。
  22. 如申請專利範圍第1至21項中任一項之檢測裝置,其中,前述控制部係根據因前述使用者所致之前述檢測裝置之周邊環境變化變更前述位置關係。
  23. 如申請專利範圍第22項之檢測裝置,其中,前述環境變化係亮度之變化。
  24. 如申請專利範圍第1至23項中任一項之檢測裝置,其中,前述控制部係控制前述檢測基準以變更與前述顯示之前述位置關係。
  25. 如申請專利範圍第24項之檢測裝置,其中,前述控制部係變更前述檢測基準之一部分與前述顯示之前述位置關係。
  26. 如申請專利範圍第1至25項中任一項之檢測裝置,其具備根據前述檢測基準檢測前述使用者對前述顯示之操作的檢測部。
  27. 如申請專利範圍第26項之檢測裝置,其中,前述檢測部具有包含前述檢測基準之檢測範圍,在前述檢測範圍內檢測前述使用者之操作。
  28. 如申請專利範圍第26或27項之檢測裝置,其具備拍攝前述使用者之操作之攝影部;前述檢測部,係根據以前述攝影部拍攝之影像檢測前述使用者之操作。
  29. 如申請專利範圍第1至28項中任一項之檢測裝置,其具備於空中顯示前述顯示的顯示部。
  30. 一種電子機器,其具備:申請專利範圍第1至29項中任一項之檢測裝置。
  31. 一種檢測裝置,係檢測使用者對空中之顯示之操作,其具備:控制部,係根據與前述使用者相關之資訊,變更檢測前述操作之檢測基準與前述顯示之位置關係。
  32. 一種檢測裝置,係檢測對空中之顯示之操作,其具備:控制部,係根據前述操作,變更檢測前述操作之檢測基準與前述顯示之位置關係。
  33. 一種檢測裝置,其具備:檢測部,檢測使用者對空中之顯示之操作,變更檢測前述操作之檢測基準與前述顯示之位置關係;前述檢測部,可由使用來變更前述位置關係。
  34. 一種檢測裝置,其具備:檢測部,檢測使用者對空中之顯示之操作,根據前述使用者之資訊變更檢測前述操作之檢測基準與前述顯示之位置關係。
  35. 一種檢測裝置,其具備:檢測部,係檢測對空中之顯示之操作,根據前述操作變更檢測前述操作之檢測基準與前述顯示之位置關係。
  36. 一種檢測方法,係檢測使用者對空中之顯示之操作,其中,係由使用者變更檢測前述操作之檢測基準與前述顯示之位置關係。
  37. 一種檢測方法,係檢測使用者對空中之顯示之操作,其中,係根據前述使用者之資訊變更,檢測前述操作之檢測基準與前述顯示之位置關係。
  38. 一種檢測方法,係檢測對空中之顯示之操作,其中,係根據前述操作,變更檢測前述操作之檢測基準與前述顯示之位置關係。
  39. 一種檢測方法,係檢測使用者對空中之顯示之操作;由使用者變更檢測前述操作之檢測基準與前述顯示之位置關係。
  40. 一種檢測方法,係檢測使用者對空中之顯示之操作,其中,係根據前述使用者之資訊變更檢測前述操作之檢測基準與前述顯示之位置關係。
  41. 一種檢測方法,係檢測對空中之顯示之操作,其中,係根據前述操作,變更檢測前述操作之檢測基準與前述顯示之位置關係。
  42. 一種程式,係供檢測使用者對空中之顯示之操作之電腦執行,其中,係由使用者變更檢測前述操作之檢測基準與前述顯示之位置關係。
  43. 一種程式,係供檢測使用者對空中之顯示之操作之電腦執行,其中,係根據前述使用者之資訊變更檢測前述操作之檢測基準與前述顯示之位置關係。
  44. 一種程式,係供檢測對空中之顯示之操作之電腦執行,其中,係根據前述操作,變更檢測前述操作之檢測基準與前述顯示之位置關係。
  45. 一種程式,係供電腦執行以下處理: 檢測使用者對空中之顯示之操作之處理;以及由使用者變更檢測前述操作之檢測基準與前述顯示之位置關係之處理。
  46. 一種程式,係供電腦執行以下處理:檢測使用者對空中之顯示之操作之處理;以及根據前述使用者之資訊變更檢測前述操作之檢測基準與前述顯示之位置關係之處理。
  47. 一種程式,係供電腦執行以下處理:檢測對空中之顯示之操作之處理;以及根據前述操作變更檢測前述操作之檢測基準與前述顯示之位置關係之處理。
TW104143547A 2014-12-26 2015-12-24 檢測裝置、電子機器、檢測方法及程式 TW201633067A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084714 WO2016103520A1 (ja) 2014-12-26 2014-12-26 検出装置、電子機器、検出方法およびプログラム

Publications (1)

Publication Number Publication Date
TW201633067A true TW201633067A (zh) 2016-09-16

Family

ID=56149602

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104143547A TW201633067A (zh) 2014-12-26 2015-12-24 檢測裝置、電子機器、檢測方法及程式

Country Status (7)

Country Link
US (2) US10359883B2 (zh)
EP (1) EP3239816A4 (zh)
JP (1) JP6365660B2 (zh)
KR (1) KR20170100411A (zh)
CN (1) CN106062683B (zh)
TW (1) TW201633067A (zh)
WO (1) WO2016103520A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812872B (zh) * 2020-08-07 2023-08-21 騰騏科技股份有限公司 非接觸式電子輸入裝置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
EP3182250B1 (en) * 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
EP3361457B1 (de) * 2017-02-13 2023-07-12 Diebold Nixdorf Systems GmbH Eingabeeinrichtung, geldautomat und verfahren
JP6923361B2 (ja) * 2017-05-29 2021-08-18 株式会社ミツトヨ 位置計測装置の操作方法
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6898021B2 (ja) * 2018-03-07 2021-07-07 Necソリューションイノベータ株式会社 操作入力装置、操作入力方法、及びプログラム
JP6658809B2 (ja) * 2018-07-04 2020-03-04 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
JP2024004509A (ja) * 2020-11-30 2024-01-17 株式会社村上開明堂 空中操作装置
US11775077B2 (en) * 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274997B2 (ja) 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
TW201020901A (en) * 2008-11-20 2010-06-01 Ibm Visual feedback for drag-and-drop operation with gravitational force model
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8514255B2 (en) * 2009-08-31 2013-08-20 Namco Bandai Games Inc. Information storage medium, image control device, and image control method
JP5446769B2 (ja) * 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 3次元入力表示装置
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5533254B2 (ja) * 2010-05-24 2014-06-25 アイシン・エィ・ダブリュ株式会社 情報表示装置、情報表示方法及びプログラム
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
CA2811868C (en) 2010-09-22 2017-05-09 Shimane Prefectural Government Operation input apparatus, operation input method, and program
JP5494423B2 (ja) 2010-11-02 2014-05-14 ソニー株式会社 表示装置、位置補正方法およびプログラム
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5785753B2 (ja) 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5341126B2 (ja) 2011-03-31 2013-11-13 シャープ株式会社 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
EP2613226A1 (en) * 2012-01-05 2013-07-10 Alcatel Lucent Initiating a logical connection between two devices using eye-gazing detection
US9423877B2 (en) * 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
CN103376891A (zh) 2012-04-23 2013-10-30 凹凸电子(武汉)有限公司 多媒体系统,显示装置的控制方法及控制器
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置、入力支援方法及びプログラム
JP2014067071A (ja) 2012-09-10 2014-04-17 Askanet:Kk 空中タッチパネル
CN104704449B (zh) * 2012-10-05 2017-09-12 日本电气方案创新株式会社 用户界面设备和用户界面方法
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN103731526A (zh) * 2014-01-21 2014-04-16 唐景华 一种能将三维画面悬浮在空中虚拟成像的智能手机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812872B (zh) * 2020-08-07 2023-08-21 騰騏科技股份有限公司 非接觸式電子輸入裝置

Also Published As

Publication number Publication date
WO2016103520A1 (ja) 2016-06-30
CN106062683B (zh) 2021-01-08
EP3239816A4 (en) 2018-07-25
JPWO2016103520A1 (ja) 2017-09-14
EP3239816A1 (en) 2017-11-01
KR20170100411A (ko) 2017-09-04
CN106062683A (zh) 2016-10-26
US20190286280A1 (en) 2019-09-19
US10860139B2 (en) 2020-12-08
JP6365660B2 (ja) 2018-08-01
US20170017344A1 (en) 2017-01-19
US10359883B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
TW201633067A (zh) 檢測裝置、電子機器、檢測方法及程式
TW201636796A (zh) 控制裝置、電子機器、控制方法及程式
JP6724987B2 (ja) 制御装置および検出方法
JP6822472B2 (ja) 表示装置、プログラム、表示方法および制御装置
JP6733731B2 (ja) 制御装置、プログラムおよび制御方法
US20220011900A1 (en) Detection device and program
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6658809B2 (ja) 検出装置、電子機器、検出方法およびプログラム