JP6733731B2 - 制御装置、プログラムおよび制御方法 - Google Patents

制御装置、プログラムおよび制御方法 Download PDF

Info

Publication number
JP6733731B2
JP6733731B2 JP2018525217A JP2018525217A JP6733731B2 JP 6733731 B2 JP6733731 B2 JP 6733731B2 JP 2018525217 A JP2018525217 A JP 2018525217A JP 2018525217 A JP2018525217 A JP 2018525217A JP 6733731 B2 JP6733731 B2 JP 6733731B2
Authority
JP
Japan
Prior art keywords
user
detection reference
detection
information
contact operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018525217A
Other languages
English (en)
Other versions
JPWO2018003862A1 (ja
Inventor
英範 栗林
英範 栗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018003862A1 publication Critical patent/JPWO2018003862A1/ja
Application granted granted Critical
Publication of JP6733731B2 publication Critical patent/JP6733731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Description

本発明は、制御装置、プログラムおよび制御方法に関する。
表示画面上方で検出された操作体の三次元位置を補正可能な表示装置が知られている(たとえば、特許文献1)。しかしながら、通常動作と三次元位置の補正動作とを同時に行うことができなかった。
日本国特開2012−98959号公報
第1の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する
第2の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の動きの方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第3の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の速度であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第4の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第5の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記ユーザに関する情報は、前記ユーザの視線の方向又は前記ユーザの頭の方向であって、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第6の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記ユーザに関する情報は、前記ユーザの視線の動き又は前記ユーザの頭の動きであって、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の動き量が所定よりも小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第7の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定するプログラムであって、前記非接触操作を行う物体の位置を検出する検出処理と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得処理と、前記検出処理で検出した前記物体の位置と、前記取得処理で取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御処理と、をコンピュータに実行させ、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記制御処理において、前記検出処理で検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第8の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御方法であって、前記非接触操作を行う物体の位置を検出し、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得し、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第1の実施の形態に係る表示装置の構成を説明する図であり、(a)は外観斜視図、(b)は断面図、(c)は結像光学系の構成を示す断面図である。 第1の実施の形態に係る表示装置の主要部構成を説明するブロック図である。 第1の実施の形態において表示される空中像を模式的に示す図であり、(a)、(e)は平面図、(b)、(c)、(d)は撮像装置と空中像と検出基準との関係を示す断面図である。 第1の実施の形態における所定の非接触操作の例を模式的に示す図である。 第1の実施の形態において所定の非接触操作が検出基準内で検出される場合を模式的に示す図である。 第1の実施の形態において所定の非接触操作が検出基準内で検出されない場合を模式的に示す図であり、(a)は所定の非接触操作の全体が検出基準よりもZ方向+側の検出基準外で検出される場合、(b)は所定の非接触操作の全体が検出基準よりもZ方向−側の検出基準外で検出される場合を示す図である。 第1の実施の形態において所定の非接触操作が検出基準内で検出されない場合を模式的に示す図であり、(a)は所定の非接触操作の一部が検出基準よりもZ方向+側の検出基準外で検出され残部が検出基準内で検出される場合、(b)は所定の非接触操作の一部が検出基準よりもZ方向−側またはX方向−側の検出基準外で検出され残部が検出基準内で検出される場合を示す図である。 所定の非接触操作がアイコンの方向に向けて行われていな場合を模式的に示す図である。 第1の実施の形態においてキャリブレーション処理の際に検出基準の位置の変更を示す図であり、(a)はZ方向+側への検出基準の位置の変更後を示し、(b)はZ方向−側への位置の変更後を示す図である。 第1の実施の形態において、複数回の所定の非接触操作のそれぞれが検出基準内の異なる位置で行われた場合を模式的に示す図である。 第1の実施の形態における表示装置が行う処理を説明するフローチャートである。 第1の実施の形態の変形例1に係る表示装置の主要部構成を説明するブロック図である。 第1の実施の形態の変形例4に係る表示装置の主要部構成を説明するブロック図である。 第1の実施の形態の変形例6における表示装置が行う処理を説明するフローチャートである。 第1の実施の形態の変形例7において、所定の非接触操作の一部が検出基準外で検出された場合の所定の非接触操作と検出基準との間の距離を模式的に示す図であり、(a)は距離が所定の閾値以下の場合、(b)は距離が所定の閾値を超える場合を示す図である。 (a)は第1の実施の形態の変形例7において、複数の所定の非接触操作が検出基準外にて互いに近傍となる位置で行われた場合を模式的に示す図であり、(b)は第1の実施の形態の変形例7において検出基準の幅を一定にしない場合を模式的に示す図である。 第1の実施の形態の変形例8に係る表示装置の主要部構成を説明するブロック図である。 第1の実施の形態の変形例8における表示装置の結像光学系と表示器との別の例を模式的に示す断面図である。 第2の実施の形態の変形例2において、検出基準を初期設定するタイミングを説明するための模式図であり、(a)は初期設定された空中像と空中像に対して行われた所定の非接触操作との位置関係を模式的に示す図であり、(b)は初期設定された空中像に対して行われた所定の非接触操作に基づいて検出基準が初期設定された場合を模式的に示す図である。
−第1の実施の形態−
図面を参照しながら、第1の実施の形態による表示装置について説明する。第1の実施の形態においては、本実施の形態の表示装置が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、操作パネルに限らず、携帯電話、テレビ、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。また、本実施の形態の表示装置は、デジタルサイネージ(電子看板)等の電子機器にも組み込むことができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、本実施の形態の表示装置は、例えば現金自動預払機(ATM装置)においてユーザが暗証番号や金額等を入力するためのパネルや、鉄道やバスの乗車券・定期券等の自動券売機や、図書館や美術館等の各種の情報検索端末装置等のパネルに組み込むことが可能である。また、本実施の形態の表示装置は、各種のロボット(たとえば自走可能なロボットや、自走式の掃除機のような電子機器)に搭載しても良い。
図1(a)は表示装置1の斜視図であり、図1(b)は表示装置1の一部を拡大して示す断面図であり、図1(c)は表示装置1の一部を拡大して表示する側面図である。なお、説明の都合上、表示装置1について、X軸、Y軸およびZ軸からなる座標系を図示の通りに設定する。なお、座標系はX軸、Y軸およびZ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、X軸は、表示装置1の矩形表示面の短辺方向に設定され、Y軸は、表示装置1の矩形表示面の長辺方向に設定され、Z軸は、表示面に垂直な方向に設定されている。
表示装置1は、制御部20を内蔵する本体10と、結像光学系9と、表示器11と、ステージ14と、撮像装置15とを備える。結像光学系9と、表示器11と、ステージ14と、撮像装置15とは、本体10内に配置されている。表示器11は、たとえば、液晶表示器や有機EL表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器11は、制御部20により制御されて、表示用画像データに対応する画像を表示する。
図1(c)に示すように、結像光学系9は、内部に複数の微細なミラー素子90が二次元状に配置され、ZX平面に対して所定の角度、たとえば45°傾斜して配置される。結像光学系9は、表示器11に表示される表示画像からのY方向+方向への光を反射して、ステージ14の上方空間に、表示画像の実像を空中像30として形成する。このとき、空中像30は、結像光学系9に関して表示器11の表示面と対称な位置に形成される。即ち、表示器11の表示面と結像光学系9との距離dと、結像光学系9と空中像30との距離dが等しくなる。こうして、表示装置1の使用者(以下、ユーザ12という)は、表示器11の表示面に表示された表示画像を、ステージ14の上方の空中に浮いた空中像30として観察することができる。なお、このような結像光学系9の具体的な構成は、例えば、特開2016−14777号公報に記載されている。
また、表示装置1は、後述する第1の実施の形態の変形例8にて説明するように公知のライトフィールド方式を用いて空中像30を表示させてもよい。
また、表示器11と結像光学系9との間のY方向の距離dを可変にすることにより、空中像30が表示される位置をZ方向に沿って移動させることができる。たとえば表示器11と結像光学系9との間の距離を小さくすると、即ち、表示器11を結像光学系9に近づく方向に移動すると、空中像30はユーザ12から遠ざかる方向(Z方向−側)に移動して表示される。逆に、表示器11と結像光学系9との間の距離を大きくすると、即ち、表示器11を結像光学系9から遠ざかる方向に移動すると、空中像30はユーザ12に接近する方向(Z方向+側)に移動して表示される。表示器11のY方向の移動は、不図示のモータやその他のアクチュエータなどの駆動装置により行うことができる。
空中像30は、表示装置1の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン30A(操作ボタン)を含む。
ステージ14は、ZX平面に平行な面として設けられ、このステージ14の上方に空中像30が表示される。以下の説明では、ステージ14が矩形形状であるものとするが、矩形に限定されず、円形形状や多角形形状等、種々の形状を適用できる。
撮像装置15は、表示装置1の本体10の表面に配置され、Z方向+側に位置する物体を撮像する撮像部と、物体までの距離を検出する測距部とを有し、後述するようにしてユーザ12が空中像30に対して行った操作に基づく操作体の位置を検出する。撮像部は、公知の撮像素子を有し、後述するようにして空中像30を操作するユーザ12の身体とその一部である指や手等の操作体等とを撮像し、撮像された撮像画像を出力する。撮像素子にはR、G、Bのカラーフィルターが設けられており、撮像画像にはR、G、Bの色情報が含まれる。このため、後述するように空中像30を操作しているユーザ12の指先の形状、爪、模様やユーザ12が指に持っている物体等を判別することができる。測距部は、たとえば赤外線を出射し、対象物に反射して再び入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、対象物までの距離を算出し、距離情報として出力する。したがって、測定対象物を上記の操作体とした場合、測距部は、撮像装置15、すなわち表示装置1から空中像30を操作するユーザ12の指や手までの距離を求めることができる。撮像装置15は、撮像部からの撮像画像と測距部からの距離情報とを検出出力として出力する。
撮像装置15は、後に詳述するように自身の表面からZ方向の所定の撮像可能範囲に、ユーザ12の指や手等の操作体の操作を検出するための所定の検出範囲を有する。撮像装置15は、この所定の検出範囲内においてユーザ12が空中像30を操作する際の操作体までの距離を検出する。勿論、空中像30は、この検出範囲内に位置するように、好ましくは所定の検出範囲のZ方向の中頃に位置するように結像光学系9により結像される。撮像装置15は、ユーザ12が空中像30の表示位置を指や手やスタイラスで操作することを検出するので、タッチパネル等の操作部材に触れることなく、空中像30に対する操作を実行することができる。なお、以下の説明では、ユーザ12の指や手を操作体として空中像30の表示位置を操作する例を説明するが、スタイラスなどの物体を操作体として操作する場合も同様である。
図2は、表示装置1の構成のうち、制御部20と、制御部20によって制御される表示器11及び撮像装置15とを示したブロック図である。制御部20は、CPU、ROM、RAMなどを有し、制御プログラムに基づいて表示装置1の表示器11を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部20は、解析部200と、画像生成部201と、表示制御部202と、キャリブレーション部203と、検出基準制御部204と、記憶部205と、判定部206とを備える。記憶部205は、制御プログラムを格納する不揮発性メモリと、表示器11に表示される画像データなどを記憶する記憶媒体などとを含むものである。
解析部200は、撮像装置15からの検出出力、すなわち撮像部からの撮像画像と測距部からの距離情報とに基づいて、空中像30に対して操作を行っている操作体の動作状態、すなわち操作体に関する情報や、操作を行うユーザ12に関する情報を取得する。たとえば、ユーザ12が指で空中像30を操作する場合に、解析部200は、撮像装置15の撮像部からの撮像画像に基づいて、ユーザ12の肩を検出する。そして、解析部200は、撮像装置15の撮像部からの撮像画像と測距部からの距離情報、または撮像画像と距離情報との一方に基づいて、肩を基点に動いている腕を検出する。解析部200は、検出した腕の動き、さらに手首の動き、指先を検出してユーザ12がどのような操作を行っているかを解析する。たとえば、ユーザ12が空中像30に対して、後述するようなタップダウンとタップアップとを行う場合や、手を振る動作や、フリック動作や、スワイプ動作等を行う場合には、腕や手首等に特定の動きがある。たとえば、タップダウン動作の場合には、手首の動きが大きく腕の動きは少ない。また、フリック動作やスワイプ動作の場合には、手首の動きは小さいが肘を基点として腕の動きがある。このようなユーザ12の動作の種類と、腕、手首等の動作状態とは、関連付けされて予め記憶部205に記憶される。
画像生成部201は、記憶媒体に記憶されている画像データに基づいて、表示器11に表示するための表示画像に対応する表示用画像データを生成する。表示制御部202は、画像生成部201により生成された表示用画像データに対応する画像を表示器11に表示させる。また、表示制御部202は、ユーザ12が空中像30のアイコン30Aの表示位置に操作を行うと、その操作されたアイコン30Aの種類に基づいて表示器11の表示画像の切り替え制御を行う。なお、ユーザ12が空中像30のアイコン30Aの表示位置に操作を行った場合、表示制御部202は表示器11の表示画像の切り替え制御を行うことに限られない。例えば、表示器11は表示画像として動画像を表示し、ユーザ12が空中像30のアイコン30Aの表示位置に操作を行った場合、表示制御部202は表示器11によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
キャリブレーション部203は、後に詳述するキャリブレーション処理を実行する。検出基準制御部204は、検出面、即ち検出基準を、ステージ14の上方空間に設定する。具体的には、検出基準制御部204は、撮像装置15の所定の検出範囲内であって空中像30の位置(または所定範囲)に検出基準を設定する。検出基準制御部204は、更に、ユーザ12の指が検出基準に達したことを撮像装置15からの検出出力に基づき判定する。即ち、検出基準制御部204は、撮像装置15にて検出された指位置(X軸、Y軸、Z軸の各軸での位置)が設定された検出基準内に位置した時に、ユーザ12がアイコン30Aの表示位置を操作したと判定する。検出基準制御部204は、検出基準を予め定められた所定の初期位置に設定する。この検出基準の初期位置は、予め記憶部205に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザ12に対して共通の位置であってもよいし、ユーザ12による表示装置1の使用履歴などに基づき、ユーザ12毎に異なる位置を設定してもよい。なお、検出基準制御部204は、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正してもよい。
また、検出基準の位置(初期位置や、変更または修正された位置)は、ステージ14の平面上(X軸、Y軸上)全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置1の使用時に設定された検出基準を記憶部205に記憶しておき、それを読み出して使用してもよい。
判定部206は、撮像装置15により検出されたユーザ12の操作が、アイコン30Aに対して操作を行う意図を有して行われたものか否かを判定する。なお、判定部206による判定処理については、詳細な説明を後述する。
図3(a)は、表示装置1によって表示される空中像30の一例を示し、図3(b)、(c)は、設定される検出基準40を模式的に示す。図3(b)では、空中像30内のアイコンは、太い点線30Aで示されている。なお、アイコン30Aは、空中像30の一部であるので空中像30の位置と同一位置に位置しているが、図3(b)においては、アイコン30Aを表す太い点線を、空中像30を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
図3(a)においては、空中像30が1個のアイコン30Aを含む場合を例示する。このように表示される空中像30に対して、撮像装置15は、図3(b)に示すように、ステージ14の上方(Y方向+側)に検出範囲15Aを有する。図3(b)では、撮像装置15の前方(Z方向+側)のZ方向に沿った検出限界が破線15aで示され、この検出限界15aと撮像装置15との間隔が検出範囲15Aとして示されている。
図3(b)の例では、検出限界15aがステージ14のZ方向+側の端部の上方に設定された場合を示す。すなわち、検出範囲15Aがステージ14のZ方向の長さと等しい。この場合、ZX平面上におけるステージ14と検出範囲15Aとが一致致しているので、ステージ14の上方の空間で行われるユーザ12の操作が撮像装置15にて検出される。なお、ZX平面上におけるステージ14の大きさと検出範囲15Aとが一致せず、ステージ14よりも狭い検出範囲15Aが設定されてもよいし、ステージ14よりも広い検出範囲15Aが設定されてもよい。
空中像30は、ステージ14の上方に、撮像装置15からZ方向+側に距離H1だけ離れた位置に形成される。このアイコン30Aに対して、検出基準制御部204は、図3(b)、(c)に示すように、直方体形状の検出基準40を初期設定する。アイコン30Aに対応する検出基準40の横断面の大きさは、図3(b)に示すように、アイコン30Aの大きさに対応する。検出基準40のZ方向の大きさはD1である。すなわち、直方体状の検出基準40は、横断面の長さW1がアイコン30Aの一辺の長さW1に等しく、横断面の他の一辺の長さW2がアイコン30Aの他の一辺の長さW2に等しく定められている。
直方体状の検出基準40について、そのZ方向+側の面を第1基準面40aとし、Z方向−側の面を第2基準面40bとし、長さW2とD1とで生成される側面を第3基準面40cとし、長さW1とD1とで生成される側面を第4基準面40dと称する。検出基準40の外部を検出基準外41と称する。すなわち、検出基準外41とは、図3(c)において、検出基準40の第1基準面40aと、第2基準面40bと、第3基準面40cと、第4基準面40dとで囲まれた空間以外の外側空間である。
なお、本実施の形態では、検出基準40を直方体形状として説明するが、これに限定されるものではなく、球状、円柱状や角柱状等でもよいし、それ以外の形状でもよい。また、検出基準40がアイコン30Aに対して設定されるものに限定されず、空中像30の全領域やアイコン30Aを含む所定の範囲に検出基準40が設定されてもよい。
検出基準制御部204は、空中像30が、検出基準40の第1基準面40aと第2基準面40bとの中間に位置するように検出基準40を設定する。すなわち、検出基準制御部204は、空中像30と第1基準面40aとのZ方向の距離と、空中像30と第2基準面40bとのZ方向の距離とが等しくなるように検出基準40を設定する。なお、空中像30は第1基準面40aと第2基準面40bとの中間に位置するものに限定されない。空中像30と第1基準面40aとの距離が空中像30と第2基準面40bとの距離とが等しくないものや、空中像30が第1基準面40aよりもZ方向+側に位置するものや、空中像30が第2基準面40bよりもZ方向−側に位置するものでもよい。つまり、Z軸方向から見て、空中像30(アイコン30A)と検出基準40の第1基準40a、第2基準40bとが重畳された状態であればよい。
なお、検出基準制御部204は、上述した検出基準40の位置を、検出範囲15A内においてZ方向に移動させて変更してもよい。たとえば、後述するキャリブレーション処理の結果に基づいて、検出基準制御部204は、図3(b)のように設定された検出基準40をZ方向+方向または−方向に移動させてよい。図3(b)、(c)においては、空中像30と検出基準40の第1基準面40aと第2基準面40bとは、XY平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。
また、図3(d)に示したように、検出基準40は、平面ではなくアイコン30A毎に段差を持つようにしてよい。換言すると、複数のアイコン30Aが空中像30に含まれる場合、或るアイコン30Aとそのアイコンに対する検出基準40との間隔が、別のアイコン30Aとその別のアイコンに対する検出基準40との間隔と異なっていてもよい。このように、検出基準40に段差を設けることは、空中像30が立体像であって、複数のアイコン30Aの位置がZ方向に互いにずれている場合に特に有効である。例えば、立体の空中像30の複数のアイコン30AのZ方向のずれに基づいて、各アイコン30Aに対応する検出基準40のZ方向の位置をずらすことによって、アイコン30Aと対応する検出基準40との間の距離を、一定にすることもできる。また、検出基準40は、図3(d)に示す複数のアイコン30Aのそれぞれに設定された検出基準40を、独立して移動させることにより検出基準40の位置を変更してよい。すなわち、図3(d)の紙面左端のアイコン30Aに対する操作に基づいてキャリブレーション処理が行われた場合、検出基準制御部204は、紙面左端のアイコン30Aに対応して設定された検出基準40の位置をZ方向に移動させてよい。このとき、検出基準制御部204は、他のアイコン30A(図3(d)の紙面中央部および右端のアイコン30A)に対応して設定された検出基準40のZ方向の位置は移動させない。
上記のように設定された空中像30のアイコン30Aや検出基準40に対して、ユーザ12が所定の非接触操作を行うことにより、表示装置1は、アイコン30Aに割り当てられた機能を実行する。
図4(a)〜(c)に本実施の形態における所定の非接触操作600A〜600C(総称する場合には所定の非接触操作600と称する)の例を示す。図4では、所定の非接触操作600A〜600Cを指Fが移動する際の軌跡として矢印を用いて模式的に示す。図4(a)に示す所定の非接触操作600Aは、ユーザ12が指Fを距離L1だけ奥側(Z方向−側)へ移動した後にUターンして、距離L1だけ手前側(Z方向+側)に移動する操作である。即ち、この所定の非接触操作600Aは、奥側への移動距離と手前側への移動距離とが等しいUターン軌跡である。また、所定の非接触操作600Aは、Uターン、即ちU字の軌跡ではなく、V字の軌跡を描くものでも良く、また、指Fが距離L1だけ奥側へ移動した後にその軌跡に沿って距離L1だけ手前側に移動する操作であってもよい。更には、所定の非接触操作600Aは、奥側への移動距離L1と手前側への移動距離L1とが等しくなく異なっていても良い。本実施の形態における所定の非接触操作600Aとは、指の奥側への移動に引き続き指の手前側への移動がなされる操作であれば良い。
図4(b)の所定の非接触操作600Bは、ユーザ12が指Fを距離L1だけ奥側へ移動した後、所定時間指Fを停止するものである。図4(c)の所定の非接触操作600Cは、ユーザ12が指Fを距離L1だけ奥側へ移動した後、指Fを横方向(X方向またはY方向)に少なくとも所定距離L2移動させる操作である。
所定の非接触操作600は、上述した種々の指Fの移動軌跡で表されるものに限られず、その移動軌跡(指Fや手の移動軌跡)が撮像装置15で検出することができるものであれば、その他の移動軌跡を描くものであっても良い。
上述した各種の所定の非接触操作600の移動軌跡は、予め記憶部205に記憶される。
解析部200は、撮像装置15の検出出力に基づいて、所定の非接触操作600を検出基準40で検出すると、指Fがアイコンの表示位置を操作したと判定する。
図5は、解析部200によって、前述の所定の非接触操作600のうち非接触操作600Aが検出基準40で行われたと判定される場合を例示する。所定の非接触操作600A1は、指Fが第1基準面40aからZ方向−側に距離L1移動し、引き続きUターンしZ方向+側に距離L1移動して、指Fが第1基準面40aに達した場合を示す。所定の非接触操作600A2は、指Fが第1基準面40aと第2基準面40bとの中間で指FがZ方向−側に距離L1移動し、引き続きUターンしZ方向+側に距離L1移動した場合を示す。所定の非接触操作600A3は指FがZ方向−側に距離L1移動して第2基準面40bにおいてUターンしZ方向+側に距離L1移動した場合を示す。この場合、解析部200は、ユーザ12により行われた操作が、記憶部205に記憶されている所定の非接触操作600Aの軌跡と同一と見なせる場合に、所定の非接触操作600Aが行われたことを検出する。解析部200により検出されたユーザ12による所定の非接触操作600は記憶部205に記憶される。
以上のように、解析部200は、図5に示されたように、所定の非接触操作600Aの距離L1のZ方向−側への移動と、Uターンと、距離L1のZ方向+側への移動との全てが検出基準40内で行われた場合に、所定の非接触操作600Aが検出基準40で行われたと判定する。即ち、解析部200は、所定の非接触操作600Aを検出基準40で検出する。
以上では、所定の非接触操作600Aを例として、解析部200が、所定の非接触操作600が検出基準40で行われたか否かを判定する方法を説明したが、他の所定の非接触操作600B、600C等についても同様である。解析部200は、所定の非接触操作600の全体が検出基準40で行われた場合に、所定の非接触操作600が検出基準40で行われたと判定する。所定の非接触操作600の一部でも検出基準外41で行われた場合には、解析部200は所定の非接触操作600が検出基準40で行われたと判定しない。所定の非接触操作600がZ方向の±方向に距離L1の移動を伴う操作である場合、検出基準40の幅D1、即ち第1基準面40aと第2基準面40bとの間隔(Z方向の長さ)は、少なくとも距離L1以上必要であり、例えば距離L1の1.5倍〜3倍程度に定められる。
以降、本実施の形態および変形例の説明においては、代表的に所定の非接触操作600Aを用いて説明するが、他の非接触操作600B、600C等においても同等の技術が適用されるものとする。
以上の説明は、所定の非接触操作600Aが検出基準40で検出される場合について説明した。しかし、アイコン30Aは、撮像装置15から距離H1の位置に位置している。このアイコン30Aは空中像30として表示されるので、或るユーザ12と別のユーザ12とでは、空中像30のアイコン30Aの表示位置、即ち距離H1を、視覚的に異なって感じることがある。また、同一のユーザ12でも、この表示装置1を操作する環境によっては、アイコン30Aの表示位置を異なって感じることがある。例えば、或るユーザ12が、アイコン30Aの表示位置への操作のために、指を空中像30のアイコン30Aに対して所定の非接触操作600を行ったとする。そのユーザ12は指がアイコン30Aに到達してアイコン30Aの表示位置を操作していると思っているのに、実際には指がアイコン30A、即ち検出基準40の第1基準面40aよりもZ方向+側に位置することがある。逆に、別のユーザ12は、未だ指がアイコン30Aの手前(Z方向+側)にあると感じているのに、実際には指がアイコン30Aに到達し、検出基準40の第2基準面40bよりもZ方向−側に位置することもある。このような場合において、検出される所定の非接触操作600Aと検出基準40との位置関係について例示する。
図6は、所定の非接触操作600Aの全体が検出基準外41で検出される場合の例を示したものである。図6(a)において、指Fによる所定の非接触操作600Aの全体が検出基準40の第1基準面40aよりもZ方向+側の位置で行われている。この場合には、撮像装置15の検出出力に基づいて、解析部200は、所定の非接触操作600Aの全体を検出基準外41で検出する。
図6(b)は、指Fによる所定の非接触操作600Aの全体が検出基準40の第2基準面40bよりもZ方向−側の位置で行われている。この場合にも、撮像装置15の検出出力に基づいて、解析部200は、所定の非接触操作600Aの全体をそれぞれ検出基準外41で検出する。撮像装置15と解析部200とによって、検出基準外41で所定の非接触操作600Aを検出する方法を説明する。まず、撮像装置15が指Fの移動を逐次検出する。次に、解析部200は撮像装置15の検出出力に基づき、指Fの移動軌跡が記憶部205に記憶されている所定の非接触操作600Aに対応するか否かと、指Fの移動軌跡の位置(検出基準40又は検出基準外41又は検出基準40と検出基準外41との両方)を判定する。この判定結果に基づき、検出基準外41で所定の非接触操作600Aが検出される。
図7は、所定の非接触操作600Aの一部が検出基準外41で検出される場合の例を示す。図7(a)において、指Fによる所定の非接触操作600Aの一部、即ち距離ΔH10に対応する部分が、検出基準40の第1基準面40aよりもZ方向+側の位置で行われ、その残部が検出基準40内で行われている。言い換えると、検出基準40で検出された所定の非接触操作600Aの一部と、検出基準外41で検出された所定の非接触操作600Aの一部とを合わせると、所定の非接触操作600Aになる。
この場合、撮像装置15の検出出力に基づいて、解析部200は、所定の非接触操作600Aの一部を検出基準外41で検出する。
図7(b)において、指Fによる所定の非接触操作600Aaの一部、即ち距離ΔH10に対応する部分が、検出基準40の第2基準面40bよりもZ方向−側の位置で行われ、その残部が検出基準40内で行われている。言い換えると、検出基準40で検出された所定の非接触操作600Aaの一部と、検出基準外41で検出された所定の非接触操作600Aaの一部とを合わせると、所定の非接触操作600Aaになる。
また、指Fによる所定の非接触操作600Abの一部、即ち距離ΔH10に対応する部分が、検出基準40の第3基準面40cの外側で行われ、その残部が検出基準40内で行われている。言い換えると、検出基準40で検出された所定の非接触操作600Abの一部と、検出基準外41で検出された所定の非接触操作600Abの一部とを合わせると、所定の非接触操作600Aになる。
これらの場合にも、撮像装置15の検出出力に基づいて、解析部200は、所定の非接触操作600Aaの一部、またはAbの一部を検出基準外41で検出する。
図6、図7に示すように所定の非接触操作600が検出される場合、ユーザ12の意図に反してアイコン操作が実行されない。いずれの場合にも、ユーザ12は、アイコン操作に違和感を覚えることになる。また、上記の場合とは異なり、例えば複数のアイコン30Aが空中像30として表示されている状態で、ユーザ12がどのアイコン30Aを操作するかを指で示しながら選んでいるような場合には、ユーザ12の指先の動きが偶然に所定の非接触操作600と一致したために、アイコン操作が実行されてしまうおそれがある。すなわち、ユーザ12がアイコン30Aを操作する意図を有していないにも関わらず、アイコン操作が実行されてしまい、ユーザ12は違和感を覚えることになる。また、ユーザ12がアイコン30Aを操作しようとして非接触操作を行っても、ユーザ12の行った非接触操作が所定の非接触操作600と異なっていた場合、ユーザ12の意図に反してアイコン操作が実行されない。このような場合にも、ユーザ12は違和感を覚えることになる。
本実施の形態の表示装置1では、ユーザ12によって非接触操作が行われた場合に、ユーザ12がアイコン30Aを操作する意図を有していたか否かを判定する。
ユーザ12がアイコン30Aを操作する意図を有していたか否かについては、制御部20の判定部206により判定を行う。
判定部206は、図5〜図7に示した場合のように、ユーザ12により所定の非接触操作600が行われた場合には、ユーザ12はアイコン30Aを操作する意図を有していると判定する。また、ユーザ12により行われた非接触操作が所定の非接触操作600とは異なっていても、所定の条件を満たす場合には、ユーザ12はアイコン30Aを操作する意図を有していると判定する。すなわち、解析部200が、撮像装置15の検出出力に基づいて、所定の非接触操作600の移動軌跡の全体を検出範囲15Aで検出した場合、または検出した非接触操作が所定の条件を満たすことを検出した場合、判定部206は、アイコン30Aへの操作にユーザ12の意図があると判定する。なお、所定の条件については、詳細を後述する。
判定部206は、ユーザ12により行われた操作が所定の非接触操作600でもなく、所定の条件も満たさない場合には、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。すなわち、解析部200が、撮像装置15の検出出力に基づいて、検出された非接触操作が所定の非接触操作600ではないことを検出した場合、または、検出された非接触操作が所定の条件を満たさない場合には、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。
以下、所定の条件について説明する。所定の条件を満たす非接触操作とは、ユーザ12によって行われた非接触操作の移動軌跡または位置に基づいて、所定の非接触操作600と見なすことができる操作のことである。
なお、以下の説明においては、所定の非接触操作600として、図4(a)に示す所定の非接触操作600Aを例に挙げる。上述したように、所定の非接触操作600Aは、ユーザ12が指Fを距離L1だけ奥側(Z方向−側)へ移動した後にUターンして、距離L1だけ手前側(Z方向+側)に移動する移動軌跡の操作である。
撮像装置15の撮像部は、ユーザ12の指を撮像して撮像画像を出力し、撮像装置15の測距部は、ユーザ12の指を測距し、測距情報、即ち距離情報を出力する。解析部200は、指に関する撮像装置15の撮像画像及び距離情報に基づき、ユーザ12の非接触操作の移動軌跡の距離を検出する。解析部200は、この非接触操作の移動軌跡の距離を検出するために、撮像画像及び距離情報の両方を用いても良いし、その一方を用いてもよい。
解析部200が検出したユーザ12の操作の移動軌跡と、所定の非接触操作600Aの移動軌跡との形状に基づいて、判定部206は、ユーザ12の操作に意図があるか否かを判定する。
解析部200が、撮像装置15からの検出出力に基づいて、ユーザ12の操作の移動軌跡を距離L0だけZ方向−側へ移動した後にUターンして、距離L0だけZ方向+側に移動することを検出したとする。解析部200が検出したユーザ12の非接触操作の距離L0と所定の非接触操作600Aの距離L1との差分が所定の閾値以下の場合には、ユーザ12はアイコン30Aを操作する意図を有していると判定し、差分が所定の閾値を超える場合には、ユーザ12は意図を有していないと判定する。たとえば、所定の非接触操作600AのZ方向の±方向への操作の距離L1を10cmとし、所定の閾値を3cmとする。ユーザ12による非接触操作のうちZ方向の±方向への操作の距離L0が9cmであった場合には、ユーザ12は、自身はアイコン30Aに対して所定の非接触操作600Aを行ったつもりでいる可能性がある。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していると判定する。また、ユーザ12による非接触操作のうちZ方向±方向への操作の距離L0が2cmであった場合には、ユーザ12がアイコン30Aを操作しようとしていたのではなく、ユーザ12がどのアイコン30Aを選択するか検討している最中であることが考えられる。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。
解析部200が、撮像装置15からの検出出力に基づいて、ユーザ12の操作の移動軌跡を距離L1だけZ方向−側へ移動すること、すなわち図4(b)に示すような移動軌跡を検出したとする。すなわち、所定の非接触操作600Aの移動軌跡とは異なる移動軌跡の操作がユーザ12によって行われた場合であっても、ユーザ12の操作の位置に基づいて、判定部206は、ユーザ12の操作に意図があるか否かを判定する。この場合、解析部200は、ユーザ12が行ったZ方向−側への操作の方向、すなわちユーザ12の操作のベクトルはアイコン30Aの表示位置に向かっているか否かを検出する。
撮像装置15の撮像部は、ユーザ12の指を撮像して撮像画像を出力し、撮像装置15の測距部は、ユーザ12の指を測距し、測距情報、即ち距離情報を出力する。解析部200は、指に関する撮像装置15の撮像画像及び距離情報に基づき、指の位置を算出する。この場合、解析部200は、撮像装置15の撮像画像と距離情報との両方を使用して指の位置を算出しても良いし、撮像装置15の撮像画像と距離情報との一方を用いて指の位置を算出してもよい。
解析部200は、撮像装置15の撮像周期ごとに取得した指の位置に基づいて、ユーザ12の非接触操作の移動軌跡の方向、すなわちベクトルを算出する。そして、解析部200は、算出したベクトルの方向にアイコン30Aが存在するか否かを判定する。ベクトルの方向にアイコン30Aが存在する場合には、ユーザ12は、アイコン30Aに向けて指Fを移動させていたが、指Fが描くべき移動軌跡の形状を間違えていただけの可能性がある。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していたと判定する。図8に示すように、ベクトルの方向にアイコン30Aが存在しない場合には、移動軌跡の形状も異なり、アイコン30Aに向けて指Fを移動させていたわけでもないので、ユーザ12がアイコン30Aを操作するために指Fを移動させていた可能性は低い。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。
なお、解析部200がベクトルを算出するものに限られない。たとえば、解析部200は、ユーザ12の非接触操作が行われた位置(たとえば移動軌跡の終点、すなわち図4(b)に示す所定の非接触操作600Bの移動軌跡の場合にはZ方向−側の端点のX座標およびY座標)が、アイコン30Aの表示位置のX座標とY座標との範囲内にあるか否かを判定してもよい。すなわち、解析部200は、ユーザ12の操作がアイコン30Aの表示位置にあるか、大きくずれているかを判定してよい。ユーザ12により行われた所定の非接触操作600AのX座標とY座標とが、アイコン30Aの表示位置のX座標とY座標との範囲内の場合には、ユーザ12は、アイコン30Aに向けて指Fを移動させていたが、指Fが描くべき移動軌跡の形状を間違えていただけの可能性がある。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していたと判定する。ユーザ12により行われた所定の非接触操作600AのX座標とY座標とが、アイコン30Aの表示位置のX座標とY座標との範囲内ではない場合には、ユーザ12による操作は、アイコン30Aに向けて行われたものと見なすことができない。したがって、判定部206は、解析部200の判定結果から、ユーザ12がアイコン30Aを操作する意図を有していないと判定する。
また、ユーザ12の非接触操作が行われたZ座標と、アイコン30Aの表示位置のZ座標とが所定の範囲内である場合にユーザ12がアイコン30Aを操作する意図を有していると判定してもよい。すなわち、非接触操作の軌跡の一点と検出基準40との距離が所定の距離よりも小さい場合、ユーザ12がアイコン30Aを操作する意図を有していると判定する。所定の距離より大きい場合、ユーザ12がアイコン30Aを操作する意図を有していないと判定する。ユーザ12が空中像30から大きく離れた位置で非接触操作を行った場合には、ユーザ12が空中像30に対して操作する意図を有していたと見なしにくい。このような場合に、ユーザ12がアイコン30Aを操作する意図を有していないと判定することができる。
なお、判定部206は、ユーザ12が図5に示すように検出基準40内で所定の非接触操作600や所定の条件を満たす場合であっても、ユーザ12がアイコン30Aを操作する意図を有していないと判定する場合がある。たとえば、後述するキャリブレーション処理を行うための専用のモード(キャリブレーション処理モード)に移行する際に行われたユーザ操作の場合である。ここでいうキャリブレーション処理モードは、通常のアイコン30Aの操作は受け付けず、キャリブレーションのみを行うモードである。この場合は通常のアイコン30Aの操作は受け付けないので、解析部200によって所定の非接触操作600や所定の条件を満たす非接触操作が検出基準40で検出されても、判定部206は、ユーザ12がアイコン30Aを操作する意図を有していないと判定する。
また、たとえば、空中像30のアイコン30Aを操作するモードとは異なるモードが実行されているときに行われたユーザ12の非接触操作が所定の非接触操作600または所定の条件を満たす非接触操作の場合であっても、判定部206は、ユーザ12は操作の意図を有していないと判定してよい。アイコン30Aを操作するモードとは異なるモードとして、たとえば、動画を再生表示する動画再生モードや、複数の静止画を連続して順次スライドショー表示するスライドショー再生モードにおいてアイコンの空中像が表示されていない場合など、ユーザ12によるアイコン操作が行われることを前提としていないモードである。この場合には解析部200が、撮像装置15の検出出力に基づきユーザ12の指の操作を解析しても、判定部206は、アイコンが表示されていないので、ユーザ12は操作の意図を有していないと判定してよい。
以上のようにして行われた解析部200による解析結果や、判定部206による判定処理の結果に基づいて、制御部20はアイコン30Aの機能を実行させる。また、キャリブレーション部203は、上記の解析部200による解析結果や判定部206による判定処理の結果に基づいて、キャリブレーション処理を実行する。以下、アイコン30Aの機能を実行させる処理と、キャリブレーション処理とに分けて、説明を行う。
ユーザ12により行われた非接触操作が解析部200により検出基準40で検出され、ユーザ12はアイコン30Aの操作をする意図を有していると判定部206により判定された場合における表示装置1の動作について説明する。このような場合には、制御部20はアイコン30Aの機能を実行する。たとえば、表示制御部202は、図3(a)に示す空中像30から、たとえば図3(e)に示すような、4行×3列からなる12個のアイコン30Aを含む空中像30に表示を切り替える。たとえば、図3(a)のアイコン30Aが、表示装置1の動作を起動させるためのスタートボタンやロック状態の表示装置1を動作可能にするロック解除ボタンの場合であるとする。この場合には、表示制御部202は、図3(e)に示す空中像30として、たとえば各種のアプリケーション(音楽再生、動画再生、メール等)を実行するためのアイコンの表示に切り替える。
ユーザ12により行われた非接触操作が、解析部200により検出基準外41で検出され、ユーザ12はアイコン30Aの操作をする意図を有していると判定部206により判定された場合における表示装置1の動作について説明する。このような場合には、制御部20はアイコン30Aの機能を実行し、キャリブレーション部203は、キャリブレーション処理を実行する。なお、キャリブレーション処理の詳細については、説明を後述する。なお、ユーザ12による非接触操作が検出基準外41で検出され、ユーザ12に操作の意図があると判定された場合であっても、キャリブレーション処理を行わなくても良い場合がある。たとえば、ユーザ12によりアイコン30Aに対して非接触操作が行われた後に制御部20が実行する機能において、ユーザ12による操作を必要としない場合が挙げられる。一例として、ユーザ12が操作したアイコン30Aが表示装置1の動作を終了させるための終了ボタン等の場合がある。このように、制御部20がアイコン30Aの機能を実行した後の状態で、ユーザ12の操作を求めないような場合には、キャリブレーション処理は行わなくてもよい。
次に、ユーザ12により行われた非接触操作が解析部200により検出基準40で検出され、ユーザ12がアイコン30Aの操作をする意図を有していないと判定部206により判定された場合における表示装置1の動作について説明する。この場合には、ユーザ12がアイコン30Aの操作をする意図を有していないと判定しているので、制御部20はアイコン30Aの機能を実行しない。たとえば、表示制御部202は、図3(a)に示す空中像30から図3(e)に示す空中像30への表示の切り替えを行わない。さらに、キャリブレーション部203は、キャリブレーション処理を行わない。
ただし、このような場合であっても、ユーザ12により行われた非接触操作がキャリブレーション処理に移行するように指示する操作である場合には、キャリブレーション部203は、キャリブレーション処理を行う。
最後に、ユーザ12により行われた非接触操作が解析部200により検出基準外41で検出され、ユーザ12がアイコン30Aの操作をする意図を有していないと判定部206により判定された場合における表示装置1の動作について説明する。この場合も、ユーザ12がアイコン30Aの操作をする意図を有していないと判定しているので、制御部20は、アイコン30Aの機能を実行しない。さらに、キャリブレーション処理も行わない。
以下、キャリブレーション部203が実行するキャリブレーション処理について説明する。なお、以下の説明では所定の非接触操作600Aが行われた場合を例に説明するが、所定の条件を満たす非接触操作、すなわちユーザ12が操作の意図を有して行った非接触操作に対してキャリブレーション処理を行ってもよい。
図6(a)に示すような所定の非接触操作600Aが行われた場合、検出基準制御部204は、記憶部205に記憶された撮像装置15からの検出出力に基づいて、所定の非接触操作600Aの操作開始位置と第1基準面40aとの間隔ΔH10を算出する。この間隔ΔH10は、上述のように、所定の非接触操作600Aの操作開始位置と第1基準面40aの位置とから算出することができるが、以下の方法によっても算出することができる。即ち、検出基準制御部204は、所定の非接触操作600Aの最もZ方向−側の位置、すなわち所定の非接触操作600Aの到達位置を記憶部205に記憶された撮像装置15からの検出出力に基づいて求める。検出基準制御部204は、この所定の非接触操作600Aの到達位置と第1基準面40aの位置との間隔を算出し、この算出された間隔に所定の非接触操作600Aの距離L1を加算することによっても、間隔ΔH10を算出することができる。
間隔ΔH10が算出されると、検出基準制御部204は、図9(a)に示すように距離ΔH10に基づき、検出基準40の全体を図中上方、すなわちZ方向+側に移動する。図9(a)においては、移動された検出基準40を一点鎖線で示す。検出基準40のZ方向+側への移動量は、図9(a)に示したように距離ΔH10と略等しくいてもよいし、距離ΔH10よりも大きくしても小さくしてもよい。このように、ユーザ12が意図して行った所定の非接触操作600Aが、検出基準外41であって、検出基準40よりもZ方向+側の位置で検出された場合には、検出基準制御部204は、検出基準40の全体を、その所定の非接触操作600Aがなされた位置に近付けるようにZ方向+側に移動させて、検出基準40を変更する。
図9(b)は、所定の非接触操作600Aが検出基準外41であって、検出基準40の第2基準面40bよりもZ方向−側の位置で検出される場合(図6(b)参照)のキャリブレーション処理を説明する図である。図9(b)において、解析部200が、撮像装置15の検出出力に基づき所定の非接触操作600Aが行われたことを判定し、かつその所定の非接触操作600Aが検出基準外41で行われたと判定する。検出基準制御部204は、所定の非接触操作600Aの移動軌跡の最もZ方向−側の位置、すなわち所定の非接触操作600Aの到達位置と検出基準40の第2基準面40bとの間隔ΔH10を算出する。この間隔ΔH10が算出されると、検出基準制御部204は、図9(b)に示すように距離ΔH10に基づき、検出基準40の全体を図中下方(Z方向−側)に移動する。図9(b)では、移動された検出基準40を一点鎖線で示す。検出基準40のZ方向−側への移動量は、図9(a)に示したように距離ΔH10と略等しくいてもよいし、距離ΔH10よりも大きくしても小さくしてもよい。このように、ユーザ12が意図して行った所定の非接触操作600Aが、検出基準外41であって、検出基準40よりもZ方向−側の位置で検出された場合には、検出基準制御部204は、検出基準40の全体を、所定の非接触操作600Aがなされた位置に近付けるようにZ方向−側に移動させて、検出基準40を変更する。
なお、図9においては、検出基準制御部204は、算出した変更量ΔH10だけ検出基準40を変更するものとしたが、間隔ΔH10に所定量hを加算した値を変更量として検出基準40を変更してもよい。所定量hは、所定の非接触操作600Aの到達位置の差分(所定の非接触操作600Aの到達位置から検出基準40の最も近い基準面までの差分)を平均した値や複数の所定の非接触操作60A0の開始位置の差分(所定の非接触操作600Aの開始位置から検出基準40の最も近い基準面までの差分)を平均した値等があげられる。また、所定量hは、予め設定された固定の値でもよい。その場合、間隔ΔH10にマージンとなる所定量hが加算された分だけ検出基準40が移動することになる。そのため、ユーザ12が以後の操作を行う際に、厳密に同一の位置で所定の非接触操作600Aを行うことができない場合でも所定量hの範囲内での誤差であればユーザ12の所定の非接触操作600Aを検出基準40で検出することができる。ユーザ12の所定の非接触操作600Aの開始位置や到達位置が操作毎に変動しても、ユーザ12の所定の非接触操作600Aを検出基準40で検出できる。したがって、間隔ΔH10に所定量hを加算した値を変更量とした場合、間隔ΔH10の値を変更量とした場合よりも所定の非接触操作600Aを検出基準40で検出する割合を高くすることができる。
次に、図7に示したように、所定の非接触操作600Aの一部が検出基準外41で検出される場合におけるキャリブレーション処理について説明する。
図7(a)に示す所定の非接触操作600Aのように、所定の非接触操作600Aの一部が検出基準40で行われ、その残部が第1基準面40aよりも上方の位置で行われた場合に関するキャリブレーション処理は、図9(a)の場合と同様である。即ち、検出基準制御部204は、距離ΔH10に基づき、検出基準40の全体を図中上方(Z方向+側)に移動する。
図7(b)に示す所定の非接触操作600Aaのように、所定の非接触操作600Aaの一部が検出基準40で行われ、その残部が第2基準面40bよりもZ方向−側の位置で行われた場合に関するキャリブレーション処理は、図9(b)の場合と同様である。即ち、距離ΔH10に基づき、検出基準40の全体を図中下方(Z方向−側)に移動する。
図7(b)に示す所定の非接触操作600Abのように、所定の非接触操作600Abの一部が検出基準40で行われ、その残部が第3基準面40cの外側の位置で行われた場合に関するキャリブレーション処理は、検出基準制御部204は、距離ΔH10に基づき、検出基準40の全体をX方向に移動する。この場合、検出基準制御部204は、検出基準40の第3基準面40cと所定の非接触操作600Aの移動軌跡のうち、第3基準面40cから最も離れた部分との距離ΔH10を算出する。この距離ΔH10が算出されると、検出基準制御部204は、距離ΔH10に基づき、検出基準40の全体を図中のX方向、即ち所定の非接触操作600Aに近づく方向に移動させる。
判定部206により、ユーザ12がアイコン30Aを操作する意図を有していると判定された場合には、図9に示すように、検出基準制御部204は、キャリブレーション処理として、検出基準40の位置を移動させる。この結果、表示の切り替えが行われた空中像30では、ユーザ12の操作位置に合わせて検出基準40が変更されるため、検出基準40でユーザ12による所定の非接触操作600が検出できるようになる。また、1回の操作で、表示の切り替え等の実行動作の処理と、キャリブレーション処理とを行うので、ユーザ12は違和感なく操作を続けることができる。
キャリブレーション処理として、検出基準制御部204は、図9(a)に示す場合のように、検出基準40の位置をZ方向+側に移動する。ただし、検出基準制御部204は、検出基準40を、たとえば予め設定されている所定の移動量で移動させてよい。なお、この所定の移動量は、ユーザ12により設定されてもよい。また、上記の説明では、所定の非接触操作600A1の始点と終点とが第1基準面40aと一致している場合を例に挙げたが、これに限定されず、所定の非接触操作600A1の始点と終点とが第1基準面40aからZ方向−側の所定範囲内に含まれる場合に、キャリブレーション処理が行われてもよい。
以上のような処理が実行されることにより、ユーザ12の非接触操作によって、空中像30の表示を切り替える等の動作の実行処理と、検出基準40の位置を変更するキャリブレーション処理とを行うことができる。したがって、以後、ユーザ12によって行われる所定の非接触操作600が検出基準40で検出することができるようになる。
図11のフローチャートを参照して第1の実施の形態の表示装置1の動作について説明する。図11に示す処理は、制御部20でプログラムを実行して行われる。このプログラムは記憶部205に記憶されており、制御部20により起動され実行される。
ステップS1において、画像生成部201が空中像30用の表示用画像データを生成し、表示制御部202が表示用画像データに基づく表示画像を表示器11に表示させる。検出基準制御部204は、検出基準40を初期位置に設定する。表示器11に表示される表示画像は、たとえば図3(a)に示すようにアイコン30Aを含む空中像30に対応する画像である。
ステップS2では、撮像装置15からの検出出力に基づいて、解析部200はユーザ12により非接触操作が行われたか否かを判定する。ユーザ12により非接触操作が行われたことが検出された場合には、ステップS2が肯定判定されステップS3へ進み、非接触操作が行われたことが検出されない場合には、ステップS2が否定判定されて肯定判定されるまで待機する。ステップS3では、ユーザ12による非接触操作が検出基準40で行われたか否かを判定する。解析部200により、非接触操作が検出基準40で行われたことが検出された場合(図5参照)には、ステップS3が肯定判定されてステップS4へ進む。非接触操作が検出基準40内で行われなかった場合(図6、7参照)には、ステップS3が否定判定されて後述するステップS9へ進む。
ステップS4では、判定部206は、ユーザ12により行われた非接触操作が、ユーザ12により意図して行われたものであるか否かを判定する。たとえば、図5に示すような所定の非接触操作600や所定の条件を満たす非接触操作が行われ、判定部206によりユーザ12が意図して行った操作であると判定された場合には、ステップS4が肯定判定されてステップS5へ進む。ステップS5では、制御部20はステップS1で表示された空中像30に含まれるアイコン30Aの機能を実行して、後述するステップS12へ進む。たとえば、画像生成部201は、図3(e)の空中像30用の表示用画像データを生成し、表示制御部202は、表示用画像データに基づいて、表示画像を表示器11に表示させる。すなわち、表示制御部202は、図3(e)に示す空中像30に表示を切り替える。
ユーザ12により行われた非接触操作が、所定の非接触操作600でもなく所定の条件を満たす非接触操作でもなく、判定部206によりユーザ12が意図を有さずに行った操作であると判定された場合には、ステップS4が否定判定されステップS6へ進む。ステップS6では、ユーザ12により行われた非接触操作が、キャリブレーション処理へ移行することを指示する操作であるか否かを判定する。キャリブレーション処理へ移行することを指示する操作である場合には、ステップS6が肯定判定されてステップS7へ進む。キャリブレーション処理へ移行する際に行われた操作ではない場合には、ステップS7が否定判定されて、後述するステップS12へ進む。
ステップS7では、検出基準制御部204は、検出基準40の変更量を算出する。検出基準40の変更量は、予め決められた所定の量でも良いし、ユーザ12により行われた非接触操作の位置に基づいて算出しても良い。ステップS8では、検出基準制御部204は、ステップS7で算出した変更量に基づいて検出基準40の位置を変更して、後述するステップS12へ進む。
ステップS3が否定判定された場合、ステップS9にて、ステップS4と同様に、ユーザ12により意図して行われた操作であるか否かを判定する。ユーザ12により意図して行われた操作であると判定された場合には、ステップS9が肯定判定されてステップS10へ進む。ユーザ12により意図せずに行われた操作であると判定された場合には、ステップS9が否定判定されて、後述するステップS12へ進む。ステップS10では、ステップS7と同様の処理が行われてステップS11へ進む。ステップS11では、ステップS5およびステップS8と同様の処理が行われてステップS12へ進む。すなわち、キャリブレーション部203がキャリブレーション処理を行うとともに、表示制御部202は、空中像30に表示を切り替える等の実行動作の処理を行う。ステップS12では、表示装置1の停止操作が行われたか否かを判定する。表示装置1の停止操作が行われた場合、ステップS12が肯定判定されて処理を終了し表示装置1は動作を停止する。表示装置1の停止操作が行われない場合、ステップS12が否定判定されて、ステップ2へ戻る。
また、以下のような場合にキャリブレーション処理を実行してもよい。たとえば、同一の空中像30に対して、複数回のユーザ操作が必要である場合がある。一例として、空中像30が、たとえば複数桁の数字やアルファベットを入力する暗証番号入力画面等の場合がある。このような空中像30に対して、途中までユーザ操作が検出されたが、以後のユーザ操作が検出されないとする。すなわち、解析部200が、撮像装置15の検出出力に基づき、第1桁目の入力のためのユーザ操作が行われたが、所定時間内に第2桁目を入力するためのユーザ12による所定の非接触操作600または所定の条件を満たす非接触操作を検出しなかったとする。この場合には、キャリブレーション部203は、キャリブレーション処理を実行してもよい。たとえば、検出基準制御部204は、所定の量だけ検出基準40の範囲を広げるように、検出基準40の変更量を算出する。算出された変更量に基づいて、検出基準40の位置を移動させればよい。
また、以下のような場合にもキャリブレーション処理を実行してもよい。たとえば、ユーザ12により空中像30に対する操作が行われることが高い確率で予測される場合に、キャリブレーション処理を実行する。具体的には、上記のような暗証番号入力画面が表示され、かつ、撮像装置15によって暗証番号を入力しようとする人物が検出されているにも関わらず、所定時間を経過してもユーザ12による所定の非接触操作600または所定の条件を満たす非接触操作が検出されない場合がある。このように、撮像装置15の検出出力に基づいて、ユーザ12が検出されているにも関わらず解析部200が所定の非接触操作600または所定の条件を満たす非接触操作を所定時間内に検出しない場合には、キャリブレーション部203は、キャリブレーション処理を実行してもよい。検出基準制御部204は、所定の量だけ検出基準40の範囲を広げるように、検出基準40の変更量を算出する。算出された変更量に基づいて検出基準40の位置を移動させればよい。
また、ユーザ12によって実際に所定の非接触操作600や所定の条件を満たす非接触操作が行われていないものの、撮像装置15の検出範囲15Aをユーザ12以外の虫やごみ等の異物が飛来し、その動きが、偶然に所定の非接触操作の軌跡と類似していたとする。この場合、ユーザ12により所定の非接触操作600が行われたと判定されるおそれがある。このような場合、解析部200は、撮像装置15の検出出力に基づいて、所定の非接触操作と類似する軌跡を描いたのが異物であると解析してよい。たとえば、撮像装置15の検出出力に、人物に相当する画像が撮像されていないにもかかわらず、所定の非接触操作600や所定の条件を満たす非接触操作が検出された場合等があげられる。
なお、所定の非接触操作600または所定の条件を満たす非接触操作が検出基準40で検出された場合であっても、キャリブレーション部203はキャリブレーション処理を実行してもよい。たとえば、ユーザ12による非接触操作が検出基準40の端部で行われているような場合がある。一例として、図5に示す所定の非接触操作600A1が行われた場合を挙げる。図5では、所定の非接触操作600A1は、その始点と終点が検出基準40の第1基準面40aと一致している。このような場合、以後のユーザ12による操作が第1基準面40aよりもZ方向+側で行われ、所定の非接触操作600A1が検出基準40で行われなくなるおそれがある。このため、キャリブレーション部203はキャリブレーション処理を実行してもよい。
また、非接触操作の到達位置が検出基準40の第2基準面40bと一致する場合や、第2基準面40bからZ方向+側の所定範囲内に含まれる場合にも、キャリブレーション処理が行われてもよい。この場合のキャリブレーション処理としては、検出基準制御部204は、図9(b)に示す場合のように、検出基準40の位置をZ方向−側に上記の所定の移動量で移動させればよい。
また、上記の説明では、ユーザ12による一回の非接触操作に基づいてキャリブレーション処理が行われたが、複数回の非接触操作の操作位置の傾向に基づいてキャリブレーション処理が行われてもよい。以下、図10を参照しながら説明する。
図10は、ユーザ12により3回の所定の非接触操作600が行われた場合を示す。第1回目として所定の非接触操作600A1が、第2回目として所定の非接触操作600A2が、第3回目として所定の非接触操作600A3が行われたものとする。検出基準40内にて、第2回目の所定の非接触操作600A2は、第1回目の所定の非接触操作600A1よりもZ方向+側で行われている。第3回目の所定の非接触操作600A3は、第2回目の所定の非接触操作600A2よりも検出基準40内のZ方向+側にて行われている。すなわち、ユーザ12が操作を繰り返すに従って、所定の非接触操作600Aが行われる位置がZ方向+側に変位している。このような場合、以後のユーザ12による操作が第1基準面40aよりもZ方向+側で行われ、所定の非接触操作600Aが検出基準40で行われなくなるおそれがある。このため、キャリブレーション部203はキャリブレーション処理を実行する。この場合のキャリブレーション処理としては、検出基準制御部204は、検出基準40の位置をZ方向+側に所定の移動量で移動させればよい。
また、図10において、第1回目に所定の非接触操作600A3が行われ、第2回目に所定の非接触操作600A2が行われ、第3回目に所定の非接触操作600A1が行われた場合には、以後のユーザ12による操作が第2基準面40aよりもZ方向−側で行われ、所定の非接触操作600Aが検出基準40で行われなくなるおそれがある。この場合には、キャリブレーション処理として、検出基準制御部204は、検出基準40の位置をZ方向−側に所定の移動量で移動させれば良い。
第1の実施の形態では、撮像装置15によって検出された非接触操作に基づく操作体の位置と、解析部200が撮像装置15の検出出力に基づいて取得した操作体に関する情報とに基づいて、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定する。これにより、操作体によって1回の非接触操作が行われることで、表示装置1の動作と、検出基準40のキャリブレーション処理とを行うことができるため、ユーザ12は違和感を感じることなく、スムーズな操作をすることができる。
また、第1の実施の形態では、解析部200は、操作体の動きに関する情報を取得する。これにより、操作体の非接触操作における動きに基づいて、表示装置1の動作と、検出基準40のキャリブレーション処理とを行うことができる。
また、第1の実施の形態では、解析部200が、操作体の位置が検出基準外41であり、操作体の動きとして軌跡が所定の軌跡であることを検出した場合、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定する。これにより、ユーザ12が操作を行う意図があると見なせる場合に、表示装置1の動作と検出基準40のキャリブレーション処理とを行うことができる。
また、第1の実施の形態では、解析部200が、操作体の軌跡のうちの一点と検出基準40との距離が所定の距離より小さいことを検出した場合に、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定する。ユーザ12が空中像30から大きく離れた位置で非接触操作を行った場合には、ユーザ12が空中像30に対して操作する意図を有していたと見なしにくい。このような場合に、表示装置1が動作し、検出基準40のキャリブレーション処理が行われることを防ぐことができる。
また、第1の実施の形態では、解析部200が、操作体の位置が検出基準外41であり、操作体の動きの方向が所定の方向であることを検出した場合、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定する。この場合、ユーザ操作がアイコン30Aに向けた操作であれば、検出基準40で検出されない場合であっても、ユーザ12が操作を行う意図があると見なす。これにより、ユーザ12が空中像30のZ方向の位置を正確に視認していない場合であっても、操作を行う意図を有していると見なせる場合には、表示装置1の動作と検出基準40のキャリブレーション処理とを行うことができる。
(第1の実施の形態の変形例1)
図1、図2に示す第1の実施の形態の表示装置1は、ユーザ12の行った非接触操作の軌跡や位置に基づいて、ユーザ12にアイコン30Aを操作する意図があったか否かを判定した。変形例1の表示装置1では、ユーザ12が非接触操作を行った際のユーザ12の指先の速度あるいは加速度を算出し、算出した速度または加速度に基づいて、アイコン30Aに対するユーザ操作の意図の有無を判定する。
図12のブロック図に変形例1の表示装置1の主要部構成を示す。図12は、変形例1の表示装置1の構成のうち、制御部20と、制御部20によって制御される表示器11および撮像装置15を示す。図12において、制御部20は、図2に示す第1の実施の形態の表示装置1の制御部20に含まれる構成に加えて、速度・加速度検出部207と、操作予測部208とを有する。なお、変形例1の表示装置1には、上述した第1の実施の形態の表示装置1として適用可能な各構成を適用することができる。
速度・加速度検出部207は、撮像装置15からの検出出力を所定の時間毎に取得し、所定の時間当たりの画像上での指の位置の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。操作予測部208は、速度・加速度検出部207により算出された移動速度や移動加速度が所定値以下の場合には、速度・加速度検出部207から出力される指の移動速度または加速度に基づき、指Fの移動軌跡を算出、すなわち予測する。解析部200は、操作予測部208により予測された指Fの移動軌跡に基づいて、第1の実施の形態と同様にして所定の非接触操作600の軌跡とを比較する。または、解析部200は、操作予測部208により予測された移動軌跡の方向や位置を算出する。判定部206は、解析部200によるユーザ12による非接触操作の移動軌跡の比較結果や、移動軌跡の方向や位置に基づいて、第1の実施の形態の場合と同様にして、ユーザ12の操作意図の有無を判定する。
なお、速度・加速度検出部207により算出された移動速度や移動加速度に基づいて、判定部206は、ユーザ12の操作の意図の有無を判定してよい。または、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、速度・加速度検出部207により算出された移動速度や移動加速度とを組み合わせて、判定部206がユーザ12の操作の意図の有無を判定してもよい。たとえば、速度・加速度検出部207により算出された移動速度や移動加速度が所定値を超える場合は、急激なユーザ操作、たとえば、高速で指をY方向+側からY方向−側へ振り下ろすような操作が行われている可能性が高い。このような場合は、ユーザ12が所定の非接触操作600を行う可能性が低い。したがって、判定部206は、ユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ12はアイコン30Aに対する操作を意図していないと判定する。
また、移動速度や移動加速度が所定値を超えるような急激なユーザ操作が行われている場合に、判定部206はユーザ操作には意図がないものとして判定する場合を挙げたが、これに限定されない。移動速度や移動加速度が別の所定値よりも小さい場合、すなわちユーザ操作がゆっくりと行われている場合も、判定部206は、ユーザ操作には意図がないと判定してよい。この場合も、判定部206は、ユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ12はアイコン30Aに対する操作を意図していないと判定する。
変形例1の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップS4およびステップS9の処理の際に、判定部206は、第1の実施の形態にて説明した方法に加えて、速度・加速度検出部207により算出された移動速度や移動加速度が所定値を超えるまたは所定値よりも小さい場合にも、ユーザ12に操作の意図がないと判定する。または、操作予測部208が予測した非接触操作の軌跡が、所定の非接触操作600の軌跡と一致する場合はユーザ12に操作の意図があると判定してもよい。一致しない場合は、ユーザ12に操作の意図がないと判定してもよい。
なお、外乱等の影響により、撮像装置15の複数の検出出力のうちの一部の検出出力にユーザ12の指等の操作体の情報が含まれていない場合が発生すると、ユーザ12の非接触操作の形状や移動速度や移動加速度が正確に検出できなくなるおそれがある。すなわち、検出出力に基づいたユーザの非接触操作の形状が変形して検出されたり、移動速度や移動加速度が実際の移動速度や移動加速度と比べて大きな値として検出されたりする。このような場合には、操作予測部208は、撮像装置15の複数の検出出力に平均化等の処理を加えたのちに、移動速度や移動加速度を算出するようにしてよい。
第1の実施の形態の変形例1では、たとえば、操作体の位置が検出基準外41で検出された場合であっても、操作体の移動速度が所定の速度である場合、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定することができる。または、予測した非接触操作の軌跡に基づいて、表示装置1の動作や検出基準の設定を行うことができる。これにより、ユーザ12に操作の意図があるかないかをより正確に判定することができ、表示装置1の動作と検出基準40のキャリブレーション処理とを迅速に行うことができる。
(第1の実施の形態の変形例2)
図1、図2に示す第1の実施の形態の表示装置1や、変形例1の表示装置1は、ユーザ12の非接触操作の移動軌跡や位置に基づいて、ユーザ12に空中像30を操作する意図があったか否かを判定した。変形例2の表示装置1では、ユーザ12が検出基準40にて予め設定されているジェスチャーを空中像30に対して行った場合、表示装置1が各種の機能を実行してもよい。すなわち、解析部200により検出されたジェスチャー(すなわちユーザ12の非接触操作の形状)に基づいて、判定部206は、ユーザ12の操作の意図の有無を判定してよい。また、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、非接触操作の形状とを組み合わせて、判定部206がユーザ12の操作の意図の有無を判定してもよい。ジェスチャーの例として、たとえばアイコン30Aを操作する場合には、1本の指で図4に示すような軌跡を描くようにタップダウンとタップアップとを行う動作がある。また、たとえば空中像30の全体をページめくりのようにしてスライドして切り替える場合には、ユーザ12が手や腕をX方向+側に振る動作や、ユーザ12が表示装置1の方向に向けて指や手を押し込んでから一定方向(X方向+側)にはじくように移動するフリック動作や、指や手を一定方向(X方向+側)になぞるように移動するスワイプ動作等がある。なお、ジェスチャーの態様として、どのような動作を行うか、または、手全体で行う動作か、1本の指で行う動作か、複数本の指で行う動作か、手を握った状態で行う動作かが、空中像30の表示内容に基づいて予め設定され、記憶部205に記憶されている。
変形例2の表示装置1は、図2に示す第1の実施の形態の表示装置1の構成が適用できる。なお、変形例2の表示装置1に図12に示す変形例1の表示装置1と同様の構成を適用してもよい。変形例2の表示装置1では、解析部200が、撮像装置15による検出出力に基づいて、ユーザ12が行ったジェスチャーを検出する。検出されたユーザ12のジェスチャーが記憶部205に記憶されているジェスチャーと異なる場合に、判定部206は、ユーザ12は意図して操作を行ったものではないと判定する。たとえば、アイコン30Aに対してユーザ12が手全体を用いてタップダウンとタップアップとを行う動作をしたことが検出されたとする。上述したように、アイコン30Aに対するジェスチャーは1本の指でタップダウンとタップアップとを行う動作である。この場合、ユーザ12が行ったジェスチャーの操作体(手全体)は、記憶部205に記憶されているジャスチャーの操作体(1本の指)とはその大きさ、すなわち外観の形状が異なる。したがって、判定部206は、ユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ12は意図して操作を行ったものではないと判定する。また、アイコン30Aに対してユーザ12が手を振り払うジェスチャーを行った場合には、記憶部205に記憶されているジェスチャーとは異なるので、判定部206は、ユーザ12は意図して操作を行ったものではないと判定する。
なお、判定部206は、上述した変形例1の場合のようにユーザ12により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。
変形例2の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップS2において、撮像装置15の検出出力に基づいて、解析部200はユーザ12により行われたジェスチャーを検出する。ステップS4およびステップS9の処理の際に、判定部206は、解析部200により、検出されたジェスチャーと記憶部205に記憶されているジェスチャーとが比較され、操作体の外観の形状である大きさやジェスチャーの形状が同一または同一と見なせる程度に類似していると判定された場合には、ユーザ12に操作の意図があると判定する。
第1の実施の形態の変形例2では、操作体の位置が検出基準外41で検出された場合であっても、操作体の外観が所定の外観である場合にはユーザ12に操作の意図があると判定し、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定することができる。これにより、予め設定されている所定のジェスチャーに基づいて操作された場合に、表示装置1の動作と検出基準40のキャリブレーション処理とを行うことができる。
また、第1の実施の形態の変形例2では、操作体の外観とは操作体の形状であってよい。これにより、所定のジェスチャーを予め設定されている手や指の形状に従って操作された場合に、ユーザ12は操作を行う意図があるもとの見なすことができる。
(第1の実施の形態の変形例3)
変形例3の表示装置1では、外観として所定の色や模様が操作体に付されている場合に、判定部206はユーザ12の操作が意図を有して行われたと判定する。すなわち、解析部200により検出された操作体に付された所定の色に基づいて、判定部206はユーザ12の操作の意図の有無を判定してよい。また、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、操作体の付された色とを組み合わせて、判定部206がユーザ12の意図の有無を判定してもよい。この場合、ユーザ12は、たとえば所定の色として赤色のテープやシールやキャップ等を指に付して空中像30に対して操作を行う。または、ユーザ12は、赤色の手袋をはめて空中像30に対して操作を行う。なお、上記のテープやシールやキャップや手袋が赤色であるものに限られず、たとえばストライプや水玉等の所定の模様が付されているものでも良い。
変形例3の表示装置1は、図2に示す第1の実施の形態や変形例2の表示装置1の構成が適用できる。なお、変形例3の表示装置1に図12に示す変形例1の表示装置1と同様の構成を適用してもよい。変形例3の表示装置1では、解析部200は、撮像装置15による検出出力に基づいて、ユーザ12による非接触操やジェスチャーを検出する。解析部200が、撮像装置15の検出出力に基づいて、所定の非接触操作600やジェスチャー操作を行った操作体、すなわち指や手に所定の色や模様が付されていることを検出した場合、判定部206はユーザ12が意図して操作を行ったものと判定する。操作体である指や手に所定の色や模様が付されていない場合には、判定部206は、ユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ12が意図して操作を行ったものではないと判定する。
変形例3の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップS2において、解析部200は、撮像装置15の検出出力に基づいて、ユーザ12の操作を検出し、操作体に所定の色や模様が付されているかを検出する。ステップS4およびステップS9において、判定部206は、操作体に所定の色や模様が付されていると検出された場合には、ユーザ12に操作の意図があると判定する。
なお、以上の説明では、外観として所定の色や模様がユーザ12の指や手に付されている場合を例に挙げたが、これに限定されない。たとえば、ユーザ12が、所定の色や模様が付された操作体としてペンや指示棒等を使用した場合に、判定部206は、ユーザ12に操作の意図があると判定してもよい。すなわち、判定部206は、解析部200により、所定の色や模様とは異なる色や模様が付されたペン等を用いてユーザ12が空中像30に対して操作を行ったと判定された場合には、ユーザ12に操作の意図はないと判定する。
また、ユーザ12が所定の色を発する専用のペンを用いた場合に、判定部206は、ユーザ12に操作の意図があると判定してもよい。たとえば、専用のペンにはボタンが設けられ、このボタンが押下操作されると、先端に設けられたLED等の発光部から所定の色(たとえば赤色)の光を発光する。ユーザ12は、アイコン30Aに対して操作を行う場合に、専用のペンのボタンを押下操作して、所定の色の光を発光させる。解析部200が、撮像装置15の検出出力に基づいて、専用のペンの先端から所定の色の光が発光していることを検出した場合、判定部206は、ユーザ12に操作の意図があると判定すればよい。専用ペンの先端からの所定の色の光の発光が解析部200により検出されない場合は、判定部206はそのときの操作はユーザ12が意図したものではないと判定する。
なお、専用のペンが所定の色の光を発光しているときに、判定部206がユーザ12の操作に意図があることを判定するものに限定されない。たとえば、所定の周期で専用のペンが点滅した場合や、強度が所定値を超えた場合や、第1の色(たとえば赤色)から第2の色(たとえば青色)に変化したことを解析部200が検出すると、判定部206がユーザ12の操作に意図があることを判定してもよい。
なお、上記のような専用のペン等を用いる場合に、専用のペンが超音波と赤外光と出力するものでもよい。この場合には、表示装置1は、専用のペンから出力された超音波と赤外光とを受信する受信部を備える。受信部は、公知の技術を用いて、赤外光を受信した時刻と超音波を受信した時刻との時間差に基づいて、専用のペンの動きを検出する。この専用のペンを用いて空中像30に対して操作が行われた場合、すなわち受信部が赤外光を受信した場合に、判定部206は、ユーザ12の操作に意図があると判定してもよい。
なお、判定部206は、上述した変形例1の場合のようにユーザ12により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。また、判定部206は、上述した変形例2の場合のようにユーザ12により行われた非接触操作の形状(すなわちジェスチャー)も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。
第1の実施の形態の変形例3では、操作体の外観とは操作体の色、模様、光等である。これにより、たとえば、予め設定された所定の色や模様が付されている操作体にて操作を行った場合に、ユーザ12には操作を行う意図があると見なすことができる。
(第1の実施の形態の変形例4)
第1の実施の形態とその変形例1〜3の表示装置1では、操作体として指や手やペン等を用いて行われた操作に基づいて、ユーザ12が意図を有して操作を行ったか否かを判定した。変形例4の表示装置1では、表示装置1を操作するユーザ12の状態に基づいて、ユーザ12が意図を有して操作を行ったか否かを判定する。すなわち、解析部200により検出されたユーザ12の状態に基づいて、判定部206はユーザ12の操作の意図の有無を判定してよい。また、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、ユーザ12の状態とを組み合わせて、判定部206がユーザ12の意図の有無を判定してもよい。
変形例4の表示装置1は、上述した第1の実施の形態とその変形例1〜3の表示装置1の構成を適用することができる。ユーザ12の状態として、たとえば、ユーザ12の視線を用いることができる。ユーザ12が空中像30のアイコン30Aに対して操作を行ったときに、解析部200は、撮像装置15の検出出力に基づいて、ユーザ12の視線がアイコン30Aに向いているかを解析する。解析結果に基づいて、ユーザ12の視線がアイコン30Aに向いている場合には、判定部206はユーザ12の操作に意図があると判定する。ユーザ12の視線がアイコン30Aとは異なる位置に向いている場合には、検出された非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、判定部206は、ユーザ12の操作に意図がないと判定する。
変形例4の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートに示す処理と同様の処理を行うことができる。ただし、ステップS2において、解析部200は、撮像装置15の検出出力に基づいて、ユーザ12の視線の方向を検出する。ステップS4およびステップS9において、ユーザ12の視線がアイコン30Aに向いていることが検出された場合に、判定部206は、ステップS4およびステップS9においてユーザ12に操作の意図があると判定することができる。
なお、ユーザ12の視線がアイコン30Aに向いている場合に、判定部206がユーザ12の操作に意図があると判定するものに限定されない。たとえば、ユーザ12の視線が上下左右に大きく動いている場合には、ユーザ12は複数のアイコン30Aのうちどのアイコン30Aを操作するか迷っている可能性がある。したがって、解析部200が、非接触操作を検出した際に、ユーザ12の視線の移動量が大きい、すなわち所定の移動量を超えることを検出した場合には、判定部206は、ユーザ12の操作に意図がないと判定することができる。これに対して、ユーザ12の視線の動きが少ない場合は、ユーザ12はどのアイコン30Aを操作するかを決定し、視線の先のアイコン30Aを操作する可能性が高い。したがって、解析部200が、非接触操作を検出した際に、ユーザ12の視線の移動量が小さい、すなわち所定の移動量よりも小さいことを検出した場合には、判定部206は、ユーザ12の操作に意図があると判定することができる。
また、視線の方向や移動量に代えて、ユーザ12の顔や頭の向きに基づいて、判定部206がユーザ12の操作に意図があるか否かを判定してもよい。この場合、撮像装置15の検出出力に基づいて、解析部200は、公知の顔検出を行ってユーザ12の顔を検出し、顔がアイコン30Aに向いているか否かを検出すればよい。解析の結果、ユーザ12の顔がアイコン30Aに向いている場合には、判定部206はユーザ12の操作に意図があると判定し、ユーザ12の顔がアイコン30Aに向いていない場合には、判定部206はユーザ12の操作に意図がないと判定することができる。また、ユーザ12の顔の動きが大きい場合には、ユーザ12は複数のアイコン30Aの中からどのアイコン30Aを操作するか迷っている可能性がある。したがって、解析部200が、ユーザ12が空中像30を操作した際に、ユーザ12の顔の動きが所定量よりも大きいことを検出した場合には、判定部206は、ユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ12の操作に意図がないと判定することができる。また、解析部200は、ユーザ12が首をかしげているような仕草を検出したとする。このような検出結果が得られた場合にも、判定部206はユーザ12の操作に意図がないと判定することができる。これに対して、ユーザ12の顔の動きが少ない場合は、ユーザ12はどのアイコン30Aを操作するかを決定し、ユーザ12の顔が向いているアイコン30Aを操作する可能性が高い。したがって、解析部200が、ユーザ12が空中像30を操作した際に、ユーザ12の顔の動きが所定量より小さいことを検出した場合には、判定部206は、ユーザ12の操作に意図があると判定することができる。
なお、顔の向きや顔の動きに加えて、上述したユーザ12の視線も組み合わせて、判定部206はユーザ12の操作に意図があるか否かを判定してもよい。この場合の一例として、たとえばユーザ12の視線がアイコン30Aに向いている場合であっても、ユーザ12が首をかしげているような場合には、判定部206はユーザ12の操作に意図がないと判定することができる。
また、ユーザ12の視線や顔の向きや動きに代えて、またはそれらに加えて、ユーザ12の表情を用いて、判定部206は、ユーザ12の操作に意図があるか否かを判定してもよい。たとえば、解析部200が、ユーザ12が笑顔ではなく真剣な表情でアイコン30Aに対して操作を行ったことを検出した場合には、判定部206は、ユーザ12の操作に意図があると判定してもよい。
以上の説明では、ユーザ12の状態として、ユーザ12の視線や頭の動きや、顔等を例に挙げたが、これに限定されない。たとえば、ユーザ12が発した声に基づいて、判定部206がユーザ12の操作に意図があるか否かを判定してもよい。ユーザ12が空中像30を操作した際に、たとえば「装置が動かない」、「装置を動かしたい」等の言葉を発したことが検出された場合には、判定部206はユーザ12の操作に意図があると判定することができる。
この場合の表示装置1の主要部構成を、図13のブロック図に示す。この表示装置1は、第1の実施の形態の表示装置1が有する構成に加えて、集音器16を有し、制御部20には音声検出部209が備えられる。集音器16は、表示装置1の周囲の音を集音し、音声データとして音声検出部209に出力する。集音器16としては、市販のマイクロフォンを用いることができる。音声検出部209は、集音器16からの音声データを識別し、ユーザ12が空中像30の操作に際して発した音声を検出する。判定部206は、音声検出部209により、「装置が動かない」、「装置を動かしたい」を表す音声が検出された場合には、ユーザ12の操作に意図があると判定すればよい。
この場合の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートのステップS3において、音声検出部209が、ユーザ12が「装置が動かない」、「装置を動かしたい」等を発声したことを検出した場合に、判定部206は、ステップS4またはステップS9においてユーザ12に操作の意図があると判定する。
なお、判定部206は、上述したユーザ12の視線、顔や頭、表情と組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。
なお、判定部206は、上述した変形例1の場合のようにユーザ12により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。また、判定部206は、上述した変形例2の場合のようにユーザ12により行われた非接触操作の形状(すなわちジェスチャー)も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。また、判定部206は、上述した変形例3の場合のように操作体の色も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。
第1の実施の形態の変形例4では、操作体の位置が検出基準外41で検出された場合であっても、ユーザ12の視線の方向や顔の方向が所定の方向、すなわちアイコン30Aの方向の場合に、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定することができる。これにより、ユーザ12が操作を意図しているか否かを正確に判定することができ、アイコン表示の変更等の実行処理とキャリブレーション処理とを行うことができる。
また、第1の実施の形態の変形例4では、操作体の位置が検出基準外41で検出された場合であっても、ユーザ12の視線の動きや顔の動きが所定の移動量よりも小さい場合、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定することができる。ユーザ12の視線や顔の動きが小さい場合には、ユーザ12はどのような操作を行うかを決定している可能性が高いので、ユーザ12が操作を意図して行っているか否かを正確に判定することができる。
第1の実施の形態の変形例4では、操作体の位置と、ユーザ12の声または表情に基づいて、制御部20は表示装置1を動作させ、検出基準制御部204は検出基準40を設定することができる。これにより、ユーザ12の発した声や表情に基づいて、ユーザ12が操作を意図して行っているか否かを正確に判定することができる。
(第1の実施の形態の変形例5)
変形例5の表示装置1では、ユーザ12が過去に行った複数回の操作の履歴に基づいて、判定部206は、ユーザ12による最新の操作は意図して行われたか否かを判定するものである。
変形例5の表示装置1は、上述した第1の実施の形態とその変形例1〜4の表示装置1の構成を適用することができる。変形例5の表示装置1の判定部206は、複数回のユーザ操作の際に行われた操作の態様と異なる操作の態様でユーザ操作が行われた場合には、そのユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、意図して行われたものではないと判定する。
たとえば、ユーザ12がアイコン30Aを操作する際には、1本の指でタップダウンとタップアップとを行っていたものとする。ユーザ12によるこれらの操作の態様は、記憶部205に履歴として記憶される。このユーザ12が今までは1本の指で複数回の操作を行っていたにも関わらず、手を握った状態でアイコン30Aを操作したとする。ユーザ12が通常行う操作の態様とは異なる操作を行っている場合、ユーザ12はアイコン30Aを操作するべきか否か迷っている可能性がある。したがって、判定部206は、ユーザ操作が意図して行われたものではないと判定する。
この場合、判定部206は、撮像装置15の検出出力に基づいて、解析部200により検出された今回のユーザ操作の態様(手を握った状態で操作)と、記憶部205に記憶された履歴におけるユーザ操作の態様(1本の指で操作)とを比較する。判定部206は、今回のユーザ操作の態様が履歴におけるユーザ操作の態様と異なるので、手を握った状態でのユーザ操作は意図して行われたものではないと判定する。
また、たとえばユーザ12がアイコン30Aを操作する場合には、タップダウンとタップアップとを行っていたにも関わらず、手を振り払うような動作を行ったとする。この場合も、判定部206は、上記と同様にして、解析部200により検出された今回のユーザ操作の態様(手を振り払う動作)は、履歴におけるユーザ操作の態様(タップダウンとタップアップ)と異なるので、ユーザ操作は意図して行われたものではないと判定する。
また、たとえばユーザ12がアイコン30Aを操作する場合には、前回まではある移動速度でユーザ操作を行っていたにも関わらず、今回はある移動速度よりも遅い速度でユーザ操作が行われた場合には、ユーザ12はその操作に自信を持っていない可能性がある。このような場合にも、判定部206は、遅い速度で行われたユーザ操作は意図して行われたものではないと判定する。すなわち、判定部206は、ユーザ12により行われた操作と、そのユーザ12の個人的な操作の態様の履歴とを比較した結果に基づいて、ユーザ操作における意図の有無を判定する。
この場合の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートのステップS4およびステップS9において、判定部206は、過去のユーザ操作の履歴と比較して、今回のユーザ操作の態様が履歴におけるユーザ操作の態様と同一か否かを判定する。今回のユーザ操作の態様と履歴におけるユーザ操作の態様とが同一の場合には、ステップS4およびステップS9が肯定判定され、異なる場合にはステップS4およびステップS9が否定判定される。
第1の実施の形態の変形例5では、複数回の操作の履歴に基づいて、判定部206は、ユーザ12による最新の操作は意図して行われたか否かを判定する。これにより、過去に行われたユーザ12の操作の傾向に基づいて、ユーザ12がアイコン30Aの操作を決定した状態か迷っている状態かを判定することができる。
(第1の実施の形態の変形例6)
第1の実施の形態とその変形例1〜5の表示装置1は、検出基準外41で検出されたユーザ12による操作が意図を有していると判定された場合に、ユーザ12により操作されたアイコン30Aの機能の実行と、キャリブレーション処理とを実行した。すなわち、ユーザ12による操作が上記の条件を満たす度に、機能の実行とキャリブレーション処理とが行われた。本変形例6の表示装置1は、ユーザ12による操作が上記の条件を満たす場合に、所定の条件に基づいてキャリブレーション処理の実行の要否を決定する。
変形例6の表示装置1は、上述した第1の実施の形態とその変形例1〜5の表示装置1の構成を適用することができる。変形例6の表示装置1においても、ユーザ操作が意図して行われたか否かの判定については、第1の実施の形態とその変形例1〜5と同様にして行われる。ユーザ12による所定の非接触操作600または所定の条件を満たす非接触操作が検出基準外41で検出され、ユーザ操作が意図して行われたと判定された場合には、第1の実施の形態とその変形例1〜5と同様にして、アイコン30Aの機能の実行とキャリブレーション処理とが行われる。ただし、制御部20は、キャリブレーション処理を行った回数をカウントし、所定回数(たとえば5回等)のキャリブレーション処理が行われていた場合には、キャリブレーション部203に対してキャリブレーション処理の実行を禁止させる。すなわち、ユーザ操作に基づいて、キャリブレーション処理が必要な場合であっても、実際にキャリブレーション処理が行われるのは最初の所定回数だけとなる。
図14のフローチャートを参照して第1の実施の形態の変形例6の表示装置1の動作について説明する。ステップS21〜ステップS29までの各処理は、図11のフローチャートに示すステップS1〜ステップS9までの各処理と同様である。ステップS30では、キャリブレーション処理が行われた回数kが所定回数以下であるか否かを判定する。キャリブレーション処理が行われた回数kが所定回数以下である場合には、ステップS30が肯定判定されてステップS31へ進む。キャリブレーション処理が行われた回数kが所定回数を超える場合には、ステップS30が否定判定されてステップS25へ進む。
ステップS31およびステップS32における処理は、図11のステップS10およびステップS11における処理と同様である。ステップS33では、キャリブレーション処理の回数kに1を加算してステップS34へ進む。ステップS34での各処理は、図11のステップS12での各処理と同様である。
なお、以上の説明では、検出基準外41で検出されたユーザ操作が意図して行われたと判定された場合には、所定回数のみキャリブレーション処理を行うものとしたが、これに限定されない。たとえば、検出基準外41で検出されたユーザ操作が意図して行われたと判定された回数が所定回数(たとえば3回)になるごとに、キャリブレーション処理が実行されてもよい。
この場合、表示装置1の制御部20は、図14に示すフローチャートのステップS30において、検出基準外41で検出されたユーザ操作が意図して行われたと判定された回数が所定回数となったか否かが判定される。所定回数となった場合には、ステップS30が肯定判定され、所定回数とはなっていない場合には、ステップS30が否定判定され、上記の回数をカウントするカウンタに1を加える。ステップS30が肯定判定され、ステップS31およびS32が行われた後のステップS33では、上記の回数をカウントするカウンタを0にリセットする。
なお、過去のユーザ操作の履歴に基づいて、検出基準外41で検出されたユーザ操作が意図を有していると判定された場合に、キャリブレーション処理を行うか否かを決定してもよい。たとえば、過去の履歴として5回のユーザ操作のうち、検出基準外41で検出された操作が意図を有していると判定されたユーザ操作が1回行われ、他の4回はユーザ操作が検出基準40で検出されたとする。そして、6回目では、検出基準外41で検出されたユーザ操作が意図を有していると判定された場合には、ユーザ12は検出基準外41で操作を行う可能性は低いので、キャリブレーション部203は、キャリブレーション処理を実行しない。
また、過去のユーザ操作の履歴に基づいて、検出基準外41で検出されたユーザ操作が意図を有していると判定された場合に、キャリブレーション処理にて設定される検出基準40の位置を決定してもよい。たとえば、過去の履歴として5回のユーザ操作のうち、検出基準40のZ方向−側でユーザ操作が1回行われ、他の4回は検出基準40のZ方向+側でユーザ操作が行われたとする。このような場合には、ユーザ12は検出基準40のZ方向+側で操作を行う可能性が高いので、キャリブレーション処理の際には、検出基準制御部204は、検出基準40をZ方向+側に移動する。
また、検出基準外41で検出されたユーザ操作が意図を有していると判定されるごとにキャリブレーション処理が行われ、検出基準40の位置が変更された場合、ユーザ12は検出基準40の位置が把握できなくなるおそれがある。このような場合には、ユーザ操作のZ方向の位置が安定せず、操作ごとにZ方向の位置が不規則に変動する可能性がある。そのため、所定の回数におけるユーザ操作のZ方向の位置の変動量が大きい場合には、キャリブレーション部203は、検出基準外41で検出されたユーザ操作が意図を有していると判定された場合であっても、キャリブレーション処理を行わない。
第1の実施の形態の変形例6では、ユーザ12が過去に行ったユーザ操作の履歴に基づいて、キャリブレーション処理の実行の要否を決定するようにした。これにより、過度にキャリブレーション処理が行われることにより、ユーザ12が操作を行うべき位置を把握しにくくなるという事態が生じることを低減できる。
(第1の実施の形態の変形例7)
第1の実施の形態とその変形例1〜6の表示装置1では、キャリブレーション処理を行う場合、検出基準制御部204は検出基準40をZ方向に変更するものとした。変形例7の表示装置1では、キャリブレーション処理の際に、検出基準制御部204は、検出基準40の幅D1の大きさを変更する。
変形例7の表示装置1は、上述した第1の実施の形態とその変形例1〜6の表示装置1の構成を適用することができる。
たとえば、第1の実施の形態にて図6(a)にて示したように、所定の非接触操作600Aが検出基準40のZ方向+側の検出基準外41で検出された場合について説明する。この場合、検出基準制御部204は、第2基準面40bの位置を変更することなく、第1基準面40aのみを変更量ΔH10だけZ方向+側に変更してもよい。すなわち、検出基準40の幅D1を変更することにより、検出基準40のZ方向の中心位置を変更しても良い。または、検出基準制御部204は、第1基準面40aを変更量ΔH10だけZ方向+側に変更し、第2基準面40bを変更量ΔH10だけZ方向−側に変更してもよい。すなわち、検出基準40の幅D1をZ方向に同一の変更量ΔH10にて変更することにより、検出基準40のZ方向の中心位置を変更することなく検出基準40を変更しても良い。
なお、図6(b)は、検出基準40のZ方向−側に所定の非接触操作600Aが検出された場合を示している。この場合、検出基準制御部204は、第2基準面40bの位置を変更量ΔH10だけZ方向−側に変更しても良いし、第2基準面40bの位置を変更量ΔH10だけZ方向−側に変更するとともに第1基準面40aの位置を変更量ΔH10だけZ方向+側に変更しても良い。
キャリブレーション処理として、上記のように検出基準40の幅D1の大きさを変更する場合として、次のような場合がある。たとえば、第1の実施の形態にて一例として説明したように、同一の空中像30に対して、複数回のユーザ操作が必要であるにも関わらず、途中までのユーザ操作が検出されたが、以後のユーザ操作が検出されない場合に行われるキャリブレーション処理に適用される。すなわち、空中像30が、たとえば複数桁の数字やアルファベットを入力する暗証番号入力画面等の場合である。このような空中像30に対して、第1桁目の入力のためのユーザ操作が行われ、所定時間内に2桁目を入力するためのユーザ12による所定の非接触操作600Aが検出されないとする。この場合に、検出基準制御部204は、検出基準40の幅D1の大きさが大きくなるように変更することにより、2桁目の入力を行うユーザ12の所定の非接触操作600を検出基準40で検出できるようにする。
なお、ユーザ12による所定の非接触操作600が検出基準40の近傍の検出基準外41で行われた場合に、検出基準制御部204は、上述したように検出基準40の幅D1の大きさを変更してもよい。すなわち、図6(a)に示すように所定の検出基準600Aが検出基準の第1基準面40aよりもZ方向+側に検出された場合、検出基準制御部204は、間隔ΔH10が所定の値以下であるか否かを判定する。検出基準制御部204は、間隔ΔH10が所定の値以下の場合に、所定の非接触操作600Aが検出基準40の近傍で行われたと判定し、検出基準40の幅D1の大きさを変更する。間隔ΔH10が所定の値より大きい場合には、検出基準制御部204は、所定の非接触操作600Aが検出基準40から遠く離れた位置にて行われたものと判定し、検出基準40の幅D1の大きさを変更しない。
また、図7に示すように、所定の非接触操作600Aの一部が検出基準外41で検出される場合に、検出基準制御部204は、検出基準外41にて検出された所定の非接触操作600の一部の空間上の位置と検出基準40との距離に基づいて、検出基準40を変更しても良い。たとえば、検出基準制御部204は、図7(a)に示すように検出基準40の第1基準面40aよりもZ方向+側で検出された所定の非接触操作600の一部、すなわち距離ΔH10が所定の閾値以下か否かを判定する。距離ΔH10が所定の閾値以下の場合には、図15(a)に示すように、指Fの所定の非接触操作600Aの全体が検出基準40で行われたものではないものの、所定の非接触操作600Aの大部分が検出基準40で行われる。この場合、検出基準制御部204は、検出基準40の幅D1の大きさを変更してよい。すなわち、検出基準制御部204は、検出基準40の第1基準面40aをZ方向+側に少なくとも距離ΔH10移動した位置に設定する。距離ΔH10が所定の閾値を超える場合には、図15(b)に示すように、所定の非接触操作600Aの大部分が検出基準外41で行われる。この場合には、検出基準制御部204は、第1の実施の形態の場合と同様にして、検出基準40の位置を移動させればよい。
また、検出基準制御部204が、キャリブレーション処理を行う場合、第1の実施の形態にて説明した検出基準40の位置の変更と、上述した検出基準40の幅D1の大きさの変更とを組み合わせて行ってもよい。たとえば、ユーザ12によって所定の非接触操作600が検出基準40の第1基準面40a近傍における検出基準外41で検出された場合、検出基準制御部204は、検出基準40の幅D1の大きさを小さくし、検出基準40の位置を変更してよい。図6(a)に示すように、ユーザ12による所定の非接触操作600Aと検出基準40の第1基準面40aとの間隔ΔH10とする。この間隔ΔH10が所定値以下の場合、検出基準制御部204は、検出基準40の幅D1の大きさを小さくする。この場合、検出基準制御部204は、図6(a)に示す検出基準40の幅D1の大きさの、たとえば80%や70%の大きさを新たな検出基準40の幅D1として設定する。この場合、新たな検出基準40の幅D1の大きさが、所定の非接触操作600Aの距離L1よりも大きくなるように、好ましくは距離L1のたとえば1.5倍〜2倍程度に設定する。
検出基準制御部204は、上記のようにして幅D1の大きさが変更された検出基準40の位置を、第1の実施の形態の場合と同様にして移動させる。
また、たとえば、解析部200が、ユーザ12による複数回の所定の非接触操作600がZ方向において近傍で行われたことを検出した場合には、検出基準制御部204は、検出基準40の幅D1の大きさを小さくし、検出基準40の位置を変更してよい。
たとえば、図16(a)に示すように、ユーザ12によって3回の所定の非接触操作600A1、600A2、600A3が行われたとする。それぞれの所定の非接触操作600A1、600A2、600A3の検出基準40の第1基準面40aからの間隔をΔH10−1、ΔH10−2、ΔH10−3(ΔH10−2<ΔH10−1<ΔH10−3)とする。解析部200は、間隔ΔH10−1と間隔ΔH10−2との差分、間隔ΔH10−2と間隔ΔH10−3との差分、間隔ΔH10−1と間隔ΔH10−3との差分が、それぞれ所定の範囲内の場合に、所定の非接触操作600A1、600A2、600A3がZ方向において近傍で行われたと判定する。
この場合、検出基準制御部204は、第1基準面40aから最も離れた位置で行われた所定の非接触操作600A3と、最も近い位置で行われた所定の非接触操作600A2とが含まれるように、検出基準40の幅D1の大きさを小さく変更する。すなわち、検出基準制御部204は、距離L1に、間隔ΔH10−3と間隔ΔH10−2との差分を加算した値以上の値を新たな検出基準40の幅D1として設定する。検出基準制御部204は、上記のようにして幅D1の大きさが変更された検出基準40の位置を、第1の実施の形態の場合と同様にして移動させる。
なお、間隔ΔH10−1と間隔ΔH10−2との差分、間隔ΔH10−2と間隔ΔH10−3との差分、間隔ΔH10−1と間隔ΔH10−3との差分が、所定の範囲を超える場合には、検出基準制御部204は、検出基準40の位置を変えず、上述したように、検出基準40の幅D1の大きさを大きくする。この場合、検出基準制御部204は、第1基準面40aから最も離れた位置で行われた所定の非接触操作600A(図16(a)の例では所定の非接触操作600A3)が含まれるように、第1基準面40aをZ方向+側にΔH10−3移動させる。
なお、上述した説明では、検出基準制御部204は、ユーザ12による所定の非接触操作600に基づいて、検出基準40の幅D1の大きさを変更する例を挙げたが、これに限定されない。たとえば、検出基準制御部204は、時間の経過に伴って、検出基準40の幅D1の大きさを変更してもよい。ユーザ12は、空中像30に対して操作を繰り返して操作に慣れると、所定の非接触操作600を行う際のZ方向の位置のずれ量が小さくなることが想定される。このような想定に基づいて、検出基準制御部204は、表示装置1を起動した後には、検出基準40の幅D1の大きさを大きくし、時間の経過に基づいて、検出基準40の幅D1の大きさを小さく変更する。このとき、検出基準制御部204は、検出基準40の幅D1を、時間の経過に伴って連続的に小さく変更してもよいし、所定時間が経過するごとに段階的に小さく変更してもよい。
また、上述の説明では、検出基準40において、X方向の位置やY方向の位置によらず、幅D1の大きさは一定に設定されていたが、これに限定されない。たとえば、ユーザ12のよって空中像30を操作する際に、指や手が検出基準40に進入する際の位置や角度に基づいて、幅D1の大きさが異なる値に設定されてもよい。たとえば、右手で空中像30を操作するユーザ12に対しては、右側(空中像30から見た場合は左側すなわちX方向+側)から指や手が空中像30に向けて接近する。このような場合には、検出基準40のX方向+側の幅D1の大きさが大きく設定されている方が、ユーザ操作を検出基準40内で検出し易くなる。したがって、検出基準制御部204は、図16(b)に示すように、検出基準40のX方向+側の幅をX方向−側の幅よりも大きな値に設定する。また、ユーザ12の身長が高い場合には、上方、すなわちY方向+側から空中像30に向けて指や手が接近する。このような場合には、検出基準40のY方向+側の幅をY方向−側の幅よりも大きな値に設定した方が、ユーザ操作を検出し易くなる。
上記のように検出基準40の幅を設定する場合には、検出基準制御部204は、表示装置1を操作するユーザ情報に基づいて行うことができる。たとえば、表示装置1を操作するユーザ12に身長や年齢や性別や利き腕等の情報を入力させ、これらの情報をユーザ情報として記憶部205に記憶させる。検出基準制御部204は、キャリブレーション処理を行う場合に、記憶部205に記憶されたユーザ情報を参照して、検出基準40の幅の値を設定できる。また、解析部200が、撮像装置15の検出出力に基づいて、ユーザ操作が行われているのが右手か左手かを判別したり、ユーザ12の身長を判別してもよい。
第1の実施の形態の変形例7では、検出基準40の幅を変更する。これにより、ユーザ操作を検出基準40内で検出し易くなる。
(第1の実施の形態の変形例8)
変形例8の表示装置1は、空中像30の空中での表示位置を変更可能にする構成を有し、空中像30を表示するモードの場合や、キャリブレーション処理に際して空中像30の表示位置を移動する。
図17は、変形例8における表示装置1の主要部構成を説明するブロック図である。
この表示装置1は、図2に示す第1の実施の形態の表示装置1が有する構成に加えて、表示位置変更部17を有し、制御部20には表示位置制御部210が備えられる。なお、第1の実施の形態の変形例1〜7の構成に、表示位置変更部17と表示位置制御部210とを適用することもできる。
表示位置変更部17は、たとえばモータまたはアクチュエータなどの駆動部を有し、表示器11をY方向に沿って移動して、形成される空中像30の表示位置をZ方向に移動して変更する。空中像30をユーザ12に接近する方向、すなわちZ方向+側に移動させるには、表示位置変更部17は、表示器11をY方向+側、すなわち結像光学系9に近づく方向に移動させる。空中像30をユーザ12から離れる方向、すなわちZ方向−側に移動させるには、表示位置変更部17は、表示器11をY方向−側、すなわち結像光学系9から離れる方向に移動させる。
表示位置制御部210は、次のような場合に、空中像30を移動させる。たとえば、キャリブレーション処理において検出基準40を変更する場合に変更後の検出基準40が撮像装置15の検出範囲15Aの外に出てしまったり、検出範囲15AのZ方向+側端またはZ方向−側端付近に位置するといった事態になりそうな場合である。この場合、解析部200は、ユーザ12による操作が行われている位置が、検出範囲15Aの外部や、検出範囲15AのZ方向±側の端部または端部から所定の範囲内であることを検出する。解析部200により上記の検出が行われた場合には、検出基準制御部204は、検出基準40の変更を行わず、表示位置制御部210が空中像30の移動を行えばよい。検出基準40が検出範囲15Aの外に出たり、Z方向+側端付近に位置しそうな場合には、ユーザ12にZ方向−側で操作させる必要がある。このため、表示位置制御部210は、空中像30の表示位置をZ方向−側に位置するように、表示位置変更部17を制御して表示器11をY方向−側へ移動させる。また、検出基準40が検出範囲15AのZ方向−側端付近に位置しそうな場合には、ユーザ12にZ方向+側で操作させる必要がある。このため、表示位置制御部210は、空中像30の表示位置をZ方向+側に位置するように、表示位置変更部17を制御して、表示器11をY方向+側へ移動させる。
また、たとえば、ユーザ12が腕を伸ばしても空中像30に到達しないような場合には、表示位置制御部210は、空中像30を移動させてよい。解析部200が、ユーザ12が行った所定の非接触操作600Aの到達位置が空中像30の表示位置よりもZ方向+側に位置することを検出する。この場合、空中像30をユーザ12に接近する方向、すなわちZ方向+側に移動するように、表示位置制御部210表示位置変更部17を制御して表示器11をY方向−側へ移動させる。
なお、上述した説明では、表示器11をY方向に沿って移動させる場合を例に挙げたが、これに限定されない。たとえば、表示位置制御部210は、表示器11を制御し、右目で視認するための表示画像と、右目で視認する画像とは視差を有する左目で視認するための表示画像とを表示させ、空中像30の奥行の表示位置を変更してもよい。この場合、表示器11は、たとえば公知のレンチキュラーレンズを備える。表示位置制御部210は、右目用の画像と左目用の画像、すなわち視差画像の視差量を制御することにより、空中像30の位置を変更すればよい。
また、表示器11に国際公開公報2011/158911に記載の技術を適用させてもよい。すなわち、表示器11は三次元の立体像を表示させる公知のライトフィールド表示が可能な構成を有し、表示器11に二次元表示用の画像を表示させることにより、空中の光軸方向に沿った異なる位置に空中像30を形成させることができる。
図18にこの場合の表示器11と結像光学系9とのZX平面における断面を模式的に示す。表示器11の表示面には、二次元状に配列された複数のマイクロレンズ111により構成されるマイクロレンズアレイ112を有する。1つのマイクロレンズ111は、表示器11の複数の表示画素Pごとに設けられる。なお、図18に示す例では、図示の都合上、5×5の表示画素Pに対して1個のマイクロレンズ111が設けられた例を示しているが、実際の表示画素Pの個数よりも少なく描いている。マイクロレンズアレイ112は、表示器11の表示面からマイクロレンズ111の焦点距離fだけZ方向+側に離れた位置に配置される。各マイクロレンズ111は、表示された画像に基づいて表示画素Pからの光をZ方向の所定の像面に投影する。なお、マイクロレンズ111に代えてレンチキュラーレンズを用いてもよい。
この表示器11では、空中像30を構成する各光点LPが空中に形成されるためには、それぞれの光点LPを形成する光は、異なる複数のマイクロレンズ111のそれぞれに被覆される一部の表示画素Pから出射される。なお、光点LPは、表示器11とマイクロレンズ111とによって空中に表示された像であるため、空中像である。図18に示す例では、斜線を付して示す表示画素Pから出射された光がマイクロレンズ111により投影されて光点LPを形成する。この場合、1つのマイクロレンズ111によって被覆される表示画素Pの個数(図18の例では5×5個)が異なる複数のマイクロレンズ111に分散して割り当てられる。この割り当て方に基づいて、空中に形成される光点LPのZ方向に対する位置を異ならせることができる。空中像30は、このようにして光点Pが結像されることにより形成される。以上により、空中像30のZ方向に対する位置は、表示器11に表示する画像を変更することによって変更される。
第1の実施の形態の変形例8では、検出されたユーザ12の操作の位置に基づいて、空中像30の表示位置を変更するようにした。これにより、ユーザ12の操作を検出範囲15A内で行わせるようすることができる。
(第1の実施の形態の変形例9)
第1の実施の形態とその変形例1〜8の表示装置1は、キャリブレーション処理として、検出基準40の位置や幅等を変更させるものであった。本変形例9の表示装置1は、撮像装置15の検出出力に対してキャリブレーション処理を行い、ユーザ操作の検出精度を高めるようにするものである。
変形例9の表示装置1は、上述した第1の実施の形態とその変形例1〜8の表示装置1が有する構成を適用することができる。
解析部200は、撮像装置15からの検出出力のうち、撮像部からの撮像画像を用いて、ユーザ12が操作を行う際の操作体を検出している。解析部200は、撮像画像のうち、たとえば肌色の領域を指や腕として検出しているが、この検出精度が低い場合には、ユーザ操作を正しく検出することができなくなる。したがって、キャリブレーション処理を行う場合、解析部200は、たとえば肌色の領域を検出するための、R、G、Bの色成分の閾値や輝度の閾値を変更する。たとえば、検出した範囲にノイズ等の外乱が含まれていることにより、操作体の検出精度が低下している場合には、解析部200は、上記の閾値を大きな値に設定する。また、たとえば、ユーザ12の指先等が検出されていないような場合には、解析部200は、上記の閾値を小さな値に設定する。
第1の実施の形態の変形例9では、撮像装置15の検出出力に対してキャリブレーション処理を行う。これにより、ユーザ12の操作を検出する精度を高めることができる。
なお、上述の第1の実施の形態とその変形例1〜9では、制御部20と表示器11と撮像装置15とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された制御装置や、制御部20と撮像装置15とで構成される制御装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204と判定部206とを備えればよい。上述の第1の実施の形態、または変形例1〜9に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第2の実施の形態−
図面を参照しながら、第2の実施の形態の係る表示装置1について説明する。第2の実施の形態においては、本実施の形態の表示装置1が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置1は、操作パネルに限らず、上述の第1の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
上述した第1の実施の形態とその変形例の表示装置1では、検出基準40を予め定められた初期位置に設定するものであった。第2の実施の形態の表示装置1は、空中像の位置に基づいて、検出基準40の位置を初期設定するものである。
第2の実施の形態の表示装置1は、第1の実施の形態における図2のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例1〜9における構成や各種処理や制御を適宜適用させることができる。
本実施の形態の表示装置1では、空中像30の表示位置を基準として検出基準40が設定される。まず、空中像30は、第1の実施の形態の場合と同様に、撮像装置15からZ方向+側に距離H1だけ離れた位置に形成される。この空中像30が表示された距離H1の位置を基準として、表示装置1を使用するユーザ12の情報(以後、ユーザ情報と呼ぶ)に基づいた位置に、検出基準制御部204は、検出基準40を初期設定する。ユーザ情報としては、例えば、ユーザ12の性別、年齢、体型(身長、腕の長さ)、視力のうちの少なくとも1種類または複数の組み合わせがある。記憶部205には、性別、年齢、体型(身長)、視力の因子のうちの1種類または複数の組み合わせをパラメータとする検出基準40の空中像30を基準とした位置や幅に関する複数のテーブルが予め記憶されている。検出基準制御部204は、表示装置1を操作するユーザ12がユーザ情報を入力すると、入力されたユーザ情報の種類と内容とに基づいて、該当するテーブルを選択し、そのテーブルから該当する検出基準40の位置や幅D1を選択する。検出基準制御部204は、選択した位置や幅に基づいて、検出基準40を設定する。
テーブルとして記憶された検出基準40の位置は、たとえば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人に対しては、ユーザ12に近い側(Z方向+側)の位置に設定される。また、テーブルとして記憶された検出基準40の幅D1は、たとえば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人に対しては、大きさが小さくなるように設定される。また、検出基準制御部204は、撮像装置15の検出出力に基づいて、表示装置1を操作するユーザ12の腕の長さを検出し、検出した腕の長さに基づいて、検出基準40の位置や幅D1を決定してもよい。この場合、腕の長さが長い人より、腕の長さが短い人に対しては、検出基準40がユーザ12側(Z方向+側)に位置し、幅D1の大きさが小さくなるように設定される。または、検出基準制御部204は、検出した腕の長さに基づいて、ユーザ操作の際に指や手が到達することが見込まれる位置を予測し、予測した位置に検出基準40を設定してもよい。この場合、検出基準制御部204は、ユーザ12の立ち位置から、腕の長さのたとえば60%の距離だけ前方の位置に、ユーザ12の指や手が到達すると予測してもよい。
第2の実施の形態では、検出基準制御部204が空中像30の表示位置を基準として、ユーザ情報に基づいて検出基準40を初期設定する。これにより、ユーザ12毎の特徴に基づいて検出基準40が設定されるので、キャリブレーション処理を行う頻度を低くさせることができる。
(第2の実施の形態の変形例1)
第2の実施の形態の変形例1の表示装置1は第1の実施の形態の変形例8における図17のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例における各種処理や制御を適宜適用させることができる。
第2の実施の形態の変形例1の表示装置1では、表示位置制御部210は、ユーザ情報に基づいて、表示位置変更部17を制御して、空中像30の表示位置を初期設定する。検出基準制御部204は、初期設定された空中像30を基準として、図3(b)に示す第1の実施の形態の場合と同様にして、検出基準40を初期設定する。
第2の実施の形態の変形例1では、ユーザ情報としては、例えば、ユーザ12の性別、年齢、体型(身長、腕の長さ)、視力のうちの少なくとも1種類または複数の組み合わせがある。記憶部205には、性別、年齢、体型(身長)、視力の因子のうちの1種類または複数の組み合わせをパラメータとする空中像30の位置に関する複数のテーブルが予め記憶されている。表示位置制御部210は、表示装置1を操作するユーザ12がユーザ情報を入力すると、入力されたユーザ情報の種類と内容とに基づいて、該当するテーブルを選択し、そのテーブルから該当する空中像30の位置を選択する。表示位置制御部210は、選択した位置に基づいて、表示位置変更部17を制御して表示器11をY方向に移動させることにより、空中像30の表示位置を初期設定する。
テーブルとして記憶された空中像30の位置は、たとえば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人に対しては、ユーザ12に近い側(Z方向+側)の位置に設定される。また、表示位置制御部210は、撮像装置15の検出出力に基づいて、表示装置1を操作するユーザ12の腕の長さを検出し、検出した腕の長さに基づいて、空中像30の位置を初期設定してもよい。この場合、腕の長さが長い人より、腕の長さが短い人に対しては、空中像30がユーザ12側(Z方向+側)に位置するように初期設定される。また、表示位置制御部210は、検出した腕の長さに基づいて、ユーザ操作の際に指や手が到達することが見込まれる位置を予測し、予測した位置に空中像30を初期設定してもよい。この場合、表示位置制御部210は、ユーザ12の立ち位置から、腕の長さのたとえば60%の距離だけ前方の位置に、ユーザ12の指や手が到達すると予測してもよい。
なお、ユーザ12に空中像30が浮き出ているように知覚させる効果を得る場合には、表示位置制御部210は、空中像30の表示位置をユーザ12に近い側(Z方向+側)に初期設定する。特に、子供は眼間距離が小さいので、大人の場合と比較してよりZ方向+側に空中像30の表示位置が初期設定される。また、ユーザ12に空中像30が浮き出ているように知覚させない場合には、表示位置制御部210は、空中像30の表示位置をユーザ12から遠い側(Z方向−側)に初期設定する。これにより、空中像30を視認するユーザ12の目にかかる負担を低減できる。
なお、上述した第2の実施の形態の表示装置1による検出基準40の初期設定と、第2の実施の形態の変形例1の表示装置1による空中像30の表示位置の初期設定とを組み合わせてもよい。この場合、表示位置制御部210は、上述した第2の実施の形態の変形例1と同様にして空中像30の表示位置を初期設定する。この初期設定された空中像30の表示位置を基準として、検出基準制御部204は、第2の実施の形態と同様にして検出基準40の位置と幅とを初期設定すればよい。
第2の実施の形態の変形例1では、ユーザ情報に基づいて空中像30の表示位置を初期設定する。これにより、ユーザ12毎の特徴に基づいて空中像30が表示されるので、ユーザ12の操作が空中像30の表示位置で行われ、検出基準40にて検出されるようになる。
(第2の実施の形態の変形例2)
第2の実施の形態の変形例2の表示装置1では、初期設定にて表示された空中像30に対するユーザ12の操作に基づいて、検出基準40が設定される。
第2の実施の形態の変形例2の表示装置1は、第1の実施の形態における図2のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例における構成や各種処理や制御を適宜適用させることができる。
表示制御部202は、図3(a)に示す空中像30を、第1の実施の形態の場合と同様に、撮像装置15からZ方向+側の距離H1の位置に表示させる(図3(b)参照)。なお、表示された空中像30には、たとえば表示装置1の動作を起動させるスタートボタンやロック状態の表示装置1を動作可能にするロック解除ボタン等に相当するアイコン30Aが含まれる。また、撮像装置15により、図3(b)に示す場合と同様に、検出範囲15Aと検出限界15aとが設定される。しかし、検出基準制御部204は、この段階においては、検出基準40を設定しない。
ユーザ12は、図3(a)に示すように表示された空中像30のアイコン30Aに対して、所定の非接触操作600を行う。撮像装置15の検出出力に基づいて、検出基準制御部204は、検出範囲15A内で行われた所定の非接触操作600の位置を検出する。
図19(a)に、検出された所定の非接触操作600Aを模式的に示す。図19(a)に示す例では、所定の非接触操作600Aの開始位置が、撮像装置15からZ方向+側に距離H20の位置であるとする。
検出基準制御部204は、検出された所定の非接触操作600Aが含まれるように検出基準40の位置と幅D1とを決定する。この場合、検出基準制御部204は、検出基準40の第1基準面40aを、所定の非接触操作600Aの開始位置、すなわち撮像装置15からZ方向+側に距離H20の位置またはそれよりも所定の距離だけZ方向+側の位置に設定する。このように設定された第1基準面40aに基づいて、検出基準制御部204は、第2基準面40bを設定する。この場合、検出基準制御部204は、第1基準面40aからZ方向−側に距離D1の位置に第2基準面40bを設定してよい。また、検出基準制御部204は、第1基準面40aと空中像30との間の距離、すなわち(H2−H1)と等しい距離となるように、空中像30に対してZ方向−側に第2基準面40bを設定してもよい。これにより、検出基準制御部204は、検出基準40を初期設定する。
第2の実施の形態の変形例2では、ユーザ情報に基づいて空中像30の表示位置を初期設定し、ユーザ情報に基づいて検出基準40を初期設定する。これにより、ユーザ12毎の特徴に基づいて空中像30の表示と検出基準40の設定とが行われるので、キャリブレーション処理を行う頻度を低くさせることができる。
(第2の実施の形態の変形例3)
第2の実施の形態の変形例3の表示装置1では、表示制御部202が空中像30を表示させるタイミングを制御するものである。第2の実施の形態の変形例3の表示装置1は、第1の実施の形態における図2のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例1〜9や第2の実施の形態とその変形例1、2における構成や各種処理や制御を適宜適用させることができる。
第2の実施の形態の変形例3では、表示装置1に表示される空中像30を視認可能な位置にユーザ12を検出した場合に、空中像30の表示を開始する。なお、空中像30では、ユーザ12が空中像30を視認できるための視野角は狭い。このため、空中像30を視認可能な位置を示すマークや標識等を床に付しておくとよい。撮像装置15の検出出力に基づいて、表示装置1の前方の視認可能な位置に位置することが検出された場合に、表示制御部202は表示器11に表示画像を表示させ、空中像30を表示させる。この場合、表示制御部202は、表示装置1の前方をユーザ12が通過する場合には、空中像30を表示させず、視認可能な位置でユーザ12が立ち止った場合に空中像30を表示させる。すなわち、視認可能な位置にユーザ12が検出されない場合には、表示制御部202は、空中像30の表示を行わない。
また、ユーザ12が視認可能な位置を示すマークを目印として立ち止まっていることを撮像装置15により検出するものに限られない。たとえば、ユーザ12が所持しているスマートホン等に内蔵された方位センサやGPSの情報を用いて、ユーザ12が空中像30を視認可能な位置に立ち止まって表示装置1の方向を向いていることを検出してもよい。この場合、GPSの情報に基づいてユーザ12の立ち位置が検出され、方位センサの情報に基づいてユーザ12の向き、すなわちユーザ12が表示装置1の方を向いているかを検出すればよい。
なお、空中像30が上記の狭い視野角に対応する視認可能な位置よりも広い範囲から視認できる場合には、ユーザ12が上記の視認可能な位置に立ち止まっているか否かに関わらず、表示装置1は、たとえばスタートボタンの機能を有するアイコン30Aを含む空中像30を表示させておいてもよい。
第2の実施の形態の変形例3では、空中像30が視認可能な位置にユーザ12が位置することが検出された場合に空中像30の表示を行う。これにより、ユーザ12が視認していない、または視認できない位置にいる場合に空中像30を表示させないので、処理負荷を低減させることができる。
なお、上述の第2の実施の形態とその変形例1〜3では、制御部20と表示器11と撮像装置15とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された制御装置や、制御部20と撮像装置15とで構成される制御装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204と判定部206とを備えればよい。上述の第2の実施の形態、または変形例1〜2に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
なお、以上で説明した全ての実施の形態と全ての変形例の表示装置1では、撮像装置15によりユーザ操作の行われた位置を検出したが、これに限定されない。たとえば、ステージ14に対してZ方向−側にXY平面に平行に設けられる、公知の透明静電容量式パネル(以下、静電容量パネルと記載)を用いてもよい。静電容量パネルは、実質的に透明な部材からなる電極によって電界を形成する。静電容量パネルは、ユーザ12が空中像30の表示位置を操作するために指またはスタイラスを空中像30の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、静電容量パネルは、自身の四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザ12の指のX軸、Z軸上での位置を検出する。なお、静電容量パネルは、ステージ14上にZX平面に平行に設けても良い。
また、静電容量パネルの表面から指先までの距離と、静電容量パネルがその指先を検出したときの静電容量との間の対応関係は、予め記憶部205に記憶させておく。従って、静電容量パネルは、指先が所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部205に記憶された上記の対応関係とから、Z方向における指先の位置を検出することができる。
以上で説明した全ての実施の形態と全ての変形例の表示装置1が空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を3次元空間中に自由に制御することで空中に実像として3次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する(フォグディスプレイ)ことで、空中に像を生成してもよい。
表示装置1が空中像30の位置を移動させるために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、OS(OperatingSystem)や周辺機器等のハードウェアを含むものであってもよい。
なお、上記「コンピュータシステム」は、WWWシステムを利用したホームページ提供環境(あるいは表示環境)も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(DynamicRandom AccessMemory))のように、一定時間プログラムを保持しているものも含む。
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2016年第128156号(2016年6月28日出願)
1…表示装置、9…結像光学系、11…表示器、
15…撮像装置、20…制御部、
200…解析部、201…画像生成部、202…表示制御部、
203…キャリブレーション部、204…検出基準制御部、206…判定部、
207…速度・加速度検出部、208…操作予測部、209…音声検出部、
210…表示位置制御部、
10…本体、12…ユーザ、14…ステージ、40…検出基準、41…検出基準外、30…空中像、30A…アイコン、15A…検出範囲、15a…検出限界、600…所定の非接触操作、16…集音器、17…表示位置変更部、111…マイクロレンズ、
112…マイクロレンズアレイ、90…ミラー素子

Claims (14)

  1. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
    前記非接触操作を行う物体の位置を検出する検出部と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
    前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え
    前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
    前記物体の動きに関する情報は、前記物体の軌跡であり、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  2. 請求項に記載の制御装置において、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡のうちの一点と前記検出基準との距離が所定の距離より小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  3. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
    前記非接触操作を行う物体の位置を検出する検出部と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
    前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
    前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の動きの方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  4. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
    前記非接触操作を行う物体の位置を検出する検出部と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
    前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
    前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
    前記物体の動きに関する情報は、前記物体の速度であり、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  5. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
    前記非接触操作を行う物体の位置を検出する検出部と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
    前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
    前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  6. 請求項に記載の制御装置において、
    前記物体の外観に関する情報は、前記物体の形状又は色又は模様に関する情報である制御装置。
  7. 請求項3または5に記載の制御装置において、
    前記物体の動きに関する情報は、前記物体の速度であり、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  8. 請求項3または4に記載の制御装置において、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  9. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
    前記非接触操作を行う物体の位置を検出する検出部と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
    前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
    前記ユーザに関する情報は、前記ユーザの視線の方向又は前記ユーザの頭の方向であって、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  10. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
    前記非接触操作を行う物体の位置を検出する検出部と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
    前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
    前記ユーザに関する情報は、前記ユーザの視線の動き又は前記ユーザの頭の動きであって、
    前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の動き量が所定よりも小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  11. 請求項1乃至10の何れか一項に記載の制御装置において、
    前記ユーザに関する情報は、前記ユーザの声又は表情であり、
    前記制御部は、前記検出部が検出した前記物体の位置と、前記ユーザの声又は表情と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。
  12. 請求項1乃至11の何れか一項に記載の制御装置において、
    空中に像を表示する表示制御部を備え、
    前記検出部は、空中の前記像に対する前記非接触操作に基づいて物体の位置を検出する制御装置。
  13. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定するプログラムであって、
    前記非接触操作を行う物体の位置を検出する検出処理と、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得処理と、
    前記検出処理で検出した前記物体の位置と、前記取得処理で取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御処理と、をコンピュータに実行させ
    前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
    前記物体の動きに関する情報は、前記物体の軌跡であり、
    前記制御処理において、前記検出処理で検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行するプログラム。
  14. 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御方法であって、
    前記非接触操作を行う物体の位置を検出し、
    前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得し、
    前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
    前記物体の動きに関する情報は、前記物体の軌跡であり、
    前記検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御方法。
JP2018525217A 2016-06-28 2017-06-28 制御装置、プログラムおよび制御方法 Active JP6733731B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016128156 2016-06-28
JP2016128156 2016-06-28
PCT/JP2017/023762 WO2018003862A1 (ja) 2016-06-28 2017-06-28 制御装置、表示装置、プログラムおよび検出方法

Publications (2)

Publication Number Publication Date
JPWO2018003862A1 JPWO2018003862A1 (ja) 2019-05-16
JP6733731B2 true JP6733731B2 (ja) 2020-08-05

Family

ID=60786035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525217A Active JP6733731B2 (ja) 2016-06-28 2017-06-28 制御装置、プログラムおよび制御方法

Country Status (4)

Country Link
US (1) US11635827B2 (ja)
JP (1) JP6733731B2 (ja)
CN (1) CN109643206B (ja)
WO (1) WO2018003862A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021170146A (ja) * 2018-06-13 2021-10-28 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN112805800A (zh) * 2018-10-11 2021-05-14 欧姆龙株式会社 输入装置
JP7128720B2 (ja) 2018-10-25 2022-08-31 日立チャネルソリューションズ株式会社 入出力装置及び自動取引装置
WO2020240835A1 (ja) * 2019-05-31 2020-12-03 堺ディスプレイプロダクト株式会社 空中映像表示装置
JP2021071944A (ja) * 2019-10-31 2021-05-06 ソニー株式会社 画像表示装置
US20230280835A1 (en) * 2020-07-10 2023-09-07 Arizona Board Of Regents On Behalf Of Arizona State University System including a device for personalized hand gesture monitoring
WO2022018971A1 (ja) * 2020-07-22 2022-01-27 日本電産サンキョー株式会社 入力装置および入力装置の制御方法
JP2024029268A (ja) * 2020-12-22 2024-03-06 株式会社村上開明堂 操作入力装置及びキャリブレーション方法
WO2024079832A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェース装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9197738B2 (en) * 2008-12-04 2015-11-24 Microsoft Technology Licensing, Llc Providing selected data through a locked display
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
JP5430382B2 (ja) * 2009-12-16 2014-02-26 キヤノン株式会社 入力装置及び方法
CN102109945B (zh) * 2009-12-25 2013-01-16 联想(北京)有限公司 一种具有触摸屏的便携式电子设备及其控制方法
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
JP6149339B2 (ja) 2010-06-16 2017-06-21 株式会社ニコン 表示装置
JP5609416B2 (ja) * 2010-08-19 2014-10-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
DE112010005947T5 (de) 2010-10-20 2013-08-08 Mitsubishi Electric Corporation Stereoskopische Dreidimensionen-Anzeigevorrichtung
JP5494423B2 (ja) 2010-11-02 2014-05-14 ソニー株式会社 表示装置、位置補正方法およびプログラム
JP5921835B2 (ja) * 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
CN102749996A (zh) * 2012-06-29 2012-10-24 华南理工大学 空中双手的控制方法及系统
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技(苏州)有限公司 一种多点触摸系统及方法
US10345932B2 (en) * 2013-06-14 2019-07-09 Microsoft Technology Licensing, Llc Disambiguation of indirect input
JP5831715B2 (ja) * 2013-07-30 2015-12-09 コニカミノルタ株式会社 操作装置および画像処理装置
CN104349002B (zh) 2013-07-30 2017-11-21 柯尼卡美能达株式会社 操作装置以及图像处理装置
US20150293600A1 (en) * 2014-04-11 2015-10-15 Visual Exploration LLC Depth-based analysis of physical workspaces
JP6340268B2 (ja) 2014-07-02 2018-06-06 株式会社ジャパンディスプレイ 液晶表示装置
JP2017027401A (ja) * 2015-07-23 2017-02-02 株式会社デンソー 表示操作装置
CN105302298B (zh) * 2015-09-17 2017-05-31 深圳市国华识别科技开发有限公司 空中书写断笔系统和方法
JP6160724B2 (ja) * 2016-02-22 2017-07-12 カシオ計算機株式会社 オブジェクト処理装置、オブジェクト処理方法及びプログラム

Also Published As

Publication number Publication date
US20190235643A1 (en) 2019-08-01
WO2018003862A1 (ja) 2018-01-04
JPWO2018003862A1 (ja) 2019-05-16
US11635827B2 (en) 2023-04-25
CN109643206A (zh) 2019-04-16
CN109643206B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
JP6733731B2 (ja) 制御装置、プログラムおよび制御方法
JP6724987B2 (ja) 制御装置および検出方法
US10860139B2 (en) Detection device, electronic apparatus, detection method and program
JP6520918B2 (ja) 制御装置、電子機器、制御方法およびプログラム
WO2018003860A1 (ja) 表示装置、プログラム、表示方法および制御装置
JP6822472B2 (ja) 表示装置、プログラム、表示方法および制御装置
KR20160048062A (ko) 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
US20220011900A1 (en) Detection device and program
JP6658809B2 (ja) 検出装置、電子機器、検出方法およびプログラム
CN115298646A (zh) 信息处理设备、信息处理方法、计算机程序和增强现实感测系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250