JP6733731B2 - 制御装置、プログラムおよび制御方法 - Google Patents
制御装置、プログラムおよび制御方法 Download PDFInfo
- Publication number
- JP6733731B2 JP6733731B2 JP2018525217A JP2018525217A JP6733731B2 JP 6733731 B2 JP6733731 B2 JP 6733731B2 JP 2018525217 A JP2018525217 A JP 2018525217A JP 2018525217 A JP2018525217 A JP 2018525217A JP 6733731 B2 JP6733731 B2 JP 6733731B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- detection reference
- detection
- information
- contact operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Description
第2の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の動きの方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第3の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の速度であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第4の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第5の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記ユーザに関する情報は、前記ユーザの視線の方向又は前記ユーザの頭の方向であって、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第6の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、前記非接触操作を行う物体の位置を検出する検出部と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、前記ユーザに関する情報は、前記ユーザの視線の動き又は前記ユーザの頭の動きであって、前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の動き量が所定よりも小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第7の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定するプログラムであって、前記非接触操作を行う物体の位置を検出する検出処理と、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得処理と、前記検出処理で検出した前記物体の位置と、前記取得処理で取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御処理と、をコンピュータに実行させ、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記制御処理において、前記検出処理で検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
第8の態様によれば、非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御方法であって、前記非接触操作を行う物体の位置を検出し、前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得し、前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、前記物体の動きに関する情報は、前記物体の軌跡であり、前記検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する。
図面を参照しながら、第1の実施の形態による表示装置について説明する。第1の実施の形態においては、本実施の形態の表示装置が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、操作パネルに限らず、携帯電話、テレビ、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。また、本実施の形態の表示装置は、デジタルサイネージ(電子看板)等の電子機器にも組み込むことができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、本実施の形態の表示装置は、例えば現金自動預払機(ATM装置)においてユーザが暗証番号や金額等を入力するためのパネルや、鉄道やバスの乗車券・定期券等の自動券売機や、図書館や美術館等の各種の情報検索端末装置等のパネルに組み込むことが可能である。また、本実施の形態の表示装置は、各種のロボット(たとえば自走可能なロボットや、自走式の掃除機のような電子機器)に搭載しても良い。
また、表示装置1は、後述する第1の実施の形態の変形例8にて説明するように公知のライトフィールド方式を用いて空中像30を表示させてもよい。
ステージ14は、ZX平面に平行な面として設けられ、このステージ14の上方に空中像30が表示される。以下の説明では、ステージ14が矩形形状であるものとするが、矩形に限定されず、円形形状や多角形形状等、種々の形状を適用できる。
また、検出基準の位置(初期位置や、変更または修正された位置)は、ステージ14の平面上(X軸、Y軸上)全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置1の使用時に設定された検出基準を記憶部205に記憶しておき、それを読み出して使用してもよい。
なお、本実施の形態では、検出基準40を直方体形状として説明するが、これに限定されるものではなく、球状、円柱状や角柱状等でもよいし、それ以外の形状でもよい。また、検出基準40がアイコン30Aに対して設定されるものに限定されず、空中像30の全領域やアイコン30Aを含む所定の範囲に検出基準40が設定されてもよい。
図4(a)〜(c)に本実施の形態における所定の非接触操作600A〜600C(総称する場合には所定の非接触操作600と称する)の例を示す。図4では、所定の非接触操作600A〜600Cを指Fが移動する際の軌跡として矢印を用いて模式的に示す。図4(a)に示す所定の非接触操作600Aは、ユーザ12が指Fを距離L1だけ奥側(Z方向−側)へ移動した後にUターンして、距離L1だけ手前側(Z方向+側)に移動する操作である。即ち、この所定の非接触操作600Aは、奥側への移動距離と手前側への移動距離とが等しいUターン軌跡である。また、所定の非接触操作600Aは、Uターン、即ちU字の軌跡ではなく、V字の軌跡を描くものでも良く、また、指Fが距離L1だけ奥側へ移動した後にその軌跡に沿って距離L1だけ手前側に移動する操作であってもよい。更には、所定の非接触操作600Aは、奥側への移動距離L1と手前側への移動距離L1とが等しくなく異なっていても良い。本実施の形態における所定の非接触操作600Aとは、指の奥側への移動に引き続き指の手前側への移動がなされる操作であれば良い。
所定の非接触操作600は、上述した種々の指Fの移動軌跡で表されるものに限られず、その移動軌跡(指Fや手の移動軌跡)が撮像装置15で検出することができるものであれば、その他の移動軌跡を描くものであっても良い。
上述した各種の所定の非接触操作600の移動軌跡は、予め記憶部205に記憶される。
図5は、解析部200によって、前述の所定の非接触操作600のうち非接触操作600Aが検出基準40で行われたと判定される場合を例示する。所定の非接触操作600A1は、指Fが第1基準面40aからZ方向−側に距離L1移動し、引き続きUターンしZ方向+側に距離L1移動して、指Fが第1基準面40aに達した場合を示す。所定の非接触操作600A2は、指Fが第1基準面40aと第2基準面40bとの中間で指FがZ方向−側に距離L1移動し、引き続きUターンしZ方向+側に距離L1移動した場合を示す。所定の非接触操作600A3は指FがZ方向−側に距離L1移動して第2基準面40bにおいてUターンしZ方向+側に距離L1移動した場合を示す。この場合、解析部200は、ユーザ12により行われた操作が、記憶部205に記憶されている所定の非接触操作600Aの軌跡と同一と見なせる場合に、所定の非接触操作600Aが行われたことを検出する。解析部200により検出されたユーザ12による所定の非接触操作600は記憶部205に記憶される。
以降、本実施の形態および変形例の説明においては、代表的に所定の非接触操作600Aを用いて説明するが、他の非接触操作600B、600C等においても同等の技術が適用されるものとする。
この場合、撮像装置15の検出出力に基づいて、解析部200は、所定の非接触操作600Aの一部を検出基準外41で検出する。
これらの場合にも、撮像装置15の検出出力に基づいて、解析部200は、所定の非接触操作600Aaの一部、またはAbの一部を検出基準外41で検出する。
ユーザ12がアイコン30Aを操作する意図を有していたか否かについては、制御部20の判定部206により判定を行う。
判定部206は、ユーザ12により行われた操作が所定の非接触操作600でもなく、所定の条件も満たさない場合には、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。すなわち、解析部200が、撮像装置15の検出出力に基づいて、検出された非接触操作が所定の非接触操作600ではないことを検出した場合、または、検出された非接触操作が所定の条件を満たさない場合には、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。
なお、以下の説明においては、所定の非接触操作600として、図4(a)に示す所定の非接触操作600Aを例に挙げる。上述したように、所定の非接触操作600Aは、ユーザ12が指Fを距離L1だけ奥側(Z方向−側)へ移動した後にUターンして、距離L1だけ手前側(Z方向+側)に移動する移動軌跡の操作である。
解析部200が、撮像装置15からの検出出力に基づいて、ユーザ12の操作の移動軌跡を距離L0だけZ方向−側へ移動した後にUターンして、距離L0だけZ方向+側に移動することを検出したとする。解析部200が検出したユーザ12の非接触操作の距離L0と所定の非接触操作600Aの距離L1との差分が所定の閾値以下の場合には、ユーザ12はアイコン30Aを操作する意図を有していると判定し、差分が所定の閾値を超える場合には、ユーザ12は意図を有していないと判定する。たとえば、所定の非接触操作600AのZ方向の±方向への操作の距離L1を10cmとし、所定の閾値を3cmとする。ユーザ12による非接触操作のうちZ方向の±方向への操作の距離L0が9cmであった場合には、ユーザ12は、自身はアイコン30Aに対して所定の非接触操作600Aを行ったつもりでいる可能性がある。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していると判定する。また、ユーザ12による非接触操作のうちZ方向±方向への操作の距離L0が2cmであった場合には、ユーザ12がアイコン30Aを操作しようとしていたのではなく、ユーザ12がどのアイコン30Aを選択するか検討している最中であることが考えられる。したがって、判定部206は、ユーザ12はアイコン30Aを操作する意図を有していないと判定する。
ただし、このような場合であっても、ユーザ12により行われた非接触操作がキャリブレーション処理に移行するように指示する操作である場合には、キャリブレーション部203は、キャリブレーション処理を行う。
図6(a)に示すような所定の非接触操作600Aが行われた場合、検出基準制御部204は、記憶部205に記憶された撮像装置15からの検出出力に基づいて、所定の非接触操作600Aの操作開始位置と第1基準面40aとの間隔ΔH10を算出する。この間隔ΔH10は、上述のように、所定の非接触操作600Aの操作開始位置と第1基準面40aの位置とから算出することができるが、以下の方法によっても算出することができる。即ち、検出基準制御部204は、所定の非接触操作600Aの最もZ方向−側の位置、すなわち所定の非接触操作600Aの到達位置を記憶部205に記憶された撮像装置15からの検出出力に基づいて求める。検出基準制御部204は、この所定の非接触操作600Aの到達位置と第1基準面40aの位置との間隔を算出し、この算出された間隔に所定の非接触操作600Aの距離L1を加算することによっても、間隔ΔH10を算出することができる。
図7(a)に示す所定の非接触操作600Aのように、所定の非接触操作600Aの一部が検出基準40で行われ、その残部が第1基準面40aよりも上方の位置で行われた場合に関するキャリブレーション処理は、図9(a)の場合と同様である。即ち、検出基準制御部204は、距離ΔH10に基づき、検出基準40の全体を図中上方(Z方向+側)に移動する。
図7(b)に示す所定の非接触操作600Aaのように、所定の非接触操作600Aaの一部が検出基準40で行われ、その残部が第2基準面40bよりもZ方向−側の位置で行われた場合に関するキャリブレーション処理は、図9(b)の場合と同様である。即ち、距離ΔH10に基づき、検出基準40の全体を図中下方(Z方向−側)に移動する。
ステップS1において、画像生成部201が空中像30用の表示用画像データを生成し、表示制御部202が表示用画像データに基づく表示画像を表示器11に表示させる。検出基準制御部204は、検出基準40を初期位置に設定する。表示器11に表示される表示画像は、たとえば図3(a)に示すようにアイコン30Aを含む空中像30に対応する画像である。
図10は、ユーザ12により3回の所定の非接触操作600が行われた場合を示す。第1回目として所定の非接触操作600A1が、第2回目として所定の非接触操作600A2が、第3回目として所定の非接触操作600A3が行われたものとする。検出基準40内にて、第2回目の所定の非接触操作600A2は、第1回目の所定の非接触操作600A1よりもZ方向+側で行われている。第3回目の所定の非接触操作600A3は、第2回目の所定の非接触操作600A2よりも検出基準40内のZ方向+側にて行われている。すなわち、ユーザ12が操作を繰り返すに従って、所定の非接触操作600Aが行われる位置がZ方向+側に変位している。このような場合、以後のユーザ12による操作が第1基準面40aよりもZ方向+側で行われ、所定の非接触操作600Aが検出基準40で行われなくなるおそれがある。このため、キャリブレーション部203はキャリブレーション処理を実行する。この場合のキャリブレーション処理としては、検出基準制御部204は、検出基準40の位置をZ方向+側に所定の移動量で移動させればよい。
また、図10において、第1回目に所定の非接触操作600A3が行われ、第2回目に所定の非接触操作600A2が行われ、第3回目に所定の非接触操作600A1が行われた場合には、以後のユーザ12による操作が第2基準面40aよりもZ方向−側で行われ、所定の非接触操作600Aが検出基準40で行われなくなるおそれがある。この場合には、キャリブレーション処理として、検出基準制御部204は、検出基準40の位置をZ方向−側に所定の移動量で移動させれば良い。
図1、図2に示す第1の実施の形態の表示装置1は、ユーザ12の行った非接触操作の軌跡や位置に基づいて、ユーザ12にアイコン30Aを操作する意図があったか否かを判定した。変形例1の表示装置1では、ユーザ12が非接触操作を行った際のユーザ12の指先の速度あるいは加速度を算出し、算出した速度または加速度に基づいて、アイコン30Aに対するユーザ操作の意図の有無を判定する。
また、移動速度や移動加速度が所定値を超えるような急激なユーザ操作が行われている場合に、判定部206はユーザ操作には意図がないものとして判定する場合を挙げたが、これに限定されない。移動速度や移動加速度が別の所定値よりも小さい場合、すなわちユーザ操作がゆっくりと行われている場合も、判定部206は、ユーザ操作には意図がないと判定してよい。この場合も、判定部206は、ユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、ユーザ12はアイコン30Aに対する操作を意図していないと判定する。
図1、図2に示す第1の実施の形態の表示装置1や、変形例1の表示装置1は、ユーザ12の非接触操作の移動軌跡や位置に基づいて、ユーザ12に空中像30を操作する意図があったか否かを判定した。変形例2の表示装置1では、ユーザ12が検出基準40にて予め設定されているジェスチャーを空中像30に対して行った場合、表示装置1が各種の機能を実行してもよい。すなわち、解析部200により検出されたジェスチャー(すなわちユーザ12の非接触操作の形状)に基づいて、判定部206は、ユーザ12の操作の意図の有無を判定してよい。また、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、非接触操作の形状とを組み合わせて、判定部206がユーザ12の操作の意図の有無を判定してもよい。ジェスチャーの例として、たとえばアイコン30Aを操作する場合には、1本の指で図4に示すような軌跡を描くようにタップダウンとタップアップとを行う動作がある。また、たとえば空中像30の全体をページめくりのようにしてスライドして切り替える場合には、ユーザ12が手や腕をX方向+側に振る動作や、ユーザ12が表示装置1の方向に向けて指や手を押し込んでから一定方向(X方向+側)にはじくように移動するフリック動作や、指や手を一定方向(X方向+側)になぞるように移動するスワイプ動作等がある。なお、ジェスチャーの態様として、どのような動作を行うか、または、手全体で行う動作か、1本の指で行う動作か、複数本の指で行う動作か、手を握った状態で行う動作かが、空中像30の表示内容に基づいて予め設定され、記憶部205に記憶されている。
なお、判定部206は、上述した変形例1の場合のようにユーザ12により行われた非接触操作の移動速度や移動加速度も組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。
変形例3の表示装置1では、外観として所定の色や模様が操作体に付されている場合に、判定部206はユーザ12の操作が意図を有して行われたと判定する。すなわち、解析部200により検出された操作体に付された所定の色に基づいて、判定部206はユーザ12の操作の意図の有無を判定してよい。また、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、操作体の付された色とを組み合わせて、判定部206がユーザ12の意図の有無を判定してもよい。この場合、ユーザ12は、たとえば所定の色として赤色のテープやシールやキャップ等を指に付して空中像30に対して操作を行う。または、ユーザ12は、赤色の手袋をはめて空中像30に対して操作を行う。なお、上記のテープやシールやキャップや手袋が赤色であるものに限られず、たとえばストライプや水玉等の所定の模様が付されているものでも良い。
なお、専用のペンが所定の色の光を発光しているときに、判定部206がユーザ12の操作に意図があることを判定するものに限定されない。たとえば、所定の周期で専用のペンが点滅した場合や、強度が所定値を超えた場合や、第1の色(たとえば赤色)から第2の色(たとえば青色)に変化したことを解析部200が検出すると、判定部206がユーザ12の操作に意図があることを判定してもよい。
第1の実施の形態とその変形例1〜3の表示装置1では、操作体として指や手やペン等を用いて行われた操作に基づいて、ユーザ12が意図を有して操作を行ったか否かを判定した。変形例4の表示装置1では、表示装置1を操作するユーザ12の状態に基づいて、ユーザ12が意図を有して操作を行ったか否かを判定する。すなわち、解析部200により検出されたユーザ12の状態に基づいて、判定部206はユーザ12の操作の意図の有無を判定してよい。また、第1の実施の形態の場合と同様にして解析部200が検出したユーザ12の非接触操作の移動軌跡や位置と、ユーザ12の状態とを組み合わせて、判定部206がユーザ12の意図の有無を判定してもよい。
また、ユーザ12の視線や顔の向きや動きに代えて、またはそれらに加えて、ユーザ12の表情を用いて、判定部206は、ユーザ12の操作に意図があるか否かを判定してもよい。たとえば、解析部200が、ユーザ12が笑顔ではなく真剣な表情でアイコン30Aに対して操作を行ったことを検出した場合には、判定部206は、ユーザ12の操作に意図があると判定してもよい。
この場合の表示装置1は、第1の実施の形態の表示装置1が行う図11のフローチャートのステップS3において、音声検出部209が、ユーザ12が「装置が動かない」、「装置を動かしたい」等を発声したことを検出した場合に、判定部206は、ステップS4またはステップS9においてユーザ12に操作の意図があると判定する。
なお、判定部206は、上述したユーザ12の視線、顔や頭、表情と組み合わせて、ユーザ12の操作の意図の有無を判定してもよい。
変形例5の表示装置1では、ユーザ12が過去に行った複数回の操作の履歴に基づいて、判定部206は、ユーザ12による最新の操作は意図して行われたか否かを判定するものである。
変形例5の表示装置1は、上述した第1の実施の形態とその変形例1〜4の表示装置1の構成を適用することができる。変形例5の表示装置1の判定部206は、複数回のユーザ操作の際に行われた操作の態様と異なる操作の態様でユーザ操作が行われた場合には、そのユーザ12による非接触操作の移動軌跡が所定の非接触操作である場合や所定の条件を満たす非接触操作であったとしても、意図して行われたものではないと判定する。
また、たとえばユーザ12がアイコン30Aを操作する場合には、タップダウンとタップアップとを行っていたにも関わらず、手を振り払うような動作を行ったとする。この場合も、判定部206は、上記と同様にして、解析部200により検出された今回のユーザ操作の態様(手を振り払う動作)は、履歴におけるユーザ操作の態様(タップダウンとタップアップ)と異なるので、ユーザ操作は意図して行われたものではないと判定する。
また、たとえばユーザ12がアイコン30Aを操作する場合には、前回まではある移動速度でユーザ操作を行っていたにも関わらず、今回はある移動速度よりも遅い速度でユーザ操作が行われた場合には、ユーザ12はその操作に自信を持っていない可能性がある。このような場合にも、判定部206は、遅い速度で行われたユーザ操作は意図して行われたものではないと判定する。すなわち、判定部206は、ユーザ12により行われた操作と、そのユーザ12の個人的な操作の態様の履歴とを比較した結果に基づいて、ユーザ操作における意図の有無を判定する。
第1の実施の形態とその変形例1〜5の表示装置1は、検出基準外41で検出されたユーザ12による操作が意図を有していると判定された場合に、ユーザ12により操作されたアイコン30Aの機能の実行と、キャリブレーション処理とを実行した。すなわち、ユーザ12による操作が上記の条件を満たす度に、機能の実行とキャリブレーション処理とが行われた。本変形例6の表示装置1は、ユーザ12による操作が上記の条件を満たす場合に、所定の条件に基づいてキャリブレーション処理の実行の要否を決定する。
また、過去のユーザ操作の履歴に基づいて、検出基準外41で検出されたユーザ操作が意図を有していると判定された場合に、キャリブレーション処理にて設定される検出基準40の位置を決定してもよい。たとえば、過去の履歴として5回のユーザ操作のうち、検出基準40のZ方向−側でユーザ操作が1回行われ、他の4回は検出基準40のZ方向+側でユーザ操作が行われたとする。このような場合には、ユーザ12は検出基準40のZ方向+側で操作を行う可能性が高いので、キャリブレーション処理の際には、検出基準制御部204は、検出基準40をZ方向+側に移動する。
第1の実施の形態とその変形例1〜6の表示装置1では、キャリブレーション処理を行う場合、検出基準制御部204は検出基準40をZ方向に変更するものとした。変形例7の表示装置1では、キャリブレーション処理の際に、検出基準制御部204は、検出基準40の幅D1の大きさを変更する。
たとえば、第1の実施の形態にて図6(a)にて示したように、所定の非接触操作600Aが検出基準40のZ方向+側の検出基準外41で検出された場合について説明する。この場合、検出基準制御部204は、第2基準面40bの位置を変更することなく、第1基準面40aのみを変更量ΔH10だけZ方向+側に変更してもよい。すなわち、検出基準40の幅D1を変更することにより、検出基準40のZ方向の中心位置を変更しても良い。または、検出基準制御部204は、第1基準面40aを変更量ΔH10だけZ方向+側に変更し、第2基準面40bを変更量ΔH10だけZ方向−側に変更してもよい。すなわち、検出基準40の幅D1をZ方向に同一の変更量ΔH10にて変更することにより、検出基準40のZ方向の中心位置を変更することなく検出基準40を変更しても良い。
なお、図6(b)は、検出基準40のZ方向−側に所定の非接触操作600Aが検出された場合を示している。この場合、検出基準制御部204は、第2基準面40bの位置を変更量ΔH10だけZ方向−側に変更しても良いし、第2基準面40bの位置を変更量ΔH10だけZ方向−側に変更するとともに第1基準面40aの位置を変更量ΔH10だけZ方向+側に変更しても良い。
検出基準制御部204は、上記のようにして幅D1の大きさが変更された検出基準40の位置を、第1の実施の形態の場合と同様にして移動させる。
たとえば、図16(a)に示すように、ユーザ12によって3回の所定の非接触操作600A1、600A2、600A3が行われたとする。それぞれの所定の非接触操作600A1、600A2、600A3の検出基準40の第1基準面40aからの間隔をΔH10−1、ΔH10−2、ΔH10−3(ΔH10−2<ΔH10−1<ΔH10−3)とする。解析部200は、間隔ΔH10−1と間隔ΔH10−2との差分、間隔ΔH10−2と間隔ΔH10−3との差分、間隔ΔH10−1と間隔ΔH10−3との差分が、それぞれ所定の範囲内の場合に、所定の非接触操作600A1、600A2、600A3がZ方向において近傍で行われたと判定する。
なお、間隔ΔH10−1と間隔ΔH10−2との差分、間隔ΔH10−2と間隔ΔH10−3との差分、間隔ΔH10−1と間隔ΔH10−3との差分が、所定の範囲を超える場合には、検出基準制御部204は、検出基準40の位置を変えず、上述したように、検出基準40の幅D1の大きさを大きくする。この場合、検出基準制御部204は、第1基準面40aから最も離れた位置で行われた所定の非接触操作600A(図16(a)の例では所定の非接触操作600A3)が含まれるように、第1基準面40aをZ方向+側にΔH10−3移動させる。
変形例8の表示装置1は、空中像30の空中での表示位置を変更可能にする構成を有し、空中像30を表示するモードの場合や、キャリブレーション処理に際して空中像30の表示位置を移動する。
図17は、変形例8における表示装置1の主要部構成を説明するブロック図である。
この表示装置1は、図2に示す第1の実施の形態の表示装置1が有する構成に加えて、表示位置変更部17を有し、制御部20には表示位置制御部210が備えられる。なお、第1の実施の形態の変形例1〜7の構成に、表示位置変更部17と表示位置制御部210とを適用することもできる。
また、たとえば、ユーザ12が腕を伸ばしても空中像30に到達しないような場合には、表示位置制御部210は、空中像30を移動させてよい。解析部200が、ユーザ12が行った所定の非接触操作600Aの到達位置が空中像30の表示位置よりもZ方向+側に位置することを検出する。この場合、空中像30をユーザ12に接近する方向、すなわちZ方向+側に移動するように、表示位置制御部210表示位置変更部17を制御して表示器11をY方向−側へ移動させる。
図18にこの場合の表示器11と結像光学系9とのZX平面における断面を模式的に示す。表示器11の表示面には、二次元状に配列された複数のマイクロレンズ111により構成されるマイクロレンズアレイ112を有する。1つのマイクロレンズ111は、表示器11の複数の表示画素Pごとに設けられる。なお、図18に示す例では、図示の都合上、5×5の表示画素Pに対して1個のマイクロレンズ111が設けられた例を示しているが、実際の表示画素Pの個数よりも少なく描いている。マイクロレンズアレイ112は、表示器11の表示面からマイクロレンズ111の焦点距離fだけZ方向+側に離れた位置に配置される。各マイクロレンズ111は、表示された画像に基づいて表示画素Pからの光をZ方向の所定の像面に投影する。なお、マイクロレンズ111に代えてレンチキュラーレンズを用いてもよい。
第1の実施の形態とその変形例1〜8の表示装置1は、キャリブレーション処理として、検出基準40の位置や幅等を変更させるものであった。本変形例9の表示装置1は、撮像装置15の検出出力に対してキャリブレーション処理を行い、ユーザ操作の検出精度を高めるようにするものである。
変形例9の表示装置1は、上述した第1の実施の形態とその変形例1〜8の表示装置1が有する構成を適用することができる。
図面を参照しながら、第2の実施の形態の係る表示装置1について説明する。第2の実施の形態においては、本実施の形態の表示装置1が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置1は、操作パネルに限らず、上述の第1の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
上述した第1の実施の形態とその変形例の表示装置1では、検出基準40を予め定められた初期位置に設定するものであった。第2の実施の形態の表示装置1は、空中像の位置に基づいて、検出基準40の位置を初期設定するものである。
第2の実施の形態の変形例1の表示装置1は第1の実施の形態の変形例8における図17のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例における各種処理や制御を適宜適用させることができる。
第2の実施の形態の変形例2の表示装置1では、初期設定にて表示された空中像30に対するユーザ12の操作に基づいて、検出基準40が設定される。
第2の実施の形態の変形例2の表示装置1は、第1の実施の形態における図2のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例における構成や各種処理や制御を適宜適用させることができる。
図19(a)に、検出された所定の非接触操作600Aを模式的に示す。図19(a)に示す例では、所定の非接触操作600Aの開始位置が、撮像装置15からZ方向+側に距離H20の位置であるとする。
第2の実施の形態の変形例3の表示装置1では、表示制御部202が空中像30を表示させるタイミングを制御するものである。第2の実施の形態の変形例3の表示装置1は、第1の実施の形態における図2のブロック図に示す構成を適用することができる。なお、本実施の形態の表示装置1には、第1の実施の形態とその変形例1〜9や第2の実施の形態とその変形例1、2における構成や各種処理や制御を適宜適用させることができる。
また、ユーザ12が視認可能な位置を示すマークを目印として立ち止まっていることを撮像装置15により検出するものに限られない。たとえば、ユーザ12が所持しているスマートホン等に内蔵された方位センサやGPSの情報を用いて、ユーザ12が空中像30を視認可能な位置に立ち止まって表示装置1の方向を向いていることを検出してもよい。この場合、GPSの情報に基づいてユーザ12の立ち位置が検出され、方位センサの情報に基づいてユーザ12の向き、すなわちユーザ12が表示装置1の方を向いているかを検出すればよい。
なお、空中像30が上記の狭い視野角に対応する視認可能な位置よりも広い範囲から視認できる場合には、ユーザ12が上記の視認可能な位置に立ち止まっているか否かに関わらず、表示装置1は、たとえばスタートボタンの機能を有するアイコン30Aを含む空中像30を表示させておいてもよい。
また、静電容量パネルの表面から指先までの距離と、静電容量パネルがその指先を検出したときの静電容量との間の対応関係は、予め記憶部205に記憶させておく。従って、静電容量パネルは、指先が所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部205に記憶された上記の対応関係とから、Z方向における指先の位置を検出することができる。
日本国特許出願2016年第128156号(2016年6月28日出願)
15…撮像装置、20…制御部、
200…解析部、201…画像生成部、202…表示制御部、
203…キャリブレーション部、204…検出基準制御部、206…判定部、
207…速度・加速度検出部、208…操作予測部、209…音声検出部、
210…表示位置制御部、
10…本体、12…ユーザ、14…ステージ、40…検出基準、41…検出基準外、30…空中像、30A…アイコン、15A…検出範囲、15a…検出限界、600…所定の非接触操作、16…集音器、17…表示位置変更部、111…マイクロレンズ、
112…マイクロレンズアレイ、90…ミラー素子
Claims (14)
- 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の軌跡であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 請求項1に記載の制御装置において、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡のうちの一点と前記検出基準との距離が所定の距離より小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の動きの方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の速度であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 請求項5に記載の制御装置において、
前記物体の外観に関する情報は、前記物体の形状又は色又は模様に関する情報である制御装置。 - 請求項3または5に記載の制御装置において、
前記物体の動きに関する情報は、前記物体の速度であり、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の速度が所定の速度である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 請求項3または4に記載の制御装置において、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記物体の外観が所定の外観である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記ユーザに関する情報は、前記ユーザの視線の方向又は前記ユーザの頭の方向であって、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の方向が所定の方向である場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御装置であって、
前記非接触操作を行う物体の位置を検出する検出部と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得部と、
前記検出部が検出した前記物体の位置と、前記取得部が取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御部と、を備え、
前記ユーザに関する情報は、前記ユーザの視線の動き又は前記ユーザの頭の動きであって、
前記制御部は、前記検出部が検出した前記物体の位置が前記検出基準外であり、前記ユーザの視線又は頭の動き量が所定よりも小さい場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 請求項1乃至10の何れか一項に記載の制御装置において、
前記ユーザに関する情報は、前記ユーザの声又は表情であり、
前記制御部は、前記検出部が検出した前記物体の位置と、前記ユーザの声又は表情と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御装置。 - 請求項1乃至11の何れか一項に記載の制御装置において、
空中に像を表示する表示制御部を備え、
前記検出部は、空中の前記像に対する前記非接触操作に基づいて物体の位置を検出する制御装置。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定するプログラムであって、
前記非接触操作を行う物体の位置を検出する検出処理と、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得する取得処理と、
前記検出処理で検出した前記物体の位置と、前記取得処理で取得した情報と、に基づいて、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御処理と、をコンピュータに実行させ、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の軌跡であり、
前記制御処理において、前記検出処理で検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行するプログラム。 - 非接触操作に基づいて電子機器を動作させる基準となる検出基準を設定する制御方法であって、
前記非接触操作を行う物体の位置を検出し、
前記物体に関する情報又は前記非接触操作を行うユーザに関する情報を取得し、
前記物体に関する情報は、前記物体の動きに関する情報又は前記物体の外観に関する情報であり、
前記物体の動きに関する情報は、前記物体の軌跡であり、
前記検出した前記物体の位置が前記検出基準外であり、前記物体の軌跡が所定の条件を満たす場合、前記電子機器を動作させる制御と前記検出基準を設定する制御とを実行する制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016128156 | 2016-06-28 | ||
JP2016128156 | 2016-06-28 | ||
PCT/JP2017/023762 WO2018003862A1 (ja) | 2016-06-28 | 2017-06-28 | 制御装置、表示装置、プログラムおよび検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018003862A1 JPWO2018003862A1 (ja) | 2019-05-16 |
JP6733731B2 true JP6733731B2 (ja) | 2020-08-05 |
Family
ID=60786035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018525217A Active JP6733731B2 (ja) | 2016-06-28 | 2017-06-28 | 制御装置、プログラムおよび制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11635827B2 (ja) |
JP (1) | JP6733731B2 (ja) |
CN (1) | CN109643206B (ja) |
WO (1) | WO2018003862A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021170146A (ja) * | 2018-06-13 | 2021-10-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN112805800A (zh) * | 2018-10-11 | 2021-05-14 | 欧姆龙株式会社 | 输入装置 |
JP7128720B2 (ja) | 2018-10-25 | 2022-08-31 | 日立チャネルソリューションズ株式会社 | 入出力装置及び自動取引装置 |
WO2020240835A1 (ja) * | 2019-05-31 | 2020-12-03 | 堺ディスプレイプロダクト株式会社 | 空中映像表示装置 |
JP2021071944A (ja) * | 2019-10-31 | 2021-05-06 | ソニー株式会社 | 画像表示装置 |
US20230280835A1 (en) * | 2020-07-10 | 2023-09-07 | Arizona Board Of Regents On Behalf Of Arizona State University | System including a device for personalized hand gesture monitoring |
WO2022018971A1 (ja) * | 2020-07-22 | 2022-01-27 | 日本電産サンキョー株式会社 | 入力装置および入力装置の制御方法 |
JP2024029268A (ja) * | 2020-12-22 | 2024-03-06 | 株式会社村上開明堂 | 操作入力装置及びキャリブレーション方法 |
WO2024079832A1 (ja) * | 2022-10-13 | 2024-04-18 | 三菱電機株式会社 | インタフェース装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9197738B2 (en) * | 2008-12-04 | 2015-11-24 | Microsoft Technology Licensing, Llc | Providing selected data through a locked display |
JP4701424B2 (ja) * | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
JP5430382B2 (ja) * | 2009-12-16 | 2014-02-26 | キヤノン株式会社 | 入力装置及び方法 |
CN102109945B (zh) * | 2009-12-25 | 2013-01-16 | 联想(北京)有限公司 | 一种具有触摸屏的便携式电子设备及其控制方法 |
JP4900741B2 (ja) * | 2010-01-29 | 2012-03-21 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
JP6149339B2 (ja) | 2010-06-16 | 2017-06-21 | 株式会社ニコン | 表示装置 |
JP5609416B2 (ja) * | 2010-08-19 | 2014-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20120056989A1 (en) * | 2010-09-06 | 2012-03-08 | Shimane Prefectural Government | Image recognition apparatus, operation determining method and program |
DE112010005947T5 (de) | 2010-10-20 | 2013-08-08 | Mitsubishi Electric Corporation | Stereoskopische Dreidimensionen-Anzeigevorrichtung |
JP5494423B2 (ja) | 2010-11-02 | 2014-05-14 | ソニー株式会社 | 表示装置、位置補正方法およびプログラム |
JP5921835B2 (ja) * | 2011-08-23 | 2016-05-24 | 日立マクセル株式会社 | 入力装置 |
CN102749996A (zh) * | 2012-06-29 | 2012-10-24 | 华南理工大学 | 空中双手的控制方法及系统 |
CN103207709A (zh) * | 2013-04-07 | 2013-07-17 | 布法罗机器人科技(苏州)有限公司 | 一种多点触摸系统及方法 |
US10345932B2 (en) * | 2013-06-14 | 2019-07-09 | Microsoft Technology Licensing, Llc | Disambiguation of indirect input |
JP5831715B2 (ja) * | 2013-07-30 | 2015-12-09 | コニカミノルタ株式会社 | 操作装置および画像処理装置 |
CN104349002B (zh) | 2013-07-30 | 2017-11-21 | 柯尼卡美能达株式会社 | 操作装置以及图像处理装置 |
US20150293600A1 (en) * | 2014-04-11 | 2015-10-15 | Visual Exploration LLC | Depth-based analysis of physical workspaces |
JP6340268B2 (ja) | 2014-07-02 | 2018-06-06 | 株式会社ジャパンディスプレイ | 液晶表示装置 |
JP2017027401A (ja) * | 2015-07-23 | 2017-02-02 | 株式会社デンソー | 表示操作装置 |
CN105302298B (zh) * | 2015-09-17 | 2017-05-31 | 深圳市国华识别科技开发有限公司 | 空中书写断笔系统和方法 |
JP6160724B2 (ja) * | 2016-02-22 | 2017-07-12 | カシオ計算機株式会社 | オブジェクト処理装置、オブジェクト処理方法及びプログラム |
-
2017
- 2017-06-28 WO PCT/JP2017/023762 patent/WO2018003862A1/ja active Application Filing
- 2017-06-28 CN CN201780052646.6A patent/CN109643206B/zh active Active
- 2017-06-28 JP JP2018525217A patent/JP6733731B2/ja active Active
- 2017-06-28 US US16/314,010 patent/US11635827B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190235643A1 (en) | 2019-08-01 |
WO2018003862A1 (ja) | 2018-01-04 |
JPWO2018003862A1 (ja) | 2019-05-16 |
US11635827B2 (en) | 2023-04-25 |
CN109643206A (zh) | 2019-04-16 |
CN109643206B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6733731B2 (ja) | 制御装置、プログラムおよび制御方法 | |
JP6724987B2 (ja) | 制御装置および検出方法 | |
US10860139B2 (en) | Detection device, electronic apparatus, detection method and program | |
JP6520918B2 (ja) | 制御装置、電子機器、制御方法およびプログラム | |
WO2018003860A1 (ja) | 表示装置、プログラム、表示方法および制御装置 | |
JP6822472B2 (ja) | 表示装置、プログラム、表示方法および制御装置 | |
KR20160048062A (ko) | 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 | |
US20220011900A1 (en) | Detection device and program | |
JP6658809B2 (ja) | 検出装置、電子機器、検出方法およびプログラム | |
CN115298646A (zh) | 信息处理设备、信息处理方法、计算机程序和增强现实感测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6733731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |