JP5315450B1 - Information processing apparatus, electronic device, and program - Google Patents
Information processing apparatus, electronic device, and program Download PDFInfo
- Publication number
- JP5315450B1 JP5315450B1 JP2012233272A JP2012233272A JP5315450B1 JP 5315450 B1 JP5315450 B1 JP 5315450B1 JP 2012233272 A JP2012233272 A JP 2012233272A JP 2012233272 A JP2012233272 A JP 2012233272A JP 5315450 B1 JP5315450 B1 JP 5315450B1
- Authority
- JP
- Japan
- Prior art keywords
- detection
- coordinates
- predetermined
- origin
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】指の動きに応じた装置に対する入力指示を精度よく認識すること。
【解決手段】本発明の情報処理装置は、所定の検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、前記検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動する原点を設定する原点設定手段と、前記検知データに基づいて、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段とを備える。
【選択図】図３９An input instruction to a device according to a finger movement is accurately recognized.
An information processing apparatus according to the present invention detects an object existing in a predetermined detection range, outputs detection data corresponding to the detected object, and detects the detected object based on the detection data. Origin setting means for setting an origin that is linked to the movement of a predetermined feature position, coordinate calculation means for calculating at least one coordinate of the object based on the detection data, the calculated coordinates, and the origin Based on the relative positional relationship, the location of the object for which the coordinates have been calculated has passed through a detection plane set as a plane within a predetermined range determined with respect to the origin from a predetermined side. And determining means for determining an instruction to the apparatus based on the detected surface that has passed.
[Selection] Figure 39
Description
本発明は、物体を認識する認識空間を設定する技術に関する。 The present invention relates to a technique for setting a recognition space for recognizing an object.
コンピュータに対してユーザの指示を入力するときには、ユーザは、キーボードやマウスなどの入力インターフェースを用いる。近年ではユーザの指示の入力を容易にするため、ナチュラルインターフェイス（ナチュラルユーザインタフェースといわれることもある）に関する技術が開発されている。例えば、特許文献１に記載されているように、ジェスチャによってユーザの指示を入力する技術が開発されている。また、特許文献２に記載されているように、ジェスチャにユーザの視線を組み合わせて、ユーザの指示を入力するときの精度を向上させる技術が開発されている。さらに、特許文献３に記載されているように、予め決められた領域での指の動きによってユーザの指示を入力する技術が開発されている。
When inputting a user instruction to the computer, the user uses an input interface such as a keyboard or a mouse. In recent years, a technique related to a natural interface (sometimes referred to as a natural user interface) has been developed in order to facilitate the input of user instructions. For example, as described in
ところで、動作を行う各部の動きにはそれぞれ特徴があるため、検出すべきジェスチャを行う部分によって、精度よくジェスチャを検出する方法が異なってくる。そのため、各ジェスチャの検出精度のさらなる改善が望まれている。 By the way, since the movement of each part that performs the operation has its own characteristics, the method for accurately detecting the gesture differs depending on the part that performs the gesture to be detected. Therefore, further improvement in the detection accuracy of each gesture is desired.
本発明は、指の動きに応じた装置に対する入力指示を精度よく認識することを目的とする。 An object of this invention is to recognize the input instruction | indication with respect to the apparatus according to a finger | toe movement with sufficient accuracy.
本発明の一実施形態によると、所定の検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、前記検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動して当該特徴位置と同じ動きをする原点を設定する原点設定手段と、前記検知範囲の一部であって、前記原点を含む認識空間を、前記特徴位置を基準とした範囲に設定する認識空間設定手段と、前記検知データに基づいて、前記認識空間において、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段とを備える情報処理装置が提供される。
また、本発明の一実施形態によると、所定の検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、前記検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動する原点を設定する原点設定手段と、前記検知データに基づいて、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段とを備え、前記決定手段は、さらに、前記位置関係に基づいて、前記座標が算出された物体の箇所の速度が、所定速度以上になる前における当該箇所の移動開始位置が予め決められた開始範囲に含まれ、かつ、減速して前記所定速度以下になった後における当該箇所の位置を示す移動収束位置が予め決められた収束範囲に含まれる場合に、前記装置に対する指示を決定する情報処理装置が提供される。
According to an embodiment of the present invention, a detection unit that detects an object existing in a predetermined detection range and outputs detection data corresponding to the detected object, and a predetermined object in the detected object based on the detection data. Origin setting means for setting an origin that performs the same movement as the feature position in conjunction with the movement of the feature position, and a recognition space that is a part of the detection range and includes the origin, with the feature position as a reference A recognition space setting means for setting a range; a coordinate calculation means for calculating at least one coordinate of the object in the recognition space based on the detection data; and a relative relationship between the calculated coordinates and the origin. The location of the object for which the coordinates are calculated based on a specific positional relationship passes through a detection surface set as a surface of a predetermined range determined with respect to the origin from a predetermined side. Detecting the information processing apparatus comprising a determination means for determining an instruction to the device based on the detection surface that has passed through is provided.
According to an embodiment of the present invention, the detection means for detecting an object existing in a predetermined detection range and outputting detection data corresponding to the detected object, and the detected object based on the detection data Origin setting means for setting an origin that is linked to the movement of a predetermined feature position; coordinate calculation means for calculating at least one coordinate of the object based on the detection data; and the calculated coordinates and the origin. That the location of the object whose coordinates are calculated based on the relative positional relationship of has passed the detection surface set as the surface of the predetermined range determined with respect to the origin from the predetermined side Determining means for detecting and determining an instruction to the apparatus based on the detected surface that has passed, the determining means further comprising an object for which the coordinates are calculated based on the positional relationship The movement indicating the position of the part after the speed of the part is included in the predetermined start range before the speed of the part becomes equal to or higher than the predetermined speed, and after decelerating to the predetermined speed or less. There is provided an information processing apparatus that determines an instruction to the apparatus when the convergence position is included in a predetermined convergence range.
本発明の一実施形態によると、コンピュータを、所定の検知範囲に存在する物体を検知する検知手段から、検知した物体に応じて出力される検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動して当該特徴位置と同じ動きをする原点を設定する原点設定手段と、前記検知範囲の一部であって、前記原点を含む認識空間を、前記特徴位置を基準とした範囲に設定する認識空間設定手段と、前記検知データに基づいて、前記認識空間において、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段として機能させるためのプログラムが提供される。
また、本発明の一実施形態によると、コンピュータを、所定の検知範囲に存在する物体を検知する検知手段から、検知した物体に応じて出力される検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動する原点を設定する原点設定手段と、前記検知データに基づいて、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段として機能させ、前記決定手段は、さらに、前記位置関係に基づいて、前記座標が算出された物体の箇所の速度が、所定速度以上になる前における当該箇所の移動開始位置が予め決められた開始範囲に含まれ、かつ、減速して前記所定速度以下になった後における当該箇所の位置を示す移動収束位置が予め決められた収束範囲に含まれる場合に、前記装置に対する指示を決定するプログラムが提供される。
According to an embodiment of the present invention, the computer has a predetermined feature in the detected object based on detection data output according to the detected object from a detection unit that detects an object existing in the predetermined detection range. Origin setting means for setting an origin that moves in the same manner as the feature position in conjunction with the movement of the position, and a part of the detection range, the recognition space including the origin being a range based on the feature position A recognition space setting means for setting the coordinates, a coordinate calculation means for calculating at least one coordinate in the object in the recognition space based on the detection data, and a relative relationship between the calculated coordinates and the origin. Based on the positional relationship, the location of the object for which the coordinates have been calculated passes from a predetermined side through a detection surface set as a surface of a predetermined range determined with respect to the origin. It detects that the program to function as a determining means for determining an instruction to the device based on the detection surface that has passed through is provided.
Further, according to one embodiment of the present invention, the computer causes the predetermined object in the detected object to be detected based on the detection data output in accordance with the detected object from the detection unit that detects the object existing in the predetermined detection range. An origin setting means for setting an origin that is linked to the movement of the feature position, a coordinate calculation means for calculating coordinates of at least one location on the object based on the detection data, and the calculated coordinates and the origin Based on the relative positional relationship, it is detected that the location of the object whose coordinates have been calculated has passed through a detection surface set as a surface of a predetermined range determined with respect to the origin from a predetermined side. And a function for determining an instruction to the apparatus based on the detection surface that has passed, and the determination means further calculates the coordinates based on the positional relationship. The movement start position of the location before the speed of the location of the selected object is equal to or higher than the predetermined speed is included in the predetermined start range, and the speed of the location after the speed is reduced to be equal to or lower than the predetermined speed. A program for determining an instruction to the device when a moving convergence position indicating a position is included in a predetermined convergence range is provided.
本発明によれば、指の動きに応じた装置に対する入力指示を精度よく認識することができる。 ADVANTAGE OF THE INVENTION According to this invention, the input instruction | indication with respect to the apparatus according to a finger's motion can be recognized accurately.
以下、本発明の一実施形態に係る電子機器について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。 Hereinafter, an electronic apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. In addition, embodiment shown below is an example of embodiment of this invention, and this invention is not limited to these embodiment.
＜第１実施形態＞
本発明の第１実施形態に係る電子機器について、図面を参照しながら詳細に説明する。
<First Embodiment>
An electronic apparatus according to a first embodiment of the present invention will be described in detail with reference to the drawings.
［全体構成］
図１は、本発明の第１実施形態に係る電子機器１の構成を示す概略図である。電子機器１は、この例では、パーソナルコンピュータである。この電子機器１は、ユーザからの電子機器１に対する指示の入力を、キーボード１３ａまたはマウス１３ｂによって受け付けるだけでなく、ユーザのジェスチャ（主に手を用いたジェスチャ）または視線により受け付けることができるナチュラルインターフェイスを有する装置である。なお、電子機器１は、スマートフォン、携帯電話、テレビ、ゲーム機、セキュリティ装置など、ユーザの指示の入力を受け付けて、指示に応じた処理を実行する装置であればよい。
[overall structure]
FIG. 1 is a schematic diagram showing a configuration of an
電子機器１は、情報処理装置１０を有する。また、電子機器１は、操作部１３（この例では、キーボード１３ａおよびマウス１３ｂ）、表示装置１４、物体検知装置２０および視線測定装置３０を有する。これらの各構成は、情報処理装置１０に有線または無線で接続されている。なお、物体検知装置２０と視線測定装置３０とが一体の装置として構成されるなど、一部の構成が一体の装置として構成されていてもよいし、全体の構成が一体の装置として構成されていてもよい。
The
情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１およびメモリ１２を有
する。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することにより、後述する認識空間設定機能１００、ジェスチャ入力機能２００、視線認証機能３００（図２参照）など、様々な機能を実現する。ＣＰＵ１１によって実現される様々な機能により、電子機器１の各構成が制御される。
The
操作部１３は、ユーザによる操作を受け付けて、受け付けられた操作に応じた信号をＣＰＵ１１に出力する。表示装置１４は、ＣＰＵ１１の制御により画面の表示態様が制御される。
The
物体検知装置２０は、パターン投影方式により、物体を検知して、その物体の形状を３次元で測定し、測定した結果を示す測定信号を出力する。物体検知装置２０は、所定の検知範囲に存在する物体を検知する検知センサ２１を有する。この例では、検知センサ２１は、所定のパターン（ドットパターン、メッシュパターン等）で赤外光を照射する発光素子と、物体で反射することにより歪んだパターンの赤外光を受光して受光信号を出力する赤外光用イメージセンサとを有する深度センサである。物体検知装置２０は、赤外光用イメージセンサから出力される受光信号を用いて、測定信号を出力する。したがって、測定信号は、検知センサ２１から見た場合の物体の形状を反映している。
The
この例では、物体検知装置２０における物体の検知にはパターン投影方式を用いていたが、レーザ干渉計等で用いられるＴＯＦ（Time of Flight）方式を用いてもよいし、可視光用イメージセンサ等で撮影した結果得られる画像データを解析して検出する方式を用いてもよい。また、複数の方式を組み合わせて用いてもよい。いずれの方式であっても、物体検知装置２０は、検知範囲に存在する物体の形状を３次元座標で測定した結果を示す測定信号を出力する。
In this example, the pattern projection method is used to detect an object in the
なお、この例では、物体検知装置２０は、図１に示すように、電子機器１を使用するユーザからみて表示装置１４の左側に設置され、矢印Ａ１方向に検出センサ２１が向けられている。そのため、ユーザの左手側から右手側に向けて赤外光が照射されて、電子機器１を使用するユーザと表示装置１４との間の空間およびその周辺の空間が検知範囲となる。そのため、物体検知装置２０の位置および検知センサ２１の向きは、ユーザの右手を物体として検知するのに適した配置となっている。なお、この物体検知装置２０の配置は一例であって、この配置に限定されるものではなく、検知すべき物体に応じて決められればよい。
In this example, as shown in FIG. 1, the
視線測定装置３０は、ユーザの視線方向を測定するための撮影をする装置である。視線測定装置３０は、プルキニエ像を取得するためにユーザの眼に向けて赤外光を照射する発光素子と、ユーザの眼を含む領域を撮影するイメージセンサとを有する視線センサ３１を有し、イメージセンサによる撮影結果を示す撮影信号を情報処理装置１０に出力する。この撮影信号は、情報処理装置１０において、ユーザの視線方向を測定するために用いられる。この例では、視線測定装置３０は、図１に示すように表示装置１４の上部に取り付けられている。
The line-of-
なお、視線方向の測定には、この例では、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、強膜トラッカー法、ＥＯＧ（Electro-oculography）法、サーチコイル法など他の公知の方法を用いてもよい。他の方法を用いる場合、視線測定装置３０においては、視線方向の測定に用いる方法に応じた構成で、ユーザの視線の情報を取得するようにすればよい。
In this example, for the measurement of the line-of-sight direction, a known method of measuring the line-of-sight direction by the corneal reflection method using a Purkinje image is used, but the sclera tracker method, EOG (Electro-oculography) method, search coil method, etc. Other known methods may be used. When using another method, the line-of-
［情報処理装置１０の機能構成］
図２は、本発明の第１実施形態に係る情報処理装置１０の機能構成を示すブロック図である。情報処理装置１０は、認識空間設定機能１００、ジェスチャ入力機能２００、視線認証判定機能３００、検知部５００、および実行部７００を有する。
[Functional configuration of information processing apparatus 10]
FIG. 2 is a block diagram showing a functional configuration of the
検知部５００は、物体検知装置２０から出力される測定信号に基づいて、検知した物体に応じた検知データを出力する。検知データは、測定信号から検知範囲において検知された物体の形状（例えば輪郭）を認識可能なデータであれば、どのようなデータであってもよい。また、検知データは、物体の形状の概略（例えば、物体の軸など）を示すデータが含まれていてもよい。なお、検知部５００は、物体検知装置２０に含まれていてもよい。
The
認識空間設定機能１００は、検知部５００からの検知データに基づいて、上述した検知範囲に存在する物体の一端部の位置を認識して、その周囲に認識空間を設定する機能を有する。この例では、物体は、ユーザの手および腕であり、物体の一端部とは手（指を含む）の部分を意味する。以下の説明では、物体は、ユーザの手および腕であるものとする。認識空間とは、検知範囲における手の周囲に設定され、この手の動きに注目してジェスチャを認識するために設定される。
The recognition
ジェスチャ入力機能２００は、検知部５００からの検知データに基づいて、認識空間における手（特に指）の動きまたは形状をジェスチャとして認識し、ジェスチャに対応する指示を装置に対して入力された指示として決定する機能を有する。また、この例では、操作部１３への操作に基づいて装置に対して入力された指示を決定する機能も有している。
The
視線認証判定機能３００は、視線測定装置３０からの測定信号に基づいて、ユーザの視線方向を測定し、その視線が表示装置１４に表示された所定の領域を向いているかどうかを判定する機能を有している。なお、認識空間設定機能１００、ジェスチャ入力機能２００および視線認証判定機能３００の詳細については後述する。
The line-of-sight
実行部７００は、ジェスチャ入力機能２００および視線認証判定機能３００の処理により決定された指示に基づく処理を実行して、電子機器１の動作を制御する。このとき、ジェスチャ入力機能２００および視線認証判定機能３００における処理の結果に応じて、指示に基づく処理が実行されなかったり、処理内容が変更されたりする場合もある。
The
［認識空間設定機能１００］
図３は、本発明の第１実施形態に係る認識空間設定機能１００の構成を示すブロック図である。認識空間設定機能１００は、領域特定部１１０、基準点設定部１２０、操作部１３０および認識空間設定部１４０の各機能を用いて実現される。以下に詳述する認識空間設定機能１００を用いた処理については、この例では、ユーザによる操作部１３への開始指示が入力されると実行される。なお、この処理は、一定間隔で実行されてもよいし、予め決められたスケジュールにしたがって実行されてもよいし、検知範囲において手などの予め決められた物体が検知されると実行されてもよい。
[Recognition space setting function 100]
FIG. 3 is a block diagram showing the configuration of the recognition
領域特定部１１０は、検知部５００から出力される検知データに基づいて、検知範囲において検知された物体の輪郭から、手および腕の領域（以下、物体領域という）を特定する。この例では、腕の伸びる方向に沿った軸線Ｌ（図４参照）についても特定する。
Based on the detection data output from the
基準点設定部１２０は、特定された物体領域に基づいて、後述する走査の開始点となる基準点Ｃを、図４に示すようにして設定する。
Based on the identified object region, the reference
図４は、本発明の第１実施形態に係る走査部１３０における基準点Ｃを設定する方法の一例を説明する図である。図４に示す中心点Ｐは、検知範囲全体における中心の位置を示している。基準点設定部１２０は、中心点Ｐから鉛直方向に線を伸ばし、軸線Ｌとの交点を基準点Ｃとして設定する。なお、基準点Ｃは、軸線Ｌ上の中心点Ｐから最も近い点としてもよいし、また、軸線Ｌまたは中心点Ｐを用いない方法を含めて他の方法で設定されてもよいが、物体領域（手１０００および腕２０００）に設定されることが望ましく、物体領域から指を除いた領域に設定されることがさらに望ましい。
FIG. 4 is a diagram illustrating an example of a method for setting the reference point C in the
図３に戻って説明を続ける。走査部１３０は、基準点Ｃを囲む走査線ＳＬを設定し、走査線ＳＬが基準点Ｃから拡がるようにして、検知範囲を走査する（図６参照）。走査線ＳＬの形状は、この例では円形であるが、楕円形、矩形など、基準点Ｃを囲む形状であれば、どのような形状であってもよい。
Returning to FIG. 3, the description will be continued. The
認識空間設定部１４０は、走査線ＳＬと物体領域とが重なる部分が、走査線ＳＬの一部かつ１つの連続した線となる条件（以下、特定条件という）を満たすときの走査線ＳＬの形状に基づいて、認識空間を設定する。この認識空間を設定するための方法について、以下、図５から図１０を用いて具体的に説明する。
The recognition
図５は、本発明の第１実施形態に係る認識空間設定部１４０において認識空間を設定する処理を示すフローチャートである。まず、認識空間設定部１４０は、走査線ＳＬと物体領域（手１０００および腕２０００）との重なる部分（以下、重畳部分という）が特定条件を満たすか否かを判定する（ステップＳ１１０）。特定条件を満たさない場合（ステップＳ１１０；Ｎｏ）には、この判定が続いて行われる。そのため、この判定は、特定条件を満たすと判定される（ステップＳ１１０；Ｙｅｓ）まで、走査部１３０による走査線ＳＬの拡大に伴って、一定間隔で実行されることになる。頂上部分が特定条件を満たす場合（ステップＳ１１０；Ｙｅｓ）には、認識空間設定部１４０は、特定条件を満たす走査線ＳＬの形状を特定する（ステップＳ１２０）。以下、特定された走査線ＳＬの形状を特定形状という。ステップＳ１１０、Ｓ１２０の処理について、図６を用いて具体的に説明する。
FIG. 5 is a flowchart showing processing for setting a recognition space in the recognition
図６は、本発明の第１実施形態に係る認識空間設定部１４０における走査線形状の特定方法の一例を説明する図である。走査線ＳＬ（１）、ＳＬ（２）、ＳＬ（３）は、基準点Ｃから拡がる走査線ＳＬを示している。図６においては、走査線ＳＬ（１）、ＳＬ（２）、ＳＬ（３）は破線で示され、そのうち重畳部分は太い実線で示されている。走査線ＳＬ（３）まで拡がると、走査線ＳＬ（３）は物体領域のうち腕２０００の部分だけ重畳することになる。すなわち、重畳部分ＬＯ（３）は特定条件を満たすことになり、認識空間設定部１４０は、走査線ＳＬ（３）の形状を特定形状として特定する。
FIG. 6 is a diagram for explaining an example of a scanning line shape specifying method in the recognition
なお、特定条件を満たすかどうかについては、この方法に限らず、他の方法を用いてもよい。例えば、走査線ＳＬと物体領域の輪郭部分との交点の数を抽出し、交点が２点になった場合になど、間接的に特定条件を満たすかどうか判定してもよい。このように、特定条件を満たすかどうかを判定するための方法は、重畳部分の状態を直接的に判定するだけでなく間接的に判定する方法も含む。 Note that whether or not the specific condition is satisfied is not limited to this method, and other methods may be used. For example, the number of intersections between the scanning line SL and the contour portion of the object region may be extracted, and it may be determined whether or not the specific condition is indirectly satisfied, for example, when the number of intersections becomes two. As described above, the method for determining whether or not the specific condition is satisfied includes not only a direct determination of the state of the superimposed portion but also a determination method indirectly.
図５に戻って説明を続ける。続いて、認識空間設定部１４０は、特徴位置を特定する（ステップＳ１３０）。この例では、特徴位置は手１０００と腕２０００との間の手首の位置である。特徴位置の特定方法の一例について、図７を用いて説明する。
Returning to FIG. Subsequently, the recognition
図７は、本発明の第１実施形態に係る認識空間設定部１４０における特徴位置の特定方法の一例を説明する図である。認識空間設定部１４０は、特定形状（走査線）ＳＬ（３）を軸線Ｌに沿って平行移動させる。この例では、ＳＬ（３）、ＳＬ（４）、ＳＬ（５）の順に変化させる。この平行移動に伴い、重畳部分ＬＯがＬＯ（３）、ＬＯ（４）、ＬＯ（５）の順で変化し、重畳部分ＬＯの長さが変化する。認識空間設定部１４０は、重畳部分ＬＯの長さの変化を算出し、その長さが急激に変化する（例えば、長さの変化量が予め決められた閾値を超えた場合など）部分を手首（特徴位置）として特定する。図７に示す例では、重畳部分ＬＯ（４）に相当する位置を特徴位置として特定する。
FIG. 7 is a diagram for explaining an example of a feature position specifying method in the recognition
なお、上述したように、重畳部分ＬＯを、走査線ＳＬと物体領域の輪郭部分との２つの交点により認識する場合には、重畳部分ＬＯの長さに対応して２つの交点間の距離を用いればよい。 As described above, when the overlapping portion LO is recognized by two intersection points between the scanning line SL and the contour portion of the object region, the distance between the two intersection points is set corresponding to the length of the overlapping portion LO. Use it.
図５に戻って説明を続ける。続いて、認識空間設定部１４０は、特徴位置を特定すると、特定条件を満たす範囲で、特徴位置を基準とした特定形状の調整を行う（ステップＳ１４０）。特定形状の調整方法の一例について、図８を用いて説明する。
Returning to FIG. Subsequently, when the feature space is specified, the recognition
図８は、本発明の第１実施形態に係る認識空間設定部１４０における特定形状の調整方法の一例を説明する図である。この例では、特定形状（走査線）ＳＬ（４）と軸線Ｌとの交点のうち、特徴位置側の交点Ｄ１を固定して、特定形状の直径Ｒを調整する。このとき、特定形状は、特定条件を満たす範囲（所定のマージンを設けてもよい）において、直径Ｒが最小になるように調整される。図８に示す例では、特定形状ＳＬ（４）は、軸線Ｌとの交点Ｄ１、Ｄ２を結ぶ直径Ｒの特定形状ＳＬ（６）に調整される。
FIG. 8 is a diagram illustrating an example of a specific shape adjustment method in the recognition
直径Ｒが最小になるように調整するときには、例えば、以下の方法で行えばよい。まず、交点Ｄ１を固定して、特定条件を満たさなくなる（例えば、特定形状が手１０００の指の部分と重なる状態）まで特定形状を小さくする。そして、特定条件を満たさなくなる直前の大きさ（例えば、特定形状が手１０００の指の部分と重ならない状態）に特定形状大きさを調整すればよい。なお、この調整の方法は一例であって、特定条件を満たす範囲で、特徴位置を基準とした調整がなされれば、別の方法であってもよい。 When adjusting so that the diameter R is minimized, for example, the following method may be used. First, the intersection point D1 is fixed, and the specific shape is reduced until the specific condition is not satisfied (for example, the specific shape overlaps the finger portion of the hand 1000). Then, the specific shape size may be adjusted to the size immediately before the specific condition is not satisfied (for example, the specific shape does not overlap the finger portion of the hand 1000). Note that this adjustment method is an example, and another method may be used as long as the adjustment is performed based on the characteristic position within a range that satisfies the specific condition.
図５に戻って説明を続ける。続いて、認識空間設定部１４０は、調整後の特定形状に基づいて、認識空間を設定する（ステップＳ１５０）。認識空間の設定方法の一例について、図９を用いて説明する。
Returning to FIG. Subsequently, the recognition
図９は、本発明の第１実施形態に係る認識空間設定部１４０における認識空間の設定方法の一例を説明する図である。この例では、認識空間は、交点Ｄ１を中心とし、調整後の特定形状ＳＬ（６）の直径Ｒを半径とする球ＲＡとして設定される。なお、マージンを考慮して、この半径はＲでなくＲ×（１＋α）（ここでαは誤差許容割合を表す正の値）にしてもよい。また、認識空間は球でなくてもよく、例えば、楕円体、直方体、半球など、様々な形状にしてもよい。いずれの場合であっても、調整後の特定形状ＳＬ（６）（例えば、直径）に基づいて決められればよく、特徴位置（手首）を固定した状態で物体の一端部側（手１０００）が可動する範囲を含むようになっていることが望ましい。
FIG. 9 is a diagram illustrating an example of a recognition space setting method in the recognition
ここで、手１０００を動かしてジェスチャをする場合、手１０００は、手首を中心にして動く。そのため、手首を特徴位置として、その近傍に認識空間の中心を設定することにより、手１０００がどのように動いても、手１０００の挙動を測定することができる。また、手１０００以外の周囲の動きの影響により誤認識を少なくすることができる。このようにして設定された認識空間は、ジェスチャ入力機能２００（挙動測定部２１０）において用いられる。
Here, when making a gesture by moving the
なお、手１０００は腕側に曲げられる限界が存在する。そのため、認識空間の球ＲＡの中心は、Ｄ１とするのではなく、Ｄ１より指先側（Ｄ２側）に移動させた点としてもよい。この中心は、調整後の特定形状ＳＬ（６）と物体領域の輪郭との２つの交点の中点としてもよい。このように中心がＤ１でないときの半径は、この中心からＤ２までの距離としてもよい。
There is a limit that the
［ジェスチャ入力機能２００］
図１０は、本発明の第１実施形態に係るジェスチャ入力機能２００の構成を示すブロック図である。ジェスチャ入力機能２００は、挙動測定部２１０および決定部２２０の各機能を用いて実現される。
[Gesture input function 200]
FIG. 10 is a block diagram showing a configuration of the
挙動測定部２１０は、検知部５００から出力される検知データに基づいて、認識空間における物体の少なくとも一部の挙動を測定する。この例では、挙動測定部２１０は、物体の少なくとも一部（この例では５本の指の先端部）の座標を算出する座標算出手段として機能する。なお、座標が算出される指は、この例では５本の指全てであるが、一部の指であってもよいし、１本の指のみであってもよい。
The
このとき、挙動測定部２１０は、検知データに含まれる情報のうち、認識空間における情報を抽出して座標の算出をすればよい。そのため、情報処理の負荷を少なくすることができ、また、座標の算出における分解能を向上させることもできる。より精度を向上させるため、検知範囲を認識空間近傍に絞り込むように物体検知装置２０の光学系（レンズ倍率など）を調整してもよいし、認識空間近傍において検知センサ２１が照射するパターンの密度（ドットパターンの密度など）を高めてもよい。
At this time, the
図１１は、本発明の第１実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。挙動測定部２１０は、手１０００の親指１００１の先端の座標Ａ、人差し指１００２の先端の座標Ｂ、中指１００３の先端の座標Ｃ、薬指１００４の先端の座標Ｄ、小指１００５の先端の座標Ｅを算出する。挙動測定部２１０は、各指の位置の変化に追従して、所定間隔で座標を算出し続ける。なお、座標の原点については、検知範囲の特定の位置としてもよいし、認識空間の特定の位置（球ＲＡの中心など）としてもよいし、手１０００のいずれかの位置（例えばいずれかの指の先端）の座標を原点としてもよい。例えば、親指の先端の座標を原点とする場合には、他の指の座標は、親指を基準とした相対的な座標として算出されることになる。
FIG. 11 is a diagram for explaining the positions of coordinates calculated by the
図１０に戻って説明を続ける。決定部２２０は、挙動測定部２１０において算出された座標（以下、算出座標という）に基づいて、ユーザの装置に対する指示を決定する。この例では、決定部２２０は、ジェスチャの種類と指示の種類とを対応付けた照合用テーブル、および算出座標に基づいて、ユーザからの装置に対する指示を決定する。指示には、例えば、ＯＫ、ＮＧなどの判断を入力する指示の他、特定の処理（メニュー画面の呼び出し、プログラムの実行、ページ切り替え、画面のスクロール、拡大縮小など）を行うための指示などがある。なお、後述するように、決定部２２０は、視線認証判定機能３００における判定結果などにより、決定する指示が変更されたり、指示の決定が行われなかったりする場合もある。また、決定部２２０は、操作部１３への操作に基づいて指示を決定する場合もある。
Returning to FIG. The determining
図１２は、本発明の第１実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。図１２に示すように照合用テーブルは、ジェスチャの種類と指示の種類とが対応付けられている。図１２に示す例では、ジェスチャＡと指示ａとが対応付けられ、ジェスチャＢと指示ｂが対応付けられ、ジェスチャＡからジェスチャＢに変化する場合として指示ｃが対応付けられている。
FIG. 12 is a diagram for explaining a collation table used in the
図１３は、本発明の第１実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。この例では、ジェスチャＡについては、図１３（ａ）に示すジェスチャであり、そのジェスチャＡの定義のため各指の算出座標の相対関係が図示のとおり決められている。すなわち、ジェスチャＡは、座標ＡからＥが縦に並んだような形状として定義されている。 FIG. 13 is a diagram for explaining an example of a gesture defined in the collation table according to the first embodiment of the present invention. In this example, the gesture A is a gesture shown in FIG. 13A, and the relative relationship between the calculated coordinates of each finger is determined as shown in the figure for the definition of the gesture A. That is, the gesture A is defined as a shape in which coordinates A to E are arranged vertically.
一方、ジェスチャＢについては、図１３（ｂ）に示すジェスチャであり、そのジェスチャＢの定義のため各指の算出座標の相対関係が図示のとおり決められている。すなわち、ジェスチャＢは、座標Ｂ、Ｃが情報に分離して横に並び、座標Ａ、Ｄ、Ｅが座標Ｂ、Ｃの下方で集まった形状として定義されている。ジェスチャＡからジェスチャＢに変化する場合とは、図１３（ａ）に示すジェスチャから図１３（ｂ）に示すジェスチャに変化させる動作をする場合を示している。 On the other hand, the gesture B is a gesture shown in FIG. 13B, and the relative relationship of the calculated coordinates of each finger is determined as shown in the figure for the definition of the gesture B. That is, the gesture B is defined as a shape in which the coordinates B and C are separated into information and arranged side by side, and the coordinates A, D, and E are gathered below the coordinates B and C. The case of changing from the gesture A to the gesture B indicates a case of performing an operation of changing from the gesture shown in FIG. 13A to the gesture shown in FIG.
なお、ここでは、右手用のジェスチャを示して説明したが、左手用のジェスチャについても定義されていてもよい。いずれの手のジェスチャが適用されるかについては、上述した認識空間設定部１４０において特定された特徴位置と物体の一端部との位置関係（いずれが相対的に左側に存在するかなど）から決定してもよい。
In addition, although the right hand gesture is shown and described here, the left hand gesture may also be defined. Which hand gesture is applied is determined from the positional relationship between the feature position specified in the recognition
図１４は、本発明の第１実施形態に係る決定部２２０における処理を示すフローチャートである。決定部２２０は、各指に対応する算出座標の位置の変化から、各指に対応する算出座標の変化速度を算出し、最も動きの速い指の速度を変化速度Ｖｆとする。なお、変化速度Ｖｆは、各指の算出座標の変化速度に基づいて決められていればよく、各指の算出座標の変化速度の平均値などであってもよいし、特定の指の算出座標の変化速度であってもよい。
FIG. 14 is a flowchart showing processing in the
決定部２２０は、変化速度Ｖｆは第１の速度Ｖ１（この例では３０ｃｍ／秒）以上であるかを判定する（ステップＳ２１０）。変化速度Ｖｆが第１の速度Ｖ１未満である場合（ステップＳ２１０；Ｎｏ）には、この判定が続いて行われる。変化速度Ｖｆが第１の速度Ｖ１以上となる（ステップＳ２１０；Ｙｅｓ）と、決定部２２０は、変化速度Ｖｆが第２の速度Ｖ２以上の状態で第１の時間Ｔ１を経過したかどうかを判定し（ステップＳ２２１）、経過していない場合（ステップＳ２２１；Ｎｏ）には、変化速度Ｖｆが第２の速度Ｖ２未満まで減速したかを判定する（ステップＳ２２２）。なお、第２の速度Ｖ２は、第１の速度Ｖ１よりも遅い速度（この例では０．５ｃｍ／秒）である。具体的には、第２の速度Ｖ２は、静止状態とみなせる速度であることが望ましい。
The
変化速度Ｖｆが第２の速度Ｖ２未満まで減速せず（ステップＳ２２２；Ｎｏ）に、第１の時間Ｔ１（この例では０．５秒）を経過した場合（ステップＳ２２１；Ｙｅｓ）には、ステップＳ２１０に戻る。 If the first time T1 (0.5 seconds in this example) has elapsed (step S221; Yes) without the change speed Vf decelerating to less than the second speed V2 (step S222; No), the step Return to S210.
第１の時間Ｔ１を経過する前（ステップＳ２２１；Ｎｏ）に、変化速度Ｖｆが第２の速度Ｖ２未満まで減速した場合（ステップＳ２２２；Ｙｅｓ）には、決定部２２０は、変化速度Ｖｆが第２の速度Ｖ２未満の状態で第２の時間Ｔ２（この例では１秒）を経過したかどうかを判定する（ステップＳ２２３）。第２の時間Ｔ２を経過していない場合には、ステップＳ２２２に戻る。
If the change speed Vf decelerates to less than the second speed V2 (step S222; Yes) before the first time T1 has elapsed (step S221; No), the
変化速度Ｖｆが第２の速度Ｖ２未満で第２の時間Ｔ２を経過した場合（ステップＳ２２３；Ｙｅｓ）には、各指の算出座標（第１座標）を記憶する（ステップＳ２３０）。その後、決定部２２０は、変化速度Ｖｆが第１の速度Ｖ１以上であるかを判定する（ステップＳ２４０）。第１の速度Ｖ１未満（ステップＳ２４０；Ｎｏ）で第３の時間Ｔ３が経過した場合（ステップＳ２５０；Ｙｅｓ）には、決定部２２０は、ステップＳ２３０で記憶した第１座標と照合用テーブルのジェスチャの種類とを照合して、第１座標に対応する指示の種類を決定する（ステップＳ２８０）。そして、ステップＳ２１０に戻る。
When the change speed Vf is less than the second speed V2 and the second time T2 has elapsed (step S223; Yes), the calculated coordinates (first coordinates) of each finger are stored (step S230). Thereafter, the
一方、第３の時間Ｔ３（この例では１秒）が経過する前（ステップＳ２５０；Ｎｏ）に、変化速度Ｖｆが第１の速度Ｖ１以上になった場合（ステップＳ２４０；Ｙｅｓ）には、ステップＳ２６１に進む。ステップＳ２６１からステップＳ２６３については、ステップＳ２２１からステップＳ２２３までの処理と同様であるため説明を省略する。 On the other hand, if the change speed Vf becomes equal to or higher than the first speed V1 (step S240; Yes) before the third time T3 (1 second in this example) has elapsed (step S250; No), the step The process proceeds to S261. Steps S261 to S263 are the same as the processes from Step S221 to Step S223, and thus the description thereof is omitted.
変化速度Ｖｆが第２の速度Ｖ２未満で第２の時間Ｔ２を経過した場合（ステップＳ２６３；Ｙｅｓ）には、各指の算出座標（第２座標）を記憶する（ステップＳ２７０）。そして、決定部２２０は、ステップＳ２３０で記憶した第１座標からステップＳ２７０で記憶した第２座標への変化と、照合用テーブルのジェスチャの種類とを照合して、この変化に対応する指示の種類を決定する（ステップＳ２８０）。そして、ステップＳ２１０に戻る。このように決定された指示により実行部７００が実行される。なお、ステップＳ２８０において決定された指示が、ジェスチャ入力を終了する指示である場合には、ステップＳ２１０に戻らずに終了してもよい。また、ジェスチャ入力を終了する指示は、ユーザによる操作部１３への操作によって行われてもよいし、検知範囲に一定期間にわたって手が検知されなくなった時に行われてもよい。
When the change speed Vf is less than the second speed V2 and the second time T2 has elapsed (step S263; Yes), the calculated coordinates (second coordinates) of each finger are stored (step S270). Then, the
決定部２２０は、上述のフローで処理をすることにより、ユーザの指の動きが一定速度以上で動いてから、一定期間にわたってほぼ静止した状態で場合に、ジェスチャとして認識する。本発明者は、ユーザがジェスチャ入力をしようとする意図があるときには、指を早く動かして意図するジェスチャに応じた状態で指をしばらく止めるという動作を行う一方、ジェスチャ入力の意図がない場合または入力の開始をするまでは、指の動きが遅いことに着目した。
The
例えば、手を広げた状態をジェスチャとして認識させる場合を想定すると、一般に、ユーザは、手をゆっくりとつぼめた後、急激に広げる動作をすることが多い。例えば、以下の（１）から（３）に示す流れになる。
（１）ジェスチャ入力を意図するまでは、手（指）の動きが遅い。したがって、ジェスチャ認識の対象外となる。
（２）ジェスチャを開始する準備として、手をつぼめるまでの動きは、手（指）の動きが遅い、または、手をつぼめた後の静止時間がほとんどない。したがって、ジェスチャ認識の対象外となる。
（３）ジェスチャとして認識させるために、手を広げる動きは、手（指）の動きが速く、手を広げた後の静止時間が存在する。したがって、ジェスチャ認識の対象となる。
For example, assuming that a hand is spread out as a gesture, in general, a user often performs an operation of suddenly spreading a hand after slowly picking up the hand. For example, the flow is as shown in (1) to (3) below.
(1) The hand (finger) moves slowly until a gesture input is intended. Therefore, it is not subject to gesture recognition.
(2) As a preparation for starting a gesture, the hand (finger) moves slowly until the hand is picked up, or there is little rest time after the hand is picked up. Therefore, it is not subject to gesture recognition.
(3) In order to recognize as a gesture, the movement of spreading the hand has a fast movement of the hand (finger), and there is a stationary time after the hand is spread. Therefore, it becomes an object of gesture recognition.
［視線認証判定機能３００］
図１５は、本発明の第１実施形態に係る視線認証機能３００の構成を示すブロック図である。視線認証判定機能３００は、視線測定部３１０、表示制御部３２０および判定部３３０の各機能を用いて実現される。
[Gaze authentication determination function 300]
FIG. 15 is a block diagram showing a configuration of the line-of-
視線測定部３１０は、視線測定装置３０から出力される撮影信号を用いて、ユーザの視線方向を測定し、ユーザの視線が表示装置１４のどの部分に向いているかを算出する。視線方向の測定には、上述したとおり、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、他の公知の方法を用いてもよい。
The line-of-
表示制御部３２０は、表示装置１４の表示を制御する機能を有し、認証領域を含む確認画面を表示装置１４に表示させる。
The
図１６は、本発明の第１実施形態に係る表示装置１４に表示される確認画面の例を説明する図である。確認画面には、少なくとも１つの認証領域が設けられ、図１６に示す例では、認証領域Ｗ１、Ｗ２、Ｗ３が設けられている。また、ＶＰは、視線測定部３１０の算出結果に基づいて得られるユーザの視線が向いている表示装置１４上の位置（以下、視線位置ＶＰという）を示している。この視線位置ＶＰは表示装置１４に表示されてもよいし、表示されなくてもよい。
FIG. 16 is a diagram illustrating an example of a confirmation screen displayed on the
確認画面とは、銀行などにおいて行われる業務上確認が必要な画面、ソフトウエアの利用規約を表示する画面など、ユーザが確認すべき内容として表示装置１４に表示される画面である。確認すべき項目、特に重要な項目など、ユーザが視認するべき項目については、予め設定された認証領域に表示される。図１６に示すように認証領域が複数存在する場合には、ユーザが視認すべき順番（認証順）が決められている。これは、認証領域に対応付けて予め決められていてもよいし、表示装置１４における認証領域の位置関係（画面の上であるほど早い順番など）に基づいて決められてもよい。
The confirmation screen is a screen that is displayed on the
この例では、認証領域Ｗ１、Ｗ２、Ｗ３の順に認証順が１番目、２番目、３番目として決められている。図１６に示す例では、認証領域Ｗ１には、２行の横書きの文字列が表示され、認証領域Ｗ２には、認証領域Ｗ１よりは文字数が少ないものの２行の横書きの文字列が表示され、認証領域Ｗ３には、１行の横書きの文字列が表示されている。なお、認証領域は、表示装置１４の画面全体として１つの領域であってもよい。
In this example, the authentication order is determined as the first, second, and third in the order of the authentication areas W1, W2, and W3. In the example shown in FIG. 16, two lines of horizontally written character strings are displayed in the authentication area W1, and two lines of horizontally written character strings are displayed in the authentication area W2, although the number of characters is smaller than that of the authentication area W1. In the authentication area W3, one line of horizontal character string is displayed. Note that the authentication area may be one area for the entire screen of the
図１５に戻って説明を続ける。判定部３３０は、視線位置ＶＰと認証領域との関係に基づいて、ユーザが確認画面を確認したかどうかを判定する。
Returning to FIG. 15, the description will be continued. The
図１７は、本発明の第１実施形態に係る判定部３３０における処理を示すフローチャートである。まず、判定部３３０は、視線位置ＶＰが最初の認証領域（図１６の例では認証領域Ｗ１）に存在（所定のマージンを許容してもよい）するかどうかの判定を続ける（ステップＳ３１０；Ｎｏ）。視線位置ＶＰが最初の認証領域に存在することを検出する（ステップＳ３１０；Ｙｅｓ）と、判定部３３０は、次の認証順になっている認証領域が存在するかどうかを判定する（ステップＳ３２０）。
FIG. 17 is a flowchart showing processing in the
次の認証順になっている認証領域が存在する場合（ステップＳ３２０；Ｙｅｓ）には、判定部３３０は、視線位置ＶＰが次の認証領域に存在するかどうかの判定を続ける（ステップＳ３３０；Ｎｏ）。なお、所定時間経過しても視線位置ＶＰが次の認証領域に存在することを検出できない場合には、認証領域を視認する一連の処理が中断されたものとみなし、これまでの処理をリセットし、ステップＳ３１０から再び処理を開始するようにしてもよい。
If there is an authentication area in the next authentication order (step S320; Yes), the
視線位置ＶＰが次の認証領域に存在することを検出する（ステップＳ３３０；Ｙｅｓ）と、再びステップＳ３２０の処理に戻る。次の認証順になっている認証領域が存在しない場合（ステップＳ３２０；Ｎｏ）には、判定部３３０は、ユーザによって確認画面が確認されたことを判定（ステップＳ３４０）して、処理を終了する。以下、この判定をユーザ確認判定という。
When it is detected that the line-of-sight position VP is present in the next authentication area (step S330; Yes), the process returns to step S320 again. If there is no authentication area in the next authentication order (step S320; No), the
ここで、判定部３３０は、視線位置ＶＰが移動するときに認証領域の一部を通過することを条件に、視線位置ＶＰが認証領域に存在することを判定すればよいが、他の条件により判定してもよい。以下、判定を行うために取り得る様々な条件について、以下の（ａ）から（ｃ）として例示する。
Here, the
（ａ）視線位置ＶＰが所定時間連続して認証領域に留まっていること。なお、所定時間は、認証領域に表示されている文字の量に応じて、認証領域ごとに決められていてもよい。
（ｂ）視線位置ＶＰが認証領域で所定時間静止していること。なお、所定時間は、認証領域に表示されている文字の量に応じて、認証領域ごとに決められていてもよい。
（ｃ）視線位置ＶＰが認証領域に表示されている文字列の向き（予め決められた範囲でずれてもよい）に沿って移動したと検出されたこと。すなわち、横書きであれば概ね水平方向に沿って視線位置ＶＰが移動し、縦書きであれば概ね鉛直方向に沿って視線位置ＶＰが移動すること。なお、複数行にわたって文字列が表示されている場合には、視線位置ＶＰが文字列に沿って移動したことが認証領域において、少なくとも文字列の行数分の回数、検出されたことを条件としてもよい。また、文字列の向きにそって移動する量は文字列の長さに応じて決められていてもよい。
(A) The line-of-sight position VP remains in the authentication area for a predetermined time continuously. Note that the predetermined time may be determined for each authentication area according to the amount of characters displayed in the authentication area.
(B) The line-of-sight position VP is stationary for a predetermined time in the authentication area. Note that the predetermined time may be determined for each authentication area according to the amount of characters displayed in the authentication area.
(C) It has been detected that the line-of-sight position VP has moved along the direction of the character string displayed in the authentication area (which may be shifted within a predetermined range). That is, the line-of-sight position VP moves approximately along the horizontal direction in horizontal writing, and the line-of-sight position VP moves approximately along the vertical direction in vertical writing. In the case where a character string is displayed over a plurality of lines, on the condition that the line-of-sight position VP has been detected in the authentication area at least as many times as the number of lines of the character string in the authentication area. Also good. Further, the amount of movement along the direction of the character string may be determined according to the length of the character string.
図１５に戻って説明を続ける。上述の判定部３３０における判定結果は、決定部２２０および実行部７００における処理に反映される。例えば、実行部７００における処理に反映される場合には、実行部７００は、ユーザ確認判定がされると、確認画面に対応して決められた処理（次の確認画面への遷移など）を実行するようにしてもよい。また、ユーザ確認判定がなされるまで、決定部２２０によって決定された指示に基づく処理を実行しないようにしてもよい。
Returning to FIG. 15, the description will be continued. The determination result in the
決定部２２０における処理に反映される場合には、決定部２２０は、ユーザ確認判定を条件として、装置に対する指示を決定してもよい。これにより、ユーザ確認判定がされない状態では、ユーザによる指示の入力が拒否される。また、ユーザ確認判定の有無に応じて、決定する指示の種類を変更してもよい。例えば、エラー画面に遷移したり、エラーを示すポップアップ表示をしたり、ユーザがどの認証領域を見ていないかの表示をしたりする指示に変更されてもよい。
When reflected in the processing in the
このように、ユーザが確認画面における認証領域を視認したかどうかを判定して、その判定結果を反映した処理を実行することにより、ユーザが確認すべき文章等の内容を読まずに、内容を確認したことを示す操作をして先に進んでしまうことがないようにすることができる。このとき、確認を要する認証領域が複数ある場合には、所定の順序でユーザが視認する必要がある場合が多い。しかしながら、ユーザがその順序とは異なる順序で視認した場合には、単に視線が認証領域に向いているだけで、内容を確認していない場合が考えられる。このような場合には、ユーザ確認判定をしないようにすることができるため、ユーザが内容を確認せずに先に進んでしまわないようにすることができる。 In this way, it is determined whether or not the user has visually recognized the authentication area on the confirmation screen, and the process reflecting the determination result is executed, so that the content is not read without reading the content such as the text to be confirmed by the user. It is possible to prevent the operation from proceeding by performing an operation indicating that it has been confirmed. At this time, when there are a plurality of authentication areas that require confirmation, the user often needs to visually recognize them in a predetermined order. However, when the user visually recognizes in an order different from the order, it may be considered that the line of sight is merely directed to the authentication area and the content is not confirmed. In such a case, since it is possible to prevent the user confirmation determination, it is possible to prevent the user from proceeding without confirming the contents.
［判定部３３０における別の処理例］
判定部３３０は、上述のように視線位置ＶＰが認証領域に所定の順番で存在したことでユーザ確認判定をしていたが、視線位置ＶＰが認証領域に存在している間のみユーザ確認判定をするようにしてもよい。すなわち、判定部３３０は、ユーザの視線が認証領域を向いていることを検出している（ユーザが認証領域を視認している）ときに、ユーザ確認判定をする。
[Another processing example in determination unit 330]
The
このような場合には、決定部２２０は、ユーザ確認判定がされている間（ユーザが認証領域を視認している間）にのみ、装置に対する指示を決定し、それ以外は決定をしないようにしてもよい。これにより、ユーザは、認証領域を視認しているときにのみ、ユーザはジェスチャまたは操作部１３への操作により、装置に対する指示を入力することができるようになる。なお、一部のジェスチャまたは操作部１３への操作については、ユーザ確認判定にかかわらず、装置に対する指示の決定がされるようにしてもよい。
In such a case, the
また、ユーザが認証領域を視認して一定時間においては、装置に対する指示を入力することができるようになっていてもよい。この場合には、判定部３３０は、視線位置ＶＰが認証領域に存在している間に加えて、認証領域に存在しなくなった後の一定時間についてもユーザ確認判定をするようにすればよい。このようにすると、ユーザが認証領域を視認した後、操作部１３を見ながら操作しても、装置に対する指示の入力をすることができる。
In addition, the user may be able to input an instruction to the apparatus for a predetermined time after visually recognizing the authentication area. In this case, the
認証領域が一画面において複数存在する場合には、決定部２２０は、ユーザがそれぞれの認証領域を視認してユーザ確認判定がされているときに、入力されたジェスチャまたは操作部１３への操作に基づいて、装置に対する指示を決定するようにすればよい。ここで、ユーザから操作の入力を受け付ける操作部１３と、ジェスチャの入力を受け付ける挙動測定部２１０とは、ユーザからの指示の入力を受け付ける入力受付手段として考えることもできる。
When there are a plurality of authentication areas on one screen, the
なお、視認されている認証領域と、入力されたジェスチャまたは操作部１３への操作との関係が、予め決められたものと対応する場合に、装置に対する指示が決定されるようにしてもよい。例えば、ユーザが認証領域Ｗ１を視認しながらジェスチャＡを行い、認証領域Ｗ２を視認しながらジェスチャＢを行い、認証領域Ｗ３を視認しながらジェスチャＡを行うという流れであった場合に、この流れに応じて装置に対する指示が決定されるようにしてもよい。
Note that an instruction to the apparatus may be determined when the relationship between the recognized authentication area and the input gesture or operation on the
このように、ユーザの視線が認証領域を向いているときに、決定部２２０による装置に対する指示が決定されることで、ユーザがよそ見をした状態で装置に対する指示を入力することを防ぐことができる。
As described above, when the user's line of sight faces the authentication area, the instruction to the apparatus by the
＜第２実施形態＞
本発明の第２実施形態においては、ジェスチャ入力機能２００における処理が第１実施形態とは異なっている。第２実施形態においては、ユーザの手１０００の指には長さを調整可能な伸縮装置が取り付けられた状態で、ジェスチャが入力される。
Second Embodiment
In the second embodiment of the present invention, the processing in the
図１８は、本発明の第２実施形態に係る挙動測定部２１０により算出される座標の位置と伸縮装置３０００の使用方法とを説明する図である。伸縮装置３０００は、手１０００の指先に取り付けられる。図１８に示す例では、人差し指に取り付けられている。この伸縮装置３０００は伸縮部３１００が設けられ、伸縮装置３０００に対する所定の操作により伸縮部３１００の長さが変化する。
FIG. 18 is a diagram for explaining the position of the coordinates calculated by the
例えば、伸縮部３１００の長さを伸縮させて多段階に変化させるときには、伸縮部３１００を縮める方向に押される操作、スイッチ等を操作、手１０００を振るなどして振動を与えて操作など、様々な操作が適用できる。このとき、振動を与えて伸縮させる構成である場合には、振動の強さにより伸縮部３１００の長さが変化するようにしてもよいし、一度の振動で一段階の伸縮をして振動を与えるたびに伸縮部３１００の長さが変化するようにしてもよい。この例では、伸縮部３１００は、５段階に長さが変化する。
For example, when the length of the expansion /
図１８（ａ）は伸縮部３１００が最も縮んだ状態を示し、図１８（ｂ）は伸縮部３１００が最も伸びた状態を示している。人差し指には伸縮装置３０００が取り付けられているため、挙動測定部２１０は、物体における突起先端部を認識して座標を算出するようにすれば、伸縮部３１００の先端部を人差し指の先端部として認識して、座標Ｂとして算出する。したがって、ユーザが同じジェスチャをした場合であっても、図１８（ａ）に示すように伸縮部３１００が最も縮んだ状態の場合と、図１８（ｂ）に示すように伸縮部３１００が最も伸びた状態の場合とでは、座標Ａ、Ｃ、Ｄ、Ｅが同じであっても、座標Ｂについては異なることになる。
FIG. 18A shows a state in which the expansion /
図１９は、本発明の第２実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。第２実施形態における照合用テーブルは、図１２に示す第１実施形態における照合用テーブルと概ね同じであるが、一部が異なっている。例えば、第２実施形態では、ジェスチャＢにおいては、伸縮部３１００の伸縮の段階（この例では５段階）に応じて、Ｂ１〜Ｂ５までジェスチャ種類が設定され、それぞれ異なる指示ｂ１〜ｂ５が対応付けられている。
FIG. 19 is a diagram illustrating a collation table used in the
図２０は、本発明の第２実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。この例では、図２０（ａ）はジェスチャＢ１（伸縮部３１００を最も縮めた状態）を示し、図２０（ｂ）はジェスチャＢ５（伸縮部３１００を最も伸ばした状態）を示す。いずれのジェスチャにおいてもユーザにとっては同じジェスチャである。したがって、図２０に示すように、各座標のうち、座標Ａ、Ｃ、Ｄ、Ｅのそれぞれについては、いずれのジェスチャでも共通の座標であるが、伸縮装置３０００を取り付けられている人差し指の座標Ｂについては、それぞれのジェスチャで異なる座標になる。
FIG. 20 is a diagram for explaining examples of gestures defined in the collation table according to the second embodiment of the present invention. In this example, FIG. 20A shows a gesture B1 (a state in which the expansion /
このようにすると、ユーザにとっては同じジェスチャであっても、伸縮部３１００の伸縮の段階に応じた数で異なるジェスチャとして認識させることができる。この例で示した５段階の伸縮が可能な場合には、ユーザにとって１つの同じジェスチャであっても、５通りの指示が可能である。また、各指に、５段階の伸縮が可能な伸縮装置３０００を取り付ければ、決定部２２０は、ユーザが同じジェスチャをしたとしても、５本の指×５段階で２５通りの種類の指示を決定することができる。
In this way, even if it is the same gesture for the user, it can be recognized as different gestures by the number corresponding to the expansion / contraction stage of the expansion /
＜第３実施形態＞
本発明の第３実施形態においては、第２実施形態で用いた伸縮装置３０００を座標の算出対象である指に取り付けるのではなく、座標の算出対象ではない部分に取り付ける伸縮装置３０１０について説明する。
<Third Embodiment>
In the third embodiment of the present invention, a description will be given of an expansion /
図２１は、本発明の第３実施形態に係る挙動測定部２１０により算出される座標の位置と伸縮装置３０１０の使用方法とを説明する図である。図２１に示すように、伸縮部３１１０を有する伸縮装置３０１０は、支持部材３３００を介してリストバンド３２００に支持されている。リストバンド３２００がユーザの手首に取り付けられると、図２１に示すように、伸縮部３１１０が手のひら部分に位置した状態となる。
FIG. 21 is a diagram for explaining the position of the coordinates calculated by the
この例においては、伸縮部３１１０が最も縮んだ状態（図２１（ａ））から、手のひらから外側（図２１においては下方）に向けて伸びる。図２１（ｂ）は、最も伸びた状態である。図２１に示すように、挙動測定部２１０は、各指の先端部の座標を算出するとともに、この例では伸縮装置３０１０の伸縮部３１１０の先端部の座標Ｚについてもさらに算出する。この座標Ｚは、手１０００における特定の位置（例えば、上述した交点Ｄ１など）を基準として算出して、手１０００全体の動きにかかわらず同じ座標が得られることが望ましい。なお、挙動測定部２１０は、指の先端部の座標を算出するときのアルゴリズムとは別に、伸縮装置３０１０の形状のような特定の形状を検出するアルゴリズムを用いて伸縮部３１１０の先端部の座標を算出してもよい。
In this example, the
なお、伸縮装置３０１０は、図２１のように伸縮部３１１０が伸びるように取り付けられるだけではなく、別の方向に伸びるように取り付けられてもよい。
In addition, the expansion /
図２２は、本発明の第３実施形態に係る伸縮装置３０１０の図２１とは異なる使用方法を説明する図である。図２１に示す例とは異なる場合として、例えば、図２２に示すように、伸縮部３１１０が手のひらに対して垂直方向に伸びるようにしてもよい。この場合には、座標Ｚは、手のひらからの距離を示す値として算出されてもよい。
FIG. 22 is a diagram for explaining a method of using the expansion /
図２３は、本発明の第３実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。第３実施形態における照合用テーブルは、図１２に示す第１実施形態における照合用テーブルに加えて、座標Ｚが対応付けられている。照合用テーブルに規定された座標ＺにおけるＺ１、Ｚ２、・・・は、伸縮部３１１０の伸縮の段階に対応している。すなわち、この例における照合用テーブルにおいては、ジェスチャの座標Ａ〜Ｅおよび座標Ｚの組み合わせに対して、各指示が対応付けられている。
FIG. 23 is a diagram illustrating a collation table used in the
図２３の照合用テーブルは、ジェスチャＡが同じ（座標Ａ〜Ｅが同じ）であっても伸縮部３１１０の伸縮の段階（座標Ｚ）によって異なる指示となる。そのため、決定部２２０は、ユーザが同じジェスチャをしたとしても、伸縮部３１１０の伸縮の段階の数に応じた種類の指示を決定することができる。なお、第１実施形態のような照合用テーブルを複数用い、それぞれに座標Ｚの値を対応付けておいてもよい。この場合、決定部２２０は、座標Ｚの値に応じて、照合用テーブルを切り替えて用いるようにすればよい。例えば、銀行業務等においてジェスチャによる入力を用いるときに、複数の照合用テーブルの各々を業務の種類毎に対応させるとよい。このように、伸縮部３１１０の伸縮により業務の種類を切り替えることもできる。これに連動して表示装置１４の表示を、切り替えられた業務の種類に対応した表示に切り替えてもよい。
In the collation table of FIG. 23, even if the gesture A is the same (the coordinates A to E are the same), the instructions differ depending on the expansion / contraction stage (coordinate Z) of the expansion /
＜第４実施形態＞
本発明の第４実施形態においては、第３実施形態のように伸縮する部分を有する伸縮装置３０１０を手１０００に取り付けるのではなく、発光素子が設けられた発光装置を取り付ける場合について説明する。なお、この場合には、物体検知装置２０において、発光素子からの発光を認識可能なイメージセンサを用い、挙動測定部２１０は、このイメージセンサからの出力に基づいて、発光素子からの発光色を特定する。
<Fourth embodiment>
In the fourth embodiment of the present invention, a case will be described in which a light emitting device provided with a light emitting element is attached instead of attaching the
図２４は、本発明の第４実施形態に係る発光装置３０５０の使用方法を説明する図である。第４実施形態においては、第３実施形態における伸縮装置３０１０に代えて、発光装置３０５０が取り付けられている。発光装置３０５０は、発光部３１５０が設けられている。発光部３１５０は、ＬＥＤなどの発光素子を有し、周囲に光を放射する。この例では、発光部３１５０は、ユーザの操作に応じて、赤色、緑色、青色をそれぞれ切り替えて発光する。ユーザの操作とは、伸縮装置３０００、３０１０の場合と同様に、スイッチ等を操作、手１０００を振るなどして振動を与えて操作など、様々な操作が適用できる。なお、発光部３１５０は、各色を組み合わせて中間色も発光されるようにしてもよいし、可視光以外が発光されるようにしてもよい。可視光以外の場合には、物体検知装置２０において、その光を検出可能なイメージセンサを用いればよい。
FIG. 24 is a diagram illustrating a method of using the
図２５は、本発明の第４実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。図１２に示す第１実施形態における照合用テーブルに加えて、発光色が対応付けられている。照合用テーブルに規定された発光色における赤、緑、・・・は、発光部３１５０の発光色に対応している。すなわち、この例における照合用テーブルにおいては、ジェスチャの座標Ａ〜Ｅおよび発光色の組み合わせに対して、各指示が対応付けられている。図２５の照合用テーブルは、ジェスチャＡが同じ（座標Ａ〜Ｅが同じ）であっても発光部３１５０の発光色によって異なる指示となる。なお、第３実施形態でも記載したとおり、照合用テーブルを複数用い、それぞれに発光色を対応付けておいてもよい。
FIG. 25 is a diagram illustrating a collation table used in the
図２６は、本発明の第４実施形態に係る発光装置３０６０の使用方法を説明する図である。上述の例では、リストバンド３２００を用いて発光装置３０５０を手１０００に取り付けていたが、図２６に示すように、指に取り付けられるようにしたリング状の発光装置３０６０を用いてもよい。発光装置３０６０は、指の周囲方向に光を放射する発光部３１６０を有する。このとき、複数の指に発光装置３０６０を設けて、それぞれの色の組み合わせにより発光色を定義してもよい。
FIG. 26 is a diagram illustrating a method of using the
なお、発光部３１５０、３１６０は、発光強度の時間変化（発光パターン）を変化させてもよい。このようにすれば、挙動測定部２１０は、発光部３１５０、３１６０からの発光と他の光とを区別しやすくなり、発光色の誤認識を減らすことができる。また、発光パターンが変更できるようになっていれば、発光パターンが異なることでジェスチャが同じでも指示を異ならせることもできる。発光パターンによる変化を用いるときには、発光部３１５０、３１６０から放射される光は単色でもよい。このように、第４実施形態では、挙動測定部２１０は発光部３１５０、３１６０における発光状態を測定する発光状態測定手段としても機能し、この発光状態が異なることでジェスチャが同じでも指示を異ならせることができる。
Note that the
＜第５実施形態＞
第５実施形態においては、上述した決定部２２０において、ジェスチャの変化、例えば、ユーザのジェスチャがジェスチャＡからＢに変化することの照合を行うときの照合の方法の一例について説明する。
<Fifth Embodiment>
In the fifth embodiment, an example of a collation method when the above-described
図２７は、本発明の第５実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。この例では、ジェスチャの種類としては、ジェスチャＡ→Ｂといったように、特定のジェスチャから別のジェスチャに変化する場合（以下、照合パターンという）として決められて、装置に対する指示が対応付けられている。照合パターンは、理想的なジェスチャの変化における各指の軌跡、およびその軌跡からの許容範囲が定められている。まず、照合パターンにおける軌跡と許容範囲とが、登録されるときの一例を説明する。以下に説明する照合パターンを登録する処理については、ＣＰＵ１１により実行される。このため、ＣＰＵ１１は、照合パターンを登録する処理を実行する登録手段としても機能する。
FIG. 27 is a diagram illustrating a collation table used in the
図２８は、本発明の第５実施形態に係る挙動測定部２１０により算出される座標の位置に基づいて決められる登録領域を説明する図である。まず、ＣＰＵ１１は、挙動測定部２１０により算出される手１０００の各指の先端部の座標の位置に基づいて登録領域ＳＡ、ＳＢ、・・・ＳＥを設定する。
FIG. 28 is a diagram illustrating a registration area determined based on the coordinate position calculated by the
図２９は、本発明の第５実施形態に係る登録領域の詳細を説明する図である。この例では、人差し指の先端部に設定される登録領域ＳＢを例として説明する。登録領域ＳＢは、挙動測定部２１０により算出される人差し指の先端部の座標Ｂを中心ＬＣＢとし、許容長ＡＲを半径とした球（球でなくてもよい）で定義される。許容長ＡＲは、予め決められている。許容長ＡＲは、各指に対応して決められていてもよいし、各指全てに対して共通に決められていてもよい。
FIG. 29 is a diagram illustrating details of a registration area according to the fifth embodiment of the present invention. In this example, the registration area SB set at the tip of the index finger will be described as an example. The registration area SB is defined by a sphere (not necessarily a sphere) having the center LCB as the coordinate B of the tip of the index finger calculated by the
図３０は、本発明の第５実施形態に係る照合パターンの例を説明する図である。照合パターンは、特定のジェスチャから別のジェスチャ（例えば、ジェスチャＡからジェスチャＢ）へ変化するときの軌跡ＴＣ及び許容長ＡＲで定められる。図３０においては、照合用テーブルに定められた各指に対応する照合パターンのうち、人差し指に対応して定められた照合パターンについて、軌跡ＴＣと許容長ＡＲとを模式的に表している。したがって、照合用テーブルに登録されている照合パターンについては、図３０に示す照合パターンが各指に対応して決められている。なお、照合用テーブルには、全ての指に対応した照合パターンが登録されていなくてもよく、１つの指だけに対応した照合パターンが登録されていていもよい。 FIG. 30 is a diagram illustrating an example of a collation pattern according to the fifth embodiment of the present invention. The collation pattern is defined by a trajectory TC and an allowable length AR when changing from a specific gesture to another gesture (for example, gesture A to gesture B). In FIG. 30, the trajectory TC and the allowable length AR are schematically shown for the matching pattern determined corresponding to the index finger among the matching patterns corresponding to each finger determined in the verification table. Therefore, for the collation patterns registered in the collation table, the collation pattern shown in FIG. 30 is determined corresponding to each finger. Note that the collation pattern corresponding to all fingers may not be registered in the collation table, and the collation pattern corresponding to only one finger may be registered.
開始点ＴＣｓは、軌跡ＴＣの開始位置であり、最初のジェスチャのときの中心ＬＣＢの位置を表している。終了点ＴＣｅは、軌跡ＴＣの終了位置であり、別のジェスチャに変わったときの中心ＬＣＢの位置を表している。軌跡ＴＣは、ジェスチャが変化するときの開始点ＴＣｓから終了点ＴＣｅに至る中心ＬＣＢの経路を表している。なお、ジェスチャＡ→Ｂ→Ａと変化する場合など、一度別のジェスチャに変化してから元に戻るという場合など、開始点ＴＣｓから終了点ＴＣｅとがほぼ同じ場所になることもある。 The start point TCs is the start position of the locus TC and represents the position of the center LCB at the time of the first gesture. The end point TCe is the end position of the trajectory TC, and represents the position of the center LCB when changed to another gesture. The trajectory TC represents the path of the center LCB from the start point TCs to the end point TCe when the gesture changes. Note that the start point TCs and the end point TCe may be almost the same place, such as when the gesture A → B → A is changed, and when the gesture is changed once and then returned to the original.
図３０に示すように、照合パターンは、指の先端部から一定範囲の登録領域が、ジェスチャの変化により移動して形成されたチューブ状の空間となる。この空間が許容範囲となる。軌跡ＴＣの各位置から、許容範囲の外縁ＡＥまでの距離は、許容長ＡＲの長さに対応する。例えば、軌跡ＴＣが直線であれば、外縁ＡＥは半径ＡＲの円柱の側面形状になる。 As shown in FIG. 30, the collation pattern is a tube-shaped space formed by moving a registration area within a certain range from the tip of the finger by a change in gesture. This space is an acceptable range. The distance from each position of the trajectory TC to the outer edge AE of the allowable range corresponds to the length of the allowable length AR. For example, if the locus TC is a straight line, the outer edge AE has a side surface shape of a cylinder having a radius AR.
この例では、照合用テーブルにおける照合パターンについては、上述のようにしてユーザによる実際のジェスチャを用いて登録されるが、このように登録される場合に限らず、各パラメータが数値として入力されるなどして、別の方法で登録されてもよい。ユーザによる実際のジェスチャを用いて登録する場合には、ユーザごとに異なる照合用テーブルを用いるようにしてもよい。この場合には、電子機器１を操作するユーザを識別する手段を電子機器１に設けるようにすればよい。そして決定部２２０は、識別されたユーザに対応する照合用テーブルを用いるようにすればよい。
In this example, the collation pattern in the collation table is registered using an actual gesture by the user as described above. However, the present invention is not limited to such registration, and each parameter is input as a numerical value. For example, it may be registered by another method. When registering using an actual gesture by a user, a different collation table may be used for each user. In this case, a means for identifying the user who operates the
続いて、決定部２２０が照合用テーブルを用いて、ユーザによるジェスチャの入力と照合パターンとを照合する場合の例について説明する。決定部２２０が照合を行う場合には、上述した各指の先端部に対応した登録領域を用いるのではなく、登録領域より狭い範囲の検出領域を用いる。
Next, an example will be described in which the
図３１は、本発明の第５実施形態に係る登録領域と検出領域との比較を説明する図である。この例では、人差し指の先端部に設定される検出領域ＣＢを例として説明する。検出領域ＣＢは、挙動測定部２１０により算出される人差し指の先端部の座標Ｂを中心ＬＣＢとし、検出長ＣＲを半径とした球で定義される。検出長ＣＲは、許容長ＡＲより短い長さとして、予め決められている。検出長ＣＲが許容長ＡＲの半分程度であることが望ましい。検出長ＣＲは、各指に対応して決められていてもよいし、各指全てに対して共通に決められていてもよい。決定部２２０は、このようにして決められた検出領域を用いて照合パターンとの照合を行う。
FIG. 31 is a diagram for explaining a comparison between a registration area and a detection area according to the fifth embodiment of the present invention. In this example, the detection area CB set at the tip of the index finger will be described as an example. The detection area CB is defined by a sphere having the center LCB as the coordinate B of the tip of the index finger calculated by the
図３２は、本発明の第５実施形態に係る検出領域と照合パターンとの照合について説明する図である。決定部２２０は、各指について、照合用テーブルに登録されている照合パターンと検出領域の時間変化とを比較して照合を行う。この検出領域は、各指の先端部に対応して算出された座標に基づいて決められているため、指が動いて算出された座標が時間変化すると、検出領域についても時間変化する。この照合は、以下のように行われる。なお、図３２では、人差し指の先端部における検出領域ＣＢを例として説明している。後述する図３３および図３４についても同様である。
FIG. 32 is a diagram illustrating collation between a detection region and a collation pattern according to the fifth embodiment of the present invention. The
まず、検出領域ＣＢの時間変化により検出領域ＣＢの通過した領域が、軌跡ＴＣ（開始点ＴＣｓから終了点ＴＣｅまで）をすべて含むこと、および許容長ＡＲから定まる外縁ＡＥより内部（許容範囲）に収まっていることの２条件を満たす照合パターンを、照合用テーブルから検索する。以下の説明において、この条件を満たす照合パターンを、検出領域と一致する照合パターンという。 First, the region through which the detection region CB has passed due to the time change of the detection region CB includes all the trajectory TC (from the start point TCs to the end point TCe), and inside (allowable range) from the outer edge AE determined from the allowable length AR. A collation pattern that satisfies the two conditions of being within the range is searched from the collation table. In the following description, a matching pattern that satisfies this condition is referred to as a matching pattern that matches the detection area.
図３３は、本発明の第５実施形態に係る検出領域と照合パターンとが一致しない場合の例について説明する図である。図３３に示すように、検出領域ＣＢが軌跡ＴＣを含まない状態になった場合であったり、検出領域ＣＢの一部が許容範囲外（外縁ＡＥよりも外側）に出てしまったりした場合には、検出領域ＣＢは、照合パターンと一致しないものとなる。なお、図３３に示すように、軌跡ＴＣのうち検出領域ＣＢが通過した部分については、通過部分ＴＣＤとして、破線で示している。図３４についても同様である。 FIG. 33 is a diagram for explaining an example in the case where the detection region and the verification pattern do not match according to the fifth embodiment of the present invention. As shown in FIG. 33, when the detection area CB does not include the locus TC, or when a part of the detection area CB goes out of the allowable range (outside the outer edge AE). The detection area CB does not match the verification pattern. As shown in FIG. 33, a portion of the trajectory TC through which the detection region CB has passed is indicated by a broken line as a passing portion TCD. The same applies to FIG.
図３４は、本発明の第５実施形態に係る検出領域と照合パターンとが一致した場合の例について説明する図である。図３４に示すように、検出領域ＣＢが、許容範囲内（外縁ＡＥよりも内側）に収まった状態で、開始点ＴＣｓから終了点ＴＣｅまでの軌跡ＴＣを通過した場合（軌跡ＴＣがすべて通過部分ＴＣＤとなった場合）には、検出領域ＣＢは、照合パターンと一致していることになる。決定部２２０は、全ての指についての検出領域が各指に対応する照合パターンと一致した場合には、その照合パターンに対応付けられている指示を、装置に対する指示として決定する。
FIG. 34 is a diagram illustrating an example when the detection region and the matching pattern according to the fifth embodiment of the present invention match. As shown in FIG. 34, when the detection area CB passes through the trajectory TC from the start point TCs to the end point TCe in a state where the detection area CB is within the allowable range (inside the outer edge AE) (the trajectory TC is all passing portions). In the case of TCD), the detection area CB coincides with the collation pattern. When the detection areas for all fingers match the matching pattern corresponding to each finger, the
なお、全ての指についての検出領域が照合パターンと一致していなくてもよく、例えば、予め決められた一部の指について照合パターンと一致をしているだけでもよい。また、検出領域と照合パターンとの一致は、必ずしも上記の２つの条件を満たした場合に限られない。例えば、検出領域が軌跡ＴＣを通過しなかった部分があったとしても、その長さが予め決められた閾値以下であれば、通過したものとみなしてもよい。また、検出領域が許容範囲内に収まっている状態が全体の予め決められた割合以上であれば、許容範囲内に収まっていたものとみなしてもよい。このように、決定部２２０は、マージンを含んで照合を行うようにしてもよい。
It should be noted that the detection areas for all fingers do not have to match the collation pattern. For example, some predetermined fingers may only coincide with the collation pattern. Further, the match between the detection area and the collation pattern is not necessarily limited to the case where the above two conditions are satisfied. For example, even if there is a portion where the detection region does not pass the trajectory TC, it may be considered that the detection region has passed if the length is equal to or less than a predetermined threshold. Further, if the state where the detection area is within the allowable range is equal to or greater than a predetermined ratio of the whole, it may be considered that the detection area is within the allowable range. As described above, the
なお、上述した照合パターンにおいては、許容長ＡＲについては軌跡ＴＣのどの位置でも同じ長さとして決められていたが、位置によって異なる長さとして決められていてもよい。 In the above-described collation pattern, the allowable length AR is determined as the same length at any position on the locus TC, but may be determined as a different length depending on the position.
図３５は、本発明の第５実施形態に係る照合パターンの別の例を説明する図である。図３５に示す例では、開始点ＴＣｓから終了点ＴＣｅまでの中央近傍の位置では、軌跡ＴＣから外縁ＡＥまでの距離が許容長ＡＲ１となる一方、軌跡ＴＣの開始点ＴＣｓまたは終了点ＴＣｅに近い位置では、軌跡ＴＣから外縁ＡＥまでの距離が許容長ＡＲ１より長い許容長ＡＲ２となっている。このように、軌跡ＴＣにおける位置によって、許容長ＡＲが異なるように定められた照合パターンが照合用テーブルに登録されていてもよい。また、軌跡ＴＣが許容範囲の中心を通らないように定められた照合パターンが照合用テーブルに登録されていてもよい。 FIG. 35 is a diagram for explaining another example of the collation pattern according to the fifth embodiment of the present invention. In the example shown in FIG. 35, at the position near the center from the start point TCs to the end point TCe, the distance from the trajectory TC to the outer edge AE is the allowable length AR1, while being close to the start point TCs or the end point TCe of the trajectory TC. At the position, the distance from the locus TC to the outer edge AE is an allowable length AR2 longer than the allowable length AR1. In this way, a matching pattern that is determined so that the allowable length AR differs depending on the position on the trajectory TC may be registered in the matching table. In addition, a collation pattern determined so that the locus TC does not pass through the center of the allowable range may be registered in the collation table.
また、視線認証判定機能３００におけるユーザ確認判定がされている場合とされていない場合とで許容長ＡＲが異なるようにしてもよい。すなわち、判定部３３０における判定結果に応じて許容長ＡＲが変更されるようにしてもよい。例えば、ユーザ確認判定がされている場合には、されていない場合に比べて許容長ＡＲを長くするようにしてもよい。これとは逆に、判定部３３０における判定結果に応じて検出長ＣＲが変更されるようにしてもよい。例えば、ユーザ確認判定がされている場合には、されていない場合に比べて検出長ＣＲを短くするようにしてもよい。このようにすると、ユーザが認証領域を視認しているときには、許容長ＡＲが長くなることで、検出領域と照合パターンとが一致しやすくなる。すなわち、ユーザによるジェスチャを認識するマージンが増加する。
Further, the allowable length AR may be different depending on whether or not the user confirmation determination is performed in the line-of-sight
＜第６実施形態＞
第６実施形態においては、ユーザのジェスチャとして指の動きを用い、指の動きに応じて、文字、数字、記号等の入力（以下、キー入力という）を行う場合について説明する。この構成によれば、キーボード１３ａを用いなくても、指の動きによってキー入力が可能となる。以下、第６実施形態に係る電子機器について説明する。キー入力は、手のひらが下側を向いて行うことが多いため、第６実施形態では、第１実施形態に係る物体検知装置２０が設置される場所が異なっている。
<Sixth Embodiment>
In the sixth embodiment, a case will be described in which finger movement is used as a user's gesture and characters, numbers, symbols, etc. are input (hereinafter referred to as key input) in accordance with the finger movement. According to this configuration, key input can be performed by the movement of a finger without using the
図３６は、本発明の第６実施形態に係る物体検知装置２０Ａの構成を説明する図である。図３６は、ユーザが作業する机５０００の断面を模式的に示した図である。第６実施形態に係る物体検知装置２０Ａは、机５０００の上面の表面部分に設けられている。検知センサ２１Ａは、机５０００の上面方向（矢印Ａ２方向）に向けられて設置され、ユーザの手１０００の手のひら側からの検知が可能になっている。また、ユーザが手１０００の位置を楽に維持できるように、腕２０００を置くためのアームレスト２５Ａが設けられている。図の奥行き方向の腕２０００が置かれる大まかな位置が決められるように、このアームレスト２５Ａには、腕２０００を置くためのくぼみ部分が設けられていてもよい。なお、アームレスト２５Ａは用いられなくてもよい。
FIG. 36 is a diagram illustrating the configuration of an
図３７は、本発明の第６実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。第６実施形態に係る挙動測定部２１０は、第１実施形態と同様に各指の先端部分（以下、指先という場合がある）の座標を算出する。このとき、挙動測定部２１０は、設定された原点に対する各指先の座標を算出する。なお、座標が算出される箇所は指の先端部分に限らず、指の可動部分であれば、いずれの部分でもよい。
FIG. 37 is a diagram for explaining the positions of coordinates calculated by the
原点は、手１０００における所定の特徴位置の動きと連動する位置として、ＣＰＵ１１によって設定される。このため、ＣＰＵ１１は、原点設定手段としても機能する。この例では、所定の特徴位置とは、認識空間設定部１４０で用いられた交点Ｄ１とし、交点Ｄ１が原点として設定される。なお、交点Ｄ１の動きと連動する座標であれば、別の点が原点として設定されてもよい。
The origin is set by the CPU 11 as a position interlocked with the movement of a predetermined feature position in the
このように原点が決められ、この原点を基準として相対的に各指先の座標が算出されることで、手１０００の位置が平行に移動（手１０００の向きを変えずに移動）しただけでは、各指の位置は変化していないものとして座標が算出される。
In this way, the origin is determined, and the coordinates of each fingertip are calculated relative to this origin, so that the position of the
続いて、決定部２２０において、ユーザの各指の動作から挙動測定部２１０によって算出される座標の変化に基づいて、装置に対する指示を決定するための照合用テーブルについて説明する。
Subsequently, a collation table for determining an instruction to the apparatus based on a change in coordinates calculated by the
図３８は、本発明の第６実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。この例における照合用テーブルは、指の動きを示すパラメータと指示内容とが対応付けられている。指示内容は、キー入力の種類であり、例えば、「「Ａ」入力」とは、「Ａ」のキーを入力する指示である。
FIG. 38 is a diagram illustrating a collation table used in the
指の動きを示すパラメータは、検出面、開始範囲、収束範囲、および速度範囲である。まず、これらのパラメータの内容を説明する前に、照合用テーブルにこのパラメータが登録されるときの一例を説明する。ＣＰＵ１１は、この登録処理を実行する登録手段としても機能する。 The parameters indicating the finger movement are a detection surface, a start range, a convergence range, and a speed range. First, before explaining the contents of these parameters, an example when these parameters are registered in the verification table will be explained. The CPU 11 also functions as a registration unit that executes this registration process.
まず、表示装置１４にキー入力の設定対象となるキーが表示される。例えば、「Ｄ」と表示された場合には、Ｄを入力するための指の動きを設定する。表示装置１４に設定対象となるキーが表示された後、ユーザは、図３６に示す状態で保持された手１０００の指を動かす。この動作がパラメータ化されて照合用テーブルに登録される。
First, a key to be set for key input is displayed on the
図３９は、本発明の第６実施形態に係る照合用テーブルに登録される各パラメータを説明する図である。この登録において、手１０００（指）は、実線の状態から二点鎖線の状態に動く。なお、動作を見やすくするため、親指および人差し指以外の指については記載を省略し、人差し指を動かした場合の例として図示している。 FIG. 39 is a diagram illustrating parameters registered in the verification table according to the sixth embodiment of the present invention. In this registration, the hand 1000 (finger) moves from a solid line state to a two-dot chain line state. In addition, in order to make an operation | movement easy to see, description is abbreviate | omitted about fingers other than a thumb and an index finger, and it has illustrated as an example at the time of moving an index finger.
図３９に示すように指を動かしたときに、ＣＰＵ１１は、指先の移動速度が所定速度以上となる直前の指先の座標を開始座標とし、所定速度以下に減速した直後の指先の座標を収束座標として特定する。照合用テーブルに登録されるパラメータのうち、開始範囲は開始座標に対して所定のマージンを持った範囲として決められ、収束範囲は収束座標に対して所定のマージンを持った範囲として決められる。開始範囲および収束範囲は、図３９に示す例では、開始範囲Ａｓ（ｍ）および収束範囲Ａｅ（ｍ）として決められる。ここで、ｍ＝１、２、３、・・・（以下同じ）である。 When the finger is moved as shown in FIG. 39, the CPU 11 uses the coordinates of the fingertip immediately before the moving speed of the fingertip is equal to or higher than a predetermined speed as the start coordinates, and the coordinates of the fingertip immediately after being decelerated below the predetermined speed as the convergence coordinates. As specified. Of the parameters registered in the verification table, the start range is determined as a range having a predetermined margin with respect to the start coordinates, and the convergence range is determined as a range having a predetermined margin with respect to the convergence coordinates. The start range and the convergence range are determined as the start range As (m) and the convergence range Ae (m) in the example shown in FIG. Here, m = 1, 2, 3,... (The same applies hereinafter).
照合用テーブルに登録されるパラメータのうち、検出面は、数ミリ程度、収束範囲Ａｅ（ｍ）よりも開始範囲Ａｓ（ｍ）側に決められ、指先が通過する位置を含み所定のマージンを持った、所定範囲に拡がる面として決められる。なお、検出面は、指先が通過する方向を法線とした平面であってもよいし、曲面であってもよい。検出面は、図３９に示す例では、検出面Ｐ（ｍ）として決められる。また、この検出面Ｐ（ｍ）には、通過する方向（検出面のいずれの側から通過するか）も規定される。そのため、登録をしたときと逆方向に検出面を指先が通過しても、指先が検出面を通過したものとしては検出されない。 Of the parameters registered in the verification table, the detection surface is determined to be on the start range As (m) side of the convergence range Ae (m) about several millimeters and has a predetermined margin including the position where the fingertip passes. In addition, it is determined as a surface that extends into a predetermined range. Note that the detection surface may be a plane having a normal in the direction in which the fingertip passes or a curved surface. In the example shown in FIG. 39, the detection surface is determined as the detection surface P (m). In addition, the detection surface P (m) also defines the direction of passage (from which side of the detection surface). For this reason, even if the fingertip passes through the detection surface in the direction opposite to the direction of registration, it is not detected that the fingertip has passed the detection surface.
照合用テーブルに登録されるパラメータのうち、速度範囲は、検出面を指先が通過するときの速度に所定のマージンを持って決められる。速度は、図３９に示す例では、速度Ｖ（ｍ）として決められ、マージンは±β（図３８参照）として決められる。 Among the parameters registered in the verification table, the speed range is determined with a predetermined margin for the speed when the fingertip passes the detection surface. In the example shown in FIG. 39, the speed is determined as speed V (m), and the margin is determined as ± β (see FIG. 38).
ＣＰＵ１１は、このようにして決められた各パラメータと設定対象となるキーとを対応付けて照合用テーブルに登録する。決定部２２０は、挙動測定部２１０によって算出された座標の変化と、照合用テーブルに登録された各パラメータとを照合して、照合結果に基づいて、装置に対する指示を決定する。
The CPU 11 registers each parameter determined in this way and the key to be set in the matching table in association with each other. The
すなわち、決定部２２０は、挙動測定部２１０によって算出された座標の変化に基づいて、指先が所定速度以上になる直前の指先の座標（移動開始座標）、所定速度以下に減速した直後の指先の座標（移動収束座標）、指先が通過した検出面、指先が検出面を通過したときの速度を特定しつつ、照合用テーブルに登録された各パラメータと照合し、指示内容（キー入力されたキーの種類）を決定する。
That is, based on the change in coordinates calculated by the
なお、指示内容が決定された場合に、ユーザに対して報知がされるようにしてもよい。報知の種類としては、表示装置１４への表示（入力された文字等が表示されてもよい）、スピーカを用いた発音、アームレスト２５の振動など様々に取りうる。また、表示装置１４に検出面およびこれに対応するキーを表示させ、入力されたキーを発光させる等の表示により報知してもよい。これらの報知をするための処理は、ＣＰＵ１１によって実行される。このとき、ＣＰＵ１１は報知手段として機能する。
In addition, when the instruction content is determined, the user may be notified. Various types of notification can be taken, such as display on the display device 14 (input characters may be displayed), sound generation using a speaker, vibration of the armrest 25, and the like. Moreover, you may alert | report by the display of displaying a detection surface and the key corresponding to this on the
このように決められる各パラメータのうち、検出面はキーボードのキー表面に対応するが、上述のような処理により、現実のキーボードでは実現が困難な２種類の構成も容易に実現可能である。まず第１には、図３９に示すように、検出面は水平に限らず、指先の動きに応じて傾けることができる。第２には、複数段のキーボードが実現できる。これについて、図３９（ａ）、（ｂ）を用いて説明する。 Of the parameters determined in this way, the detection surface corresponds to the key surface of the keyboard, but by the processing as described above, two types of configurations that are difficult to realize with an actual keyboard can be easily realized. First, as shown in FIG. 39, the detection surface is not limited to being horizontal, and can be tilted according to the movement of the fingertip. Second, a multi-stage keyboard can be realized. This will be described with reference to FIGS. 39 (a) and 39 (b).
図３９（ａ）は、図３６に示す手１０００の状態から指を下げる動作をした場合の図である。図３９（ｂ）は、図３６に示す手１０００の状態から一度、指を上げてから下げる動作をした場合の図である。図３９（ａ）に示す検出面と図３９（ｂ）に示す検出面とは、上下方向の高さが異なるものの、上方から見た場合の位置はほぼ重なる状態となる。これは、上下方向に２段重ねたキーボードが存在してもよいことを示しているが、現実のキーボードでは実現困難な構成である。
FIG. 39A is a diagram when the finger is moved down from the state of the
複数段重ねたキーボードが実現できるため、例えば、１段目を英字、２段目をひらがな（または英大文字）、３段目を数字などとして配置することで、手１０００の水平方向の移動量を少なくすることもできる。
Since a keyboard with multiple layers can be realized, for example, by arranging the first row as alphabetic characters, the second row as hiragana (or capital letters), and the third row as numbers, the amount of horizontal movement of the
このとき、決定部２２０は、検出面を通過するときの指先の速度、移動開始座標、および移動収束座標を組み合わせて照合することにより、指先が複数の検出面を通過してしまう場合においても、装置に対する指示を適切に決定することができる。なお、指を大きく動かしても複数の検出面を通過しないような構成（１段のキーボード等）も取りうるため、決定部２２０は、必ずしも、検出面を通過するときの指先の速度、移動開始座標、および移動収束座標の全てを組み合わせて用いずに、通過した検出面だけを用いて、装置に対する指示を決定してもよい。
At this time, the
また、決定部２２０が照合する座標は、原点を基準として相対的に各指先の座標が算出されることで、手１０００の位置が平行に移動しただけでは、各指の位置は変化していないものとして扱われる。したがって、ユーザは、正確に手１０００の位置を決めなくても自由な位置でキー入力が可能となり、ユーザに無理な姿勢を要求しなくてすむ。また、物理的にキーボードを打撃する必要がなくなるため、腱鞘炎になることを防止するという効果もある。また、入力デバイスを小型化できるため、省スペース効果もある。
Further, the coordinates to be collated by the
なお、第６実施形態における構成は、他の実施形態とともに用いることも可能である。例えば、ユーザがキー入力の途中で、上述したジェスチャＡをした場合には、ジェスチャＡに対応した指示が決定されてもよい。 Note that the configuration in the sixth embodiment can also be used with other embodiments. For example, when the user performs the above-described gesture A in the middle of key input, an instruction corresponding to the gesture A may be determined.
＜変形例＞
以上、本発明の実施形態およびその実施例について説明したが、本発明は以下のように、様々な態様で実施可能である。
<Modification>
As mentioned above, although embodiment and the Example of this invention were described, this invention can be implemented in various aspects as follows.
［変形例１］
上述した視線測定部３１０は、ユーザの視線方向を測定していたが、ユーザの両眼の視線方向を測定するなどして、さらに、ユーザの注視点（方向だけでなく距離を含む概念）を測定してもよい。この場合には、判定部３３０は、視線位置ＶＰが認証領域に存在することの判定には、さらに注視点が表示装置１４の画面平面上（所定のマージンを許容してもよい）に存在することを条件としてもよい。これは、例えば左眼の視線方向と右眼の視線方向との交点を空間上で求めて注視点として扱い、その交点が表示装置１４の画面平面上に存在するか否かを判定すればよい。求めた交点がその画面平面上に存在しない場合として、例えばユーザから見て画面の奥側の位置にある場合（所定のマージンを許容するときには画面の奥側に予め決められた距離以上ずれている場合）には、判定部３３０は、視線方向が認証領域に存在したとしてもユーザ確認判定をしないようにすればよい。
[Modification 1]
The line-of-
［変形例２］
上述した認識空間設定機能１００、ジェスチャ入力機能２００および視線認証判定機能３００は、情報処理装置１０において同時に実現されている場合について説明したが、それぞれ独立して機能してもよい。
[Modification 2]
The recognition
例えば、認識空間設定機能１００において設定された認識空間は、ジェスチャ入力のために使われるだけでなく、画像認識の範囲を特定の範囲に限定したい場合など、他の用途にも用いることができる。また、ジェスチャ入力機能２００については、認識空間が設定されていない状態においても、検知範囲全体または検知範囲のうち予め決められた範囲において、物体の挙動を測定するようにすればよい。例えば、腕全体の挙動を測定して、この挙動に基づいてユーザの装置に対する指示（腕の振りに応じた画面（または画面の一部）のスクロール指示、拡大、縮小、回転など）を決定してもよい。
For example, the recognition space set by the recognition
［変形例３］
第４実施形態においては、決定部２２０は、発光部３１５０の発光色に応じて、ユーザが同じジェスチャをしたとしても、異なる種類の指示を決定していたが、ユーザの操作部１３への操作に応じて、異なる種類の指示を決定するようにしてもよい。例えば、キーボード１３ａのキーのいくつかに対応して照合用テーブルを設ける。そして、ユーザのキーボード１３ａへの第１のキーの入力があった後に次のキーが入力されるまでは、決定部２２０は、第１のキーに対応した照合用テーブルを用いて、装置に対する指示を決定するようにすればよい。なお、認識空間設定機能１００を用いた処理の操作部１３への開始指示の入力と上記キーの入力を兼ねてもよい。
[Modification 3]
In the fourth embodiment, the
［変形例４］
上述した第６実施形態において、左右の手のそれぞれにおいて、個別に処理が行われるようにしてもよい。この場合には、照合用テーブルは左手および右手のそれぞれに対して設けられていればよい。また、物体検知装置２０Ａは、左手用および右手用の２つを用いてもよい。
[Modification 4]
In the sixth embodiment described above, the processing may be performed individually for each of the left and right hands. In this case, it is only necessary to provide a collation table for each of the left hand and the right hand. Further, two
また、各指に対して、個別に処理が行われるようにしてもよい。この場合には、照合用テーブルは各指に対して設けられていればよい。このようにすると、同じ位置の検出面を通過する指先が異なれば、例えば、人差し指と中指とでは、異なる指示が決定されることになる。また、各指の長さに対応して調整された傾きおよび位置の検出面として照合用テーブルに登録ができるため、ユーザがより自然な動きでキー入力が可能となる。 Also, each finger may be processed individually. In this case, a collation table may be provided for each finger. In this way, if the fingertips passing through the detection surface at the same position are different, for example, different instructions are determined for the index finger and the middle finger. Further, since the tilt and position detection plane adjusted according to the length of each finger can be registered in the collation table, the user can input keys with more natural movement.
［変形例５］
上述した各実施形態では、電子機器１としてセキュリティ装置に適用することができる。第６実施形態の電気機器をセキュリティ装置に適用した場合について説明する。
[Modification 5]
In each embodiment described above, the
図４０は、本発明の変形例５に係るセキュリティシステム６００の構成を示す概略図である。セキュリティシステム６００は、インターネット、通信回線等のネットワークＮＷに接続されたセキュリティ装置５およびサーバ６を有する。セキュリティ装置５は、第６実施形態の電子機器をセキュリティ装置に適用した装置であり、例えば、ＡＴＭ（Automatic teller machine：現金自動預け払い機）、電子錠付き扉等である。また、セキュリティ装置５は、ユーザを識別する識別手段を有している。識別手段は、例えばＡＴＭであれば、キャッシュカード等でユーザを識別する。
FIG. 40 is a schematic diagram showing a configuration of a
サーバ６は、複数の照合用テーブルを記憶するとともに、複数のユーザの各々と照合用テーブルとを対応付けた管理テーブルを記憶する。
The
図４１は、本発明の変形例５に係るサーバ６に記憶された管理テーブルを説明する図である。管理テーブルは、ユーザを識別する情報（この例ではユーザＩＤ）と照合用テーブル（Ｔｃ１、Ｔｃ２、・・・）とを対応付けている。各照合用テーブルは、第６実施形態において説明したとおり、予め各ユーザの指の動作に基づいて登録されている。この登録は、セキュリティ装置５を用いて実行されてもよいし、登録用の装置を別途設けてもよい。
FIG. 41 is a diagram for explaining a management table stored in the
サーバ６は、セキュリティ装置５から識別したユーザのＩＤを受信すると、管理テーブルを参照して、そのユーザＩＤに対応する照合用テーブルを特定し、特定した照合用テーブルをセキュリティ装置５に送信する。
When the
セキュリティ装置５は、サーバ６から照合用テーブルを受信すると、その照合用テーブルに基づいて、第６実施形態における処理を行う。例えば、ユーザの指の動きにより、暗証番号の入力に用いることができる。上述したように、セキュリティ装置５は、暗証番号の入力が受け付けられたことをユーザに報知することができる。
When the
図４２は、本発明の変形例５に係る表示装置１４の表示例を示す図である。図４２は、ＡＴＭなどのセキュリティ装置５に設けられた表示装置１４において、ユーザに対して暗証番号の入力を促す画面が表示されている状態を示している。この画面には、テンキーＴＫが表示されている。ユーザが指を動かすことにより、決定部２２０によって指示（ここでは、０から９までの数字のキー入力）が決定されると、図４２（ａ）から図４２（ｂ）に示す変化のように、ＣＰＵ１１は決定された数字の表示を変化させる（図４２の例では「６」）。表示の変化は、例えば、明るく変化、暗く変化、点滅変化等にすればよい。
FIG. 42 is a diagram showing a display example of the
この構成によれば、セキュリティ装置５によって識別されたされたユーザによって予め登録された照合用テーブルを利用する。そのため、偽造したキャッシュカード等を用い、他のユーザになりすまして暗証番号を入力しようとしても、手の大きさ、動き等の個人差があり容易には入力できない。このように、セキュリティの効果を高めることもできる。
According to this configuration, the collation table registered in advance by the user identified by the
また、このようなセキュリティ装置５は、キーボードまたはタッチパネル等への接触をしなくても、暗証番号等の入力が可能である。そのため、接触に起因する入力履歴（例えば指紋検出など）により、暗証番号の盗難を防止することができる。また、ＡＴＭ、クレジットカード暗証入力装置、セキュリティ暗証入力装置、各種販売タッチパネル（切符、商品）、ゲーム施設タッチパネル等は、不特定多数のユーザが利用することになるが、セキュリティ装置５によれば、暗証番号、入力指示のの入力による接触が不要であるため、伝染病等の感染経路を遮断することもできる。
Further, such a
［変形例６］
上述した実施形態において、電子機器１をスマートフォンに適用した場合の例について説明する。
[Modification 6]
In the embodiment described above, an example in which the
図４３は、本発明の変形例６に係る電気機器１Ｂの構成を示す概略図である。スマートフォンのような電子機器１Ｂにおいては、物体検知装置の検知センサ２１は、表示装置１４Ｂ側に設けられ、電子機器１Ｂの表示装置１４Ｂ側のユーザの手１０００を検知するようになっている。このような構成により、例えば、ユーザが一方の手１０００で電子機器１Ｂを持ち、もう一方の手１０００において、電子機器１Ｂに対して接触しない状態で、キー入力等をすることも可能である。
FIG. 43 is a schematic diagram showing a configuration of an
一般には、スマートフォンにおいては、表示面上に設けられたタッチセンサによりユーザの指示が入力される。そのため、指示の入力ができる領域は表示面上に限られることになるが、高齢者や指が太い人などにおいては、細かい入力操作が困難である。電子機器１Ｂによれば、ユーザによる指示の入力ができる領域が電子機器１Ｂの表示面側に広がる。また、第６実施形態に示す構成を適用すれば、ユーザの手１０００の位置の精度が求められないため、電子機器１に対する指示の入力が容易になる。
Generally, in a smartphone, a user instruction is input by a touch sensor provided on a display surface. For this reason, an area where an instruction can be input is limited to the display surface, but a fine input operation is difficult for an elderly person or a person with a thick finger. According to the
１，１Ｂ…電子機器、５…セキュリティ装置、６…サーバ、１０…情報処理装置、１１…ＣＰＵ、１２…メモリ、１３…操作部、１３ａ…キーボード、１３ｂ…マウス、１４，１４Ｂ…表示装置、２０，２０Ａ…物体検知装置、２１，２１Ａ，２１Ｂ検知センサ、２５Ａ…アームレスト、３０…視線測定装置、３１…視線センサ、１００…認識空間設定機能、１１０…領域特定部、１２０…基準点設定部、１３０…走査部、１４０…認識空間設定部、２００…ジェスチャ入力機能、２１０…挙動測定部、２２０…決定部、３００…視線認証判定機能、３１０…視線測定部、３２０…表示制御部、３３０…判定部、５００…検知部、６００…セキュリティシステム、７００…実行部、１０００…手、２０００…腕、３０００，３０１０…伸縮装置、３０５０，３０６０…発光装置、３１００，３１１０…伸縮部、３１５０，３１６０…発光部、３２００…リストバンド、３３００…支持部材、５０００…机
DESCRIPTION OF
Claims (11)
前記検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動して当該特徴位置と同じ動きをする原点を設定する原点設定手段と、
前記検知範囲の一部であって、前記原点を含む認識空間を、前記特徴位置を基準とした範囲に設定する認識空間設定手段と、
前記検知データに基づいて、前記認識空間において、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、
前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段と
を備える情報処理装置。 Detecting means for detecting an object existing in a predetermined detection range and outputting detection data corresponding to the detected object;
Based on the detection data, origin setting means for setting an origin that moves in the same manner as the feature position in conjunction with the movement of the predetermined feature position in the detected object;
A recognition space setting means that is a part of the detection range and that includes a recognition space including the origin as a range based on the feature position;
Coordinate calculating means for calculating at least one coordinate of the object in the recognition space based on the detection data;
Based on the relative positional relationship between the calculated coordinates and the origin, a detection surface in which the location of the object for which the coordinates are calculated is set as a plane within a predetermined range determined with respect to the origin is previously set. An information processing apparatus comprising: determining means for detecting passage from a determined side and determining an instruction to the apparatus based on the detection surface that has passed.
前記検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動する原点を設定する原点設定手段と、
前記検知データに基づいて、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、
前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段とを備え、
前記決定手段は、さらに、前記位置関係に基づいて、前記座標が算出された物体の箇所の速度が、所定速度以上になる前における当該箇所の移動開始位置が予め決められた開始範囲に含まれ、かつ、減速して前記所定速度以下になった後における当該箇所の位置を示す移動収束位置が予め決められた収束範囲に含まれる場合に、前記装置に対する指示を決
定する情報処理装置。 Detecting means for detecting an object existing in a predetermined detection range and outputting detection data corresponding to the detected object;
Based on the detection data, an origin setting means for setting an origin that is linked to the movement of a predetermined feature position in the detected object;
Coordinate calculation means for calculating coordinates of at least one location in the object based on the detection data;
Based on the relative positional relationship between the calculated coordinates and the origin, a detection surface in which the location of the object for which the coordinates are calculated is set as a plane within a predetermined range determined with respect to the origin is previously set. Determining means for detecting passage from a determined side and determining an instruction to the apparatus based on the detected surface that has passed;
The determining means may further include, based on the positional relationship, a movement start position of the part before the speed of the part of the object for which the coordinates are calculated exceeds a predetermined speed is included in a predetermined start range. An information processing apparatus that determines an instruction to the apparatus when a movement convergence position indicating a position of the part after being decelerated to be equal to or less than the predetermined speed is included in a predetermined convergence range.
前記検出面は、前記複数の箇所の少なくとも一つの箇所の通過を検出する面として対応付けられ、
前記決定手段は、前記位置関係に基づいて、前記座標が算出された物体の箇所が、当該箇所に対応付けられた前記検出面を予め決められた側から通過したことを検出した場合に、前記装置に対する指示を決定する請求項１または請求項２に記載の情報処理装置。 The coordinate calculation means calculates the coordinates of a plurality of locations in the object,
The detection surface is associated as a surface that detects passage of at least one of the plurality of locations,
When the determination unit detects, based on the positional relationship, that the location of the object whose coordinates have been calculated has passed through the detection surface associated with the location from a predetermined side, The information processing apparatus according to claim 1, wherein an instruction for the apparatus is determined.
前記決定手段は、前記位置関係に基づいて、いずれかの前記座標が算出された物体の箇所が、前記検出面を予め決められた側から通過したことを検出した場合に、前記装置に対する指示を決定する請求項１または請求項２に記載の情報処理装置。 The coordinate calculation means calculates the coordinates of a plurality of locations in the object,
The determining means gives an instruction to the apparatus when it is detected that the location of the object for which any of the coordinates has been calculated has passed the detection surface from a predetermined side based on the positional relationship. The information processing apparatus according to claim 1 or 2, which is determined.
前記決定手段は、前記位置関係に基づいて、前記座標が算出された物体の箇所が、前記照合用テーブルに登録された検出面を、予め決められた側から通過したことを検出する請求項１乃至請求項５のいずれかに記載の情報処理装置。 Based on the calculated coordinates, further comprising registration means for registering the correspondence between the detection surface and the instruction content in a collation table;
2. The determination unit detects, based on the positional relationship, that the location of the object for which the coordinates have been calculated has passed from a predetermined side through a detection surface registered in the verification table. The information processing apparatus according to claim 5.
前記決定された指示に基づく処理を実行する実行手段と
を備える電子機器。 An information processing apparatus according to any one of claims 1 to 8,
An electronic device comprising: execution means for executing processing based on the determined instruction.
所定の検知範囲に存在する物体を検知する検知手段から、検知した物体に応じて出力される検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動して当該特徴位置と同じ動きをする原点を設定する原点設定手段と、
前記検知範囲の一部であって、前記原点を含む認識空間を、前記特徴位置を基準とした範囲に設定する認識空間設定手段と、
前記検知データに基づいて、前記認識空間において、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、
前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段として機能させるためのプログラム。 Computer
Same as the feature position in conjunction with the movement of the predetermined feature position in the detected object based on the detection data output according to the detected object from the detection means for detecting the object existing in the predetermined detection range Origin setting means for setting the origin for movement ;
A recognition space setting means that is a part of the detection range and that includes a recognition space including the origin as a range based on the feature position;
Coordinate calculating means for calculating at least one coordinate of the object in the recognition space based on the detection data;
Based on the relative positional relationship between the calculated coordinates and the origin, a detection surface in which the location of the object for which the coordinates are calculated is set as a plane within a predetermined range determined with respect to the origin is previously set. A program for detecting a passage from a predetermined side and functioning as a determination unit that determines an instruction to the apparatus based on the detection surface that has passed.
所定の検知範囲に存在する物体を検知する検知手段から、検知した物体に応じて出力される検知データに基づいて、前記検知した物体における所定の特徴位置の動きと連動する原点を設定する原点設定手段と、
前記検知データに基づいて、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、
前記算出された座標と前記原点との相対的な位置関係に基づいて、前記座標が算出された物体の箇所が、前記原点に対して決められた所定範囲の面として設定された検出面を予め決められた側から通過したことを検出し、通過した前記検出面に基づいて装置に対する指示を決定する決定手段として機能させ、
前記決定手段は、さらに、前記位置関係に基づいて、前記座標が算出された物体の箇所の速度が、所定速度以上になる前における当該箇所の移動開始位置が予め決められた開始範囲に含まれ、かつ、減速して前記所定速度以下になった後における当該箇所の位置を示す移動収束位置が予め決められた収束範囲に含まれる場合に、前記装置に対する指示を決定するプログラム。
Computer
Origin setting that sets an origin that is linked to the movement of a predetermined feature position in the detected object, based on detection data that is output according to the detected object from a detection unit that detects an object existing in a predetermined detection range Means,
Coordinate calculation means for calculating coordinates of at least one location in the object based on the detection data;
Based on the relative positional relationship between the calculated coordinates and the origin, a detection surface in which the location of the object for which the coordinates are calculated is set as a plane within a predetermined range determined with respect to the origin is previously set. Detecting the passage from the determined side, and functioning as a determination means for determining an instruction to the apparatus based on the detection surface that has passed,
The determining means may further include, based on the positional relationship, a movement start position of the part before the speed of the part of the object for which the coordinates are calculated exceeds a predetermined speed is included in a predetermined start range. And the program which determines the instruction | indication with respect to the said apparatus, when the movement convergence position which shows the position of the said location after decelerating and it becomes below the said predetermined speed is contained in the predetermined convergence range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012233272A JP5315450B1 (en) | 2012-04-26 | 2012-10-22 | Information processing apparatus, electronic device, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012101258 | 2012-04-26 | ||
| JP2012101258 | 2012-04-26 | ||
| JP2012233272A JP5315450B1 (en) | 2012-04-26 | 2012-10-22 | Information processing apparatus, electronic device, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012128125A Division JP5174979B1 (en) | 2012-04-26 | 2012-06-05 | Information processing apparatus, electronic device, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013141551A Division JP5993354B2 (en) | 2012-04-26 | 2013-07-05 | Information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5315450B1 true JP5315450B1 (en) | 2013-10-16 |
| JP2013242845A JP2013242845A (en) | 2013-12-05 |
Family
ID=47890549
Family Applications (10)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012114529A Expired - Fee Related JP5174978B1 (en) | 2012-04-26 | 2012-05-18 | Information processing apparatus, electronic device, and program |
| JP2012114530A Expired - Fee Related JP5148004B1 (en) | 2012-04-26 | 2012-05-18 | Information processing apparatus, electronic device, and program |
| JP2012128125A Expired - Fee Related JP5174979B1 (en) | 2012-04-26 | 2012-06-05 | Information processing apparatus, electronic device, and program |
| JP2012229205A Active JP5232930B1 (en) | 2012-04-26 | 2012-10-16 | Information processing apparatus, electronic device, and program |
| JP2012229326A Expired - Fee Related JP5364194B2 (en) | 2012-04-26 | 2012-10-16 | Information processing apparatus, electronic device, and program |
| JP2012233272A Expired - Fee Related JP5315450B1 (en) | 2012-04-26 | 2012-10-22 | Information processing apparatus, electronic device, and program |
| JP2012233271A Expired - Fee Related JP5314795B1 (en) | 2012-04-26 | 2012-10-22 | Information processing apparatus, electronic device, and program |
| JP2013018351A Expired - Fee Related JP5444482B2 (en) | 2012-04-26 | 2013-02-01 | Information processing apparatus, electronic device, and program |
| JP2013141551A Expired - Fee Related JP5993354B2 (en) | 2012-04-26 | 2013-07-05 | Information processing device |
| JP2016004171A Withdrawn JP2016048588A (en) | 2012-04-26 | 2016-01-13 | Information processing apparatus |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012114529A Expired - Fee Related JP5174978B1 (en) | 2012-04-26 | 2012-05-18 | Information processing apparatus, electronic device, and program |
| JP2012114530A Expired - Fee Related JP5148004B1 (en) | 2012-04-26 | 2012-05-18 | Information processing apparatus, electronic device, and program |
| JP2012128125A Expired - Fee Related JP5174979B1 (en) | 2012-04-26 | 2012-06-05 | Information processing apparatus, electronic device, and program |
| JP2012229205A Active JP5232930B1 (en) | 2012-04-26 | 2012-10-16 | Information processing apparatus, electronic device, and program |
| JP2012229326A Expired - Fee Related JP5364194B2 (en) | 2012-04-26 | 2012-10-16 | Information processing apparatus, electronic device, and program |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012233271A Expired - Fee Related JP5314795B1 (en) | 2012-04-26 | 2012-10-22 | Information processing apparatus, electronic device, and program |
| JP2013018351A Expired - Fee Related JP5444482B2 (en) | 2012-04-26 | 2013-02-01 | Information processing apparatus, electronic device, and program |
| JP2013141551A Expired - Fee Related JP5993354B2 (en) | 2012-04-26 | 2013-07-05 | Information processing device |
| JP2016004171A Withdrawn JP2016048588A (en) | 2012-04-26 | 2016-01-13 | Information processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (10) | JP5174978B1 (en) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6195893B2 (en) | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | Shape recognition device, shape recognition program, and shape recognition method |
| JP2014219712A (en) * | 2013-05-01 | 2014-11-20 | コニカミノルタ株式会社 | Operation display device |
| JP6011579B2 (en) | 2014-05-21 | 2016-10-19 | 株式会社デンソー | Gesture input device |
| JP6494926B2 (en) * | 2014-05-28 | 2019-04-03 | 京セラ株式会社 | Mobile terminal, gesture control program, and gesture control method |
| JP6376886B2 (en) * | 2014-08-05 | 2018-08-22 | アルパイン株式会社 | Input system and input method |
| EP3106343A1 (en) * | 2015-06-19 | 2016-12-21 | Continental Automotive GmbH | Gesture based user input device for car electronics |
| WO2017022852A1 (en) * | 2015-08-06 | 2017-02-09 | 株式会社ニコン | Electronic control device and electronic control program |
| WO2017057106A1 (en) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | Input device, input method, and program |
| US10372229B2 (en) | 2016-02-25 | 2019-08-06 | Nec Corporation | Information processing system, information processing apparatus, control method, and program |
| US10534432B2 (en) | 2016-03-04 | 2020-01-14 | Sony Interactive Entertainment Inc. | Control apparatus |
| JP6444345B2 (en) * | 2016-08-23 | 2018-12-26 | 株式会社コロプラ | Method and apparatus for supporting input in virtual space, and program for causing computer to execute the method |
| CN110520822B (en) * | 2017-04-27 | 2023-06-27 | 索尼互动娱乐股份有限公司 | Control device, information processing system, control method, and program |
| WO2019077652A1 (en) | 2017-10-16 | 2019-04-25 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing system, controller device, and information processing device |
| JP7291886B2 (en) | 2018-01-29 | 2023-06-16 | パナソニックＩｐマネジメント株式会社 | switch device |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105371A (en) * | 1993-10-04 | 1995-04-21 | Hitachi Ltd | Hand print pattern recognition method |
| JPH0981309A (en) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | Input device |
| JP3487494B2 (en) * | 1998-04-17 | 2004-01-19 | 日本電信電話株式会社 | Menu selection method and device |
| JP3444200B2 (en) * | 1998-07-07 | 2003-09-08 | ソニー株式会社 | Image data processing apparatus and method, and providing medium |
| JP3792907B2 (en) * | 1998-08-06 | 2006-07-05 | 株式会社竹中工務店 | Hand pointing device |
| JP2000098871A (en) * | 1998-09-28 | 2000-04-07 | Sony Corp | Virtual image stereoscopic compositing device, virtual image stereoscopic compositing method, game device and recording medium |
| JP2000242394A (en) * | 1999-02-24 | 2000-09-08 | Nec Corp | Virtual keyboard system |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
| JP2003044203A (en) * | 2001-08-02 | 2003-02-14 | Canon I-Tech Inc | Information processor |
| JP2003131785A (en) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP4286556B2 (en) * | 2003-02-24 | 2009-07-01 | 株式会社東芝 | Image display device |
| JP4053903B2 (en) * | 2003-03-07 | 2008-02-27 | 日本電信電話株式会社 | Pointing method, apparatus, and program |
| JP4153818B2 (en) * | 2003-03-31 | 2008-09-24 | 本田技研工業株式会社 | Gesture recognition device, gesture recognition method, and gesture recognition program |
| JP2004299025A (en) * | 2003-04-01 | 2004-10-28 | Honda Motor Co Ltd | Mobile robot control device, mobile robot control method and mobile robot control program |
| JP2005301693A (en) * | 2004-04-12 | 2005-10-27 | Japan Science & Technology Agency | Animation editing system |
| JP2005332229A (en) * | 2004-05-20 | 2005-12-02 | Nippon Telegr & Teleph Corp <Ntt> | Attitude detector, attitude detection method, and program for the method |
| JP2006276928A (en) * | 2005-03-28 | 2006-10-12 | Canon Inc | Piezo-electric motion detection device |
| JP2009042796A (en) * | 2005-11-25 | 2009-02-26 | Panasonic Corp | Gesture input device and method |
| JP2008186120A (en) * | 2007-01-29 | 2008-08-14 | Seiko Epson Corp | Processor, processing method and program for executing processing according to user's instruction |
| JP2007164814A (en) * | 2007-02-09 | 2007-06-28 | Toshiba Corp | Interface device |
| WO2009024971A2 (en) * | 2007-08-19 | 2009-02-26 | Saar Shai | Finger-worn devices and related methods of use |
| JP4318056B1 (en) * | 2008-06-03 | 2009-08-19 | 島根県 | Image recognition apparatus and operation determination method |
| WO2010051089A1 (en) * | 2008-10-27 | 2010-05-06 | Sony Computer Entertainment Inc | Control device for communicating visual information |
| JP2010134629A (en) * | 2008-12-03 | 2010-06-17 | Sony Corp | Information processing apparatus and method |
| JP5263833B2 (en) * | 2009-05-18 | 2013-08-14 | 国立大学法人 奈良先端科学技術大学院大学 | Ring-type interface, interface device, and interface method used for wearable computer |
| JP5282661B2 (en) * | 2009-05-26 | 2013-09-04 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| US20100303297A1 (en) * | 2009-05-30 | 2010-12-02 | Anton Mikhailov | Color calibration for object tracking |
| JP5201096B2 (en) * | 2009-07-17 | 2013-06-05 | 大日本印刷株式会社 | Interactive operation device |
| JP2011095985A (en) * | 2009-10-29 | 2011-05-12 | Nikon Corp | Image display apparatus |
| JP2011100396A (en) * | 2009-11-09 | 2011-05-19 | Hitachi Ltd | Video display device |
| JP2011118523A (en) * | 2009-12-01 | 2011-06-16 | Sekisui House Ltd | Drawing display device |
| JP4900741B2 (en) * | 2010-01-29 | 2012-03-21 | 島根県 | Image recognition apparatus, operation determination method, and program |
| JP5569062B2 (en) * | 2010-03-15 | 2014-08-13 | オムロン株式会社 | Gesture recognition device, method for controlling gesture recognition device, and control program |
| JP2011215968A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium and object recognition system |
| JPWO2011142317A1 (en) * | 2010-05-11 | 2013-07-22 | 日本システムウエア株式会社 | Gesture recognition apparatus, method, program, and computer-readable medium storing the program |
| JP2012073658A (en) * | 2010-09-01 | 2012-04-12 | Shinsedai Kk | Computer system |
| JP2012073659A (en) * | 2010-09-01 | 2012-04-12 | Shinsedai Kk | Operation determination device, fingertip detection device, operation determination method, fingertip detection method, operation determination program, and fingertip detection program |
| JP5264844B2 (en) * | 2010-09-06 | 2013-08-14 | 日本電信電話株式会社 | Gesture recognition apparatus and method |
| JP5625643B2 (en) * | 2010-09-07 | 2014-11-19 | ソニー株式会社 | Information processing apparatus and information processing method |
| JP5167523B2 (en) * | 2010-09-22 | 2013-03-21 | 島根県 | Operation input device, operation determination method, and program |
| JP4918171B1 (en) * | 2011-07-21 | 2012-04-18 | パナソニック株式会社 | Image processing apparatus and document reading system having the same |
-
2012
- 2012-05-18 JP JP2012114529A patent/JP5174978B1/en not_active Expired - Fee Related
- 2012-05-18 JP JP2012114530A patent/JP5148004B1/en not_active Expired - Fee Related
- 2012-06-05 JP JP2012128125A patent/JP5174979B1/en not_active Expired - Fee Related
- 2012-10-16 JP JP2012229205A patent/JP5232930B1/en active Active
- 2012-10-16 JP JP2012229326A patent/JP5364194B2/en not_active Expired - Fee Related
- 2012-10-22 JP JP2012233272A patent/JP5315450B1/en not_active Expired - Fee Related
- 2012-10-22 JP JP2012233271A patent/JP5314795B1/en not_active Expired - Fee Related
-
2013
- 2013-02-01 JP JP2013018351A patent/JP5444482B2/en not_active Expired - Fee Related
- 2013-07-05 JP JP2013141551A patent/JP5993354B2/en not_active Expired - Fee Related
-
2016
- 2016-01-13 JP JP2016004171A patent/JP2016048588A/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013242889A (en) | 2013-12-05 |
| JP5148004B1 (en) | 2013-02-20 |
| JP5232930B1 (en) | 2013-07-10 |
| JP5444482B2 (en) | 2014-03-19 |
| JP5993354B2 (en) | 2016-09-14 |
| JP5364194B2 (en) | 2013-12-11 |
| JP5314795B1 (en) | 2013-10-16 |
| JP2013242844A (en) | 2013-12-05 |
| JP2013242843A (en) | 2013-12-05 |
| JP5174979B1 (en) | 2013-04-03 |
| JP2013242834A (en) | 2013-12-05 |
| JP2016048588A (en) | 2016-04-07 |
| JP2013242651A (en) | 2013-12-05 |
| JP2013242842A (en) | 2013-12-05 |
| JP2013242652A (en) | 2013-12-05 |
| JP2014032646A (en) | 2014-02-20 |
| JP2013242845A (en) | 2013-12-05 |
| JP5174978B1 (en) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5315450B1 (en) | Information processing apparatus, electronic device, and program | |
| JP6371475B2 (en) | Eye-gaze input device, eye-gaze input method, and eye-gaze input program | |
| US20210271340A1 (en) | Gesture recognition devices and methods | |
| US10514805B2 (en) | Method and apparatus for data entry input | |
| KR101695174B1 (en) | Ergonomic motion detection for receiving character input to electronic devices | |
| US20180232106A1 (en) | Virtual input systems and related methods | |
| JP5368618B2 (en) | Information processing apparatus, electronic device, information processing method, and program | |
| JP5124694B1 (en) | Information processing apparatus, electronic device, information processing method, and program | |
| JP5156874B1 (en) | Information processing apparatus, electronic device, information processing method, and program | |
| JP2013134549A (en) | Data input device and data input method | |
| JP2018047626A (en) | Image formation device, information processing device and information processing system | |
| KR20180000974A (en) | Touch screen apparatus and method of recognizing fingerprint the same | |
| JP5148002B1 (en) | Information processing apparatus, electronic device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5315450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |