JP4022090B2 - 指の動きの検出方法および検出装置 - Google Patents
指の動きの検出方法および検出装置 Download PDFInfo
- Publication number
- JP4022090B2 JP4022090B2 JP2002089517A JP2002089517A JP4022090B2 JP 4022090 B2 JP4022090 B2 JP 4022090B2 JP 2002089517 A JP2002089517 A JP 2002089517A JP 2002089517 A JP2002089517 A JP 2002089517A JP 4022090 B2 JP4022090 B2 JP 4022090B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- fingerprint
- image
- sensor image
- small block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
Description
【０００１】
【発明の属する技術分野】
本発明は、過去の指紋画像と現在の指紋画像とのパターンマッチングをおこなうことによって指の動きを検出する検出方法および検出装置に関し、特に指紋画像を利用した小型携帯機器用のポインティング装置に適用して好適な指の動きの検出方法および検出装置に関する。
【０００２】
従来より、ポインティング装置として、ノート型パーソナルコンピュータなどに備え付けの電子式トラックパッドが知られている。しかし、トラックパッドは、指先の位置を検出するために指先よりも大きなセンサ面を必要とし、それゆえ、携帯電話等の小型携帯機器用としては好ましくない。ところで、近時、指紋画像を利用した認証システムが実用化されつつあり、ポインティング装置においても指紋画像を利用することが考えられる。
【０００３】
【従来の技術】
指紋画像に基づいて指の動きを検出することによってポインティング機能を実現するというアイデアはすでに提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、指紋画像から指の動きを検出する方法や、その方法によって実現されるポインティング装置の構成などに関する具体的な提案は未だされていない。また、携帯電話等の小型携帯機器にポインティング装置を備え付けるためには、指紋を検出するセンサ面を指先よりも小さくする必要があるが、そのような大きさのセンサ面で指の動きを検出する方法や装置に関する提案も未だされていない。
【０００５】
また、ポインティング装置は常時使用されるため、指紋画像を利用したポインティング装置では、高いポインティング精度とともに、できるだけ演算負荷が少ないことが要求される。
【０００６】
本発明は、上記事情に鑑みてなされたものであって、指紋画像から指の動きを検出する具体的な方法や具体的な装置の構成を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、以下のことを特徴とする。指先よりも小さい領域の指紋センサを用いて、指先よりも小さい領域の指紋を検出する。検出した現在のセンサ画像に対して、指紋画像が存在する指紋領域を特定し、その重心位置を求める。その重心位置付近の領域を、指紋領域よりも小さい複数の小ブロックに分割する。一回前のセンサ画像についても指紋領域を特定しておき、一回前のセンサ画像の指紋領域に対して、現在のセンサ画像の小ブロックごとに、各小ブロックの指紋画像に一致する画像領域を探す。
【０００８】
現在のセンサ画像の小ブロックの位置と、その小ブロックに対応する一回前のセンサ画像の画像領域の位置との偏差から、候補ベクトルを求める。小ブロックごとに求められた候補ベクトルの中から、現在のセンサ画像の指紋画像と一回前のセンサ画像の指紋画像とのマッチング度が最も高い候補ベクトルを選択し、検出ベクトルとする。検出ベクトルに対して、細かな指先の動きや誤検出の影響を排除するための補正をおこない、最終的にポインタの移動制御をおこなうための補正ベクトルを得る。
【０００９】
この発明によれば、指先よりも小さい領域の指紋が検出され、現在のセンサ画像と過去のセンサ画像について、それぞれ指紋領域が特定され、それぞれの指紋領域の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められる。
【００１０】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しつつ詳細に説明する。図１は、本発明の実施の形態にかかる指の動きの検出装置の構成を機能的に示すブロック図である。図１に示すように、この検出装置は、電子式の指紋センサ１、Ａ／Ｄ変換器２、２個のセレクタ３，４、フレームメモリ５、動き検出部６、検出ベクトル補正部７、および全体の動作タイミングを制御する指紋センサ制御部８を備えている。
【００１１】
指紋センサ１は、指先９よりも小さく、指先９よりも小さい領域の指紋を検出する。Ａ／Ｄ変換器２は、指紋センサ１により取り込まれたアナログ信号よりなるセンサ画像データをデジタル信号よりなるデータに変換する。フレームメモリ５は、特に限定しないが、たとえば＃０、＃１および＃２で示すように３バンク構成となっている。３個のバンクのうち、１個のバンクは書き込み用に使用され、残りの２個のバンクは動き検出用に使用される。したがって、フレームメモリ５にセンサ画像データが書き込まれている間も、後述する動き検出処理の実行が可能である。
【００１２】
第１のセレクタ３は、フレームメモリ５の３個のバンクの中から空いているバンク、すなわち動き検出部６による動き検出処理に使用されていないバンクを選択する。それによって、Ａ／Ｄ変換器２から送られてきたセンサ画像データは、その空いているバンクに書き込まれる。
【００１３】
第２のセレクタ４は、第１のセレクタ３が使用していない２個のバンク、すなわちセンサ画像データの書き込み中ではない２個のバンクを選択する。これら２個のバンクには、すでにセンサ画像データが格納されている。そして、第２のセレクタ４は、２個のバンクに格納されたセンサ画像データのうち、時間的に新しいものを現在のセンサ画像のデータとし、時間的に古いものを過去のセンサ画像のデータとして動き検出部６に供給する。
【００１４】
また、第２のセレクタ４は、Ａ／Ｄ変換器２から供給された１枚分のセンサ画像のデータの取り込みが完了し、かつ動き検出部６による検出ベクトル（検出ベクトルについては後述する）の算出が完了した後に、フレームメモリ５の、過去のセンサ画像の格納領域として使用されていたバンクを開放する。
【００１５】
そして、現在のセンサ画像データを格納していたバンクは、つぎの動き検出処理時には、過去のセンサ画像データを格納しているバンクとして選択される。センサ画像データの書き込み中であったバンクは、新たに現在のセンサ画像データを格納しているバンクとして選択される。開放されたバンクは、Ａ／Ｄ変換器２から供給されるつぎのセンサ画像データの格納に使用される。
【００１６】
動き検出部６は、さらに指紋領域判定部６１、パターンマッチング部６２、候補ベクトル評価部６３を有する。指紋領域判定部６１は、現在のセンサ画像データを入力データとして、現在のセンサ画像中の指紋領域を判定するとともに、その判定した指紋領域の重心位置を求める。指紋領域の判定方法および重心位置の求め方については後述する。
【００１７】
パターンマッチング部６２は、指紋領域判定部６１から出力された現在のセンサ画像の指紋領域および重心位置のデータと、それを１回分遅延させた過去のセンサ画像のデータとを用いて、現在の指紋画像と過去の指紋画像のパターンマッチングをおこない、複数の候補ベクトルを出力する。パターンマッチングの方法および候補ベクトルについては後述する。図１において、符号６４は、現在のセンサ画像に関するデータを１回分遅延させるために一時的に記憶するメモリである。
【００１８】
候補ベクトル評価部６３は、パターンマッチング部６２から出力された複数の候補ベクトルのデータと、パターンマッチング部６２に入力された現在および過去のセンサ画像に関するデータとに基づいて、複数の候補ベクトルの評価をおこない、最も好ましい候補ベクトルを検出ベクトルとして出力する。候補ベクトルの評価方法については後述する。検出ベクトル補正部７は候補ベクトル評価部６３から出力された検出ベクトルのデータの補正をおこない、補正ベクトルとして出力する。検出ベクトルの補正方法については後述する。
【００１９】
図２は、本発明の実施の形態にかかる指の動きの検出方法の手順を示すフローチャートである。図２に示すように、まず指紋センサ１により指先９よりも小さい領域の指紋を検出することにより現在のセンサ画像データを取得する。そして、指紋領域判定部６１により、取得したセンサ画像データに基づいて、現在のセンサ画像中の指紋領域を特定するとともに、その指紋領域の重心位置を求める。（ステップＳ２１）。
【００２０】
センサ画像中の指紋領域を特定するためには、たとえば図３に示すように、センサ画像１０１を複数の指紋判定ブロック１０２に分割し、各指紋判定ブロック１０２内の画素データの分布を調べ、指紋画像２０１の有無を判定する。そして、すべての指紋判定ブロック１０２についての判定が終了した後、指紋画像２０１が存在する領域を指紋領域とする。
【００２１】
指紋領域の重心位置を求めるためには、たとえば図４に示すように、センサ画像１０１を、特に限定しないが、たとえば６×４のマトリクス状の指紋判定ブロック１０２に分けたときの、各指紋判定ブロック１０２の画素データの分布値ｓ（ｘ，ｙ）を用いて、つぎの（１）式および（２）式の計算をおこなう。
【００２２】
図示例では、ｘは１〜６の整数であり、ｙは１〜４の整数である。（１）式より水平方向の重心位置（水平重心位置）が求まり、（２）式より垂直方向の重心位置（垂直重心位置）が求まる。なお、水平方向とは、図４に示すセンサ画像１０１において横に長い方向であり、垂直方向とは縦に短い方向である。分布値ｓ（ｘ，ｙ）としては平均値や分散値などを用いることができる。
【００２３】
【数１】
【数２】
【００２４】
指紋領域の重心位置を求める際に、画素データの分布値ｓ（ｘ，ｙ）にある閾値を設定し、分布値ｓ（ｘ，ｙ）がその閾値を超えた指紋判定ブロック１０２のみを対象として上記（１）式および(２)式の計算をおこなうようにしてもよい。そうすれば、重心位置をより高い精度で求めることができる。この場合、閾値以下の分布値ｓ（ｘ，ｙ）についてはその値をゼロとすればよい。
【００２５】
図２に戻り、ステップＳ２１につづいて、パターンマッチング部６２により、現在のセンサ画像の指紋領域から複数の小ブロックを抽出し、各小ブロックごとに、小ブロックの指紋画像と、一回前のセンサ画像（過去のセンサ画像）の指紋領域内の指紋画像とのパターンマッチングをおこなう。そして、各小ブロックごとに候補ベクトルを求める（ステップＳ２２）。
【００２６】
ここで、センサ画像よりも領域が小さい小ブロックでパターンマッチングをおこなうのは、指先９の大きな動きに対しても追従可能とするためである。パターンマッチングをおこなうためには、たとえば図５に示すように、過去のセンサ画像１１１の指紋領域１１２の中から、現在のセンサ画像１２１の指紋領域１２２中の小ブロック１２３の指紋パターンに一致するパターンの画像領域を、矢印で示すように走査して探す。
【００２７】
そして、過去のセンサ画像１１１の指紋領域１１２の中の、現在のセンサ画像１２１の小ブロック１２３の指紋画像とのマッチング結果が最もよい画像領域の位置と、現在のセンサ画像１２１の小ブロック１２３の位置との偏差から候補ベクトルを求める。図５に示す例では、現在のセンサ画像１２１中の小ブロック１２３の数は複数、たとえば３個であり、各小ブロック１２３から一つずつ候補ベクトルが得られるため、図示例では候補ベクトルが３つ得られる。ここで、パターンマッチングをおこなう領域を過去のセンサ画像１１１の指紋領域１１２に限定したのは、パターンマッチングの演算量をできるだけ少なくして演算処理に要する時間を短縮し、指先９の動きにできるだけ追従させるためである。
【００２８】
図５に示す例では、現在のセンサ画像１２１中の３個の小ブロック１２３は、現在のセンサ画像１２１の指紋領域１２２の重心付近に限定されている。これは、指紋中に皺などがあり、その皺などによって指紋画像が取り込めていない部分が存在する可能性があるので、そのような部分を避けることによって、演算量をさらに抑えるためである。
【００２９】
このように現在のセンサ画像１２１中の小ブロック１２３を重心付近に限定した場合には、指先９の動きにできるだけ追従させるため、過去の指先９の動きに応じて、すなわち指先９が動いていく先の領域が広くなるように、重心位置にオフセットを持たせるようにしてもよい。なお、図５に示す例では、センサ面が横方向（水平方向）に長いため、水平重心位置のみを求め、垂直重心位置については考慮していない。
【００３０】
図２に戻り、ステップＳ２２につづいて、候補ベクトル評価部６３により、各候補ベクトルに基づいて、現在のセンサ画像の指紋領域と過去のセンサ画像の指紋領域とのマッチング評価をおこなう。そして、最も評価結果のよい候補ベクトルを検出ベクトルに特定する（ステップＳ２３）。
【００３１】
候補ベクトルを評価するにあたっては、ステップＳ２２で得られた複数の候補ベクトルのそれぞれについて、たとえば図６に示すように、現在のセンサ画像１２１の基準点（たとえば左上の角）を候補ベクトル１３１の分だけ過去のセンサ画像１１１の基準点（たとえば左上の角）から変位させる。それによって、現在のセンサ画像１２１の指紋領域１２２が過去のセンサ画像１１１の指紋領域１１２に重ね合わされるので、両指紋領域１１２，１２２の指紋画像のマッチング度を評価する。
【００３２】
ここでは、図５において小ブロックが３つあるとしたので、候補ベクトル１３１も３つあり、それぞれの候補ベクトル１３１についてマッチング度が評価される。そのうち、最もマッチング度が高い候補ベクトル１３１を検出ベクトルとする。
【００３３】
図２に戻り、ステップＳ２３につづいて、検出ベクトル補正部７により、検出ベクトルの評価および補正をおこない（ステップＳ２４）、最終的に、画面に表示されているポインタの移動制御をおこなうための補正ベクトルを得る。検出ベクトルを評価し、補正する理由は、細かな指先の動きを検出したり、誤検出などによってポインタが操作者の意図しない方向に移動してしまうのを防ぐためである。ポインタの移動制御は、ステップＳ２４で得られた補正ベクトルに基づいておこなわれる。
【００３４】
検出ベクトルの評価、補正をおこなうにあたっては、たとえば図７に示すように、ステップＳ２３で得られた今回の検出ベクトルに対して、過去のｎ回分の検出ベクトルを平均した平均ベクトルに対する方向判定をおこない、判定した方向に応じた第１の係数ｋ（０＜ｋ≦１）をかける。
【００３５】
ここで、平均ベクトルとは、過去のｎ回分の検出ベクトルのそれぞれについて、今回の検出ベクトルと同様に、それまでのｎ回分の検出ベクトルを平均した平均ベクトルに対して、方向に応じた係数ｋをかけたｎ個のベクトルを合成し、その合成ベクトルを１／ｎしたベクトルのことである。ｎの値については、指先の動き検出のための演算量や操作性等との兼ね合いから決定される。
【００３６】
このように、方向を考慮して検出ベクトルの評価、補正をおこなう理由は、今回の検出ベクトルの向きが平均ベクトルの向きと同じかまたは近ければ、誤検出の可能性が低いとしてｋの値を大きくし、逆向きかまたは逆向きに近ければ、誤検出の可能性が高いとしてｋの値を小さくすることによって、動き検出において誤検出した場合の影響を小さくするためである。方向判定方法については、２つのベクトルのなす角度を求める一般的な計算をおこなう。
【００３７】
そして、補正ベクトルを得るにあたっては、図７に示すように、上述したように方向を考慮したｎ回分の検出ベクトルの平均である平均ベクトルと、前回の平均ベクトルに基づいて得られた前回の補正ベクトルに第２の係数ｒ（０≦ｒ＜１）をかけあわせたものとを合成し、それを最終的な補正ベクトルとする。ここで、補正ベクトルを求める際に平均ベクトルを用いるのは、今回の検出ベクトルに過去の検出ベクトルの影響を付加することによって、細かな検出ベクトルの変動を抑えるためである。また、第２の係数ｒをかけるのは、補正ベクトルに基づいて移動制御されるポインタの動きに慣性を持たせて、ポインタの動きをより滑らかにするためである。したがって、ｒの値は、ポインタが滑らかに動くように適宜選択される。
【００３８】
なお、図７において、符号３０１は、検出ベクトルに第１の係数ｋをかける演算処理を表す。符号３０２〜３０４は、検出ベクトルに第１の係数ｋをかけたｎ回分のベクトルを表す。符号３０５は、検出ベクトルに第１の係数ｋをかけたｎ回分のベクトル３０２〜３０４を合成する処理を表す。符号３０６は、合成処理３０５において得られた合成ベクトルから平均ベクトルを求める処理を表す。符号３０７は、平均ベクトルに対する検出ベクトルの方向を判定する処理を表す。符号３０８は前回の補正ベクトルを表す。符号３０９は、前回の補正ベクトルに第２の係数ｒをかける演算処理を表す。符号３１０は、平均ベクトルと、前回の補正ベクトル３０８に第２の係数ｒをかけたベクトルとを合成する処理を表す。
【００３９】
上述した実施の形態によれば、指先９よりも小さい領域の指紋が検出され、現在のセンサ画像１２１と過去のセンサ画像１１１について、それぞれ指紋領域１２２，１１２が特定され、それぞれの指紋領域１２２，１１２の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められるため、指紋画像から指先９の動きを検出することができる。そして、指先の動きを表すベクトルに基づいてポインタを移動制御することにより、指先よりも小さい指紋センサ１を用いて、操作者の意思に沿ったポインティング機能を実現することができる。
【００４０】
したがって、たとえば指紋画像を利用した認証システムにポインティング機能を付加することができる。また、指紋センサ１が指先９よりも小さいため、携帯電話等の小型携帯機器にポインティング機能や、ポインティング機能付きの指紋認証システムを付加することができる。
【００４１】
以上において本発明は、上述した実施の形態に限らず、種々変更可能である。たとえば、指紋領域の特定方法、指紋領域の重心位置の求め方、パターンマッチング方法、検出ベクトルの評価、補正方法などは適宜変更可能である。また、本発明は、ソフトウェアにより実現することもできるし、ハードウェアにより実現することもできる。
【００４２】
（付記１）指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング工程と、
を含むことを特徴とする指の動きの検出方法。
【００４３】
（付記２）前記パターンマッチング工程では、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、
前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価工程をさらに有することを特徴とする付記１に記載の指の動きの検出方法。
【００４４】
（付記３）前記ベクトル評価工程により新たに選択されたベクトルに、前記ベクトル評価工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程をさらに有することを特徴とする付記２に記載の指の動きの検出方法。
【００４５】
（付記４）前記第１の係数は、前記平均ベクトルに対する前記ベクトル評価工程により新たに選択されたベクトルの方向に基づいて決められることを特徴とする付記３に記載の指の動きの検出方法。
【００４６】
（付記５）前記指紋検出工程の後に、前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定工程をさらに有し、
前記パターンマッチング工程では、前記指紋領域判定工程により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする付記１〜４のいずれか一つに記載の指の動きの検出方法。
【００４７】
（付記６）前記指紋領域判定工程では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング工程では、前記指紋領域判定工程により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする付記５に記載の指の動きの検出方法。
【００４８】
（付記７）指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、
を具備することを特徴とする指の動きの検出装置。
【００４９】
（付記８）さらに、前記指紋センサにより取得された第１のセンサ画像および第２のセンサ画像を記憶するフレームメモリを備えたことを特徴とする付記７に記載の指の動きの検出装置。
【００５０】
（付記９）前記パターンマッチング手段では、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、
前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価手段をさらに具備することを特徴とする付記７または８に記載の指の動きの検出装置。
【００５１】
（付記１０）前記ベクトル評価手段により新たに選択されたベクトルに、前記ベクトル評価手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に前記第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段をさらに具備することを特徴とする付記９に記載の指の動きの検出装置。
【００５２】
（付記１１）前記第１の係数は、前記平均ベクトルに対する前記ベクトル評価手段により新たに選択されたベクトルの方向に基づいて決められることを特徴とする付記１０に記載の指の動きの検出装置。
【００５３】
（付記１２）前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定手段をさらに具備し、
前記パターンマッチング手段では、前記指紋領域判定手段により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする付記７〜１１のいずれか一つに記載の指の動きの検出装置。
【００５４】
（付記１３）前記指紋領域判定手段では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング手段では、前記指紋領域判定手段により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする付記１２に記載の指の動きの検出装置。
【００５５】
（付記１４）上記付記１〜５のいずれか一つに記載の指の動きの検出方法により指の動きを示すベクトルを求める工程と、
当該ベクトルに基づいて、画面に表示されたポインタの移動制御をおこなう工程と、
を含むことを特徴とするポインティング方法。
【００５６】
（付記１５）上記付記７〜１３のいずれか一つに記載の指の動きの検出装置と、前記検出装置により求められた指の動きを示すベクトルに基づいて、画面に表示されたポインタの移動制御をおこなう制御手段と、
を具備することを特徴とするポインティング装置。
【００５７】
【発明の効果】
本発明によれば、指先よりも小さい領域の指紋が検出され、現在のセンサ画像と過去のセンサ画像について、それぞれ指紋領域が特定され、それぞれの指紋領域の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められるため、指紋画像から指先の動きを検出することができる。したがって、指先の動きを表すベクトルに基づいてポインタを移動制御することにより、指先よりも小さい指紋センサを用いて、操作者の意思に沿ったポインティング機能を実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる指の動きの検出装置の構成を機能的に示すブロック図である。
【図２】本発明の実施の形態にかかる指の動きの検出方法の手順を示すフローチャートである。
【図３】本発明の実施の形態においてセンサ画像中の指紋領域を特定する方法について説明するための図である。
【図４】本発明の実施の形態において指紋領域の重心位置を求める方法について説明するための図である。
【図５】本発明の実施の形態においてパターンマッチングの方法について説明するための図である。
【図６】本発明の実施の形態において候補ベクトルの評価方法について説明するための図である。
【図７】本発明の実施の形態において検出ベクトルの評価、補正方法について説明するための図である。
【符号の説明】
１ 指紋センサ
５ フレームメモリ
６ 動き検出部
７ 検出ベクトル補正部
９ 指先
６１ 指紋領域判定部
６２ パターンマッチング部
６３ 候補ベクトル評価部
【発明の属する技術分野】
本発明は、過去の指紋画像と現在の指紋画像とのパターンマッチングをおこなうことによって指の動きを検出する検出方法および検出装置に関し、特に指紋画像を利用した小型携帯機器用のポインティング装置に適用して好適な指の動きの検出方法および検出装置に関する。
【０００２】
従来より、ポインティング装置として、ノート型パーソナルコンピュータなどに備え付けの電子式トラックパッドが知られている。しかし、トラックパッドは、指先の位置を検出するために指先よりも大きなセンサ面を必要とし、それゆえ、携帯電話等の小型携帯機器用としては好ましくない。ところで、近時、指紋画像を利用した認証システムが実用化されつつあり、ポインティング装置においても指紋画像を利用することが考えられる。
【０００３】
【従来の技術】
指紋画像に基づいて指の動きを検出することによってポインティング機能を実現するというアイデアはすでに提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、指紋画像から指の動きを検出する方法や、その方法によって実現されるポインティング装置の構成などに関する具体的な提案は未だされていない。また、携帯電話等の小型携帯機器にポインティング装置を備え付けるためには、指紋を検出するセンサ面を指先よりも小さくする必要があるが、そのような大きさのセンサ面で指の動きを検出する方法や装置に関する提案も未だされていない。
【０００５】
また、ポインティング装置は常時使用されるため、指紋画像を利用したポインティング装置では、高いポインティング精度とともに、できるだけ演算負荷が少ないことが要求される。
【０００６】
本発明は、上記事情に鑑みてなされたものであって、指紋画像から指の動きを検出する具体的な方法や具体的な装置の構成を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、以下のことを特徴とする。指先よりも小さい領域の指紋センサを用いて、指先よりも小さい領域の指紋を検出する。検出した現在のセンサ画像に対して、指紋画像が存在する指紋領域を特定し、その重心位置を求める。その重心位置付近の領域を、指紋領域よりも小さい複数の小ブロックに分割する。一回前のセンサ画像についても指紋領域を特定しておき、一回前のセンサ画像の指紋領域に対して、現在のセンサ画像の小ブロックごとに、各小ブロックの指紋画像に一致する画像領域を探す。
【０００８】
現在のセンサ画像の小ブロックの位置と、その小ブロックに対応する一回前のセンサ画像の画像領域の位置との偏差から、候補ベクトルを求める。小ブロックごとに求められた候補ベクトルの中から、現在のセンサ画像の指紋画像と一回前のセンサ画像の指紋画像とのマッチング度が最も高い候補ベクトルを選択し、検出ベクトルとする。検出ベクトルに対して、細かな指先の動きや誤検出の影響を排除するための補正をおこない、最終的にポインタの移動制御をおこなうための補正ベクトルを得る。
【０００９】
この発明によれば、指先よりも小さい領域の指紋が検出され、現在のセンサ画像と過去のセンサ画像について、それぞれ指紋領域が特定され、それぞれの指紋領域の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められる。
【００１０】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しつつ詳細に説明する。図１は、本発明の実施の形態にかかる指の動きの検出装置の構成を機能的に示すブロック図である。図１に示すように、この検出装置は、電子式の指紋センサ１、Ａ／Ｄ変換器２、２個のセレクタ３，４、フレームメモリ５、動き検出部６、検出ベクトル補正部７、および全体の動作タイミングを制御する指紋センサ制御部８を備えている。
【００１１】
指紋センサ１は、指先９よりも小さく、指先９よりも小さい領域の指紋を検出する。Ａ／Ｄ変換器２は、指紋センサ１により取り込まれたアナログ信号よりなるセンサ画像データをデジタル信号よりなるデータに変換する。フレームメモリ５は、特に限定しないが、たとえば＃０、＃１および＃２で示すように３バンク構成となっている。３個のバンクのうち、１個のバンクは書き込み用に使用され、残りの２個のバンクは動き検出用に使用される。したがって、フレームメモリ５にセンサ画像データが書き込まれている間も、後述する動き検出処理の実行が可能である。
【００１２】
第１のセレクタ３は、フレームメモリ５の３個のバンクの中から空いているバンク、すなわち動き検出部６による動き検出処理に使用されていないバンクを選択する。それによって、Ａ／Ｄ変換器２から送られてきたセンサ画像データは、その空いているバンクに書き込まれる。
【００１３】
第２のセレクタ４は、第１のセレクタ３が使用していない２個のバンク、すなわちセンサ画像データの書き込み中ではない２個のバンクを選択する。これら２個のバンクには、すでにセンサ画像データが格納されている。そして、第２のセレクタ４は、２個のバンクに格納されたセンサ画像データのうち、時間的に新しいものを現在のセンサ画像のデータとし、時間的に古いものを過去のセンサ画像のデータとして動き検出部６に供給する。
【００１４】
また、第２のセレクタ４は、Ａ／Ｄ変換器２から供給された１枚分のセンサ画像のデータの取り込みが完了し、かつ動き検出部６による検出ベクトル（検出ベクトルについては後述する）の算出が完了した後に、フレームメモリ５の、過去のセンサ画像の格納領域として使用されていたバンクを開放する。
【００１５】
そして、現在のセンサ画像データを格納していたバンクは、つぎの動き検出処理時には、過去のセンサ画像データを格納しているバンクとして選択される。センサ画像データの書き込み中であったバンクは、新たに現在のセンサ画像データを格納しているバンクとして選択される。開放されたバンクは、Ａ／Ｄ変換器２から供給されるつぎのセンサ画像データの格納に使用される。
【００１６】
動き検出部６は、さらに指紋領域判定部６１、パターンマッチング部６２、候補ベクトル評価部６３を有する。指紋領域判定部６１は、現在のセンサ画像データを入力データとして、現在のセンサ画像中の指紋領域を判定するとともに、その判定した指紋領域の重心位置を求める。指紋領域の判定方法および重心位置の求め方については後述する。
【００１７】
パターンマッチング部６２は、指紋領域判定部６１から出力された現在のセンサ画像の指紋領域および重心位置のデータと、それを１回分遅延させた過去のセンサ画像のデータとを用いて、現在の指紋画像と過去の指紋画像のパターンマッチングをおこない、複数の候補ベクトルを出力する。パターンマッチングの方法および候補ベクトルについては後述する。図１において、符号６４は、現在のセンサ画像に関するデータを１回分遅延させるために一時的に記憶するメモリである。
【００１８】
候補ベクトル評価部６３は、パターンマッチング部６２から出力された複数の候補ベクトルのデータと、パターンマッチング部６２に入力された現在および過去のセンサ画像に関するデータとに基づいて、複数の候補ベクトルの評価をおこない、最も好ましい候補ベクトルを検出ベクトルとして出力する。候補ベクトルの評価方法については後述する。検出ベクトル補正部７は候補ベクトル評価部６３から出力された検出ベクトルのデータの補正をおこない、補正ベクトルとして出力する。検出ベクトルの補正方法については後述する。
【００１９】
図２は、本発明の実施の形態にかかる指の動きの検出方法の手順を示すフローチャートである。図２に示すように、まず指紋センサ１により指先９よりも小さい領域の指紋を検出することにより現在のセンサ画像データを取得する。そして、指紋領域判定部６１により、取得したセンサ画像データに基づいて、現在のセンサ画像中の指紋領域を特定するとともに、その指紋領域の重心位置を求める。（ステップＳ２１）。
【００２０】
センサ画像中の指紋領域を特定するためには、たとえば図３に示すように、センサ画像１０１を複数の指紋判定ブロック１０２に分割し、各指紋判定ブロック１０２内の画素データの分布を調べ、指紋画像２０１の有無を判定する。そして、すべての指紋判定ブロック１０２についての判定が終了した後、指紋画像２０１が存在する領域を指紋領域とする。
【００２１】
指紋領域の重心位置を求めるためには、たとえば図４に示すように、センサ画像１０１を、特に限定しないが、たとえば６×４のマトリクス状の指紋判定ブロック１０２に分けたときの、各指紋判定ブロック１０２の画素データの分布値ｓ（ｘ，ｙ）を用いて、つぎの（１）式および（２）式の計算をおこなう。
【００２２】
図示例では、ｘは１〜６の整数であり、ｙは１〜４の整数である。（１）式より水平方向の重心位置（水平重心位置）が求まり、（２）式より垂直方向の重心位置（垂直重心位置）が求まる。なお、水平方向とは、図４に示すセンサ画像１０１において横に長い方向であり、垂直方向とは縦に短い方向である。分布値ｓ（ｘ，ｙ）としては平均値や分散値などを用いることができる。
【００２３】
【数１】
指紋領域の重心位置を求める際に、画素データの分布値ｓ（ｘ，ｙ）にある閾値を設定し、分布値ｓ（ｘ，ｙ）がその閾値を超えた指紋判定ブロック１０２のみを対象として上記（１）式および(２)式の計算をおこなうようにしてもよい。そうすれば、重心位置をより高い精度で求めることができる。この場合、閾値以下の分布値ｓ（ｘ，ｙ）についてはその値をゼロとすればよい。
【００２５】
図２に戻り、ステップＳ２１につづいて、パターンマッチング部６２により、現在のセンサ画像の指紋領域から複数の小ブロックを抽出し、各小ブロックごとに、小ブロックの指紋画像と、一回前のセンサ画像（過去のセンサ画像）の指紋領域内の指紋画像とのパターンマッチングをおこなう。そして、各小ブロックごとに候補ベクトルを求める（ステップＳ２２）。
【００２６】
ここで、センサ画像よりも領域が小さい小ブロックでパターンマッチングをおこなうのは、指先９の大きな動きに対しても追従可能とするためである。パターンマッチングをおこなうためには、たとえば図５に示すように、過去のセンサ画像１１１の指紋領域１１２の中から、現在のセンサ画像１２１の指紋領域１２２中の小ブロック１２３の指紋パターンに一致するパターンの画像領域を、矢印で示すように走査して探す。
【００２７】
そして、過去のセンサ画像１１１の指紋領域１１２の中の、現在のセンサ画像１２１の小ブロック１２３の指紋画像とのマッチング結果が最もよい画像領域の位置と、現在のセンサ画像１２１の小ブロック１２３の位置との偏差から候補ベクトルを求める。図５に示す例では、現在のセンサ画像１２１中の小ブロック１２３の数は複数、たとえば３個であり、各小ブロック１２３から一つずつ候補ベクトルが得られるため、図示例では候補ベクトルが３つ得られる。ここで、パターンマッチングをおこなう領域を過去のセンサ画像１１１の指紋領域１１２に限定したのは、パターンマッチングの演算量をできるだけ少なくして演算処理に要する時間を短縮し、指先９の動きにできるだけ追従させるためである。
【００２８】
図５に示す例では、現在のセンサ画像１２１中の３個の小ブロック１２３は、現在のセンサ画像１２１の指紋領域１２２の重心付近に限定されている。これは、指紋中に皺などがあり、その皺などによって指紋画像が取り込めていない部分が存在する可能性があるので、そのような部分を避けることによって、演算量をさらに抑えるためである。
【００２９】
このように現在のセンサ画像１２１中の小ブロック１２３を重心付近に限定した場合には、指先９の動きにできるだけ追従させるため、過去の指先９の動きに応じて、すなわち指先９が動いていく先の領域が広くなるように、重心位置にオフセットを持たせるようにしてもよい。なお、図５に示す例では、センサ面が横方向（水平方向）に長いため、水平重心位置のみを求め、垂直重心位置については考慮していない。
【００３０】
図２に戻り、ステップＳ２２につづいて、候補ベクトル評価部６３により、各候補ベクトルに基づいて、現在のセンサ画像の指紋領域と過去のセンサ画像の指紋領域とのマッチング評価をおこなう。そして、最も評価結果のよい候補ベクトルを検出ベクトルに特定する（ステップＳ２３）。
【００３１】
候補ベクトルを評価するにあたっては、ステップＳ２２で得られた複数の候補ベクトルのそれぞれについて、たとえば図６に示すように、現在のセンサ画像１２１の基準点（たとえば左上の角）を候補ベクトル１３１の分だけ過去のセンサ画像１１１の基準点（たとえば左上の角）から変位させる。それによって、現在のセンサ画像１２１の指紋領域１２２が過去のセンサ画像１１１の指紋領域１１２に重ね合わされるので、両指紋領域１１２，１２２の指紋画像のマッチング度を評価する。
【００３２】
ここでは、図５において小ブロックが３つあるとしたので、候補ベクトル１３１も３つあり、それぞれの候補ベクトル１３１についてマッチング度が評価される。そのうち、最もマッチング度が高い候補ベクトル１３１を検出ベクトルとする。
【００３３】
図２に戻り、ステップＳ２３につづいて、検出ベクトル補正部７により、検出ベクトルの評価および補正をおこない（ステップＳ２４）、最終的に、画面に表示されているポインタの移動制御をおこなうための補正ベクトルを得る。検出ベクトルを評価し、補正する理由は、細かな指先の動きを検出したり、誤検出などによってポインタが操作者の意図しない方向に移動してしまうのを防ぐためである。ポインタの移動制御は、ステップＳ２４で得られた補正ベクトルに基づいておこなわれる。
【００３４】
検出ベクトルの評価、補正をおこなうにあたっては、たとえば図７に示すように、ステップＳ２３で得られた今回の検出ベクトルに対して、過去のｎ回分の検出ベクトルを平均した平均ベクトルに対する方向判定をおこない、判定した方向に応じた第１の係数ｋ（０＜ｋ≦１）をかける。
【００３５】
ここで、平均ベクトルとは、過去のｎ回分の検出ベクトルのそれぞれについて、今回の検出ベクトルと同様に、それまでのｎ回分の検出ベクトルを平均した平均ベクトルに対して、方向に応じた係数ｋをかけたｎ個のベクトルを合成し、その合成ベクトルを１／ｎしたベクトルのことである。ｎの値については、指先の動き検出のための演算量や操作性等との兼ね合いから決定される。
【００３６】
このように、方向を考慮して検出ベクトルの評価、補正をおこなう理由は、今回の検出ベクトルの向きが平均ベクトルの向きと同じかまたは近ければ、誤検出の可能性が低いとしてｋの値を大きくし、逆向きかまたは逆向きに近ければ、誤検出の可能性が高いとしてｋの値を小さくすることによって、動き検出において誤検出した場合の影響を小さくするためである。方向判定方法については、２つのベクトルのなす角度を求める一般的な計算をおこなう。
【００３７】
そして、補正ベクトルを得るにあたっては、図７に示すように、上述したように方向を考慮したｎ回分の検出ベクトルの平均である平均ベクトルと、前回の平均ベクトルに基づいて得られた前回の補正ベクトルに第２の係数ｒ（０≦ｒ＜１）をかけあわせたものとを合成し、それを最終的な補正ベクトルとする。ここで、補正ベクトルを求める際に平均ベクトルを用いるのは、今回の検出ベクトルに過去の検出ベクトルの影響を付加することによって、細かな検出ベクトルの変動を抑えるためである。また、第２の係数ｒをかけるのは、補正ベクトルに基づいて移動制御されるポインタの動きに慣性を持たせて、ポインタの動きをより滑らかにするためである。したがって、ｒの値は、ポインタが滑らかに動くように適宜選択される。
【００３８】
なお、図７において、符号３０１は、検出ベクトルに第１の係数ｋをかける演算処理を表す。符号３０２〜３０４は、検出ベクトルに第１の係数ｋをかけたｎ回分のベクトルを表す。符号３０５は、検出ベクトルに第１の係数ｋをかけたｎ回分のベクトル３０２〜３０４を合成する処理を表す。符号３０６は、合成処理３０５において得られた合成ベクトルから平均ベクトルを求める処理を表す。符号３０７は、平均ベクトルに対する検出ベクトルの方向を判定する処理を表す。符号３０８は前回の補正ベクトルを表す。符号３０９は、前回の補正ベクトルに第２の係数ｒをかける演算処理を表す。符号３１０は、平均ベクトルと、前回の補正ベクトル３０８に第２の係数ｒをかけたベクトルとを合成する処理を表す。
【００３９】
上述した実施の形態によれば、指先９よりも小さい領域の指紋が検出され、現在のセンサ画像１２１と過去のセンサ画像１１１について、それぞれ指紋領域１２２，１１２が特定され、それぞれの指紋領域１２２，１１２の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められるため、指紋画像から指先９の動きを検出することができる。そして、指先の動きを表すベクトルに基づいてポインタを移動制御することにより、指先よりも小さい指紋センサ１を用いて、操作者の意思に沿ったポインティング機能を実現することができる。
【００４０】
したがって、たとえば指紋画像を利用した認証システムにポインティング機能を付加することができる。また、指紋センサ１が指先９よりも小さいため、携帯電話等の小型携帯機器にポインティング機能や、ポインティング機能付きの指紋認証システムを付加することができる。
【００４１】
以上において本発明は、上述した実施の形態に限らず、種々変更可能である。たとえば、指紋領域の特定方法、指紋領域の重心位置の求め方、パターンマッチング方法、検出ベクトルの評価、補正方法などは適宜変更可能である。また、本発明は、ソフトウェアにより実現することもできるし、ハードウェアにより実現することもできる。
【００４２】
（付記１）指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング工程と、
を含むことを特徴とする指の動きの検出方法。
【００４３】
（付記２）前記パターンマッチング工程では、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、
前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価工程をさらに有することを特徴とする付記１に記載の指の動きの検出方法。
【００４４】
（付記３）前記ベクトル評価工程により新たに選択されたベクトルに、前記ベクトル評価工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程をさらに有することを特徴とする付記２に記載の指の動きの検出方法。
【００４５】
（付記４）前記第１の係数は、前記平均ベクトルに対する前記ベクトル評価工程により新たに選択されたベクトルの方向に基づいて決められることを特徴とする付記３に記載の指の動きの検出方法。
【００４６】
（付記５）前記指紋検出工程の後に、前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定工程をさらに有し、
前記パターンマッチング工程では、前記指紋領域判定工程により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする付記１〜４のいずれか一つに記載の指の動きの検出方法。
【００４７】
（付記６）前記指紋領域判定工程では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング工程では、前記指紋領域判定工程により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする付記５に記載の指の動きの検出方法。
【００４８】
（付記７）指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、
を具備することを特徴とする指の動きの検出装置。
【００４９】
（付記８）さらに、前記指紋センサにより取得された第１のセンサ画像および第２のセンサ画像を記憶するフレームメモリを備えたことを特徴とする付記７に記載の指の動きの検出装置。
【００５０】
（付記９）前記パターンマッチング手段では、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、
前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価手段をさらに具備することを特徴とする付記７または８に記載の指の動きの検出装置。
【００５１】
（付記１０）前記ベクトル評価手段により新たに選択されたベクトルに、前記ベクトル評価手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に前記第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段をさらに具備することを特徴とする付記９に記載の指の動きの検出装置。
【００５２】
（付記１１）前記第１の係数は、前記平均ベクトルに対する前記ベクトル評価手段により新たに選択されたベクトルの方向に基づいて決められることを特徴とする付記１０に記載の指の動きの検出装置。
【００５３】
（付記１２）前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定手段をさらに具備し、
前記パターンマッチング手段では、前記指紋領域判定手段により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする付記７〜１１のいずれか一つに記載の指の動きの検出装置。
【００５４】
（付記１３）前記指紋領域判定手段では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング手段では、前記指紋領域判定手段により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする付記１２に記載の指の動きの検出装置。
【００５５】
（付記１４）上記付記１〜５のいずれか一つに記載の指の動きの検出方法により指の動きを示すベクトルを求める工程と、
当該ベクトルに基づいて、画面に表示されたポインタの移動制御をおこなう工程と、
を含むことを特徴とするポインティング方法。
【００５６】
（付記１５）上記付記７〜１３のいずれか一つに記載の指の動きの検出装置と、前記検出装置により求められた指の動きを示すベクトルに基づいて、画面に表示されたポインタの移動制御をおこなう制御手段と、
を具備することを特徴とするポインティング装置。
【００５７】
【発明の効果】
本発明によれば、指先よりも小さい領域の指紋が検出され、現在のセンサ画像と過去のセンサ画像について、それぞれ指紋領域が特定され、それぞれの指紋領域の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められるため、指紋画像から指先の動きを検出することができる。したがって、指先の動きを表すベクトルに基づいてポインタを移動制御することにより、指先よりも小さい指紋センサを用いて、操作者の意思に沿ったポインティング機能を実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる指の動きの検出装置の構成を機能的に示すブロック図である。
【図２】本発明の実施の形態にかかる指の動きの検出方法の手順を示すフローチャートである。
【図３】本発明の実施の形態においてセンサ画像中の指紋領域を特定する方法について説明するための図である。
【図４】本発明の実施の形態において指紋領域の重心位置を求める方法について説明するための図である。
【図５】本発明の実施の形態においてパターンマッチングの方法について説明するための図である。
【図６】本発明の実施の形態において候補ベクトルの評価方法について説明するための図である。
【図７】本発明の実施の形態において検出ベクトルの評価、補正方法について説明するための図である。
【符号の説明】
１ 指紋センサ
５ フレームメモリ
６ 動き検出部
７ 検出ベクトル補正部
９ 指先
６１ 指紋領域判定部
６２ パターンマッチング部
６３ 候補ベクトル評価部
Claims (12)
- 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング工程と、を含み、
前記パターンマッチング工程は、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価工程と、
前記ベクトル評価工程により新たに選択されたベクトルに、前記ベクトル評価工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程とを有することを特徴とする指の動きの検出方法。 - 前記指紋検出工程の後に、前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定工程をさらに有し、
前記パターンマッチング工程では、前記指紋領域判定工程により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする請求項１に記載の指の動きの検出方法。 - 前記指紋領域判定工程では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング工程では、前記指紋領域判定工程により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする請求項２に記載の指の動きの検出方法。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、を備え、
前記パターンマッチング手段は、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価手段と、
前記ベクトル評価手段により新たに選択されたベクトルに、前記ベクトル評価手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に前記第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段とを具備することを特徴とする指の動きの検出装 置。 - 前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定手段をさらに具備し、
前記パターンマッチング手段では、前記指紋領域判定手段により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする請求項４に記載の指の動きの検出装置。 - 前記指紋領域判定手段では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング手段では、前記指紋領域判定手段により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする請求項５に記載の指の動きの検出装置。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング工程と、
前記ベクトルに、過去に求めたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正工程と、
を含むことを特徴とする指の動きの検出方法。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング工程と、
前記ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正工程と、
を含み、
前記ベクトル補正工程においては、
前記パターンマッチング工程で求めたベクトルと、前記ベクトル補正工程で過去に求めた指の動きを示すベクトルとに基づき、指の動きを示す新たなベクトルを求めることを特徴とする指の動きの検出方法。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング工程と、
前記ベクトルに、前記パターンマッチング工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程と、
を含むことを特徴とする指の動きの検出方法。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画 像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング手段と、
前記ベクトルに、過去に求めたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正手段と、
を具備することを特徴とする指の動きの検出装置。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング手段と、
前記ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正手段と、
を具備し、
前記ベクトル補正手段は、
前記パターンマッチング手段で求めたベクトルと、前記ベクトル補正手段で過去に求めた指の動きを示すベクトルとに基づき、指の動きを示す新たなベクトルを求めることを特徴とする指の動きの検出装置。 - 指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、
前記ベクトルに、前記パターンマッチング手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段と、
を具備することを特徴とする指の動きの検出装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002089517A JP4022090B2 (ja) | 2002-03-27 | 2002-03-27 | 指の動きの検出方法および検出装置 |
| US10/352,943 US7064743B2 (en) | 2002-03-27 | 2003-01-29 | Finger movement detection method and apparatus |
| DE60302693T DE60302693T2 (de) | 2002-03-27 | 2003-01-31 | Verfahren und Anordnung zur Erkennung von Fingerbewegung |
| EP03250631A EP1349106B1 (en) | 2002-03-27 | 2003-01-31 | Finger movement detection method and apparatus |
| CNB031064310A CN1278277C (zh) | 2002-03-27 | 2003-02-25 | 手指移动检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002089517A JP4022090B2 (ja) | 2002-03-27 | 2002-03-27 | 指の動きの検出方法および検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003288160A JP2003288160A (ja) | 2003-10-10 |
| JP4022090B2 true JP4022090B2 (ja) | 2007-12-12 |
Family
ID=27800494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002089517A Expired - Fee Related JP4022090B2 (ja) | 2002-03-27 | 2002-03-27 | 指の動きの検出方法および検出装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7064743B2 (ja) |
| EP (1) | EP1349106B1 (ja) |
| JP (1) | JP4022090B2 (ja) |
| CN (1) | CN1278277C (ja) |
| DE (1) | DE60302693T2 (ja) |
Families Citing this family (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006522981A (ja) * | 2003-04-11 | 2006-10-05 | モビソル インコーポレーテッド | ポインティングデバイス |
| US7158659B2 (en) * | 2003-04-18 | 2007-01-02 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for multiplexing illumination in combined finger recognition and finger navigation module |
| US7274808B2 (en) * | 2003-04-18 | 2007-09-25 | Avago Technologies Ecbu Ip (Singapore)Pte Ltd | Imaging system and apparatus for combining finger recognition and finger navigation |
| US7164782B2 (en) * | 2003-04-18 | 2007-01-16 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for time-space multiplexing in finger-imaging applications |
| US7587072B2 (en) * | 2003-08-22 | 2009-09-08 | Authentec, Inc. | System for and method of generating rotational inputs |
| JP4023469B2 (ja) * | 2004-04-09 | 2007-12-19 | 村田機械株式会社 | 方向指示装置 |
| US8229184B2 (en) | 2004-04-16 | 2012-07-24 | Validity Sensors, Inc. | Method and algorithm for accurate finger motion tracking |
| US8358815B2 (en) * | 2004-04-16 | 2013-01-22 | Validity Sensors, Inc. | Method and apparatus for two-dimensional finger motion tracking and control |
| US8165355B2 (en) | 2006-09-11 | 2012-04-24 | Validity Sensors, Inc. | Method and apparatus for fingerprint motion tracking using an in-line array for use in navigation applications |
| US8447077B2 (en) | 2006-09-11 | 2013-05-21 | Validity Sensors, Inc. | Method and apparatus for fingerprint motion tracking using an in-line array |
| US8131026B2 (en) | 2004-04-16 | 2012-03-06 | Validity Sensors, Inc. | Method and apparatus for fingerprint image reconstruction |
| US8175345B2 (en) | 2004-04-16 | 2012-05-08 | Validity Sensors, Inc. | Unitized ergonomic two-dimensional fingerprint motion tracking device and method |
| WO2005106774A2 (en) | 2004-04-23 | 2005-11-10 | Validity Sensors, Inc. | Methods and apparatus for acquiring a swiped fingerprint image |
| CN1942849A (zh) * | 2004-04-30 | 2007-04-04 | 株式会社Dds | 操作输入设备和操作输入程序 |
| JP4411150B2 (ja) | 2004-06-30 | 2010-02-10 | Ｎｅｃインフロンティア株式会社 | 画像構成方法、指紋画像構成装置およびプログラム |
| JP4208200B2 (ja) * | 2004-09-28 | 2009-01-14 | シャープ株式会社 | ポインティングデバイス |
| EP1800243B1 (en) | 2004-10-04 | 2010-08-11 | Validity Sensors, Inc. | Fingerprint sensing assemblies comprising a substrate |
| JP2006107366A (ja) * | 2004-10-08 | 2006-04-20 | Fujitsu Ltd | 生体情報入力装置，生体認証装置，生体情報処理方法，生体情報処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体 |
| KR100948320B1 (ko) | 2005-04-25 | 2010-03-17 | 후지쯔 가부시끼가이샤 | 파일 관리 방법 |
| CN100398675C (zh) * | 2005-07-29 | 2008-07-02 | 宝山钢铁股份有限公司 | 自动识别连续退火炉内带钢跑偏的方法 |
| CN101248409B (zh) * | 2005-08-22 | 2012-08-22 | 三星电子株式会社 | 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备 |
| WO2008033265A2 (en) * | 2006-09-11 | 2008-03-20 | Validity Sensors, Inc. | Method and apparatus for fingerprint motion tracking using an in-line array |
| CN101005353B (zh) * | 2006-12-29 | 2010-06-23 | 北京飞天诚信科技有限公司 | 一种实现定位和导航功能的智能密钥设备 |
| US8107212B2 (en) | 2007-04-30 | 2012-01-31 | Validity Sensors, Inc. | Apparatus and method for protecting fingerprint sensing circuitry from electrostatic discharge |
| US8290150B2 (en) | 2007-05-11 | 2012-10-16 | Validity Sensors, Inc. | Method and system for electronically securing an electronic device using physically unclonable functions |
| US8204281B2 (en) | 2007-12-14 | 2012-06-19 | Validity Sensors, Inc. | System and method to remove artifacts from fingerprint sensor scans |
| US8276816B2 (en) | 2007-12-14 | 2012-10-02 | Validity Sensors, Inc. | Smart card system with ergonomic fingerprint sensor and method of using |
| US8005276B2 (en) | 2008-04-04 | 2011-08-23 | Validity Sensors, Inc. | Apparatus and method for reducing parasitic capacitive coupling and noise in fingerprint sensing circuits |
| US8116540B2 (en) | 2008-04-04 | 2012-02-14 | Validity Sensors, Inc. | Apparatus and method for reducing noise in fingerprint sensing circuits |
| WO2010036445A1 (en) | 2008-07-22 | 2010-04-01 | Validity Sensors, Inc. | System, device and method for securing a device component |
| US8391568B2 (en) | 2008-11-10 | 2013-03-05 | Validity Sensors, Inc. | System and method for improved scanning of fingerprint edges |
| US8600122B2 (en) | 2009-01-15 | 2013-12-03 | Validity Sensors, Inc. | Apparatus and method for culling substantially redundant data in fingerprint sensing circuits |
| US8278946B2 (en) | 2009-01-15 | 2012-10-02 | Validity Sensors, Inc. | Apparatus and method for detecting finger activity on a fingerprint sensor |
| US8374407B2 (en) | 2009-01-28 | 2013-02-12 | Validity Sensors, Inc. | Live finger detection |
| US9336428B2 (en) | 2009-10-30 | 2016-05-10 | Synaptics Incorporated | Integrated fingerprint sensor and display |
| US9400911B2 (en) | 2009-10-30 | 2016-07-26 | Synaptics Incorporated | Fingerprint sensor and integratable electronic display |
| US9274553B2 (en) | 2009-10-30 | 2016-03-01 | Synaptics Incorporated | Fingerprint sensor and integratable electronic display |
| KR20120096062A (ko) * | 2009-12-24 | 2012-08-29 | 가부시키가이샤 니프코 | 미닫이문의 개방보조장치 |
| JP5457203B2 (ja) * | 2010-01-07 | 2014-04-02 | Ｎｅｃインフロンティア株式会社 | 指紋特徴量抽出装置、指紋入力装置、指紋認証装置、及び指紋特徴量抽出方法 |
| US8866347B2 (en) | 2010-01-15 | 2014-10-21 | Idex Asa | Biometric image sensing |
| US8421890B2 (en) | 2010-01-15 | 2013-04-16 | Picofield Technologies, Inc. | Electronic imager using an impedance sensor grid array and method of making |
| US8791792B2 (en) | 2010-01-15 | 2014-07-29 | Idex Asa | Electronic imager using an impedance sensor grid array mounted on or about a switch and method of making |
| CN101782965B (zh) * | 2010-02-11 | 2012-05-23 | 上海点佰趣信息科技有限公司 | 形变指纹图像的处理方法 |
| US9666635B2 (en) | 2010-02-19 | 2017-05-30 | Synaptics Incorporated | Fingerprint sensing circuit |
| US8716613B2 (en) | 2010-03-02 | 2014-05-06 | Synaptics Incoporated | Apparatus and method for electrostatic discharge protection |
| US9001040B2 (en) | 2010-06-02 | 2015-04-07 | Synaptics Incorporated | Integrated fingerprint sensor and navigation device |
| US8331096B2 (en) | 2010-08-20 | 2012-12-11 | Validity Sensors, Inc. | Fingerprint acquisition expansion card apparatus |
| US8437517B2 (en) | 2010-11-03 | 2013-05-07 | Lockheed Martin Corporation | Latent fingerprint detectors and fingerprint scanners therefrom |
| US8538097B2 (en) | 2011-01-26 | 2013-09-17 | Validity Sensors, Inc. | User input utilizing dual line scanner apparatus and method |
| US8594393B2 (en) | 2011-01-26 | 2013-11-26 | Validity Sensors | System for and method of image reconstruction with dual line scanner using line counts |
| US9406580B2 (en) | 2011-03-16 | 2016-08-02 | Synaptics Incorporated | Packaging for fingerprint sensors and methods of manufacture |
| US20150241350A1 (en) | 2011-08-26 | 2015-08-27 | Edward J. Miesak | Latent fingerprint detection |
| US10043052B2 (en) | 2011-10-27 | 2018-08-07 | Synaptics Incorporated | Electronic device packages and methods |
| US9195877B2 (en) | 2011-12-23 | 2015-11-24 | Synaptics Incorporated | Methods and devices for capacitive image sensing |
| US9785299B2 (en) | 2012-01-03 | 2017-10-10 | Synaptics Incorporated | Structures and manufacturing methods for glass covered electronic devices |
| US9268991B2 (en) | 2012-03-27 | 2016-02-23 | Synaptics Incorporated | Method of and system for enrolling and matching biometric data |
| US9251329B2 (en) | 2012-03-27 | 2016-02-02 | Synaptics Incorporated | Button depress wakeup and wakeup strategy |
| US9137438B2 (en) | 2012-03-27 | 2015-09-15 | Synaptics Incorporated | Biometric object sensor and method |
| US9600709B2 (en) | 2012-03-28 | 2017-03-21 | Synaptics Incorporated | Methods and systems for enrolling biometric data |
| US9152838B2 (en) | 2012-03-29 | 2015-10-06 | Synaptics Incorporated | Fingerprint sensor packagings and methods |
| EP2958053A1 (en) | 2012-04-10 | 2015-12-23 | Idex Asa | Biometric sensing |
| DE102012108838A1 (de) * | 2012-09-19 | 2014-05-28 | Cross Match Technologies Gmbh | Verfahren und Vorrichtung zur Aufnahme von Fingerabdrücken auf Basis von Fingerabdruckscannern in zuverlässig hoher Qualität |
| US9665762B2 (en) | 2013-01-11 | 2017-05-30 | Synaptics Incorporated | Tiered wakeup strategy |
| US20150242681A1 (en) * | 2013-04-16 | 2015-08-27 | Lsi Corporation | System and Method of Image Processing |
| TWI557649B (zh) * | 2014-08-01 | 2016-11-11 | 神盾股份有限公司 | 電子裝置及指紋辨識裝置控制方法 |
| JPWO2016021342A1 (ja) * | 2014-08-06 | 2017-06-22 | ソニーセミコンダクタソリューションズ株式会社 | 画像認識装置、その学習方法、および電子機器 |
| US9804096B1 (en) | 2015-01-14 | 2017-10-31 | Leidos Innovations Technology, Inc. | System and method for detecting latent images on a thermal dye printer film |
| SE1550281A1 (en) | 2015-03-06 | 2016-09-07 | Fingerprint Cards Ab | Method and system for estimating finger movement |
| US10032062B2 (en) | 2015-04-15 | 2018-07-24 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing fingerprint |
| SE1551620A1 (en) * | 2015-12-10 | 2017-06-11 | Fingerprint Cards Ab | Method and system for estimating finger movement with selection of navigation subareas |
| CN106020471B (zh) * | 2016-05-18 | 2019-04-12 | 维沃移动通信有限公司 | 一种移动终端的操作方法及移动终端 |
| EP3542307A4 (en) * | 2016-11-15 | 2020-06-10 | Fingerprint Cards AB | ELECTRONIC FINGERPRINT RECORDING METHOD AND DEVICE |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4024867A1 (de) | 1990-08-04 | 1992-02-06 | Bayer Ag | Verfahren zur herstellung von oxyguanidinen |
| EP0470530B1 (en) * | 1990-08-07 | 1997-01-22 | Yozan Inc. | Fingerprint verification method |
| JPH04158434A (ja) | 1990-10-23 | 1992-06-01 | Toshiba Corp | ディスプレイ装置のポインティングデバイス |
| US5543588A (en) * | 1992-06-08 | 1996-08-06 | Synaptics, Incorporated | Touch pad driven handheld computing device |
| JPH08110949A (ja) * | 1993-05-07 | 1996-04-30 | Sharp Corp | 指紋画像の画質判定方法 |
| US6185319B1 (en) * | 1996-12-06 | 2001-02-06 | Yamatake Honeywell Co., Ltd. | Fingerprint input apparatus |
| US6003093A (en) | 1996-12-19 | 1999-12-14 | Canon Kabushiki Kaisha | Architecture for image processing application |
| EP0905646A1 (en) | 1997-09-30 | 1999-03-31 | Compaq Computer Corporation | Pointing and fingerprint identifier mechanism for a computer system |
| US6057540A (en) * | 1998-04-30 | 2000-05-02 | Hewlett-Packard Co | Mouseless optical and position translation type screen pointer control for a computer system |
| CA2273560A1 (en) | 1998-07-17 | 2000-01-17 | David Andrew Inglis | Finger sensor operating technique |
| TW546582B (en) * | 1999-07-08 | 2003-08-11 | Primax Electronics Ltd | Pointing device using two line-shaped image input devices and fingerprint to generate displacement signals |
| SE515239C2 (sv) | 2000-05-15 | 2001-07-02 | Ericsson Telefon Ab L M | Metod för alstring av en sammansatt bild samt en apparat för detektering av fingeravtryck |
-
2002
- 2002-03-27 JP JP2002089517A patent/JP4022090B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-29 US US10/352,943 patent/US7064743B2/en not_active Expired - Lifetime
- 2003-01-31 EP EP03250631A patent/EP1349106B1/en not_active Expired - Fee Related
- 2003-01-31 DE DE60302693T patent/DE60302693T2/de not_active Expired - Lifetime
- 2003-02-25 CN CNB031064310A patent/CN1278277C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7064743B2 (en) | 2006-06-20 |
| JP2003288160A (ja) | 2003-10-10 |
| EP1349106B1 (en) | 2005-12-14 |
| CN1278277C (zh) | 2006-10-04 |
| DE60302693D1 (de) | 2006-01-19 |
| CN1447282A (zh) | 2003-10-08 |
| EP1349106A1 (en) | 2003-10-01 |
| DE60302693T2 (de) | 2006-07-13 |
| US20030185425A1 (en) | 2003-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4022090B2 (ja) | 指の動きの検出方法および検出装置 | |
| KR100801515B1 (ko) | 생체 정보 입력 장치, 생체 인증 장치, 생체 정보 처리 방법, 생체 정보 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| KR101300400B1 (ko) | 적응적인 제스처 분석을 위한 방법, 장치 및 컴퓨터-독출가능 저장 매체 | |
| US9436981B2 (en) | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program | |
| US20120189167A1 (en) | Image processing device, image processing method, and program | |
| CN112506340B (zh) | 设备控制方法、装置、电子设备及存储介质 | |
| SE515239C2 (sv) | Metod för alstring av en sammansatt bild samt en apparat för detektering av fingeravtryck | |
| KR20180102639A (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
| KR20150106824A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| US9317904B2 (en) | Image processing system and image processing method | |
| WO2007074605A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
| JP2003256850A (ja) | 動き認識装置および画像処理装置並びにプログラム | |
| CN110377187A (zh) | 估计被遮挡指尖的方法和装置、姿势识别系统及存储介质 | |
| KR20200096426A (ko) | 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램 | |
| KR102429337B1 (ko) | 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법 | |
| JP4245695B2 (ja) | 画像動きベクトル検出方法およびその装置 | |
| WO1998012869A1 (fr) | Appareil de mesure de mouvement | |
| JP4321251B2 (ja) | 合成画像を生成・表示する装置及び方法 | |
| JP5662787B2 (ja) | 携帯端末および画像処理方法 | |
| US8179967B2 (en) | Method and device for detecting movement of an entity provided with an image sensor | |
| JP6723822B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US9697419B2 (en) | Information processing apparatus, non-transitory storage medium encoded with computer readable information processing program, information processing system, and information processing method | |
| JP3437087B2 (ja) | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 | |
| WO2022153481A1 (en) | Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium | |
| JP2012128578A (ja) | 携帯端末および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070813 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |