JP4758594B2 - 入力装置、情報装置及び制御情報生成方法 - Google Patents

入力装置、情報装置及び制御情報生成方法 Download PDF

Info

Publication number
JP4758594B2
JP4758594B2 JP2002277455A JP2002277455A JP4758594B2 JP 4758594 B2 JP4758594 B2 JP 4758594B2 JP 2002277455 A JP2002277455 A JP 2002277455A JP 2002277455 A JP2002277455 A JP 2002277455A JP 4758594 B2 JP4758594 B2 JP 4758594B2
Authority
JP
Japan
Prior art keywords
image
difference
control information
axis
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002277455A
Other languages
English (en)
Other versions
JP2004118311A (ja
Inventor
大輔 佐藤
富雄 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2002277455A priority Critical patent/JP4758594B2/ja
Priority to US10/654,423 priority patent/US7324672B2/en
Publication of JP2004118311A publication Critical patent/JP2004118311A/ja
Priority to US11/987,637 priority patent/US7409107B2/en
Application granted granted Critical
Publication of JP4758594B2 publication Critical patent/JP4758594B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1306Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0338Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力装置、これを含む情報装置及び制御情報生成方法に関する。
【0002】
【従来の技術】
入力装置は、電子機器(情報機器又は情報装置)の操作部に用いられる。例えば、ユーザが入力装置を操作することにより、電子機器では、入力装置から出力された制御情報(操作情報)を用いて、表示部に表示されるポインタを移動させたり、表示部の画像をスクロールさせたりする。この入力装置については、ユーザの操作性を低下させないことが必要とされる。
【0003】
入力装置として、例えば3次元空間上の任意の位置を指示する際の操作性を向上させたものがある。この入力装置では、まず基準点を設定する。指示位置が画面上に現れていない場合には、該基準点を中心にした移動と、該基準点と視点とを結ぶ直線に沿った移動とを組み合わせて行って、視点を移動させた後、移動後の視点から3次元空間を再表示する。指示位置が画面上に現れている場合には、画面上でカーソルを移動させる(例えば、特許文献1)。このような操作を可能にすることで、この入力装置では、いわゆる6軸方向の操作を行う必要がなくなる。
【0004】
【特許文献1】
特開平5−40571号公報
【0005】
【発明が解決しようとする課題】
ところが、特許文献1に開示されている入力装置では、携帯型の情報機器に適用することは困難である。また携帯型の情報機器に適用する場合、バッテリ駆動による動作が可能で、小型化が可能な構成であることが必要となる。さらに、上述した機能を有する入力装置は、高度な情報処理を行う3次元CAD装置や仮想実体験装置等のみならず、より少ない処理負荷で携帯電話やPDAに適用できることが望ましい。
【0006】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、処理負荷を増大させることなく、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【0007】
本発明の他の目的は、超小型かつ超軽量で、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【0008】
【課題を解決するための手段】
上記課題を解決するために本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の特徴点を抽出する特徴点抽出部と、基準位置と、前記特徴点の位置との差分を求める差分算出部と、前記差分に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【0009】
本発明においては、移動する被検出物の画像の特徴点を抽出し、基準位置からの差分に対応した制御情報を出力するようにしたので、該特徴点を用いた比較処理を行えばよい。そのため、被検出物の画像の移動により制御情報を出力させる入力装置の処理負荷を軽減することができる。
【0010】
また本発明に係る入力装置では、前記基準位置は、少なくとも1フレーム以上前の前記被検出物の画像から抽出された特徴点の位置であってもよい。
【0011】
本発明によれば、1フレーム以上前のフレームの該被検出物の画像を用いるようにしたので、フレーム周期で画像を取り込み、フレーム単位で制御情報の出力を行わせることができる。これにより、より高精度な制御情報を生成することができる。
【0012】
また本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の面積を求める面積算出部と、少なくとも1フレーム以上前の前記被検出物の画像の面積と、前記面積算出部により求められた面積との差分を求める差動算出部と、前記差分に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【0013】
本発明によれば、取り込んだ被検出物の画像の面積について、フレーム間の差分を求め、該差分に対応した制御情報を出力するようにしたので、取り込んだ画像の位置の移動に限定されない新たな軸方向の制御指示を行うことができるようになる。これにより、これまで以上に操作性を向上させることが可能となる。
【0014】
また本発明に係る入力装置では、前記画像取込部が検出面を有し、該検出面に接する被検出物の画像を取り込み、前記制御情報出力部は、前記検出面に垂直な軸方向の前記被検出物の移動量に対応した制御情報を出力することができる。
【0015】
本発明によれば、検出面に接する被検出物の画像の面積の変化により、該検出面と垂直な軸(Z軸)方向の被検出物の移動量を特定することができるので、検出面上の互いに垂直な第1及び第2の軸方向の移動のみならず、これと垂直な軸方向への移動に対応した制御情報(Δz)を生成することができる。これにより、これまで以上に操作性を向上させることが可能となる。
【0016】
また本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、検出面を有し、該検出面に接する被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の重心位置を求める重心位置算出部と、前記画像の特徴点を抽出する特徴点抽出部と、少なくとも1フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第1の差分(ΔX1、ΔY1)を求める重心位置移動検出部と、少なくとも1フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第2の差分(ΔX2、ΔY2)を求める特徴点位置移動検出部と、前記第1及び第2の差分に基づいて、前記検出面上の互いに直交する第1又は第2の軸(X軸又はY軸)回りの回転角度を検出する回転角度検出部とを含み、前記回転角度検出部は、前記第1の差分の前記第1の軸方向成分(ΔX1)から前記第2の差分の前記第1の軸方向成分(ΔX2)を差し引いて前記第2の軸(Y軸)回りの回転角度(γ)を求めると共に、前記第1の差分の前記第2の軸方向成分(ΔY1)から前記第2の差分の前記第2の軸方向成分(ΔY2)を差し引いて前記第1の軸(X軸)回りの回転角度(α)を求め、前記第1又は第2の軸回りの回転角度に対応した制御情報を出力する入力装置に関係する。
【0017】
本発明においては、第1の軸回りの回転角度を、第1の差分の第2の軸方向成分(ΔY1)から第2の差分の第2の軸方向成分(ΔY2)を差し引いて求め、第2の軸回りの回転角度を、第1の差分の第2の軸方向成分(ΔY1)から第2の差分の第2の軸方向成分(ΔY2)を差し引いて求めるようにしている。これにより、2次元的な被検出物の画像から、被検出物の3次元的な移動(回転)に関する第1及び第2の軸回りの制御情報(α、γ)を、処理負荷をかけることなく生成することができる。したがって、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【0018】
また本発明に係る入力装置では、前記回転角度検出部は、少なくとも1フレーム以上前の前記被検出物の画像の特徴点の位置が、基準点を中心に前記特徴点抽出部により抽出された特徴点の位置に回転した角度を、前記検出面と垂直な第3の軸回りの回転角度として求め、前記第3の軸回りの回転角度に対応した制御情報を出力することができる。
【0019】
本発明によれば、被検出物の画像の特徴点について、基準点を中心とした回転角度を求めることができるので、より少ない処理負荷で、検出面と垂直な第3の軸回りの回転角度に対応した制御情報(β)を生成することができ、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【0020】
また本発明に係る入力装置では、前記第2の差分の前記第1の軸方向成分(ΔX2)から前記第2の軸(Y軸)回りの回転角度(γ)に所与の第1の係数(a)で重み付けされた値を差し引いて、前記第1の軸(X軸)方向の移動に対応した制御情報(Δx)を出力し、前記第2の差分の前記第2の軸方向成分(ΔY2)から前記第1の軸(X軸)回りの回転角度(α)に所与の第2の係数(b)で重み付けされた値を差し引いて、前記第2の軸(Y軸)方向の移動に対応した制御情報(Δy)を出力することができる。
【0021】
また本発明に係る入力装置では、前記第1の差分の前記第1の軸方向成分(ΔX又はΔX)から前記第2の軸(Y軸)回りの回転角度(γ)に所与の第1の係数(a)で重み付けされた値を差し引いて、前記第1の軸(X軸)方向の移動に対応した制御情報(Δx)を出力し、前記第1の差分の前記第2の軸方向成分(ΔY又はΔY)から前記第1の軸(X軸)回りの回転角度(α)に所与の第2の係数(b)で重み付けされた値を差し引いて、前記第2の軸(Y軸)方向の移動に対応した制御情報(Δy)を出力することができる。
【0022】
本発明によれば、被検出物の画像の特徴点又は重心位置の移動に対し、各軸方向の回転角度を加味して被検出物の第1及び第2の軸方向の移動を検出するようにしたので、被検出物の移動の仕方(ユーザが被検出物を移動させる癖等)に応じて、最適な第1及び第2の軸方向の移動を検出することができる。これにより、第1又は第2の軸回りの制御情報を出力させる場合に、高精度に第1又は第2の軸方向の制御情報を出力させることができ、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【0023】
また本発明に係る入力装置では、前記被検出物は、指紋であってもよい。
【0024】
本発明によれば、超小型又は超軽量な指紋センサを用いることができるので、携帯型の情報装置に対し、これまで以上に操作性を向上させる入力装置を搭載することを可能にする。
【0025】
また本発明は、上記いずれか記載の入力装置と、前記入力装置からの制御情報に基づいて制御処理を行う処理部とを含む情報装置に関係する。
【0026】
本発明によれば、処理負荷を増大させることなく、これまで以上に操作性を向上させることが可能な情報装置を提供することができる。
【0027】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、被検出物の画像の特徴点を抽出し、基準位置と、前記特徴点の位置との差分を求め、前記差分に対応した制御情報を出力する制御情報生成方法に関係する。
【0028】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、検出面に接する被検出物の画像の面積を求め、該面積と、少なくとも1フレーム以上前の前記被検出物の画像の面積との差分を求め、前記検出面と垂直な方向の前記被検出物の移動に応じて、前記差分に対応した制御情報を出力する制御情報生成方法に関係する。
【0029】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、検出面に接する被検出物の画像の重心位置を求めると共に前記画像の特徴点を抽出し、該重心位置と少なくとも1フレーム以上前の前記被検出物の画像の重心位置との差分を求めると共に、該特徴点の位置と少なくとも1フレーム以上前の前記被検出物の画像の特徴点の位置との差分を求め、前記重心位置の差分と前記特徴点の差分とに基づいて、前記検出面上で互いに直交する第1又は第2の軸回りの回転角度を検出し、前記回転角度に対応した制御情報を出力する制御情報生成方法に関係する。
【0030】
また本発明に係る制御情報生成方法では、少なくとも1つ前の前記被検出物の画像の特徴点の位置が、基準点を中心に、抽出された特徴点の位置に回転した角度により、前記検出面の前記第1及び第2の軸と直交する第3の軸回りの回転角度を求めることができる。
【0031】
また本発明に係る制御情報生成方法では、前記特徴点の差分と、前記第1又第2の軸回りの回転角度とを用いて、前記第1又は第2の軸方向の移動に対応した制御情報を出力することができる。
【0032】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【0033】
1. 入力装置
図1に、本実施形態における入力装置の構成の概要を示す。本実施形態における入力装置10は、取り込んだ画像の変化に基づいて6軸方向の制御情報(操作情報)を出力することができるようになっている。そのため、入力装置10は、画像取込部20、画像解析部30、差分算出部40、制御情報出力部50を含む。
【0034】
画像取込部20は、ユーザが移動させる2次元又は3次元の被検出物を、検出面(センサ面)を介して2次元の情報である画像として取り込み、1フレームごとに画像情報を生成する。
【0035】
画像解析部30は、画像取込部20で取り込まれた画像を解析し、その解析結果を差分算出部40に対して出力する。より具体的には、画像解析部30は、特徴点抽出部32、重心位置算出部34、面積算出部36を含む。
【0036】
特徴点抽出部32は、画像取込部20で取り込まれた画像の特徴点を抽出する。ここで特徴点とは、移動前後の2つの画像を比較して、その移動距離や移動方向、又は回転角度を特定するために参照可能な当該画像特有の形態を有する位置(領域)をいう。
【0037】
重心位置算出部34は、画像取込部20で取り込まれた画像の重心位置又はこれと等価的な位置を求める。より具体的には、被検出物の画像の面積的な中心位置又はこれと等価的な位置を求める。
【0038】
面積算出部36は、画像取込部20で取り込まれた画像の面積又はこれと等価的な値を求める。より具体的には、被検出物の画像の面積又はこれと等価的な値を求める。
【0039】
差分算出部40は、メモリ48に蓄積された少なくとも1フレーム以上前の過去の画像(画像の所与の基準位置)を参照して、画像解析部30からの解析結果と比較を行い、その差分を制御情報出力部50に対して出力する。より具体的には、差分算出部40は、特徴点移動検出部42、重心位置移動検出部44、面積変化検出部46を含む。
【0040】
特徴点移動検出部42は、特徴点抽出部32で抽出された当該フレームの被検出物の画像の特徴点と、メモリ48に蓄積された少なくとも1フレーム以上前の過去の被検出物の画像の特徴点とを比較し、その位置の変化を差分(第2の差分)として検出する。差分が求められると、当該フレームの被検出物の画像の特徴点はメモリ48に格納され、次のフレームの被検出物の画像の特徴点の位置の変化の検出に用いられる。
【0041】
重心位置移動検出部44は、重心位置算出部34で求められた当該フレームの被検出物の画像の重心位置と、メモリ48に蓄積された少なくとも1フレーム以上前の過去の被検出物の画像の重心位置とを比較し、その位置の変化を差分(第1の差分)として検出する。差分が求められると、当該フレームの被検出物の画像の重心位置はメモリ48に格納され、次のフレームの被検出物の画像の重心位置の変化の検出に用いられる。
【0042】
面積変化検出部46は、面積算出部36で求められた当該フレームの被検出物の画像の面積と、メモリ48に蓄積された少なくとも1フレーム以上前の過去の被検出物の画像の面積とを比較し、その変化を差分として検出する。差分が求められると、当該フレームの被検出物の画像の面積はメモリ48に格納され、次のフレームの被検出物の画像の面積の変化の検出に用いられる。
【0043】
制御情報出力部50は、差分算出部40で少なくとも1フレーム以上前の下記の被検出物の画像との差分に対応した制御情報を出力する。この制御情報は、上述したように6軸方向の制御情報である。
【0044】
図2に、6軸方向の制御情報の説明図を示す。6軸方向の制御情報とは、画像取込部20の検出面(センサ面)22上(又は検出面と平行な平面上)の互いに直交するX軸及びY軸(第1及び第2の軸)方向の変化Δx、Δy、該検出面に垂直な方向のZ軸(第3の軸)方向の変化Δz、X軸方向の軸回りの回転角度α、Y軸方向の軸回りの回転角度γ、Z軸方向の軸回りの回転角度βの6軸方向について指示される情報である。X軸方向の変化Δx、Y軸方向の変化Δy、Z軸方向の変化Δz、X軸方向の軸回りの回転角度α、Z軸方向の軸回りの回転角度β、Y軸方向の軸回りの回転角度γには、それぞれ図2に示すように(+)方向及び(−)方向が規定される。
【0045】
本実施形態では、検出面上で規定されるX軸、Y軸及びZ軸の各軸方向の移動の他に各軸回りの回転角度をより少ない処理負荷で求めるために、上述した被検出物の画像の重心位置の移動と、該被検出物の画像の特徴点の移動とを用いる。そのため制御情報出力部50は、X軸移動検出部52、Y軸移動検出部54、X軸回り回転検出部56、Y軸回り回転検出部58、Z軸回り回転検出部60、Z軸移動検出部62を含み、これら各部の出力に対応した制御情報を出力する。
【0046】
X軸移動検出部52は、被検出物の検出面のX軸方向の移動を検出する。その際、X軸移動検出部52は、Y軸方向の軸回りの被検出物の回転を考慮し、被検出物を検出面上で滑らせて回転させた場合にも被検出物の検出面のX軸方向の移動量Δxを検出する。より具体的には、X軸移動検出部52は、被検出物の画像の特徴点のX軸方向の移動量をΔX2(第2の差分の第1の軸方向成分)、Y軸方向の軸回りの回転角度をγ(第2の軸回りの回転角度)とすると、(1)式のように表すことができる被検出物の検出面のX軸方向の移動量Δxを求める。
【0047】
Δx=ΔX2−a・γ (ただし、0≦a≦1)・・・(1)
ここで、係数a(所与の第1の係数)はY軸方向の軸回りの回転角度γの重み付け係数である。重み付け係数aが0のとき、Y軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のΔx出力に適する。また検出面を滑らせずに回転させる場合に、回転角度γを出力し、Δxを「0」にする場合に適する。また重み付け係数aが1のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数aは、ユーザのX軸方向の操作の癖を加味する等により決定されることが望ましい。
【0048】
Y軸移動検出部54も同様に、被検出物の検出面のY軸方向の移動を検出する。その際、Y軸移動検出部54は、X軸方向の軸回りの被検出物の回転を考慮し、被検出物を検出面上で滑らせて回転させた場合にも被検出物の検出面のY軸方向の移動を検出する。より具体的には、Y軸移動検出部54は、被検出物の画像の特徴点のY軸方向の移動量をΔY2(第2の差分の第2の軸方向成分)、X軸方向の軸回りの回転角度をα(第1の軸回りの回転角度)とすると、(2)式のように表すことができる被検出物の検出面のY軸方向の移動量Δyを求める。
【0049】
Δy=ΔY2−b・α (ただし、0≦b≦1)・・・(2)
ここで、係数b(所与の第2の係数)はX軸方向の軸回りの回転角度αの重み付け係数である。重み付け係数bが0のとき、X軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のΔy出力に適する。また検出面を滑らせずに回転さえる場合に回転角度αを出力し、Δyを「0」にする場合に適する。また重み付け係数bが1のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数bは、ユーザのY軸方向の操作の癖を加味する等により決定されることが望ましい。
【0050】
X軸回り回転検出部56は、X軸方向の軸回りの回転角度αを検出する。より具体的には、回転半径が十分に大きいか、或いは回転角度が十分に小さいことを条件に、被検出物の画像の重心位置のY軸方向の移動量をΔY1(第1の差分の第2の軸方向成分)とすると、(3)式のように表すことができるX軸方向の軸回りの回転角度αを求める。
【0051】
α≒−(ΔY1−ΔY2) ・・・(3)
ここで、負の符号が付されるのは、図2で規定した回転角度の正負の方向に依存している。したがって、図2の回転角度αの正負の方向を逆にすれば、(3)式の符号は正となる。
【0052】
なお(2)式及び(3)式より、X軸回り回転出部56は、被検出物の画像の特徴点のY軸方向の移動量ΔY2(特徴点移動検出部42により求めら得た差分)と、被検出物の画像の重心位置のY軸方向の移動量をΔY1(重心位置移動検出部44により求められた差分)とに基づいて、X軸方向の軸回りの回転角度αを求めることができる。
【0053】
Y軸回り回転検出部58は、Y軸方向の軸回りの回転角度γを検出する。より具体的には、回転半径が十分に大きいか、或いは回転角度が十分に小さいことを条件に、被検出物の画像の重心位置のX軸方向の移動量をΔX1(第1の差分の第1の軸方成分)とすると、(4)式のように表すことができるY軸方向の軸回りの回転角度γを求める。
【0054】
γ≒ΔX1−ΔX2 ・・・(4)
Z軸回り回転検出部60は、Z軸方向の軸回りの回転角度βを検出する。より具体的には、移動前後の被検出物の画像の特徴点同士を所与の基準点を中心に回転すると対応付けられる場合に、該基準点を中心に観点した角度を回転角度βとして求める。
【0055】
なお(1)式及び(4)式より、Y軸回り回転検出部58は、被検出物の画像の特徴点のX軸方向の移動量ΔX2(特徴点移動検出部42により求められた差分)と、被検出物の画像の重心位置のX軸方向の移動量をΔX1(重心位置移動検出部44により求められた差分)とに基づいて、Y軸方向の軸回りの回転角度γを求めることができる。
【0056】
Z軸移動検出部62は、被検出物の検出面に垂直な方向の移動を検出する。より具体的には、検出面への圧力に応じて、取り込まれる被検出物の画像が変化することに着目してZ軸方向の移動量Δzを求める。移動前の被検出物の画像の面積をS1、移動後の被検出物の画像の面積をS2とすると、(5)式のように表すことができるZ軸方向の移動量Δzを求める。
【0057】
Δz=c・(S1−S2) ・・・(5)
ここで、係数cは、被検出物の画像の面積の変化を、Z軸方向の移動量に対応付けるための係数である。係数cは、ユーザのZ軸方向の操作の癖を加味する等により決定されることが望ましい。
【0058】
以下では、このような入力装置について具体的に説明する。なお以下に述べる入力装置は、指紋センサを用いるが、本発明はこれに限定されるものではない。
【0059】
図3に、指紋センサを用いた入力装置の外観構成の概要を示す。ここでは、本実施形態における入力装置が、ICカード(広義には、情報装置)64に実装される場合を示している。ICカード64は、内部にCPUやメモリ素子を有する。これにより、ICカード64では、機密保持性を向上させると共に、情報処理による高度な情報をより多くの記憶させることが可能となる。そして、本実施形態における入力装置を用いることで、超小型かつ超軽量な構成で、ユーザの多様な操作を反映させた情報処理を行うことができる。
【0060】
図3において、入力装置としての指紋センサの検出面22に、指紋パターンが形成されたユーザの指(広義には、被検出物)66を接触させることにより、指紋画像が取り込まれる。そして、検出面22上に規定される3次元空間において検出されたユーザによる指66の6軸方向の移動により、対応する制御情報が出力される。ICカード64では、該制御情報に基づく処理が行われる。例えばICカード64に液晶パネルが設けられている場合には、液晶パネルに表示されるポインタの移動や表示画像のスクロール等の表示制御が行われる。なお入力装置が3次元CAD装置に適用される場合には、操作対象の物体の回転或いは視点の移動の制御が行われることになる。
【0061】
図4に、入力装置のハードウェア構成例を示す。入力装置68では、バス70に、CPU72、ROM74、RAM76、指紋センサインタフェース(InterFace:I/F)回路78が接続される。指紋センサI/F回路78には、指紋センサ80が接続される。またバス70にUSBI/F回路82が接続される。USBI/F回路82は、外部でパソコン84等のUSB規格上のホスト装置若しくはペリフェラル装置に接続される。
【0062】
ここで主に指紋センサ80及び指紋センサI/F回路78により、図1に示す画像取込部20の機能が実現される。指紋センサ80により取り込まれた指紋画像は、指紋センサI/F回路78を介してRAM76に蓄積される。CPU72と、ROM74若しくはRAM76に格納されたソフトウェアプログラムとにより、図1に示す画像解析部30、差分算出部40及び制御情報出力部50の機能が実現される。RAM76により、図1に示すメモリ48の機能が実現される。
【0063】
1.2 指紋センサ
図5に、指紋センサ80の一例を示す。図5において、M本(Mは2以上の整数)の電源線200と、N本(Nは2以上の整数)の出力線202とを有する。M本の電源線200とN本の出力線202の各交点には静電容量検出素子204が設けられている。図5に示す静電容量検出素子204は、指が接触したときの閉回路として図示されており、指の凹凸パターンに依存して変化する可変容量Cと、信号増幅素子例えば信号増幅MIS型薄膜半導体装置(以下信号増幅用TFTと略記する)206とを有する。静電容量検出素子204に指が接触していないときには、可変容量Cの接地端側はオープン状態である。なお、可変容量Cについては後述する。
【0064】
M本の電源線200の各々は、対応する行に沿って配列されたN個の信号増幅用TFT206のドレインDに接続されている。また、M本の電源線200の各々は、M個の電源用パスゲート210の各々を介して共通電源線212に接続されている。すなわち、電源用パスゲート210はMIS型薄膜半導体装置にて形成され、そのソースSは電源線200に接続され、そのドレインDは共通電源線212に接続されている。電源選択回路220内には、上述のM個の電源用パスゲート210及び共通電源線212に加えて、電源用シフトレジスタ222が設けられている。電源用シフトレジスタ222の電源選択用出力線224に、M個の電源用パスゲート210の各ゲートGが接続されている。
【0065】
N本の出力線202各々は、対応する列に沿って配列されたM個の信号増幅用TFT206のソースSに接続されている。また、N本の出力線202の各々は、N個の出力信号用パスゲート230の各々を介して共通出力線232に接続されている。すなわち、出力信号用パスゲート230はMIS型薄膜半導体装置にて形成され、そのドレインDは出力線202に接続され、そのソースSは共通出力線232に接続されている。出力信号選択回路240内には、上述のN個の出力信号用パスゲート230及び共通出力線232に加えて、出力信号用シフトレジスタ242が設けられている。出力信号用シフトレジスタ242の出力選択用出力線244に、出力信号用パスゲート230のゲートGが接続されている。
【0066】
図6は、図5に示す静電容量検出素子204の断面図であり、指が接触されていない状態が図示されている。この静電容量検出素子204は、上述の信号増幅素子である信号増幅用TFT206に加えて、信号検出素子208を有する。
【0067】
図6において、絶縁層250上には、ソース領域252A、ドレイン領域252B及びその間のチャネル領域252Cを有する半導体膜252が形成されている。半導体膜252上にはゲート絶縁膜254が形成され、このゲート絶縁膜254を挟んでチャネル領域252Cと対向する領域にゲート電極256が形成されている。この半導体膜252、ゲート絶縁膜254及びゲート電極256で、信号増幅用TFT206が構成される。なお、電源用パスゲート210及び出力信号用パスゲート230も、信号増幅用TFT206と同様にして形成される。
【0068】
この信号用TFT206は第一層間絶縁膜260により被われている。第一層間絶縁膜260上には、図5に示す出力線202に相当する第一配線層262が形成されている。この第一配線層262は信号用TFT206のソース領域252Aに接続されている。
【0069】
第一配線層262は第二層間絶縁膜264により被われている。この第二層間絶縁膜264上には、図5に示す電源線200に相当する第二配線層266が形成されている。この第二配線層266は、信号増幅用TFT206のドレイン領域252Bに接続されている。なお、図6とは異なる構造として、第二配線層266を第一層間絶縁膜260上に形成し、第一配線層262を第二層間絶縁膜264上に形成してもよい。
【0070】
第二層間絶縁膜264上にはさらに、容量検出電極270が形成され、それを被って容量検出誘電体膜272が形成されている。容量検出誘電体膜272は、指紋センサ80の最表面に位置して保護膜としても機能し、この容量検出誘電体膜272に指が接触される。この容量検出電極270及び容量検出誘電体膜272により、信号検出素子208が構成される。
【0071】
1.2.1 指紋検出動作
指紋検出は、図6に示す容量検出誘電体膜272に指を接触させることで実施される。このとき、指紋センサ80の起動スイッチ(例えば感圧スイッチ)42が作動し、入力装置68内の電源が作動して、自動的に、指紋センサ80に電源が供給される。或いは、入力装置68をパソコン84にセットし、パソコン84の給電部より電源が供給されても良い。
【0072】
本実施形態では、図5に示すM本のうち選択された1本の電源線200に電源電圧を供給し、かつ、そのときの信号を、N本のうち選択された1本の出力線202から検出することで、M×N個の静電容量検出素子204から順次信号を取り出している。
【0073】
指紋検出動作は大別して、(1)指紋パターンの山(凸部)が容量検出誘電体膜272に接触する場合と、(2)指紋パターンの谷(凹部)が容量検出誘電体膜272に対向する場合とがある。
【0074】
(1)指紋パターンの山(凸部)が容量検出誘電体膜272に接触する場合
図7に、この場合の静電容量検出素子204の等価回路を示す。符号300は人体の指紋の山に相当し、図6の容量検出電極270と誘電体膜272を挟んで対向する接地電極300が形成されている。ここで、電源電圧Vddは共通電源線212より供給される。符号Cは、信号増幅用TFT206のトランジスタ容量であり、符号Cは検出電極270と接地電極(指)300との間の容量である。
【0075】
ここで、信号増幅用TFT206のゲート電極長をL(μm)、ゲート電極幅をW(μm)、ゲート絶縁膜の厚みをtox(μm)、ゲート絶縁膜の比誘電率をεox、真空の誘電率をεoとする。このとき、トランジスタ容量Cは、(6)式のようになる。
【0076】
=εo・εox・L・W/tox ・・・(6)
また、容量検出電極270の面積S(μm)、容量検出誘電体膜272の厚みをtd(μm)、容量検出誘電体膜の比誘電率をεdとする。このとき、容量Cは、(7)式のようになる。
【0077】
=εo・εd・S/td ・・・(7)
図7の等価回路において、信号増幅用TFT206のゲートに印加される電圧VGTは、次式のようになる。
【0078】
GT=Vdd/(1+C/C) ・・・(8)
容量Cをトランジスタ容量Cよりも充分に大きく設定しておけば(例えばC>10×C)、(8)式の分母は無限大となり、次式にように近似される。
【0079】
GT≒0 ・・・(9)
この結果、信号増幅用TFT206は、そのゲートにほとんど電圧がかからないためオフ状態となる。よって、信号増幅用TFT206のソース−ドレイン間に流れる電流Iは極めて小さくなる。この電流Iを測定することで、測定箇所が指紋パターンの山(凸部)であることが判定できる。
【0080】
(2)指紋パターンの谷(凹部)が容量検出誘電体膜272に対向する場合
図8に、この場合の静電容量検出素子204の等価回路を示す。符号302が人体の指紋の谷に相当する。この場合は、図7に示す容量Cに加えて、誘電体膜272と指紋の谷との間に、空気を誘電体とする新たな容量Cが形成される。
【0081】
図8の等価回路において、信号増幅用TFT206のゲートに印加される電圧VGVは、次式のようになる。
GV=Vdd/{[1+(1/C)]×1/[(1/C)+(1/C)]} ・・・(10)
容量Cをトランジスタ容量Cよりも充分に大きく設定しておけば(例えばC>10×C)、(10)式は次式のように近似される。
【0082】
GV≒Vdd/[1+(C/C)] ・・・(11)
さらに、トランジスタ容量Cを、指紋の谷により形成される容量Cよりも充分に大きくしておけば(例えばC>10×C)、(11)式は次式のように近似される。
【0083】
GV≒Vdd ・・・(12)
この結果、信号増幅用TFT206は、そのゲートに電源電圧Vddがかかるためオン状態となる。よって、信号増幅用TFT206のソース−ドレイン間に流れる電流Iは極めて大きくなる。この電流Iを測定することで、測定箇所が指紋パターンの谷(凹部)であることが判定できる。
【0084】
このように、図5に示す可変容量Cは、指紋の山が容量検出誘電体膜272に接触した時は容量Cとなり、指紋の谷が容量検出誘電体膜272に対向としたときは容量Cと容量Cとの和となり、指紋の凹凸に従って容量が変化する。この指紋の凹凸に従った容量変化に基づく電流を検出することで、指紋の山または谷を検出できる。
【0085】
以上の動作を、M×N個の静電容量検出素子204にて時分割で実施することで、指紋パターンを検出することが可能となる。より具体的には、第1行の各列に位置する静電容量検出素子を順に指紋の凹凸を検出した後、第2行の指紋の凹凸を検出するといったように、ピクセルごとに指紋の凹凸を検出していく。その結果、例えば図9(A)、(B)に示すような指紋画像を得ることができる。本実施形態では、この指紋センサ80を用いて周期的に指紋画像を取り込む。
【0086】
なお、電源電圧Vddに正電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型N型トランジスタにて、信号増幅用TFT206を形成すればよい。C>10×Cを満たす場合には、信号増幅用TFT206の伝達特性におけるドレイン電流が最小値となるゲート電圧(最小ゲート電圧)をVminとしたとき、0<Vmin<0.1×Vddを満たせばよい。
【0087】
電源電圧Vddに負電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型P型トランジスタにて、信号増幅用TFT206を形成すればよい。C>10×Cを満たす場合には、信号増幅用TFT206の伝達特性におけるドレイン電流が最小値となるゲート電圧(最小ゲート電圧)をVminとしたとき、0.1×Vdd<Vmin<0を満たせばよい。
【0088】
本実施形態では、このようにして取り込まれた指紋画像を用いて制御情報を出力する。この際、取り込まれた指紋画像の特徴点を用いることで、処理負荷を軽減する。
【0089】
図9(A)、(B)に、指紋の特徴点の一例を示す。図9(A)は、指紋の分岐点の一例を示す。図9(B)は、指紋の端点の一例を示す。指紋センサ80で取り込まれた指紋画像について、例えば指紋の分岐点が抽出される。図9(A)、(B)では、指紋画像は、指紋の凸部である稜線の形態を表している。ここで指紋の分岐点は、指紋の稜線が2以上の稜線に分岐する部分である。また指紋の端点は、指紋の稜線が終端する部分である。
【0090】
指紋の形態が同一となることがないため、その分岐点又は端点の分布も個人によって異なる。したがって、指紋画像の分岐点又は端点を求めることができれば、求めた分岐点又は端点の分布のみを比較すればよいので、比較すべき情報量が少なくなり比較処理の負荷を軽減することができる。
【0091】
1.3 動作フロー
図10に、本実施形態における入力装置の処理フローの一例を示す。図10に示す処理を実行するためのプログラムが、ROM74又はRAM76に格納される。CPU72は、このプログラムにしたがって処理を行う。
【0092】
まずCPU72により、入力装置としての処理に先立って各変数を初期化する(ステップS400)。
【0093】
次に、ユーザの指(被検出物)が指紋センサ80の検出面に接触しているか否かを判別する(ステップS401)。接触していないと判別されたとき(ステップS401:N)、ステップS400に戻る。
【0094】
一方ステップS401で、接触していると判別されたとき(ステップS401:Y)、上述したように指紋画像を取り込む(ステップS402)。取り込まれた1フレーム分の指紋画像は、RAM76に格納される。
【0095】
そして、CPU72では、RAM76に格納された1フレーム分の指紋画像を読み出して、該指紋画像の重心位置を求める(ステップS403)。ここで重心位置は、取り込まれた指紋画像のうち指紋パターンが存在する領域の面積的な中心位置である。重心位置は、例えばX軸方向及びY軸方向について、それぞれ積分演算を行うことで得られる指紋画像の面積の中心位置として求められる。
【0096】
例えば重心位置の座標を(X,Y)とすると、次式のように求められる。
【0097】
【数1】
Figure 0004758594
【0098】
【数2】
Figure 0004758594
【0099】
【数3】
Figure 0004758594
【0100】
ここで、Sを指紋画像の面積、F(i)は出力線i上の検出ドット数、G(j)は電源線j上の検出ドット数としている。
【0101】
続いて、前フレームの指紋画像の重心位置と比較される(ステップS404)。前フレームの指紋画像の重心位置との差分のX成分は重心位置のX軸方向の移動量をΔX1、Y成分は重心位置のY軸方向の移動量をΔY1として出力される。前フレームの指紋画像の重心位置は、RAM76に蓄積されている。前フレームの指紋画像の重心位置は、ステップS404の比較処理後にステップS403で求められた当該フレームの指紋画像の重心位置により更新される。なおここでは比較対象を前フレームの指紋画像を用いたが、これに限定されるものではなく2フレーム以上過去の指紋画像(2フレーム以上前の被検出物の画像)を用いてもよい。
【0102】
次に、取り込まれた指紋画像の面積を求める(ステップS405)。指紋画像の面積は、上述の積分演算を行うことで求めることができる。また面積は、指紋画像の山又は谷の部分として検出されたドット数(ピクセル数)により等価的に求めることができる。
【0103】
求められた指紋画像の面積は、前フレームの指紋画像の面積と比較される(ステップS406)。上述の(5)式で示されるように、移動前後の指紋画像の面積の変化に対応して、ユーザの指のZ軸方向の移動量Δzを求める。前フレームの指紋画像の面積は、RAM76に蓄積されている。前フレームの指紋画像の面積は、ステップS406の比較処理後にステップS405で求められた当該フレームの指紋画像の面積により更新される。なおここでは比較対象を前フレームの指紋画像を用いたが、これに限定されるものではなく2フレーム以上過去の指紋画像(2フレーム以上前の被検出物の画像)を用いてもよい。
【0104】
図11(A)〜(C)に、Z軸方向に指を移動させた場合の指紋画像の変化の一例を示す。指紋画像検出領域450内で、図11(B)に示すフレームfにおける指紋画像452が原点位置であるものとする。フレーム(f+1)で取り込まれた指紋画像が図11(A)に示す指紋画像454である場合、指紋センサ80の検出面から持ち上げる方向(Z軸の(−)方向)にユーザが指を移動させた場合に相当する。このとき、指が検出面を押す圧力が小さくなる方向に移動させるため、指が検出面に接触する面積が小さくなる。一方、フレーム(f+1)で取り込まれた指紋画像が図11(C)に示す指紋画像456である場合、指紋センサ80の検出面を押し付ける方向(Z軸の(+)方向)にユーザが指を移動させた場合に相当する。このとき、指が検出面を押す圧力が大きくなる方向に移動させるため、指が検出面に接触する面積が大きくなる。そこで、指紋画像の面積の増減分に、指のZ軸方向の移動量Δzを対応付けることで、Z軸方向の指の移動方向及びその移動量を検出することが可能となる。
【0105】
ところで、図5に示す構成の指紋センサ80を用いることで、取り込まれた指紋画像の面積を求めることができる。
【0106】
図12に、指紋画像の面積の算出処理の負荷を軽減する手法についての図を示す。図5に示す指紋センサ80により、指紋画像検出領域450内でX軸及びY軸方向で走査されて、指紋画像458が取り込まれたものとする。その際、X軸方向については、指紋の山又は谷の検出が開始される出力線O1と、指紋の山又は谷が検出されなくなる出力線O2とにより、指紋の山又は谷が検出される出力線の数Ocを特定することができる。Y軸方向については、同様に、指紋の山又は谷の検出が開始される電源線D1と、指紋の山又は谷が検出されなくなる電源線D2とにより、検出される電源線の数Dcを特定することができる。したがって、出力線の数Ocと電源線の数Dcとにより、指紋画像458の面積と等価的な値Srを求めることができる。
【0107】
Oc=O2−O1+1 ・・・(16)
Dc=D2−D1+1 ・・・(17)
Sr=Oc・Dc ・・・(18)
このように、指紋センサ80の電源線及び出力線を特定することにより、取り込まれた指紋画像の輪郭に外接する矩形を容易に求めることができるので、指紋画像の面積算出の処理負荷を軽減することができる。
【0108】
また、ステップS403において、出力線O1〜O2の中間位置と、電源線D1〜D2の中間位置とに基づいて、指紋画像458の重心位置を特定することができる。こうすることで、指紋画像458の重心位置の算出処理の負荷を大幅に軽減することができる。ここで、重心位置の座標を(X,Y)とすると、次の式のように求めることができる。
【0109】
=(O1+O2)/2 ・・・(19)
=(D1+D2)/2 ・・・(20)
図10に戻って処理フローの説明を続ける。ステップS406においてZ軸方向の移動量Δzが求められると、続いて指紋画像の特徴点を抽出する(ステップS407)。ここで特徴点とは、指紋の山(稜線部分)の端点や分岐点等をいう。そして、この特徴点の分布を求める。これにより、検出面上の指紋画像の移動を、特徴点(又は特徴点の分布)の移動により検出することができる。
【0110】
次に、ステップS407で求められた指紋画像の特徴点と、前フレームの指紋画像の特徴点とが比較される(ステップS408)。そして、両フレームの指紋画像の特徴点又はその分布とを照らし合わせ、類似性が最大となるようにX軸方向の移動量ΔX2、Y軸方向の移動量ΔY2、Z軸方向の軸回りの回転角度βを求める。
【0111】
図13(A)、(B)に、特徴点の照合処理の一例を模式的に示す。図13(A)、(B)において、フレームfにおける指紋画像から抽出された特徴点P、Q、Rが、フレーム(f+1)で取り込まれた指紋画像の特徴点Pf+1、Qf+1、Rf+1の位置に移動したものとする。CPU72では、照合処理において、図13(A)に示すように、3以上の抽出された特徴点のうち少なくとも特徴点P、Q、Rの3点が、それぞれ対応する特徴点Pf+1、Qf+1、Rf+1に一致するようにX軸方向及びY軸方向の移動量ΔX2、ΔY2を求める。また、CPU72では、照合処理において、図13(B)に示すように、3以上の抽出された特徴点のうち少なくとも特徴点P、Q、Rの3点が、それぞれ対応する特徴点Pf+1、Qf+1、Rf+1に一致するように、基準点eと、該基準点eを中心としたZ軸方向の軸回りの回転角度βとを求める。
【0112】
図14(A)〜(C)に、Z軸方向の軸回りに指を移動させた場合の指紋画像の変化の一例を示す。指紋画像検出領域450内で、図14(B)に示すフレームfにおける指紋画像460を基準に、図14(A)に示す指紋画像462は、Z軸方向の軸回りの(−)方向に指を移動させた場合に相当する。図14(C)に示す指紋画像464は、Z軸方向の軸回りの(+)方向に指を移動させた場合に相当する。
【0113】
したがって、例えば図13(B)に示すような照合処理を行うことによって、図14(A)〜(C)に示す指紋画像の変化を、Z軸方向の軸回りの回転角度βとして求めることができる。
【0114】
図10に戻って説明を続ける。ステップS408で指紋画像の移動ベクトル(より具体的には指紋画像の特徴点のX軸方向及びY軸方向の移動方向及び移動量)が求められると、CPU72では、(4)式に従ってX軸方向の軸回りの回転角度α、(3)式に従ってY軸方向の軸回りの回転角度γがそれぞれ求められる。続いて、CPU72では、(1)式に従ってX軸方向の移動量Δx、(2)式に従ってY軸方向の移動量Δyが求められる(ステップS409)。次に、終了するときは(ステップS410:Y)、一連の処理を終了する(エンド)が、終了しないときは(ステップS410:N)、ステップS401に戻る。
【0115】
図15(A)〜(C)に、Y軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ80の検出面を滑らせながらY軸方向の軸回りに指を回転させている例を示している。したがって、図15(A)〜(C)では、指紋画像の重心位置はほとんど変化していない。
【0116】
指紋画像検出領域450内で、図15(B)に示すフレームfにおける指紋画像470を基準に、図15(A)に示す指紋画像472は、Y軸方向の軸回りの(−)方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がX軸の(+)方向に移動する。図15(C)に示す指紋画像474は、Y軸方向の軸回りの(+)方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がX軸の(−)方向に移動する。この場合、上述の(4)式により、図15(A)〜(C)に示す指紋画像の特徴点の移動量に対応した回転角度γが求められる。
【0117】
図16(A)〜(C)に、X軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ80の検出面を滑らせながらX軸方向の軸回りに指を回転させている例を示している。したがって、図16(A)〜(C)でも、指紋画像の重心位置はほとんど変化していない。
【0118】
指紋画像検出領域450内で、図16(B)に示すフレームfにおける指紋画像480を基準に、図16(A)に示す指紋画像482は、X軸方向の軸回りの(−)方向に指を回転させた場合に相当し、図16(C)に示す指紋画像484は、X軸方向の軸回りの(+)方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がX軸方向に移動する。この場合、上述の(3)式により、図16(A)〜(C)に示す指紋画像の特徴点の移動量に対応した回転角度αが求められる。
【0119】
図17(A)〜(C)に、X軸方向に指を移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ80の検出面を滑らせてX軸方向に指を移動させている例を示している。したがって、図17(A)〜(C)では、指紋画像の重心位置の移動ベクトルと、指紋画像の特徴点の移動ベクトルとはほぼ一致する。
【0120】
指紋画像検出領域450内で、図17(B)に示すフレームfにおける指紋画像490を基準に、図17(A)に示す指紋画像492は、X軸方向の(−)方向に指を移動させた場合に相当し、図17(C)に示す指紋画像494は、X軸方向の(+)方向に指を移動させた場合に相当する。この場合、X軸方向の移動量Δxは、指紋画像の特徴点の移動量ΔX2とほぼ一致するが、実際には(1)式に示すようにY軸方向の軸回りの回転角度γを加味した値が求められることになる。
【0121】
図18(A)〜(C)に、Y軸方向に指を移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ80の検出面を滑らせてにY軸方向に指を移動させている例を示している。したがって、図18(A)〜(C)では、指紋画像の重心位置の移動ベクトルと、指紋画像の特徴点の移動ベクトルとはほぼ一致する。
【0122】
指紋画像検出領域450内で、図18(B)に示すフレームfにおける指紋画像500を基準に、図18(A)に示す指紋画像502は、Y軸方向の(−)方向に指を移動させた場合に相当し、図18(C)に示す指紋画像504は、Y軸方向の(+)方向に指を移動させた場合に相当する。この場合、Y軸方向の移動量Δyは、指紋画像の特徴点の移動量ΔY2とほぼ一致するが、実際には(2)式に示すようにX軸方向の軸回りの回転角度αを加味した値が求められることになる。
【0123】
以上説明したように、本実施形態における入力装置によれば、例えば指紋等の被検出物の取り込み画像を用いて、6軸方向の制御情報を生成することができる。これにより、6軸方向の制御指示(例えば移動指示)が可能な入力装置を提供することができる。特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、6軸方向の制御指示が可能な入力装置を提供することができる。
【0124】
(変形例)
なお上述の実施形態では、指紋画像の特徴点の移動(ΔX2、ΔY2)を用いて被検出物の検出面の移動量Δx、Δyを検出していたが、これに限定されるものではない。
【0125】
例えば、指紋画像の重心位置として(13)〜(15)式を用いて求められた重心位置のX座標(X)及びY座標(Y)を用いて、少なくとも1フレーム以上前の被検出物の画像の重心位置との差分(ΔX、ΔY)を求めてもよい。この場合、被検出物の検出面のX軸及びY軸方向の移動量Δx、Δyは、(1)、(2)式に代えて次式で表すことができる。
【0126】
Δx=ΔX−a・γ ・・・(21)
Δy=ΔY−b・α ・・・(22)
また例えば指紋画像の重心位置として、(19)、(20)式を用いて求められた重心位置のX座標(X)及びY座標(Y)を用いて、少なくとも1フレーム以上前の被検出物の画像の重心位置との差分(ΔX、ΔY)を求めてもよい。この場合、被検出物の検出面のX軸及びY軸方向の移動量Δx、Δyは、(1)、(2)式に代えて次式で表すことができる。
【0127】
Δx=ΔX−a・γ ・・・(23)
Δy=ΔY−b・α ・・・(24)
いずれの場合にも、本実施形態と同様に6軸方向の制御情報を生成することができる。そして、特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、6軸方向の制御指示が可能な入力装置を提供することができる。
【0128】
2. 情報装置
図19に、本実施形態における入力装置が適用されるICカードの構成ブロック図の一例を示す。ICカード600は、上述した指紋センサを用いた入力装置610と、画像生成部(広義には所定の制御対象の制御処理を行う処理部)620と、表示部630とを含む。入力装置610は、図1又は図4で説明した入力装置である。画像生成部620は、CPU、及びROM又はRAMに格納されたソフトウェアプログラムにより実現される。表示部630は、LCDパネル及びその駆動回路により実現される。
【0129】
ここで画像生成部620は、入力装置610から出力された制御情報に基づいて画像データを生成する(広義には制御処理を行う)。より具体的には、入力装置610により6軸方向の移動指示に対応して変化する画像の画像データを生成する。表示部630は、画像生成部620で生成された画像データに基づいて画像表示を行う。
【0130】
このような構成のICカード600では、ユーザが入力装置600に指の指紋画像を6軸方向に移動させて、移動指示を行うことで、表示部630に表示されるポインタを移動させたり、表示部630の画像をスクロールさせたりすることができるようになる。
【0131】
なおここでは、情報装置としてICカードを例に説明したが、PDA、携帯電話、3次元CAD装置、仮想現実体験装置又は電子楽器等に本実施形態に係る入力装置を適用することができる。
【0132】
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【0133】
例えば本実施形態では、指紋センサを用いた入力装置について説明したが、これに限定されるものではなく、指紋以外の2次元又は3次元の物体の画像を取り込んで同様に制御情報を出力させることができる。また検出面を有さない入力装置についても同様に適用することができる。
【0134】
また本実施形態では、6軸方向の制御情報として前フレーム(少なくとも1フレーム以上前のフレーム)との差分に対応させて出力させるようにしていたが、これに限定されるものではない。例えば、基準となる原点位置から差分をフレームごとに積算し、6軸方向の制御情報として絶対値を出力させるようにしてもよい。
【0135】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【図1】 本実施形態における入力装置の構成ブロック図。
【図2】 6軸方向の制御情報の説明図。
【図3】 指紋センサを用いた入力装置の概要を示す外観構成図。
【図4】 入力装置のハードウェア構成例を示すブロック図。
【図5】 指紋センサの一例を示す回路構成図。
【図6】 静電容量検出素子の断面図。
【図7】 指紋の山が接触する場合の静電容量検出素子の等価回路図。
【図8】 指紋の谷が対向する場合の静電容量検出素子の等価回路図。
【図9】 図9(A)、(B)は指紋の特徴点の一例を示す説明図。
【図10】 入力装置の処理フローの一例を示すフロー図。
【図11】 図11(A)〜(C)はZ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図12】 指紋画像の面積の算出処理の負荷を軽減する手法の説明図。
【図13】 図13(A)、(B)は特徴点の照合処理の一例の説明図。
【図14】 図14(A)〜(C)はZ軸方向の軸回りに指を移動させた場合の指紋画像の変化の一例の説明図。
【図15】 図15(A)〜(C)はY軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例の説明図。
【図16】 図16(A)〜(C)はX軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例の説明図。
【図17】 図17(A)〜(C)はX軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図18】 図18(A)〜(C)はY軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図19】 ICカードの構成例を示すブロック図。
【符号の説明】
10 入力装置、 20 画像取込部、 22 検出面、 30 画像解析部、
32 特徴点抽出部、 34 重心位置算出部、 36 面積算出部、
40 差分算出部、 42 特徴点移動検出部、 44 重心位置移動検出部、
46 面積変化検出部、 48 メモリ、 50 制御情報出力部、
52 X軸移動検出部、 54 Y軸移動検出部、
56 X軸回り回転検出部、 58 Y軸回り回転検出部、
60 Z軸回り回転検出部、 62 Z軸移動検出部

Claims (9)

  1. 被検出物を移動させることにより制御情報を生成する入力装置であって、
    検出面を有し、該検出面に接する被検出物の画像を取り込む画像取込部と、
    前記画像取込部により取り込まれた画像の重心位置を求める重心位置算出部と、
    前記画像取込部により取り込まれた画像の特徴点を抽出する特徴点抽出部と、
    少なくとも1フレーム以上前の前記被検出物の画像から抽出された特徴点の位置の分布と、現フレームの前記被検出物の画像から抽出された特徴点の位置の分布との差分を求める差分算出部と、
    軸方向移動量検出部及び回転角度検出部を含み、前記差分に対応した制御情報を出力する制御情報出力部と、
    を含み、
    前記差分算出部は、
    少なくとも1フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第1の差分を求める重心位置移動検出部と、
    少なくとも1フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第2の差分を求める特徴点位置移動検出部と、
    を含み、
    前記制御情報出力部は、前記軸方向移動量検出部が、前記第1及び第2の差分に基づいて、前記検出面上の互いに直交する第1及び第2の軸方向の前記被検出物の移動量を検出し、前記回転角度検出部が、前記第1及び第2の差分に基づいて、前記検出面上の互いに直交する第1又は第2の軸回りの前記被検出物の回転角度と、前記検出面に垂直な第3の軸回り前記被検出物回転角度を検出して、これらの検出結果を前記制御情報として出力し
    前記回転角度検出部は、
    前記第1の差分の前記第1の軸方向成分から前記第2の差分の前記第1の軸方向成分を差し引いて前記第2の軸回りの回転角度を求めると共に、前記第1の差分の前記第2の軸方向成分から前記第2の差分の前記第2の軸方向成分を差し引いて前記第1の軸回りの回転角度を求めることを特徴とする入力装置。
  2. 請求項1において、
    前記画像取込部により取り込まれた画像の面積を求める面積算出部を、
    含み、
    前記差分算出部はさらに、
    少なくとも1フレーム以上前の前記被検出物の画像の面積と、前記面積算出部により求められた面積との差分を求め、
    前記制御情報出力部はさらに、
    前記面積に関わる前記差分に対応した制御情報を出力することを特徴とする入力装置。
  3. 請求項2において、
    前記制御情報出力部は、
    前記検出面に垂直な第3の軸方向の前記被検出物の移動量に対応した制御情報を出力することを特徴とする入力装置。
  4. 請求項において、
    前記第2の差分の前記第1の軸方向成分から前記第2の軸回りの回転角度に所与の第1の係数で重み付けされた値を差し引いて、前記第1の軸方向の移動に対応した制御情報を出力し、
    前記第2の差分の前記第2の軸方向成分から前記第1の軸回りの回転角度に所与の第2の係数で重み付けされた値を差し引いて、前記第2の軸方向の移動に対応した制御情報を出力することを特徴とする入力装置。
  5. 請求項において、
    前記第1の差分の前記第1の軸方向成分から前記第2の軸回りの回転角度に所与の第1の係数で重み付けされた値を差し引いて、前記第1の軸方向の移動に対応した制御情報を出力し、
    前記第1の差分の前記第2の軸方向成分から前記第1の軸回りの回転角度に所与の第2の係数で重み付けされた値を差し引いて、前記第2の軸方向の移動に対応した制御情報を出力することを特徴とする入力装置。
  6. 請求項1乃至のいずれかにおいて、
    前記被検出物は、指紋であることを特徴とする入力装置。
  7. 請求項1乃至のいずれか記載の入力装置と、
    前記入力装置からの制御情報に基づいて制御処理を行う処理部と、
    を含むことを特徴とする情報装置。
  8. 取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、
    画像取込部が、検出面に接する前記被検出物の画像を取り込む工程と、
    重心位置算出部が、前記画像取込部により取り込まれた画像の重心位置を求める工程と、
    特徴点抽出部が、前記画像取込部により取り込まれた前記被検出物の画像の特徴点を抽出する工程と
    差分算出部が、少なくとも1フレーム以上前の前記被検出物の画像から抽出された特徴点の位置の分布と、現フレームの前記被検出物の画像から抽出された特徴点の位置の分布との差分を求める工程と
    制御情報出力部が、前記差分に対応した前記制御情報を出力する工程と、
    を有し、
    前記差分を求める工程は、
    少なくとも1フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第1の差分を求める工程と、
    少なくとも1フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第2の差分を求める工程と、
    を含み、
    前記制御情報を出力する工程は、前記第1及び第2の差分に基づいて、前記検出面上の互いに直交する第1及び第2の軸方向の前記被検出物の移動量、前記検出面上の互いに直交する第1又は第2の軸回りの前記被検出物の回転角度、並びに前記検出面に垂直な第3の軸回り前記被検出物回転角度を検出して、これらの検出結果を前記制御情報として出力する工程を含み
    前記第2の軸回りの回転角度は、前記第1の差分の前記第1の軸方向成分から前記第2の差分の前記第1の軸方向成分を差し引いて求められ、前記第1の軸回りの回転角度は、前記第1の差分の前記第2の軸方向成分から前記第2の差分の前記第2の軸方向成分を差し引いて求められることを特徴とする制御情報生成方法。
  9. 請求項において、
    面積算出部が、前記検出面に接する被検出物の画像の面積を求める工程をさらに有し
    該面積と、少なくとも1フレーム以上前の前記被検出物の画像の面積との差分を求め、
    前記制御情報出力部が、前記検出面と垂直な方向の前記被検出物の移動に応じて、前記差分に対応した制御情報を出力することを制御情報生成方法。
JP2002277455A 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法 Expired - Fee Related JP4758594B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002277455A JP4758594B2 (ja) 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法
US10/654,423 US7324672B2 (en) 2002-09-24 2003-09-04 Input device, information device, and control information generation method
US11/987,637 US7409107B2 (en) 2002-09-24 2007-12-03 Input device, information device, and control information generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002277455A JP4758594B2 (ja) 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007195582A Division JP4229201B2 (ja) 2007-07-27 2007-07-27 入力装置、情報装置及び制御情報生成方法

Publications (2)

Publication Number Publication Date
JP2004118311A JP2004118311A (ja) 2004-04-15
JP4758594B2 true JP4758594B2 (ja) 2011-08-31

Family

ID=32273046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002277455A Expired - Fee Related JP4758594B2 (ja) 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法

Country Status (2)

Country Link
US (2) US7324672B2 (ja)
JP (1) JP4758594B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101016848B1 (ko) * 2004-03-22 2011-02-22 엘지전자 주식회사 지문 대칭축 추출 방법
JP2005284443A (ja) * 2004-03-29 2005-10-13 Alps Electric Co Ltd 指紋センサ
FR2869723A1 (fr) * 2004-04-29 2005-11-04 Thomson Licensing Sa Element de transition sans contact entre un guide d'ondes et une ligne mocroruban
US20050265587A1 (en) * 2004-06-01 2005-12-01 Schneider John K Fingerprint image database and method of matching fingerprint sample to fingerprint images
JP3734819B1 (ja) * 2004-07-26 2006-01-11 任天堂株式会社 ゲームプログラム、ゲーム装置、および入力装置
JP4471761B2 (ja) * 2004-07-26 2010-06-02 任天堂株式会社 ゲームプログラム、ゲーム装置、および入力装置
JP4739787B2 (ja) * 2005-03-28 2011-08-03 富士通株式会社 電子機器
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4920928B2 (ja) * 2005-08-08 2012-04-18 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP4669423B2 (ja) * 2006-03-20 2011-04-13 富士通株式会社 電子機器、スクロール制御装置、およびプログラム
TWI390452B (zh) * 2008-10-17 2013-03-21 Acer Inc 指紋感測裝置與方法以及具指紋感測之觸控裝置
JP2011008529A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 生体認証装置、生体認証方法およびそのプログラム
CN106547338A (zh) * 2015-09-22 2017-03-29 小米科技有限责任公司 指令生成方法及装置
JP6702743B2 (ja) * 2016-02-01 2020-06-03 富士通コネクテッドテクノロジーズ株式会社 表示装置
US10002284B2 (en) * 2016-08-11 2018-06-19 Ncku Research And Development Foundation Iterative matching method and system for partial fingerprint verification
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
JP2019200719A (ja) * 2018-05-18 2019-11-21 株式会社東海理化電機製作所 生体情報センサ装置及び生体情報の登録方法
TWI673655B (zh) * 2018-11-13 2019-10-01 大陸商北京集創北方科技股份有限公司 防類指紋侵入的感測圖像處理方法及其觸控裝置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69232183T2 (de) * 1991-03-11 2002-06-20 Nippon Telegraph And Telephone Corp., Tokio/Tokyo Verfahren und Gerät zur Bildverarbeitung
JPH0540571A (ja) 1991-08-02 1993-02-19 Seiko Epson Corp 3次元位置入力方法および3次元位置入力装置
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
JPH0793089A (ja) 1993-09-22 1995-04-07 Hitachi Ltd 画像編集装置
US5960101A (en) * 1996-08-30 1999-09-28 Printrak International, Inc. Expert matcher fingerprint system
JPH10105707A (ja) * 1996-09-25 1998-04-24 Sony Corp 画像照合装置
JP3793977B2 (ja) * 1997-01-30 2006-07-05 ソニー株式会社 画像照合装置
JP3102395B2 (ja) * 1997-11-27 2000-10-23 日本電気株式会社 指紋検出装置
CA2273560A1 (en) 1998-07-17 2000-01-17 David Andrew Inglis Finger sensor operating technique
JP3415492B2 (ja) * 1999-06-24 2003-06-09 Necエレクトロニクス株式会社 指紋照合システムとその指紋照合方法
US6509847B1 (en) * 1999-09-01 2003-01-21 Gateway, Inc. Pressure password input device and method
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US6898301B2 (en) * 2000-07-10 2005-05-24 Casio Computer Co., Ltd. Authentication system based on fingerprint and electronic device employed for the system
US7986820B2 (en) * 2001-10-19 2011-07-26 Mitsubishi Electric Research Laboratories, Inc. Method for comparing features extracted from images of fingerprints
KR100453220B1 (ko) * 2001-12-05 2004-10-15 한국전자통신연구원 지문 특징점을 이용한 사용자 인증 장치 및 방법
JP2003303048A (ja) 2002-02-06 2003-10-24 Fujitsu Component Ltd 入力装置、ポインタ制御方法

Also Published As

Publication number Publication date
US7409107B2 (en) 2008-08-05
JP2004118311A (ja) 2004-04-15
US20040107301A1 (en) 2004-06-03
US20080089564A1 (en) 2008-04-17
US7324672B2 (en) 2008-01-29

Similar Documents

Publication Publication Date Title
JP4059047B2 (ja) 入力装置、情報装置及び制御情報生成方法
US7409107B2 (en) Input device, information device, and control information generation method
JP4522043B2 (ja) 情報装置及び表示制御方法
US8736568B2 (en) Two-dimensional touch sensors
US6400836B2 (en) Combined fingerprint acquisition and control device
KR101007045B1 (ko) 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
JP6075110B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPH02132510A (ja) 入力装置
TWI461962B (zh) 用以執行多手指手勢功能之計算裝置及方法
JP4229201B2 (ja) 入力装置、情報装置及び制御情報生成方法
JP4683098B2 (ja) 入力装置、情報装置及び制御情報生成方法
JP4059049B2 (ja) 入力装置、情報装置及び制御情報生成方法
JP4605280B2 (ja) 入力装置、情報装置及び制御情報生成方法
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
US20220050528A1 (en) Electronic device for simulating a mouse
US20180039810A1 (en) Semiconductor device
JP4215110B2 (ja) 入力装置、情報装置及び制御情報生成方法
KR20150076574A (ko) 공간 터치 방법 및 공간 터치 장치
TW201419087A (zh) 微體感偵測模組及其微體感偵測方法
Pullan et al. High Resolution Touch Screen Module
CN117991964A (zh) 一种显示控制方法和电子设备
Erdem Vision-based human-computer interaction using laser pointer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070727

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080131

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110603

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees