JP4059047B2 - 入力装置、情報装置及び制御情報生成方法 - Google Patents

入力装置、情報装置及び制御情報生成方法 Download PDF

Info

Publication number
JP4059047B2
JP4059047B2 JP2002277456A JP2002277456A JP4059047B2 JP 4059047 B2 JP4059047 B2 JP 4059047B2 JP 2002277456 A JP2002277456 A JP 2002277456A JP 2002277456 A JP2002277456 A JP 2002277456A JP 4059047 B2 JP4059047 B2 JP 4059047B2
Authority
JP
Japan
Prior art keywords
image
control information
detected object
fingerprint
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002277456A
Other languages
English (en)
Other versions
JP2004118312A (ja
Inventor
大輔 佐藤
富雄 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2002277456A priority Critical patent/JP4059047B2/ja
Priority to US10/654,443 priority patent/US7257240B2/en
Publication of JP2004118312A publication Critical patent/JP2004118312A/ja
Application granted granted Critical
Publication of JP4059047B2 publication Critical patent/JP4059047B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力装置、これを含む情報装置及び制御情報生成方法に関する。
【0002】
【従来の技術】
入力装置は、電子機器(情報機器又は情報装置)の操作部に用いられる。例えば、ユーザが入力装置を操作することにより、電子機器では、入力装置から出力された制御情報(操作情報)を用いて、表示部に表示されるポインタを移動させたり、表示部の画像をスクロールさせたりする。この入力装置については、ユーザの操作性を低下させないことが必要とされる。
【0003】
入力装置として、例えば3次元空間上の任意の位置を指示する際の操作性を向上させたものがある。この入力装置では、まず基準点を設定する。指示位置が画面上に現れていない場合には、該基準点を中心にした移動と、該基準点と視点とを結ぶ直線に沿った移動とを組み合わせて行って、視点を移動させた後、移動後の視点から3次元空間を再表示する。指示位置が画面上に現れている場合には、画面上でカーソルを移動させる(例えば、特許文献1)。このような操作を可能にすることで、この入力装置では、いわゆる6軸方向の操作を行う必要がなくなる。
【0004】
【特許文献1】
特開平5−40571号公報
【0005】
【発明が解決しようとする課題】
ところが、特許文献1に開示されている入力装置では、携帯型の情報機器に適用することは困難である。また携帯型の情報機器に適用する場合、バッテリ駆動による動作が可能で、小型化が可能な構成であることが必要となる。さらに、上述した機能を有する入力装置は、高度な情報処理を行う3次元CAD装置や仮想実体験装置等のみならず、携帯電話やPDAに適用できることが望ましい。
【0006】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、超小型かつ超軽量で、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決するために本発明は、被検出物の画像を取り込むことにより制御情報を生成する入力装置であって、少なくともその一部分にパラメータの値が関連付けられた登録画像を記憶する登録画像記憶部と、被検出物の画像を取り込む画像取込部と、前記登録画像のうち、前記被検出物の画像に対応する部分に関連付けられたパラメータの値に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【0008】
本発明においては、まず登録画像が記憶される。登録画像は、少なくともその一部分にパラメータの値が関連付けられる。そして、取り込まれた被検出物の画像と、登録画像とを比較し、登録画像のうち被検出物の画像に対応する部分を探し出し、該当部分に関連付けられたパラメータの値に対応した制御情報を出力する。これにより、取り込んだ画像の動きだけでは制御できない方向の制御情報を出力させることができ、装置自体の構成を簡素化し、より操作性を向上させる入力装置を提供することができるようになる。
【0009】
また本発明に係る入力装置では、前記被検出物の各部位の画像をつなぎ合わせると共に、前記画像の各部に前記被検出物の部位に対応したパラメータの値を関連付けた登録画像を登録する画像登録部を含むことができる。
【0010】
本発明においては、例えば3次元形状の被検出物の表面の画像が登録画像として登録されることになる。したがって、3次元形状の被検出物の側面等の各部位にパラメータの値を関連付けておくことで、該被検出物の回転方向に対応した制御情報を出力させることができるようになる。これにより、装置自体に複雑な構成をもたせることなく、より一層操作性を向上させる入力装置を提供することができる。
【0011】
また本発明に係る入力装置では、前記登録画像は、抽出された特徴点に前記パラメータの値が関連付けられていてもよい。
【0012】
本発明によれば、より少ないデータ量で登録画像を登録させておくことができるので、登録画像と取り込んだ画像とを比較したりする入力装置における処理負荷の軽減を図ることが可能となる。
【0013】
また本発明に係る入力装置では、前記画像取込部は、検出面を有し、該検出面に接する被検出物の画像を取り込み、前記制御情報出力部は、前記登録画像の面積と、前記画像取込部により取り込まれた被検出物の画像の面積とに基づいて、前記被検出物の前記検出面に垂直な軸方向の移動に対応した制御情報を出力することができる。
【0014】
本発明においては、画像を取り込む検出面上の2軸方向のみならず、検出面と垂直な軸方向について、被検出物の移動に対応した制御情報を出力する。したがって、取り込んだ画像の位置の移動に限定されない新たな軸方向の制御指示を行うことができるようになる。これにより、これまで以上に操作性を向上させることが可能となる。
【0015】
また本発明に係る入力装置では、前記被検出物の前記検出面に垂直な軸方向の移動に対応した制御情報は、前記検出面上の互いに直交する第1又は第2の軸回りの回転角度を用いて補正された情報であってもよい。
【0016】
本発明においては、被検出物の検出面に垂直な軸方向の移動に対応した制御情報について、当該軸方向の移動を求める。そして、この移動について、さらに検出面上の互いに直交する第1又は第2の軸回りの回転角度を用いて補正する。これにより、検出面上を被検出物を滑らせて回転させた場合を考慮して、垂直な軸方向の移動を検出することができるので、より高精度な当該軸方向の制御情報を出力させることができる。
【0017】
また本発明に係る入力装置では、前記パラメータの値は、前記検出面上で互いに直交する第1及び第2の軸回りの回転角度であり、前記制御情報出力部は、前記登録画像と前記被検出物の画像との比較結果に基づいて、前記被検出物の前記第1又は第2の軸回りの回転角度に対応した制御情報を出力することができる。
【0018】
本発明によれば、検出面上の第1又は第2の軸回りの回転角度に対応した制御情報を出力させることができるので、制御指示可能な軸方向を増やすことができ、より操作性を向上させた入力装置を提供することができる。
【0019】
また本発明に係る入力装置では、前記制御情報出力部は、前記登録画像と、前記被検出物の画像との比較結果に基づいて、前記被検出物の前記検出面と垂直な第3の軸回りの回転角度に対応した制御情報を出力することができる。
【0020】
本発明によれば、検出面と垂直な第3の軸回りの回転角度に対応した制御情報を出力するようにしたので、制御指示可能な軸方向を増やすことができ、より操作性を向上させた入力装置を提供することができる。
【0021】
また本発明に係る入力装置では、前記被検出物は、指紋であってもよい。
【0022】
本発明によれば、指の指紋を用いて、より多くの制御方向を指示できるようになる。したがって、指紋の画像を取り込む指紋センサを用いることによって、超小型かつ超軽量で、これまで以上に操作性を向上させる入力装置を提供することができる。
【0023】
また本発明は、上記のいずれか記載の入力装置と、前記入力装置からの制御情報に基づいて制御処理を行う処理部とを含む情報装置に関係する。
【0024】
本発明によれば、超小型かつ超軽量で、これまで以上に操作性を向上させることが可能な携帯型の情報装置を提供することができる。
【0025】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、取り込まれた被検出物の画像と、少なくともその一部分にパラメータの値が関連付けられた登録画像とを比較し、前記登録画像のうち、前記被検出物の画像に対応する部分に関連付けられたパラメータの値に対応した制御情報を出力する制御情報生成方法に関係する。
【0026】
また本発明に係る制御情報生成方法では、前記登録画像の面積と、取り込まれた被検出物の画像の面積とに基づいて、前記被検出物の画像の検出面に垂直な軸方向の前記被検出物の移動に対応した制御情報を出力することができる。
【0027】
また本発明に係る制御情報生成方法では、前記パラメータの値は、前記検出面上で互いに直交する第1及び第2の軸回りの回転角度であり、前記登録画像と、前記被検出物の画像との比較結果に基づいて、前記被検出物の画像の検出面上の第1又は第2の軸回りの回転角度に対応した制御情報を出力することができる。
【0028】
また本発明に係る制御情報生成方法では、前記登録画像と、前記被検出物の画像との比較結果に基づいて、前記被検出物の画像の検出面と垂直な第3の軸回りの回転角度に対応した制御情報を出力することができる。
【0029】
また本発明に係る制御情報生成方法では、前記被検出物は、指紋であってもよい。
【0030】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【0031】
1. 入力装置
図1に、本実施形態における入力装置の構成の概要を示す。本実施形態における入力装置10は、登録画像と、取り込んだ画像とを比較し、その比較結果に応じた6軸方向の制御情報(操作情報)を出力することができるようになっている。そのため、入力装置10は、画像取込部20、画像解析部30、画像登録部40、登録画像記憶部50、制御情報出力部60を含む。
【0032】
画像取込部20は、ユーザが移動させる2次元又は3次元の被検出物を、検出面(センサ面)を介して2次元の情報である画像として取り込み、1フレームごとに画像情報を生成する。
【0033】
画像解析部30は、画像取込部20で取り込まれた画像を解析し、その解析結果を制御情報出力部60に対して出力する。より具体的には、画像解析部30は、面積算出部32、特徴点抽出部34を含む。面積算出部32は、画像取込部20で取り込まれた被検出物の画像の面積又はこれと等価的な値を求める。特徴点抽出部34は、画像取込部20で取り込まれた画像の特徴点を抽出する。ここで特徴点とは、移動前後の2つの画像を比較して、その移動距離や移動方向、又は回転角度を特定するために参照可能な当該画像特有の形態を有する位置(領域)をいう。
【0034】
画像登録部40は、上述の登録画像を登録する処理を行う。より具体的には、画像登録部40は、画像取込部20で取り込まれた被検出物の各部位の画像をつなぎ合わせて1つの画像にする。そして、該画像の各部(例えば、各部の代表点)に、当該部に対応した被検出物の部位に関連付けられたパラメータの値を対応付けて、登録画像として登録する。ここで、画像取込部20で取り込まれた被検出物の各部位の画像は、該被検出物を各方向から見た画像とすることができる。これにより、3次元形状の被検出物の表面の画像を登録画像として登録することができる。この場合、被検出物の部位に関連付けられたパラメータの値は、該被検出物を見る方向に対応した値とすることができる。本実施形態では、画像登録部40は、登録画像生成部42、登録画像特徴点抽出部44、パラメータマッピング部46を含む。登録画像生成部42は、被検出物の各部位について画像取込部20で取り込まれた1又は複数の画像をつなぎ合わせて1枚の画像を生成する。この結果、3次元形状の被検出物の表面を表す1枚の2次元の画像が得られる。登録画像特徴点抽出部44は、登録画像生成部42により生成された1枚の画像の特徴点を抽出する。本実施形態では、画像の特徴点(又は特徴点の分布)により、画像同士を比較(照合)し、処理の軽減及びデータ量の削減を図る。パラメータマッピング部46は、登録画像特徴点抽出部44により抽出された画像の各特徴点にパラメータの値をマッピングする(対応付ける)。
【0035】
登録画像記憶部50は、画像登録部40で生成されパラメータの値がマッピングされた登録画像を記憶する。
【0036】
制御情報出力部60は、画像取込部20で取り込まれた画像又は登録画像記憶部50に記憶された登録画像を用いて、制御情報を出力する。この制御情報は、上述したように6軸方向の制御情報である。
【0037】
図2に、6軸方向の制御情報の説明図を示す。6軸方向の制御情報とは、画像取込部20の検出面(センサ面)22上(又は検出面と平行な平面上)の互いに直交するX軸及びY軸(第1及び第2の軸)方向の位置X、Y、該検出面に垂直な方向のZ軸(第3の軸)方向の位置Z、X軸方向の軸回りの回転角度α、Y軸方向の軸回りの回転角度γ、Z軸方向の軸回りの回転角度βの6軸方向について指示される情報である。X軸方向の位置X、Y軸方向の位置Y、Z軸方向の位置Z、X軸方向の軸回りの回転角度α、Z軸方向の軸回りの回転角度β、Y軸方向の軸回りの回転角度γには、それぞれ図2に示すように(+)方向及び(−)方向が規定される。
【0038】
本実施形態では、検出面上で規定されるX軸、Y軸及びZ軸の各軸方向の移動の他に各軸回りの回転角度をより少ない処理負荷で求めるために、登録画像、被検出物の画像、その面積又は特徴点を用いる。そのため、図1の制御情報出力部60は、平面位置検出部70、Z軸位置検出部80、回転角度検出部90を含む。
【0039】
平面位置検出部70は、検出面上のX軸方向の位置を検出するX軸位置検出部72、該検出面上のY軸方向の位置を検出するY軸位置検出部74を含む。X軸位置検出部72及びY軸位置検出部74は、被検出物の画像が位置する検出面上の座標に基づいてX軸及びY軸方向の位置を検出し、検出したX軸及びY軸方向の位置に対応する制御情報を出力することができる。
【0040】
Z軸位置検出部80は、該検出面と垂直なZ軸方向の位置を検出する。より具体的には、Z軸位置検出部80は、面積算出部32により求められた被検出物の画像の面積を用いてZ軸方向の位置を検出し、検出したZ軸方向の位置に対応する制御情報を出力することができる。Z軸位置検出部80は、例えば登録画像記憶部50に記憶された登録画像の面積を基準にした面積算出部32により求められた被検出物の画像の面積の比率に基づいて、Z軸方向の位置を求めることができる。またZ軸位置検出部80は、例えば検出面22における取り込み可能な最大面積を基準にした被検出物の画像の面積の比率に基づいて、Z軸方向の位置を求めてもよい。
【0041】
回転角度検出部90は、X軸方向の軸回り、Y軸方向の軸回り及びZ軸方向の軸回りの被検出物の回転角度を求める。そのため、回転角度検出部90は、X軸回り回転検出部92、Y軸回り回転検出部94、Z軸回り回転検出部96を含む。X軸回り回転検出部92は、特徴点抽出部34により求められた被検出物の画像の特徴点を用いて、登録画像記憶部50に記憶された登録画像のどの部分に位置するかを求める。そして、求められた登録画像の該当部分に関連付けられたパラメータの値に対応したX軸方向の軸回りの回転角度αを制御情報として出力する。Y軸回り回転検出部94は、X軸回り回転検出部92と同様にして、求められた登録画像の該当部分に関連付けられたパラメータの値に対応したY軸方向の軸回りの回転角度γを制御情報として出力する。Z軸回り回転検出部96は、X軸回り回転検出部92又はY軸回り回転検出部94と同様にして、求められた登録画像の該当部分に関連付けられたパラメータの値に対応したZ軸方向の軸回りの回転角度βを制御情報として出力する。
【0042】
本実施形態では、検出面上で被検出物を滑らせて回転させた場合にもX軸、Y軸又はZ軸方向の位置を求めることができるようになっている。そのため、X軸位置検出部72は、求めたX軸方向の位置に対し、Y軸方向の軸回りの被検出物の回転を考慮した補正を行って、X軸方向の位置Xを制御情報として出力する。より具体的には、被検出物の検出面上の位置をXsensor、Y軸(第2の軸)回りの回転角度(第2の回転角度)をγとすると、(1)式のように表すことができる被検出物の検出面のX軸(第1の軸)方向の位置Xを求める。
【0043】
X=Xsensor−a・γ (ただし、0≦a≦1)・・・(1)
ここで、係数a(所与の第1の係数)はY軸方向の軸回りの回転角度γの重み付け係数である。重み付け係数aが0のとき、Y軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のX出力に適する。また検出面を滑らせずに回転させる場合に回転角度γを出力し、出力Xを変化させない場合に適する。また重み付け係数aが1のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数aは、ユーザのX軸方向の操作の癖を加味する等により決定されることが望ましい。
【0044】
Y軸位置検出部74も同様に、求めたY軸方向の位置に対し、X軸方向の軸回りの被検出物の回転を考慮した補正を行って、Y軸方向の位置Yを制御情報として出力する。より具体的には、被検出物の検出面上の位置をYsensor、X軸(第1の軸)回りの回転角度(第1の回転角度)をαとすると、(2)式のように表すことができる被検出物の検出面のX軸方向の位置Yを求める。
【0045】
Y=Ysensor−b・α (ただし、0≦b≦1)・・・(2)
ここで、係数b(所与の第2の係数)はX軸方向の軸回りの回転角度αの重み付け係数である。重み付け係数bが0のとき、X軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のY出力に適する。また検出面を滑らせずに回転させる場合に、回転角度αを出力し、出力Yを変化させない場合に適する。また重み付け係数bが1のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数bは、ユーザのY軸方向の操作の癖を加味する等により決定されることが望ましい。
【0046】
Z軸位置検出部80も同様に、求めたZ軸方向の位置に対し、X軸及びY軸方向の軸回りの被検出物の回転を考慮した補正を行って、Z軸方向の位置Zを制御情報として出力する。より具体的には、被検出物の検出面のZ軸方向の位置をZsensorとすると、(3)式のように表すことができる被検出物の検出面のZ軸方向の位置Zを求める。
【0047】
Z=Zsensor+f(γ)+g(α) ・・・(3)
ここで、関数f(γ)は、回転角度γを変数とする関数である。関数f(γ)としては、原点を基準に変数γの絶対値に対して対称な関数であることが望ましい。例えば関数f(γ)としては、原点を通る2次関数を採用することができる。また関数g(α)は、回転角度αを変数とする関数である。関数g(α)としては、原点を通る任意の関数を採用することができる。関数f(γ)、g(α)については、回転角度γ、αが求められるたびに関数値を求めてもよい。また、予め変数γ、αに対応した関数値をテーブル化し、回転角度γ、αが求められるたびにテーブルを参照するようにしてもよい。なお、指の形、柔らかさによって異なり、予め補正値を登録画像にマッピングしておいてもよい。(3)式によれば、同じ圧力で指を押し当てていても、指を傾けると検出面に接する面積までもが変化してしまうため、上記の式のように補正することで面積の変化をZとして誤った情報が出力されることを回避することができる。
【0048】
また被検出物の検出面のZ軸方向の位置Zは、(3)´式のように回転角度γ、αに対して線形変化するものとして求めるようにしても良い。
【0049】
Z=Zsensor−c・γ−d・α(但し、0≦c,d≦1)・・(3)´
ここで、係数c(所与の第3の係数)はY軸方向の軸回りの回転角度γの重み付け係数である。係数d(所与の第4の係数)はX軸方向の軸回りの回転角度αの重み付け係数である。重み付け係数c(d)が0のとき、Y(X)軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のZ出力に適する。また検出面を滑らせずに回転させる場合に、回転角度γ、αを出力しZ出力を変化させないようにする場合に適する。また重み付け係数c(d)が1のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数c、dは、ユーザのX軸方向、Y軸方向の操作の癖がZ軸方向の移動に与える影響を加味する等により決定されることが望ましい。
【0050】
以下では、このような入力装置について具体的に説明する。なお以下に述べる入力装置は、指紋センサを用いるが、本発明はこれに限定されるものではない。
【0051】
図3に、指紋センサを用いた入力装置の外観構成の概要を示す。ここでは、本実施形態における入力装置が、ICカード(広義には、情報装置)100に実装される場合を示している。ICカード100は、内部にCPUやメモリ素子を有する。これにより、ICカード100では、機密保持性を向上させると共に、情報処理による高度な情報をより多くの記憶させることが可能となる。そして、本実施形態における入力装置を用いることで、超小型かつ超軽量な構成で、ユーザの多様な操作を反映させた情報処理を行うことができる。
【0052】
図3において、入力装置としての指紋センサの検出面22に、指紋パターンが形成されたユーザの指(広義には、被検出物)102を接触させることにより、指紋画像が取り込まれる。そして、検出面22上に規定される3次元空間において検出されたユーザによる指102の6軸方向の移動により、対応する制御情報が出力される。ICカード100では、該制御情報に基づく処理が行われる。例えばICカード100に液晶パネルが設けられている場合には、液晶パネルに表示されるポインタの移動や表示画像のスクロール等の表示制御が行われる。なお入力装置が3次元CAD装置に適用される場合には、操作対象の物体の回転或いは視点の移動の制御が行われることになる。
【0053】
図4に、入力装置のハードウェア構成例を示す。入力装置120では、バス122に、CPU124、ROM126、RAM128、指紋センサインタフェース(InterFace:I/F)回路130が接続される。指紋センサI/F回路130には、指紋センサ132が接続される。またバス122にUSBI/F回路134が接続される。USBI/F回路134は、外部でパソコン140等のUSB規格上のホスト装置若しくはペリフェラル装置に接続される。
【0054】
ここで主に指紋センサ132及び指紋センサI/F回路130により、図1に示す画像取込部20の機能が実現される。指紋センサ132により取り込まれた指紋画像は、指紋センサI/F回路130を介してRAM128に蓄積される。CPU124と、ROM126若しくはRAM128に格納されたソフトウェアプログラムとにより、図1に示す画像解析部30、画像登録部40及び制御情報出力部60の機能が実現される。RAM128により、図1に示す登録画像記憶部50の機能が実現される。
【0055】
1.2 指紋センサ
図5に、指紋センサ132の一例を示す。図5において、M本(Mは2以上の整数)の電源線200と、N本(Nは2以上の整数)の出力線202とを有する。M本の電源線200とN本の出力線202の各交点には静電容量検出素子204が設けられている。図5に示す静電容量検出素子204は、指が接触したときの閉回路として図示されており、指の凹凸パターンに依存して変化する可変容量Cと、信号増幅素子例えば信号増幅MIS型薄膜半導体装置(以下信号増幅用TFTと略記する)206とを有する。静電容量検出素子204に指が接触していないときには、可変容量Cの接地端側はオープン状態である。なお、可変容量Cについては後述する。
【0056】
M本の電源線200の各々は、対応する行に沿って配列されたN個の信号増幅用TFT206のドレインDに接続されている。また、M本の電源線200の各々は、M個の電源用パスゲート210の各々を介して共通電源線212に接続されている。すなわち、電源用パスゲート210はMIS型薄膜半導体装置にて形成され、そのソースSは電源線200に接続され、そのドレインDは共通電源線212に接続されている。電源選択回路220内には、上述のM個の電源用パスゲート210及び共通電源線212に加えて、電源用シフトレジスタ222が設けられている。電源用シフトレジスタ222の電源選択用出力線224に、M個の電源用パスゲート210の各ゲートGが接続されている。
【0057】
N本の出力線202各々は、対応する列に沿って配列されたM個の信号増幅用TFT206のソースSに接続されている。また、N本の出力線202の各々は、N個の出力信号用パスゲート230の各々を介して共通出力線232に接続されている。すなわち、出力信号用パスゲート230はMIS型薄膜半導体装置にて形成され、そのドレインDは出力線202に接続され、そのソースSは共通出力線232に接続されている。出力信号選択回路240内には、上述のN個の出力信号用パスゲート230及び共通出力線232に加えて、出力信号用シフトレジスタ242が設けられている。出力信号用シフトレジスタ242の出力選択用出力線244に、出力信号用パスゲート230のゲートGが接続されている。
【0058】
図6は、図5に示す静電容量検出素子204の断面図であり、指が接触されていない状態が図示されている。この静電容量検出素子204は、上述の信号増幅素子である信号増幅用TFT206に加えて、信号検出素子208を有する。
【0059】
図6において、絶縁層250上には、ソース領域252A、ドレイン領域252B及びその間のチャネル領域252Cを有する半導体膜252が形成されている。半導体膜252上にはゲート絶縁膜254が形成され、このゲート絶縁膜254を挟んでチャネル領域252Cと対向する領域にゲート電極256が形成されている。この半導体膜252、ゲート絶縁膜254及びゲート電極256で、信号増幅用TFT206が構成される。なお、電源用パスゲート210及び出力信号用パスゲート230も、信号増幅用TFT206と同様にして形成される。
【0060】
この信号用TFT206は第一層間絶縁膜260により被われている。第一層間絶縁膜260上には、図5に示す出力線202に相当する第一配線層262が形成されている。この第一配線層262は信号用TFT206のソース領域252Aに接続されている。
【0061】
第一配線層262は第二層間絶縁膜264により被われている。この第二層間絶縁膜264上には、図5に示す電源線200に相当する第二配線層266が形成されている。この第二配線層266は、信号増幅用TFT206のドレイン領域252Bに接続されている。なお、図6とは異なる構造として、第二配線層266を第一層間絶縁膜260上に形成し、第一配線層262を第二層間絶縁膜264上に形成してもよい。
【0062】
第二層間絶縁膜264上にはさらに、容量検出電極270が形成され、それを被って容量検出誘電体膜272が形成されている。容量検出誘電体膜272は、指紋センサ132の最表面に位置して保護膜としても機能し、この容量検出誘電体膜272に指が接触される。この容量検出電極270及び容量検出誘電体膜272により、信号検出素子208が構成される。
【0063】
1.2.1 指紋検出動作
指紋検出は、図6に示す容量検出誘電体膜272に指を接触させることで実施される。このとき、指紋センサ132の起動スイッチ(例えば感圧スイッチ)42が作動し、入力装置120内の電源が作動して、自動的に、指紋センサ132に電源が供給される。或いは、入力装置120をパソコン140にセットし、パソコン140の給電部より電源が供給されても良い。
【0064】
本実施形態では、図5に示すM本のうち選択された1本の電源線200に電源電圧を供給し、かつ、そのときの信号を、N本のうち選択された1本の出力線202から検出することで、M×N個の静電容量検出素子204から順次信号を取り出している。
【0065】
指紋検出動作は大別して、(1)指紋パターンの山(凸部)が容量検出誘電体膜272に接触する場合と、(2)指紋パターンの谷(凹部)が容量検出誘電体膜272に対向する場合とがある。
【0066】
(1)指紋パターンの山(凸部)が容量検出誘電体膜272に接触する場合
図7に、この場合の静電容量検出素子204の等価回路を示す。符号300は人体の指紋の山に相当し、図6の容量検出電極270と誘電体膜272を挟んで対向する接地電極300が形成されている。ここで、電源電圧Vddは共通電源線212より供給される。符号Cは、信号増幅用TFT206のトランジスタ容量であり、符号Cは検出電極270と接地電極(指)300との間の容量である。
【0067】
ここで、信号増幅用TFT206のゲート電極長をL(μm)、ゲート電極幅をW(μm)、ゲート絶縁膜の厚みをtox(μm)、ゲート絶縁膜の比誘電率をεox、真空の誘電率をεoとする。このとき、トランジスタ容量Cは、(4)式のようになる。
【0068】
=εo・εox・L・W/tox ・・・(4)
また、容量検出電極270の面積S(μm)、容量検出誘電体膜272の厚みをtd(μm)、容量検出誘電体膜の比誘電率をεdとする。このとき、容量Cは、(5)式のようになる。
【0069】
=εo・εd・S/td ・・・(5)
図7の等価回路において、信号増幅用TFT206のゲートに印加される電圧VGTは、次式のようになる。
【0070】
GT=Vdd/(1+C/C) ・・・(6)
容量Cをトランジスタ容量Cよりも充分に大きく設定しておけば(例えばC>10×C)、(6)式の分母は無限大となり、次式にように近似される。
【0071】
GT≒0 ・・・(7)
この結果、信号増幅用TFT206は、そのゲートにほとんど電圧がかからないためオフ状態となる。よって、信号増幅用TFT206のソース−ドレイン間に流れる電流Iは極めて小さくなる。この電流Iを測定することで、測定箇所が指紋パターンの山(凸部)であることが判定できる。
【0072】
(2)指紋パターンの谷(凹部)が容量検出誘電体膜272に対向する場合
図8に、この場合の静電容量検出素子204の等価回路を示す。符号302が人体の指紋の谷に相当する。この場合は、図7に示す容量Cに加えて、誘電体膜272と指紋の谷との間に、空気を誘電体とする新たな容量Cが形成される。
【0073】
図8の等価回路において、信号増幅用TFT206のゲートに印加される電圧VGVは、次式のようになる。
GV=Vdd/{[1+(1/C)]×1/[(1/C)+(1/C)]} ・・・(8)
容量Cをトランジスタ容量Cよりも充分に大きく設定しておけば(例えばC>10×C)、(8)式は次式のように近似される。
【0074】
GV≒Vdd/[1+(C/C)] ・・・(9)
さらに、トランジスタ容量Cを、指紋の谷により形成される容量Cよりも充分に大きくしておけば(例えばC>10×C)、(9)式は次式のように近似される。
【0075】
GV≒Vdd ・・・(10)
この結果、信号増幅用TFT206は、そのゲートに電源電圧Vddがかかるためオン状態となる。よって、信号増幅用TFT206のソース−ドレイン間に流れる電流Iは極めて大きくなる。この電流Iを測定することで、測定箇所が指紋パターンの谷(凹部)であることが判定できる。
【0076】
このように、図5に示す可変容量Cは、指紋の山が容量検出誘電体膜272に接触した時は容量Cとなり、指紋の谷が容量検出誘電体膜272に対向としたときは容量Cと容量Cとの和となり、指紋の凹凸に従って容量が変化する。この指紋の凹凸に従った容量変化に基づく電流を検出することで、指紋の山または谷を検出できる。
【0077】
以上の動作を、M×N個の静電容量検出素子204にて時分割で実施することで、指紋パターンを検出することが可能となる。より具体的には、第1行の各列に位置する静電容量検出素子を順に指紋の凹凸を検出した後、第2行の指紋の凹凸を検出するといったように、ピクセルごとに指紋の凹凸を検出していく。その結果、例えば図9(A)、(B)に示すような指紋画像を得ることができる。本実施形態では、この指紋センサ132を用いて周期的に指紋画像を取り込む。
【0078】
なお、電源電圧Vddに正電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型N型トランジスタにて、信号増幅用TFT206を形成すればよい。C>10×Cを満たす場合には、信号増幅用TFT206の伝達特性におけるドレイン電流が最小値となるゲート電圧(最小ゲート電圧)をVminとしたとき、0<Vmin<0.1×Vddを満たせばよい。
【0079】
電源電圧Vddに負電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型P型トランジスタにて、信号増幅用TFT206を形成すればよい。C>10×Cを満たす場合には、信号増幅用TFT206の伝達特性におけるドレイン電流が最小値となるゲート電圧(最小ゲート電圧)をVminとしたとき、0.1×Vdd<Vmin<0を満たせばよい。
【0080】
本実施形態では、このようにして取り込まれた指紋画像を用いて制御情報を出力する。この際、取り込まれた指紋画像の特徴点を用いることで、処理負荷を軽減する。
【0081】
図9(A)、(B)に、指紋の特徴点の一例を示す。図9(A)は、指紋の分岐点の一例を示す。図9(B)は、指紋の端点の一例を示す。指紋センサ132で取り込まれた指紋画像について、例えば指紋の分岐点が抽出される。図9(A)、(B)では、指紋画像は、指紋の凸部である稜線の形態を表している。ここで指紋の分岐点は、指紋の稜線が2以上の稜線に分岐する部分である。また指紋の端点は、指紋の稜線が終端する部分である。
【0082】
指紋の形態が同一となることがないため、その分岐点又は端点の分布も個人によって異なる。したがって、指紋画像の分岐点又は端点を求めることができれば、求めた分岐点又は端点の分布のみを比較すればよいので、比較すべき情報量が少なくなり比較処理の負荷を軽減することができる。
【0083】
1.3 動作フロー
図10及び図11に、本実施形態における入力装置の処理フローの一例を示す。図10に示す処理を実行するためのプログラムが、ROM126又はRAM128に格納される。CPU124は、このプログラムにしたがって処理を行う。
【0084】
まず入力装置では、登録モードにおいて、取り込み対象のユーザの指の指紋の登録が行われる。その際、3次元形状の指の指紋について1枚の画像を登録指紋画像として登録する。そのため指の各部位の画像を取り込んで、1つの登録指紋画像を生成する。まず指の原点位置として、指を指紋センサ132のセンサ面(検出面)に対して自然な角度(例えば、センサ面と指とのなす角が15度)で押し当てた状態の指紋画像を取り込む。CPU124は、指紋センサI/F回路130を介して指紋センサ132により指紋画像を取り込み、当該指紋画像を原点位置に対応付けて記憶する(ステップS400)。
【0085】
次に、指を最大限(概ね回転角度γが−45度)左に傾けた状態で指紋センサ132により指紋画像を取り込む。CPU124は、指紋センサI/F回路130を介して指紋センサ132により指紋画像を取り込み、当該指紋画像を回転角度γに対応付けて記憶する(ステップS401)。
【0086】
続いて、指を最大限(概ね回転角度γが45度)右に傾けた状態で指紋センサ132により指紋画像を取り込む。CPU124は、指紋センサI/F回路130を介して指紋センサ132により指紋画像を取り込み、当該指紋画像を回転角度γに対応付けて記憶する(ステップS402)。
【0087】
さらに、指を最大限手前に(概ねセンサ面と指とのなす角(回転角度α)が0度(水平))傾けた状態で指紋センサ132により指紋画像を取り込む。CPU124は、指紋センサI/F回路130を介して指紋センサ132により指紋画像を取り込み、当該指紋画像を回転角度αに対応付けて記憶する(ステップS403)。
【0088】
さらに続いて、指を最大限奥に(概ね回転角度αが60度)傾けた状態で指紋センサ132により指紋画像を取り込む。CPU124は、指紋センサI/F回路130を介して指紋センサ132により指紋画像を取り込み、当該指紋画像を回転角度αに対応付けて記憶する(ステップS404)。
【0089】
そしてCPU124は、これら5つの画像をつなぎ合わせて1つの登録指紋画像を生成する(ステップS405)。このとき、各画像を精度良く、かつ高速につなぎ合わせる処理を行うために、原点位置における指紋画像を取り込む際に強く指紋センサ132のセンサ面に押し当てた状態で登録しておくことが望ましい。こうすることで原点位置における指紋画像として取り込まれる指紋パターンの範囲が広がり、他の指紋画像の指紋パターンと効率良くつなぎ合わせることができるようになる。また、Zが最小となる画像(基準)も得ることができる。
【0090】
図12(A)〜(C)及び図13(A)、(B)に、登録指紋画像を生成するための指の各部位の画像の一例を示す。図12(A)は、図10に示すステップS400において、指紋センサ132のセンサ面の検出エリア500内で取り込まれた原点位置における指の指紋画像502の一例である。図12(B)は、図10に示すステップS401において、検出エリア500内で取り込まれた指の左側面付近の指紋画像504の一例である。図12(C)は、図10に示すステップS402において、検出エリア500内で取り込まれた指の右側面付近の指紋画像506の一例である。図13(A)は、図10に示すステップS403において、検出エリア500内で取り込まれた指の関節側の指紋画像508の一例である。図13(B)は、図10に示すステップS404において、検出エリア500内で取り込まれた指の先端側の指紋画像510の一例である。
【0091】
図12(A)の指紋画像502を基準にすると、図12(B)の指紋画像504が、指紋センサの検出面上のY軸方向の軸回りの(−)方向に回転させた場合の指紋画像に相当する。同様に、図12(C)の指紋画像506が、指紋センサの検出面上のY軸方向の軸回りの(+)方向に回転させた場合の指紋画像に相当する。また図13(A)の指紋画像508が、指紋センサの検出面上のX軸方向の軸回りの(−)方向に回転させた場合の指紋画像に相当する。さらに図13(B)の指紋画像510が、指紋センサの検出面上のX軸方向の軸回りの(+)方向の回転させた場合の指紋画像に相当する。
【0092】
図14に、登録指紋画像の一例を示す。図14において、登録指紋画像520は、図10示すステップS405において、図12(A)〜(C)、図13(A)、(B)に示す指紋の各部位の指紋画像502、504、506、508、510をつなぎ合わせることで生成される。
【0093】
図10に戻って説明を続ける。以上のようにして登録指紋画像を生成すると、入力装置では、登録指紋画像の各部に回転角度α、γを関連付ける。また(3)式で示した関数f(γ)、g(α)の補正値も、登録指紋画像の各部に関連付けるようにしても良い。そのため、本実施形態における入力装置では、ステップS405で登録指紋画像が生成されると、CPU124は該登録指紋画像の特徴点を抽出する(ステップS406)。ここで特徴点は、図9(A)、(B)に示すような指紋の山(稜線部分)の端点や分岐点等である。
【0094】
続いてCPU124は、ステップS406で抽出された登録指紋画像の特徴点に、回転角度α、γ(広義には、パラメータの値)をマッピングする(ステップS407)。
【0095】
図15(A)、(B)に、登録指紋画像のマッピング処理についての図を示す。図15(A)では、登録指紋画像520について特徴点C〜Cが抽出されている。この場合、特徴点C(1≦i≦5、iは整数)に、回転角度α、γの対が(α,γ)としてマッピングされる。ここで、登録時において指紋画像508に「−α」、指紋画像510に「+α」が対応付けられている。そのため、「−α」、「+α」を登録指紋画像520の基準マッピング位置を決めることで、各特徴点Cの回転角度αは、基準マッピング位置を基準とした特徴点の位置に応じてマッピングすることが可能となる。例えば特徴点Cに「−α」、特徴点Cに「+α」がそれぞれマッピングした場合、回転角度αは、登録指紋画像における特徴点C、CのY軸方向の長さを内分する特徴点CのY座標に応じて定めることが可能となる。同様にして、回転角度γについても、X座標に応じて定めることができる。
【0096】
また、上述した特徴点のみならず、図15(B)に示すように登録指紋画像520の任意の点Pに(α,γ)をマッピングするようにしても良い。この場合、例えば近傍の3つの特徴点Ci−1、C、Ci+1にマッピングされた回転角度α、γを内分して、点Pにマッピングする回転角度α、γを求めてもよい。
【0097】
図11に戻って説明を続ける。このようにしてステップS407で登録指紋画像に回転角度α、γをマッピングすると、CPU124によって、指紋センサ132により新たな指紋画像の取り込みを行う(ステップS408)。
【0098】
そして、指紋センサ132のセンサ面の検出エリア500において、指が接触する位置からX軸方向の位置X、Y軸方向の位置Yを求める(ステップS409)。
【0099】
図16に、X軸方向の位置X、Y軸方向の位置Yを求める処理の手法を説明するための図である。指紋センサ132により、検出エリア500内でX軸及びY軸方向で走査されて、図16に示す位置において指紋画像530が取り込まれたものとする。ここで指紋画像530の輪郭のX軸方向の最大値及び最小値をX、X、Y軸方向の最大値及び最小値をY、Yとする。図11に示すステップS409で求める位置(X,Y)は、例えば(X,Y)や、(X,Y)や、((X+X)/2,(Y+Y)/2)とすることができる。いずれの方法によっても、取り込まれた指紋画像のX軸及びY軸方向の位置を特定することができる。
【0100】
図11のステップS409でX軸、Y軸方向の位置が求められると、取り込まれた指紋画像の接触面積からセンサ面と垂直なZ軸方向の位置を求める(ステップS410)。
【0101】
図17に、指紋画像の面積を算出する手法についての図を示す。検出エリア500内の指紋画像530が取り込まれる際、指紋センサ132では、X軸方向については、指紋の山又は谷の検出が開始される出力線O1と、指紋の山又は谷が検出されなくなる出力線O2とにより、指紋の山又は谷が検出される出力線の数Ocを特定することができる。Y軸方向については、同様に、指紋の山又は谷の検出が開始される電源線D1と、指紋の山又は谷が検出されなくなる電源線D2とにより、検出される電源線の数Dcを特定することができる。したがって、出力線の数Ocと電源線の数Dcとにより、指紋画像530の面積と等価的な値を求めることができる。このように、指紋センサ132の電源線及び出力線を特定することにより、取り込まれた指紋画像の輪郭に外接する矩形を容易に求めることができるので、指紋画像の面積算出の処理負荷を軽減することができる。
【0102】
なお、CPUによる処理において、取得した画像に外接する矩形を求め、該画像の面積算出を行っても良い。
【0103】
以上のようにして指紋画像530の面積(又はこれと等価的な値)が求められると、ステップS400で登録された原点位置の指紋画像502(図12(A))の面積を基準に、Z軸方向の位置Zを求める。例えば、原点位置の指紋画像の面積をS、図17に示す指紋画像530の面積をSとすると、Z軸方向の位置Zは、(11)式のように求めることができる。
【0104】
Z=e・(S−S) (ただし、0≦e≦1) ・・・(11)
ここで、係数e(所与の第5の係数)は、Z軸方向の位置を求めるための径数である。係数eは、ユーザのZ軸方向の操作の癖等を加味して決定されされることが望ましい。
【0105】
また原点位置の指紋画像と、Z軸方向の位置が最大となるように強く押し当てた指紋画像とを予め登録し、それぞれの面積を基準に図17に示す指紋画像530の面積に対応するZ軸方向の位置を求めるようにしてもよい。この場合、より精度高くZ軸方向の位置Zを求めることができる。
【0106】
このようにしてステップS410でZ軸方向の位置Zを求めると、次にステップS408で取り込んだ指紋画像の特徴点を抽出する(ステップS411)。
【0107】
そして、ステップS411で抽出された指紋画像の特徴点と、登録指紋画像の特徴点とを比較する。より具体的には、両画像の特徴点の位置関係の類似性が最も高く位置を探索することで、ステップS408で取り込まれた指紋画像が、登録指紋画像のどの部分に相当するかを探す照合処理を行う。その結果、探し出された登録指紋画像の該当部分にマッピングされた回転角度α、γ(又は回転角度α、γに対応した制御情報)を出力する(ステップS412)。また、回転した方が類似度が高まる場合は、Z軸方向の軸回りの回転角度βを求める。
【0108】
図18(A)、(B)に、特徴点の照合処理の一例を模式的に示す。図13(A)、(B)において、登録指紋画像から抽出された特徴点P、Q、Rが、ステップS408で取り込まれた指紋画像の特徴点P、Q、Rの位置に移動したものとする。CPU124では、照合処理において、図13(A)に示すように、3以上の抽出された特徴点のうち少なくとも特徴点P、Q、Rの3点が、それぞれ対応する特徴点Pf+1、Qf+1、Rf+1に一致するようにX軸方向及びY軸方向の移動させて、登録指紋画像の該当部分を求める。
【0109】
また、CPU124では、照合処理において、図13(B)に示すように、3以上の抽出された特徴点のうち少なくとも特徴点P、Q、Rの3点が、それぞれ対応する特徴点P、Q、Rに一致するように、基準点eと、該基準点eを中心としたZ軸方向の軸回りの回転角度βとを求める。
【0110】
このようにして回転角度α、γ、βを求めると、CPU124は、X軸方向の位置X、Y軸方向の位置、Z軸方向の位置Z、回転角度α、γ、βに対応する制御情報を出力する(ステップS413)。例えば、位置Xを(1)式のように補正して出力させる。また位置Yを(2)式のように補正して出力させる。さらに位置Zを(3)式のように補正して出力させる。ここで、CPU124は、X軸方向の位置X、Y軸方向の位置、Z軸方向の位置Z、回転角度α、γ、βをそのまま制御情報として出力させても良い。
【0111】
次に、終了するときは(ステップS414:Y)、一連の処理を終了する(エンド)が、終了しないときは(ステップS414:N)、ステップS400に戻る。
【0112】
以上説明したように、指紋の各部位に対応する登録指紋画像の該当部分に、6軸方向のうち少なくとも1つ(本実施形態では2軸)の方向の制御指示を行うためのパラメータの値を関連付け、取り込んだ指紋画像が該当する登録指紋画像の部分に関連付けられたパラメータの値に対応した制御情報を出力させる。これにより、指紋センサ132のセンサ面上のX軸、Y軸及びZ軸方向の制御情報のみならず、X軸、Y軸及びZ軸方向の軸回りの回転角度に対応した制御情報をも出力することができる。したがって、超軽量及び超小型化を図ると共に、これまで以上に操作性を向上することができる入力装置を提供することができる。
【0113】
(変形例)
なお上述の実施形態では、指紋画像の輪郭により検出面における位置(Xsensor,Ysensor)を求めていたが、これに限定されるものではない。例えば指紋画像の特徴点を用いて、基準位置からの特徴点の位置のずれに対応した位置(X,Y)を求めても良い。
【0114】
この場合、被検出物の検出面における位置は、(1)、(2)式に代えて次式で表すことができる。
【0115】
X=X−a・γ ・・・(12)
Y=Y−b・α ・・・(13)
この場合にも、本実施形態と同様に制御情報を生成することができる。そして、特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、6軸方向の制御指示が可能な入力装置を提供することができる。
【0116】
2. 情報装置
図19に、本実施形態における入力装置が適用されるICカードの構成ブロック図の一例を示す。ICカード600は、上述した指紋センサを用いた入力装置610と、画像生成部(広義には所定の制御対象の制御処理を行う処理部)620と、表示部630とを含む。入力装置610は、図1又は図4で説明した入力装置である。画像生成部620は、CPU、及びROM又はRAMに格納されたソフトウェアプログラムにより実現される。表示部630は、LCDパネル及びその駆動回路により実現される。
【0117】
ここで画像生成部620は、入力装置610から出力された制御情報に基づいて画像データを生成する(広義には制御処理を行う)。より具体的には、入力装置610により6軸方向の移動指示に対応して変化する画像の画像データを生成する。表示部630は、画像生成部620で生成された画像データに基づいて画像表示を行う。
【0118】
このような構成のICカード600では、ユーザが入力装置600に指の指紋画像を6軸方向に移動させて、移動指示を行うことで、表示部630に表示されるポインタを移動させたり、表示部630の画像をスクロールさせたりすることができるようになる。
【0119】
なおここでは、情報装置としてICカードを例に説明したが、PDA、携帯電話、3次元CAD装置、仮想現実体験装置又は電子楽器等に本実施形態に係る入力装置を適用することができる。
【0120】
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【0121】
例えば本実施形態では、指紋センサを用いた入力装置について説明したが、これに限定されるものではなく、指紋以外の2次元又は3次元の物体の画像を取り込んで同様に制御情報を出力させることができる。また検出面を有さない入力装置についても同様に適用することができる。
【0122】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【図1】 本実施形態における入力装置の構成ブロック図。
【図2】 6軸方向の制御情報の説明図。
【図3】 指紋センサを用いた入力装置の概要を示す外観構成図。
【図4】 入力装置のハードウェア構成例を示すブロック図。
【図5】 指紋センサの一例を示す回路構成図。
【図6】 静電容量検出素子の断面図。
【図7】 指紋の山が接触する場合の静電容量検出素子の等価回路図。
【図8】 指紋の谷が対向する場合の静電容量検出素子の等価回路図。
【図9】 図9(A)、(B)は指紋の特徴点の一例を示す説明図。
【図10】 入力装置の処理フローの一例の前半を示すフロー図。
【図11】 入力装置の処理フローの一例の後半を示すフロー図。
【図12】 図12(A)〜(C)は指の各部位の指紋画像の一例の説明図。
【図13】 図13(A)、(B)は指の各部位の指紋画像の他の例の説明図。
【図14】 登録指紋画像の一例を示す説明図。
【図15】 図15(A)、(B)は登録指紋画像に回転角度をマッピングする手法の説明図。
【図16】 指紋センサ上の位置を求める手法の説明図。
【図17】 指紋センサ上の指の接触面積を求める手法の説明図。
【図18】 図18(A)、(B)は特徴点の照合処理の説明図。
【図19】 ICカードの構成例を示すブロック図。
【符号の説明】
10 入力装置、 20 画像取込部、 22 検出面、 30 画像解析部、32 面積算出部、 34 特徴点抽出部、 40 画像登録部、
42 登録画像生成部、 44 登録画像特徴点抽出部、
46 パラメータマッピング部、 50 登録画像記憶部、
60 制御情報出力部、 70 平面位置検出部、 72 X軸位置検出部、
74 Y軸位置検出部、 80 Z軸位置検出部、 90 回転角度検出部、
92 X軸回り回転検出部、 94 Y軸回り回転検出部、
96 Z軸回り回転検出部

Claims (12)

  1. 被検出物の画像を取り込むことにより制御情報を生成する入力装置であって、
    少なくともその一部分にパラメータの値が関連付けられた登録画像を記憶する登録画像記憶部と、
    被検出物の画像を取り込む画像取込部と、
    前記登録画像のうち、前記被検出物の画像に対応する部分に関連付けられたパラメータの値に対応した制御情報を出力する制御情報出力部と、
    を含み、
    前記画像取込部は、
    検出面を有し、該検出面に接する被検出物の画像を取り込み、
    前記パラメータの値は、
    前記検出面上で互いに直交する第1及び第2の軸回りの回転角度であり、
    前記制御情報出力部は、
    前記登録画像と前記被検出物の画像との比較結果に基づいて、前記被検出物の前記第1又は第2の軸回りの回転角度に対応した制御情報を出力することを特徴とする入力装置。
  2. 請求項1において、
    前記制御情報出力部は、
    前記登録画像と、前記被検出物の画像との比較結果に基づいて、前記被検出物の前記検出面と垂直な第3の軸回りの回転角度に対応した制御情報を出力することを特徴とする入力装置。
  3. 請求項1又は2において、
    前記被検出物は、指紋であることを特徴とする入力装置。
  4. 請求項1乃至3のいずれかにおいて、
    前記被検出物の各部位の画像をつなぎ合わせると共に、前記画像の各部に前記被検出物の部位に対応したパラメータの値を関連付けた登録画像を登録する画像登録部を含むことを特徴とする入力装置。
  5. 請求項1乃至4のいずれかにおいて、
    前記登録画像は、
    抽出された特徴点に前記パラメータの値が関連付けられていることを特徴とする入力装置。
  6. 請求項1乃至のいずれかにおいて
    前記制御情報出力部は、
    前記登録画像の面積と、前記画像取込部により取り込まれた被検出物の画像の面積とに基づいて、前記被検出物の前記検出面に垂直な軸方向の移動に対応した制御情報を出力することを特徴とする入力装置。
  7. 請求項において、
    前記被検出物の前記検出面に垂直な軸方向の移動に対応した制御情報は、
    前記検出面上の互いに直交する第1又は第2の軸回りの回転角度を用いて補正された情報であることを特徴とする入力装置。
  8. 請求項1乃至のいずれか記載の入力装置と、
    前記入力装置からの制御情報に基づいて制御処理を行う処理部と、
    を含むことを特徴とする情報装置。
  9. 取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、
    取り込まれた被検出物の画像と、少なくともその一部分にパラメータの値が関連付けられた登録画像とを比較し、
    前記登録画像のうち、前記被検出物の画像に対応する部分に関連付けられたパラメータの値に対応した制御情報を出力し、
    前記パラメータの値は、
    前記被検出物の画像の検出面上で互いに直交する第1及び第2の軸回りの回転角度であり、
    前記登録画像と、前記被検出物の画像との比較結果に基づいて、前記被検出物の画像の検出面上の第1又は第2の軸回りの回転角度に対応した制御情報を出力することを特徴とする制御情報生成方法。
  10. 請求項において、
    前記登録画像の面積と、取り込まれた被検出物の画像の面積とに基づいて、前記被検出物の画像の検出面に垂直な軸方向の前記被検出物の移動に対応した制御情報を出力することを特徴とする制御情報生成方法。
  11. 請求項9又は10において、
    前記登録画像と、前記被検出物の画像との比較結果に基づいて、前記被検出物の画像の検出面と垂直な第3の軸回りの回転角度に対応した制御情報を出力することを特徴とする制御情報生成方法。
  12. 請求項乃至11のいずれかにおいて、
    前記被検出物は、指紋であることを特徴とする制御情報生成方法。
JP2002277456A 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法 Expired - Lifetime JP4059047B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002277456A JP4059047B2 (ja) 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法
US10/654,443 US7257240B2 (en) 2002-09-24 2003-09-04 Input device, information device, and control information generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002277456A JP4059047B2 (ja) 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007195583A Division JP4215110B2 (ja) 2007-07-27 2007-07-27 入力装置、情報装置及び制御情報生成方法

Publications (2)

Publication Number Publication Date
JP2004118312A JP2004118312A (ja) 2004-04-15
JP4059047B2 true JP4059047B2 (ja) 2008-03-12

Family

ID=32273047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002277456A Expired - Lifetime JP4059047B2 (ja) 2002-09-24 2002-09-24 入力装置、情報装置及び制御情報生成方法

Country Status (2)

Country Link
US (1) US7257240B2 (ja)
JP (1) JP4059047B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202469A (ja) * 2004-01-13 2005-07-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
US20050265587A1 (en) * 2004-06-01 2005-12-01 Schneider John K Fingerprint image database and method of matching fingerprint sample to fingerprint images
EP1920383A4 (en) * 2005-09-06 2010-12-22 Identification International I ALORITMIC CORRECTION OF IMAGE FORMATION IN A FINGERPRINT PICTURE SYSTEM
JP2007249556A (ja) * 2006-03-15 2007-09-27 Fujitsu Ltd 生体情報を用いた個人認証システム,方法およびプログラム
WO2011017891A1 (zh) * 2009-08-12 2011-02-17 智点科技有限公司 一种有源触控系统
EP2654018B1 (en) * 2010-12-17 2021-04-28 Fujitsu Limited Biometric authentication device, biometric authentication method, and computer program for biometric authentication
US8774455B2 (en) 2011-03-02 2014-07-08 Raf Technology, Inc. Document fingerprinting
US9443298B2 (en) 2012-03-02 2016-09-13 Authentect, Inc. Digital fingerprinting object authentication and anti-counterfeiting system
US10346852B2 (en) 2016-02-19 2019-07-09 Alitheon, Inc. Preserving authentication under item change
EP3236401A1 (en) 2016-04-18 2017-10-25 Alitheon, Inc. Authentication-triggered processes
US10740767B2 (en) 2016-06-28 2020-08-11 Alitheon, Inc. Centralized databases storing digital fingerprints of objects for collaborative authentication
US10915612B2 (en) 2016-07-05 2021-02-09 Alitheon, Inc. Authenticated production
US10902540B2 (en) 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
US10839528B2 (en) 2016-08-19 2020-11-17 Alitheon, Inc. Authentication-based tracking
US11062118B2 (en) 2017-07-25 2021-07-13 Alitheon, Inc. Model-based digital fingerprinting
US11087013B2 (en) 2018-01-22 2021-08-10 Alitheon, Inc. Secure digital fingerprint key object database
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
EP3734506A1 (en) 2019-05-02 2020-11-04 Alitheon, Inc. Automated authentication region localization and capture
EP3736717A1 (en) 2019-05-10 2020-11-11 Alitheon, Inc. Loop chain digital fingerprint method and system
US11238146B2 (en) 2019-10-17 2022-02-01 Alitheon, Inc. Securing composite objects using digital fingerprints
EP3859603A1 (en) 2020-01-28 2021-08-04 Alitheon, Inc. Depth-based digital fingerprinting
US11341348B2 (en) 2020-03-23 2022-05-24 Alitheon, Inc. Hand biometrics system and method using digital fingerprints
EP3885984A1 (en) 2020-03-23 2021-09-29 Alitheon, Inc. Facial biometrics system and method of using digital fingerprints
EP3929806A3 (en) 2020-04-06 2022-03-09 Alitheon, Inc. Local encoding of intrinsic authentication data
US11663849B1 (en) 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
US11983957B2 (en) 2020-05-28 2024-05-14 Alitheon, Inc. Irreversible digital fingerprints for preserving object security
US11700123B2 (en) 2020-06-17 2023-07-11 Alitheon, Inc. Asset-backed digital security tokens
CN115705739A (zh) * 2021-08-09 2023-02-17 北京小米移动软件有限公司 指纹解锁方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US653170A (en) * 1899-08-21 1900-07-03 Thomas J Ryan Motor-vehicle.
US655418A (en) * 1900-01-18 1900-08-07 Robert Schorr Furnace.
US654423A (en) * 1900-04-04 1900-07-24 Lee Sturges Handle-fastening.
DE69232183T2 (de) * 1991-03-11 2002-06-20 Nippon Telegraph & Telephone Verfahren und Gerät zur Bildverarbeitung
JPH0540571A (ja) 1991-08-02 1993-02-19 Seiko Epson Corp 3次元位置入力方法および3次元位置入力装置
US5808605A (en) * 1996-06-13 1998-09-15 International Business Machines Corporation Virtual pointing device for touchscreens
US5960101A (en) * 1996-08-30 1999-09-28 Printrak International, Inc. Expert matcher fingerprint system
JPH10105707A (ja) * 1996-09-25 1998-04-24 Sony Corp 画像照合装置
JP3793977B2 (ja) * 1997-01-30 2006-07-05 ソニー株式会社 画像照合装置
JP3415492B2 (ja) * 1999-06-24 2003-06-09 Necエレクトロニクス株式会社 指紋照合システムとその指紋照合方法
JP2001265523A (ja) 2000-03-21 2001-09-28 Sony Corp 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
US6898301B2 (en) * 2000-07-10 2005-05-24 Casio Computer Co., Ltd. Authentication system based on fingerprint and electronic device employed for the system

Also Published As

Publication number Publication date
US20040101174A1 (en) 2004-05-27
JP2004118312A (ja) 2004-04-15
US7257240B2 (en) 2007-08-14

Similar Documents

Publication Publication Date Title
JP4059047B2 (ja) 入力装置、情報装置及び制御情報生成方法
US7409107B2 (en) Input device, information device, and control information generation method
JP4522043B2 (ja) 情報装置及び表示制御方法
JP2020052991A (ja) ジェスチャ認識に基づく対話型ディスプレイの方法及び装置
US20110037727A1 (en) Touch sensor device and pointing coordinate determination method thereof
US20120262372A1 (en) Method and device for gesture recognition diagnostics for device orientation
TWI461962B (zh) 用以執行多手指手勢功能之計算裝置及方法
JPH02132510A (ja) 入力装置
EP3667564A1 (en) Gesture acquisition system
JP4683098B2 (ja) 入力装置、情報装置及び制御情報生成方法
CN116051600A (zh) 产品检测轨迹的优化方法和装置
JP4059049B2 (ja) 入力装置、情報装置及び制御情報生成方法
JP4229201B2 (ja) 入力装置、情報装置及び制御情報生成方法
JP4215110B2 (ja) 入力装置、情報装置及び制御情報生成方法
JP4605280B2 (ja) 入力装置、情報装置及び制御情報生成方法
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
US9395858B2 (en) Capacitive finger navigation device with hybrid mode and operating method thereof
KR20180015400A (ko) 반도체 장치
US11567606B1 (en) Touch input detection using complex gradients
TWI410846B (zh) 動作感知系統及其定位方法
US20220276695A1 (en) Electronic device
Das Techniques for estimating the direction of pointing gestures using depth images in the presence of orientation and distance variations from the depth sensor
Pullan et al. High Resolution Touch Screen Module
CN117991964A (zh) 一种显示控制方法和电子设备
CN116309285A (zh) 产品检测轨迹确定方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070727

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4059047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371