JP4758594B2 - 入力装置、情報装置及び制御情報生成方法 - Google Patents
入力装置、情報装置及び制御情報生成方法 Download PDFInfo
- Publication number
- JP4758594B2 JP4758594B2 JP2002277455A JP2002277455A JP4758594B2 JP 4758594 B2 JP4758594 B2 JP 4758594B2 JP 2002277455 A JP2002277455 A JP 2002277455A JP 2002277455 A JP2002277455 A JP 2002277455A JP 4758594 B2 JP4758594 B2 JP 4758594B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- control information
- axis
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/033—Indexing scheme relating to G06F3/033
- G06F2203/0338—Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力装置、これを含む情報装置及び制御情報生成方法に関する。
【０００２】
【従来の技術】
入力装置は、電子機器（情報機器又は情報装置）の操作部に用いられる。例えば、ユーザが入力装置を操作することにより、電子機器では、入力装置から出力された制御情報（操作情報）を用いて、表示部に表示されるポインタを移動させたり、表示部の画像をスクロールさせたりする。この入力装置については、ユーザの操作性を低下させないことが必要とされる。
【０００３】
入力装置として、例えば３次元空間上の任意の位置を指示する際の操作性を向上させたものがある。この入力装置では、まず基準点を設定する。指示位置が画面上に現れていない場合には、該基準点を中心にした移動と、該基準点と視点とを結ぶ直線に沿った移動とを組み合わせて行って、視点を移動させた後、移動後の視点から３次元空間を再表示する。指示位置が画面上に現れている場合には、画面上でカーソルを移動させる（例えば、特許文献１）。このような操作を可能にすることで、この入力装置では、いわゆる６軸方向の操作を行う必要がなくなる。
【０００４】
【特許文献１】
特開平５−４０５７１号公報
【０００５】
【発明が解決しようとする課題】
ところが、特許文献１に開示されている入力装置では、携帯型の情報機器に適用することは困難である。また携帯型の情報機器に適用する場合、バッテリ駆動による動作が可能で、小型化が可能な構成であることが必要となる。さらに、上述した機能を有する入力装置は、高度な情報処理を行う３次元ＣＡＤ装置や仮想実体験装置等のみならず、より少ない処理負荷で携帯電話やＰＤＡに適用できることが望ましい。
【０００６】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、処理負荷を増大させることなく、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【０００７】
本発明の他の目的は、超小型かつ超軽量で、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の特徴点を抽出する特徴点抽出部と、基準位置と、前記特徴点の位置との差分を求める差分算出部と、前記差分に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【０００９】
本発明においては、移動する被検出物の画像の特徴点を抽出し、基準位置からの差分に対応した制御情報を出力するようにしたので、該特徴点を用いた比較処理を行えばよい。そのため、被検出物の画像の移動により制御情報を出力させる入力装置の処理負荷を軽減することができる。
【００１０】
また本発明に係る入力装置では、前記基準位置は、少なくとも１フレーム以上前の前記被検出物の画像から抽出された特徴点の位置であってもよい。
【００１１】
本発明によれば、１フレーム以上前のフレームの該被検出物の画像を用いるようにしたので、フレーム周期で画像を取り込み、フレーム単位で制御情報の出力を行わせることができる。これにより、より高精度な制御情報を生成することができる。
【００１２】
また本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の面積を求める面積算出部と、少なくとも１フレーム以上前の前記被検出物の画像の面積と、前記面積算出部により求められた面積との差分を求める差動算出部と、前記差分に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【００１３】
本発明によれば、取り込んだ被検出物の画像の面積について、フレーム間の差分を求め、該差分に対応した制御情報を出力するようにしたので、取り込んだ画像の位置の移動に限定されない新たな軸方向の制御指示を行うことができるようになる。これにより、これまで以上に操作性を向上させることが可能となる。
【００１４】
また本発明に係る入力装置では、前記画像取込部が検出面を有し、該検出面に接する被検出物の画像を取り込み、前記制御情報出力部は、前記検出面に垂直な軸方向の前記被検出物の移動量に対応した制御情報を出力することができる。
【００１５】
本発明によれば、検出面に接する被検出物の画像の面積の変化により、該検出面と垂直な軸（Ｚ軸）方向の被検出物の移動量を特定することができるので、検出面上の互いに垂直な第１及び第２の軸方向の移動のみならず、これと垂直な軸方向への移動に対応した制御情報（Δｚ）を生成することができる。これにより、これまで以上に操作性を向上させることが可能となる。
【００１６】
また本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、検出面を有し、該検出面に接する被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の重心位置を求める重心位置算出部と、前記画像の特徴点を抽出する特徴点抽出部と、少なくとも１フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第１の差分（ΔＸ１、ΔＹ１）を求める重心位置移動検出部と、少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第２の差分（ΔＸ２、ΔＹ２）を求める特徴点位置移動検出部と、前記第１及び第２の差分に基づいて、前記検出面上の互いに直交する第１又は第２の軸（Ｘ軸又はＹ軸）回りの回転角度を検出する回転角度検出部とを含み、前記回転角度検出部は、前記第１の差分の前記第１の軸方向成分（ΔＸ１）から前記第２の差分の前記第１の軸方向成分（ΔＸ２）を差し引いて前記第２の軸（Ｙ軸）回りの回転角度（γ）を求めると共に、前記第１の差分の前記第２の軸方向成分（ΔＹ１）から前記第２の差分の前記第２の軸方向成分（ΔＹ２）を差し引いて前記第１の軸（Ｘ軸）回りの回転角度（α）を求め、前記第１又は第２の軸回りの回転角度に対応した制御情報を出力する入力装置に関係する。
【００１７】
本発明においては、第１の軸回りの回転角度を、第１の差分の第２の軸方向成分（ΔＹ１）から第２の差分の第２の軸方向成分（ΔＹ２）を差し引いて求め、第２の軸回りの回転角度を、第１の差分の第２の軸方向成分（ΔＹ１）から第２の差分の第２の軸方向成分（ΔＹ２）を差し引いて求めるようにしている。これにより、２次元的な被検出物の画像から、被検出物の３次元的な移動（回転）に関する第１及び第２の軸回りの制御情報（α、γ）を、処理負荷をかけることなく生成することができる。したがって、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【００１８】
また本発明に係る入力装置では、前記回転角度検出部は、少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置が、基準点を中心に前記特徴点抽出部により抽出された特徴点の位置に回転した角度を、前記検出面と垂直な第３の軸回りの回転角度として求め、前記第３の軸回りの回転角度に対応した制御情報を出力することができる。
【００１９】
本発明によれば、被検出物の画像の特徴点について、基準点を中心とした回転角度を求めることができるので、より少ない処理負荷で、検出面と垂直な第３の軸回りの回転角度に対応した制御情報（β）を生成することができ、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【００２０】
また本発明に係る入力装置では、前記第２の差分の前記第１の軸方向成分（ΔＸ２）から前記第２の軸（Ｙ軸）回りの回転角度（γ）に所与の第１の係数（ａ）で重み付けされた値を差し引いて、前記第１の軸（Ｘ軸）方向の移動に対応した制御情報（Δｘ）を出力し、前記第２の差分の前記第２の軸方向成分（ΔＹ２）から前記第１の軸（Ｘ軸）回りの回転角度（α）に所与の第２の係数（ｂ）で重み付けされた値を差し引いて、前記第２の軸（Ｙ軸）方向の移動に対応した制御情報（Δｙ）を出力することができる。
【００２１】
また本発明に係る入力装置では、前記第１の差分の前記第１の軸方向成分（ΔＸＧ又はΔＸＭ）から前記第２の軸（Ｙ軸）回りの回転角度（γ）に所与の第１の係数（ａ）で重み付けされた値を差し引いて、前記第１の軸（Ｘ軸）方向の移動に対応した制御情報（Δｘ）を出力し、前記第１の差分の前記第２の軸方向成分（ΔＹＧ又はΔＹＭ）から前記第１の軸（Ｘ軸）回りの回転角度（α）に所与の第２の係数（ｂ）で重み付けされた値を差し引いて、前記第２の軸（Ｙ軸）方向の移動に対応した制御情報（Δｙ）を出力することができる。
【００２２】
本発明によれば、被検出物の画像の特徴点又は重心位置の移動に対し、各軸方向の回転角度を加味して被検出物の第１及び第２の軸方向の移動を検出するようにしたので、被検出物の移動の仕方（ユーザが被検出物を移動させる癖等）に応じて、最適な第１及び第２の軸方向の移動を検出することができる。これにより、第１又は第２の軸回りの制御情報を出力させる場合に、高精度に第１又は第２の軸方向の制御情報を出力させることができ、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【００２３】
また本発明に係る入力装置では、前記被検出物は、指紋であってもよい。
【００２４】
本発明によれば、超小型又は超軽量な指紋センサを用いることができるので、携帯型の情報装置に対し、これまで以上に操作性を向上させる入力装置を搭載することを可能にする。
【００２５】
また本発明は、上記いずれか記載の入力装置と、前記入力装置からの制御情報に基づいて制御処理を行う処理部とを含む情報装置に関係する。
【００２６】
本発明によれば、処理負荷を増大させることなく、これまで以上に操作性を向上させることが可能な情報装置を提供することができる。
【００２７】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、被検出物の画像の特徴点を抽出し、基準位置と、前記特徴点の位置との差分を求め、前記差分に対応した制御情報を出力する制御情報生成方法に関係する。
【００２８】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、検出面に接する被検出物の画像の面積を求め、該面積と、少なくとも１フレーム以上前の前記被検出物の画像の面積との差分を求め、前記検出面と垂直な方向の前記被検出物の移動に応じて、前記差分に対応した制御情報を出力する制御情報生成方法に関係する。
【００２９】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、検出面に接する被検出物の画像の重心位置を求めると共に前記画像の特徴点を抽出し、該重心位置と少なくとも１フレーム以上前の前記被検出物の画像の重心位置との差分を求めると共に、該特徴点の位置と少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置との差分を求め、前記重心位置の差分と前記特徴点の差分とに基づいて、前記検出面上で互いに直交する第１又は第２の軸回りの回転角度を検出し、前記回転角度に対応した制御情報を出力する制御情報生成方法に関係する。
【００３０】
また本発明に係る制御情報生成方法では、少なくとも１つ前の前記被検出物の画像の特徴点の位置が、基準点を中心に、抽出された特徴点の位置に回転した角度により、前記検出面の前記第１及び第２の軸と直交する第３の軸回りの回転角度を求めることができる。
【００３１】
また本発明に係る制御情報生成方法では、前記特徴点の差分と、前記第１又第２の軸回りの回転角度とを用いて、前記第１又は第２の軸方向の移動に対応した制御情報を出力することができる。
【００３２】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【００３３】
１． 入力装置
図１に、本実施形態における入力装置の構成の概要を示す。本実施形態における入力装置１０は、取り込んだ画像の変化に基づいて６軸方向の制御情報（操作情報）を出力することができるようになっている。そのため、入力装置１０は、画像取込部２０、画像解析部３０、差分算出部４０、制御情報出力部５０を含む。
【００３４】
画像取込部２０は、ユーザが移動させる２次元又は３次元の被検出物を、検出面（センサ面）を介して２次元の情報である画像として取り込み、１フレームごとに画像情報を生成する。
【００３５】
画像解析部３０は、画像取込部２０で取り込まれた画像を解析し、その解析結果を差分算出部４０に対して出力する。より具体的には、画像解析部３０は、特徴点抽出部３２、重心位置算出部３４、面積算出部３６を含む。
【００３６】
特徴点抽出部３２は、画像取込部２０で取り込まれた画像の特徴点を抽出する。ここで特徴点とは、移動前後の２つの画像を比較して、その移動距離や移動方向、又は回転角度を特定するために参照可能な当該画像特有の形態を有する位置（領域）をいう。
【００３７】
重心位置算出部３４は、画像取込部２０で取り込まれた画像の重心位置又はこれと等価的な位置を求める。より具体的には、被検出物の画像の面積的な中心位置又はこれと等価的な位置を求める。
【００３８】
面積算出部３６は、画像取込部２０で取り込まれた画像の面積又はこれと等価的な値を求める。より具体的には、被検出物の画像の面積又はこれと等価的な値を求める。
【００３９】
差分算出部４０は、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の画像（画像の所与の基準位置）を参照して、画像解析部３０からの解析結果と比較を行い、その差分を制御情報出力部５０に対して出力する。より具体的には、差分算出部４０は、特徴点移動検出部４２、重心位置移動検出部４４、面積変化検出部４６を含む。
【００４０】
特徴点移動検出部４２は、特徴点抽出部３２で抽出された当該フレームの被検出物の画像の特徴点と、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の被検出物の画像の特徴点とを比較し、その位置の変化を差分（第２の差分）として検出する。差分が求められると、当該フレームの被検出物の画像の特徴点はメモリ４８に格納され、次のフレームの被検出物の画像の特徴点の位置の変化の検出に用いられる。
【００４１】
重心位置移動検出部４４は、重心位置算出部３４で求められた当該フレームの被検出物の画像の重心位置と、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の被検出物の画像の重心位置とを比較し、その位置の変化を差分（第１の差分）として検出する。差分が求められると、当該フレームの被検出物の画像の重心位置はメモリ４８に格納され、次のフレームの被検出物の画像の重心位置の変化の検出に用いられる。
【００４２】
面積変化検出部４６は、面積算出部３６で求められた当該フレームの被検出物の画像の面積と、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の被検出物の画像の面積とを比較し、その変化を差分として検出する。差分が求められると、当該フレームの被検出物の画像の面積はメモリ４８に格納され、次のフレームの被検出物の画像の面積の変化の検出に用いられる。
【００４３】
制御情報出力部５０は、差分算出部４０で少なくとも１フレーム以上前の下記の被検出物の画像との差分に対応した制御情報を出力する。この制御情報は、上述したように６軸方向の制御情報である。
【００４４】
図２に、６軸方向の制御情報の説明図を示す。６軸方向の制御情報とは、画像取込部２０の検出面（センサ面）２２上（又は検出面と平行な平面上）の互いに直交するＸ軸及びＹ軸（第１及び第２の軸）方向の変化Δｘ、Δｙ、該検出面に垂直な方向のＺ軸（第３の軸）方向の変化Δｚ、Ｘ軸方向の軸回りの回転角度α、Ｙ軸方向の軸回りの回転角度γ、Ｚ軸方向の軸回りの回転角度βの６軸方向について指示される情報である。Ｘ軸方向の変化Δｘ、Ｙ軸方向の変化Δｙ、Ｚ軸方向の変化Δｚ、Ｘ軸方向の軸回りの回転角度α、Ｚ軸方向の軸回りの回転角度β、Ｙ軸方向の軸回りの回転角度γには、それぞれ図２に示すように（＋）方向及び（−）方向が規定される。
【００４５】
本実施形態では、検出面上で規定されるＸ軸、Ｙ軸及びＺ軸の各軸方向の移動の他に各軸回りの回転角度をより少ない処理負荷で求めるために、上述した被検出物の画像の重心位置の移動と、該被検出物の画像の特徴点の移動とを用いる。そのため制御情報出力部５０は、Ｘ軸移動検出部５２、Ｙ軸移動検出部５４、Ｘ軸回り回転検出部５６、Ｙ軸回り回転検出部５８、Ｚ軸回り回転検出部６０、Ｚ軸移動検出部６２を含み、これら各部の出力に対応した制御情報を出力する。
【００４６】
Ｘ軸移動検出部５２は、被検出物の検出面のＸ軸方向の移動を検出する。その際、Ｘ軸移動検出部５２は、Ｙ軸方向の軸回りの被検出物の回転を考慮し、被検出物を検出面上で滑らせて回転させた場合にも被検出物の検出面のＸ軸方向の移動量Δｘを検出する。より具体的には、Ｘ軸移動検出部５２は、被検出物の画像の特徴点のＸ軸方向の移動量をΔＸ２（第２の差分の第１の軸方向成分）、Ｙ軸方向の軸回りの回転角度をγ（第２の軸回りの回転角度）とすると、（１）式のように表すことができる被検出物の検出面のＸ軸方向の移動量Δｘを求める。
【００４７】
Δｘ＝ΔＸ２−ａ・γ （ただし、０≦ａ≦１）・・・（１）
ここで、係数ａ（所与の第１の係数）はＹ軸方向の軸回りの回転角度γの重み付け係数である。重み付け係数ａが０のとき、Ｙ軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のΔｘ出力に適する。また検出面を滑らせずに回転させる場合に、回転角度γを出力し、Δｘを「０」にする場合に適する。また重み付け係数ａが１のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数ａは、ユーザのＸ軸方向の操作の癖を加味する等により決定されることが望ましい。
【００４８】
Ｙ軸移動検出部５４も同様に、被検出物の検出面のＹ軸方向の移動を検出する。その際、Ｙ軸移動検出部５４は、Ｘ軸方向の軸回りの被検出物の回転を考慮し、被検出物を検出面上で滑らせて回転させた場合にも被検出物の検出面のＹ軸方向の移動を検出する。より具体的には、Ｙ軸移動検出部５４は、被検出物の画像の特徴点のＹ軸方向の移動量をΔＹ２（第２の差分の第２の軸方向成分）、Ｘ軸方向の軸回りの回転角度をα（第１の軸回りの回転角度）とすると、（２）式のように表すことができる被検出物の検出面のＹ軸方向の移動量Δｙを求める。
【００４９】
Δｙ＝ΔＹ２−ｂ・α （ただし、０≦ｂ≦１）・・・（２）
ここで、係数ｂ（所与の第２の係数）はＸ軸方向の軸回りの回転角度αの重み付け係数である。重み付け係数ｂが０のとき、Ｘ軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のΔｙ出力に適する。また検出面を滑らせずに回転さえる場合に回転角度αを出力し、Δｙを「０」にする場合に適する。また重み付け係数ｂが１のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数ｂは、ユーザのＹ軸方向の操作の癖を加味する等により決定されることが望ましい。
【００５０】
Ｘ軸回り回転検出部５６は、Ｘ軸方向の軸回りの回転角度αを検出する。より具体的には、回転半径が十分に大きいか、或いは回転角度が十分に小さいことを条件に、被検出物の画像の重心位置のＹ軸方向の移動量をΔＹ１（第１の差分の第２の軸方向成分）とすると、（３）式のように表すことができるＸ軸方向の軸回りの回転角度αを求める。
【００５１】
α≒−（ΔＹ１−ΔＹ２） ・・・（３）
ここで、負の符号が付されるのは、図２で規定した回転角度の正負の方向に依存している。したがって、図２の回転角度αの正負の方向を逆にすれば、（３）式の符号は正となる。
【００５２】
なお（２）式及び（３）式より、Ｘ軸回り回転出部５６は、被検出物の画像の特徴点のＹ軸方向の移動量ΔＹ２（特徴点移動検出部４２により求めら得た差分）と、被検出物の画像の重心位置のＹ軸方向の移動量をΔＹ１（重心位置移動検出部４４により求められた差分）とに基づいて、Ｘ軸方向の軸回りの回転角度αを求めることができる。
【００５３】
Ｙ軸回り回転検出部５８は、Ｙ軸方向の軸回りの回転角度γを検出する。より具体的には、回転半径が十分に大きいか、或いは回転角度が十分に小さいことを条件に、被検出物の画像の重心位置のＸ軸方向の移動量をΔＸ１（第１の差分の第１の軸方成分）とすると、（４）式のように表すことができるＹ軸方向の軸回りの回転角度γを求める。
【００５４】
γ≒ΔＸ１−ΔＸ２ ・・・（４）
Ｚ軸回り回転検出部６０は、Ｚ軸方向の軸回りの回転角度βを検出する。より具体的には、移動前後の被検出物の画像の特徴点同士を所与の基準点を中心に回転すると対応付けられる場合に、該基準点を中心に観点した角度を回転角度βとして求める。
【００５５】
なお（１）式及び（４）式より、Ｙ軸回り回転検出部５８は、被検出物の画像の特徴点のＸ軸方向の移動量ΔＸ２（特徴点移動検出部４２により求められた差分）と、被検出物の画像の重心位置のＸ軸方向の移動量をΔＸ１（重心位置移動検出部４４により求められた差分）とに基づいて、Ｙ軸方向の軸回りの回転角度γを求めることができる。
【００５６】
Ｚ軸移動検出部６２は、被検出物の検出面に垂直な方向の移動を検出する。より具体的には、検出面への圧力に応じて、取り込まれる被検出物の画像が変化することに着目してＺ軸方向の移動量Δｚを求める。移動前の被検出物の画像の面積をＳ１、移動後の被検出物の画像の面積をＳ２とすると、（５）式のように表すことができるＺ軸方向の移動量Δｚを求める。
【００５７】
Δｚ＝ｃ・（Ｓ１−Ｓ２） ・・・（５）
ここで、係数ｃは、被検出物の画像の面積の変化を、Ｚ軸方向の移動量に対応付けるための係数である。係数ｃは、ユーザのＺ軸方向の操作の癖を加味する等により決定されることが望ましい。
【００５８】
以下では、このような入力装置について具体的に説明する。なお以下に述べる入力装置は、指紋センサを用いるが、本発明はこれに限定されるものではない。
【００５９】
図３に、指紋センサを用いた入力装置の外観構成の概要を示す。ここでは、本実施形態における入力装置が、ＩＣカード（広義には、情報装置）６４に実装される場合を示している。ＩＣカード６４は、内部にＣＰＵやメモリ素子を有する。これにより、ＩＣカード６４では、機密保持性を向上させると共に、情報処理による高度な情報をより多くの記憶させることが可能となる。そして、本実施形態における入力装置を用いることで、超小型かつ超軽量な構成で、ユーザの多様な操作を反映させた情報処理を行うことができる。
【００６０】
図３において、入力装置としての指紋センサの検出面２２に、指紋パターンが形成されたユーザの指（広義には、被検出物）６６を接触させることにより、指紋画像が取り込まれる。そして、検出面２２上に規定される３次元空間において検出されたユーザによる指６６の６軸方向の移動により、対応する制御情報が出力される。ＩＣカード６４では、該制御情報に基づく処理が行われる。例えばＩＣカード６４に液晶パネルが設けられている場合には、液晶パネルに表示されるポインタの移動や表示画像のスクロール等の表示制御が行われる。なお入力装置が３次元ＣＡＤ装置に適用される場合には、操作対象の物体の回転或いは視点の移動の制御が行われることになる。
【００６１】
図４に、入力装置のハードウェア構成例を示す。入力装置６８では、バス７０に、ＣＰＵ７２、ＲＯＭ７４、ＲＡＭ７６、指紋センサインタフェース（InterFace：Ｉ／Ｆ）回路７８が接続される。指紋センサＩ／Ｆ回路７８には、指紋センサ８０が接続される。またバス７０にＵＳＢＩ／Ｆ回路８２が接続される。ＵＳＢＩ／Ｆ回路８２は、外部でパソコン８４等のＵＳＢ規格上のホスト装置若しくはペリフェラル装置に接続される。
【００６２】
ここで主に指紋センサ８０及び指紋センサＩ／Ｆ回路７８により、図１に示す画像取込部２０の機能が実現される。指紋センサ８０により取り込まれた指紋画像は、指紋センサＩ／Ｆ回路７８を介してＲＡＭ７６に蓄積される。ＣＰＵ７２と、ＲＯＭ７４若しくはＲＡＭ７６に格納されたソフトウェアプログラムとにより、図１に示す画像解析部３０、差分算出部４０及び制御情報出力部５０の機能が実現される。ＲＡＭ７６により、図１に示すメモリ４８の機能が実現される。
【００６３】
１．２ 指紋センサ
図５に、指紋センサ８０の一例を示す。図５において、Ｍ本（Ｍは２以上の整数）の電源線２００と、Ｎ本（Ｎは２以上の整数）の出力線２０２とを有する。Ｍ本の電源線２００とＮ本の出力線２０２の各交点には静電容量検出素子２０４が設けられている。図５に示す静電容量検出素子２０４は、指が接触したときの閉回路として図示されており、指の凹凸パターンに依存して変化する可変容量ＣＦと、信号増幅素子例えば信号増幅ＭＩＳ型薄膜半導体装置（以下信号増幅用ＴＦＴと略記する）２０６とを有する。静電容量検出素子２０４に指が接触していないときには、可変容量ＣＦの接地端側はオープン状態である。なお、可変容量ＣＦについては後述する。
【００６４】
Ｍ本の電源線２００の各々は、対応する行に沿って配列されたＮ個の信号増幅用ＴＦＴ２０６のドレインＤに接続されている。また、Ｍ本の電源線２００の各々は、Ｍ個の電源用パスゲート２１０の各々を介して共通電源線２１２に接続されている。すなわち、電源用パスゲート２１０はＭＩＳ型薄膜半導体装置にて形成され、そのソースＳは電源線２００に接続され、そのドレインＤは共通電源線２１２に接続されている。電源選択回路２２０内には、上述のＭ個の電源用パスゲート２１０及び共通電源線２１２に加えて、電源用シフトレジスタ２２２が設けられている。電源用シフトレジスタ２２２の電源選択用出力線２２４に、Ｍ個の電源用パスゲート２１０の各ゲートＧが接続されている。
【００６５】
Ｎ本の出力線２０２各々は、対応する列に沿って配列されたＭ個の信号増幅用ＴＦＴ２０６のソースＳに接続されている。また、Ｎ本の出力線２０２の各々は、Ｎ個の出力信号用パスゲート２３０の各々を介して共通出力線２３２に接続されている。すなわち、出力信号用パスゲート２３０はＭＩＳ型薄膜半導体装置にて形成され、そのドレインＤは出力線２０２に接続され、そのソースＳは共通出力線２３２に接続されている。出力信号選択回路２４０内には、上述のＮ個の出力信号用パスゲート２３０及び共通出力線２３２に加えて、出力信号用シフトレジスタ２４２が設けられている。出力信号用シフトレジスタ２４２の出力選択用出力線２４４に、出力信号用パスゲート２３０のゲートＧが接続されている。
【００６６】
図６は、図５に示す静電容量検出素子２０４の断面図であり、指が接触されていない状態が図示されている。この静電容量検出素子２０４は、上述の信号増幅素子である信号増幅用ＴＦＴ２０６に加えて、信号検出素子２０８を有する。
【００６７】
図６において、絶縁層２５０上には、ソース領域２５２Ａ、ドレイン領域２５２Ｂ及びその間のチャネル領域２５２Ｃを有する半導体膜２５２が形成されている。半導体膜２５２上にはゲート絶縁膜２５４が形成され、このゲート絶縁膜２５４を挟んでチャネル領域２５２Ｃと対向する領域にゲート電極２５６が形成されている。この半導体膜２５２、ゲート絶縁膜２５４及びゲート電極２５６で、信号増幅用ＴＦＴ２０６が構成される。なお、電源用パスゲート２１０及び出力信号用パスゲート２３０も、信号増幅用ＴＦＴ２０６と同様にして形成される。
【００６８】
この信号用ＴＦＴ２０６は第一層間絶縁膜２６０により被われている。第一層間絶縁膜２６０上には、図５に示す出力線２０２に相当する第一配線層２６２が形成されている。この第一配線層２６２は信号用ＴＦＴ２０６のソース領域２５２Ａに接続されている。
【００６９】
第一配線層２６２は第二層間絶縁膜２６４により被われている。この第二層間絶縁膜２６４上には、図５に示す電源線２００に相当する第二配線層２６６が形成されている。この第二配線層２６６は、信号増幅用ＴＦＴ２０６のドレイン領域２５２Ｂに接続されている。なお、図６とは異なる構造として、第二配線層２６６を第一層間絶縁膜２６０上に形成し、第一配線層２６２を第二層間絶縁膜２６４上に形成してもよい。
【００７０】
第二層間絶縁膜２６４上にはさらに、容量検出電極２７０が形成され、それを被って容量検出誘電体膜２７２が形成されている。容量検出誘電体膜２７２は、指紋センサ８０の最表面に位置して保護膜としても機能し、この容量検出誘電体膜２７２に指が接触される。この容量検出電極２７０及び容量検出誘電体膜２７２により、信号検出素子２０８が構成される。
【００７１】
１．２．１ 指紋検出動作
指紋検出は、図６に示す容量検出誘電体膜２７２に指を接触させることで実施される。このとき、指紋センサ８０の起動スイッチ（例えば感圧スイッチ）４２が作動し、入力装置６８内の電源が作動して、自動的に、指紋センサ８０に電源が供給される。或いは、入力装置６８をパソコン８４にセットし、パソコン８４の給電部より電源が供給されても良い。
【００７２】
本実施形態では、図５に示すＭ本のうち選択された１本の電源線２００に電源電圧を供給し、かつ、そのときの信号を、Ｎ本のうち選択された１本の出力線２０２から検出することで、Ｍ×Ｎ個の静電容量検出素子２０４から順次信号を取り出している。
【００７３】
指紋検出動作は大別して、（１）指紋パターンの山（凸部）が容量検出誘電体膜２７２に接触する場合と、（２）指紋パターンの谷（凹部）が容量検出誘電体膜２７２に対向する場合とがある。
【００７４】
（１）指紋パターンの山（凸部）が容量検出誘電体膜２７２に接触する場合
図７に、この場合の静電容量検出素子２０４の等価回路を示す。符号３００は人体の指紋の山に相当し、図６の容量検出電極２７０と誘電体膜２７２を挟んで対向する接地電極３００が形成されている。ここで、電源電圧Ｖｄｄは共通電源線２１２より供給される。符号ＣＴは、信号増幅用ＴＦＴ２０６のトランジスタ容量であり、符号ＣＤは検出電極２７０と接地電極（指）３００との間の容量である。
【００７５】
ここで、信号増幅用ＴＦＴ２０６のゲート電極長をＬ（μｍ）、ゲート電極幅をＷ（μｍ）、ゲート絶縁膜の厚みをｔｏｘ（μｍ）、ゲート絶縁膜の比誘電率をεｏｘ、真空の誘電率をεｏとする。このとき、トランジスタ容量ＣＴは、（６）式のようになる。
【００７６】
ＣＴ＝εｏ・εｏｘ・Ｌ・Ｗ／ｔｏｘ ・・・（６）
また、容量検出電極２７０の面積Ｓ（μｍ２）、容量検出誘電体膜２７２の厚みをｔｄ（μｍ）、容量検出誘電体膜の比誘電率をεｄとする。このとき、容量ＣＤは、（７）式のようになる。
【００７７】
ＣＤ＝εｏ・εｄ・Ｓ／ｔｄ ・・・（７）
図７の等価回路において、信号増幅用ＴＦＴ２０６のゲートに印加される電圧ＶＧＴは、次式のようになる。
【００７８】
ＶＧＴ＝Ｖｄｄ／（１＋ＣＤ／ＣＴ） ・・・（８）
容量ＣＤをトランジスタ容量ＣＴよりも充分に大きく設定しておけば（例えばＣＤ＞１０×ＣＴ）、（８）式の分母は無限大となり、次式にように近似される。
【００７９】
ＶＧＴ≒０ ・・・（９）
この結果、信号増幅用ＴＦＴ２０６は、そのゲートにほとんど電圧がかからないためオフ状態となる。よって、信号増幅用ＴＦＴ２０６のソース−ドレイン間に流れる電流Ｉは極めて小さくなる。この電流Ｉを測定することで、測定箇所が指紋パターンの山（凸部）であることが判定できる。
【００８０】
（２）指紋パターンの谷（凹部）が容量検出誘電体膜２７２に対向する場合
図８に、この場合の静電容量検出素子２０４の等価回路を示す。符号３０２が人体の指紋の谷に相当する。この場合は、図７に示す容量ＣＤに加えて、誘電体膜２７２と指紋の谷との間に、空気を誘電体とする新たな容量ＣＡが形成される。
【００８１】
図８の等価回路において、信号増幅用ＴＦＴ２０６のゲートに印加される電圧ＶＧＶは、次式のようになる。
ＶＧＶ＝Ｖｄｄ／｛［１＋（１／ＣＴ）］×１／［（１／ＣＤ）＋（１／ＣＡ）］｝ ・・・（１０）
容量ＣＤをトランジスタ容量ＣＴよりも充分に大きく設定しておけば（例えばＣＤ＞１０×ＣＴ）、（１０）式は次式のように近似される。
【００８２】
ＶＧＶ≒Ｖｄｄ／［１＋（ＣＡ／ＣＴ）］ ・・・（１１）
さらに、トランジスタ容量ＣＴを、指紋の谷により形成される容量ＣＡよりも充分に大きくしておけば（例えばＣＴ＞１０×ＣＡ）、（１１）式は次式のように近似される。
【００８３】
ＶＧＶ≒Ｖｄｄ ・・・（１２）
この結果、信号増幅用ＴＦＴ２０６は、そのゲートに電源電圧Ｖｄｄがかかるためオン状態となる。よって、信号増幅用ＴＦＴ２０６のソース−ドレイン間に流れる電流Ｉは極めて大きくなる。この電流Ｉを測定することで、測定箇所が指紋パターンの谷（凹部）であることが判定できる。
【００８４】
このように、図５に示す可変容量ＣＦは、指紋の山が容量検出誘電体膜２７２に接触した時は容量ＣＤとなり、指紋の谷が容量検出誘電体膜２７２に対向としたときは容量ＣＤと容量ＣＡとの和となり、指紋の凹凸に従って容量が変化する。この指紋の凹凸に従った容量変化に基づく電流を検出することで、指紋の山または谷を検出できる。
【００８５】
以上の動作を、Ｍ×Ｎ個の静電容量検出素子２０４にて時分割で実施することで、指紋パターンを検出することが可能となる。より具体的には、第１行の各列に位置する静電容量検出素子を順に指紋の凹凸を検出した後、第２行の指紋の凹凸を検出するといったように、ピクセルごとに指紋の凹凸を検出していく。その結果、例えば図９（Ａ）、（Ｂ）に示すような指紋画像を得ることができる。本実施形態では、この指紋センサ８０を用いて周期的に指紋画像を取り込む。
【００８６】
なお、電源電圧Ｖｄｄに正電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型Ｎ型トランジスタにて、信号増幅用ＴＦＴ２０６を形成すればよい。ＣＤ＞１０×ＣＴを満たす場合には、信号増幅用ＴＦＴ２０６の伝達特性におけるドレイン電流が最小値となるゲート電圧（最小ゲート電圧）をＶｍｉｎとしたとき、０＜Ｖｍｉｎ＜０．１×Ｖｄｄを満たせばよい。
【００８７】
電源電圧Ｖｄｄに負電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型Ｐ型トランジスタにて、信号増幅用ＴＦＴ２０６を形成すればよい。ＣＤ＞１０×ＣＴを満たす場合には、信号増幅用ＴＦＴ２０６の伝達特性におけるドレイン電流が最小値となるゲート電圧（最小ゲート電圧）をＶｍｉｎとしたとき、０．１×Ｖｄｄ＜Ｖｍｉｎ＜０を満たせばよい。
【００８８】
本実施形態では、このようにして取り込まれた指紋画像を用いて制御情報を出力する。この際、取り込まれた指紋画像の特徴点を用いることで、処理負荷を軽減する。
【００８９】
図９（Ａ）、（Ｂ）に、指紋の特徴点の一例を示す。図９（Ａ）は、指紋の分岐点の一例を示す。図９（Ｂ）は、指紋の端点の一例を示す。指紋センサ８０で取り込まれた指紋画像について、例えば指紋の分岐点が抽出される。図９（Ａ）、（Ｂ）では、指紋画像は、指紋の凸部である稜線の形態を表している。ここで指紋の分岐点は、指紋の稜線が２以上の稜線に分岐する部分である。また指紋の端点は、指紋の稜線が終端する部分である。
【００９０】
指紋の形態が同一となることがないため、その分岐点又は端点の分布も個人によって異なる。したがって、指紋画像の分岐点又は端点を求めることができれば、求めた分岐点又は端点の分布のみを比較すればよいので、比較すべき情報量が少なくなり比較処理の負荷を軽減することができる。
【００９１】
１．３ 動作フロー
図１０に、本実施形態における入力装置の処理フローの一例を示す。図１０に示す処理を実行するためのプログラムが、ＲＯＭ７４又はＲＡＭ７６に格納される。ＣＰＵ７２は、このプログラムにしたがって処理を行う。
【００９２】
まずＣＰＵ７２により、入力装置としての処理に先立って各変数を初期化する（ステップＳ４００）。
【００９３】
次に、ユーザの指（被検出物）が指紋センサ８０の検出面に接触しているか否かを判別する（ステップＳ４０１）。接触していないと判別されたとき（ステップＳ４０１：Ｎ）、ステップＳ４００に戻る。
【００９４】
一方ステップＳ４０１で、接触していると判別されたとき（ステップＳ４０１：Ｙ）、上述したように指紋画像を取り込む（ステップＳ４０２）。取り込まれた１フレーム分の指紋画像は、ＲＡＭ７６に格納される。
【００９５】
そして、ＣＰＵ７２では、ＲＡＭ７６に格納された１フレーム分の指紋画像を読み出して、該指紋画像の重心位置を求める（ステップＳ４０３）。ここで重心位置は、取り込まれた指紋画像のうち指紋パターンが存在する領域の面積的な中心位置である。重心位置は、例えばＸ軸方向及びＹ軸方向について、それぞれ積分演算を行うことで得られる指紋画像の面積の中心位置として求められる。
【００９６】
例えば重心位置の座標を（ＸＧ，ＹＧ）とすると、次式のように求められる。
【００９７】
【数１】
【００９８】
【数２】
【００９９】
【数３】
【０１００】
ここで、Ｓを指紋画像の面積、Ｆ（ｉ）は出力線ｉ上の検出ドット数、Ｇ（ｊ）は電源線ｊ上の検出ドット数としている。
【０１０１】
続いて、前フレームの指紋画像の重心位置と比較される（ステップＳ４０４）。前フレームの指紋画像の重心位置との差分のＸ成分は重心位置のＸ軸方向の移動量をΔＸ１、Ｙ成分は重心位置のＹ軸方向の移動量をΔＹ１として出力される。前フレームの指紋画像の重心位置は、ＲＡＭ７６に蓄積されている。前フレームの指紋画像の重心位置は、ステップＳ４０４の比較処理後にステップＳ４０３で求められた当該フレームの指紋画像の重心位置により更新される。なおここでは比較対象を前フレームの指紋画像を用いたが、これに限定されるものではなく２フレーム以上過去の指紋画像（２フレーム以上前の被検出物の画像）を用いてもよい。
【０１０２】
次に、取り込まれた指紋画像の面積を求める（ステップＳ４０５）。指紋画像の面積は、上述の積分演算を行うことで求めることができる。また面積は、指紋画像の山又は谷の部分として検出されたドット数（ピクセル数）により等価的に求めることができる。
【０１０３】
求められた指紋画像の面積は、前フレームの指紋画像の面積と比較される（ステップＳ４０６）。上述の（５）式で示されるように、移動前後の指紋画像の面積の変化に対応して、ユーザの指のＺ軸方向の移動量Δｚを求める。前フレームの指紋画像の面積は、ＲＡＭ７６に蓄積されている。前フレームの指紋画像の面積は、ステップＳ４０６の比較処理後にステップＳ４０５で求められた当該フレームの指紋画像の面積により更新される。なおここでは比較対象を前フレームの指紋画像を用いたが、これに限定されるものではなく２フレーム以上過去の指紋画像（２フレーム以上前の被検出物の画像）を用いてもよい。
【０１０４】
図１１（Ａ）〜（Ｃ）に、Ｚ軸方向に指を移動させた場合の指紋画像の変化の一例を示す。指紋画像検出領域４５０内で、図１１（Ｂ）に示すフレームｆにおける指紋画像４５２が原点位置であるものとする。フレーム（ｆ＋１）で取り込まれた指紋画像が図１１（Ａ）に示す指紋画像４５４である場合、指紋センサ８０の検出面から持ち上げる方向（Ｚ軸の（−）方向）にユーザが指を移動させた場合に相当する。このとき、指が検出面を押す圧力が小さくなる方向に移動させるため、指が検出面に接触する面積が小さくなる。一方、フレーム（ｆ＋１）で取り込まれた指紋画像が図１１（Ｃ）に示す指紋画像４５６である場合、指紋センサ８０の検出面を押し付ける方向（Ｚ軸の（＋）方向）にユーザが指を移動させた場合に相当する。このとき、指が検出面を押す圧力が大きくなる方向に移動させるため、指が検出面に接触する面積が大きくなる。そこで、指紋画像の面積の増減分に、指のＺ軸方向の移動量Δｚを対応付けることで、Ｚ軸方向の指の移動方向及びその移動量を検出することが可能となる。
【０１０５】
ところで、図５に示す構成の指紋センサ８０を用いることで、取り込まれた指紋画像の面積を求めることができる。
【０１０６】
図１２に、指紋画像の面積の算出処理の負荷を軽減する手法についての図を示す。図５に示す指紋センサ８０により、指紋画像検出領域４５０内でＸ軸及びＹ軸方向で走査されて、指紋画像４５８が取り込まれたものとする。その際、Ｘ軸方向については、指紋の山又は谷の検出が開始される出力線Ｏ１と、指紋の山又は谷が検出されなくなる出力線Ｏ２とにより、指紋の山又は谷が検出される出力線の数Ｏｃを特定することができる。Ｙ軸方向については、同様に、指紋の山又は谷の検出が開始される電源線Ｄ１と、指紋の山又は谷が検出されなくなる電源線Ｄ２とにより、検出される電源線の数Ｄｃを特定することができる。したがって、出力線の数Ｏｃと電源線の数Ｄｃとにより、指紋画像４５８の面積と等価的な値Ｓｒを求めることができる。
【０１０７】
Ｏｃ＝Ｏ２−Ｏ１＋１ ・・・（１６）
Ｄｃ＝Ｄ２−Ｄ１＋１ ・・・（１７）
Ｓｒ＝Ｏｃ・Ｄｃ ・・・（１８）
このように、指紋センサ８０の電源線及び出力線を特定することにより、取り込まれた指紋画像の輪郭に外接する矩形を容易に求めることができるので、指紋画像の面積算出の処理負荷を軽減することができる。
【０１０８】
また、ステップＳ４０３において、出力線Ｏ１〜Ｏ２の中間位置と、電源線Ｄ１〜Ｄ２の中間位置とに基づいて、指紋画像４５８の重心位置を特定することができる。こうすることで、指紋画像４５８の重心位置の算出処理の負荷を大幅に軽減することができる。ここで、重心位置の座標を（ＸＭ，ＹＭ）とすると、次の式のように求めることができる。
【０１０９】
ＸＭ＝（Ｏ１＋Ｏ２）／２ ・・・（１９）
ＹＭ＝（Ｄ１＋Ｄ２）／２ ・・・（２０）
図１０に戻って処理フローの説明を続ける。ステップＳ４０６においてＺ軸方向の移動量Δｚが求められると、続いて指紋画像の特徴点を抽出する（ステップＳ４０７）。ここで特徴点とは、指紋の山（稜線部分）の端点や分岐点等をいう。そして、この特徴点の分布を求める。これにより、検出面上の指紋画像の移動を、特徴点（又は特徴点の分布）の移動により検出することができる。
【０１１０】
次に、ステップＳ４０７で求められた指紋画像の特徴点と、前フレームの指紋画像の特徴点とが比較される（ステップＳ４０８）。そして、両フレームの指紋画像の特徴点又はその分布とを照らし合わせ、類似性が最大となるようにＸ軸方向の移動量ΔＸ２、Ｙ軸方向の移動量ΔＹ２、Ｚ軸方向の軸回りの回転角度βを求める。
【０１１１】
図１３（Ａ）、（Ｂ）に、特徴点の照合処理の一例を模式的に示す。図１３（Ａ）、（Ｂ）において、フレームｆにおける指紋画像から抽出された特徴点Ｐｆ、Ｑｆ、Ｒｆが、フレーム（ｆ＋１）で取り込まれた指紋画像の特徴点Ｐｆ＋１、Ｑｆ＋１、Ｒｆ＋１の位置に移動したものとする。ＣＰＵ７２では、照合処理において、図１３（Ａ）に示すように、３以上の抽出された特徴点のうち少なくとも特徴点Ｐｆ、Ｑｆ、Ｒｆの３点が、それぞれ対応する特徴点Ｐｆ＋１、Ｑｆ＋１、Ｒｆ＋１に一致するようにＸ軸方向及びＹ軸方向の移動量ΔＸ２、ΔＹ２を求める。また、ＣＰＵ７２では、照合処理において、図１３（Ｂ）に示すように、３以上の抽出された特徴点のうち少なくとも特徴点Ｐｆ、Ｑｆ、Ｒｆの３点が、それぞれ対応する特徴点Ｐｆ＋１、Ｑｆ＋１、Ｒｆ＋１に一致するように、基準点ｅと、該基準点ｅを中心としたＺ軸方向の軸回りの回転角度βとを求める。
【０１１２】
図１４（Ａ）〜（Ｃ）に、Ｚ軸方向の軸回りに指を移動させた場合の指紋画像の変化の一例を示す。指紋画像検出領域４５０内で、図１４（Ｂ）に示すフレームｆにおける指紋画像４６０を基準に、図１４（Ａ）に示す指紋画像４６２は、Ｚ軸方向の軸回りの（−）方向に指を移動させた場合に相当する。図１４（Ｃ）に示す指紋画像４６４は、Ｚ軸方向の軸回りの（＋）方向に指を移動させた場合に相当する。
【０１１３】
したがって、例えば図１３（Ｂ）に示すような照合処理を行うことによって、図１４（Ａ）〜（Ｃ）に示す指紋画像の変化を、Ｚ軸方向の軸回りの回転角度βとして求めることができる。
【０１１４】
図１０に戻って説明を続ける。ステップＳ４０８で指紋画像の移動ベクトル（より具体的には指紋画像の特徴点のＸ軸方向及びＹ軸方向の移動方向及び移動量）が求められると、ＣＰＵ７２では、（４）式に従ってＸ軸方向の軸回りの回転角度α、（３）式に従ってＹ軸方向の軸回りの回転角度γがそれぞれ求められる。続いて、ＣＰＵ７２では、（１）式に従ってＸ軸方向の移動量Δｘ、（２）式に従ってＹ軸方向の移動量Δｙが求められる（ステップＳ４０９）。次に、終了するときは（ステップＳ４１０：Ｙ）、一連の処理を終了する（エンド）が、終了しないときは（ステップＳ４１０：Ｎ）、ステップＳ４０１に戻る。
【０１１５】
図１５（Ａ）〜（Ｃ）に、Ｙ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせながらＹ軸方向の軸回りに指を回転させている例を示している。したがって、図１５（Ａ）〜（Ｃ）では、指紋画像の重心位置はほとんど変化していない。
【０１１６】
指紋画像検出領域４５０内で、図１５（Ｂ）に示すフレームｆにおける指紋画像４７０を基準に、図１５（Ａ）に示す指紋画像４７２は、Ｙ軸方向の軸回りの（−）方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がＸ軸の（＋）方向に移動する。図１５（Ｃ）に示す指紋画像４７４は、Ｙ軸方向の軸回りの（＋）方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がＸ軸の（−）方向に移動する。この場合、上述の（４）式により、図１５（Ａ）〜（Ｃ）に示す指紋画像の特徴点の移動量に対応した回転角度γが求められる。
【０１１７】
図１６（Ａ）〜（Ｃ）に、Ｘ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせながらＸ軸方向の軸回りに指を回転させている例を示している。したがって、図１６（Ａ）〜（Ｃ）でも、指紋画像の重心位置はほとんど変化していない。
【０１１８】
指紋画像検出領域４５０内で、図１６（Ｂ）に示すフレームｆにおける指紋画像４８０を基準に、図１６（Ａ）に示す指紋画像４８２は、Ｘ軸方向の軸回りの（−）方向に指を回転させた場合に相当し、図１６（Ｃ）に示す指紋画像４８４は、Ｘ軸方向の軸回りの（＋）方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がＸ軸方向に移動する。この場合、上述の（３）式により、図１６（Ａ）〜（Ｃ）に示す指紋画像の特徴点の移動量に対応した回転角度αが求められる。
【０１１９】
図１７（Ａ）〜（Ｃ）に、Ｘ軸方向に指を移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせてＸ軸方向に指を移動させている例を示している。したがって、図１７（Ａ）〜（Ｃ）では、指紋画像の重心位置の移動ベクトルと、指紋画像の特徴点の移動ベクトルとはほぼ一致する。
【０１２０】
指紋画像検出領域４５０内で、図１７（Ｂ）に示すフレームｆにおける指紋画像４９０を基準に、図１７（Ａ）に示す指紋画像４９２は、Ｘ軸方向の（−）方向に指を移動させた場合に相当し、図１７（Ｃ）に示す指紋画像４９４は、Ｘ軸方向の（＋）方向に指を移動させた場合に相当する。この場合、Ｘ軸方向の移動量Δｘは、指紋画像の特徴点の移動量ΔＸ２とほぼ一致するが、実際には（１）式に示すようにＹ軸方向の軸回りの回転角度γを加味した値が求められることになる。
【０１２１】
図１８（Ａ）〜（Ｃ）に、Ｙ軸方向に指を移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせてにＹ軸方向に指を移動させている例を示している。したがって、図１８（Ａ）〜（Ｃ）では、指紋画像の重心位置の移動ベクトルと、指紋画像の特徴点の移動ベクトルとはほぼ一致する。
【０１２２】
指紋画像検出領域４５０内で、図１８（Ｂ）に示すフレームｆにおける指紋画像５００を基準に、図１８（Ａ）に示す指紋画像５０２は、Ｙ軸方向の（−）方向に指を移動させた場合に相当し、図１８（Ｃ）に示す指紋画像５０４は、Ｙ軸方向の（＋）方向に指を移動させた場合に相当する。この場合、Ｙ軸方向の移動量Δｙは、指紋画像の特徴点の移動量ΔＹ２とほぼ一致するが、実際には（２）式に示すようにＸ軸方向の軸回りの回転角度αを加味した値が求められることになる。
【０１２３】
以上説明したように、本実施形態における入力装置によれば、例えば指紋等の被検出物の取り込み画像を用いて、６軸方向の制御情報を生成することができる。これにより、６軸方向の制御指示（例えば移動指示）が可能な入力装置を提供することができる。特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、６軸方向の制御指示が可能な入力装置を提供することができる。
【０１２４】
（変形例）
なお上述の実施形態では、指紋画像の特徴点の移動（ΔＸ２、ΔＹ２）を用いて被検出物の検出面の移動量Δｘ、Δｙを検出していたが、これに限定されるものではない。
【０１２５】
例えば、指紋画像の重心位置として（１３）〜（１５）式を用いて求められた重心位置のＸ座標（ＸＧ）及びＹ座標（ＹＧ）を用いて、少なくとも１フレーム以上前の被検出物の画像の重心位置との差分（ΔＸＧ、ΔＹＧ）を求めてもよい。この場合、被検出物の検出面のＸ軸及びＹ軸方向の移動量Δｘ、Δｙは、（１）、（２）式に代えて次式で表すことができる。
【０１２６】
Δｘ＝ΔＸＧ−ａ・γ ・・・（２１）
Δｙ＝ΔＹＧ−ｂ・α ・・・（２２）
また例えば指紋画像の重心位置として、（１９）、（２０）式を用いて求められた重心位置のＸ座標（ＸＧ）及びＹ座標（ＹＧ）を用いて、少なくとも１フレーム以上前の被検出物の画像の重心位置との差分（ΔＸＧ、ΔＹＧ）を求めてもよい。この場合、被検出物の検出面のＸ軸及びＹ軸方向の移動量Δｘ、Δｙは、（１）、（２）式に代えて次式で表すことができる。
【０１２７】
Δｘ＝ΔＸＭ−ａ・γ ・・・（２３）
Δｙ＝ΔＹＭ−ｂ・α ・・・（２４）
いずれの場合にも、本実施形態と同様に６軸方向の制御情報を生成することができる。そして、特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、６軸方向の制御指示が可能な入力装置を提供することができる。
【０１２８】
２． 情報装置
図１９に、本実施形態における入力装置が適用されるＩＣカードの構成ブロック図の一例を示す。ＩＣカード６００は、上述した指紋センサを用いた入力装置６１０と、画像生成部（広義には所定の制御対象の制御処理を行う処理部）６２０と、表示部６３０とを含む。入力装置６１０は、図１又は図４で説明した入力装置である。画像生成部６２０は、ＣＰＵ、及びＲＯＭ又はＲＡＭに格納されたソフトウェアプログラムにより実現される。表示部６３０は、ＬＣＤパネル及びその駆動回路により実現される。
【０１２９】
ここで画像生成部６２０は、入力装置６１０から出力された制御情報に基づいて画像データを生成する（広義には制御処理を行う）。より具体的には、入力装置６１０により６軸方向の移動指示に対応して変化する画像の画像データを生成する。表示部６３０は、画像生成部６２０で生成された画像データに基づいて画像表示を行う。
【０１３０】
このような構成のＩＣカード６００では、ユーザが入力装置６００に指の指紋画像を６軸方向に移動させて、移動指示を行うことで、表示部６３０に表示されるポインタを移動させたり、表示部６３０の画像をスクロールさせたりすることができるようになる。
【０１３１】
なおここでは、情報装置としてＩＣカードを例に説明したが、ＰＤＡ、携帯電話、３次元ＣＡＤ装置、仮想現実体験装置又は電子楽器等に本実施形態に係る入力装置を適用することができる。
【０１３２】
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【０１３３】
例えば本実施形態では、指紋センサを用いた入力装置について説明したが、これに限定されるものではなく、指紋以外の２次元又は３次元の物体の画像を取り込んで同様に制御情報を出力させることができる。また検出面を有さない入力装置についても同様に適用することができる。
【０１３４】
また本実施形態では、６軸方向の制御情報として前フレーム（少なくとも１フレーム以上前のフレーム）との差分に対応させて出力させるようにしていたが、これに限定されるものではない。例えば、基準となる原点位置から差分をフレームごとに積算し、６軸方向の制御情報として絶対値を出力させるようにしてもよい。
【０１３５】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【図１】 本実施形態における入力装置の構成ブロック図。
【図２】 ６軸方向の制御情報の説明図。
【図３】 指紋センサを用いた入力装置の概要を示す外観構成図。
【図４】 入力装置のハードウェア構成例を示すブロック図。
【図５】 指紋センサの一例を示す回路構成図。
【図６】 静電容量検出素子の断面図。
【図７】 指紋の山が接触する場合の静電容量検出素子の等価回路図。
【図８】 指紋の谷が対向する場合の静電容量検出素子の等価回路図。
【図９】 図９（Ａ）、（Ｂ）は指紋の特徴点の一例を示す説明図。
【図１０】 入力装置の処理フローの一例を示すフロー図。
【図１１】 図１１（Ａ）〜（Ｃ）はＺ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図１２】 指紋画像の面積の算出処理の負荷を軽減する手法の説明図。
【図１３】 図１３（Ａ）、（Ｂ）は特徴点の照合処理の一例の説明図。
【図１４】 図１４（Ａ）〜（Ｃ）はＺ軸方向の軸回りに指を移動させた場合の指紋画像の変化の一例の説明図。
【図１５】 図１５（Ａ）〜（Ｃ）はＹ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例の説明図。
【図１６】 図１６（Ａ）〜（Ｃ）はＸ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例の説明図。
【図１７】 図１７（Ａ）〜（Ｃ）はＸ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図１８】 図１８（Ａ）〜（Ｃ）はＹ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図１９】 ＩＣカードの構成例を示すブロック図。
【符号の説明】
１０ 入力装置、 ２０ 画像取込部、 ２２ 検出面、 ３０ 画像解析部、
３２ 特徴点抽出部、 ３４ 重心位置算出部、 ３６ 面積算出部、
４０ 差分算出部、 ４２ 特徴点移動検出部、 ４４ 重心位置移動検出部、
４６ 面積変化検出部、 ４８ メモリ、 ５０ 制御情報出力部、
５２ Ｘ軸移動検出部、 ５４ Ｙ軸移動検出部、
５６ Ｘ軸回り回転検出部、 ５８ Ｙ軸回り回転検出部、
６０ Ｚ軸回り回転検出部、 ６２ Ｚ軸移動検出部
【発明の属する技術分野】
本発明は、入力装置、これを含む情報装置及び制御情報生成方法に関する。
【０００２】
【従来の技術】
入力装置は、電子機器（情報機器又は情報装置）の操作部に用いられる。例えば、ユーザが入力装置を操作することにより、電子機器では、入力装置から出力された制御情報（操作情報）を用いて、表示部に表示されるポインタを移動させたり、表示部の画像をスクロールさせたりする。この入力装置については、ユーザの操作性を低下させないことが必要とされる。
【０００３】
入力装置として、例えば３次元空間上の任意の位置を指示する際の操作性を向上させたものがある。この入力装置では、まず基準点を設定する。指示位置が画面上に現れていない場合には、該基準点を中心にした移動と、該基準点と視点とを結ぶ直線に沿った移動とを組み合わせて行って、視点を移動させた後、移動後の視点から３次元空間を再表示する。指示位置が画面上に現れている場合には、画面上でカーソルを移動させる（例えば、特許文献１）。このような操作を可能にすることで、この入力装置では、いわゆる６軸方向の操作を行う必要がなくなる。
【０００４】
【特許文献１】
特開平５−４０５７１号公報
【０００５】
【発明が解決しようとする課題】
ところが、特許文献１に開示されている入力装置では、携帯型の情報機器に適用することは困難である。また携帯型の情報機器に適用する場合、バッテリ駆動による動作が可能で、小型化が可能な構成であることが必要となる。さらに、上述した機能を有する入力装置は、高度な情報処理を行う３次元ＣＡＤ装置や仮想実体験装置等のみならず、より少ない処理負荷で携帯電話やＰＤＡに適用できることが望ましい。
【０００６】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、処理負荷を増大させることなく、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【０００７】
本発明の他の目的は、超小型かつ超軽量で、これまで以上に操作性を向上させることが可能な入力装置、情報装置及び制御情報生成方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の特徴点を抽出する特徴点抽出部と、基準位置と、前記特徴点の位置との差分を求める差分算出部と、前記差分に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【０００９】
本発明においては、移動する被検出物の画像の特徴点を抽出し、基準位置からの差分に対応した制御情報を出力するようにしたので、該特徴点を用いた比較処理を行えばよい。そのため、被検出物の画像の移動により制御情報を出力させる入力装置の処理負荷を軽減することができる。
【００１０】
また本発明に係る入力装置では、前記基準位置は、少なくとも１フレーム以上前の前記被検出物の画像から抽出された特徴点の位置であってもよい。
【００１１】
本発明によれば、１フレーム以上前のフレームの該被検出物の画像を用いるようにしたので、フレーム周期で画像を取り込み、フレーム単位で制御情報の出力を行わせることができる。これにより、より高精度な制御情報を生成することができる。
【００１２】
また本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の面積を求める面積算出部と、少なくとも１フレーム以上前の前記被検出物の画像の面積と、前記面積算出部により求められた面積との差分を求める差動算出部と、前記差分に対応した制御情報を出力する制御情報出力部とを含む入力装置に関係する。
【００１３】
本発明によれば、取り込んだ被検出物の画像の面積について、フレーム間の差分を求め、該差分に対応した制御情報を出力するようにしたので、取り込んだ画像の位置の移動に限定されない新たな軸方向の制御指示を行うことができるようになる。これにより、これまで以上に操作性を向上させることが可能となる。
【００１４】
また本発明に係る入力装置では、前記画像取込部が検出面を有し、該検出面に接する被検出物の画像を取り込み、前記制御情報出力部は、前記検出面に垂直な軸方向の前記被検出物の移動量に対応した制御情報を出力することができる。
【００１５】
本発明によれば、検出面に接する被検出物の画像の面積の変化により、該検出面と垂直な軸（Ｚ軸）方向の被検出物の移動量を特定することができるので、検出面上の互いに垂直な第１及び第２の軸方向の移動のみならず、これと垂直な軸方向への移動に対応した制御情報（Δｚ）を生成することができる。これにより、これまで以上に操作性を向上させることが可能となる。
【００１６】
また本発明は、被検出物を移動させることにより制御情報を生成する入力装置であって、検出面を有し、該検出面に接する被検出物の画像を取り込む画像取込部と、前記画像取込部により取り込まれた画像の重心位置を求める重心位置算出部と、前記画像の特徴点を抽出する特徴点抽出部と、少なくとも１フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第１の差分（ΔＸ１、ΔＹ１）を求める重心位置移動検出部と、少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第２の差分（ΔＸ２、ΔＹ２）を求める特徴点位置移動検出部と、前記第１及び第２の差分に基づいて、前記検出面上の互いに直交する第１又は第２の軸（Ｘ軸又はＹ軸）回りの回転角度を検出する回転角度検出部とを含み、前記回転角度検出部は、前記第１の差分の前記第１の軸方向成分（ΔＸ１）から前記第２の差分の前記第１の軸方向成分（ΔＸ２）を差し引いて前記第２の軸（Ｙ軸）回りの回転角度（γ）を求めると共に、前記第１の差分の前記第２の軸方向成分（ΔＹ１）から前記第２の差分の前記第２の軸方向成分（ΔＹ２）を差し引いて前記第１の軸（Ｘ軸）回りの回転角度（α）を求め、前記第１又は第２の軸回りの回転角度に対応した制御情報を出力する入力装置に関係する。
【００１７】
本発明においては、第１の軸回りの回転角度を、第１の差分の第２の軸方向成分（ΔＹ１）から第２の差分の第２の軸方向成分（ΔＹ２）を差し引いて求め、第２の軸回りの回転角度を、第１の差分の第２の軸方向成分（ΔＹ１）から第２の差分の第２の軸方向成分（ΔＹ２）を差し引いて求めるようにしている。これにより、２次元的な被検出物の画像から、被検出物の３次元的な移動（回転）に関する第１及び第２の軸回りの制御情報（α、γ）を、処理負荷をかけることなく生成することができる。したがって、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【００１８】
また本発明に係る入力装置では、前記回転角度検出部は、少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置が、基準点を中心に前記特徴点抽出部により抽出された特徴点の位置に回転した角度を、前記検出面と垂直な第３の軸回りの回転角度として求め、前記第３の軸回りの回転角度に対応した制御情報を出力することができる。
【００１９】
本発明によれば、被検出物の画像の特徴点について、基準点を中心とした回転角度を求めることができるので、より少ない処理負荷で、検出面と垂直な第３の軸回りの回転角度に対応した制御情報（β）を生成することができ、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【００２０】
また本発明に係る入力装置では、前記第２の差分の前記第１の軸方向成分（ΔＸ２）から前記第２の軸（Ｙ軸）回りの回転角度（γ）に所与の第１の係数（ａ）で重み付けされた値を差し引いて、前記第１の軸（Ｘ軸）方向の移動に対応した制御情報（Δｘ）を出力し、前記第２の差分の前記第２の軸方向成分（ΔＹ２）から前記第１の軸（Ｘ軸）回りの回転角度（α）に所与の第２の係数（ｂ）で重み付けされた値を差し引いて、前記第２の軸（Ｙ軸）方向の移動に対応した制御情報（Δｙ）を出力することができる。
【００２１】
また本発明に係る入力装置では、前記第１の差分の前記第１の軸方向成分（ΔＸＧ又はΔＸＭ）から前記第２の軸（Ｙ軸）回りの回転角度（γ）に所与の第１の係数（ａ）で重み付けされた値を差し引いて、前記第１の軸（Ｘ軸）方向の移動に対応した制御情報（Δｘ）を出力し、前記第１の差分の前記第２の軸方向成分（ΔＹＧ又はΔＹＭ）から前記第１の軸（Ｘ軸）回りの回転角度（α）に所与の第２の係数（ｂ）で重み付けされた値を差し引いて、前記第２の軸（Ｙ軸）方向の移動に対応した制御情報（Δｙ）を出力することができる。
【００２２】
本発明によれば、被検出物の画像の特徴点又は重心位置の移動に対し、各軸方向の回転角度を加味して被検出物の第１及び第２の軸方向の移動を検出するようにしたので、被検出物の移動の仕方（ユーザが被検出物を移動させる癖等）に応じて、最適な第１及び第２の軸方向の移動を検出することができる。これにより、第１又は第２の軸回りの制御情報を出力させる場合に、高精度に第１又は第２の軸方向の制御情報を出力させることができ、これまで以上に操作性を向上させることが可能な入力装置を提供することができる。
【００２３】
また本発明に係る入力装置では、前記被検出物は、指紋であってもよい。
【００２４】
本発明によれば、超小型又は超軽量な指紋センサを用いることができるので、携帯型の情報装置に対し、これまで以上に操作性を向上させる入力装置を搭載することを可能にする。
【００２５】
また本発明は、上記いずれか記載の入力装置と、前記入力装置からの制御情報に基づいて制御処理を行う処理部とを含む情報装置に関係する。
【００２６】
本発明によれば、処理負荷を増大させることなく、これまで以上に操作性を向上させることが可能な情報装置を提供することができる。
【００２７】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、被検出物の画像の特徴点を抽出し、基準位置と、前記特徴点の位置との差分を求め、前記差分に対応した制御情報を出力する制御情報生成方法に関係する。
【００２８】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、検出面に接する被検出物の画像の面積を求め、該面積と、少なくとも１フレーム以上前の前記被検出物の画像の面積との差分を求め、前記検出面と垂直な方向の前記被検出物の移動に応じて、前記差分に対応した制御情報を出力する制御情報生成方法に関係する。
【００２９】
また本発明は、取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、検出面に接する被検出物の画像の重心位置を求めると共に前記画像の特徴点を抽出し、該重心位置と少なくとも１フレーム以上前の前記被検出物の画像の重心位置との差分を求めると共に、該特徴点の位置と少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置との差分を求め、前記重心位置の差分と前記特徴点の差分とに基づいて、前記検出面上で互いに直交する第１又は第２の軸回りの回転角度を検出し、前記回転角度に対応した制御情報を出力する制御情報生成方法に関係する。
【００３０】
また本発明に係る制御情報生成方法では、少なくとも１つ前の前記被検出物の画像の特徴点の位置が、基準点を中心に、抽出された特徴点の位置に回転した角度により、前記検出面の前記第１及び第２の軸と直交する第３の軸回りの回転角度を求めることができる。
【００３１】
また本発明に係る制御情報生成方法では、前記特徴点の差分と、前記第１又第２の軸回りの回転角度とを用いて、前記第１又は第２の軸方向の移動に対応した制御情報を出力することができる。
【００３２】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【００３３】
１． 入力装置
図１に、本実施形態における入力装置の構成の概要を示す。本実施形態における入力装置１０は、取り込んだ画像の変化に基づいて６軸方向の制御情報（操作情報）を出力することができるようになっている。そのため、入力装置１０は、画像取込部２０、画像解析部３０、差分算出部４０、制御情報出力部５０を含む。
【００３４】
画像取込部２０は、ユーザが移動させる２次元又は３次元の被検出物を、検出面（センサ面）を介して２次元の情報である画像として取り込み、１フレームごとに画像情報を生成する。
【００３５】
画像解析部３０は、画像取込部２０で取り込まれた画像を解析し、その解析結果を差分算出部４０に対して出力する。より具体的には、画像解析部３０は、特徴点抽出部３２、重心位置算出部３４、面積算出部３６を含む。
【００３６】
特徴点抽出部３２は、画像取込部２０で取り込まれた画像の特徴点を抽出する。ここで特徴点とは、移動前後の２つの画像を比較して、その移動距離や移動方向、又は回転角度を特定するために参照可能な当該画像特有の形態を有する位置（領域）をいう。
【００３７】
重心位置算出部３４は、画像取込部２０で取り込まれた画像の重心位置又はこれと等価的な位置を求める。より具体的には、被検出物の画像の面積的な中心位置又はこれと等価的な位置を求める。
【００３８】
面積算出部３６は、画像取込部２０で取り込まれた画像の面積又はこれと等価的な値を求める。より具体的には、被検出物の画像の面積又はこれと等価的な値を求める。
【００３９】
差分算出部４０は、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の画像（画像の所与の基準位置）を参照して、画像解析部３０からの解析結果と比較を行い、その差分を制御情報出力部５０に対して出力する。より具体的には、差分算出部４０は、特徴点移動検出部４２、重心位置移動検出部４４、面積変化検出部４６を含む。
【００４０】
特徴点移動検出部４２は、特徴点抽出部３２で抽出された当該フレームの被検出物の画像の特徴点と、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の被検出物の画像の特徴点とを比較し、その位置の変化を差分（第２の差分）として検出する。差分が求められると、当該フレームの被検出物の画像の特徴点はメモリ４８に格納され、次のフレームの被検出物の画像の特徴点の位置の変化の検出に用いられる。
【００４１】
重心位置移動検出部４４は、重心位置算出部３４で求められた当該フレームの被検出物の画像の重心位置と、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の被検出物の画像の重心位置とを比較し、その位置の変化を差分（第１の差分）として検出する。差分が求められると、当該フレームの被検出物の画像の重心位置はメモリ４８に格納され、次のフレームの被検出物の画像の重心位置の変化の検出に用いられる。
【００４２】
面積変化検出部４６は、面積算出部３６で求められた当該フレームの被検出物の画像の面積と、メモリ４８に蓄積された少なくとも１フレーム以上前の過去の被検出物の画像の面積とを比較し、その変化を差分として検出する。差分が求められると、当該フレームの被検出物の画像の面積はメモリ４８に格納され、次のフレームの被検出物の画像の面積の変化の検出に用いられる。
【００４３】
制御情報出力部５０は、差分算出部４０で少なくとも１フレーム以上前の下記の被検出物の画像との差分に対応した制御情報を出力する。この制御情報は、上述したように６軸方向の制御情報である。
【００４４】
図２に、６軸方向の制御情報の説明図を示す。６軸方向の制御情報とは、画像取込部２０の検出面（センサ面）２２上（又は検出面と平行な平面上）の互いに直交するＸ軸及びＹ軸（第１及び第２の軸）方向の変化Δｘ、Δｙ、該検出面に垂直な方向のＺ軸（第３の軸）方向の変化Δｚ、Ｘ軸方向の軸回りの回転角度α、Ｙ軸方向の軸回りの回転角度γ、Ｚ軸方向の軸回りの回転角度βの６軸方向について指示される情報である。Ｘ軸方向の変化Δｘ、Ｙ軸方向の変化Δｙ、Ｚ軸方向の変化Δｚ、Ｘ軸方向の軸回りの回転角度α、Ｚ軸方向の軸回りの回転角度β、Ｙ軸方向の軸回りの回転角度γには、それぞれ図２に示すように（＋）方向及び（−）方向が規定される。
【００４５】
本実施形態では、検出面上で規定されるＸ軸、Ｙ軸及びＺ軸の各軸方向の移動の他に各軸回りの回転角度をより少ない処理負荷で求めるために、上述した被検出物の画像の重心位置の移動と、該被検出物の画像の特徴点の移動とを用いる。そのため制御情報出力部５０は、Ｘ軸移動検出部５２、Ｙ軸移動検出部５４、Ｘ軸回り回転検出部５６、Ｙ軸回り回転検出部５８、Ｚ軸回り回転検出部６０、Ｚ軸移動検出部６２を含み、これら各部の出力に対応した制御情報を出力する。
【００４６】
Ｘ軸移動検出部５２は、被検出物の検出面のＸ軸方向の移動を検出する。その際、Ｘ軸移動検出部５２は、Ｙ軸方向の軸回りの被検出物の回転を考慮し、被検出物を検出面上で滑らせて回転させた場合にも被検出物の検出面のＸ軸方向の移動量Δｘを検出する。より具体的には、Ｘ軸移動検出部５２は、被検出物の画像の特徴点のＸ軸方向の移動量をΔＸ２（第２の差分の第１の軸方向成分）、Ｙ軸方向の軸回りの回転角度をγ（第２の軸回りの回転角度）とすると、（１）式のように表すことができる被検出物の検出面のＸ軸方向の移動量Δｘを求める。
【００４７】
Δｘ＝ΔＸ２−ａ・γ （ただし、０≦ａ≦１）・・・（１）
ここで、係数ａ（所与の第１の係数）はＹ軸方向の軸回りの回転角度γの重み付け係数である。重み付け係数ａが０のとき、Ｙ軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のΔｘ出力に適する。また検出面を滑らせずに回転させる場合に、回転角度γを出力し、Δｘを「０」にする場合に適する。また重み付け係数ａが１のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数ａは、ユーザのＸ軸方向の操作の癖を加味する等により決定されることが望ましい。
【００４８】
Ｙ軸移動検出部５４も同様に、被検出物の検出面のＹ軸方向の移動を検出する。その際、Ｙ軸移動検出部５４は、Ｘ軸方向の軸回りの被検出物の回転を考慮し、被検出物を検出面上で滑らせて回転させた場合にも被検出物の検出面のＹ軸方向の移動を検出する。より具体的には、Ｙ軸移動検出部５４は、被検出物の画像の特徴点のＹ軸方向の移動量をΔＹ２（第２の差分の第２の軸方向成分）、Ｘ軸方向の軸回りの回転角度をα（第１の軸回りの回転角度）とすると、（２）式のように表すことができる被検出物の検出面のＹ軸方向の移動量Δｙを求める。
【００４９】
Δｙ＝ΔＹ２−ｂ・α （ただし、０≦ｂ≦１）・・・（２）
ここで、係数ｂ（所与の第２の係数）はＸ軸方向の軸回りの回転角度αの重み付け係数である。重み付け係数ｂが０のとき、Ｘ軸方向の軸回りの回転角度を一切考慮しないことを意味するので、検出面を被検出物が回転することなく移動する場合のΔｙ出力に適する。また検出面を滑らせずに回転さえる場合に回転角度αを出力し、Δｙを「０」にする場合に適する。また重み付け係数ｂが１のとき、検出面を滑らせて被検出物が回転のみを行って移動しない場合に適する。重み付け係数ｂは、ユーザのＹ軸方向の操作の癖を加味する等により決定されることが望ましい。
【００５０】
Ｘ軸回り回転検出部５６は、Ｘ軸方向の軸回りの回転角度αを検出する。より具体的には、回転半径が十分に大きいか、或いは回転角度が十分に小さいことを条件に、被検出物の画像の重心位置のＹ軸方向の移動量をΔＹ１（第１の差分の第２の軸方向成分）とすると、（３）式のように表すことができるＸ軸方向の軸回りの回転角度αを求める。
【００５１】
α≒−（ΔＹ１−ΔＹ２） ・・・（３）
ここで、負の符号が付されるのは、図２で規定した回転角度の正負の方向に依存している。したがって、図２の回転角度αの正負の方向を逆にすれば、（３）式の符号は正となる。
【００５２】
なお（２）式及び（３）式より、Ｘ軸回り回転出部５６は、被検出物の画像の特徴点のＹ軸方向の移動量ΔＹ２（特徴点移動検出部４２により求めら得た差分）と、被検出物の画像の重心位置のＹ軸方向の移動量をΔＹ１（重心位置移動検出部４４により求められた差分）とに基づいて、Ｘ軸方向の軸回りの回転角度αを求めることができる。
【００５３】
Ｙ軸回り回転検出部５８は、Ｙ軸方向の軸回りの回転角度γを検出する。より具体的には、回転半径が十分に大きいか、或いは回転角度が十分に小さいことを条件に、被検出物の画像の重心位置のＸ軸方向の移動量をΔＸ１（第１の差分の第１の軸方成分）とすると、（４）式のように表すことができるＹ軸方向の軸回りの回転角度γを求める。
【００５４】
γ≒ΔＸ１−ΔＸ２ ・・・（４）
Ｚ軸回り回転検出部６０は、Ｚ軸方向の軸回りの回転角度βを検出する。より具体的には、移動前後の被検出物の画像の特徴点同士を所与の基準点を中心に回転すると対応付けられる場合に、該基準点を中心に観点した角度を回転角度βとして求める。
【００５５】
なお（１）式及び（４）式より、Ｙ軸回り回転検出部５８は、被検出物の画像の特徴点のＸ軸方向の移動量ΔＸ２（特徴点移動検出部４２により求められた差分）と、被検出物の画像の重心位置のＸ軸方向の移動量をΔＸ１（重心位置移動検出部４４により求められた差分）とに基づいて、Ｙ軸方向の軸回りの回転角度γを求めることができる。
【００５６】
Ｚ軸移動検出部６２は、被検出物の検出面に垂直な方向の移動を検出する。より具体的には、検出面への圧力に応じて、取り込まれる被検出物の画像が変化することに着目してＺ軸方向の移動量Δｚを求める。移動前の被検出物の画像の面積をＳ１、移動後の被検出物の画像の面積をＳ２とすると、（５）式のように表すことができるＺ軸方向の移動量Δｚを求める。
【００５７】
Δｚ＝ｃ・（Ｓ１−Ｓ２） ・・・（５）
ここで、係数ｃは、被検出物の画像の面積の変化を、Ｚ軸方向の移動量に対応付けるための係数である。係数ｃは、ユーザのＺ軸方向の操作の癖を加味する等により決定されることが望ましい。
【００５８】
以下では、このような入力装置について具体的に説明する。なお以下に述べる入力装置は、指紋センサを用いるが、本発明はこれに限定されるものではない。
【００５９】
図３に、指紋センサを用いた入力装置の外観構成の概要を示す。ここでは、本実施形態における入力装置が、ＩＣカード（広義には、情報装置）６４に実装される場合を示している。ＩＣカード６４は、内部にＣＰＵやメモリ素子を有する。これにより、ＩＣカード６４では、機密保持性を向上させると共に、情報処理による高度な情報をより多くの記憶させることが可能となる。そして、本実施形態における入力装置を用いることで、超小型かつ超軽量な構成で、ユーザの多様な操作を反映させた情報処理を行うことができる。
【００６０】
図３において、入力装置としての指紋センサの検出面２２に、指紋パターンが形成されたユーザの指（広義には、被検出物）６６を接触させることにより、指紋画像が取り込まれる。そして、検出面２２上に規定される３次元空間において検出されたユーザによる指６６の６軸方向の移動により、対応する制御情報が出力される。ＩＣカード６４では、該制御情報に基づく処理が行われる。例えばＩＣカード６４に液晶パネルが設けられている場合には、液晶パネルに表示されるポインタの移動や表示画像のスクロール等の表示制御が行われる。なお入力装置が３次元ＣＡＤ装置に適用される場合には、操作対象の物体の回転或いは視点の移動の制御が行われることになる。
【００６１】
図４に、入力装置のハードウェア構成例を示す。入力装置６８では、バス７０に、ＣＰＵ７２、ＲＯＭ７４、ＲＡＭ７６、指紋センサインタフェース（InterFace：Ｉ／Ｆ）回路７８が接続される。指紋センサＩ／Ｆ回路７８には、指紋センサ８０が接続される。またバス７０にＵＳＢＩ／Ｆ回路８２が接続される。ＵＳＢＩ／Ｆ回路８２は、外部でパソコン８４等のＵＳＢ規格上のホスト装置若しくはペリフェラル装置に接続される。
【００６２】
ここで主に指紋センサ８０及び指紋センサＩ／Ｆ回路７８により、図１に示す画像取込部２０の機能が実現される。指紋センサ８０により取り込まれた指紋画像は、指紋センサＩ／Ｆ回路７８を介してＲＡＭ７６に蓄積される。ＣＰＵ７２と、ＲＯＭ７４若しくはＲＡＭ７６に格納されたソフトウェアプログラムとにより、図１に示す画像解析部３０、差分算出部４０及び制御情報出力部５０の機能が実現される。ＲＡＭ７６により、図１に示すメモリ４８の機能が実現される。
【００６３】
１．２ 指紋センサ
図５に、指紋センサ８０の一例を示す。図５において、Ｍ本（Ｍは２以上の整数）の電源線２００と、Ｎ本（Ｎは２以上の整数）の出力線２０２とを有する。Ｍ本の電源線２００とＮ本の出力線２０２の各交点には静電容量検出素子２０４が設けられている。図５に示す静電容量検出素子２０４は、指が接触したときの閉回路として図示されており、指の凹凸パターンに依存して変化する可変容量ＣＦと、信号増幅素子例えば信号増幅ＭＩＳ型薄膜半導体装置（以下信号増幅用ＴＦＴと略記する）２０６とを有する。静電容量検出素子２０４に指が接触していないときには、可変容量ＣＦの接地端側はオープン状態である。なお、可変容量ＣＦについては後述する。
【００６４】
Ｍ本の電源線２００の各々は、対応する行に沿って配列されたＮ個の信号増幅用ＴＦＴ２０６のドレインＤに接続されている。また、Ｍ本の電源線２００の各々は、Ｍ個の電源用パスゲート２１０の各々を介して共通電源線２１２に接続されている。すなわち、電源用パスゲート２１０はＭＩＳ型薄膜半導体装置にて形成され、そのソースＳは電源線２００に接続され、そのドレインＤは共通電源線２１２に接続されている。電源選択回路２２０内には、上述のＭ個の電源用パスゲート２１０及び共通電源線２１２に加えて、電源用シフトレジスタ２２２が設けられている。電源用シフトレジスタ２２２の電源選択用出力線２２４に、Ｍ個の電源用パスゲート２１０の各ゲートＧが接続されている。
【００６５】
Ｎ本の出力線２０２各々は、対応する列に沿って配列されたＭ個の信号増幅用ＴＦＴ２０６のソースＳに接続されている。また、Ｎ本の出力線２０２の各々は、Ｎ個の出力信号用パスゲート２３０の各々を介して共通出力線２３２に接続されている。すなわち、出力信号用パスゲート２３０はＭＩＳ型薄膜半導体装置にて形成され、そのドレインＤは出力線２０２に接続され、そのソースＳは共通出力線２３２に接続されている。出力信号選択回路２４０内には、上述のＮ個の出力信号用パスゲート２３０及び共通出力線２３２に加えて、出力信号用シフトレジスタ２４２が設けられている。出力信号用シフトレジスタ２４２の出力選択用出力線２４４に、出力信号用パスゲート２３０のゲートＧが接続されている。
【００６６】
図６は、図５に示す静電容量検出素子２０４の断面図であり、指が接触されていない状態が図示されている。この静電容量検出素子２０４は、上述の信号増幅素子である信号増幅用ＴＦＴ２０６に加えて、信号検出素子２０８を有する。
【００６７】
図６において、絶縁層２５０上には、ソース領域２５２Ａ、ドレイン領域２５２Ｂ及びその間のチャネル領域２５２Ｃを有する半導体膜２５２が形成されている。半導体膜２５２上にはゲート絶縁膜２５４が形成され、このゲート絶縁膜２５４を挟んでチャネル領域２５２Ｃと対向する領域にゲート電極２５６が形成されている。この半導体膜２５２、ゲート絶縁膜２５４及びゲート電極２５６で、信号増幅用ＴＦＴ２０６が構成される。なお、電源用パスゲート２１０及び出力信号用パスゲート２３０も、信号増幅用ＴＦＴ２０６と同様にして形成される。
【００６８】
この信号用ＴＦＴ２０６は第一層間絶縁膜２６０により被われている。第一層間絶縁膜２６０上には、図５に示す出力線２０２に相当する第一配線層２６２が形成されている。この第一配線層２６２は信号用ＴＦＴ２０６のソース領域２５２Ａに接続されている。
【００６９】
第一配線層２６２は第二層間絶縁膜２６４により被われている。この第二層間絶縁膜２６４上には、図５に示す電源線２００に相当する第二配線層２６６が形成されている。この第二配線層２６６は、信号増幅用ＴＦＴ２０６のドレイン領域２５２Ｂに接続されている。なお、図６とは異なる構造として、第二配線層２６６を第一層間絶縁膜２６０上に形成し、第一配線層２６２を第二層間絶縁膜２６４上に形成してもよい。
【００７０】
第二層間絶縁膜２６４上にはさらに、容量検出電極２７０が形成され、それを被って容量検出誘電体膜２７２が形成されている。容量検出誘電体膜２７２は、指紋センサ８０の最表面に位置して保護膜としても機能し、この容量検出誘電体膜２７２に指が接触される。この容量検出電極２７０及び容量検出誘電体膜２７２により、信号検出素子２０８が構成される。
【００７１】
１．２．１ 指紋検出動作
指紋検出は、図６に示す容量検出誘電体膜２７２に指を接触させることで実施される。このとき、指紋センサ８０の起動スイッチ（例えば感圧スイッチ）４２が作動し、入力装置６８内の電源が作動して、自動的に、指紋センサ８０に電源が供給される。或いは、入力装置６８をパソコン８４にセットし、パソコン８４の給電部より電源が供給されても良い。
【００７２】
本実施形態では、図５に示すＭ本のうち選択された１本の電源線２００に電源電圧を供給し、かつ、そのときの信号を、Ｎ本のうち選択された１本の出力線２０２から検出することで、Ｍ×Ｎ個の静電容量検出素子２０４から順次信号を取り出している。
【００７３】
指紋検出動作は大別して、（１）指紋パターンの山（凸部）が容量検出誘電体膜２７２に接触する場合と、（２）指紋パターンの谷（凹部）が容量検出誘電体膜２７２に対向する場合とがある。
【００７４】
（１）指紋パターンの山（凸部）が容量検出誘電体膜２７２に接触する場合
図７に、この場合の静電容量検出素子２０４の等価回路を示す。符号３００は人体の指紋の山に相当し、図６の容量検出電極２７０と誘電体膜２７２を挟んで対向する接地電極３００が形成されている。ここで、電源電圧Ｖｄｄは共通電源線２１２より供給される。符号ＣＴは、信号増幅用ＴＦＴ２０６のトランジスタ容量であり、符号ＣＤは検出電極２７０と接地電極（指）３００との間の容量である。
【００７５】
ここで、信号増幅用ＴＦＴ２０６のゲート電極長をＬ（μｍ）、ゲート電極幅をＷ（μｍ）、ゲート絶縁膜の厚みをｔｏｘ（μｍ）、ゲート絶縁膜の比誘電率をεｏｘ、真空の誘電率をεｏとする。このとき、トランジスタ容量ＣＴは、（６）式のようになる。
【００７６】
ＣＴ＝εｏ・εｏｘ・Ｌ・Ｗ／ｔｏｘ ・・・（６）
また、容量検出電極２７０の面積Ｓ（μｍ２）、容量検出誘電体膜２７２の厚みをｔｄ（μｍ）、容量検出誘電体膜の比誘電率をεｄとする。このとき、容量ＣＤは、（７）式のようになる。
【００７７】
ＣＤ＝εｏ・εｄ・Ｓ／ｔｄ ・・・（７）
図７の等価回路において、信号増幅用ＴＦＴ２０６のゲートに印加される電圧ＶＧＴは、次式のようになる。
【００７８】
ＶＧＴ＝Ｖｄｄ／（１＋ＣＤ／ＣＴ） ・・・（８）
容量ＣＤをトランジスタ容量ＣＴよりも充分に大きく設定しておけば（例えばＣＤ＞１０×ＣＴ）、（８）式の分母は無限大となり、次式にように近似される。
【００７９】
ＶＧＴ≒０ ・・・（９）
この結果、信号増幅用ＴＦＴ２０６は、そのゲートにほとんど電圧がかからないためオフ状態となる。よって、信号増幅用ＴＦＴ２０６のソース−ドレイン間に流れる電流Ｉは極めて小さくなる。この電流Ｉを測定することで、測定箇所が指紋パターンの山（凸部）であることが判定できる。
【００８０】
（２）指紋パターンの谷（凹部）が容量検出誘電体膜２７２に対向する場合
図８に、この場合の静電容量検出素子２０４の等価回路を示す。符号３０２が人体の指紋の谷に相当する。この場合は、図７に示す容量ＣＤに加えて、誘電体膜２７２と指紋の谷との間に、空気を誘電体とする新たな容量ＣＡが形成される。
【００８１】
図８の等価回路において、信号増幅用ＴＦＴ２０６のゲートに印加される電圧ＶＧＶは、次式のようになる。
ＶＧＶ＝Ｖｄｄ／｛［１＋（１／ＣＴ）］×１／［（１／ＣＤ）＋（１／ＣＡ）］｝ ・・・（１０）
容量ＣＤをトランジスタ容量ＣＴよりも充分に大きく設定しておけば（例えばＣＤ＞１０×ＣＴ）、（１０）式は次式のように近似される。
【００８２】
ＶＧＶ≒Ｖｄｄ／［１＋（ＣＡ／ＣＴ）］ ・・・（１１）
さらに、トランジスタ容量ＣＴを、指紋の谷により形成される容量ＣＡよりも充分に大きくしておけば（例えばＣＴ＞１０×ＣＡ）、（１１）式は次式のように近似される。
【００８３】
ＶＧＶ≒Ｖｄｄ ・・・（１２）
この結果、信号増幅用ＴＦＴ２０６は、そのゲートに電源電圧Ｖｄｄがかかるためオン状態となる。よって、信号増幅用ＴＦＴ２０６のソース−ドレイン間に流れる電流Ｉは極めて大きくなる。この電流Ｉを測定することで、測定箇所が指紋パターンの谷（凹部）であることが判定できる。
【００８４】
このように、図５に示す可変容量ＣＦは、指紋の山が容量検出誘電体膜２７２に接触した時は容量ＣＤとなり、指紋の谷が容量検出誘電体膜２７２に対向としたときは容量ＣＤと容量ＣＡとの和となり、指紋の凹凸に従って容量が変化する。この指紋の凹凸に従った容量変化に基づく電流を検出することで、指紋の山または谷を検出できる。
【００８５】
以上の動作を、Ｍ×Ｎ個の静電容量検出素子２０４にて時分割で実施することで、指紋パターンを検出することが可能となる。より具体的には、第１行の各列に位置する静電容量検出素子を順に指紋の凹凸を検出した後、第２行の指紋の凹凸を検出するといったように、ピクセルごとに指紋の凹凸を検出していく。その結果、例えば図９（Ａ）、（Ｂ）に示すような指紋画像を得ることができる。本実施形態では、この指紋センサ８０を用いて周期的に指紋画像を取り込む。
【００８６】
なお、電源電圧Ｖｄｄに正電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型Ｎ型トランジスタにて、信号増幅用ＴＦＴ２０６を形成すればよい。ＣＤ＞１０×ＣＴを満たす場合には、信号増幅用ＴＦＴ２０６の伝達特性におけるドレイン電流が最小値となるゲート電圧（最小ゲート電圧）をＶｍｉｎとしたとき、０＜Ｖｍｉｎ＜０．１×Ｖｄｄを満たせばよい。
【００８７】
電源電圧Ｖｄｄに負電源を用いる場合には、ゲート電圧がゼロ近傍でドレイン電流が流れないエンハンスメント型Ｐ型トランジスタにて、信号増幅用ＴＦＴ２０６を形成すればよい。ＣＤ＞１０×ＣＴを満たす場合には、信号増幅用ＴＦＴ２０６の伝達特性におけるドレイン電流が最小値となるゲート電圧（最小ゲート電圧）をＶｍｉｎとしたとき、０．１×Ｖｄｄ＜Ｖｍｉｎ＜０を満たせばよい。
【００８８】
本実施形態では、このようにして取り込まれた指紋画像を用いて制御情報を出力する。この際、取り込まれた指紋画像の特徴点を用いることで、処理負荷を軽減する。
【００８９】
図９（Ａ）、（Ｂ）に、指紋の特徴点の一例を示す。図９（Ａ）は、指紋の分岐点の一例を示す。図９（Ｂ）は、指紋の端点の一例を示す。指紋センサ８０で取り込まれた指紋画像について、例えば指紋の分岐点が抽出される。図９（Ａ）、（Ｂ）では、指紋画像は、指紋の凸部である稜線の形態を表している。ここで指紋の分岐点は、指紋の稜線が２以上の稜線に分岐する部分である。また指紋の端点は、指紋の稜線が終端する部分である。
【００９０】
指紋の形態が同一となることがないため、その分岐点又は端点の分布も個人によって異なる。したがって、指紋画像の分岐点又は端点を求めることができれば、求めた分岐点又は端点の分布のみを比較すればよいので、比較すべき情報量が少なくなり比較処理の負荷を軽減することができる。
【００９１】
１．３ 動作フロー
図１０に、本実施形態における入力装置の処理フローの一例を示す。図１０に示す処理を実行するためのプログラムが、ＲＯＭ７４又はＲＡＭ７６に格納される。ＣＰＵ７２は、このプログラムにしたがって処理を行う。
【００９２】
まずＣＰＵ７２により、入力装置としての処理に先立って各変数を初期化する（ステップＳ４００）。
【００９３】
次に、ユーザの指（被検出物）が指紋センサ８０の検出面に接触しているか否かを判別する（ステップＳ４０１）。接触していないと判別されたとき（ステップＳ４０１：Ｎ）、ステップＳ４００に戻る。
【００９４】
一方ステップＳ４０１で、接触していると判別されたとき（ステップＳ４０１：Ｙ）、上述したように指紋画像を取り込む（ステップＳ４０２）。取り込まれた１フレーム分の指紋画像は、ＲＡＭ７６に格納される。
【００９５】
そして、ＣＰＵ７２では、ＲＡＭ７６に格納された１フレーム分の指紋画像を読み出して、該指紋画像の重心位置を求める（ステップＳ４０３）。ここで重心位置は、取り込まれた指紋画像のうち指紋パターンが存在する領域の面積的な中心位置である。重心位置は、例えばＸ軸方向及びＹ軸方向について、それぞれ積分演算を行うことで得られる指紋画像の面積の中心位置として求められる。
【００９６】
例えば重心位置の座標を（ＸＧ，ＹＧ）とすると、次式のように求められる。
【００９７】
【数１】
【数２】
【数３】
ここで、Ｓを指紋画像の面積、Ｆ（ｉ）は出力線ｉ上の検出ドット数、Ｇ（ｊ）は電源線ｊ上の検出ドット数としている。
【０１０１】
続いて、前フレームの指紋画像の重心位置と比較される（ステップＳ４０４）。前フレームの指紋画像の重心位置との差分のＸ成分は重心位置のＸ軸方向の移動量をΔＸ１、Ｙ成分は重心位置のＹ軸方向の移動量をΔＹ１として出力される。前フレームの指紋画像の重心位置は、ＲＡＭ７６に蓄積されている。前フレームの指紋画像の重心位置は、ステップＳ４０４の比較処理後にステップＳ４０３で求められた当該フレームの指紋画像の重心位置により更新される。なおここでは比較対象を前フレームの指紋画像を用いたが、これに限定されるものではなく２フレーム以上過去の指紋画像（２フレーム以上前の被検出物の画像）を用いてもよい。
【０１０２】
次に、取り込まれた指紋画像の面積を求める（ステップＳ４０５）。指紋画像の面積は、上述の積分演算を行うことで求めることができる。また面積は、指紋画像の山又は谷の部分として検出されたドット数（ピクセル数）により等価的に求めることができる。
【０１０３】
求められた指紋画像の面積は、前フレームの指紋画像の面積と比較される（ステップＳ４０６）。上述の（５）式で示されるように、移動前後の指紋画像の面積の変化に対応して、ユーザの指のＺ軸方向の移動量Δｚを求める。前フレームの指紋画像の面積は、ＲＡＭ７６に蓄積されている。前フレームの指紋画像の面積は、ステップＳ４０６の比較処理後にステップＳ４０５で求められた当該フレームの指紋画像の面積により更新される。なおここでは比較対象を前フレームの指紋画像を用いたが、これに限定されるものではなく２フレーム以上過去の指紋画像（２フレーム以上前の被検出物の画像）を用いてもよい。
【０１０４】
図１１（Ａ）〜（Ｃ）に、Ｚ軸方向に指を移動させた場合の指紋画像の変化の一例を示す。指紋画像検出領域４５０内で、図１１（Ｂ）に示すフレームｆにおける指紋画像４５２が原点位置であるものとする。フレーム（ｆ＋１）で取り込まれた指紋画像が図１１（Ａ）に示す指紋画像４５４である場合、指紋センサ８０の検出面から持ち上げる方向（Ｚ軸の（−）方向）にユーザが指を移動させた場合に相当する。このとき、指が検出面を押す圧力が小さくなる方向に移動させるため、指が検出面に接触する面積が小さくなる。一方、フレーム（ｆ＋１）で取り込まれた指紋画像が図１１（Ｃ）に示す指紋画像４５６である場合、指紋センサ８０の検出面を押し付ける方向（Ｚ軸の（＋）方向）にユーザが指を移動させた場合に相当する。このとき、指が検出面を押す圧力が大きくなる方向に移動させるため、指が検出面に接触する面積が大きくなる。そこで、指紋画像の面積の増減分に、指のＺ軸方向の移動量Δｚを対応付けることで、Ｚ軸方向の指の移動方向及びその移動量を検出することが可能となる。
【０１０５】
ところで、図５に示す構成の指紋センサ８０を用いることで、取り込まれた指紋画像の面積を求めることができる。
【０１０６】
図１２に、指紋画像の面積の算出処理の負荷を軽減する手法についての図を示す。図５に示す指紋センサ８０により、指紋画像検出領域４５０内でＸ軸及びＹ軸方向で走査されて、指紋画像４５８が取り込まれたものとする。その際、Ｘ軸方向については、指紋の山又は谷の検出が開始される出力線Ｏ１と、指紋の山又は谷が検出されなくなる出力線Ｏ２とにより、指紋の山又は谷が検出される出力線の数Ｏｃを特定することができる。Ｙ軸方向については、同様に、指紋の山又は谷の検出が開始される電源線Ｄ１と、指紋の山又は谷が検出されなくなる電源線Ｄ２とにより、検出される電源線の数Ｄｃを特定することができる。したがって、出力線の数Ｏｃと電源線の数Ｄｃとにより、指紋画像４５８の面積と等価的な値Ｓｒを求めることができる。
【０１０７】
Ｏｃ＝Ｏ２−Ｏ１＋１ ・・・（１６）
Ｄｃ＝Ｄ２−Ｄ１＋１ ・・・（１７）
Ｓｒ＝Ｏｃ・Ｄｃ ・・・（１８）
このように、指紋センサ８０の電源線及び出力線を特定することにより、取り込まれた指紋画像の輪郭に外接する矩形を容易に求めることができるので、指紋画像の面積算出の処理負荷を軽減することができる。
【０１０８】
また、ステップＳ４０３において、出力線Ｏ１〜Ｏ２の中間位置と、電源線Ｄ１〜Ｄ２の中間位置とに基づいて、指紋画像４５８の重心位置を特定することができる。こうすることで、指紋画像４５８の重心位置の算出処理の負荷を大幅に軽減することができる。ここで、重心位置の座標を（ＸＭ，ＹＭ）とすると、次の式のように求めることができる。
【０１０９】
ＸＭ＝（Ｏ１＋Ｏ２）／２ ・・・（１９）
ＹＭ＝（Ｄ１＋Ｄ２）／２ ・・・（２０）
図１０に戻って処理フローの説明を続ける。ステップＳ４０６においてＺ軸方向の移動量Δｚが求められると、続いて指紋画像の特徴点を抽出する（ステップＳ４０７）。ここで特徴点とは、指紋の山（稜線部分）の端点や分岐点等をいう。そして、この特徴点の分布を求める。これにより、検出面上の指紋画像の移動を、特徴点（又は特徴点の分布）の移動により検出することができる。
【０１１０】
次に、ステップＳ４０７で求められた指紋画像の特徴点と、前フレームの指紋画像の特徴点とが比較される（ステップＳ４０８）。そして、両フレームの指紋画像の特徴点又はその分布とを照らし合わせ、類似性が最大となるようにＸ軸方向の移動量ΔＸ２、Ｙ軸方向の移動量ΔＹ２、Ｚ軸方向の軸回りの回転角度βを求める。
【０１１１】
図１３（Ａ）、（Ｂ）に、特徴点の照合処理の一例を模式的に示す。図１３（Ａ）、（Ｂ）において、フレームｆにおける指紋画像から抽出された特徴点Ｐｆ、Ｑｆ、Ｒｆが、フレーム（ｆ＋１）で取り込まれた指紋画像の特徴点Ｐｆ＋１、Ｑｆ＋１、Ｒｆ＋１の位置に移動したものとする。ＣＰＵ７２では、照合処理において、図１３（Ａ）に示すように、３以上の抽出された特徴点のうち少なくとも特徴点Ｐｆ、Ｑｆ、Ｒｆの３点が、それぞれ対応する特徴点Ｐｆ＋１、Ｑｆ＋１、Ｒｆ＋１に一致するようにＸ軸方向及びＹ軸方向の移動量ΔＸ２、ΔＹ２を求める。また、ＣＰＵ７２では、照合処理において、図１３（Ｂ）に示すように、３以上の抽出された特徴点のうち少なくとも特徴点Ｐｆ、Ｑｆ、Ｒｆの３点が、それぞれ対応する特徴点Ｐｆ＋１、Ｑｆ＋１、Ｒｆ＋１に一致するように、基準点ｅと、該基準点ｅを中心としたＺ軸方向の軸回りの回転角度βとを求める。
【０１１２】
図１４（Ａ）〜（Ｃ）に、Ｚ軸方向の軸回りに指を移動させた場合の指紋画像の変化の一例を示す。指紋画像検出領域４５０内で、図１４（Ｂ）に示すフレームｆにおける指紋画像４６０を基準に、図１４（Ａ）に示す指紋画像４６２は、Ｚ軸方向の軸回りの（−）方向に指を移動させた場合に相当する。図１４（Ｃ）に示す指紋画像４６４は、Ｚ軸方向の軸回りの（＋）方向に指を移動させた場合に相当する。
【０１１３】
したがって、例えば図１３（Ｂ）に示すような照合処理を行うことによって、図１４（Ａ）〜（Ｃ）に示す指紋画像の変化を、Ｚ軸方向の軸回りの回転角度βとして求めることができる。
【０１１４】
図１０に戻って説明を続ける。ステップＳ４０８で指紋画像の移動ベクトル（より具体的には指紋画像の特徴点のＸ軸方向及びＹ軸方向の移動方向及び移動量）が求められると、ＣＰＵ７２では、（４）式に従ってＸ軸方向の軸回りの回転角度α、（３）式に従ってＹ軸方向の軸回りの回転角度γがそれぞれ求められる。続いて、ＣＰＵ７２では、（１）式に従ってＸ軸方向の移動量Δｘ、（２）式に従ってＹ軸方向の移動量Δｙが求められる（ステップＳ４０９）。次に、終了するときは（ステップＳ４１０：Ｙ）、一連の処理を終了する（エンド）が、終了しないときは（ステップＳ４１０：Ｎ）、ステップＳ４０１に戻る。
【０１１５】
図１５（Ａ）〜（Ｃ）に、Ｙ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせながらＹ軸方向の軸回りに指を回転させている例を示している。したがって、図１５（Ａ）〜（Ｃ）では、指紋画像の重心位置はほとんど変化していない。
【０１１６】
指紋画像検出領域４５０内で、図１５（Ｂ）に示すフレームｆにおける指紋画像４７０を基準に、図１５（Ａ）に示す指紋画像４７２は、Ｙ軸方向の軸回りの（−）方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がＸ軸の（＋）方向に移動する。図１５（Ｃ）に示す指紋画像４７４は、Ｙ軸方向の軸回りの（＋）方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がＸ軸の（−）方向に移動する。この場合、上述の（４）式により、図１５（Ａ）〜（Ｃ）に示す指紋画像の特徴点の移動量に対応した回転角度γが求められる。
【０１１７】
図１６（Ａ）〜（Ｃ）に、Ｘ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせながらＸ軸方向の軸回りに指を回転させている例を示している。したがって、図１６（Ａ）〜（Ｃ）でも、指紋画像の重心位置はほとんど変化していない。
【０１１８】
指紋画像検出領域４５０内で、図１６（Ｂ）に示すフレームｆにおける指紋画像４８０を基準に、図１６（Ａ）に示す指紋画像４８２は、Ｘ軸方向の軸回りの（−）方向に指を回転させた場合に相当し、図１６（Ｃ）に示す指紋画像４８４は、Ｘ軸方向の軸回りの（＋）方向に指を回転させた場合に相当する。すなわち指紋画像の重心位置はほとんど変化せずに、指紋画像の特徴点がＸ軸方向に移動する。この場合、上述の（３）式により、図１６（Ａ）〜（Ｃ）に示す指紋画像の特徴点の移動量に対応した回転角度αが求められる。
【０１１９】
図１７（Ａ）〜（Ｃ）に、Ｘ軸方向に指を移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせてＸ軸方向に指を移動させている例を示している。したがって、図１７（Ａ）〜（Ｃ）では、指紋画像の重心位置の移動ベクトルと、指紋画像の特徴点の移動ベクトルとはほぼ一致する。
【０１２０】
指紋画像検出領域４５０内で、図１７（Ｂ）に示すフレームｆにおける指紋画像４９０を基準に、図１７（Ａ）に示す指紋画像４９２は、Ｘ軸方向の（−）方向に指を移動させた場合に相当し、図１７（Ｃ）に示す指紋画像４９４は、Ｘ軸方向の（＋）方向に指を移動させた場合に相当する。この場合、Ｘ軸方向の移動量Δｘは、指紋画像の特徴点の移動量ΔＸ２とほぼ一致するが、実際には（１）式に示すようにＹ軸方向の軸回りの回転角度γを加味した値が求められることになる。
【０１２１】
図１８（Ａ）〜（Ｃ）に、Ｙ軸方向に指を移動させた場合の指紋画像の変化の一例を示す。ここではユーザが指を、指紋センサ８０の検出面を滑らせてにＹ軸方向に指を移動させている例を示している。したがって、図１８（Ａ）〜（Ｃ）では、指紋画像の重心位置の移動ベクトルと、指紋画像の特徴点の移動ベクトルとはほぼ一致する。
【０１２２】
指紋画像検出領域４５０内で、図１８（Ｂ）に示すフレームｆにおける指紋画像５００を基準に、図１８（Ａ）に示す指紋画像５０２は、Ｙ軸方向の（−）方向に指を移動させた場合に相当し、図１８（Ｃ）に示す指紋画像５０４は、Ｙ軸方向の（＋）方向に指を移動させた場合に相当する。この場合、Ｙ軸方向の移動量Δｙは、指紋画像の特徴点の移動量ΔＹ２とほぼ一致するが、実際には（２）式に示すようにＸ軸方向の軸回りの回転角度αを加味した値が求められることになる。
【０１２３】
以上説明したように、本実施形態における入力装置によれば、例えば指紋等の被検出物の取り込み画像を用いて、６軸方向の制御情報を生成することができる。これにより、６軸方向の制御指示（例えば移動指示）が可能な入力装置を提供することができる。特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、６軸方向の制御指示が可能な入力装置を提供することができる。
【０１２４】
（変形例）
なお上述の実施形態では、指紋画像の特徴点の移動（ΔＸ２、ΔＹ２）を用いて被検出物の検出面の移動量Δｘ、Δｙを検出していたが、これに限定されるものではない。
【０１２５】
例えば、指紋画像の重心位置として（１３）〜（１５）式を用いて求められた重心位置のＸ座標（ＸＧ）及びＹ座標（ＹＧ）を用いて、少なくとも１フレーム以上前の被検出物の画像の重心位置との差分（ΔＸＧ、ΔＹＧ）を求めてもよい。この場合、被検出物の検出面のＸ軸及びＹ軸方向の移動量Δｘ、Δｙは、（１）、（２）式に代えて次式で表すことができる。
【０１２６】
Δｘ＝ΔＸＧ−ａ・γ ・・・（２１）
Δｙ＝ΔＹＧ−ｂ・α ・・・（２２）
また例えば指紋画像の重心位置として、（１９）、（２０）式を用いて求められた重心位置のＸ座標（ＸＧ）及びＹ座標（ＹＧ）を用いて、少なくとも１フレーム以上前の被検出物の画像の重心位置との差分（ΔＸＧ、ΔＹＧ）を求めてもよい。この場合、被検出物の検出面のＸ軸及びＹ軸方向の移動量Δｘ、Δｙは、（１）、（２）式に代えて次式で表すことができる。
【０１２７】
Δｘ＝ΔＸＭ−ａ・γ ・・・（２３）
Δｙ＝ΔＹＭ−ｂ・α ・・・（２４）
いずれの場合にも、本実施形態と同様に６軸方向の制御情報を生成することができる。そして、特に上述の静電容量方式の指紋センサを用いることで、高感度、超小型、超軽量、かつ低消費電力であって、６軸方向の制御指示が可能な入力装置を提供することができる。
【０１２８】
２． 情報装置
図１９に、本実施形態における入力装置が適用されるＩＣカードの構成ブロック図の一例を示す。ＩＣカード６００は、上述した指紋センサを用いた入力装置６１０と、画像生成部（広義には所定の制御対象の制御処理を行う処理部）６２０と、表示部６３０とを含む。入力装置６１０は、図１又は図４で説明した入力装置である。画像生成部６２０は、ＣＰＵ、及びＲＯＭ又はＲＡＭに格納されたソフトウェアプログラムにより実現される。表示部６３０は、ＬＣＤパネル及びその駆動回路により実現される。
【０１２９】
ここで画像生成部６２０は、入力装置６１０から出力された制御情報に基づいて画像データを生成する（広義には制御処理を行う）。より具体的には、入力装置６１０により６軸方向の移動指示に対応して変化する画像の画像データを生成する。表示部６３０は、画像生成部６２０で生成された画像データに基づいて画像表示を行う。
【０１３０】
このような構成のＩＣカード６００では、ユーザが入力装置６００に指の指紋画像を６軸方向に移動させて、移動指示を行うことで、表示部６３０に表示されるポインタを移動させたり、表示部６３０の画像をスクロールさせたりすることができるようになる。
【０１３１】
なおここでは、情報装置としてＩＣカードを例に説明したが、ＰＤＡ、携帯電話、３次元ＣＡＤ装置、仮想現実体験装置又は電子楽器等に本実施形態に係る入力装置を適用することができる。
【０１３２】
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【０１３３】
例えば本実施形態では、指紋センサを用いた入力装置について説明したが、これに限定されるものではなく、指紋以外の２次元又は３次元の物体の画像を取り込んで同様に制御情報を出力させることができる。また検出面を有さない入力装置についても同様に適用することができる。
【０１３４】
また本実施形態では、６軸方向の制御情報として前フレーム（少なくとも１フレーム以上前のフレーム）との差分に対応させて出力させるようにしていたが、これに限定されるものではない。例えば、基準となる原点位置から差分をフレームごとに積算し、６軸方向の制御情報として絶対値を出力させるようにしてもよい。
【０１３５】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【図１】 本実施形態における入力装置の構成ブロック図。
【図２】 ６軸方向の制御情報の説明図。
【図３】 指紋センサを用いた入力装置の概要を示す外観構成図。
【図４】 入力装置のハードウェア構成例を示すブロック図。
【図５】 指紋センサの一例を示す回路構成図。
【図６】 静電容量検出素子の断面図。
【図７】 指紋の山が接触する場合の静電容量検出素子の等価回路図。
【図８】 指紋の谷が対向する場合の静電容量検出素子の等価回路図。
【図９】 図９（Ａ）、（Ｂ）は指紋の特徴点の一例を示す説明図。
【図１０】 入力装置の処理フローの一例を示すフロー図。
【図１１】 図１１（Ａ）〜（Ｃ）はＺ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図１２】 指紋画像の面積の算出処理の負荷を軽減する手法の説明図。
【図１３】 図１３（Ａ）、（Ｂ）は特徴点の照合処理の一例の説明図。
【図１４】 図１４（Ａ）〜（Ｃ）はＺ軸方向の軸回りに指を移動させた場合の指紋画像の変化の一例の説明図。
【図１５】 図１５（Ａ）〜（Ｃ）はＹ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例の説明図。
【図１６】 図１６（Ａ）〜（Ｃ）はＸ軸方向の軸回りに指を回転させて移動させた場合の指紋画像の変化の一例の説明図。
【図１７】 図１７（Ａ）〜（Ｃ）はＸ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図１８】 図１８（Ａ）〜（Ｃ）はＹ軸方向に指を移動させた場合の指紋画像の変化の一例の説明図。
【図１９】 ＩＣカードの構成例を示すブロック図。
【符号の説明】
１０ 入力装置、 ２０ 画像取込部、 ２２ 検出面、 ３０ 画像解析部、
３２ 特徴点抽出部、 ３４ 重心位置算出部、 ３６ 面積算出部、
４０ 差分算出部、 ４２ 特徴点移動検出部、 ４４ 重心位置移動検出部、
４６ 面積変化検出部、 ４８ メモリ、 ５０ 制御情報出力部、
５２ Ｘ軸移動検出部、 ５４ Ｙ軸移動検出部、
５６ Ｘ軸回り回転検出部、 ５８ Ｙ軸回り回転検出部、
６０ Ｚ軸回り回転検出部、 ６２ Ｚ軸移動検出部
Claims (9)
- 被検出物を移動させることにより制御情報を生成する入力装置であって、
検出面を有し、該検出面に接する被検出物の画像を取り込む画像取込部と、
前記画像取込部により取り込まれた画像の重心位置を求める重心位置算出部と、
前記画像取込部により取り込まれた画像の特徴点を抽出する特徴点抽出部と、
少なくとも１フレーム以上前の前記被検出物の画像から抽出された特徴点の位置の分布と、現フレームの前記被検出物の画像から抽出された特徴点の位置の分布との差分を求める差分算出部と、
軸方向移動量検出部及び回転角度検出部を含み、前記差分に対応した制御情報を出力する制御情報出力部と、
を含み、
前記差分算出部は、
少なくとも１フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第１の差分を求める重心位置移動検出部と、
少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第２の差分を求める特徴点位置移動検出部と、
を含み、
前記制御情報出力部は、前記軸方向移動量検出部が、前記第１及び第２の差分に基づいて、前記検出面上の互いに直交する第１及び第２の軸方向の前記被検出物の移動量を検出し、前記回転角度検出部が、前記第１及び第２の差分に基づいて、前記検出面上の互いに直交する第１又は第２の軸回りの前記被検出物の回転角度と、前記検出面に垂直な第３の軸回りの前記被検出物の回転角度とを検出して、これらの検出結果を前記制御情報として出力し、
前記回転角度検出部は、
前記第１の差分の前記第１の軸方向成分から前記第２の差分の前記第１の軸方向成分を差し引いて前記第２の軸回りの回転角度を求めると共に、前記第１の差分の前記第２の軸方向成分から前記第２の差分の前記第２の軸方向成分を差し引いて前記第１の軸回りの回転角度を求めることを特徴とする入力装置。 - 請求項１において、
前記画像取込部により取り込まれた画像の面積を求める面積算出部を、
含み、
前記差分算出部はさらに、
少なくとも１フレーム以上前の前記被検出物の画像の面積と、前記面積算出部により求められた面積との差分を求め、
前記制御情報出力部はさらに、
前記面積に関わる前記差分に対応した制御情報を出力することを特徴とする入力装置。 - 請求項２において、
前記制御情報出力部は、
前記検出面に垂直な第３の軸方向の前記被検出物の移動量に対応した制御情報を出力することを特徴とする入力装置。 - 請求項１において、
前記第２の差分の前記第１の軸方向成分から前記第２の軸回りの回転角度に所与の第１の係数で重み付けされた値を差し引いて、前記第１の軸方向の移動に対応した制御情報を出力し、
前記第２の差分の前記第２の軸方向成分から前記第１の軸回りの回転角度に所与の第２の係数で重み付けされた値を差し引いて、前記第２の軸方向の移動に対応した制御情報を出力することを特徴とする入力装置。 - 請求項１において、
前記第１の差分の前記第１の軸方向成分から前記第２の軸回りの回転角度に所与の第１の係数で重み付けされた値を差し引いて、前記第１の軸方向の移動に対応した制御情報を出力し、
前記第１の差分の前記第２の軸方向成分から前記第１の軸回りの回転角度に所与の第２の係数で重み付けされた値を差し引いて、前記第２の軸方向の移動に対応した制御情報を出力することを特徴とする入力装置。 - 請求項１乃至５のいずれかにおいて、
前記被検出物は、指紋であることを特徴とする入力装置。 - 請求項１乃至６のいずれか記載の入力装置と、
前記入力装置からの制御情報に基づいて制御処理を行う処理部と、
を含むことを特徴とする情報装置。 - 取り込んだ被検出物の画像を用いて制御情報を生成する制御情報生成方法であって、
画像取込部が、検出面に接する前記被検出物の画像を取り込む工程と、
重心位置算出部が、前記画像取込部により取り込まれた画像の重心位置を求める工程と、
特徴点抽出部が、前記画像取込部により取り込まれた前記被検出物の画像の特徴点を抽出する工程と、
差分算出部が、少なくとも１フレーム以上前の前記被検出物の画像から抽出された特徴点の位置の分布と、現フレームの前記被検出物の画像から抽出された特徴点の位置の分布との差分を求める工程と、
制御情報出力部が、前記差分に対応した前記制御情報を出力する工程と、
を有し、
前記差分を求める工程は、
少なくとも１フレーム以上前の前記被検出物の画像の重心位置と、前記重心位置算出部により求められた重心位置との第１の差分を求める工程と、
少なくとも１フレーム以上前の前記被検出物の画像の特徴点の位置と、前記特徴点抽出部により抽出された特徴点の位置との第２の差分を求める工程と、
を含み、
前記制御情報を出力する工程は、前記第１及び第２の差分に基づいて、前記検出面上の互いに直交する第１及び第２の軸方向の前記被検出物の移動量、前記検出面上の互いに直交する第１又は第２の軸回りの前記被検出物の回転角度、並びに前記検出面に垂直な第３の軸回りの前記被検出物の回転角度を検出して、これらの検出結果を前記制御情報として出力する工程を含み、
前記第２の軸回りの回転角度は、前記第１の差分の前記第１の軸方向成分から前記第２の差分の前記第１の軸方向成分を差し引いて求められ、前記第１の軸回りの回転角度は、前記第１の差分の前記第２の軸方向成分から前記第２の差分の前記第２の軸方向成分を差し引いて求められることを特徴とする制御情報生成方法。 - 請求項８において、
面積算出部が、前記検出面に接する被検出物の画像の面積を求める工程をさらに有し、
該面積と、少なくとも１フレーム以上前の前記被検出物の画像の面積との差分を求め、
前記制御情報出力部が、前記検出面と垂直な方向の前記被検出物の移動に応じて、前記差分に対応した制御情報を出力することを制御情報生成方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277455A JP4758594B2 (ja) | 2002-09-24 | 2002-09-24 | 入力装置、情報装置及び制御情報生成方法 |
| US10/654,423 US7324672B2 (en) | 2002-09-24 | 2003-09-04 | Input device, information device, and control information generation method |
| US11/987,637 US7409107B2 (en) | 2002-09-24 | 2007-12-03 | Input device, information device, and control information generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277455A JP4758594B2 (ja) | 2002-09-24 | 2002-09-24 | 入力装置、情報装置及び制御情報生成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007195582A Division JP4229201B2 (ja) | 2007-07-27 | 2007-07-27 | 入力装置、情報装置及び制御情報生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004118311A JP2004118311A (ja) | 2004-04-15 |
| JP4758594B2 true JP4758594B2 (ja) | 2011-08-31 |
Family
ID=32273046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002277455A Expired - Fee Related JP4758594B2 (ja) | 2002-09-24 | 2002-09-24 | 入力装置、情報装置及び制御情報生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7324672B2 (ja) |
| JP (1) | JP4758594B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101016848B1 (ko) * | 2004-03-22 | 2011-02-22 | 엘지전자 주식회사 | 지문 대칭축 추출 방법 |
| JP2005284443A (ja) * | 2004-03-29 | 2005-10-13 | Alps Electric Co Ltd | 指紋センサ |
| FR2869723A1 (fr) * | 2004-04-29 | 2005-11-04 | Thomson Licensing Sa | Element de transition sans contact entre un guide d'ondes et une ligne mocroruban |
| US20050265587A1 (en) * | 2004-06-01 | 2005-12-01 | Schneider John K | Fingerprint image database and method of matching fingerprint sample to fingerprint images |
| JP3734819B1 (ja) * | 2004-07-26 | 2006-01-11 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、および入力装置 |
| JP4471761B2 (ja) * | 2004-07-26 | 2010-06-02 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、および入力装置 |
| JP4739787B2 (ja) * | 2005-03-28 | 2011-08-03 | 富士通株式会社 | 電子機器 |
| JP4418400B2 (ja) * | 2005-05-20 | 2010-02-17 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
| JP4920928B2 (ja) * | 2005-08-08 | 2012-04-18 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
| JP4669423B2 (ja) * | 2006-03-20 | 2011-04-13 | 富士通株式会社 | 電子機器、スクロール制御装置、およびプログラム |
| TWI390452B (zh) * | 2008-10-17 | 2013-03-21 | Acer Inc | 指紋感測裝置與方法以及具指紋感測之觸控裝置 |
| JP2011008529A (ja) * | 2009-06-25 | 2011-01-13 | Hitachi Ltd | 生体認証装置、生体認証方法およびそのプログラム |
| CN106547338A (zh) * | 2015-09-22 | 2017-03-29 | 小米科技有限责任公司 | 指令生成方法及装置 |
| JP6702743B2 (ja) * | 2016-02-01 | 2020-06-03 | 富士通コネクテッドテクノロジーズ株式会社 | 表示装置 |
| US10002284B2 (en) * | 2016-08-11 | 2018-06-19 | Ncku Research And Development Foundation | Iterative matching method and system for partial fingerprint verification |
| WO2018086399A1 (zh) * | 2016-11-14 | 2018-05-17 | 华为技术有限公司 | 一种图像渲染的方法、装置及vr设备 |
| JP2019200719A (ja) * | 2018-05-18 | 2019-11-21 | 株式会社東海理化電機製作所 | 生体情報センサ装置及び生体情報の登録方法 |
| TWI673655B (zh) * | 2018-11-13 | 2019-10-01 | 大陸商北京集創北方科技股份有限公司 | 防類指紋侵入的感測圖像處理方法及其觸控裝置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69232183T2 (de) * | 1991-03-11 | 2002-06-20 | Nippon Telegraph And Telephone Corp., Tokio/Tokyo | Verfahren und Gerät zur Bildverarbeitung |
| JPH0540571A (ja) | 1991-08-02 | 1993-02-19 | Seiko Epson Corp | ３次元位置入力方法および３次元位置入力装置 |
| US5687249A (en) * | 1993-09-06 | 1997-11-11 | Nippon Telephone And Telegraph | Method and apparatus for extracting features of moving objects |
| JPH0793089A (ja) | 1993-09-22 | 1995-04-07 | Hitachi Ltd | 画像編集装置 |
| US5960101A (en) * | 1996-08-30 | 1999-09-28 | Printrak International, Inc. | Expert matcher fingerprint system |
| JPH10105707A (ja) * | 1996-09-25 | 1998-04-24 | Sony Corp | 画像照合装置 |
| JP3793977B2 (ja) * | 1997-01-30 | 2006-07-05 | ソニー株式会社 | 画像照合装置 |
| JP3102395B2 (ja) * | 1997-11-27 | 2000-10-23 | 日本電気株式会社 | 指紋検出装置 |
| CA2273560A1 (en) | 1998-07-17 | 2000-01-17 | David Andrew Inglis | Finger sensor operating technique |
| JP3415492B2 (ja) * | 1999-06-24 | 2003-06-09 | Ｎｅｃエレクトロニクス株式会社 | 指紋照合システムとその指紋照合方法 |
| US6509847B1 (en) * | 1999-09-01 | 2003-01-21 | Gateway, Inc. | Pressure password input device and method |
| US7859519B2 (en) | 2000-05-01 | 2010-12-28 | Tulbert David J | Human-machine interface |
| US6898301B2 (en) * | 2000-07-10 | 2005-05-24 | Casio Computer Co., Ltd. | Authentication system based on fingerprint and electronic device employed for the system |
| US7986820B2 (en) * | 2001-10-19 | 2011-07-26 | Mitsubishi Electric Research Laboratories, Inc. | Method for comparing features extracted from images of fingerprints |
| KR100453220B1 (ko) * | 2001-12-05 | 2004-10-15 | 한국전자통신연구원 | 지문 특징점을 이용한 사용자 인증 장치 및 방법 |
| JP2003303048A (ja) | 2002-02-06 | 2003-10-24 | Fujitsu Component Ltd | 入力装置、ポインタ制御方法 |
-
2002
- 2002-09-24 JP JP2002277455A patent/JP4758594B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-04 US US10/654,423 patent/US7324672B2/en active Active
-
2007
- 2007-12-03 US US11/987,637 patent/US7409107B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7409107B2 (en) | 2008-08-05 |
| JP2004118311A (ja) | 2004-04-15 |
| US20040107301A1 (en) | 2004-06-03 |
| US20080089564A1 (en) | 2008-04-17 |
| US7324672B2 (en) | 2008-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4059047B2 (ja) | 入力装置、情報装置及び制御情報生成方法 | |
| US7409107B2 (en) | Input device, information device, and control information generation method | |
| JP4522043B2 (ja) | 情報装置及び表示制御方法 | |
| US8736568B2 (en) | Two-dimensional touch sensors | |
| US6400836B2 (en) | Combined fingerprint acquisition and control device | |
| KR101007045B1 (ko) | 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법 | |
| JP6075110B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JPH02132510A (ja) | 入力装置 | |
| TWI461962B (zh) | 用以執行多手指手勢功能之計算裝置及方法 | |
| JP4229201B2 (ja) | 入力装置、情報装置及び制御情報生成方法 | |
| JP4683098B2 (ja) | 入力装置、情報装置及び制御情報生成方法 | |
| JP4059049B2 (ja) | 入力装置、情報装置及び制御情報生成方法 | |
| JP4605280B2 (ja) | 入力装置、情報装置及び制御情報生成方法 | |
| WO2019134606A1 (zh) | 终端的控制方法、装置、存储介质及电子设备 | |
| KR101535738B1 (ko) | 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 | |
| US20220050528A1 (en) | Electronic device for simulating a mouse | |
| US20180039810A1 (en) | Semiconductor device | |
| JP4215110B2 (ja) | 入力装置、情報装置及び制御情報生成方法 | |
| KR20150076574A (ko) | 공간 터치 방법 및 공간 터치 장치 | |
| TW201419087A (zh) | 微體感偵測模組及其微體感偵測方法 | |
| Pullan et al. | High Resolution Touch Screen Module | |
| CN117991964A (zh) | 一种显示控制方法和电子设备 | |
| Erdem | Vision-based human-computer interaction using laser pointer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070727 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070727 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080131 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110408 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110603 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |