TWI512550B - A method and a module for identifying a user of a mobile device, and a computer program product - Google Patents

A method and a module for identifying a user of a mobile device, and a computer program product Download PDF

Info

Publication number
TWI512550B
TWI512550B TW103122478A TW103122478A TWI512550B TW I512550 B TWI512550 B TW I512550B TW 103122478 A TW103122478 A TW 103122478A TW 103122478 A TW103122478 A TW 103122478A TW I512550 B TWI512550 B TW I512550B
Authority
TW
Taiwan
Prior art keywords
distribution ratio
ratio range
range
change
angle
Prior art date
Application number
TW103122478A
Other languages
English (en)
Other versions
TW201601011A (zh
Inventor
Deron Liang
Chien Cheng Lin
Original Assignee
Univ Nat Central
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Central filed Critical Univ Nat Central
Priority to TW103122478A priority Critical patent/TWI512550B/zh
Priority to US14/528,822 priority patent/US9336374B2/en
Application granted granted Critical
Publication of TWI512550B publication Critical patent/TWI512550B/zh
Publication of TW201601011A publication Critical patent/TW201601011A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/68—Gesture-dependent or behaviour-dependent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Description

識別行動裝置之使用者之方法及模組、電腦程式產品
本發明有關於一種電子裝置，特別有關於一種識別行動裝置之使用者之方法及模組、電腦程式產品。
隨著智慧型手機普及化及多功能化，越來越多使用者於生活中藉由智慧型手機來上網、拍照、聽音樂、看影片及分享資訊，然而，使用智慧型手機雖可大幅提高使用者在生活上的便利性，但儲存在智慧型手機內或遠端服務的資料越多，相對的資料隱私卻也是亟需克服的問題。
目前市面上既有的智慧型手機之保護機制不外乎是圖形鎖或密碼鎖，這類防護機制的解鎖式樣容易被他人窺視而得知，當他人取得該智慧型手機並輸入所窺視得知之密碼，便可使用該智慧型手機並存取其中或遠端的資料。如此的保護機制易遭惡意之人輕易的破解。
鑒於上述問題，本發明提供一種識別行動裝置之使用者之方法及模組、電腦程式產品，採用智慧型手機內建之方位感測器及觸控螢幕感測器，在使用者操作智慧型手機之過程中，收集使用者握持及操作智慧型手機之行為特徵來做驗證，以形成新世代的智慧型手機保護機制，提供智慧型手機更強的防護。
本發明之第一態樣係提供一種識別一行動裝置之一使用者之模組，該行動裝置具有一方位感測器及一觸控螢幕感測器，該模組包括：一行為特徵轉換元件，用於將該方位感測器及該觸控螢幕感測器感測該行動裝置之操作之複數個行為資料配合時間戳記進行計算，以獲得複數個行為特徵量，並使用統計方法以構成直方圖之方式將多筆該等行為特徵量轉換為一行為特徵圖樣；以及一識別機制核心元件，用於判斷該行為特徵圖樣與為直方圖之方式之一行為特徵模型圖樣是否相符。
本發明之第二態樣係提供一種識別一行動裝置之一使用者之方法，該行動裝置具有一方位感測器及一觸控螢幕感測器，該方法包括下列步驟：由該方位感測器及該觸控螢幕感測器感測該行動裝置之操作，以獲得複數個行為資料；由一行為特徵轉換單元將該等行為資料配合時間戳記進行計算，以獲得複數個行為特徵量；由該行為特徵轉換單元使用統計方法以構成直方圖之方式將多筆該等行為特徵量轉換為一行為特徵圖樣；以及由一識別機制核心元件判斷該行為特徵圖樣與為直方圖之方式之一行為特徵模型圖樣是否相符。
本發明之第三態樣係提供一種內儲一程式之電腦程式產品，在一行動裝置或一電腦載入該程式並執行後，可完成本發明第二態樣之方法。
10‧‧‧智慧型手機
12‧‧‧方位感測器
14‧‧‧觸控螢幕感測器
16‧‧‧識別模組
18‧‧‧行為特徵轉換元件
20‧‧‧識別機制核心元件
22‧‧‧觸控螢幕
圖1為本發明之識別智慧型手機使用者之操作的方塊圖；圖2A為本發明之感測智慧型手機之磁力軸方位角度的示意圖；圖2B為本發明之感測智慧型手機之仰角角度的示意圖；圖2C為本發明之感測智慧型手機之左右翻滾角度的示意圖；圖3A及3B為本發明之在觸控螢幕上滑動軌跡之示意圖；圖4為本發明之操作軌跡的位置與發生比例之關係的直方圖；以及圖5為本發明之識別智慧型手機使用者之操作的流程圖。
為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之較佳實施例，並配合所附圖式，詳細說明本發明的構成內容及所欲達成之功效。
圖1為本發明之識別智慧型手機使用者之操作的方塊圖。在圖1中，作為一行動裝置之一智慧型手機10包括一方位感測器12、一觸控螢幕感測器14及一觸控螢幕22，用以識別智慧型手機10之使用者之識別模組16包括一行為特徵轉換元件18及一識別機制核心元件20。
本發明之識別智慧型手機使用者之操作機制及模組若嵌入於app(如Facebook、Gmail app等)中，則在使用者使用該app過程中，智慧型手機10可感測針對該app之執行的所有手機之握持與操作行為資訊，藉此保護該app不被非智慧型手機之持有人開啟及操作。識別智慧型手機使用者之操作機制及模組若嵌入於作業系統中，智慧型手機10可感測手機中所有的握持與操作行為資訊，藉 此保護指定的app或整個系統不被非智慧型手機之持有人開啟及操作。
識別模組16建構於智慧型手機10之一作業系統或一應用程式(app)內、或者建構於一伺服器(未圖示)中。當識別模組16建構於伺服器中時，方位感測器12所感測之數個磁力軸方位角度(Azimuth)、仰角角度(Pitch)、左右翻滾角度(Roll)及時間戳記(Timestamp)及觸控螢幕感測器14所感測之數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等經由網路傳送至行為特徵轉換元件18，識別機制核心元件20進行分類判斷之結果經由網路傳送至智慧型手機10。
觸控螢幕22可顯示各種頁面(如資訊瀏覽或功能操作等頁面)，智慧型手機10之處理器(未圖示)將所要顯示之頁面的資料傳送至觸控螢幕22，而由觸控螢幕22來顯示頁面。使用者可於觸控螢幕22上輸入資料或滑動頁面等操作，觸控螢幕22將所輸入的資料或操作信號傳送至處理器。
使用者在操作智慧型手機10時，如圖2A為本發明之感測智慧型手機之磁力軸方位角度的示意圖、圖2B為本發明之感測智慧型手機之仰角角度的示意圖與圖2C為本發明之感測智慧型手機之左右翻滾角度的示意圖所示，於使用者在一個操作動作中藉由方位感測器12來感測智慧型手機10之磁力軸方位角度、仰角角度、左右翻滾角度及時間戳記等數值。方位感測器12將所感測之該等數值傳送至行為特徵轉換元件18。其中，每一筆智慧型手機10之磁力軸方位角度、仰角角度及左右翻滾角度等數值會對應一時間戳記，該時間戳記係智慧型手機10的系統時間。
圖3A及3B為本發明之在觸控螢幕上滑動軌跡之示意圖。當使用者在觸控螢幕22(見圖1)上滑動而進行操作時，觸控螢幕感測器14將感測數個觸碰螢幕位置(X軸位置及Y軸位置)、觸碰螢幕面積(面積大小)、施力值(壓力大小)及時間戳記等數值，如圖3A及3B所示。觸控螢幕感測器14將所感測之該等數值傳送至行為特徵轉換元件18。其中，每一筆觸碰螢幕位置、觸碰螢幕面積及施力值會對應一時間戳記，該時間戳記係智慧型手機10的系統時間。
在本實施例中，方位感測器12所感測之磁力軸方位角度、仰角角度、左右翻滾角度及時間戳記等數值經由行為特徵轉換元件18計算而可轉換成33個使用者之行為特徵量，觸控螢幕感測器14將感測數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等數值經由行為特徵轉換元件18計算而可轉換成16個使用者之行為特徵量。然而，本實施例所轉換之行為特徵量之個數並非用以侷限本發明，可依應用程式之設計來決定行為特徵量之個數。
由方位感測器12進行感測之使用者的握持行為特徵是以智慧型手機10之三軸(即磁力軸方位角度、仰角角度、左右翻滾角度)數值由行為特徵轉換元件18進行計算而得到以角度變化、角速度變化與角加速度變化為基礎之絕對角度或相對角度的變化範圍、平均值的變化範圍以及標準差之變化範圍，並將計算所得之其行為特徵量進行直方圖(Histogram)之特徵量化與轉換。經轉換後，相應方位感測器12所感測之智慧型手機10之三軸數值的行為特徵量共有33個。
握持智慧型手機10之習慣姿勢1(操作習慣之行為特徵量)： 角度變化之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角角度 Θ p ，2.智慧型手機10的左右翻轉角度 Θ r ，3.智慧型手機10的前後與左右翻轉複合角度 Θ h ，角速度變化之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角角速度Vp ，2.智慧型手機10左右翻轉傾角的角速度Vr ，3.智慧型手機10前後與左右翻轉複合角的角速度Vh ，4.智慧型手機10之磁力軸的方位角的角速度Vy ，角加速度變化之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角的角加速度ap ，2.智慧型手機10左右翻轉傾角的角加速度ar ，3.智慧型手機10前後與左右翻轉複合角的角加速度ah ，4.智慧型手機10之磁力軸的方位角的角加速度ay ，握持智慧型手機10之習慣姿勢2(平均值相關之行為特徵量)：角度變化平均值之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角角度 Θ p ，2.智慧型手機10的左右翻轉角度 Θ r ，3.智慧型手機10的前後與左右翻轉複合角度 Θ h ，角速度變化平均值之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角角速度Vp ，2.智慧型手機10左右翻轉傾角的角速度Vr ，3.智慧型手機10前後與左右翻轉複合角的角速度Vh ，4.智慧型手機10之磁力軸的方位角的角速度Vy ， 角加速度變化平均值之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角的角加速度ap ，2.智慧型手機10左右翻轉傾角的角加速度ar ，3.智慧型手機10前後與左右翻轉複合角的角加速度ah ，4.智慧型手機10之磁力軸的方位角的角加速度ay ，握持智慧型手機10習慣之穩定度(標準差相關之行為特徵量)：角度變化標準差之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角角度 Θ p ，2.智慧型手機10的左右翻轉角度 Θ r ，3.智慧型手機10的前後與左右翻轉複合角度 Θ h ，角速度變化標準差之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角角速度Vp ，2.智慧型手機10左右翻轉傾角的角速度Vr ，3.智慧型手機10前後與左右翻轉複合角的角速度Vh ，4.智慧型手機10之磁力軸的方位角的角速度Vy ，角加速度變化標準差之分佈比例範圍：1.智慧型手機10前後翻轉時的仰角的角加速度ap ，2.智慧型手機10左右翻轉傾角的角加速度ar ，3.智慧型手機10前後與左右翻轉複合角的角加速度ah ，4.智慧型手機10之磁力軸的方位角的角加速度ay ，其中，基於智慧型手機10之三軸的行為特徵量之定義與計算公式： 智慧型手機10的前後與左右翻轉複合角度角速度計算公式：v θ =(Θ k -Θ k -1 )/(t k -t k -1 )，v θ 為角度變化之Vp 、Vr 、Vh 、Vy ，Θ為角度變化之Θ p 、Θ r 、Θ h ，t為時間戳記，角加速度計算公式：a θ =(v k -v k -1 )/(t k -t k -1 )，a θ 為角度變化之ap 、ar 、ah 、ay ，v 為角度變化之Vp 、Vr 、Vh 、Vy ，平均值計算公式： 角度：，Θ i 為角度變化之Θ p 、Θ r 、Θ h ， 角速度：，為角度變化之Vp 、Vr 、Vh 、Vy ， 角加速度：，為角度變化之ap 、ar 、ah 、ay ， 標準差計算公式： 角度：角速度：角加速度：
觸控螢幕感測器14能夠感測使用者於操作智慧型手機10的過程中，使用者在觸控螢幕22之2維平面上所碰觸的位置以及碰觸該觸控螢幕22時的面積與施力(壓力)大小。因此，使用者操作智慧型手機10的行為特徵，依據特性區可分三類：觸控的軌跡(Trajectory)、觸控軌跡的動作(速度與加速度)、以及觸控該觸控螢幕22專有之特徵(碰觸的面積與壓力)，共16個以觸控螢幕感測器14 所感測之數值為基礎經行為特徵轉換元件18所計算轉換之行為特徵量。
基於觸控螢幕感測器14所感測之數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等數值之行為特徵定義與計算公式：1.智慧型手機10之操作軌跡之X軸絕對座標的起始位置Xstart ，2.智慧型手機10之操作軌跡之Y軸絕對座標的起始位置Ystart ，3.智慧型手機10之操作軌跡之X軸絕對座標的結束位置Xend ，4.智慧型手機10之操作軌跡之Y軸絕對座標的結束位置Yend ，5.智慧型手機10之操作軌跡以畫面分割進行標號量化的位置，6.智慧型手機10之操作軌跡的距離D起始座標(Xstart ,Ystart )與結束座標(Xend ,Yend )的直線距離 7.智慧型手機10之操作軌跡的水平距離Dh 起始座標(Xstart ,Ystart )與結束座標(Xend ,Yend )之兩個X軸位置的直線距離D h =X end -X start ，8.智慧型手機10之操作軌跡的垂直距離Dv 起始座標(Xstart ,Ystart )與結束座標(Xend ,Yend )之兩個Y軸位置的直線距離D v =Y end -Y start ，9.智慧型手機10之操作軌跡的路徑長度Path，以取樣為基準，起始座標(Xstart ,Ystart )與結束座標(Xend ,Yend )的路徑距離 10.智慧型手機10之操作軌跡的正切角度θk ，以取樣為基準，垂直距離D v_k =Y k -Y k -1 ；水平距離D h_k =X k -X k -1 ；θ k =tan-1 (D v_k /D h_k ),11.智慧型手機10之操作軌跡的曲率Ck，以取樣為基準，垂直距離D v_k =Y k -Y k -1 ；水平距離D h_k =X k -X k -1 ；θ k =tan-1 (D v_k /D h_k ), 12.智慧型手機10之操作軌跡的時間戳記t(ms)，在觸控螢幕22上每次滑動的時間，13.智慧型手機10之操作軌跡的速度變化vk ，以取樣為基準，v k =Path k /t k ,14.智慧型手機10之操作軌跡的加速度變化ak ，以取樣為基準， 15.智慧型手機10之螢幕操作軌跡上的觸碰螢幕面積變化，直接採用智慧型手機出廠正規化的設定值(0~1)，16.智慧型手機10之螢幕操作軌跡上的施力值(壓力大小)變化，直接採用智慧型手機出廠正規化的設定值(0~1)。
當使用者在觸控螢幕22上滑動一次時，智慧型手機10會產生一筆由方位感測器12所感測之數個磁力軸方位角度、仰角角度、左右翻滾角度及時間戳記與觸控螢幕感測器14所感測之數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等數值，方位感測器12及觸控螢幕感測器14將一筆該等數值傳送至行為特徵轉換元件18後，行為特徵轉換元件18將一筆該等數值計算轉換成一筆上述為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量，使用者在觸控螢幕上滑動多次，經由前述之感測與計算轉換後，行為特徵轉換元件18會產生多筆上述為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量。
行為特徵轉換元件18產生多筆為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量後，將多筆為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量以統計方式構成為直方圖上之數個行為特徵圖樣，以圖4為本發明之操作軌跡的位置與發生比例之關係的直方圖為例，使用者1在33個行為特徵量中之操作軌跡的位置有高發生比例係集中在170至220之間，使用者2在33個行為特徵量中之操作軌跡的位置有高發生比例係集中在90至180之間，如此可發現不同的使用者在操作智慧型手機10有不同的習慣。
行為特徵轉換元件18欲建立相應智慧型手機10之持有人之一行為特徵模型圖樣(相似圖4在直方圖上之圖樣)，則需要更多筆為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量以統計方式構成為直方圖上之數個行為特徵模型圖樣，若為握持行為特徵之33個行為特徵量及為操作行為特徵之16個 行為特徵量的數量越多而建立之行為特徵模型圖樣，則由識別機制核心元件20對行為特徵模型圖樣與行為特徵圖樣進行分類判斷所產生的結果就越準確。
識別機制核心元件20使用一分類器演算法對行為特徵模型圖樣與行為特徵圖樣進行分類判斷，若行為特徵模型圖樣與行為特徵圖樣相符則分類判斷的結果為真，則表示使用者對智慧型手機10的操作動作行為與預先建立之行為特徵模型一致，亦即操作智慧型手機10之使用者為智慧型手機10的持有人；反之則分類判斷的結果為假。
識別機制核心元件20可以採用現有常見之分類器(Classifiers)演算法來建構，並無特殊限制，例如：加權最近鄰居(Weighted K-Nearest-Neighbor,W-kNN)、支持向量機器(Support Vector Machine,SVM)、類神經網路(Neural Network,Multi-Layer Perceptron,MLP)、貝氏(Bayes)、決策樹(Decision Tree)等各類演算法。
識別機制核心元件20將由行為特徵轉換元件18所建立之相應智慧型手機10之持有人之行為特徵模型圖樣進行訓練，為了增加行為特徵模型圖樣與行為特徵圖樣進行分類判斷的準確性，可加入一或多個非智慧型手機10之持有人之行為特徵模型圖樣於識別機制核心元件20中進行訓練，如此可增加識別機制核心元件20分類判斷行為特徵模型圖樣與行為特徵圖樣之準確性。其中，非智慧型手機10之持有人之行為特徵模型圖樣可由系統供應商或程式設計者等提供。
圖5為本發明之識別智慧型手機使用者之操作的流程 圖。在說明圖5之流程步驟時參考圖1至4。
智慧型手機10包括一方位感測器12、一觸控螢幕感測器14及一觸控螢幕22，識別模組16包括一行為特徵轉換元件18及一識別機制核心元件20。識別模組16可建構於智慧型手機10之一作業系統或一應用程式(app)內。
在另一實施例中，識別模組16可建構於一伺服器(未圖示)中。當識別模組16建構於伺服器中時，方位感測器12所感測之數個磁力軸方位角度、仰角角度、左右翻滾角度及時間戳記及觸控螢幕感測器14所感測之數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等經由網路傳送至行為特徵轉換元件18，而識別機制核心元件20進行分類判斷之結果經由網路傳送至智慧型手機10。
其中，智慧型手機10係作為感測使用者之行為特徵，用於即時性的監控使用者的行為；行為特徵轉換元件18與識別機制核心元件20則是實作於遠端的伺服器上，透過遠端的伺服器硬體的效能，提供運算服務。
在圖5之實施例中，以識別智慧型手機使用者之操作機制及模組嵌入於「Facebook」之app中為例，智慧型手機10之使用者於觸控螢幕22上的應用程式頁面點選「Facebook」圖樣。當使用者點選「Facebook」之圖樣時，智慧型手機10啟動識別智慧型手機使用者之操作機制及模組(步驟S60)。
使用者在觸控螢幕22上滑動一次時，智慧型手機10會產生一筆由方位感測器12所感測之數個磁力軸方位角度、仰角角度、左右翻滾角度及時間戳記與觸控螢幕感測器14所感測之數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等數值(步驟S62)。
方位感測器12及觸控螢幕感測器14將一筆該等數值傳送至行為特徵轉換元件18後，行為特徵轉換元件18將一筆以智慧型手機10之三軸(即磁力軸方位角度、仰角角度、左右翻滾角度)數值進行如上所述之計算而得到33個以角度變化、角速度變化與角加速度變化為基礎之絕對角度或相對角度的變化範圍、平均值的變化範圍以及標準差之變化範圍之行為特徵量。行為特徵轉換元件18將一筆觸控的軌跡(Trajectory)、觸控軌跡的動作(速度與加速度)、以及觸控該觸控螢幕22專有之特徵(碰觸的面積與壓力)等數值進行如上所述之計算而得到16個行為特徵量(步驟S64)。
使用者在觸控螢幕22上多次的滑動，多筆由方位感測器12所感測之數個磁力軸方位角度、仰角角度、左右翻滾角度及時間戳記與觸控螢幕感測器14所感測之數個觸碰螢幕位置、觸碰螢幕面積、施力值及時間戳記等數值傳送至行為特徵轉換元件18，行為特徵轉換元件18進行如上所述之計算而得到多筆為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量。行為特徵轉換元件18將多筆該等多個行為特徵量進行直方圖之特徵量化與轉換，即以統計方式在直方圖中建立相應每一行為特徵量之一行為特徵量圖樣，例如圖4所示在直方圖中行為特徵量中之操作軌跡的位置之行為特徵量圖樣(步驟S66)。
行為特徵轉換元件18將多筆相應每一行為特徵量之行為特徵量圖樣傳送至識別機制核心元件20，識別機制核心元件20使用上述之分類器演算法根據在直方圖上之一行為特徵模型圖樣來對該行為特徵圖樣進行分類判斷，以判斷使用智慧型手機10之使用者是否為智慧型手機10之持有人(步驟S68)。
其中建立相應智慧型手機10之持有人之行為特徵模型圖樣(相似圖4在直方圖上之圖樣)係以更多筆為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量以統計方式構成在直方圖上之相應每一行為特徵量之數個行為特徵模型圖樣，若為握持行為特徵之33個行為特徵量及為操作行為特徵之16個行為特徵量的數量越多而建立之行為特徵模型圖樣，則由識別機制核心元件20對行為特徵模型圖樣與行為特徵圖樣進行分類判斷所產生的結果就越準確。
若識別機制核心元件20對行為特徵模型圖樣與行為特徵圖樣進行分類判斷的結果為假，亦即行為特徵模型圖樣與行為特徵圖樣不相符，表示操作智慧型手機10之使用者不為智慧型手機10之持有人，則識別機制核心元件20發出一錯誤信號給智慧型手機10，以使智慧型手機10在觸控螢幕22上顯示一錯誤訊息，或者顯示主頁面而停止使用者操作「Facebook」app等程序(步驟S70)；若識別機制核心元件20對行為特徵模型圖樣與行為特徵圖樣進行分類判斷的結果為真，亦即行為特徵模型圖樣與行為特徵圖樣相符，表示操作智慧型手機10之使用者為智慧型手機10之持有人，則識別機制核心元件20發出一正確信號給智慧型手機10，可讓使用者持續操作「Facebook」app(步驟S72)。
在另一實施例中，當行為特徵轉換元件18及識別機制核心元件20建構於伺服器(未圖示)中時，在步驟S64中，方位感測器12及觸控螢幕感測器14經由網路將上述所感測之數值傳送至行為特徵轉換元件18，在步驟S70、S72中，識別機制核心元件20發出一錯誤信號或一正確信號給智慧型手機10，而未敘明之流程步驟與上 述實施例之流程步驟相同，並省略其說明。
本發明之上述識別智慧型手機使用者之方法可以一電腦程式產品來完成，在智慧型手機例如從網路下載該電腦程式產品並執行後，便可完成如上述說明及圖式中所示之方法步驟。
本發明提供一種識別行動裝置之使用者之方法及模組、電腦程式產品，採用智慧型手機內建之方位感測器及觸控螢幕感測器，在使用者操作智慧型手機之過程中，收集使用者握持及操作智慧型手機之行為特徵來做驗證，以形成新世代的智慧型手機保護機制，提供智慧型手機更強的防護。
雖然本發明已參照較佳具體例及舉例性附圖敘述如上，惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化，均不離開本發明之範圍。
10‧‧‧智慧型手機
12‧‧‧方位感測器
14‧‧‧觸控螢幕感測器
16‧‧‧識別模組
18‧‧‧行為特徵轉換元件
20‧‧‧識別機制核心元件
22‧‧‧觸控螢幕

Claims (17)

  1. 一種識別一行動裝置之一使用者之模組，該行動裝置具有一方位感測器及一觸控螢幕感測器，該模組包括：一行為特徵轉換元件，用於將該方位感測器及該觸控螢幕感測器感測該行動裝置之操作之複數個行為資料配合時間戳記進行計算，以獲得複數個行為特徵量，並使用統計方法以構成直方圖之方式將多筆該等行為特徵量轉換為一行為特徵圖樣；以及一識別機制核心元件，用於判斷該行為特徵圖樣與為直方圖之方式之一行為特徵模型圖樣是否相符。
  2. 如申請專利範圍第1項之模組，其中，該行為特徵轉換元件將一行動裝置持有人操作該行動裝置之複數個行為資料配合時間戳記進行計算，以獲得該行動裝置持有人之複數個行為特徵量，並對多筆該等個行為特徵量進行統計而得為直方圖之方式之該行為特徵模型圖樣。
  3. 如申請專利範圍第1或2項之模組，其中，該等行為資料包括：由該方位感測器所感測之磁力軸方位角度、前後翻轉角度、左右翻轉角度之至少一者；以及由該觸控螢幕感測器所感測之觸碰螢幕位置、觸碰螢幕面積、施力值之至少一者。
  4. 如申請專利範圍第1或2項之模組，其中，該等行為特徵量包括：自該方位感測器所感測之該等行為資料所轉換之下列特徵量的至少一者：前後翻轉角度變化之分佈比例範圍，左右翻轉角度變化之分佈比例範圍， 前後與左右翻轉複合角度變化之分佈比例範圍；前後翻轉角速度變化之分佈比例範圍，左右翻轉角速度變化之分佈比例範圍，前後與左右翻轉複合角速度變化之分佈比例範圍，磁力軸的方位角速度變化之分佈比例範圍；前後翻轉角加速度變化之分佈比例範圍，左右翻轉角加速度變化之分佈比例範圍，前後與左右翻轉複合角加速度變化之分佈比例範圍，磁力軸的方位角加速度變化之分佈比例範圍；前後翻轉角度變化平均值之分佈比例範圍，左右翻轉角度變化平均值之分佈比例範圍，前後與左右翻轉複合角度變化平均值之分佈比例範圍；前後翻轉角速度變化平均值之分佈比例範圍，左右翻轉角速度變化平均值之分佈比例範圍，前後與左右翻轉複合角速度變化平均值之分佈比例範圍，磁力軸的方位角速度變化平均值之分佈比例範圍；前後翻轉角加速度變化平均值之分佈比例範圍，左右翻轉角加速度變化平均值之分佈比例範圍，前後與左右翻轉複合角加速度變化平均值之分佈比例範圍，磁力軸的方位角加速度變化平均值之分佈比例範圍；前後翻轉角度變化標準差之分佈比例範圍，左右翻轉角度變化標準差之分佈比例範圍，前後與左右翻轉複合角度變化標準差之分佈比例範圍；前後翻轉角速度變化標準差分佈比例範圍，左右翻轉角速度變化標準差分佈比例範圍， 前後與左右翻轉複合角速度變化標準差分佈比例範圍，磁力軸的方位角速度變化標準差分佈比例範圍；前後翻轉角加速度變化標準差之分佈比例範圍，左右翻轉角加速度變化標準差之分佈比例範圍，前後與左右翻轉複合角加速度變化標準差之分佈比例範圍，磁力軸的方位角加速度變化標準差之分佈比例範圍；以及自該觸控螢幕感測器所感測之該等行為資料所轉換之下列特徵量的至少一者：操作軌跡起始位置之X軸絕對座標，操作軌跡起始位置之Y軸絕對座標，操作軌跡結束位置之X軸絕對座標，操作軌跡結束位置之Y軸絕對座標，操作軌跡以畫面分割進行標號量化的位置，操作軌跡起始位置與結束位置的直線距離，操作軌跡起始位置與結束位置的X軸方向距離，操作軌跡起始位置與結束位置的Y軸方向距離，操作軌跡的路徑長度，操作軌跡上的正切角度變化，操作軌跡上的曲率變化，操作軌跡所花費時間的變化，操作軌跡上的速度變化，操作軌跡上的加速度變化，操作軌跡上的觸碰螢幕面積，操作軌跡上的施力值。
  5. 如申請專利範圍第1或2項之模組，其中，該識別機制核心元 件使用一分類器演算法根據該行為特徵模型圖樣對該行為特徵圖樣進行分類，以判斷該行為特徵圖樣與該行為特徵模型圖樣是否相符。
  6. 如申請專利範圍第5項之模組，其中，該分類器演算法係一加權最近鄰居(Weighted K-Nearest-Neighbor)演算法、一支持向量機器演算法、一類神經網路演算法、一貝式(Bayes)演算法或一決策樹演算法。
  7. 如申請專利範圍第1項之模組，其中，該行動裝置為一智慧型手機。
  8. 如申請專利範圍第1項之模組，其中，該模組建構於該行動裝置中。
  9. 一伺服器，包含如申請專利範圍第1至7項中任一項所述之模組，用以在遠端識別該行動裝置之使用者。
  10. 一種識別一行動裝置之一使用者之方法，該行動裝置具有一方位感測器及一觸控螢幕感測器，該方法包括下列步驟：由該方位感測器及該觸控螢幕感測器感測該行動裝置之操作，以獲得複數個行為資料；由一行為特徵轉換單元將該等行為資料配合時間戳記進行計算，以獲得複數個行為特徵量；由該行為特徵轉換單元使用統計方法以構成直方圖之方式將多筆該等行為特徵量轉換為一行為特徵圖樣；以及由一識別機制核心元件判斷該行為特徵圖樣與為直方圖之方式之一行為特徵模型圖樣是否相符。
  11. 如申請專利範圍第10項之方法，其中，由該行為特徵轉換元件將一行動裝置持有人之操作該行動裝置之複數個行為資料配合 時間戳記進行計算，以獲得該行動裝置持有人之複數個行為特徵量，並對多筆該等個行為特徵量進行統計而得為直方圖之方式之該行為特徵模型圖樣。
  12. 如申請專利範圍第10或11項之方法，其中，該等行為資料包括：由該方位感測器所感測之磁力軸方位角度、前後翻轉角度、左右翻轉角度之至少一者；以及由該觸控螢幕感測器所感測之觸碰螢幕位置、觸碰螢幕面積、施力值之至少一者。
  13. 如申請專利範圍第10或11項之方法，其中，該等行為特徵量包括：自該方位感測器所感測之該等行為資料所轉換之下列特徵量的至少一者：前後翻轉角度變化之分佈比例範圍，左右翻轉角度變化之分佈比例範圍，前後與左右翻轉複合角度變化之分佈比例範圍；前後翻轉角速度變化之分佈比例範圍，左右翻轉角速度變化之分佈比例範圍，前後與左右翻轉複合角速度變化之分佈比例範圍，磁力軸的方位角速度變化之分佈比例範圍；前後翻轉角加速度變化之分佈比例範圍，左右翻轉角加速度變化之分佈比例範圍，前後與左右翻轉複合角加速度變化之分佈比例範圍，磁力軸的方位角加速度變化之分佈比例範圍；前後翻轉角度變化平均值之分佈比例範圍， 左右翻轉角度變化平均值之分佈比例範圍，前後與左右翻轉複合角度變化平均值之分佈比例範圍；前後翻轉角速度變化平均值之分佈比例範圍，左右翻轉角速度變化平均值之分佈比例範圍，前後與左右翻轉複合角速度變化平均值之分佈比例範圍，磁力軸的方位角速度變化平均值之分佈比例範圍；前後翻轉角加速度變化平均值之分佈比例範圍，左右翻轉角加速度變化平均值之分佈比例範圍，前後與左右翻轉複合角加速度變化平均值之分佈比例範圍，磁力軸的方位角加速度變化平均值之分佈比例範圍；前後翻轉角度變化標準差之分佈比例範圍，左右翻轉角度變化標準差之分佈比例範圍，前後與左右翻轉複合角度變化標準差之分佈比例範圍；前後翻轉角速度變化標準差分佈比例範圍，左右翻轉角速度變化標準差分佈比例範圍，前後與左右翻轉複合角速度變化標準差分佈比例範圍，磁力軸的方位角速度變化標準差分佈比例範圍；前後翻轉角加速度變化標準差之分佈比例範圍，左右翻轉角加速度變化標準差之分佈比例範圍，前後與左右翻轉複合角加速度變化標準差之分佈比例範圍，磁力軸的方位角加速度變化標準差之分佈比例範圍；以及自該觸控螢幕感測器所感測之該等行為資料所轉換之下列特徵量的至少一者：操作軌跡起始位置之X軸絕對座標，操作軌跡起始位置之Y軸絕對座標， 操作軌跡結束位置之X軸絕對座標，操作軌跡結束位置之Y軸絕對座標，操作軌跡以畫面分割進行標號量化的位置，操作軌跡起始位置與結束位置的直線距離，操作軌跡起始位置與結束位置的X軸方向距離，操作軌跡起始位置與結束位置的Y軸方向距離，操作軌跡的路徑長度，操作軌跡上的正切角度變化，操作軌跡上的曲率變化，操作軌跡所花費時間的變化，操作軌跡上的速度變化，操作軌跡上的加速度變化，操作軌跡上的觸碰螢幕面積，操作軌跡上的施力值。
  14. 如申請專利範圍第10或11項之方法，其中，由該識別機制核心元件使用一分類器演算法根據該行為特徵模型圖樣對該行為特徵圖樣進行分類，以判斷該行為特徵圖樣與該行為特徵模型圖樣是否相符。
  15. 如申請專利範圍第14項之方法，其中，該分類器演算法係一加權最近鄰居(Weighted K-Nearest-Neighbor)演算法、一支持向量機器演算法、一類神經網路演算法、一貝式(Bayes)演算法或一決策樹演算法。
  16. 如申請專利範圍第10項之方法，其中，該行動裝置為一智慧型手機。
  17. 一種內儲一程式之電腦程式產品，在一行動裝置或一電腦載入 該程式並執行後，可完成如申請專利範圍第10至16項中任一項之方法。
TW103122478A 2014-06-30 2014-06-30 A method and a module for identifying a user of a mobile device, and a computer program product TWI512550B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103122478A TWI512550B (zh) 2014-06-30 2014-06-30 A method and a module for identifying a user of a mobile device, and a computer program product
US14/528,822 US9336374B2 (en) 2014-06-30 2014-10-30 Method, module, and computer program product for identifying user of mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103122478A TWI512550B (zh) 2014-06-30 2014-06-30 A method and a module for identifying a user of a mobile device, and a computer program product

Publications (2)

Publication Number Publication Date
TWI512550B true TWI512550B (zh) 2015-12-11
TW201601011A TW201601011A (zh) 2016-01-01

Family

ID=54930839

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103122478A TWI512550B (zh) 2014-06-30 2014-06-30 A method and a module for identifying a user of a mobile device, and a computer program product

Country Status (2)

Country Link
US (1) US9336374B2 (zh)
TW (1) TWI512550B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679559B (zh) * 2018-02-01 2019-12-11 矽統科技股份有限公司 使用者與觸控筆的互動方法以及觸控筆產品

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396319B2 (en) * 2013-09-30 2016-07-19 Laird H. Shuart Method of criminal profiling and person identification using cognitive/behavioral biometric fingerprint analysis
GB2522864A (en) * 2014-02-06 2015-08-12 Ibm User authentication using temporal knowledge of dynamic images
JP2016081071A (ja) * 2014-10-09 2016-05-16 富士通株式会社 生体認証装置、生体認証方法及びプログラム
US10263982B2 (en) * 2015-03-31 2019-04-16 Samsung Electronics Co., Ltd. Foldable device and method of controlling the same
US20170243327A1 (en) * 2016-02-19 2017-08-24 Lenovo (Singapore) Pte. Ltd. Determining whether to rotate content based on identification of angular velocity and/or acceleration of device
US11232178B2 (en) 2017-12-22 2022-01-25 Synaptics Incorporated Systems and methods for behavioral authentication using a touch sensor device
CN110109599A (zh) * 2018-02-01 2019-08-09 矽统科技股份有限公司 使用者与触控笔的互动方法、分类系统以及触控笔产品
CN110348186B (zh) * 2019-05-28 2021-08-13 华为技术有限公司 一种基于用户身份识别的显示方法及电子设备
CN112492090A (zh) * 2020-11-27 2021-03-12 南京航空航天大学 智能手机上融合滑动轨迹和动力学特征的持续身份认证方法
TWI839813B (zh) * 2022-08-17 2024-04-21 國立中央大學 驗證使用者身份之電子計算裝置、其判別模型之更新方法及電腦程式產品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4812833A (en) * 1986-05-30 1989-03-14 Hitachi, Ltd. Touch panel input device
TW201319910A (zh) * 2009-02-24 2013-05-16 Au Optronics Corp 顯示裝置及觸控偵測方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4897611B2 (ja) * 2007-08-10 2012-03-14 インターナショナル・ビジネス・マシーンズ・コーポレーション インスタント・メッセージング・システム、方法、およびプログラム
US20090320123A1 (en) * 2008-06-20 2009-12-24 Motorola, Inc. Method and apparatus for user recognition employing motion passwords
WO2010122807A1 (ja) * 2009-04-24 2010-10-28 ミツミ電機株式会社 個人認証装置
US20120124662A1 (en) * 2010-11-16 2012-05-17 Baca Jim S Method of using device motion in a password
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
US9378390B2 (en) * 2012-03-30 2016-06-28 Nokia Technologies Oy Method and apparatus for policy adaption based on application policy compliance analysis
US20150220907A1 (en) * 2012-07-16 2015-08-06 Mashinery Pty Ltd. Authorization of Transactions
EP2936762A1 (en) * 2012-12-20 2015-10-28 Telefonaktiebolaget L M Ericsson (publ) Method and mobile device for generating a data authentication key
US9817960B2 (en) * 2014-03-10 2017-11-14 FaceToFace Biometrics, Inc. Message sender security in messaging system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4812833A (en) * 1986-05-30 1989-03-14 Hitachi, Ltd. Touch panel input device
TW201319910A (zh) * 2009-02-24 2013-05-16 Au Optronics Corp 顯示裝置及觸控偵測方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679559B (zh) * 2018-02-01 2019-12-11 矽統科技股份有限公司 使用者與觸控筆的互動方法以及觸控筆產品
US11287903B2 (en) 2018-02-01 2022-03-29 Silicon Integrated Systems Corp. User interaction method based on stylus, system for classifying tap events on stylus, and stylus product

Also Published As

Publication number Publication date
TW201601011A (zh) 2016-01-01
US9336374B2 (en) 2016-05-10
US20150379249A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
TWI512550B (zh) A method and a module for identifying a user of a mobile device, and a computer program product
TWI493385B (zh) 用於運動型樣分類及手勢辨識之方法、電腦程式產品、儲存裝置及系統
Jain et al. Exploring orientation and accelerometer sensor data for personal authentication in smartphones using touchscreen gestures
CN105980973B (zh) 用户认证手势
US9280700B2 (en) Method and apparatus for online signature verification using proximity touch
TWI474001B (zh) 以運動為基礎之裝置運作之方法、非暫態儲存裝置及系統
WO2022166243A1 (zh) 捏合手势检测识别方法、装置及系统
US20150371023A1 (en) Usage modeling
US9858467B2 (en) Method and apparatus for recognizing fingerprints
US11194368B2 (en) Accelerometer-based biometric data
CN104137594A (zh) 在移动设备或其它系统中使用传感器追踪活动、速度和前进方向
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
WO2019034082A1 (zh) 智能移动终端及其解锁方法、具有存储功能的装置
US11119638B2 (en) Using face detection to update user interface orientation
Zareen et al. Authentic mobile‐biometric signature verification system
US11474642B2 (en) Touch restriction region for touch-sensitive display
CN107077200A (zh) 基于反射的控件激活
KR102147086B1 (ko) 필기 서명 입력에 대한 검증 방법 및 장치
CN107533371A (zh) 使用影响手势的用户接口控制
Ellavarason et al. Evaluation of stability of swipe gesture authentication across usage scenarios of mobile device
CN111142663B (zh) 一种手势识别方法及手势识别系统
US20240063837A1 (en) Smart ring
US10466814B2 (en) Electronic system, indicating device and operating method thereof
CN103984407A (zh) 使用运动传感器融合来进行运动识别的方法及装置
Agarwal et al. Gestglove: A wearable device with gesture based touchless interaction

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees