TWI676910B - 顯示人機界面的方法、裝置及系統 - Google Patents

顯示人機界面的方法、裝置及系統 Download PDF

Info

Publication number
TWI676910B
TWI676910B TW104142102A TW104142102A TWI676910B TW I676910 B TWI676910 B TW I676910B TW 104142102 A TW104142102 A TW 104142102A TW 104142102 A TW104142102 A TW 104142102A TW I676910 B TWI676910 B TW I676910B
Authority
TW
Taiwan
Prior art keywords
trusted
human
machine interface
application
displaying
Prior art date
Application number
TW104142102A
Other languages
English (en)
Other versions
TW201640393A (zh
Inventor
左軍
李海東
Original Assignee
香港商阿里巴巴集團服務有限公司
Alibaba Group Services Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司, Alibaba Group Services Limited filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201640393A publication Critical patent/TW201640393A/zh
Application granted granted Critical
Publication of TWI676910B publication Critical patent/TWI676910B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/031—Protect user input by software means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本申請公開了一種顯示人機界面的方法、一種顯示人機界面的裝置、以及一種顯示人機界面的系統。其中，所述方法包括：在可信執行環境中啟動可信應用，所述可信應用包含可信人機界面；所述可信應用在檢測到對硬體設備的輸入操作後，顯示所述可信人機界面；其中，所述硬體設備是整合在所述可信執行環境中的、用於採集外界資訊的硬體設備。採用本申請提供的方法，充分利用了智慧終端設備已有的採集外界資訊的硬體設備，例如指紋傳感器或者攝像裝置，在不增加硬體成本、也不會提升軟體實現複雜度的前提下，證明了人機界面的真實可信性。

Description

顯示人機界面的方法、裝置及系統
本申請涉及人機界面技術，具體涉及一種顯示人機界面的方法。本申請同時涉及一種顯示人機界面的裝置，以及一種顯示人機界面的系統。
隨著智慧終端設備的應用越來越普及，用戶可以透過多種渠道下載各種應用豐富自己的智慧終端設備，在這個過程中一些病毒代碼、惡意程式也會趁機進入到智慧終端設備中，當用戶執行移動支付等敏感操作時，這些病毒代碼或者惡意程式可能窺視、盜取用戶的關鍵資訊(例如，銀行帳號、密碼等)，給用戶帶來經濟上的損失。
針對上述情況，GP(Global Platform，全球平臺組織)提出了可信執行環境(Trusted Executed Environment，簡稱TEE)的概念。TEE是存在于智慧手機、平板電腦等智慧終端設備中的一個安全區域，確保各種敏感資料在一個可信環境中被儲存、處理和受到保護，為授權安全軟體，即可信應用(Trusted Applications，簡稱TA)，提供一個安全的執行環境。而運行於Android 等REE(Rich OS Executed Environment，通常稱為富執行環境)的客戶應用(Client Application，簡稱CA)可以將其需要保護的部分下載到TEE一側運行。在具體應用中，基於ARMTrustZone架構的安全擴展機制是可信執行環境的一種實現方式。
可信執行環境的應用場景有很多，其中之一就是可信人機界面(Trusted User Interface，簡稱TUI)，即：在可信執行環境中顯示人機界面、並透過該人機界面與用戶進行互動，如用戶輸入支付密碼等敏感操作。因為可信執行環境具有較高的安全級別，運行在REE一側的惡意程式是無法窺探、偷取用戶密碼等關鍵資訊的，因此對敏感操作的安全保護有非常重要的作用。
然而在現實應用中，人機界面有可能被惡意軟體偽造，並透過釣魚的方式獲取用戶的關鍵資訊，為了能夠證明當前顯示的人機界面是真實的TUI，而不是惡意程式偽造的TUI，GP給出以下兩種解決方案：
1)增加一個作為安全指示(Security Indicator)的獨立LED燈，請參見圖1示出的PIN碼輸入界面。由於LED燈只能由可信執行環境控制，惡意軟體是無法存取和點亮該LED燈的，因此如果這個燈被點亮就向用戶證明了當前的TUI是真實可信的。
2)在安全執行環境中預存一些資訊(圖像、文字)，運行在REE中的應用是無法存取並獲取這些資訊的，因此如果當前的TUI能夠正確地顯示這些預存資訊， 也向用戶證明了當前的TUI是真實可信的。
採用上述兩種方式，雖然可以證明TUI是可信的，但是存在以下缺陷：由於新增硬體LED燈或者獨立儲存空間，對現有的比較成熟的智慧終端設備的結構設計會帶來較大影響，不僅增加硬體成本，同時也會增加設計的複雜度。
本申請實施例提供一種顯示人機界面的方法和裝置，以解決現有技術方案需要引入新硬體導致增加硬體成本、提升設計複雜度的問題。本申請實施例還提供一種顯示人機界面的系統。
本申請提供一種顯示人機界面的方法，包括：在可信執行環境中啟動可信應用，所述可信應用包含可信人機界面；所述可信應用在檢測到對硬體設備的輸入操作後，顯示所述可信人機界面；其中，所述硬體設備是整合在所述可信執行環境中的、用於採集外界資訊的硬體設備。
可選的，所述用於採集外界資訊的硬體設備包括：指紋傳感器、或者攝像裝置。
可選的，當所述用於採集外界資訊的硬體設備為指紋傳感器時，所述可信應用檢測到對硬體設備的輸入操作包括：所述可信應用檢測到對指紋傳感器的按壓操作。
可選的，當所述可信應用在檢測到對指紋傳感器的按壓操作後，執行下述操作：判斷所述指紋傳感器採集的指紋圖像與預存指紋圖像是否一致，或者，判斷從所述指紋圖像提取的指紋特徵值與預存指紋特徵值是否一致；若一致，則執行所述顯示所述可信人機界面的步驟。
可選的，當所述用於採集外界資訊的硬體設備為攝像裝置時，所述可信應用檢測到對硬體設備的輸入操作包括：所述可信應用獲取所述攝像裝置擷取的虹膜或者人臉圖像。
可選的，當所述可信應用獲取所述攝像裝置擷取的虹膜或者人臉圖像後，執行下述操作：判斷所述虹膜或者人臉圖像與預存的相應圖像是否一致，或者，判斷從所述虹膜或者人臉圖像提取的特徵值與預存的相應特徵值是否一致；若一致，則執行所述顯示所述可信人機界面的步驟。
可選的，所述可信應用採用如下方式檢測對硬體設備的輸入操作：調用所述可信執行環境中的、對應於所述硬體設備的函數庫所提供的相應介面。
可選的，所述可信人機界面包括：關鍵資訊顯示界面、或者關鍵資訊輸入界面。
可選的，當所述可信人機界面為關鍵資訊輸入界面 時，所述可信應用在檢測到對硬體設備的輸入操作之前，執行下述操作：顯示所述關鍵資訊輸入界面，並禁用所述界面的輸入功能；所述可信應用在檢測到對硬體設備的輸入操作後，顯示所述可信應用界面包括：顯示所述關鍵資訊輸入界面，並使能所述界面的輸入功能。
可選的，所述禁用所述界面的輸入功能，包括：若所述界面透過觸控螢幕接收輸入，則關閉觸控螢幕的觸摸輸入功能；和/或，若所述界面透過鍵盤接收輸入，則關閉鍵盤輸入功能。
可選的，所述關鍵資訊輸入界面提示用戶輸入的資訊包括：帳號資訊、和/或密碼資訊。
可選的，所述可信執行環境包括：基於ARM TrustZone架構的安全執行環境。
可選的，所述方法包括：在富執行環境中啟動客戶應用，所述客戶應用中的部分功能由包含所述可信人機界面的可信應用實現；所述在可信執行環境中啟動可信應用包括：由所述客戶應用觸發在可信執行環境中啟動可信應用的操作。
可選的，所述客戶應用包括：支付應用；所述可信人機界面包括：個人識別碼輸入界面。
相應的，本申請還提供一種顯示人機界面的裝置，包 括：可信應用啟動單元，用於在可信執行環境中啟動可信應用，所述可信應用包含可信人機界面；輸入操作檢測單元，用於所述可信應用檢測對硬體設備的輸入操作，所述硬體設備是整合在所述可信執行環境中的、用於採集外界資訊的硬體設備；人機界面顯示單元，用於當所述輸入操作檢測單元檢測到所述操作後，所述可信應用顯示所述可信人機界面。
可選的，所述輸入操作檢測單元檢測的用於採集外界資訊的硬體設備包括：指紋傳感器、或者攝像裝置。
可選的，當所述用於採集外界資訊的硬體設備為指紋傳感器時，所述輸入操作檢測單元具體用於，所述可信應用檢測對指紋傳感器的按壓操作。
可選的，所述裝置包括：指紋比對單元，用於當所述輸入操作檢測單元檢測到對指紋傳感器的按壓操作後，所述可信應用判斷所述指紋傳感器採集的指紋圖像與預存指紋圖像是否一致，或者判斷從所述指紋圖像提取的指紋特徵值與預存指紋特徵值是否一致，並在一致時，觸發所述人機界面顯示單元工作。
可選的，當所述用於採集外界資訊的硬體設備為攝像裝置時，所述輸入操作檢測單元具體用於，所述可信應用獲取所述攝像裝置擷取的虹膜或者人臉圖像。
可選的，所述裝置包括：虹膜或人臉比對單元，用於當所述輸入操作檢測單元 獲取所述攝像裝置擷取的虹膜或者人臉圖像後，所述可信應用判斷所述虹膜或者人臉圖像與預存的相應圖像是否一致，或者，判斷從所述虹膜或者人臉圖像提取的特徵值與預存的相應特徵值是否一致，並在一致時，觸發所述人機界面顯示單元工作。
可選的，所述輸入操作檢測單元具體用於，所述可信應用透過調用所述可信執行環境中的、對應於所述硬體設備的函數庫所提供的相應介面，檢測對硬體設備的輸入操作。
可選的，所述可信應用啟動單元啟動的可信應用所包含的可信人機界面包括：關鍵資訊顯示界面、或者關鍵資訊輸入界面。
可選的，當所述可信人機界面為關鍵資訊輸入界面時，包括：界面顯示並禁止輸入單元，用於在觸發所述輸入操作檢測單元工作之前，所述可信應用顯示所述關鍵資訊輸入界面，並禁用所述界面的輸入功能；所述人機界面顯示單元具體用於，所述可信應用顯示所述關鍵資訊輸入界面，並使能所述界面的輸入功能。
可選的，所述界面顯示並禁止輸入單元具體用於透過如下方式禁用所述界面的輸入功能：若所述界面透過觸控螢幕接收輸入，則關閉觸控螢幕的觸控輸入功能；和/或，若所述界面透過鍵盤接收輸入，則關閉鍵盤輸入功能。
可選的，所述人機界面顯示單元所顯示的關鍵資訊輸 入界面提示用戶輸入的資訊包括：帳號資訊和/或密碼資訊。
可選的，所述可信應用啟動單元具體用於，在基於ARM TrustZone架構的安全執行環境中，啟動所述可信應用。
可選的，所述裝置包括：客戶應用啟動單元，用於在富執行環境中啟動客戶應用，所述客戶應用中的部分功能由包含所述可信人機界面的可信應用實現；所述可信應用啟動單元是由所述客戶應用啟動單元啟動的客戶應用觸發工作的。
可選的，所述客戶應用啟動單元啟動的客戶應用包括：支付應用；所述人機界面顯示單元顯示的可信人機界面包括：個人識別碼輸入界面。
此外，本申請還提供一種顯示人機界面的系統，包括：根據上述任意一項所述的顯示人機界面的裝置，以及整合在可信執行環境中的、用於採集外界資訊的硬體設備。
與現有技術相比，本申請具有以下優點：本申請提供的顯示人機界面的方法，其核心在於：可信應用在檢測到對採集外界資訊的硬體設備的輸入操作後，顯示可信人機界面。由於所述硬體設備是整合在TEE一側的，REE一側的應用(包括惡意應用)是無法檢測到 對這些硬體設備的輸入操作的，也就是說惡意程式無法模擬上述檢測及顯示可信人機界面的過程，從而證明了在檢測到對所述硬體設備的輸入操作後顯示的人機界面是真實可信的TUI。由此可見，本方法充分利用了智慧終端設備已有的採集外界資訊的硬體設備，例如指紋傳感器或者攝像裝置，在不增加硬體成本、也不會提升軟體實現複雜度的前提下，證明了人機界面的真實可信性。
401‧‧‧客戶應用啟動單元
402‧‧‧可信應用啟動單元
403‧‧‧輸入操作檢測單元
404‧‧‧人機界面顯示單元
501‧‧‧顯示人機界面的裝置
502‧‧‧整合在可信執行環境中的、用於採集外界資訊的硬體設備
圖1是GP建議的增加LED指示燈的PIN碼輸入界面；圖2是本申請實施例提供的系統架構圖；圖3是本申請的一種顯示人機界面的方法實施例的流程圖；圖4是本申請的一種顯示人機界面的裝置實施例的示意圖；圖5是本申請的一種顯示人機界面的系統實施例的示意圖；圖6是本申請實施例提供的顯示人機界面的系統的互動操作流程圖。
在下面的描述中闡述了很多具體細節以便於充分理解本申請。但是，本申請能夠以很多不同於在此描述的其它 方式來實施，本領域技術人員可以在不違背本申請內涵的情況下做類似推廣，因此，本申請不受下面公開的具體實施的限制。
在本申請中，分別提供了一種顯示人機界面的方法，一種顯示人機界面的裝置，以及一種顯示人機界面的系統，在下面的實施例中逐一進行詳細說明。為了便於理解，首先對本申請技術方案涉及的基本概念和原理作簡要說明。
為了保障敏感應用(例如移動支付)的安全性，全球平臺組織GP針對智慧終端設備提出了可信執行環境(TEE)的概念，TEE是與REE(富執行環境)並行運行的獨立執行環境，並為REE提供安全服務。TEE透過對軟硬體資源進行隔離存取和保護，確保各種敏感資料在一個可信環境中被儲存、處理和受到保護，為授權安全軟體，即可信應用TA，提供一個安全的執行環境。例如，對於TUI可信人機界面(Trusted User Interface)來說，由於指紋傳感器、觸控螢幕、顯示螢幕、鍵盤等外設與REE一側相隔離，從而可以保證安全獲取用戶的密碼或PIN碼(個人識別碼)。
基於TEE概念的系統架構通常包括兩個部分，一部分是普通執行環境REE，一部分是可信執行環境TEE。客戶應用CA在REE側運行，可信應用TA在TEE側運行，CA透過位於REE一側的TEEClient API與TEE一側的TA通信，使用TEE提供的服務，TA則透過在TEE一側 安全運行並使用內部API(TEE Internal API)來獲取安全資源和服務的存取權限，從而執行密鑰管理，密鑰儲存，資料安全儲存以及加密運算等安全級別高的操作。採用上述方式，就可以實現軟硬體資源的隔離性與安全性。
在具體實現時，可以利用英特爾可信任執行技術或者ARMTrustZone安全擴展機制來提供TEE執行環境。TrustZone安全擴展機制的安全性是透過將晶片上系統的硬體以及軟體資源分離來達到的，這樣它們就可以存在兩個環境中：分別是安全環境(Secure World，對應於GP中的可信執行環境)以及普通環境(Normal World，對應于GP中的富執行環境)。在具有TrustZone功能的硬體邏輯中，透過特定的匯流排技術以及相應的控制器設置，可以確保在執行需要安全保護的特定操作時，由安全環境接管系統中的敏感資源，例如：觸控螢幕、顯示螢幕、指紋傳感器等，從而保證這些資源不會被普通環境中的組件(例如應用)存取。這樣就意味著即使惡意程式獲取了普通環境下的最高權限(如Linux的root權限)，它也無法存取到安全環境的資源。
當前流行的高級ARM核都已經實現TrustZone安全擴展，這些處理器核心通常被設計為兩個虛擬核：一個用於運行安全環境，而另一個用於運行普通環境，同時還增加了一個用於環境上下文切換的被稱作監視器模式(Monitor)的機制。
本發明的技術方案就是在上述原理的基礎上，透過在 TEE中啟動可信應用，然後檢測用戶對整合在TEE一側的、用於採集外界資訊的硬體設備的輸入操作，並在檢測之後顯示可信人機界面，從而證明所述可信人機界面是真實可信的TUI。本技術方案所述的整合在TEE中的、用於採集外界資訊的硬體設備是指，在TEE中啟動TA後，被TEE接管的、REE一側的應用無法存取的硬體設備，並且所述硬體設備是用於採集外界資訊的硬體設備，包括可以用於採集人體生物特徵的指紋傳感器、攝像裝置等。
需要說明的是，雖然GP是針對智慧終端設備提出的TEE概念，但是本申請的技術方案並不局限於在智慧終端設備上實施，只要是將執行環境劃分為TEE和REE，具備軟、硬體資源安全隔離能力的電子設備，就都可以實施本申請的技術方案，並取得相應的有益效果。
下面透過具體的實施例描述本申請技術方案的實施方式。考慮到目前指紋傳感器在智慧終端設備上應用比較廣泛，在下面的實施例中以檢測用戶對指紋傳感器的輸入為例，描述本發明的技術方案。另外，考慮到ARM TrustZone安全擴展機制是目前比較成熟的技術，因此本實施例採用基於ARM TrustZone的系統架構提供所述可信執行環境，在其它實施方式中也可以採用其他技術實現，本申請不做具體限定。
請參見附圖2，其為本實施例的系統架構圖。其中，在REE側包括：1)Client App：客戶應用，如支付寶等移動支付應 用；2)TUI Client lib：包含TUI的TA在REE側的庫，提供下載TA到TEE內核中運行、建立與TA的交談、發送命令等操作；3)TEE Client API：GP提供的標準TEE Client介面；4)OS Kernel：系統內核，如linux內核。
在TEE側包括：1)TUI TA：包含TUI的TA，即：有TUI功能的TA；2)FP Manger lib：指紋傳感器在TEE側的庫，提供指紋採集、比對的功能給TUI TA調用；3)TEE Internal API：GP提供的標準TEE Internal介面；4)Trusted Kernel：TrustZone系統內核。
需要說明的是，整合在TEE一側的外設包括：FP(指紋傳感器)、顯示設備(LCD)、觸控螢幕(Touch)，即：在TEE中啟動TA後，這些硬體設備只能由TEE側控制或者存取，REE側的應用是無法存取這些外設的，這是TEE的基本特性，在本實施例中則是由TrustZone技術來保證的。
在上述系統架構的基礎上，請進一步參考圖3，其為本申請的一種顯示人機界面的方法實施例的流程圖。所述方法包括如下步驟：
步驟301：在REE中啟動客戶應用，所述客戶應用中的部分功能由TA實現。
對於一個應用來說，可以本身就是一個TA，也就是說其所有功能都在TEE一側實現，在這種情況下每次直接執行步驟302在TEE中啟動該TA，並由該TA負責完成後續的檢測以及顯示可信人機界面的步驟即可。然而對於目前的大部分應用來說，其中無安全性要求的部分功能可以在REE一側執行，有安全性要求的部分功能則可以以TA的形式在TEE一側執行，為了與TA相區別，這樣的應用通常稱為客戶應用(CA)。在這種情況下，通常可以在REE中啟動該CA，並在執行有安全性要求的功能時，執行步驟302在TEE一側啟動相應的TA。
在本實施例的一個具體例子中，所述客戶應用為支付應用，本步驟可以在REE中啟動所述支付應用，當該支付應用需要用戶輸入PIN碼時，為了保證該操作的安全性，則可以執行步驟302在TEE中啟動供用戶輸入PIN碼的TA。
步驟302：在TEE中啟動TA，所述TA包含可信人機界面。
當需要實現有安全性要求的功能時，可以在TEE中啟動實現所述功能的TA。在本實施例中，所述TA包含可信人機界面，即：所述TA是具有TUI功能的TA，透過本實施例的後續步驟，可以向用戶證明所顯示的人機界面是真實可信的TUI。
由於本實施例是基於TrustZone安全擴展機制提供TEE的，所述在TEE中啟動TA的過程通常是由客戶應用觸發的，即：由客戶應用將TA下載到TEE中並建立與所述TA的可信交談。
通常情況下，每一個TA都應該具有至少一個對外開放的命令ID，每一個命令ID對應該TA提供的一種服務功能，客戶應用可以透過打開與TA的可信交談與所述TA的實例建立連接關係，並且調用該TA對外提供的命令。具體說，客戶應用在透過TEE Client API介面打開與TA對應的交談之後，可以透過命令ID調用TA提供的相應功能，從而運行在普通環境中的客戶應用可以使用TA提供的安全服務功能。
在本實施例的上述具體例子中，支付應用透過調用高通平臺提供的TUI Client lib中的StartApp()函數將具有TUI功能的TA下載到TEE一側，並建立與TA之間的交談。所述TUI Client lib是為了便於開發人員使用，在TEE Client API基礎上進一步封裝的函數庫，在其他的實施方式中，也可以透過直接調用TEE Client API提供的TEEC_OpenSession()函數實現上述功能。
步驟303：TA檢測對指紋傳感器的按壓操作。
在基於TrustZone提供TEE的實施方式下，REE一側的客戶應用與TEE一側的TA建立交談後，可以透過發送命令的方式調用TA提供的相應功能，例如，在本實施例的上述具體例子中，支付應用可以透過調用TEE Client API提供的TEEC_InvokeCommand()函數，調用TA提供的相應功能：顯示供用戶輸入PIN碼的人機界面。
本實施例為了向用戶證明所顯示的人機界面是真實可信的TUI，所述TA在顯示所述可信人機界面之前，先檢測用戶對指紋傳感器的按壓操作，並在檢測到所述操作後，顯示所述可信人機界面。因此，本步驟的主要任務是檢測用戶對指紋傳感器的按壓操作。
具體實施時，可以提示用戶在指紋傳感器上按壓手指，並透過調用下載到TEE一側的、對應於所述指紋傳感器的函數庫提供的相應介面，例如，調用FP Manager lib提供的fp_detect()介面函數，來檢測用戶對指紋傳感器的按壓動作。進一步地，如果檢測到所述按壓動作，還可以進一步獲取有效按壓面積，並當有效按壓面積大於預先設定的閾值時，認為檢測到用戶對指紋傳感器的有效按壓動作，從而可以避免誤判。
在具體實施時，還可以在本步驟中添加逾時檢測機制，即從提示用戶在指紋傳感器上按壓手指起，如果在預先設定的時間段內檢測到有效的按壓操作，則繼續執行後續步驟304顯示可信人機界面，否則不執行步驟304並提示用戶相應的原因。例如，如果在預先設定的時間段內未檢測到用戶的按壓操作，提示用戶操作逾時；如果檢測到用戶的按壓操作，但是有效按壓操作的面積未大於預先設定的閾值，則可以提示用戶未檢測到正確有效的按壓操作。
此外，作為一種可選的實施方式，TA也可以在檢測對指紋傳感器的按壓操作之前，顯示可信人機界面，由於此時還未向用戶證明該人機界面的真實可信性，因此可以禁用所述可信人機界面的輸入功能。具體說，如果所述界面可以透過觸控螢幕接收用戶輸入的關鍵資訊，例如：帳號、密碼等，則關閉觸控螢幕的觸控輸入功能；如果所述界面可以透過鍵盤接收用戶輸入的關鍵資訊，則關閉鍵盤輸入功能。當本步驟檢測到對指紋傳感器的輸入操作後，再使能所述可信人機界面的輸入功能，關於這部分請參見步驟304中的描述。
步驟304：TA檢測到上述操作後，顯示所述可信人機界面。
當TA完成步驟303中的檢測操作後，顯示可信人機界面。例如在本實施例的上述具體例子中，所述支付應用啟動的TA可以在檢測到對指紋傳感器的按壓操作後，顯示供用戶輸入PIN碼的可信人機界面。如果所述TA在檢測按壓操作之前，已經顯示了處於禁止輸入狀態的可信人機界面，那麼本步驟在顯示所述可信人機界面的基礎上，可以使能所述界面的輸入功能，從而允許用戶透過觸控螢幕或者鍵盤等外設，在所述可信人機界面中輸入所需提供的資訊。
作為一種優選實施方式，TA在檢測到對指紋傳感器的按壓操作後，還可以進一步判斷所述指紋傳感器採集的指紋圖像與預存的指紋圖像是否一致，或者，判斷從所述 指紋圖像提取的指紋特徵值與預存指紋特徵值是否一致；若一致，則顯示所述可信人機界面。所述預存的指紋圖像或者指紋特徵值通常是用戶提前錄入生成的，可以儲存在TEE側的安全區域中，也可以經由TEE加密後儲存在REE側的文件系統中。
具體說，TA可以採用與檢測指紋按壓操作同樣的方式，透過調用下載到TEE一側的、對應於所述指紋傳感器的函數庫所提供的相應介面，獲取所述按壓操作的指紋圖像，並從中提取指紋特徵值，或者直接獲取指紋特徵值(特徵值的提取過程由介面函數封裝在其內部了)，並與預存的相應資訊進行比對。
例如，TA可以透過調用FP Manager lib提供的fp_get_template( )介面函數，直接獲取指紋特徵值，然後以獲取的指紋特徵值、預存的指紋特徵值等作為入口參數，調用該函數庫提供的fp_match( )介面函數，進行指紋特徵值的比對。關於獲取指紋圖像及比對過程，也是同樣的原理，此處不再贅述。此外，某些函數庫可能還提供用採集的指紋圖像與預存的指紋特徵值進行比對的介面函數，在具體實施時，只要按照介面函數的要求進行相應調用即可。上述都是進行指紋比對的不同實施方式，在具體應用中，可以根據指紋傳感器廠商提供的庫函數以及具體的應用需求，選取合適的實施方式。
本步驟可以透過上述方式進行指紋圖像(或指紋特徵值)的比對操作，並在比對結果正確時，即兩者一致時， 顯示所述可信人機界面。
由於在TEE中啟動TA後，指紋傳感器、顯示器、觸控螢幕都被TEE所接管，這是由TrustZone技術保證的，也就是說所有和指紋傳感器相關的互動操作，包括：檢測按壓操作、獲取指紋圖像(或指紋特徵值)、比對指紋圖像(或指紋特徵值)等，都是透過調用FP Manager lib提供的相應介面、並與下層的TEE Internal API互動實現的，即：與指紋相關的互動操作都是在TEE側進行的，因此TA在檢測到用戶手指對指紋傳感器的按壓操作後顯示可信人機界面(或者顯示並使能界面輸入功能)的過程，REE一側的程式(包括惡意程式)是無法偽造的，從而就向用戶證明了在檢測到所述按壓操作後顯示的人機界面是真實可信的TUI，而不是釣魚界面或者其他偽造的虛假界面，實現了硬體級的安全保護，用戶可以放心地在該人機界面中輸入帳號、密碼等關鍵資訊，而不必擔心被盜取。
透過上面的描述可以看出，在檢測按壓操作後顯示可信人機界面、或者在進一步指紋比對成功後顯示可信人機界面，這兩種方式都可以向用戶證明所顯示的人機界面是真實可信的TUI，而不是偽造或假冒的。其中，第二種方式是本實施例提供的一種優選實施方式，該方式不僅可以證明人機界面是真實可信的TUI，還可以提供對使用該TUI的用戶身份的驗證，從而提供更為完善的安全保護。如果指紋比對的結果為：當前獲取的指紋圖像(或者指紋 特徵值)與預存的相應資訊不一致，出於安全性考慮，可以提示用戶指紋資訊不正確，並且不顯示所述可信人機界面。
需要說明的是，本技術方案所述的可信人機界面包括：關鍵資訊輸入界面，此類界面用於接收用戶輸入的帳號資訊、密碼資訊等需要安全保護的關鍵資訊，例如，本實施例所述具體例子中的PIN碼輸入界面。本技術方案所述的可信的人機界面還可以包括：關鍵資訊顯示界面，例如，顯示交易金額的界面。與上述關鍵資訊輸入界面同理，可以在檢測到對指紋傳感器的按壓操作後(或者比對成功後)才顯示所述關鍵資訊顯示界面，因此向用戶證明了該人機界面是真實可信的TUI，該人機界面上展示的資訊也是真實的、未被篡改的。
至此，以檢測指紋傳感器的輸入操作為例，描述了本申請的技術方案。在其他實施方式中，TA也可以不檢測指紋傳感器的輸入操作，而檢測對其他用於採集外界資訊的硬體設備的輸入操作，例如：TA可以透過調用下載到TEE一側的、對應於攝像裝置的函數庫所提供的相應介面，獲取攝像裝置擷取的虹膜或者人臉圖像，並顯示可信人機界面；TA也可以在獲取上述虹膜或者人臉圖像的基礎上，進一步判斷所述圖像與預存的相應圖像是否一致，或者判斷從所述圖像提取的特徵值與預存的相應特徵值是否一致，並在一致時顯示所述可信人機界面。只要這些硬體設備是整合在TEE一側的，REE一側的應用無法存取，那 麼就同樣可以實現本申請的技術方案，證明當前顯示的人機界面是真實可信的TUI。
綜上所述，本申請提供的顯示人機界面的方法，其核心在於：可信應用在檢測到對採集外界資訊的硬體設備的輸入操作後，顯示可信人機界面。由於所述硬體設備是整合在TEE一側的，關於該硬體設備輸入資訊的檢測、比對等操作都是在TEE側實現的，所述硬體設備便成為一個可信的硬體設備，利用這個硬體設備進而可以向用戶證明所顯示的人機界面是真實可信的TUI，相當於透過建立信賴鏈的方式，實現了硬體級別的保護。由此可見，本方法充分利用了智慧終端設備已有的採集外界資訊的硬體設備，例如指紋傳感器或者攝像裝置，在不增加硬體成本(不需要添加專用的LED燈或者專用的儲存空間)、從而也不提升軟體實現複雜度的前提下，證明了人機界面的真實可信性。
在上述的實施例中，提供了一種顯示人機界面的方法，與之相對應的，本申請還提供一種顯示人機界面的裝置。請參看圖4，其為本申請的一種顯示人機界面的裝置實施例的示意圖。由於裝置實施例基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。下述描述的裝置實施例僅僅是示意性的。
本實施例的一種顯示人機界面的裝置，包括：客戶應用啟動單元401，用於在富執行環境中啟動客戶應用，所述客戶應用觸發可信應用啟動單元工作；可信應用啟動單 元402，用於在可信執行環境中啟動可信應用，所述可信應用包含可信人機界面；輸入操作檢測單元403，用於所述可信應用檢測對硬體設備的輸入操作，所述硬體設備是整合在所述可信執行環境中的、用於採集外界資訊的硬體設備；人機界面顯示單元404，用於當所述輸入操作檢測單元檢測到所述操作後，所述可信應用顯示所述可信人機界面。
可選的，所述輸入操作檢測單元檢測的用於採集外界資訊的硬體設備包括：指紋傳感器、或者攝像裝置。
可選的，當所述用於採集外界資訊的硬體設備為指紋傳感器時，所述輸入操作檢測單元具體用於，所述可信應用檢測對指紋傳感器的按壓操作。
可選的，所述裝置包括：指紋比對單元，用於當所述輸入操作檢測單元檢測到對指紋傳感器的按壓操作後，所述可信應用判斷所述指紋傳感器採集的指紋圖像與預存指紋圖像是否一致，或者判斷從所述指紋圖像提取的指紋特徵值與預存指紋特徵值是否一致，並在一致時，觸發所述人機界面顯示單元工作。
可選的，當所述用於採集外界資訊的硬體設備為攝像裝置時，所述輸入操作檢測單元具體用於，所述可信應用獲取所述攝像裝置擷取的虹膜或者人臉圖像。
可選的，所述裝置包括：虹膜或人臉比對單元，用於當所述輸入操作檢測單元獲取所述攝像裝置擷取的虹膜或者人臉圖像後，所述可信 應用判斷所述虹膜或者人臉圖像與預存的相應圖像是否一致，或者，判斷從所述虹膜或者人臉圖像提取的特徵值與預存的相應特徵值是否一致，並在一致時，觸發所述人機界面顯示單元工作。
可選的，所述輸入操作檢測單元具體用於，所述可信應用透過調用所述可信執行環境中的、對應於所述硬體設備的函數庫所提供的相應介面，檢測對硬體設備的輸入操作。
可選的，所述可信應用啟動單元啟動的可信應用所包含的可信人機界面包括：關鍵資訊顯示界面、或者關鍵資訊輸入界面。
可選的，當所述可信人機界面為關鍵資訊輸入界面時，包括：界面顯示並禁止輸入單元，用於在觸發所述輸入操作檢測單元工作之前，所述可信應用顯示所述關鍵資訊輸入界面，並禁用所述界面的輸入功能；所述人機界面顯示單元具體用於，所述可信應用顯示所述關鍵資訊輸入界面，並使能所述界面的輸入功能。
可選的，所述界面顯示並禁止輸入單元具體用於透過如下方式禁用所述界面的輸入功能：若所述界面透過觸控螢幕接收輸入，則關閉觸控螢幕的觸控輸入功能；和/或，若所述界面透過鍵盤接收輸入，則關閉鍵盤輸入功能。
可選的，所述人機界面顯示單元所顯示的關鍵資訊輸入界面提示用戶輸入的資訊包括：帳號資訊和/或密碼資 訊。
可選的，所述可信應用啟動單元具體用於，在基於ARM TrustZone架構的安全執行環境中，啟動所述可信應用。
可選的，所述客戶應用啟動單元啟動的客戶應用包括：支付應用；所述人機界面顯示單元顯示的可信人機界面包括：個人識別碼輸入界面。
在上述的實施例中，提供了一種顯示人機界面的方法以及一種顯示人機界面的裝置，此外，本申請實施例還提供了一種顯示人機界面的系統，如圖5所示，該系統包括：顯示人機界面的裝置501，以及整合在可信執行環境中的、用於採集外界資訊的硬體設備502。
所述顯示人機界面的裝置，用於在可信執行環境中啟動具有可信人機界面功能的TA，所述TA在檢測到對整合在TEE中的、用於採集外界資訊的硬體設備的輸入操作後，顯示所述可信人機界面。下面結合附圖6，以所述裝置部署了基於TrustZone安全擴展機制的REE和TEE執行環境、並且所述硬體設備為指紋傳感器為例，說明本系統的互動操作流程：1)REE側的Client App啟動TA，並請求顯示可信人機界面；2)TEE側的TA顯示所述可信人機界面，該可信人機界面禁用輸入功能； 3)TEE側的TA啟動指紋驗證功能；4)TEE側的TA檢測到對指紋傳感器的按壓操作、採集到指紋特徵值，並進行所述指紋特徵值與預存指紋特徵值的比對；5)比對結果正確，使能所述可信人機界面的輸入功能。由於此時向用戶證明了所顯示的人機界面是真實可信的TUI，用戶可以在該界面中輸入密碼等關鍵資訊，而不必擔心被惡意程式偽造的TUI盜取。
由此可見，本系統在不增加硬體成本的條件下，利用智慧終端設備中已有的指紋傳感器實現了對人機界面可信性的證明。需要說明的是，上述僅僅給出了本系統的一種可選的互動操作流程，在其他實施方式中，可以在上述基礎上進行變更，例如，不顯示禁用輸入功能的可信人機界面，而是在檢測到對指紋傳感器的按壓操作並比對成功後，再顯示所述可信人機界面；在啟動指紋驗證功能時，為了保證用戶良好的使用體驗，可以展示開始進行驗證的動畫；所述硬體設備也可以不僅僅是指紋傳感器，還可以是攝像裝置等其他用於採集外界資訊的硬體設備。這些變更方式，以及在前面的方法實施利中已經提及的其他變更方式，都不偏離本系統的核心，都在本系統的保護範圍之內。
本申請雖然以較佳實施例公開如上，但其並不是用來限定本申請，任何本領域技術人員在不脫離本申請的精神和範圍內，都可以做出可能的變動和修改，因此本申請的 保護範圍應當以本申請專利範圍所界定的範圍為準。
在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和內存記憶體。
內存記憶體可能包括計算機可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性內存記憶體等形式，如唯讀記憶體(ROM)或快閃隨機存取記憶體(flash RAM)。內存記憶體是計算機可讀媒體的示例。
1、計算機可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是計算機可讀指令、資料結構、程式的模組或其他資料。計算機的儲存媒體的例子包括，但不限於相變隨機存取記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他內存記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，計算機可讀媒體不包括非暫存電腦可讀媒體(transitory media)，如調變的資料信號和載波。
2、本領域技術人員應明白，本申請的實施例可提供為方法、系統或計算機程式產品。因此，本申請可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的 實施例的形式。而且，本申請可採用在一個或多個其中包含有計算機可用程式代碼的計算機可用儲存媒體(包括但不限於磁碟儲存器、CD-ROM、光學儲存器等)上實施的計算機程式產品的形式。

Claims (27)

  1. 一種顯示人機界面的方法，其特徵在於，包括：在可信執行環境中啟動可信應用，該可信應用包含可信人機界面；該可信應用在檢測到對硬體設備的輸入操作後，顯示該可信人機界面；其中，該硬體設備是整合在該可信執行環境中的、用於採集外界資訊的硬體設備；其中，該可信人機界面包括：關鍵資訊顯示界面、或者關鍵資訊輸入界面；其中，當該可信人機界面為關鍵資訊輸入界面時，該可信應用在檢測到對硬體設備的輸入操作之前，顯示該關鍵資訊輸入界面，並禁用該界面的輸入功能。
  2. 根據申請專利範圍第1項所述的顯示人機界面的方法，其中，該用於採集外界資訊的硬體設備包括：指紋傳感器、或者攝像裝置。
  3. 根據申請專利範圍第2項所述的顯示人機界面的方法，其中，當該用於採集外界資訊的硬體設備為指紋傳感器時，該可信應用檢測到對硬體設備的輸入操作包括：該可信應用檢測到對指紋傳感器的按壓操作。
  4. 根據申請專利範圍第3項所述的顯示人機界面的方法，其中，當該可信應用在檢測到對指紋傳感器的按壓操作後，執行下述操作：判斷該指紋傳感器採集的指紋圖像與預存指紋圖像是否一致，或者，判斷從該指紋圖像提取的指紋特徵值與預存指紋特徵值是否一致；若一致，則執行該顯示該可信人機界面的步驟。
  5. 根據申請專利範圍第2項所述的顯示人機界面的方法，其中，當該用於採集外界資訊的硬體設備為攝像裝置時，該可信應用檢測到對硬體設備的輸入操作包括：該可信應用獲取該攝像裝置擷取的虹膜或者人臉圖像。
  6. 根據申請專利範圍第5項所述的顯示人機界面的方法，其中，當該可信應用獲取該攝像裝置擷取的虹膜或者人臉圖像後，執行下述操作：判斷該虹膜或者人臉圖像與預存的相應圖像是否一致，或者，判斷從該虹膜或者人臉圖像提取的特徵值與預存的相應特徵值是否一致；若一致，則執行所述顯示該可信人機界面的步驟。
  7. 根據申請專利範圍第1項所述的顯示人機界面的方法，其中，該可信應用採用如下方式檢測對硬體設備的輸入操作：調用該可信執行環境中的、對應於該硬體設備的函數庫所提供的相應介面。
  8. 根據申請專利範圍第1項所述的顯示人機界面的方法，其中，該可信應用在檢測到對硬體設備的輸入操作後，顯示該可信應用界面包括：顯示該關鍵資訊輸入界面，並使能該界面的輸入功能。
  9. 根據申請專利範圍第8項所述的顯示人機界面的方法，其中，所述禁用該界面的輸入功能，包括：若該界面透過觸控螢幕接收輸入，則關閉觸控螢幕的觸控輸入功能；和/或，若該界面透過鍵盤接收輸入，則關閉鍵盤輸入功能。
  10. 根據申請專利範圍第8項所述的顯示人機界面的方法，其中，該關鍵資訊輸入界面提示用戶輸入的資訊包括：帳號資訊、和/或密碼資訊。
  11. 根據申請專利範圍第1-10項中任一項所述的顯示人機界面的方法，其中，該可信執行環境包括：基於ARM TrustZone架構的安全執行環境。
  12. 根據申請專利範圍第11項所述的顯示人機界面的方法，其中，包括：在富執行環境中啟動客戶應用，該客戶應用中的部分功能由包含該可信人機界面的可信應用實現；該在可信執行環境中啟動可信應用包括：由該客戶應用觸發在可信執行環境中啟動可信應用的操作。
  13. 根據申請專利範圍第12項所述的顯示人機界面的方法，其中，該客戶應用包括：支付應用；該可信人機界面包括：個人識別碼輸入界面。
  14. 一種顯示人機界面的裝置，其中，包括：可信應用啟動單元，用於在可信執行環境中啟動可信應用，該可信應用包含可信人機界面；輸入操作檢測單元，用於該可信應用檢測對硬體設備的輸入操作，該硬體設備是整合在該可信執行環境中的、用於採集外界資訊的硬體設備；人機界面顯示單元，用於當該輸入操作檢測單元檢測到該操作後，該可信應用顯示該可信人機界面；其中，該可信應用啟動單元啟動的可信應用所包含的可信人機界面包括：關鍵資訊顯示界面、或者關鍵資訊輸入界面；其中，當該可信人機界面為關鍵資訊輸入界面時，包括：界面顯示並禁止輸入單元，用於在觸發該輸入操作檢測單元工作之前，該可信應用顯示該關鍵資訊輸入界面，並禁用該界面的輸入功能。
  15. 根據申請專利範圍第14項所述的顯示人機界面的裝置，其中，該輸入操作檢測單元檢測的用於採集外界資訊的硬體設備包括：指紋傳感器、或者攝像裝置。
  16. 根據申請專利範圍第15項所述的顯示人機界面的裝置，其中，當該用於採集外界資訊的硬體設備為指紋傳感器時，該輸入操作檢測單元具體用於，該可信應用檢測對指紋傳感器的按壓操作。
  17. 根據申請專利範圍第16項所述的顯示人機界面的裝置，其中，包括：指紋比對單元，用於當該輸入操作檢測單元檢測到對指紋傳感器的按壓操作後，該可信應用判斷該指紋傳感器採集的指紋圖像與預存指紋圖像是否一致，或者判斷從該指紋圖像提取的指紋特徵值與預存指紋特徵值是否一致，並在一致時，觸發該人機界面顯示單元工作。
  18. 根據申請專利範圍第15項所述的顯示人機界面的裝置，其中，當該用於採集外界資訊的硬體設備為攝像裝置時，該輸入操作檢測單元具體用於，該可信應用獲取該攝像裝置擷取的虹膜或者人臉圖像。
  19. 根據申請專利範圍第18項所述的顯示人機界面的裝置，其中，包括：虹膜或人臉比對單元，用於當該輸入操作檢測單元獲取該攝像裝置擷取的虹膜或者人臉圖像後，該可信應用判斷該虹膜或者人臉圖像與預存的相應圖像是否一致，或者，判斷從該虹膜或者人臉圖像提取的特徵值與預存的相應特徵值是否一致，並在一致時，觸發該人機界面顯示單元工作。
  20. 根據申請專利範圍第14項所述的顯示人機界面的裝置，其中，該輸入操作檢測單元具體用於，該可信應用透過調用該可信執行環境中的、對應於該硬體設備的函數庫所提供的相應介面，檢測對硬體設備的輸入操作。
  21. 根據申請專利範圍第14項所述的顯示人機界面的裝置，其中，當該可信人機界面為關鍵資訊輸入界面時，進一步包括：該人機界面顯示單元具體用於，該可信應用顯示該關鍵資訊輸入界面，並使能該界面的輸入功能。
  22. 根據申請專利範圍第21項所述的顯示人機界面的裝置，其中，該界面顯示並禁止輸入單元具體用於透過如下方式禁用該界面的輸入功能：若該界面透過觸控螢幕接收輸入，則關閉觸控螢幕的觸控輸入功能；和/或，若該界面透過鍵盤接收輸入，則關閉鍵盤輸入功能。
  23. 根據申請專利範圍第21項所述的顯示人機界面的裝置，其中，該人機界面顯示單元所顯示的關鍵資訊輸入界面提示用戶輸入的資訊包括：帳號資訊和/或密碼資訊。
  24. 根據申請專利範圍第14-23項中任一項所述的顯示人機界面的裝置，其中，該可信應用啟動單元具體用於，在基於ARM TrustZone架構的安全執行環境中，啟動該可信應用。
  25. 根據申請專利範圍第24項所述的顯示人機界面的裝置，其中，包括：客戶應用啟動單元，用於在富執行環境中啟動客戶應用，該客戶應用中的部分功能由包含該可信人機界面的可信應用實現；該可信應用啟動單元是由該客戶應用啟動單元啟動的客戶應用觸發工作的。
  26. 根據申請專利範圍第25項所述的顯示人機界面的裝置，其中，該客戶應用啟動單元啟動的客戶應用包括：支付應用；該人機界面顯示單元顯示的可信人機界面包括：個人識別碼輸入界面。
  27. 一種顯示人機界面的系統，其特徵在於，包括：如上述申請專利範圍第14項所述的顯示人機界面的裝置，以及整合在可信執行環境中的、用於採集外界資訊的硬體設備。
TW104142102A 2015-05-08 2015-12-15 顯示人機界面的方法、裝置及系統 TWI676910B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201510233026.5 2015-05-08
CN201510233026.5A CN106200891B (zh) 2015-05-08 2015-05-08 显示用户界面的方法、装置及系统

Publications (2)

Publication Number Publication Date
TW201640393A TW201640393A (zh) 2016-11-16
TWI676910B true TWI676910B (zh) 2019-11-11

Family

ID=57222660

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104142102A TWI676910B (zh) 2015-05-08 2015-12-15 顯示人機界面的方法、裝置及系統

Country Status (4)

Country Link
US (1) US10788984B2 (zh)
CN (1) CN106200891B (zh)
TW (1) TWI676910B (zh)
WO (1) WO2016182910A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228250A (zh) * 2016-12-19 2018-06-29 南昌欧菲生物识别技术有限公司 一种应用界面的显示方法及终端
CN106815510B (zh) * 2017-01-18 2020-08-07 珠海市魅族科技有限公司 一种数据处理的方法及终端
CN107133794B (zh) * 2017-05-08 2021-06-29 奇酷互联网络科技（深圳）有限公司 Ifaa指纹支付装置、系统、方法和移动终端
CN107403152B (zh) * 2017-07-19 2020-07-31 大唐终端技术有限公司 高通平台TrustZone指纹识别实现方法及系统
WO2019028766A1 (zh) * 2017-08-10 2019-02-14 福建联迪商用设备有限公司 智能终端信息安全输入的方法及其系统
CN107835185B (zh) * 2017-11-21 2020-10-02 广州大学 一种基于ARM TrustZone的移动终端安全服务方法及装置
CN109840436A (zh) * 2017-11-29 2019-06-04 阿里巴巴集团控股有限公司 数据处理方法、可信用户界面资源数据的应用方法及装置
KR102514062B1 (ko) 2018-02-27 2023-03-24 삼성전자주식회사 트러스트존 그래픽 렌더링 방법 및 그에 따른 디스플레이 장치
EP3633546A4 (en) 2018-04-12 2020-10-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM
EP3620942B1 (en) 2018-04-12 2021-08-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Security control method and apparatus for application program, and mobile terminal and computer-readable storage medium
WO2019196683A1 (zh) 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108573170B (zh) * 2018-04-12 2020-06-12 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN110728714B (zh) * 2018-07-16 2023-06-20 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN111383015B (zh) * 2018-12-29 2023-11-03 华为技术有限公司 交易安全处理方法、装置及终端设备
CN111148070B (zh) * 2019-12-31 2021-06-15 华为技术有限公司 V2x通信方法、装置及车辆
CN117808474A (zh) * 2024-03-01 2024-04-02 花瓣支付(深圳)有限公司 可信用户界面的显示方法、设备、可读存储介质及芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201106194A (en) * 2009-03-12 2011-02-16 Ibm Integrity verification using a peripheral device
US8646060B1 (en) * 2013-07-30 2014-02-04 Mourad Ben Ayed Method for adaptive authentication using a mobile device

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898301B2 (en) * 2000-07-10 2005-05-24 Casio Computer Co., Ltd. Authentication system based on fingerprint and electronic device employed for the system
US8555411B2 (en) * 2003-12-23 2013-10-08 Intel Corporation Locking mobile devices in a personal area network (PAN)
US9203648B2 (en) 2004-05-02 2015-12-01 Thomson Reuters Global Resources Online fraud solution
US8327440B2 (en) 2004-11-08 2012-12-04 Bt Web Solutions, Llc Method and apparatus for enhanced browsing with security scanning
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US8645683B1 (en) 2005-08-11 2014-02-04 Aaron T. Emigh Verified navigation
US8312536B2 (en) 2006-12-29 2012-11-13 Symantec Corporation Hygiene-based computer security
US20110138481A1 (en) * 2008-06-17 2011-06-09 Lg Electronics Inc. Recording medium, and recording/reproducing method and recording/reproducing apparatus for recording medium
US8060936B2 (en) 2008-10-21 2011-11-15 Lookout, Inc. Security status and information display system
GB0908456D0 (en) * 2009-05-18 2009-06-24 L P Touch screen, related method of operation and systems
WO2011092828A1 (ja) * 2010-01-28 2011-08-04 富士通株式会社 認証装置、認証システム及び認証方法
US8898759B2 (en) * 2010-08-24 2014-11-25 Verizon Patent And Licensing Inc. Application registration, authorization, and verification
WO2012068255A2 (en) 2010-11-16 2012-05-24 Art Fritzson Systems and methods for identifying and mitigating information security risks
US9119017B2 (en) 2011-03-18 2015-08-25 Zscaler, Inc. Cloud based mobile device security and policy enforcement
US9268545B2 (en) 2011-03-31 2016-02-23 Intel Corporation Connecting mobile devices, internet-connected hosts, and cloud services
US9536197B1 (en) * 2011-04-22 2017-01-03 Angel A. Penilla Methods and systems for processing data streams from data producing objects of vehicle and home entities and generating recommendations and settings
US20120297469A1 (en) * 2011-05-20 2012-11-22 Microsoft Corporation Security Indicator Using Timing to Establish Authenticity
FR2975855B1 (fr) 2011-05-27 2013-09-20 Symeos Systeme et procede de securisation d'echanges de donnees entre un module client et un module serveur
EP2618266A4 (en) * 2011-11-04 2015-08-05 Sk Planet Co Ltd PROCESS FOR COOPERATION BETWEEN A SAFE REGION AND AN UNCERTAIN REGION, METHOD, SERVER AND DEVICE FOR CONTROLLING THE DOWNLOAD OF SAFE APPLICATIONS AND CONTROL SYSTEM FOR USING THIS METHOD
US9253176B2 (en) 2012-04-27 2016-02-02 Intralinks, Inc. Computerized method and system for managing secure content sharing in a networked secure collaborative exchange environment
US9251360B2 (en) 2012-04-27 2016-02-02 Intralinks, Inc. Computerized method and system for managing secure mobile device content viewing in a networked secure collaborative exchange environment
US9268991B2 (en) 2012-03-27 2016-02-23 Synaptics Incorporated Method of and system for enrolling and matching biometric data
US8907909B2 (en) * 2012-05-29 2014-12-09 General Electric Company Dynamic modular control system
US9716691B2 (en) * 2012-06-07 2017-07-25 Early Warning Services, Llc Enhanced 2CHK authentication security with query transactions
US9241009B1 (en) 2012-06-07 2016-01-19 Proofpoint, Inc. Malicious message detection and processing
JP5972071B2 (ja) * 2012-06-26 2016-08-17 キヤノン株式会社 画像処理装置、画像処理方法及び記録媒体
US8737962B2 (en) 2012-07-24 2014-05-27 Twilio, Inc. Method and system for preventing illicit use of a telephony platform
CN103929402B (zh) 2013-01-11 2016-12-21 深圳市腾讯计算机系统有限公司 敏感操作验证方法、终端设备、服务器和验证系统
US9253174B1 (en) 2013-02-28 2016-02-02 Google Inc. Providing a second factor authorization
US8869281B2 (en) 2013-03-15 2014-10-21 Shape Security, Inc. Protecting against the introduction of alien content
US10270748B2 (en) 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US9367676B2 (en) * 2013-03-22 2016-06-14 Nok Nok Labs, Inc. System and method for confirming location using supplemental sensor and/or location data
US9887983B2 (en) * 2013-10-29 2018-02-06 Nok Nok Labs, Inc. Apparatus and method for implementing composite authenticators
FI20135275A (fi) 2013-03-22 2014-09-23 Meontrust Oy Tapahtumien auktorisointimenetelmä ja -järjestelmä
US9246918B2 (en) 2013-05-10 2016-01-26 Airwatch Llc Secure application leveraging of web filter proxy services
US20150006376A1 (en) * 2013-06-27 2015-01-01 Ebay Inc. Conductive payment device
CN103368958A (zh) 2013-07-05 2013-10-23 腾讯科技（深圳）有限公司 一种网页检测方法、装置和系统
US9516005B2 (en) * 2013-08-20 2016-12-06 Airwatch Llc Individual-specific content management
US9262629B2 (en) 2014-01-21 2016-02-16 PhishMe, Inc. Methods and systems for preventing malicious use of phishing simulation records
CN103793815B (zh) * 2014-01-23 2017-01-11 武汉天喻信息产业股份有限公司 适用于银行卡和行业卡的移动智能终端收单系统及方法
WO2015116728A1 (en) * 2014-01-28 2015-08-06 Automated Cash Systems, Inc. Electronic transaction systems and methods for gaming or amusement credit purchases
US9159064B1 (en) * 2014-03-24 2015-10-13 Cellum Innovacios es Szolgaltato Zrt. Systems and methods for an issuer certified card
CN104125216B (zh) * 2014-06-30 2017-12-15 华为技术有限公司 一种提升可信执行环境安全性的方法、系统及终端
US9269028B2 (en) 2014-07-07 2016-02-23 General Electric Company System and method for determining string similarity
US9509715B2 (en) 2014-08-21 2016-11-29 Salesforce.Com, Inc. Phishing and threat detection and prevention
US9646147B2 (en) * 2014-09-26 2017-05-09 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus of three-type or form authentication with ergonomic positioning
GB2536215B (en) * 2015-03-05 2018-01-31 Samsung Electronics Co Ltd Secure input mode for user device
US10127375B2 (en) * 2015-03-07 2018-11-13 Protegrity Corporation Enforcing trusted application settings for shared code libraries
US9264399B1 (en) 2015-08-18 2016-02-16 Farsight Security, Inc. Lock-free updates to a domain name blacklist
US9977887B2 (en) * 2015-09-17 2018-05-22 Sony Mobile Communications Inc. Electronic device and method for validation of a trusted user
US10553306B2 (en) * 2015-11-20 2020-02-04 PhysioWave, Inc. Scaled-based methods and apparatuses for automatically updating patient profiles
US9817992B1 (en) * 2015-11-20 2017-11-14 Sprint Communications Company Lp. System and method for secure USIM wireless network access
EP3370449B1 (en) * 2015-11-25 2020-01-08 Huawei Technologies Co., Ltd. Method and device for configuring security indication information
US10972262B2 (en) * 2015-12-30 2021-04-06 T-Mobile Usa, Inc. Persona and device based certificate management
US10771478B2 (en) * 2016-02-18 2020-09-08 Comcast Cable Communications, Llc Security monitoring at operating system kernel level
JP6690324B2 (ja) * 2016-03-14 2020-04-28 株式会社リコー 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20170289185A1 (en) * 2016-03-31 2017-10-05 Qualcomm Incorporated Device assisted traffic anomaly detection
US20170293410A1 (en) * 2016-04-12 2017-10-12 Sugarcrm Inc. Biometric state switching
US10225273B2 (en) * 2017-01-27 2019-03-05 International Business Machines Corporation Secured event monitoring leveraging blockchain

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201106194A (en) * 2009-03-12 2011-02-16 Ibm Integrity verification using a peripheral device
US8646060B1 (en) * 2013-07-30 2014-02-04 Mourad Ben Ayed Method for adaptive authentication using a mobile device

Also Published As

Publication number Publication date
WO2016182910A1 (en) 2016-11-17
TW201640393A (zh) 2016-11-16
CN106200891B (zh) 2019-09-06
CN106200891A (zh) 2016-12-07
US20160328602A1 (en) 2016-11-10
US10788984B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
TWI676910B (zh) 顯示人機界面的方法、裝置及系統
US10432627B2 (en) Secure sensor data transport and processing
JP6096301B2 (ja) ファームウェアにおける盗難防止
US9589139B2 (en) Method and device for altering a unified extensible firmware interface (UEFI) secure boot process in a computing device
CN105519038B (zh) 用户输入的数据保护方法及系统
KR101654778B1 (ko) 하드웨어 강제 액세스 보호
CN107808127B (zh) 人脸识别方法及相关产品
US20140331037A1 (en) Secure boot override in a computing device equipped with unified-extensible firmware interface (uefi)-compliant firmware
WO2017036345A1 (zh) 一种信息输入方法和装置
WO2015109668A1 (zh) 应用程序管理方法、装置、终端及计算机存储介质
GB2436046A (en) Method for establishing a trusted running environment in the computer
Mohamed et al. Smashed: Sniffing and manipulating android sensor data for offensive purposes
US9411947B2 (en) Method for managing security of a data processing system with configurable security restrictions
CN109819114B (zh) 锁屏处理方法及装置、电子设备及存储介质
US9536073B2 (en) Device-based application security
CN104335223A (zh) 用于安全睡眠状态的方法和装置
US20170169213A1 (en) Electronic device and method for running applications in different security environments
WO2016078429A1 (zh) 一种身份识别的方法和装置
CN110245495A (zh) Bios校验方法、配置方法、设备及系统
CN104732150B (zh) 一种移动终端开机方法及装置
WO2022077388A1 (zh) 一种处理器的安全度量装置及方法
WO2016180234A1 (zh) 一种安全环境构建方法和装置
CN106203148B (zh) 未经授权的数据访问阻断方法及具备该功能的计算装置
WO2020133500A1 (zh) 终端设备的解锁方法、设备和存储介质
CN111601038B (zh) 一种摄像头的控制方法及装置、电子终端及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees