TW202141122A - 折疊式螢幕裝置之使用者介面操作 - Google Patents

折疊式螢幕裝置之使用者介面操作 Download PDF

Info

Publication number
TW202141122A
TW202141122A TW110108920A TW110108920A TW202141122A TW 202141122 A TW202141122 A TW 202141122A TW 110108920 A TW110108920 A TW 110108920A TW 110108920 A TW110108920 A TW 110108920A TW 202141122 A TW202141122 A TW 202141122A
Authority
TW
Taiwan
Prior art keywords
user
display
angle
user interface
folding
Prior art date
Application number
TW110108920A
Other languages
English (en)
Inventor
菅野音
大衛 杜菲
珍 伯格
伯納德特 艾略特鮑曼
Original Assignee
日商Jvc建伍股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Jvc建伍股份有限公司 filed Critical 日商Jvc建伍股份有限公司
Publication of TW202141122A publication Critical patent/TW202141122A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1681Details related solely to hinges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/67Risk-dependent, e.g. selecting a security level depending on risk profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032Protect output to user by software means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Telephone Function (AREA)
  • Telephone Set Structure (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本發明揭露一種使用者介面(UI)操作技術,其可以允許使用者裝置向旁觀者隱藏和遮掩在可撓式、折疊式或以其他方式可重新配置的顯示器上顯示的敏感資訊,並同時保持或改善對其主要使用者的獨有可及性(accessibility)。所揭露技術之實例可以一種方式操作該UI,該方法為當該使用者裝置實體上配置到特定折疊角度(及/或觀看角度)時,該UI才能按預期地為可視的。在一些實例中,該UI可以被客製化使得其促進一特定裝置配置(例如,折疊角度),該特定裝置配置可以為使用者的當前環境提供最佳安全性配置。顯示在顯示器螢幕上的UI可以改變形狀因子(例如,成使用者觀看的預期尺寸)以適應當前環境及/或基於所顯示內容的敏感度。

Description

折疊式螢幕裝置之使用者介面操作
本揭露總體上涉及資料安全性,並且更具體地,涉及保護在行動終端使用者裝置上顯示的敏感資訊免於被旁觀者試圖不肖利用此類資訊。 相關申請案的交叉參考
本發明主張於2020年4月10日提交的標題為「折疊式螢幕裝置中的使用者介面操作」的美國臨時申請號63/008,473之優先權,並主張於2020年3月18日提交的標題為「折疊式手機UI隱私操作」的美國臨時申請號62/991,553的優先權。這些申請案中的每一個均透過引用整體併入本文。
隨著電腦和可攜式電子裝置的普及,資訊呈現的較佳模式早已從紙張轉向電子。通常,這樣的電子裝置配備有向人類使用者呈現視覺資訊的顯示器螢幕(例如,液晶顯示器(LCD)螢幕)。
在許多情況下,例如,當涉及金融或商業交易時,諸如社會安全碼或銀行帳號之類的敏感資訊可以顯示在顯示器螢幕上。當前技術狀態存在一個漏洞,使得不道德的旁觀者可透過從裝置側觀看使用者資訊並在腦海中或現實中拍照,以竊取使用者的敏感個人和財務資訊。
說明書中所提及之「一實施例」或「一個實施例」等參照代表該所述特定特徵、功能、結構或特徵被包括在本揭露之至少一實施例中。在本說明書中這些短語的出現不一定都指的是同一實施例。另一方面,所提及的實施例也不一定相互排斥。
如上所述,越來越多金融和商業交易在電腦和其他可攜式電子裝置(例如行動電話)上進行,而不是在紙張上進行。通常,這樣的電子裝置配備有向人類使用者呈現視覺資訊的顯示器螢幕(例如,液晶顯示器(LCD)螢幕)。在許多情況下,例如,當涉及金融或商業交易時,諸如社會安全碼或銀行帳號之類的敏感資訊可以顯示在顯示器螢幕上。隨著智慧型手機在支付市場上的比例越來越大,越來越多的人定期利用其智慧形手機進行銀行應用。人們可能會在不隱密、公共場所嘗試輸入和閱讀私人資料。透過從裝置側查看使用者資訊並在腦海中或現實中拍照,當前技術狀態已經使惡意人士與代理人能夠可以實體觀看使用者與其裝置互動並竊取使用者的敏感個人和財務資訊。
同時,過去的十年中,主要在有機發光二極體(OLED)顯示技術之進步的驅動下,可撓式顯示器(例如,基於織物的基板)的創造取得了很大的進步。這些可撓式顯示裝置允許在單個裝置內進行不同的配置,例如允許可變的螢幕尺寸,以滿足應用程式需求和可變的實體配置。隨著可撓式顯示器的改進,它們為使用者介面和互動模式啟用了各種新的實體配置。可以將折疊式手機的UI元件(例如,一或多個螢幕)快速地操作成不同的形狀或改變為不同的折疊角度。除了可撓式顯示器之外,甚至對於傳統的顯示器,其普及性和降低的製造成本使得具有剛性顯示器但是具有兩或多個螢幕的裝置(例如,具有兩個螢幕的雙摺(bi-foldable)手機)也已經出現在市場上。
因此如在本文中所介紹的一種使用者介面(UI)操作技術,其可以允許使用者裝置向旁觀者隱藏和遮掩在可撓式、折疊式或以其他方式可重新配置的顯示器上顯示的敏感資訊,並同時保持或改善對其主要使用者的獨有可及性(accessibility)。更明確地,所揭露技術之一或多個實施例可以一種方式操作該UI,該方法為當該使用者裝置實體上配置到特定折疊角度時,該UI才能按預期地為可視的。在一些實例中,該UI可以被客製化使得其促進一特定裝置配置(例如,折疊角度),該特定裝置配置可以為使用者的當前環境提供最佳安全性配置。顯示在顯示器螢幕上的UI可以改變形狀因子(例如,成使用者觀看的預期尺寸)以適應當前環境(例如,當使用者從一環境移動到另一環境或者使用者周圍的環境改變時)。附加地或替代地,顯示的UI可基於該顯示內容中的敏感度而改變其形狀因子。
透過UI操作,本文介紹的技術使得能夠以直觀的方式隱藏或遮掩顯示在裝置上的資訊,從而為使用者保持可用性和可讀性,並從而實現有效的使用者介面系統,該UI系統幫助使用者可輕易地實現用於安全與避免不預期的對旁觀者的資料丟失之最佳的螢幕配置。
在以下說明中,折疊式行動裝置的實例僅出於例示性目的,以用於解釋技術的各個態樣。但是,請注意,此處介紹的技術的適用性不限於折疊式行動電話或任何其他特定種類的裝置。而且,即使以下說明專注於在行動電話上實作所揭露技術的各個態樣,其他電子裝置或系統(例如,膝上型電腦或平板電腦)也可以以類似的方式來適應這些技術。除非在上下文中另有說明,否則本文中可互換使用的術語「折疊式顯示器」或「折疊式螢幕」是指其中顯示器區域可折疊的顯示器之任何變體,其應至少包括兩個變體:(1)具有至少一個被配置為可折疊的可撓式螢幕(例如,一件式的可撓式OLED顯示器螢幕)的顯示器,以及(2)具有至少兩個區段的顯示器,該兩個區段中的每個都有一個螢幕,但該兩個區段被配置為一起(或共同地)運作如一個螢幕,並且該兩個區段透過折疊式機制而彼此機械耦接。可折疊螢幕的一些實例包括雙摺(bifold)顯示器、三摺(trifold)顯示器等。
在本說明中,術語「使用者」通常是指任何實體上操作行動裝置的人,而術語「旁觀者」通常是指任何實體上靠近使用者但不實體上操作該行動裝置的人。此外,請注意,此處介紹的UI操作技術應與僅使用小於整個區域來顯示資訊的技術(例如,透過使用較少的像素進行顯示,例如將1900x1200像素的顯示器縮小為1680x1050像素的顯示器)區別開來;如本文所述,UI操作技術運用視覺變形來直覺性令使用者將手機置放於特定實體裝置配置(例如,折疊角度)中,以利正確的觀看UI。如此,在本揭露中以及在顯示器的上下文中,術語「形狀因子」通常是指顯示器應當在視覺上對使用者視覺呈現(即,從使用者的角度來看)的尺寸而不是從第三方(如,旁觀者)觀看顯示器的尺寸。以類似的方式,出於本文說明目的,除非在說明書的上下文中另外明顯呈現,否則術語「觀看」或「感知」是針對所討論的裝置的使用者的觀點而用的,而並非來自另一方個體。
應注意,這裡呈現的圖式僅僅是例示性目的,以促進對揭露的UI操作技術的討論;它們非按比例繪製。 應用環境
圖1A示出了其中可實作如本文所介紹之折疊式手機UI的環境100。在環境100中示出的是使用者110在存在多個旁觀者140的情況下與折疊式行動裝置130上的折疊式螢幕120進行互動。因為旁觀者140存在於環境100中,所以旁觀者140極有可能竊取在行動裝置130的使用者介面上顯示的使用者資訊(即,如以習知方式直接顯示在折疊式螢幕120上)。如圖1A所示,在存在使用者隱私風險的情形下,行動裝置130正顯示使用者的私人與敏感資訊。這樣,需要保護使用者110資訊不被旁觀者140竊取。
相應地,如下面更詳細地討論的,此處揭露的UI操作技術可以以某種方式操作UI,使得只有當使用者將裝置配置/重新配置為所選的裝置配置時,從使用者來看該UI才是實質上可視的(例如,以特定的折疊角度折疊及/或,在一些實施例中,從特定的觀看角度觀看)。換言之,當使用者裝置被實體配置到特定折疊角度及/或觀看角度時,揭露之UI系統可操作UI使得從使用者110之視角來看之所產生UI視覺上呈現之尺寸及/或角度可增加安全性。
在一個或多個實例中,所揭露的UI操作系統可以透過找到使用者環境中旁觀者存在的可能性以及旁觀者的潛在數量來判定使用者周圍環境的隱私風險等級。附加地或可替代地,UI系統可以判定在使用者的行動裝置130上呈現的私人和敏感資訊的敏感度等級。然後,在一些實施例中,基於使用者周圍環境的隱私風險等級及/或在使用者的行動裝置130上呈現的私人和敏感資訊的敏感度等級,UI系統可以判定敏感資訊將如何被呈現在折疊式螢幕120上的形狀因子,以使得只有就位的使用者110可以觀看到不扭曲的敏感資訊。在這些實施例中,敏感資訊也可以保持對使用者110為扭曲的,除非將折疊式螢幕120操作至所選的折疊角度及/或所選的觀看角度。所述之另一種方式,在一些實例中,該UI可以被客製化使得其促進一特定裝置配置(例如,折疊角度及/或觀看角度),該特定裝置配置可以為使用者的當前環境100提供最佳安全性配置。 折疊角度
圖1B示出了例示性折疊式手機(例如,使用者裝置130)的折疊角度138。如圖1B所示,折疊角度138是在多區段折疊式行動裝置(例如,使用者裝置130)的數區段間的角度。更具體地,折疊角度138由兩個軸線之間的角度形成,該兩軸線包括:沿著折疊式手機130的第一區段(例如,左區段)的表面延伸的第一軸線132,以及沿著折疊式手機130的第二區段(例如,右區段)的表面延伸的第二軸線134。折疊式手機130的第一及第二區段被機械地連接並且沿著鉸鏈軸線136折疊。如圖1B所示之裝置130上的UI由該折疊式顯示器之左區段與右區段共同地顯示。
應注意,為了簡化討論,這裡描述的雙摺顯示器實施例專注於在橫向方向上(例如,從左到右)折疊的配置;然而,所揭露的技術可以類似地應用於具有在縱向方向上(例如,從頂部到底部)折疊的配置的那些實施例。在該等實施例中的一些實施例中,該配置是可互換的,例如經由手動或自動螢幕旋轉功能,以使得該配置可以更佳適合使用者的偏好及適合當前裝置之定向。
根據本實施例,可以選擇折疊角度138,以及UI可以相應地扭曲,使得當對折疊式手機130的折疊式螢幕(例如,螢幕120)折疊或操作至所選的折疊角度(或期望的折疊角度)時,使用者介面可以被使用者110最佳地讀取,但是從其餘的環境(例如,旁觀者130)來看呈現扭曲的。所選的折疊角度也可以被描述為顯示器螢幕120被折疊的最佳內角。例如,在顯示器是雙摺顯示器(例如,單鉸鏈)的情況下,折疊角度是折疊顯示器的內角(interior angle)。
在一些實施例中,可以基於要在使用者介面上顯示的私用資訊的敏感度及/或使用者周圍環境中潛在旁觀者的存在來判定期望的折疊角度,進而遮掩以免於旁觀者觀看到使用者螢幕上私人資訊。例如,當使用者想要存取私人或安全資料時,可以使用手機的相機資料以判定使用者周圍是否存在任何潛在的旁觀者。
當判定手機的最佳折疊角度時,可以產生/扭曲/客製化使用者介面,以使得在最佳折疊角度下是可讀的。當使用者將手機折疊到特定角度以使得使用者介面在使用者位置處為可讀的,從而阻止潛在旁觀者側目觀看到使用者的私人資訊。例如,使用者想要在坐在公車上時察看他或她的銀行帳戶資訊。當使用者存取本文所介紹的折疊式手機上安裝的軟體應用程式(例如,銀行的專有應用程式)時,手機向使用者顯示會扭曲的使用者介面。使用者將手機閉合到更窄的角度,直到從使用者的視角來看使用者介面變得視覺上可讀(例如,邊緣和字體不會呈現偏斜/扭曲的),同時阻止內容(透過將手機閉合到更窄的角度)被使用者周圍的潛在旁觀者觀看。 觀看角度
圖1C示出了例示性折疊式手機(例如,使用者裝置130)相對於使用者(例如,使用者110)的查看角度148。通常,觀看角度是行動裝置130對使用者110的定向之角度。觀看角度也可以理解為使用者110的眼睛相對於折疊式裝置130的位置。如圖1C所示,在雙摺手機之實例中,觀看角度148可以是在第一軸線142(對裝置130之非折疊邊緣呈垂直狀(亦即,90°))與使用者110視線之間的角度。圖1C中的雙摺裝置沿中央定位的鉸鏈軸線146(例如,其與鉸鏈軸線136有相同配置)折疊。
應註明,為了方便起見,如參照圖1C,這裡的揭露假設凝視點(即,使用者的眼睛聚焦在其上)是螢幕的中心。凝視點(gaze point)定義了一個起始邊緣,從該起始邊緣可以測量觀看角度148。儘管對觀看角度的定義及/或對凝視點的假設可能取決於實施時有所不同(例如,凝視點可以在螢幕的頂部或底部;或者,在某些實施中,凝視點可以是動態地由感測器判定),但無論觀看角度的定義及/或凝視點的位置如何變化,本文揭露的UI操作技術都可以類似地應用。 靜態與動態UI調整
本文之由UI操作技術所產生的UI通常具有如下效果:只有當折疊式螢幕被折疊到預期的折疊角度且從預期的觀看角度觀看該螢幕時,從使用者(亦即,從使用者視角)來看該UI才是可視的且不為視覺上變形或扭曲的。如此一來,取決於實施例,使用者裝置可以具有動態地或靜態地調整UI扭曲的選項。出於討論的目的,術語「靜態UI操作」是指UI只有被操作/扭曲以用於在最佳折疊角度觀看及/或從最佳折疊角度觀看(例如,以關於以下討論圖2A所描述的方式);其是「靜態」原因在於UI渲染並沒有基於裝置之實際折疊角度或基於使用者眼睛位置/凝視點之實際位置而有所變化。 相反的,術語「動態UI操作」代表在於UI渲染基於裝置之實際折疊角度及/或基於使用者眼睛位置/凝視點之實際位置而進行改變並接收調整。
更明確的,於圖1D中表150所示,有四種不同組合的UI調整配置:(A)折疊角度UI調整與觀看角度角UI調整均是靜態的;(B)靜態折疊角度UI調整與動態觀看角度UI調整;(C)動態折疊角度UI調整與靜態觀看角度UI調整;以及(D)折疊角度UI調整與觀看角度UI調整均是動態的。對於實作靜態折疊角度調整的實施例而言,所產生的UI扭曲不需要考慮到裝置的實際折疊角度;而是,可以基於所選的最佳折疊角度來產生UI,以及是倚賴使用者來將裝置(例如,透過折疊螢幕)重新配置至最佳折疊角度以觀看到正確的UI。相似的,對於實作靜態觀看角度調整的實施例而言,所產生的UI扭曲不需要考慮到使用者眼睛位置/凝視點;而是,可以基於所選的最佳觀看角度來產生UI,以及是倚賴使用者來將裝置調整到固持位置/定向等,及/或相對於該裝置重新定位該使用者的眼睛,以使得從該最佳觀看角度觀看該裝置,以確保使用者觀看到正確的UI。
相反地,對於實作動態折疊角度調整的實施例而言,透過考慮裝置的實際折疊角度來動態產生及調整UI扭曲;也就是說,UI可以隨著實際折疊角度的變化而變形。類似地,對於實現動態觀看角度調整的實施例而言,所產生的UI扭曲確實考慮了使用者的眼睛位置/凝視點。換句話說,基於使用者眼睛的實際位置/凝視點來動態地產生及調整該UI。透過進行動態觀看角度調整,使用者無需調整固持位置/定向等,並且通常可以從使用者可用的任何觀看角度觀看到正確的UI。
為簡單起見,除非上下文另有說明,否則以下關於UI操作技術的描述將主要專注於採用靜態折疊角度UI調整和動態觀看角度UI調整的配置,即,配置(B)。在此觀察到,由於至少兩個優點,配置(B)在許多現場應用中可能是較佳的:第一,靜態折疊角度迫使使用者改變折疊角度,從而有利於保護敏感資料免受旁觀者的觀看;以及其次,動態觀看角度根據使用者的眼睛位置改變了UI扭曲,這為使用者提供了便利性並提高了可用性。相比之下,配置(A)在低成本及/或低功率實施方式中可能是較佳的,其中諸如使用者眼睛追蹤系統之類的附加感測器系統可能成本過高及/或太耗電。另一方面,配置(D)相對提供了最無縫接軌的使用者體驗,因為無論使用者當前的折疊角度或凝視點為何,從使用者來看該UI始終為可視的;但是,這將不如具有靜態折疊角度的配置安全,因為如果從使用者來看該UI的可視性維持相同,則使用者將不太傾向於進行任何調整(例如,將手機折疊得更窄)。
儘管偏好配置(B),但是所揭露的技術也可以類似地應用於配置(A)、(C)及(D)。具體地,在以下討論最佳折疊角度的判定和產生的描述中,可以將相同或相似的考慮因素(例如,關於使用者裝置內部及/或外部的資訊)應用於最佳折疊角的判定和產生(例如,針對該等具有靜態觀看角度調整的實施方式而言)。在一些實施例中,可以給使用者一個在不同配置中進行選擇的選項。
此外,應注意,在一些實施例中,可以基於所判定的使用者私人資訊的敏感度等級及/或所判定的隱私風險等級來「更新」UI扭曲;雖然對UI扭曲的這些「更新」在某種意義上通常也可以理解為「動態」的,因為其是因應周圍環境中隱私風險或顯示資料的敏感度或兩者的變化而做出的,這類型的討論在上下文中為清楚,並且請勿與因應使用者的凝視點及/或折疊角度(即,在使用者控制範圍內的參數)的動態UI操作的一般討論相混淆。 用於保護敏感資料之使用者介面操作
圖2A示出了如本文所介紹之折疊式手機使用者介面可以如何被實作以保護隱私與敏感資料的實例。如圖2A所示的是具有雙摺顯示器220之折疊式行動電話230,其沿鉸鏈軸線236折疊。也如圖2A所示的例示性UI 201-208分別示出如何操作折疊式行動電話230的四組組合(即,第一組是例示性UI 201-202,第二組是例示性UI 203-204,等等),以在四個不同的例示性隱私情境中進行不同的折疊:(1)私人空間,(2)相對安全的空間,(3)公共但安靜的空間,以及(4)繁忙的公共空間。在下文中,隱私情境及其對應的固持角度僅出於討論目的;取決於實施方式,可以採用更多或更少的情境,並且可以採用不同的固持角度。
例示性UI 201、203、205和207顯示了在不同隱私情境中對使用者(例如,使用者110)呈現的UI,且例示性UI 202、204、206和208呈現了顯示在雙摺螢幕220上的實際UI。具體地,例示性UI 202、204、206和208中的實際UI表示法呈現了如何將使用者的私用/敏感資訊佈置在具有雙摺顯示器(例如,雙摺顯示器220)的手機的使用者介面上。換句話說,「實際UI」表示法在各種情境下當折疊式手機230呈完全打開時,從使用者來看該使用者介面的確切樣貌。相比之下,「使用者觀看到的UI」表示法呈現了當針對各種情境以最佳折疊角度折疊雙摺顯示器220時(並且在一些實施例中,從最佳觀看角度觀看時),使用者的私人/敏感資訊如何在手機230的使用者介面上可視地顯示給使用者。
以第一隱私情境-私人空間-為例。例示性UI 202表示當折疊式行動電話230的雙摺顯示器220完全打開時,在行動電話230上的使用者的私人/敏感資訊的實際UI渲染。相比之下,當雙摺顯示器220的兩個區段(即左與右區段),即,完全打開並佔據可折疊顯示器220的整個區域時,對使用者而言該UI(例式性UI 201)即是呈現從使用者來看實際UI 202之視覺上樣貌。應理解的是,由於折疊式行動電話230充分利用了折疊式顯示器220的顯示器區域,因此使用者通常更傾向於在使用者的私人空間(如家中)保持折疊式行動電話230呈完全打開。應當注意,在完全打開狀態下,實際的UI(即,例示性UI 202)與在使用者的最佳觀看角度下從使用者來看(即,例示性UI 201)的UI相同。
在第二個例示性隱私情境中-辦公室隔間中-因為它通常可以被歸類為相對安全的位置,但不如使用者的家一樣安全,因此建議使用者不要保留手機230完全打開,因為旁觀者仍有小機率會看著使用者的手機。在這種情況下,保持手機230略微折疊但處於寬角度可能足以保護使用者的私人/敏感資訊不被旁觀者竊取。例示性UI 203表示當使用者位於相對安全空間中時,在手機230上的使用者的私人/敏感資訊的實際UI渲染。在這樣的環境中,當雙摺顯示器220的兩個區段被折疊成廣角(例如135°或更大)時,可以使得使用者獲得最佳的視野。相比之下,當針對相對安全空間(但非完全安全)將雙摺顯示器220的兩個區段折疊至最佳折疊角度時,對使用者而言該UI(例式性UI 203)即是呈現從使用者來看實際UI 204之樣貌。在此還應注意,使用者可見之UI 203表示當從最佳觀看角度觀看折疊式行動電話230時,從使用者來看實際UI 204之樣貌(參見以上關於圖1C-圖1D的描述)。由使用者可見的UI 203是看起來小於顯示器的整個區域(例如,與UI 201相比)但在相對安全的空間中從使用者以最佳折疊角度來看為不扭曲的使用者介面。同時,從旁觀者來看該相同的使用者介面是扭曲的(例如,UI 204)。
類似地,在通常可以被歸類為公共場所但仍是安靜空間的位置(例如第三隱私情境,如公園)中,建議使用者將手機230保持折疊於一窄的角度,尤其是與當使用者位於較安全位置如辦公式等之第二情境相比。這是因為與辦公室等較安全的場所相比,旁觀者更有可能在公園裡看著使用者的手機。在這種情況下,保持手機折疊於一窄的角度可保護使用者的私人/敏感資訊不被旁觀者竊取。例示性UI 206是當使用者位於公共但仍安靜的空間中時,在手機230上的使用者的私人/敏感資訊的實際UI渲染。在這樣的環境中,當雙摺顯示器220的兩個區段被折疊成窄角(例如135°-75°)時,可以使得使用者獲得最佳的視野。由使用者可見的UI 205呈現當針對公共但仍安靜的空間將折疊式行動電話230折疊到最佳折疊角度時,從使用者來看實際UI 206之樣貌。透過此方式,由使用者可見的UI 205在最佳折疊角度對使用者而言維持不扭曲的,即便當由使用者感知到的顯示器面積已經比折疊式顯示器220之整個區域更小(例如,與UI 201相比)亦是如此。然而,相同的使用者介面由於其更窄的折疊角度而變得從旁觀者來看是更加隱藏的,並且與第二情境相比,從旁觀者來看該UI為更加扭曲。
最終地,在通常可以被歸類為繁忙公共場所的位置(例如第四隱私情境,如公車或地鐵)中,建議使用者將手機230保持折疊至一與先前情境(例如,公園)相比更窄之角度。這是因為與公園等場所相比,旁觀者有更大可能性在公車上看著使用者的手機。在這種情況下,保持手機230折疊於一更窄的角度可保護使用者的私人/敏感資訊不被旁觀者竊取。例示性UI 208是當使用者在繁忙公共空間中時,在手機230上的使用者的私人/敏感資訊的實際UI渲染。在這樣的環境中,當雙摺顯示器220的兩個區段被折疊成一角度(例如75°或更小,該角度為所有四個情境中最窄的角度)時,可以使得使用者獲得最佳的視野。由使用者可見的UI 207呈現當針對繁忙公共空間將折疊式行動電話230折疊到最佳折疊角度時,從使用者來看實際UI 208之樣貌。如圖2A所示,由使用者可見的UI 207在最佳折疊角度對使用者而言可維持不扭曲的,即便當由使用者感知到的顯示器面積是所有四種顯示器面積中最小者(與UI 201、203及205相比)。然而,與先前三個情境相比,例示性UI 208由於其最窄的折疊角度而變得從旁觀者來看是最隱藏的,並且與所有先前情境相比,從旁觀者來看該UI為最扭曲的。注意,在其中折疊式顯示器被配置為在中心處或附近折疊的實施例中(例如,雙摺顯示器配置),實作本技術的使用者介面(例如,UI 204、206和208)可以是沿著可折疊顯示器(例如,顯示器220)的鉸鏈(例如,軸線236)的軸線呈對稱地變形。
以這種方式,所揭露的UI操作/扭曲技術提供了直覺的使用者介面系統,其中該使用者介面的內容在實際的UI表示法中可以在視覺上扭曲,並且僅當顯示器(例如,顯示器220)被折疊成特定角度時才呈現出不扭曲和可讀的。這使得保護使用者的私人和敏感資訊免於被旁觀者(例如,旁觀者140)竊取,因為旁觀者只能看到扭曲的使用者介面顯示器,諸如那些示出為實際UI表示法的實例(例如,例示性UI 204、206和208)。另外,當使用者在估看該可讀UI時以特定的折疊角度折疊或閉合顯示器以阻止旁觀者觀看時,可以進一步防止旁觀者竊取使用者的私人和敏感資訊,諸如由使用者可見的UI表示法所示的該等實例(例如,例示性UI 203、205和207)。
圖2B示出了實際UI與由使用者所見UI中所呈現之視覺引導標記250和文字引導252的實例。如這裡所討論的,可以基於所選的折疊角度來產生要在折疊式或可撓式顯示器上所顯示的UI,使得僅當將折疊式手機之螢幕折疊至所選的折疊角度時,從使用者來看該UI才能是視覺上正常的。從該技術產生的UI對使用者而言是直觀的,其理由至少在於因為當手機不在所選配置中(例如,折疊到所選的折疊角度)時,內容看起來會是異常(例如,扭曲或偏斜)。
儘管如此,為了進一步令使用者能夠直觀地配置及/或定向該手機,並減少對所顯示內容的扭曲的依賴來引導使用者,產生的UI可以另外包括視覺引導標記(例如,引導標記250),該引導標記引導使用者將折疊式顯示器操作至所選的折疊角度。在若干實施方式中,視覺引導標記250可以顯示在顯示器的頂部或在不會妨礙使用者觀看UI中一般內容的位置處進行顯示。視覺引導標記250可以是所選的幾何形狀,例如圓形、正方形、三角形、菱形等。透過所揭露的UI操作技術的實施方式,只有當折疊式顯示器被操作至最佳折疊角度時,從使用者來看該視覺引導標記會以所選的幾何形狀呈現(例如,圓形,如圖2B中的「由使用者可見的UI」所示者)。例如,當所選的幾何形狀是圓形時,在折疊式顯示器沒有被操作至最佳折疊角度時則從使用者來看該實際UI會是圓形以外的形狀(例如,傾斜橢圓,如圖2B「實際UI」表示法所示)。換句話說,僅當將折疊式顯示器操作至最佳折疊角度時,直覺的使用者介面上的幾何形狀才顯示為圓形。在一些實施例中,實際UI可以在顯示器上包括附加提示,向使用者指示所選的幾何形狀為何(其也可以下述文字引導252的一部分)。然後,使用者可以將手機調整到較窄的角度,直到橢圓形看起來是圓形。從使用者的視角來看,使用者介面變得可讀且視覺上正常,但是對於使用者周圍的旁觀者而言,該內容則被阻擋或視覺上扭曲。
附加地或替代地,所產生的UI可以包括視覺引導標記,該視覺引導標記根據關於圖8-11D所討論的握持操作技術來引導使用者操作他或她的握持方式。因此,在一或多個實施例中,所產生的UI可以包括用於UI操作技術的視覺引導標記和用於握持操作技術的視覺引導標記。然而,該等視覺引導標記可以是彼此獨立地產生。可以獨立於UI操作技術(即,無視覺扭曲)或結合UI操作技術(即,具有視覺扭曲)來產生針對握持操作技術的視覺引導標記。
附加或替代地,此處的UI操作系統的一或多個實施例可以在使用者介面上包括文字引導(例如,文字引導252),以引導使用者將當前折疊角度更變成最佳折疊角度。例如,文字引導252可以用諸如「更大程度地打開折疊式顯示器」或「進一步閉合折疊式顯示器」之類的字句向使用者指示。在一些變體中,文字引導可以以當前可讀的字體(即,以不扭曲的方式)顯示為指令,例如,「閉合手機直到橢圓變成一個完美的圓圈」。
以此方式,視覺引導250及/或文字引導252可以引導使用者將手機折疊適當的量,以使得使用者介面在使用者位置處為可讀,從而阻止潛在旁觀者觀看到使用者的私人資訊。作為一實作實例,使用者想要在坐在公車上時察看他們的銀行帳戶資訊。當使用者存取在其折疊式手機上的資訊時,手機以扭曲的UI將其呈現給使用者。在頂部是一個橢圓形,並以當前可讀的字體寫了一條指令:「請以較小的折疊角度折疊手機,直到黑色橢圓形變成一個完美的圓圈(並且UI看起來筆直且水平)為止」。使用者將手機閉合至較窄的角度,直到橢圓形變成圓形。在調整之後,現在可以從使用者的位置完全讀取該使用者介面,但是對潛在旁觀者而言該內容已被阻擋。
此外,在一些實例中,在可以將敏感資訊顯示在UI上呈現給使用者之前,UI操作系統可能要求將使用者裝置放置於最佳配置中。例如,UI操作系統可以配置為僅呈現輔助UI元件,並主動阻擋、模糊化、遮罩、以其他方式阻礙或單純禁止在使用者裝置的螢幕上顯示敏感資料,除非/直到折疊式顯示器被操作至最佳裝置配置(例如,最佳折疊角度)。例如,UI只會向使用者呈現引導資訊(例如,視覺標記250及/或文字引導252),直到使用者遵循引導說明並將折疊式手機重新配置或操作至所選的最佳折疊角度為止。只有這樣,UI操作系統才會在UI上呈現敏感資訊(例如,以上述方式)。
圖2C示出了折疊式手機UI操作技術的一些實例的附加可選實施方式細節。如此處所討論的,因為所介紹的UI操作技術的至少多個實例具有減小或縮小使用者所感知到的折疊式顯示器的顯示器區域的視覺效果(例如,將UI 201與UI 203、205和207進行比較),在某些實施方式中,可以基於所判定針對折疊式顯示器為有效的形狀因子對顯示器內容進行自動化調整。明確而言,在各種實施例中,該敏感資訊的原始佈局可以根據該所判定的形狀因子被更改成重新佈置成替代佈局,使得該替代佈局相對於該折疊式顯示器的該整個區域更適合較小的形狀因子。例如,原始佈局(例如,可以被設計用於更大的顯示器,例如桌上型/平板電腦顯示器)可以更改為設計用於具有小螢幕或較小螢幕的行動裝置之替代佈局(例如,可以具有不同的字體尺寸、圖形及/或導航佈置)。
在圖2C示出兩個例示性UI 270和272,其中例示性UI 270示出了當螢幕完全打開時要顯示的內容的原始佈局。當折疊實作UI操作技術的裝置時,該顯示的佈局可以自動更改成替代佈局,如由例示性UI 272所展示者。附加地或可替代地,可以將諸如滾動條274之類的附加UI元件進一步添加到所顯示的UI中,以輔助使用者在模擬且減小的螢幕尺寸上的內容進行導航。 例示性系統組件與資料流
圖3示出了例示性UI操作引擎300的功能方塊圖,該例示性UI操作引擎可用於實作折疊式手機UI操作技術。
例示性UI操作引擎300可以在使用者的行動裝置(例如,行動裝置130、230)中實現並在其上運行。如圖3所描繪,UI操作引擎300可以包括UI敏感度提取系統310、周圍環境狀態評估系統320、最佳顯示器配置查找器330、實際顯示器配置查找器340、使用者狀態評估系統350、UI扭曲產生器360和輔助UI元件產生器370。應註明圖3所示的原件僅為說明性,廣為人知的特定組件(例如,中央處理單元(CPU)、記憶體模組、螢幕顯示器及通訊電路)並未被顯示以保持簡潔。注意,這裡介紹的一個或多個系統、子系統、組件及/或模組可以實作為軟體應用程式或包括軟體應用程式。然而,這些系統/子系統/模組的任何合適的組合可以被實現為硬體或韌體組件,以實現相同或相似的功能。相似地,圖3中的例示性組件是為了促進本文的討論而示出的;取決於實際的實施方式,可以使用更多或更少的組件,並且可以組合或劃分組件。
根據一些實施方式,UI操作引擎300可以在其接收到將要顯示敏感資訊的指示(例如,在行動裝置的折疊式顯示器上)時開始啟用。例如,可以為引擎300實現應用程式程式化介面(API),使得它可以接收軟體功能呼叫(例如,來自軟體應用程式)作為指令。在變體中,引擎300可以被實現為由作業系統(OS)提供的功能集的一部分,或者被實現為系統軟體庫等。在附加或替代實施例中,引擎300可以是獨立駐留在記憶體中的軟體,並攔截/偵測要顯示的敏感資訊。
UI操作引擎300在接收到存在要顯示的敏感資訊的指示之後UI操作引擎300為其判定最佳顯示器配置,並且為了達到此目的,引擎300考慮了一個或多個因素,包括那些基於外部及/或內部資訊的因素。更具體地說,根據介紹的UI操作技術,通常存在兩類資訊,這些資訊可能會影響確定應將顯示器螢幕縮小多少的判定(即,其形狀因子):(1)手機內部的資訊,以及(2)手機外部的資訊。前者(即內部資訊)可以由UI敏感度提取系統310提取,而後者(即外部資訊)可以由周圍環境狀態評估系統320提取。 A. UI敏感度提取系統
圖4A是用於使用圖3中的UI操作引擎的一些實例組件來實作折疊式手機UI操作技術的例示性資料流400。資料流400示出了資料如何在UI操作系統(例如,引擎300)中的各個區塊之間流動的實例。同時參考圖3和圖4A,現在結合UI操作引擎300的功能方塊圖來說明資料流400。
UI敏感度提取系統310可以判定在使用者裝置上顯示的資料的隱私敏感度,並輸出UI敏感度資料。換句話說,UI敏感度提取系統310可以判定要在使用者的行動裝置上呈現的資訊的敏感度等級。
在一些實例中,UI敏感度資料可以描述當前顯示在螢幕上的不同特徵的各種敏感度等級。高敏感度項目的實例可能包括密碼輸入框、銀行帳戶資訊、信用卡資訊等。取決於實施方式,中等敏感度可以包括個人資訊,例如社會安全碼、生日、住家住址或電話號碼。UI敏感度提取系統310還可以識別低敏感度的項目,例如公用域資訊、一般網站文字或影像。在許多實施例中,使用者可以具有根據使用者自己的偏好來調整或編輯這些項目的選項。另外或可替代地,UI敏感度資料可以描述與頁面上最高敏感度特徵匹配的螢幕的總體敏感度評分(sensitivity rating)。
根據一些實施例,UI敏感度提取系統310可以從本地資源及/或遠端資源獲得UI敏感度資料。這些資源的實例可以包括查找表或資料庫,可以在其中記錄常見軟體應用程式/組件/功能的敏感度等級。例如,在以下情況下資源可以標識為高敏感度:如果軟體行動應用程式是銀行應用程式、如果應用程式視窗顯示密碼輸入螢幕、如果提供某種功能(例如,查看銀行對帳單)的網頁被觸發、或者如果UI元件包含密碼輸入欄位。作為附加或替代實施例,UI敏感度提取系統310可以透過元資料獲得UI敏感度資料,例如,元資料是與發送者是誰有關的訊息元資料、與訊息的性質有關的元資料、消息緊急性及/或接收者的位址(例如根據工作或私人電子郵件區分敏感度)。此外,在其中針對UI操作引擎300實作API的若干變體中-UI敏感度提取系統310可以從API接收到UI敏感度資料(例如,經由函數呼叫之一或多個參數)。
在一或多實施例中,UI敏感度提取系統310可以透過內容分析獲得UI敏感度資料。在某些實例中,UI敏感度提取系統310可以基於發送或接收的訊息中關鍵字的存在(例如,「高度機密」),或者透過分析圖形/攝影內容(例如,透過採用已知影像處理與識別演算法)來判定敏感度等級。UI敏感度提取系統310的一些實施例還可以透過使用機器學習技術(例如,有監督的機器學習)來產生UI敏感度資料。例如,UI敏感度提取系統310可以首先由一組訓練資料來進行訓練,該訓練資料的敏感度被標記以建立UI敏感度判定資料模型。訓練資料的實例可以包括實際內容(例如,文字、文件、圖像、或視訊)及其相應的敏感度評分。以這種方式,UI敏感度提取系統310可以動態產生敏感UI內容的敏感度評分。
甚至,UI敏感度提取系統310的某些變體可以透過使用者情緒分析來產生UI敏感度資料,例如透過從用戶的情緒變化中推斷出可能的敏感度。例如,如果使用者在操作該應用程式時表現出更多的隱密性、改變面部表情、情緒等,則UI敏感度提取系統310可以推斷該應用程式的敏感度等級高於典型應用程式。這些推斷靈敏度等級之判定可以基於例如手勢辨識、面部表情辨識及/或腦波圖。 B. 周圍環境狀態評估系統
周圍環境狀態評估系統320包括一套系統硬體、韌體及/或軟體組件,其可用於判定和分析使用者周圍環境的隱私狀態。如圖3所示,周圍環境狀態評估系統320包括三個例示性組件:周圍環境狀態感測器322、周圍環境狀態資料預處理器324和周圍環境狀態查找器326。
更具體地,可以例如基於來自周圍環境狀態感測器322的讀數來使用周圍環境狀態評估系統320,以識別行動裝置的周圍環境中的隱私風險等級。最佳顯示器配置查找器330和UI扭曲產生器360可以使用此識別的隱私風險等級來判定要在行動裝置上顯示的使用者私人/敏感資訊的最佳形狀因子。在一些實施例中,在行動裝置上顯示的使用者的私人/敏感資訊的形狀因子可以與識別出的隱私風險等級成負相關。即,所識別的隱私風險等級越高,則由使用者可見的UI的形狀因子就應該越小。例如,如以上關於圖2A所解釋的,圖2A中,可以有四個等級的隱私風險-私人空間、相對安全的空間、公共但還是相當大的空間以及繁忙的公共空間-並且環境越忙,使用者所感知到的UI越小。
周圍環境狀態感測器324可包括一個或多個感測器,其可以用於獲得關於使用者周圍環境的資訊(即,「周圍環境資料」)。在各種實例中,周圍環境資料可以包括使用者位置的視覺影像或記錄、特定地理位置資訊(例如,全球定位系統(GPS)座標)、音訊資訊(例如,來自周圍環境的背景聲音資料及/或語音資料))、裝置連接性資訊(例如,用於偵測使用者附近的人的裝置的資訊,例如連接性資料)及/或可用於確定使用者周圍的人的存在和狀態的其他適合的資料。為了獲得適用的周圍環境資料,周圍環境狀態感測器324的實例可以包括諸如下述者之感測器,例如:後置及/或前置相機,或可以從使用者位置產生光饋送之其他基於光(例如,紅外線)的成像技術、可以產生衛星定位資訊的GPS感測器、可以產生從使用者位置收集到的音訊訊號的麥克風或音訊感測器、及/或可以在使用者的行動裝置的(例如,基於收發器的範圍,10米)附近區域內產生裝置簽章的無線網路收發器(例如,藍牙)。根據實施例,這些感測器可以在使用者的行動裝置上或可以單獨連接到該裝置。
具體地,根據一或多個實施例,周圍環境狀態感測器322然後可以將周圍環境資料發送到周圍環境狀態資料預處理器324,其可以對周圍環境資料進行預處理(例如,以增加訊號雜訊比(SNR)到適當的品質)以供後續分析。此外,周圍環境狀態資料預處理器324可以根據收集的資料類型將各種適用類型的預處理應用於該周圍環境資料。例如,在一些實施例中,周圍環境狀態資料預處理器324可以預處理從周圍環境狀態感測器322中的光學感測器(例如,相機)產生的光學資料,以校正場景照明、聚焦、振動、運動偽影、反射和其他特徵。此外,在許多這些實施例中,周圍環境狀態資料預處理器324可以使用機器視覺技術對光學資料進行預處理,以識別和標記(例如,透過向其添加元資料或標籤)諸如人或人臉的關鍵特徵。
此外,周圍環境狀態資料預處理器324的一些實施方式可以預處理音訊資料以去除背景雜訊(例如風或道路雜訊)、放大特定的音訊特徵(例如語音),並透過增強SNR來進一步改善音訊品質。      與上面提到的視訊預處理實施例類似,在某些實施例中,周圍環境狀態資料預處理器324可以對音訊資料進行預處理,以將元資料或標籤添加到關鍵特徵,例如不同的語音或聽到的短語、字。
此外,在某些實施例中,周圍環境狀態資料預處理器324可以對連接性資料進行預處理,以在使用者鄰近處的獨特裝置簽章進行識別、計數並潛在地進行定位。例如,周圍環境狀態資料預處理器324可以利用包括在Wi-Fi管理訊框、請求、信標和ping中的資訊,以便識別、計數及/或定位獨特裝置簽章及/或地理位置。在一些實例中,周圍環境狀態資料預處理器324還可以預處理GPS/衛星資料,以識別使用者當前所在位置的某些定性特性(例如,商店名稱,道路名稱或地標)。可以將這些GPS/衛星/位置資料與手機上的現存地圖服務(例如Google Maps)結合使用。取決於實施方式,位置資料的預處理可以利用機器學習技術(例如,以對特徵進行過濾和分類)。
接下來,周圍環境狀態查找器326可以透過分析由周圍環境狀態資料預處理器324產生的預處理的周圍環境資料來評估使用者周圍環境的當前狀態(即「周圍環境狀態」)。此後,周圍環境狀態查找器326可以基於使用者的周圍環境狀態來判定使用者周圍環境的隱私風險等級。在一或多種實施方式中,在判定周圍環境狀態時,周圍環境狀態查找器326可以從周圍環境資料提取相關資訊。
特別地,在一或多個實例中,周圍環境資料可以包括附近的其他人(例如,旁觀者)的數量。在這些實例中實例的一些中,周圍環境狀態查找器326在判定附近的其他人的數量時,可以執行在由周圍環境狀態資料預處理器324進行預處理期間添加到相機饋送中的不同人的特徵標籤的計數。在其他實施例中,周圍環境狀態查找器326可以透過使用機器視覺人臉識別技術來計數附近使用者的數量來判定附近其他人的數量。在變體中,可以透過對經由藍牙技術(或其他合適的短程無線連接技術)偵測到的附近裝置的數量進行計數以判定附近的其他人的數量。另外地或可替代地,周圍環境狀態查找器326可以透過對在周圍環境資料預處理期間識別出的獨特人類語音的數量進行計數來判定旁觀者的數量。實施例的某些變體可以在周圍環境資料中基於在給定時間間隔內的音訊峰值幅度變化來提供對周圍環境中的總聲音等級(sound level)的簡單估計。
此外,在一些實施例中,周圍環境資料可以包括在附近的人的空間分佈和凝視方向。在這些實例中的一些實例中,周圍環境狀態查找器326可以透過使用相機資料和機器視覺技術來偵測此資訊,例如,以便識別出有人站在使用者後面並面向使用者裝置(這將是安全威脅),以及相對識別出站在使用者左側或右側但可能背對使用者裝置的人(安全性的威脅較小)。在許多實施方式中,周圍環境資料可以包括與使用者位置相關聯的已知特性,例如,基於對使用者的GPS座標的預測性評估來預測使用者位置的繁忙程度/公共程度。例如,周圍環境狀態查找器326可以從使用者裝置的GPS資料中偵測到使用者在公共場所中,從而推斷出其他人可能在附近。在另一實例中,周圍環境狀態查找器326可以從GPS資料中找出該使用者在大的州立公園中,從而推斷出其他人不太可能在附近。在一些實施例中,周圍環境狀態查找器326還可以根據使用者裝置的網路連接來將使用者位置的已知特性進行關聯化。例如,當使用者裝置連接到「家庭Wi-Fi」或「汽車Wi-Fi」時,周圍環境狀態查找器326可以判定隱私等級為高(即,風險等級為低);相反的,當使用者裝置連接到「公共Wi-Fi」或「機場免費Wi-Fi」時,周圍環境狀態查找器326可以判定隱私等級較低(即,風險級別較高)。
基於周圍環境狀態資料並且通過上述例示性方式,周圍環境狀態查找器326可以產生周圍環境狀態輸出,該周圍環境狀態輸出指示在使用使用者裝置時暴露使用者資料的可能性。換言之,出自周圍環境狀態查找器326之周圍環境狀態輸出可以傳遞使用者周圍環境中隱私風險等級給UI操作引擎300中的其他組件。在一些實施例中,向後續系統組件通訊的周圍環境狀態可以採用特定描述的形式,其向使用者描述存在資料暴露風險的許多人之資訊,包括其位置、凝視角度、與使用者的距離以及其他資訊。在變體中,周圍環境狀態到後續系統組件的通訊可以採用針對使用者風險(例如,「資料暴露風險」)的通用度量的形式,其中周圍環境狀態查找器326可以施加權重於所分析的周圍環境資料之各態樣,以判定使用者資料可能在當前位置暴露的可能性。在一些附加或替代實例中,周圍環境狀態查找器326可以直接產生使用者周圍環境的隱私風險等級或評分。 C. 最佳顯示器配置查找器
最佳顯示器配置查找器330可以判定折疊式或可撓式螢幕的最佳實體配置(即「最佳顯示器配置」),以防止其他附近的人觀察。具體地,最佳顯示器配置查找器330可以使用(1)在使用者的行動裝置上呈現的私人和敏感資訊的敏感度等級,及/或(2)使用者周圍環境的隱私風險等級,來識別一可將不道德的旁觀者觀看螢幕內容的可能性降低、最小化或甚至消除之實體配置。換句話說,最佳顯示器配置查找器330可以使用UI敏感度資料(例如,由上述UI敏感度提取系統310產生)及/或周圍環境狀態(例如,由也在上述之周圍環境狀態評估系統320產生),來判定顯示器的最佳隱私配置(例如,折疊角度),以防止旁觀者不正當利用螢幕上的內容。
具體地,在一些實施例中,最佳顯示器配置查找器330可以基於使用者裝置內部的資訊,即由UI敏感度提取系統310所產生的經判定的使用者私人資訊之敏感度等級,來判定最佳折疊角度。在一些其他實施例中,最佳顯示器配置查找器330可以基於使用者裝置外部的資訊,即由周圍環境狀態評估系統320所產生的經判定的隱私風險等級,來判定最佳折疊角度。附加地或替代地,最佳顯示器配置查找器330可以基於經判定的使用者私人資訊之敏感度等級與經判定的隱私風險等級,來判定最佳折疊角度。對於實踐靜態觀看角度調整的那些實施例,最佳顯示器配置查找器330可以進一步判定最佳觀看角度。
然後,最佳顯示器配置查找器330的一些實施例可以判定最佳折疊角度,即顯示器折疊時的最佳內角(參見圖1B與上述相關描述)。對於其中使用者裝置的顯示器包含單個關節(articulation)(例如,單個鉸接的(一或多)顯示器)的那些實施例,最佳顯示器配置可以是顯示器被折疊的最佳折疊角度。例如,銳角折疊角度可以提供更大的觀看隱私(以減小顯示器的感知尺寸為代價),並且對於高隱私風險區域及/或高敏感度內容是最佳的;相反,鈍角折疊角度可以提供較低的觀看隱私,同時提供更大的顯示器感知尺寸,並且最適合低隱私風險區域及/或低敏感度內容。
最佳顯示器配置可以隨著使用者裝置的實體特徵而變化。例如,在一些實施例中,該裝置可以是具有二或更多個折疊部分的裝置,這些裝置設計成具有特定的預定折疊配置。在這樣的裝置中,可以限制螢幕折疊的角度和旋轉方向,且因此,對於每個折疊區段,最佳顯示器配置可以是折疊角度加上特定的旋轉方向向量的組合。此外,在某些實例中,該裝置可以是具有一般可撓式顯示器織物的構造。這樣的裝置可以是具有動態可配置的折疊行為的單件式折疊螢幕,其不限於預定的折疊行為。在這種裝置中,螢幕折疊的角度和旋轉方向受到的限制較小。這樣,最佳顯示器配置可以包括特定的所選形狀,並且該配置可以進一步包括例如螢幕應該折疊的方向以及螢幕表面上折疊中心的位置(例如,折疊線)。該折疊角度和折疊線的組合可以例如由輔助UI元件產生器370(在下面討論)利用,以引導使用者將顯示器織物折疊成所選的形狀。在這種情況下,折疊線的許多實例可以類似於這裡為折疊式(例如,雙摺)顯示器引入的鉸鏈軸線。
應注意,在一些實例中,來自內建於使用者裝置中的加速計/陀螺儀感測器的資料可以用於識別使用者當前如何握持該裝置,並且最佳顯示器配置查找器330可以透過該資料判定使用者透過折疊裝置的一側或兩側是否可以實體上達到最佳折疊角度。
在判定最佳顯示器配置之後,可以由最佳顯示器配置查找器330將其輸出。針對純靜態UI操作實施例(即,UI不會隨實際折疊角度或使用者眼睛位置的變化/改變的那些實施例),例如上面討論的配置(A),最佳折疊角度及/或觀看角度可以被輸出到UI扭曲產生器360以用於UI渲染和顯示。 D. 實際顯示器配置查找器
圖4B是用於使用圖3中的UI操作引擎的一些實例組件來實作折疊式手機UI操作技術的例示性資料流402。資料流402示出了資料如何在UI操作系統(例如,引擎300)中的各個區塊之間流動的實例。同時參考圖3和圖4B,現在結合UI操作引擎300的功能方塊圖來說明資料流402。
如先前所介紹,所揭露的UI操作技術的多個實施例採用動態UI操作,即,當使用者的實際凝視點改變時(例如,在配置(B)中)或當使用者裝置之實際折疊角度改變時(例如,在配置(C)中),或在同時上述兩情況中(例如,在配置(D)中),UI扭曲會改變或變形。下面介紹這些實施例作為其動態UI調整的基礎所依賴的一個或多個系統組件(例如,實際顯示器配置查找器340或使用者狀態評估系統350)。
實際顯示器配置查找器340可以判定使用者裝置的當前配置(或「實際顯示器配置」)。例如,實際顯示器配置查找器340可以透過使用從內建在裝置中的一或多個顯示器配置感測器所獲得的裝置資料來判定當前顯示器配置。從這些顯示器配置感測器可獲得的資訊的實例可以包括:當前折疊角度及/或折疊方向配置、裝置位置及/或裝置定向(例如,傾斜角度)。在一些實例中,可以透過來自加速計、陀螺儀或使用者裝置上的其他合適的感測器的資料來獲得裝置定向。這些資料可用於識別使用者當前是如何固持該裝置及/或使用者應如何移動該行動裝置以實現最佳觀看角度(例如,針對其中觀看角度調整為靜態的實施例)。
在一些實施例中,由實際顯示器配置查找器340用來收集裝置資料的顯示器配置感測器可以包括機械感測器。例如,在兩面板(例如,兩區段或雙摺)可撓式顯示器中,可以將機械感測器結合到連接兩個面板的鉸鏈中。在某些例示性中,感測器可以包括可撓式電子材料,該可撓式電子材料在鉸鏈關閉和打開時改變電阻,從而可以使得能夠測量螢幕的折疊角度。折疊角度資料可用於識別折疊式螢幕當前是如何被折疊及/或使用者應如何重新配置該可折疊螢幕以實現最佳折疊角度(例如,針對其中折疊角度調整為靜態的實施例)。
對於一般可撓式顯示器(例如,織物顯示器),實際顯示器配置的一些實施例可以包括顯示器在顯示器表面上的數點處的具有足夠高密度的扭曲,以便描述整個表面上的表面扭曲。例如,在許多這些實施例中,實際的顯示器配置可以包括對於表面上的每個點表示具有扭曲幅度和扭曲角度的純量的向量場的資料。
此外,顯示器配置感測器的一些變體還可包括一個或多個相機。例如,在一般可撓式顯示器實施例中,由實際顯示器配置查找器340可使用從相機(其可以內建於裝置中或從第三方裝置獲得)收集到的光學資料來產生當前裝置表面之法線圖或向量場。在一些附加的或替代的實施例中,一個或多個相機也可以由實際顯示器配置查找器340使用來判定相對裝置定向並估計裝置的空間位置。另外,在一些實施例中,實際顯示器配置查找器340可以利用相機資料及影像處理技術來捕獲3D的實際顯示器配置,這可以產生3D模型檔案,例如STL檔案。
在各種實施方式中,顯示器配置感測器可以包括飛行時間(ToF)感測器,該飛行時間感測器使用光傳播到物件並從物件反射回來所花費的時間來測量到物件的距離。例如,實際顯示器配置查找器340可以使用內建的ToF感測器來透過執行裝置與人或與其他實體特徵之間的距離的測量來獲取裝置之位置。附加地或替代地,顯示器配置感測器可包括雷達。例如,實際顯示器配置查找器340可以使用雷達或其他物件或運動感測技術來判定顯示器元件之間或顯示器元件與使用者之間的空間關係。 E. 使用者狀態評估系統
使用者狀態評估系統350可以是一套系統組件,其可用於判定和分析使用者之實體狀態。使用者狀態評估系統350可以包括例示性組件,例如使用者狀態感測器352和使用者狀態查找器354。
使用者狀態感測器352包括一個或多個感測器,其可以被使用者狀態評估系統350使用以獲得關於使用者狀態的資料(或,「使用者狀態」)。更具體地,可以由使用者狀態感測器352獲取的使用者狀態的實例可以包括:使用者凝視點,該使用者凝視點是使用者聚焦在螢幕上的位置;頭部角度-使用者的頭相對於顯示器的角度;觀看角度-使用者的眼睛相對於顯示器的角度;及/或頭部定向-其是使用者相對於顯示器的整個身體定向。取決於實施方式,使用者狀態感測器352可以是專用的眼睛追蹤感測器系統,或者可以是使用者裝置機載的感測器的組合。使用者狀態感測器352的例示性組件可以包括例如一個或多個前置相機、運動感測器(其可以在使用者裝置上或由使用者佩戴,例如智慧型帶(smart band))、合適的投射器及/或飛行時間感測器。例如,投射器可以投射特定的光或光圖案(例如,紅外線或近紅外線光)到使用者眼睛上,相機可以拍攝使用者的眼睛和圖案的影像,然後可以應用影像處理和機器視覺技術來判定使用者的眼睛的位置和凝視點。在另一個實例中,飛行時間感測器可以偵測到使用者離螢幕的距離。 F. UI扭曲產生器
UI扭曲產生器360在使用者介面中產生視覺扭曲(這裡也稱為被稱為「UI扭曲」、「UI變形」或「UI操作」)。UI扭曲操作了所顯示的UI的可視性,使得只能從使用者的當前視角以最佳的顯示器配置(例如,以最佳的折疊角度)才能最佳地觀看到使用者介面。從任何其他旁觀者的視角看顯示器的可視性既降低(由於閉合的折疊角度)又被遮掩(由於視覺扭曲的原因),使得旁觀者不太可能透過側目觀看從使用者裝置竊取到使用者的私人資訊。
取決於實施方式,UI扭曲可以包括不同轉換和扭曲的組合。例如,UI扭曲可以包括要應用於使用者介面的一系列轉換(例如,平移、旋轉或偏斜)。根據許多本文實施例,UI扭曲產生器360可以將「光學錯覺」應用於使用者介面上(例如,諸如圖2A中討論的那些UI),這可以使UI和UI上的目標資訊僅有在從所需的角度及/或距離觀看的情況下為可讀的。對於具有「全像顯示器(holographic display)」硬體的某些實施例,UI扭曲產生器360可以產生一指令集,包括例如應將不同像素的像素光調整到哪個角度,從而使得隱私敏感的UI元件只能從特定的角度及/或實體裝置配置才能被觀看到。如以上關於圖2A中所示,顯示資訊敏感度中的扭曲類型和扭曲因子。應用於高度敏感的UI內容的轉換或扭曲可能更加極端,以使得UI內容對目標使用者以外者為更難可讀的(例如,與UI實例203相比,UI實例207可讀性低)。
在某些實例中,UI扭曲產生器360在判定和產生UI扭曲時,考慮了使用者狀態資料及/或實際顯示器配置。例如,使用使用者狀態資料(例如,使用者凝視點),UI扭曲產生器可以調整UI扭曲的觀看角度,以使得當使用者眼睛移動時其僅對使用者為可視的。使用實際的顯示器配置,UI扭曲產生器360的多個實施例還可以因應折疊角度的任何改變而連續地調整UI扭曲。以這種方式,可以因應新的實際顯示器配置及/或使用者狀態,來更新和調整(例如,以即時或接近即時的方式)透過UI扭曲所產生的感知UI的形狀因子(例如,尺寸)。
另外,UI扭曲產生器360的一些實施例可以產生用於裝置硬體的指令,以補償實際的顯示器配置。在一些實施方式中,UI扭曲產生器360可以產生指令以增加要被觀看的UI元件的某些部分的像素亮度,例如,以便補償由於在視錐(viewing cone)的外邊緣處觀看螢幕而導致的視覺劣化。在其他變體中,UI扭曲產生器360可以產生用於重新校準裝置的3D控制手勢的指令,使得手勢仍可以用於新UI中的新長寬比、UI定位、UI元件扭曲等。
此外,為了改善使用者體驗和可用性,UI扭曲產生器360的一些實施例可以調整UI的一個或多個特徵。例如,UI扭曲產生器360可以調整使用者介面特徵維度。 附加地或可替代地,UI扭曲產生器360可以調整UI元件在顯示器上的位置。例如,UI扭曲產生器360可以將元件從顯示器的邊緣移到中心,以減少極端折疊所需的扭曲量。在一些實施例中,UI扭曲產生器360可調整一數量個使用者介面特徵,例如包括顏色、明亮度、或像素分佈。在一些實例中,當裝置被閉合到較窄的折疊角度時(例如,以上關於圖2C討論的實例),UI扭曲產生器360可以將UI重新佈置為更適合於較小顯示器(即,如使用者所感知)的佈局。 G. 輔助UI元件產生器
圖4C是用於使用圖3中的UI操作引擎的一些實例組件來實作折疊式手機UI操作技術的例示性資料流404。資料流404示出了資料如何在UI操作系統(例如,引擎300)中的各個區塊之間流動的實例。同時參考圖3和圖4C,現在結合UI操作引擎300的功能方塊圖來說明資料流404。
輔助UI元件產生器370可以產生UI元件或特徵及/或硬體賦能的特徵(例如,獨立的LED指示器),其可以用於引導使用者實現最佳的顯示器配置。更具體地說,在一些實例中,輔助UI元件產生器370可以選擇顯示一個或多個輔助UI元件(例如,透過使用來自UI扭曲產生器360的UI扭曲及/或來自最佳顯示器配置查找器330的最佳顯示器配置參數),這樣輔助UI元件的特徵就可以變化以當使用者正確操作折疊螢幕時對使用者提供指示,並達到最佳顯示器配置(例如,最佳折疊角度)。
更具體地,在一些實施例中,輔助UI元件可以包括使用者可以直觀理解的形狀或圖案的維度變化,諸如UI本身的扭曲及/或附加的視覺引導標記(例如,所選幾何形狀)。例如,輔助UI元件可以包括一扭曲的圓形(或橢圓形,例如,圖2B的標記250),其只有當螢幕改變為最佳顯示器配置時才變得完美圓形。在一些實施例中,可以在顯示器上產生附加的文字引導,其只是使用者所選幾何形狀為何(例如,圓形)。為了向使用者提供更多有用的幫助,一個或多個實施例規定,即使沒有(或之前)將裝置配置(例如,折疊)至最佳顯示顯示器配置(例如,至最佳折疊角度),該附加文字引導也應以用戶可以查看的定向進行顯示,此一實例在圖2B中被示出為文字引導252。在一些實施方式中,可以基於實際顯示器配置(例如,當前折疊角度)和最佳顯示器配置(例如,所選折疊角度)之間的差異來產生文字引導的內容。例如,文字引導可以指示使用者改變折疊角度,即,打更開或更閉合。在一些實例中,作為幾何形狀的替代,可以使用圖像。
作為附加實施例,當顯示器處於最佳顯示器配置時,輔助UI元件可以包括硬體賦能的特徵,例如LED指示器。在各種變體中,可以包括全像顯示器指示器,當顯示器處於最佳顯示器配置時,該全像顯示器指示器可以顯示正確的顏色或亮度。此外,或作為替代,輔助UI元件可包括像素圖案或照明點,一旦顯示器處於最佳顯示器配置,它們將僅顯示為某些形狀或圖片。例如,在類似織物的顯示器中,當將織物操作至最佳形狀時,像素可能僅顯示為機器可讀的一維或二維條碼(例如,QR碼),從而可以作為已實現最佳顯示器形狀之確認。
此外,在一些變體中,輔助UI元件產生器370可以僅呈現輔助UI元件,並主動阻擋、模糊化、遮罩、以其他方式阻礙或單純禁止在使用者裝置的螢幕上顯示敏感資料,除非/直到折疊式顯示器被操作至最佳裝置配置(例如,最佳折疊角度)。例如,輔助UI元件產生器370可以控制UI扭曲產生器360,使得阻止顯示敏感內容的UI,並且僅顯示引導資訊(例如,視覺標記250、文字引導252(在圖2B中)、及/或上述LED指示器)提供給使用者;然後,僅當使用者遵循指令並且將折疊式手機改變為所選最佳折疊角度時,UI操作引擎300才在UI上顯示敏感資訊(例如,以上述關於圖2A的方式)。 方法
圖5示出了用於實作折疊式電話UI操作技術之例示性方法500的流程圖。方法500可以由UI操作引擎(例如,引擎300;圖3)的各種組件(例如,組件310-370;圖3)來實作,以用於在使用者裝置(例如,裝置130、230;圖1A、2A)上的UI扭曲和渲染,以保護折疊式UI顯示器上的敏感、私人資訊和資料免受旁觀者的注意。通過同時參考圖2A-2C至圖3介紹了方法500。
首先,UI操作引擎可以接收(510)在行動裝置(例如,裝置230)的顯示器(例如,顯示器220)上顯示敏感資訊的指示。這樣的指示之實例可以是軟體函數呼叫(software function call)。在一些實例中,該行動裝置可包括折疊式顯示器。然後,UI操作引擎可以判定(520)如何顯示敏感資訊的最佳顯示器配置。在許多實施例中,UI操作引擎首先識別(522)要在使用者的螢幕上顯示的資訊的敏感度等級,並且接著判定如何顯示敏感資訊的形狀因子。附加地或替代地,UI操作引擎在判定所感知的UI的形狀因子時,可以判定(524)使用者裝置的周圍環境中的隱私風險(或繁忙程度)。如上所述,形狀因子通常可以包括感知的顯示器尺寸,即,在UI扭曲技術之後,當使用者將裝置操作(例如,折疊)成最佳裝置配置時(例如,透過將可雙摺顯示器折疊到最佳折疊角度),使用者所觀看到的顯示器的尺寸。通常,要顯示的資料的敏感度等級越高,或者周圍環境的隱私風險越高,則所顯示的UI上的感知形狀因子(例如,尺寸)變得越小。也就是說,形狀因子可以與來自周圍環境的風險及/或要顯示的資料的敏感度成負相關。根據所揭露UI操作技術之一或多實施例,判定的形狀因子比折疊式顯示器之整個區域更小,例如用於存在旁觀者之隱私情境。
接下來,UI操作引擎可以基於所判定的形狀因子來產生(530)要在折疊式顯示器上顯示的UI。例如,UI操作引擎可接收(532)實際手機配置,以及要由UI操作引擎顯示的該UI係用以示出在該形狀因子(例如,感知尺寸)中的敏感資訊,但除非該折疊式顯示器被操作至所選之實體手機配置(例如,所選折疊角度及/或在一些實施例中,所選觀看角度)否則該敏感資訊對使用者而言是視覺上變形的。如圖2A中例示性UI所示,在折疊式顯示器配置中,UI可以是由該折疊式顯示器之複數個區段共同地顯示的。在某些實施方式中,折疊式顯示器可以是雙摺顯示器。
更明確地,在折疊式顯示器之一或多個實施例中,除非該行動裝置的顯示器區段被折疊至該折疊角度,否則產生UI扭曲以使得從該使用者來看該使用者介面係扭曲的。亦即,在判定最佳折疊角度後,除非該行動裝置的顯示器區段被折疊至該折疊角度,否則從該使用者來看該使用者介面係扭曲的,在一或多個實例中,該UI沿該折疊式顯示器鉸鏈的軸線呈對稱變形(例如,如UI實例204、206及208一樣)。在其他實例中,UI扭曲引擎可例如從該行動裝置上的一或多個定向感測器,接收該行動裝置的當前定向狀態,並進一步因應該接收到行動裝置的當前定向狀態來調整UI。
此外,在一些實施例中,UI操作引擎可以偵測(534)例如可以是使用者凝視點的使用者狀態。基於該使用者狀態,UI操作引擎可(例如,在實作動態觀看角度調整之實施例中)判定觀看角度,針對該觀看角度,除非該行動裝置被定向於相對於該使用者的該觀看角度,否則從該使用者來看該使用者介面係扭曲的。在此等實例中若干者,UI操作引擎可判定使用者眼睛之位置,並因應偵測到的該使用者之該眼睛的該位置來調整該UI。在某些實施方式中,UI操作引擎可以在行動裝置上採用面向使用者眼睛偵測器,並且進一步調整UI,以使得用於UI的新的最佳觀看角度反映偵測到的使用者眼睛的位置。
圖6示出了用於實作折疊式電話UI操作技術之另一例示性方法600的流程圖。方法600可以由UI操作引擎(例如,引擎300;圖3)的各種組件(例如,組件310-370;圖3)來實作,以用於更新在使用者裝置(例如,裝置130、230;圖1A、2A)上的UI扭曲和渲染,以為了保護折疊式UI顯示器上的敏感、私人資訊和資料免受旁觀者的注意。通過同時參考圖2A-2C至圖3介紹了方法600。
UI操作引擎可以在接收或擷取(610)使用者裝置的實際、當前物理配置上的更新(例如,當前折疊角度)時執行UI扭曲的更新。更具體地,取決於實施例,UI操作引擎可以偵測以下新的資訊中的一個或多個:其可以偵測(612)要顯示的敏感資料的新指示;其可以偵測(614)使用者裝置周圍環境中的隱私風險的新等級;其可以偵測(616)新的使用者狀態(例如,使用者的新的凝視點或新的眼睛位置);及/或其可以偵測(618)新的實際裝置配置(例如,新的實際折疊角度或新的裝置定向)。
然後,與上面討論的方式一致(例如,關於圖3),UI操作引擎可以判定(620)新的最佳裝置配置。在一些實例中,當存在新的或更新等級的敏感資料要顯示時(612),及/或當環境中存在新等級的隱私風險時(614),UI操作引擎可以判定(620)新的最佳裝置配置(例如,新的最佳折疊角度及/或在某些實施例中,新的最佳觀看角度)。此外,對於那些實作動態觀看角度調整的實例而言,當偵測到新的使用者狀態(例如,新的凝視點)(616)時,UI操作引擎需要判定(620)用於UI扭曲產生之新的最佳設備配置(例如,新的觀看角度)。相似的,對於那些實作動態折疊角度調整的實例而言,當偵測到新的實際裝置配置(例如,新的蝕劑折疊角度)(618)時,UI操作引擎需要判定(620)用於UI扭曲產生之新的最佳設備配置(例如,新的折疊角度)。
此後,UI操作引擎根據更新的、新的最佳裝置配置來調整(630)UI。在一或多個實施方式中,當該使用者操作該折疊式顯示器時,實質上即時地執行該UI扭曲更新。在一個或多個實例中,可以重複地或遞回地執行步驟610-630中的選擇步驟。 工作實例
圖7A示出如何在折疊式螢幕裝置(例如,裝置130,圖1A;裝置230,圖2A)之雙摺顯示器(例如,顯示器120,圖1A;220,圖2A)上產生扭曲的UI(例如,由UI失真產生器360;圖3)的更詳細的實例。更具體地,在判定如何顯示敏感資訊的UI形狀因子之後(例如,如以上參照圖3所述),基於所判定的形狀因子來產生要在折疊式顯示器上顯示的實際UI。為了判定如何將UI扭曲和顯示,在下文中提供了方程式和例示性方法的說明,在給定圖7A中的上述輸入參數上文說明用以計算UI轉換。
如圖7A所示,行動裝置730包括沿中央軸線736(例如,鉸鏈)折疊之雙摺顯示器720。在下面的例示性計算中,假定從中央軸線736到雙摺顯示器720的邊緣的距離(X1 )是已知的。此外,假設可以偵測到及/或可估計從中央軸線736到使用者的眼睛的距離(X2 )(例如,基於可以在裝置730上的感測器,例如眼睛追蹤器及/或ToF感測器)。最後,在圖7A所描繪之實例中,折疊角度由(α)表示,且觀看角度由(β)表示。
將(Y1 )作為操作的UI的邊緣的所得(resulting)長度,並且將(Y2 )作為操作的UI的中心的所得長度(如圖7A所示)。將(Y0 )作為原始不扭曲UI之邊緣的初始長度(如圖7B所示)。Y0 、Y1 和Y2 之間的關係可以透過以下轉換進行表示:
Figure 02_image001
,其中T1 是由於折疊角度α的變化而引起的轉換,並且T1 是α、X1 和X2 的函數。T2 是由於觀看角度β的變化而引起的轉換,並且T2 是β、X1 和X2 的函數。請注意,與折疊角度α不同,觀看角度β可以具有三個分量,因為該角度可以在三個維度上變化,因此T2 可以表示為:
Figure 02_image003
即,在三個正交平面的每一個中的旋轉即是一種轉換。另外,請注意,當α=180°且β=0°時,Y0 =Y1 =Y2
圖7C示出了圖7A的實例中的摺疊角度的改變所造成的例示性轉換計算(transformation calculation)。具體地,以下提供了在T1 中的例示性計算方法。
繼續參考圖7C與圖7A,若觀看角度β假定為常數,則圖7C之點P1 (在顯示器中心,其為中心軸線或鉸鏈處)相對於裝置之原始平面假定為靜態。假設裝置的厚度與ΔX2 相比可以忽略不計,那麼從觀看者在距離X2 處的視角來看,可以應用轉換T1 來補償點P2 (在顯示器邊緣)處的UI特徵高度的感知變化的增加。
在該坐標系下,在顯示器的中心、折疊軸線(P1 )(例如,軸線736)處的UI特徵的尺寸保持不變,令Y2 =Y0 ,並且不需要在中心軸線將T1 應用於UI特徵。
為了判定在距原點的距離X1 處的點P2 (例如,初始高度Y0 )的UI特徵,可以應用轉換T1 來補償由於特徵更接近觀看者而導致的感知尺寸增加量ΔX2 。因此,可以將轉換應用於P1 處的特徵(假設高度為Y0 ),以獲得較小的高度Y1 。這種轉換可以表示為:
Figure 02_image005
,其中
Figure 02_image007
如此一來,基於圖7C中的該例示性坐標系,轉換T1 可以表示為:
Figure 02_image009
圖7D示出了圖7A的實例中的觀看角度的改變所造成的例示性轉換計算(transformation calculation)。具體地,以下提供了在T2 中的例示性計算方法。
繼續參考圖7D與圖7A,若折疊角度α假定為常數,則圖7D之點P1 (在顯示器中心,其為凝視點處)相對於裝置之原始平面假定為靜態。假設裝置的厚度與ΔX2 相比可以忽略不計,那麼從觀看者在距離X2 處的視角來看,可以應用轉換T2 來補償點P2 (在顯示器邊緣)處的UI特徵高度的感知變化的增加。
在三維(3D)空間中,觀看角度β有三個分量,各個分量用於在xy平面、yz平面和zx平面中的旋轉。各個都可以獨立考慮,但是可以應用類似的方程式供計算之目的。
在以上坐標系下,在中心軸線(P1 )處的UI特徵的尺寸保持不變,令Y2 =Y0 ,並且不需要在中心處將T2 應用於UI特徵。
針對在距原點的距離X1 處的點P2 (例如,初始高度Y0 )的UI特徵,可以應用轉換T2 來補償由於特徵更接近觀看者而導致的感知尺寸增加量ΔX2 。 因此,可以將轉換應用於P1 處的特徵(假設高度為Y0 ),以獲得較小的高度Y1
Figure 02_image011
,其中
Figure 02_image013
因此,基於圖7D中的例示性坐標系,轉換分量T2xy 可以表示為:
Figure 02_image015
類似的轉換也可以應用於β的其他分量:βyz 和βzx ,從而導致轉換分量T2yz 和T2zx ,這些分量又被用來表示轉換T2 (透過使用等式(2))。
圖7E示出了UI如何因應觀看角度的變化而進行調整以補償實際產生的UI中的角畸變(例如,傾斜程度)的實例。首先,如圖7E所示是例示性UI 701,其示出了UI元件應在視覺上對使用者呈現為何(例如,如由圖3的最佳顯示器配置查找器330所判定的)。例示性UI 701可以顯示在顯示器的平坦區段上,例如,可以是一起形成本文討論之折疊式顯示器得顯示器區段中一區段。為了簡化討論,下面的解釋將專注於單個區段的角畸變調整上。然而,相同的技術可以類似地應用於可折疊顯示器的多個區段。假設在yz平面上顯示UI 701,則x軸線延伸到示出圖7E的頁面中。如圖所示,UI 701包括由圓點標記的角,並且在視覺上應形成直角(例如,90°)。以下討論將利用該角來解釋如何因應觀看角度β的變化來執行例示性角畸變調整。假設此角所形成的角度為(γ)。
在圖7E中進一步示出例示性UI 702、703、704和705。例示性UI 702-703示出了當使用者以銳角觀看角度β(即,小於90°)觀看顯示器區段時,而UI 704-705示出了當使用者以鈍角觀看角度β(即,大於90°)觀看顯示器區段時。在此觀察到,如果不對觀看角度的變化進行任何補償,則當從鈍角觀看角度β觀看顯示器區段(例如例示性UI 702所示者)時,角的角度γ成為銳角(而非UI 701中的直角)。相似的,如果不對觀看角度的變化進行任何補償,則當從銳角觀看角度β觀看顯示器區段(例如例示性UI 704所示者)時,角的角度γ成為鈍角(而非UI 701中的直角)。
因此,根據至少一些實施例(例如,上面討論的實踐動態觀看角度UI調整的那些實施例),UI可以接收角畸變調整(例如,傾斜角度的變化,例如在方形UI元件的角中)以解決由於使用者觀看角度的變化而引起的傾斜角度的感知變化。透過觀看角度UI調整,可以補償由於觀看角度變化引起的角畸變(angular distortion),例如例示性UI 703和705中所示。換句話說,這裡揭露的一些實施例可以採用一種用於基於觀看角度β的變化來判定需要將UI中的這些傾斜角度調整多少之機構。
具體地,在一些實例中,根據使用者的感知,角的角度γ可以基於雙曲正切函數(也稱為「tanh()」函數)隨觀看角度β而變化。亦即,在某些實施例中,可以根據基於tanh()的公式來描述所顯示的角的角度γ與觀看角度β之間的關係,例如:
Figure 02_image017
圖7F示出了角畸變調整量與觀看角度變化之間的實例關係,且更明確地,示出等式(9)。如圖7F所示,UI上的角度可以增加或減小與tanh(β)成反比的量。注意,當觀看角度β為90°時,在實際UI上顯示的角的角度γ也為90°,即,當觀看角度β垂直時,不需要調整角度γ。
注意,在實際的實作中,等式(9)中的一個或多個參數(即「a」、「b」、「c」及/或「d」)可以基於實際的裝置設計和應用環境(例如,特定的顯示器特性、顯示器大小及/或感測器輸入(例如使用者眼睛距離多遠及/或使用者眼睛位置))進行最佳化或微調。在圖7F中所示實施例中,a=1.5,b=2,c=π,和d=1。在一些實施方式中,可以在每個使用者的基礎上主動地調整該等參數,以更佳地適應不同人的使用者習慣和個人特徵(例如,固持角度或距離)。
另外,在此要注意的是,以上討論的tanh()函數僅是例示性,並且在一個或多個實施例中,除了tanh()函數之外的其他函數也可以用於達到類似的效果。例如,在某些變體中,可以使用「S形(sigmoid)」函數(其圖類似於「tanh」)。甚至更進一步,一些實例可以使用直線或具有不同傾斜度的多條直線的組合來近似此處描述的視覺效果。在此觀察到,合適的函數可以通過以下曲線來表徵:(1)在90°時越過原點(即,當β為90°時,γ也為90°);並且(2)基於原點對稱。取決於實施例,其特徵還可以在於:(3)β的增加將導致γ的減小,且反之亦然(即,β與γ呈負相關)。在一些實施例中,當β接近0°時,γ接近180°,反之,當β接近180°時,γ接近0°。
以上述方式,揭露的UI操作技術使得能夠將在可撓式、折疊式或以其他方式可重新配置的顯示器上顯示的敏感資訊針對旁觀者進行隱藏或遮掩,同時保持或改善主要使用者對該UI的可及性。以這種方式,不僅防止了使用者資料丟失,並且保持了UI的可用性和可讀性,但可以動態地客製化可配置的裝置以提供針對使用者的當前環境量身訂製的最佳安全性配置。此外,借助輔助UI元件,可以實作直觀的UI系統,該系統可以幫助使用者輕鬆實現安全性的最佳螢幕配置。
這裡要注意的是,至少在一些實施例中,可以基於一個或多個現有軟體開發工具包(SDK)來實作所介紹的UI操作技術,在給定輸入參數(例如,維度、折疊角度、或觀看角度)之情況下,該軟體開發工具包可以幫助執行對UI(例如,如上所述的)的轉換。一般而言,可以將介紹的UI技術建立在其上的轉換類別稱為透視轉換(perspective transformation),它可以是與幾何影像轉換相關的SDK下的子類別。具有可用於透視轉換的函數的此類SDK的一個實例是OpenCV™。在這些SDK中,可以有許多函數可以接收輸入影像的維度(例如,UI邊緣的原始、未扭曲的長度,如圖7B中的Y0 ),這些輸入描述了透視參考(例如,觀看角度或物體平面)以及所期望的輸出。在許多情況下,可以利用、程式化或以其他方式指示這些函數以在一個平面上「拉直」影像並將其呈現在面向觀看者的平面上。在本揭露的一些實施例中,期望的輸出可以是來自「預失真」的圖形,該圖形考慮了觀看角度及/或折疊角度的變化。 用於保護敏感資料之握持操作
如上所述,一種阻止附近旁觀者看到敏感資訊的方法是使視覺引導標記顯示在使用者裝置之折疊式顯示器上,其提示使用者操作折疊角度。視覺引導標記可以被設計為使得僅當將折疊式顯示器操作至所選的折疊角度時,該視覺引導標記才顯示為所選的幾何形狀(例如,圓形)。當未將折疊式顯示器操作至最佳折疊角度時,視覺引導標記可能會顯示為另一種形狀(例如,傾斜的橢圓形)。
另一種阻止附近旁觀者看到敏感資訊的方法是造成顯示提示使用者採用一種會阻止附近旁觀者觀看的使用者裝置握持位置之視覺引導標記。可以基於手和手指的最佳佈置來判定適當的握持位置,以降低資料丟失的風險。資料丟失的風險可以是基於在使用者裝置周圍存在旁觀者的判定角度,並且因此,顯示器的哪些部分對於那些旁觀者而言正是可視的。
例如,可以在使用者裝置的折疊式顯示器上示出所選的幾何形狀(例如,圓形)以及示出將所選手(例如,左手)的所選手指(例如,食指)放置在所選幾何形狀上的指令。在這樣的實施例中,所選的幾何形狀的位置可以基於折疊角度和基於附近旁觀者的位置。儘管可以在具有折疊式顯示器的使用者裝置的上下文中描述實施例,但是這些特徵類似地適用於具有可撓式或以其他方式可重新配置的顯示器的使用者裝置。因此,以下描述的處理可以由具有不可撓式或非折疊式但具可重配置顯示器的使用者裝置採用,以便以看似自然的方式防止敏感資訊的丟失。
如下面進一步討論的,關於使用者裝置周圍環境的潛在安全性和隱私風險的資料及/或關於使用者裝置所顯示的資訊的敏感度的資料可以用於判定最佳握持位置以避免資訊丟失給附近的個人。最佳握持配置可用於產生UI元件,以鼓勵或幫助使用者採用該配置。例如,關於當前握持位置的資料可以用於判定應該產生哪個UI元件,以便使用者將他或她的握持移到最佳握持位置。當前的握持位置可以基於例如由觸敏元件、壓敏元件、鄰近感測器、環境光感測器等所產生的讀數來判定。
圖8示出了用於實作握持操作技術之例示性方法800的流程圖。方法800可以由UI操作引擎(例如,引擎300;圖3)的各種組件(例如,組件310-370;圖3)來實作,以為了保護由使用者裝置所顯示之敏感資訊免於被附近個人看到。在較高層級上,方法800可以被描述為確定手部姿勢的演算方法,該手部姿勢將最佳地防止使用者裝置示出的敏感資訊被意外洩露。
首先,UI操作引擎可以接收(810)在使用者裝置的顯示器上顯示敏感資訊的指示。這樣的指示實例可以是軟體函數呼叫(software function call)。如上所述,使用者裝置可以包括折疊式顯示器、可撓式顯示器或以其他方式可重配置的顯示器。然後,UI操作引擎可以判定(820)如何顯示敏感資訊的最佳顯示器配置(亦被稱作「最佳握持位置」)。在許多實施例中,UI操作引擎識別(822)要顯示的資訊的敏感度等級,並且接著判定如何顯示敏感資訊的形狀因子。附加地或替代地,UI操作引擎在判定UI的形狀因子時,可以判定(824)使用者裝置的周圍環境中的隱私風險。通常,要顯示的資料的敏感度等級越高,或者周圍環境的隱私風險越高,則UI的形狀因子變得越小。也就是說,形狀因子可以與來自周圍環境的風險及/或資訊的敏感度成負相關。
然後,UI操作引擎可以判定(830)遮掩敏感資訊的最佳握持配置。最佳握持配置(也稱為「最佳握持位置」)可以基於由周圍環境狀態查找器(例如,周圍環境狀態查找器326;圖3)所判定的附近個人的位置。例如,周圍環境狀態查找器可以使用機器視覺面部辨識技術來判定附近個人的數量,因為目標是阻止這些個人的視線以防止其觀看顯示器。如果使用者裝置的顯示器是可撓式的或折疊式的,則UI操作引擎可以進一步基於當前形狀或折疊角度來判定最佳握持位置。因此,UI操作引擎可以使用關於周圍環境及/或資訊敏感度的資料來判定顯示器的隱私要求並識別用於遮掩其上顯示的敏感資訊的最佳握持位置。
在一些實施例中,最佳抓握位置還透過使用者的實體維度和能力(統稱為「手部特性」)來告知。手部特性例示性包括手部、手指和手掌尺寸(例如,按照寬度和長度來衡量)和柔軟度。這些手部特性可以由使用者手動輸入,或者這些手部特性可以基於與行動裝置的過去互動來演算判定。可替代地,可以基於人口統計平均值為給定使用者估計這些手部特性。該估計值可以由演算法直接使用,或者可以使用上述方法進一步完善化該平均值。
如上所述,可以基於附近的個人的位置來判定最佳握持位置,並將能阻止該個人觀看到顯示器。更具體地,UI操作引擎可以判定用於阻擋這些附近個體的視線的最佳握持位置(例如,如從周圍環境資料判定),以防止他們看到顯示器的敏感部分(例如,如從UI敏感度資料判定)。作為實例,UI操作引擎可以判定每個附近個人的觀看角度,然後判定需要阻擋哪些視線以保護敏感資訊。然後,UI操作引擎可以產生一或多個握持模式,該握持模式(i)阻擋視線,並且(ii)在給定使用者的手部特性的情況下可以可行地實現。
接下來,UI操作引擎可以基於最佳顯示器配置與最佳握持配置來產生(840)要在顯示器上顯示的UI。例如,UI操作引擎可以接收(842)關於使用者裝置的實際配置和附近個人的位置的資料,然後引起UI元件的顯示,該UI元件指示使用者應該將其手放置在何處,以遮掩其顯示敏感資訊的至少一部分顯示器。因此,取決於顯示器的性質,UI操作引擎可以獲得指示定向、折疊角度或形狀的資料。如圖10中的例示性UI所示,可以示出一或多個UI元件,其指示應該將所選手指放置在何處以確保手處於最佳握持位置。
圖9示出了用於實作UI驅動握持操作技術之例示性方法900的流程圖。方法900可以由UI操作引擎(例如,引擎300;圖3)的各種組件(例如,組件310-370;圖3)來實作,以為了保護由使用者裝置所顯示之敏感資訊免於被附近個人看到。
UI操作引擎可以在接收(910)使用者裝置的實際、當前物理配置上的更新時執行UI的更新。例如,UI操作引擎可以偵測以下新的資訊中的一個或多個:其可以偵測(912)要顯示的敏感資料的新指示;其可以偵測(914)使用者裝置周圍環境中的隱私風險的新等級;其可以偵測(916)新的使用者狀態(例如,新的握持位置);及/或其可以偵測(918)新的實際裝置配置(例如,新的定向、折疊角度或形狀)。
作為實例,UI操作引擎可以透過檢查由內建於使用者裝置中的一個或多個感測器(稱為「握持位置感測器)產生的資料(稱為「握持資料」)來連續地監控握持位置。握持位置感測器的實例包括觸控螢幕支援組件(例如,觸敏元件和壓敏元件)、鄰近感測器、環境光感測器、陀螺儀、加速計等。在一些實施例中,透過主動產生諸如振動(例如,由電動機或壓電元件產生的振動)等刺激來輔助握持位置的感測。附加地或替代地,可以採用涉及面向使用者的光學感測器(例如,相機)的技術來例如基於角膜反射來判定手的位置。握持資料可以描述握持位置的各種特徵,包括手掌相對於使用者裝置及其顯示器的位置以及拇指相對於使用者裝置及其顯示器的位置。因此,UI操作引擎可以獲得由(一或多個)握持位置感測器產生的握持資料,然後檢查該握持資料以判定最佳握持位置。
然後,與上面討論的方式一致(例如,關於圖8),UI操作引擎可以判定(920)新的最佳握持位置。例如,當存在新的或更新等級的敏感資料要顯示時(912),及/或當周圍環境中存在新等級的隱私風險時(914),UI操作引擎可以判定新的最佳握持位置。作為實例,如果UI操作引擎判定周圍環境變得更加擁擠(從而降低隱私),則UI操作引擎可以判定可能需要會造成將敏感資訊的進一步遮掩的新的最佳握持位置。
此後,UI操作引擎根據新的最佳握持配置可調整(930)UI。如下面關於圖11進一步討論的,所述調整可以包括添加指示使用者要將所選手指放置在何處的UI元件。在一或多個實施方式中,當該使用者操作該顯示器(例如,透過改變其定向、折疊角度或形狀)時,實質上即時地執行該UI調整。類似地,當使用者相對於使用者裝置移動他或她的手時,可以實質上即時地執行UI調整。例如,敏感資訊的位置可以因應判定使用者已經移動他或她的手以便與顯示器互動(例如,觸摸)而改變。可以重複地或遞回地執行步驟910-930。
圖10A示出了用於使用圖3中UI操作引擎的一些例示性組件實作握持操作技術的例示性資料流1000。資料流1000示出了資料如何在UI操作系統(例如,引擎300)中的各個區塊之間流動的實例。資料流1000基本上類似於圖4A的資料流400。然而,這裡,還透過最佳顯示器配置查找器330來獲得關於使用者的手的特性的資料。如上所述,這些資料可以用於判定使用者可以切實地實現哪些握持位置。
另方面,圖10B示出了用於使用圖3中UI操作引擎的一些例示性組件實作握持操作技術的另一例示性資料流1002。如上所述,握持位置感測器391可以負責產生握持資料,可以從該握持資料推斷出手的位置。握持位置感測器的實例包括觸控螢幕支援組件(例如,觸敏元件和壓敏元件)、鄰近感測器、環境光感測器、陀螺儀、加速計等。附加地或替代地,可以採用涉及面向使用者的光學感測器(例如相機)的技術來例如基於角膜反射來判定手的位置。使用握持資料,握持位置查找器392可以判定使用者的實際握持位置。換句話說,握持位置查找器392能夠基於對由握持位置感測器391產生的握持資料的分析來建立手的實際位置。可以將關於實際握持位置的資訊提供給輔助UI元件產生器370,該輔助UI元件產生器370可以被配置為基於由最佳顯示器配置查找器330所判定的最佳顯示器配置與基於握持位置查找器392所判定的實際握持位置來產生用以實現握持操作技術之UI元件。
圖11A-D示出了握持操作技術的例示性實施方式。最初,在使用者裝置1100上執行的UI操作引擎(例如,引擎300;圖3)可以建立附近個人1102a-c之位置,如上文參照圖8-9所述。這樣的方法使得UI操作能夠識別出必須被阻擋的視線,以防止這些人能夠觀察到使用者裝置1100的顯示器。更具體地說,如圖11B所示,UI操作引擎可以計算必須阻檔哪個或哪些方向以確保私密。
然後,UI操作引擎可以識別出適當的UI元件以用於在顯示器上呈現。例如,UI操作引擎可以基於所計算的方向來判定應當在顯示器上示出的視覺引導標記位置。在圖11C中,UI操作引擎已經導致在顯示器的右上角呈現視覺引導標記1104。在一些實施例中,視覺引導標記1104是顯示器上示出的多個視覺引導標記之一。例如,UI操作引擎可以判定在擁擠的環境中多個視覺引導標記是必要的。多個視覺引導標記可以對應於同一隻手或不同手上的所選手指。
視覺引導標記1104可以伴隨有將所選手指放置在視覺引導標記上的指令。當使用者將所選手指1106放在視覺引導標記1104上時,將阻止該附近個人1102a-c觀看到資訊(從而確保敏感資訊保持私密的)。在一些實施例中,視覺引導標記1104是被設計以使其實質上被所選手指1106覆蓋。在此,例如,所選手指1106已經完全覆蓋了視覺引導標記1104,同時顯示器的一部分保持可見的。
許多使用者裝置已經被設計為允許多點觸摸功能(或簡稱為「多點觸摸(multi-touch)」)。多點觸摸使觸敏顯示器能夠同時識別與顯示器的多於一個的接觸點。因此,當一個手指保持在一個區域中而另一手指觸摸另一區域時,使用者裝置1100可能能夠偵測多個接觸點。為了解決這個問題,在一些實施例中,觸敏顯示器的一部分可以被定義為在多點觸摸目標區域之外。例如,可以指示使用者裝置1100不偵測在觸敏顯示器的固定區域內發生的觸摸事件(例如,視覺引導標記1104及其周圍),或者可以指示使用者裝置1100不將這種觸摸事件用於判定多點觸摸行為。因此,觸敏顯示器可以具有:至少一部分,其中為了多點觸摸的目的而識別出觸摸事件;以及至少一部分,其中沒有為了多點觸摸的目的而識別出觸摸事件;以及視覺引導標記(或多視覺引導標記),其可以位於無法為多點觸摸目的而識別觸摸事件的那些部分中。
注意,視覺引導標記1104也可以表示將所選手指1106完全置於觸敏顯示器的邊界之外的指令。作為實例,圖11C中所示的視覺引導標記1104可以被渲染成箭頭,指示所選手指1106應該沿著使用者裝置1100的頂部或側面定位。
在較高的層次上,由UI操作引擎產生的UI元件通常用於兩個目的之一。第一,使用者可能需要與這些UI元件進行互動,才能採取啟用所需功能所需的最佳握持位置。第二,使用者可能需要與這些UI元件進行互動,以執行期望的功能。期望功能的實例包括確認付款、輸入密碼以及查看財務或個人詳細細節。因此,在採取最佳握持位置之前,使用者可能無法執行所期望的功能。
在一些實施例中,UI元件表示給定功能所需的現有元件。例如,UI操作引擎可以使用標記為「顯示密碼」的現有圖形作為UI元件,儘管可能對其特性(例如,位置和尺寸)進行調整以滿足上述要求。在其他實施例中,UI元件表示滿足上述要求的新元件。例如,UI操作引擎可以使得指示應該將所選手指放置在何處的指紋覆蓋一UI,透過其可完成給定的功能。
由UI操作引擎建立的每個UI元件都具有控制其外觀、功能和位置的特性。此類特性的實例包括維度、顏色、動畫和位置。類似地,這些特性可以指定導致相應的UI元件啟用所需的動作(如果有的話)(例如,按住並保持、滑動、重複輕擊)。在一些實施例中,這些特性受為其建立/選擇UI元件的底層UI的底層特徵的影響。例如,可以改變UI元件的顏色以符合底層UI的顏色方案。
在一些實施例中,握持操作技術的各態樣由使用者裝置1100的使用者控制。例如,可以提示使用者指定附近的個人1102a-c位於何處(例如,透過點擊顯示器的邊緣以指示位置)。作為另一實例,使用者可能能夠影響視覺引導標記(例如,視覺引導標記1104)的位置、數量或佈置。例如,雖然最初可能提示使用者將所選手指放在視覺引導標記1104上,但是使用者可能能夠透過執行某種動作(例如,輕敲至少兩次並拖曳)來改變視覺引導標記1104的位置。如上所述,使用者的手的特性可以用於判定在使用者裝置1100上示出的視覺引導標記的適當位置。在一些實施例中,可以提示使用者完成校準過程,其中在使用者裝置1100的顯示器上示出了視覺引導標記的不同佈置。這些佈置可以包括位於不同位置的不同數量的視覺引導標記。基於使用者能夠將所選的一或多個手指定位在各佈置中所包括的一個或多個視覺引導上的速度和輕易度,UI操作引擎可以學習最適合使用者的佈置。 電腦系統與裝置架構
圖12係方塊圖,其描繪計算系統1200之實例,其中與本文所介紹的至少若干操作可以被實作。例如,計算系統1200的一些組件被用來實作計算裝置(例如,圖1A和圖2A的使用者裝置130、230),該計算裝置包括UI操作引擎(例如,圖3之UI操作引擎300)。
計算系統1200可以包括一個或多個中央處理單元(也稱為「處理器」)1202、主記憶體1206、非揮發性記憶體1210、網路配接器1212(例如,網路介面)、視訊顯示器1218、輸入/輸出裝置1220、控制裝置1222(例如,鍵盤和游標裝置)、包括儲存媒體1226的驅動單元1224和通訊連接到匯流排1216的訊號產生裝置1230。匯流排1216被圖示為表示透過適當的橋接器、配接器或控制器連接的一個或多個實體匯流排及/或點對點連接的抽象。因此,匯流排1216可以包括系統匯流排、週邊組件互連(PCI)匯流排或PCI-Express匯流排、HyperTransport或工業標準架構(ISA)匯流排、小型電腦系統介面(SCSI)匯流排、通用串列匯流排(USB)、IIC(12C)匯流排或電機電子工程師協會(IEEE)標準1394匯流排(也稱為「火線」)。
計算系統1200可以共享與下述者相似的電腦處理器架構:個人電腦、平板電腦、行動電話、遊戲機、音樂播放器、可穿戴電子設備(例如,手錶或健身追蹤器)、網路連接的(「智慧型」)裝置(例如,電視機或家庭輔助裝置)、虛擬/擴增實境系統(例如,頭戴式顯示器)或能夠執行指定要由計算系統1200採取之動作的指令集(序列性或其他種)之其他電子裝置。
雖然主記憶體1206、非揮發性記憶體1210與儲存媒體1226(也被稱作「機器可讀媒體」)被示出為是單一媒體,但術語「機器可讀媒體」與「儲存媒體」應被理解為包括儲存一或多指令集1228之單一媒體或多個媒體(例如,中央/分散式資料庫及/或相關聯快取與伺服器)。術語「機器可讀取媒體」與「儲存媒體」應被理解為包括任何能夠儲存、編碼、或攜帶用於由計算系統1200執行之指令集的媒體。
通常,被執行以實現本揭露的實施例的常式可以被實現為作業系統或特定應用程式、組件、程式、物件、模組或指令序列的一部分(統稱為「電腦程式」)。電腦程式通常包含在不同時間在計算裝置中的各記憶體和儲存裝置中設置的一個或多個指令(例如,指令1204、1208、1228)。當由一個或多個處理器1202讀取並執行時,指令使計算系統1200執行操作以執行涉及本揭露的各個態樣的元件。
此外,儘管已經在功能全面的計算裝置的上下文中描述了實施例,但是對熟習該技藝者將理解,各種實施例能夠以各種形式作為程式產品經分佈。不管用於實際影響分佈的機器或電腦可讀媒體的特定類型如何,都適用本揭露。
機器可讀儲存媒體、機器可讀媒體或電腦可讀媒體的其他實例包括可記錄類型的媒體,例如揮發性和非揮發性記憶體裝置1210、軟磁碟和其他可移動磁碟、硬碟驅動器、光碟(例如,光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD))以及諸如數位和類比通訊鏈接之類的傳輸類型媒體。
網路配接器1212使計算系統1200能夠通過計算系統1200和外部實體所支援的任何通訊協定,在網路1214中與在計算系統1200外部的實體之間調解(mediate)資料。網路配接器1212可以包括網路配接器卡、無線網路介面卡、路由器、接入點、無線路由器、交換器、多層交換器、協定轉換器、閘道器、橋接器、橋接器路由器、集線器、數位媒體接收器及/或轉發器。
網路配接器1212可以包括防火牆,該防火牆掌管及/或管理對電腦網路中的存取/代理資料的許可,並且追蹤不同機器及/或應用程式之間的不同等級的信任。防火牆可以是具有硬體及/或軟體組件的任意組合的任何數量的模組,這些模組能夠在一組特定的機器和應用程式之間、機器和機器之間及/或應用程式之間強制執行一組預定的存取權限(例如,以管理這些實體之間的流量和資源共享的流量)。防火牆可以另外管理及/或存取一存取控制列表,該存取控制列表詳細描述了權限,包括個人、機器及/或應用程式對物件的存取和操作權限,以及權限所處的環境。
此處介紹的技術可以透過可程式電路(例如,一個或多個微處理器)、軟體及/或韌體、專用硬連線(即,非可程式)電路或這些形式的組合來實作。專用電路可以採用一種或多種專用積體電路(ASIC)、可程式邏輯裝置(PLD)、現場可程式閘陣列(FPGA)等形式。 評論
為了說明和描述的目的,已經提供了所要求保護的標的的各個實施例的前述描述。其目的不在於係窮舉性地或用以限制該主張標的於所揭示之確切形式。許多修改和變化對於熟習該技藝者而言是明顯的。選擇和描述實施例以便最佳地描述本發明的原理及其實際應用,從而使相關領域的技術人員能夠理解所要求保護的標的、各種實施例以及預期適合於特定用途的各種修改。
儘管「實施方式」描述了某些實施例和預期的最佳模式,但是無論「實施方式」中多麼詳細地呈現,都可以以許多方式來實踐本技術。實施例在其實現細節上可以有很大不同,其仍被說明書所涵蓋。當描述各種實施例的某些特徵或態樣時使用的特定術語不應被認為暗示該術語在本文中被重新定義為限於與該術語相關聯的技術的任何特定特徵、特性或態樣。通常,除非在本文中明確定義了這些術語,否則不應將以下申請專利範圍中使用的術語解釋為將本技術限於說明書中揭露的特定實施例。因此,本技術的實際範圍不僅包括所揭露的實施例,而且還包括實踐或實現這些實施例的所有等效方式。
主要為了可讀性和指導性目的選擇了本說明書中使用的語言。可能沒有選擇它來描繪或限制標的。因此其目的在於以文後依附之任何申請專利範圍來限制本技術之範圍,而非由實施方式來限制本技術之範圍。因此,各種實施例的揭露意在說明但不限制如所附申請專利範圍中闡述的技術範圍。
100:環境 110:使用者 120:折疊式螢幕 130:折疊式行動裝置 132:第一軸線 134:第二軸線 136:鉸鏈軸線 138:折疊角度 140:旁觀者 142:第一軸線 146:鉸鏈軸線 148:觀看角度 150:表 201:使用者介面 202:使用者介面 203:使用者介面 204:使用者介面 205:使用者介面 206:使用者介面 207:使用者介面 208:使用者介面 220:雙摺顯示器 230:折疊式手機 236:鉸鏈軸線 250:視覺引導標記 252:文字引導 270:使用者介面 272:使用者介面 274:滾動條 300:UI操作引擎 310:UI敏感度提取系統 320:周圍環境狀態評估系統 322:周圍環境狀態感測器 324:周圍環境狀態資料預處理器 326:周圍環境狀態查找器 330:最佳顯示器配置查找器 340:實際顯示器配置查找器 350:使用者狀態評估系統 352:使用者狀態感測器 354:使用者狀態查找器 360:UI扭曲產生器 370:輔助UI元件產生器 391:握持位置感測器 392:握持位置查找器 400:資料流 402:資料流 404:資料流 500:方法 510:步驟 520:步驟 522:步驟 524:步驟 530:步驟 532:步驟 534:步驟 600:方法 610:步驟 612:步驟 614:步驟 616:步驟 618:步驟 620:步驟 630:步驟 720:雙摺顯示器 730:行動裝置 736:中央軸線 X1 :距離 X2 :距離 Y0 :長度 Y1 :長度 Y2 :長度 P1 :點 P2 :點 α:折疊角度 β:觀看角度 X:軸線 Y:軸線 Z:軸線 800:方法 810:步驟 820:步驟 822:步驟 830:步驟 840:步驟 842:步驟 900:方法 910:步驟 912:步驟 914:步驟 916:步驟 918:步驟 920:步驟 930:步驟 1000:資料流 1002:資料流 1100:使用者裝置 1102a:個人 1102b:個人 1102c:個人 1104:視覺引導標記 1200:計算系統 1202:處理器 1204:指令 1206:主記憶體 1208:指令 1210:非揮發性記憶體 1212:網路介面裝置 1214:網路 1216:匯流排 1218:視訊顯視示器 1220:輸入/輸出裝置 1222:控制裝置 1224:驅動單元 1226:機器可讀(儲存)媒體 1228:指令 1230:訊號產生裝置
在所附圖式中的該等圖式中,藉由例示之方式而非限定之方式示出本揭露之一或多個實施例,其中相似參考編號表示類似元件。
[圖1A]示出了例示性環境,在其中可以實作如本文介紹的折疊式手機使用者介面(UI)。
[圖1B]示出了例示性折疊式手機的折疊角度。
[圖1C]示出了例示性折疊式手機相對於人類使用者的觀看角度。
[圖1D]示出了所揭露的UI操作技術的不同配置的表格。
[圖2A]示出了如本文所介紹之折疊式手機UI針對不同隱私情境的不同實現方法之實例。
[圖2B]示出了實際UI與由使用者所見UI中所呈現之視覺引導標記和文字引導的實例。
[圖2C]示出了所介紹折疊式手機UI操作技術的一些實例的附加實作細節。
[圖3]示出了例示性UI操作引擎的功能方塊圖,該例示性UI操作引擎可用於實作折疊式手機UI操作技術。
[圖4A]示出了用於利用圖3中的UI操作引擎的一些實例組件來實作折疊式手機UI操作技術的例示性資料流圖。
[圖4B]示出了用於利用圖3中的UI操作引擎的一些實例組件來實作折疊式手機UI操作技術的另一例示性資料流圖。
[圖4C]示出了用於利用圖3中的UI操作引擎的一些實例組件來實作折疊式手機UI操作技術的又另一例示性資料流圖。
[圖5]示出了用於實作折疊式手機UI操作技術之例示性方法的流程圖。
[圖6]示出了用於實作折疊式手機UI操作技術之另一例示性方法的流程圖。
[圖7A]示出了在折疊式手機UI操作技術的一些實施例中如何產生扭曲的UI的更詳細實例。
[圖7B]示出了圖7A的實例中的計算的附加假設。
[圖7C]示出了圖7A的實例中的折疊角度的改變所造成的例示性轉換計算(transformation calculation)。
[圖7D]示出了圖7A的實例中的觀看角度的改變所造成的例示性轉換計算(transformation calculation)。
[圖7E]示出了UI如何因應觀看角度的變化而進行調整以補償實際產生的UI中的角畸變(angular distortion,例如,傾斜程度)的實例。
[圖7F]示出了角畸變調整量與觀看角度變化之間的實例關係。
[圖8]示出了用於實作握持操作技術之例示性方法的流程圖。
[圖9]示出了用於實作UI驅動握持操作技術之例示性方法的流程圖。
[圖10A]示出了用於使用圖3中UI操作引擎的一些例示性組件實作握持操作技術的例示性資料流。
[圖10B]示出了用於使用圖3中UI操作引擎的一些例示性組件實作握持操作技術的另一例示性資料流。
[圖11A]示出了緊鄰使用者裝置的個人可能如何觀看由使用者裝置所示出的敏感資訊。
[圖11B]示出了UI操作引擎可以如何基於附近個人的位置來計算哪些方向應當被遮掩以確保隱私。
[圖11C]示出了UI操作引擎如何可以引起視覺引導標記的顯示,該視覺引導標記可輔助使用者將他或她的手定位在最佳握持位置。
[圖11D]示出當使用者將手置於最佳握持位置時,使用者裝置所示的敏感資訊會如何對附近的個人進行隱藏。
[圖12]描繪高層級方塊圖,其示出行動系統之實例,其中與本文所介紹技術相關的至少若干操作可以被實作。

Claims (29)

  1. 一種用於私密地顯示資訊的方法,該方法包含: 接收指示以在行動裝置上顯示敏感資訊,其中,該行動裝置包括折疊式顯示器; 判定如何顯示該敏感資訊的形狀因子,其中,該形狀因子小於該折疊式顯示器的整個區域;以及 基於所判定之該形狀因子,產生欲顯示於該折疊式顯示器上的使用者介面,其中,該使用者介面係以該形狀因子來呈現該敏感資訊,且除非該折疊式顯示器被操作於所選角度中,否則從使用者來看該使用者介面係視覺上變形的。
  2. 如請求項1所述之方法,其中,該使用者介面是由該折疊式顯示器之複數個區段共同地顯示的。
  3. 如請求項2所述之方法,其中,該折疊式顯示器為雙摺顯示器。
  4. 如請求項1所述之方法,更包含: 識別該敏感資訊的敏感度等級, 其中,該形狀因子更基於該敏感度等級而判定且與該敏感度等級成負相關。
  5. 如請求項1所述之方法,更包含: 根據來自該行動裝置上一或多個感測器的讀數,識別該行動裝置周圍環境中的隱私風險等級, 其中,該形狀因子更基於識別的該隱私風險等級而判定。
  6. 如請求項5所述之方法,其中,該形狀因子係與識別的該隱私風險等級成負相關。
  7. 如請求項1所述之方法,更包含: 判定折疊角度,除非該行動裝置的顯示器區段被折疊至該折疊角度,否則從該使用者來看該使用者介面係扭曲的, 其中,該使用者介面更基於所判定之該折疊角度而產生。
  8. 如請求項7所述之方法,其中,該使用者介面沿該折疊式顯示器鉸鏈的軸線呈對稱變形。
  9. 如請求項1所述之方法,更包含: 判定觀看角度,針對該觀看角度,除非該行動裝置被定向於相對於該使用者的該觀看角度,否則從該使用者來看該使用者介面係扭曲的, 其中,該使用者介面更基於所判定之該觀看角度而產生。
  10. 如請求項1所述之方法,更包含: 從該行動裝置上的面向使用者眼睛偵測器(user-facing eye detector)偵測該使用者之眼睛的位置;以及 因應偵測到的該使用者之該眼睛的該位置來調整該使用者介面。
  11. 如請求項10所述之方法,其中,該使用者介面被調整,以使該使用者介面的新觀看角度反映偵測到的該使用者之該眼睛的該位置。
  12. 如請求項10所述之方法,更包含: 從該行動裝置上的一或多個定向感測器,接收該行動裝置的當前定向狀態, 其中,因應所接收之該行動裝置的該當前定向狀態,更調整該使用者介面。
  13. 如請求項1所述之方法,更包含: 基於該所選角度,產生視覺引導標記,該視覺引導標記引導該使用者將該折疊式顯示器操作至該所選角度。
  14. 如請求項13所述之方法,其中,只有當將該折疊式顯示器操作於該所選角度時,該視覺引導標記以所選幾何形狀向該使用者呈現。
  15. 如請求項1所述之方法,更包含: 擷取該折疊式顯示器的當前折疊角度;以及 基於該當前折疊角度與該所選角度之差,產生附加引導,其引導該使用者將該折疊式顯示器操作至該所選角度。
  16. 如請求項1所述之方法,其中,除非該折疊式顯示器被操作至該所選角度,否則不會在該使用者介面中顯示該敏感資訊。
  17. 如請求項1所述之方法,更包含: 基於所判定之該形狀因子,將該敏感資訊的原始佈局更改成替代佈局,其相較於該折疊式顯示器的該整個區域更適合較小的形狀因子。
  18. 如請求項17所述之方法,其中,該原始佈局係針對指定用於桌上型電腦的顯示器形狀因子,以及其中,該替代佈局係針對指定用於行動裝置的顯示器形狀因子。
  19. 如請求項1所述之方法,更包含: 擷取該折疊式顯示器的當前折疊角度; 基於該當前折疊角度,更新該形狀因子;以及 調整該使用者介面以符合更新的該形狀因子。
  20. 如請求項19所述之方法,其中,當該使用者操作該折疊式顯示器時,該擷取步驟、該更新步驟及該調整步驟實質上係即時地執行。
  21. 一種用於私密地顯示資訊的方法,該方法包含: 接收指示以在行動裝置上顯示敏感資訊,其中,該行動裝置包括可撓式顯示器; 判定如何顯示該敏感資訊的形狀因子,其中,該形狀因子小於該可撓式顯示器的整個區域;以及 基於所判定之該形狀因子,產生欲顯示於該可撓式顯示器上的使用者介面,其中,該使用者介面係以該形狀因子來呈現該敏感資訊,且,除非該可撓式顯示器被操作於所選形狀中,否則從該使用者來看該使用者介面係視覺上變形的。
  22. 如請求項21所述之方法,更包含: 識別該敏感資訊的敏感度等級, 其中,該形狀因子更基於該敏感度等級而判定且與該敏感度等級成負相關。
  23. 如請求項21所述之方法,更包含: 根據來自該行動裝置上一或多個感測器的讀數,識別該行動裝置周圍環境中的隱私風險等級, 其中,該形狀因子更基於識別的該隱私風險等級而判定。
  24. 如請求項21所述之方法,更包含: 判定折疊角度與折疊線,針對該折疊角度與該折疊線,除非該行動裝置的顯示器區段被折疊至該折疊角度並沿著該折疊線折疊,否則從該使用者來看該使用者介面係扭曲的。
  25. 如請求項21所述之方法,更包含: 從該行動裝置上的面向使用者眼睛偵測器(user-facing eye detector)偵測該使用者之眼睛的位置;以及 因應偵測到的該使用者之該眼睛的該位置來調整該使用者介面。
  26. 如請求項21所述之方法,更包含: 基於該所選形狀,產生視覺引導標記,該視覺引導標記引導該使用者將該可撓式顯示器操作至該所選形狀。
  27. 如請求項21所述之方法,更包含: 擷取該可撓式顯示器的當前形狀;以及 基於該當前形狀與該所選形狀之差,產生附加引導,其引導該使用者將該可撓式顯示器操作至該所選形狀。
  28. 如請求項21所述之方法,更包含: 擷取該可撓式顯示器的當前形狀; 基於該當前形狀,更新該形狀因子;以及 調整該使用者介面以符合更新的該形狀因子。
  29. 如請求項21所述之方法,更包含: 基於該所選形狀,產生視覺引導標記,其引導該使用者以阻擋一部分的該可撓式顯示器之方式握持該可撓式顯示器。
TW110108920A 2020-03-18 2021-03-12 折疊式螢幕裝置之使用者介面操作 TW202141122A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202062991553P 2020-03-18 2020-03-18
US62/991,553 2020-03-18
US202063008473P 2020-04-10 2020-04-10
US63/008,473 2020-04-10
US17/031,385 US11574081B2 (en) 2020-03-18 2020-09-24 User interface manipulation in a foldable screen device
US17/031,385 2020-09-24

Publications (1)

Publication Number Publication Date
TW202141122A true TW202141122A (zh) 2021-11-01

Family

ID=77747979

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110108920A TW202141122A (zh) 2020-03-18 2021-03-12 折疊式螢幕裝置之使用者介面操作

Country Status (7)

Country Link
US (2) US11574081B2 (zh)
EP (1) EP4121880A1 (zh)
JP (1) JP2023518219A (zh)
KR (1) KR20220143739A (zh)
CN (1) CN115298663A (zh)
TW (1) TW202141122A (zh)
WO (1) WO2021187441A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556148B2 (en) * 2021-01-21 2023-01-17 Dell Products L.P. Foldable display for an information handling system
US11573609B2 (en) * 2021-05-27 2023-02-07 Microsoft Technology Licensing, Llc Ambient illuminance and light geometry detection
CN115150608B (zh) * 2022-06-20 2023-07-18 山东浪潮超高清智能科技有限公司 一种普通视频在巨幕裸眼3d折角屏上进行优化显示的方法
CN116156050A (zh) * 2023-02-23 2023-05-23 维沃移动通信有限公司 显示方法、装置
CN116954543A (zh) * 2023-09-19 2023-10-27 荣耀终端有限公司 一种显示方法、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050276164A1 (en) * 2004-06-12 2005-12-15 Scott Amron Watch adapted to rotate a displayed image so as to appear in a substantially constant upright orientation
KR101245375B1 (ko) * 2011-06-08 2013-03-20 주식회사 팬택 능동적 플렉서블 디스플레이, 능동적 플렉서블 디스플레이의 제어 장치 및 방법
KR101789625B1 (ko) * 2011-06-23 2017-10-25 엘지전자 주식회사 플렉서블 디스플레이를 구비하는 영상 표시 장치 및 그 제어방법
US8279716B1 (en) * 2011-10-26 2012-10-02 Google Inc. Smart-watch including flip up display
US8988349B2 (en) * 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US20150150140A1 (en) * 2013-11-26 2015-05-28 Nokia Corporation Method and apparatus for determining shapes for devices based on privacy policy
KR102331956B1 (ko) 2014-02-10 2021-11-29 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR20150103927A (ko) * 2014-03-04 2015-09-14 삼성전자주식회사 콘텐츠를 표시하는 방법과 전자 장치
KR102188267B1 (ko) * 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
US20160239091A1 (en) 2015-02-12 2016-08-18 Qualcomm Incorporated Controlled display of content on wearable displays
US20160253141A1 (en) 2015-02-27 2016-09-01 Plantronics, Inc. Wearable Device with Data Privacy Display
US10747264B1 (en) * 2019-04-03 2020-08-18 Dell Products, L.P. Hinge actions and virtual extended display modes for multi-form factor information handling system (IHS)

Also Published As

Publication number Publication date
KR20220143739A (ko) 2022-10-25
US20210294926A1 (en) 2021-09-23
JP2023518219A (ja) 2023-04-28
US20230139775A1 (en) 2023-05-04
CN115298663A (zh) 2022-11-04
US11574081B2 (en) 2023-02-07
EP4121880A1 (en) 2023-01-25
WO2021187441A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
TW202141122A (zh) 折疊式螢幕裝置之使用者介面操作
US11194388B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US20220101612A1 (en) Methods for manipulating objects in an environment
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US20220317776A1 (en) Methods for manipulating objects in an environment
CN116134405A (zh) 用于扩展现实的私有控制接口
US11861056B2 (en) Controlling representations of virtual objects in a computer-generated reality environment
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
US20220262080A1 (en) Interfaces for presenting avatars in three-dimensional environments
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230334808A1 (en) Methods for displaying, selecting and moving objects and containers in an environment
US20230259265A1 (en) Devices, methods, and graphical user interfaces for navigating and inputting or revising content
US20230252737A1 (en) Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures
US20230100689A1 (en) Methods for interacting with an electronic device
US20230094658A1 (en) Protected access to rendering information for electronic devices
WO2023164268A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
US20230350539A1 (en) Representations of messages in a three-dimensional environment
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US11715271B2 (en) XR preferred movement along planes
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
US20230206572A1 (en) Methods for sharing content and interacting with physical devices in a three-dimensional environment