TW202134947A - 根據臉部特徵設定裝置顯示方式的方法與其電子裝置 - Google Patents

根據臉部特徵設定裝置顯示方式的方法與其電子裝置 Download PDF

Info

Publication number
TW202134947A
TW202134947A TW109107925A TW109107925A TW202134947A TW 202134947 A TW202134947 A TW 202134947A TW 109107925 A TW109107925 A TW 109107925A TW 109107925 A TW109107925 A TW 109107925A TW 202134947 A TW202134947 A TW 202134947A
Authority
TW
Taiwan
Prior art keywords
electronic device
user
display screen
eyes
display
Prior art date
Application number
TW109107925A
Other languages
English (en)
Inventor
周開祥
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW109107925A priority Critical patent/TW202134947A/zh
Priority to US17/197,334 priority patent/US11455034B2/en
Publication of TW202134947A publication Critical patent/TW202134947A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1612—Flat panel monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種根據臉部特徵設定裝置顯示方式的方法，以及執行此方法的電子裝置，電子裝置設有攝影單元，用以取得使用者的臉部影像，之後可通過臉部器官的位置判斷出使用者觀看顯示畫面的相對角度，之後，根據使用者的眼睛觀看的角度以及電子裝置顯示畫面時的狀態提供一轉向信息，可以根據此轉向信息通過顯示單元控制顯示畫面為直向顯示或橫向顯示，或是可通過控制電子裝置的驅動機構，讓電子裝置轉向一顯示角度。

Description

根據臉部特徵設定裝置顯示方式的方法與其電子裝置
說明書公開一種設定電子裝置畫面轉向的技術，特別是一種根據臉部特徵而修正裝置畫面轉向的方法與執行此方法的電子裝置。
使用者通常會依照喜好或是影像的特性而以直式（landscape mode）或橫式（portrait mode）畫面觀看行動裝置（如手機、平板電腦）的顯示內容，舉例來說，行動裝置在一般操作狀態常見的是直式的顯示模式，但是看影片時，常會讓行動裝置以橫式轉向來觀看，但若是直式的照片，就會讓行動裝置擺直的觀看照片。
因此，在習知技術中，行動裝置中的軟體程式會應用行動裝置中以加速度計實現的重力感測器判斷使用者操作行動裝置的轉向，重力感測器設計時會設定一朝向地心方向的參考軸，當感測出行動裝置的姿態（pose）時，可以將感測出裝置的方向與參考軸比較後得出一個轉向角度，提供給控制螢幕轉向的軟體程式，根據系統預設的一個轉向門檻判斷出適當使用者觀看內容的螢幕顯示模式。
舉例來說，當將行動裝置橫放時，控制螢幕轉向的軟體程式根據重力感測器提供的感測數值將螢幕自動轉到橫式的畫面；反之，若行動裝置在垂直使用時，則螢幕轉到直式畫面。
不過，習知技術僅參考行動裝置使用狀態（直式或橫式）即自動轉動顯示螢幕的方式，若未參考使用者身體的姿勢，仍帶來一些困擾，例如，當使用者躺著看手機或電視，若僅參考裝置的方向，上述自動轉向的機制反而產生觀看不適的問題。
為了解決習知裝置中的螢幕自動轉向功能無法符合在特定情況下需求的問題，說明書公開一種根據臉部特徵設定裝置顯示方式的方法與執行此方法的電子裝置，電子裝置中運行此方法的主要步驟包括，先判斷出使用者的眼睛觀看電子裝置中顯示畫面的相對角度，接著可根據使用者的眼睛觀看的角度以及電子裝置顯示顯示畫面的狀態提供一轉向信息。
其中，根據一實施例，可以用電子裝置的攝影機拍攝使用者的臉部影像，根據各器官特點辨識並定位出臉部器官，之後可根據定位的臉部器官判斷使用者的眼睛位置，即取得觀看該電子裝置中的顯示畫面的相對角度。之後，根據電子裝置顯示顯示畫面的狀態判斷是否轉向。
進一步地，若此電子裝置為一手持裝置，顯示畫面的狀態為根據電子裝置在三度空間中的傾斜角度所顯示的直式或橫式畫面，當下判斷出的眼睛的角度，以此取代電子裝置中的感測資料，使得能參考眼睛位置提供轉向信息，包括可以自動根據眼睛的角度讓顯示畫面轉向，或是提示使用者是否要轉向的選擇。
進一步地，當電子裝置為一固定式裝置，如電視，電子裝置顯示畫面的狀態為電子裝置處於一穩定靜止顯示畫面的狀態，同樣地，其中顯示畫面也是根據判斷出的眼睛角度進行轉向。
在另一實施例中，電子裝置可以通過一驅動機構控制轉向，因此，可以根據判斷出使用者的眼睛角度驅動電子裝置的整體機構進行轉向。
根據實施例，所述電子裝置如使用者手持的行動裝置，或是安裝於固定位置的顯示器，其中可設有處理器、顯示器、加速度感測器以及攝影單元。加速度感測器用以感測電子裝置的狀態以決定以直式或橫式顯示畫面，一般是用來判斷其中畫面的轉向，而所述方法是通過攝影單元取得使用者的臉部影像，通過辨識出其中器官位置而判斷出使用者的眼睛觀看顯示畫面的角度，以能根據使用者的眼睛觀看的角度以及電子裝置顯示顯示畫面的狀態提供一轉向信息。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
在現行技術中，使用者手持電子裝置（如行動電話、平板電腦等）觀看其中影像時，其中運行的軟體程式會參考影像（圖片或影片）記載的屬性，可根據記載於詮釋資料（metadata）的資訊判斷影像為直式（landscape）或橫式（portrait），也通過電子裝置內加速度感測器判斷電子裝置的裝置方向，以此判斷以直式或橫式顯示畫面。當同時參考影像屬性以及當下電子裝置的裝置方向，讓電子裝置上顯示的畫面可以自動轉向。而此功能可以在不需要時被關閉。不過，當使用者在特定姿勢時，自動轉向功能反而不能夠提供適當的觀看方式，如此，為了讓使用者在各種姿勢可以從電子裝置上觀看到有適當轉向的顯示畫面，揭露書提出一種根據臉部特徵設定裝置顯示方式的方法，以及執行此方法的電子裝置，所述方法以臉部特徵作為顯示畫面轉向的依據，取代習知以裝置內重力感知的方式判斷畫面轉向的方式。
可先參考圖1所示根據臉部特徵設定裝置顯示方式的情境示意圖。圖中顯示有一躺在床100上的使用者1，使用者1手持電子裝置10，電子裝置10具有自動轉向功能，但是當使用者1處於橫躺且又將電子裝置10舉起觀看影像時，電子裝置10中原本根據重力方向判斷影像轉向的功能可能反而提供不適合的轉向，或是因為裝置在特定狀態下其中加速度感測器持續得到變動的方向資訊，又使得畫面不斷轉動產生不好的觀看體驗。
揭露書所提出的方法主要是根據使用者的臉部特徵來設定裝置顯示方式，如圖2所示的情境示意圖。
此例顯示有一使用者1橫躺在床100上，手持電子裝置10，如一行動電話，電子裝置設有攝影機101。在使用者觀看影像時，電子裝置10被開啟，其中運行的軟體程序將驅動攝影機101拍攝使用者，特別是擷取臉部影像，並能根據臉部器官特徵辨識出幾個器官，先根據外型定位出臉部，再根據特徵辨識出眼睛、鼻子與嘴部等，可參考圖8，可以直接識別出眼睛12的位置，或是通過其他器官判斷出眼睛12的位置，兩眼之間形成一個連線方向。在另一實施例中，影像處理方法還可辨識出臉部的其他物件，如眼鏡，因此根據眼鏡的位置也能判斷出眼睛12位置。
所述根據臉部特徵設定裝置顯示方式即在此技術下判斷使用者的眼睛12位置，包括得出兩眼連線方向，都可成為判斷顯示於電子裝置10的畫面的轉向。舉例來說，當判斷出眼睛位置，可以得出使用者的眼睛觀看顯示畫面的相對角度，之後可根據使用者的眼睛的相對角度以及電子裝置顯示顯示畫面的狀態產生一轉向信息。所述電子裝置10顯示顯示畫面的狀態一般包括可以直式或橫式方式顯示顯示畫面，若當下電子裝置10以直式方式顯示畫面，所述相對角度為兩眼連線方向與電子裝置10長邊或寬邊的裝置方向之間的角度。
上圖中顯示的電子裝置10可以為手機、平板電腦、筆記型電腦、頭戴式顯示器等攜帶式的裝置，然而，特定實施例可以及於固定式的顯示裝置，如電視與桌上型電腦，或是連接電視的影音裝置，如機上盒（Set Top Box）、影音播放器、數位串流裝置等。更者，電子裝置10還可包括內建或外接有攝影機的各式顯示裝置。
例如，可參考圖3所示根據臉部特徵設定裝置顯示方式的另一情境示意圖，圖中顯示使用者1橫躺在床100上，這時觀看著固定式的電子裝置30，如電視，電子裝置30可設有攝影機31，可為內建或外接方式連接其中電路。
當使用者1以特定姿勢（如橫躺）觀看安裝於固定位置的電子裝置30所顯示的內容時，電子裝置30的攝影機31同樣地可拍攝使用者1的影像，取得臉部影像後，可以判斷得出眼睛12位置，通過軟體演算可以得出雙眼之間連線形成的連線方向，同時也取得兩眼連線方向與電子裝置30的裝置方向之間的相對角度。此例中，電子裝置30為電視，裝置方向為水平方向。
此時，若使用者1站著或坐著觀看電視，眼睛12方向也會是水平方向，（或同時有多個使用者一同觀看），經攝影機31拍攝影像、取得每個人的臉部影像並判斷眼睛位置後，若大家眼睛方向一致，電視的裝置方向也為水平方向，則不需要執行轉向的判斷。但當在特定姿勢下的使用者1的兩眼連線方向不是水平，將與裝置方向具有一相對角度，若相對角度不大於一個預設的轉向門檻，即不需要執行畫面轉向；反之，若相對角度大於此轉向門檻，運行於電子裝置30中軟體程序將執行自動轉向，使得轉向後的畫面比較適合當下使用者1的觀看姿勢。
圖4顯示電子裝置內主要電路的實施例方塊圖。
電子裝置40設有處理器401以及電性連接處理器401的幾個主要電路元件。處理器401以軟體手段運行根據臉部特徵設定裝置顯示方式的方法，顯示單元405用以產生顯示畫面，並受控於處理器401，當處理器401產生的轉向信息顯示要改變顯示畫面的轉向，即控制顯示單元405改變顯示的畫面。
電子裝置40設有攝影單元409，運行根據臉部特徵設定裝置顯示方式的方法時，持續地取得使用者的臉部影像，並能得出其中特徵，目的是判斷出使用者眼睛的位置，提供處理器401運算而判斷使用者的眼睛觀看顯示畫面的相對角度，並根據電子裝置40目前顯示顯示畫面的狀態產生轉向信息。
根據實施例，當電子裝置40為手持裝置，所述顯示畫面的狀態為電子裝置40以直式或橫式方式顯示顯示畫面的狀態。當電子裝置40為固定式裝置，顯示畫面的狀態為電子裝置40處於一穩定靜止狀態下顯示顯示畫面的狀態。
在一實施例中，電子裝置40仍可設有加速度感測器403，加速度感測器403根據重力方向可以判斷電子裝置40的裝置方向在三維空間中與重力方向的角度，若配合陀螺儀407，還能知道方位（orientation），這些都是可以協同所述方法實現設定顯示畫面方向的電路元件。
舉例來說，電子裝置40可為設有加速度感測器403的一種頭戴式顯示器（HMD），可參考圖7，配合陀螺儀407，可使得頭戴式顯示器隨著使用者的頭部運動，而得出使用者的眼睛觀看顯示畫面的相對角度，進而控制顯示畫面的狀態。
根據實施例，所提出的根據臉部特徵設定裝置顯示方式的方法執行於特定電路系統中，例如執行於電子裝置中的處理器401中，或可以特定積體電路實現。
揭露書提出的根據臉部特徵設定裝置顯示方式的方法主要是依據使用者眼睛的位置提供轉向信息，判斷眼睛位置的實施方式可參考圖5所示電子裝置的方向與兩眼方向的角度關係示意圖。
圖中顯示有電子裝置50，其中可定義出幾個方向，一般來說，顯示在顯示螢幕上的影像本身具有方向的屬性，以照片為例，拍攝照片時，照相機提供了拍攝方向的資訊，並儲存在照片中的詮釋資料中，使得電子裝置50顯示照片時，可以依照照片本身的方向屬性（如影像方向501），比對目前電子裝置50的裝置方向（如圖式水平的裝置方向502），使得以一適當的方式顯示照片。所述裝置方向502主要是根據電子裝置50中的加速度感測器所取得，此例以水平方向說明裝置方向502，實際上並不限於此。
電子裝置50上顯示螢幕的畫面一般會隨著其在空間中的角度進行轉向，而揭露書所提出的方法則是取代習知驅使畫面轉向的方式，取而代之的是利用影像判斷出眼睛的位置決定畫面轉向的方式。
此例顯示當得出兩眼連線方向503時，可以比對裝置方向502，實施例可以水平或垂直方向為基準，得出一個相對角度θ，以相對角度θ判斷顯示畫面轉向的方式即取代習知以加速度感測方向判斷畫面轉向的方式。
舉例來說，行動裝置上顯示的使用者介面會有水平和垂直兩個模式，很多應用程式也會提供水平或垂直兩個顯示模式，或者，通過執行於行動裝置中的軟體程序也可以根據影像畫面寬高比猜測畫面方向，進而能根據上述相對角度θ決定顯示畫面的方式。另外，有些應用可以將影像中的畫面與字幕分開，因此所提出的方法還可以僅將字幕轉向，而不變動其中影像內容的方向。
圖6顯示根據臉部特徵設定裝置顯示方式的方法實施例流程圖。
執行於電子裝置中的軟體程序一開始可驅動攝影機取得使用者的臉部影像（步驟S601），並能根據取得的影像與各種器官的特徵定位臉部器官（步驟S603），接著辨識眼睛的位置（步驟S605），也就是能夠根據眼睛的位置的相關資訊，如兩眼連線方向，進一步得出與電子裝置的關係，例如取得連線方向與電子裝置的裝置方向之間的相對角度。
如步驟S607，通過軟體程序得出電子裝置顯示畫面的狀態，根據所述實施例，當電子裝置為手持裝置，顯示畫面的狀態為電子裝置以直式或橫式方式顯示顯示畫面；當電子裝置為固定式裝置，顯示畫面的狀態為電子裝置處於穩定靜止狀態下顯示顯示畫面的狀態。
如此，經得出兩眼連線方向與裝置方向之間的相對角度後，如步驟S609，判斷畫面是否需要轉向，產生電子裝置顯示畫面的轉向信息。之後，如步驟S611，可根據轉向信息設定顯示畫面的方向，或是提示使用者是否要轉向顯示畫面。其中，當設定顯示畫面的顯示模式前，可先產生畫面轉向的提示信息，由使用者決定是否改變顯示畫面的角度。
圖7顯示根據臉部特徵設定裝置顯示方式的另一情境示意圖。
在虛擬實境（VR）的應用上，使用者7可穿戴頭戴式顯示器70體驗虛擬實境，其中影像將隨著頭戴式顯示器70中的加速度感測器、陀螺儀等感測電路所取得的信息進行變換，但是，當使用者7是以一特定姿勢使用此頭戴式顯示器70觀看影像，揭露書所提出設定裝置顯示狀態的方法將提供適當轉向的畫面。根據實施例，當使用者7躺下，一般來說顯示畫面可以隨著使用者躺下一起轉動，但所述讓使用者7仍在躺下的狀態下看到原本站著的畫面一樣。
根據實施例，使用者7可以在開始操作頭戴式顯示器70時，設定一個初始畫面，通過所述根據臉部特徵設定裝置顯示方式的方法可以讓這個初始畫面的方向不受到使用者躺下或其他姿勢所改變，讓畫面一起隨著使用者7的姿態而轉向。運作時，頭戴式顯示器70隨著使用者7的頭部運動而得出使用者7的眼睛觀看顯示畫面的相對角度，這個相對角度將決定顯示畫面是否轉向，例如，由頭戴式顯示器70的處理器接收此轉向信息後，可設定顯示畫面是以直式、橫式或特定角度的顯示模式，再通過頭戴式顯示器70的顯示單元控制顯示畫面為直向顯示或橫向顯示。
根據上述實施例可知，決定畫面是否隨著使用者姿勢轉向的主要依據之一是眼睛的位置，或是相關資訊，如兩眼連線方向。
如圖8顯示的臉部器官，當運行在電子裝置中或是另一攝影機中的軟體程序拍攝使用者的頭部8，擷取出臉部影像，可先根據輪廓定位出臉部位置，再根據臉部器官特徵辨識出幾個器官，此例顯示如眼睛801、眼鏡805、鼻子802以及嘴部803，這些資訊可用以識別出眼睛801的位置，或是通過其他器官判斷出眼睛801的位置，兩眼之間形成一個連線方向，經比對電子裝置的裝置方向（相對裝置的水平或垂直方向），可以據此判斷是否讓畫面轉向。
圖9顯示當電子裝置中的處理器接收到轉向信息後，除了以軟體方法改變顯示畫面的方向外，還可在特定機構設計下，控制電子裝置的驅動機構轉向一顯示角度。
如圖所示的電子裝置90，例如是一個具有轉向機構的電視或特定顯示器，同樣設有攝影機905，通過所擷取使用者9的臉部影像判斷其中器官，特別是眼睛，使得驅動當中的驅動機構隨著眼睛的位置（兩眼連線方向）轉向一個角度。圖中顯示一般狀態一901的位置，以及隨著使用者9兩眼連線方向轉向後的狀態二902。
綜上所述，說明書公開一種根據臉部特徵設定裝置顯示方式的方法，以及實現此方法的電子裝置，在電子裝置中運行一軟體程序，通過影像處理技術取得使用者的眼睛或其他可辨識眼睛觀看角度的器官或特徵，進而能夠根據這些特徵設定電子裝置（顯示裝置）顯示畫面的方式，可以解決習知僅倚賴重力方向即決定影像顯示方向方式的不足。而在特定的實施方式中，使用者可以通過電子裝置中的軟體程式決定是否關閉當中自動轉向的功能，或可選擇習知利用重力方向決定影像轉向的功能，或可選擇根據使用者眼睛位置決定轉向的功能。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
1:使用者 10:電子裝置 100:床 12:眼睛 101:攝影機 30:電子裝置 31:攝影機 40:電子裝置 401:處理器 403:加速度感測器 405:顯示單元 407:陀螺儀 409:攝影單元 50:電子裝置 501:影像方向 502:裝置方向 503:兩眼連線方向 7:頭部 70:戴式顯示器 8:頭部 801:眼睛 805:眼鏡 802:鼻子 803:嘴部 90:電子裝置 901:狀態一 902:狀態二 905:攝影機 9:使用者 步驟S601～S611:根據臉部特徵設定裝置顯示方式的流程
圖1顯示根據臉部特徵設定裝置顯示方式的情境示意圖之一；
圖2顯示根據臉部特徵設定裝置顯示方式的情境示意圖；
圖3顯示根據臉部特徵設定裝置顯示方式的情境示意圖之二；
圖4顯示電子裝置內主要電路的實施例方塊圖；
圖5顯示電子裝置的方向與兩眼方向的角度關係示意圖；
圖6顯示根據臉部特徵設定裝置顯示方式的方法實施例流程圖；
圖7顯示根據臉部特徵設定裝置顯示方式的情境示意圖之三；
圖8顯示臉部器官位置的示意圖；以及
圖9顯示根據臉部特徵設定裝置顯示方式的情境示意圖之四。
S601:取得臉部影像
S603:定位臉部器官
S605:辨識眼睛的位置
S607:取得電子裝置的狀態
S609:提供電子裝置顯示畫面的轉向信息
S611:根據轉向信息設定或是提示顯示畫面的轉向

Claims (10)

  1. 一種根據臉部特徵設定裝置顯示方式的方法，包括： 判斷出一使用者的眼睛觀看一電子裝置中一顯示畫面的一相對角度；以及 根據該使用者的眼睛的該相對角度以及該電子裝置顯示該顯示畫面的狀態產生一轉向信息。
  2. 如請求項1所述的根據臉部特徵設定裝置顯示方式的方法，其中判斷該使用者的眼睛觀看該顯示畫面的該相對角度的方式包括： 以一攝影機拍攝該使用者的一臉部影像； 定位臉部器官； 根據定位的臉部器官判斷該使用者的眼睛位置，取得兩眼的一連線方向；以及 取得該連線方向與該電子裝置的一裝置方向之間的該相對角度。
  3. 如請求項2所述的根據臉部特徵設定裝置顯示方式的方法，其中，當該電子裝置為一手持裝置，該顯示畫面的狀態為該電子裝置以直式或橫式方式顯示該顯示畫面的狀態；當該電子裝置為一固定式裝置，該顯示畫面的狀態為該電子裝置處於一穩定靜止狀態下顯示該顯示畫面的狀態。
  4. 如請求項3所述的根據臉部特徵設定裝置顯示方式的方法，其中該電子裝置為設有一加速度感測器的一頭戴式顯示器，配合一陀螺儀，使得該頭戴式顯示器隨著該使用者的頭部運動而得出該使用者的眼睛觀看該顯示畫面的該相對角度。
  5. 一種運行一根據臉部特徵設定裝置顯示方式的方法的電子裝置，包括： 一處理器； 一顯示單元，電性連接該處理器，用以產生一顯示畫面；以及 一攝影單元，電性連接該處理器，用以取得一使用者的一臉部影像； 其中，該處理器執行該根據臉部特徵設定裝置顯示方式的方法，包括： 判斷出該使用者的眼睛觀看該顯示畫面的一相對角度；以及 根據該使用者的眼睛的該相對角度以及該電子裝置顯示該顯示畫面的狀態產生一轉向信息。
  6. 如請求項5所述的電子裝置，其中判斷該使用者的眼睛觀看該顯示畫面的該相對角度的方式包括： 以該攝影單元拍攝該使用者的該臉部影像； 定位臉部器官； 根據定位的臉部器官判斷該使用者的眼睛位置，取得兩眼的一連線方向；以及 取得該連線方向與該電子裝置的一裝置方向之間的該相對角度。
  7. 如請求項6所述的電子裝置，其中，當該電子裝置為一手持裝置，該顯示畫面的狀態為該電子裝置以直式或橫式方式顯示該顯示畫面的狀態；當該電子裝置為一固定式裝置，該顯示畫面的狀態為該電子裝置處於一穩定靜止狀態下顯示該顯示畫面的狀態。
  8. 如請求項7所述的電子裝置，其中該電子裝置為設有一加速度感測器的一頭戴式顯示器，配合一陀螺儀，使得該頭戴式顯示器隨著該使用者的頭部運動而得出該使用者的眼睛觀看該顯示畫面的該相對角度。
  9. 如請求項5至8中任一項所述的電子裝置，其中，由該處理器接收該轉向信息後，即通過該顯示單元控制該顯示畫面為直向顯示或橫向顯示。
  10. 如請求項5至8中任一項所述的電子裝置，其中，由該處理器接收該轉向信息後，控制該電子裝置的一驅動機構轉向一顯示角度。
TW109107925A 2020-03-11 2020-03-11 根據臉部特徵設定裝置顯示方式的方法與其電子裝置 TW202134947A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109107925A TW202134947A (zh) 2020-03-11 2020-03-11 根據臉部特徵設定裝置顯示方式的方法與其電子裝置
US17/197,334 US11455034B2 (en) 2020-03-11 2021-03-10 Method for setting display mode of device according to facial features and electronic device for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109107925A TW202134947A (zh) 2020-03-11 2020-03-11 根據臉部特徵設定裝置顯示方式的方法與其電子裝置

Publications (1)

Publication Number Publication Date
TW202134947A true TW202134947A (zh) 2021-09-16

Family

ID=77664674

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109107925A TW202134947A (zh) 2020-03-11 2020-03-11 根據臉部特徵設定裝置顯示方式的方法與其電子裝置

Country Status (2)

Country Link
US (1) US11455034B2 (zh)
TW (1) TW202134947A (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
TWI413979B (zh) * 2009-07-02 2013-11-01 Inventec Appliances Corp 調整顯示畫面的方法、電子裝置，與電腦程式產品
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
TW201112045A (en) * 2009-09-28 2011-04-01 Wistron Corp Viewing direction determination method, viewing direction determination apparatus, image processing method, image processing apparatus and display device
US20130100123A1 (en) 2011-05-11 2013-04-25 Kotaro Hakoda Image processing apparatus, image processing method, program and integrated circuit
TW201407596A (zh) 2012-08-06 2014-02-16 Hon Hai Prec Ind Co Ltd 電子裝置校正系統及方法
US20140078178A1 (en) * 2012-09-14 2014-03-20 Eric Qing Li Adaptive Display Of A Visual Object On A Portable Device
TW201504929A (zh) 2013-07-18 2015-02-01 Acer Inc 電子裝置及其手勢控制方法
CN111679731A (zh) * 2019-03-11 2020-09-18 三星电子株式会社 显示装置及其控制方法
US11127380B2 (en) * 2019-12-13 2021-09-21 Qualcomm Incorporated Content stabilization for head-mounted displays
KR20210081107A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US20210286428A1 (en) 2021-09-16
US11455034B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
US11189055B2 (en) Information processing apparatus and method and program
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
EP2393042A1 (en) Selecting view orientation in portable device via image analysis
US9865033B1 (en) Motion-based image views
US20150215532A1 (en) Panoramic image capture
KR102146858B1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
JP2019121224A (ja) プログラム、情報処理装置、及び情報処理方法
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP6306083B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
US8194147B2 (en) Image presentation angle adjustment method and camera device using the same
JP7187307B2 (ja) 電子機器及びその制御方法
CN112927372A (zh) 电子装置、电子装置的控制方法及存储介质
JP2021174317A (ja) 電子機器及びその制御方法
TW202134947A (zh) 根據臉部特徵設定裝置顯示方式的方法與其電子裝置
US10937217B2 (en) Electronic device and control method thereof for generating edited VR content
CN113495614A (zh) 根据脸部特征设定装置显示方式的方法与其电子装置
US11831976B2 (en) Display apparatus
JP7278773B2 (ja) 電子機器及びその制御方法
JP2017201524A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
WO2021134375A1 (zh) 视频处理方法、装置、控制终端、系统及存储介质
JP2023136245A (ja) 撮像装置およびその制御方法