TWI763126B - 基於注意力方向之裝置互動方法 - Google Patents

基於注意力方向之裝置互動方法 Download PDF

Info

Publication number
TWI763126B
TWI763126B TW109139983A TW109139983A TWI763126B TW I763126 B TWI763126 B TW I763126B TW 109139983 A TW109139983 A TW 109139983A TW 109139983 A TW109139983 A TW 109139983A TW I763126 B TWI763126 B TW I763126B
Authority
TW
Taiwan
Prior art keywords
angle
attention
display screen
target
display
Prior art date
Application number
TW109139983A
Other languages
English (en)
Other versions
TW202222074A (zh
Inventor
黃怡瑄
黃文聰
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW109139983A priority Critical patent/TWI763126B/zh
Priority to US17/186,454 priority patent/US20220155858A1/en
Application granted granted Critical
Publication of TWI763126B publication Critical patent/TWI763126B/zh
Publication of TW202222074A publication Critical patent/TW202222074A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本案提出一種基於注意力方向之裝置互動方法，包含擷取一目標之輸入影像、根據輸入影像判斷目標的複數臉部特徵、根據臉部特徵判斷目標相對於一參考方向的一注意力角度、根據目標與一第一顯示畫面之間的一距離資訊判斷相對參考方向而對應於第一顯示畫面之一角度範圍閾值、判斷注意力角度是否符合角度範圍閾值、當注意力角度符合角度範圍閾值，判斷目標之注意力方向朝向該第一顯示畫面以執行對應之一第一作動、以及當注意力角度不符合角度範圍閾值，判斷注意力方向朝向一第二顯示畫面以執行對應之一第二作動。

Description

基於注意力方向之裝置互動方法
本案是關於一種基於注意力方向之裝置互動方法。
隨著技術的進步，人們與電子產品之間的互動需求大幅地提升，可透過各類輸入裝置包含鍵盤或滑鼠來達成人機互動，且人們可同時互動於多個裝置，以提升工作效率或可同時享受多種娛樂。然而，若在人機互動的過程中，人們需執行許多且繁瑣的控制動作才能與裝置互動，反而導致其互動效率降低，且亦降低使用者之使用意願。舉例來說，使用者使用多螢幕工作或娛樂時，若使用者需在不同螢幕之間切換視窗或切換工作，或需來回地設定不同螢幕，將使人與多裝置互動之效果大幅地下降，反而造成使用者之不便。
在一些實施例中，一種基於注意力方向之裝置互動方法包含擷取一目標之輸入影像、根據輸入影像判斷目標的複數臉部特徵、根據臉部特徵判斷目標相對於一參考方向的一注意力角度、根據目標與一第一顯示畫面之間的一距離資訊判斷相對參考方向而對應於第一顯示畫面之一角度範圍閾值、判斷注意力角度是否符合角度範圍閾值、當注意力角度符合角度範圍閾值，判斷目標之一注意力方向朝向該第一顯示畫面以執行對應之一第一作動、以及當注意力角度不符合角度範圍閾值，判斷注意力方向朝向一第二顯示畫面以執行對應之一第二作動。
圖1為應用本案之基於注意力方向之裝置互動方法之電子裝置之一實施例之方塊示意圖。圖2為根據本案之基於注意力方向之裝置互動方法之一應用情境之一實施例之示意圖。請合併參照圖1及圖2，電子裝置1包含影像擷取裝置11及處理電路12。影像擷取裝置11耦接處理電路12。以第一顯示裝置21顯示第一顯示畫面且第二顯示裝置22顯示第二顯示畫面為例，若目標T位於第一顯示裝置21及第二顯示裝置22前，影像擷取裝置11可擷取目標T之輸入影像S1，輸入影像S1為數位影像。在本發明中數位影像的格式種類可以是但不限定為RGB影像，也可以是CMYK、HSV（Hue,Saturation,Value）、HSI（Hue,Saturation,Intensity）、HSL（Hue,Saturation,Lightness）、HSB（Hue,Saturation,Brightness）、YCbCr、CIE XYZ、CIE Lab、YUV（Luminance,Chrominance,Chroma）或其他色域種類的數位影像。
影像擷取裝置11可傳送輸入影像S1至處理電路12，處理電路12可根據輸入影像S1判斷目標T之注意力方向D是否朝向第一顯示裝置21上的第一顯示畫面。圖2是表示以目標T為圓心並可觀看兩側邊，而目標T的視線方向（意即圖2的注意力方向D）是以俯視角的投影所繪示。實際上注意力方向D可以包含水平方向的變量與垂直方向的變量。若處理電路12判斷出注意力方向D未朝向第一顯示裝置21上的第一顯示畫面，處理電路12可判斷出以下兩種狀況：（1）注意力方向D朝向第二顯示裝置22上的第二顯示畫面，或（2）注意力方向D未朝向第一顯示裝置21也未朝向第二顯示裝置22上的顯示畫面。於是，處理電路12可根據注意力方向D之朝向使對應裝置作動。
其中，值得說明的是，圖2係以獨立的第一顯示裝置21及第二顯示裝置22分別顯示第一顯示畫面與第二顯示畫面（例如，第二顯示畫面可為第一顯示畫面的延伸畫面）為示例，然本案不以此為限，第一顯示畫面與第二顯示畫面亦可為同一獨立螢幕上的不同顯示區域，亦即，本案可適用於同一螢幕上包含不同顯示區域的狀況。在一些實施例中，第一顯示裝置21、第二顯示裝置22可為液晶顯示器，電子裝置1可為筆記型電腦、手機、平板電腦或桌上型電腦，但不以此為限。
請合併參照圖1至圖3，在處理電路12接收影像擷取裝置11擷取目標T之輸入影像S1（即圖3的步驟S01）之後，處理電路12根據輸入影像S1判斷目標T的複數臉部特徵（步驟S02）以在輸入影像S1中定位出目標T的臉部，處理電路12再根據輸入影像S1中的臉部特徵進一步判斷注意力方向D與參考方向D0之間的注意力角度A1（步驟S03），即處理電路12基於目標T之面向方向判斷目標T之注意力方向D偏移於預設之參考方向D0之右側偏移量或左側偏移量。
為了判斷注意力方向D是否朝向第一顯示畫面，處理電路12進一步根據參考方向D0判斷對應於第一顯示畫面之角度範圍閾值DEG（步驟S04），前述角度範圍閾值DEG係與目標T與第一顯示畫面之間的距離資訊有關。舉例來說，若目標T距離第一顯示畫面較遠，則對應於第一顯示畫面之角度範圍閾值DEG較小；若目標T距離第一顯示畫面較近，則對應於第一顯示畫面之角度範圍閾值DEG較大。
因此，處理電路12在步驟S04中係根據參考方向D0及目標T與第一顯示畫面之間的距離資訊判斷對應於第一顯示畫面之角度範圍閾值DEG。在得到注意力角度A1及角度範圍閾值DEG之後，處理電路12判斷注意力角度A1是否落於角度範圍閾值DEG，以識別目標T之注意力方向D（步驟S05）。
當注意力角度A1落於角度範圍閾值DEG（根據圖2，可理解為注意力方向D落於角度範圍閾值DEG內）時，表示注意力方向D係朝向第一顯示裝置21顯示之第一顯示畫面，當注意力角度A1未落於角度範圍閾值DEG（根據圖2，可理解為注意力方向D落於角度範圍閾值DEG外）時，表示注意力方向D係朝向第二顯示裝置22顯示之第二顯示畫面，或是注意力方向D並未朝向第一顯示畫面及第二顯示畫面。處理電路12再基於注意力方向D係朝向第一顯示畫面、第二顯示畫面、或未朝向第一顯示畫面及第二顯示畫面使對應之裝置作動。
舉例來說，若注意力方向D係朝向第一顯示畫面，處理電路12執行對應之第一作動（步驟S06）。處理電路12可以有線或無線之方式耦接第一顯示裝置21及第二顯示裝置22，並在步驟S06中調整第二顯示裝置22之顯示亮度，使第二顯示畫面之顯示亮度降低，或關閉第二顯示裝置22以關閉第二顯示畫面。而前述的對於各裝置的動作組合，定義為第一作動，實際上可以根據不同應用場域對各裝置與作動有不同的搭配組合。處理電路12在步驟S06中亦可將目標T操作之視窗及鼠標顯示在第一顯示畫面中，處理電路12可將表示前述視窗及鼠標之訊號發送至第一顯示裝置21，使目標T便於操作視窗及鼠標。
在一些實施例中，第一影像擷取裝置（例如，影像擷取裝置11）及第二影像擷取裝置（圖2中無標號）分別設置於第一顯示裝置21與第二顯示裝置22時，處理電路12在步驟S06中可啟動第一影像擷取裝置，並關閉第二影像擷取裝置，使目標T便於操作第一影像擷取裝置且節省第二影像擷取裝置消耗之電力。反之，若注意力方向D係朝向第二顯示畫面，處理電路12執行對應之第二作動（步驟S07）。
處理電路12在步驟S07中可調整第一顯示裝置21之顯示亮度，以降低第一顯示畫面之顯示亮度，或關閉第一顯示裝置21以關閉第一顯示畫面。處理電路12亦可將表示前述視窗及鼠標之訊號發送至第二顯示裝置22，使目標T操作之視窗及鼠標顯示在第二顯示畫面中，使目標T便於操作視窗及鼠標。或者處理電路12在步驟S07中可啟動第二影像擷取裝置，並關閉第一影像擷取裝置，使目標T便於操作第二影像擷取裝置且節省第一影像擷取裝置消耗之電力。另一方面，若注意力方向D並未朝向第一顯示畫面及第二顯示畫面，處理電路12可執行對應之第三作動（步驟S08），處理電路12可調整第一顯示裝置21、第二顯示裝置22之顯示亮度使第一顯示畫面及第二顯示畫面的顯示亮度降低，或處理電路12可關閉第一顯示裝置21、第二顯示裝置22以關閉第一顯示畫面及第二顯示畫面。
於是，電子裝置1可重複地執行步驟S01-S05以判斷目標T之注意力方向D是否改變，當注意力方向D改變時，處理電路12可再執行對應之作動步驟S06、S07或S08，以關閉第一顯示裝置21並啟動第二顯示裝置22，或啟動第一顯示裝置21並關閉第二顯示裝置22，並將視窗位置及鼠標位置由第一顯示畫面切換至第二顯示畫面，或將視窗位置及鼠標位置由第二顯示畫面切換至第一顯示畫面，且關閉第一影像擷取裝置並啟動第二影像擷取裝置，或啟動第一影像擷取裝置並關閉第二影像擷取裝置，或放大/縮小/提升亮度/降低亮度來顯示第二顯示畫面或第一顯示畫面當中的特定視窗或內容。應理解，以上作動的內容、組合及連動關係僅係用以說明而非用以限制本案的範圍。
基此，處理電路12可自動地根據注意力方向D對應地控制第一顯示裝置21、第二顯示裝置22、視窗位置及鼠標位置及前述之兩影像擷取裝置，使用者在使用多螢幕時不需要手動地在複數螢幕之間拖拉視窗位置及移動鼠標位置，且使用者不需要手動地調整複數螢幕之顯示設定，進而提高其操作便利性，且可節省不必要之電力消耗並保護資訊安全。
在一些實施例中，在步驟S02中，處理電路12可執行梯度分布直方圖（Histogram of Oriented Gradients；HOG）演算法來定位出臉部及眼部，以定位出目標T的複數臉部特徵。再者，由於影像擷取裝置11在不同時間所擷取的目標T的複數輸入影像S1之間可能具有不同色彩亮度及背景色彩，因此，處理電路12可根據影像擷取裝置11在不同時間所擷取的目標T的複數輸入影像S1以光流法（Optical Flow）對複數輸入影像S1執行平滑處理，以定位出穩定之臉部位置及眼部位置。
在一些實施例中，注意力角度A1可為具有三維角度資訊之頭部朝向角度。在步驟S03中，處理電路12可藉由步驟S02中判斷出的臉部特徵點之檢測模型所得之結果作估計，處理電路12將數個於影像上的二維座標點利用影像擷取裝置11的內部參數作投影，投至預設的人臉平均立體模型之三維座標點，並據此推算目標T的臉部於輸入影像S1的三維座標。於推算過程中，處理電路12將得到投影轉換的旋轉矩陣，前述旋轉矩陣可為四元數（Unit quaternion）與尤拉角（Euler angles）的轉換矩陣，處理電路12產生頭部朝向的三維角度資訊作為注意力角度A1。
在一些實施例中，注意力角度A1可為具有二維向量資訊之視線方向角度，處理電路12在步驟S03中可執行影像辨識演算法，處理電路12執行影像辨識演算法時可根據預設眼球位置辨識輸入影像S1中目標T之眼球之位移向量，以在輸入影像S1中定位出目標T的眼球位置。在一些實施例中，所述的預設眼球位置係為本發明的裝置互動方法啟動時，影像擷取裝置11對於目標T拍攝具有眼球位置的數位影像。處理電路12根據初始時所拍攝的數位影像與眼球位置，將此一位置定義為預設眼球位置。在一些實施例中，所述的預設眼球位置可為儲存於特定資料庫（例如，雲端資料庫）中根據單個或多個目標（例如，各地收集的人臉）分析/統計而得的平均眼球位置。但預設眼球位置不以前述實施例為限。
或者，在步驟S03中，處理電路12亦可執行深度學習，處理電路12以深度學習模型架構進行估算。在學習階段中，深度學習模型之輸入為學習用之複數眼部區域影像及複數臉部區域影像的眼球位置，處理電路12根據學習資料執行深度學習後產生學習結果，並儲存學習結果。在處理電路12判斷注意力角度A1時，處理電路12根據學習結果判斷出輸入影像S1中的眼球位置，並產生二維向量以表示視線方向角度，二維向量包含視線方向於X方向之角度以及於Y方向之角度。前述之深度學習模型可為卷積神經網路（Convolutional neural network, CNN）架構，處理電路12可藉由多個卷積層提取眼部的特徵點，以輸出前述視線方向角度作為注意力角度A1。
在一些實施例中，注意力角度A1可包含前述之頭部朝向角度以及視線方向角度，處理電路12可一併考量頭部朝向角度及視線方向角度，以計算出對應注意力方向D的注意力角度A1。
在一些實施例中，第一顯示裝置21與第二顯示裝置22可大致沿著X軸方向比鄰地擺放或大致沿著Y軸方向比鄰地擺放。圖2係以第一顯示裝置21與第二顯示裝置22大致沿著X軸方向比鄰地擺放且第一顯示裝置21與第二顯示裝置22之間具有一夾角為例，如圖2所示，第一顯示裝置21包含鄰近於第二顯示裝置22之側邊（以下稱為第一側邊）以及遠離於第二顯示裝置22之側邊（以下稱為第二側邊），且目標T係面向第一顯示裝置21，影像擷取裝置11可設置於第一顯示裝置21以擷取目標T之輸入影像S1。基此，根據目標T與第一顯示裝置21的相對位置關係，參考方向D0係通過目標T且垂直於第一顯示裝置21的方向，目標T與第一顯示裝置21之間的前述距離資訊可包含第一垂直距離D1及第二垂直距離D2，第一垂直距離D1為自目標T沿著參考方向D0延伸至第一顯示裝置21之垂直距離（即，目標T與第一顯示裝置21之間的垂直距離），第二垂直距離D2為目標T沿著參考方向D0於第一顯示裝置21的垂直投影與第一顯示裝置21之第一側邊之間的垂直距離。一般而言，影像擷取裝置大多架設於第一顯示裝置21上。因此可以在計算第一垂直距離D1，處理電路12可以將第一顯示裝置21與目標T的距離直接視為第一垂直距離D1。
再者，基於參考方向D0，如圖2所示，角度範圍閾值DEG包含第一方向性角度DEGR及第二方向性角度DEGL。在此一實施例中，以目標T為基準至第一顯示裝置21的參考方向D0，第一方向性角度DEGR係位於參考方向D0之右側，第二方向性角度DEGL係位於參考方向D0之左側。第一顯示裝置21、參考方向D0以及目標T至第一顯示裝置21之第一側邊之延伸方向三者共同形成一直角三角形（以下稱為右側三角形），第一顯示裝置21、參考方向D0以及目標T至第一顯示裝置21之第二側邊之延伸方向三者共同形成另一直角三角形（以下稱為左側三角形）。在步驟S04中，基於右側三角形，處理電路12可根據第一垂直距離D1、第二垂直距離D2判斷出偏離於參考方向D0之右側的第一方向性角度DEGR。並且，基於左側三角形，處理電路12可根據第一垂直距離D1以及目標T於第一顯示裝置21之垂直投影與第二側邊之間的垂直距離判斷出偏離於參考方向D0之左側的第二方向性角度DEGL。
判斷出第一方向性角度DEGR、第二方向性角度DEGL之後，處理電路12在步驟S05中再比對第一方向性角度DEGR、第二方向性角度DEGL與偏移於參考方向D0之右側或左側之注意力角度A1。在本發明中，以目標T為圓心且以參考方向D0為起點並以圖2中順時針為正角度，以逆時針為負角度。處理電路12在步驟S05中可判斷注意力角度A1是否落於第一方向性角度DEGR或是注意力角度A1落於第一方向性角度DEGR與第二方向性角度DEGL之間（意即角度範圍閾值DEG）。
當注意力角度A1大於第一方向性角度DEGR時，處理電路12在步驟S05中判斷出目標T之注意力方向D係朝向第二顯示裝置22。當注意力角度A1落於第一方向性角度DEGR或第二方向性角度DEGL之間，處理電路12在步驟S05中判斷目標T之注意力方向D係朝向第一顯示裝置21。在一些實施例中，若有第三顯示裝置23（請參考圖4C）設置於第一顯示裝置21之左側，當注意力角度A1落於第二方向性角度DEGL時，處理電路12在步驟S05中可判斷出目標T之注意力方向D係朝向第三顯示裝置。
舉例來說，第一顯示裝置21之寬度可為17.95 cm，第一垂直距離D1可為27 cm，第二垂直距離D2可為10 cm，第一方向性角度DEGR可為19°，第二方向性角度DEGL可為-43°。若注意力角度A1為2°，處理電路12並已得到第一方向性角度DEGR為19°且第二方向性角度DEGL為-43°。處理電路12可以判斷注意力角度A1（2°）落於第一方向性角度DEGR（19°）與第二方向性角度DEGL（-43°）之間。
據此，處理電路12可以判斷目標T之注意力方向D係朝向第一顯示裝置21，如圖4A所示。若注意力角度A1為25°，則注意力角度A1（25°）大於第一方向性角度DEGR（19°）。處理電路12判斷目標T之注意力方向D係朝向第二顯示裝置22，如圖4B所示。若注意力角度A1為-50°，則注意力角度A1（-50度）落於第二方向性角度DEGL（-43°）。處理電路12可判斷出目標T之注意力方向D係朝向第一顯示裝置21的左側。承接前文的第三顯示裝置23，若第三顯示裝置23設置於第一顯示裝置21的左側時，且注意力角度A1（-50°），目標T可以被視為觀看第三顯示裝置23，如圖4C所示。
如圖4C所示，目標T觀看第一顯示裝置21時，則由第一影像擷取裝置24a進行影像拍攝並由處理電路12進行相應的計算。若目標T的注意力角度A1為25°，處理電路12可以將第一顯示裝置21的影像切換第二顯示裝置22，並開啟第二影像擷取裝置24b且關閉第一影像擷取裝置24a。同理，若目標T的注意力角度A1為-50度時，處理電路12可以將第一顯示裝置21的影像切換第三顯示裝置23，並開啟第三影像擷取裝置24c且關閉第一影像擷取裝置24a。
在一些實施例中，根據目標T之不同位置，第一垂直距離D1與第一方向性角度DEGR、第二方向性角度DEGL之絕對值之間係呈現反比關係，第二垂直距離D2與第一方向性角度DEGR、第二方向性角度DEGL之絕對值之間亦呈現反比關係。如圖5所示，橫軸表示第二垂直距離D2，縱軸表示第一方向性角度DEGR、第二方向性角度DEGL之絕對值。曲線L1係表示固定為27 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第二方向性角度DEGL，曲線L2係表示固定為40 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第二方向性角度DEGL，曲線L3係表示固定為54 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第二方向性角度DEGL，曲線L4係表示固定為64 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第二方向性角度DEGL；曲線L5係表示固定為27 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第一方向性角度DEGR，曲線L6係表示固定為40 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第一方向性角度DEGR，曲線L7係表示固定為54 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第一方向性角度DEGR，曲線L8係表示固定為64 cm之第一垂直距離D1與0 cm至35 cm之間的多個第二垂直距離D2所對應之多個第一方向性角度DEGR。由圖5可得知前述之反比關係。
在一些實施例中，在步驟S04中，處理電路12可在取得輸入影像S1之後根據輸入影像S1執行影像分析以自動地判斷出第一垂直距離D1，並根據預設的第一顯示裝置21之寬度計算出第二垂直距離D2，也就是處理電路12可根據實際可變動之垂直距離D1、D2判斷出對應之第一方向性角度DEGR、第二方向性角度DEGL，再基於第一方向性角度DEGR、第二方向性角度DEGL判斷出注意力方向D係朝向第一顯示裝置21或第二顯示裝置22。或者，第一垂直距離D1、第二垂直距離D2亦可為預設之固定值，也就是目標T僅能處於固定之預設位置。於是，在步驟S04中，處理電路12可以數學運算式根據第一垂直距離D1、第二垂直距離D2計算出對應之第一方向性角度DEGR、第二方向性角度DEGL，或者，第一垂直距離D1、第二垂直距離D2與第一方向性角度DEGR、第二方向性角度DEGL之對應關係可預先產生並儲存在電子裝置1中，處理電路12在執行基於注意力方向D之裝置互動方法時再根據實際判斷所得之第一垂直距離D1、第二垂直距離D2或預設之第一垂直距離D1、第二垂直距離D2以查表法得到對應的第一方向性角度DEGR、第二方向性角度DEGL。
綜上所述，根據本案之基於注意力方向之裝置互動方法之一實施例，可廣泛地結合於具有影像擷取裝置之電子產品，自動地根據注意力方向對應地控制多螢幕之間的顯示設定以及對應地控制不同螢幕設置之裝置，使用者不需以手動的方式執行前述設定及控制，可提高其操作便利性，且可節省不必要之電力消耗並保護資訊安全。
雖然本案已以實施例揭露如上然其並非用以限定本案，任何所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作些許之更動與潤飾，故本案之保護範圍當視後附之專利申請範圍所界定者為準。
1:電子裝置 11:影像擷取裝置 12:處理電路 21:第一顯示裝置 22:第二顯示裝置 23:第三顯示裝置 24a:第一影像擷取裝置 24b:第二影像擷取裝置 24c:第三影像擷取裝置 A1:注意力角度 T:目標 D0:參考方向 D:注意力方向 D1:第一垂直距離 D2:第二垂直距離 DEG:角度範圍閾值 DEGR:第一方向性角度 DEGL:第二方向性角度 S1:輸入影像 L1-L4:曲線 L5-L8:曲線 S01~S08:步驟流程
[圖1]為應用本案之基於注意力方向之裝置互動方法之電子裝置之一實施例之方塊示意圖。 [圖2]為根據本案之基於注意力方向之裝置互動方法之一應用情境之一實施例之示意圖。 [圖3]為根據本案之注意力方向判斷方法之一實施例之流程圖。 [圖4A]為目標之注意力方向朝向第一顯示裝置之一實施例之示意圖。 [圖4B]為目標之注意力方向朝向第二顯示裝置之一實施例之示意圖。 [圖4C]為目標之注意力方向朝向第三顯示裝置之一實施例之示意圖。 [圖5]為不同之第一垂直距離及第二垂直距離所對應之方向性角度之一實施例之曲線示意圖。
1:電子裝置
11:影像擷取裝置
12:處理電路
S1:輸入影像

Claims (10)

  1. 一種基於注意力方向之裝置互動方法： 擷取一目標之一輸入影像； 根據該輸入影像判斷該目標的複數臉部特徵； 根據該些臉部特徵判斷該目標相對於一參考方向的一注意力角度； 根據該目標與一第一顯示畫面之間的一距離資訊判斷相對該參考方向而對應於該第一顯示畫面之一角度範圍閾值； 判斷該注意力角度是否落於該角度範圍閾值； 當該注意力角度落於該角度範圍閾值，執行該目標之一注意力方向朝向該第一顯示畫面以執行對應之一第一作動；及 當該注意力角度未落於該角度範圍閾值，根據該注意力方向執行對應之一第二作動。
  2. 如請求項1所述之基於注意力方向之裝置互動方法，其中該注意力角度包含一頭部朝向角度及一視線方向角度，其中判斷該注意力角度之步驟包含： 根據該些臉部特徵定位該目標之頭部，以判斷該頭部朝向角度； 根據該些臉部特徵定位該目標之一眼球位置；及 根據該眼球位置判斷於二維方向上之該視線方向角度。
  3. 如請求項2所述之基於注意力方向之裝置互動方法，其中定位該眼球位置之步驟包含：根據一預設眼球位置判斷該目標之眼球之位移，以定位該眼球位置。
  4. 如請求項2所述之基於注意力方向之裝置互動方法，其中定位該眼球位置之步驟包含： 於擷取該輸入影像之前根據複數眼部區域影像及複數臉部區域影像的眼球位置執行深度學習，以產生一學習結果；及 根據該學習結果定位該眼球位置。
  5. 如請求項1所述之基於注意力方向之裝置互動方法，其中該第一顯示畫面係顯示於一第一顯示裝置，一第二顯示畫面係顯示於一第二顯示裝置，該第一顯示裝置包含鄰近於該第二顯示裝置之一側邊，其中該距離資訊包含該目標與該第一顯示裝置之間的一第一垂直距離以及該目標於該第一顯示裝置之垂直投影與該側邊之間的一第二垂直距離。
  6. 如請求項5所述之基於注意力方向之裝置互動方法，其中該角度範圍閾值包含一第一方向性角度及一第二方向性角度，該第一方向性角度係對應該參考方向之第一側的偏移量，該第二方向性角度係對應該參考方向之第二側的偏移量，其中判斷該注意力角度落於該角度範圍閾值之步驟包含： 當該注意力角度落於該第一方向性角度與該第二方向性角度之間時，判斷該注意力方向為朝向該第一顯示畫面； 其中，判斷該注意力角度未落於該角度範圍閾值之步驟包含： 當該注意力角度大於該第一方向性角度或落於該第二方向性角度時，判斷該注意力方向為朝向該第二顯示畫面。
  7. 如請求項1所述之基於注意力方向之裝置互動方法，其中該第一作動包含關閉一第二顯示畫面，其中該第二作動包含關閉該第一顯示畫面，該裝置互動方法更包含： 當該注意力方向未朝向該第一顯示畫面及該第二顯示畫面時，關閉該第一顯示畫面及該第二顯示畫面。
  8. 如請求項1所述之基於注意力方向之裝置互動方法，更包含： 當該注意力方向由該第一顯示畫面改變至一 第二顯示畫面時，控制一鼠標位置或一視窗位置由該第一顯示畫面切換至該第二顯示畫面；以及 當該注意力方向由該第二顯示畫面改變至該第一顯示畫面時，控制該鼠標位置或該視窗位置由該第二顯示畫面切換至該第一顯示畫面。
  9. 如請求項1所述之基於注意力方向之裝置互動方法，其中該第一作動包含啟動對應該第一顯示畫面之一第一影像擷取裝置，並關閉對應一第二顯示畫面之一第二影像擷取裝置，該第二作動包含啟動該第二影像擷取裝置並關閉該第一影像擷取裝置。
  10. 如請求項1所述之基於注意力方向之裝置互動方法，其中該第一作動包含降低一第二顯示畫面之亮度，其中該第二作動包含降低該第一顯示畫面之亮度。
TW109139983A 2020-11-16 2020-11-16 基於注意力方向之裝置互動方法 TWI763126B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109139983A TWI763126B (zh) 2020-11-16 2020-11-16 基於注意力方向之裝置互動方法
US17/186,454 US20220155858A1 (en) 2020-11-16 2021-02-26 Device interaction method based on attention direction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109139983A TWI763126B (zh) 2020-11-16 2020-11-16 基於注意力方向之裝置互動方法

Publications (2)

Publication Number Publication Date
TWI763126B true TWI763126B (zh) 2022-05-01
TW202222074A TW202222074A (zh) 2022-06-01

Family

ID=81587531

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109139983A TWI763126B (zh) 2020-11-16 2020-11-16 基於注意力方向之裝置互動方法

Country Status (2)

Country Link
US (1) US20220155858A1 (zh)
TW (1) TWI763126B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576854A (zh) * 2012-07-18 2014-02-12 三星电子株式会社 显示装置控制系统及用于控制多个显示器的方法和装置
TW202009786A (zh) * 2018-08-09 2020-03-01 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168534B (zh) * 2017-05-12 2021-05-07 杭州一隅千象科技有限公司 一种基于cave系统的渲染优化方法及投影方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576854A (zh) * 2012-07-18 2014-02-12 三星电子株式会社 显示装置控制系统及用于控制多个显示器的方法和装置
TW202009786A (zh) * 2018-08-09 2020-03-01 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法

Also Published As

Publication number Publication date
TW202222074A (zh) 2022-06-01
US20220155858A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US10783353B2 (en) Method for detecting skin region and apparatus for detecting skin region
US20220301180A1 (en) Image Processing Method and Electronic Device
WO2020140986A1 (zh) 图像降噪方法、装置、存储介质及终端
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
US9900488B2 (en) Electronic device and method for controlling cameras thereof which can automatically control a switching between a front camera and a rear camera according to blocking cases of the front camera and the rear camera of the electronic device
WO2019192590A1 (zh) 拍照方法及移动终端
US10674069B2 (en) Method and apparatus for blurring preview picture and storage medium
CN107580209B (zh) 一种移动终端的拍照成像方法及装置
EP3965003A1 (en) Image processing method and device
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
US10863077B2 (en) Image photographing method, apparatus, and terminal
WO2019137081A1 (zh) 一种图像处理方法、图像处理装置及拍照设备
TWI637288B (zh) 用於眼球視線校正的影像處理方法及其系統
TW201730813A (zh) 具有深度資訊之影像處理方法及其電腦程式產品
TWI726252B (zh) 多螢幕操作方法與使用此方法的電子系統
CN112333385A (zh) 电子防抖控制方法及装置
CN114527865B (zh) 基于注意力方向的装置互动方法
CN110944163A (zh) 一种图像处理方法及电子设备
TWI763126B (zh) 基於注意力方向之裝置互動方法
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
US10824237B2 (en) Screen display control method and screen display control system
TW201810187A (zh) 跌倒偵測裝置及其方法
WO2022257386A1 (zh) 对目标对象的调整项进行显示的方法、装置、电子设备
US20200366784A1 (en) Electronic device
KR102135155B1 (ko) 디스플레이 장치 및 그 제어방법