TW202018486A - 多螢幕操作方法與使用此方法的電子系統 - Google Patents

多螢幕操作方法與使用此方法的電子系統 Download PDF

Info

Publication number
TW202018486A
TW202018486A TW107138544A TW107138544A TW202018486A TW 202018486 A TW202018486 A TW 202018486A TW 107138544 A TW107138544 A TW 107138544A TW 107138544 A TW107138544 A TW 107138544A TW 202018486 A TW202018486 A TW 202018486A
Authority
TW
Taiwan
Prior art keywords
sight
screen
screens
current
camera
Prior art date
Application number
TW107138544A
Other languages
English (en)
Other versions
TWI726252B (zh
Inventor
邱聖霖
楊朝光
李安正
洪英士
吳政澤
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW107138544A priority Critical patent/TWI726252B/zh
Priority to US16/409,866 priority patent/US11106278B2/en
Publication of TW202018486A publication Critical patent/TW202018486A/zh
Application granted granted Critical
Publication of TWI726252B publication Critical patent/TWI726252B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本發明提出適用於包括多個螢幕的電子系統的多螢幕操作方法。所述多螢幕操作方法包括利用攝影機拍攝包括使用者的當前影像，根據當前影像計算使用者的當前視線方向，以根據使用者的當前視線方向來決定目標螢幕。在決定了目標螢幕後，所述多螢幕操作方法更包括將物件移動至目標螢幕的顯示區域。此外，使用多螢幕操作方法的電子系統亦被提出。

Description

多螢幕操作方法與使用此方法的電子系統
本發明是有關於一種多螢幕操作方法與使用此方法的電子系統。
在使用電腦時，多個螢幕可以增加工作空間達到多工作業的環境，當使用者切換焦點於不同的螢幕時，必須手動地在多個螢幕之間移動滑鼠遊標或是程式視窗。然而，現今的螢幕尺寸以及解析度都日漸提升，導致使用者多個螢幕間進行操作時會遇到許多麻煩。舉例來說，在螢幕尺寸提升的情況下，在多個螢幕中找到相對小的滑鼠游標相當困難，且當在多個螢幕之間拖曳視窗時滑鼠需要移動相當長的距離。
有鑑於此，本發明的實施例提供一種多螢幕操作方法與使用此方法的電子系統，使用者只需要看向目標螢幕就能夠將物件移動到目標螢幕的顯示區域中，具有良好的使用者體驗。
本發明一實施例提出的多螢幕操作方法適用於包括多個螢幕以及攝影機的電子系統。所述多螢幕操作方法包括以下步驟：取得多個螢幕的校準資料，其中校準資料包括各個螢幕被觀看的視線範圍；根據攝影機所拍攝的當前影像，計算當前視線方向；根據校準資料以及當前視線方向，選擇多個螢幕中的目標螢幕，其中目標螢幕被觀看的視線範圍包括當前視線方向；以及移動物件至目標螢幕的顯示區域。
本發明一實施例提出的電子系統包括多個螢幕、儲存裝置、攝影機以及處理器。儲存裝置用以記錄多個螢幕的校準資料，其中校準資料包括各個螢幕被觀看的視線範圍。攝影機用以拍攝當前影像。處理器耦接於多個螢幕、儲存裝置以及攝影機，並且用以執行以下步驟：根據當前影像，計算當前視線方向；根據校準資料以及當前視線方向，選擇多個螢幕中的目標螢幕，其中目標螢幕被觀看的視線範圍包括當前視線方向；以及移動物件至目標螢幕的顯示區域。
本發明另一實施例提出的多螢幕操作方法適用於包括多個螢幕以及多個攝影機的電子系統，其中每個螢幕對應於其中一個攝影機。所述多螢幕操作方法包括以下步驟：利用多個攝影機分別拍攝多張當前影像；根據多張當前影像計算當前視線方向與多個攝影機的鏡頭方向之間的多個夾角；根據所述多個夾角選擇多個螢幕中的目標螢幕，其中目標螢幕對應的攝影機的鏡頭方向與當前視線方向之間的夾角為所述多個夾角中的最小夾角；以及移動物件至目標螢幕的顯示區域。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1繪示本發明一實施例的電子系統的示意圖。
請參照圖1，本發明一實施例的電子系統100包括多個螢幕110-1、110-2、110-3、攝影機120-1、處理器130以及儲存裝置140，其中多個螢幕110-1、110-2、110-3、攝影機120-1以及儲存裝置140皆耦接於處理器130。在本實施例中，攝影機120-1會拍攝使用者USR的影像，而處理器130會根據攝影機120-1所拍攝的使用者USR的影像來計算出使用者USR的視線方向，進而判斷使用者USR要操作的目標螢幕，最後將使用者USR操作的物件（例如，游標、檔案、資料夾或視窗等等）移動至目標螢幕。值得一提的是，在本實施例中是以三個螢幕作為110-1、110-2、110-3例子來進行說明，但本發明並不在此限制螢幕的具體數量。在其他實施例中，電子系統100也可以包括兩個、四個或是更多個螢幕。
圖2繪示本發明一實施例的多螢幕操作方法的流程圖。
請參照圖2，首先，電子系統100的處理器130會取得多個螢幕110-1、110-2、110-3的校準資料（步驟S120）。具體來說，校準資料是用以記錄使用者USR在觀看各個螢幕110-1、110-2、110-3時的視線範圍。取得多個螢幕110-1、110-2、110-3的校準資料的詳細方式以實施例說明如下。
圖3繪示本發明一實施例的取得多個螢幕的校準資料的流程圖。請參照圖3，在取得校準資料時，處理器130首先會發出觀看其中一個螢幕的多個角落的提示訊息，並且對應提示訊息利用攝影機120-1拍攝多張校準影像（步驟S121）。在本實施例中，提示訊息會提示使用者USR觀看各個矩形螢幕110-1、110-2、110-3的四個頂點的角落，然後攝影機120-1會將使用者USR觀看各個螢幕的每一個角落的影像拍攝下來，作為校準影像。
圖4繪示本發明一實施例的提示訊息的示意圖。請參照圖4，以螢幕110-1為例，處理器130例如會在螢幕110-1的顯示區域的一個角落C1顯示出提示標記，然後利用攝影機120-1來對應的拍攝使用者USR觀看螢幕110-1的角落C1時的影像作為一張校準影像；在螢幕110-1的顯示區域的一個角落C2顯示出提示標記，然後利用攝影機120-1來對應的拍攝使用者USR觀看螢幕110-1的角落C2時的影像作為一張校準影像；在螢幕110-1的顯示區域的一個角落C3顯示出提示標記，然後利用攝影機120-1來對應的拍攝使用者USR觀看螢幕110-1的角落C3時的影像作為一張校準影像；在螢幕110-1的顯示區域的一個角落C4顯示出提示標記，然後利用攝影機120-1來對應的拍攝使用者USR觀看螢幕110-1的角落C4時的影像作為一張校準影像。然而，提示標記可以是以任意的方式來呈現，本發明並不在此限制。
請回到圖3，處理器130會根據多張校準影像計算對應多個角落的多個視線方向（步驟S123）。具體來說，對應其中一個螢幕的每一張校準影像都是使用者USR在觀看此螢幕的其中一個角落的影像，而處理器130會對多張校準影像進行影像分析，以計算出使用者USR在觀看此螢幕的每一個角落時的視線方向。
隨後，處理器130可以根據所計算出來的多個視線方向來計算此螢幕被觀看的視線範圍（步驟S125）。具體來說，多邊形表面的所有頂點可以定義出此表面的面積區域，而一個螢幕被觀看的視線範圍可以由觀看螢幕的每一個角落的視線方向來定義。
圖5A至圖5C繪示本發明一實施例的視線範圍的示意圖。請先參照圖5A，對應於螢幕110-1，處理器130例如是對角落C1的校準影像進行影像分析，以計算出角落C1被觀看的視線方向D1；對角落C2的校準影像進行影像分析，以計算出角落C2被觀看的視線方向D2；對角落C3的校準影像進行影像分析，以計算出角落C3被觀看的視線方向D3；對角落C4的校準影像進行影像分析，以計算出角落C4被觀看的視線方向D4。如此一來，處理器130便能夠根據視線方向D1、D2、D3、D4計算出螢幕110-1被觀看的視線範圍R1為視線方向D1、D2、D3、D4所圍繞而形成的四角錐形區域。換句話說，只要使用者USR的視線方向落在D1、D2、D3、D4所圍繞而形成的四角錐形區域內，則使用者USR的視線方向落入視線範圍R1當中，表示使用者USR正在觀看螢幕110-1。
請參照圖5B與圖5C，利用類似於計算螢幕110-1被觀看的視線範圍R1的方法，螢幕110-2被觀看的視線範圍R2以及螢幕110-3被觀看的視線範圍R3都能夠計算出來。在一些實施例中，多個螢幕110-1、110-2、110-3的多個視線範圍R1、R2、R3不會互相重疊。然而，在一些實施例中，由於多個螢幕110-1、110-2、110-3的大小或設置位置的影響，多個視線範圍R1、R2、R3也可能會有重疊的區域。當多個視線範圍R1、R2、R3具有重疊區域時，處理器130可例如給定各個視線範圍R1、R2、R3一個優先級，以表示各個視線範圍R1、R2、R3的適用優先程度。
在本實施例中，處理器130在計算影像中的使用者USR的視線方向時是利用機器學習模型（例如，OpenFace）來計算使用者USR的頭部擺動角度，並且以頭部擺動角度來代表使用者USR的視線方向。舉例來說，將影像輸入經訓練的機器學習模型後，機器學習模型會辨識影像中的使用者USR的頭部影像的多個特徵點，並且將這些特徵點擬合到立體頭部模型上。
圖6繪示本發明一實施例的頭部擺動角度的示意圖。如圖6所示，在將特徵點擬合到立體頭部模型後，處理器130便能夠得知影像中的使用者USR的頭部的偏擺角（yaw）、翻滾角（roll）以及俯仰角（pitch）等。在本實施例中，頭部擺動角度僅以偏擺角和俯仰角來表示，以加快運算速度並節省記憶體空間。
值得一提的是，本發明並不在此限制處理器130分析影像以計算使用者USR的視線方向的具體方式。所屬領域具備通常知識者當可根據處理器130的計算能力或其他需求來實作之。
在本實施例中，處理器130會將所計算的每個螢幕110-1、110-2、110-3被觀看的視線範圍R1、R2、R3記錄於儲存裝置140中。
請回到圖2，使用者USR實際使用電子系統100的過程中，攝影機120-1會拍攝使用者USR的影像。處理器130會根據攝影機120-1所拍攝的當前影像，計算當前視線方向（步驟S140）。具體來說，當前影像是攝影機120-1所拍攝的使用者USR當下的影像，其中包括使用者USR的頭部影像。在本實施例中，如前段落所述，處理器130例如會將包括頭部影像的當前影像輸入機器學習模型，而機器學習模型會辨識出頭部影像的多個特徵點，以計算出使用者USR的頭部擺動角度。處理器130會將此頭部擺動角度作為使用者USR的當前視線方向。
在一些實施例中，當前影像中會包括多於一個頭部影像，而處理器130會基於多使用者判斷機制來選擇其中一個頭部影像以作為後續判斷的基礎。舉例來說，當多個使用者同時位於攝影機120-1前方時，攝影機120-1就可能會拍攝到包括多於一個頭部影像的當前影像，而處理器130需要決定其中一個使用者為主要使用者，並且根據此主要使用者的頭部擺動角度作為當前視線方向以進行後續判斷。
圖7A與圖7B繪示本發明一實施例的多使用者判斷機制的示意圖。
在一些實施例中，多使用者判斷機制會選擇頭部影像距離當前影像的中垂線較近的使用者來作為主要使用者，以決定當前視線方向。請參照圖7A，攝影機120-1所拍攝的當前影像中例如包括第一使用者USR1的頭部影像與第二使用者USR2的頭部影像。處理器130例如會先定義頭部影像的判斷點（例如，鼻子），然後根據判斷點取得第一使用者USR1的頭部影像到當前影像的中垂線的距離X1，以及第二使用者USR2的頭部影像到當前影像的中垂線的距離X2。由於距離X1小於距離X2，因此處理器130會選擇第一使用者USR1為主要使用者，也就是以第一使用者USR1的視線方向或頭部擺動角度作為當前視線方向。
在一些實施例中，機器學習模型的輸出包括影像中每個使用者距離攝影機120-1的距離，而多使用者判斷機制會選擇頭部影像距離攝影機120-1較近的使用者來作為主要使用者，以決定當前視線方向。請參照圖7B，攝影機120-1所拍攝的當前影像中例如包括第一使用者USR1的頭部影像與第二使用者USR2的頭部影像。機器學習模型例如計算出第一使用者USR1的頭部影像與攝影機120-1之間的距離Z1以及第二使用者USR2的頭部影像與攝影機120-1之間的距離Z2。由於距離Z2小於距離Z1，因此處理器130會選擇第二使用者USR2為主要使用者，也就是以第二使用者USR2的視線方向或頭部擺動角度作為當前視線方向。
在本實施例中，處理器130會先選擇頭部影像距離當前影像的中垂線較近的使用者，當所有使用者的頭部影像與當前影像的中垂線之間的距離皆相同時，才選擇頭部影像距離攝影機120-1較近的使用者來作為主要使用者，以決定當前視線方向。
在一些實施例中，處理器130更可以結合臉部辨識技術來選擇主要使用者。舉例來說，使用者可以使用預先註冊的方式將自己的臉部資料記錄在資料庫（例如，儲存裝置140）當中。當處理器130取得了包括多於一個頭部影像的當前影像後，先利用臉部辨識技術以及根據資料庫中的臉部資料來篩選出合格的使用者。若合格的使用者只有一個，則將其作為主要使用者；而若合格的使用者多於一個，才繼續使用前述段落所介紹的方式來基於多使用者判斷機制來決定主要使用者。
請回到圖2，在計算出當前視線方向後，處理器130會根據校準資料以及當前視線方向，選擇多個螢幕110-1、110-2、110-3中的目標螢幕，其中目標螢幕被觀看的視線範圍包括當前視線方向（步驟S160）。具體來說，處理器130會判斷當前視線方向是否落入多個螢幕110-1、110-2、110-3的視線範圍R1、R2、R3的其中之一，並且決定視線範圍包括當前視線方向的螢幕作為目標螢幕。請參考圖5A、圖5B與圖5C，若當前視線方向落入視線範圍R1，則處理器130會選擇螢幕110-1作為目標螢幕；若當前視線方向落入視線範圍R2，則處理器130會選擇螢幕110-2作為目標螢幕；若當前視線方向落入視線範圍R3，則處理器130會選擇螢幕110-3作為目標螢幕。
隨後，處理器130會移動物件至目標螢幕的顯示區域（步驟S180）。具體來說，當使用者USR從操作中的螢幕轉為看向目標螢幕時，處理器130會將物件移動至目標螢幕的顯示區域中，所移動的物件可以是游標、檔案、資料夾以及視窗的其中之一或其組合。在一些實施例中，當使用者USR從操作中的螢幕轉頭看向目標螢幕時，處理器130會將游標移至目標螢幕的顯示區域的中心位置。
圖8繪示本發明一實施例的移動物件至目標螢幕的顯示區域的示意圖。請參照圖8，在一些實施例中，使用者USR例如是在螢幕110-1的顯示區域中對游標以及視窗進行操作。當使用者USR從螢幕110-1轉頭看向螢幕110-2時，處理器130會判斷目標螢幕切換為螢幕110-2，並且例如是將游標以及視窗自動移到螢幕110-2的顯示區域中。
在一些實施例中，使用者USR例如可自行設定要隨著視線方向移動的物件。在一些實施例中，使用者USR例如可透過選單等方式來設定物件的移動方式。舉例來說，使用者USR例如可透過選單來選擇視窗的移動方式為「移動」，則當使用者USR從操作視窗的螢幕轉為看向目標螢幕時，處理器130會將視窗移動至目標螢幕的顯示區域後釋放控制權，如此一來若使用者USR繼續看向另一個螢幕，處理器130便不會對應地繼續移動視窗。舉另一例來說，使用者USR例如可透過選單來選擇視窗的移動方式為「拖曳」，則當使用者USR從操作視窗的螢幕轉為看向目標螢幕時，處理器130會將視窗移動至目標螢幕的顯示區域並且維持控制權，如此一來若使用者USR繼續看向另一個螢幕，處理器130會繼續對應地移動視窗到另一個螢幕的顯示區域中。
根據上述的多螢幕操作方法，使用者USR只需要看向目標螢幕就能夠將游標、檔案、資料夾或視窗等物件移動到目標螢幕的顯示區域中，節省在多個螢幕110-1、110-2、110-3中尋找游標的時間，也能夠避免手動移動物件時滑鼠的實際移動距離過長。
圖9繪示本發明一實施例的電子系統的示意圖。本實施例與圖1實施例使用相同的標號來表示相同或類似的元件。
請參照圖9，本發明另一實施例的電子系統100’包括多個螢幕110-1、110-2、110-3、多個攝影機120-1、120-2、120-3以及處理器130，其中多個螢幕110-1、110-2、110-3以及多個攝影機120-1、120-2、120-3皆耦接於處理器130。在本實施例中，多個螢幕110-1、110-2、110-3與多個攝影機120-1、120-2、120-3是對應設置。舉例而言，如圖9所示，攝影機120-1設置於螢幕110-1上緣的中心處；攝影機120-2設置於螢幕110-2上緣的中心處；攝影機120-3設置於螢幕110-3上緣的中心處。值得一提的是，在本實施例中是以三個螢幕作為110-1、110-2、110-3例子來進行說明，但本發明並不在此限制螢幕的具體數量。在其他實施例中，電子系統100’也可以包括兩個、四個或是更多個螢幕。
圖10繪示本發明一實施例的多螢幕操作方法的流程圖。
請參照圖10，首先，電子系統100’的處理器130會利用多台攝影機120-1、120-2、120-3分別拍攝多張當前影像（步驟S220）。具體來說，攝影機120-1會從第一角度拍攝包括使用者USR的頭部影像的第一當前影像；攝影機120-2會從第二角度拍攝包括使用者USR的頭部影像的第二當前影像；而攝影機120-3會從第三角度拍攝包括使用者USR的頭部影像的第三當前影像。
取得多張當前影像後，處理器130會根據多張當前影像計算當前視線方向與多個攝影機120-1、120-2、120-3的鏡頭方向之間的多個夾角（步驟S240）。具體來說，從當前影像的影像平面可以得知攝影機的鏡頭方向。此外，處理器130會對每一台攝影機120-1、120-2、120-3所拍攝的當前影像進行影像分析，以計算出當前視線方向。如此一來，便能夠得到當前視線方向與每一台攝影機120-1、120-2、120-3的鏡頭方向之間的夾角。計算當前視線方向的方式已於前述實施例中詳細說明，故在此不再贅述。
接著，處理器130會根據多個夾角選擇多個螢幕110-1、110-2、110-3中的目標螢幕，其中目標螢幕對應的攝影機的鏡頭方向與當前視線方向之間的夾角為所述多個夾角中的最小夾角（步驟S260）。具體來說，攝影機的鏡頭方向與當前視線方向的夾角越小，表示使用者USR所觀看的地方與攝影機越相近。在本實施例中，由於攝影機120-1、120-2、120-3分別是設置於螢幕110-1、110-2、110-3上緣的中心處，因此處理器130會選擇鏡頭方向與當前視線方向之間的夾角為最小的攝影機所對應的螢幕作為目標螢幕。
最後，處理器130會移動物件至目標螢幕的顯示區域（步驟S280）。步驟S280是類似於前述實施例中的步驟S180，相關的細節可參考以上步驟S180的說明，在此不再贅述。
在一些實施例中，當處理器130決定螢幕110-1、110-2、110-3的其中之一為目標螢幕後，若使用者USR改變視線方向，處理器130無須經由步驟S220至S280來重新決定目標螢幕，而可以直接根據當前的目標螢幕所對應的攝影機所取得的當前影像，搭配已知的多個螢幕110-1、110-2、110-3之間的位置關係，來決定新的目標螢幕，以下將搭配圖11來舉例說明之。
圖11繪示本發明一實施例的多螢幕操作方法的示意圖。
請參照圖11，處理器130在步驟S260中是決定螢幕110-1為目標螢幕。隨後，處理器130會持續對螢幕110-1對應的攝影機120-1所取得的當前影像（第一當前影像）進行分析，以判斷當前視線方向與攝影機120-1的鏡頭方向之間的夾角是否超過夾角閥值θ。在本實施例中，以攝影機120-1的鏡頭方向作為基準，處理器130可以判斷使用者USR的頭部擺動角度中的偏擺角大小是否大於夾角閥值θ，若是，表示目標螢幕需要被切換到其他螢幕，反之則表示目標螢幕未改變而維持在螢幕110-1。其中，夾角閥值θ是根據下列公式決定：
Figure 02_image001
。
其中W 為螢幕110-1的寬度，Z 為當前影像中頭部影像與攝影機120-1之間的距離。
此外，處理器130更根據使用者USR的頭部擺動方向與多個螢幕110-1、110-2、110-3之間的位置關係，決定新的目標螢幕。使用者USR的頭部擺動角度的值可以表示頭部擺動方向。舉例來說，若處理器130根據頭部擺動角度判斷使用者USR是向右擺頭，且偏擺角大小大於夾角閥值θ，則處理器130會根據多個螢幕110-1、110-2、110-3之間的位置關係（如圖9所示）來判斷新的目標螢幕為螢幕110-3；若處理器130根據頭部擺動角度判斷使用者USR是向左擺頭，且偏擺角大小大於夾角閥值θ，則處理器130會根據多個螢幕110-1、110-2、110-3之間的位置關係（如圖9所示）來判斷新的目標螢幕為螢幕110-2。
在其他實施例中，多個螢幕除了水平排列放置之外，也可以例如是以陣列式的上下放置。據此，處理器130除了考慮偏擺角是否大於夾角閥值θ，以決定是否要將目標螢幕切換至位於當前的目標螢幕左右的螢幕之外，還需要考慮俯仰角以決定是否要將目標螢幕切換至當前的目標螢幕上下的螢幕。
據此，處理器130在決定一次目標螢幕後，就能夠根據目標螢幕對應的攝影機所取得的當前影像，來判斷後續目標螢幕的切換方式，提升了運算速度也降低系統的負擔。
綜上所述，本發明實施例所提出的多螢幕操作方法與電子系統，利用攝影機來拍攝包括使用者的當前影像，對當前影像進行分析以計算使用者的當前視線方向，以根據當前視線方向來判斷出使用者所觀看的目標螢幕。這樣的多螢幕操作方法與電子系統能夠根據使用者的視線方向來協助使用者移動物件至目標螢幕的顯示區域中，大幅提升操作便利性，具有良好的使用者體驗。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、100’:電子系統110-1、110-2、110-3:螢幕120-1、120-2、120-3:攝影機130:處理器140:儲存裝置C1、C2、C3、C4:角落D1、D2、D3、D4:視線方向R1、R2、R3:視線範圍S120、S140、S160、S180、S220、S240、S260、S280:多螢幕操作方法的步驟S121、S123、S125:取得多個螢幕的校準資料的步驟USR、USR-1、USR-2:使用者W:螢幕的寬度X1、X2、Z、Z1、Z2:距離θ:夾角閥值
圖1繪示本發明一實施例的電子系統的示意圖。 圖2繪示本發明一實施例的多螢幕操作方法的流程圖。 圖3繪示本發明一實施例的取得多個螢幕的校準資料的流程圖。 圖4繪示本發明一實施例的提示訊息的示意圖。 圖5A至圖5C繪示本發明一實施例的視線範圍的示意圖。 圖6繪示本發明一實施例的頭部擺動角度的示意圖。 圖7A與圖7B繪示本發明一實施例的多使用者判斷機制的示意圖。 圖8繪示本發明一實施例的移動物件至目標螢幕的顯示區域的示意圖。 圖9繪示本發明一實施例的電子系統的示意圖。 圖10繪示本發明一實施例的多螢幕操作方法的流程圖。 圖11繪示本發明一實施例的多螢幕操作方法的示意圖。
S120、S140、S160、S180:多螢幕操作方法的步驟

Claims (10)

  1. 一種多螢幕操作方法，適用於包括多個螢幕以及一攝影機的一電子系統，所述多螢幕操作方法包括： 取得該些螢幕的一校準資料，其中該校準資料包括各螢幕被觀看的一視線範圍； 根據該攝影機所拍攝的一當前影像，計算一當前視線方向； 根據該校準資料以及該當前視線方向，選擇該些螢幕中的一目標螢幕，其中該目標螢幕被觀看的該視線範圍包括該當前視線方向；以及 移動一物件至該目標螢幕的一顯示區域。
  2. 如申請專利範圍第1項所述的多螢幕操作方法，其中取得該些螢幕的該校準資料的步驟包括： 發出觀看該些螢幕的其中之一的多個角落的一提示訊息，並且對應該提示訊息利用該攝影機拍攝多張校準影像； 根據該些校準影像計算對應該些角落的多個視線方向；以及 根據該些視線方向計算該些螢幕的該其中之一被觀看的該視線範圍。
  3. 如申請專利範圍第1項所述的多螢幕操作方法，其中該當前影像包括一頭部影像，其中根據該攝影機所拍攝的該當前影像，計算該當前視線方向的步驟包括： 將該當前影像輸入一機器學習模型，以辨識該頭部影像的多個特徵點並且計算一頭部擺動角度；以及 根據該頭部擺動角度判斷該當前視線方向。
  4. 如申請專利範圍第1項所述的多螢幕操作方法，其中各螢幕被觀看的該視線範圍不互相重疊。
  5. 如申請專利範圍第1項所述的多螢幕操作方法，其中該物件包括游標、檔案、資料夾以及視窗的其中之一或其組合。
  6. 一種電子系統，包括： 多個螢幕； 一儲存裝置，用以記錄該些螢幕的一校準資料，其中該校準資料包括各螢幕被觀看的一視線範圍； 一攝影機，用以拍攝一當前影像；以及 一處理器，耦接於該些螢幕、該儲存裝置以及該攝影機，並且用以：       根據該當前影像，計算一當前視線方向；       根據該校準資料以及該當前視線方向，選擇該些螢幕中的一目標螢幕，其中該目標螢幕被觀看的該視線範圍包括該當前視線方向；以及       移動一物件至該目標螢幕的一顯示區域。
  7. 如申請專利範圍第6項所述的電子系統，其中該處理器更用以取得該校準資料，其中該處理器取得該校準資料時，更用以： 發出觀看該些螢幕的其中之一的多個角落的一提示訊息，並且對應該提示訊息藉由該攝影機取得多張校準影像； 根據該些校準影像計算對應該些角落的多個視線方向；以及 根據該些視線方向計算該些螢幕的該其中之一被觀看的該視線範圍。
  8. 如申請專利範圍第6項所述的電子系統，其中該當前影像包括一頭部影像，其中該處理器根據該當前影像，計算該當前視線方向時，更用以： 將該當前影像輸入一機器學習模型，以辨識該頭部影像的多個特徵點並且計算一頭部擺動角度；以及 根據該頭部擺動角度判斷該當前視線方向。
  9. 如申請專利範圍第6項所述的電子系統，其中該物件包括游標、檔案、資料夾以及視窗的其中之一或其組合。
  10. 一種多螢幕操作方法，適用於包括多個螢幕以及多個攝影機的一電子系統，其中該些螢幕對應於該些攝影機，所述多螢幕操作方法包括： 利用該些攝影機分別拍攝多張當前影像； 根據該些當前影像計算一當前視線方向與該些攝影機的一鏡頭方向之間的多個夾角； 根據該些夾角選擇該些螢幕中的一目標螢幕，其中該目標螢幕對應的該攝影機的該鏡頭方向與該當前視線方向之間的一夾角為該些夾角中的一最小夾角；以及 移動一物件至該目標螢幕的一顯示區域。
TW107138544A 2018-10-31 2018-10-31 多螢幕操作方法與使用此方法的電子系統 TWI726252B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107138544A TWI726252B (zh) 2018-10-31 2018-10-31 多螢幕操作方法與使用此方法的電子系統
US16/409,866 US11106278B2 (en) 2018-10-31 2019-05-12 Operation method for multi-monitor and electronic system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107138544A TWI726252B (zh) 2018-10-31 2018-10-31 多螢幕操作方法與使用此方法的電子系統

Publications (2)

Publication Number Publication Date
TW202018486A true TW202018486A (zh) 2020-05-16
TWI726252B TWI726252B (zh) 2021-05-01

Family

ID=70326195

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107138544A TWI726252B (zh) 2018-10-31 2018-10-31 多螢幕操作方法與使用此方法的電子系統

Country Status (2)

Country Link
US (1) US11106278B2 (zh)
TW (1) TWI726252B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230266817A1 (en) * 2022-02-23 2023-08-24 International Business Machines Corporation Gaze based text manipulation
US11836328B1 (en) 2022-10-18 2023-12-05 Dean Olliphant System to translate a cursor between multiple displays

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839419B2 (en) * 2003-10-23 2010-11-23 Microsoft Corporation Compositing desktop window manager
CN100343867C (zh) 2005-06-15 2007-10-17 北京中星微电子有限公司 一种判别视线方向的方法和装置
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5115151B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
US10031577B2 (en) 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
US20180366089A1 (en) * 2015-12-18 2018-12-20 Maxell, Ltd. Head mounted display cooperative display system, system including dispay apparatus and head mounted display, and display apparatus thereof
CN106469038A (zh) 2016-09-26 2017-03-01 南京酷派软件技术有限公司 基于多屏终端的显示屏切换方法及装置

Also Published As

Publication number Publication date
TWI726252B (zh) 2021-05-01
US20200133389A1 (en) 2020-04-30
US11106278B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
US8094204B2 (en) Image movement based device control method, program, and apparatus
WO2021115479A1 (zh) 显示控制方法及电子设备
WO2021097600A1 (zh) 一种隔空交互方法、装置和设备
JP2012238293A (ja) 入力装置
US10979700B2 (en) Display control apparatus and control method
JP2018502313A (ja) 投影される対話型仮想デスクトップ
US9906710B2 (en) Camera pan-tilt-zoom (PTZ) control apparatus
TWI726252B (zh) 多螢幕操作方法與使用此方法的電子系統
WO2021000686A1 (zh) 手势控制方法、手势控制装置以及存储介质
CN111176425A (zh) 多屏幕操作方法与使用此方法的电子系统
WO2018076720A1 (zh) 单手操控方法及操控系统
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
TWI499938B (zh) 觸控系統
WO2011096571A1 (ja) 入力装置
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
WO2015127731A1 (zh) 软键盘布局调整方法及装置
EP3962062A1 (en) Photographing method and apparatus, electronic device, and storage medium
JP6643825B2 (ja) 装置及び方法
TWI543046B (zh) 光學觸控系統
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
WO2019100547A1 (zh) 投影控制方法、装置、投影交互系统及存储介质
CN108476303B (zh) 监视设备和监视系统
WO2023246381A1 (zh) 一种用于光场显示器的交互方法、装置、光场显示器系统
WO2024012268A1 (zh) 虚拟操作方法、装置、电子设备及可读存储介质
Huang et al. Air Manipulation: A Manipulation System using Wearable Device of Camera Glasses in Smart Mobile Projector