TWI652599B - 子畫面顯示方法和裝置 - Google Patents

子畫面顯示方法和裝置 Download PDF

Info

Publication number
TWI652599B
TWI652599B TW106109404A TW106109404A TWI652599B TW I652599 B TWI652599 B TW I652599B TW 106109404 A TW106109404 A TW 106109404A TW 106109404 A TW106109404 A TW 106109404A TW I652599 B TWI652599 B TW I652599B
Authority
TW
Taiwan
Prior art keywords
sub
picture
operator
gesture
electronic device
Prior art date
Application number
TW106109404A
Other languages
English (en)
Other versions
TW201833726A (zh
Inventor
林柏羽
Original Assignee
新加坡商雲網科技新加坡有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/452,867 external-priority patent/US20180260031A1/en
Application filed by 新加坡商雲網科技新加坡有限公司 filed Critical 新加坡商雲網科技新加坡有限公司
Publication of TW201833726A publication Critical patent/TW201833726A/zh
Application granted granted Critical
Publication of TWI652599B publication Critical patent/TWI652599B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種子畫面顯示方法，應用於電子設備。所述方法包括：擷取操作者的面部特徵及其在所述電子設備的一預設區域內擺出的子畫面控制手勢；根據所述子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係。本發明還提供一種子畫面顯示裝置。本發明藉由手勢控制子畫面的建立、合併或者刪除，簡化操作，增加用戶交互體驗。

Description

子畫面顯示方法和裝置
本發明涉及一種子畫面顯示方法和裝置，尤其涉及一種藉由手勢控制子畫面的子畫面顯示方法和裝置。
隨著電視大型化的趨勢，藉由電視畫面分割，讓不同使用者可以各自使用部分畫面的需求也日漸普及。現有技術中，主要係藉由遙控器與不同子畫面作連結與操作，多以特殊按鍵切換到連結子畫面模式，再選擇子畫面位置，之後才能進行建立、加入與刪除子畫面等操作，操作繁瑣。
有鑒於此，有必要提供一種更智慧的子畫面顯示方法和裝置，以解決上述問題。
本發明提供一種子畫面顯示方法，其應用於電子設備。所述方法包括：擷取操作者的面部特徵及其在所述電子設備的一預設區域內擺出的子畫面控制手勢；及根據所述操作者的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係。
本發明還提供一種子畫面顯示裝置。所述子畫面顯示裝置包括：識別模組，用於擷取操作者的面部特徵及其在電子設備的一預設區域內擺出的子畫面控制手勢；子畫面控制模組，用於根據所述操作者的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係。
本發明藉由手勢控制子畫面的建立、合併或者刪除，簡化操作提高智慧水準，增加用戶交互體驗。
10‧‧‧建立子畫面手勢
20‧‧‧合併子畫面手勢
30‧‧‧刪除子畫面手勢
M、N‧‧‧操作者
A、B‧‧‧子畫面
1‧‧‧電子設備
40‧‧‧子畫面顯示裝置
41‧‧‧存儲設備
42‧‧‧處理設備
43‧‧‧顯示幕
44‧‧‧擷取單元
501‧‧‧識別模組
502‧‧‧子畫面控制模組
503‧‧‧圖示顯示模組
圖1為本發明實施例的子畫面顯示方法的步驟流程圖。
圖2為本發明實施例的子畫面控制手勢的示意圖。
圖3-1至圖3-8為本發明實施例的子畫面建立、合併和刪除的示意圖。
圖4為本發明實施例的電子設備的結構示意圖。
圖5本發明實施例的子畫面顯示裝置的功能模組圖。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的係，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅係本發明一部分實施例，而不係全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，均屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發 明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只係為了描述具體地實施例的目的，不係旨在於限制本發明。
本文所使用的術語“及/或”包括一個或複數相關的所列項目的任意的和所有的組合。
圖1為本發明實施例的子畫面顯示方法的步驟流程圖。所述子畫面顯示方法應用於一電子設備上。所述電子設備可以係，智慧電視、手機或平板電腦等具備顯示和人機交互功能的電子設備。如圖1所示，子畫面顯示方法包括以下步驟S11-S12。
步驟S11，擷取操作者的面部特徵及其在所述電子設備的一預設區域內擺出的子畫面控制手勢。
具體地，用於擷取操作者的面部特徵的擷取單元設置於所述電子設備上或者鄰近所述電子設備。所述擷取單元可為照相機，和/或三維深度感測器。當操作者位於所述電子設備之前方且面向所述電子設備觀看所述電子設備的播放內容時，所述擷取單元用於擷取位於所述電子設備的顯示幕前方的預設區域內的操作者的面部特徵、子畫面控制手勢等。
具體地，請一併參考圖2，所述子畫面控制手勢包括建立子畫面手勢10、合併子畫面手勢20和刪除子畫面手勢30。其中，所述建立子畫面手勢10為雙手高舉過頭部。所述合併子畫面手勢20為雙手於頭部上方相握。所述刪除子畫面手勢30為雙手於頭部上方交叉。
步驟S12，根據所擷取的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係。
具體地，請一併參考圖3-1，如果此前沒有其他操作者在所述預設區域內觀看所述電子設備播放的顯示畫面，當偵測到操作者M進入所述預設區域 且擺出所述建立子畫面手勢10時，擷取所述操作者M的建立子畫面手勢10及所述操作者M的面部特徵，並根據所述操作者M的建立子畫面手勢10控制所述電子設備為所述操作者M建立對應的子畫面A，且保存所述操作者M的面部特徵與所述子畫面A之間的關聯關係，其中，所述子畫面A覆蓋所述電子設備的整個螢幕。例如，所述子畫面A為某個電視頻道的籃球比賽節目。
具體地，請一併參考圖3-2，如果所述操作者M正在所述預設區域內觀看為其分配的子畫面A，當偵測到又一操作者N進入所述預設區域且擺出所述建立子畫面手勢10時，擷取所述操作者N的建立子畫面手勢10及所述操作者N的面部特徵，並根據所述操作者N的建立子畫面手勢10控制所述電子設備為所述操作者N建立對應的子畫面B，且保存所述操作者N的面部特徵與所述子畫面B之間的關聯關係，其中，所述子畫面B與上述子畫面A共同覆蓋所述電子設備的整個螢幕。例如，子畫面A為某個電視頻道播放的籃球比賽節目，子畫面B為另一電視頻道播放的動畫片節目，因此，操作者M和操作者N可以一併觀看自己喜歡的節目。
具體地，請一併參考圖3-3，如果所述操作者M在所述預設區域內觀看為其分配的子畫面A，當偵測到又一操作者N進入所述預設區域且與子畫面A所關聯的操作者M一起擺出所述建立子畫面手勢10時，擷取所述操作者M和所述操作者N的建立子畫面手勢10和所述操作者N的面部特徵，根據所述操作者M和所述操作者N的建立子畫面手勢10控制所述電子設備將所述操作者N加入為所述子畫面A的操作者，並存儲所述操作者N的面部特徵與所述子畫面A之間的關聯關係，及所述操作者M的面部特徵與所述子畫面A之間的關聯關係。
具體地，請一併參考圖3-4，如果所述操作者M和所述操作者N在所述預設區域內分別觀看為其分配的子畫面A和子畫面B，當偵測到子畫面B關聯的操作者N擺出所述建立子畫面手勢10，且子畫面A所關聯的操作者M擺出所 述合併子畫面手勢20時，擷取所述操作者N的建立子畫面手勢10和所述操作者M的合併子畫面手勢20，根據所述操作者N的建立子畫面手勢10和所述操作者M的合併子畫面手勢20控制所述電子設備將所述操作者N加入為所述子畫面A的操作者，存儲所述操作者N的面部特徵與所述子畫面A之間的關聯關係，並刪除所述操作者N的面部特徵與所述子畫面B之間的關聯關係，此時由於沒有其它子畫面，子畫面A覆蓋所述電子設備的整個螢幕。
可理解，在其它實施例中，當偵測到不同子畫面所關聯的至少兩個操作者中的一個操作者擺出所述合併子畫面手勢20，且所述至少兩個操作者中的其他操作者擺出所述建立子畫面手勢10時，擷取所述建立子畫面手勢10和所述合併子畫面手勢20，根據所述建立子畫面手勢10和所述合併子畫面手勢20控制所述電子設備將所述不同子畫面將所述至少兩個操作者中的其他操作者加入為擺出所述合併子畫面手勢20的操作者所關聯的子畫面的操作者，並存儲所述複數s操作者中的其他操作者的面部特徵與擺出所述合併子畫面手勢20的操作者所關聯的子畫面之間的關聯關係。
具體地，請一併參考圖3-5，如果所述操作者M和所述操作者N在所述預設區域內分別觀看為其分配的子畫面A和子畫面B時，當偵測到所述操作者N擺出所述刪除子畫面手勢30時，由於所述操作者N所關聯的子畫面B沒有關聯的其他操作者，因此，根據所述刪除子畫面手勢30控制所述電子設備刪除所述操作者N所關聯的子畫面B，且刪除所述操作者N的面部特徵與所述子畫面B之間的關聯關係，此時由於沒有其它子畫面，子畫面A覆蓋所述電子設備的整個螢幕。
具體地，請一併參考圖3-6，如果所述操作者M和所述操作者N在所述預設區域內一併觀看為倆人分配的子畫面A時，當偵測到所述操作者N擺出所述刪除子畫面手勢30時，由於所述操作者N所關聯的子畫面A還關聯了的操作 者M，因此，根據所述刪除子畫面手勢30控制所述電子設備保留所述子畫面A且刪除所述操作者N與所述子畫面A之間的關聯關係。
具體地，請一併參考圖3-7，如果所述操作者M和所述操作者N在所述預設區域內分別觀看為其分配的子畫面A和子畫面B時，當偵測到所述子畫面B關聯的操作者N離開，且所述子畫面B沒有關聯其他操作者時，控制所述電子設備自動暫停並隱藏所述子畫面B。
具體地，請一併參考圖3-8，在所述操作者N離開後，所述操作者M觀看子畫面A，所述子畫面B隱藏。當偵測到所述操作者N返回時，控制所述電子設備藉由所述操作者N的面部特徵識別辨識所述操作者N的身份後，再顯示之前隱藏的所述子畫面B並繼續播放。
需要說明的係，由於電子設備的顯示幕幕尺寸有限，因此，為了兼顧使用者體驗，顯示在所述電子設備上的顯示幕幕上的子畫面個數不能超過上限值，例如，上限值為六個，若子畫面的個數已經上六個，將不能建立新的子畫面，新加入的操作者只能加入為現有任一子畫面的共同操作者。
需要說明的係，鑒於對運算速度的考慮，顯示在所述電子設備的顯示幕幕上的子畫面所關聯的總的操作者的人數不能超過上限值，例如，上限值為十位，若總的操作者的人數超過十位，將不能再增加新的操作者。
需要說明的係，在一實施例中，在每一子畫面的一角上顯示所述子畫面所關聯的操作者的面部特徵的小圖示，其中，在一實施例中，顯示中的子畫面，其關聯的操作者的面部特徵的小圖示設置在對應的子畫面的右上角，隱藏中的子畫面所關聯的操作者的面部特徵的小圖示設置在整個顯示幕幕的右下角。
可選擇地，在一實施例中，將隱藏中的子畫面所關聯的操作者的面部特徵的小圖示與顯示中的子畫面所關聯的操作者的面部特徵的小圖示用不 同的顏色區分。
圖4為本發明實現子畫面顯示方法的較佳實施例的電子設備的結構示意圖。子畫面顯示裝置40設置於電子設備1上。所述電子設備1還包括存放裝置41、處理設備42、顯示幕43及擷取單元44。優選地，本發明的子畫面顯示方法藉由所述電子設備1中的子畫面顯示裝置40來實現。
所述電子設備1係一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數文書處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備1可以係，智慧電視、手機、平板電腦等具備顯示和人機交互功能的電子設備。
所述子畫面顯示裝置40能擷取操作者的面部特徵及其在所述電子設備的一預設區域內擺出的子畫面控制手勢，根據所擷取的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係。
所述存放裝置41用於存儲所述子畫面顯示裝置40中各個程式段的程式碼。所述存放裝置41可以為智慧媒體卡(smart media card)、安全數位卡(secure digital card)、快閃記憶體卡(flash card)等存放裝置。
所述處理設備42可以包括一個或者複數微處理器、數文書處理器。
所述顯示幕43可以為具有觸摸功能或者不具備觸摸功能的顯示幕。
所述擷取單元44設置於顯示幕43上或者鄰近所述電子設備1設置。所述擷取單元44可為照相機，和/或三維深度感測器。所述擷取單元44用於擷取 所述預設區域內的操作者的面部特徵、手勢及人體骨架等資訊。
優選地，為使所述擷取單元44具有更廣的視角，所述擷取單元44可包括複數照相機和/或複數三維深度感測器，所述複數照相機和/或複數三維深度感測器從複數角度拍攝所述預設區域內的操作者的面部特徵及其在所述預設區域內擺出的子畫面控制手勢，然後藉由影像重疊合併技術獲取完整影像以用於後期分析。
圖5為本發明的子畫面顯示裝置的功能模組圖。本實施例中的各模組用於執行圖1對應的各步驟，具體請參閱圖1以及圖1對應的實施例中的相關描述，此處不贅述。如圖5所示，子畫面顯示裝置40可以包括：識別模組401、子畫面控制模組402和子畫面操作模組403。本發明所稱的模組係指一種能夠被處理設備42所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在存放裝置41中。在本實施例中，關於各模組的功能將在後續的實施例中詳述。
識別模組401用於擷取操作者的面部特徵及其在一預設區域內擺出的子畫面控制手勢。
具體地，請一併參考圖2，所述子畫面控制手勢包括建立子畫面手勢10、合併子畫面手勢20和刪除子畫面手勢30。其中，所述建立子畫面手勢10為雙手高舉過頭部。所述合併子畫面手勢20為雙手於頭部上方相握。所述刪除子畫面手勢30為雙手於頭部上方交叉。
子畫面控制模組402用於根據所擷取的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係。
具體地，請一併參考圖3-1，如果此前沒有其他操作者在所述預設區域內觀看所述電子設備播放的顯示畫面，識別模組401在偵測到操作者M進入所述預設區域且擺出所述建立子畫面手勢10時，擷取所述操作者M的建立子畫面 手勢10及所述操作者M的面部特徵，子畫面控制模組402用於根據所述操作者M的建立子畫面手勢10控制所述電子設備為所述操作者M建立對應的子畫面A，且保存所述操作者M的面部特徵與所述子畫面A之間的關聯關係，其中，所述子畫面A覆蓋所述電子設備的整個螢幕。
具體地，請一併參考圖3-2，如果所述操作者M在所述預設區域內觀看為其分配的子畫面A，識別模組401在偵測到又一操作者N進入所述預設區域且擺出所述建立子畫面手勢10時，擷取所述操作者N的建立子畫面手勢10及所述操作者N的面部特徵。子畫面控制模組402根據所述操作者N的建立子畫面手勢10控制所述電子設備為所述操作者N建立對應的子畫面B，且保存所述操作者N的面部特徵與所述子畫面B之間的關聯關係，其中，所述子畫面B與上述子畫面A共同覆蓋所述電子設備的整個螢幕。
具體地，請一併參考圖3-3，如果所述操作者M在所述預設區域內觀看為其分配的子畫面A，識別模組401在偵測到又一操作者N進入所述預設區域且與子畫面A所關聯的操作者M一起擺出所述建立子畫面手勢10時，擷取所述操作者N的建立子畫面手勢10和所述操作者N的面部特徵。子畫面控制模組402用於根據所述操作者N的建立子畫面手勢10控制所述電子設備將所述操作者N加入為所述子畫面A的操作者，並存儲所述操作者N的面部特徵與所述子畫面A之間的關聯關係。
具體地，請一併參考圖3-4，如果所述操作者M和所述操作者N在所述預設區域內分別觀看為其分配的子畫面A和子畫面B，識別模組401在偵測到子畫面B關聯的操作者N擺出所述建立子畫面手勢10，且子畫面A所關聯的操作者M擺出所述合併子畫面手勢20時，擷取所述操作者N的建立子畫面手勢10和所述操作者M的合併子畫面手勢20。子畫面控制模組402用於根據所述操作者N的建立子畫面手勢10和所述操作者M的合併子畫面手勢20控制所述電子設備將所 述操作者N加入為所述子畫面A的操作者，存儲所述操作者N的面部特徵與所述子畫面A之間的關聯關係，並刪除所述操作者N的面部特徵與所述子畫面B之間的關聯關係，此時由於沒有其它子畫面，子畫面A覆蓋所述電子設備的整個螢幕。
可理解，在其它實施例中，識別模組401在偵測到不同子畫面所關聯的至少兩個操作者中的一個操作者擺出所述合併子畫面手勢20，且所述至少兩個操作者中的其他操作者擺出所述建立子畫面手勢10時，擷取所述建立子畫面手勢10和所述合併子畫面手勢20。子畫面控制模組402用於根據所述建立子畫面手勢10和所述合併子畫面手勢20控制所述電子設備將所述不同子畫面將所述至少兩個操作者中的其他操作者加入為擺出所述合併子畫面手勢20的操作者所關聯的子畫面的操作者，並存儲所述至少兩個操作者中的其他操作者的面部特徵與擺出所述合併子畫面手勢20的操作者所關聯的子畫面之間的關聯關係。
具體地，請一併參考圖3-5，如果所述操作者M和所述操作者N在所述預設區域內分別觀看為其分配的子畫面A和子畫面B時，識別模組401在偵測到所述操作者N擺出所述刪除子畫面手勢30時，由於所述操作者N所關聯的子畫面B沒有關聯的其他操作者，因此，子畫面控制模組402用於根據所述操作者N的刪除子畫面手勢30控制所述電子設備刪除所述操作者N所關聯的子畫面B，且刪除所述操作者N的面部特徵與所述子畫面B之間的關聯關係，此時由於沒有其它子畫面，子畫面A覆蓋所述電子設備的整個螢幕。
具體地，請一併參考圖3-6，如果所述操作者M和所述操作者N在所述預設區域內一併觀看為倆人分配的子畫面A時，識別模組401在偵測到所述操作者N擺出所述刪除子畫面手勢30時，由於所述操作者N所關聯的子畫面A還關聯了的操作者M，因此，子畫面控制模組402用於根據所述操作者N的刪除子畫面手勢30控制所述電子設備保留所述子畫面A且刪除所述操作者N與所述子 畫面A之間的關聯關係。
具體地，請一併參考圖3-7，如果所述操作者M和所述操作者N在所述預設區域內分別觀看為其分配的子畫面A和子畫面B時，識別模組401在偵測到所述子畫面B關聯的操作者N離開，且所述子畫面B沒有關聯其他操作者時，子畫面控制模組402用於控制所述電子設備1自動暫停並隱藏所述子畫面B。
具體地，請一併參考圖3-8，在所述操作者N離開後，所述操作者M觀看子畫面A，所述子畫面B隱藏。識別模組401在偵測到所述操作者N返回時，子畫面控制模組402用於控制所述電子設備藉由所述操作者N的面部特徵識別辨識所述操作者N的身份後，再顯示之前隱藏的所述子畫面B並繼續播放。
需要說明的係，由於電子設備的顯示幕幕尺寸有限，因此，為了兼顧使用者體驗，顯示在所述電子設備上的顯示幕幕上的子畫面個數不能超過上限值，例如，上限值為六個，若子畫面的個數已經上六個，將不能建立新的子畫面，新加入的操作者只能加入為現有任一子畫面的共同操作者。
需要說明的係，鑒於對運算速度的考慮，顯示在所述電子設備的顯示幕幕上的子畫面所關聯的總的操作者的人數不能超過上限值，例如，上限值為十位，若總的操作者的人數超過十位，將不能再增加新的操作者。
可選擇地，在一實施例中，子畫面顯示裝置40還包括圖示顯示模組503。圖示顯示模組503用於控制電子設備1在每一子畫面的一角上顯示所述子畫面所關聯的操作者的面部特徵的小圖示，其中，在一實施例中，顯示中的子畫面，其關聯的操作者的面部特徵的小圖示設置在對應的子畫面的右上角，隱藏中的子畫面所關聯的操作者的面部特徵的小圖示設置在整個顯示幕幕的右下角。
可選擇地，在一實施例中，圖示顯示模組503用於控制電子設備1將隱藏中的子畫面所關聯的操作者的面部特徵的小圖示與顯示中的子畫面所關 聯的操作者的面部特徵的小圖示用不同的顏色區分。
本發明藉由子畫面控制手勢控制子畫面的建立、合併或者刪除，且根據子畫面操作手勢控制子畫面執行一系列的操作，友好的增進了用戶體驗，簡化操作。
本領域普通技術人員可以理解實現上述實施例中的全部或者部分流程，係可以藉由電腦程式來指令相關的硬體完成，所述的程式可存儲於一電腦可讀取存儲介質中，所述程式在執行時，可包括如上述各方法的實施例的流程。
另外，在本發明各個實施例中的各功能單元可以集成在相同處理單元中，也可以係各個單元單獨物理存在，也可以兩個或兩個以上單元集成在相同單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
上述以軟體功能單元的形式實現的集成的單元，可以存儲在一個電腦可讀取存儲介質中。上述軟體功能單元存儲在一個存儲介質中，包括若干指令用以使得一台電子設備(可以係掌上型電子設備，如智慧手機、筆記型電腦、個人數位助理(Personal Digital Assistant，PDA)、智慧式穿戴式設備等，也可以係桌面式電子設備，如桌上型電腦、智慧電視等)或處理器(processor)執行本發明各個實施例所述方法的部分步驟。而前述的存儲介質包括：U盤、移動硬碟、唯讀記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁片或者光碟等各種可以存儲程式碼的介質。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其它的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作係示範性的，而且係非限制性的，本發明的範圍由所附權利要求而不係上述說明限定，因此 旨在將落在權利要求的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。此外，顯然“包括”一詞不排除其它單元或步驟，單數不排除複數。系統權利要求中陳述的複數單元或系統也可以由同一個單元或系統藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的係，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

Claims (12)

  1. 一種子畫面顯示方法，應用於電子設備，其改良在於，所述方法包括：擷取操作者的面部特徵及其在所述電子設備的一預設區域內擺出的子畫面控制手勢；及根據所述操作者的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係；其中，所述操作者包括第一操作者，所述子畫面包括第一子畫面，所述子畫面控制手勢包括建立子畫面手勢，所述建立子畫面手勢為雙手高舉過頭部，所述方法具體包括：當偵測到所述第一操作者進入所述預設區域且擺出所述建立子畫面手勢時，擷取所述第一操作者的建立子畫面手勢及所述第一操作者的面部特徵；及根據所述第一操作者的建立子畫面手勢控制所述電子設備為所述第一操作者建立對應的所述第一子畫面，並保存所述第一操作者的面部特徵與所述第一子畫面之間的關聯關係。
  2. 如申請專利範圍第1項所述的子畫面顯示方法，其中，所述操作者還包括第二操作者，所述方法具體包括：當偵測到所述第二操作者進入所述預設區域且與所述第一子畫面所關聯的所述第一操作者一起擺出所述建立子畫面手勢時，擷取所述第一操作者和所述第二操作者的建立子畫面手勢和所述第二操作者的面部特徵；及 根據所述第一操作者和所述第二操作者的建立子畫面手勢控制所述電子設備將所述第二操作者加入為所述第一子畫面的操作者，並存儲所述第二操作者的面部特徵與所述第一子畫面之間的關聯關係。
  3. 如申請專利範圍第1項所述的子畫面顯示方法，其中，所述操作者還包括第二操作者，所述子畫面控制手勢還包括合併子畫面手勢，其中，所述合併子畫面手勢為雙手於頭部上方相握，所述方法具體包括：當偵測到所述第二操作者進入所述預設區域且擺出所述建立子畫面手勢，且與所述第一子畫面所關聯的所述第一操作者擺出所述合併子畫面手勢時，擷取所述第二操作者的建立子畫面手勢和所述第一操作者的合併子畫面手勢及所述第二操作者的面部特徵；及根據所述第二操作者的建立子畫面手勢和所述第一操作者的所述合併子畫面手勢控制所述電子設備將所述第二操作者加入為所述第一子畫面的操作者，並存儲所述第二操作者的面部特徵與所述第一子畫面之間的關聯關係。
  4. 如申請專利範圍第1項所述的子畫面顯示方法，其中，所述子畫面控制手勢包括建立子畫面手勢和合併子畫面手勢，其中，所述建立子畫面手勢為雙手高舉過頭部，所述合併子畫面手勢為雙手於頭部上方相握，所述方法具體包括：當偵測到不同子畫面所關聯的至少兩個所述操作者中的一個所述操作者擺出所述合併子畫面手勢，且所述至少兩個所述操作者中的其他所述操作者擺出所述建立子畫面手勢時，擷取所述建立子畫面手勢和所述合併子畫面手勢；及根據所述建立子畫面手勢和所述合併子畫面手勢控制所述電子設備將所述至少兩個所述操作者中的其他所述操作者加入為擺出所述合併子畫面 手勢的所述操作者所關聯的子畫面的操作者，並存儲所述至少兩個所述操作者中的其他所述操作者的面部特徵與擺出所述合併子畫面手勢的所述操作者所關聯的子畫面之間的關聯關係。
  5. 如申請專利範圍第1所述的子畫面顯示方法，其中，所述子畫面控制手勢還包括刪除子畫面手勢，所述刪除子畫面手勢為雙手於頭部上方交叉，所述方法具體包括：當偵測到所述操作者擺出所述刪除子畫面手勢時，若所述操作者所關聯的子畫面沒有關聯的其他操作者，根據所述操作者的刪除子畫面手勢控制所述電子設備刪除所述操作者所關聯的子畫面，且刪除所述操作者與所述子畫面之間的關聯關係；及若所述子畫面有關聯的其他操作者，根據所述操作者的刪除子畫面手勢控制所述電子設備刪除所述操作者與所述子畫面之間的關聯關係。
  6. 如申請專利範圍第1所述的子畫面顯示方法，其中，所述方法還包括：當所述子畫面關聯的一所述操作者離開，且所述子畫面沒有關聯其他操作者時，控制所述電子設備自動暫停並隱藏所述子畫面；及當所述子畫面關聯的所述操作者返回時，控制所述電子設備藉由所述操作者的面部特徵識別辨識所述操作者的身份後，再顯示之前隱藏的所述子畫面並繼續播放。
  7. 一種子畫面顯示裝置，其改良在於，所述裝置包括：識別模組，用於擷取操作者的面部特徵及其在電子設備的一預設區域內擺出的子畫面控制手勢； 子畫面控制模組，用於根據所述操作者的子畫面控制手勢控制所述電子設備進行子畫面的建立、合併或者刪除，並存儲所述操作者的面部特徵與所述子畫面之間的關聯關係；其中，所述操作者包括第一操作者，所述子畫面包括第一子畫面，所述子畫面控制手勢包括建立子畫面手勢，所述建立子畫面手勢為雙手高舉過頭部，所述識別模組具體用於在偵測到所述第一操作者進入所述預設區域且擺出所述建立子畫面手勢時，擷取所述第一操作者的建立子畫面手勢及所述第一操作者的面部特徵，所述子畫面控制模組具體用於根據所述第一操作者的建立子畫面手勢控制所述電子設備為所述第一操作者建立對應的所述第一子畫面，並保存所述第一操作者的面部特徵與所述第一子畫面之間的關聯關係。
  8. 如申請專利範圍第7項所述的子畫面顯示裝置，其中，所述操作者還包括第二操作者，所述識別模組具體用於在偵測到所述第二操作者進入所述預設區域且與所述第一子畫面所關聯的所述第一操作者一起擺出所述建立子畫面手勢時，擷取所述第一操作者和所述第二操作者的建立子畫面手勢和所述第二操作者的面部特徵，所述子畫面控制模組具體用於根據所述第一操作者和所述第二操作者的建立子畫面手勢控制所述電子設備將所述第二操作者加入為所述第一子畫面的操作者，並存儲所述第二操作者的面部特徵與所述第一子畫面之間的關聯關係。
  9. 如申請專利範圍第7項所述的子畫面顯示裝置，其中，所述操作者還包括第二操作者，所述子畫面控制手勢還包括合併子畫面手勢，其中，所述合併子畫面手勢為雙手於頭部上方相握，所述識別模組具體用於偵測到所述第二操作者進入所述預設區域且擺出所述建立子畫面手勢，且與所述第一子畫面所關聯的所述第一操作者擺出所述合併子畫面手勢時，擷取 所述第二操作者的建立子畫面手勢和所述第一操作者的合併子畫面手勢及所述第二操作者的面部特徵，所述子畫面控制模組具體用於根據所述第二操作者的建立子畫面手勢和所述第一操作者的合併子畫面手勢控制所述電子設備將所述第二操作者加入為所述第一子畫面的操作者，並存儲所述第二操作者的面部特徵與所述第一子畫面之間的關聯關係。
  10. 如申請專利範圍第7項所述的子畫面顯示裝置，其中，所述子畫面控制手勢包括建立子畫面手勢和合併子畫面手勢，其中，所述建立子畫面手勢為雙手高舉過頭部，所述合併子畫面手勢為雙手於頭部上方相握，所述識別模組具體用於在偵測到不同子畫面所關聯的至少兩個所述操作者中的一個所述操作者擺出所述合併子畫面手勢，且所述至少兩個所述操作者中的其他所述操作者擺出所述建立子畫面手勢時，擷取所述建立子畫面手勢和所述合併子畫面手勢，所述子畫面控制模組具體用於根據所述建立子畫面手勢和所述合併子畫面手勢控制所述電子設備將所述至少兩個所述操作者中的其他所述操作者加入為擺出所述合併子畫面手勢的所述操作者所關聯的子畫面的操作者，並存儲所述至少兩個所述操作者中的其他所述操作者的面部特徵與擺出所述合併子畫面手勢的所述操作者所關聯的子畫面之間的關聯關係。
  11. 如申請專利範圍第7項所述的子畫面顯示裝置，其中，所述子畫面控制手勢還包括刪除子畫面手勢，所述刪除子畫面手勢為雙手於頭部上方交叉，所述識別模組具體用於在偵測到所述操作者擺出所述刪除子畫面手勢時，若所述操作者所關聯的子畫面沒有關聯的其他操作者，所述子畫面控制模組具體用於根據所述操作者的刪除子畫面手勢控制所述電子設備刪除所述操作者所關聯的子畫面，且刪除所述操作者與所述子畫面之間的關聯關係，若所述子畫面有關聯的其他操作者，所述子畫面控制模組用於 根據所述刪除子畫面手勢控制所述電子設備刪除所述操作者與所述子畫面之間的關聯關係。
  12. 如申請專利範圍第7項所述的子畫面顯示裝置，其中，所述識別模組在偵測到所述子畫面關聯的一所述操作者離開，且所述子畫面沒有關聯其他操作者時，所述子畫面控制模組還用於控制所述電子設備自動暫停並隱藏所述子畫面；及所述識別模組在偵測到所述子畫面關聯的操作者返回時，所述子畫面控制模組還用於控制所述電子設備藉由所述操作者的面部特徵識別辨識所述操作者的身份後，再顯示之前隱藏的所述子畫面並繼續播放。
TW106109404A 2017-03-08 2017-03-21 子畫面顯示方法和裝置 TWI652599B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/452,867 2017-03-08
US15/452,867 US20180260031A1 (en) 2017-03-08 2017-03-08 Method for controlling distribution of multiple sub-screens and device using the same
US15/461,996 2017-03-17
US15/461,996 US20180260105A1 (en) 2017-03-08 2017-03-17 Method for displaying sub-screen and device using the same

Publications (2)

Publication Number Publication Date
TW201833726A TW201833726A (zh) 2018-09-16
TWI652599B true TWI652599B (zh) 2019-03-01

Family

ID=63446383

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106109404A TWI652599B (zh) 2017-03-08 2017-03-21 子畫面顯示方法和裝置

Country Status (3)

Country Link
US (1) US20180260105A1 (zh)
CN (1) CN108572780A (zh)
TW (1) TWI652599B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016544A1 (en) 2006-07-14 2008-01-17 Asustek Computer Inc. Display system and control method thereof
TW200904180A (en) 2007-07-09 2009-01-16 Cyberlink Corp Automatic resume system of a media center and the method thereof
CN101874234A (zh) 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20140294254A1 (en) 2013-04-01 2014-10-02 Samsung Electronics Co., Ltd. Display apparatus for performing user certification and method thereof
TW201531917A (zh) 2013-12-27 2015-08-16 Sony Corp 控制裝置、控制方法及電腦程式

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952673B2 (en) * 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US9372540B2 (en) * 2011-04-19 2016-06-21 Lg Electronics Inc. Method and electronic device for gesture recognition
KR102182398B1 (ko) * 2013-07-10 2020-11-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US10824954B1 (en) * 2014-06-25 2020-11-03 Bosch Sensortec Gmbh Methods and apparatus for learning sensor data patterns of physical-training activities
JP6844135B2 (ja) * 2016-07-05 2021-03-17 富士ゼロックス株式会社 移動ロボットおよび移動制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016544A1 (en) 2006-07-14 2008-01-17 Asustek Computer Inc. Display system and control method thereof
TW200904180A (en) 2007-07-09 2009-01-16 Cyberlink Corp Automatic resume system of a media center and the method thereof
CN101874234A (zh) 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20140294254A1 (en) 2013-04-01 2014-10-02 Samsung Electronics Co., Ltd. Display apparatus for performing user certification and method thereof
TW201531917A (zh) 2013-12-27 2015-08-16 Sony Corp 控制裝置、控制方法及電腦程式

Also Published As

Publication number Publication date
TW201833726A (zh) 2018-09-16
CN108572780A (zh) 2018-09-25
US20180260105A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
DK180130B1 (da) Multi-participant live communication user interface
US10592198B2 (en) Audio recording/playback device
CN105955607B (zh) 内容分享方法和装置
US11194437B2 (en) Information processing device and information processing method
US9979921B2 (en) Systems and methods for providing real-time composite video from multiple source devices
CN110134321B (zh) 用于发送数据的方法和设备，以及接收数据的方法和设备
CN111176516B (zh) 用于操纵用户界面的设备、方法和图形用户界面
WO2019185003A1 (zh) 一种显示控制方法及设备
US11770600B2 (en) Wide angle video conference
CN111045511B (zh) 基于手势的操控方法及终端设备
CN106341522A (zh) 移动终端及其控制方法
WO2017030642A1 (en) Systems and methods for sharing videos and images in a texting environment
US20230109787A1 (en) Wide angle video conference
CN106406710A (zh) 一种录制屏幕的方法及移动终端
US20230370507A1 (en) User interfaces for managing shared-content sessions
JP2022534757A (ja) 撮像方法及び端末
EP2712176B1 (en) Method and apparatus for photography
TWI646526B (zh) 子畫面佈局控制方法和裝置
CN105631804A (zh) 图片处理方法及装置
AU2019101062B4 (en) Multi-participant live communication user interface
US20240064395A1 (en) Wide angle video conference
CN103984476B (zh) 菜单显示方法及装置
CN105979154A (zh) 一种增强现实ar的拍摄方法、装置及智能终端
TWI652599B (zh) 子畫面顯示方法和裝置
WO2022267433A1 (zh) 视频资源处理方法及装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees