TWI653550B - 電子裝置及電子裝置的顯示控制方法 - Google Patents

電子裝置及電子裝置的顯示控制方法 Download PDF

Info

Publication number
TWI653550B
TWI653550B TW106122749A TW106122749A TWI653550B TW I653550 B TWI653550 B TW I653550B TW 106122749 A TW106122749 A TW 106122749A TW 106122749 A TW106122749 A TW 106122749A TW I653550 B TWI653550 B TW I653550B
Authority
TW
Taiwan
Prior art keywords
control
instruction
unit
preset
state
Prior art date
Application number
TW106122749A
Other languages
English (en)
Other versions
TW201907273A (zh
Inventor
郭錦斌
盧志德
林忠億
蔡東佐
楊榮浩
陳怡樺
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW106122749A priority Critical patent/TWI653550B/zh
Priority to US15/859,742 priority patent/US20190011991A1/en
Publication of TW201907273A publication Critical patent/TW201907273A/zh
Application granted granted Critical
Publication of TWI653550B publication Critical patent/TWI653550B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種電子裝置及電子裝置的顯示控制方法，該電子裝置包括採集模組，控制採集單元即時偵測並採集使用者的控制操作；確定模組，根據存儲單元存儲的預設控制操作與控制指令之間的對應關係確定該採集單元採集到的使用者控制操作對應的第一控制指令；判斷模組，根據一預設條件判斷是否對該確定的第一控制指令進行轉換；轉換模組，當判定需要進行指令轉換時，根據一狀態轉換單元在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令；及執行模組，回應該轉換後的第二控制指令控制顯示螢幕執行相應的動作。

Description

電子裝置及電子裝置的顯示控制方法
本發明涉及一種電子裝置及電子裝置的顯示控制方法。
隨著科學技術的發展，人機交互技術的應用越來越廣泛，例如在大螢幕顯示系統控制中的應用。大螢幕顯示系統具有直觀性、超大性的特點，廣泛應用於廣告顯示、視訊會議及家庭影音中。大螢幕控制通常包括手勢控制與語音控制，然而，現有的手勢控制識別手勢的耗時較長且部分手勢較為複雜，不夠直觀。此外，手勢控制與語音控制通常只能單獨進行，並未進行有效的結合，從而不利於使用者方便地控制大螢幕。
有鑒於此，有必要提供一種電子裝置及電子裝置的顯示控制方法，以解決上述技術問題。
一種電子裝置，該電子裝置包括處理單元、存儲單元、顯示螢幕、採集單元及狀態轉換單元，該存儲單元存儲有預設控制操作與控制指令之間的對應關係，該狀態轉換單元包括複數個狀態，每一狀態對應一種預設的指令轉換規則，該處理單元包括：
採集模組，用於控制該採集單元即時偵測並採集使用者的控制操作；
確定模組，用於根據該存儲單元存儲的預設控制操作與控制指令之間的對應關係確定該採集單元採集到的使用者控制操作對應的第一控制指令；
判斷模組，用於根據一預設條件判斷是否對該確定模組確定的第一控制指令進行轉換；
轉換模組，用於當該判斷模組判定需要進行指令轉換時，根據該狀態轉換單元在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令；及
執行模組，用於回應該轉換後的第二控制指令控制該顯示螢幕執行相應的動作。
一種電子裝置的顯示控制方法，應用於一電子裝置中，該電子裝置包括存儲單元、顯示螢幕、採集單元及狀態轉換單元，該存儲單元存儲有預設控制操作與控制指令之間的對應關係，該狀態轉換單元包括複數個狀態，每一狀態對應一種預設的指令轉換規則，該方法包括以下步驟：
控制該採集單元即時偵測並採集使用者的控制操作；
根據該存儲單元存儲的預設控制操作與控制指令之間的對應關係確定該採集單元採集到的使用者控制操作對應的第一控制指令；
根據一預設條件判斷是否對該確定的控制指令進行轉換；
當判定需要進行指令轉換時，根據該狀態轉換單元在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令；及
回應該轉換後的第二控制指令控制該顯示螢幕執行相應的動作。
上述電子裝置及電子裝置的顯示控制方法所需的手勢操作較為簡單直觀，並且手勢控制與語音控制可以結合狀態轉換單元配合使用，從而便於使用者對大螢幕進行控制。
請參考圖1，其示出了本發明較佳實施方式所提供的電子裝置1。該電子裝置1包括，但不僅限於，處理單元10、存儲單元20、顯示螢幕30、採集單元40及狀態轉換單元50。在本實施方式中，該電子裝置1可為個人電腦、智慧電視或電視牆。
該存儲單元20存儲有預設控制操作與控制指令之間的對應關係。在本實施方式中，該預設控制操作包括語音及/或手勢。例如，語音“看這邊”對應啟動輸入的指令，語音“待命”對應結束輸入的指令，語音“播放＜片名或歌曲名＞”對應播放對應電影或歌曲的指令，向上揮手的手勢對應向上移的指令，向左揮手的手勢對應向左移的指令等。該顯示螢幕30用於顯示該電子裝置1的使用者介面及媒體資料。在本實施方式中，該顯示螢幕30為液晶顯示螢幕（Liquid Crystal Display，LCD）或有源矩陣有機發光二極體面板（Active Matrix/Organic Light Emitting Diode，AMOLED）。
在本實施方式中，該狀態轉換單元50為狀態機，其由狀態寄存器及組合邏輯電路構成，用於根據控制訊號按照預設的狀態轉換規則對控制指令進行轉換。該狀態轉換單元50包括複數個狀態，每一狀態對應一種預設的指令轉換規則，該狀態轉換單元50可根據該指令轉換規則進行指令轉換。
例如，請參考圖2，該狀態轉換單元50包括正常狀態、第一狀態、第二狀態及第三狀態。其中，該狀態轉換單元50的初始狀態為處於正常狀態，在該正常狀態下，該電子裝置1預設無需進行指令轉換。在處於第一狀態時，該狀態轉換單元50忽略使用者的指令。在處於第二狀態或第三狀態時，該狀態轉換單元50按照預設的指令轉換規則將初始控制指令轉換為使用者預設的其他指令。
在本實施方式中，該採集單元40為話筒或攝像頭。其中，該話筒用於採集使用者的語音，該攝像頭用於拍攝使用者的手勢。
如圖1所示，該處理單元10包括採集模組101、確定模組102、判斷模組103、修改模組104、轉換模組105及執行模組106。在本實施方式中，該些模組為存儲於該存儲單元20中且可被該處理單元10調用執行的可程式化軟體指令。在其他實施方式中，該些模組也可為固化於該處理單元10中的程式指令或固件（firmware）。
該採集模組101用於控制該採集單元40即時偵測並採集使用者的控制操作。在本實施方式中，該採集單元40即時採集使用者的語音及/或手勢。
該確定模組102用於根據該存儲單元20存儲的預設控制操作與控制指令之間的對應關係確定該採集單元40採集到的使用者控制操作對應的第一控制指令。
該判斷模組103用於判斷該第一控制指令是否為修改該狀態轉換單元50當前的狀態的指令。在本實施方式中，修改該狀態轉換單元50當前狀態的指令為語音指令，且該語音指令對應的語音內容為“正常狀態”、“第一狀態”、“第二狀態”或“第三狀態”。
當該判斷模組103判定第一控制指令是否為修改該狀態轉換單元50當前的狀態的指令時，該修改模組104用於根據使用者的語音指令修改該狀態轉換單元50的狀態。例如，當該採集單元40採集到的使用者語音內容為“正常狀態”時，該修改模組104對應將該狀態轉換單元50的當前狀態修改為正常狀態，依次類推。
可以理解的是，在其他實施方式中，該電子裝置1也可以提供一狀態設定介面，用於供使用者手動設定該狀態轉換單元50的狀態。
該判斷模組103還用於根據一預設條件判斷是否對該確定模組102確定的第一控制指令進行轉換。在一實施方式中，該預設條件為該控制操作所持續的時間是否大於或等於一預設時間。即，該判斷模組103藉由確定使用者的語音或手勢持續時間是否大於或等於該預設時間來判斷使用者是否對該第一控制指令進行轉換。在本實施方式中，該預設時間為5秒。
在另一實施方式中，該預設條件為該控制操作的數量是否大於或等於一預設數量。即，該判斷模組103藉由確定使用者發出同一段語音的次數或做出同一種手勢的次數是否大於或等於該預設數量來判斷對該第一控制指令進行轉換。在本實施方式中，該預設數量為3個。
當該判斷模組103判定使用者需要轉換指令時，該轉換模組105用於根據該狀態轉換單元50在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令。例如，如圖2所示，在該狀態轉換單元50處於第二狀態時，該轉換模組105將上移指令、下移指令、左移指令及右移指令分別轉換為點擊F5的指令、點擊F6的指令、點擊F7的指令及點擊F8的指令。
當該判斷模組103判定使用者不需要轉換指令時，該執行模組106回應該第一控制指令控制該顯示螢幕30執行相應的動作。當該判斷模組103判定使用者需要轉換指令時，該執行模組106回應該轉換後的第二控制指令控制該顯示螢幕30執行相應的動作。
請參考圖3，為本發明電子裝置的顯示控制方法的流程圖。
步驟S101，控制該採集單元即時偵測並採集使用者的控制操作。
步驟S102，根據該存儲單元存儲的預設控制操作與控制指令之間的對應關係確定該採集單元採集到的使用者控制操作對應的第一控制指令。
步驟S103，根據一預設條件判斷是否對該確定的控制指令進行轉換。其中，該預設條件為該控制操作所持續的時間是否大於或等於一預設時間或該控制操作的數量是否大於或等於一預設數量。
步驟S104，當判定需要進行指令轉換時，根據該狀態轉換單元在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令。當判定不需要進行指令轉換時，進入步驟S105。
步驟S105，回應控制指令控制該顯示螢幕執行相應的動作。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，於爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。
<TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 電子裝置 </td><td> 1 </td></tr><tr><td> 處理單元 </td><td> 10 </td></tr><tr><td> 採集模組 </td><td> 101 </td></tr><tr><td> 確定模組 </td><td> 102 </td></tr><tr><td> 判斷模組 </td><td> 103 </td></tr><tr><td> 修改模組 </td><td> 104 </td></tr><tr><td> 轉換模組 </td><td> 105 </td></tr><tr><td> 執行模組 </td><td> 106 </td></tr><tr><td> 存儲單元 </td><td> 20 </td></tr><tr><td> 顯示螢幕 </td><td> 30 </td></tr><tr><td> 採集單元 </td><td> 40 </td></tr><tr><td> 狀態轉換單元 </td><td> 50 </td></tr></TBODY></TABLE>
圖1為本發明較佳實施方式中電子裝置的應用環境示意圖。 圖2為本發明較佳實施方式中狀態轉換單元的狀態與指令的對應關係表。 圖3為本發明較佳實施方式中電子裝置的顯示控制方法的流程圖。
無

Claims (10)

  1. 一種電子裝置，該電子裝置包括處理單元、存儲單元及顯示螢幕，其改良在於，該存儲單元存儲有預設控制操作與控制指令之間的對應關係，該電子裝置還包括採集單元及狀態轉換單元，該狀態轉換單元包括複數個狀態，每一狀態對應一種預設的指令轉換規則，該處理單元包括： 採集模組，用於控制該採集單元即時偵測並採集使用者的控制操作； 確定模組，用於根據該存儲單元存儲的預設控制操作與控制指令之間的對應關係確定該採集單元採集到的使用者控制操作對應的第一控制指令； 判斷模組，用於根據一預設條件判斷是否對該確定模組確定的第一控制指令進行轉換； 轉換模組，用於當該判斷模組判定需要進行指令轉換時，根據該狀態轉換單元在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令；及 執行模組，用於回應該轉換後的第二控制指令控制該顯示螢幕執行相應的動作。
  2. 如申請專利範圍第1項所述之電子裝置，其中，該預設控制操作為語音或手勢，該採集單元為話筒或攝像頭。
  3. 如申請專利範圍第1項所述之電子裝置，其中，該判斷模組還用於判斷該第一控制指令是否為修改該狀態轉換單元當前的狀態的指令，該處理單元還包括： 修改模組，用於當該判斷模組判定該第一控制指令為修改該狀態轉換單元當前的狀態的指令時，對該狀態轉換單元的狀態進行修改。
  4. 如申請專利範圍第1項所述之電子裝置，其中，該預設條件為該控制操作所持續的時間是否大於或等於一預設時間或該控制操作的數量是否大於或等於一預設數量。
  5. 如申請專利範圍第1項所述之電子裝置，其中，該狀態轉換單元為狀態機，由狀態寄存器及組合邏輯電路構成，用於根據控制訊號按照預設的狀態轉換規則對控制指令進行轉換。
  6. 一種電子裝置的顯示控制方法，應用於一電子裝置中，該電子裝置包括存儲單元、顯示螢幕、採集單元及狀態轉換單元，該存儲單元存儲有預設控制操作與控制指令之間的對應關係，該狀態轉換單元包括複數個狀態，每一狀態對應一種預設的指令轉換規則，其改良在於，該方法包括以下步驟： 控制該採集單元即時偵測並採集使用者的控制操作； 根據該存儲單元存儲的預設控制操作與控制指令之間的對應關係確定該採集單元採集到的使用者控制操作對應的第一控制指令； 根據一預設條件判斷是否對該確定的控制指令進行轉換； 當判定需要進行指令轉換時，根據該狀態轉換單元在當前狀態下預設的指令轉換規則將該第一控制指令轉換為第二控制指令；及 回應該轉換後的第二控制指令控制該顯示螢幕執行相應的動作。
  7. 如申請專利範圍第6項所述之電子裝置的顯示控制方法，其中，該預設控制操作為語音或手勢，該採集單元為話筒或攝像頭。
  8. 如申請專利範圍第6項所述之電子裝置的顯示控制方法，其中，該方法還包括步驟： 判斷該第一控制指令是否為修改該狀態轉換單元當前的狀態的指令；及 當判定該第一控制指令為修改該狀態轉換單元當前的狀態的指令時，對該狀態轉換單元的狀態進行修改。
  9. 如申請專利範圍第6項所述之電子裝置的顯示控制方法，其中，該預設條件為該控制操作所持續的時間是否大於或等於一預設時間。
  10. 如申請專利範圍第6項所述之電子裝置的顯示控制方法，其中，該預設條件為該控制操作的數量是否大於或等於一預設數量。
TW106122749A 2017-07-06 2017-07-06 電子裝置及電子裝置的顯示控制方法 TWI653550B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106122749A TWI653550B (zh) 2017-07-06 2017-07-06 電子裝置及電子裝置的顯示控制方法
US15/859,742 US20190011991A1 (en) 2017-07-06 2018-01-02 Electronic device and method for controlling display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106122749A TWI653550B (zh) 2017-07-06 2017-07-06 電子裝置及電子裝置的顯示控制方法

Publications (2)

Publication Number Publication Date
TW201907273A TW201907273A (zh) 2019-02-16
TWI653550B true TWI653550B (zh) 2019-03-11

Family

ID=64903184

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106122749A TWI653550B (zh) 2017-07-06 2017-07-06 電子裝置及電子裝置的顯示控制方法

Country Status (2)

Country Link
US (1) US20190011991A1 (zh)
TW (1) TWI653550B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780922B (zh) * 2019-10-22 2022-06-17 珠海格力电器股份有限公司 指令生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062564A1 (en) 2010-09-15 2012-03-15 Kyocera Corporation Mobile electronic device, screen control method, and storage medium storing screen control program
CN103731711A (zh) 2013-12-27 2014-04-16 乐视网信息技术（北京）股份有限公司 智能电视对于操作的执行方法和系统
EP2733578A2 (en) 2012-11-20 2014-05-21 Samsung Electronics Co., Ltd User gesture input to wearable electronic device involving movement of device
TW201545051A (zh) 2014-05-30 2015-12-01 Eminent Electronic Technology Corp Ltd 電子裝置的控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR20130078486A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
US20140173440A1 (en) * 2012-12-13 2014-06-19 Imimtek, Inc. Systems and methods for natural interaction with operating systems and application graphical user interfaces using gestural and vocal input
US9436287B2 (en) * 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US20160132124A1 (en) * 2013-08-02 2016-05-12 Mitsubishi Electric Corporation Gesture determination apparatus and method, gesture operation apparatus, program, and recording medium
US10048748B2 (en) * 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US9495017B2 (en) * 2013-11-20 2016-11-15 Intel Corporation Computing systems for peripheral control
US9966079B2 (en) * 2014-03-24 2018-05-08 Lenovo (Singapore) Pte. Ltd. Directing voice input based on eye tracking
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
US9939913B2 (en) * 2016-01-04 2018-04-10 Sphero, Inc. Smart home control using modular sensing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062564A1 (en) 2010-09-15 2012-03-15 Kyocera Corporation Mobile electronic device, screen control method, and storage medium storing screen control program
EP2733578A2 (en) 2012-11-20 2014-05-21 Samsung Electronics Co., Ltd User gesture input to wearable electronic device involving movement of device
CN103731711A (zh) 2013-12-27 2014-04-16 乐视网信息技术（北京）股份有限公司 智能电视对于操作的执行方法和系统
TW201545051A (zh) 2014-05-30 2015-12-01 Eminent Electronic Technology Corp Ltd 電子裝置的控制方法

Also Published As

Publication number Publication date
TW201907273A (zh) 2019-02-16
US20190011991A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
US9420180B2 (en) Method and device for switching between double cameras
US20170034468A1 (en) User terminal apparatus and controlling method thereof
WO2016034023A1 (zh) 触发终端的方法及相关设备
WO2018082213A1 (zh) 一种显示方法以及电子终端
CN106569758B (zh) 一种无线投屏方法及装置
US11086635B2 (en) Electronic device, method for controlling electronic device, and program
CN104598112A (zh) 按钮交互方法和装置
US20140036128A1 (en) Method and apparatus for manual focusing in portable terminal
RU2619089C2 (ru) Способ и устройство для воспроизведения множества видео
US20150135105A1 (en) Interacting with an application
EP2881855A1 (en) Display apparatus and method for controlling the same
US20160328149A1 (en) Display screen-based physical button simulation method and electronic device
WO2015131554A1 (zh) 一种屏幕亮度调节的方法、装置及电子设备
WO2013123720A1 (zh) 一种控制鼠标模块的方法及电子设备
CN104994427A (zh) 配置管理智能电视桌面开机是否自启动的方法及系统
CN103248925A (zh) 电视接收设备及其控制方法
CN104346064A (zh) 一种信息处理方法及电子设备
CN106879263A (zh) 一种拍摄方法和移动设备
KR20230133970A (ko) 사진촬영 방법, 장치 및 전자기기
TWI653550B (zh) 電子裝置及電子裝置的顯示控制方法
JP2013134579A (ja) ユーザインタフェース装置
WO2024098974A1 (zh) 一种显示设备及外接设备的控制方法
CN109213312B (zh) 电子装置及电子装置的显示控制方法
CN107959811B (zh) 一种可触摸交互式的hdmi in显示及处理方法
WO2015127883A1 (en) Method, apparatus and medium for continuous playback of sound file