TW201738721A - 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體 - Google Patents

螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TW201738721A
TW201738721A TW105113621A TW105113621A TW201738721A TW 201738721 A TW201738721 A TW 201738721A TW 105113621 A TW105113621 A TW 105113621A TW 105113621 A TW105113621 A TW 105113621A TW 201738721 A TW201738721 A TW 201738721A
Authority
TW
Taiwan
Prior art keywords
button
keyboard
light source
sensor
mark
Prior art date
Application number
TW105113621A
Other languages
English (en)
Other versions
TWI695307B (zh
Inventor
姚秉洋
Original Assignee
姚秉洋
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 姚秉洋 filed Critical 姚秉洋
Priority to TW105113621A priority Critical patent/TWI695307B/zh
Priority to CN201710210295.9A priority patent/CN107479717B/zh
Priority to US15/582,189 priority patent/US10452155B2/en
Publication of TW201738721A publication Critical patent/TW201738721A/zh
Application granted granted Critical
Publication of TWI695307B publication Critical patent/TWI695307B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一種螢幕鍵盤之顯示方法，應用於相互連接的一實體鍵盤、一螢幕、一感應器及一電算裝置，該實體鍵盤包含複數按鍵，該感應器用以偵測並取得一操作位置影像，該螢幕鍵盤之顯示方法包含：顯示一螢幕鍵盤於該螢幕之顯示畫面最頂層；讀取該感應器取得之該操作位置影像；將該操作位置影像轉換為一操作位置資料，該操作位置資料包括被觸摸或接近的該按鍵的一相對位置資料；及根據該操作位置資料，顯示一第一按鍵標記於該螢幕鍵盤上對應被觸摸或接近之該按鍵的位置。

Description

螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
本發明是關於一種電腦、行動裝置或抬頭顯示裝置/頭戴顯示裝置/虛擬實境裝置等電算裝置之資料輸入及顯示方法，特別是關於一種螢幕鍵盤之顯示方法及其電腦程式產品。
螢幕虛擬鍵盤（On-Screen Virtual Keyboard）又稱為螢幕鍵盤（On-Screen Keyboard，英文簡稱OSK），微軟Windows作業系統中稱為“螢幕小鍵盤”，例如Windows 7、Windows 8及Windows 10開啟螢幕小鍵盤的方式為：同時按「Win鍵+X鍵」，再點選「執行」，輸入「osk」；或者是，在「開始」、「所有程式」、「附屬應用程式」、「輕鬆存取」中，選取「螢幕小鍵盤」。
習見螢幕鍵盤雖然可以用來取代實體鍵盤以輸入資料，但除非利用觸控式螢幕（Touch-Screen）可用手指點選螢幕鍵盤中的按鍵，否則，僅能以滑鼠操作一個一個按鍵慢慢點選，資料輸入速度非常慢，並不適合用來連續輸入大量資料。通常，使用者在萬不得已的情況下才會使用習見螢幕鍵盤，例如：實體鍵盤的某個按鍵故障無法正常輸入，或是，實體鍵盤為英文鍵盤但臨時需要輸入法文。雖然使用者亦可開啟習見螢幕鍵盤並利用實體鍵盤輸入資料，但此方式意義不大，因為習見螢幕鍵盤無法即時反饋使用者在實體鍵盤上的手指待命位置，習見螢幕鍵盤僅能即時反饋使用者在實體鍵盤上的擊鍵（Keystroke）。
先前技術一，美國專利申請案公開號2012/0249587 A1 （發明者Glen及其他人等）之「KEYBOARD AVATAR FOR HEADS UP DISPLAY （HUD）」，其中揭露一種抬頭顯示裝置（HUD）或頭戴顯示裝置（HMD）用以查看連結至電腦的輸入裝置以及代表使用者手指的圖像。先前技術一利用攝像鏡頭拍攝輸入裝置以及使用者手指的影像，以呈現在抬頭顯示裝置/頭戴顯示裝置上，如先前技術一3A圖所示，或是將影像經由轉換後，以代表圖像（手指/手部圖像602，及鍵盤圖像603）呈現在抬頭顯示裝置/頭戴顯示裝置上，如先前技術一3B圖所示。
先前技術二，美國專利Patent No. 8,928,590 B1（發明者Tarek）之「GESTURE KEYBOARD METHOD AND APPARATUS」，其中揭露一種可捕捉操作手勢的鍵盤，其利用裝設在鍵盤上的一對攝像鏡頭捕捉使用者在手勢操作範圍（即，攝像鏡頭的可視範圍）內的操作手勢，經由手勢辨識後，即可與系統互動。
上述先前技術皆未利用螢幕鍵盤技術並加以改良，或是轉換後的代表圖像，實際影像若經半透明效果的影像處理後失真度將大幅提高，恐致影像中的手指位置辨識不易，若不經半透明效果的影像處理又佔據大幅顯示畫面（實際影像會完全擋住下方重疊畫面），縱使轉換後的代表圖像可以半透明效果呈現，然而手指代表圖像602仍舊佔據太多顯示畫面，且易分散使用者的注意力，而且虛（虛擬實境畫面或遊戲畫面）實（實際鍵盤影像）混搭會有突兀的感覺；先前技術二的手勢操作範圍約在鍵盤上方4英吋處，其操作手勢與實體鍵盤上的按鍵無關，因此無法與螢幕鍵盤技術結合，也無助於加速使用者利用實體鍵盤輸入資料，更無法協助使用者訓練盲打（打字時眼睛不看鍵盤，英文稱Touch Typing）。此外，該些先前技術皆未揭露攝像鏡頭誤判手指位置時應如何修正的問題，因此，實有必要改善先前技術以提出一種改良的螢幕鍵盤技術，除了即時反饋擊鍵，又可即時反饋使用者在實體鍵盤上的手指待命位置，並避免攝像鏡頭誤判手指待命位置的問題，改良後的螢幕鍵盤技術必可成為盲打的練習利器，另外，應用在抬頭顯示裝置、頭戴顯示裝置或虛擬實境裝置（VR）上，亦解決使用者無法直接目視實體鍵盤的問題，可協助原本不擅盲打的使用者利用實體鍵盤輸入資料並顯示於螢幕/抬頭顯示裝置/頭戴顯示裝置/虛擬實境裝置上。
有鑑於此，本發明提出一種螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體，其目的在於，以一種螢幕鍵盤同時顯示擊鍵資訊，以及手指待命位置資訊，讓使用者的視線僅需專注在裝置（如：電腦/行動裝置/虛擬實境裝置）上之螢幕鍵盤，不需注視實體鍵盤，以加快資料輸入的速度。
本發明一實施例提出一種螢幕鍵盤之顯示方法，應用於相互連接的一實體鍵盤、一螢幕、一感應器及一電算裝置，該實體鍵盤包含複數按鍵，該感應器用以偵測並取得一操作位置影像，該螢幕鍵盤之顯示方法包含：顯示一螢幕鍵盤於該螢幕之顯示畫面最頂層；讀取該感應器取得之該操作位置影像；將該操作位置影像轉換為一操作位置資料，該操作位置資料包括被觸摸或接近的該按鍵的一相對位置資料；以及根據該操作位置資料，顯示一第一按鍵標記於該螢幕鍵盤上對應被觸摸或接近之該按鍵的位置。
本發明復提出一種電腦程式產品，適於儲存於一電腦可讀取媒體，當電腦載入該電腦程式並執行後，可完成前述之螢幕鍵盤之顯示方法。
本發明又再提出一種非暫態電腦可讀取媒體，儲存一電腦程式，該電腦程式包含電腦可執行之複數指令，用以執行前述之螢幕鍵盤之顯示方法。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者瞭解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。
本發明係使用於但不限定於個人電腦（PC/Mac）、筆記型電腦（Laptop/Notebook/Portable Computer）、智慧手機（Smartphone）、平板電腦（Tablet PC）、智慧電視（Smart TV）、抬頭顯示裝置（Head-Up Display）/頭戴顯示裝置（Head-Mounted Display）/虛擬實境裝置（Virtual Reality Display）、電視遊樂器（Video Game Console，或TV Game Console）…等等電算裝置（Computing Device），係通訊連接實體鍵盤10、20、30、40、50與螢幕76a、76b、76c。所述通訊連接的方式可為無線通訊或有線通訊方式。實體鍵盤10、20、30、40、50與螢幕76a、76b、76c可設置於電算裝置外部而與電算裝置連接，或者可內置於電算裝置中。
本說明書之圖式係用以說明本發明之功能及技術特徵，並非用以限定本發明之外觀造型。以下將分別說明實體鍵盤10、20、30、40、50之多個實施例及螢幕鍵盤68a、68b、68c、68d之多個實施例，此些不同實施例之實體鍵盤10、20、30、40、50可和此些不同實施例之螢幕鍵盤68a、68b、68c、68d任意配合。
請參閱第1圖。第1圖為本發明第一實施例實體鍵盤之示意圖。本實施例之實體鍵盤10包括基座11、複數按鍵12、光源模組13、第一感應器14、第二感應器15以及控制模組16。基座11具有容置空間111用以容設複數按鍵12。第1圖所示之實體鍵盤10透過多個區域的開孔以容置不同功能之該些按鍵12，其為習知常用之技術手段，在此便不加以贅述。
光源模組13設置於基座11，用以向複數按鍵12提供光源。如第1圖中所示，在基座11上方較長邊的中央位置外側邊，設置可容設光源模組13之固定座112。光源模組13是朝向複數按鍵12設置，以提供複數按鍵12所需的光源。在本實施例中，為能向所有按鍵12提供光源，光源模組13所設置之高度會高於所有按鍵之高度，以使得光源模組13所發出的光源，能夠照射到所有按鍵12，亦或是使所有按鍵12位在的區域產生足夠的環境亮度。另外，光源模組13可為一LED元件，且可發出可見光。在其他實施態樣中，光源模組亦可為發出紅外線光之LED元件，本發明不以此為限。
第一感應器14及第二感應器15亦設置於基座11並朝向複數按鍵12。在本實施例中，第一感應器14及第二感應器15同樣設置於固定座112上，並朝向複數按鍵12。第一感應器14用以偵測複數按鍵12之環境亮度，第二感應器15用以偵測並取得操作位置影像。在本實施例中，固定座112係設置於基座11上方較長邊的中央位置外側邊，其是為了使光源模組13、第一感應器14及第二感應器15能夠左右對稱地向複數按鍵12提供光源或進行偵測，但本發明不以此為限。在其他實施態樣中，固定座112可設置於基座11的任一側邊的任一位置，只能要夠提供複數按鍵12光源，並偵測或照射複數按鍵12即可。另外，本實施例中的光源模組13、第一感應器14及第二感應器15皆設置於一個固定座112，但本發明亦不以此為限。光源模組13、第一感應器14及第二感應器15亦可分別設置於基座11的任一位置，或二二一組設置於基座11的任一位置。或第一感應器14設置於基座11的任一位置，光源模組13及第二感應器15設置於一個固定座112。
在本實施例中，第一感應器14為光度感應器，或稱環境光感應器（Ambient Light Sensor）。第一感應器14可偵測複數按鍵12所在環境的環境亮度。第一感應器14是為了判斷複數按鍵12所在的環境亮度是否充足，以使第二感應器15可偵測並取得所需資料。
在本實施例中，第二感應器15為攝像鏡頭，而第二感應器15偵測並取得的操作位置影像即為拍攝到的手指與按鍵12影像，此影像由控制模組16傳送至電算裝置64a（如第5圖所示）端，由電算裝置64a端的影像分析模組58進行分析影像，以轉換成操作位置資料。操作位置資料包括被觸摸或接近的該些按鍵12的相對位置資料，即使用者的手指與該些按鍵12之相對位置資料。由於第二感應器15需要能夠拍攝到所有按鍵12才能正確判斷使用者的手指與該些按鍵12之相對位置資料，因此第二感應器15所設置之位置要高於任一按鍵12的表面。
控制模組16設置於基座11之容置空間111中，並電連接複數按鍵12、光源模組13、第一感應器14及第二感應器15。控制模組16可位於基座11之容置空間111中的任一位置，本發明不以此為限。當控制模組16接收並判斷第一感應器14偵測到之環境亮度等於或大於預設環境亮度時，即會啟動第二感應器15並接收第二感應器15之操作位置影像。當控制模組16判斷第一感應器14偵測到之環境亮度小於預設環境亮度時，控制模組16開啟光源模組13向複數按鍵12提供光源。
在此，預設環境亮度即為使得第二感應器15能夠清楚偵測並取得操作位置影像的環境亮度。預設環境亮度可事先設定後預存於控制模組16中，以利進行後續比對判斷。控制模組16所接收的操作位置影像，須交由電算裝置64a端進行分析。
當控制模組16要開始取得操作位置影像前，先判斷第一感應器14偵測到之環境亮度是否等於或大於預設環境亮度，若是，則表示第二感應器15可清楚偵測並取得操作位置影像。此時，則啟動第二感應器15開始拍攝並偵測取得操作位置影像。當控制模組16判斷第一感應器14偵測到之環境亮度小於預設環境亮度時，即表示此時第二感應器15所拍攝的影像可能會過暗而無法偵測並取得操作位置影像。因此，控制模組16即會開啟光源模組13向複數按鍵12提供光源，以改善複數按鍵12區域的環境亮度。
藉此，上述實體鍵盤可透過自動補光技術解決當環境光源不足，且應用在抬頭顯示裝置、頭戴顯示裝置或虛擬實境裝置（VR）時，即使在未開燈光的黑暗環境中，使用者藉由本實施例之自動補光技術仍可利用實體鍵盤10輸入資料。
在本實施例中，當第二感應器15已啟動並持續拍攝、偵測並取得操作位置影像時，控制模組16可得知操作位置影像是否包含手指與複數按鍵12之相對位置資料（詳見後述第5圖之說明）。當操作位置影像未包含手指與複數按鍵12之相對位置資料時，即代表使用者已沒有在繼續操作實體鍵盤10，此時控制模組16關閉第二感應器15，停止繼續拍攝、偵測並取得操作位置影像。藉此，可在使用者未操作實體鍵盤10，或持續一段時間未操作實體鍵盤10時主動關閉第二感應器15，以節省電源。
另外，當光源模組13為啟動狀態，此時第一感應器14持續偵測環境亮度，當第一感應器14偵測到之環境亮度大於預設環境亮度時，控制模組16關閉該光源模組13。在此，是當環境亮度已被改善，例如使用者打開室內燈光，第一感應器14偵測到之環境亮度已大於預設環境亮度，即不需要光源模組13之光源進行輔助。此時，控制模組16主動關閉該光源模組13，以節省電源。
接著請參閱第2圖，第2圖為本發明第二實施例實體鍵盤之示意圖。本實施例中與第一實施例相同之元件及結構以相同之元件符號表示且不再贅述。本實施例與第一實施例不同之處在於，本實施例之實體鍵盤20的光源模組為複數個光源模組23，且複數光源模組23是設置於基座11之容置空間111中，並位於複數按鍵12之下方，且可朝向複數按鍵12提供光源。本實施例中複數個光源模組23為複數個LED元件231設置於一個電路板232上並置於按鍵12下方。在其他實施態樣中，複數個光源模組亦可為在每一個按鍵背面設置LED元件，或是於基座之容置空間的側邊設置複數個LED元件，並配合導光板、反射片等元件，使光源由容置空間朝向按鍵12方向射出。
在本實施例中，當控制模組16判斷第一感應器14偵測到之環境亮度小於預設環境亮度時，控制模組16陸續開啟複數光源模組23的至少一個，直到控制模組16判斷第一感應器14偵測到之環境亮度等於或大於預設環境亮度或是複數光源模組23全部開啟。也就是說，當控制模組16判斷現在環境亮度不足時，可先控制一個或多個光源模組23開啟，以提供光源。接著，控制模組16持續接收並判斷第一感應器14偵測到之環境亮度，若仍不足，則再開啟一個或多個光源模組23。一直到控制模組16判斷第一感應器14偵測到之環境亮度已等於或大於預設環境亮度，才停止再開啟光源模組23。或者控制模組16陸續開啟光源模組23直到所有的光源模組23皆已被開啟。
藉此，可透過控制模組16進行判斷，開啟足夠提供所需環境亮度之光源模組23即可，而不需要每一次在環境亮度不足時就一次開啟所有的光源模組23。如此，在本實施例之實體鍵盤20可在需要時開啟足夠之光源模組23，又可達到節約省電之功效。
請參閱第3圖，第3圖為本發明第三實施例實體鍵盤之示意圖。本實施例之實體鍵盤30包括第一鍵盤31、第二鍵盤32、第一光源模組33、第二光源模組34、第一感應器35、第二感應器36、第三感應器37以及控制模組38。第一鍵盤31包括具有第一容置空間312之第一基座311及複數第一按鍵313，複數第一按鍵313設置於第一容置空間312中。第二鍵盤32包括具有第二容置空間322之第二基座321及複數第二按鍵323，複數第二按鍵323設置於第二容置空間322中。在本實施例中，第一鍵盤31及第二鍵盤32為將一般實體鍵盤之按鍵，分成可成組使用之左右鍵盤，但本發明不以此為限。第一鍵盤及第二鍵盤亦可為文字符號鍵盤與數字鍵盤之組合。
第一光源模組33設置於第一基座311，用以向複數第一按鍵313提供第一光源。如第3圖所示，在第一基座311上方較長邊的中央位置外側邊，設置可容設第一光源模組33之第一固定座314。第一光源模組33是朝向複數第一按鍵313設置，以提供複數第一按鍵313所需的光源。在本實施例中，為能向所有第一按鍵313提供光源，第一光源模組33所設置之高度會高於所有按鍵之高度，以使得第一光源模組33所發出的光源，能夠照射到所有第一按鍵313，亦或是使所有第一按鍵313位在的區域產生足夠的環境亮度。
同樣地，第二光源模組34設置於第二基座321，用以向複數第二按鍵323提供第二光源。如第3圖所示，在第二基座321上方較長邊的中央位置外側邊，設置可容設第二光源模組34之第二固定座324。第二光源模組34是朝向複數第二按鍵323設置，以提供複數第二按鍵323所需的光源。在本實施例中，為能向所有第二按鍵323提供光源，第二光源模組34所設置之高度會高於所有按鍵之高度，以使得第二光源模組34所發出的光源，能夠照射到所有第二按鍵323，亦或是使所有第二按鍵323位在的區域產生足夠的環境亮度。
第一感應器35設置於第一基座311，用以偵測複數第一按鍵313之環境亮度。如第3圖所示，第一感應器35則設置於此第一固定座314上，並朝向複數第一按鍵313。由於第一感應器35不一定要朝向所有按鍵，僅需單點偵測，故，在另一些實施例中，第一感應器35亦可設置於第一基座311或第二基座321的其他位置，例如任意按鍵旁的平面空間（低於按鍵高度）。另外，第一鍵盤31與第二鍵盤32的距離一般來說不可能太遠，兩者的環境亮度通常不會有太大的差異，因此，本實施例以透過一個第一感應器35（僅偵測第一鍵盤31之環境亮度）讓控制模組16同時控制第一光源模組33與第二光源模組34。
在本實施例中，第一感應器35為光度感應器，或稱環境光感應器（Ambient Light Sensor）。第一感應器35可偵測複數第一按鍵313所在環境的環境亮度。在另一些實施例中，第一感應器35設置在第二鍵盤32之第二基座321，以偵測複數第二按鍵323所在環境的環境亮度。第一感應器35是為了判斷複數第一按鍵313（當設置於第一鍵盤31時）或複數第二按鍵323（當設置於第二鍵盤32時）所在的環境亮度是否充足，以使第二感應器36及第三感應器37可偵測並取得所需資料。
第二感應器36設置於第一基座311並朝向複數第一按鍵313。在本實施例中，第二感應器36與第一光源模組33一起設置於第一固定座314上，並朝向複數第一按鍵313。第二感應器36用以偵測並取得第一操作位置影像。在本實施例中，第一固定座314係設置於第一基座311上方側的中央位置外側邊，其是為了使第一光源模組33及第二感應器36能夠左右對稱得向複數第一按鍵313提供光源或進行偵測，但本發明不以此為限。在其他實施態樣中，第一固定座314可設置於第一基座311的任一側邊的任一位置，只能要夠提供複數第一按鍵313光源，並偵測或照射複數第一按鍵313即可。另外，本實施例中的第一光源模組33及第二感應器36皆設置於一個第一固定座314，但本發明亦不以此為限。第一光源模組33及第二感應器36亦可分別設置於第一基座311的任一位置。
第三感應器37設置於第二基座321並朝向複數第二按鍵323。在本實施例中，第三感應器37與第二光源模組34一起設置於第二固定座324上，並朝向複數第二按鍵323。第三感應器37用以偵測並取得第二操作位置影像。在本實施例中，第二固定座324係設置於第二基座321上方側的中央位置外側邊，其是為了使第二光源模組34及第三感應器37能夠左右對稱得向複數第二按鍵323提供光源或進行偵測，但本發明不以此為限。在其他實施態樣中，第二固定座324可設置於第二基座321的任一側邊的任一位置，只能要夠提供複數第二按鍵323光源，並偵測或照射複數第二按鍵323即可。另外，本實施例中的第二光源模組34及第三感應器37皆設置於一個第二固定座324，但本發明亦不以此為限。第二光源模組34及第三感應器37亦可分別設置於第二基座321的任一位置。
在本實施例中，第二感應器36及第三感應器37為攝像鏡頭。而第二感應器36及第三感應器37偵測並取得的操作位置影像即分別為拍攝到的第一影像與第二影像，此第一影像與第二影像由控制模組38傳送至電算裝置64a端，由電算裝置64a端的影像分析模組58進行分析影像，以轉換成操作位置資料其係使用者的手指與複數第一按鍵313或複數第二按鍵323之相對位置資料。由於第二感應器36需要能夠拍攝到所有第一按鍵313才能正確判斷使用者的手指與複數第一按鍵313之第一相對位置資料。第三感應器37需要能夠拍攝到所有第二按鍵323才能正確判斷使用者的手指與複數第二按鍵323之第二相對位置資料。因此第二感應器36所設置之位置要高於任一第一按鍵313的表面，第三感應器37所設置之位置要高於任一第二按鍵323的表面。
控制模組38設置於第二容置空間322中，並電連接複數第一按鍵313、複數第二按鍵323、第一光源模組33、第二光源模組34、第一感應器35、第二感應器36及第三感應器37。在此，雖然控制模組38位於第二容置空間322，但本發明不以此為限。但在其他實施態樣中，控制模組亦可設置於第一容置空間中。另外，本實施例之按制模組38雖然是設置於第二容置空間322中，但其可透過無線模組控制第一鍵盤31中各元件的開啟或關閉，以及接收在第一鍵盤31中各元件所偵測取得之資料。在其他實施態樣中，亦可使用有線方式連接第一鍵盤及第二鍵盤，本發明不以此為限。另外，在一些實施態樣中，亦可於第一鍵盤中設置一個第一控制模組，於第二鍵盤中設置一個第二控制模組，以分別控制第一鍵盤及第二鍵盤中之各元件的運作。
當控制模組38判斷第一感應器35偵測到之環境亮度等於或大於一預設環境亮度時，啟動第二感應器36及第三感應器37並接收第二感應器36之第一操作位置影像與第三感應器37之第二操作位置影像。當控制模組38判斷第一感應器35偵測到之環境亮度小於預設環境亮度時，控制模組38開啟第一光源模組33向複數第一按鍵313提供第一光源、開啟第二光源模34組向複數第二按鍵323提供第二光源或同時開啟第一光源模組33及第二光源模34。
在此，預設環境亮度即為使得第二感應器36及第三感應器37能夠清楚偵測並取得操作位置影像的環境亮度。預設環境亮度可事先設定後預存於控制模組38中，以利進行後續比對判斷。控制模組38所接收的操作位置影像，須交由電算裝置64a端進行分析。
當控制模組38要開始取得第一操作位置影像及第二操作位置影像前，先判斷第一感應器35偵測到之環境亮度是否等於或大於預設環境亮度，若是，則表示第二感應器36及第三感應器37可清楚偵測並取得操作位置影像。此時，則啟動第二感應器15開始拍攝並偵測取得第一操作位置影像及第二操作位置影像。當控制模組38判斷第一感應器35偵測到之環境亮度小於預設環境亮度時，即表示此時第二感應器36或第三感應器37所拍攝的影像可能會過暗而無法偵測並取得第一操作位置影像或第二操作位置影像。因此，控制模組38即會開啟第一光源模組33向複數第一按鍵313提供光源、開啟第二光源模組34向複數第二按鍵323提供光源或同時開啟第一光源模組33及第二光源模組34，以改善複數第一按鍵313及複數第二按鍵323區域的環境亮度。
藉此，上述結構可運用在左右分離式的實體鍵盤，並透過自動補光技術解決當環境光源不足，且應用在抬頭顯示裝置、頭戴顯示裝置或虛擬實境裝置（VR）時，即使在未開燈光的黑暗環境中，使用者藉由本實施例之自動補光技術仍可利用實體鍵盤30輸入資料。
在本實施例中，當第二感應器36及第三感應器37已啟動並持續拍攝、偵測並取得第一操作位置影像及第二操作位置影像後，控制模組38可得知第一操作位置影像是否包含手指與複數第一按鍵313之第一相對位置資料，以及第二操作位置影像是否包含手指與複數第二按鍵323之第二相對位置資料。此些第一及第二相對位置資料可由電算裝置64a端分析後傳回至控制模組38，詳細可參閱後面關於第5圖的說明，雖然並非本實施例之裝置，但原理大致相同。當第一操作位置影像及第二操作位置影像皆未包含手指與複數第一按鍵313之第一相對位置資料及手指與複數第二按鍵323之第二相對位置資料時，即代表使用者已沒有在繼續操作實體鍵盤30，此時控制模組38關閉第二感應器36及第三感應器37，停止繼續拍攝、偵測並取得第一操作位置影像及第二操作位置影像。藉此，可在使用者未操作實體鍵盤30，或持續一段時間未操作實體鍵盤30時主動關閉第二感應器36及第三感應器37，以節省電源。
另外，當第一光源模組33或第二光源模組34為啟動狀態，且第一感應器35偵測到之環境亮度等於或大於預設環境亮度時，控制模組38關閉該第一光源模組33或第二光源模組34。意即，當第一光源模組33為啟動狀態、第二光源模組34為啟動狀態或第一光源模組33及第二光源模組34皆為啟動狀態，此時第一感應器35持續偵測環境亮度，當第一感應器35偵測到之環境亮度大於預設環境亮度時，控制模組38關閉第一光源模組33及第二光源模組34。在此，是當環境亮度已被改善，例如使用者打開室內燈光，第一感應器35偵測到之環境亮度已大於預設環境亮度，即不需要第一光源模組33或第二光源模組34之光源進行輔助。此時，控制模組38主動關閉第一光源模組33及第二光源模組34，以節省電源。
接著請參閱第4圖，第4圖為本發明第四實施例實體鍵盤之示意圖。本實施例中與第三實施例相同之元件及結構以相同之元件符號表示且不再贅述。本實施例與第三實施例不同之處在於，本實施例之實體鍵盤40的第一光源模組為複數個第一光源模組43，且複數第一光源模組43是設置於第一基座311之第一容置空間312中，並位於複數第一按鍵313之下方，且可朝向複數第一按鍵313提供第一光源。且第二光源模組為複數個第二光源模組44，且複數第二光源模組44是設置於第二基座321之第二容置空間322中，並位於複數第二按鍵323之下方，且可朝向複數第二按鍵323提供第二光源。
本實施例中複數個第一光源模組43為複數個LED元件431設置於一個電路板432上並置於第一按鍵313下方。複數個第二光源模組44為複數個LED元件441設置於一個電路板442上並置於第二按鍵323下方。在其他實施態樣中，複數個光源模組亦可為在每一個按鍵背面設置LED元件，或是於基座之容置空間的側邊設置複數個LED元件，並配合導光板、反射片等元件，使光源由容置空間朝向按鍵方向射出。
另外，本實施例與第三實施例不同之處在於第一感應器45為二個，其中一個第一感應器45設置於第一基座311，且在本實施例中是與第二感應器36一起設置於第一固定座314。另一個第一感應器45則是設置於第二基座321。且在本實施例中是與第三感應器37一起設置於第二固定座324。
再者，第一鍵盤31及第二鍵盤32分別設置用來偵測複數第一按鍵313及複數第二按鍵323之第一感應器45，可以針對第一鍵盤31及第二鍵盤32分別偵測環境亮度，以各別得到各實體鍵盤的環境亮度值。如此，則可分別控制第一光源模組43及第二光源模組44的開啟或關閉，以得到所需的環境亮度，而不用同時開啟第一光源模組43及第二光源模組44，亦可達到節省電源之功效。
在本實施例中，當控制模組38判斷位於第一基座311之第一感應器45偵測到之環境亮度小於預設環境亮度時，控制模組38陸續開啟複數第一光源模組43的至少一個，直到控制模組38判斷第一感應器45偵測到之環境亮度等於或大於預設環境亮度或是複數第一光源模組43全部開啟。也就是說，當控制模組38判斷現在環境亮度不足時，可先控制一個第一光源模組43開啟（在此為控制一個LED元件431開啟），以提供光源。接著，控制模組38持續接收並判斷第一感應器45偵測到之環境亮度，若仍不足，則再開啟 一個第一光源模組43（在此為控制一個LED元件431之開啟）。一直到控制模組38判斷第一感應器45偵測到之環境亮度已等於或大於預設環境亮度，才停止再開啟第一光源模組43。或者控制模組38陸續開啟第一光源模組43直到所有的第一光源模組43皆已被開啟。在此雖以一次開啟一個LED元件431為舉例說明，但在其他實施態樣中，亦可將二個至多個LED元件431設定為一組，以一次開啟二至多個LED元件431。
同樣地，當控制模組38判斷位於第二基座321之第一感應器45偵測到之環境亮度小於預設環境亮度時，控制模組38陸續開啟複數第二光源模組44的至少一個，直到控制模組38判斷第一感應器45偵測到之環境亮度等於或大於預設環境亮度或是複數第二光源模組44全部開啟。也就是說，當控制模組38判斷現在環境亮度不足時，可先控制一個第二光源模組44開啟（在此為控制一個LED元件441開啟），以提供光源。接著，控制模組38持續接收並判斷第一感應器45偵測到之環境亮度，若仍不足，則再開啟 一個第二光源模組44（在此為控制一個LED元件441之開啟）。一直到控制模組38判斷第一感應器45偵測到之環境亮度已等於或大於預設環境亮度，才停止再開啟第二光源模組44。或者控制模組38陸續開啟第二光源模組44直到所有的第二光源模組44皆已被開啟。在此雖以一次開啟一個LED元件441為舉例說明，但在其他實施態樣中，亦可將二個至多個LED元件441設定為一組，以一次開啟二至多個LED元件441。
藉此，可透過控制模組38進行判斷，開啟足夠提供所需環境亮度之第一光源模組43或第二光源模組44即可，而不需要每一次在環境亮度不足時就一次開啟所有的第一光源模組43或第二光源模組44。如此，在本實施例之實體鍵盤40可在需要時開啟足夠之第一光源模組43或第二光源模組44，又可達到節約省電之功效。
另外，由於本實施例有二個第一感應器45分別設置於第一基座311及第二基座321，而可分別偵測複數第一按鍵313及第二按鍵323之環境亮度。因此，當第一光源模組43為啟動狀態，且位於第一基座311之第一感應器45偵測到之環境亮度等於或大於預設環境亮度時，控制模組38關閉第一光源模組43。或是當第二光源模組44為啟動狀態，且位於第二基座321之第一感應器45偵測到之環境亮度等於或大於預設環境亮度時，控制模組38關閉第二光源模組44。
意即，當第一光源模組43為啟動狀態、第二光源模組44為啟動狀態或第一光源模組43及第二光源模組44皆為啟動狀態，此時二個第一感應器45會持續偵測第一鍵盤31及第二鍵盤32的環境亮度。並分別依據各第一感應器45偵測到之環境亮度來關閉第一光源模組43或第二光源模組44。在此，是當環境亮度已被改善，例如使用者打開室內燈光，第一感應器45偵測到之環境亮度已大於預設環境亮度，即不需要第一光源模組33或第二光源模組34之光源進行輔助。此時，控制模組38主動關閉第一光源模組43或第二光源模組44，以節省電源。
請參閱第5圖，第5圖為本發明第一實施例實體鍵盤與對應電算裝置之系統方塊圖。其中，控制模組16進一步包含微控制單元161（Micro Control Unit）、擊鍵判斷單元162及感應控制單元163。擊鍵判斷單元162電連接至對應於每一個按鍵12之接點（或稱按鍵接點），用以偵測接點因擊鍵而由常開狀態變化為通路狀態，據以產生按鍵掃描碼。微控制單元161透過鍵盤驅動程式（Keyboard Driver）將該按鍵掃描碼儲存至電算裝置64a端的鍵盤緩衝區（Keyboard Buffer）的第二緩衝區62，並發送中斷請求至電算裝置64a的處理器66。接著，電算裝置64a的處理器66響應中斷請求，並自第二緩衝區62讀取按鍵掃描碼，而可得知哪一個按鍵12被擊鍵，所謂的“擊鍵”包含按鍵的按壓（Key Down，產生Make Code）與釋放（Key Up，產生Break Code）。以上屬於本發明實體鍵盤擊鍵的作動流程部份。
感應控制單元163電連接至第一感應器14、第二感應該15及光源模組13。前述之預設環境亮度係儲存於感應控制單元163，當第一感應器14偵測到之環境亮度小於預設環境亮度時，由感應控制單元163開啟光源模組13以提供光源，當偵測到之環境亮度等於或大於預設環境亮度時，感應控制單元163啟動第二感應器15開始偵測取得操作位置影像。而第二感應器15偵測並取得的操作位置影像，係由微控制單元161透過鍵盤驅動程式56儲存至電算裝置64a端的鍵盤緩衝區的第一緩衝區60，並發送中斷請求至電算裝置64a的處理器66，以便電算裝置64a的處理器66響應中斷請求，並自第一緩衝區60讀取操作位置影像，接著，由電算裝置64a端設置的影像分析模組58進行分析影像資料，以進一步轉換成操作位置資料，在操作位置資料中包含被觸摸或接近的該些按鍵12的相對位置資料，即使用者的手指與按鍵12之相對位置資料。當操作位置影像因影像過暗而無法進行辨識分析時，影像分析模組58通知微控制單元161，以便感應控制單元163開啟光源模組13以提供光源或是加強光源。當操作位置資料不包含手指與按鍵12之相對位置資料時，影像分析模組58通知微控制單元161，以便感應控制單元163關閉第二感應器15，停止繼續偵測並取得操作位置影像。
上述緩衝區採用先進先出（FIFO，First-in First-out）的佇列架構。在一些實施例中，操作位置影像儲存至專屬的第一緩衝區60後，不以發送中斷請求的方式通知電算裝置64a的處理器66，而是電算裝置64a的處理器66以輪詢（Polling）方式每隔一段時間自動讀取專屬儲存操作位置影像的第一緩衝區60。同樣地，按鍵掃描碼儲存至專屬的第二緩衝區62後，也可由電算裝置64a的處理器66以輪詢方式每隔一段時間自動讀取專屬儲存按鍵掃描碼的第二緩衝區62。
請參閱第6圖，第6圖為本發明第五實施例實體鍵盤與對應電算裝置之系統方塊圖。本實施例的實體鍵盤50與第一實施例之實體鍵盤不同之處在於本實施例之實體鍵盤50不包括任何感應器，而其擊鍵判斷單元16之功能與作動流程如上述第一實施例所述，故不贅述。微控制單元161於此亦僅處理擊鍵判斷單元162所產生的按鍵掃描碼，作動流程亦同上述第一實施例的作動流程。而電算裝置64b與前述第一實施例電算裝置64a的差異，主要在於電算裝置64b設有第四感應器51，以及獨立於鍵盤驅動程式56之鍵盤緩衝區之外的第三緩衝區63。第四感應器51用以偵測並取得操作位置影像。在本實施例中，第四感應器51為攝像鏡頭，而第四感應器51偵測並取得的操作位置影像即為拍攝到的手指與按鍵12影像，將操作位置影像儲存至第三緩衝區63後，由影像分析模組58進行分析影像，以轉換成操作位置資料，操作位置資料包括被觸摸或接近的該些按鍵12的相對位置資料，即使用者的手指與該些按鍵12之一相對位置資料。第四感應器51可例如內建於筆記型電腦螢幕上方之攝像鏡頭，又例如HTC的虛擬實境裝置Vive設於前端下方的攝像鏡頭，皆可用來拍攝實體鍵盤50的操作位置影像。
請參閱第7圖，第7圖為本發明第六實施例實體鍵盤與對應電算裝置之系統方塊圖。本實施例的實體鍵盤50與第五實施例相同，不另贅述。而電算裝置64c與第五實施例電算裝置64b差異之處在於增設了第五感應器52及第三光源模組53，第五感應器52用以偵測複數按鍵12之環境亮度是否充足，以使第四感應器51可偵測並取得所需資料，於此第五感應器52為光度感應器，或稱環境光感應器。第三光源模組53可為一LED元件，且可發出可見光。在其他實施態樣中，第三光源模組53亦可為發出紅外線光之LED元件，本發明不以此為限。當處理器66接收並判斷第五感應器52偵測到之環境亮度等於或大於預設環境亮度時，即會啟動第四感應器51並接收第四感應器51之操作位置影像。當處理器66判斷第五感應器52偵測到之環境亮度小於預設環境亮度時，處理器66開啟第三光源模組53向複數按鍵12提供光源。
以下所述本發明螢幕鍵盤之顯示方法及其電腦程式產品和非暫態電腦可讀取媒體，即係利用上述該些實施例之實體鍵盤10、20、30、40、50及電算裝置64a、64b、64c據以實施。
參閱第8圖至第12圖，本發明第七實施例螢幕鍵盤68a之示意圖。本實施例之螢幕鍵盤68a之顯示，係應用第五實施例中的電算裝置64b及實體鍵盤50進行說明。第8圖說明了本實施例螢幕鍵盤68a顯示於電算裝置64b內置或外接之螢幕76a，螢幕鍵盤68a執行後是位於作業系統桌面70的最頂層（即，視圖屬性設為“Topmost”），亦即，即使其他應用程式之視窗顯示在螢幕鍵盤68a的同一位置，仍不會蓋過螢幕鍵盤68a的顯示。螢幕鍵盤68a之鍵盤佈局（Keyboard Layout）係對應實體鍵盤50 （如第10圖所示）之佈局而繪製，以避免與實際按鍵位置差異過大，讓使用者不適應。螢幕鍵盤68a係電腦程式產品（Computer Program Product）之一部份。
第9圖係螢幕鍵盤68a之放大示意圖，其說明了當使用者手指觸摸或“接近但未碰觸”（例如手指以極近的距離懸浮在按鍵12上方）實體鍵盤50之按鍵12時，第四感應器51偵測並取得操作位置影像，操作位置影像即為拍攝到的手指與按鍵12影像，影像分析模組58進行分析操作位置影像後轉換成操作位置資料。操作位置資料包括被觸摸或接近的該些按鍵12的相對位置資料，即使用者的手指與該些按鍵12之相對位置資料。處理器66再根據操作位置資料轉換成對應的第一按鍵標記72，以便於螢幕鍵盤68a中顯示對應被觸摸按鍵12的第一按鍵標記72。於此，第一按鍵標記72的標示位置包含：「按鍵a」、「按鍵s」、「按鍵d」、「按鍵f」、「按鍵j」、「按鍵k」、「按鍵l」、「按鍵;」及「空白鍵」。第10圖係對應第9圖，第10圖說明了使用者手指觸摸實體鍵盤50上的「按鍵A」、「按鍵S」、「按鍵D」、「按鍵F」、「按鍵J」、「按鍵K」、「按鍵L」、「按鍵;」及「空白鍵」之按鍵12。當使用者手指觸摸或接近按鍵12而未擊鍵時，此時手指的所在位置可稱為「手指待命位置」（Finger Standby Position）或「手指準備位置」（Finger Ready Position）。
第11圖說明了螢幕鍵盤68a上的「按鍵j」同時標示有第一按鍵標記72與第二按鍵標記74，亦即，使用者手指觸摸或接近實體鍵盤50上的「按鍵A」、「按鍵S」、「按鍵D」、「按鍵F」、「按鍵J」、「按鍵K」、「按鍵L」、「按鍵;」及「空白鍵」之按鍵12，同時亦按下了「按鍵J」之按鍵12。換句話說，「按鍵J」的按鍵12不僅產生被觸摸/接近的操作位置資料，同時，亦被擊鍵而產生按鍵掃描碼（屬Make Code）。此情況發生在「按鍵J」的按鍵12被按壓下（產生Make Code），但是尚未釋放「按鍵J」的按鍵12 （尚未產生Break Code），在正常速度打字時，第二按鍵標記74於螢幕鍵盤68a上的存在時間（或稱顯示時間）相當的短，通常不到一秒鐘的時間，甚至低於十分之一秒，對人眼視覺來說算是「一閃而過」。
理論上，手指一定是先觸摸到按鍵12，接著才能按下按鍵12，若是以稍快的速度打字時，並且於按壓每一個按鍵的空檔時手指都不觸摸按鍵12的話，同一按鍵的操作位置資料與按鍵掃描碼（屬Make Code）“幾乎”同時產生（兩者之間仍會有時間差，但差距係以毫秒計算），亦即，同一按鍵的第一按鍵標記72與第二按鍵標記74會“幾乎”同時顯示（因肉眼不易察覺時間差，故，感覺是同時）於螢幕鍵盤68a。然而，多數人（尤其是以雙手及正確指法打字的人）打字時，在未擊鍵前（例如正在思考要用何字），習慣將手指放在“初始按鍵位置”（Home Keys，或稱Home Row，即如第10圖手指所觸摸的按鍵12）上，或是將手指放在“欲按壓的”按鍵12上，接著，才按壓按鍵12。也就是說，某些時候同一按鍵的第一按鍵標記72會明顯比第二按鍵標記74較早顯示於螢幕鍵盤68a。除了少數幾個鎖定按鍵（例如鎖定鍵類型的「大寫鎖定鍵」、「數字鎖定鍵」及「捲動鎖定鍵」，或編輯鍵類型的「插入鍵」）的第二按鍵標記74可能會單獨顯示於螢幕鍵盤68a而未與第一按鍵標記72併存，其他按鍵的擊鍵（指產生Make Code）一定是先顯示第一按鍵標記72再顯示第二按鍵標記74，或者，兩者幾乎同時顯示於螢幕鍵盤68a，而不會發生第二按鍵標記74單獨顯示而無第一按鍵標記72。人眼在視覺上可明顯分辨兩個重疊標記與單獨一個標記的不同（以第12圖為例），僅管第二按鍵標記74只是一閃而過，單獨存在的第二按鍵標記74（如第12圖上方）明顯與重疊的兩個標記（如第12圖下方）不同，尤其當兩種不同顏色的標記重疊顯示且上層標記具有不完全透明的透明度時會混合出第三種顏色的視覺效果，肉眼可明顯區別此第三種顏色與兩標記顏色之不同。因此，「第二按鍵標記74不會單獨顯示」這一點可做為一種視覺上的檢核機制，當某一按鍵的第二按鍵標記74單獨顯示於螢幕鍵盤68a即代表「錯誤發生」（例如攝像鏡頭所拍的操作位置影像不清，導致影像分析模組58誤判），可提醒使用者注意。在一些實施例中，螢幕鍵盤68a具有自動修正機制，當某一按鍵的第二按鍵標記74單獨顯示於螢幕鍵盤68a上時，處理器66計算誤判位置與實際位置兩者間之誤差值。再將此誤差值反饋給影像分析模組58及/或處理器66，以便修正下一次的操作位置資料，降低誤判發生的機率。
在此實際位置即是指單獨顯示的第二按鍵標記74，也就是因為實體鍵盤50上的按鍵12被擊鍵時，所產生的與第二按鍵標記74。由於此第二按鍵標記74是因為真的有接收到按鍵12被擊鍵，所以應為正確之標記。判誤位置是指鄰近的第一按鍵標記72，且於擊鍵時未與第二按鍵標記74重疊顯示的第一按鍵標記72。由於如前所述，當取得的資料皆正確時，第一按鍵標記72（手指觸摸按鍵位置）應該會與第二按鍵標記74（被擊鍵的按鍵12）有所重疊。因此，當按鍵12已被擊鍵，而應該要顯示有重疊的第一按鍵標記72與第二按鍵標記74之按鍵，在螢幕鍵盤68a中只顯示第二按鍵標記74時，則有可能是因為分析得到的操作位置資料有所誤差，使得第一按鍵標記72標示於錯誤位置，此時，被標記錯誤的第一按鍵標記72的位置即被定義為判誤位置。
由於第二按鍵標記74只是一閃而過，在一些實施例中，螢幕鍵盤68a僅標示出第一按鍵標記72，以顯示手指待命位置，而無第二按鍵標記74，螢幕鍵盤68a直接略過按鍵掃描碼之處理，如第9圖所示。
第12圖係第11圖中螢幕鍵盤68a上「按鍵j」的放大示意圖，以說明「按鍵j」上的兩種標記，上方的第二按鍵標記74係以反白標示（Highlight），於此為方形、黑底、白字之態樣，而中間的第一按鍵標記72係以不同形狀的彩色半透明標示，於此為圓形、淺灰。下方的重疊標記圖式即為第11圖中「按鍵j」的放大示意圖。為明顯區別第一按鍵標記72與第二按鍵標記74，在一些實施例中，第一按鍵標記72與第二按鍵標記74採用不同的形狀來標示，例如：圓形與方形、方形與三角形、圓形與星形…等等組合。在一些實施例中，第一按鍵標記72與第二按鍵標記74採用不同的顏色來標示，例如：黃色與綠色、紅色與藍色、黑色與黃色、淺灰與紅色…等等組合。在一些實施例中，第一按鍵標記72與第二按鍵標記74採用不同的形狀以及不同的顏色來標示。在一些實施例中，標示在上層的標記為以稍微透明的方式呈現，以讓位在下層的標記得以被看見，例如：若第一按鍵標記72位在上層而第二按鍵標記74位於下層，則第一按鍵標記72以50%的透明度呈現。也就是說，位於上層的第一按鍵標記72或第二按鍵標記74具有不完全透明之透明度。在一些實施例中，若同一按鍵12被觸摸（或接近）及擊鍵可另外以不同形狀、顏色等有別於第一按鍵標記72與第二按鍵標記74的第三按鍵標記來標記。
第13圖係使用者手指觸摸或接近實體鍵盤50上的「Shift按鍵」、「按鍵S」、「按鍵D」、「按鍵F」、「按鍵J」、「按鍵K」、「按鍵L」、「按鍵;」及「空白鍵」之按鍵12 （產生操作位置影像），同時按壓「Shift按鍵」及「按鍵J」之按鍵12 （產生按鍵掃描碼，屬Make Code）時，在螢幕鍵盤68a上所顯示的標記。此圖式說明了當「Shift按鍵」之按鍵12被按下而產生按鍵掃描碼後，螢幕鍵盤68a上的按鍵代表標記亦隨之更換，即，字母鍵由原本小寫的按鍵代表標記換成大寫的按鍵代表標記，同時具有兩個按鍵代表標記的按鍵（例如數字鍵及符號鍵）則由原本的下方按鍵代表標記換成上方的按鍵代表標記，舉例來說：數字鍵的「按鍵1」同時具有兩個按鍵代表標記，分別是上方的「!」與下方的「1」，而符號鍵的「按鍵/」同時具有兩個按鍵代表標記，分別是上方的「?」與下方的「/」。在未按下「Shift按鍵」時顯示下方的「1」及「/」（如第11圖所示），而當按下「Shift按鍵」後則顯示上方的「!」及「?」（如第13圖所示）。
第14圖係使用者於實體鍵盤50上已擊鍵「大寫鎖定鍵」之按鍵12 （產生按鍵掃描碼，包含Make Code與Break Code，即，已釋放按鍵12），同時觸摸了（或接近）實體鍵盤50上的「按鍵A」、「按鍵S」、「按鍵D」、「按鍵F」、「按鍵J」、「按鍵K」、「按鍵L」、「按鍵;」及「空白鍵」之按鍵12，並且按壓下「按鍵J」之按鍵12 （產生按鍵掃描碼，Make Code），此時在螢幕鍵盤68a上所顯示的標記。此圖說明了當「大寫鎖定鍵」之按鍵12產生按鍵掃描碼後，螢幕鍵盤68a上的字母鍵由原本小寫的按鍵代表標記換成大寫的按鍵代表標記。
以上兩圖主要係說明「Shift按鍵」與「大寫鎖定鍵」的按鍵掃描碼可使螢幕鍵盤68a更換部份按鍵代表標記。同樣的，「數字鎖定鍵」亦可使螢幕鍵盤68a更換部份按鍵代表標記。亦即，螢幕鍵盤68a不僅僅只有顯示第一按鍵標記72與第二按鍵標記74之功能，亦包含與按鍵掃描碼互動的功能。
參閱第15圖至第17圖，本發明第八實施例螢幕鍵盤68b之示意圖。本實施例之顯示螢幕係為虛擬實境裝置之螢幕76b、76c，而螢幕76b、76c為雙酒桶形（如第15圖所示）或雙圓形（如第16圖所示），當使用者將虛擬實境裝置戴於頭上後，其眼睛所見之畫面即如第17圖所示。在一些實施例中，虛擬實境裝置本身即為具有螢幕76b、76c之電算裝置64b，例如Samsung的Gear VR係利用智慧型手機做為電算裝置64b，在運行本發明時，即於該智慧型手機安裝螢幕鍵盤68b及鍵盤驅動程式56。在一些實施例中，虛擬實境裝置係提供螢幕76b、76c顯示畫面，另需通訊連接一電算裝置64b以安裝軟體及提供硬體運算資源，例如HTC的Vive係利用個人電腦做電算裝置64b，在運行本發明時，即於該個人電腦安裝螢幕鍵盤68b及鍵盤驅動程式56。在一些實施例中，係以不透明的效果呈現鍵盤佈局於螢幕76a、76b、76c；在一些實施例中，係以不完全透明的效果呈現鍵盤佈局於螢幕76a、76b、76c；在一些實施例中，使用者可自行設訂鍵盤佈局的透明度。於此，螢幕鍵盤68b係以不完全透明的方式呈現鍵盤佈局，以便使用者在使用螢幕鍵盤68b時仍看見背景畫面（虛擬實境畫面）。若使用者不擅於盲打，且當使用者無法直視實體鍵盤50時（例如頭上戴有虛擬實境裝置），利用螢幕鍵盤68b即可清楚得知當下使用者的手指待命位置（透過第一按鍵標記72），以及擊鍵之按鍵為何者（透過第二按鍵標記74），可協助使用者輕鬆鍵入資料。
參閱第18圖，本發明第九實施例螢幕鍵盤68c之示意圖，圖式與第七實施例及第八實施例不同之處在於其為對應Mac實體鍵盤（未描繪）的鍵盤佈局。螢幕鍵盤68c顯示第一按鍵標記72與第二按鍵標記74，以及與按鍵掃描碼互動更換部份按鍵代表標記之方法與前述實施例相同，故不贅述。
參閱第19圖，本發明第十實施例螢幕鍵盤68d之示意圖。本實施例與第七實施例不同之處在於螢幕鍵盤68d之鍵盤佈局分為左、右兩部份，亦即，本實施例對應左、右分離式的實體鍵盤（未描繪）。至於本實施例之第一按鍵標記72與第二按鍵標記74之標示係與前述實施例相同，故不贅述。於此，對應的實體鍵盤為105鍵（即，標準Windows 104鍵再加上重複的一個空白鍵）。在一些實施例中，實體鍵盤之鍵盤佈局為「80%配置」（即，少了最右邊的數字鍵區）具有88鍵，而其對應的左、右分離式螢幕鍵盤（未描繪）之鍵盤佈局亦為「80%配置」。在一些其他實施例中，實體鍵盤之鍵盤佈局可為「75%配置」或「80%配置」的左、右分離式鍵盤，亦或是Mac的左、右分離式鍵盤，其對應的螢幕鍵盤即與實體鍵盤採相同的鍵盤佈局。
參閱第20圖，本發明一實施例使用者操作過程中在螢幕鍵盤68a標示第一按鍵標記72與第二按鍵標記74之流程圖，其說明使用者利用第五實施例之電算裝置64b與實體鍵盤50產生操作位置影像及按鍵掃描碼，並產生對應的第一按鍵標記72與第二按鍵標記74於螢幕鍵盤68a之操作流程，係包含：
步驟S101：手指觸摸或接近按鍵。使用者手指觸摸或接近實體鍵盤50之按鍵12，但未擊鍵，如第10圖所示，於此被觸摸（或接近）的按鍵12為「按鍵A」、「按鍵S」、「按鍵D」、「按鍵F」、「按鍵J」、「按鍵K」、「按鍵L」、「按鍵;」及「空白鍵」。
步驟S102：產生操作位置影像。前一步驟當手指觸摸或接近實體鍵盤50之按鍵12時，第四感應器51偵測並取得操作位置影像，操作位置影像係實體鍵盤50上的手指與按鍵12影像。
步驟S103：儲存操作位置影像至第三緩衝區63。前一步驟當第四感應器51產生操作位置影像，處理器66將該操作位置影像儲存至第三緩衝區63。
步驟S104：影像分析模組58分析操作位置影像。前一步驟當儲存操作位置影像至第三緩衝區63後，有兩種實施例使處理器66自第三緩衝區63讀取操作位置影像。一實施例係第四感應器51發送中斷請求至電算裝置64b之處理器66，接著，電算裝置64b之處理器66響應中斷請求自第三緩衝區63讀取操作位置影像；另一實施例係電算裝置64b之處理器66以輪詢方式每隔一段時間自動讀取第三緩衝區63的操作位置影像。亦即，讀取操作位置影像之動作可透過中斷或輪詢方式來觸發。處理器66讀取操作位置影像後，影像分析模組58分析操作位置影像，以將操作位置影像轉換成操作位置資料，操作位置資料包括被觸摸或接近的該些按鍵12的相對位置資料，即使用者的手指與該些按鍵12之相對位置資料。
步驟S105：在螢幕鍵盤68a對應操作位置資料的按鍵處顯示第一按鍵標記72。前一步驟當影像分析模組58將操作位置影像轉換成操作位置資料後，處理器66再根據操作位置資料以轉換成對應的第一按鍵標記72，即，在螢幕鍵盤68a上對應被觸摸的按鍵12的位置顯示第一按鍵標記72。於此，對應操作位置影像的位置係：「按鍵a」、「按鍵s」、「按鍵d」、「按鍵f」、「按鍵j」、「按鍵k」、「按鍵l」、「按鍵;」及「空白鍵」，如第9圖所示。其中，螢幕鍵盤68a顯示於顯示畫面最頂層（即，視圖屬性設為“Topmost”）。一般而言，螢幕鍵盤68a是在讀取到操作位置資料或按鍵掃描碼後才顯示，但顯示之後一般會在一閒置時間之後才消失。因此，在某些情況下，即使沒有讀取到操作位置資料或按鍵掃描碼，螢幕鍵盤68a仍是顯示的狀態，直至經過閒置時間之後才消失（若期間沒有讀取到操作位置資料或按鍵掃描碼）。在一些實施例中，螢幕鍵盤68a也可以是在應用程式執行時即顯示，並保持顯示狀態，直到使用者將應用程式結束才消失。在一些實施例中，螢幕鍵盤68a在應用程式執行時不會立刻顯示，是由使用者控制其顯示與消失。
步驟S106：判斷手指是否離開按鍵。影像分析模組58根據操作位置資料可判斷出手指是否離開已觸摸的按鍵12。意即，若所分析出之操作位置資料中，僅包含按鍵而未包含手指與按鍵之相對位置資料，則表示手指已離開原被觸摸的按鍵12。若某一手指離開已觸摸的按鍵12 （即，在前一步驟中已產生第一按鍵標記72的對應按鍵12），跳至步驟S107，若手指仍未離開已觸摸（或接近）的按鍵12則跳至步驟S108。
步驟S107：在螢幕鍵盤68a取消顯示第一按鍵標記72。當影像分析模組58判斷出某一手指離開“已產生第一按鍵標記72的對應按鍵12”時，螢幕鍵盤68a取消顯示對應的第一按鍵標記72。
步驟S108：手指擊鍵。當手指擊鍵（按壓按鍵12）時，被擊鍵的按鍵12其按鍵接點因擊鍵而由常開狀態變化為通路狀態。
步驟S109：產生按鍵掃描碼。當擊鍵判斷單元162偵測到某一按鍵12之按鍵接點由常開狀態變化為通路狀態時，產生按鍵掃描碼（此為按壓按鍵12的按鍵掃描碼）。於此，以「按鍵J」被擊鍵為例，擊鍵判斷單元162產生「按鍵J」的按鍵掃描碼（屬Make Code）。
步驟S110：儲存按鍵掃描碼至第二緩衝區62。前一步驟當擊鍵判斷單元162產生按鍵掃描碼（Make Code）後，微控制單元161可將其傳送出去以讓電算裝置64b接收，電算裝置64b便透過鍵盤驅動程式56將該「按鍵J」的按鍵掃描碼（Make Code）儲存至電算裝置64b的第二緩衝區62。
步驟S111：處理器66讀取按鍵掃描碼。前一步驟當微控制單元161將按鍵掃描碼（Make Code）儲存至第二緩衝區62後，有兩種實施例使處理器66自第二緩衝區62讀取按鍵掃描碼，一實施例係微控制單元161發送中斷請求至電算裝置64b之處理器66，接著，電算裝置64b之處理器66響應中斷請求自第二緩衝區62讀取按鍵掃描碼；另一實施例係電算裝置64b之處理器66以輪詢方式每隔一段時間自動讀取第二緩衝區62的按鍵掃描碼。亦即，讀取按鍵掃描碼之動作可透過中斷或輪詢方式來觸發。
步驟S112：在螢幕鍵盤68a對應按鍵掃描碼的按鍵處顯示第二按鍵標記74。前一步驟當處理器66讀取按鍵掃描碼（Make Code）後，處理器66會根據按鍵掃描碼，在螢幕鍵盤68a上對應被擊鍵的按鍵12的按鍵處顯示第二按鍵標記74，於此，對應按鍵掃描碼的位置係「按鍵j」。顯示第二按鍵標記74後，連同原本已顯示的第一按鍵標記72，即如第11圖所示。
步驟S113：在螢幕鍵盤68a取消顯示對應的第二按鍵標記74。當擊鍵判斷單元162偵測到已被按壓的按鍵12之按鍵接點由通路狀態變化為開路狀態時，產生按鍵掃描碼（此為釋放按鍵12的按鍵掃描碼）。於此，以「按鍵J」被釋放為例，擊鍵判斷單元162產生「按鍵J」的按鍵掃描碼（屬Break Code）。釋放按鍵12後，電算裝置64b透過鍵盤驅動程式56將該「按鍵J」的按鍵掃描碼（Break Code）儲存至第二緩衝區62，接著，處理器66讀取「按鍵J」的按鍵掃描碼（Break Code），最後，依據「按鍵J」的按鍵掃描碼（Break Code）在螢幕鍵盤68a取消顯示對應的第二按鍵標記74，如第9圖所示（假設使用者在釋放「按鍵J」後手指仍觸摸或接近「按鍵J」之按鍵12）。特別是，處理器66可另外確認擊鍵的按鍵屬於如字母、數字之一般按鍵，或是如前述「Shift按鍵」等鎖定按鍵，若已收到對應被釋放之按鍵12的按鍵掃描碼且此按鍵12非屬於鎖定按鍵，則取消顯示對應的第二按鍵標記74。反之，若已收到對應被釋放之按鍵12的按鍵掃描碼且此按鍵12屬於鎖定按鍵，則保持顯示對應的第二按鍵標記74。直到下次收到同樣按鍵12對應擊鍵的第二按鍵標記74，才取消顯示第二按鍵標記74。
以上係本發明一實施例螢幕鍵盤68a標示第一按鍵標記72與第二按鍵標記74之方法。本發明更進一步，在一些實施例中，在步驟S107之後，假設使用者手指已完全離開所有按鍵12一閒置時間，即在此閒置時間內電算裝置64b之處理器66不會偵測（即讀取）到包括使用者的手指與該些按鍵12之相對資料的該操作位置資料及該按鍵掃描碼，螢幕鍵盤68a即自動隱藏（不顯示於螢幕76a）。反之，若原本螢幕鍵盤68a未顯示於螢幕76a，當使用者手指觸摸任一按鍵12後，螢幕鍵盤68a即自動顯示於螢幕76a。此實施例用意在於使用者不需利用鍵盤操作/鍵入資料時，隱藏螢幕鍵盤68a以避免佔用作業系統桌面70，好讓使用者利用其他操控裝置操作其他應用程式，例如以滑鼠或軌跡球操作網頁瀏覽器以查看網頁資料，或是以搖桿玩電腦遊戲。
以上的螢幕鍵盤68a之方法與電腦程式產品係以第五實施例之實體鍵盤50及電算裝置64b為例說明，其中偵測並取得操作位置影像的第四感應器51係攝像鏡頭。當利用第一實施例實體鍵盤10或第二實施例實體鍵盤20與電算裝置64a來實施以上的方法與電腦程式產品時，其中偵測並取得操作位置影像的係第二感應器15。當利用第三實施例實體鍵盤30或第四實施例實體鍵盤40與電算裝置64a來實施以上的方法與電腦程式產品時，其中偵測並取得操作位置影像的係第二感應器36與第三感應器37。當利用第六實施例實體鍵盤50與電算裝置64c來實施以上的方法與電腦程式產品時，其中偵測並取得操作位置影像的係第四感應器51。
本發明之電腦程式產品可包含螢幕鍵盤68a、鍵盤驅動程式56、鍵盤函式庫（Library，未描繪）及/或鍵盤應用程式開發介面（Application Programming Interfaces, APIs,未描繪），後兩者可利用上述操作流程之部份或全部步驟，封裝成函式庫或應用程式開發介面，以便程式碼之再利用。而上述電腦程式產品可儲存至一種電腦可讀取記錄媒體，例如：CD、DVD、USB隨身碟、記憶卡…或其他各種規格之記錄媒體，而可由電腦（即前述之電算裝置64b）載入執行。
對本發明的不同實施例可理解的是，由電算裝置執行的程式指令可實行流程圖中的各個方塊、流程圖中方塊的組合、以及各實施例中的步驟。把該等程式指令提供給一處理器操作以產生一機器或產生硬體與軟體協同運作的資源，藉此在該處理器上執行該等指令時，將產生用以實行流程圖方塊指明之動作或技術效果的構件。不同集合的程式指令亦可使展示於流程圖方塊中的至少某些操作步驟並行地進行，且一應用程式的各個程式指令所表達的技術內容可能依不同實施例而不同。再者，亦可在不只一個處理器上進行某些該等步驟，例如行動通訊裝置中微處理器與周邊介面處理器所協同運作的狀況。此外，在不偏離本發明範圍或精神的條件下，流程圖中之一或多個方塊或方塊的組合亦可與其他方塊或方塊組合同時地進行，或甚至以不同於展示出的順序來進行。
因此，本發明流程圖的方塊支援用以進行指明動作或技術效果的構件組合、用以進行指明動作或技術效果的步驟組合、以及用以進行指明動作或技術效果的程式指令構件。亦將可了解的是，這些指明動作或技術效果是由特殊用途硬體式系統或者特殊用途硬體與程式指令協同運作來實行本發明流程圖的各個方塊以及流程圖的方塊組合。
綜上所述，本發明的螢幕鍵盤除了即時反饋擊鍵，並即時反饋使用者在實體鍵盤上的手指待命位置，同時提供這兩種資訊讓不擅於盲打的使用者不必再目視實體鍵盤，而將目光專注在螢幕上。同時，本發明的自動修正機制解決了攝像鏡頭的誤判問題，進而改善使用者體驗（User Experience）。當應用在抬頭顯示裝置、頭戴顯示裝置或虛擬實境裝置時，本發明的螢幕鍵盤較習見的實際影像更適合融入遊戲畫面/虛擬實境畫面之中，不會有虛、實混搭的突兀感覺，又，螢幕鍵盤提供了比習見的實際影像更清楚的擊鍵與手指待命位置兩種資訊。並且，螢幕鍵盤在螢幕的呈現上較習見的實際影像使用了更適合的不完全透明（如半透明）效果處理，使得螢幕鍵盤下方的重疊畫面（遊戲畫面/虛擬實境畫面）得以隱約呈現，改善了習見的實際影像會完全擋住下方重疊畫面的問題。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明，任何熟習相像技術者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。
10、20、30、40、50‧‧‧實體鍵盤
11‧‧‧基座
111‧‧‧容置空間
112‧‧‧固定座
12‧‧‧按鍵
13、23‧‧‧光源模組
14、35、45‧‧‧第一感應器
15、36‧‧‧第二感應器
16、38 161 162 163‧‧‧控制模組 微控制單元 擊鍵判斷單元 感應控制單元
231、431、441‧‧‧LED元件
232、432、442‧‧‧電路板
31‧‧‧第一鍵盤
311‧‧‧第一基座
312‧‧‧第一容置空間
313‧‧‧第一按鍵
314‧‧‧第一固定座
32‧‧‧第二鍵盤
321‧‧‧第二基座
322‧‧‧第二容置空間
323‧‧‧第二按鍵
324‧‧‧第二固定座
33、43‧‧‧第一光源模組
34、44‧‧‧第二光源模組
37‧‧‧第三感應器
51‧‧‧第四感應器
52‧‧‧第五感應器
53‧‧‧第三光源模組
56‧‧‧鍵盤驅動程式
58‧‧‧影像分析模組
60‧‧‧第一緩衝區
62‧‧‧第二緩衝區
63‧‧‧第三緩衝區
64a、64b、64c‧‧‧電算裝置
66‧‧‧處理器
68a、68b、68c、68d‧‧‧螢幕鍵盤
70‧‧‧作業系統桌面
72‧‧‧第一按鍵標記
74‧‧‧第二按鍵標記
76a、76b、76c‧‧‧螢幕
S101‧‧‧手指觸摸/接近按鍵
S102‧‧‧產生操作位置影像
S103‧‧‧儲存操作位置影像至第三緩衝區
S104‧‧‧影像分析模組分析操作位置影像
S105‧‧‧在螢幕鍵盤對應操作位置資料的按鍵處顯示第一按鍵標記
S106‧‧‧手指是否離開按鍵
S107‧‧‧在螢幕鍵盤取消顯示第一按鍵標記
S108‧‧‧手指擊鍵
S109‧‧‧產生按鍵掃描碼
S110‧‧‧儲存按鍵掃描碼至第二緩衝區
S111‧‧‧處理器讀取按鍵掃描碼
S112‧‧‧在螢幕鍵盤對應按鍵掃描碼的按鍵處顯示第二按鍵標記
S113‧‧‧在螢幕鍵盤取消顯示第二按鍵標記
[第1圖] 為本發明第一實施例實體鍵盤裝置之示意圖。 [第2圖] 為本發明第二實施例實體鍵盤裝置之示意圖。 [第3圖] 為本發明第三實施例實體鍵盤裝置之示意圖。 [第4圖] 為本發明第四實施例實體鍵盤裝置之示意圖。 [第5圖] 為本發明第一實施例實體鍵盤裝置與對應電算裝置之系統方塊圖。 [第6圖] 為本發明第五實施例實體鍵盤裝置與對應電算裝置之系統方塊圖。 [第7圖] 為本發明第六實施例實體鍵盤裝置與對應電算裝置之系統方塊圖。 [第8圖] 為本發明第七實施例螢幕鍵盤之示意圖（一） 。 [第9圖] 為本發明第七實施例螢幕鍵盤之示意圖（二） 。 [第10圖] 為本發明第七實施例螢幕鍵盤之示意圖（三） 。 [第11圖] 為本發明第七實施例螢幕鍵盤之示意圖（四） 。 [第12圖] 為本發明第七實施例螢幕鍵盤之示意圖（五） 。 [第13圖] 為本發明第七實施例螢幕鍵盤之示意圖（六） 。 [第14圖] 為本發明第七實施例螢幕鍵盤之示意圖（七） 。 [第15圖] 為本發明第八實施例螢幕鍵盤之示意圖（一） 。 [第16圖] 為本發明第八實施例螢幕鍵盤之示意圖（二） 。 [第17圖] 為本發明第八實施例螢幕鍵盤之示意圖（三） 。 [第18圖] 為本發明第九實施例螢幕鍵盤之示意圖。 [第19圖] 為本發明第十實施例螢幕鍵盤之示意圖。 [第20圖] 為本發明一實施例螢幕鍵盤之操作流程圖。
68a‧‧‧螢幕鍵盤
72‧‧‧第一按鍵標記
74‧‧‧第二按鍵標記

Claims (12)

  1. 一種螢幕鍵盤之顯示方法，應用於相互連接的一實體鍵盤、一螢幕、一感應器及一電算裝置，該實體鍵盤包含複數按鍵，該感應器用以偵測並取得一操作位置影像，該螢幕鍵盤之顯示方法包括： 顯示一螢幕鍵盤於該螢幕之顯示畫面最頂層； 讀取該感應器取得之該操作位置影像； 將該操作位置影像轉換為一操作位置資料，該操作位置資料包括被觸摸或接近的該按鍵的一相對位置資料；及 根據該操作位置資料，顯示一第一按鍵標記於該螢幕鍵盤上對應被觸摸或接近之該按鍵的位置。
  2. 如請求項1所述之顯示方法，其中該感應器係一攝像鏡頭。
  3. 如請求項1所述之顯示方法，其中該實體鍵盤還響應該些按鍵的擊鍵而輸出一按鍵掃描碼至該電算裝置，該顯示方法更包含： 讀取該實體鍵盤輸出對應該按鍵被擊鍵之該按鍵掃描碼；及 根據該按鍵掃描碼，顯示一第二按鍵標記於該螢幕鍵盤上對應被擊鍵之該按鍵的位置。
  4. 如請求項1所述之顯示方法，其中於該顯示一第一按鍵標記於該螢幕鍵盤上對應被觸摸或接近之該按鍵的位置之步驟之後，更包含： 若於一預設時間內未再次收到包括被觸摸或接近之該按鍵的該相對位置資料之該操作位置資料，取消顯示對應之該第一按鍵標記。
  5. 如請求項3所述之顯示方法，其中於該顯示一第二按鍵標記於該螢幕鍵盤上對應被擊鍵之該按鍵的位置之步驟之後，更包含： 根據該按鍵掃描碼識別被擊鍵之該按鍵是否屬於一鎖定按鍵； 確認是否收到對應被釋放之該按鍵之該按鍵掃描碼；及 若收到對應被釋放之該按鍵之該按鍵掃描碼且該按鍵非屬於該鎖定按鍵，取消顯示對應之該第二按鍵標記。
  6. 如請求項1所述之顯示方法，其中更包含：於一閒置時間內沒有偵測到包括被觸摸或接近之該按鍵的該相對位置資料之該操作位置資料及該按鍵掃描碼時，隱藏該螢幕鍵盤。
  7. 如請求項3所述之顯示方法，其中該第一按鍵標記與該第二按鍵標記之形狀與顏色中的任一者不同。
  8. 如請求項3所述之顯示方法，其中該第一按鍵標記或該第二按鍵標記具有一不完全透明之透明度。
  9. 如請求項3所述之顯示方法，其中更包含：一自動修正機制，當該第二按鍵標記單獨標記於該螢幕鍵盤上時，計算一誤判位置與一實際位置兩者間之一誤差值，將該誤差值反饋給該電算裝置，以修正下一次的該操作位置資料。
  10. 如請求項1所述之顯示方法，其中該螢幕鍵盤具有一不完全透明之透明度。
  11. 一種電腦程式產品，適於儲存於一電腦可讀取媒體，當電腦載入該電腦程式並執行後，可完成如請求項1至10中任一項所述之螢幕鍵盤之顯示方法。
  12. 一種非暫態電腦可讀取媒體，儲存一電腦程式，該電腦程式包含電腦可執行之複數指令，用以執行如請求項1至10中任一項所述之螢幕鍵盤之顯示方法。
TW105113621A 2016-04-29 2016-04-29 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體 TWI695307B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105113621A TWI695307B (zh) 2016-04-29 2016-04-29 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
CN201710210295.9A CN107479717B (zh) 2016-04-29 2017-03-31 屏幕键盘的显示方法及其计算机程序产品
US15/582,189 US10452155B2 (en) 2016-04-29 2017-04-28 Display method of on-screen keyboard and computer program product and non-transitory computer readable storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105113621A TWI695307B (zh) 2016-04-29 2016-04-29 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體

Publications (2)

Publication Number Publication Date
TW201738721A true TW201738721A (zh) 2017-11-01
TWI695307B TWI695307B (zh) 2020-06-01

Family

ID=60158321

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105113621A TWI695307B (zh) 2016-04-29 2016-04-29 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體

Country Status (3)

Country Link
US (1) US10452155B2 (zh)
CN (1) CN107479717B (zh)
TW (1) TWI695307B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081490A (zh) * 2018-10-19 2020-04-28 昆盈企业股份有限公司 动态调整背光键盘发光模式的方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10394342B2 (en) * 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
WO2019083501A1 (en) * 2017-10-24 2019-05-02 Hewlett-Packard Development Company, L.P. GENERATING A THREE-DIMENSIONAL VISUALIZATION OF A DIVIDED INPUT DEVICE
US11249314B1 (en) * 2020-08-04 2022-02-15 Htc Corporation Method for switching input devices, head-mounted display and computer readable storage medium
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
CN115129225A (zh) * 2021-03-26 2022-09-30 北京小米移动软件有限公司 键盘工具栏显示方法、键盘工具栏显示装置及存储介质
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
USD1019645S1 (en) * 2022-02-25 2024-03-26 Glorious Llc Computer keyboard
USD1042458S1 (en) * 2022-02-25 2024-09-17 Glorious Llc Computer keyboard
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments
CN118226794B (zh) * 2024-05-23 2024-08-09 点云灵动科技(大连)有限公司 一种通过构造特定的usbhid设备触发安卓物理按键的方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6611252B1 (en) * 2000-05-17 2003-08-26 Dufaux Douglas P. Virtual data input device
JP4611147B2 (ja) * 2005-08-15 2011-01-12 富士通コンポーネント株式会社 遠隔操作システム及び遠隔操作方法
TWI304179B (en) * 2006-02-13 2008-12-11 Michael Rong Input device operated by digit
US9110590B2 (en) * 2007-09-19 2015-08-18 Typesoft Technologies, Inc. Dynamically located onscreen keyboard
US7506259B1 (en) * 2008-02-14 2009-03-17 International Business Machines Corporation System and method for dynamic mapping of abstract user interface to a mobile device at run time
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US9335844B2 (en) * 2011-12-19 2016-05-10 Synaptics Incorporated Combined touchpad and keypad using force input
JP5505441B2 (ja) * 2012-02-23 2014-05-28 株式会社セガ ゲーム装置及びコンピュータゲームプログラム
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
CN104199550B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟键盘操作装置、系统及方法
CN104679416B (zh) * 2015-03-19 2018-07-20 华勤通讯技术有限公司 移动终端及其屏幕控制方法
CN204650426U (zh) * 2015-05-29 2015-09-16 东莞颠覆产品设计有限公司 移动终端设备
CN105446483A (zh) * 2015-11-17 2016-03-30 张晓� 一种具有体感交互方式的医学影像浏览设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081490A (zh) * 2018-10-19 2020-04-28 昆盈企业股份有限公司 动态调整背光键盘发光模式的方法

Also Published As

Publication number Publication date
TWI695307B (zh) 2020-06-01
US20170315627A1 (en) 2017-11-02
US10452155B2 (en) 2019-10-22
CN107479717B (zh) 2020-06-12
CN107479717A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
TWI695307B (zh) 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
TWI695297B (zh) 鍵盤手勢指令之產生方法及其電腦程式產品與非暫態電腦可讀取媒體
TWI695296B (zh) 內建感應器及光源模組之鍵盤裝置
CN108700957B (zh) 用于虚拟环境中文本输入的电子系统和方法
US8446376B2 (en) Visual response to touch inputs
US9317130B2 (en) Visual feedback by identifying anatomical features of a hand
US20170205895A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US20140267029A1 (en) Method and system of enabling interaction between a user and an electronic device
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
GB2470654A (en) Data input on a virtual device using a set of objects.
JP5119174B2 (ja) エレベータ戸の開閉操作装置
JP2006209279A (ja) 入力装置および触読文字記号入力方法
WO2015045676A1 (ja) 情報処理装置、および制御プログラム
TW201403391A (zh) 遠端互動系統及其控制
KR20140130798A (ko) 터치 스크린 패널 디스플레이 및 터치 키 입력 장치 및 방법
CN106164828B (zh) 双向显示方法以及双向显示装置
JP5062898B2 (ja) ユーザインタフェイス装置
EP3293624A1 (en) Input device and method
CN117083584A (zh) 用于增强现实设备的多层文本输入方法
CN117480483A (zh) 用于增强现实设备的文本输入方法
CN110291495B (zh) 信息处理系统、信息处理方法及程序
JP2010186335A (ja) キーボード、キーボード入力方法およびキーボード入力プログラム
JP2015106390A (ja) 情報入力装置、情報入力システム、情報入力方法及びプログラム
JP2014219928A (ja) コンピュータ装置、表示システム及びプログラム
JP2019020662A (ja) 点字デバイス連携システム、点字デバイス、および点字デバイス連携システムの制御方法