TWI566169B - 管理顯示單元之方法、電腦可讀媒體及相關系統 - Google Patents

管理顯示單元之方法、電腦可讀媒體及相關系統 Download PDF

Info

Publication number
TWI566169B
TWI566169B TW104102355A TW104102355A TWI566169B TW I566169 B TWI566169 B TW I566169B TW 104102355 A TW104102355 A TW 104102355A TW 104102355 A TW104102355 A TW 104102355A TW I566169 B TWI566169 B TW I566169B
Authority
TW
Taiwan
Prior art keywords
resolution
image
display unit
display
displayed
Prior art date
Application number
TW104102355A
Other languages
English (en)
Other versions
TW201535251A (zh
Inventor
布萊德利Ｎ 蘇吉斯
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201535251A publication Critical patent/TW201535251A/zh
Application granted granted Critical
Publication of TWI566169B publication Critical patent/TWI566169B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G09G5/26—Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30—Control of display attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1631—Panel PC, e.g. single housing hosting PC and display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

管理顯示單元之方法、電腦可讀媒體及相關系統
本發明係有關於顯示單元管理器。
電腦系統典型使用安裝在一支撐座上及/或併入電腦系統之一些其他組件中的一個顯示器或多個顯示器。影像及應用程式可跨越多個顯示螢幕而顯示出來。此等顯示螢幕可能具有不同解析度及尺寸。影像可能是以比任何顯示器之解析度更大的解析度拍攝。
依據本發明之一實施例，係特定提出一種系統，包含：一投影機單元；一個一體式電腦，其可附接於該投影機單元，該一體式電腦具有一顯示單元；以及一觸碰感應墊體，其通訊式耦合於該一體式電腦，該觸碰感應墊體具有一投影機顯示區域；其中該一體式電腦指示一照相機掃描該觸碰感應墊體上之一實體物件，且使該投影機單元將經掃描影像基於一解析度值而投影回到該觸碰感應墊體上之該投影機顯示區域上；及其中該觸碰感應墊體及該顯示單元具有不同解析度，且該解析度值係基於該觸碰感應墊體及顯示器之解析度決定。
15‧‧‧(支撐)表面
25‧‧‧尖筆
26‧‧‧尖端
27‧‧‧發送器
35‧‧‧手
40‧‧‧物件
50‧‧‧無線信號
100‧‧‧電腦系統
110‧‧‧(支撐)結構
120‧‧‧基體
120a‧‧‧前端
120b‧‧‧後端
122‧‧‧(抬升)部分
140‧‧‧(直立)構件
140a、184a‧‧‧(上)端
140b‧‧‧(下)端
140c、150c、200a‧‧‧前側
140d‧‧‧後側
150‧‧‧(運算)裝置
150a‧‧‧(頂)側
150b‧‧‧(底)側
152‧‧‧顯示器
153‧‧‧(內部導體)路徑
154‧‧‧照相機
155‧‧‧中心線
160‧‧‧頂部
160a‧‧‧(近)端
160b‧‧‧(遠)端
160c‧‧‧頂表面
160d‧‧‧底表面
162‧‧‧(折射)鏡
162a‧‧‧高度反射表面
164‧‧‧感測器束
164a‧‧‧(周圍光)感測器
164b‧‧‧照相機/感測器
164c‧‧‧(深度)感測器/照相機
164d‧‧‧(使用者介面)感測器
168‧‧‧感測空間
180‧‧‧(投影機)單元
182‧‧‧(外)殼體
182a‧‧‧上端
182b、184b‧‧‧下端
183‧‧‧內腔穴
184‧‧‧(投影機)總成
187‧‧‧光
188‧‧‧(投影機顯示)空間
200‧‧‧(觸碰感應)墊體
200b‧‧‧後側/後端
202‧‧‧(觸碰感應)表面/觸碰感應區域
205‧‧‧中心線/軸
250‧‧‧處理器
260‧‧‧非暫時性電腦可讀儲存媒體/(儲存)裝置
270‧‧‧接收器
800‧‧‧流程概要圖/程序
805~815‧‧‧方塊
L188‧‧‧長度
W188‧‧‧寬度
範例示現例將於下文詳細敘述並參考附圖論述，其中：圖1繪示根據本案揭露之原理構成的電腦系統之一範例的概要立體圖；圖2繪示根據本案揭露之原理構成的圖1之電腦系統的另一概要立體圖；圖3為根據本案揭露之原理構成之圖1的電腦系統之概要側視圖；圖4為根據本案揭露之原理構成之圖1的電腦系統之概要前視圖；圖5為根據本案揭露之原理構成之圖1的電腦系統於操作期間之概要側視圖；圖6為根據本案揭露之原理構成之圖1的系統於操作期間之概要前視圖；圖7為根據本案揭露之原理構成之圖1的電腦系統之方塊電路示意圖；以及圖8為根據本案揭露之原理構成之一範例程序流程圖。
本文所述之多個示現例係針對與具有多顯示器組態的投影運算系統互動。更特定言之，且如將於以下更詳細敘述地，本案揭露內容之多個態樣係針對單一應用程式跨越多個顯示器時可用之方式，且顯現有一致內容的元 件。
本文所述本案揭露內容之多個態樣實現具有使用具有不同解析度與尺寸之多個螢幕的一投影機單元及電腦之一系統。根據本案揭露內容之多個態樣，本案所述之方法允許一使用者把視覺元件從一螢幕移動至另一螢幕，同時保持元件間一致的印象。據此，本案所述之方法調整影像及應用程式，且當它們在具有不同解析度或尺寸之螢幕間移動時，顯現相同視在尺寸。
此外，本文所述本案揭露內容之態樣亦揭示了調整在元件中使用的任何字體，以跨越多個具有不同解析度或尺寸的螢幕在尺寸上對應。尤其，此方法允許使用者在具有不同解析度或尺寸的多個螢幕之間保持一致性印象。據此，此方法優異地提供一單一應用程式可跨越多個顯示器且顯現有一致內容的元件，且待達到的調整可能在轉換跨越時做成。
在根據本案揭露內容之一範例中，提供有另一系統。此系統包含一投影機單元、可附接於該投影機單元的一個一體式(all-in-one)電腦，該一體式電腦具有一顯示單元，及可通訊式耦合於該一體式電腦的一觸碰感應墊體。此觸碰感應墊體具有一投影機顯示區域。此一體式電腦指示一照相機掃描觸碰感應墊體上的一實體物件，且使投影機單元將所掃描的影像基於一解析度值投影回到觸碰感應墊體上的投影機顯示區域。此觸碰感應墊體及顯示單元具有不同解析度，而該解析度值係基於觸碰感應墊體及顯示 器之解析度決定。
在根據本案揭露內容之一範例中，提供有用以管理顯示單元的方法。此方法包含決定顯示單元的規格，該等規格包含尺寸及解析度；識別具有最高解析度的一顯示單元及具有最低解析度的一顯示單元；基於最高解析度與最低解析度來指派一本質解析度值；以及使用該本質解析度值來指示於顯示單元上顯示一影像。顯示在顯示單元上的影像跨越全部顯示單元呈現一實體一致性。
在根據本案揭露內容之更一範例中，提供有用以管理一投影系統的方法。非暫時性電腦可讀媒體包含指令，其在執行時會使一裝置進行下列動作：(i)決定顯示單元的規格，此等規格包含尺寸及解析度；(ii)識別具有最高解析度的一顯示單元及具有最低解析度的一顯示單元；(iii)基於最高解析度與最低解析度來指派一本質解析度值。一影像係使用該本質解析度值而顯示在各顯示單元上，且該影像維持跨越各顯示單元呈相同的一尺寸。
現參照圖1~4，其顯示有根據本案揭露原理構成之一電腦系統100。在此範例中，系統100大致包含一支撐結構110、一運算裝置150、一投影機單元180、及一觸碰感應墊體200。此運算裝置150可包含符合本案揭露原理的任何合適運算裝置。例如，於一些示現例中，裝置150可包含電子顯示器、智慧型電話、平板電腦、一體式電腦(亦即也容裝電腦主機板的一顯示器)、或其等之一些組合。於此範例中，裝置150為一個一體式電腦，其包括一中心軸或中心 線155；第一側或頂側150a；與頂側150a軸向相對立的第二側或底側150b；在該等側150a、150b間軸向延伸的前側150c；亦在該等側150a、150b間軸向延伸且與前側150c大致軸向相對立的後側。一顯示器152界定一觀看表面，且係沿前側150c置設來投影影像用以由一使用者(圖中未顯示)觀看與互動。在一些範例中，顯示器152包括觸碰感應技術，諸如，例如電阻式、電容式、聲波式、紅外線(IR)式、應變計、光學式、聲音脈衝辨識、或其等之一些組合。因此，在下文全篇中，顯示器152可能週期性地表示為一觸碰感應表面或顯示器。顯示器152以一特定解析度顯示應用程式及由電腦系統100捕捉的影像(其將會在下文中更詳細敘述)。於一示現例中，一應用程式可能有一視窗顯示在顯示器152上。此外，相同的應用程式可能具有額外的視窗顯示在其他顯示器上。於此一示現例中，在跨越包括顯示器152的多個顯示器中維持有一視覺比例相似度。
此外，於一些範例中，裝置150更包括用來在使用者位在顯示器152前方時拍攝他或她之照片的一照相機154。於一示現例中，照相機154可用高於顯示在螢幕152上之影像的一較高解析度拍攝照片。於一些示現例中，照相機154可為一網路照相機。並且，於一些範例中，裝置150亦包括配置來在操作期間接收來自使用者之音訊輸入(例如聲音)的一麥克風或類似裝置。
再參照圖1~4，支撐結構110包括一基體120、直立構件140、及一頂部160。基體120包括一第一端或前端 120a及一第二端或後端120b。於操作期間，基體120與支撐表面15接合以於操作期間支撐系統100之至少一部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於此範例中，基體120之前端120a包括一抬升部分122，其些微分開在支撐表面15之上，藉此在部分122與表面15間建立一空間或間隙。如同將會於下文更進一步解釋，在系統100操作期間，墊體200之一側係收納於形成在部分122與表面15間的空間內，以確保墊體200的適當對準。然而，應了解的是在其他範例中，其他合適對準方法或裝置可於符合本案揭露原理下使用。
直立構件140包括一第一端或上端140a；與前端140a相對立的一第二端或下端140b；在該等端140a、140b間延伸的一第一側或前側140c；及與前側140c相對立且亦於該等端140a、140b間延伸的一第二側或後側140d。構件140之下端140b耦合於基體120之後端120b，使得構件140從支撐表面15實質向上延伸。
頂部160包括一第一端或近端160a；與近端160a相對立的一第二端或遠端160b；在該等端160a、160b間延伸的一頂表面160c；及與頂表面160c相對立且亦於該等端160a、160b間延伸的一底表面160d。頂部160之近端160a耦合於直立構件140之上端140a，使得遠端160b從其向外延伸。據此，於圖2中所示之範例，頂部160於端160a受支撐且因而於本文中表示為一「懸臂」頂部。於一些範例中，基體120、構件140、及頂部160全部為一體形成。然而，應 了解的是在其他範例中，基體120、構件140、及/或頂部160在符合本案揭露原理下可能不會一體形成。
再參照圖1~4，墊體200包括一中心軸或中心線205、一第一側或前側200a、及與前側200a軸向相對立的一第二側或後側200b。於此範例中，一觸碰感應表面202係置設在墊體200上且與該軸205實質對準。表面202可包含任何合適觸碰感應技術，其用以由使用者檢測及追蹤一或多重觸碰輸入，以允許使用者與由裝置150或一些其他運算裝置(圖中未顯示)執行之軟體互動。例如，於一些示現例中，表面202在符合本案揭露原理的情況下可利用習知觸碰感應技術，諸如，例如電阻式、電容式、聲波式、紅外線式、應變計、光學式、聲音脈衝辨識、或其等之一些組合。此外，於此範例中，表面202延伸超過墊體200的一部分。然而，應了解的是於其他範例中，表面202在符合本案揭露原理的情況下可延伸實質超過整個墊體200。
在操作期間，墊體200與結構110之基體120對準，如先前所述以確保其適當對準。特別是，於此範例中，墊體200之後側200b係置放於基體120之抬升部分122與支撐表面15之間，使得後端200b與基體之前側120a對準，藉此確保墊體200且特別是表面202，與系統100之其他構件適當整體對準。於一些範例中，墊體200與裝置150對準，使得裝置150之中心線155實質上與墊體200之中心線205對準。然而，其他對準係為可能。此外，如同將會於下文更詳細敘述地，在至少一些範例中，墊體200之表面202及裝 置150彼此電氣耦合，使得由表面202接收的使用者輸入傳送予裝置150。符合本案揭露原理之任何合適的無線或有線電氣耦合或連接技術可在表面202與裝置150間使用，諸如，例如WI-FI、藍牙(BLUETOOTH®)、超音波、電纜、電氣導線、具有磁性固持力的電氣彈簧載荷式彈簧針(pogo pins)、或其等之一些組合。於此範例中，置設在墊體200之後側200b上之暴露的電氣接點與基體120之部分122內的對應電氣彈簧針導線接合，以於操作期間在裝置150及表面202間轉移信號。此外，於此範例中，電氣接點係由位在基體120之部分122與表面15間之間隙中的鄰近磁鐵固持在一起，如同先前敘述地，以磁性吸引且固持(例如機械地)沿墊體200之後側200b置設的一對應鐵性及/或磁性材料。
現特別參照圖3，投影機單元180包含一外殼體182、及置設在殼體182內的一投影機總成184。殼體182包括一第一端或上端182a、與該上端182a相對立之一第二端或下端182b、及一內腔穴183。於此示現例中，殼體182更包括一耦合或安裝構件186以在操作期間與支撐裝置150接合。大致上，構件186可為符合本案揭露原理之用以懸吊及支撐一電腦裝置(例如裝置150)的任何合適構件或裝置。例如，於一些示現例中，構件186包含包括一旋轉軸的鉸鏈，使得一使用者(圖中未顯示)可使裝置150繞旋轉軸旋轉，以使之達到一理想視角。並且，於一些範例中，裝置150永久或半永久附接於單元180之殼體182。例如，於一些示現例中，殼體182及裝置150係整合及/或一體形成為一單一單 元。
因此，簡要參照圖4，當裝置150透過殼體182上的安裝構件186懸吊在結構110上時，在系統100從實質上面向置設在裝置150之前側150c上之顯示器152的一觀看表面或視角觀看時，投影機單元180(亦即殼體182及總成184二者)大致上隱藏於裝置150後。此外，如同亦顯示於圖4中，當裝置150如上述方式懸吊於結構110上時，投影機單元180(亦即殼體182及總成184二者)及任何由其投影之影像係實質上相對於裝置150之中心線155對準或使中心對齊。
投影機總成184大致上置設於殼體182之腔穴183內，且包括一第一端或上端184a、與上端184a相對立的一第二端或下端184b。上端184a與殼體182之上端182a緊鄰，同時下端184b與殼體182之下端182b緊鄰。投影機總成184可包含用以接收來自一運算裝置(例如裝置150)之資料，及投影與那個輸入資料相對應之(多個)影像(例如從上端184a出來)的任何合適數位光投影機總成。例如，於一些示現例中，投影機總成184包含有利地實密且有功率有效性之投影引擎的一數位光處理(DLP)投影機或一矽上液晶(LCoS)投影機，其引擎能夠有多重顯示解析度及尺寸，諸如，例如標準XGA(1024×768)解析度4：3長寬比或標準WXGA(1280×800)解析度16：10長寬比。投影機總成184更電氣耦合於裝置150，以於操作期間從其接收資料用以從端184a產生光及影像。投影機總成184可透過符合本案揭露原理之任何合適類型的電氣耦合技術來電氣耦合於裝置150。例如，於 一些示現例中，總成184透過一電氣導體、WI-FI、藍牙(BLUETOOTH®)、一光學連接、一超音波連接、或其等之一些組合來電氣耦合於裝置150。於此範例中，裝置150透過置設在安裝構件186內之電氣導線或導體(先前所述)來電氣耦合於總成184，使得在裝置150透過構件186懸吊在結構110時，置設在構件186內的電氣導線會與置設在裝置150上的對應導線或導體接觸。
再參照圖3，頂部160更包括一折射鏡162及一感測器束164。鏡162包括一高度反射表面162a沿頂部160之底部表面160d置設且設置來於操作期間反射從投影機總成184之上端184a朝向墊體200投影之影像及/或光。鏡162可包含符合本案揭露原理之任何合適類型的鏡體或反射表面。於此範例中，折射鏡162包含一標準前表面真空金屬化鋁塗覆玻璃鏡，其作用來將由總成184發射的光折射向下至墊體200。於其他範例中，鏡162可具有複合非球面曲率以作為一反射透鏡元件來提供額外的聚焦力或光學校正。
感測器束164包括多個感測器及/或照相機以量測及/或檢測於操作期間出現在墊體200上之各種參數。例如，在描繪於圖3中的特定示現例中，感測器束164包括一周圍光感測器164a、一照相機(例如一彩色照相機)164b、一深度感測器或照相機164c、及一個三維(3D)使用者介面感測器164d。周圍光感測器164a係配置來量測環繞系統100之環境的光強度，以在一些示現例中，調整照相機及/或感測器(例如感測器164a、164b、164c、164d)的曝光設定，及/ 或調整在整個系統內從其他來源，諸如，例如投影機總成184、顯示器152等，發射的光強度。照相機164b於一些實例中可包含配置來拍攝置設在墊體200上之物件的靜止影像或視訊影片及/或文件的一彩色照相機。深度感測器164c大致指出一3D物件何時會在作用表面上。特別是，於操作期間，深度感測器164c可感測或檢測置放在墊體200上之物件的存在、形狀、輪廓、移動及/或3D深度(或物件的(多個)特定特性)。因此，於一些示現例中，感測器164c可採用任何合適的感測器或照相機配置來感測及檢測置設在感測器之視場(field-of-view,FOV)中的一3D物件及/或各像素(不管是紅外線、彩色或其他)之深度值。例如，於一些示現例中，感測器164c可包含具有紅外光之均勻泛光特徵的單一紅外線(IR)照相機感測器、具有IR光之均勻泛光特徵的雙重IR照相機感測器、結構性光深度感測器技術、飛行時間(TOF)深度感測器技術、或其等之組合。使用者介面感測器164d包括任何合適裝置或多個裝置(例如感測器或照相機)用以追蹤一使用者輸入裝置，諸如，例如手、尖筆、指標裝置等。於一些示現例中，感測器164d包括配置來當一使用者輸入裝置(例如一尖筆)被使用者環繞墊體200移動時，立體式追蹤其位置的一對照相機。於其他範例中，感測器164d可包括或者亦包括配置來檢測由一使用者輸入裝置發射或反射之紅外光的一(多個)紅外線照相機或感測器。應更了解的是，感測器束164可包含替代上述之感測器164a、164b、164c、164d的其他感測器及/或照相機，或除上述之感測器 164a、164b、164c、164d以外更包含其他感測器及/或照相機。此外，如同將於下文更詳細描述地，感測器束164內之感測器164a、164b、164c、164d各電氣及通訊式耦合於裝置150，使得於操作期間感測器束164內所產生的資料可被發送至裝置150，且由裝置150發出之命令可傳送至感測器164a、164b、164c、164d。如同上述針對系統100之其他組件，任何合適電氣及/或通訊耦合技術可用來將感測器束164耦合於裝置150，諸如，例如一電氣導體、WI-FI、藍牙(BLUETOOTH®)、一光學連接、一超音波連接、或其等之組合。於此範例中，電氣導體係從感測器束164安排路由穿過頂部160、直立構件140、及投影機單元180，並透過置設在上述安裝構件186內之導線進入裝置150。
現參照圖5及6，在系統100操作期間，光187從投影機總成184發射，並反射離開鏡162朝向墊體200，藉此在一投影機顯示空間188上顯示影像。於此範例中，空間188實質上為矩形且由一長度L188及一寬度W188所界定。於一些範例中，長度L188可大約等於16英吋，而寬度W188可大約等於12英吋。然而，應了解的是可使用符合本案揭露原理之長度L188及寬度W188二者的其他值。此外，感測器束164內的感測器(例如感測器164a、164b、164c、164d)包括大於先前所述之投影機顯示空間188的一感測空間168。感測空間168界定感測器束164內之感測器配置來以先前所述方式監測及/或檢測其狀況的區域。更特定言之，感測器束164包括具有較觸碰感應區域202為寬之視場的一透鏡組態之紅 外線或可見光照相機。據此，照相機可追蹤使用者輸入裝置在寬於表面202之區域中的位置。於一些範例中，感測空間168與先前所述之墊體200的觸碰感應表面202一致或對應，以在一經界定區域內有效整合觸碰感應表面202及感測器束164之功能性。例如，照相機追蹤使用者輸入裝置在墊體200之觸碰感應表面202上的位置。
現參照圖5~7，墊體200之觸碰感應表面202可顯示影像及應用程式。此等影像可由照相機拍攝且由總成184投影到墊體200之表面202上。並且，該等影像亦可於顯示器152上顯示。拍攝影像之照相機可具有高於表面202的解析度，而該表面202具有高於顯示器152的解析度。據此，影像的解析度可能高於顯示器152及表面202。對於待以相同尺寸跨越所有顯示器(例如顯示器152及表面202)顯示之影像，影像可能被縮小比例。於一示現例中，可使用一調整引擎來縮小影像比例。更特定言之，此調整引擎識別顯示器152及表面202之尺寸與解析度，並決定一解析度值，其高於跨越所有顯示器之最高解析度值，且為跨越所有顯示器之最小解析度值的倍數。系統100顯示具有經決定解析度值的影像。因此，當影像移動跨越不同顯示器時，即使固有的影像可能具有較少像素，影像仍會以相同尺寸顯現。
於另一範例示現例中，一應用程式之視窗(例如桌面)可顯示在顯示器152上。此外，該應用程式之另一視窗或相同視窗(延伸桌面)可顯示在表面202上。此應用程式可包含由裝置150內執行之軟體所產生的資訊(例如字體)及 /或圖像(例如空間、邊界)。於字體範例中，為維持含有跨越多重螢幕之字體的應用程式視窗之一實體尺寸一致性，調整引擎決定螢幕的特性，並基於對應的螢幕特性來調整顯示在螢幕上的字體。例如，一瀏覽器視窗可顯示在顯示器152上，而此種瀏覽器視窗上的文字字體可以Arial(字型)12號(字體尺寸)字顯示。若另一瀏覽器或相同瀏覽器視窗顯示在表面202上，瀏覽器視窗中的文字字體可被調整以維持顯示器152及表面202間的視覺比例相似度。例如，該字體可從尺寸12轉變成尺寸10。此外，於圖像範例中，為維持含有跨越多重螢幕之圖像的應用程式視窗之一實體尺寸一致性，調整引擎決定螢幕的特性，並基於該螢幕特性來調整顯示在顯示器上的圖像尺寸。
如同上述，經顯示的應用程式可具有多個視窗，其可能跨越多個螢幕顯示。例如，顯示器152可顯示一應用程式的一視窗，同時表面202顯示相同應用程式的另一視窗。於另一示現例中，此應用程式可能僅具有一視窗。視窗首先可顯示於顯示器152上，而接著從顯示器152移動至表面202。於更一示現例中，顯示器152可顯示一應用程式，而表面202可顯示不同應用程式。
一使用者(圖中未顯示)可接著藉由與墊體200之觸碰感應表面202實體接合，來與顯示在投影機顯示空間188及顯示器152上的影像互動。此種互動可透過任何合適方法進行，諸如透過一尖筆25或(多個)其他合適使用者輸入裝置與使用者的手35直接互動。使用者可藉墊體200之觸碰 感應表面202上在投影機顯示空間188外側的觸碰動作，來與投影機顯示空間188上顯示的影像互動。
特別是，此提供額外功能性。例如，觸碰動作可能作為一捲動條(scroll bar)。更特定言之，一使用者輸入裝置(例如手、尖筆、指標裝置)可在投影機顯示空間188外側的區域中上下移動。於另一範例中，觸碰動作可為用於多種功能性的慣用按鈕，諸如但不限於，調整顯示器之亮度、調整音量、作業系統之啟動或終止(例如開始按鈕)。此種觸碰動作可在不會干擾投影機顯示空間188上之影像的狀況下執行。
如圖7最佳所示地，當一使用者與墊體200之表面202互動時，即產生一信號，透過任何先前所述之電氣耦合方法及裝置而依路由傳送至裝置150的。如同上述，此種互動可在墊體200內之投影機顯示空間188外側進行。一旦裝置150收到墊體200內產生的信號，該信號即透過內部導體路徑153依路由傳送至處理器250。於一示現例中，處理器250與一非暫時性電腦可讀儲存媒體260通訊以產生一輸出信號，該輸出信號接著依路由傳回投影機總成184及/或顯示器152，以在投影到表面202上的影像及/或顯示於顯示器152上之影像中分別實現一變化。於另一示現例中，處理器250可識別墊體200內所產生之信號。更特定言之，墊體200內所產生之信號可能與一特定功能(例如增加音量、調低亮度、向下捲動等)相關聯。據此，一旦處理器250收到信號並識別該功能，其可執行對應於使用者觸碰動作/互動的工 作。亦應了解的是於此過程期間，一使用者亦可能透過與置設在觸碰感應區域202上之觸碰感應表面接合而與顯示在顯示器152上之影像直接或間接互動。
此外，於一些範例中，尖筆25更包括一發送器27，其配置來追蹤尖筆25於投影機顯示空間188之內或外側的位置(尖筆25是否有與觸碰感應表面202互動)，且透過一無線信號50與置設在裝置150內之一接收器270通訊。於這些範例中，由接收器270從尖筆25上之發送器27接收之輸入亦透過路徑153依路由傳送至處理器250，使得一輸出信號如先前所述可被產生且依路由傳送至總成184及/或顯示器152。
並且，於一些範例中，置設在感測器束164內的感測器(例如感測器164a、164b、164c、164d)亦可產生依路由傳送至裝置150用以由處理器250及裝置260進一步處理的系統輸入。例如，於一些示現例中，感測器束164內的感測器可感測一使用者的手35或尖筆25之位置及/或存在，且接著產生輸入信號依路由傳送至處理器250。於一示現例中，處理器250識別與該輸入信號相關聯之一工作並執行該工作。於另一示現例中，處理器250產生一對應輸出信號，以上述方式依路由傳送至顯示器152及/或投影機總成184。特別是，於一些示現例中，感測器束164包括配置來執行(例如尖筆25的)立體式尖筆追蹤之一對照相機或感測器。更特定言之，此種照相機或感測器可於覆蓋投影機顯示空間188外側的區域中執行追蹤。於更一示現例中，尖筆 25包括一尖端26，其塗覆有一紅外線回反射(retro-reflective)塗層(例如塗漆)，故使其能作為一紅外線回反射器。感測器束164(以及更特定感測器164c或164d)接著更可包括先前所述之紅外線照相機或感測器，其於操作期間檢測從尖筆25之尖端26反射離開的紅外光，且因此追蹤尖端26在移動跨越表面202時的位置。
據此，於一些範例中，由總成184投影到表面202上之影像作為系統100內的一第二或替代觸碰感測顯示器。此外，與顯示在表面202上之影像的互動更透過使用如上述置設於感測器束164內的感測器(例如感測器164a、164b、164c、164d)而增強。
再參照圖7，處理器250可處理機器可讀指令，諸如處理器可讀(例如電腦可讀)指令。此機器可讀指令可組配處理器250以允許系統100執行本案揭露之方法及功能。
機器可讀指令可儲存於耦合於處理器250之諸如一非暫時性電腦可用媒體的一記憶體中，且可採軟體、韌體、硬體、或其等之組合的形式。於一硬體解決方案中，此機器可讀指令可硬編碼(hard-coded)成為例如一特定應用積體電路(ASIC)晶片之處理器250之一部分。於一軟體或韌體解決方案中，指令可儲存供處理器250取回。非暫時性電腦可用媒體的一些額外範例可包括靜態或動態隨機存取記憶體(SRAM或DRAM)、唯讀記憶體(ROM)、電氣可抹除可規劃ROM(EEPROM)記憶體，諸如快閃記憶體、磁性媒體及光學媒體等，不管永久或可移除式。一些消費者導向的 電腦應用程式為採下載形式或可移除式電腦可用非暫時性媒體形式提供給使用者的軟體解決方案，該下載例如來自網際網路，而該可移除式電腦可用非暫時性媒體諸如為一實密光碟唯讀記憶體(CD-ROM)或數位影音光碟(DVD)。儲存裝置260可對應於(例如表示)本案揭露之資料承載媒體儲存著數位影像資料(例如位元映像(bitmap)、PDF、TIFF、JPEG等)。
再參照圖5~7，此外，在至少一些範例的操作期間，系統100可捕捉一實體物件的一個二維(2D)影像或產生它的3D掃描，使得物件的一影像可接著被投影到表面202上，供進一步使用及操縱它。特別是，於一些範例中，一物件40可置放在表面202上，使得感測器束164內的感測器(例如照相機164b、深度感測器164c等)可檢測到例如位置、維度，且於一些實例中，檢測到物件40之色彩，以增強其2D影像或產生其3D掃描。由感測器束164內之感測器(例如感測器164b、164c)所收集的資訊可接著被依路由傳送至如先前所述與裝置260通訊的處理器250。其後，處理器250導引投影機總成184將物件40之一影像投影到表面202上。亦應了解的是，於一些範例中，諸如文件或相片的其他物件可由感測器束164內之感測器掃描，以產生利用總成184投影到表面202上之該物件的一影像。此外，於一些範例中，一旦(多個)物件被感測器束164內的感測器掃描，影像的背景即可在投影到表面202上(或顯示在裝置150之顯示器152上)之所得影像內被隨意而定、數位地移除。
雖然裝置150已被描述成一個一體式電腦，但應了解的是於其他範例中，裝置150更可採用更傳統的使用者輸入裝置，諸如，例如鍵盤及滑鼠。此外，雖然感測器束164內的感測器164a、164b、164c、164d被描述成各代表一個單一感測器或照相機，但應了解的是，各該感測器164a、164b、164c、164d在符合本案所述原理下各可包括多個感測器或照相機。並且，雖然頂部160於本案中描述成一懸臂頂部，但應了解的是於其他範例中，頂部160於符合本案所述原理下可在多於一點處受支撐且因此可能不會呈懸臂型態。
現轉向系統100之操作，圖8繪示根據一示現例之一範例程序流程概要圖800。程序800描繪可與多重顯示器組態互動之方法的一範例。機器可讀指令可指示處理器250以允許系統100執行由圖8中之流程圖所繪示之程序800。於一示現例中，系統100可執行程序800以回應接收來自一使用者之指令來控制投影系統。
程序800可始於方塊805，其中系統決定系統中之顯示單元的規格。更特定言之，此程序可涉及識別系統中之顯示單元的尺寸及解析度。該程序亦可涉及識別具有最高解析度之顯示單元及具有最低解析度之顯示單元。
於方塊810，系統決定用以維持影像跨越多個顯示單元之一實體尺寸一致性的一解析度值。特別是，解析度值高於跨越顯示單元的最高解析度值且為跨越顯示單元之最低解析度值的倍數。
於方塊815，系統基於經決定的解析度值在顯示單元之一者上顯示一影像。於一示現例中，影像可由系統中的一照相機拍攝。於另一示現例中，影像可由系統中的一運算裝置提供。於一示現例中，影像可移動至該影像係基於經決定的解析度值而顯示且維持一實體尺寸一致性的另一顯示單元。因此，影像顯現有一致內容的元件。
於一範例示現例中，應用程式的一視窗可被顯示在顯示單元之一者上。此應用程式可包含針對某一解析度設計的資訊及視覺物件(例如圖像)。當應用程式的視窗顯示在一顯示單元上時，資訊中的字體可基於顯示單元的規格而調整。更特定言之，顯示單元的規格可識別一解析度值，且因此字體可基於顯示單元之解析度值而改變。於一範例中，當相同或不同視窗顯示在另一顯示單元上時，字體可基於對應的顯示單元再調整，以在跨越全部顯示單元之視窗之間維持實體尺寸一致性。
本案揭露內容已參考前述例示性示現例而顯示及描述。雖然特定範例已於本案繪示及論述，明白想要的是所請求之主體內容的範疇僅由後附申請專利範圍及其等效型態所限制。然而，應了解的是，其他形式、細節及範例可在不脫離後附申請專利範圍中所界定之發明揭露內容的精神與範疇下而做成。
800‧‧‧流程概要圖/程序
805~815‧‧‧方塊

Claims (15)

  1. 一種系統，其包含：一投影機單元；一個一體式電腦，其可附接於該投影機單元，該一體式電腦具有一顯示單元；以及一觸碰感應墊體，其通訊式耦合於該一體式電腦，該觸碰感應墊體具有一投影機顯示區域；其中該一體式電腦指示一照相機掃描該觸碰感應墊體上之一實體物件，且使該投影機單元將經掃描影像基於一解析度值而投影回到該觸碰感應墊體上之該投影機顯示區域上；及其中該觸碰感應墊體及該顯示單元具有不同解析度，且該解析度值係基於該觸碰感應墊體及顯示器之解析度決定。
  2. 如請求項1之系統，其中該影像基於該解析度值而顯示在該顯示單元，且其中顯示該在該顯示單元上的影像及顯示在該觸碰感應墊體上的影像顯現一實體尺寸一致性。
  3. 如請求項1之系統，其中該解析度值高於該顯示單元之解析度，且為該觸碰感應墊體之解析度的倍數。
  4. 如請求項1之系統，其中該照相機具有一解析度高於該顯示單元之解析度及該觸碰感應墊體之解析度。
  5. 如請求項4之系統，其中由該照相機所拍攝之影像係縮 小比例至對應於該影像之實際尺寸的一較低解析度。
  6. 如請求項1之系統，其更包含多個照相機，其中的至少一照相機係用於深度檢測，且其中的至少二個照相機係用於立體式尖筆追蹤。
  7. 一種管理顯示單元之方法，其包含：決定多個顯示單元之多個規格，該等規格包含尺寸及解析度；識別具有一最高解析度之一顯示單元及具有一最低解析度之一顯示單元；基於該最高解析度及該最低解析度指派一本質解析度值；以及使用該本質解析度值來指示在該等顯示單元上顯示一影像；其中顯示於該等顯示單元上之該影像跨越全部該等顯示單元呈現一實體一致性。
  8. 如請求項7之方法，其更包含從一照相機接收該影像。
  9. 如請求項7之方法，其中該影像包含多個影像，且該等多個影像以一致實體尺寸顯現在該等顯示單元上。
  10. 如請求項7之方法，其中該影像為一應用程式的一元件，其中該影像包含資訊、圖像、或其組合。
  11. 如請求項10之方法，其中該資訊包含該影像中的字體，該等字體基於用來顯示該影像之一對應顯示單元的規格而進行調整。
  12. 如請求項11之方法，其中該等字體在尺寸及類型上被調 整。
  13. 如請求項10之方法，其中該等圖像包含邊界、線條、及空間。
  14. 如請求項10之方法，其中該影像中之該等圖像係基於用來顯示該影像之一對應顯示單元的規格而進行調整。
  15. 一種非暫時性電腦可讀媒體，其包含在執行時能使一裝置進行下列動作之指令，該等動作包含：決定多個顯示單元的多個規格，該等規格包含尺寸及解析度；識別具有一最高解析度之一顯示單元及具有一最低解析度之一顯示單元；基於該最高解析度及該最低解析度指派一本質解析度值；以及其中一影像使用該本質解析度值來顯示在各該顯示單元上；及其中該影像維持跨越各該顯示單元呈一致的一尺寸。
TW104102355A 2014-01-31 2015-01-23 管理顯示單元之方法、電腦可讀媒體及相關系統 TWI566169B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/014122 WO2015116157A2 (en) 2014-01-31 2014-01-31 Display unit manager

Publications (2)

Publication Number Publication Date
TW201535251A TW201535251A (zh) 2015-09-16
TWI566169B true TWI566169B (zh) 2017-01-11

Family

ID=53757882

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104102355A TWI566169B (zh) 2014-01-31 2015-01-23 管理顯示單元之方法、電腦可讀媒體及相關系統

Country Status (3)

Country Link
US (1) US20160334892A1 (zh)
TW (1) TWI566169B (zh)
WO (1) WO2015116157A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536766B (zh) * 2015-01-09 2018-01-26 京东方科技集团股份有限公司 一种电子设备的控制方法及电子设备
WO2020027818A1 (en) * 2018-07-31 2020-02-06 Hewlett-Packard Development Company, L.P. Determining location of touch on touch sensitive surfaces
US11226715B2 (en) * 2019-09-30 2022-01-18 Lenovo (Singapore) Pte. Ltd. Universal size designation for display element during display and transfer
TWI731531B (zh) * 2019-12-27 2021-06-21 宏碁股份有限公司 電腦系統及其顯示控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078032A (ja) * 2003-09-03 2005-03-24 Olympus Corp 画像表示プログラム、画像表示装置、画像表示方法
JP2005148450A (ja) * 2003-11-17 2005-06-09 Casio Comput Co Ltd 表示制御装置およびプログラム
JP2006323866A (ja) * 1998-10-07 2006-11-30 Intel Corp データ入力方法
US20100164869A1 (en) * 2008-12-26 2010-07-01 Frank Huang Virtual keyboard structure of electric device and data inputting method thereof
TW201305864A (zh) * 2011-07-26 2013-02-01 Univ Nat Cheng Kung 觸控投影系統
WO2013019255A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
US8589822B2 (en) * 2010-12-10 2013-11-19 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
JP2012221085A (ja) * 2011-04-06 2012-11-12 Seiko Epson Corp 画像供給装置、表示システム、画像供給方法、及び、プログラム
US9377989B2 (en) * 2013-09-27 2016-06-28 Lenovo (Beijing) Limited Information processing method for slicing and displaying object and electric device for implementing the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323866A (ja) * 1998-10-07 2006-11-30 Intel Corp データ入力方法
JP2005078032A (ja) * 2003-09-03 2005-03-24 Olympus Corp 画像表示プログラム、画像表示装置、画像表示方法
JP2005148450A (ja) * 2003-11-17 2005-06-09 Casio Comput Co Ltd 表示制御装置およびプログラム
US20100164869A1 (en) * 2008-12-26 2010-07-01 Frank Huang Virtual keyboard structure of electric device and data inputting method thereof
TW201305864A (zh) * 2011-07-26 2013-02-01 Univ Nat Cheng Kung 觸控投影系統
WO2013019255A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method

Also Published As

Publication number Publication date
TW201535251A (zh) 2015-09-16
WO2015116157A2 (en) 2015-08-06
WO2015116157A3 (en) 2015-12-03
US20160334892A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
TWI547828B (zh) 感測器與投射器之校準技術
CN105723300B (zh) 基于表示对象的图像确定分割边界
TWI529475B (zh) 具有投影機單元和電腦之系統
TWI566152B (zh) 具有投影單元之系統的觸碰感應墊
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
TWI545463B (zh) 投影系統及管理投影系統之方法
TWI582676B (zh) 物件指示符顯示技術
CN105683866B (zh) 投影计算系统
TWI575406B (zh) 用以產生顯示區之角落的方法、相關電腦系統及機器可讀儲存媒體
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
WO2016018393A1 (en) Touch region projection onto a touch-sensitive surface
CN107077196B (zh) 识别触敏表面上的对象
EP3486815A1 (en) Model data of an object disposed on a movable surface
WO2016048313A1 (en) Transforming received touch input
US10664100B2 (en) Misalignment detection
US10877597B2 (en) Unintended touch rejection

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees