TW201630415A - 影像投影技術 - Google Patents
影像投影技術 Download PDFInfo
- Publication number
- TW201630415A TW201630415A TW104135093A TW104135093A TW201630415A TW 201630415 A TW201630415 A TW 201630415A TW 104135093 A TW104135093 A TW 104135093A TW 104135093 A TW104135093 A TW 104135093A TW 201630415 A TW201630415 A TW 201630415A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- object mask
- sensor
- source content
- composite image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
- G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Studio Devices (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
根據本文所揭用以輸出影像資料之一實例,包含一表面及一物體之一影像係於一感測器上被擷取。基於該擷取之影像的一物體遮罩係於一處理器上被建立。基於該物體遮罩及一來源內容檔案之一第一合成影像被建立。在一實例中,該第一合成影像係投射至該表面。
Description
本發明係有關於影像投影技術。
二維及三維掃描技術容許一實體物體之形狀、輪廓及其他特徵之數位擷取或擷獲。例如,在三維掃描應用技術中,各種硬體及軟體可被用來擷取一物體,諸如使用者的手,以將該物體顯示於一裝置或顯示器上。
依據本發明之一實施例,係特地提出一種輸出影像資料之方法,其包含下列步驟:於一感測器上擷取包含至少一表面及一物體之一影像;於一處理器上基於所擷出之該影像產生一物體遮罩;於該處理器上基於該物體遮罩及一來源內容檔案產生一第一複合影像;以及於一投影機上投射該第一複合影像至該表面。
100‧‧‧裝置
102‧‧‧使用者
104‧‧‧感測器群集
106‧‧‧感測器、攝影機
108‧‧‧投影機
110‧‧‧顯示器
112、1012‧‧‧墊片
114、120、502、602‧‧‧來源內容
116‧‧‧手、物體
118‧‧‧觸控筆
122、202‧‧‧即時表示
302、304、306、308、402A、402B、404A、404B、406A、
406B、408A、408B、802、804、806、808‧‧‧方塊
504、704‧‧‧物體
604‧‧‧物體遮罩
904A‧‧‧初始物體遮罩
904B‧‧‧改善的物體遮罩
1002‧‧‧處理器
1004‧‧‧非暫時性電腦可讀儲存裝置或媒體
1006‧‧‧顯示器、顯示配接器
1008‧‧‧接收器
1014‧‧‧照明來源、投影機總成
1016‧‧‧指向裝置、觸碰筆
圖1為根據本發明之一實例一輸出內容之裝置及一第一位置中之一物體,例如使用者的手,的一立體圖;圖2為根據本發明之一實例一輸出內容之裝置及一第二位置中之一物體的一立體圖;
圖3為根據本發明之一實例投射一合成影像的一流程圖;圖4A為根據本發明之一第一實例建立一初始物體遮罩的一流程圖;圖4B為根據本發明之一第二實例建立一初始物體遮罩的一流程圖;圖5為根據本發明之一實例由至少一感測器所擷取之一擷取影像的一示意圖;圖6為根據本發明之一實例由一裝置所投射之一來源內容檔案及一物體遮罩的一示意圖;圖7根據本發明之一實例由一裝置所顯示之一來源內容檔案及一物體的一示意圖;圖8闡示出根據本發明之一實例改善一物體遮罩之一流程圖;圖9A及9B闡示出根據本發明之一實例之一原始物體遮罩及一改善的物體遮罩;以及圖10為根據本發明之一實例圖1之裝置的一圖式。
在一運算系統中,投影機可使用作為顯示來源及照明來源。例如,投影機可將文字、文件、影像、視頻或其他數位媒體投射至一表面上,及亦可照亮該表面上或接近該表面之一物體,例如手。在該物體要被例如一攝影機、3D感測器、紅外線感測器或其他感測器擷取的情況下,該物體可具有重疊於其上之文字或影像,避免該感測器乾淨
擷取該物體。在此等情況下,當該投影機以數位方式擷取一物體時,其並未以最佳方式提供顯示來源及照明來源之雙重目的之服務。
舉例而言,於投射至一表面上之數位簡報或數位幻燈片之情況下,其中使用者的手存在或停留於投影機及該表面之間,對於手的數位擷取將擷取幻燈片及手,包括重疊於手上的幻燈片。在此等實例中,除了避免對於手的乾淨擷取之外,投影機已具有幻燈片所投射之數位影像而可不必使用3D感測器擷取該數位影像。
根據用以輸出影像資料之一實例,包含一表面及一物體之一影像於一感測器上被擷取。基於該擷取之影像的一物體遮罩於一處理器上被建立。基於該物體遮罩及一來源內容檔案之一第一合成影像被建立。在一實例中,該第一合成影像係投射至該表面。
圖1為根據本發明之一實例之輸出內容及在一第一位置中之一物體,例如使用者的手,之一裝置的一立體圖。在一實例中,圖1闡示出由至少一使用者102所使用之一電腦系統或裝置100(「裝置」)。如下文更詳細描述者,裝置100可包含一感測器群集104、一或多個感測器(「感測器」)106、一投影機(或投影機及鏡像系統)108(以下簡稱「投影機」)、一顯示器110、及一墊片112。在一些實例中,墊片112可為觸碰式墊片。
在一些實例中,墊片112及顯示器110可顯示來源內容114及120。在一實例中,該來源內容可為儲存在裝置
100上或可由裝置100存取之一數位簡報投影片。來源內容114可由投影機108投射,該投影機108可懸立於基片112上方,而來源內容120可被顯示於顯示器110上。
裝置100可被使用來擷取或掃描一物體,諸如在感測器106之視野內的使用者102之手116,該物體包括使用者手中的一裝置,諸如一觸控筆118(本文統稱為「物體116」)。在一些實例中,所擷取或掃描之該物體116的一即時表示122可被顯示於顯示器110上,作為例如來源內容120之部分或重疊於來源內容120上。
裝置100一般可包含任何適合的運算裝置,諸如能夠與至少一感測器介接之桌上型電腦、膝上型電腦、筆記型電腦、小筆電、單體全備電腦、平板電腦或智慧型手機。在一些實施例中,顯示器110之外殼可包含供於裝置100中使用之一處理器、記憶體及/或儲存器。
顯示器110亦可由一支撐結構所支撐(未顯示),該支撐結構可包括一基座及一直立構件。該支撐構件可支撐顯示器110和感測器群集104及感測器106之重量,該等感測器群集104及感測器106可被懸立,使得感測器106懸停於墊片112上方。在圖1所示實例中,支撐基座的前端包括於顯示器110下方建立的一空間或間距之一部分,使得墊片112可於顯示器110下方所形成的該空間被接收。
在墊片112係觸碰式墊片的多個實例中,墊片112可包含用以檢測及追蹤使用者之一或多個觸碰輸入之任何適合的觸碰式技術,以容許該使用者與裝置100或一些其他
運算裝置(未顯示)所執行的軟體互動。例如,在一些實例中,墊片112可利用已知的觸碰式技術,諸如例如電阻、電容、聲波、紅外線、應變計、光學、聲脈波辨識或其等組合。
在一些實例中,墊片112及顯示器110、及/或裝置100之一處理器、記憶體及儲存器,係彼此電氣耦接,使得由墊片112所接收的使用者輸入係傳送至顯示器110及/或安裝於顯示器110中或安裝於顯示器110外部的該處理器、記憶體及儲存器。任何適合的無線或有線電氣耦接或連接技術可使用在墊片112與顯示器110之間或廣泛使用在裝置100內。
感測器群集104可包含一或多個感測器106及/或一或多個照明光源,諸如一投影機108。投影機108可包含任何適合的數位光投影機總成,用以接收來自於一運算裝置之資料及投射對應於輸入資料之一影像或多個影像。在一些實例中,投影機108包含有利緊實之一數位光處理(DLP)投影機或一矽基液晶(LCoS)投影機及具備多重顯示解析度及尺寸之節能投影引擎。投影機108可電氣耦接至裝置100,以從裝置100接收資料,用以於操作期間透過下列技術產生光及影像:諸如電導體、WI-FI、BLUETOOTH®、NFC、光學連接、超音波連接或其等組合。
在一些實例中,感測器群集104亦可包含一摺鏡,該摺鏡可為沿感測器群集104之一底部表面配置及/或設置來反射自投影機108朝墊片112投射之影像及/或光的一高度反射表面。該鏡可為一標準前表面真空金屬化鍍鋁玻璃
鏡。在其他實例中,該鏡可具有一複雜的非球面曲率,用以做為一反射透鏡元件,以提供額外的聚焦能力或光學校正。該鏡可容許投影機108設置於該感測器群集104,而使光自該投影機108反射至感測器群集104之該鏡上,使得使用者102將覺得照明係來自該感測器群集104。
感測器106可包括用以測量及/或檢測各種參數之多個感測器及/或攝影機。例如,感測器106可包含攝影機、環境光感測器、深度感測器、及三維(3D)使用者介面感測器中之至少一者。
更特定地,在一實例中,攝影機106可為高解析度攝影機、低解析度攝影機、紅外線(「IR」)攝影機、或其他攝影機類型。攝影機106可安排來擷取配置在墊片112上或一般在感測器106下方之一物體或其他物品的靜態影像或視頻,包括投射的內容。
在一實例中,一環境光感測器106可安排來測量環繞裝置100周圍之環境的光強度,用以在一些實例中調整感測器群集104中另一感測器之曝光設定,及/或調整諸如例如投影機108或顯示器110之裝置各處其他來源所發出的光強度。
在一實例中,一深度感測器106可配置來在一3D物體係於一工作表面上時做出指示,諸如於墊片112上或,在其他實施例中,於適合用以掃描之桌面或其他表面上。特別是,深度感測器106可感測或檢測物體之存在、形狀、輪廓、動作及/或3D深度,或是物體之特定(多個)特徵。因
此,在一些實例中,深度感測器106可用任何適合的感測器或攝影機安排,來感測或檢測配置在感測器之視野中的3D物體及/或各像素之深度值,無論紅外線、顏色或其他項目。在一些實例中,深度感測器106可包含具均勻IR泛光之一單一IR攝影機感測器,及包含具均勻IR泛光、結構光深度感測器技術、飛行時間(TOF)深度感測器技術或其等組合之一雙IR攝影機感測器。
在一實例中,一使用者介面感測器106可包含任何適合的裝置或多個裝置(例如感測器或攝影機),用以追蹤諸如例如手、觸碰筆或指向裝置之一使用者輸入裝置。
在各種實例中,感測器群集104可包含替代上文所述感測器或除上文所述感測器之外的其他感測器及/或攝影機,及/或不同組配方式之感測器及/或攝影機,諸如與桌上型電腦、平板或智慧型手機配合使用。
感測器群集104中之感測器106或一般可由裝置100接取之任何感測器可電氣地或通信地耦接至彼此及/或裝置100或裝置100之組件,使得感測器群集104內產生的資料可發送至裝置100,及由裝置100所發出的命令可透過任何適合的電氣及/或通信耦接技術傳送至該等感測器106。
圖2為根據本發明之一實例輸出一第二位置中之一物體的內容之裝置的立體圖。在圖2之實例中,當使用者的手116移動時,投影機108所投射之影像會改變,使得來源內容不會投射至使用者的手上,如下文所討論。進一步地,被擷取或掃描之物體116之即時表示202亦更新來反映
物體116在新位置中新的、乾淨的擷取,而無來源內容投射至物體上,例如,無來源內容投射至使用者的手上。
圖3為根據本發明之一實例投射一合成影像的一流程圖。
在方塊302中,一影像由例如一感測器106擷取。所擷取之該影像可表示投射之來源內容與物體,該物體諸如於投射之來源內容上或其頂部上之使用者的手或觸控筆,如圖5之實例中所示,例如方塊302之擷取可為「實況」影像資料之擷取。
在方塊304中,一物體遮罩被產生,如下文參照圖4A及4B更詳細描述。該物體遮罩可表示一有色或無色遮罩區域,諸如對應於使用者之手或物體116之形狀及位置的一灰白色或灰色遮罩,使得遮罩區域於投射時,防止來源內容被投射至諸如手之物體上。在一些實例中,物體後面,諸如使用者之手的後面,之曝光變化或調光亦可被用來補償,使得來源內容不被投射至例如使用者之手的物體上。
在方塊306中,一複合影像被產生。在一實例中,物體遮罩及來源內容係例如經由補償作用或一合成器而組合,以產生一第一複合影像,如圖6中之實例所示。
在方塊308之實例中,該第一複合影像被投射,例如投射至墊片112或其他表面上,使得物體遮罩防止來源內容被投射至例如使用者的手或觸碰筆之物體116上。
在一些實例中,圖3之流程可循環。例如,在方塊308中該第一複合影像被投射之後,於方塊302中可使用
感測器106擷取或重新擷取影像,與一第二物體遮罩及第二複合影像產生來投射一第二複合影像,以容許例如諸如使用者的手之物體的移動或物體之形狀或位置的改變。
在一些實例中,重新擷取之影像的至少一元件,諸如使用者的手,可被顯示於一顯示器上,例如如圖7中所顯示之顯示器110,或者輸出至例如一數位檔案、即時通訊、螢幕共享、其他協定,或輸出至一印表機,做為與來源內容組合之一第二(或第三等等)複合影像。例如,使用者的手之重新擷取而無投射之內容於該手上,即如參照上述步驟所討論之「乾淨」擷取,可與原始來源內容組合供諸如Powerpoint簡報顯示使用,相對於上述Powerpoint簡報之低品質擷取版本。在此一實例中,當顯示為一複合影像時,擷取之影像/物體及原始來源內容兩者的影像品質將被最大化及/或維持。
在一些實例中,多個物體,例如多個手,可被擷取或重新擷取,使得輸出至例如一數位檔案之影像含有超過一個物體,包括使用者可能位於遠端之合作使用案例。
圖4A為根據本發明之一第一實例建立一初始物體遮罩的一流程圖。
在一些實例中,裝置100可包含一即時攝影機,具有由該攝影機所擷取之影像的3D形狀,包括至少一物體,例如於投射之來源內容上或上方之使用者的手。在一些實例中,來源內容投射於上之表面,例如墊片112或其他表面,可已知為或假設為平坦的,使得由該攝影機所收集之一3D
深度圖可被用來判定擷取圖的哪一部分不符合平面,例如場景的哪些部分代表物體或手。在一些實例中,一平面適配演算法可被用來判定哪些部分不符合平面,及在一些實例中,該平面適配演算法可拒絕或排除離群值。
在方塊402A中,3D形狀/深度圖或其他感測器資訊被接取,及在方塊404A中,在一實例中,具有離群值排斥之一平面適配演算法被應用至該圖。
在方塊406A中,所擷取之影像或場景內之物體或多個物體的位置或圖係基於具有離群值排斥演算法之3D形狀及平面適配技術予以判定。在一些實例中,其他演算法可被用來判定物體之位置。
在方塊408A中,一初始物體遮罩係基於在方塊406A中所判定之物體的位置/圖而產生。該初始物體遮罩可被用為輸入到例如上述所討論之方塊306的一輸入,用以產生來源內容及物體遮罩之一複合影像,或可被用為輸入至例如下文所討論之方塊802的一輸入,若物體遮罩係要進一步改善時。
圖4B為根據本發明之一第二實例產生一初始物體遮罩的一流程圖。
在一些實例中,裝置100可比較擷取之影像與來源內容,以基於擷取之影像與來源內容之間的差異,例如基於色差,而判定例如物體或手位於何處。
在方塊402B中,於一實例中,來源內容檔案被接取,而在方塊404B中,擷取之影像被接取,例如由方塊
302擷取。在方塊406B中,來源內容與該擷取之影像比較。各種演算法,諸如與影像改變及/或3D分段相關之演算法,可被應用。
在方塊408B中,一初始物體遮罩係基於方塊406B中該來源內容與該擷取之影像的比較而產生。如上參照圖4A所討論,該初始物體遮罩可被用為輸入到例如上述所討論之方塊306的一輸入,用以產生該來源內容及物體遮罩之一複合影像,或可被用為輸入至例如下文所討論之方塊802的一輸入,若該物體遮罩係要進一步改善時。
在各種實例中,圖4A及4B之方法可分開或一起使用,以產生一初始物體遮罩,或與用以產生影像遮罩之其他演算法或技術配合使用。
圖5為根據本發明之一實例之一由至少一感測器之一擷取之影像的示意圖。
感測器106,例如攝影機或3D感測器,可被用來擷取感測器106之視野內的一影像。在一些實例中,擷取之影像可代表投射之來源內容502及諸如使用者的手及/或觸碰筆之一物體或多個物體504。圖5之擷取動作可稱為現場影像之擷取動作,例如具有一物體於投射影像上或上方的投射之來源內容。
圖6為根據本發明之一實例由一裝置所投射之一來源內容檔案及一物體遮罩的示意圖。在一實例中,上文所討論之來源內容602及物體遮罩604係經由例如補償動作或一合成器而組合,以產生圖6之複合影像。在一些實例中,
如上文所討論,圖6之複合影像可被用來投射具有對使用者的手予以補償之來源內容602,用以例如防止來源內容602被投射至使用者的手上。在一些實例中,物體背後,例如由物體遮罩所界定之使用者的手背後,的曝光變化或光線調光可被用來補償,使得來源內容不會被投射至物體上,例如使用者的手上。
在一些實例中,所擷取之影像可由超過一個感測器所擷取並加以融合或者組合,及/或物體遮罩可藉由使用來自超過一個感測器之輸入而被產生。例如,如上參照圖1所提,裝置100可包含高解析度攝影機、低解析度攝影機、紅外線(「IR」)攝影機、或其他攝影機類型、及深度感測器。在一些實例中,所擷取之影像可由感測器之組合所擷取,及/或物體遮罩可由來自超過一個感測器之輸入的組合而被產生,諸如使用深度及IR感測器以及來自高解析攝影機之RGB擷取的組合。
圖7根據本發明之一實例由諸如螢幕或者輸出裝置上之一裝置所顯示之一來源內容檔案及一物體的一示意圖。
在圖7之實例中,物體704已藉由例如圖3之一第二迴路被重新擷取,使得所擷取之影像包括物體之乾淨擷取,而無來源內容投射至物體上。更特定而言,圖7闡示出在複合影像已與一物體遮罩一起被投射後,顯示一感測器之視野內的影像資料之擷取。
圖8闡示出根據本發明之一實例改善一物體遮罩之一流程圖。
在一些實例中,由於例如方塊302中裝置100上之低解析度感測器,諸如640x480感測器,所做之一擷取動作,一初始物體遮罩,如下文參照圖9A所討論者,可能具有粗略或粗糙的邊緣。此等感測器可基於系統資源,諸如為了容許較低的CPU及記憶體開銷,而被選擇。一改善的物體遮罩,如下文參照圖9B所討論者,可基於各種方法或濾波器而產生。
在一實例中,於方塊802中,一初始物體遮罩,例如904A被接取,及於方塊804中,一擷取之影像被接取。一濾波器,例如雙向交叉濾波器,可被應用於方塊806中,及一改善的物體遮罩,例如904b,可於方塊808中被輸出。該改善的物體遮罩可被用為輸入到例如上文所討論方塊306之輸入。
圖9A及9B闡示出根據本發明之一實例之一原始物體遮罩及一改善的物體遮罩。如上文參照圖8所討論,圖9A之該原始物體遮罩由於例如方塊302中裝置100上之低解析度感測器,諸如640x480感測器,所做之一擷取動作,而可具有粗略或粗糙的邊緣。同樣如上文所討論,圖9B之該改善的物體遮罩可為應用例如雙向交叉濾波器之濾波器至圖9A之該原始物體遮罩的結果。
圖10為根據本發明之一實例之圖1之裝置的一圖式。裝置100可包含一處理器1002、一非暫時性電腦可讀儲存裝置或媒體1004、一顯示器或顯示配接器1006及一接收器1008。裝置100可被耦接至一墊片1012、一照明來源/投影機
總成1014、及一指向裝置或觸碰筆1016。非暫時性電腦可讀儲存裝置或媒體1004可包含用以執行本文所述步驟之指令,諸如圖3中方塊302至308之指令。
上述討論旨在闡示出本發明的原則及各種實施例。一旦熟於此技者全然理解上述揭示內容,各種變異及修改對熟於此技者來說將變得顯而易見。下列申請專利範圍意圖解釋來涵蓋所有此等變異及修改。
302、304、306、308‧‧‧方塊
Claims (15)
- 一種輸出影像資料之方法,其包含下列步驟:於一感測器上擷取包含至少一表面及一物體之一影像;於一處理器上基於所擷出之該影像產生一物體遮罩;於該處理器上基於該物體遮罩及一來源內容檔案產生一第一複合影像;以及於一投影機上投射該第一複合影像至該表面。
- 如請求項1之方法,其中該第一複合影像之一強度被調整至對應於該物體遮罩之一區域中之一不同值。
- 如請求項1之方法,其進一步包含擷取一第二影像、產生一第二物體遮罩和一第二複合影像、及投射該第二複合影像。
- 如請求項1之方法,其進一步包含擷取一第二影像、產生包含該來源內容檔案及所擷出之該第二影像中之至少一元件的一第二複合影像、及輸出該第二複合影像至一數位檔案或數位顯示器中之一或多者。
- 如請求項4之方法,其中所擷出之該第二影像中之該至少一元件為一物體。
- 如請求項1之方法,其中該物體遮罩係藉由應用一平面適配演算法而產生。
- 如請求項1之方法,其中該物體遮罩係藉由比較所擷出之該影像與該來源內容檔案而產生。
- 一種用以輸出影像資料之系統,其包含:附接至一支撐結構之一攝影機,用以擷取投射至一表面及一物體上之一影像;附接至該支撐結構之一投影機;以及通訊地耦接至該攝影機及該投影機之一處理器,其中該處理器係用以基於所擷出之該影像及與所擷出之該物體相關聯之資料來產生一物體遮罩,及產生該物體遮罩及一來源內容檔案的一第一複合影像,及其中該投影機係用以將該第一複合影像投射至該表面。
- 如請求項8之系統,其中該投影機包含一可調整強度設定。
- 如請求項9之系統,其中該可調整強度設定係基於該物體遮罩而調整。
- 如請求項8之系統,其中該處理器係用以藉由執行一平面適配演算法而產生一物體遮罩。
- 如請求項8之系統,其中該處理器係用以藉由比較所擷出之該影像與一來源內容檔案而產生一物體遮罩。
- 一種非暫時性電腦可讀儲存媒體,其上嵌入有電腦程式,該電腦程式用以輸出影像資料,該電腦程式包含一組指令,用以進行下列動作:於一感測器上擷取投射至一表面及一物體上之一第一影像;於一處理器上基於所擷出之影像及所擷出之物體產生一物體遮罩,及基於該物體遮罩及該所擷出之影像 的一來源內容檔案產生一第一複合影像;於一投影機上投射該第一複合影像至該表面;於該感測器上擷取一第二影像;以及輸出一第二複合影像。
- 如請求項13之電腦可讀儲存媒體,其中該第二複合影像被輸出至一顯示器。
- 如請求項13之電腦可讀儲存媒體,其中該第二複合影像被輸出至一數位檔案。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2014/065465 WO2016076874A1 (en) | 2014-11-13 | 2014-11-13 | Image projection |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201630415A true TW201630415A (zh) | 2016-08-16 |
TWI608737B TWI608737B (zh) | 2017-12-11 |
Family
ID=55954787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104135093A TWI608737B (zh) | 2014-11-13 | 2015-10-26 | 影像投影技術 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10417801B2 (zh) |
EP (1) | EP3219097A4 (zh) |
CN (1) | CN107079126A (zh) |
TW (1) | TWI608737B (zh) |
WO (1) | WO2016076874A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10599225B2 (en) | 2016-09-29 | 2020-03-24 | Intel Corporation | Projection-based user interface |
US11226704B2 (en) * | 2016-09-29 | 2022-01-18 | Sony Group Corporation | Projection-based user interface |
JP7009943B2 (ja) * | 2017-11-15 | 2022-01-26 | 富士フイルムビジネスイノベーション株式会社 | 表示装置及びプログラム |
CN108563981B (zh) * | 2017-12-31 | 2022-04-15 | 广景视睿科技(深圳)有限公司 | 一种基于投影机和摄相机的手势识别方法和装置 |
US10789780B1 (en) * | 2019-03-29 | 2020-09-29 | Konica Minolta Laboratory U.S.A., Inc. | Eliminating a projected augmented reality display from an image |
Family Cites Families (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4986651A (en) | 1989-08-04 | 1991-01-22 | Minnesota Mining And Manufacturing Company | Overhead projector with centerless Fresnel lens reflective stage |
DE69430967T2 (de) | 1993-04-30 | 2002-11-07 | Xerox Corp | Interaktives Kopiersystem |
GB9614837D0 (en) | 1996-07-12 | 1996-09-04 | Rank Xerox Ltd | Interactive desktop system with multiple image capture and display modes |
JPH10222436A (ja) | 1997-02-12 | 1998-08-21 | Meidensha Corp | プログラムとデータの転送方法 |
US6965460B1 (en) | 2000-08-08 | 2005-11-15 | Hewlett-Packard Development Company, L.P. | Method and system for scanning an image using a look-down linear array scanner |
US6431711B1 (en) | 2000-12-06 | 2002-08-13 | International Business Machines Corporation | Multiple-surface display projector with interactive input capability |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US7253832B2 (en) | 2001-08-13 | 2007-08-07 | Olympus Corporation | Shape extraction system and 3-D (three dimension) information acquisition system using the same |
JP2003131319A (ja) | 2001-10-25 | 2003-05-09 | Seiko Epson Corp | 光送受装置 |
JP2003152851A (ja) | 2001-11-14 | 2003-05-23 | Nec Corp | 携帯端末装置 |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
JP2004038746A (ja) * | 2002-07-05 | 2004-02-05 | Toshiba Corp | 画像編集方法および画像編集システム |
US6616281B1 (en) | 2002-08-07 | 2003-09-09 | Imatte, Inc. | Visible-invisible background prompter |
US20040095562A1 (en) | 2002-11-20 | 2004-05-20 | John Moffatt | Combination scanner/projector |
JP3927168B2 (ja) | 2002-11-25 | 2007-06-06 | 日本電信電話株式会社 | 実世界オブジェクト認識方法および実世界オブジェクト認識システム |
US6840627B2 (en) | 2003-01-21 | 2005-01-11 | Hewlett-Packard Development Company, L.P. | Interactive display device |
US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
JP4401728B2 (ja) | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
US20050078092A1 (en) | 2003-10-08 | 2005-04-14 | Clapper Edward O. | Whiteboard desk projection display |
US7268956B2 (en) | 2003-11-24 | 2007-09-11 | Electronic Scripting Products, Inc. | Solid catadioptric lens with two viewpoints |
US7038846B2 (en) | 2003-11-24 | 2006-05-02 | Electronic Scripting Products, Inc. | Solid catadioptric lens with a single viewpoint |
US7088440B2 (en) | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
US7023536B2 (en) | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
JP2005266471A (ja) * | 2004-03-19 | 2005-09-29 | Nippon Telegr & Teleph Corp <Ntt> | ポインティング機能付画像投影方法、装置、およびプログラム |
US7573491B2 (en) | 2004-04-02 | 2009-08-11 | David Hartkop | Method for formatting images for angle-specific viewing in a scanning aperture display device |
US7161664B2 (en) | 2004-04-13 | 2007-01-09 | Electronic Scripting Products, Inc. | Apparatus and method for optical determination of intermediate distances |
US7432917B2 (en) | 2004-06-16 | 2008-10-07 | Microsoft Corporation | Calibration of an interactive display system |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7743348B2 (en) | 2004-06-30 | 2010-06-22 | Microsoft Corporation | Using physical objects to adjust attributes of an interactive display application |
US7488079B2 (en) | 2004-07-21 | 2009-02-10 | Thinc Design, Inc. | System and method for projecting images onto a moving screen |
US7557966B2 (en) | 2004-08-11 | 2009-07-07 | Acushnet Company | Apparatus and method for scanning an object |
US20060126128A1 (en) | 2004-12-15 | 2006-06-15 | Lexmark International, Inc. | Scanning assembly |
JP2006189712A (ja) | 2005-01-07 | 2006-07-20 | Nippon Telegr & Teleph Corp <Ntt> | 情報提示装置、情報提示方法及びプログラム |
EP1686554A3 (en) | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
US20080192017A1 (en) | 2005-04-11 | 2008-08-14 | Polyvision Corporation | Automatic Projection Calibration |
EP1739622B1 (en) | 2005-06-28 | 2013-08-14 | Canon Kabushiki Kaisha | Image feature identification with two cameras |
WO2007004502A1 (ja) | 2005-06-30 | 2007-01-11 | Ricoh Company, Ltd. | 投影画像表示装置 |
JP2009500963A (ja) | 2005-07-06 | 2009-01-08 | メディアポッド リミテッド ライアビリティ カンパニー | 多次元映像表示のための視覚データ及び非視覚データを捕捉するシステム及び方法 |
CN101292516A (zh) | 2005-07-06 | 2008-10-22 | 米迪尔波得股份有限公司 | 捕获画面数据的系统和方法 |
WO2007027738A2 (en) | 2005-08-29 | 2007-03-08 | Evryx Technologies, Inc. | Interactivity via mobile image recognition |
EP1980935A1 (en) | 2006-02-03 | 2008-10-15 | Matsushita Electric Industrial Co., Ltd. | Information processing device |
US7599561B2 (en) | 2006-02-28 | 2009-10-06 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
DE102006019963B4 (de) | 2006-04-28 | 2023-12-07 | Envisiontec Gmbh | Vorrichtung und Verfahren zur Herstellung eines dreidimensionalen Objekts durch schichtweises Verfestigen eines unter Einwirkung von elektromagnetischer Strahlung verfestigbaren Materials mittels Maskenbelichtung |
US20080018591A1 (en) | 2006-07-20 | 2008-01-24 | Arkady Pittel | User Interfacing |
JP4777182B2 (ja) | 2006-08-01 | 2011-09-21 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、プログラム |
US7690795B2 (en) | 2006-10-06 | 2010-04-06 | Hewlett-Packard Development Company, L.P. | Projector/camera system |
US8199117B2 (en) * | 2007-05-09 | 2012-06-12 | Microsoft Corporation | Archive for physical and digital objects |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
US9377874B2 (en) | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US8007110B2 (en) * | 2007-12-28 | 2011-08-30 | Motorola Mobility, Inc. | Projector system employing depth perception to detect speaker position and gestures |
JP4341723B2 (ja) | 2008-02-22 | 2009-10-07 | パナソニック電工株式会社 | 光投影装置、照明装置 |
JP5277703B2 (ja) | 2008-04-21 | 2013-08-28 | 株式会社リコー | 電子機器 |
CN101261557B (zh) | 2008-04-30 | 2011-09-14 | 北京汇冠新技术股份有限公司 | 一种用于触摸屏的图像传感装置 |
US8355038B2 (en) | 2009-01-28 | 2013-01-15 | Hewlett-Packard Development Company, L.P. | Systems for capturing images through a display |
US8121640B2 (en) | 2009-03-19 | 2012-02-21 | Microsoft Corporation | Dual module portable devices |
JP5347673B2 (ja) | 2009-04-14 | 2013-11-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2010124074A1 (en) | 2009-04-22 | 2010-10-28 | Terrence Dashon Howard | System for merging virtual reality and reality to provide an enhanced sensory experience |
JP5395507B2 (ja) | 2009-05-21 | 2014-01-22 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム |
JP5328907B2 (ja) | 2009-05-26 | 2013-10-30 | パナソニック株式会社 | 情報提示装置 |
KR20110003705A (ko) | 2009-07-06 | 2011-01-13 | 엘지전자 주식회사 | 이동 단말기에서의 정보 표시 방법 및 이를 이용한 이동 단말기 |
GB2469346B (en) | 2009-07-31 | 2011-08-10 | Promethean Ltd | Calibration of interactive whiteboard |
JP2011081556A (ja) | 2009-10-06 | 2011-04-21 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよびサーバ |
US8837855B2 (en) * | 2009-11-16 | 2014-09-16 | Verizon Patent And Licensing Inc. | Image compositing via multi-spectral detection |
US20110164191A1 (en) * | 2010-01-04 | 2011-07-07 | Microvision, Inc. | Interactive Projection Method, Apparatus and System |
US8842096B2 (en) | 2010-01-08 | 2014-09-23 | Crayola Llc | Interactive projection system |
US8570319B2 (en) | 2010-01-19 | 2013-10-29 | Disney Enterprises, Inc. | Perceptually-based compensation of unintended light pollution of images for projection display systems |
JP2011203823A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
TWI423096B (zh) | 2010-04-01 | 2014-01-11 | Compal Communication Inc | 具可觸控投影畫面之投影系統 |
US8733951B2 (en) * | 2010-04-26 | 2014-05-27 | Microsoft Corporation | Projected image enhancement |
US8573786B2 (en) * | 2010-08-17 | 2013-11-05 | Xerox Corporation | Projector apparatus and method for dynamically masking objects |
US20120054355A1 (en) | 2010-08-31 | 2012-03-01 | Nokia Corporation | Method and apparatus for generating a virtual interactive workspace with access based on spatial relationships |
US9329469B2 (en) | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
US8619179B2 (en) | 2011-03-28 | 2013-12-31 | Canon Kabushiki Kaisha | Multi-modal image capture apparatus with a tunable spectral response |
US8736583B2 (en) | 2011-03-29 | 2014-05-27 | Intel Corporation | Virtual links between different displays to present a single virtual object |
US20120300080A1 (en) * | 2011-05-24 | 2012-11-29 | Steven George Batson | System and method of semi-autonomous multimedia presentation creation, recording, display, network streaming, website addition, and playback. |
US8928735B2 (en) * | 2011-06-14 | 2015-01-06 | Microsoft Corporation | Combined lighting, projection, and image capture without video feedback |
JP2013033206A (ja) | 2011-07-06 | 2013-02-14 | Ricoh Co Ltd | 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム |
BR112014002186B1 (pt) | 2011-07-29 | 2020-12-29 | Hewlett-Packard Development Company, L.P | sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho |
US8878794B2 (en) | 2011-09-27 | 2014-11-04 | Z124 | State of screen info: easel |
US9030445B2 (en) * | 2011-10-07 | 2015-05-12 | Qualcomm Incorporated | Vision-based interactive projection system |
US8896688B2 (en) | 2011-11-04 | 2014-11-25 | Hewlett-Packard Development Company, L.P. | Determining position in a projection capture system |
US9069382B1 (en) | 2012-01-06 | 2015-06-30 | Google Inc. | Using visual layers to aid in initiating a visual search |
JP2013156324A (ja) * | 2012-01-27 | 2013-08-15 | Seiko Epson Corp | プロジェクター、および、プロジェクターによる画像投射方法 |
US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
US9424650B2 (en) * | 2013-06-12 | 2016-08-23 | Disney Enterprises, Inc. | Sensor fusion for depth estimation |
US20150042678A1 (en) | 2013-08-09 | 2015-02-12 | Metaio Gmbh | Method for visually augmenting a real object with a computer-generated image |
-
2014
- 2014-11-13 US US15/522,003 patent/US10417801B2/en not_active Expired - Fee Related
- 2014-11-13 EP EP14906014.7A patent/EP3219097A4/en not_active Withdrawn
- 2014-11-13 CN CN201480083117.9A patent/CN107079126A/zh active Pending
- 2014-11-13 WO PCT/US2014/065465 patent/WO2016076874A1/en active Application Filing
-
2015
- 2015-10-26 TW TW104135093A patent/TWI608737B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
TWI608737B (zh) | 2017-12-11 |
US10417801B2 (en) | 2019-09-17 |
WO2016076874A1 (en) | 2016-05-19 |
US20170316594A1 (en) | 2017-11-02 |
EP3219097A1 (en) | 2017-09-20 |
CN107079126A (zh) | 2017-08-18 |
EP3219097A4 (en) | 2018-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI547828B (zh) | 感測器與投射器之校準技術 | |
KR102423175B1 (ko) | 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법 | |
TWI608737B (zh) | 影像投影技術 | |
CN107407959B (zh) | 基于姿势的三维图像的操纵 | |
CN105723300A (zh) | 基于表示对象的图像确定分割边界 | |
KR102423295B1 (ko) | 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법 | |
US10217223B2 (en) | Image data segmentation | |
US20140204083A1 (en) | Systems and methods for real-time distortion processing | |
US9888209B1 (en) | Remote communication system, method for controlling remote communication system, and storage medium | |
CN108141560B (zh) | 用于图像投影的系统及方法 | |
US10649584B2 (en) | Process image according to mat characteristic | |
CN107113417B (zh) | 将图像投影到对象上 | |
US10481733B2 (en) | Transforming received touch input | |
US10725586B2 (en) | Presentation of a digital image of an object | |
TWI566169B (zh) | 管理顯示單元之方法、電腦可讀媒體及相關系統 | |
US20170223342A1 (en) | Object capture and illumination | |
JP6777507B2 (ja) | 画像処理装置および画像処理方法 | |
TW201447378A (zh) | 立體影像裝置及其運作方法 | |
TWI566126B (zh) | 從影像發展出脈絡資訊之技術 | |
US9373151B2 (en) | Image processing device and image processing method | |
US10609350B1 (en) | Multiple frequency band image display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |