TWI406180B - 用於產生具有多重前景平面之高度壓縮影像資料檔案的系統及方法 - Google Patents

用於產生具有多重前景平面之高度壓縮影像資料檔案的系統及方法 Download PDF

Info

Publication number
TWI406180B
TWI406180B TW094103880A TW94103880A TWI406180B TW I406180 B TWI406180 B TW I406180B TW 094103880 A TW094103880 A TW 094103880A TW 94103880 A TW94103880 A TW 94103880A TW I406180 B TWI406180 B TW I406180B
Authority
TW
Taiwan
Prior art keywords
image
image group
data
group
signal
Prior art date
Application number
TW094103880A
Other languages
English (en)
Other versions
TW200603004A (en
Inventor
Donald J Curry
Asghar Nafarieh
Doron Kletter
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of TW200603004A publication Critical patent/TW200603004A/zh
Application granted granted Critical
Publication of TWI406180B publication Critical patent/TWI406180B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/642Adapting to different types of images, e.g. characters, graphs, black and white image portions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

用於產生具有多重前景平面之高度壓縮影像資料檔案的系統及方法
本發明係有關於在相同時間所提出之美國專利申請案(代理人案件編號第118664、117521、117745、117746、117747、117748、118584、118591及118601號),以及在此以提及方式併入上述美國專利申請案之整個內容。
本發明係有關於將影像資料轉換成為一具有多重前影平面之內容格式。
通常,以高解析度掃描之文件需要非常大量之儲存空間。再者,大量影像資料實質上需要更多時間及頻寬例如在一區域或一廣域網路上、在一企業內部網路、企業外部網路或網際網路或在其它分佈網路上傳送。
通常,使用一RGB色彩空間(例如:原始RGB格式)來界定正使用一掃描器等來掃描之文件。然而,該文件影像資料通常經歷一些資料壓縮之形式以減少其容量而非以此原始RGB格式來儲存,因而可避免儲存此已掃描RGB文件影像資料所花費之高成本。
無損失長度壓縮方案(例如:Lempel-Ziv(LZ)或Lempel-Ziv-Welch(LZW))對已掃描影像資料或者通常具有平順變化低空間頻率之影像資料(例如:漸變及/或自然圖像資料)並無法有特別妥善處理。相較下,有損失方法(例如:JPEG)對平順變化連續色調影像資料有相當好的處理。然而,例如:有損失方法對二進位原文及/或黑白影像資料或 者對包含有銳利邊緣或色彩切換效果之任何高空間影像資料通常無法有特別好的處理,例如在美國專利第6,633,670號中所示之另一種型態之影像壓縮,其將影像分解成為個別層,每一層包含一有限數目之影像元件型態(例如:文字、線條或照片)。可分別壓縮每一層。將影像分解成為前景、背景及遮罩層。藉由將影像分割成大及小次影像或區塊以決定在該遮罩層中之一像素的數值。藉由將每一次影像之像素分類成大及小次影像或區域以針對該次影像產生一次影像遮罩。藉由將該次影像之像素分類成複數個群集以針對每一影像產生一次影像遮罩,其中該等群集係以一對像素之亮度或最大亮度梯度為中心。
一用以滿足資料(例如上述不同型態之影像資料)之壓縮需求的方法使用一編碼器管線,其中該編碼器管線使用一混合光柵內容(mixed raster content,MRC)格式來描述資料。將該影像資料(例如:界定一具有攙和有色彩及/或灰度資訊之文字的合成影像之影像資料)分割成兩個或多個平面。這些平面一般稱為該背影平面及該前景影像。產生一選擇器平面以針對在該合成影像中之每一像素指示哪一個影像平面包含實際影像資料,其中該實際影像資料係用以重建最後輸出影像。因為將該資料配置成不同平面,以便每一平面比原始影像資料平滑及易於壓縮,所以以此方式分割該影像資料有助於改善該影像之總壓縮。影像分割亦允許不同壓縮方法應用至該等不同平面。因此,可應用每一平面中資料型態之最適當壓縮技術以壓縮該平面的資料。
本系統包括一影像團識別器(blob identifier),用以識別在影像資料中之一個或多個影像團;一影像團對應器(blob mapper),用以依據每一影像團之色彩特性分配一色指數至每一影像團;以及一影像團群集器(blob clusterer),用以依據每一影像團之色指數分配該等影像團至一個或多個前影平面。
第1圖顯示一3-層混合光柵內容影像資料之一示範性實施具體例;第3圖顯示一3-層影像資料產生系統1000之一示範性具體例;第4圖較詳細描述第3圖所示之分割模組1600的一示範性實施例。
第5圖描述一N-層影像資料產生系統之一示範性實施例。該N-層影像資料產生系統2000經由一信號線2010將掃描器信號SRC輸入至一掃描器色彩轉換模組2100。該掃描器色彩轉換模組2100經由一信號線2110上將掃描器色彩轉換信號SCC輸出至一網屏評估模組2200及一去網屏模組2300。該網屏評估模組2200經由一信號線2210將已評估網屏頻率信號SCF輸出至該去網屏模組2300及經由一信號線2220將評估網屏大小信號SCM輸出至該去網屏模組2300及一調整模組2400。該去網屏模組2300經由一信號線2310將模糊信號BLR輸出至一統計模組3100及經由一信號線 2320將已去網屏影像資料信號DSC輸出至該調整模組2400。該調整模組2400經由一信號線2410將已調整網屏大小信號SMS輸出至分割模組2600及經由一信號線2420將已調整去網屏影像資料信號DSS輸出至全部增強模組2500。該全部增強模組2500經由一信號線2510將全部增強影像資料信號GME輸出至該分割模組2600。
如第5圖所示,該分割模組2600經由該信號線2510僅輸入該全部增強影像資料信號GME及經由該信號線2410輸入該已調整網屏大小信號SMS。該分割模組2600處理這些信號及產生一三態邊緣連續信號TEC,其中該三態邊緣連續信號TEC經由一信號線2641輸出至影像團識別模組2700。該分割模組2600亦經由一信號線2656已增強影像資料信號ENH輸出至該影像團識別模組2700及對應影像團及群集模組2800。該影像團識別模組2700經由該等信號線2641及2656分別輸入該三態邊緣連續信號TEC及該已增強影像資料信號ENH以及將其轉換成為一影像團ID信號(BID)及一影像團之總體表GTB。將每一信號經由信號線2710及2720分別輸出至該對應影像團及群集模組2800。
該對應影像團及群集模組2800經由該信號線2656輸入該增強影像資料信號ENH、經由該信號線2710輸入該影像團ID信號BID及經由該信號線2720輸入該影像團之總體表GTB,以及部分依據與每一不同平面及不同影像團相關連聯之時定色彩分配不同影像團至不同的多重二進位前景平面。當每一二進位前景層不需擴展超過所要轉換之影像資料 的實際大小時,該對應影像團及群集模組2800亦用以決定各種二進位前景層之範圍。因此,可調整該二進位前景平面之大小。
該對應影像團及群集模組2800經由一信號線2851將每一二進位前景層之二進位資料輸出至壓縮模組3000。該對應影像團及群集模組2800亦經由一信號線2853輸出一二進位選擇器信號BEL(所有二進位前景遮罩之結合)以及亦經由一信號線2852將該已增強色彩信號ENH傳送至背景調整模組2900。該背景調整模組2900調整背景影像資料信號BG之背景以及經由一信號線2910將一已調整背景影像資料信號BGA輸出至該壓縮模組3000。
第6圖較詳細描述第5圖所示之N-層影像資料產生系統2000的分割模組2600之一示範性實施例。將該全部增強影像資料信號GME經由該信號線2510輸入至一相依最小-最大模組2610及一動態臨界模組2620。同樣地,如果獲得該已調整網屏大小信號SMS,將該已調整網屏大小信號SMS經由該信號線2410輸入至該動態臨界模組2620。
該相依最小-最大模組2610分別經由一對信號線2611及2612將一最大值信號MAX及一最小值信號MIN輸出至該動態臨界模組2620及一邊緣增強模組2650。該動態臨界模組2620經由一信號線2621將該已增強影像資料信號ENH輸出至該邊緣增強模組2650及經由一信號線2622將一原始灰階選擇器信號(raw grayscale selector signal)Grr輸出至一量化模組2640。
在一目前感興趣像素之一些鄰近區域(7x7像素窗口)中藉由該相依最小-最大模組2610來測量該等相依最小及最大值MIN及MAX。該目前感興趣像素之相依最大值係在該窗口中之具有最大亮度值的像素影像值。該相依最小值係在該窗口中之具有最小亮度值的像素影像值。通常該MIN及MAX信號之色差頻道並未涉及最小或最大運算,然而更確切地說是表示在該給定窗口區域中具有最亮或最暗之影像像素的對應色差值(因而標記"相依")。一般,該相依最大及最大信號MAX及MIN係對應於一合適色彩空間之三個正交軸的24-位元3-組成向量信號。
該動態臨界模組2620使用該等已識別像素之影像值以將適應定限應用至該該全部增強影像資料信號GME。特別地,該動態臨界模組2620決定所感興趣之像素的一相依臨界及一相依正規化值。使該相依臨界成為所感興趣之目前像素的MAX及MIN值之平均或中間值,然而使該相依正規化值成為所感興趣之目前像像的MAX及MIN值間之差。
在此示範性實施例中,使該相依正規化信號之絕對值與一對比臨界作比較。如果該相依正規化信號之絕對值小於該對比臨界,則將所感興趣之目前像素的三態邊緣連續信號TEC之值設定為0。如果該相依正規化信號之絕對值大於或等於該對比臨界,則依據所感興趣之目前像素的全部增強影像資料信號GME之值大於或小於該動態臨界值將所感興趣之目前像素的三態邊緣連續信號TEC之值設定為+1或-1。
該量化模組2640將該8-位元原始灰階選擇器信號Grr轉換成為該三態邊緣連續信號TEC,其中該三態邊緣連續信 號TEC經由該信號線2641輸出至該影像團識別模組2700。亦將作為一選擇器邊緣擷取信號EEE之2-位元三態邊緣連續信號經由一信號線2642輸出至該邊緣增強模組2650。該邊緣增強模組亦經由一信號線2631輸入一增強位準信號ENL及經由該信號線2510輸入該全部增強影像資料信號GME。如第5圖所示,依據輸入至該邊緣增強模組2650之所有信號,該邊緣增強模組2650經由該信號線2656將該色彩已增強影像資料信號ENH輸出至該影像團識別模組2700及該對應影像團及群集模組2800。
該量化模組2640經由該信號線2622輸入該8-位元原始灰階選擇器信號Grr及將該8-位元信號轉換成為一2-位元三態值信號TEC。表1描述如何將-128至+127範圍之Grr值轉換成為經由該信號線2641輸出之三態邊緣連續信號TEC及經由信號線2642輸出至該邊緣增強模組2650之EEE信號。
如表1所示,該三態邊緣連續信號TEC及該選擇器邊緣擷取信號EEE之0值對應於該原始灰階選擇器信號Grr中之弱邊緣或沒有邊緣,例如:包括該Grr信號值中之[-1至+1]範圍。相較地,將該原始灰階選擇器信號Grr之具有大於+1值之強正邊緣轉換成為該三態邊緣連續信號TEC及該選擇器邊緣擷取信號EEE之+1值(或"高(H)"。最後,將該原始灰階選擇器信號Grr之具有小於-1值之強負邊緣映射至該三態邊緣連續信號TEC及該選擇器邊緣擷取信號EEE之-1值(或"低(L)"。較詳細描述於第7圖之邊緣增強模組2650使用該選擇器邊緣擷取信號EEE之高、0及低值以決定各種色彩信號GME、MAX或MIN之哪一個將輸出成為該已增強影像資料信號ENH。
第7圖描述第6圖所示之邊緣增強模組2650。第一內插模組2651從一增強位準記憶體2630經由信號線2611輸入該相依最大信號MAX及經由信號線2510輸入該全部增強影像資料信號GME及經由信號線2631輸入該增強位準信號ENL。相較下,第二內插模組2653經由信號線2612輸入該相依最小信號MIN以及經由信號線2510輸入該全部增強影像資料信號GME及經由信號線2631輸入該增強位準信號ENL。該第一及第二內插模組2651及2653藉由以一個像素接一個像素方式使該全部增強影像資料信號GME較亮或較暗用以分別從該全部增強影像資料信號GME產生邊緣增強影像資料。特別地,該第一內插模組2651以一個像素接一個像素方式產生一較亮全部增強影像資料信號EH: EH=[GME+(MAX-GME)(ENL/256)]。
相較下,該第二內插模組2653以一個像素接一個像素方式產生一較暗全部增強影像資料信號EL:EL=[GME+(MIN-GME)(ENL/256)]。
將該較亮及較暗影像資料信號EH及EL之每一信號與該原始全部增強影像資料信號GME一起輸出至該多工器2655。該多工器2655亦輸入該三態邊緣連續信號TEC以作為該選擇器邊緣擷取信號EEE。
該多工器2655使用該選擇器邊緣擷取信號EEE作為一控制信號,以一個像素接一個像素方式在該原始全部增強影像資料信號GME與該較亮或較暗影像資料信號EH或EL間作選擇。回去參考表1,使用該選擇器邊緣擷取信號EEE之高值以選擇該EH信號,然而使用該選擇器邊緣擷取信號EEE之低值以選擇該EL信號。使用該選擇器邊緣擷取信號EEE之零值以選擇該原始全部增強影像資料信號GME。該多出器2655依據該EEE信號之值經由該信號線2565輸出該EH信號、該全部增強影像資料信號GME或該EL以作為該增強影像資料信號ENH。
當具有一強的正邊緣時,使該信號線2656上所輸出之增強影像資料信號ENH相對於該原始全部增強影像資料信號成為較亮,然而,如果具有一強的負邊緣,則使該增強影像資料信號ENH相對於該原始全部增強影像資料信號成為較暗。最後,如果沒有一強的正邊緣或一強的負邊緣或者如果最多具有一弱邊緣,則輸出該原始全部增強影像資料信號 GME而沒有增強。
第8圖顯示經由該信號線2631輸入至該第一及第二內插模組2651及2653之增強位準信號ENL的效應。
參考第5圖,該影像團識別模組2700經由該信號線2656輸入該色彩增強影像資料信號ENH及經由該信號線2641輸入該2-位元三態邊緣連續信號TEC。該影像團識別模組2700將該輸入增強影像資料分割成為複數個影像團,每一影像團適用以表示一分離二進位前景平面。該影像團識別模組2700以一個像素接一個像素方式依次分配該影像之每一像素至一先前識別影像團、一新影像團或該背景灰階影像平面。該影像團識別模組將該影像分成複數個影像團,以便每一影像團具有一連續強邊緣以及完全位於每一其它影像團之內部或外部。該影像團識別模組2700針對一感興趣之目前像素及數個周圍像素檢查這些像素之三態邊緣連續信號TEC的數值。
該影像團識別模組2700依據該感興趣之目前像素及數個相鄰像素的三態邊緣連續信號TEC之數值標記該感興趣之目前像素一影像團ID,其中該影像團ID將使用於隨後處理中。
該影像團識別模組2700開始於該影像之左上角的像素及沿著該影像之每一水平列的像素從左側移動至右側,直到到達該列之末端為止。然後,該影像團識別模組2700選擇下一列及開始於該列之最左側的像素。當依次選擇每一像素時,該影像團識別模組2700針對該像素輸入該三態邊緣連 續信號TEC以及針對一個或多個鄰近像素輸入該三態邊緣連續信號TEC之數值。
該影像團識別模組2700針對該感興趣之像素、該感興趣像素之直接上面的像素及該感興趣像素之直接左側的像素使用該三態邊緣連續信號TEC之數值。為了較高品質可使用額外鄰近TEC像素(例如:對角左上方之像素或者遠離左側或上方之兩個像素。依據上述在該目前像素之相鄰附近中的像素之三態邊緣連續信號TEC的三個或更多數值,該影像團識別模組2700識別該所感興趣之目前像素的影像團數目(如表2所示)。
如表2所示,該影像團識別模組2700依據這三個像素之三態邊緣連續信號TEC的數值對該感興趣之目前像素以及屬於上方鄰近及左側鄰近像素之影像團實施數個可能動作中之一。表2描述一用以加速該影像團識別處理之特別方法。該方法係依據一模式匹配技術(pattern matching technique)。將該三個或多個邊緣連續TEC像素結合在一起以形成在該表中之一位址。然而,使用該位址從該表查尋特 定動作。每一表位址對應於一不同TEC模式結合。特定地,當該三個像素具有相同之三態邊緣連續信號TEC的非零值時,將該目前像素、包含該上方相鄰像素之影像團及包含該左側相鄰像素之影像團全部併入一具有單一影像團ID之單一影像團。在各種示範性實施例中,將分配至此合併影像團之影像團ID係該上方相鄰及左側相鄰像素之最低影像團ID。
當該三個像素之三態邊緣連續信號TEC的數值全部為非零值,然而該目前像素之數值不同於該上方相鄰及左側相鄰像素之數值時,該目前像素分配有一新影像團ID及因而開始一新影像團。當該三個像素之三態邊緣連續信號TEC的數值全部為非零值,然而該該目前像素與該左側相鄰及上方相鄰像素中之一一致且與另一像素不一致時,該目前像素依據哪一個相鄰像素具有相同於該目前像素之三態邊緣連續值以從該上方相鄰或該左側相鄰像素承接其影像團ID。
當該三個像素之每一像素包含一不同數值之三態邊緣連續信號TEC,例如:一像素具有+1值,一像素具有-1值,以及一像素具有0值,在這三個像素間具有明顯連續斷裂。結果,將該目前像素併入該背景灰階平面。同樣地,將具有相同於該左側相鄰像素之影像團ID的所有像素及具有相同於上方相鄰像素之影像團ID的所有像素併入該背景灰階平面。
該三態邊緣連續信號TEC之值對所有像素是0或者該三態邊緣連續信號TEC之值對一像素是0然而對其它兩個像素 是相同的任何情況而言,確定該上方相鄰及左側相鄰像素中之每一像素的24-位元三成分顏色是否充分相似於該目前像素之24-位元三成分顏色。在各種示範性具體例中,如果該兩個像素值之三顏色成分的每一成分之絕對差的總和小於一固定臨界值或任何其它可比較方法,則確定該目前像素與該上方相鄰或左側相鄰像素之顏色係充分相似的。
該影像團識別模組2700使該影像團之總體表維持包含不再是活躍之影像團(例如:已完成之影像團)。在處理期間,將符合所需條件之新已識別影像團從該暫時工作表拷貝至該影像團之總體表。
使該影像團之形狀維持成為該影像團ID之函數。亦即,每一像素被提供一對應於其所屬影像團之不同影像團ID。將這些影像團ID映射至一影像平面以界定該影像團之形狀。應該進一步了解要分配至該灰階背景平面之像素分配有一特定影像團識別,例如:用以識別這些像素為該"背景"影像團之部分的0值。
每次識別一新的影像團時,因為該影像團不是沒有連接至該等先前界定之鄰近影像團就是具有不同於該等先前界定之鄰近影像團的顏色,所以將該工作表中之一新影像團ID分配給該影像團。以自該等影像團像素所收集之資訊初始化該對應表項。當該影像團識別模組2700持續操作時,如果新的前景像素相當符合該等相鄰像素之影像團特性,則將該等新的前景像素加入該先前開放之影像團。用以如上所概述將像素包含於現存影像團中之兩個主要基準係依據邊緣連 續性色彩相似性。當將新像素加入現存影像團時,更新這些現存影像團之影像團表的內容以反映新邊界框大小、該影像團顏色之已更新連續平均或連續總和、已增加之影像團前景像素總數等。
如上所述,如果該影像團識別模組2700操作像是一"y"字母之情況以使一個或多個先前分離影像團變成連接且所有這些影像團在顏色上係一致的,則將那些影像團合併成為一單一影像團。特別地,此較大影像團係該等先前連接影像團之合併。該影像團識別模組2700選擇一影像團ID(例如:較小之影像團ID)及更新其表項以包括所有來自該合併影像團之像素,其包括該新邊界框大小、連續平均或連續總和顏色、前景總數等。此外,該影像團識別模組更新該影像團影像之形狀,以分配該單一選擇影像團ID至該合併群中之所有像素。一旦完成,該影像團識別模組2700立即從影像團之工作表去除該具有相關聯表項之第二及連接影像團ID。在此方式中所釋放之任何影像團ID可用以再循環及可用於未來分配至一所要遭遇之新開放影像團。
應該了解當達成一影像團之末端亦即在最後影像團掃描線下面沒有發現相似顏色之額外連接新像素及全部邊緣連續及顏色符合所有所需條件時,該影像團識別模組2700封閉一開放之影像團。在此情況中,最後一次更新該等影像團屬性(例如:該邊界框、該影像團顏色之連續平均或連續總和、前景像素之總數等)以反映該整個影像團之最後值。然後,從現存列表移除該影像團及將其拷貝至一最後影像團 列表(例如:該影像團之總體表)。
第9-12圖描述該影像團識別模組2700所可能遇到之四個不同型態的影像團。第9圖描述一有效單一影像團400。
第10圖描述一影像團對400',其中第一影像團包含第二影像團。
第11圖描述一潛在影像團400",其具有一開放邊緣或曲線430。
第12圖顯示一對潛在影像團400'''。
第13圖描述當一影像團完全包含於另一影像團時,如何在不同影像團中針對像素分配該等影像團ID。內部影像團520之所有像素獲得第2影像團ID。此可直覺了解此內部影像團520之所有像素係鄰接的及因而形成一單一封閉曲線。相較下,該影像團510係環狀及因而具有以該影像團520之像素而與此相同影像團510之其它像素分離之像素。應該了解到用以分配影像團ID之上面概述處理(如表2所概述)可易於處理此情況,以致於有必要將複雜形狀之影像團(例如:形成字母"Y"或"R"之影像團)分割成複數個影像團。
一旦該影像團識別模組2700藉由分配不同影像團ID以將該影像之像素的區域分類成不同影像團,該影像團識別模組2700立即輸出該影像團ID信號BID及該影像團信號之總體表GTB至該對應影像團及群集模組2800。該對應影像團及群集模組淨化該影像團識別以從該影像團之總體表GTB選出及移除壞的影像團及將它們的像素併入該背景平面。
第14圖較詳細描述該影像團及群集模組2800之一示範 性實施例。將該影像團ID信號BID經由信號線2710及將該影像團信號之總體表GTB經由信號線2720輸入至一標記圖形模組2810。如果存在某些情況時,則該標記圖形模組2810依次選擇每一已識別影像團及標記該影像團成為一壞的影像團。例如:如果(1)該影像團面積太小;或(2)該影像團之極少數像素例如具有非零顏色值;或(3)該寬高比(亦即該影像團邊界框之寬度對高度的比率)表示該影像團在垂直方向上或水平方向上太窄等,則可將該影像團標記成為一壞的影像團。然後,該標記圖形模組2810經由信號線2811將該影像團ID信號BID及該影像團信號之總體表GTB(已修改成用以表示該等壞的影像團)輸出至一過濾已標記影像團模組2820。
該過濾已標記影像團模組2820分析該影像團之總體表以識別由相鄰好的影像團所包圍之壞的影像團。同樣地,該過濾已標記影像團模組2820亦分析該影像團之總體表以識別由相鄰壞的影像團所包圍之好的影像團。分析這些隔離之好的及壞的影像團,以確定是否它們分別具有相似於鄰近壞的或好的影像團之特性。如果是,則將該等隔離壞的影像團改變成為好的影像團。同樣地,如果隔離之好的影像團具有相似於鄰近壞的影像團之特性,則亦將它們改變成為壞的影像團。之後,該過濾已標記影像團模組2820從該影像團之總體表移除該等壞的影像團、釋放它們的影像團ID及將該等壞的影像團併入該背景色彩平面。然後,將該影像團ID信號BID及該影像團信號之總體表GTB(已由該過濾已標記 影像團模組2820所修改者)經由信號線2821輸出至已標記內部影像團模組2830。
該已標記內部影像團模組2830識別完全包含在其它影像團中之影像團,例如:形成字母"o"及"e"之內部的影像團。因為該三態邊緣連續信號TEC之值的運算方式,所以通常可充分測試一延伸經過兩個影像團之水平列以確定是否一二進大物完全在另一影像團內部。
例如:參考第13圖,確定第2影像團完全包含於第1影像團之內部。該測試過程如下:使用第2影像團之上及下邊界框座標以計算在第2影像團之中間的線位置。然後,使此線從第1影像團之最左像素行進至第1影像團之最右像素(如第1影像團邊界框中所界定)。然後,該測試使用一簡單狀態機以跟蹤在此線上之像素影像團ID。基本上期望在一串之第1影像團的像素後為一串之第2影像團的像素,然後再輪到第1影像團以使第2影像團接續成為第1影像團之內部。第1影像團或第2影像團或者任何其它影像團之任何失序ID將造內部測試之失敗。顯然地,此需要極少計算來檢查每一可能像素結合。
將該影像團ID信號BID及該影像團信號之總體表GTB(已進一步由該標記內部影像團模組2830所修改)經由信號線2831分別輸出至對應影像團模組2840。亦將該影像團ID信號BID經由該信號線2831輸出至群集影像團模組2850。
該對應影像團模組2840藉由將所有相似色彩之影像團 群集在一起以產生一影像團對色彩指數(blob-to-color index)。該對應影像團模組2840依據影像團之色彩特性分配一色指數至每一影像團。使用一八元樹(Octal tree)群集方法。在本發明之另一實施例中,使用第二階層之二元樹群集方法。無論該特定群集技術為何,將整頁之影像團分類成一般較小數目之獨特代表顏色,然後將其用以作為該多重二進位前景平面之顏色。
該影像團之分類方法可單獨依據該色顏特性,以作為該八元樹方法,或者在另一情況中,可依據顏色及空間特性,以作為該階層式二元樹方法。
該影像團分類過程建立一用以保持好的影像團之八元樹。此將配合第15-17圖來進一步詳細描述。該對應影像團模組2840經由該信號線2841將該已產生八元樹輸出至該群集影像團模組2850。第15圖(較詳細描述於下)描述如何分析該增強色彩影像資料信號ENH以產生該八元樹及該影像團對色彩指數。如第16及17圖所述,該對應影像團模組2840產生該八元樹及然後修剪該八元樹。在該八元樹中之每一剩餘葉代表該多重二進位前景層之不同層。
可以具有一期望最大數目之可能二進位前景層,例如:128。該對應影像團模組2840將該八元樹之具有相似顏色之葉群集在一起,以確保不會有多於最大數目之可允許葉遺留在該八元樹中。然後,該對應影像團模組2840經由一信號線2841將色彩對指數信號(color-to-index signal)CTI輸出至該群集影像團模組2850。
該群集影像團模組2850經由該信號線2841輸入該已產生色彩對指數信號CTI、經由該信號線2831輸入該區塊ID信號BID及經由信號線2856輸入該增強影像資料信號ENH。該群集影像團模組2850依據該等影像團ID及該色彩對指數信號CTI將具有充分相似顏色之影像團併入或分配至特定二進位前景層。亦即,該群集影像團模組2850針對每一不同二進位前景層將任何具有相關聯於該二進位前景層之顏色的層ID之影像團結合至該二進位前景層。該群集影像團模組2850經由該信號線2853產生該二進位選擇器信號BEL,其係所有二進位前景遮罩之結合。此外,亦將該增強色彩信號ENH經由信號線2852傳送至該背景調整模組2900,以及將各種已確定二進位前景平面經由信號線2851傳送至該壓縮模組3000。
第15圖描述一八元樹之一示範性實施例及八元樹如何對應於該增強影像資料信號ENH之三個顏色成分向量。該三個顏色向量601、602及603之每一向量包括8位元資料,其從一最左最高有效位元延伸至最右最低有效位元。
如第15圖所示,首先將24-位元全彩三成分顏色向量之三個獨立顏色成分601、602及603重新制定成為一單一24-位元字元。將該24-位元字元分割成為八個分離3-位元字節或層604。每一3-位元字節或層604係藉由從該三個不同成分601-603之每一成分聚集及排列(通常以相同順序)具有相同重要程度之位元所形成,以便三個最高有效位元係在第一字節或第零層605中,三個第二最高有位元係在第二字節或 第一層606中,以及三個最低有效位元係在第八字節或第七層607中。照此,每一3-位元字節界定每一層之八個可能值。
如以下所述,該對應影像團模組2840操作以產生及修剪該八元樹。
可從該八個3-位元字節產生一八元樹600,以便一對應於該第一字節或第零層605之根節610具有八個不同樹枝611,每一樹枝611對應於該第一字節之一可能3-位元值。
在該影像團信號之總體表GTB中之每一不同已識別影像團將以此方式來轉換。照此,每一不同影像團對於與該影像團相關聯之色彩值的三個成分之三個最高有效位元而言將具有八個可能3-位元值中之一。對於該第一字節605之在該已識別影像團中所發生的八個3-位元值之每一個值而言,在樹枝611(例如:對應於3-位元值"101"之樹枝612)之末端加入另一第二字節或第一層之節。針對具有一第一層或第二字節之節620的每一樹枝611,選擇每一已識別影像團之第二字節606。因此,又具有在該第二字節606中可能發生之八個不同3-位元值,其中該第二字節606依據該三個位元之值將需要有加入該第一層節620的節點。例如:如第15圖所示,針對從該第一層節620延伸之八個樹枝621而言,需要將一第二層節630加至樹枝621之未端(例如:樹枝622),其中一影像團具有一對應於該第一層節620之零層3-位元值的顏色值及一對應於位在該樹枝622之末端上的第二層節之第一層值(例如:第一層值"010")。
因此,如第15圖所示,第三字節或第二層之節630將 具有八個從其本身延伸之樹枝631。同樣地,第五、第六、第七及第八字節分別在樹枝641、651、661及671上具有節650、660、670及680,其中該等樹枝641、651、661及671分別從前一層節延伸出來。例如:如果第15圖所示之24-位元字元的顏色值包括第三字節之000值、第四字節之111值、第五字節之111、第六字節之001值、第七字節之011值及第八字節之011值,則該特定24-位元顏色字元之樹將包括額外樹枝641、652、662、672及681,導致第15圖所示之樹600結束於第二葉。如果同樣將每一其它已識別影像團之24-位元顏色值加入該樹600,則該樹600針對在該等已識別影像團中所呈現之每一不同顏色將包含一從該根或第零層節600下至一特定第七層葉681(例如:第15圖所示之第二葉)之路徑。然而,因為一些影像團可能具有完全相同24-位元顏色值,所以不同之葉681並不需要具有相同於不同已識別影像團之數目。
如果兩個不同影像團共用經由該樹600之相同路徑(除該第七層葉681或該第六層樹枝672或者甚至第四或第五層樹枝651或661之外),則顏色可充分相似,以使這兩個或多個影像團之葉及/或樹枝應該結合在一起。此較詳細顯示於第16及17圖中。
如上述有關於該對應影像團模組2840之概述,分析在藉由該標記圖形模組、該過濾已標記影像團模組及該標記內部影像團模組2810、2820及2830使該已修改之區塊信號的總體表GTB變細後之該已修改之區塊信號的總體表GTB中 所剩餘的影像團,一次一個影像團在該樹600中形成一從該根節610向下延伸至一特定葉節681之路徑。在該樹600中之葉681的數目決定不同二進位前景平面之數目,其中該等不同二進位前景平面以多重二進位前景平面格式用以儲存該輸入影像之影像資料。
經常將可允許層之數目限制在某些數目,通常是2的次方(例如:128,256等)。然後,如果起初在該八元樹600中之層的數目超過此限制,則必須修剪該八元樹600。
如第17圖所示,將合併第16圖之節694及693,以便節690將具有一包括原始葉1、2及3之單一葉。最後,該對應影像團模組2840產生一色彩對指數CTI表,其將該等影像團之顏色映射至要分配至該八元樹600中之對應最後葉的層ID。
第18圖顯示一包含有複數個影像團705-790之原始影像700。每一不同橫向影線型表示一不同指數值。因此,該等影像團705及760具有不同指數值,然而該等影像團780及790具有相同指數值。該等影像團750及770係唯一具有特別指數值。該對影像團730之影像團710、720及731的每一者亦具有相同指數值。最後,該等影像團732及740具有相同指數值。然而,應該了解到當不同影像團具有相同指數值時,它們不需具有相同顏色值。
該等影像團710、720及731顯示出分別具有包圍它們之邊界框711、721及733。該等邊界框711、721及733代表沿著該等影像團之最左點、最右點、最上點及最下點的文 件軸之範圍。此外,一整體邊界框712亦顯示出相關於該文件700之實際大小,其中該整體邊界框712代表沿著具有相同指數之影像團710、720及731的文件軸之最左、最右、最上及最下範圍。
如第18圖所示,因為該等影像團710、720及731由於該樹600之修剪而皆具有相同指數,所以將所有這些影像團提升至相同二進位前景層800上。該二進位前景平面800包括該等影像團810、820及830,其分別由邊界框811、821及831所界限。該等影像團810、820及830具有相同指數時,它們不需具有確實相同之顏色值。因此,相關聯於該二進位前景層800之顏色值840係在該二進位前景層800中所併入之各種影像團810、820及830之平均顏色。該二進位前景層800之大小及其相對於該背景灰階層及其它二進位前景層之位置對應於該邊界框712。因此,該二進位前景層800在範圍上不需要等於原始影像700色彩(chromatic or color)背景層。
第19圖描述顯現此過程之另一方法。一個接一個輸入該增強影像資料信號ENH、該影像團指數信號BID及該影像團資訊。此由第19圖所示之線900來表示。對於在該增強影像資料信號ENH之掃描線900部分上的像素而言,將該等像素分割成七部分901-907,其中將該等部分901、903、905及907標記成為背景像素及拷貝至該背景層910以成為該等背景像素911-921。同時,依據所要提升之該等像素區域902、904及906的每一像素區域之層ID,將一二進位值 "1"寫入該等層930、940、950或960。針對該組像素902將一組"1"941寫入該層940。同樣地,針對該組像素904將一組"1"951寫入該層950。最後,針對該組像素906將一組"1"931寫入該層930。同時,當將該等組之像素902、904及906提升至該等不同層930-960時,將該背景層中之對應像素914設定成為零。
第20及21圖係描述一使用多重二進位前景層將已掃描影像資料轉換成為一電子文件交換格式(PDF)之方法的流程圖。操作開始於步驟S1000以及進行步驟S2000,其中將已掃描影像資料轉換成為一已選擇色彩空間。在步驟S3000中,針對該已轉換影像資料評估半色調網屏參數(例如:網屏頻率及網屏大小)。在步驟S4000中,依據至少一已評估半色調網屏參數去網屏該已轉換影像資料以從該已轉換影像資料去除半色調網屏。亦即,該去網屏將該影像資料從半色調影像資料轉換回到該真正連續色調灰階影像資料。
在步驟S5000中,調整該已去網屏之已轉換影像資料。在步驟S6000中,從該已調整之已去網屏影像資料產生全部增強影像資料。在步驟S7000中,從該全部增強影像資料產生邊緣增強影像資料及邊緣連續資料。
在步驟S8000中,依據該邊緣連續資料確定在該邊緣增強影像資料中所發生之該多重二進位前景層間所分配之影像資料的複數個影像團。在步驟S9000,移除任何不良界定之影像團(例如:"壞的"影像團)。在步驟S10000中,在從該已確定影像團移除"壞的"影像團之後,從該剩餘影像團產生 一色彩樹。
在步驟S11000中,將該等剩餘影像團群集在分離影像團前景平面或層及一灰階後景平面中。在步驟S12000中,調整在該灰階背景平面中之影像資料以改善該灰階背景平面之壓縮性。在步驟S13000,使用一適合於該等二進位前景平面之壓縮技術壓縮在步驟S11000中所確定的每一分離二進位前景平面。
在步驟S14000中,使用一適合於該灰階資料之壓縮技術壓縮該灰階背景平面。然後,在步驟S15000中,從該等已壓縮二進位前景平面及該解壓縮灰階背景平面產生一電子文件交換格式(PDF)文件檔。接下來,在步驟S16000中,將該已產生電子文件交換格式(PDF)文件檔輸出至一下游處理器及/或儲存在一記憶體中。然後,操作進行至步驟S17000,結束該方法之操作。
第22圖係較詳細概述一用以從步驟S7000之全部增強影像資料產生邊緣增強影像資料及邊緣連續資料之方法的一示範性實施例之流程圖。開始於步驟S7000後,操作進行步驟S7050,其中選擇該全部增強影像資料之第一或下一線作為一目前線。在步驟S7100中,選擇在步驟S7050中所選擇之目前線的第一及/或下一像素作為一目前像素。在步驟S7150中,依據一界定窗口選擇相鄰於該目前像素之一組鄰近像素。如上所概述,該界定窗口可以是例如一以該目前像素為中心之7x7窗口。
在步驟S7200中,檢查在該目前像素周圍之該窗口中所 出現的像素,以針對該目前像素識別一在該窗口中具有最大亮度值之像素及一在該窗口中具有最小亮度值之像素。在步驟S7250中,依據在步驟S7200中所識別之像素的全三成分全部增強影像資料決定該目前像素之一灰階選擇器值。在步驟S7300中,針對該目前像素將該原始灰階選擇器值轉換成為邊緣連續資料。如以上所概述,在各種示範性實施例中,該邊緣連續資料表示是否在該窗口中或在該目前像素上具有一與該目前像素相關聯之邊緣及該邊緣對該目前像素之關係。
在步驟S7350中,依據步驟S7200中所識別之像素的全部增強影像資料及該目前像素之全部增強影像資料以及該目前像素之邊緣連續資料以針對該目前像素產生邊緣增強影像資料。在步驟S7350中,確定是否已選擇該目前線之所有像素作為該目前像素。如果不是,則操作回到步驟S7100,選擇該目前線之下一像素作為該目前像素。否則,如果已選擇該目前線之所有像素作為該目前像素,則操作進行步驟S7450。在步驟S7450中,確定是否已選擇該影像資料之所有線。如果不是,則操作回到步驟S7050,其中選擇該全部增強影像資料之下一線作為該目前線。否則,如果已選擇該影像資料之所有線,以致於已分析該整個影像及已針對在該已掃描影像資料中之每一像素產生邊緣增強影像資料及邊緣連續資料,則該操作進行步驟S7500,以使操作回到步驟S8000。
第23及24圖較詳細概述步驟S8000之一用以依據邊緣 連續資料確定在該邊緣增強影像資料中之複數個影像團的方法之一示範性實施例。開始於步驟S8000後,操作進行步驟S8050,其中選擇邊緣增強影像資料之第一或下一線。在步驟S8100中,選擇該目前線之第一或下一像素作為該目前像素。在步驟S8150中,確定是否該目前像素、該上方相鄰像素及該左側相鄰像素皆具有相同非零邊緣連續值。在步驟S8000之示範性實施例中,針對一與該目前像素共用一上邊緣之像素(亦即,一上方相鄰像素)及一共用該目前像素之左邊緣(亦即,一左側相鄰像素)的像素測試該邊緣連續資料。在步驟S8150中,如果該目前、上方相鄰及左側相鄰像素之邊緣連續資料皆具有相同非零值,則操作跳至步驟S8650。否則,操作進行步驟S8200。
在步驟S8200中,確定是否該目前像素及該上方相鄰像素之邊緣連續資料係相同的,同時該左側相鄰像素之邊緣連續資料係不同的但為非零值。如果是,則操作進行步驟S8250。否則,操作跳到步驟S8300。在步驟S8250中,亦將該上方相鄰像素之影像團ID分配至該目前像素,以表示這兩個像素係包含在相同影像團中。然後,操作跳至步驟S8700。
在步驟S8300中,確定是否該目前像素及該左側相鄰像素之邊緣連續資料係相同的,同時同時該上方相鄰像素之邊緣連續資料係不同的但為非零值。如果是,操作進行步驟S8350。否則,操作跳到步驟S8400。在步驟S8350中,亦將該左側相鄰像素之影像團ID分配至該目前像素,以便這 兩個像素係相同影像團之部分。然後,操作跳至步驟S8700。
在步驟S8400中確定是否該左側及該上方相鄰像素之邊緣連續資料係相同的,同時該目前像素之邊緣連續資料係非零值但是不同的。如果是,操作進行步驟S8450。否則,操作跳至步驟S8500。
在步驟S8450中,分配一新影像團ID至該目前像素,其中該新影像團ID係不同於該上方相鄰或左側相鄰像素之影像團ID。因此,即使該上方相鄰及左側相鄰像素係在相同影像團中,該目前像素係在一不同於該上方相鄰及左側相鄰像素之影像團的影像團中。然後,操作再次跳至步驟S8700。
在步驟S8500,確定是否該目前像素、該上方相鄰像素及該左側相鄰像素之邊緣連續資料皆具有不同值。亦即,該目前、上方相鄰及左側相鄰像素中之一具有第一值,第二個具有第二值以及第三個具有第三值。如果是,操作跳至步驟S8600。否則,操作進行步驟S8550。在步驟S8550中,確定是否該左側相鄰像素及該上方相鄰像素之每一邊緣增強影像資料充分相似於該目前像素之邊緣增強影像。如果不是,則操作再次進行步驟S8600。否則,操作跳至步驟S8650。
在步驟S8600中,因為該目前、上方相鄰及左側相鄰像素具有不同邊緣連續值或者因為該上方相鄰及左側相鄰像素具有不充分相似於該目前像素之顏色,所以將該目前像素併入該灰階背景平面。再者,將複數個影像團(包含該上方相鄰像素及左側相鄰像素,亦即,在這些影像團中包含之所 有像素)併入該灰階背景平面。然後,操作跳至步驟S8700。
相較下,在步驟S8650中,因為該目前像素、該上方相鄰像素及該左側相鄰像素皆具有相同邊緣連續值,或者所有像素具有充分相似邊緣增強影像資料,以及該目前像素、該上方相鄰像素及該左側相鄰像素中之任意兩者具有相同邊緣連續值,然而該三者具有零值,或者該目前像素、該上方相鄰像素及該左側相鄰像素中之兩者具有零值,所以可將該目前像素併入包含該上方相鄰及左側相鄰像素之兩個影像團中。結果,將該兩個影像團及該目前像素皆併入一單一影像團。應該了解的是此單一影像團依據特定實施可採用該上方相鄰像素之影像團ID,可採用該左側相鄰像素之影像團ID,可採用一完整新影像團ID,或者可採用任何其它合適影像團ID。然後,操作進行步驟S8700。
在步驟S8700中,確定是否已選擇邊緣增強影像資料之目前線的所有像素。如果不是,操作回到步驟S8100。否則,操作進行步驟S8750。在步驟S8750中,確定是否已選擇該邊緣增強影像資料之所有線作為該目前線。如果不是,則操作回到步驟S8050。否則,操作進行步驟S8800,以使操作回到步驟S9000。
第25圖係較詳細概述一用以移除步驟S9000之壞的影像團之方法的一示範性實施例之流程圖。操作開始於步驟S9000及進行步驟S9100,在其中識別潛在壞的影像團。在步驟S9200中,進一步分析已識別為壞的但是由好的影像團所包圍之影像團以及好的但是由壞的影像團所包圍之影像 團,以確定是否應該修改該好的或壞的影像團識別。識別由該相反型態影像團所包圍之壞的或好的影像團足以確定應該修改該好的/壞的識別。然後,操作進行步驟S9300。
在步驟S9300中,識別任何內部影像團(亦即,完全包含於其它影像團內之任何影像團)。當影像團與其影像資料併入該灰階背景平面時,自動地移除此內部影像團。分析該等內部影像團以確定是否它們真正代表該背景影像資料或是否應應使它們維持成為有效影像團。在步驟S9400中,移除已識別之任何內部影像團。自動地將任何已識別內部影像團移除至該灰階背景平面。將真正代表該背景影像資料之內部影像團移除至該灰階背景平面。然後,操作進行步驟S9500,以回到步驟S10000。
第26圖係較詳細概述一用以識別步驟S9100之潛在壞的影像團之方法的一示範性實施例之流程圖。操作開始於步驟S9100及進行步驟S9105,其選擇該已確定之複數個影像團的第一或下一影像團以作為一目前影像團。在步驟S9110中,確定該目前影像團之二進區域。在步驟S9115中,確定是否該目前影像團之已確定區域太小。如果是,則操作跳至步驟S9150。否則,操作進行步驟S9120。
在步驟S9120中,確定該目前影像團之"導通"像素的數目(亦即,具有非零影像值之像素的數目)。在步驟S9125中,確定是否"導通"像素之已確定數目係太小。如果是,則操作再次跳至步驟S9145。否則,操作進行步驟S9130。
在步驟S9130中,確定該目前影像團之高寬比。該高寬 比係該目前影像團之高度對寬度的比率。正規化該高寬比,以致於不在意該影像團係以水平方式或垂直方式來定向。在步驟S9135中,確定是否該目前影像團之高寬比太窄。如果是,則操作再次跳至步驟S9145。否則,因為該影像團已通過所有測試,所以該影像團係好的以及操作進行步驟S9140,其將該目前影像團標記成為好的。然後,操作跳至步驟S9150。
相較下,在步驟S9145中,因為該目前影像團至少失敗一次測試,所以將該目前影像團標記為壞的。在步驟S9150中,確定是否已選擇所有已確定之影像團。如果不是,則操作回到步驟S9105。否則,操作進行步驟S9155,其使操作回到步驟S9200。
第27圖係較詳細概述一用以產生步驟S10000之色彩樹的方法之一示範性實施例的流程圖。操作開始於步驟S10000,以及進行步驟S10100,其依序選擇在從該組已確定影像團移除壞的影像團後之每一剩餘影像團作為該目前影像團。在步驟S10200中,針對依序所選擇之每一影像團,只要一對應於該目前影像團之邊緣增強影像資料的路徑未出現在該一色彩樹中,可依據該邊緣增強影像資料在該色彩樹中加入一路徑。在步驟S10300中,在分析步驟S9000後所剩餘之所有影像團的全部路徑之後,確定在該色彩樹上之葉的適當數目。
在步驟S1040中,確定是否在該色彩樹上之葉的數目大於葉之最大可允許數目。如果是,則操作進行步驟S10500。 否則,操作跳至步驟S10600。在步驟S10500中,使單一節之至少兩個樹合併在一起或者使一不具有葉之節併入其母節等,以減少在該色彩樹中之葉的數目。然後,操作回到步驟S10300以確定在該色彩樹上之葉的剩餘數目。
一旦葉之數目至多等於葉之最大數目,則操作進行步驟S10600,其分配一層指數值至該色彩樹中之每一剩餘葉。在步驟S10700中,將每一影像團所對應之葉的層指數分配至該影像團。在步驟S10800,產生一影像團顏色值至層指數值表。然後,操作進行步驟S10900,其使操作回到步驟S1100。
第28圖係較詳細概述一用以群集步驟S11000之影像團的方法之一示範性實施例的流程圖。開始於步驟S11000後,操作進行步驟S11100,其選擇第一或下一層指數值作為該目前層指數值。在步驟S11200中,識別已分配有該目前指數層之影像團。在步驟S11300中,針對每一具有該目前層指數之已識別影像團確定一邊界框。
在步驟S11400中,確定一用以界限該已識別影像團之所有已確定邊界框的整體邊界框。在步驟S11500中,針對具有該目前層指數之已識別影像團確定一平均影像值。在步驟S11600中,針對該目前層指數,產生一二進位前景平面,此二進位前景平面具有一對應於該整體邊界框之範圍及具有一對應於該已確定平均影像值之顏色。再者,該二進位前景平面在每一像素上具有一二進位值,其對應於在該像素上之一已識別影像團的存在或不存在。
在步驟S11700中,確定是否已選擇所有層指數值。如果是,則操作回到步驟S11100。否則,操作進行步驟S11800,其使操作回到步驟S12000。
400‧‧‧單一影像團
400'‧‧‧影像團對
400"‧‧‧潛在影像團
400'''‧‧‧一對潛在影像團
430‧‧‧邊緣或曲線
520‧‧‧內部影像團
600‧‧‧八元樹
601‧‧‧顏色向量
602‧‧‧顏色向量
603‧‧‧顏色向量
604‧‧‧字節或層
605‧‧‧第一字節或第零層
606‧‧‧第二字節或第一層
607‧‧‧第八字節或第七層
610‧‧‧根節
611‧‧‧樹枝
612‧‧‧樹枝
620‧‧‧第一層節
621‧‧‧樹枝
622‧‧‧樹枝
630‧‧‧第二層節
631‧‧‧樹枝
641‧‧‧樹枝
650‧‧‧節
651‧‧‧樹枝
652‧‧‧樹枝
660‧‧‧節
661‧‧‧樹枝
662‧‧‧樹枝
670‧‧‧節
671‧‧‧樹枝
672‧‧‧樹枝
680‧‧‧節
681‧‧‧樹枝
690‧‧‧節
693‧‧‧節
694‧‧‧節
700‧‧‧原始影像
705‧‧‧影像團
710‧‧‧影像團
711‧‧‧邊界框
712‧‧‧整體邊界框
720‧‧‧影像團
721‧‧‧邊界框
730‧‧‧影像團
731‧‧‧影像團
732‧‧‧影像團
733‧‧‧邊界框
740‧‧‧影像團
750‧‧‧影像團
760‧‧‧影像團
770‧‧‧影像團
780‧‧‧影像團
790‧‧‧影像團
800‧‧‧二進位前景層
810‧‧‧影像團
811‧‧‧邊界框
820‧‧‧影像團
821‧‧‧邊界框
830‧‧‧影像團
831‧‧‧邊界框
900‧‧‧線
901-907‧‧‧部分
910‧‧‧背景層
911-921‧‧‧背景像素
930‧‧‧層
931‧‧‧一組"1"
940‧‧‧層
941‧‧‧一組"1"
950‧‧‧層
951‧‧‧一組"1"
960‧‧‧層
2000‧‧‧N-層影像資料產生系統
2010‧‧‧信號線
2100‧‧‧掃描器色彩轉換模組
2110‧‧‧信號線
2200‧‧‧網屏評估模組
2210‧‧‧信號線
2220‧‧‧信號線
2300‧‧‧去網屏模組
2310‧‧‧信號線
2320‧‧‧信號線
2400‧‧‧調整模組
2410‧‧‧信號線
2420‧‧‧信號線
2500‧‧‧全部增強模組
2510‧‧‧信號線
2600‧‧‧分割模組
2610‧‧‧相依最小-最大模組
2611‧‧‧信號線
2612‧‧‧信號線
2620‧‧‧動態臨界模組
2621‧‧‧信號線
2622‧‧‧信號線
2630‧‧‧增強位準記憶體
2631‧‧‧信號線
2640‧‧‧量化模組
2641‧‧‧信號線
2642‧‧‧信號線
2650‧‧‧邊緣增強模組
2651‧‧‧第一內插模組
2653‧‧‧第二內插模組
2655‧‧‧多工器
2656‧‧‧信號線
2700‧‧‧影像團識別模組
2710‧‧‧信號線
2720‧‧‧信號線
2800‧‧‧對應影像團及群集模組
2810‧‧‧標記圖形模組
2811‧‧‧信號線
2820‧‧‧過濾已標記影像團模組
2821‧‧‧信號線
2830‧‧‧已標記內部影像團模組
2831‧‧‧信號線
2840‧‧‧對應影像團模組
2841‧‧‧信號線
2850‧‧‧群集影像團模組
2851‧‧‧信號線
2852‧‧‧信號線
2853‧‧‧信號線
2856‧‧‧信號線
2900‧‧‧背景調整模組
2910‧‧‧信號線
3000‧‧‧壓縮模組
3100‧‧‧統計模組
BEL‧‧‧二進位選擇器信號
BID‧‧‧影像團ID信號
BLR‧‧‧模糊信號
BG‧‧‧背景影像資料信號
BGA‧‧‧已調整背景影像資料信號
CTI‧‧‧色彩對指數信號
DSC‧‧‧已去網屏影像資料信號
DSS‧‧‧已調整去網屏影像資料信號
EEE‧‧‧選擇器邊緣擷取信號
EH‧‧‧較亮全部增強影像資料信號
ENH‧‧‧已增強影像資料信號
ENL‧‧‧增強位準信號
GME‧‧‧全部增強影像資料信號
Grr‧‧‧原始灰階選擇器信號
GTB‧‧‧影像團之總體表
MAX‧‧‧最大值信號
MIN‧‧‧最小值信號
SCC‧‧‧掃描器色彩轉換信號
SCF‧‧‧已評估網屏頻率信號
SCM‧‧‧評估網屏大小信號
SMS‧‧‧已調整網屏大小信號
SRC‧‧‧掃描器信號
TEC‧‧‧三態邊緣連續信號
第1圖顯示一3-層混合光柵內容;第2圖描述一多重二進位前景影像;第3圖描述一3-層影像資料產生系統;第4圖描述第3圖之3-層影像資料產生系統的一分割模組;第5圖描述一N-層影像資料產生系統;第6圖描述第5圖之N-層影像資料產生系統的一分割模組;第7圖描述第6圖之分割模組的一邊緣增強模組;第8圖係描述一原始掃描器信號及從該原始掃描器信號所獲得之各種增強信號第9-12圖描述各種有效及無效影像團;第13圖描述一有效影像團如何能在另一有效影像團內部;第14圖描述第5圖之N-層影像資料產生系統的對應影像團及群集模組。
第15圖描述用以儲存色彩資訊之資料結構及一可產生自該色彩資料之樹狀資料結構;第16及17圖描述用以組合第15圖所示之樹狀結構以減少樹中之葉節點數目的各種技術; 第18圖描述在已識別一影像之各種影像團後的原始影像資料以及用以依據該等各種影像團及該特定二進位前景平面之色彩資料將該等已識別影像團聚集在一特定二進位前景平面中的技術;第19圖描述如何在背景及多重前景平面間分佈影像資料;第20及21圖係描述一使用多重二進位前景層以將已掃描影像資料轉換成為一電子文件交換格式(portable document format,PDF)文件檔之方法的流程圖;第22圖係較詳細概述一用以從全部增強影像產生邊緣增強影像資料及邊緣連續資料之流程圖;第23及24圖較詳細概述一用以依據該邊緣連續資料決定在該邊緣增強影像資料中之複數個影像團的方法;第25圖係較詳細概述一用以移除壞的影像團之方法的流程圖;第26圖係較詳細概述一用以識別潛在壞的影像團之流程圖;第27圖係較詳細概述一用以產生一色彩樹之方法的流程圖;第28圖係較詳細概述一用以群集該等影像團之方法的流程圖。
100‧‧‧重建影像
110‧‧‧背景層
120‧‧‧二進位前景層
130‧‧‧二進位前景層

Claims (3)

  1. 一種用以產生具有多重前景平面之高度壓縮影像資料檔案的裝置,包括:一影像團識別器,用以識別在影像資料中之一個或多個影像團;一影像團對應器,用以依據每一影像團之一色彩特性分配一色指數至一個或多個影像團中之每一者;一影像團群集器,用以依據每一影像團之色指數分配該等影像團至一個或多個二進位前景平面及灰階背景平面,以產生N層影像資料;一影像團識別模組,其維持影像團之一總體表,以包含不再有效之影像團,並識別內部影像團;一影像團分析模組,其分析該等內部影像團,以判定該等內部影像團是否代表背景資料,其中代表背景資料之內部影像團的影像資料係併入該灰階背景平面,不代表背景資料之內部影像團係維持作為有效影像團;以及藉對於每一個二進位前景平面資料及灰階背景平面施加不同的壓縮算法,以壓縮該一個或多個經分配之二進位前景平面及灰階背景平面之資料。
  2. 一種用以產生具有多重前景平面之高度壓縮影像資料檔案的方法,包括:識別在影像資料中之一個或多個影像團;依據每一影像團之一色彩特性分配一色指數至一個或多個影像團中之每一者;依據每一影像團之色指數分配該 等影像團至一個或多個二進位前景平面及灰階背景平面,以產生N層影像資料;維持影像團之一總體表,以包含不再有效之影像團;識別內部影像團,其中將代表背景資料之內部影像團的影像資料併入該灰階背景平面,不代表背景資料之內部影像團係維持作為有效影像團;以及藉對於每一個二進位前景平面資料及灰階背景平面施加不同的壓縮算法,以壓縮該一個或多個經分配之二進位前景平面及灰階背景平面之資料。
  3. 一種儲存媒體,用以儲存可在一資料處理裝置中執行之一組程式指令,該組程式指令包括:用以識別在影像資料中之一個或多個影像團的指令;用以依據每一影像團之一色彩特性分配一色指數至一個或多個影像團中之每一者以產生N層影像資料的指令;用以維持影像團之一總體表以包含不再有效之影像團之指令;用以依據每一影像團之色指數分配該等影像團至一個或多個二進位前景平面及灰階背景平面的指令用以識別內部影像團之指令,其中將代表背景資料之內部影像團的影像資料併入該灰階背景平面,不代表背景資料之內部影像團係維持作為有效影像團;以及用以藉對於每一個二進位前景平面資料及灰階背景平面資料施加不同的壓縮算法,以壓縮該一個或多個經分配之二進位前景平面及灰階背景平面之資料之指令。
TW094103880A 2004-02-12 2005-02-05 用於產生具有多重前景平面之高度壓縮影像資料檔案的系統及方法 TWI406180B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/776,514 US7403661B2 (en) 2004-02-12 2004-02-12 Systems and methods for generating high compression image data files having multiple foreground planes

Publications (2)

Publication Number Publication Date
TW200603004A TW200603004A (en) 2006-01-16
TWI406180B true TWI406180B (zh) 2013-08-21

Family

ID=34701360

Family Applications (1)

Application Number Title Priority Date Filing Date
TW094103880A TWI406180B (zh) 2004-02-12 2005-02-05 用於產生具有多重前景平面之高度壓縮影像資料檔案的系統及方法

Country Status (5)

Country Link
US (1) US7403661B2 (zh)
EP (1) EP1564685B1 (zh)
JP (1) JP4870363B2 (zh)
CN (1) CN1655583B (zh)
TW (1) TWI406180B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343046B2 (en) * 2004-02-12 2008-03-11 Xerox Corporation Systems and methods for organizing image data into regions
US7646517B2 (en) * 2004-02-27 2010-01-12 Seiko Epson Corporation Image processing system and image processing method
US8204306B2 (en) * 2004-06-14 2012-06-19 Xerox Corporation Method for image segmentation based on block clustering for improved processing of touching characters
US7515745B1 (en) 2005-07-11 2009-04-07 Adobe Systems Incorporated Planar map to process a raster image
US7512265B1 (en) 2005-07-11 2009-03-31 Adobe Systems Incorporated Merge and removal in a planar map of a raster image
US8849031B2 (en) * 2005-10-20 2014-09-30 Xerox Corporation Document analysis systems and methods
JP4764231B2 (ja) * 2006-03-31 2011-08-31 キヤノン株式会社 画像処理装置、制御方法、コンピュータプログラム
US20070292023A1 (en) * 2006-06-20 2007-12-20 Baer Richard L Data reduction for wireless communication
JP5110248B2 (ja) * 2006-07-31 2012-12-26 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8068684B2 (en) * 2007-05-04 2011-11-29 I.R.I.S. Compression of digital images of scanned documents
US7907778B2 (en) * 2007-08-13 2011-03-15 Seiko Epson Corporation Segmentation-based image labeling
US7899248B2 (en) * 2007-08-30 2011-03-01 Seiko Epson Corporation Fast segmentation of images
US8446463B2 (en) * 2008-08-22 2013-05-21 Genprime, Inc. Apparatus, method and article to perform assays using assay strips
US8111918B2 (en) * 2008-10-20 2012-02-07 Xerox Corporation Segmentation for three-layer mixed raster content images
US20100124372A1 (en) * 2008-11-12 2010-05-20 Lockheed Martin Corporation Methods and systems for identifying/accessing color related information
US8285035B2 (en) * 2008-12-05 2012-10-09 Xerox Corporation 3+1 layer mixed raster content (MRC) images having a text layer and processing thereof
US8180153B2 (en) * 2008-12-05 2012-05-15 Xerox Corporation 3+1 layer mixed raster content (MRC) images having a black text layer
US8351691B2 (en) * 2008-12-18 2013-01-08 Canon Kabushiki Kaisha Object extraction in colour compound documents
JP4698743B2 (ja) * 2009-01-22 2011-06-08 シャープ株式会社 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体
CN101834974B (zh) * 2009-03-09 2013-12-18 博立码杰通讯(深圳)有限公司 一种多光谱感光器件及其采样方法
US8659620B2 (en) * 2009-04-13 2014-02-25 Accusoft Corporation Methods and apparatus for rendering images
JP5218302B2 (ja) 2009-07-07 2013-06-26 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
US8224073B2 (en) * 2009-07-29 2012-07-17 Xerox Corporation System and method for efficient storage of MRC images for easy classification and retrieval
US8306345B2 (en) * 2009-09-22 2012-11-06 Xerox Corporation 3+N layer mixed raster content (MRC) images and processing thereof
US8565531B2 (en) * 2009-10-09 2013-10-22 Xerox Corporation Edge detection for mixed raster content (MRC) images for improved compression and image quality
US8373721B2 (en) * 2009-12-14 2013-02-12 National Taiwan University Method of realism assessment of an image composite
US8335379B2 (en) * 2009-12-28 2012-12-18 Xerox Corporation System and method for cleanup of MRC images for improved compression and image quality
US8340363B2 (en) 2010-05-27 2012-12-25 Palo Alto Research Center Incorporated System and method for efficient interpretation of images in terms of objects and their parts
US8345998B2 (en) 2010-08-10 2013-01-01 Xerox Corporation Compression scheme selection based on image data type and user selections
JP5719141B2 (ja) * 2010-10-28 2015-05-13 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
US8988461B1 (en) 2011-01-18 2015-03-24 Disney Enterprises, Inc. 3D drawing and painting system with a 3D scalar field
US9142056B1 (en) * 2011-05-18 2015-09-22 Disney Enterprises, Inc. Mixed-order compositing for images having three-dimensional painting effects
US9064191B2 (en) 2012-01-26 2015-06-23 Qualcomm Incorporated Lower modifier detection and extraction from devanagari text images to improve OCR performance
US20130194448A1 (en) 2012-01-26 2013-08-01 Qualcomm Incorporated Rules for merging blocks of connected components in natural images
US9076242B2 (en) 2012-07-19 2015-07-07 Qualcomm Incorporated Automatic correction of skew in natural images and video
US9262699B2 (en) 2012-07-19 2016-02-16 Qualcomm Incorporated Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR
US9141874B2 (en) 2012-07-19 2015-09-22 Qualcomm Incorporated Feature extraction and use with a probability density function (PDF) divergence metric
US9014480B2 (en) 2012-07-19 2015-04-21 Qualcomm Incorporated Identifying a maximally stable extremal region (MSER) in an image by skipping comparison of pixels in the region
US9047540B2 (en) 2012-07-19 2015-06-02 Qualcomm Incorporated Trellis based word decoder with reverse pass
US9135727B2 (en) 2013-05-07 2015-09-15 Adobe Systems Incorporated Method and apparatus for reconstructing indexed color spaces
US9245214B2 (en) 2014-06-27 2016-01-26 Ricoh Company Ltd. Image processing compression with a defined pixel window in a linear array
US10565169B2 (en) * 2015-08-19 2020-02-18 Dell Products, Lp System and method for dynamic generation of a management information base through common information model class transformation
US10576475B2 (en) 2016-09-15 2020-03-03 Genprime, Inc. Diagnostic assay strip cassette
CN107086027A (zh) * 2017-06-23 2017-08-22 青岛海信移动通信技术股份有限公司 文字显示方法及装置、移动终端及存储介质
CN111986275B (zh) * 2020-07-31 2024-06-11 广州嘉尔日用制品有限公司 一种多模态半色调图像的逆半色调化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659624A (en) * 1995-09-01 1997-08-19 Fazzari; Rodney J. High speed mass flow food sorting appartus for optically inspecting and sorting bulk food products

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4718090A (en) * 1986-04-14 1988-01-05 Cooper Jr James E Method and apparatus for high-speed processing of video images
US4849914A (en) * 1987-09-22 1989-07-18 Opti-Copy, Inc. Method and apparatus for registering color separation film
US5734384A (en) * 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
US5515452A (en) * 1992-12-31 1996-05-07 Electroglas, Inc. Optical character recognition illumination method and system
JP3481644B2 (ja) * 1993-04-01 2003-12-22 セイコーエプソン株式会社 画像圧縮装置
US5870764A (en) * 1993-05-12 1999-02-09 Apple Computer, Inc. Method of managing a data structure for concurrent serial and parallel revision of a work
US5583659A (en) * 1994-11-10 1996-12-10 Eastman Kodak Company Multi-windowing technique for thresholding an image using local image properties
JPH08223569A (ja) * 1995-02-10 1996-08-30 Matsushita Electric Ind Co Ltd デジタル画像伝送方法及び復号化合成装置
US5745596A (en) * 1995-05-01 1998-04-28 Xerox Corporation Method and apparatus for performing text/image segmentation
US5973732A (en) * 1997-02-19 1999-10-26 Guthrie; Thomas C. Object tracking system for monitoring a controlled space
US6741655B1 (en) * 1997-05-05 2004-05-25 The Trustees Of Columbia University In The City Of New York Algorithms and system for object-oriented content-based video search
US5900953A (en) * 1997-06-17 1999-05-04 At&T Corp Method and apparatus for extracting a foreground image and a background image from a color document image
JP3304858B2 (ja) * 1997-11-28 2002-07-22 富士ゼロックス株式会社 画像送信装置および画像送信方法
US6058214A (en) * 1998-01-20 2000-05-02 At&T Corp. Compression of partially masked still images
JP3707517B2 (ja) * 1998-01-27 2005-10-19 富士ゼロックス株式会社 画像中継装置、画像中継システム、画像送信方法
JPH11308463A (ja) * 1998-04-17 1999-11-05 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
US6088018A (en) * 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
JP2000013792A (ja) * 1998-06-24 2000-01-14 Toppan Printing Co Ltd カラー画像情報データ処理装置
JP4365950B2 (ja) * 1998-09-11 2009-11-18 キヤノン株式会社 高速ラスタ形式レンダリングのためのグラフィックオブジェクト処理方法および装置
GB2343598B (en) * 1998-11-06 2003-03-19 Videologic Ltd Image processing apparatus
US6400844B1 (en) 1998-12-02 2002-06-04 Xerox Corporation Method and apparatus for segmenting data to create mixed raster content planes
US6324305B1 (en) * 1998-12-22 2001-11-27 Xerox Corporation Method and apparatus for segmenting a composite image into mixed raster content planes
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
AUPP923799A0 (en) * 1999-03-16 1999-04-15 Canon Kabushiki Kaisha Method for optimising compilation of compositing expressions
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US6633670B1 (en) * 2000-03-31 2003-10-14 Sharp Laboratories Of America, Inc. Mask generation for multi-layer image decomposition
US7672022B1 (en) 2000-04-07 2010-03-02 Hewlett-Packard Development Company, L.P. Methods and apparatus for analyzing an image
JP4011278B2 (ja) * 2000-11-06 2007-11-21 株式会社デンソー 画像圧縮装置及び記録媒体
US6771836B2 (en) * 2001-06-21 2004-08-03 Microsoft Corporation Zero-crossing region filtering for processing scanned documents
JP2003087558A (ja) * 2001-09-14 2003-03-20 Fuji Xerox Co Ltd 画像処理装置および方法
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US6795069B2 (en) * 2002-05-29 2004-09-21 Mitsubishi Electric Research Laboratories, Inc. Free-form modeling of objects with variational implicit surfaces
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659624A (en) * 1995-09-01 1997-08-19 Fazzari; Rodney J. High speed mass flow food sorting appartus for optically inspecting and sorting bulk food products
US5887073A (en) * 1995-09-01 1999-03-23 Key Technology, Inc. High speed mass flow food sorting apparatus for optically inspecting and sorting bulk food products

Also Published As

Publication number Publication date
CN1655583B (zh) 2011-05-25
US20050180642A1 (en) 2005-08-18
US7403661B2 (en) 2008-07-22
EP1564685A2 (en) 2005-08-17
EP1564685B1 (en) 2011-08-24
JP2005229620A (ja) 2005-08-25
CN1655583A (zh) 2005-08-17
EP1564685A3 (en) 2008-03-12
TW200603004A (en) 2006-01-16
JP4870363B2 (ja) 2012-02-08

Similar Documents

Publication Publication Date Title
TWI406180B (zh) 用於產生具有多重前景平面之高度壓縮影像資料檔案的系統及方法
EP1566767B1 (en) Systems and methods for identifying regions within an image having similar continuity values
US7324120B2 (en) Segmentation method and system for scanned documents
US7343046B2 (en) Systems and methods for organizing image data into regions
EP1564683B1 (en) System and method for connecting regions of image data having similar characteristics
US6650772B1 (en) Image processing apparatus, image processing method, and image processing system
US6633670B1 (en) Mask generation for multi-layer image decomposition
KR100446184B1 (ko) 컬러화상의 영역분할
US9135722B2 (en) Perceptually lossless color compression
JP4242532B2 (ja) デジタル画像データ区分方法
US9088754B2 (en) Image processing device determining characteristic quantity relating to number of colors
KR100643759B1 (ko) 문서 압축 장치 및 그 방법
JP3724525B2 (ja) 画像処理方法および画像処理装置
van den Broek et al. Weighted distance mapping (WDM)
CN115168629A (zh) 一种基于区块链的图像数据压缩存储方法
JP2004258749A (ja) 画像の特徴ベクトルのクラスタリング方法および装置
JPH0816763A (ja) 色付けされた図面用のイメージ変換装置および方法
JPH11298726A (ja) 画像縮小変換方法および装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees