1308729 (案號第095121833號專利案之說明書修正） ' 九、發明說明： 【發明所屬之技術領域】 本發明係有關一種文稿影像處理系統及方法，特別是一 種針對文稿影像，進行影像強化，還原文稿影像稿的背景 色彩均勻乾淨，強化文字内容的筆觸使字跡清晰銳利之系 統及方法。 【先前技術】 由於數位相機及手機相機的普及，許多人會以隨身的數 位相機或手機相機拍下白板上的會議記錄，隨手取得但來 不及影印的文件，或甚至是名片及其他之文件。不過，也 由於光線等拍攝條件通常不是處於理想狀態，拍攝之結果 通常未如影印或掃瞄的結果般有顏色鮮明銳利的白底黑字 彩圖之效果，較常見的結果是灰暗的底色以及模糊的字 跡。當使用者以數位相機拍攝一份文稿時，通常會期待拍 攝之結果是鮮明清晰的白底黑字彩圖，但以現有的數位相 機技術，通常無法得到良好之效果。如果是重要的會議記 錄，往往拍攝下來以後發現曝光不足所以偏暗，但字跡又 過於模糊，可讀性低，不可能直接當作會議記錄發送，只 能當作會議的附圖。 另一個常見的狀況是，隨手把客戶的名片拍攝存入手機 中。使用者會期待能直接把拍攝的名片上的文字自動判讀 出來，直接把客戶資料存進電腦之電話薄裡，不用再逐字 輸入。然而由於手機相機的影像品質目前仍遠低於一般數 5 1308729 (条號第〇95丨2丨833號翻案之說明書修正） ，，拍攝所得的結果受限 · 有文字辨識系統（0CR)，文字也往往不能被=確手=己備 另外’不論是拍攝白板，翻拍文件，或記 ，伟 的：:二==列印出來，但是由於拍攝所得 果甚=色區域除了耗費印表機墨水碳粉外，列印二的: 可能比在電腦或相機營幕上看到的可讀性還：。、 影以說明以市售手機相機所拍攝之白板 習知技1中’類似之影像處理技術，可 的方法，-為方格排序法，一為采字極值法。出兩種不同 此一種方法之共同點，乃在 取得—個平面物件的影像時，;光源等各種問 平面物件，影像令的顏色通常亦不吏疋句勾〜致顏色的 2在攝影棚裡精密安排之光線，否=乃在於’除 攝’影像中的每個畫素的受光情 卷生活裡的拍 ，件製程的特性，每 到-個固定的背景顏色落力成;;致的白’不是只找 成的。以下幾種調整的方式並無法獲/母個晝素就可以完 減去固定背景量，直接調整對比之結果，例如： 圖像即熟知影像處理專長之美術誤叶人。規化。圖二中之 Τ軟體’進行減去固定背景量，調整對『二市售影像處 出結果’其未能獲得預期之品質。' t方所得之輸 6 1308729 (案號第映⑵833號專利案之說鴨修正) 离 · I來說’並不是整張影像有均勻的灰色，在沒有陰影 遮^情形下，相鄰的畫素，照明與曝光度的變化通常是 連'、·貝f·生的。所以，習知技術大都探討如何切割影像成小區 域相取出該小區域代表性的背景顏色值，計算該顏色值與 理=值的落差，以該落差補正該小區域内的晝素顏色。上 述需求無法由市售影像處理軟體之現成功能完成，必須辅 助以特製的影算處理程序才能達成此目的。
先刚提到之方格排序法以及米字極值法的主要差異，乃 在於區域的切分方式。且，這兩種處理方法’在找到背景 值的落差之後’對關連晝素的顏色補正作法，也有差異。、 分別說明如下： 方格排序法，主要是把一張影像切割成一定大小的小方 例如’每個小方格為15xl5個畫素。方格大小取決 ;文稿上的字的平均大小，該處财法預設要讓同一個字 =蓋的影像區域内有—致㈣景顏色。但是由於該方法 又有先_字元位置’所以『以-個字的大小為參考決 ^方格的大小』的没^，只是—個經驗判准而已，不保證 個字所涵蓋的影像區域内有—致的背景顏色』。該°方 ，在母切割開來的小方格裡，排序所有的畫素的亮产， 亚加入-個預設的經驗判准『區軸—定含 而^亮㈣财錢、該可以餘難域 顏g 的:後:；以這個代表的背景值，修正^ —’、、以這個值為判准，比這個值暗的，都當作^ 7 1308729 (案號第095121833號專利案之說明書修正） 前景，也就是有本文筆觸的畫素，比這個值亮或等於的， 就當作背景，該晝素的值將乘上一個以該背景值換算出來 的比例，以提高亮度，期望他變得更白更亮。 米字極值法是分別對影像中的每一個晝素，找到該晝素 對應的背景值。每個晝素的對應背景直都是重新計算出來 的。各晝素的對應背景值是以該晝素為中心，把對稱於該 畫素的米字形上面的八個晝素共四對對角分別平均出四個 值來，在這五個值裡找到最大的值，當作背景的臨界值。 _ 必要時，他們還會針對50%x50%的縮圖，再作一次上 述動作，加以比較。 不像方格排序法除了背景值之外，米字極值法中每個晝 * 素都有一定的雜訊值。利用一些統計方式，計算出一個雜 . 訊臨界值。計算取得個別晝素的背景參考值與雜訊臨界值 之後，該晝素的值與這兩個臨界值進行特定的加減法動作 後，計算出該晝素的新值。米字極值法對白底黑字和黑底 白字用加減與正負相反的判准與計算，即可分別處理白板 ® 影像與黑板影像。但是並沒有提出如何能自動化判斷黑板 或白板影像，這部分可以用手動選擇來處理。方格排序法 以及米字極值法之缺點說明如下： 方格排序法由於是以一定大小的方格一次處理，而非個 別畫素逐一處理，所以有速度快的好處。再加上其主張以 亮度作為判斷，在多數影像格式中，亮度是很容易取得， 不需要太多額外計算的色彩維度，因此演算效能不錯。但， 其速度優勢也是造成其視覺缺失的主因。幾個不利於影像 品質的缺失如· 8 1308729 • (案號第095丨21833.號專利案之說明書修正） ⑴^格所造成之馬赛克效果:由於背景臨界值是以方格 ^位處理’所以在方格與方格的交界處，會出現不 "的色彩變化，當這種不連續的落差猶大時’肉眼 y以察覺其差異’㈣成原稿所沒有的馬賽克效果， 如圖三所示。 (2) 明亮色彩的筆觸:由於該演算法是基於亮度 者^异’對於特定顏色的筆觸，由於整體亮度也是相 • 容易因此被判斷為背景而直接被刷白。也就 疋5兒’党色的的文字前景被誤判為背景，結果直接以 刷白處理，縣可以讀到的文字(如圖四A所示），反 2不見了’如圖四B所示。尤其對於富含藍綠色元素 ^白板筆的字跡’特別明顯。發生刷白的問題時，許 • 夕筆跡線條不見了’或變得很細。 (3) ，1變細的問題··由於全圖皆採取同樣的排序判准（例 口則25%為背景，）’對於曝光較弱的區域，可能留下 籲^背景被誤判為前景，整片灰暗的f景被留下來， 2有處理。在曝光較紋的地方，前景被誤判為背 厅、直接刷白。參考刷白範例圖，筆跡亦變細， 如圖四B所示。 (4)反光點的誤判：當文稿影像上面有明顯的反光點的時 很容易造成誤判。在拍攝實際白板影像時，白板 上面有時會反映出環境中的光源位置（如圖五入所 =)例如天花板上的燈管，或相機的閃光燈，當這些 光點相對於切割的方格的大小大到-定程度的i °二 候’整個方格有超過一半的顏色是亮白的，其他區域 9 1308729 (案號第〇9512丨833號專利案之說明書修正） _ 就相對的會被判斷為前景，因而在亮白光點的外圍， 留下明顯的暗色圈圈。但是在相鄰但不包含亮點的方 格可以正確處理背景的比較下，會出現相當於一塊深 色方格裡有一個白色亮點的情形，對於區域大於一個 方格的反光亮點，同樣的視覺瑕疵也會出現（如圖五B 所示），在特定狀況下，顯得更嚴重。 (5)塗色色塊的誤判：當特定色塊而非筆觸涵蓋了方格的 大部分區域時，該方法沒有有效判斷正確的背景色的 ® 資訊，實際上整塊方格大部分是前景，是不需要調亮 背景的。但是該方法採用取鄰近方格的背景臨界值内 插，這樣的臨界值，常常因為部分前景仍被誤判而造 • 成破碎的色塊。 - 米字極值法中，由於背景臨界值是以每個晝素為單位計 算，所以米字極值法中心加權法不會像方格排序法一樣發 生馬賽克效果。但，米字極值法亦有以下之缺點：， φ (1)速度較慢:各個晝素重新計算臨界值，必要時還需輔以 回圈重算（iterations)，速度比較慢。且為強化臨界值 的準確性，還需輔以縮圖重算，除了縮圖所需時間以 外，上述回圈重算也是逐個晝素計算。該方法需要有 更精良的效能最佳化，否則其計算量之龐大，會縮限 其應用範圍。 (2)背景比較不均勻：由於其所採的區域第一輪重算是在 3x3的範圍，縮圖重算的涵蓋範圍最多到6x6。對於 比較大塊的均於背景色，這樣的重算是多餘的，而且 1308729 (案號第095121833號專利案之說明書修正） 可能因為小區域的極值反而造成斑點的效果。對於原 稿曝光度不均勻的小區域，此法的適應性則優於方格 排序法。 (3) 記憶體的耗用：在需要計算縮圖的前提下，有額外的記 憶體耗用需求。 (4) 斷線的問題；在把雜訊當作一個臨界值對色彩進行篩 檢，被判斷為雜訊時，消除該點的雜訊成分。誤判的 I 情形容易造成筆觸斷線不均勻。 (5) 其他的缺點，如：米字極值法與方格排序法一樣都有 筆觸變細以及反光點誤判的情形。 【發明内容】 本發明之主要目的在於提供一種文稿影像處理方法，其 使用特殊之影像處理方法，針對文稿影像的可讀性需求， 進行影像強化，還原文稿影像稿的背景色彩均勻乾淨，強 化文字内容的筆觸使字跡清晰銳利。 本發明之次要目的在於提供一種文稿影像處理方法，除 了針對白底黑字彩圖的文稿影像有極佳的強化效果外，在 強化前後輔以色彩空間轉換，更可將本發明運用在各種顏 色前背景的文件類別影像的強化。 【實施方式】 為能對本發明之特徵、目的及功能有更進一步認知與 1308729 (案號第095121833號專利案之說明書修正） 瞭解，茲配合圖式詳細說明如後：請參考圖六A、圖六B、 圖七A及圖七B，圖六A係本發明對於文稿影像處理流程 之示意圖，由圖六A可知，本發明首先使用四元樹方法將 一輸入影像全部遞回均勻切割成一定大小之複數個矩形區 域（步驟S62)，如圖七A所示。接著，對該各矩形區域做 出Y成分的正規化直方圖（normalized histogram)，如步驟 S63所示，其又可分為以下之步驟（如圖六B所示），步驟 S631 :直方圖的加速作為；以Y成分的前5位元製作直方 • 圖，使用一 32元素之陣列完成運算。步驟S632 :正規化 的加速作為；將前述32元素的陣列重新合併成8元素的正 規化直方圖。接著，在步驟S64中，依據各矩形的直方圖 分佈狀況做以下之判斷： (1) 75%的畫素有50%以上的亮度，75%亮度以上區域 ' 内至少包含一個峰值者屬於有大片的亮色背景之狀 況。 (2) 75%的晝素有50%以下的亮度，25%亮度以下區域 _ 内至少包含一個峰值者屬於有較多前景物件之狀況。 (3) 當亮部與暗部晝素數目相當，且沒有特別突出的亮部 或暗部峰值的時，屬於處在背景漸變的邊緣之狀況， 表示該矩形處於需要再細分的狀況。 對於以上判斷之結果進行下列相關之處理，如步驟S64所 示， (1) 維持：對於有大片亮部背景的矩形，判定可取得理想 的背景臨界值，該矩形維持原大小。 (2) 收斂：對於有較多前景物件的矩形，判斷其背景值的 12 1308729 (案號第095121833號專利案之說明書修正） 資訊可能不足，其背景臨界值應以其四元樹父物件的 背景臨界值為準。父物件的背景臨界值則以涵蓋該矩 形的四倍大小矩形依上述步驟重新計算直方排序。 (3)擴充：處在背景漸變的邊緣的矩形，再細切為四小格， 依上述步驟重新計算直方排序。 接著，在步驟S65中，找出正規直方圖中亮部最亮的峰值 區域的下緣作為背景臨界值，以切割出前景與背景。步驟 S66:依據判斷為前景的晝素位置產出前景遮罩並分別產出 • Y, Cr，Cb三成分的遮罩。接著，在步驟S67中，使用以下 三步驟以強化處理前景影像：以濾鏡加粗前景遮罩（採用 blur filter)。以濾鏡去除雜訊（採用median filter)。以濾鏡 加深前景遮罩（採用min-filter)。最後，步驟S68，將處理 完畢之前景合成至白色背景上以完成整個文稿影像之處理 . 程序。 依據實驗之結果，本發明所揭露之文稿影像處理系統 及方法具備以下之優點： φ (a)四元樹的設計可以調適性的找出比較適合的區域切 割，對於整片比較均勻的背景，直接整大片處理，不必一 定切割到一個字所涵蓋的面積大小。對於處在色彩變化邊 緣的區域，四元樹繼續切割，使單格矩形區域内的曝光度 更一致，可提高背景臨界值的準確度。對於整片太亮或整 片太暗的區域，四元樹架構可以在很少的運算下參考到父 系數值，而避免類似反光亮點或塗色的色塊誤判的情形。 (b)採用簡化的直方圖建置與正規化動作，運算量少速度 快。但是所得的色彩分佈資訊又比純粹排序或取極值多出 13 1308729 (案號第095121833號專利案之說明書修正） 許多’所以可以有效判斷選定的區域是不是需要收斂或擴 充’取的更精準的判斷。 (C)習知技術均以亮度為判斷對象，本發明以γ值為判 斷基礎。Y值本身除了亮度資訊包含在内之外，含有更多 的影像細節資訊，例如對於高飽和度的純色前景筆觸，就 可以有效判斷為前景，而不會像其他方法容易被判斷為背
景。另外，以YCrCb的色域處理，與相機感應裝置的RGB 色域區隔開來，可以避免因色溫與白平衡造成對特定顏色 比較不敏銳的問題，例如亮綠色的白板筆，本發明的處理 效果就好很多。 ⑷目月ίι多數數位相機及手機相機所使㈣圖標格式以 JPEG為主流，JPEG解壓過程必定經過YCrCb色域’ RGB色域反而需要多-層轉換，消耗運算效能。處理完的 顏色’要壓縮回JPEG也可以在省去一次刪到 YCrCb的計算。
的二，於在色彩分別代表不同 於在RGB色域進行相同、、索於 是根據前景鮮進㈣㈣。^筆㈣化作為 可以大幅縮短運算日^。對〜景，不再做不必要的濾鏡， A景的顏色’僅採用重新查表對應飽和 度，或以加減特足臨界佶 筆觸設計麥後處理掇4 . 顏色。本發明則特別針對 〜 、、、’且.對筆觸加深，筆觸加粗，以及雜 14 1308729 (案號第09512 i 833號專利案之麵書修正） ^除’都有個別的處理，分別以不同的濾鏡與強度套用 在丽景的YCrCb三維，效果優於習知技術。 本發明若辅助以色彩轉換的前後處理，可以對非白 占月豕的如像進行強化。列如，我們可以把黑板的影像反 &〜&處理後’在返回原來的顏色，可以期望得到黑底 不a彳以果。對於、綠色的黑板，紅底金字的喜帖等等 不同顏色都可以有對應的作為。圖八A、圖八B、圖九a 及圖九B為應用本發明處理文稿影像之結果。 圖十為本發明處理文稿影像之系統架構圖。由圖十可 二二？處用理文稿影像之系統1〇0 ’其包括：-影像輸 ==輸入一文稿影像;-影像切割模組1〇2, 四元樹方式遞回切割為複數個矩形區域； θ β 判斷杈組1〇3 ’用以計算 ⑻依據直方圖分佈情形，分類影像為前景，，料，方^ .緣條件。供切割模組蚊切割的遞回次數；⑻依攄亩^ ，依據臨界判斷值，產出前景:軍值 •合成各:罩Γ訊’與加深等遽鏡;—影像合成模組 像成各遮罩至—全新背景圖，並輸㈣合成完畢之影 以下特舉出數個具體之實施例，牛_ 露之文稿影像處理方法應用之情境。^兄m月所揭 :文:f-文稿影像1 之文柄爾理方法112之處理後可 月：揭路 113。如圖十一3炻_ _ ^ 于至丨―輸出文稿 十B所不，该文稿影像m亦可經由一取像褒 15 1308729 (案號第095PI833號專利案之說明書修正） 置114所取得。如圖十一 C所示，該文稿影像111亦可為 儲存於一儲存裝置115之一影像。如圖Η — D所示，該輸 出文稿113可進一步的儲存於一儲存裝置116。 其他的實施例更可包括較複雜之應用，如圖十二Α所 示，一文稿影像122可經由儲存於一發送端裝置121之本 發明所揭露之文稿影像處理方法！23處理後成為該輸出文 稿124，如圖十二B所示，該輸出文稿124可進一步傳送 至一收信端裝置125。 ® 如圖十三A所示，一發送端裝置131可發送一文稿影像 132經過儲存於一處理伺服器133之本發明所揭露之文稿 影像處理方法134之處理後可得到一輸出文稿135，如圖 . 十三B所示，該輸出文稿135可進一步傳送至一收信端裝 置 136。 唯以上所述者，僅為本發明之較佳實施例，當不能以之 限制本發明的範圍。即大凡依本發明申請專利範圍所做之 均等變化及修飾，仍將不失本發明之要義所在，亦不脫離 • 本發明之精神及範圍，故都應視為本發明的進一步實施狀 況0 【圖式簡單說明】 圖一 A為習知技術文稿影像處理方式實施例之示意圖。 圖一 B為習知技術文稿影像處理方式實施例之示意圖。 圖二為習知技術文稿影像處理方式另一實施例示意圖。 圖三為習知技術文稿影像處理方式另一實施例示意圖。 16 1308729 (案號第〇%12丨833號專利案之說明書修正） 圖四A為習知技術文稿影像處理方式另一實施例示意圖。 圖四B為習知技術文稿影像處理方式另一實施例示意圖。 圖五A為習知技術文稿影像處理方式另一實施例示意圖。 圖五B為習知技術文稿影像處理方式另一實施例示意圖。 圖六A為本發明文稿影像處理流程之示意圖。 圖六B為本發明文稿影像處理流程之另一示意圖。 圖七A為本發明文稿影像處理流程一較佳實施例之示意 φ 圖。 圖七B為本發明文稿影像處理流程一較佳實施例之示意 圖。 圖八A為應用本發明處理文稿影像之較佳實施例之示意 圖。 ' 圖八B為應用本發明處理文稿影像之較佳實施例之示意- 圖。 圖九A為應用本發明處理文稿影像之另一較佳實施例之示 φ 意圖。 圖九B為應用本發明處理文稿影像之另一較佳實施例之示 意圖。 圖十為本發明處理文稿影像之糸統架構圖。 圖十一A、B、C、D為應用本發明處理文稿影像方法於不 同情境之實施例。 圖十二A、B為另一應用本發明處理文稿影像方法於不同 情境之實施例。 圖十三A、B為另一應用本發明處理文稿影像方法於不同 17 1308729 (案號第095121833號專利案之說明書修正) 情境之實施例。 【主要元件符號說明】 流程步驟—S6卜 S62、S63、S64、S65、S66、S67、S68 流程步驟--S631、S632 101— 影像輸入模組 image input module 102— 影像切割模組 image segmentation module 103 --直方圖計算與判斷模組hist〇gram process module 104—遮罩產出模組 mask generation module 105 --影像強化模組 image enhancement module —影像合成模組 image composition module 111 —文稿影像 document image 112 s 上 ~~ 文稿影像處理方法 document image processing method m 輪出文稿 output document image 114 取像裝置 image acquisition device 115 儲存裂置 storage device 116 儲存裂置 storage device 121 發送端裝置sender device 122 文稿影像 document image 123 文稿影像處理方法 document image processing method 輪出文稿 output image 18 1308729 (案號第095121833號專利案之說明書修正) 125—收信端裝置 receiver device 131- 發送端裝置 sender device 132- -文稿影像 document image 133- -處理伺服器（image) process server 134 --文稿影像處理方法 document image processing method
135 —輸出文稿 output document image 136--收信端裝置 receiver device 19