TW569153B - Method and apparatus for three-dimensional shadow lightening - Google Patents

Description

569153 五、發明說明（1 ) 本發明頜娀 ，亮化被掃瞄 本發明係關於影像處理，並且尤其是關於 數位影像之三維陰影的方法與裝置。 本發明的背景 之可被h用以產生數位景;像之各種型式的影像掃猫裝置被 習知。例如’可以被連接到'组計算系統的平台掃猫器通 常被以此方式使m卜，辦公室影印系統，或傳統的影 P機可以掃8¾ -份文件以產生—組數位影像。此種影印 系統可以錢接到電_路。在這種料巾，數位影像資 訊可以經由電腦網路被複製至電子式儲存裝置，例如播案 伺服器。 由於各種目素，包含掃gg表面面積和掃猫器鏡片焦距， 掃瞄（例如，書本或雜誌）可能在被掃瞄影像產生不需要的 缺陷。這種缺陷可能包含由於裝訂曲度所導致之頁面對於 15掃瞄表面的相對距離及/或光的反射所引起之出現在掃瞄 影像中的書本或雜誌邊緣及/或裝訂附近的三維（3D)陰 影。另外，展開書本或雜誌之頁面所導致的3D缺陷可能 存在對應的數位影像中。這種影像缺陷一般是無益的，因 為它們不美觀。進一步地，列印此類影像可能使用不必要 Z〇的碳粉或墨水，因而增加此種影像的每頁列印成本。因此， 在數位影像中減低3D陰影和缺陷存在之技術是必需的。 本發明to i 一種影像處理的方法被提供，此方法包含取得具有三維 陰影的數位影像、決定該三維陰影的範圍、並且亮化在該 569153 五、發明說明（2) 範圍之内的三維陰影。 圖形摘要說明— 第 疋、、且方塊圖，其展示可以依據本發明之實施例 而製作影像處理系統的一組電腦系統； 5 第2圖疋一組方塊圖，其展示被組態以依據本發明之一 組實施例而處理影像的一組影像處理系統； / 3圖是-組圖形，其展示在可以產生一組數位影像的 掃貓表面上之一組傾斜書本影像； 第4圖疋一組圖形，其展示在依據本發明之一組實施例 10而被更正傾斜並且修整數位影像之後，第3圖所示之包含 二維（3D)陰影的書本數位影像； 第5圖是一組圖形，其展示在依據本發明之一組實施例 處理數位影像之後，第4圖所示出之數位影像的一組實際 媒體影印；

第ό圖是一組流程圖，其展示依據本發明之實施例用以 將3D陰影亮化和影像處理之一種方法； 第7圖是一組流程圖，其展示依據本發明用以決定一份 原始文件是否為一本裝訂書的其中雙頁之一種方法； 第8圖是一組流程圖，其展示依據本發明之一組實施例 將邊界陰影檢測並且亮化的一種方法； 第9圖是一組圖形，其展示可能被包含在如第4圖所示 之3D陰影中的像素配置； 第10圖是一組流程圖，其展示依據本發明之實施例供裝 訂陰影檢測及亮化的方法； 569153 五、發明說明（3) 第11圖是一組圖形，其展示可以和展示於第6、8以及 1〇圖之方法被採用的一組亮化函數； 第12圖是一組圖形，其展示可以和展示於第6、§以及 iO圖之方法被採用的一組不同亮化函數； ^ 第13圖是一組圖形，其展示可以和展示於第6和1〇圖 之方法被採用的一組加權函數。 本發明之諾細說明 首先參看第1圖，可以被採用以製作影像處理系統1〇 的組计其系統被以方塊圖的形式所展示β計算系统1〇 10包含可以在計算系統10的各種構件之間控制並且傳遞電 子式通訊之匯流排12。在這方面，處理器14被與匯流排 12耦合並且可以提供資訊·處理功能給予計算系統。記 憶體16、大量儲存裝置18以及其他的週邊裝置2〇同時也 和匯流排12耦合。 15 記憶體16可以包含快取記憶體和主要記憶體。快取記憶 體一般用於執行某些功能之短期的用途，而主要記憶體可 以被使用於可以在操作時被處理器Μ或計算系統的其 他構件採用的電子式資料之較長期的儲存。快取記憶體可 以被以’例如，靜態隨機存取（511八]^)，所製作，而主要記 2〇憶體一般是使用各種型式的動態RAM(DRAM)之其中一種 而被製作。成本是被使用以決定被採用的特定記憶體製作 技術之一因素。 大量儲存裝置18可能包含硬碟機、光碟機（CD)或多功能 數位碟片機（DVD)。此類的裝置可以被讀取/寫入，例如硬 569153

五、發明說明（4) 碟機’或僅讀取的例如CD或DVD碟機。此外，CD或DVD 燒錄機可以被採用。大量儲存裝置丨8通常包含，例如，應 用耘式，或其他可以被執行或顯示以讓計算系統10進行某 種功能，例如文書處理或顯示視訊，的内容。 5 其他的週邊裝置2〇可以包含，例如，網路界面卡、電話 線數據機、數位用戶線數據機、視訊擷取卡或任何的其他 裝置。當被採用於電腦系統1〇時，週邊裝置2〇，以及匯 机排12、處理器η、記憶體16和大量儲存裝置18通常被 包含在外殼22中。此種外殼可能依據特定的系統而有所不 同兩種可以被採用的外殼為“直立式，，和“桌上型，，外殼。 计异系統10可以進一步地包含任何數量的輸入/輸出 U/Ο)裝置。這些I/O裝置可以經由電子式電纜線界面並且 在外殼22之外被與匯流排12耦合，外殼22内包含大部份 的計算系統10。這些1/0裝置可以包含顯示器24,它可以 13疋一組陰極射線管（CRT)顯示器或一組平面顯示器、鍵盤 26以及指示裝置28。 其他的I/O裝置例如硬拷裝置3〇和影像裝置32也可以 同枯被與计具系統1 〇耦合。例如，硬拷裝置可能是雷 射印表機、噴墨式印表機、或可以產生電子式文件或數位 20影像的實際媒趙複本之任何其他數目的裝置。同樣地，.影 像裝置32可能是—組平台掃媒器、-組線掃描裝置或具有 數位衫像掃r田月I力的複印系统。本發明當然不限定於這些 特又I/O裝置，並且有許多其他的選擇存在。進一步地， 硬拷裝置3G和影像裝置32可以被整合並且包含其他的功 569153 五、發明說明（5) 能’例如傳真傳輸能力。 第2圖展示依據本發明之一組影像處理系統4〇。在這實 轭例中，影像裝置32可以掃描原始文件42。原始文件^\ 的掃瞄可以被掃瞄控制程式44所控制。掃瞄控制程式料 5因此可以從影像裝置32,將包含原始文件42的數位影像 54之電子式資訊傳達至影像程式私。三維（3〇)陰影程式 48可以接著經由界面50配合影像程式46操作以亮化包含 在數位衫像54中的陰影，如將被進一步地詳細討論於下。 在亮化3D陰影之前，陰影程式48可以更正傾斜並且修整 10數位影像54，如將被進一步地討論於下。這種數位影像54 的影像處理可產生被處理之數位影像該注意的是，在 這種影像處理時的中間數位影像可以被採用。 作為上述之一組另外的範例，陰影程式48可以經由選擇 性界面52而配合掃瞄控制程式44 ^舉例而言，3d陰影之 15啟始辨識可以經由選擇性界面52被達成，雖然本發明不被 如此限制。這辨識可以接著被陰影程式48經由界面5〇配 合影像程式46執行而採用以亮化這些陰影。 在這些影像處理之後，被處理之數位影像56可以接著被 連接至硬拷裝置30。硬拷裝置30可能接著產生數位影像 20 56之一組實際媒體複本58。這種實際媒體複本被進一步地 詳細討論於下。 第3圖展示可能顯示在影像裝置32之掃瞄表面60的一 組原始文件42。如第3圖所示，原始文件42是裝訂書本 的雙頁，雖然可能有其他的文件來源。原始文件42可以包 五、發明說明（6) 含文字部份62以及非文字部份64和66。所展示原始文件 42於掃瞄表面60上傾斜角度0。以影像裝置3〇掃瞄原始 文件42可產生數位影像54，如先前所說明。數位影像54 可能包含一組或更多組3D陰影，將接著被討論。 在這方面’第4圖是展示數位影像7〇的一組圖形，它是 數位影像54在移除-傾斜並且修整之後的一組修改版本， 將對應至第6圖而被討論。數位影像7〇可以被稱為一組中 間數位影像，如先前所指出。數位影像7〇可以包含周圍陰 影72、可以被頁緣邊界76所劃界的頁展開陰影74、以及 裝訂陰影78。這些陰影可能因為頁曲度、原始文件42對 於掃瞄表面60的距離變化、以及光折射角度的原因而產 生。更進一步地，由於實際原始文件42的裝訂特性，裝訂 陰影78包較亮部分80和較暗部份82，並且可平分或分割 數位影像70。 第5圖中展示列印在媒體84上以產生實際媒體複本兄 的一組處理數位影像，如先前所討論的。媒體84可以是紙 張，投影片或任何其他的列印媒體。在這方面，處理影像 6可以、，二由硬拷裝置3 〇而被列印至列印媒趙料表面。 但將可被了解，處理影像56可利用其他的方式被呈現 或顯示。 依據本發明，以陰影程式48處理數位影像54可以產生 對應至周㈣影72和裝訂陰影78的亮化陰影^。影像同 時也可以沿著影像修整界線88而被修整如將討論於下。 另外，頁I開陰影74可以和周圍陰景》72_起被亮化 569153 五、發明說明（7) 可以被分別地亮化或不被亮化。 第6圖展示依據本發明的一種處理數位影像方法9〇。此 方法可以被包含在，例如，陰影程式48内。在方法9〇中， 數位影像54的影像修整界線88可以在92配合任何對應的 影像傾斜而被決定。這種數位影像的修整、決定影像傾斜、 以及移除·傾斜的技術被說明於專利申請序號〇9/546， 110，標題為··具自動影像修整和傾斜更正之影像處理系統 C. Chi Jia等人，其配合此處參考。申請序號〇9/546 11〇 是指定給本發明的相同指定人。在範例實施例中，利用這 種技術，影像修整界線88可以在周圍陰影72的一組外方 邊緣被定義並且原始文件42以角度68的傾斜可以在％ 被決定。影像可以接著在94被移除·傾斜並且沿著影像修 整界線88修整以產生數位影像70。 在96處，對應數位影像70的原始文件42之内容可以被 決疋’通常利用之方法和裝置被說明於專利申請序號 09/545,223 ’標題為：用以分析影像及用以控制掃猫器之方 法和裝置’ J· FUn等丨，其配合此處參考。申請序號 09/545,223同時也指定至本發明的相同指定人。簡言之， 在犯例η〜例中’原始文件42的文字部份62被辨識並且 所有的其他部份在啟始時被當成非·文字部份，例如則。 66。在這方®，任何包含在數位影像70中的3D陰影可以 在啟始時被辨識為非·文字部份直至進一步地被陰影程式 48處理並決定這些陰影的界線。文字部份62的方位同時 也可 '在96被決疋’並且這方位可以被採用，如接著將被 10 569153 五、發明說明（s) &寸論。 方法90的操作98、100以及106-112將參考第7-13圖 而被詳細地討論於下並且，因此，將參考第6圖而被簡短 地討論。在這方面，在96決定的文字方位資訊可以在98 5被採用以決定原始文件42是為單頁或雙頁。如果決定原始 文件42是單頁，則亮化裝訂陰影78 一般將不被達成，因 為這類的陰影一般不會存在。 另外’文字方位資訊可以被採用在光學文字辨識（OCR) 技術中。 10 在10〇處，周圍陰影72可以使用參考至第8和9圖而討 論的技術被亮化。在102，如果數位影像70在98被決定 為不是雙頁，則方法90可以接著如在104決定處理更多影 像，或結束。如果數位影像70被決定為雙頁，則相關的裝 訂陰影可以在106-112被亮化，例如將進一步地參考至第 15 10圖而被說明。這實施例在1〇ό處，裝訂陰影78的"中心 ’’可以被決定。在此，，，中心"代表裝訂位置，在不對稱陰影 的情況中，它不一定是相關的實際陰影中心。 依據在96所決定影像内容，並且依據在丨〇8的決定結 果，它決定數位影像70的非-文字部份，例如非·文字部份 20 64，是否在決定裝訂位置的預定距離之内，裝訂陰影78 可以使用各種方法被亮化。例如，如果該非·文字部份不在 預定距離之内，例如非-文字部份64，裝訂陰影78可以在 11 〇被亮化。另外，如果該非·文字部份在預定距離之内， 例如非-文字部份66 ,裝訂陰影78可以在112被亮化。在 569153 五、發明說明（9) 110，一組亮化函數，例如被使用以亮化周圍陰影72的亮 化函數，可以被採用以亮化裝訂陰影78。通常亮化函數將 依據對於決定裝訂位置的相對距離而被加權。這加權，如 將被更詳細地討論於下，可以在處理影像56中產生一組更 5 均勻的陰影亮化。 另外，在112, 一組，，緩和”亮化函數被應用以亮化裝訂陰 影78。這”緩和”函數同時也可以依據對於決定裝訂位置的 相對距離而被加權。在此，”緩和”代表亮化函數將產生， 例如’比在110所採用的函數較少的陰影亮化。這函數可 10以在非·文字部份是在對於一組建立裝訂位置的預定距離 之内時被應用，以避免無意地亮化影像内容而非3E)陰影， 並且使影像内容不便於讀取。 15 20

第7圖展示一組方法12〇，它可以被採用以決定數位影 像70是由單頁或雙頁的原始文件42所產生。如第7圖所 不出，具有裝訂陰影78特性的影像部份之存在可以在122 被決定。在124，這影像部份可以接著被與先前決定的文 子部份62之文字方位比較以決定文字方位是否垂直於該 影像部份。這比較可能產生原始文件42是雙頁的結論，或 可旎是不確定的。如果沒有確定的決定，具有裝訂陰影冗 特〖生的影像部份可以在128處與周圍陰影72做進一步地比 車父’如果有周圍陰影存在。 ^例如，該比較可能包含與周圍陰影72比較文字方位以決 定方位是否垂直於周圍陰影72之被比較的一部份。基本 數位衫像70之各種部份的比較被用以決定相似於第4 12 569153 五、發明說明（10 圖所不出的特性是否存在。這比較可以產生原始文件κ 是否為雙頁或某些其他型式之文件的決定。如果原始文件 42不是雙頁’則第7圖所示出之方法通常不能決定它確切 的頁組態。但是，本發明在這方面，不被限定於此。 第8圖展示依據本發明亮化周圍陰影之一種方法^在13〇 中，數位影像70的一組像素光度列表可以在132被產生。 此列表可能包含構成數位影像7〇之像素的光度值。光度值 可以使用一組正規化預定尺度而被量測，其中黑色被量化 為〇並且白色被量化為”丨”。在134，周圍陰影72之外方 邊緣可被設定。這邊緣通常將會是影像修整界線88的一組 邊緣。在138，可以接著進行在132產生的像素光度列表 之線性分析。這線性分析，將參考至第9圖而進一步地詳 細討論於下，它可以包含垂直於影像修整界線88之選擇邊 緣的相鄰像素之光度值的比較，以決定可指示周圍陰影72 之内部邊緣的光度梯度之改變。接著可以進行來自影像修 整界線88的所有邊緣之一組分析是否在us被達成之決 定。如果另外的邊緣仍然需要被分析，下一組邊緣可以在 134被設定，並且上述之線性分析可以在周圍陰影72之各 組邊緣被重複。 在周圍陰影72的一組内部邊緣之精確決定不是使用線 性分析而達成的情況中，例如，由於裝訂陰影78之曲度關 係’ 一種像素鄰近性分析可以在136被達成。這分析，將 參考至第9圖而被進一步地討論，可以包含從影像修整界 線88開始並且朝内往數位影像中心移動的所有鄰近像素 13 五、發明說明（11 ) 之光度值的比較β因此’梯度可以在各像素的至少八組方 向被建立。 一旦内部邊緣，它可以在頁邊緣界線76被建立，以及外 方邊緣’例如影像修整界線88，在周圍陰影72中建立後， 一組壳化函數可以被應用至包含在兩組邊緣之間的像素以 將這陰衫7C化。這免化函數可以變化，並且將在下面被更 詳細地討論。 參看至第9圖，一簡化像素配置15〇被展示。在這展示 中，影像修整界線88可以在水平方向與列152和154平 行，並且在垂直方向與行156和ι58平行。在這情況中， 一線性分析，如上面所討論，可能包含，例如像素丨68的 光度與像素162和172之光度比較。這些像素的光度值之 梯度改變可被評估，並且一組邊緣，例如邊界陰影内部的 邊緣178可以被定位並且建立。在這簡化的展示中，像素 162可以具有的光度，而像素168和172可以具有，，1" 的光度。這可指示在垂直邊緣中，周圍陰影内部邊緣178 的位置應該被建立在行156和158之間。但是，一般將執 行沿著整個外方邊緣的分析，並且依據所決定梯度之統計 性分析而被建立之内部邊緣將沿著並且垂直於外方邊緣而 改變。同樣地，一組鄰近性分析，如上面所討論，可以.包 含像素160的光度和像素172-176的光度之比較。在這範 例中，周圍陰影内部邊緣178可以在垂直方向被建立在行 156和158之間並且在水平方向被建立在列152和154間。 第10圖展示可以被採用以決定裝訂位置並且亮化裝 569153 五、發明說明 陰影78的方法18〇,如上 U娜在182，裝訂陰影78 禮…u可以被設定。這啟始中心通常被建立在數位影 像的幾何中心。-組像素光度列表，如先前所說明，可 以在184破產生。在186，垂直於啟始中心的線性分析， 10 15 20 並且如果有需要，像素鄰近性分析，可以被執行，以決定 裝訂陰影78的淡化速率，以及啟始中心線兩旁的陰影曲 度。依據這線性及/或像素鄰近性分析，裝訂的位置可以被 決定並且裝訂陰影78的邊緣可以被建立。裝訂陰影78可 以接著在188利用一組適當的亮化函數，並且加權該函數 而被売化，如將接著參考第1M3圖而被更詳細地說明。 第11和12圖展示依據本發明之實施例，例如第6、8 以及10圖所示出的方法，可以被採用的兩組亮化函數的圖 形190和200。該注意的是，這些亮化函數可以被交換， 或其他函數可以被採用。第11圖是一組圖形19〇 ,它將輸 出壳度192展示為輸入亮度194的函數。該函數被以曲線 196表示，並且可以在當非-文字部份不在裝訂的預定距離 (例如數位影像70中的非·文字部份66)之内時被採用以亮 化周圍陰影72以及裝訂陰影79。在這方面，靠近圖形1 90 的原點，亮度將被亮化至圖形190之y·交點所指示的亮 度。在這方面，展示於圖形190的亮化函數可以被製作為 一組查詢表以將輸入亮度194轉換至輸出亮度192。 相同地，第12圖是一組圖形200，它將輸出亮度202展 示為輸入亮度204之一組函數，如曲線206所表示。這函 數可以被採用以在當一組對應的數位影像的非-文字部份 15 569153

569153

五、發明說明（ 不明顯之組合，並且申請專利範圍可以涵蓋本申請或稍後 申請之這些裝置的任何奇特和不明顯之組合。前述實施例 作為展示，並且無單一特點或裝置是本申請或稍後申請之 申請專利範圍的所有可能組合之主要者。其中申請專利範 圍旦告一組或一組第一 ’’元件或其等效者，此申請專利 摩巳圍應該被了解包含一組或多組此元件，並不需要或排除 兩組或多組此元件。 〇 立件標號對照李 10··· …影像處理系統 12… …匯流排 14… …處理器 16··· …記憶體 18… …大量儲存裝置 20… …週邊裝置 22··· …外殼 24··· …顯示器 26… …鍵盤 28… …指示裝置 30… …硬拷裝置 32… …影像裝置 40… …影像處理系統 42… 原始文件 20 569153 五 、發明說明（15) 44…·· •控制程式 46…·· •影像程式 48…·· •陰影程式 50…·· •界面 5 52…·· •選擇性界面 54…·· •數位影像 56…·· •數位影像 58…·· •實際媒體複本 60…·· •知8¾表面 10 62…·· •文字部份 64,66· ••…非文字部份 70….· •數位影像 72…·· •周圍陰影 74….· •頁展開陰影 15 76…·· •頁緣邊界 78…·· •裝訂陰影 80…·· •較亮部分 82…·· •較暗部份 84…·· •媒體 20 86…·· •亮化陰影 88…·· •影像修整界線 168… …像素 162,172……像素 18

Claims (1)

1. 569153 六、申請專利範圍 h 一種影像處理方法，其包含： 取得一組包含三維陰影（72，78)之數位影像（54); 決定該三維陰影（72，78)之邊界；以及 受化在該邊界之内的三維陰影（72，78)。. 2· 如申請專利範圍第1項之方法，其中決定該邊界包 含產生含有關於該數位影像像素（160-176)之光度值的一 組像素光度列表；

   在該像素光度列表上面進行線性分析和鄰近性分析之至 少一種以決定關於該三維陰影（72 , 78)之光度梯度改變； 以及 依據該梯度改變而建立邊界。

   3.如申請專利範圍第2項之方法，其中該線性分析包 含利用比較該數位影像像素列（152, 154)和該數位影像（54) 像素行（156，158)之至少一種中數位影像（54)之相鄰像素 (162，168)的相關光度檢視該像素光度列表以決定梯度改 變，並且該鄰近性分析包含利用比較該數位影像相鄰像素 (162，168)之相關的光度而檢視該像素光度列表以決定該 梯度改變。 4·如申請專利範圍第2項之方法，其中該邊界包含關 於-周圍陰影（72)之周圍陰影邊界，該周圍陰影邊界利用 在該數位影像（54)之修整影像周圍建立外部邊緣並且依據 該梯度改變建立内部邊緣（76)被決定。 5.如申請專利範圍第2項之方法，其中該邊界包含相 關於-裝訂陰影（78)之裝訂陰影邊界，該裝訂陰影邊界之 19 六、申請專利範圍 決定如下： 建立該數位影像之中心線； 決定相對該中心線之梯度改變； 依據該梯度改變決定在裝訂陰影（78)之内書本裝訂位 置； 依據相對於所決定之書本裝訂位置之梯度改變建立第一 和第二裝訂陰影邊界線；以及 依據from被決定之書本裝訂位置之相對距離利用施加 壳化函數（190)和加權該亮化函數（19〇)而亮化該裝訂陰影 (78)。 6*如申請專利範圍第5項之方法，其中第一亮化函數 (2 00)被採用作為在被決定書本裝訂位置之臨限距離之内 具有非-文字影像部份（64，66)之數位影像結果，並且第二 亮化函數（190)被採用作為在被決定書本裝訂位置之臨限 距離之内僅具有文字影像部份（62)之數位影像結果。 7.如申請專利範圍第1項之方法，其中，決定邊界前， 處理該數位影像進一步地包含： 決定包含周圍陰影之數位影像（54)之影像周圍； 決定該數位影像（54)之傾斜（Θ ); 修正該數位影像（54)之傾斜； 修整該數位影像（54)之周圍陰影（72)外方邊緣；以及 決定該數位影像（54)之内容。 8·如申請專利範圍第7項之方法，其中決定該數位影 像（54)之内容包含檢測包含文字數位影像之第一部 569153 六、申請專利範圍 伤，指定該第一部份為文字影像部份（62),並且指定該數 位衫像之第二部份為非-文字影像部份（64，06)。 9·如申請專利範圍第7項之方法，其中決定該數位影 像（句之内谷包含利用定位在該數位影像（54)之内的二分 陰影部份而決定裝訂陰影（78)的存在；並且 比較該二分陰影部份與數位影像（54)之文字方位以及決 定該數位影像（54)内容進一步地包含比較周圍陰影（72)與 一分陰影部份和文字方位。 10· 一種影像處理系統（10)，其包含： 一組計算系統（22),其具有與一組或多組輸入/輸出裝置 耦合之處理器以及一組影像裝置（32)，其能提供包含三維 陰影（72, 78)之數位影像（54)至計算系統而供處理，該處理 包含： 決定該三維陰影（72，78)之邊界，其中決定該邊界包含 產生含有關於該數位影像像素（160-176)之光度值的一組 像素光度列表，在該像素光度列表上面進行線性分析和鄰 近性分析之至少一種以決定關於該三維陰影（72，78)之光 度梯度改變；以及 亮化在邊界之内的三維陰影（72，78)，其中之亮化包含 依據一組或多組亮化函數（190，200)以及一或加權因數 (210)而修改包含於三維陰影（72，78)中之像素光度。