TW451581B - A general image enhancement framework - Google Patents

Description

d5l5B1 A7 B7 五、發明説明（1 ) 發明背景 1. 發明領域 本發明一般而言是有關影像處理領域。更特別的是，本 發明有關影像增強。 2. 相關技術 影像增強的目標是使該已處理的（亦即，已增強的）影像 較適於所要的應用的方式來處理一原始影像（例如以一掃 瞄器或數位相機捕捉的）。一般而.言，影像增強涵蓋各種 技巧以改良該原始影像的視覺外觀，或是將該原始影像轉 換成一較適合人類或機器分析的形式。例如，可使用影像 增強以使因聚焦的關係而模糊的影像細節清晰。此種將 “雜訊”從該影像移除通常爲一不精確的處理，致使重要影 像資訊不經意地與雜訊一起移除◊最近，已發展出較先進 的雜訊移除影像増強方法’例如“一新的以邊緣偵測爲基 礎的雜訊移除演算法”序號08/986,761，於1997年1 2月8日 歸檔。 即使有此種改良’影像增強仍爲一門不精確的科學。影 像增強中一主要障礙爲在具有正確影像細節和錯誤影像細 節的影像内顏色的特徵或預測。例如，在一影像中，可能 被福測爲一顏色的流出，對另一顏色而言可能是自然的發 展。某些影像增強技巧是在一整個影像上以其原始形式運 作，然而’大部份是在該影像的“顏色插補的，，版本上運 作。對在Bayer pattem(貝爾圖樣）中所捕捉到以數位掃猫 的或所捕捉的影像而言這特別是眞實的。在該 -4 - 本紙浪尺度適用中國國家標準（CNS ) A4規格（2【〇X297公爱） (請先閲讀背面之注意事項再填寫本頁) 訂. 6 經濟部智慧財產局員工消費合作社印製 4 經濟部智慧財產局員工消費合作社印製

15 8 V A7 _________ir 五、發明説明（2 ) ™ pattern(貝爾圖樣）中’每一個像素位置皆有該強度水準， 僅二種顏色元素紅，綠或藍之一。然後該Bayer pattern(貝 爾圖樣）影像被“顏色插補的，，以致於每個像素失落的顏色 元件被近似以給予每一個像素一完全的“顏色，，（紅，綠和 藍色強度）。然而，此一技巧通常導致錯誤或雜訊。因 而’由於對於該被捕捉影像可能的扭曲，使得在顏色插補 之後增強一影像可能不會產生非常正確的結果。因而，需 要一通用框架以執行影像増強以便增加該技巧的有效性。 發明之簡要叙述 所揭露的是一種方法’包括從一原始輸入影像中形成一 近似影像，透過將該近似影像從該輸入影像差別而形成一 預先增強的圖像，根據一影像增強技巧形成其已增強圖像 來增強該預先增強的圖像’並且將該已增強圖像與該近似 影像結合以產生一已增強影像。 附圖之餘要敘述 本發明之該方法和裝置的目標，特色和瘙點從以下敘述 中將很明顯，其中： 圖1圖示本發明之具體實例； 囷2爲本發明具體實例之範例； B3圈示一原始輸入影像，一近似影像和一差別影像（預 先增強的圖像）； 囷4圖示一已增強圖像的產生圖 圓5爲該已増強影像的產生圖； 圖6爲如本發明之一具體實例’描述用於從輸入影像產 -5" .本i張賴中關家橾準（CNS )人4鄕· ( 210、/；297公釐] —-J------------r 訂^------Λν— (請先閱讀背面之注意事項再填寫本頁) *

45153V A7 67 五、發明說明（3 ) 生已增強影像的該框架的流程圖； 圖7為本發明之一具體實例系統圖- 發明之詳細敘述 圖1圖示本發明之一具禮實例。如圖丨，近似器1 1接收 一輸入影像並且於其輸出處產生該影像的近似。該近似器 11可能預期要被執行的該影像增強。例如，在雜訊減少 影像增強的情況下，近似器1 1可合併一低通濾波器過濾 高頻影像内容的該輸入影像，雜訊通常為其主要部份β在 另一範例中’近似器11可為一種在該輸入影像上施加一 移動視窗平均以產生該輸入影像的“平滑的，，（較少搖動的） 版木。近似器應被設計成產生一包括視覺重要影像細節的 可能性較高的影像版本’該細節在影像增強期間不應被扭 曲或誤譯= 有了該近似影像’因而所產生的該輸入影像和該已近似 影像被供應至使用該影像以形成一預先增強圖像的差別映 成1 3。例如’在一具體實例中，差別映成〖3可併入—減 法器’將該近似的影像（一個像素接著一個像素）從該輸入 影像扣除以形成該預先增強圖像。該預先増強圖像包括該 輸入影像的差別資訊和該近似影像，因而消除對二者共通 的特色。在雜訊減少影像增強的情況下，該預先增強圖像 可包括某些真實影像資訊伴隨著要被減少的雜訊。因而， 除了包括在該預先增強囷像内的雜訊之外，真實影像資訊 的水準將視近似器的有效性而定。對一理想的近似器而 言’該差別映成主要產生出現在該影像内的雜訊。由於此 -6- 本紙張尺度適用中國國家標準（CNS)A4規格（2】0 X 297公爱） (請先閱讀背面之注意事項再填寫本頁) P-------f-------δ. 經濟部智慧財產局員工消費合作社印製 451 5 81 A7 B7 五、發明説明（4 ) 設計將爲一般已知的，當拿來當作限制時，該設計因素將 會納入考慮中（例如設定邊緣’雜訊辨識的門摇値）。 一增強引擎15在其輸出處接收該預先增強圖像以將該圖 像處理成一已增強圖像。例如，在雜訊減少方面，可能假 ί又雜訊疋隨_機並且是不自然的’因而，透過拿取部份的雜 訊圖像並且分析該部份中該組像素間的傾斜度（亦即，是 否該傾斜度已通過一特別門檻），隔離可產生關於哪—個 像素應被視爲雜訊且哪一個像素應屬於該眞實影像。此處 理相當有效’由於該預先増強圖像移除了許多該眞實影像 資訊’留下大部份的雜訊，若該近似器經有效設計。因 而，該增強引擎15在一邏輯減少的像素组上運作β在該近 似影像的相對應強度値符合該原始輸入影像的那些像素位 置，該預先增強的圖像將顯示一個零〇例如，在此一情況 下，這些零像素可由該增強引擎1 5清楚辨識，由於未有雜 訊並且因而未被移除。本發明之一主要特色爲：不是在該 輸入影像上施加一增強技巧，而是在—預先處理的影像 上，主要包括雜訊資訊和較少的邊緣資訊，在雜訊減少的 情況下，或者在邊緣增強的情況下只留下邊緣。 然後一建構器1 7將該近似影像與該已增強圖像結合（從 增強引擎1 5 )以形成該已增強影像。建構器1 7可爲一加法 器’將該已增強雜訊圖像加入該近似影像。若已適當執行 該増強，除了雜訊之外，該輸入影像的眞實影像資訊被保 留在該近似影像内，因而產生一比該增強引擎直接在該輸 入像本身運作所也產生的品質還要妤的已增強影像。 本紙張尺度適用中國國家標準（CNS ) A4規格（2丨0 X 297公釐）

f請先閎讀背面之注意事項再填寫本頁J ok. 、?τ 經濟部智慧財產局員工消費合作社印製 A 7 B7 五、發明説明（5 ) 圖2爲本發明之一具體實例範例。 圖2代表根據圖1所示該框架之雜訊減少增強。圖2中， 一輸入影像I被送至一近似建構模形A21。近似建構模形 A21可施加低通濾波或一移動視窗的平均以分離某些影像 資訊。然後由該近似建構模形所產生的該近似影像八⑴一 個像素接著一個像素地使用減法器2 3從該輸入影像減去。 這產生一 △或差別影像（被視爲“先已增強圖像”然後該△ 由増強器2 5增強。然後該已增強的△，Ε(Λ )(也被視爲 “增強圖像”由加法器27結合至該近似影像Α(Ι)以形成該已 增強影像Γ。此增強技巧的某些優點包括在計算時的減 少，ά於該增強是在可包括許多零値的圖像上執行。即使 考慮到這些零値，計算速度增加了由於該位元深度，亦 即，從計算上的觀點來看，用於處理那些値的位元數減少 了。另一可能的優點是，不管採用何種增強技巧，對於傳 統的影像增強框架的改良當該相同增強技巧is applied upon 該原始影像。因而，對一特定的增強技巧而言，由於較佳 化的增強，該所述之方法論將產生一改良的影像。 圖3圖示一原始輸入影像’一近似影像和一差別影像（預 先增強圖像）。 圖3圖示一可能經掃瞄，捕捉或合成產生的原始輸入影 像310。輸入影像31〇有數種特徵上的特色。爲了表示一房 子的影像，該輸入影像310房子四週的環境内也包括斑點 狀的雜訊。可注意到，輸入影像310圖示在接近該房子邊 緣，<那些邊緣相同的向量方向也遍佈斑點狀的雜訊。在 -8- 本紙乐从遑用巾國國家棵準（CNS)八4綠（210X297公瘦） (請先閲讀背面之注意事項再填寫本頁) 1'·——訂 Γ ό 經濟部智慧財產局員工消費合作社印製 A 5 1 5 B t . A, _____ B"7 五、發明説明（6 ) 般雜訊減少增強中，此雜訊難以（pr〇perty pr〇periy)適 當地從該邊緣本身區分出。如本發明，產生該影像之一平 滑版本。此“似的影像，，320仍顯示該房子的主要特色，例 如該邊緣並且使該邊緣和直接臨接那些邊緣的雜訊變得平 順。結果’該近似的影像320可能稍微模糊，亦即，該邊 緣定義將不會像在輸入影像31〇中那麼大。如上述，該近 似影像320 —個像素接著一個像素地從該輸入影像3〗〇中扣 除。從此所產生的是一預先增強圖像（△)，包括由於近似 而被扣除的那些邊緣和雜訊資訊。由於爲產生該近似影像 320所執行的該平滑的有效性，該預先增強圖像33〇大量包 括大部份地雜訊。在預先增強圖像330中，可注意到房子 邊緣模糊的輪廓。這些模糊的邊緣並未出現在該近似影像 内（相對於該總輸入影像）。 圖4圖示一已增強圖像的產生圖。於圖4内所產·生的該近 似影像320包括雜訊和該原始輸入影像3 10的模糊邊緣資訊 兩者。如本發明之一具體實例，而非對該輸入影像採用— 增強例如雜訊減少，將該增強技巧應用至預先增強圖像 3 3 0以產生一已增強圖像41 〇。結果，所執行的該雜訊移除 可能較迅速且較有效率。將雜訊減少應用至預先增強圖像 330所產生的該已增強圖像41〇圖示出已消除大部份的雜訊 和保留部份該房子的那些模糊邊緣。可注意到，已消除直 接臨接該房子邊緣的該斑點狀雜訊。 圖5爲該已增強影像的產生圖。 將該近似影像320加入該已增強圖像410以產生該已増強 -9- 本紙張尺度適用中國國家標準< CNS ) Α4規格< 210Χ297公釐） ------------ (靖先閱讀背面之注##-¾再填寫本頁) 訂、— ό 經濟部智慧財產局員工消贫合作社印製 4 5 1 5 8 1 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明説明（7 ) 影像510。已増強影像510顯示較鮮明的邊緣特色，並且在 雜訊水準上顯著減少。特別注意到雜訊是沿著該房子的邊 緣特色而減少《已增強影像51〇是該已增強圖像410和該近 似影像320的強度値一個像素接著一個像素地加總。 圖6爲如本發明之一具體實例，敘述用於從一輸入影像 產生一已增強影像的該框架的流程_。在方塊6 i，根據所 設計的近似模型形成一輸入影像的近似影像。因爲採取二 階段方法（亦即，一近似階段和一增強階段），一鬆散模組 的近似方塊通常導致一嚴格模组的增強方塊並且反之亦 然。例如’爲了雜訊減少的目的，最好將該該近似模型設 *十成將珉少雜訊保留在該近似影像内，因爲在該近似影像 内通常不執行增強。 在方塊63，透過差異將該近似影像從該輸入影像扣除而 產生差別影像。由於產生一預先增強圖像會消除共同影像 特色’在該增強處理中只需分析較少資訊。 因而，在方塊65，增強該預先增強圖像。爲了復原對差 别處理的該影像資訊損失，將該近似影像與該已増強圖像 結合以產生該輸入影像的已增強影像（方塊67)。 圖7爲本發明之一具體實例的系統圖。 圖7圖示一電腦系統no，該系統可爲任何通用或特殊目 的資料處理機器’例如一 P C (個人電腦），耦合至—照相 機7 3 0。照相機7 3 0可爲一數位照相機，數位視訊照相機，” 或任何影像捕捉裝置或影像系統，並且被利用以捕捉目標 或景740的感測器影像^本質上，經捕捉到的影像由—影 -10- 本紙家鱗（( 2丨GX297公釐) ------— I --------0^-----Γ ^ L------Λνι (請先閲讀背面之注意事項再填寫本頁) * 451 5 8 1 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明説明（8 ) 像處理電路732壓縮和處理，以便該影像可有效地儲存在 一影像記憶體單元734内，該單元可爲一raM或其它儲存 裝置，例如一固定的磁片，記憶體卡，等。在大部份的數 位照相機中，從該影像捕捉機制例如一感測器所獲得的未 處理影像先在照相機730上儲存，並且稍後下載供輸出， 顯示，或操控。這可讓該照相機73〇迅速捕捉下一個目標 而無額外遲延。一方便的未處理影像表示爲該Bayer pattern(貝爾圖樣），其中每—個像素有三個（r，g或b)値 之一 ΰ 在一具體實例中’將一由照相機7 3 〇所捕捉到的影像做 爲一未處理的Bayer pattern(貝爾圖樣），並且然後壓縮成 某些其它格式。如本發明之一具體實例的影像增強運作如 下。首先’該經壓縮的影像從照相機730經由I/O埠717下 載至一磁片718或其它在該電腦系統71〇上的裝置。該經壓 縮的影像在電腦系統710内解壓縮。然後，該電腦系統在 該已復原的Bayer pattern(貝爾圖樣）影像上，在任何顏色 插補之前’根據本發明各種具體實例内的框架執行指令來 執行影像增強。 本發明各種具體實例中所述之該方法論可使用一處理器 712例如該Pentium™(英特爾公司inte丨Corporation產品之一） 和一記憶體711，例如用於儲存/載入指令，位址和結果資 料的随機存取記憶體’來加以執行。在該CFA影像上用於 執行雜訊移除的該應用軟體可爲一從原始碼所寫的一例如 • *, C++的語言所编譯的可執行模組。該可執行模组的指令， -11 - 本紙張尺度適用中國國家標季（CNS ) A4規格（2丨0X297公釐） I. -----„—訂------- (請先閱讀背面之注意事項再填寫本頁) · 4 經濟部智慧財產局員工消費合作杜印製 51581 A7 ---- B? 五、發明説明（9 ) —~ ―― 對透過在差別圖像上應用所選擇的增強技巧的輔助增強影 像指令起反應，而非對可能儲存至一磁片718或記憶體711 的該原始完整影像起反應，並且因而可經由某些電腦可讀 取媒介載入。熟於電腦科學先前技術的人將很明顯了解到 將一決策機制程式化以實現本發明之各種具體實例中所敘 述的該插補方法論。 電腦系統710有一系統匯流排713，能促進資訊來回移轉 於該處理器712和記憶體711，並且也有一橋接器714 ’能 將系統匯流排713耦合至一1/0匯流排715。ί/〇匯流排715連 接各種I/O裝置，例如一顯示器介面卡716，磁片718和— I/O埠，例如一串聯埠。許多此種τ/〇裝置，匯流排和橋接 器的组合可與本發明一起使用，並且所顯示之該組合僅圖 示出此種可能组合之一。 當捕捉到一影像時，例如目標/景74〇的影像，該影像被 感測爲例如，該Bayer pattern(貝爾圖樣）的R，G和Β像 素。這些像素値被送至該影像處理電路732 ^影像處理電 路732包括積體電路（IC)和其它元件，該元件的功能之—爲 執行一影像壓縮架構以減少照相機73〇和電腦系統71〇之間 該移轉的大小。當該使用者或應用軟體希望/要求影像下 載時，儲存在該影像記憶體單元内經壓縮的影像從影像吒 憶體單元734中移轉至該1/〇埤717。1/〇埠717使用所圖示的 該匯流排-橋接器階層（1/〇匯流排715至橋接器714至系統匿， 流排713)以暫時將該影像資料儲存在記憶體711内或，隨 選地，·在磁片718中。該經壓縮的影像由適合的應用軟體 -12- i紙張尺度適财g|时縣（士）从祕（2ωχ297公疫 --- ---------0-----卜訂^------ο. (請先閱讀背面之注意事項再填寫本頁) * 4 515 8 1 經濟部智慧財產局具工消費合作社印製 A7 B7 五、發明説明（ίο ) (或專用硬體）解壓縮，並且可利用處理器712來解壓縮，。 該經解壓縮的影像資料將復原爲類似於或與如由照相機 730感測器所捕捉到的該影像資料相同的Bayer pattern(貝 爾囷樣）影像資料。 一旦將該已下載的影像解壓縮因而將使像素成爲未處理 在-顏色-元件-每個-像素形式。若想要在監視器72〇上輸 出一已移除的雜訊或者已增強的影像時，然後，應在形成 全彩像素之前經由顏色插補執行如本發明各種具體實例之 該雜訊移除技巧或影像增強，並且應使用如上述之該差別 增強框架。該已下載且經解壓縮的影像爲已經上述技巧之 一增強過的，並且因而該影像被移轉成一已增強影像。該 已增強影像資料组可能儲存在記憶體7丨丨或磁片718内供進 一步處理。一旦該増強已徹底執行，然後，可透過該顏色 插補處理執行該資料组，並且若需要的話，該原始（已復 原的）影像被丢棄。影像已增強，並且然後顏色插補所提 供的影像750將提出較多細節（亦即，較鮮明的邊緣及較少 雜訊）’給予適當的顯示裝置（監視器72〇和介面卡716)並 且因而’和該原始目標/景740較相像。在經由顯示器介面 卡716提供之後’該已增強的和已顏色插補的影像可儲存 在磁片718 ’記憶體711上和/或直接輸出至監視器720。 用於影像増強的電腦程式碼可封裝在一可移動的電腦可 讀取的媒介，例如磁碟片或CD-ROM上，並且可伴隨執行 將從照相機730下載的影像解壓縮的軟體，如同任何其它 软體，'•它可在通訊系統上透過網路下載/配置，或可應用 -13- 本紙張尺度適用中國國家梯準（CNS ) A4規格（2丨0><297公着） II__：----0^___________ο— {請先聞讀背面之注意事項再填寫本頁〕 * 4 515 3 1 經濟部智慧財產局員工消費合作社印製 Α7 Β7 五、發明説明（11 ) 於韌體上。可增強這些已下載影像以便該影像將看起來更 正確地將該目標/景740展示給該使用者。或者此影像增強 技巧也可在該照相機730本身的硬體内實現。 在本發明之一替代具體實例中，該影像處理電路732可 被改良以包括用於執行雜訊移除的電路或照相機方面的其 它影像增強，以致於在影像記憶體單元734内的該已儲存 影像爲一已增強影像。在此一具體實例中，可在影像處理 中的任何階段增強該影像β在此一硬體具體實例中，每一 個已増強的影像像素，就如它已被決定的，可直接窝回至 該影像s己憶體單元7 3 4或其它儲存機制。此外，該近似圖 像，預先增強圖像和其它此中間結果資料也可利用影像記 憶體單元730。上述增強影像之該方法可在VLSI(超大型積 體）或其它積體電路内實現。由於不像傳統的増強技巧， 在本發明之各種具體實例中所展示的該影像增強框架優點 爲其可能的直接硬體實現，該技巧被設計成可應用至一

Bayer pattern(貝爾圖樣）未處理影像。該影像增強框架也 可在顏色插補之後才執行，若希望如此的話a任何種類的 影像增強技巧，例如加工品減少，邊緣鮮明顏色流出減少 等可運用於本發明所討論到的該框架内，以致於不論採用 任何形式的這些技巧皆能較傳統影像增強更有效運作。 在此所討論的該範例具體實例僅用於圖示本發明之該原， 理並且不應被解釋爲限制本發明之範疇。而是，應將本 ^月之該原理應用於_較廣泛的系統，以達成在此所述之 該優點’並且達成其它優點或同時也滿足其它目標。 (請先閱讀背面之注意事項再填寫本頁)

__ -14- Λ7 B7 451581 五、發明説明（12) 在前述的專利申請書中，本發明已參考其特殊具體實例 加以敘述。然而，將很明顯的是’可對本發明從事各種改 良和變動而不偏離如在所附之專利申請範例内所陳述的本 發明較廣義的精神和範疇。因而該專利申請書和附圖，應 被視爲是説明性而非限制性。因而，本發明之範疇不應爲 該所附專利申請範圍所限制° (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消费合作社印«. 15- 本紙張尺度適用中國國家榡準（CNS ) A4規格（210 X 297公釐）

Claims (1)

1. 5 B 1 第88m%4號專利申請案 中文申請專利範圍修正本(9〇年1月）g| 申請專利範圍 修JL▲供U. 1 K充表♦ * 2 1.—種方法，包括： -说二，g- 煩請委貝明示 年 月 日所提之 修正ί無變更實質内容§准予修瓜。 經濟部中夹輮率局負工消费合作社印«. 從一原始輸入影像形成一近似影像； 透過將該近似的影像從該輸入影像差別而形成一預先 增強圖像； 根據一影像增強技巧形成其已增強圖像來增強該預先 增強圖像；並且 將該已增強圖像與該近似影像結合以產生一已增強影 像。 2_如申請專利範圍第1項之方法，其中該近似影像的形成 包括將該輸入影像低通濾波。 3.如申請專利範圍第1項之方法-，其中該近似影像的形成 包括以一移動视窗的方式將該輸入影像的部份加以平 均。 4·如申請專利範圍第1項之方法，其中該預先增強圖像的 形成包括將該近似影像從該輸入影像中扣除。 5. 如申請專利範圍第1項之方法’其中组合包括將該已增 強圖像與該近似影像相加。 6. 如申請專利範園第1項之方法’其中該增強包括雜訊移 除。 7. 如申請專利範圍第1項之方法’其中該增強包括將邊緣 鮮明化。 8. —種系統，包括： 一近似器，被架構以產生一輸入影像的近似影像； 一差別映成模组’搞合至該近似器，該差別映成模組 本纸張尺Jl逋用中國·家搞率（CNS ) A4规格（210X297公釐） t请先閏讀背希之泣意事項并填寫本頁> -ο-. tir 45 45 填請委員明示 令月日所提之 經濟部中夬棣隼局貝工消费合作社印51 修正^4^無|^實質内容是否准予修正。 Α8 Β8 C8 D8 、申請專利範圍 被架構以從該輸入影像和該近似影像產生一預先增強的 圖像： 一增強模组’耦合至該差別映成模組，被架構以增強 該預先增強的圈像並且從此形成一增強囷像；以及 一建構器，耦合至該增強模組，被架構以結合該已增 強的模組圖像’並且該建構器從此處輸出該輸入影像的 已増強版本》 9. 如申請專利範園第8項之系統，其中該近似器為一低通 濾波器。 10. 如申請專利範圍第8項之系統，其中該近似器被架構以 在該輸入影像上施加一移動視"'窗的平均β 11. 如申請專利範圍第8項之系統’其中該差別映成模组為 一減法器β 12. 如申請專利範圓第8項之系統，其中該建構器為一加法 器。 13·如申請專利範固第8項之系統，其中該增強模组提供雜 訊移除》 14. 一種物件，包括： 具有指令儲存於其上的電腦可讀取媒體，當由一處理 器執行時，致使： 從一輸入影像中產生一近似影像； 透過將該近似影像從該輸入影像中差別而產生一預先 增強圖像； 增強該預先增強圖像以形成一已増強圖像；並且 -2- (請先"讀^面之注意事項再填寫本頁) 本纸張尺度逋用逋氬f CNS i 、 A8 B8 C8 D8 45153 申請專利範圍 將該已増強圖像與該已近似影像結合以形成一已増強 影像。 請先聞 jr_ 1A-丰4 V ,?:、，' I 2 一 子Lη π μ 經濟部中央梂準扃貝工消費合作社印装 3 面 之 注意 事項再 f 本紙張尺度逍用中國«家揉準（CNS ) Α4規格（2丨0X297公釐）