TWI377521B - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- TWI377521B TWI377521B TW097119530A TW97119530A TWI377521B TW I377521 B TWI377521 B TW I377521B TW 097119530 A TW097119530 A TW 097119530A TW 97119530 A TW97119530 A TW 97119530A TW I377521 B TWI377521 B TW I377521B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- data
- filter
- image processing
- unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000872 buffer Substances 0.000 claims description 46
- 238000001914 filtration Methods 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 35
- 238000003672 processing method Methods 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 9
- 238000009825 accumulation Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 3
- 101150034533 ATIC gene Proteins 0.000 claims 1
- 210000004556 brain Anatomy 0.000 claims 1
- 229910000859 α-Fe Inorganic materials 0.000 claims 1
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 241001077810 Doberes Species 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
1377521 NVT-2007-092 26606twf.doc/n 九、發明說明： 【發明所屬之技術領域】 本發明是有關於一種影像處理裝 關於-種可使背景的物體更加模糊、讓主' 旦-別疋有 的影像處理系統。 要不物更加清晰 【先前技術】 在-般的數位相機拍攝中，會使 顯主要景物’避免因為背景過於清楚而讓;== 合焦的區域放在主要景物上，種效果’例如將 然可以模糊化背景，進而 / &域上自 環谐財， 要景物。但先前的拍攝 Γ = 述效果，有時#景過於接近主要景 :缺:處在離焦的區域，或者景深不夠短，背景 以^主^二旦I °另外’使用不同焦段的鏡頭拍攝，可 以讓主體與η有不_空間距 頭使用的焦段時，亦不能m⑽二錢艾拍攝鏡 空間距_。 ^達賴域^綠近或拉遠的 則技術中的數位相機存在各種缺陷和問題，因 法4種數位影像處理系统及數位影像處理方 .1Ϊ體與背景有不同的空間距離感，並可根據使用者 的做出各#特殊的影像處理’是數位相機的應用上 一個重要的問題。 i 【發明内容】 本毛月目的在於提供—種能讓背景的物體更加模糊、 5 NVT-2007-092 26606twf.doc/n 讓主要景物更加清晰的影像處理裝置盘方法。 本發明所提出的影像處理 ' 資料緩衝器、解碼盥饋人哭^ ，匕括饋入控制電路、 運算單元。_人控倾暫存單元與遽波 衝器用以暫存由饋入控制科之存取。資料缓 像資料，而由饋人#制電路二子取操作而取得的一影 資料包括複數4(彳==^彡_，其中影像 饋入控制電路，用以接收3碼與饋人15連接到 生多筆渡波器係數盘表格，經解碼後產 對應複數列(行)影電路控制資料緩衝器，輸入 暫存由解碼鮮像 料。遽波器係數暫存單元用以 用以接收由資二濾波器係數。舰運算單元 複暫存單元的^係數，並對接收的 運算後二資資料進行濾波運算後，輸出經過濾波 濾波二處置’更包括-暫存單元，用以接收 .重瞀„ — 刀办像賢料，並反饋(Feedback)傳回濾波 逆异早兀，以進杆g ;、狄 丁系加運算(Accumulation Operation)而得 到元整的影像資料，並據以輸出。 ㈣ΐ述的景々像處理裝置中，濾波運算單元至少包括多個 料盘及「個加法器。這些乘法器用以接收影像單元資 、…’爲慮波器係數’並進行乘法運算，而與暫存單元 1377521 NVT-2007-092 26606twf.doc/n 反饋傳回的資料藉由加法器進一 像資料據以輸出。 ” α運异而得到完整的影 上述的影像處理裝置，更包 由饋入控制電路控㈣’而將經；：：,運算單元，用以 在一既定範圍内輸出。 慮凌運舁的影像資料限制 上述的影像處理裝置，更包 元，連接到解碼與饋入器，用^ 濾波器表袼儲存^
上述的影像處理裝置，其中表^各。 數欄位與多個濾波器係數，秸包括—控制J 係數與-第二係數，其中第攔位包括一第- 像單元資料所需要的遽波器係數個數以而景 到下一個影像單元資料啟始位置的位移量。4曰出刹 資料本理方法，包括讀取並暫存影偉 H = 括複數列(行)影像單元資料。讀取 :慮波^表格’ Μ解碼後產生鋒叙^餘，並根據每—
^慮波器係數取得對應的影像單元#料。對對應的影像單元 貧料與濾波e係數，進行渡波運算後，輸出經過濾波運算 後的影像資料。 上^的影像處理方法’其中當濾波器係數的數量超過 遽波運算可處理的數量時’將經過濾波運算後的部份影像 單兀資料反饋(Feedback)傳回，以便與尚未完成的其他部 分W像單元資料進行累加運算(Accumuiatjon 〇perati〇n)而 得到完整的影像資料，並據以輸出。 上述的影像處理方法，更對經過濾波運算的影像資料 7 1377521 NVT-2007-092 26606twf.d〇c/n 定=内輪Γ。而將經過遽波運算的影像資料限制在一既 上述的影像處理方法，其中濾波器表格包括一控制參 數欄位與多個據波器係數，其中控制參數搁位包括一 i 息其巾第—係朗叫出目前處理的複 數歹1⑹衫像早騎料所需要的遽波器 到下一個複數娜像單元心 的位移宣；。 本發明所提出的影像處理方法，包 Γ中塊，每個區塊可設定對應的影像處ir率 :中衫像的母一區塊包括多個複數列(行 ，而後將&些影像處理比率存〜s波器表格中，盆中每 個，塊的影像單元資料具有對應的影像處理比率。接著續 H益表格，經解碼後產生多筆據波 行數的影像單元資料。對= =)數的4育料域波器係數，進行乘加運算，依此類 推’對複數列(行)影像資料做完處 、 波運算後的影像資料。 f 過應 上述的影像處理方法’其中影像處理比率為縮放比 (Z〇0m Rat10)或模糊比率(Blur Ratio)。 \ 波哭传^ ’其+對應的f彡像單元資料與濾' 括對影像進行垂直縮放比率或 或水算另外包括對影像進行水平縮放比率 8 NVT-2007-092 26606twf.d〇c/n 本發明提供的影像處理系統及方法可根據使用者的 言^定，做出各種特殊的影像處理，並能讓背景的物體更加 棋糊，讓主要景物更加清晰的優點，克服了先前技術 在的各種缺陷和問題。 •為讓本發明之上述和其他目的、賴和優職更明顯 易懂’下文特舉較佳實施例，並配合所附圖式，作詳細說 明如下。 ' 。 【實施方式】 根據本發明所提出的實施例，提供了一種赘虎备 統及方法，其賊域與背景有不_ ”距^，並^ 根據使用者的設定，做出各種特殊的影像處理。 一般的數位相機拍攝中，會使用背景模糊的技巧，來 突顯主要景物，避免因為背景過於清楚而讓整個影像顯的 太雜亂失去焦點，通常需要使用鏡頭達成這種效果，例如 將合焦的區域放在主要景物上，背景則在離焦的區域上， 自然可以模糊化背景，進而突顯主要景物的影像。但經常 拍攝環境並不如所預設的情況，有時背景過於接近主要景 物，無法讓背景處在離焦的區域，或者景深不夠短，.背景 依然在合焦區域中。在無法改變背景的位置下，需要使用 數位處理的方式，讓背景的物體更加模糊，讓主要景物更 加清晰。 另外，使用不同焦段的鏡頭拍攝’可以讓主體斑背景 有不同的空間距離感，但當無法改變拍攝鏡頭使用的焦 段，利用數位影像處理中亦可達成讓主體與背景拉近或拉 NVT-2007-092 26606twf.doc/n 遠。 要達到上述的結果，必需將影像做劃分，整個影像可 以劃分出許多的區域’針對每個區域標示出屬於主要景 物、背景景物及主景射景的過渡區域，針對此不同標示 區域需做不⑽影像處理，所以需要—套架構能應付此種 需求。 為能支援各種不同型式濾波器型式，本發明實施方式定 義種通用的渡波益表格(FilterTable)，此渡波器表格請參 <尾圖1A所不，其用以取得對應的線影像來源⑹⑽恤嗯 Source)，以圖1B的七條線影像來源進行說明。 在圖1A的濾波表格中，以一個位元組的資料代表 控制參數，而隨後所附加對應濾波運算的係數。而此控制 參數中^如前四個位元⑽⑽邮证似加抑’祕別代表 此濾波運算的線影像資料需要多少濾波運算的係數，而後 四個位元(feast Significant Bit，LSB)代表線影像資料經過 第-次運算輸出後，下-次運算輸出開始，線影像資料初 始位置需要跳幾條。 例如，參照圖1A與圖1B，在第一個位元組11()内可 以看到數字為“3”與“2，，，而後有濾波運算係數“F1C1 ”、 ‘F1C2”與“F1C3”’分別標號112、1H與116。此代表從啟 始線影像開始共有“3”條線影像資料將進行處理，而共有3 個係數112、114與116作為線影像資料的據波運算係數。 而，渡波運算後處理完後，下〆次運算輸㈣始，要讀取 的資料是需要跳“2”條。 1377521 NVT-2007-092 26606twf.doc/n 如目前處理的線影像資料為第一條線影像資料141， 而對應的控制參數與濾波運算係數為“3”、“2”、“F1C1，，、 “F1C2”與“F1C3”，並且取得第一條線影像資料 (Linel)141、第二條線影像資料(Line2)142與第三條線影像 資料(Line3)143的資料，在經過濾波運算後，得到輸出為 Line Output 1 = (Linel*FlCl + Line2*FlC2 + Line3*FlC2) 而下一條要讀取的資料是需要跳“2”條，因此下一個輪 出將是第三條線影像資料143開始，而後對應的控制參數 與濾波運算係數為“2”、“1”、“F2C1”與“F2C2”，在取得第 三條線影像資料（Line3)143與第四條線影像資料 (Line4)144的資料，在經過濾波運算後，得到輸出為
Line 0utput2 = (Line3*F2Cl + Line4*F2C2) 而下一條要讀取的資料是需要跳“Γ條，因此下一個輪 出將是第四條線影像資料144開始，而後對應的控制參數 與濾波運算係數為“4”、“2”、“F3C1”、“F3C2”、“F3C3” 與“F2C4” ’在取得第四條線影像資料(Line4)144、第五條 線影像資料(Line5)145、第六條線影像資料(Line6)146、與 第七條線影像資料(Line7)147的資料，在經過濾波運算 後，得到輸出為
Line 0utput3 = (Line4*F3Cl + Line5*F3C2 + Line6*F3C3 + Line7*F3C4) 上述控制參數中採用前四個位元與後四個位元的控制 為一實施例，然並非以此位元數為限。另外，所採用的遴 11 1377521 « NVT-2007-092 26606twf.doc/n 波運异是針對線影像來源(Line Image Source)進行處理，但 是亦可針對某一預先設定大小的影像資料進行處理，而在 此使用線影像來源的原因是因為可以配合使用現成的線緩 衝器(Line Buffer)。上述的内容可視設計上的需要或是濾波 運算所需要的係數數量而進行調整。底下將以一具體實施 例說明本發明所提出的影像處理裝置。 請參照圖2’在本發明實施例的影像處理裝置2〇〇 中’包括解碼與饋入器（Decoder and Feeder Device)210、 饋入控制電路(Feeder Contr〇ller)220、資料緩衝器（Data Buffer)230、濾波器係數暫存單元㈣ter c〇efflcient St〇ring Buffer)240、濾波運算單元(Filter 〇perati〇n Unit)25〇、暫 存單元（Storing Buffer)260與移位運算單元（Shift Operation Unit)270。 首先’從例如條狀(Strip)的影像資料201中，經由資 料存取電路202進行讀取，此資料存取電路202例如是直
接 η己隐體存取(Direct Memory Access，DMA)電路，此 DMA 電路為一種硬體結構，允許影像處理裝置2〇〇直接對記憶 體進行存取資料，而不需經由中央控制器(CPU)的參與。 此資料存取電路202直接受到饋入控制電路22〇的控/制， 如圖示的控制信號222，並進行資料的讀取。而後，將所 讀取的資料暫存在資料緩衝器230内，例如是由多組線缓 衝器(Line Buffer)所組成的緩衝裝置，並由饋入控制電路 220輸出的信號224控制，將資料傳送到濾波運算單元 ，以便進行濾波運算。同時，饋入控制電路220輸出 12 1377521 NVT-2007-092 26606twf.d〇c/n 的心號226也會傳送到解碼與饋入器，開始讀取本實 施例所提出的濾波器表格。 、 慮波咨表袼儲存單元2〇5肖以儲存上述條狀影像資 Π01所對應的濾波器表格，此滤波器表格格式如圖 所不。。用以處理此條狀影像資料201所需要的控制參數及 遽波器係數。而鱗波器表格為能支援各種*關式 器型式的通用濾波器表格(Filter Table)。 似
一解碼與饋入器210對濾、波器表格儲存單元205内部的 f訊給予解碼’並根據解碼的内容做對應的處理，例如若 是針對線衫像來源(Line Image s〇urce)進行處理時，所需 要的遽波運算係數經為多位元的訊號214傳送到濾波哭 係數暫存單元24G暫存，並經由多位元的信號212傳送^ 饋入控制電路220，並通知饋入控制電路22〇對此次處理 需，幾條_輸人影像’以及此:欠處理完成並輸出後，下 ••人處理開始，線影像來源需位移到第幾條線影像。
此影像處理裝置200可以將中間處理過程的資料暫 時f放在暫存單元鳩内，若是欲進行濾、波操作的線影像 ，量超過，入控制電路22〇 一次可以運算的數量時，也就 疋濾波運异係數數量超過饋入控制電路22〇 一次可以運 算的數量時’難要分次處理才能完成完整的渡波運算。 而此日寸’暫存單;^ 26G可經由多位元的信號262反饋 (Feedback)傳回濾波運算單元25〇，以便進行累加運算 (Acxumulati〇n 0peration) ’而後可完整的輸出影像，如圖 示的影像信號264。 13 1377521 t NVT-2007-092 26606twf.doc/n
而針對輸出影像信號264部分，經由移位運算單元 270選擇性地進行移位運算(811进〇1)沉奴1〇11)，讓輸出的影 像信號264限制在某個範圍内，而後輸出調整後的影像信 號272而此移位運异為選擇實施例，也可不用經過此運 异而直接輸出影像信號264。而此移位運算單元27〇是否 進行移位運算’是由饋入控制電路22〇經由信號228所控 制’此信號22 8用以指出是否已完成完整的輸出影像，當 完成後才會驅動移位運算單元27〇。 上述進行分次處理過程中，解碼與饋入器21〇需做相 對，的處理例如分次傳n皮運算係數給濾波器係數暫 存單元240進行儲存，資料存取電路2〇2亦需做相對應的 處理’例何倾需要抓取指定位置輪人§彡㈣不同數量 線影像貧料。在此資料存取電路搬可根據饋入控制電路 220的而求抓取指定位置輸入影像不同數量的線影像資 H上述的架構，本發明所提丨的影像處H统及^ 用去^Ιί主體與背景有不同的空間距離感，並可根據信 =:’做出各種特殊的影像處理。而底下將以具楚 u與 本發明實施例的垂1 慮波二處理電路和水平濾波器處理電路。 Γ 3 ’在本發明實施例的垂直濾、波器處理裝層 f入㈣直據波器表解碼與饋人器31G、線緩衝 “‘單元 34020、、:線緩ί，ineBUffer)33〇、濾波器贷 ;思波運算單元350、暫存單元36〇與卷 1377521 NVT-2007-092 26606twf.doc/n 位運算單元370。 首先，線缓衝器饋入控制電路32〇輸出的信號326也 ό傳送到垂直;慮波裔表解碼與饋入器,開始讀取本實 施例所提出的濾波器表格。 只 濾波器表格儲存單元305用以儲存來源影像資料3〇1 所對應的濾波器表格，此濾波器表格格式如圖1Α所示， 用以處理來源影像資料301所需要的控制參數及濾波器 係數。而此濾波器表格為能支援各種不同型式濾波器型式 的通用濾波器表格(Filter Table)。 垂直;慮波盗表解碼與饋入器310對遽波器表格儲存 單元305内部的資訊給予解碼，並根據解碼的内容做對應 的處理，例如進行來源影像資料3〇1處理時，所需要的^ 波運算係數經為多位元的訊號314傳送到濾波器係數暫 存單元340暫存，並經由多位元的信號312傳送到線緩衝 态饋入控制電路320，並通知線緩衝器饋入控制電路32〇 對幾條線的輸入影像做處理。在具有寬度為w、高度為H 的條狀(Strip)來源影像資料301中，經由直接記憶體存取 (DMA)電路302進行存取。此DMA電路302接收來自線 緩衝器饋入控制電路320的控制信號322，並由其所控 制，以進行資料的讀取。而後，將所讀取的資料臂存在線 資料緩衝器330内。此線資料緩衝器330例如是由四組線 緩衝單元(Line Buffer)所組成的缓衝裝置，並由線緩衝器 饋入控制電路320輸出的信號324控制，將資料傳送到濾 波運算單元350，以便進行濾波運算。處理完此條線影像 15 1377521 ΝΥΤ^20〇7-〇92 26606twf.doc/n 並輸出後，線影像來源起始位置需位移到 便處理下一條影像資料。 次料處裝置_可以將中間處理過程的 故在暫存單元遍内，若是欲進行渡波操作的 線衫像數歧過四個時’也就是舰運算係數數量超過渡
ί單元350 一次可以運算的數量時，則需要分次處理 才施完成完整的濾波運算。此時，暫存單元36〇可經由多 位兀的信號362反饋(Feedback)傳回濾波運算單元35〇， 以便進行累加運算(Accumulati〇n 〇perati〇n)，而後可完整 的輸出影像，如圖示的影像信號364。
第幾條線影像以 此;慮波運算單元350包括例如有四個乘法器352以及 一個加法器350而每個乘法器對應線資料緩衝器33〇内 的一個線緩衝單元。此四個線緩衝單元以平行配置的方 式，傳送線影像資料到此四個乘法器，並且盥儲存 器係數，單元州㈣波運算係數進行 由加法器354相加後，將結果傳送到暫存單元36〇。 而針對輸出影像信號364部分，經由移位運算單元 370選擇性地進行移位運算(观赶〇perati〇n)，讓輸出的影 像b號364限制在某個範圍内，而後輸出調整後的影像信 唬372。而此移位運算為選擇實施例，也可不用經過此運 算而直接輸出影像信號364。而此移位運算單元370是否 進行移位運算，是由線緩衝器饋入控制電路32〇經由信號 328所控制，此信號328用以指出是否已完成完整的輪出 1377521 NVT-2007-092 26606twf.doc/n 影像，當完成後才會驅動移位運算單元37〇。 明參照圖4，在本發明實施例的水平渡波器處理麥置 400中，包括水平濾波器表解碼與饋入器41〇、先進^出 (First In First 〇ut，FIF0)控制及水平資料饋入電路42〇、 ，，先出缓衝器430、濾波器係數暫存單元44〇、濾波運 异單元450、像素暫存器(pixelBuffer)48〇與移位瞀 470 〇 ' r平兀
水平濾波器處理裝置4〇〇接收一來源影像資料4〇3， 此影像貧料例如是從圖3經過垂直濾波器處理裝置3⑻處 理後，所得到的垂直調整輸出信號。將此來源影像資ς 403直接傳送到FIF〇緩衝器43〇内。此FIF〇緩衝器43〇
則具有y位置指標431 ’為此次運算處理來源影像的初始 位置，當此次運算處理完後，需輕位置指標431位移到 第幾個晝纽賴理下的㈣纽。根職波運算單 兀450每次可以處理的像素(pixd)數量，nF〇緩衝器*孙 -次輸出對應的像素數量的資料’以便進行舰運算。而 何時傳送資料則是受到FIF〇控制及水平資料饋入電路 420所控制。同時’ FIF〇控制及水平資料饋入電路働 輸出的信號426也會傳送到水平濾波器表解碼與饋入器 410,開始讀取本實施例所提出的濾波器表格。 ™ 水平;慮波杰表格儲存單元405用以儲存滤波器表 格此濾波态表格格式如圖1Α所示，用以處理來源影像 資料403所需要的控制參數及遽波器係數。而此濾波器表 格為能支援各種不同型式·器型式的通用濾、波器表格 17 1377521 NVT-2007-092 26606twf.doc/n (Filter Table)。 水平濾波器表解碼與饋入器41〇對水平滹波哭表柊 儲存單元405内部的資訊給予解碼，並根據“二 對應的處理，例如進行來源影像資料4〇3處理時，所需 算係數經為多位元的訊號414傳送到濾波；係 數暫存早70 44G暫存’並經由多位元的信號412傳送到 FIFO控制及水平資料饋入電路42〇 ’通知控制及
平資料饋入電路42G對幾個晝素的影像進行處理，以及處 ΓΪίίί素的影㈣料並輸出後’需調整位置指標《I 位私到第幾個晝細便處理下—次的運算處理。 4影像處理裝置_可崎處理後得_資料暫日: =在像素暫存器働内，若是欲進行濾波操作的晝^ 1 =四_，也就是驗運算魏數量超過濾波運料
運算的晝素數量時，則需要分次處理才能 波運算。此時，像素暫存器_可經由多伯 反饋(Fee—10傳回缝運算單元450，以
Si f ^(Ae_la—而後可完签的 叛出衫像，如圖示的影像信號481。 ”運算單元45〇包括例如有四個乘法器扣以及 的一二t=。而每個乘法器對應則緩衝器碰内 遽波“進係數暫存單元440的 將結果傳送到像素ίίίς並經由加法11 454相加後， 而針對輪出影像信號481部分，經由移位運算單元 18 1377521 NVT-2007-092 26606twf.d〇c/n 470選擇性地進行移位運算(_〇1)_〇11)，讓輸出的影 像信號481限制在某個範圍内，而後輸出調整後的結果經 由信號472傳送到FIF〇緩衝器49〇暫存，而後可以經由 4號492輸出具有高度為h而長度為w的目標影像。而 此移位運算為選擇實施例’也可不用經過此運算而直接輸 出影像信號481到。而此移位運算單元47〇是否進行移位 運异，是由FIFO控制及水平資料饋入電路42〇經由信號 φ 428所控制，此信號428用以指出是否已完成完整的輸出 影像’當完成後才會驅動移位運算單元47〇。 如圖5A所示’為本發明實施例中以分段縮放比率方 式進行濾波器處理的示意圖。假設使用三角形濾波器 (Triangle Hlter)510 來處理影像的縮放(z〇〇m In/z〇()m
Out) ’且此三角形濾波器的長度為4，由此可以得到 b0 = (aO*F(〇) + ai*F ⑴ + a2*F(2)+a3*F⑺）/(F(l)+ F(2) + F(3) + F(4)) 其中’ a0代表三角形濾波器内第〇個輸入影像的晝 鲁素值，由三角形公式可以得到其對應的濾波器係數值 F(0)’同理al、a2、a3分別代表三角形濾波器内第j、2、' 3個輸入影像的晝素值，而F(1)、F(2)、F(3)則是對應的 濾波器係數值，將上列的值代入以上公式，可以得到b〇 的值，代表輸出影像的第〇個晝素值。而其結果如圖示的 521、522、523 與 524。 假设使用分段變焦比率(piecewjse z〇om Rati〇)，將輪 入的影像分段使用不同的縮放比率(Z〇〇m Ratio)，如輸出 19 1377521 NVT-2007-092 26606twf.doc/ii 的影像第2個畫素的Zo〇mRati〇為^ 5 器需移位(S_ 1.5個畫素值，再由上作^角形遽波 晝素得出bi的值，同理可得接下來輸^影像 根據上面式子的推導，可以將其結果做成垂直 2 Ϊ的遽波器表格Τ_ ’或是水恤^ 的慮波器表格。此濾、波器表格記錄每個輪出影像是 個輸入影像的晝素值’其相對應的濾波器係數值，及要處 理下一個晝素，輸入影像所需跳幾個晝素的數目。地 如圖5B所示，為說明本發明實施例通過縮放比率方 式處理影像祕置示意圖。綱上述方式可以針對_張影 像設定不同區域使用不同的Zoom Rati〇，如區域5孙办 532、534與536分別具有不同的Zoom Ratio，分別為3、 2·5 2、1.5。假设影像的背景分佈在四個角落，前景則在 中心部份，對背景使用較小的放大倍數，中心使用較大的 放大倍數，則前景較背景放大倍數高，其結果有加強主體 的效果，或是主體與背景之間的距離被拉大的視覺效果。 如圖6Α所示，為說明本發明實施例中以分段模糊比 率方式進行瀘波器處理的示意圖。首先定義一個模糊比率 〇B lur Rati〇) ’當模糊比率的值愈大，則模糊的效果愈明顯， 在數位元影像處理中，如果低通遽、波器(Low Pass Filter)越 寬則影像則輸入影像高頻成份被濾掉的越多，影像相對就 越模糊。假設使用三角形濾波器情況下，在第一種情形下， 20 1377521 NVT-2007-092 26606twf.doc/n 以濾’波II寬度(Filtei* Width)為6做影像處理 —的模糊效果。同理，分段使用不同 5、4、3 做處理，得到 BlurRati〇 = 2 5 2 i 5 模糊程度的影像’達到分段連續的模糊效果。 ° 根據上面式子的推導，可以將其結果做
=^慮波器表擊ter Table)，或是水平濾波“ ^ 的滤波盗表格，記錄每個輸出影像是使用幾個輪入 畫素值，其相對應的器係數值、要處理下—個晝 及輸入影像所需跳幾個晝素數目。 ’、 如圖紐所示’為本發明實施例通過模糊方式處理影 像的位置不意®。彻上述方式可以針對—張影像 同區域使用不同的模糊比率，如區域63〇、632、634與幻6 分別具有不同的BlurRatio,分別為15、2、25、3。’、梦< 影像的背景分佈在四個角落，前景則在中心部份，對^ 使用較大的模糊比率，中錢驗小的模概率，則前^
較背景明顯清晰，其結果有加強主體的效果 化 背景的視覺絲。 ^ b 。如圖7所示’為本發明之實施方式的影像處理方法的 流程圖。本㈣實施綱影像處财法包細下步驟。首 先’在步驟S710巾，將影像設定成不同的區塊，每個區 塊邊界可n又疋獨立的縮放比率(z〇〇m Rati〇)及模糊比率 ^lurRatio}。而後’在步驟S72〇中，將區塊内部以分斷連 續方式設定不同區段的縮放及模糊比率’以降低區塊 (B1〇Ck)的效應。而後分為步驟S730到S736,以及步驟S740 21 1377521 NVT-2007-092 26606twf.doc/n 到 S746。 —在水平濾波處理過程中，首先，在步驟㈣中，設 疋母個區段的水平縮放比率及_比率。而後步驟伽 :产it，：率=定每個水平輪出晝素使用的遽波器 見度_er观th)。在步驟S734中，水平縮放比率決定每 ，水平輸出畫素姆應的紐財心位置，並由模糊比率 付到相對應纽ϋ寬度’並由此_涵蓋在减波器範圍
内之輸人影像，每個畫素所賴㈣波器餘^在步驟 S736中，觀上的資訊建立的水平驗器表格以供水平 濾波器處理電路處理。
——另外，在垂直濾波處理過程中，步驟S74〇提到，設 定每個區段㈣直職比率及馳轉。接著步驟s742， ^垂直模紙率蚊每麵直㈣畫錢㈣濾波器寬 度。步驟S744 t ’由垂直縮放tb率決定每麵直輸出晝 素相對應的4波位置’並由模糊轉得到相對應^ 波器寬度，並由此得到涵蓋在此濾波器範圍内之輪入影像 每個晝素所對應的濾波器係數。而後步驟S746，從以上 的資訊建立垂直紐器表格，以供垂直錢器處理電路處. 在最後步驟S750 +，處理完所有的輸入影像並產 生一張輸出影像。 本發明還提供一種垂直濾波器處理電路及水平濾波 器處理電路，難錢波器處理電路及水平紐器處理電 路可根據使用者的設定，做出各種特殊的影像處理。 22 1377521
NVT-2007-092 26606twf.doc/n 本發明提供的影像處理系統、垂直 水平遽ϋ處理電路可錢用在嵌人^統巾“路及 設定本:= 特 要景物更加清晰，克服先前技術中存在各3 雖然本發明已以較佳實施例揭露如上，然其並 限定本發明，任何熟習此技藝者，在不脫離本發明之二 和範圍内’當可作些許之更動與_，因此本發明之^ 範圍當視後社冑料概_界定者鱗。…隻 【圖式簡單說明】 .圖1Α為說明本發明實施例定義的通用濾波器表格 (FferTable)，而圖1Β是說明具有七條線影像來源的資& 圖2說明本發明實施例的影像處理裝置結構示意圖。 一圖3說明本發明實施例的垂直濾波器處理電路的結構 不意圖。 圖4說明本發明實施例的水平濾波器處理電路的結 示意圖。 圖5Α說明本發明實施例中以分段縮放比率方式進 波器處理的示意圖。 T/愿 圖5Β說明本發明實施例通過縮放比率方式處理影 位置示意圖。 〜 、 圖6Α說明本發明實施例中以分段模糊比率方式進行濾 23 1377521 NVT-2007-092 26606twf.doc/n 波器處理的示意圖。 —圖6B說明本發明實施例通過模糊方式處理影像的位 示意圖。 直 第7圖說明本發明實施例的影像處理方法的流程圖。 【主要元件符號說明】 2〇〇 :影像處理裴置 2〇1 :影像資料 202 :資料存取電路 210 .解碼與饋入器（Dec〇der and Feeder Device) 220 :饋入控制電路(FeederC〇ntr〇ller；) 23〇 :資料緩衝器（Data Buffer) 240 ·遽波益係數暫存單元(朽1如Coefficient Storing Buffer) 250 ·濾波運异單元(Fiiter 〇perati〇n unit) 260 :暫存單元(Storing Buffer) 270 .移位運异單元(％出〇perati〇n Unit) 300 :垂直濾波器處理裝置 302 : DMA 電路 31〇 :垂直濾波器表解碼與饋入器 320 .線緩衝器饋入控制電路 330 :緣緩衝器(LineBuffer) 340 :濾波器係數暫存單元 350 :濾波運算單元 360 :暫存單元 24 1377521 NVT-2007-092 26606twf.doc/n 370 :移位運算單元 400 :水平濾波器處理裝置 410 :水平濾波器表解碼與饋入器 420 :先進先出（First In First Out，FIFO)控制及水平 資料饋入電路 430 :先進先出缓衝器 440 :濾波器係數暫存單元 450 :濾波運算單元 470 :移位運算單元 480 :像素暫存器(Pixel Buffer)
25
Claims (1)
101-4-17 十、申請專利範圍： h一種影像處理裝置，包括： 一控制電路’用以控制資料之存取； 操作而取像用二暫存由該饋入控制電路進行存取 該影像而由該饋人控制電路控制輸出 、，、中5亥衫像資料包括多筆影像單元資料.
-解碼與饋人器，連接到該饋人控制 、以接 由_入㈣電路所發出的-誠器表格請求^ = :;滤r表格，經解瑪後產生多筆以: 控齡唬，該控制信號傳送到該饋入控制電路^ 控制電路控制該資料緩衝器’輸出對應該些影像ί 濾波器係數暫存單元，用以暫存由該解碼與 輸出的該些濾波器係數；以及 /、。斤
渡波運算單元，用以接收由該資料緩衝器所輪出的該 些影像單元資料與儲存在該濾波器係數暫存單元的該二 濾波器係數，並對接收的該些影像單元資料進行濾波^ ^ 後’輸出經過濾波運算後的該影像資料。 异 2.如申請專利範圍第1項所述的影像處理裝置，更包 括一暫存單元’用以接收該濾波運算後的部分該影像資 料’並反饋(Feedback)傳回該濾波運算單元，以進行累加 運算(Accumulation Operation)而得到完整的該影像資料， 並據以輸出。 3.如申請專利範圍第2項所述的影像處理裝置，其中 26 1377521 101 斗 17 該濾波運算單元至少包括多個乘法器以及一個加法器，該 些乘法器用以接收該些影像單元資料與對應的該些濾^ 器係數，並進行乘法運算’而與該暫存單元反饋傳回的資 料藉由該加法器進行累加運算而得到完整的該影料 據以輸出。 7
4·如申請專利範圍第2項所述的影像處理裝置，更包 括一移位運算單元，用以由該饋入控制電路控制，而將= 過濾波運算的該影像資料限制在一既定範圍内輪出。、 5. 如申請專利範圍第1項所述的影像處理裝置，更包 括一資料存取電路’連接到該饋入控制電路與一外部影像 來源，其中該饋入控制電路控制該資料存取電路對該外部 影像來源進行存取，而將取得的該影像資料儲存在該資料 緩衝器内。 、 6. 如申請專利範圍第1項所述的影像處理裝置，更包
括一濾波器表格儲存單元，連接到該解碼與饋入器，= 儲存該濾波器表格。 ° ^ 7.如申請專利範圍第1項所述的影像處理裝置，其中 f滤波器表格包括—控制參數攔位與該輯波輯數1 中該控制參數攔位包括—第—係數與—第二係數，其中^ 第一係數用以指出目前處理的該些影像單it資料所需^ 的渡波器係數個數，而該第二係數指出跳 元資料的啟始位置。 ~像早 8.如申請專利範圍第丨項所述的影像處理裝置，复 該遽波運算單元至少包括多個乘法器，該錄法器用^接 27 1377521 101-4-17 收該些影像單元資料與對應的該些濾波器係數，並進行乘 法運算後輸出。 9. 如申請專利範圍第1項所述的影像處理裝置，其中 該影像單元資料是線影像資料(Line Data)，而該影像資料 是由該些線影像資料所組成。 10. 如申請專利範圍第9項所述的影像處理褒置，其 中該資料緩衝器由多個線緩衝器(Line Buffer)所組成，每 一該線緩衝器用以暫存該線影像資料。 11·如申請專利範圍第10項所述的影像處理裝置，其 中該;慮波運真單元至少包括多個乘法器，該些乘法器用以 接收該些線影像資料，並與對應的該些濾波器係數進行乘 法運具後輸出。 12. 如申請專利範圍第η項所述的影像處理裝置，更 包括一暫存單元’用以接收該濾波運算後的該些線影像資 料’並反饋(Feedback)傳回該濾波運算單元，以進行累加 運具(Accumulation Operation)而得到完整的該影像資料據 以輸出。 、 13. 如申請專利範圍第12項所述的影像處理震置，其 中該濾波運算單元更包括一加法器’用以將該暫存單元反 饋傳回的資料與該些經過濾波運算後的線影像資料進行 累加運算而得到完整的該影像資料據以輸出。 H.如申請專利範圍第1項所述的影像處理裝置，其 中該影像單元資料是晝素資料(Pixel Data)，而該影像資料 28 101-4-17 是由多個該些晝素資料所組成。 中今資f 所述的影像處理裝置，其 波先出(腦)緩衝1，並對應該遽 =二早0處理的該魏波器係數數量輸出對應的畫
16. 如中請專利範圍帛15項所述的影像處理褒置，其 中該遽波運算單元至少包括多個乘法器，該絲法以 素資料，並與對應的該些渡波器係數進躲法 17. 如申請專利範圍第16項所述的影像處理裝置，更 Ϊ括一畫素暫存單元’用以接收猶波運算後的該些畫素 貧料並反饋(Feedback)傳回該濾波運算單元，以進^累 加運算(Accumulation 〇peration)而得到完整的該影 據以輸出。
18. 如申請專利範圍第17項所述的影像處理裝置其 中該濾波運算單元更包括一加法器，用以將該暫存單元反 饋傳回，資料與該些經過遽波運算後的線影像資料進行 累加運算而得到完整的該影像資料據以輸出。 19. 一種影像處理方法，包括： 讀取並暫存-影像資料，其中該影像資料包括馬 像單元資料； 讀^一濾波器表格，經解碼後產生多筆濾波器係數， 並根據每一該濾波器係數取得對應的該些影像單元資 料’而當該些濾波器係數的數量超過濾波運算可處理的& 29 1377521 l〇l-4-l7 量時，將經過濾波運算後的部份該些影像單元資料反铲 (Feedback)傳回，以便與尚未完成的其他部分該些影像^ 元資料進行累加運算(Accumulation Operation)而得到$ = 的該影像資料，並據以輸出；以及 凡 對5亥些對應的影像單元資料與該些濾波器係數，進_ 濾波運算後，輸出經過濾波運算後的該影像資料。订 2(λ如申請專利範圍第19項所述的影像處理方法， 對經過遽波運算的該影像資料進行移位運算，而將經 波運异的該影像資料限制在一既定範圍内輸出。 21. 如申請專利範圍第19項所述的影像處理方法，其 中該渡波器表格包括一控制參數攔位與 ^ ==用_包括一第一係數與 μ弟係數用以指出目前處理的該些影像單元資料 二：的2器係數個數，而該第二係數指 個 衫像早兀育料的啟始位置。 』「 22. —種影像處理方法，包括： 對二不同的多個區塊，每個該區塊可設定 比率，其中該影像的每—該區塊包括多筆 該入-_表格中，其中每個 dd料具有對應的該影像處理比率； 並根據每一該滹波琴孫Im ^ f 筆濾波器係數， 以及 係數取得對應的該些影像單元資料； 30 1377521 101-4-17 對f些對應的料單元資料與該絲波H係數，進行 渡波運算後’輸出經過據波運算後的該影像資料。 23·如申請翻22項所述的影像處理方法装 (ΒΐΓ^ 中^第22項所述的影像處理方法，其 士田濾波态係數的數量超過濾波運算可處理的 %，將經過遽波運算後的部份該些影像單元資料二 (Γΐΐΐΐ ’叹與尚未完細其他部分該些影像ί 的# MACCUmulaticm 0pel*atic)n)而得到完整 的該衫像育料，並據以輸出。 j疋正 25.如申請專利範圍第22 對經過渡波運算的該影像理方法，更 波運算的該影像資料移异’而將經過渡 % 1 4限制在—既定範圍内輸出。 26.如申請專利範圍第&項所述的 中戎濾波器表格包括—押制 去，其 其中該控制參數欄位包C第慮波器係數， ，一係數用以指出目前處理的該卿像其中 元資料的啟始位置。弟一係數指出跳到下一個影像單 中對該些對應咐/mu所述的影像處理方法，其 波運算包括對該影滤波器係數，進行遽 的運算。進丁垂直縮放比率或垂直模糊比率 101-4-17 101-4-17
的運算 ▲ · τ粕專利範圍第22項所述的影像處理方法，其 °亥些對應的影像單元資料與該些濾波器係數，進行滅 ，包括對該影像進行水平縮放比率或水平模糊比率 ^9.如申請專利範圍第22項所述的影像處理方法，其 中對^些對應的影像單^資料與該些渡波器係數，進行遽 波運算，括對該影像進行垂直縮放比率以及垂直模糊比 • 帛的運算’而後對運算結果進行水平縮放比率運算盘水平 模糊比率運算。 、 32
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW097119530A TWI377521B (en) | 2008-05-27 | 2008-05-27 | Image processing apparatus and method |
| US12/205,921 US8155471B2 (en) | 2008-05-27 | 2008-09-08 | Image processing apparatus and method that may blur a background subject to highlight a main subject |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW097119530A TWI377521B (en) | 2008-05-27 | 2008-05-27 | Image processing apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200949759A TW200949759A (en) | 2009-12-01 |
| TWI377521B true TWI377521B (en) | 2012-11-21 |
Family
ID=41379909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW097119530A TWI377521B (en) | 2008-05-27 | 2008-05-27 | Image processing apparatus and method |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8155471B2 (zh) |
| TW (1) | TWI377521B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI382351B (zh) * | 2009-03-20 | 2013-01-11 | Ind Tech Res Inst | 具積分影像輸出之影像感測器 |
| US8704916B2 (en) | 2011-04-11 | 2014-04-22 | Canon Kabushiki Kaisha | Systems and methods for focus transition |
| US9124762B2 (en) * | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
| CN106101544B (zh) * | 2016-06-30 | 2019-06-04 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5642437A (en) * | 1992-02-22 | 1997-06-24 | Texas Instruments Incorporated | System decoder circuit with temporary bit storage and method of operation |
| JP3258195B2 (ja) * | 1995-03-27 | 2002-02-18 | シャープ株式会社 | 音像定位制御装置 |
| GB9509831D0 (en) * | 1995-05-15 | 1995-07-05 | Gerzon Michael A | Lossless coding method for waveform data |
| US6624823B2 (en) * | 1998-02-17 | 2003-09-23 | Sun Microsystems, Inc. | Graphics system configured to determine triangle orientation by octant identification and slope comparison |
| US6947057B2 (en) * | 2000-01-11 | 2005-09-20 | Sun Microsystems, Inc. | Rendering lines with sample weighting |
| US6747663B2 (en) * | 2000-08-24 | 2004-06-08 | Sun Microsystems, Inc. | Interpolating sample values from known triangle vertex values |
| US7236839B2 (en) * | 2001-08-23 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Audio decoder with expanded band information |
| KR100695396B1 (ko) | 2002-12-02 | 2007-03-16 | 올림푸스 가부시키가이샤 | 촬상장치 |
| US20050226525A1 (en) * | 2004-03-31 | 2005-10-13 | Fujitsu Limited | Image magnification device and image magnification method |
-
2008
- 2008-05-27 TW TW097119530A patent/TWI377521B/zh not_active IP Right Cessation
- 2008-09-08 US US12/205,921 patent/US8155471B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20090297057A1 (en) | 2009-12-03 |
| TW200949759A (en) | 2009-12-01 |
| US8155471B2 (en) | 2012-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7254280B2 (en) | Method and apparatus for reducing image acquisition time in a digital imaging device | |
| CN101601279B (zh) | 摄像装置以及摄像方法 | |
| TWI331733B (en) | Method and apparatus of removing opaque area as rescaling an image | |
| CN102160369B (zh) | 最低程度地处理显示的从突发捕获的图像 | |
| JP2005044098A (ja) | 画像処理装置及び画像処理方法 | |
| CN102034222A (zh) | 图像处理装置及图像处理方法 | |
| CN100356405C (zh) | 一种改变数字图像尺寸的方法及装置 | |
| TWI377521B (en) | Image processing apparatus and method | |
| CN102222317A (zh) | 一种图像缩放方法和系统 | |
| NL1025642C2 (nl) | Werkwijze en inrichting voor het reconstrueren van beelden van hoge resolutie. | |
| CN101681500A (zh) | 图像处理装置 | |
| JP2005045513A (ja) | 画像処理装置及び歪補正方法 | |
| JP6021594B2 (ja) | 撮像装置及びプログラム | |
| JP2003233799A (ja) | 画像処理方法 | |
| TWI259968B (en) | Apparatus and method for image processing | |
| JP2005045514A (ja) | 画像処理装置及び画像処理方法 | |
| CN1604618A (zh) | 手部晃动修正装置、方法以及记录程序的记录介质 | |
| TWI344305B (en) | Image processing method and apparatus thereof | |
| JP2984516B2 (ja) | 画像の鮮鋭度調整方法 | |
| CN100379249C (zh) | 一种在拍摄过程中改变数字图像尺寸的方法及装置 | |
| TW201032592A (en) | Method for upscaling images and videos and associated image processing device | |
| JP2004032592A (ja) | 画像合成回路及びこれを具えた撮影装置 | |
| US20040109505A1 (en) | Image-processing method and image processor | |
| TWI289403B (en) | Method of zooming in an image by interpolation means and digital camera using the same | |
| CN112204956B (zh) | 拍摄装置及其控制方法、可移动平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |