TWI549096B - 影像處理裝置及其處理方法 - Google Patents
影像處理裝置及其處理方法 Download PDFInfo
- Publication number
- TWI549096B TWI549096B TW100116871A TW100116871A TWI549096B TW I549096 B TWI549096 B TW I549096B TW 100116871 A TW100116871 A TW 100116871A TW 100116871 A TW100116871 A TW 100116871A TW I549096 B TWI549096 B TW I549096B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pixel
- resolution
- images
- gradient
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 29
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 110
- 238000002156 mixing Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 27
- 230000005484 gravity Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 16
- 238000003702 image correction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 101150009249 MAP2 gene Proteins 0.000 description 6
- 101150014751 map4 gene Proteins 0.000 description 6
- -1 Map3 Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本發明是有關於一種影像處理裝置及其影像處理方法，且特別是有關於超解析度(super-resolution)影像放大的一種影像處理裝置及其影像處理方法。
影像放大技術是影像處理中一項重要的研究方向，而影像內插則是一種有關影像放大技術的方法。一般而言，影像內插僅從單一影像放大來完成，常見的單一影像放大方法包括多項式內插法(polynomial interpolation)、沿著邊緣方向內插法(edge-directed interpolation)以及以樣本為基礎的超解析技術(exampled-based for super-resolution)。
多項式內插法雖然簡單且運算速度快，但是常因缺乏影像高頻資訊而導致放大後的影像模糊，且會產生區塊效應(block effect)。沿著邊緣方向內插法或以樣本為基礎的超解析技術則需要龐大的運算量。因此，從單一影像放大來完成影像放大的技術，影像品質受到很大的限制。
然而，若想利用多張影像序列混合產生放大影像的技術，最常見的副作用就是有鬼影現象。鬼影現象的成因是因為對同一場景進行連續拍攝時，場景中有個別物體在移動，而在混合影像時，是將影像做整體位移(或是相機位移)的校正，並不會對場景中的個別物體做校正，因此影像中若有個別移動的物體，會導致混合後的影像出現鬼影現象。
有鑑於此，本發明提供一種影像處理裝置，可將多張低解析度影像放大產生高解析度影像，並且先偵測影像中是否存在個別物體移動，再混合多張校正後影像以輸出超解析度影像。
本發明另提供一種影像處理方法，用於處理多張低解析度影像放大產生高解析度影像，且可混合多張校正後影像以產生超解析度影像。
本發明提出一種影像處理裝置，用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之一為目標影像，剩餘之第二解析度影像為多數個未選擇影像。影像處理裝置包括影像校正模組、物體移動偵測模組以及影像混合模組。其中，影像校正模組估測未選擇影像相對於目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像。物體移動偵測模組耦接至影像校正模組，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，藉以產生多數個物體移動指標。影像混合模組耦接至物體移動偵測模組，影像混合模組依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
在本發明之一實施例中，所述之影像混合模組依據該些物體移動指標設定多數個比重，該算術運算為該影像混合模組利用該些比重對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和。
在本發明之一實施例中，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點執行多數個方向梯度運算以產生多數個梯度差值。
在本發明之一實施例中，其中當各區塊位移量與相對應之全域位移量的差值大於門檻值時，則物體移動偵測模組致能物體移動指標，當各區塊位移量與相對應之全域位移量的差值小於門檻值時，則物體移動偵測模組禁能物體移動指標。
在本發明之一實施例中，其中當物體移動指標為致能時，則影像混合模組將比重設定為零，當物體移動指標為禁能時，則影像混合模組將比重設定為梯度差值。
在本發明之一實施例中，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點執行方向梯度運算用以產生多數個方向梯度值，方向梯度值包括水平方向梯度值、垂直方向梯度值以及對角線方向梯度值。
在本發明之一實施例中，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點，更選擇方向梯度值中之數值最大者作為最大梯度值，及選擇方向梯度值中之數值最小者作為最小梯度值，各梯度差值則等於最大梯度值與最小梯度值之差。
在本發明之一實施例中，所述之影像校正模組包括區塊位移量估測單元以及全域位移量估測單元。區塊位移量估測單元分割目標影像與未選擇影像為多數個區塊，並且估測未選擇影像相對於目標影像的區塊位移量。全域位移量估測單元耦接至區塊位移量估測單元，依據區塊位移量執行多數個全域位移量估測，藉以產生全域位移量。
在本發明之一實施例中，所述之影像校正模組包括位移量校正單元，利用仿射矩陣(Affine transformation matrix)執行位移量校正，使未選擇影像之起始點位置校正至與目標影像之起始點位置相同。
從另一觀點來看，本發明提出一種影像處理方法，用於處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之一為一目標影像，剩餘之第二解析度影像為多數個未選擇影像。影像處理方法包括下列步驟：估測未選擇影像相對於目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像。此外，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，藉以產生多數個物體移動指標。再者，依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
基於上述，本發明能將單張或是多張低解析度影像放大產生高解析度影像，並利用多張影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像，在做影像混合前會先判斷影像中是否存在個別物體移動，藉此避免混合後的超解析度影像產生鬼影現象。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
首先請參照圖1，圖1是依照本發明之一實施例所繪示之影像處理裝置的方塊圖。影像處理裝置10用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，多數個第一解析度影像可由CMOS感應器之數位影像擷取裝置例如是數位相機、數位攝影機(Digital Video,DV)等所擷取。CMOS感應器的特點是能高速連拍，因此能對一個場景連續拍攝多數個第一解析度影像。此外，本領域具有通常知識者可視實際需求採用所熟知的影像放大方法來對多數個第一解析度影像進行放大以產生多數個第二解析度影像。影像放大方法包括利用多項式內插方法、沿著邊緣方向內插方法或以樣本為基礎的超解析方法等等。在此須選擇第二解析度影像其中之一為目標影像，剩餘之第二解析度影像則為多數個未選擇影像。
影像處理裝置10包括影像校正模組100、物體移動偵測模組200以及影像混合模組300。多數個第一解析度影像是對一個場景連續拍攝，當手持影像處理裝置10拍攝而發生手振現象時，第一解析度影像之間會存在著次像素移動(sub-pixel shift)，影像校正模組100對此可分別估測每一未選擇影像相對於目標影像的多數個區塊位移量，利用這些區塊位移量可決定出每一未選擇影像相對於目標影像的全域位移量，影像校正模組100再依據全域位移量對未選擇影像執行位移量校正，藉以產生多數個校正後影像。
物體移動偵測模組200耦接至影像校正模組100，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，藉以產生多數個物體移動指標。其中門檻值可由使用者依實際需求事先預定，在此不加以限制。接著，與物體移動偵測模組200耦接的影像混合模組300可依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
也就是說，在各區塊位移量與相對應之全域位移量的差值大於門檻值時，物體移動偵測模組200致能所產生的物體移動指標。而這個被致能的物體移動指標所代表的是，在此區塊中存在有物體移動的現象。物體移動偵測模組200並透過致能的物體移動指標來指示影像混合模組300不針對此區塊做影像混合的動作。相反的，在各區塊位移量與相對應之全域位移量的差值不大於門檻值時，物體移動偵測模組200禁能所產生的物體移動指標，以代表此區塊不存在物體移動的現象，因此可以參與影像混合的動作。據此，如先前技術所述的影像出現鬼影現象的問題就可以有效的被解決。
為了更進一步地說明影像處理裝置10的詳細運作方式，並使本發明之內容更為明瞭，以下特舉另一實施例作為本發明確實能夠據以實施的範例。
圖2是依照本發明之另一實施例所繪示之影像處理裝置的方塊圖，請參照圖2。影像處理裝置10之影像校正模組100包括區塊位移量估測單元110、全域位移量估測單元120以及位移量校正單元130。首先，區塊位移量估測單元110用以接收依據4個第一解析度(本實施例舉例為低解析度)影像Img1_LR、Img2_LR、Img3_LR以及Img4_LR進行放大而產生的4個第二解析度(本實施例舉例為高解析度)影像Img1_HR、Img2_HR、Img3_HR以及Img4_HR。在本實施例中接收影像之個數以4個為例作說明，但本發明並未限制接收影像之個數。
區塊位移量估測單元110將目標影像Img1_HR與未選擇影像Img2_HR、Img3_HR以及Img4_HR以相同方法分割成多數個區塊，舉例而言，若目標影像與未選擇影像大小為P×Q，則可將目標影像與未選擇影像分割成M×N個區塊，其中M、N、P、Q為大於1的整數，且M小於等於P，N小於等於Q。分割方法可依實際需求做設定並不加以限制。接著，區塊位移量估測單元110估測未選擇影像Img2_HR、Img3_HR以及Img4_HR的每一區塊相對於目標影像Img1_HR的區塊位移量，估測方法例如是區塊比對方式等等。
全域位移量估測單元120分別對每一未選擇影像Img2_HR、Img3_HR以及Img4_HR進行全域位移量估測。舉例來說，全域位移量估測的方法可對多數個區塊位移量取眾數，也就是先將區塊位移量進行統計，選擇出現最多次的區塊位移量作為全域位移量，或是將所有的區塊位移量取平均而得到全域位移量等等。因此，每一未選擇影像Img2_HR、Img3_HR以及Img4_HR有各自的全域位移量。
位移量校正單元130則根據上述之全域位移量執行位移量校正，位移量校正係利用仿射矩陣(Affine transformation matrix)將未選擇影像Img2_HR、Img3_HR以及Img4_HR之起始點位置校正至與目標影像Img1_HR之起始點相同位置。仿射矩陣可以作旋轉與移動校正，其中矩陣的係數可由全域位移量所得。基於上述可得到校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR。
物體移動偵測模組200將每一校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR與目標影像Img1_HR分別做物體移動偵測，以產生物體移動指標Map2、Map3以及Map4。圖3為本發明之實施例之物體移動偵測模組200執行物體移動偵測的方法流程圖，請同時配合參照圖2與圖3。如步驟S310所示，由影像的第一個像素點開始執行物體移動偵測，由於在區塊位移量估測單元110與全域位移量估測單元120可獲得區塊位移量以及全域位移量，因此在步驟S320中，可計算區塊位移量和全域位移量之間的差值Diffi，計算公式如下：
Diff i =|X_LM i -X_GM|+|Y_LM i -Y_GM|
其中，X_LMi、Y_LMi分別代表區塊位移量之水平分量與垂直分量，i代表此像素點所屬影像的第i個區塊，i為大於零的正整數，X_GM、Y_GM代表影像的全域位移量之水平分量與垂直分量。
接下來在步驟S330，判斷此差值Diffi是否大於門檻值TH，門檻值TH可由本領域具通常知識者依實際情況做預先的設定。若差值Diffi大於門檻值TH，則接續步驟S340，物體移動偵測模組200致能物體移動指標(例如為將物體移動指標設定為1)，並用以代表此區塊存在物體移動。若否，物體移動偵測模組200則禁能物體移動指標(例如為將物體移動指標設定為0)，代表此區塊不存在物體移動。影像中的每一像素點都需經過此流程判斷，因此步驟S360判斷是否為影像中的最後一個像素點，若是則結束此物體移動偵測，若否，則進入下一個像素點的計算與判斷。
影像混合模組300將目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素點進行混合，混合過程中須配合參考物體移動指標Map2、Map3以及Map4以產生第三解析度(本實施例舉例為超解析度)影像Img1_SR。舉例來說，超解析度影像Img1_SR的第一個像素點即為目標影像Img1_HR的第一個像素點與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR的第一個像素點混合而成。
詳細的混合方法請同時配合參照圖2與圖4，圖4為本發明之實施例之影像混合模組300對單一像素點執行影像混合的方法流程圖。
如步驟S410所示，由第一張影像(例如可為目標影像Img1_HR)開始，影像混合模組300對此像素點執行方向梯度運算以產生方向梯度值，其包括水平方向梯度值H_Gra、垂直方向梯度值V_Gra以及二對角線方向梯度值D-_Gra、D+_Gra(步驟S420)。其中，水平方向梯度值H_Gra為此像素點與二相鄰水平方向像素點之灰階差絕對值之和。垂直方向梯度值V_Gra為此像素點與二相鄰垂直方向像素點之灰階差絕對值之和。對角線方向梯度值D-_Gra、D+_Gra包括此像素點與二相鄰第一對角線方向像素點之灰階差絕對值之和以及此像素點與二相鄰第二對角線方向像素點之灰階差絕對值之和。
接著在步驟S430中，影像混合模組300更選擇上述方向梯度值中之數值最大者作為最大梯度值Max_Gra，及選擇上述方向梯度值中之數值最小者作為最小梯度值Min_Gra。步驟S440則計算此最大梯度值Max_Gra與最小梯度值Min_Gra的梯度差值Diff_Gra。
步驟S450判斷是否為最後一張影像，若否，則進入下一張影像，直到每一張要做影像混合的影像皆計算出其梯度差值Diff_Gra後，才進入步驟S470。為了避免鬼影現象的產生，因此影像混合模組300必須參考物體移動指標Map2、Map3以及Map4，當物體移動指標Map2、Map3以及Map4在此像素點為1時，代表有物體移動，則將比重Weight設定為0，使得此像素點不會作混合的動作。相反地，當物體移動指標Map2、Map3以及Map4在像素點被設定為0，則影像混合模組300將比重設定為此像素點之梯度差值Diff_Gra，梯度差值Diff_Gra愈大代表影像有紋理或邊緣的存在，表示此像素點的影像資訊愈重要且更需要保留，因此以梯度差值Diff_Gra當作比重。影像混合模組300利用上述比重對每一張影像之像素點進行比重和，其中比重和FV的計算公式如下：
其中，n代表第n張影像，Weight[n]代表第n張影像其中之一像素點的比重，img[n]代表第n張影像其中之一像素點的灰階值。因此，目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素點皆進行如上所述的影像混合後，即可輸出超解析度影像Img1_SR。
從另一觀點來看，圖5是依照本發明之一實施例所繪示之影像處理方法的流程圖，用於處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之一為目標影像，剩餘之第二解析度影像為多數個未選擇影像。請參照圖5，如步驟S510所示，估測未選擇影像相對於目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像。在步驟S520中，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，藉以產生多數個物體移動指標。最後如步驟S530所述，依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
綜上所述，本發明能將單張或是多張低解析度影像放大產生的高解析度影像，利用多張高解析度影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像。在做影像混合之前，還會先偵測影像中是否存在個別物體移動，存在個別物體移動的影像區域則選擇單一影像放大，不做影像混合的動作，藉此可避免多張影像混合容易產生的鬼影現象問題。對於其他須做影像混合的區域，則以梯度差值作為比重，可使混合後的超解析度影像保持影像銳利度，且可同時去除區塊效應及達到降低雜訊的功效。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10．．．影像處理裝置
100．．．影像校正模組
110．．．區塊位移量估測單元
120．．．全域位移量估測單元
130．．．位移量校正單元
200．．．物體移動偵測模組
300．．．影像混合模組
Img1_LR~Img4_LR．．．低解析度影像
Img1_HR~Img4_HR．．．高解析度影像
CorrImg2_HR~CorrImg4_HR．．．校正後影像
Img1_SR．．．超解析度影像
Map2~Map4．．．物體移動指標
S310~S370．．．物體移動偵測方法的步驟
S410~S470．．．對每一像素點執行影像混合的步驟
S510~S530．．．影像處理方法的步驟
圖1是依照本發明之一實施例所繪示之影像處理裝置的方塊圖。
圖2是依照本發明之另一實施例所繪示之影像處理裝置的方塊圖。
圖3為本發明之實施例之物體移動偵測模組200執行物體移動偵測的方法流程圖。
圖4為本發明之實施例之影像混合模組300針對其中之一像素點執行影像混合的方法流程圖。
圖5是依照本發明之一實施例所繪示之影像處理方法的流程圖。
10．．．影像處理裝置
100．．．影像校正模組
200．．．物體移動偵測模組
300．．．影像混合模組
Claims (14)
- 一種影像處理裝置，用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，該些第二解析度影像其中之一為一目標影像，剩餘之該些第二解析度影像為多數個未選擇影像，包括：一影像校正模組，估測該些未選擇影像相對於該目標影像的多數個區塊位移量及多數個全域位移量，針對該些未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像；一物體移動偵測模組，耦接至該影像校正模組，判斷各該區塊位移量與相對應之該全域位移量的差值是否大於一門檻值，藉以產生多數個物體移動指標；以及一影像混合模組，耦接至該物體移動偵測模組，該影像混合模組依據該些物體移動指標設定多數個比重，針對該目標影像之每一像素點與該些校正後影像之每一像素點執行多數個方向梯度運算以產生多數個梯度差值，更依據該些物體移動指標以及該些比重，對該目標影像之每一像素點與該些校正後影像之每一像素點進行一算術運算以產生一第三解析度影像，其中，該第三解析度影像之解析度高於該些第二解析度影像之解析度，其中當該些物體移動指標為致能時，則該影像混合模組將該些比重設定為零，當該些物體移動指標為禁能時，則該影像混合模組將該些比重設定為該些梯度差值。
- 如申請專利範圍第1項所述之影像處理裝置，其中 該算術運算為該影像混合模組利用該些比重對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和。
- 如申請專利範圍第1項所述之影像處理裝置，其中當各該區塊位移量與相對應之該全域位移量的差值大於該門檻值時，則該物體移動偵測模組致能該些物體移動指標，當各該區塊位移量與相對應之該全域位移量的差值小於該門檻值時，則該物體移動偵測模組禁能該些物體移動指標。
- 如申請專利範圍第1項所述之影像處理裝置，其中該影像混合模組針對該目標影像之每一像素點與該些校正後影像之每一像素點執行該些方向梯度運算用以產生多數個方向梯度值，該些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二對角線方向梯度值。
- 如申請專利範圍第4項所述之影像處理裝置，其中該影像混合模組針對該目標影像之每一像素點與該些校正後影像之每一像素點，更選擇該些方向梯度值中之數值最大者作為一最大梯度值，及選擇該些方向梯度值中之數值最小者作為一最小梯度值，各該梯度差值則等於該最大梯度值與該最小梯度值之差。
- 如申請專利範圍第1項所述之影像處理裝置，其中該影像校正模組包括：一區塊位移量估測單元，分割該目標影像與該些未選擇影像為多數個區塊，估測該些未選擇影像相對於該目標 影像的該些區塊位移量；以及一全域位移量估測單元，耦接至該區塊位移量估測單元，依據該些區塊位移量執行多數個全域位移量估測，藉以產生該些全域位移量。
- 如申請專利範圍第1項所述之影像處理裝置，其中該影像校正模組包括：一位移量校正單元，利用仿射矩陣執行該些位移量校正，使該些未選擇影像之起始點位置校正至與該目標影像之起始點位置相同。
- 一種影像處理方法，用於處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，該些第二解析度影像其中之一為一目標影像，剩餘之該些第二解析度影像為多數個未選擇影像，包括：估測該些未選擇影像相對於該目標影像的多數個區塊位移量及多數個全域位移量，針對該些未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像；判斷各該區塊位移量與相對應之該全域位移量的差值是否大於一門檻值，藉以產生多數個物體移動指標；依據該些物體移動指標設定多數個比重，並針對該目標影像之每一像素點與該些校正後影像之每一像素點執行多數個方向梯度運算以產生多數個梯度差值，更依據該些物體移動指標以及該些比重對該目標影像之每一像素點與該些校正後影像之每一像素點進行一算術運算以產生一第三解析度影像，其中，該第三解析度影像之解析度高於該 些第二解析度影像之解析度，其中當該些物體移動指標為致能時，將該些比重設定為零，當該些物體移動指標為禁能時，將該些比重設定為該些梯度差值。
- 如申請專利範圍第8項所述之影像處理方法，其中該算術運算為利用該些比重對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和。
- 如申請專利範圍第8項所述之影像處理方法，其中該當各該區塊位移量與相對應之該全域位移量的差值大於該門檻值時，則致能該些物體移動指標，當各該區塊位移量與相對應之該全域位移量的差值小於該門檻值時，則禁能該些物體移動指標。
- 如申請專利範圍第8項所述之影像處理方法，其中針對該目標影像之每一像素點與該些校正後影像之每一像素點執行該些方向梯度運算用以產生多數個方向梯度值，該些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二對角線方向梯度值。
- 如申請專利範圍第11項所述之影像處理方法，其中針對該目標影像之每一像素點與該些校正後影像之每一像素點執行該些方向梯度運算以產生該些梯度差值的步驟包括：選擇該些方向梯度值中之數值最大者作為一最大梯度值；選擇該些方向梯度值中之數值最小者作為一最小梯度值；以及 使該最大梯度值與該最小梯度值相減得到該些梯度差值其中之一。
- 如申請專利範圍第8項所述之影像處理方法，其中估測該些未選擇影像相對於該目標影像的該些區塊位移量及該些全域位移量的步驟包括：分割該目標影像與該些未選擇影像為多數個區塊；估測該些未選擇影像相對於該目標影像的該些區塊位移量；依據該些區塊位移量執行多數個全域位移量估測，藉以產生該些全域位移量。
- 如申請專利範圍第8項所述之影像處理方法，其中該些位移量校正利用仿射矩陣將該些未選擇影像之起始點位置校正至與該目標影像之起始點位置相同。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100116871A TWI549096B (zh) | 2011-05-13 | 2011-05-13 | 影像處理裝置及其處理方法 |
| US13/195,851 US8467630B2 (en) | 2011-05-13 | 2011-08-02 | Image processing device and processing method for generating a super-resolution image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100116871A TWI549096B (zh) | 2011-05-13 | 2011-05-13 | 影像處理裝置及其處理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201246126A TW201246126A (en) | 2012-11-16 |
| TWI549096B true TWI549096B (zh) | 2016-09-11 |
Family
ID=47141946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100116871A TWI549096B (zh) | 2011-05-13 | 2011-05-13 | 影像處理裝置及其處理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8467630B2 (zh) |
| TW (1) | TWI549096B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI602152B (zh) * | 2013-02-06 | 2017-10-11 | 聚晶半導體股份有限公司 | 影像擷取裝置及其影像處理方法 |
| CN104103034A (zh) * | 2013-04-03 | 2014-10-15 | 聚晶半导体股份有限公司 | 超分辨率图像处理方法及其图像处理装置 |
| TWI563470B (en) * | 2013-04-03 | 2016-12-21 | Altek Semiconductor Corp | Super-resolution image processing method and image processing device thereof |
| CN110941375B (zh) * | 2019-11-26 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 对图像进行局部放大的方法、装置及存储介质 |
| CN112313944A (zh) * | 2019-11-28 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110930301B (zh) * | 2019-12-09 | 2023-08-11 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200844634A (en) * | 2007-04-23 | 2008-11-16 | Micron Technology Inc | Compressed domain image summation apparatus, systems, and methods |
| US7474767B2 (en) * | 2003-09-24 | 2009-01-06 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Motion detection using multi-resolution image processing |
| WO2009026857A1 (en) * | 2007-08-27 | 2009-03-05 | Powerlayer Microsystems Holding Inc. | Video image motion processing method introducing global feature classification and implementation device thereof |
| TW201101849A (en) * | 2009-06-29 | 2011-01-01 | Pixel Technologies Inc U | Circuit for correcting motion vectors, image generating device and method thereof |
| TW201103309A (en) * | 2009-07-10 | 2011-01-16 | Silicon Integrated Sys Corp | Image processing system having scaling and sharpness device and method thereof |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7809155B2 (en) * | 2004-06-30 | 2010-10-05 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation |
| US7728844B2 (en) * | 2004-07-09 | 2010-06-01 | Nokia Corporation | Restoration of color components in an image model |
| JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
| US20060291751A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution) |
| KR101265956B1 (ko) * | 2007-11-02 | 2013-05-22 | 삼성전자주식회사 | 블록 기반의 영상 복원 시스템 및 방법 |
| WO2009126621A2 (en) * | 2008-04-07 | 2009-10-15 | Tufts University | Methods and apparatus for image restoration |
| JP2010140460A (ja) * | 2008-11-13 | 2010-06-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2010122934A (ja) * | 2008-11-20 | 2010-06-03 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
-
2011
- 2011-05-13 TW TW100116871A patent/TWI549096B/zh active
- 2011-08-02 US US13/195,851 patent/US8467630B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7474767B2 (en) * | 2003-09-24 | 2009-01-06 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Motion detection using multi-resolution image processing |
| TW200844634A (en) * | 2007-04-23 | 2008-11-16 | Micron Technology Inc | Compressed domain image summation apparatus, systems, and methods |
| WO2009026857A1 (en) * | 2007-08-27 | 2009-03-05 | Powerlayer Microsystems Holding Inc. | Video image motion processing method introducing global feature classification and implementation device thereof |
| TW201101849A (en) * | 2009-06-29 | 2011-01-01 | Pixel Technologies Inc U | Circuit for correcting motion vectors, image generating device and method thereof |
| TW201103309A (en) * | 2009-07-10 | 2011-01-16 | Silicon Integrated Sys Corp | Image processing system having scaling and sharpness device and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201246126A (en) | 2012-11-16 |
| US8467630B2 (en) | 2013-06-18 |
| US20120288215A1 (en) | 2012-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201344629A (zh) | 影像處理裝置及其處理方法 | |
| TWI549096B (zh) | 影像處理裝置及其處理方法 | |
| TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
| US8274570B2 (en) | Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program | |
| EP2521091B1 (en) | Estimation of motion blur in a picture | |
| JP2013225740A (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
| CN106169173B (zh) | 一种图像插值方法 | |
| JP2004056789A (ja) | 小型イメージセンサの解像度及び画質改善方法 | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| WO2014127665A1 (zh) | 一种改进的数字图像缩放方法 | |
| TW200823802A (en) | Methods and apparatuses for motion detection | |
| CN103379255B (zh) | 影像处理装置及其处理方法 | |
| CN102509311A (zh) | 运动检测方法和装置 | |
| CN102779335A (zh) | 数字图像处理装置及其处理方法 | |
| CN104504700B (zh) | 一种获取图像传感器噪声水平曲线的方法及系统 | |
| CN102779329B (zh) | 图像处理装置及图像处理方法 | |
| JP2017022597A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| CN104820971B (zh) | 一种基于分布式相机阵列的运动目标去模糊方法 | |
| KR101428534B1 (ko) | 렌즈 왜곡 보정 장치 및 방법 | |
| JP2011113177A (ja) | 被写体３次元モデルを構築する方法およびプログラム | |
| JP2009225253A (ja) | 画像処理装置及びその方法 | |
| Chiao et al. | Rolling shutter correction for video with large depth of field | |
| JPWO2006117844A1 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| TW201439979A (zh) | 超解析度影像處理方法及其影像處理裝置 | |
| JP5804801B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム |