TW201344629A - 影像處理裝置及其處理方法 - Google Patents
影像處理裝置及其處理方法 Download PDFInfo
- Publication number
- TW201344629A TW201344629A TW101114447A TW101114447A TW201344629A TW 201344629 A TW201344629 A TW 201344629A TW 101114447 A TW101114447 A TW 101114447A TW 101114447 A TW101114447 A TW 101114447A TW 201344629 A TW201344629 A TW 201344629A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pixel
- value
- difference
- gradient
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000002156 mixing Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000006073 displacement reaction Methods 0.000 claims description 110
- 230000005484 gravity Effects 0.000 claims description 18
- 238000003702 image correction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000000034 method Methods 0.000 description 25
- 101150009249 MAP2 gene Proteins 0.000 description 6
- 101150014751 map4 gene Proteins 0.000 description 6
- -1 Map3 Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本發明係揭露一種影像處理裝置及其處理方法。影像處理裝置包括影像校正模組、物體移動偵測模組以及影像混合模組。影像校正模組估測未選擇影像相對於目標影像的區塊位移量及全域位移量，並執行位移量校正藉以產生校正後影像。物體移動偵測模組則判斷各區塊位移量與全域位移量的差值是否大於門檻值，並判斷目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生物體移動指標。影像混合模組依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生超解析度影像。
Description
本發明是有關於一種影像處理裝置，特別是有關於一種產生超解析度(super-resolution)影像的影像處理裝置及其影像處理方法。
傳統上，產生超解析度影像常用的技術是影像內插方法，此種單一影像放大方法包括多項式內插法(polynomial interpolation)、邊緣方向內插法(edge-directed interpolation)以及以樣本為基礎的超解析技術(exampled-based for super-resolution)等等。
然而，上述技術尚有待改進之缺點，例如多項式內插法雖然簡單且運算速度快，但是常因缺乏影像高頻資訊而導致放大後的影像模糊，且會產生區塊效應(block effect)。而邊緣方向內插法或以樣本為基礎的超解析技術則需要龐大的運算量。因此，從單一影像放大來完成影像放大的技術，影像品質受到很大的限制。
然而，若想利用多張影像序列混合產生放大影像的技術，最常見的副作用就是有鬼影現象。鬼影現象的成因是因為對同一場景進行連續拍攝時，場景中有個別物體在移動，而在混合影像時，是將影像做整體位移(或是相機位移)的校正，並不會對場景中的個別物體做校正，因此影像中若有個別移動的物體，會導致混合後的影像出現鬼影現象。
有鑑於此，本發明提供一種影像處理裝置，可將多張低解析度影像放大產生高解析度影像，並且先偵測影像中是否存在個別物體移動，再混合多張校正後影像以輸出超解析度影像。
本發明另提供一種影像處理方法，用於處理多張低解析度影像放大產生高解析度影像，且可混合多張校正後影像以產生超解析度影像。
根據本發明之目的，本發明提出一種影像處理裝置，用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之ㄧ為目標影像，剩餘之第二解析度影像為多數個未選擇影像。影像處理裝置包括影像校正模組、物體移動偵測模組以及影像混合模組。其中，影像校正模組估測未選擇影像相對於目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像。物體移動偵測模組耦接至影像校正模組，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，並判斷目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生多數個物體移動指標。影像混合模組耦接至物體移動偵測模組，影像混合模組依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
較佳地，物體移動偵測模組係分別對該目標影像及該些校正後影像之每一像素點計算出一誤差頻率值，並將該目標影像之每一像素點之該誤差頻率值與該些校正後影像之每一像素點之該誤差頻率值做比較，以判定出每一像素點間之一最小誤差頻率值，再藉由該最小誤差頻率值取決出該差異預定值。
較佳地，差異預定值係為一固定值。
較佳地，所述之影像混合模組依據該些物體移動指標設定多數個比重，該算術運算為該影像混合模組利用該些比重對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和。
較佳地，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點執行多數個方向梯度運算以產生多數個梯度差值。
較佳地，其中當各區塊位移量與相對應之全域位移量的差值大於門檻值，或像素差異值大於差異預定值時，則物體移動偵測模組致能物體移動指標，當各區塊位移量與相對應之全域位移量的差值小於門檻值，且像素差異值亦小於差異預定值時，則物體移動偵測模組禁能物體移動指標。
較佳地，其中當物體移動指標為致能時，則影像混合模組將比重設定為零，當物體移動指標為禁能時，則影像混合模組將比重設定為梯度差值。
較佳地，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點執行方向梯度運算用以產生多數個方向梯度值，方向梯度值包括水平方向梯度值、垂直方向梯度值以及對角線方向梯度值。
較佳地，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點，更選擇方向梯度值中之數值最大者作為最大梯度值，及選擇方向梯度值中之數值最小者作為最小梯度值，各梯度差值則等於最大梯度值與最小梯度值之差。
較佳地，所述之影像校正模組包括區塊位移量估測單元以及全域位移量估測單元。區塊位移量估測單元分割目標影像與未選擇影像為多數個區塊，並且估測未選擇影像相對於目標影像的區塊位移量。全域位移量估測單元耦接至區塊位移量估測單元，依據區塊位移量執行多數個全域位移量估測，藉以產生全域位移量。
較佳地，所述之影像校正模組包括位移量校正單元，利用仿射矩陣(Affine transformation matrix)執行位移量校正，使未選擇影像之起始點位置校正至與目標影像之起始點位置相同。
根據本發明之目的，本發明又提出一種影像處理方法，用於處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之ㄧ為一目標影像，剩餘之第二解析度影像為多數個未選擇影像。影像處理方法包括下列步驟：估測未選擇影像相對於目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像。此外，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，並判斷目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生多數個物體移動指標。再者，依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
基於上述，本發明能將單張或是多張低解析度影像放大產生高解析度影像，並利用多張影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像，在做影像混合前會先判斷影像中是否存在個別物體移動，藉此避免混合後的超解析度影像產生鬼影現象。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為利貴審查員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。
請參閱第1圖，其係為本發明之一實施例所繪示之影像處理裝置的方塊圖。影像處理裝置10用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，多數個第一解析度影像可由CMOS感應器之數位影像擷取裝置例如是數位相機、數位攝影機(Digital Video, DV)等所擷取。CMOS感應器的特點是能高速連拍，因此能對一個場景連續拍攝多數個第一解析度影像。此外，本領域具有通常知識者可視實際需求採用所熟知的影像放大方法來對多數個第一解析度影像進行放大以產生多數個第二解析度影像。影像放大方法包括利用多項式內插方法、沿著邊緣方向內插方法或以樣本為基礎的超解析方法等等。在此須選擇第二解析度影像其中之ㄧ為目標影像，剩餘之第二解析度影像則為多數個未選擇影像。
影像處理裝置10包括影像校正模組100、物體移動偵測模組200以及影像混合模組300。多數個第ㄧ解析度影像是對一個場景連續拍攝，當手持影像處理裝置10拍攝而發生手振現象時，第ㄧ解析度影像之間會存在著次像素移動(sub-pixel shift)，影像校正模組100對此可分別估測每一未選擇影像相對於目標影像的多數個區塊位移量，利用這些區塊位移量可決定出每一未選擇影像相對於目標影像的全域位移量，影像校正模組100再依據全域位移量對未選擇影像執行位移量校正，藉以產生多數個校正後影像。
物體移動偵測模組200耦接至影像校正模組100，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，並判斷目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生多數個物體移動指標。其中門檻值可由使用者依實際需求事先預定，在此不加以限制。而差異預定值係由物體移動偵測模組200分別對目標影像及該些校正後影像之每一像素點計算出一誤差頻率值，並將目標影像之每一像素點之誤差頻率值與該些校正後影像之每一像素點之誤差頻率值做比較，以判定出每一像素點間之一最小誤差頻率值，再藉由最小誤差頻率值取決而出。又或者是，差異預定值可為一固定值。接著，與物體移動偵測模組200耦接的影像混合模組300可依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
也就是說，在各區塊位移量與相對應之全域位移量的差值大於門檻值，或者是上述所稱像素差異值大於差異預定值時，物體移動偵測模組200致能所產生的物體移動指標。而這個被致能的物體移動指標所代表的是，在此區塊中存在有物體移動的現象。物體移動偵測模組200並透過致能的物體移動指標來指示影像混合模組300不針對此區塊做影像混合的動作。相反的，在各區塊位移量與相對應之全域位移量的差值不大於門檻值，且同時像素差異值小於差異預定值時，物體移動偵測模組200禁能所產生的物體移動指標，以代表此區塊不存在物體移動的現象，因此可以參與影像混合的動作。據此，如先前技術所述的影像出現鬼影現象的問題就可以有效的被解決。
為了更進一步地說明影像處理裝置10的詳細運作方式，並使本發明之內容更為明瞭，以下特舉另一實施例作為本發明確實能夠據以實施的範例。
請參閱第2圖，其係依照本發明之另一實施例所繪示之影像處理裝置的方塊圖。圖中，影像處理裝置10之影像校正模組100包括區塊位移量估測單元110、全域位移量估測單元120以及位移量校正單元130。首先，區塊位移量估測單元110用以接收依據4個第一解析度(本實施例舉例為低解析度)影像Img1_LR、Img2_LR、Img3_LR以及Img4_LR進行放大而產生的4個第二解析度(本實施例舉例為高解析度)影像Img1_HR、Img2_HR、Img3_HR以及Img4_HR。在本實施例中接收影像之個數以4個為例作說明，但本發明並未限制接收影像之個數。
區塊位移量估測單元110將目標影像Img1_HR與未選擇影像Img2_HR、Img3_HR以及Img4_HR以相同方法分割成多數個區塊，舉例而言，若目標影像與未選擇影像大小為P×Q，則可將目標影像與未選擇影像分割成M×N個區塊，其中M、N、P、Q為大於1的整數，且M小於等於P，N小於等於Q。分割方法可依實際需求做設定並不加以限制。接著，區塊位移量估測單元110估測未選擇影像Img2_HR、Img3_HR以及Img4_HR的每一區塊相對於目標影像Img1_HR的區塊位移量，估測方法例如是區塊比對方式等等。
全域位移量估測單元120分別對每一未選擇影像Img2_HR、Img3_HR以及Img4_HR進行全域位移量估測。舉例來說，全域位移量估測的方法可對多數個區塊位移量取眾數，也就是先將區塊位移量進行統計，選擇出現最多次的區塊位移量作為全域位移量，或是將所有的區塊位移量取平均而得到全域位移量等等。因此，每一未選擇影像Img2_HR、Img3_HR以及Img4_HR有各自的全域位移量。
位移量校正單元130則根據上述之全域位移量執行位移量校正，位移量校正係利用仿射矩陣(Affine transformation matrix)將未選擇影像Img2_HR、Img3_HR以及Img4_HR之起始點位置校正至與目標影像Img1_HR之起始點相同位置。仿射矩陣可以作旋轉與移動校正，其中矩陣的係數可由全域位移量所得。基於上述可得到校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR。
物體移動偵測模組200將每一校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR與目標影像Img1_HR分別做物體移動偵測，以產生物體移動指標Map2、Map3以及Map4。第3圖為本發明之實施例之物體移動偵測模組200執行物體移動偵測的方法流程圖，請同時配合參照第2圖與第3圖。如步驟S310所示，由影像的第ㄧ個像素點開始執行物體移動偵測，由於在區塊位移量估測單元110與全域位移量估測單元120可獲得區塊位移量以及全域位移量，因此在步驟S320中，可計算區塊位移量和全域位移量之間的差值Diffi，計算公式如下：
其中，X_LMi、Y_LMi分別代表區塊位移量之水平分量與垂直分量，i代表此像素點所屬影像的第i個區塊，i為大於零的正整數，X_GM、Y_GM代表影像的全域位移量之水平分量與垂直分量。
接下來在步驟S330，判斷此差值Diffi是否大於門檻值TH，門檻值TH可由本領域具通常知識者依實際情況做預先的設定。若差值Diffi大於門檻值TH，則接續步驟S331，物體移動偵測模組200致能物體移動指標(例如為將物體移動指標設定為1)，並用以代表此區塊存在物體移動。若否，則進行步驟S332，由物體移動偵測模組200執行一基本像素之判斷程序，以計算該像素點於目標影像與各校正後影像中之SAD(Sum of Absolute difference)值，以此SAD值來表示目標影像與各校正後影像在此像素點之一像素差異值。接著，再進行步驟S333，以判斷像素差異值是否大於一差異設定值。若是，進行步驟S3331，物體移動偵測模組200致能物體移動指標(將物體移動指標設定為1)，若否，則接續步驟S332，物體移動偵測模組200則禁能物體移動指標(例如為將物體移動指標設定為0)，代表此區塊不存在物體移動。影像中的每一像素點都需經過此流程判斷，因此步驟S340判斷是否為影像中的最後一個像素點，若是則結束此物體移動偵測，若否，則進入步驟S350，以執行下一個像素點的計算與判斷。
上述中，當執行完步驟S330，以判斷出差值Diffi小於門檻值TH時，物體移動偵測模組200更會以像素點的頻率特性來判斷該像素點中是否存在移動物體。首先係算出於像素點在目標影像與各校正後影像中的MAE(Mean Absolute Error)值，或稱平均絕對誤差值來進行頻率之表示。接著，由該些MAE值中取出一數值最小之MAE值，再以此數值最小之MAE值查找出一特定門檻值。然後再計算出該特定門檻值之SAD值(TH_SAD)，此TH_SAD即為如上所述之差異設定值。最後便進行如上步驟S333，來判斷像素差異值與差異設定值間之關係，以作為判斷是否具有移動物體之依據，此段過程可如第4圖所示之。流程簡述即為：S410：根據高頻檢測來計算出像素點於目標影像及各校正後影像之MAE值；S420：計算像素點於目標影像與各校正後影像中之像素差異值(SAD)；S430：由該些MAE值中取出最小數值之MAE值；S440：根據最小數值之MAE值查找出特定門檻值；S450：根據特定門檻值計算出差異預定值(TH_SAD)；S460：判斷像素差異值是否大於差異預定值；S461：若像素差異值小於差異預定值時，將物體移動指標設定為0；S462：若像素差異值大於差異預定值時，將物體移動指標設定為1。其中，差異預定值(TH_SAD)亦可為一固定值，不以上述所舉而有所限制。
上述中，若物體移動指標為0則進行影像之混合，影像混合模組300便將目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素點進行混合，混合過程中須配合參考物體移動指標Map2、Map3以及Map4以產生第三解析度(本實施例舉例為超解析度)影像Img1_SR。舉例來說，超解析度影像Img1_SR的第一個像素點即為目標影像Img1_HR的第一個像素點與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR的第一個像素點混合而成。
詳細的混合方法請同時配合參照第2圖與第5圖，第5圖為本發明之實施例之影像混合模組300對單ㄧ像素點執行影像混合的方法流程圖。
如步驟S510所示，由第一張影像(例如可為目標影像Img1_HR)開始，影像混合模組300對此像素點執行方向梯度運算以產生方向梯度值，其包括水平方向梯度值H_Gra、垂直方向梯度值V_Gra以及二對角線方向梯度值D-_Gra、D+_Gra(步驟S520)。其中，水平方向梯度值H_Gra為此像素點與二相鄰水平方向像素點之灰階差絕對值之和。垂直方向梯度值V_Gra為此像素點與二相鄰垂直方向像素點之灰階差絕對值之和。對角線方向梯度值D-_Gra、D+_Gra包括此像素點與二相鄰第一對角線方向像素點之灰階差絕對值之和以及此像素點與二相鄰第二對角線方向像素點之灰階差絕對值之和。
接著在步驟S530中，影像混合模組300更選擇上述方向梯度值中之數值最大者作為最大梯度值Max_Gra，及選擇上述方向梯度值中之數值最小者作為最小梯度值Min_Gra。步驟S540則計算此最大梯度值Max_Gra與最小梯度值Min_Gra的梯度差值Diff_Gra。
步驟S550判斷是否為最後一張影像，若否，則進入下一張影像，直到每一張要做影像混合的影像皆計算出其梯度差值Diff_Gra後，才進入步驟S570。為了避免鬼影現象的產生，因此影像混合模組300必須參考物體移動指標Map2、Map3以及Map4，當物體移動指標Map2、Map3以及Map4在此像素點為1時，代表有物體移動，則將比重Weight設定為0，使得此像素點不會作混合的動作。相反地，當物體移動指標Map2、Map3以及Map4在像素點被設定為0，則影像混合模組300將比重設定為此像素點之梯度差值Diff_Gra，梯度差值Diff_Gra愈大代表影像有紋理或邊緣的存在，表示此像素點的影像資訊愈重要且更需要保留，因此以梯度差值Diff_Gra當作比重。影像混合模組300利用上述比重對每一張影像之像素點進行比重和，其中比重和FV的計算公式如下：
其中，n代表第n張影像， 代表第n張影像其中之ㄧ像素點的比重， 代表第n張影像其中之ㄧ像素點的灰階值。因此，目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素點皆進行如上所述的影像混合後，即可輸出超解析度影像Img1_SR。
從另一觀點來看，第6圖是依照本發明之一實施例所繪示之影像處理方法的流程圖，用於處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之ㄧ為目標影像，剩餘之第二解析度影像為多數個未選擇影像。請參照第6圖，如步驟S610所示，估測未選擇影像相對於目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像。在步驟S620中，判斷各區塊位移量與相對應之全域位移量的差值是否大於門檻值，並判斷目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生多數個物體移動指標。最後如步驟S630所述，依據物體移動指標對目標影像之每一像素點與校正後影像之每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像之解析度高於第二解析度影像之解析度。
綜上所述，本發明能將單張或是多張低解析度影像放大產生的高解析度影像，利用多張高解析度影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像。在做影像混合之前，還會先偵測影像中是否存在個別物體移動，存在個別物體移動的影像區域則選擇單一影像放大，不做影像混合的動作，藉此可避免多張影像混合容易產生的鬼影現象問題。對於其他須做影像混合的區域，則以梯度差值作為比重，可使混合後的超解析度影像保持影像銳利度，且可同時去除區塊效應及達到降低雜訊的功效。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
10．．．影像處理裝置
100．．．影像校正模組
110．．．區塊位移量估測單元
120．．．全域位移量估測單元
130．．．位移量校正單元
200．．．物體移動偵測模組
300．．．影像混合模組
Img1_LR~Img4_LR．．．低解析度影像
Img1_HR~Img4_HR．．．高解析度影像
CorrImg2_HR~CorrImg4_HR．．．校正後影像
Img1_SR．．．超解析度影像
Map2~Map4．．．物體移動指標
S310~S330、S331~S333、S3331~S3332、S340~S350．．．物體移動偵測方法的步驟
S410~S460、S461、S462．．．物體移動偵測方法進一步偵測的步驟
S510~S570．．．對每一像素點執行影像混合的步驟
S610~S630．．．影像處理方法的步驟
第1圖 係為本發明之一實施例所繪示之影像處理裝置的方塊圖。
第2圖 係為本發明之另一實施例所繪示之影像處理裝置的方塊圖。
第3圖 係為本發明之實施例之物體移動偵測模組執行物體移動偵測的方法流程圖。
第4圖 係為本發明之實施例之物體移動偵測模組執行進一步物體移動偵測的方法流程圖。
第5圖 係為本發明之實施例之影像混合模組針對其中之ㄧ像素點執行影像混合的方法流程圖。
第6圖 係為本發明之一實施例所繪示之影像處理方法的流程圖。
第2圖 係為本發明之另一實施例所繪示之影像處理裝置的方塊圖。
第3圖 係為本發明之實施例之物體移動偵測模組執行物體移動偵測的方法流程圖。
第4圖 係為本發明之實施例之物體移動偵測模組執行進一步物體移動偵測的方法流程圖。
第5圖 係為本發明之實施例之影像混合模組針對其中之ㄧ像素點執行影像混合的方法流程圖。
第6圖 係為本發明之一實施例所繪示之影像處理方法的流程圖。
10．．．影像處理裝置
100．．．影像校正模組
200．．．物體移動偵測模組
300．．．影像混合模組
Claims (22)
- 一種影像處理裝置，接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，該些第二解析度影像其中之ㄧ為一目標影像，剩餘之該些第二解析度影像為多數個未選擇影像，包含：
一影像校正模組，估測該些未選擇影像相對於該目標影像的多數個區塊位移量及多數個全域位移量，針對該些未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像；
一物體移動偵測模組，耦接至該影像校正模組，判斷各該區塊位移量與相對應之該全域位移量的差值是否大於一門檻值，並判斷該目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生多數個物體移動指標；以及
一影像混合模組，耦接至該物體移動偵測模組，該影像混合模組依據該些物體移動指標對該目標影像之每一像素點與該些校正後影像之每一像素點進行一算術運算以產生一第三解析度影像，其中，該第三解析度影像之解析度高於該些第二解析度影像之解析度。 - 如申請專利範圍第1項所述之影像處理裝置，其中該物體移動偵測模組係分別對該目標影像及該些校正後影像之每一像素點計算出一誤差頻率值，並將該目標影像之每一像素點之該誤差頻率值與該些校正後影像之每一像素點之該誤差頻率值做比較，以判定出每一像素點間之一最小誤差頻率值，再藉由該最小誤差頻率值取決出該差異預定值。
- 如申請專利範圍第1項所述之影像處理裝置，其中該差異預定值係為一固定值。
- 如申請專利範圍第1項所述之影像處理裝置，其中該影像混合模組依據該些物體移動指標設定多數個比重，該算術運算為該影像混合模組利用該些比重對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和。
- 如申請專利範圍第4項所述之影像處理裝置，其中該影像混合模組針對該目標影像之每一像素點與該些校正後影像之每一像素點執行多數個方向梯度運算以產生多數個梯度差值。
- 如申請專利範圍第5項所述之影像處理裝置，其中當各該區塊位移量與相對應之該全域位移量的差值大於該門檻值，或該像素差異值大於該差異預定值時，則該物體移動偵測模組致能該些物體移動指標，當各該區塊位移量與相對應之該全域位移量的差值小於該門檻值，且該像素差異值亦小於該差異預定值時，則該物體移動偵測模組禁能該些物體移動指標。
- 如申請專利範圍第6項所述之影像處理裝置，其中當該些物體移動指標為致能時，則該影像混合模組將該些比重設定為零，當該些物體移動指標為禁能時，則該影像混合模組將該些比重設定為該些梯度差值。
- 如申請專利範圍第5項所述之影像處理裝置，其中該影像混合模組針對該目標影像之每一像素點與該些校正後影像之每一像素點執行該些方向梯度運算用以產生多數個方向梯度值，該些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二對角線方向梯度值。
- 如申請專利範圍第8項所述之影像處理裝置，其中該影像混合模組針對該目標影像之每一像素點與該些校正後影像之每一像素點，更選擇該些方向梯度值中之數值最大者作為一最大梯度值，及選擇該些方向梯度值中之數值最小者作為一最小梯度值，各該梯度差值則等於該最大梯度值與該最小梯度值之差。
- 如申請專利範圍第1項所述之影像處理裝置，其中該影像校正模組包括：
一區塊位移量估測單元，分割該目標影像與該些未選擇影像為多數個區塊，估測該些未選擇影像相對於該目標影像的該些區塊位移量；以及
一全域位移量估測單元，耦接至該區塊位移量估測單元，依據該些區塊位移量執行多數個全域位移量估測，藉以產生該些全域位移量。 - 如申請專利範圍第1項所述之影像處理裝置，其中該影像校正模組包括：
一位移量校正單元，利用仿射矩陣執行該些位移量校正，使該些未選擇影像之起始點位置校正至與該目標影像之起始點位置相同。 - 一種影像處理方法，用於處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，該些第二解析度影像其中之ㄧ為一目標影像，剩餘之該些第二解析度影像為多數個未選擇影像，包括：
估測該些未選擇影像相對於該目標影像的多數個區塊位移量及多數個全域位移量，針對該些未選擇影像執行多數個位移量校正，藉以產生多數個校正後影像；
判斷各該區塊位移量與相對應之該全域位移量的差值是否大於一門檻值，並判斷該目標影像之每一像素點與該些校正後影像之每一像素點間之一像素差異值是否大於一差異預定值，藉以產生多數個物體移動指標；以及
依據該些物體移動指標對該目標影像之每一像素點與該些校正後影像之每一像素點進行一算術運算以產生一第三解析度影像，其中，該第三解析度影像之解析度高於該些第二解析度影像之解析度。 - 如申請專利範圍第12項所述之影像處理方法，其更包含下列步驟：
計算出該目標影像及該些校正後影像之每一像素點之一誤差頻率值，並將該目標影像之每一像素點之該誤差頻率值與該些校正後影像之每一像素點之該誤差頻率值做比較，以判定出每一像素點間之一最小誤差頻率值，再藉由該最小誤差頻率值取決出該差異預定值。 - 如申請專利範圍第12項所述之影像處理方法，其中該差異預定值係為一固定值。
- 如申請專利範圍第12項所述之影像處理方法，其中依據該些物體移動指標對該目標影像之每一像素點與該些校正後影像之每一像素點設定多數個比重，該算術運算利用該些比重進行比重和。
- 如申請專利範圍第15項所述之影像處理方法，其中針對該目標影像之每一像素點與該些校正後影像之每一像素點執行多數個方向梯度運算以產生多數個梯度差值。
- 如申請專利範圍第16項所述之影像處理方法，其中該當各該區塊位移量與相對應之該全域位移量的差值大於該門檻值，或該像素差異值大於該差異預定值時，則致能該些物體移動指標，當各該區塊位移量與相對應之該全域位移量的差值小於該門檻值，且該像素差異值亦小於該差異預定值時，則禁能該些物體移動指標。
- 如申請專利範圍第17項所述之影像處理方法，其中當該些物體移動指標為致能時，則將該些比重設定為零，當該些物體移動指標為禁能時，則將該些比重設定為該些梯度差值。
- 如申請專利範圍第16項所述之影像處理方法，其中針對該目標影像之每一像素點與該些校正後影像之每一像素點執行該些方向梯度運算用以產生多數個方向梯度值，該些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二對角線方向梯度值。
- 如申請專利範圍第19項所述之影像處理方法，其中針對該目標影像之每一像素點與該些校正後影像之每一像素點執行該些方向梯度運算以產生該些梯度差值的步驟包括：
選擇該些方向梯度值中之數值最大者作為一最大梯度值；
選擇該些方向梯度值中之數值最小者作為一最小梯度值；以及
使該最大梯度值與該最小梯度值相減得到該些梯度差值其中之ㄧ。 - 如申請專利範圍第12項所述之影像處理方法，其中估測該些未選擇影像相對於該目標影像的該些區塊位移量及該些全域位移量的步驟包括：
分割該目標影像與該些未選擇影像為多數個區塊；
估測該些未選擇影像相對於該目標影像的該些區塊位移量；
依據該些區塊位移量執行多數個全域位移量估測，藉以產生該些全域位移量。 - 如申請專利範圍第12項所述之影像處理方法，其中該些位移量校正利用仿射矩陣將該些未選擇影像之起始點位置校正至與該目標影像之起始點位置相同。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101114447A TWI563471B (en) | 2012-04-24 | 2012-04-24 | Image processing device and processing method thereof |
| US13/562,481 US8644645B2 (en) | 2012-04-24 | 2012-07-31 | Image processing device and processing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101114447A TWI563471B (en) | 2012-04-24 | 2012-04-24 | Image processing device and processing method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201344629A true TW201344629A (zh) | 2013-11-01 |
| TWI563471B TWI563471B (en) | 2016-12-21 |
Family
ID=49380183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101114447A TWI563471B (en) | 2012-04-24 | 2012-04-24 | Image processing device and processing method thereof |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8644645B2 (zh) |
| TW (1) | TWI563471B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016083666A1 (en) * | 2014-11-27 | 2016-06-02 | Nokia Corporation | Method, apparatus and computer program product for generating super-resolved images |
| US9811732B2 (en) * | 2015-03-12 | 2017-11-07 | Qualcomm Incorporated | Systems and methods for object tracking |
| CN105518709B (zh) * | 2015-03-26 | 2019-08-09 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
| CN105023013B (zh) * | 2015-08-13 | 2018-03-06 | 西安电子科技大学 | 基于局部标准差和Radon变换的目标检测方法 |
| CN110692235B (zh) * | 2017-05-17 | 2021-06-22 | 株式会社克利普顿 | 图像处理装置、图像处理程序及图像处理方法 |
| US11004178B2 (en) | 2018-03-01 | 2021-05-11 | Nvidia Corporation | Enhancing high-resolution images with data from low-resolution images |
| US11087442B1 (en) * | 2019-11-20 | 2021-08-10 | Facebook Technologies, Llc | Mask-based spatio-temporal dithering |
| CN111489292B (zh) * | 2020-03-04 | 2023-04-07 | 北京集朗半导体科技有限公司 | 视频流的超分辨率重建方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7809155B2 (en) * | 2004-06-30 | 2010-10-05 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation |
| US7728844B2 (en) * | 2004-07-09 | 2010-06-01 | Nokia Corporation | Restoration of color components in an image model |
| JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
| US20060291751A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution) |
| TW200740204A (en) * | 2006-04-06 | 2007-10-16 | Univ Nat Yunlin Sci & Tech | Image processing metho |
| KR101265956B1 (ko) * | 2007-11-02 | 2013-05-22 | 삼성전자주식회사 | 블록 기반의 영상 복원 시스템 및 방법 |
| US8285070B2 (en) * | 2008-04-07 | 2012-10-09 | The Trustees Of Tufts College | Methods and apparatus for image restoration |
| JP2010140460A (ja) * | 2008-11-13 | 2010-06-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2010122934A (ja) * | 2008-11-20 | 2010-06-03 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| KR20240091280A (ko) * | 2008-12-19 | 2024-06-21 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 반도체 장치 및 액정 표시장치 |
| JP5673008B2 (ja) * | 2010-08-11 | 2015-02-18 | ソニー株式会社 | 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法 |
| JP5780735B2 (ja) * | 2010-10-05 | 2015-09-16 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2012
- 2012-04-24 TW TW101114447A patent/TWI563471B/zh active
- 2012-07-31 US US13/562,481 patent/US8644645B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US8644645B2 (en) | 2014-02-04 |
| US20130279826A1 (en) | 2013-10-24 |
| TWI563471B (en) | 2016-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201344629A (zh) | 影像處理裝置及其處理方法 | |
| TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
| TWI549096B (zh) | 影像處理裝置及其處理方法 | |
| EP2704423B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5687553B2 (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
| EP2521091B1 (en) | Estimation of motion blur in a picture | |
| KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| WO2014127665A1 (zh) | 一种改进的数字图像缩放方法 | |
| CN103379255B (zh) | 影像处理装置及其处理方法 | |
| JP2012034327A5 (zh) | ||
| JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
| JP6317611B2 (ja) | ディスプレイ表示パターン生成装置及びそのプログラム | |
| JP2018180964A (ja) | 画像処理装置及び画像処理方法 | |
| CN102779329B (zh) | 图像处理装置及图像处理方法 | |
| JP2009088884A (ja) | 撮像データにおける動きベクトル検出方法と装置 | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP6332982B2 (ja) | 画像処理装置およびその方法 | |
| JP2011113177A (ja) | 被写体３次元モデルを構築する方法およびプログラム | |
| JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
| TW201439979A (zh) | 超解析度影像處理方法及其影像處理裝置 | |
| Chiao et al. | Rolling shutter correction for video with large depth of field | |
| JP5057134B2 (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
| JP5804801B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム |