TWI381735B

TWI381735B - 影像監視設備之影像處理系統及其影像解析自動調適之方法

Info

Publication number: TWI381735B
Application number: TW98119993A
Authority: TW
Inventors: Ping Tsung Wang; Han Chiang Chen; Ming Fang Wu; Chin Chyr Huang
Original assignee: Univ Kun Shan
Priority date: 2009-06-15
Filing date: 2009-06-15
Publication date: 2013-01-01
Also published as: TW201044877A

Description

影像監視設備之影像處理系統及其影像解析自動調適之方法

本發明為有關於一種影像監視設備之影像處理系統及其影像解析自動調適之方法，尤其是指一種在任何環境光線明暗度的情形下，皆能達成影像解析之系統及方法。

按，由於動態的視訊影像能夠以連續方式紀錄某段時間所發生之事件，因此，常被用來監測交通路況或監視住家、公司周遭，以即時得知道路及住家、公司目前所處之狀況。而動態視訊影像係透過CCD【電荷耦合元件】進行影像的擷取，再將影像送回中央處理系統處理後，於顯示裝置顯示。然而，該監視系統雖已具備取得動態影像之效能，但其取得影像的清晰度及完整性會受到天候、光線及遮避物的影響，而令在顯示裝置顯示之影像仍有瑕疵，無法清晰的完整呈現。

在前案文獻中，透過傳統CCD擷取出視頻訊號，並運用三維空間摺積最小平方法與微陣列反演算程式分析斷層掃描資料，藉以比較不同方法之反演算影像解析度與準確程度，諸如美國專利US7444003的驗證模型，皆採用重點圍繞高解析度線陣列感測器的成像模型與空間影像三維資訊，來採集色彩飽和層模型。在簡單陣列感測器的成像模型中，以阻尼最小平方法反演算之影像與運用程式之準確度相當，諸如傳統『直方圖』、『馬卡夫法』或『邊界檢測』為基礎等方法。在穩態與暫態模型模擬試驗中，比較兩種不同演算法，訊號衰減率反演算影像解析度，通常較波速反演算影像要差，這顯示實際情況下，雷達波傳遞可能有額外之能量損失，因此須於反演算的過程中加以考量。

在暫態的試驗中，高斯傅利葉濾波反演算影像差值顯示，阻尼最小平方法採用阻尼，以保證反演算之順利進行，便能減少了反演算影像最高值與最低值間之誤差程度，但在解析度上要較傳統CCD高通濾波器來的差。若比較所得之衰減率變化，阻尼最小平方法所得之值，卻較傳統CCD高通濾波器，更接近原模型之設定值，此顯示採用阻尼最小平方法所取得之影像，通常較傳統CCD高通濾波器更接近模型原始設定值，但這會犧牲解析度，因此欲在解析度與準確度間得到平衡，必須依所測試阻尼值，以得到最佳化之解析度與準確度。

本發明為有關於一種可將CCD擷取進來的視訊精確處理，以提昇影像的解析度；而在處理影像解析度提昇之前，有一些很重要的前處理程序需要進行，這些前處理程序好或壞，通常會直接影響到影像解析的品質，因此本發明針對CCD視訊擷取進來的影像處理方面提出一種方法，以達成高解析度影像的呈現。

本發明的高解析度影像前處理的方法包括影像分割與輪廓切割，影像切割是一個非常困難的技術，尤其對於即時應用上的要求。由於分割演算法需要龐大計算量，因此在計算能量上如能做到大幅精確的改良，便可成功避開傳統影像切割演算法的過度切割問題，達到快速完成切割之要求，以讓整個系統可在一般Low Computing Power【低運算量】的CPU【中央處理單元】上完成影像解析的動作。

本發明為關於一種高解析度還原的方法，採用前案的影像分割，並將人類眼睛的視覺特性加入影像分割之前處理的演算法中，以達到符合人類眼睛視覺的影像分割結果。本發明所提出之高解析度影像還原的核心實現方法項目如下：

1.提出一種以JBD(Just Boundary Different)的人類視覺暫留特性的邊界區域內插方法，以解決前案演算法會有過度切割之問題。

2.將原始影像以超取樣所要處理的解析度，再配合JBD之切割法則，以發展出JBD多重解析度的精確影像切割之前處理法則。

3.提出JBD切割完成後的內部影像內插多重摺積之方法，將切割後的演算法之邊界區域內的影像做解析度的提昇。

4.結合視覺特性的影像評估準則JBD_VARIANCE與JBD_SNR。

為令本發明之技術內容、目的及功效有更清楚及完整的揭露，特舉實施例，並配合所附圖式，詳細說明如下：本發明影像監視設備之影像解析自動調適之方法在處理影像解析度提昇之前，須先進行高解析度影像的前處理動作，而本發明的高解析度影像前處理的方法包括影像分割與輪廓切割，其實現之方法至少包括：1.以具有人類視覺暫留特性的JBD(Just Boundary Different)邊界區域內插方法，進行影像切割；2.將經過JBD(Just Boundary Different)邊界區域內插方法處理過之影像，進行JBD多重解析度的精確影像切割之前處理；3.在JBD多重解析度的精確影像切割完成後，以內部影像內插多重摺積之方法，將切割後的演算法之邊界區域內的影像做解析度的提昇；4.最後，透結合視覺特性的影像評估準則JBD_VARIANCE與JBD_SNR完成影像解析自動調適。

而達成上述本發明之影像監視設備的影像解析自動調適方法所需之系統(以下請參第一圖)，包括：至少一動態影像輸入設備(1)，以即時擷取動態影像；一邊界偵測模組(2)，具有至少一內插濾波器(21)及一影像強度遮罩矩陣(22)，係用以將由動態影像輸入設備(1)輸入之動態影像中，切割出所需要高解析度還原畫面之邊界，以供後續濾波與內插之處理，且該邊界偵測模組(2)以其本身切割時間為準，以避免影像被過度切割；一高解析度內插模組(3)，耦接於該動態影像輸入設備(2)與影像輸出設備(4)之間，係負責在每4個像素點中內插出1個新的像素點，再經由平坦化濾波器將高解析度影像的尖銳邊界平坦化；至少一影像輸出設備(4)，係供顯示處理後之影像。

在本實施例中，採用高解析度影像前處理達成精確視訊圖像切割技術，因此提出的一種方法叫做JBD(Just Boundary Different)的人類視覺暫留特性的邊界區域內插方法，以解決傳統演算法會有過度切割之問題。

當有新的移動點產生時，JBD演算法的邊界高頻濾波器便會被感應出來，並與前一個視訊框架做差值微分運算，以將邊界【Boundary】的部份切割出來，並由新產生的異動點所引發出的訊號，便能夠在JBD演算法中，將非邊界的部份排除，減少邊界界定錯誤所導致後續高解析度影像處理時處理到不需要處理的部份，因此JBD的前置作業為一個非常重要的步驟，這將會直接影響到將來做嵌入式系統產品中的Low Computing Power CPU會造成額外的負擔，進而影響整體系統的效能。

一般而言，JBD可區別人類眼睛邊界輪廓的能力，藉由此能力將可與前景或背景的明亮與對比度有著密切的關聯，因此針對JBD的實驗，如第二圖所示，可讓測試者看著一個平整均勻照度的圖案影像框(100)，在區域中心產生一個矩形的方塊，其亮度強度(101)為P+△P 。

本發明所引用的JBD模型如下：JBD (g (x ,y ))=λxg (x ,y )-255 for g(x,y)>255

其中g(x,y)為一張影像在(x,y)位置像素點之亮度值，將該值送入JBD(g(x,y))函式為此像素點，以求出其對應之JBD值，在JBD函式中η=1.7,λ =0.873。由於JBD值的檢測可得知，人類眼睛對於高亮度的敏感度較佳，反之對低亮度的敏感度較差。

由於一張影像可能會包含很多不必要的雜訊，這些雜訊通常會影響到往後影像邊界切割的動作，導致無法簡潔有效的表示出原影像，這將對於後續的內插運算造成極大的負荷，使得在Low Computing Power的嵌入式系統的性能大為下降。本發明將使用平坦化來解決上述之問題，平坦化基本上是一個低通濾波器，它主要用來使影像消除模糊或降低雜訊。本發明設計一個5×5的平坦化濾波器之遮罩，如第三圖所示，該平坦化濾波器包含一個二維矩陣(102)，二維矩陣(102)裏面的元素是1，外面則是乘以5分之1。通常越大的遮罩模糊效果越強，相當於此濾波器的截止頻率越來越低，高頻部份被過濾掉的越多。

在本實施例中，JBD多重解析度的精確影像切割之前處理方法，如第四圖所示，由多重JBD所組成JBD群組(110)，在每一組JBD群組(110)的輸出串接一個JBD高通濾波器(111)，以將有變化的邊界過濾出來，最後再將所有JBD高通濾波器(111)的輸出經由影像框相關器【Image Frame Correlation】(112)整合出來，即可得多重影像切割的圖案或動畫之邊界。

一般而言，發展一般化容忍變形延長在Correlation【相關性】的相互關係過濾器的設計過程中，早期的相互關係過濾器設計，係以被規定的模式對平面旋轉過程與在影像更換的過程中的Image Frame【影像框】強度，此為改變處理影像之另一項挑戰。本發明將發展一種新保護訊息的機率影像框，從多幅圖像和多個過濾器合併相互關係產量。機率影像框是利用在相互關係產量之空間和暫時關係，這種機率影像框，允許同時目標識別與相反跟蹤，再應用類神經網路方法作影像中質點運動之辨識，進而求得各影像之瞬間變動。

為瞭解類神經網路方法之優、缺點，變動影像亦可採用傳統之互相關【Cross-Correlation】方式來進行分析與比較，以計算其影像之瞬間速度場，結果顯示類神經網路方法之計算速度較傳統方式為快，且質點之辨識率也較傳統方式好。當外質點垂直運動時，若經由霍夫轉換【Hough Transform】後，在辨識過程會發生困難，這將會造成辨識誤差，因此在計算過程接近尾聲時，將會作一次角度改變，即是將質點運動斜率在0°~20°之間轉換成360°~380°，便可克服質點接近水平運動時，斜率落在第四象限到第一象限無法辨識的問題。在計算到一定程度時，由於部份質點已辨識出，剩餘的質點亦不多，此時便可將所有剩餘質點再作45°的座標轉換，以解決垂直運動質點之分類問題。

當影像中質點被分類出來後，便可以繼續辨識出質點之座標位置，而計算質點的水平(u)與垂直速度(v)公式如下：txxu△t=12

tyyv△t=12

其中，u是質點的水平速度，t是兩個影像拍攝的時間間隔，x代表x座標值，而(x1,y1)為第一張影像質點之 x、y座標，而(x2,y2)為(x1,y1)下一瞬間之座標值，△t為兩影像之拍攝時間之間隔(在此為0.004秒)。

將JBD切割完成後的內部影像內插多重摺積之方法，將切割後的演算法之邊界區域內的影像做解析度的提昇。針對每一個影像框，首先依照影像的JBD邊界濾波值由高至低排列，並儲存在二維陣列的記憶體內，且必需滿足下列條件：(A)針對一張影像的像素做直接或間接存取。

(B)對一個正在處理的視訊框，亦能對鄰近的像素點進行內插運算，如第五圖所示的JBD切割後後影像內插運算，JBD內插運算模組(130)為內插運算範圍之區塊，內插出來的像素點(132)P點為內插參考像素點(131)a點、b點、c點、d點等4個點於JBD內插運算模組(130)中經由內插運算而得。

在第六圖中提出調節錄像的基本算法，本發明使用了「增強型」【Enhancement Image Interpolation】內插演算法，依據影像的型態來選擇最適合做運算的內插演算法，以下介紹增強型內插演算法。

增強型內插演算法：增強型內插演算法可將放大/縮小的比例代入特定二次項的公式中，以求得新插入點的值。對於低頻訊號較多的影像表現較好，但可能產生運算複雜度較高之缺點，因此處理速度也會比其他兩種演算法慢。增強型內插演算法可透過4個原始像素點(121)內插運算出一個新的像素點(122)，且以此為二維像素框(120)之基本單位。當開始同時處理水平環型佇列(124)與垂直環型佇列(123)時，便開始採用內插換算法以取得並記錄新的像素點(122)；由第六圖增強型內插演算法執行流程圖中看到二者是同時並行的。在這個階段內，每一組基本二維像素框(120)進行2×2維度區之內插演算，使內部2×2個維度區的類型邊界被確定。當水平環形佇列(124)開始像素內插計算過程的同時，垂直環形佇列(123)也開始操作。且在處理過程中，一組水平環形佇列(124)與垂直環形佇列(123)的像素內插計算係平行進行。此部分可搭配第六圖增強型像素內插演算法執行流程圖，水平同步判別模組處代表進行水平內插運算，而在垂直同步判別模組則代表進行垂直內插運算，運算完成後產生新的像素點。

其中，第七圖的運算流程如下：步驟一(151)：將原始影像做次取樣到所要的水平同步處理解析度；步驟二(152)：將原始影像做次取樣到所要的垂直同步處理解析度；步驟三(153)：邊界取樣並設定出前一個影像框【p revious】與目前影像框【c urrent】的水平成份的失真值【Distortion】OLDH_p 與OLDH_c ；步驟四(154)：邊界取樣並設定出前一個影像框【p revious】與目前影像框【c urrent】的垂直成份的Distortion值OLDV_p 與OLDV_c ；步驟五(155)：判別目前的影像框所有像素是否都取出來，如果全部都取出來則不會得到新的像素點，並回到判別目前的影像框所有像素是否都取出來，如果有，則跳到步驟六進行內插算；步驟六(156)：進行增強型內插法之內插運算，目的是為了內插出一個新的像素於目前的影像框。

結合視覺特性的影像評估準則JBD_VARIANCE與JBD_PSNR。以下式定義本發明的JBD_VARIANCE：

其中x _j
,k 為第k個區域內所有像素的邊界亮度值，而為第k個區域內所有像素點的平均亮度值，JBD()為區域平均的亮度值之臨界JBD值。

一般而言，JBD_VARIANCE與JBD_PSNR皆需考慮JBD的特性，但JBD_VARIANCE為利用具有多元性的影像分割準則，以強調影像分割區域，因為要配合內插演算法，必需考慮多重邊界區塊與多重內插節點的結合。本發明考慮在同一個區域的每個像素點與前一個視訊框的互相關值進行相減，以取得一個變異度的差異值。藉由這些差異值，再對其進行JBD_PSNR【Peak Signal to Noise Ratio；邊界差異之訊號/雜訊比】演算，以過濾掉影片轉換過程中的雜訊，並維持住原始訊號的品質。若JBD_VARIANCE愈小，表示維度區間的相異性愈低，則相似性便會愈高，即可得到愈好的影像呈現效果。

一般而言，最鄰近均勻化法可簡稱為JBD_SNR【邊界差異之訊號/雜訊比】，此方法可同時利用影像灰階值【Gray Value】與空間【Spatial】資訊來保留影像特徵與平滑雜訊。操作方法通常以n×n的遮罩視窗(視窗必須為奇數)，在影像上由左至右與由上而下來對影像進行過濾，以選取遮罩視窗內每一對稱像素元組中灰階值，並採用最接近中心像素元灰階值，計算平均值或中位數，以取代核心內中心像素之灰階，採用此種方法的優點，在於濾除雜訊的同時，亦可保持建築物屋角與邊界資訊的反差。

請參第八圖，為本發明所提出的7×7之JBD_SNR過濾器(140)【Filter】，其操作說明於下：在灰階方框像素元(141)內可取出3組對稱像素元：90、90、95；90、90、95；103、103、108；將各組像素元中之灰階值與中心像素元之灰階值90相比較後，於各組中取出其中一組最接近該中心像素元灰階值90之灰階值，其分別為90、90與95，將所取得之3個灰階值予以平均得到91.66，並以此數值取代原始中心像素元灰階值90。

在彩度方框像素元(142)為5x5的方陣，內可取出5組對稱像素元：90、95、104、103、103；103、108、115、115、116；115、124、129、130、132；126、136、141、144、145；138、143、152、151、155；將各組像素元中之灰階值與中心像素元之灰階值129相比較後，於各組中取出其中一組最接近該中心像素元灰階值129之彩度值，其分別為90、95、104、103與103，將所取得之5個彩度值予以平均得到99，並以此數值取代原始中心像素元灰階值129。接著再利用(公式一)求出JBD_VARIANCE的公式，以得到梯度大小和方向後，再依梯度方向對梯度大小作非最大值刪除(Non-Maximum Suppression)，即在梯度方向上邊界點像素的大小值，應該大於其臨近像素的大小值，因此只取區域(Local)最大值為邊界點。再實施一個附加遲滯性界定(Hysteresis Thresholding)的步驟，以刪除不正確的邊界點，並採用兩個臨界值，一個為高臨界值H _T ，另一個為低臨界值L _T 。任何一個像素的大小值，只要大於H _T ，則可指定其為邊界點，而連接此點的像素，只要其大小值大於L _T ，亦可被指定為SNR【訊號/雜訊比】點。

綜合以上所述，雖然本發明以一實施例揭錄如上，然並非用以限定於本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍，當視後附之申請專利範圍所界定者為準。

(1)‧‧‧動態影像輸入設備

(2)‧‧‧邊界偵測模組

(21)‧‧‧內插濾波器

(22)‧‧‧影像強度遮罩矩陣

(3)‧‧‧高解析度內插模組

(4)‧‧‧影像輸出設備

(100)‧‧‧影像框

(101)‧‧‧亮度強度

(102)‧‧‧二維矩陣

(110)‧‧‧JBD群組

(111)‧‧‧JBD高通濾波器

(112)‧‧‧影像框相關器

(130)‧‧‧JBD內插運算模組

(132)‧‧‧內插出來的像素點

(131)‧‧‧內插參考像素點

(121)‧‧‧原始像素點

(122)‧‧‧新的像素點

(120)‧‧‧二維像素框

(124)‧‧‧水平環型佇列

(123)‧‧‧垂直環型佇列

(140)‧‧‧JBD_SNR過濾器

(141)‧‧‧灰階方框像素元

(142)‧‧‧彩度方框像素元

(151)‧‧‧步驟一

(152)‧‧‧步驟二

(153)‧‧‧步驟三

(154)‧‧‧步驟四

(155)‧‧‧步驟五

(156)‧‧‧步驟六

第一圖：顯示根據本發明實施例所需之系統示意圖

第二圖：顯示根據本發明實施例之JBD邊界檢測示意圖

第三圖：顯示根據本發明實施例的平坦化濾波器

第四圖：顯示二維度基本像素框內插

第五圖：JBD多重解析之精確影像切割示意圖

第六圖：JBD內插運算示意圖

第七圖：增強型像素內插法示意圖

第八圖：一個7×7 JBD_SNR過濾器

(1)‧‧‧動態影像輸入設備

(2)‧‧‧邊界偵測模組

(3)‧‧‧高解析度內插模組

(4)‧‧‧影像輸出

(21)‧‧‧內插濾波器

(22)‧‧‧影像強度遮罩矩陣

Claims

一種影像監視設備之影像處理系統，包括：至少一動態影像輸入設備，以即時擷取動態影像；一邊界偵測模組，具有至少一內插濾波器及一影像強度遮罩矩陣，係用以將由動態影像輸入設備輸入之動態影像中，切割出所需要高解析度還原畫面之邊界，以供後續濾波與內插之處理，且該邊界偵測模組以其本身切割時間為準；一高解析度內插模組，耦接於該動態影像輸入設備與影像輸出設備之間，係負責在數個像素點中內插出1個新的像素點，再經由平坦化濾波器將高解析度影像的尖銳邊界平坦化；至少一影像輸出設備，係供顯示處理後之影像。
如申請專利範圍第1項所示影像監視設備之影像處理系統，其中，該平坦化濾波器為一5×5的遮罩，並包含一個二維矩陣，二維矩陣裏面的元素是1，外面則是乘以5分之1。
如申請專利範圍第1項所示影像監視設備之影像處理系統，其中，該內插濾波器由多重JBD所組成，在每一組JBD的輸出串接一個JBD高通濾波器，以將有變化的邊界過濾出來，最後再由影像框相關器【Image Frame Correlation】整合出來，即可得多重影像切割的圖案或動畫之邊界。
如申請專利範圍第3項所示影像監視設備之影像處理系統，其中，該影像框相關器【Image Frame Correlation】為一保護訊息的機率影像框，可從多幅圖像和多個過濾器合併相互關係產生，此機率影像框所利用者是在相互關係產量間的空間和暫時關係，並允許同時目標識別與相反跟蹤，再應用類神經網路方法作影像中質點運動之辨識，進而求得各影像之瞬間變動。
如申請專利範圍第4項所示影像監視設備之影像處理系統，其中，於進行質點運動辨識過程中，該影像框相關器【Image Frame Correlation】在計算過程接近尾聲時，會將質點運動斜率在0°~20°之間轉換成360°~380°，以克服質點接近水平運動時，斜率落在第四象限到第一象限無法辨識的問題；並在計算到一定程度時，將所有剩餘質點再作45°的座標轉換，以解決垂直運動質點之分類問題；而當影像中質點被分類出來後，便可以繼續辨識出質點之座標位置，計算質點的水平(u)與垂直速度(v)公式如下：txxu△t=12 tyyv△t=12其中，u是質點的水平速度，t是兩個影像拍攝的時間間隔，x代表x座標值，△t為兩影像之拍攝時間之間隔。
如申請專利範圍第3項所示影像監視設備之影像處理系統，該內插濾波器係將針對內部影像中的每一個影像框，先依照影像的JBD邊界濾波值由高至低排列，並且儲存在一二維陣列的記憶體內。
如申請專利範圍第6項所示影像監視設備之影像處理系統，該內插濾波器進一步包括基本二維像素內插框，該基本二維像素內插框包含4個原始像素點，經由水平環型佇列與垂直環型佇列同時進行內插運算，內插出新的像素點。
一種影像解析自動調適方法，其包括以JBD(Just Boundary Different)的人類視覺暫留特性的邊界區域內插方法，以解決演算法過度切割之問題，其中，該JBD人類視覺暫留特性的邊界區域內插方法進一步透過一高頻濾波器，在有新的移動點產生時，與前一個視訊框架做差值微分運算，以將邊界【Boundary】的部份切割出來，並由新產生的異動點所引發出的訊號，在JBD演算法中，將非邊界的部份排除，減少邊界界定錯誤所導致後續高解析度影像處理時處理到不需要處理的部份。
如申請專利範圍第8項所示影像解析自動調適方法，其中，該JBD人類視覺暫留特性的邊界區域內插方法進一步包括一平坦化步驟，係透過一個低通濾波器消除模糊的影像或降低雜訊。
如申請專利範圍第9項所示影像解析自動調適方法，其中，該濾波器為一5×5的遮罩，並包含一個二維矩陣，二維矩陣裏面的元素是1，外面則是乘以5分之1。
如申請專利範圍第8項所示影像解析自動調適方法，其中，該影像框相關器【Image Frame Correlation】為一保護訊息的機率影像框，可從多幅圖像和多個過濾器合併相互關係產生，此機率影像框所利用者是在相互關係產量間的空間和暫時關係，並允許同時目標識別與相反跟蹤，再應用類神經網路方法作影像中質點運動之辨識，進而求得各影像之瞬間變動。
如申請專利範圍第11項所示影像解析自動調適方法，其中，於進行質點運動辨識過程中，該影像框相關器【Image Frame Correlation】在計算過程接近尾聲時，會作一次角度改變，將質點運動斜率在0°~20°之間轉換成360°~380°，以克服質點接近水平運動時，斜率落在第四象限到第一象限無法辨識的問題；並在計算到一定程度時，將所有剩餘質點再作45°的座標轉換，以解決垂直運動質點之分類問題；而當影像中質點被分類出來後，便可以繼續辨識出質點之座標位置，計算質點的水平(u)與垂直速度(v)公式如下：txxu△t=12 tyyv△t=12其中，u是質點的水平速度，t是兩個影像拍攝的時間間隔，x代表x座標值，△t為兩影像之拍攝時間之間隔。
如申請專利範圍第8項所示影像解析自動調適方法，其中，進一步將經該JBD多重解析度的精確影像切割之前處理後的影像，再進行其內部影像內插多重摺積之方法，以將切割後的演算法之邊界區域內的影像做解析度的提昇。
如申請專利範圍第13項所示影像解析自動調適方法，其中，該內部影像內插多重摺積之方法進一步包括針對每一個影像框，先依照影像的JBD邊界濾波值由高至低排列，並且儲存在一二維陣列的記憶體內。
如申請專利範圍第14項所示影像解析自動調適方法，其中，該內部影像內插多重摺積之方法進一步包括基本二維像素內插框，該基本二維像素內插框包含4個原始像素點，經由水平環型佇列與垂直環型佇列同時進行內插運算，內插出新的像素點。
如申請專利範圍第13項所示影像解析自動調適方法，其中，進一步將經該內部影像內插多重摺積之方法處理後的影像，再進行結合視覺特性的影像評估，並以JBD_VARIANCE與JBD_SNR進行保護；JBD_VARIANC之定義為：其中x _j
,k 為第k 個區域內所有像素的邊界亮度值，而為第k 個區域內所有像素點的平均亮度值，JBD()為區域平均的亮度值之可臨界JBD值。
如申請專利範圍第16項所示影像解析自動調適方法，其中，該JBD_VARIANCE是利用具有多元性影像分割準則的強調影像分割區域，並配合增強型內插演算法，因此可將多重邊界區塊與多重內插節點融合在一起。
如申請專利範圍第17項所示影像解析自動調適方法，其中，在同一個區域的每個像素點與前一個視訊框的互相關值【Reference】值進行相減，以取得一個變異度的差異值，接著利用此差異值，再對其進行JBD_SNR【邊界差異之訊號/雜訊比】演算，以過濾掉影片轉換的過程當中的雜訊，並維持住原始訊號的品質。
如申請專利範圍第18項所示影像解析自動調適方法，其中，該JBD_SNR係同時利用影像灰階值(Gray Value)與空間(Spatial)資訊來保留影像特徵與平滑雜訊。
如申請專利範圍第19項所示影像解析自動調適方法，其中，其保留影像特徵與平滑雜訊之方式係以n×n的遮罩視窗(視窗必須為奇數)，在影像上由左至右與由上而下，對影像進行過濾，以選取遮罩視窗內的每一對稱之像素元組中，灰階值最接近中心像素元灰階值的值，計算其平均值或者中位數，以取代核心內中心像素之灰階。