TW517211B

TW517211B - Process for evaluating coded images, device implementing the process and use of the device and process

Info

Publication number: TW517211B
Application number: TW089103327A
Authority: TW
Inventors: Philippe Bordes; Philippe Guillotel
Original assignee: Thomson Multimedia Sa
Priority date: 1999-03-08
Filing date: 2000-02-25
Publication date: 2003-01-11
Also published as: EP1159711B1; DE60006651D1; JP4611535B2; US7003037B1; JP2002539657A; EP1159711A1; FR2790852A1; WO2000054220A1; AU3161500A; CN1343342A; CN1306457C; FR2790852B1; DE60006651T2

Description

517211 五、發明說明α) 本發明係關於編碼影像之評估方法和裝置，及該方法和裝置之使用。 '在數位視頻順序之編碼系統中，已知實務是使用信號雜訊比，利用與原有影像比較的程序，評估影像輸出之品質。該比一般稱為PSNR(尖峰信號雜訊比），是由最後影像和原有影像的圖素二次差異合計而得。然而，此項衡量未顧及人類視力的精神視覺特性（HVS :人類視覺系統）。當然，人眼對某些空間頻率更為靈敏，而對客體細節之感受，與其相對運動及亮度和對比之現象極有關聯。因此，按照傳統的品質評估程序，順序可以良好編碼的演變出現，並假設具有優良影像品質，卻不能以此方式被觀察者感受到，給予精神視覺特性。所以，本發明之目的，在於容許評鑑影像品質，盡量接近觀察者具有的感受。在MPEG 2型傳統編碼器内，於感受解碼影像之空間頻率中，已部份顧及人因數的影響（HVS )，即使用加權矩陣於8 X 8影像塊之高頻，但絕對未考慮到感受運動中客體之細節。衡量二影像間不對稱之研究，大部份根本是基於瑕疵的靜態分析，未考慮到運動，或是基於空間頻率之分析。另外，以前的研究有些考慮到暫時要旨，但未顧及運動本性，使用現在巨塊與在前一影像中同樣位置之巨塊間

五、發明說明（2) 的差異（失真）。的運動問題。、…、顧慮到人類視力的影響，連同影像中 ^發明之目的，在於避此目的事實上异案技術之缺點。 r Q w 疋由影像品質之# # + ^ t U)步驟，處理你I p 貝艾砰估方法達成，包括：处理代表影像之幹％豕途，以獲得處理過之信號 (b)步驟，根據代表嗔序代表運動影像場之芦號「衫像之信號，構成基於根源 (C)步驟，建立 2 J::運動場的各區域之影像當J段之信號，並將代表同=许内估計的速度向量所限定二妯，儲存在就運動場構同迷度向量之圖素；位址，使其可決定具有不 (d) 步驟，決定或瞀之精神視覺人員濾波器；品或估5十速度的為函數應用 (e) 步驟，對處理過 (f) 步驟，構成获矣淹唬加以濾波；以及 …後所得所稱: ’根源影像和解構影：j:::::方法包括步驟，包含按照另-特點，編二ί項步驟。 ”Τ、分帶#)頻㈣以：像品質之評估方法包括影像（及估計速度和所考慮^:丄在濾波步驟之前’並包含顧 ·、、頻率帶，以從曲線推論之係數加權 $ 7頁 517211 五、發明說明（3) ^^ 以便顧慮到速度和空間頻率對感受運動影像之相對影響。按照另一特點，對代表處理後根源影像與處理過解碼 $像,uPlace稜錐間差異之矩陣，施以精神視覺濾波步. 驟，係一方面藉代表有關圖素頻率的濾波曲線推知濾波係數加權之後進 ^ β另方面楗以及相當於Lapl ace稜錐位階之頻率帶，岡到估汁速度，根據各區域不同速度的影像構成稜錐於此即屬於按照另一特點，·精神視覺濾波曲不、^解析稜錐。庫形式並儲存於系統内之曲線建立， =由配置成資料 ;结便是利用計算機構實施的分析圖所得=等曲線内曲線。使其可計算各按照另一特點，不相稱映像步驟所得渡波過多解析_重址為^成步驟’是利用前— 按照另一特點，影像處理步驟包括：刀解成η階Laplace稜錐之步驟及根源和解碼影步驟。棱錐間差異之構成能槿ΐ照另一特點’運動迷度或局部值…ά 二，接著應用構成之濾波器或應用中H慮波器之可按照另一特點，此法包括影，處波器而得。 ‘"、（7 )校正和利用章伯定律校正為之=步驟，藉進行伽按照另-特點，伽瑪校正是以實施之攻備進行： y=KsVT V=kaEra

第8頁 517211 五、發明說明（4) 其中y為亮度，V為亮度電壓，E為被分析影像之照明，對黑白映像管，指數r在2. 2左右，而r a對彩色電視機通常同意其值為0. 4 5。按照另一特點，濾波是利用構成精神視覺濾波器，相當於根據濾波器資料庫估計之速度，並在二濾波器間相當於最接近速度已估計過的區域内插而得。按照另一特點，有關圖素Pi的相對局部影響（In)，是藉計算代表有關圖素同階的根源稜錐與解碼稜錐間階對階差異第q次方之值£[1而得。按照另一特點，I n的計算是使用下式進行： Σ m(Ek) k<n

En:(Diffn(Pij))Q m(Ek) :Ek，若 Ek>S 而 m ( Ek) =S，若 Ek<S 例如S = 0.5%(Ek的可能最大值）。按照另一特點，濾波包括影像在確定方向之方向性濾波。按照另一特點，伽瑪校正是利用實施下式之計算設施

517211 五、發明說明（5) 進行： e

L display

L max e max e係圖素之柵階值，為最大值，若對8位元進行編碼時，為2 5 6，L·為相當於eraax的強度，以cd/m2計。

按照另一特點，·韋伯定律是利用進行如下功能的計算設施實施·

V out L max L d i --Log10 (1 + 100-- splay -) 按照另一特點，精神視覺濾波器之計算，是由實施下式之設施所得： G(a,v) = [6.1 + 7.3(log(v/3)3]x να 2exp [~2 a (v + 2)/45. 9]

其中α二2;rf二空間頻率，v =速度。本發明另一目的，在於擬議使用本發明方法。此一目的之達成，事實上是在編碼設施中使用本發明方法，利用動態反動做為計算裝置算出精神視覺不相稱之

第10頁 517211 五、發明說明（6) 函數，實施編碼過程中由編碼裝置所用參變數之一的方法。按照另一特點，算出的不相稱與臨限相較，以改變編碼裝置之編碼參變數，直至超越所需臨限。按照另一特點，編碼參變數之一，不是量化間隔，就是影像大小，或是成組映像GOP的型式。按照另一特點，本發明方法用於分析算出不相稱的均勻性，以便作用於編碼參變數。按照另一特點1本發明方法用於以恒常的所需不相稱為函數，就編碼係客體導向之影像，對其不同客體的編碼參變數加以改變。按照另一特點，本發明方法用來對配置之位元率進行動態重新配置。本發明最後目的，在於擬議實施本發明方法之裝置。此目的事實上是由此評估裝置達成，包括： ―機構（la，lb)，處理代表根源影像（10a)和解碼影像（1 Ob)之信號，以獲得處理過的根源影像信號和處理過得解碼影像信號； —機構（2a，2b)，根據代表各影像之信號，構成代表基於根源和解構順序的各影像估計運動場之信號； —機構（3a，3b)，建立代表把運動場分段之信號，並將代表具有不同運動的各區域Ri之影像圖素，儲存在就運動場構成步驟内估計的速度向量所定位址，使其可決定具有不同速度向量之圖素；

517211 五、發明說明（7) 一機構（4, 5) ’決定或計算以區域估計的速度為應用之精神視覺人員濾波器；一機構（6a，6b)，對各處理過的根源影像和處理解碼影像施加濾波；以及

函數過的、一機構（7 )，構成代表濾波步驟後所得影像的信號，與代表濾波步驟後所得解碼影像的信號，二者之間如j 的映像。々日稱按照另一特源影像與應用精神局部影響數加權之稜錐位階速度的影按照多解析稜按照成機構、式的記憶的資料庫本發更為明白處理過視覺濾，另方後進行之頻率像，構另一特錐之重另一特渡波機體有關和中間明其他 ’附圖解碼波機面從，考帶，成多點，組。點，構，，使資訊特點中：可列用計算機構算出，代表處理後根衫像的L a p 1 a c e棱錐間差異之矩陣，構’係一方面藉代表有關圖素頻率的儲存或計算出的濾波曲線推知濾波係慮到估計速度，以及相當於Laplace 圖素於此即屬於利用根據各區域不同解析稜錐所得之此多解析稜錐。不相稱映像之構成機構，進行濾波後處理機構、建立機構、決定機構、構包含至少一微處理機，與充分含有程其可具現各種機構，並含計算上必要，並獲得不相稱之映像。和優點，由如下參照附圖之說明即可第1 a圖代表製法第一變化第1 b圖代表預處理步驟結例諸步驟之簡圖；果之曲線圖；

517211 五、發明說明（8) ϊ 1 d ^ :ΐ根源影像矩陣之簡化圖；第2圖代表Λ動場分段後所得矩陣之簡化圖；乐乙圃代表製法第— 口第3圖代表相變化例諸步驟之簡圖；線族群，儲存於//廑\類視力的精神視覺影響之滤波曲 V A貝枓庫内以決定速度；第4圖代表多解析稜錐；第5圖代表upiace稜錐。在編：：：：^，說明本發明第一變化具體例，其中利用在編碼程序輸出處容許評估影透過各種裝置獲得，一方面處㈣白」衮置進订之步驟 ί配Π = ί表解碼影像(’之信號。各影像是利用配置成矩陣的複數圖素Pij表示，如仏圖所示，而其大 ^視影像2需定義而定。相t於指定圖素~的特性細節大小，以限定影像中圖素數的矩陣大小為函數，一方面以周波數頻率，另方面以每秒度數之速度表示。第一變化具體例之製法各步驟，應用於根源影像和解碼影像。^知^碼影像指容許按照例如MPEG等標準傳輸的編碼解碼裝置輸出處所得任何視頻影像。為更加清楚起見，讀者可參閱附錄 1。代表第一變化例所實施製法1至7之諸步驟。、預處理根源影像（10a)和解碼影像（10b)用之第—裝£ (la, lb)，可實施第一處理步驟，稱為預處理步驟，進行代表影像的信號之伽瑪校正，以及利用韋伯定律之對比校正。韋伯定律會顧及事實上眼睛對於對比有敏感，在光、線強度1的背景，凝視強度1 +d 1的光度，此比d 1 / 1稱為韋伯

517211 五、發明說明（9) 比，在廣大的光度臨限範圍實際在約2%的常數，極低光線強度和極高光線強度除外。對比校正顧及眼睛的飽和型式，與此事實有關，即例如在高強度區旁的平均強度區，比平均強度區旁的低強度區不好分辨。為顧及此效果，要控制陰極射線管所進行顯示的光線強度之電壓信號，可利用下式表示的所謂韋伯定律校正：

V out L max

Ldi splay -·一 Log10 (1 + 100---) 2 L max 其中L„ax代表最大光線強度，大約等於每平方公尺100濁光 (Lnaxe 100cd/m2)，而 Ldisplay 為所需光線強度。此數學定律是由電子裝置實施，可進行此等計算。舉例而言，此裝置可由與記憶體相關的微處理器建立，含有相當於計算法則之程式。伽瑪校正方面則可避免電視因應，意即管的特性容許顯示。當然，陰極射線管顯示裝置係非線性裝置，而無校正時，在陰極射線監視器映幕上重現的光強度，不與其輸入電壓成比例。伽瑪校正是此項非線性的補正程序，以便以輸入電壓獲得相對應光線強度之正確和呈比例重現。映幕上的影像分成圖素，組織成矩陣，圖素在其中的位置Pij 即以矩陣的指標i和j加以限定。圖素值Pi j代表所需強度。為校正與陰極射線管相關的現象，對此代表電壓之值，應

第14頁 517211 五、發明說明（ίο) 用相當於下式之校正定律： e

L display

Lmax (--

旨在獲得所需光線強度，伽瑪（7)值在2.3和2.6之間，視陰極射線管之特點而定。在此式中，e為圖素p i j值之栅階，e為e的可能最大值，例如2 5 6，若控制信號以8位元表現的話，而Lmax為相當於eEaxW cd/m2計之強度，！>_大約等於100cd/m2 〇伽瑪定律之另一式如下： y = KsVr v = kaE r a 其中y為亮度，V為亮度電壓，E為所分析影像之照明，對黑白映像管7為約2. 2的指數，對彩色電視τ a相當於一般同意的0 . 4 5值，Ks和ka為比例係數。

此伽瑪校正和韋伯操作可將做為預處理電路（la)輸入接收的圖素值，轉型為最後值p’ · lg，遵循相當於第1 b圖所示曲線1之定律。各根源影像（1 0 a)引起複數預處理過圖素p’ aij，而各解瑪影像（10b)同樣引起第二個複數預處理過圖素p’ bij。與此處理操作並行的是，所謂運動估計的第二步驟

第15頁 517211 五、發明說明（11) (2a，2b’第1圖），定耸嫌a 係根據各影像順序；：構之各根源和解碼影像’ 在t和卜丨間進行此口運動場的構成是利用習知計算 Λ ΪΓΓΛΤΓφ/111 ,Book 第47起所述*法丄U傳和貧訊系統"SSex系列、塊配人本,此項對衫像順序的運動估計可用微分法像以：數訊隔成區域（R.. ί %(Vi) ’而影像即可基^運動資之特徵為:事實上此V£域.之二Vn，第ld圖〕’各區域（RW) 向量U彳^實上此£域之所有圖素具有單一相關之速度此項劈裂影像成恒速區域，構成所謂運動場分同樣區祕而附近的運動圖素組合於-體之；Ϊ;如此分段之運動場即更接近影像所代表場景客 :數迷。此項均句化可進行稍微消除雜音，並減Ϊ /數速度Vi的不同運動數，因而減少下一步驟皮器數，以免在包含255 x 2 5 5圖素Pij的影像脈錯 ίίIt存的5)2運動。運動之估計亦可使用依賴摘動之客體邊緣或角…舉提供影像不同位U 運2矾，並使用内插程序對其餘影像面積指定 ^ 。測夏元件角度或邊緣運動之一方式，包含 =向蕙通濾，器，以隔離邊緣，然而使用有賴微分方高 i=夏運動值。邊界的形成可借助低通瀘、波器減衰，^ 低雜矾效應，#以測量大運動。低通濾波器可例如經由；

517211 五、發明說明（12) 列矩陣建立3 X 3維度之矩陣空間。 h

H

高通濾波器可例如經由下列矩陣建立3 X 3維度之矩陣空間： | -0. 125 | -0· 125 | -0. 125 +---+ 一 Η 卜一 | -0.125 | -0.125 Η -0,1251 -0.125 0.125

因此，對估計速度ν列出屬於此區域，即具有此估計速度ν以每度周波數計之影像的圖素Pij，即以第1 d圖的矩陣型式，儲存於裝置之儲存機構内，以便將運動場分段供

第17頁 517211 五、發明說明（13) 隨後使用。程序繼續第4步驟’為各根源（1 〇 a )和解碼（1 0 b )影像並行實施，各包含構成精神視覺濾波器（4a，4b)。此第4步驟例如使用濾波器曲線之資料庫進行，包括複數曲線，如第3圖所示，表示人類因數Η做為運動速度Vi和空間頻率l 的函數之影響，濾波值Η即相當於此等值Vi，f i，若速度Vi 在二曲線（Hv^Hv2)的速度v!*V2之間，裝置可進行内插，以決定相對應值Η。此項内插可例如呈線性。此步驟亦可根據精神視覺影響的分析模式，對指定速度直接計算值Η 為之。渡波的分析模式可例如由下式表示： G( a ,v)=[6.1+7.3|log(v/3),3]x v a 2ex^[-2 a (v+2)/ 45.9] ， a =2 π f 在第5步驟，裝置對頻率域内的濾波值H(fs，v)應用反逆快速F〇urier轉型（fftj，而對頻率域内並與速度v和頻率fs相關的各濾波值H(fs，v)，合成空間域内之濾波值 h(s’v)，可由〔H(fs，v)〕表示，其中 fs 代表細節之特性大小，以每度周波數計期間計，S為解析。 V為其運動，以母移的乂：匕驟2 i各根源影像(5a)和解碼影像⑽)確定的空，域值h，於第6步驟（分別為6a，6b)過程中，應用於各預處理何生的根源影像預處理圖 lr 解碼影像P，bij。 IP aii和預處理何生的

第18頁 517211 五、發明說明（14) ，在各情況下，此第6濾波步驟（6a，61))得一對濾波圖素值P’山和P’ bij」然後用於最後步驟（7)，構成不相稱的矩陣（Disp) ’计异各對圖素值間之二次誤差：

Disp=(P’ afij-p’ bnj)n，n = 2 或其他此矩陣即可對人眼可感受的失真進行客體評鑑，這是由想要估汁的編碼解碼程序所引進。

茲就第2圖說明·本發明第二變化具體例，第2圖表示各種機構可實施第二變化例之方法。為求更加明白，讀者亦可參閱附錄2，表示按照第二變化例實施的方法第j至i j步驟，亦表不透過構成Laplace稜錐的操作，獲得尺寸減旦/在變化例中，第一變化例之前四個步驟應用於根2 影像（l〇a)，、即預校正（la)、構成運動場、分段（3a) 以及構成精神視覺濾波器（4a)。源自根源影像（l〇a)處理 f得i =處理步驟之圖素口…，以及得自解碼影像（i〇b^ c驟之圖素Pbij，各在步驟(51a，5ib)經ι/2十進化濾波（Fw)。此項濾波為低通濾波，可根據代表指的影像Pw之圖像矩陣，獲得次一階n的影像匕。 έ

下關係式表示：了由如

第19頁 517211 五、發明說明（15) P〇為原有影像。以十進位化濾波器為例，可經由如下矩陣建立3 χ 3矩陣空間： h H l· Η 4 l· | — 丄此項利用計算裝置之i /2十進位化濾波操作結果，將代表根源景^像PsQ而大小為m χ η之圖素矩陣，減到大小為 m/2x η/2的1階矩陣Psi，而^階矩陣psn大小為m/2n>< η/2η。同理，此項1 / 2十進位化濾波操作結果，將代表解碼或崩解影像pdQ而大小為mxn之圖素矩陣，減到大小為m/2x η/η2 的1階矩陣Pdl，η階的矩陣Pdn大小為m/2nx η/2η。所以，對各根源和解碼影像而言，計算裝置在其記憶體内儲存η階和次一階η+1。然後’在次一步驟（5 · 2 a，5 · 2 b )中，計算裝置從η階的各影像Ρη推論緊接下-階之影像^，以2d)擴展，而得所謂矩陣的接續，按照下式構成所謂Laplace棱錐：

第20頁：)丄/2丄1

Pn〜E2(PnH)，n<N 而 LN = PN 〇利用Ε2進行的 X η/2)，得大4泛、展#作’包含内插影像ΡηΗ(大小為m/.2 此項擴展之影像。，圖素位置為函^内插操作涉及若干内插矩陣，以要内插的立匕斐十才^ 或崩解二像“ 2 Ϊ ί I建立儲存矩陣之稜錐LSn，對解碼選擇，在上述步辭社击i布一攸雖L1Jn，視濾波器F1/2的周圍定令的頻率帶=所1 =得影像LSn，是在值f，"（n+i) Laplace#所含能量之優良近似值。有關细節Λ 謂高斯棱錐以及有關擴展矩陣之進一步，發矣二可參見〈Uplace式稜錐做為密集電碼影像〉 iqma：/ E通吼會議記錄c〇M 31卷4期532至540頁，月’作者為 P.J· Burt和Ed· H· Adelsen。 1^013(^稜錐（1^，1^)係經由步驟（5.2&，521^所得。在次一步驟中，根據以同樣速度向量（Vi)為特徵，而在應用於根源影像的運動場分段步驟（3)輸出處限定的區域（Riν!)，構成區域影像之多解析稜錐Rn，從原有區域影像R〇起，並按下式對此原有區域影像R()，施加1/2十進位化中庸濾波器G1/2 ··

Rn=G1/2 () 517211 五、發明說明（17) 原有區域影像。有關建立精於此道之士所知中庸濾波器的進一步教示，讀者可參閱I· Pitas和Α·Ν· Venetsaponlos所著《非線性數位渡波器原理和應用》第4章，199〇年，Kluwer學術出版公司出版。 ’ (夕解析）運動稜錐只為根源影像（丨〇 a)產生，而L &和 LDn之圖素值代表在頻率帶内，經由l可有運動。在此步驟中，計算裝置不進行相當於步驟5·2的，意即從緊接次一階n+1的影像^+1減去相當於各階η 狀，擴展2。在此計算步驟中，儲存構成多解 = 矩陣，為Rn的各階η之各圖素獲得局部之運動值。卞之素之窗中庸渡波器，係、由圖素值分級和保有 Χ = 得。遇圖素而於尺寸mx η的圖素Ρη矩陣應用中庸渡波器G 寸m/2x n/2的矩陣Rni1。十進位化操作包含在中庸了传尺 Θ + 、上、… 濾波器。中庸渡波器對影像Rn的效果，與渡波器‘對二！ ’在水平和垂直方向減尺寸2, &非改用習知矩陣象匕同，此即·「中庸」濾波器，意即根據局部統計之分析，波器 LD,

Dif fn= LS, 如此可得矩陣Diffn，各係數表示同階n的根源

517211 五、發明說明（18) =?18〇^稜錐（1^)和解碼1^?13〇^稜錐（1^)之矩陣係數差 ί表階從0至n。在Lapiace稜錐lsa ’圖素值頻率=;一帶:：:之量頻;=一^^ ^二果相加權，以頻率 :定和顧及此活性的相對影響 JJ2驟⑻内，為素Pii的局部影響E ，·由應用於网^异裝置開始時是評估圖果之值所限定，：结果係引起的稜錐間差異計算結

En=(Mffn(Pij))q 此局部影響值容許計算裝置透不活性相對影響之矩陣：貫包下式之電路，決定表 E, Σ.(Ε,) k<n

若 Ek>S，m(Ek):Ek Ek<S，m(Ek) =S 例如S = 0· 5% (Ek可能最大值）。

517211 五、發明說明（19) 在前述變化例中，計算裝置使用含有表示人員因素# 響影像視覺感受的複數濾波曲線之資料庫（BD)，進行濾波步驟4。此等濾波曲線可根據相當於圖素Pij之頻率和速度值，決定此圖素之加權係數Η。因此，對相當幹速度區域 Rn的矩陣Ln之各圖素Pij而言，計算裝置決定之值Η，可加權於相對影響ln。此加權步驟（a)是透過實施下式之計算裝置而得： Τη(Ρϋ) = ίη(Ρίί)χ Η 實施此式可得矩陣之稜錐。當計算裝置之程式從 Lap lace稜錐的η階矩陣選擇圖素，空間頻率fn即相當於此 ri階，而計算裝置可與速度值v相對應之影像Rn圖素相關。使用資料庫與此等資料庫内記錄的曲線，計算裝置即可直接或在二曲線間阿插，決定增益係數II之值。在此第二法中’對相當於頻率量之客體（Laplace稜錐）直接作用。所以，不需切換至空間域，因此全部計算是在頻率域内進行。此值Η可加權於活性（ln)的相對影響。此加權步驟（a)可得應用隨意步驟（丨〇 )之矩陣稜錐，該步驟可應合方向性濾波’以顧及人類注視時較宜之精神視覺方向。因此’由矩陣1\構成的影像可透過方向性濾波器濾波 ’有利於一方向對其他方向之相對性，此等濾波器包含n X η維度係數之矩陣，相當於影像因數1之維度。〇。方向性濾波器矩陣對8維度5 / 5之例如下：

517211

第25頁 517211 五、發明說明（21) 4 5 °方向性濾波器矩陣之例如下：

I I-----Γ | 0.016 | 0 | 卜---+---+ | 0 | 0.023 | h

l·

+ 047

0.023

Η

0.016 I 此方向性濾波步驟（1 0 )的結果，送到合計電路，以便在步驟（11)中藉下式重組多解析稜錐P’ n : Ρ，η:Ε2(Ρ，η+1)+Τη(π<Ν) Ρ Ν=ΤΝ ’ 則得 P — i 一再重複此程序，得P’ ο，代表構成不相稱映像之矩陣。本發明此二變化具體例之步驟，借助微處理機電路實

第26頁 517211 五、發明說明（22) 施，J行適當程式’使其可進行 -- 括儲存機構，更加儲存要執行的程驟。此等電路亦包陣’或中間結果，可預計下一計算^睡圖素矩陣、區域矩或最後結果的濾波器。，’或要應用於中間此用來比較各種編碼器裝置之主感J媽演算的主體效能’和/或測量以，，亦可比較各電政基於此效能，實施本發明一或二處理引起的虛假，可例如藉對編碼的廣域和/二=化具體例之計算參變i體品質測量逆施’以改變編碼。‘ i ?數進行編碼令=數可例如為平均位元率，而局部參^仃您施的廣域間用局部量化間隔。此項逆施在編i夕可例如為邊碼態。^誕差逆施、影像尺寸、G0P(圖像組^局。p置化 M影碟（DVD)或CD-R0M之編碼而言，、、，的1式可為動均句在此情況下，尸、要誤差在臨限以上和疋施亦入可反復進參變壑則計算電路的逆施可操作降低廣域和？ = f像不影之嚴格性。只要誤差低於臨限，由=局部編碼主體測量’即可提高編碼參變數叩路所進行體品；後，在倒數第二次使用由編碼器；下，I估计或測量方法，與客體導向編碼有^象順序的主各種Ϊ用以此裝置實施的方法之一計算裝置在此情況品質。f的一定主體品質，或確保所賦客體r可確保場景化的1最後，估計方法和裝置可改變位於且:之相對主體庵ΐ ί廣播頻道之位元率動態重新定位條i有统計上多工、播的指定和均句主體品f。條件1確保程式第·27 頁 '------- 517211 五、發明說明（23) 凡精於此道之士所知範圍内之其他變化，亦形成本發明精神之一部份。本發明變化具體例包含在例如MPEG型編碼之際，使用解碼影像的編碼/解碼程式所衍生完全巨塊運動向量，做為代表運動場估計之信號。本發明另一變化具體例，包含利用雜訊根源影像代替解碼影像。雜訊根源影像可例如根據添加白色雜訊而構成 (在所有空間頻率帶内隨機變化均勻）。所得不相稱映像，即可視為預計編碼誤差會是最具感受性「前例」（亦即在進行編碼本然之前）的影像區。

此等不相稱映像即可用來實施根源影像的預處理裝置，目的在於防止未來編碼程序中發生虛假或編碼瑕疵。預處理裝置包含例如預濾波電路和/或高頻能量減少電路，在編碼虛假的可視度最低的影像區内，由不相稱映像供應區。此等「前例」不相稱映像可用來進一步減少預計編碼虛假的可視度低於「前例」的區内，編碼所必要的位元率〇

此等「前例」不相稱映像可用來局部測量可以插入根源或解碼影像内，而不會感受到的「隱藏」資訊量（水印

•第28頁 517211 五、發明說明（24)

BLMJL 方法1 步驟1 :預校正影像：映幕之伽瑪校正和對比校正（韋伯定律）。步驟2 :根據根源順序為各影像構成運動場影像。步驟3 :運動場分段。對各影像，即可基於運動資訊，分段成區域。所以各區域（v)之特徵為速度向量v。各（根源或解碼）影像的各圖素，屬於相當於估計速度v (每度周波數）之區域。· 步驟4 :為各區域（v)，根據BDD濾波器{H(fs，Vi)i=1… …N}和内插濾波器，構成相對應精神視覺濾波器。步驟5 ··為各區域（v )，藉反逆F F T合成空間漶波器： h(s, v)=FFT-1[H(fs, v)] 步驟6 :將根源和解碼影像濾波，得二另類影像：

根源F和解碼F 根源/解碼影像之各圖素p，利用濾波器h ( s，v)渡波’相當於P所屬區域（v )，定中於p並應用於根源/解碼影像。步驟7 :構成不相稱映像或精神祝覺誤差

Err=(根源解碼F)n (n = 2，成其他）

第29頁 517211 五、發明說明（25) 附錄2 方法2 步驟1 (見方法1 步驟2 (見方法1 步驟3 (見方法1 步驟4 (見方法1 步驟5 :把根源和解讲旦彡多碼衫像分解成按二步驟構成

Laplace 稜錐 •先由！接前-階（多解析稜錐，第4 位化濾波（低通）獲得各階匕 /2十進P，Fi 氣 J，n>0 p〇=原有影像 •然後’由各階P推名 ^ τ Ί η择何以2擴展之緊接後一陴，；付以Laplace稜錐，第5圖）曼階，而 Ln=Pn~E2(?n+i)> η<Ν Ln= Pw 此次計算可得第4圖之多解析稜 Laplace稜錐Ln圖。，和第5圖之若濾波器Fw選對，影像、為定良好近似值，大約頻率π内所含能量 ❿ 之

第30頁 517211

五、發明說明（26) fn=l/(n+l ) 最後可得二1^口1&〇6稜錐：1^(根源）和[^(解碼）。匕驟6 ·按同樣原理，F1/z改為G1/2l/2十進位化/中濾波器’構成區域影像之多解析稜錐Rn。因此，對 LapUce稜錐(步^ 5)各階之各圖素，可n得局部運動值。步驟7 ·计鼻階對階的稜錐間差異： LD,

Dif fn-LS^ ^ Π·應用頻率遮蔽原理（組織/遮蔽），在頻I f 素？1的相對局部影ίτ較兩頻（fkd的可觀活性所遮蔽。圖 9 ln(Pi)定義為· η ηS“Ek) k<n

En二（Di f fn(pi) )q q = 2為例步驟9 ·將根源以值H(fn，v)，相卷、解碼hphce稜錐濾波。、的各圖素權。田；1内Pi所屬區域（v)，和相對影響1加 517211 五、發明說明（27)

Tn(Pi):zIn(Pi)x Η 步驟1 0 :方向性濾波，顧及人類注視時有利的精神視覺方向，可藉對一方向較有利於其他方向的方向性濾波器 ’將影像I η慮波。步驟11 :構成不相稱映像或精神視覺誤差：多解析稜錐Ρ ’ η經重組： Ρ，η=Ε2(Ρ·，ηΗ)+Τη (η<Ν) Ρ，ν = Τν 不相稱映像相當於Ρ’ 0。

第32頁 517211 g式簡單說a月 i 1 a圖代表製法第一變化例諸步驟之簡圖；第lb圖代表預處理步驟結果之曲線圖；第1 c圖代表根源影像矩陣之簡化圖；第1 d圖代表運動場分段後所得矩陣之簡化圖；第2圖代表製法第二變化例諸步驟之簡圖；第3圖代表相當於人類視力的精神視覺影響之濾波曲線族群，儲存於資料庫内以決定速度； ' 第4圖代表多解析稜錐； ^ 第5圖代表Lapl*ace稜錐。

第·33頁

Claims

517211 ΛΜ 89ΐη^Ί27 申請專利範圍 1 · 種編碼影像品 (a)步驟，處理代曰修正 3同 II 之代映包驟包 > 之之 (b) 步驟，序代表運動影 (c) 步驟，有不同運動場步驟内估計的速度向量之圖 (d) 步驟，精神視覺人員 (e) 步驟， (f) 步驟，表渡波步驟後像者。 2. 如申請專括步驟為，包者。 3. 如申請專括影像（FFT、並包含顧及估係數加權，以相對影響者。 4. 如申請專根據代像場之建立代的各區速度向素；決定或濾波器對處理構成代所得解利範圍含對根利範圍分帶等計迷度便顧慮利範園質之評估古、、+ 表影像之^ ^，包括· < >^號，以獲得處理過之信表編碼I彡你信號像之信號，構成基於根源分段之信號’並將代表量所限ί f素，儲存在就運動場構限疋位址，使其可決定具有不 Yu區域估計速度的為函數應用 m號加以濾波；以及 ϋ像：ί後所得影像的信號，與 “象的仏號’二者之間不相稱的 ϊ yw'影像品質之評估方法’ 原〜‘和解構影像實施前述各項步 d: ?影像品質之評估方法，和所考%之步:車/滤波步驟之前到速ΐ f t率^，以從曲線推論、又口二間頻率對感受運動影像第1項編碼影像品質之評估方法，

第34頁 2002. 08. 30. 034 517211 _案號89103327_年月曰修正_ 六、申請專利範圍其中對代表處理後根源影像與處理過解碼影像的Laplace 稜錐間差異之矩陣，施以精神視覺濾波步驟，係一方面藉丨|代表有關圖素頻率的局部影響，另方面從濾波曲線推知濾 |波係數加權之後進行，考慮到估計速度，以及相當於 Lap 1 ace稜錐位階之頻率帶，圖素於此即屬於根據各區域 %不同速度的影像構成稜錐所得之多解析稜錐者。 ί| 5.如申請專利範圍第1項編碼影像品質之評估方法，名中精神視覺濾波曲線不是由配置成資料庫形式並儲存於 ^系統内之曲線建立，並可根據此等曲線内插，便是利用計 1算機構實施的分析圖所得，使其可計算各曲線者。 : 6.如申請專利範圍第4項編碼影像品質之評估方法，其中不相稱映像之構成步驟，是利用前一步驟所得濾波過多解析稜錐重組為之者。 7. 如申請專利範圍第4項編碼影像品質之評估方法，其中影像處理步驟包括：把根源和解碼影像分解成η階 Laplace稜錐之步驟，以及稜錐間差異之構成步驟者。 8. 如申請專利範圍第1項編碼影像品質之評估方法，其中運動速度或局部值，是由濾波器之可能構造，接著應用構成之濾波器或應用中庸濾波器而得者。 9. 如申請專利範圍第1或4項編碼影像品質之評估方法，其中包括影像預校正步驟，藉進行伽瑪（T )校正和利用韋伯定律（Weber’s law)校正為之者。 1 0.如申請專利範圍第7項編碼影像品質之評估方法，其中伽瑪校正（T)如下：

第35頁 2002. 08. 30. 035 517211 案號 89103327 Λ_η 曰修正六、申請專利範圍 y=KsVr V 二 kaE \ 其中y為亮度，V為亮黑白映像管，指數r 常同意其值為0. 45者 1 1.如申請專利範其中濾波是利用構成資料庫估計之速度，估計過的區域内插而 1 2 .如申請專利範中有關圖素Pi的相素同階的根源稜錐 E n而得者。 1 3.如申請專利範其中I n的計算是使用〇：~ · > 度電壓，Ε為被分析影像之照明，對 s在2. 2左右，而Ta對彩色電視機通〇圍第1項編碼影像品質之評估方法，精神視覺濾波器，相當於根據濾波器並在二濾波器間相當於最接近速度已得者。圍第4項編碼影像品質之評估方法，對局部影響（In)，是藉計算代表有關與解碼稜錐間階對階差異第q次方之圍第1 2項編碼影像品質之評估方法，下式進行者： En Σ ra(Ek) k<n En:(Diffn(Pij))q m ( Ek) =Ek，若 Ek>S

第36頁 2002. 08. 30. 036 517211 案號 89103327 _η 曰修正六、申請專利範圍而 m(Ek)二S，若 Ek<S 例如S = 0.5%(Ek的可能最大值）。 1 4.如申請專利範圍第4項編碼影像品質之評估方法其中濾波包括影像在確定方向之方向性濾波者。 1 5.如申請專利範圍第9項編碼影像品質之評估方法 "其中伽瑪校正是利用實施下式之計算設施進行： e 1 L d i sp1 ay e, e係圖素之柵階值，emax為最大值，若對8位元進行編碼時，為2 5 6，Lmax為相當於emax的強度，以cd/m1 2計者。 1 6.如申請專利範圍第9項編碼影像品質之評估方法，其中韋伯定律是利用進行如下功能的計算設施實施者： V out Lmax L --Log10 (1 + 10 02 L max display -)

第37頁 2002. 08. 30. 037 1 7.如申請專利範圍第1或4項編碼影像品質之評估方法其中精神視覺濾波器之計算，是由實施下式之設施所得 2 者 517211 案號 89103327 _Η 曰修正六、申請專利範圍 v£(a,v) = [6.1 + 7.3(log(v/3)3]x να 2exp [-2 a (v + 2)/45. 9] 1¾中α二27rf=空間頻率，v =速度。 1 8. —種影像編碼方法，使用申請專利範圍第1項之方 |贫法，其特徵為，對編碼參變數逆施精神視覺不相稱之測量 j年，以修改編碼者。 \ 1 9 .如申請專利範圍第1 8項之影像編碼方法，其中算出今的不相稱與臨限相較，以改變編碼裝置之編碼參變數，直 A至超越所需臨限者。 12 2 0 .如申請專利範圍第1 9項之影像編碼方法，其中編碼參變數之一，不是量化間隔，就是影像大小，或是成組映像GOP的型式者。 2 1.如申請專利範圍第1 8項之影像編碼方法，其中不相稱的均勻性，是利用計算裝置分析，以便作用於編碼裝置之編碼參變數者。 2 2.如申請專利範圍第1 8項之影像編碼方法，其中編碼為客體導向之影像不同客體的編碼參變數，係做為恆常所需不相稱之函數加以改變者。 2 3.如申請專利範圍第1 8項之影像編碼方法，其中對配置於編碼裝置之位元率，以多工化進行動態重新配置者。 2 4. —種編碼影像之評估裝置，包括：一機構（la，lb)，處理代表根源影像（10a)和解碼影像（1 Ob)之信號，以獲得處理過的根源影像信號和處理過

第38頁 2002. 08. 30. 038 517211

得解碼影像信號； .、V ώ d , ΔΌ J ^ ΊΛ4 ^ ^ 基於根源和解構順序的各影像估計 ΐ信號，構成代名一機構（3a，3b)，建立代表把運信號；將代表具有不同運動的各區域Ri之影每勿段之信號，孟動場構成步驟内估計的速度向量所定5^素’儲存在就運有不同速度向量之圖素；址’使其可決定肩一機構（4, 5)，決定或計算以區應用之精神視覺人員濾波器；叶的速度為函數一機構（6a，6b)，對各處理過的根解碼影像施加濾波；以及恭衫像和處理過的 1

一機構（7 )’構成代表濾波步驟後 / 與代表濾波步驟後所得解碼影像的信# ^传衫像的信號，的映像者。。a，一者之間不相稍 25·如申請專利範圍第24項之裝置，1 構算出，代表處理後根源影像與處理過/缺利用計算機飞LaPlace稜錐間差異之矩陣’應用精，、衫像的一方面藉代表有關圖素頻率的局部影變，見/慮波機構，係計算出的濾波曲線推知濾波係數加^ ^ $另方面從儲存或計速度，以及相當於LaPlace稜錐位階傻進行慨’考慮到相此即屬於利用根據各區域不同速度的、員率圖素於錐所得之此多解析稜錐者q 又衫像’構成多解析箱

26·如申請專利範圍第24項之裝置，盆構成機構，進行濾波後多解析稜錐之舌;、中不相稱映像之里翅L 〇

517211 案號89103327 年月日修正 ..... ........... \ 六、申請專利範圍 27.如申請專利範圍第24項之裝置，其中處理機構、建立機構、決定機構、構成機構、濾波機構，包含至少一微處理機，與充分含有程式的記憶體有關，使其可具現各種機構，並含計算上必要的資料庫和中間資訊，並獲得不相稱之映像者。 2 8.如申請專利範圍第1項之方法，其中影像係按照 MPEG標準編碼，其特徵為，代表運動影像場的信號之構成步驟，利用影像按照MPEG標準編碼時算出之全巨塊運動向丨量者。 2 9.如申請專利範圍第1項之方法，其中解碼影像係根據添加白色雜訊的根源影像，構成雜訊根源影像者。 '71 3 0.使用申請專利範圍第2 9項之方法，根據不相稱映像，，預計對編碼最敏感「前例」之區域，並以此預計為函數 f對區域編碼者。 :, 31.使用申請專利範圍第29項之方法，做為不相稱映像 T之函數，進行根源影像之預濾波者。 : 32.使用申請專利範園第29項之方法，以局部決定可插 *入影像中資訊量（水印），而不感受到此項添加者。

第40頁 2002. 08. 30. 040