TWI519130B - 以多層連流的形式引起的一序列圖像之顯示方法及裝置 - Google Patents

Description

以多層連流的形式引起的一序列圖像之顯示方法及裝置

本發明係關於一序列圖像之顯示方法和裝置。更具體而言，本發明係關於以多層連流的形式引起的一序列圖像之顯示方法，和如此一序列圖像之顯示裝置。

為容許使用者改變在其終端機顯示的程式，即把第一序列圖像的顯示改變為第二序列圖像的顯示，已知要增加連流，代表隨機存取點(RAP)的第二序列圖像。為提高從代表第一序列圖像之第一連流，快速存取第二連流，必須以密切方式分配於此第二連流隨機存取點。此等解決方案之缺點是，增加插入此等隨機存取點的第二連流之位元率。

此外，已知呈現多層連流形式之一序列圖像，包括基層，代表第一解像度和/或品質的序列圖像，稱為基層圖像，以及至少一增進層，代表在第二解像度和/或品質的該序列圖像，稱為增進層圖像。在使用者要在其終端機顯示的第二序列圖像是呈多層連流形式之特殊情況下，已知在基層和增進層二者均增加隨機存取點。一般而言，隨機存取點分配於基層，以比在增進層更頻繁或相似之方式，以限制多層連流位元率之增加，並加速第二連流之顯示。例如，建議每二秒，或在需要快速存取時每500毫秒，把隨機存取點插入基層內，而平均至少每5秒，把隨機存取點插入增進層內。

當使用者對終端機指示要顯示第二序列圖像，終端機即等待第二序列圖像隨機存取點之到臨。終端機一般包括解碼裝置，連結至顯示裝置(例如機上盒STB連結至SDTV或HDTV螢光幕)。在基層包括的隨機存取點比增進層更頻繁情況下，終端機即把基層資料解碼，直至增進層的隨機存取點到來和解碼。由如此解碼之資料，解碼裝置把基層之相對應圖像重構。此等即在顯示裝置上顯示。俟增進層的隨機存取點解碼後，終端機即把增進層解碼，以重構增進層之圖像。此等再顯示於顯示裝置。

惟如此顯示器就視覺觀點言，不能令人滿意，在增進層的隨機存取點解碼之時刻而言，終端機從基層圖像之顯示，改變成增進層之圖像，相當於品質和/或內容之突然跳移。

本發明之目的，在於補償先前技術之至少一缺點。

為此目的，本發明係關於以多層連流形式引起的一序列圖像之顯示方法，包括基層，代表在第一解像度和/或第一品質之序列圖像，稱為基層圖像，以及至少一增進層，代表在第二解像度和/或第二品質的序列圖像，稱為增進層圖像，基層和增進層包括隨機存取點。此方法包括如下步驟：─從基層的隨機存取點，把基層解碼，至少到增進層隨機存取點之解碼，以重構基層圖像；─顯示基層之重構圖像；─從增進層的隨機存取點，把增進層解碼，以重構增進層之圖像；─顯示增進層之重構圖像。

本發明又包括在顯示前的增進層圖像之處理步驟，其方式是使相當於增進層隨機存取點時刻的基層圖像，與增進層圖像間之圖像內容和/或品質漸進變化。

按照特殊具體例，處理步驟是在跨越從第一解像度和/或第一品質，到第二解像度和/或第二品質的預定時距，逐漸增加的中間解像度和/或品質的增進層各圖像之過濾步驟。

按照特別之特徵，過濾步驟是副取(sub-sampling)步驟。

本發明亦關於以多層連流形式引起的一序列圖像之顯示方法，多層連流包括基層，代表第一解像度和/或第一品質之序列圖像，稱為基層圖像，以及至少一增進層，代表第二解像度和/或第二品質之序列圖像，稱為增進層圖像，基層和增進層包括隨機存取點。此裝置包括：─解碼模組，從基層之隨機存取點，把基層解碼，至少達增進層隨機存取點之解碼，以重構基層圖像，並且從增進層隨機存取點，把增進層解碼，以重構增進層圖像；以及─顯示模組，顯示基層和增進層之重構圖像。

此裝置宜又包括處理模組，處理利用顯示裝置顯示前的增進層圖像，其方式是使相當於增進層隨機存取點時刻的基層圖像，與增進層圖像間之圖像內容和/或其品質漸進變化。

本發明利用附圖所示非限制性具體例和有利實施方式加以說明，即可更為明白。

本發明係關於代表包括至少二層之一序列圖像的多層連流之顯示方法。按照本發明，多層連流之諸層可彼此單獨充分寫碼。多層連流可以是可標度連流，包括基層，代表第一解像度和/或品質之序列圖像，稱為基層圖像，和至少一增進層，代表第二解像度和/或品質之序列圖像，稱為增進層圖像。然而，本發明無論如何不限於此形態，而「多層連流」一辭可以廣義瞭解。亦包含聯播連流和多元觀賞連流。

可標度連流係指例如符合SVC視訊寫碼標準之連流，此標準載於JVT-AC205文件，於2008年10月出版，題目為〈ITU-T Rec. H.264|ISO/IEC 14496-10/Amd.3可標度視訊寫碼聯合草案〉。惟本發明並不限於此標準，可用於任何多層連流，以便在一序列圖像顯示之際，特別是從基層圖像的顯示變成增進層圖像時，改善使用者的視覺舒適。基層圖像的尺寸(w,h)，其中w是寬度，h是高度，而增進層圖像的尺寸(W,H)，其中W是寬度，H是高度。基層圖像的圖像內容可與增進層圖像一致，即使其解像度較低。基層圖像由增進層圖像副取樣所發生，即是此情況。惟圖像內容會與第1圖所示不同。尤其是當基層圖像由增進層圖像再成幅，然後盡可能副取樣，即此情況。如此，基層圖像之圖像內容，即相當於增進層只有相對應圖像一部份的圖像內容。此部份是以修剪窗尺寸(w’,h’)為界，其中w’為修剪窗寬度，h’為高度。

按照參照第2和3圖所示第一具體例，在步驟100，基層是由其隨機存取點(相當於第3圖之時間T1)解碼，至少到增進層隨機存取點(相當於第3圖中的時間T2)解碼為止，以重構基層圖像。若多層連流符合SVC標準，則基層圖像是按照JVT-AC205文件〈ITU-T Rec.H.264｜ISO/IEC 14496-10/Amd.3可標度視訊寫碼〉所載H.264/MPEG-4 AVC解碼方法重構。

在步驟110顯示基層之重構圖像。此步驟需要基層圖像的空間性過濾，置於顯示裝置之解像度。此特別情況是，基層圖像在720p格式，必須在1080p高解像度(HD)格式的螢光幕上顯示。在此特別情況下，基層圖像在顯示之前，必須向上取樣。

在步驟120，若增進層的隨機存取點被解碼，則此方法在步驟130繼續，否則回到步驟100。

在步驟130，增進層由隨機存取點(相當於第3圖之時間T2)解碼，重構增進層圖像。若多層連流是符合SVC標準之可標度連流，則增進層圖像按照JVT-AC205文件〈ITU-TRec.H.264｜ISO/IEC 14496-10/Amd.3可標度視訊寫碼〉附錄G所載SVC解碼方法重構。

在步驟140，處理增進層之重構圖像。在跨越預定時期內，例如500ms，漸進副取樣。在第3圖的時間T2和時間T3之間，進行漸進處理。時間T2相當於增進層第一隨機存取點之解碼。時間T3相當於增進層另一隨機存取點之解碼，惟亦可相當於如此隨機存取點。時間T3相對於T2，界定增進層圖像之處理時間，所以是介於可能在時間T2或之前的基層圖像，和可能在時間T3或之後的增進層圖像，中間的漸進 過渡期。此步驟140得以在增進層隨機存取點時間T2或之前的基層圖像，與在時間T3或之後的增進層圖像，中間漸進發生顯示。因此，在時間T2重構的第一增進圖像，以基層圖像之尺寸(w,h)副取樣。增進層後續圖像以尺寸(w+dw,h+dh)副取樣，其尺寸即比基層圖像稍大。為此目的，可用例如16相的Lanczos多相濾波器。對增進層的各重構圖像重複此方法，每次副取樣後，增加圖像尺寸，直到增進層圖像之尺寸(H,W)為止。在增進層之各新圖像，副取樣圖像尺寸可增加dh高度圖元，和dw寬度圖元，例如dh=4，和dw=4。因此，在基層圖像和增進層圖像間顯示的圖像品質，跨越T2和T3間之時期漸進增加，而不是在時間T2，從基層圖像顯示，突然變化到增進層圖像顯示。

在步驟150顯示增進層處理過的圖像。此步驟需對增進層經處理過之圖像加以空間性處理，置於顯示裝置之解像度。此特別情況是，增進層處理過圖像解像度，比其必須顯示之螢光幕為低。在此特別情況下，增進層處理過圖像，即在副取樣之後，於顯示之前加以向上取樣。

基層和增進層圖像之圖像內容一致時，宜使用此具體例，即不用再成幅工具，由增進層圖像產生基層圖像，如第1圖所示。

按照參見第4和5圖所示第二具體例，在步驟100，基層係由其隨機存取點之一(相當於第5圖內之時間T1)解碼，至少到增進層隨機存取點(相當於第5圖內之時間T2)解碼為止，以重構基層圖像。

在步驟110顯示基層之重構圖像。此步驟需要基層圖像的空間性過濾，置於顯示裝置之解像度。此特別情況是，基層圖像在720p格式，必須在1080p高解像度(HD)格式的螢光幕上顯示。在此特別情況下，基層圖像在顯示之前，必須向上取樣。

在步驟120，若增進層的隨機存取點被解碼，則此方法 在步驟130繼續，否則回到步驟100。

在步驟130，增進層由隨機存取點(相當於第5圖之時間T2)解碼，重構增進層圖像。

在步驟140，處理增進層之重構圖像。在跨越預定時期內，例如500ms，漸進再成幅。在第5圖的時間T2和時間T3之間，進行漸進處理。時間T2相當於增進層第一隨機存取點之解碼。時間T3相當於增進層另一隨機存取點之解碼，惟亦可相當於如此隨機存取點。時間T3相對於T2，界定增進層圖像之處理時間，所以是介於可能在時間T2或之前的基層圖像，和可能在時間T3或之後的增進層圖像，中間的漸進過渡期。此步驟140得以在增進層隨機存取點時間T2或之前的基層圖像，與在時間T3或之後的增進層圖像，中間漸進發生顯示。因此，在時間T2重構的第一增進圖像，以基層圖像之尺寸(w,h)再成幅。在此情況下，尺寸(w,h)的修剪窗，位於增進層圖像內，使其內容與相對應基層圖像之圖像內容一致，或至少很接近。按照特殊具體例，在時間T2與增進層圖像關聯的修剪窗之位置和尺寸，係由在其內傳輸之多層連流解碼。如果多層連流係符合SVC視訊寫碼標準之可標度連流，即特別是此情況。

增進層後續圖像以尺寸(w+dw,h+dh)再成幅，其尺寸即比基層圖像稍大。對增進層的各重構圖像重複此方法，每次增加修剪窗尺寸，直到增進層圖像之尺寸(H,W)為止。在增進層之各新圖像，修剪窗尺寸可增加dh高度圖元，和dw寬度圖元，例如dh=4，和dw=4。因此，在基層圖像和增進層圖像間顯示的額外圖像內容，跨越T2和T3間之時期漸進增加，而不是在時間T2，從基層圖像顯示，直接變化到增進層圖像顯示，而突然加入。

在步驟150顯示增進層之再成幅圖像。此步驟需對增進層再成幅圖像加以空間性處理，置於顯示裝置之解像度。此特別情況是，增進層再成幅圖像解像度，比其必須顯示之螢 光幕為低。在此特別情況下，增進層再成幅圖像，即在顯示之前加以向上取樣。

按照參見第6圖所示第三具體例，在步驟100，基層係由其隨機存取點之一(相當於第3圖及第5圖內之時間T1)解碼，至少到增進層隨機存取點(相當於第3圖及第5圖內之時間T2)解碼為止，以重構基層圖像。

在步驟110顯示基層之重構圖像。此步驟需要基層圖像的空間性過濾，置於顯示裝置之解像度。此特別情況是，基層圖像在720p格式，必須在1080p高解像度(HD)格式的螢光幕上顯示。在此特別情況下，基層圖像在顯示之前，必須向上取樣。

在步驟120，若增進層的隨機存取點被解碼，則此方法在步驟130繼續，否則回到步驟100。

在步驟130，增進層由隨機存取點(相當於第3圖及第5圖之時間T2)解碼，重構增進層圖像。

在步驟140，處理增進層之圖像。在跨越預定時期內，例如500ms，漸進再成幅和副取樣。在第3圖及第5圖的時間T2和時間T3之間，進行漸進處理。時間T2相當於增進層第一隨機存取點之解碼。時間T3相當於增進層另一隨機存取點之解碼，惟亦可相當於如此隨機存取點。時間T3相對於T2，界定增進層圖像之處理時間，所以是介於可能在時間T2或之前的基層圖像，和可能在時間T3或之後的增進層圖像，中間的漸進過渡期。此步驟140得以在增進層隨機存取點時間T2或之前的基層圖像，與在時間T3或之後的增進層圖像，中間漸進發生顯示。因此，在時間T2重構的第一增進圖像，以按照第1圖所示方法用來發生基層圖像的修剪窗尺寸(w’,h’)再成幅。在此情況下，尺寸(w’,h’)之修剪窗位於增進層圖像內，使內容與相對應基層的圖像內容一致，或至少很接近。按照特殊具體例，在時間T2與增進層圖像關聯之修剪窗位置和尺寸，係由在其內傳輸的多層連流解碼。若多層連流 係符合SVC視訊寫碼標準之可標度連流，即此特別情況。

增進層之圖像以此方式再成幅，然後在基層圖像的尺寸(w,h)被副取樣。

增進層後續圖像以尺寸(w’+dw,h’+dh)再成幅，然後以尺寸(w+dw,h+dh)副取樣。對增進層的各重構圖像重複此方法，每次增加修剪窗和副取樣尺寸，直到增進層圖像之尺寸(H,W)為止。因此，在基層圖像和增進層圖像間的附加圖像內容，跨越T2和T3間之時期漸進加入，而不是在時間T2，從基層圖像顯示，直接變化到增進層圖像顯示，而突然加入。同理，基層圖像和增進層圖像間顯示的圖像品質，也是在跨越T2和T3間之時期漸進增加，而不是在時間T2，由基層圖像直接改變為增進層圖像，而突然改變。

在步驟150顯示增進層處理過的圖像。此步驟需對增進層經處理過，圖像加以空間性處理，置於顯示裝置之解像度。此特別情況是，增進層處理過圖像解像度，比其必須顯示之螢光幕為低。在此特別情況下，增進層再成幅圖像，即在顯示之前加以向上取樣。

基層和增進層圖像之圖像內容不同時，宜使用後述此二具體例，特別是當基層圖像係僅由增進層部份圖像所發生，該部份係以在增進層內以修剪窗為界，如第1圖所示。

按照參見第7圖所示第四具體例，在步驟100，基層係由其隨機存取點之一(相當於第3圖及第5圖內之時間T1)解碼，至少到增進層隨機存取點(相當於第3圖及第5圖內之時間T2)解碼為止，以重構基層圖像。

在步驟110顯示基層之重構圖像。此步驟需要基層圖像的空間性過濾，置於顯示裝置之解像度。此特別情況是，基層圖像在720p格式，必須在1080p高解像度(HD)格式的螢光幕上顯示。在此特別情況下，基層圖像在顯示之前，必須向上取樣。

在步驟120，若增進層的隨機存取點被解碼，則此方法 在步驟130繼續，否則回到步驟100。

在步驟130，增進層由隨機存取點(相當於第3圖及第5圖之時間T2)解碼，重構增進層圖像。

在步驟140，處理增進層之圖像。在跨越預定時期內，例如500ms，漸進過濾。在第3圖及第5圖的時間T2和時間T3之間，進行漸進處理。時間T2相當於增進層第一隨機存取點之解碼。時間T3相當於增進層另一隨機存取點之解碼，惟亦可相當於如此隨機存取點。時間T3相對於T2，界定增進層圖像之處理時間，所以是介於可能在時間T2或之前的基層圖像，和可能在時間T3或之後的增進層圖像，中間的漸進過渡期。此步驟140得以在增進層隨機存取點時間T2或之前的基層圖像，與在時間T3或之後的增進層圖像，中間漸進發生顯示。因此，在時間T2重構的第一增進圖像經過濾，得與基層圖像相近似之品質。此項過濾是在任意低解像度(w”,h”)副取樣，接著以解像度(W,H)向上取樣為之。

增進層後續圖像經過濾，得中間品質，介於基層圖像和增進層圖像之間。此項過濾是在低解像度(w”+dw”,h”+dh”)副取樣，再於解像度(W,H)向上取樣為之。對增進層的各重構圖像重複此方法，每次提高過濾圖像品質，直到增進層圖像之品質為止。因此，在基層圖像和增進層圖像間的圖像品質，跨越T2和T3間之時期漸進改善，而不是在時間T2，從基層圖像顯示，直接變化到增進層圖像顯示。

當基層和增進層的解像度相同，即(w,h)=(W,H)，但基層圖像品質和/或真實度，與原有序列(亦稱原始序列)圖像相較，低於增進層圖像時，宜使用此具體例。增進層圖像在T2和T3間的過渡時期進行漸進處理，使處理過的圖像品質，在時間T2或之前的基層圖像品質，與時間T3或之後的增進層圖像品質之間，漸進提高。

此四個具體例有益於改善顯示器上之視覺舒適。誠然，基層圖像和增進層圖像顯示之過渡期間，就內容和/或品質而言，即原始序列之圖像真實度是漸進式。須知就此四具體例而言，可在時間T2顯示相對應基層之圖像，或處理過的增進層之圖像。同理，可在時間T3顯示處理過的增進層圖像，或增進層相對應圖像。

本發明宜用來改善視覺觀點之顯示，若使用者要從第一序列顯示改變到第二顯示。因此，參見第8和9圖，使用者在步驟70指示從圖像A序列顯示，要改變到圖像B序列顯示，以多層式表示。

在步驟80，若為基層把隨機存取點解碼，則此方法繼續步驟100，否則繼續步驟90。

在步驟90，預界定圖像在螢光幕上顯示，只要基層之隨機存取點尚未解碼。步驟100至150，與前述具體例之一的步驟100至150一致，故不再贅述。

預界定圖像係例如黑色形象，或在接到使用者改變序列意願的訊號前所顯示A序列之最後圖像。

本發明亦關係到第10圖所示顯示裝置20。顯示裝置20包括輸入200，有能力接受圖像序列Seq A、Seq B和Seq C。顯示裝置亦能夠在此輸入接受指示使用者要看哪一圖像序列顯示之訊號Sig。顯示裝置20又包括連接於輸入200之解碼模組，把多層連流解碼，以重構基層圖像和增進層圖像。特別是，解碼模組210適於實施本發明具體例之一的步驟100、120和130。又包括連接於解碼模組210之處理模組220，按照本發明具體例之一的方法步驟140顯示之前，對增進層圖像進行處理。處理模組220連接至顯示模組230，適於在顯示模組230的螢光幕上，顯示基層圖像，以及增進層圖像。顯示模組230適於在必要時，把從處理模組220接受的圖像，以空間性過濾，使其尺寸適於螢光幕。一般而言，顯示模組230對從處理模組220接受的圖像，進行向上取樣。

W,w,w’．．．寬度

H,h,h’．．．高度

70．．．從圖像A序列顯示改變到圖像B序列顯示步驟

80．．．基層隨機存取點解碼之判斷步驟

90．．．預界定圖像在螢光幕上顯示步驟

100．．．基層解碼/重構步驟

110．．．基層重構圖像之顯示步驟

120．．．增進層隨機存取點解碼之判斷步驟

130．．．增進層解碼/重構步驟

140．．．增進層圖像之處理步驟

150．．．增進層重構圖像之顯示步驟

20．．．顯示裝置

200．．．輸入

210．．．解碼模組

220．．．處理模組

230．．．顯示模組

第1圖表示多層連流的增進層圖像和基層圖像，以及修剪窗；

第2圖表示本發明第一具體例顯示方法之方塊圖；

第3圖表示本發明第一具體例顯示方法；

第4圖表示本發明第二具體例顯示方法之方塊圖；

第5圖表示本發明第二具體例顯示方法；

第6圖表示本發明第三具體例顯示方法之方塊圖；

第7圖表示本發明第四具體例顯示方法之方塊圖；

第8圖表示使用本發明顯示方法改變圖像序列之方法；

第9圖表示使用本發明顯示方法改變圖像序列之方法之方塊圖；

第10圖表示本發明顯示裝置。

100．．．基層解碼/重構步驟

110．．．基層重構圖像之顯示步驟

120．．．增進層隨機存取點解碼之判斷步驟

130．．．增進層解碼/重構步驟

140．．．增進層圖像之處理步驟

150．．．增進層重構圖像之顯示步驟

Claims (3)

1. 一種以多層連流的形式編碼成一序列圖像之顯示方法，多層連流包括基層，代表該序列在第一解像度和/或第一品質的之圖像，稱為基層圖像，以及至少一增進層，代表該序列在第二解像度和/或第二品質之圖像，稱為增進層圖像，該基層和增進層包括隨機存取點，此方法包括如下步驟：-從基層的隨機存取點，把基層解碼(100)，至少達增進層的隨機存取點之解碼，以重構基層之圖像；-顯示(110)該基層重構圖像；-由該增進層隨機存取點，把增進層解碼(130)，以重構增進層圖像；-顯示(150)該增進層重構圖像；此方法之特徵為，又包括再成幅步驟(140)，在顯示之前，利用修剪窗把該增進層圖像再成幅，其尺寸係在與基層圖像關聯的修剪窗尺寸，和增進層圖像尺寸之間漸進提高，跨越時距之起點，即增進層隨機存取點者。
2. 如申請專利範圍第1項之方法，其中該處理步驟(140)又包括副取樣步驟者。
3. 一種以多層連流的形式編碼成一序列圖像之顯示裝置，多層連流包括基層，代表該序列在第一解像度和/或第一品質的之圖像，稱為基層圖像，以及至少一增進層，代表該序列在第二解像度和/或第二品質之圖像，稱為增進層圖像，該基層和增進層包括隨機存取點，此裝置包括：-解碼模組(210)，由基層之隨機存取點，把基層解碼，至少到增進層的隨機存取點解碼為止，以重構基層圖像，並由增進層之隨機存取點，把增進層解碼，以重構增進層圖像；-顯示模組(230)，以顯示基層和增進層之該重構圖像；此裝置之特徵為，又包括處理模組(220)，在利用顯示模組加 以顯示之前，利用修剪窗把該增進層再成幅，其尺寸是在與基層圖像關聯的修剪窗尺寸，與增進層圖像尺寸之間漸進提高，跨越時距的起點即增進層之隨機存取點者。