TW201332365A - 影像處理裝置及影像處理方法 - Google Patents

影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TW201332365A
TW201332365A TW101142619A TW101142619A TW201332365A TW 201332365 A TW201332365 A TW 201332365A TW 101142619 A TW101142619 A TW 101142619A TW 101142619 A TW101142619 A TW 101142619A TW 201332365 A TW201332365 A TW 201332365A
Authority
TW
Taiwan
Prior art keywords
image
unit
prediction
information
layer
Prior art date
Application number
TW101142619A
Other languages
English (en)
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201332365A publication Critical patent/TW201332365A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Abstract

〔課題〕在會編碼出複數串流的影像編碼方式中，更有效率地將畫面內預測所需之參數予以編碼。〔解決手段〕提供一種影像處理裝置，其係具備：解碼部，係從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊；和第1預測部，係使用被前記解碼部所解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測；和第2預測部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記第1預測部所使用之前記MostProbableMode資訊，來進行畫面內預測。

Description

影像處理裝置及影像處理方法
本揭露係有關於影像處理裝置及影像處理方法。
用來壓縮數位影像之資料大小所需的影像編碼方式中甚為重要之技術之一，係為畫面內預測，亦即intra預測。畫面內預測，係利用影像內彼此相鄰區塊間的相關性，根據相鄰的其他區塊的像素值來預測某區塊內之像素值，以削減所被編碼之資訊量的技術。在MPEG4以前的影像編碼方式中，僅把正交轉換係數的直流成分及低頻成分，當作畫面內預測的對象。相對於此，在H.264/AVC(Advanced Video Coding)中則是針對所有成分均能進行畫面內預測。藉由採用畫面內預測，例如藍天的影像，針對這類像素值的變化緩和之影像，可期待壓縮率的大幅提升。
在畫面內預測之際，通常會從複數預測模式中，選擇出最適合用來預測預測對象區塊之像素值的預測模式。預測模式，就典型而言，可藉由從參照像素往預測對象像素的預測方向來作區別。作為H.264/AVC之後繼的次世代影像編碼方式而正朝標準化邁進的HEVC中，預定會採用如下記非專利文獻1所記載的角度畫面內預測(Angular Intra Prediction)法。若依據角度畫面內預測法，則例如針對8×8像素、16×16像素或32×32像素之尺寸的亮度之 預測單位(PU：Prediction Unit)，可選擇對應於33種類之預測方向的預測模式。
MostProbableMode，係為了降低畫面內預測之預測模式資訊的編碼量而被導入的機制。在H.264/AVC中，係把左及上方的相鄰區塊的預測模式當中的模式號碼較小者，視為預測對象之區塊(預測單位)的MostProbableMode。相對於此，在HEVC中則提議了，左及上方的相鄰區塊當中具有應被視為MostProbableMode之預測模式的相鄰區塊的位置，是每一預測單位地以索引資訊來表示(參照下記非專利文獻2)。藉此，可利用MostProbableMode的預測單位之比率會增加，可期待編碼效率的提升。
另一方面，在將來的影像編碼方式中甚為重要的1個技術，係為可調式編碼(亦稱作SVC(Scalable Video Coding))。所謂可調式編碼，係指將用來傳輸粗糙影像訊號之圖層與用來傳輸精細影像訊號之圖層，予以階層式編碼的技術。在可調式編碼中被階層化的典型之屬性，主要有以下3種類。
-空間可調性：空間解析度或影像尺寸會被階層化。
-時間可調性：畫格速率會被階層化。
-SNR(Signal to Noise Ratio)可調性：SN比(訊噪比)會被階層化。
再者，雖然標準規格中並未採用，但位元深度可調性及色度格式可調性亦有被討論。
可調式編碼中所被編碼的複數圖層，一般而言是映出 共通的場景。針對共通的場景而編碼出複數個串流這點，不只在可調式編碼，在立體視覺影像所須的多重視點編碼、及交錯式編碼中，也同樣如此。
〔先前技術文獻〕 〔非專利文獻〕
[非專利文獻1] Kemal Ugur, et al., “Description of video coding technology proposal by Tandberg, Nokia, Ericsson”, JCTVC-A119, 2010年4月
[非專利文獻2] Mei Guo, Xun Guo, Shawmin Lei, “Improved Intra Mode Coding”, JCTVC-D166, 2011年1月
然而，在可調式編碼中針對每一圖層而個別地將參數予以編碼，站在編碼效率的觀點來看，並非最佳。若能在上位圖層中再次利用下位圖層的參數，就可削減上位圖層所需的編碼量，可提高編碼效率。在多重視點編碼及交錯式編碼中也同樣如此。
因此，在會編碼出複數串流的影像編碼方式中，希望能提供一種能夠更有效率地將畫面內預測所需之參數予以編碼的機制。
若依據本揭露，則可提供一種影像處理裝置，其係具 備：解碼部，係從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊；和第1預測部，係使用被前記解碼部所解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測；和第2預測部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記第1預測部所使用之前記MostProbableMode資訊，來進行畫面內預測。
上記影像處理裝置，典型而言係可被實現成為將影像予以解碼的影像解碼裝置。
又，若依據本揭露，則可提供一種影像處理方法，其係含有：從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊之步驟；和使用已被解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測之步驟；和針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記MostProbableMode資訊來進行畫面內預測之步驟。
又，若依據本揭露，則可提供一種影像處理裝置，其係具備：第1判定部，係針對與共通之場景建立關連的2個以上之圖像當中的第1圖像內的第1預測單位，判定MostProbableMode是否有效；和第1編碼部，係隨應於前 記第1判定部所作的判定結果，而將關於前記第1預測單位的MostProbableMode資訊，編碼至前記第1圖像之編碼串流內；和第2判定部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，判定使用前記MostProbableMode資訊而被特定之參照預測模式是否有效視為MostProbableMode。
上記影像處理裝置，典型而言係可被實現成為將影像予以編碼的影像編碼裝置。
又，若依據本揭露，則可提供一種影像處理方法，其係含有：針對與共通之場景建立關連的2個以上之圖像當中的第1圖像內的第1預測單位，判定MostProbableMode是否有效之步驟；和隨應於前記判定之結果，將關於前記第1預測單位的MostProbableMode資訊，編碼至前記第1圖像之編碼串流內之步驟；和針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，判定使用前記MostProbableMode資訊而被特定之參照預測模式是否有效視為MostProbableMode之步驟。
若依據本揭露所述之技術，則在會編碼出複數串流的影像編碼方式中，能夠更有效率地將畫面內預測所需之參數予以編碼。
以下，一邊參照添附圖面，一邊詳細說明本揭露的理想實施形態。此外，於本說明書及圖面中，關於實質上具有同一機能構成的構成要素，係標示同一符號而省略重複說明。
又，說明是按照以下順序進行。
1.概要
2.一實施形態所述之編碼部之構成例
3.一實施形態所述之編碼時之處理的流程
4.一實施形態所述之解碼部之構成例
5.一實施形態所述之解碼時之處理的流程
6.對各種影像編碼方式之適用
7.應用例
8.總結
<1.概要>
在本節中係以對可調式編碼之適用為例，說明一實施形態所述之影像編碼裝置及影像解碼裝置的概要。此外，本說明書中所說明之這些裝置的構成，係亦可同等地適用於多重視點編碼及交錯式編碼。
於可調式編碼中，係編碼出分別含有一連串影像的複數圖層。基礎圖層(base layer)，係為最初被編碼、呈現最粗糙之影像的圖層。基礎圖層的編碼串流，係可不必解碼其他圖層之編碼串流，就能獨立被解碼。基礎圖層以外的圖層，稱作增強圖層(enhancement layer)，是用來 呈現更精細之影像的圖層。增強圖層的編碼串流，係使用基礎圖層的編碼串流中所含之資訊，而被編碼。因此，為了重現增強圖層之影像，基礎圖層及增強圖層雙方之編碼串流會被解碼。在可調式編碼中所操作的圖層的數目，係為2以上之任意數即可。當有3個以上的圖層被編碼時，最下位的圖層係為基礎圖層，其餘的複數圖層則為增強圖層。較上位的增強圖層之編碼串流，係可使用較下位的增強圖層或基礎圖層之編碼串流中所含之資訊，而被編碼及解碼。在本說明書中，在具有依存關係的至少2個圖層中，將被依存側的圖層稱作下位圖層(lower layer)，將依存側的圖層稱作上位圖層(upper layer)。
圖1係圖示了，被進行可調式編碼的3個圖層L1、L2及L3。圖層L1係為基礎圖層，圖層L2及L3係為增強圖層。此外，此處，在各樣種類的可調性當中，是以空間可調性為例子。圖層L2相對於圖層L1的空間解析度之比，係為2：1。圖層L3相對於圖層L1的空間解析度之比，係為4：1。圖層L1的區塊B1，係為基礎圖層的圖像內的預測單位。圖層L1的區塊N1U及N1L，係分別為區塊B1的上及左方之相鄰區塊。圖層L2的區塊B2，係為映出與區塊B1共通之場景的增強圖層的圖像內的預測單位。區塊B2係對應於圖層L1的區塊B1。圖層L2的區塊N2U及N2L，係分別為區塊B2的上及左方之相鄰區塊。圖層L3的區塊B3，係為映出與區塊B1及B2共通之場景的更為上位的增強圖層的圖像內的預測單位。區塊B3係對 應於圖層L1的區塊B1及圖層L2的區塊B2。圖層L3的區塊N3U及N3L，係分別為區塊B3的上及左方之相鄰區塊。
於此種圖層結構中，某圖層的圖像內之影像之空間相關，通常是類似於，與共通之場景建立關連之其他圖層的圖像內之影像之空間相關。例如，若圖層L1中區塊B1與相鄰區塊N1L之間的相關較強時，則可預測圖層L2中區塊B2與相鄰區塊N2L之間的相關會較強，圖層L3中區塊B3與相鄰區塊N3L之間的相關會較強。因此，若要將依存於影像之空間相關而決定的參數亦即MostProbableMode資訊，在圖層間做再次利用，則應該能夠有效削減編碼量。圖層間的影像之空間相關係為類似，這點在SNR可調性及位元深度可調性中也是同樣如此。
此外，所謂某圖層之區塊所對應的其他圖層之區塊係指，例如，具有與某圖層之區塊內的所定位置(例如左上)之像素相對應之像素的其他圖層之區塊。藉由如此定義，例如假設有將下位圖層之複數區塊予以統合的這種上位圖層之區塊存在，仍可唯一地決定對應於上位圖層之區塊的下位圖層之區塊。
圖2係支援可調式編碼的一實施形態所述之影像編碼裝置10之概略構成的區塊圖。參照圖2，影像編碼裝置10係具備：第1圖像編碼部1a、第2圖像編碼部1b、圖層間緩衝區2及多工部3。
第1圖像編碼部1a，係將基礎圖層影像予以編碼，生 成基礎圖層之編碼串流。第2圖像編碼部1b，係將增強圖層影像予以編碼，生成增強圖層之編碼串流。圖層間緩衝區2，係將被圖層間再次利用之參數，予以暫時記憶。多工化部3係將第1圖像編碼部1a所生成之基礎圖層之編碼串流、和第2圖像編碼部1b所生成之1個以上的增強圖層之編碼串流，進行多工化，生成多重圖層的多工化串流。
圖3係支援可調式編碼的一實施形態所述之影像解碼裝置60之概略構成的區塊圖。參照圖3，影像解碼裝置60係具備：逆多工部5、第1圖像解碼部6a、第2圖像解碼部6b及圖層間緩衝區7。
逆多工部5，係將多重圖層之多工化串流進行逆多工化，成為基礎圖層之編碼串流及1個以上的增強圖層之編碼串流。第1圖像解碼部6a，係從基礎圖層之編碼串流，解碼出基礎圖層影像。第2圖像解碼部6b，係從增強圖層之編碼串流，解碼出增強圖層影像。圖層間緩衝區7，係將被圖層間再次利用之參數，予以暫時記憶。
於圖2所例示的影像編碼裝置10中，基礎圖層之編碼所需的第1圖像編碼部1a之構成，和增強圖層之編碼所需的第2圖像編碼部1b之構成，係為彼此類似。這些構成之間的相異點之1係為，關於畫面內預測，第2圖像編碼部1b是利用第1圖像編碼部1a所做的基礎圖層之編碼處理的結果，來進行增強圖層之編碼處理這點。於是，在下節中，在說明了第1圖像編碼部1a及第2圖像編碼 部1b之構成的共通部分之後，特別以畫面內預測為重點來詳細說明構成之間的關係性。
同樣地，於圖3所例示的影像解碼裝置60中，基礎圖層之解碼所需的第1圖像解碼部6a之構成，和增強圖層之解碼所需的第2圖像解碼部6b之構成，係為彼此類似。這些構成之間的相異點之1係為，關於畫面內預測，第2圖像解碼部6b是利用第1圖像解碼部6a所做的基礎圖層之解碼處理的結果，來進行增強圖層之解碼處理這點。於是，在更下節中，在說明了第1圖像解碼部6a及第2圖像解碼部6b之構成的共通部分之後，特別以畫面內預測為重點來詳細說明構成之間的關係性。
<2.一實施形態所述之編碼部之構成例> 〔2-1.整體的構成例〕
圖4A係圖2所示之第1圖像編碼部1a之構成之一例的區塊圖。參照圖4A，第1圖像編碼部1a係具備：排序緩衝區12、減算部13、正交轉換部14、量化部15、可逆編碼部16a、積存緩衝區17、速率控制部18、逆量化部21、逆正交轉換部22、加算部23、去區塊濾波器24、畫格記憶體25、選擇器26及27、運動探索部30、以及畫面內預測部40a。
排序緩衝區12，係將一連串影像資料中所含之影像，予以排序。排序緩衝區12，隨應於編碼處理所涉及之GOP(Group of Pictures)結構而將影像予以排序後，將 排序後的影像資料，輸出至減算部13、運動探索部30及畫面內預測部40a。
對減算部13係供給著，從排序緩衝區12所輸入的影像資料、及從之後所說明的運動探索部30或畫面內預測部40a所輸入的預測影像資料。減算部13，係算出從排序緩衝區12所輸入之影像資料與預測影像資料的差分亦即預測誤差資料，將所算出的預測誤差資料，輸出至正交轉換部14。
正交轉換部14，係針對從減算部13所輸入之預測誤差資料，進行正交轉換。正交轉換部14所執行的正交轉換，係可為例如離散餘弦轉換(Discrete Cosine Transform：DCT)或卡忽南-拉維轉換等。正交轉換部14，係將藉由正交轉換處理而被取得的轉換係數資料，輸出至量化部15。
對量化部15係供給著，從正交轉換部14所輸入的轉換係數資料，及從後面說明之速率控制部18所送來的速率控制訊號。量化部15，係將轉換係數資料予以量化，將量化後之轉換係數資料(以下稱作量化資料)，輸出至可逆編碼部16a及逆量化部21。又，量化部15係基於來自速率控制部18的速率控制訊號來切換量化參數(量化尺度)，就可改變被輸入至可逆編碼部16a的量化資料的位元速率。
可逆編碼部16a，係針對從量化部15所輸入之基礎圖層的量化資料來進行可逆編碼處理，以生成基礎圖層之編 碼串流。可逆編碼部16a所做的可逆編碼，係可為例如可變長度編碼、或算術編碼等。又，可逆編碼部16a，係將從選擇器27所輸入之畫面內預測之相關資訊或畫面間預測之相關資訊，多工化至編碼串流的標頭領域內。然後，可逆編碼部16a係將已生成之編碼串流，輸出至積存緩衝區17。
被可逆編碼部16a所編碼的畫面內預測之相關資訊，係可含有例如基礎圖層之預測模式資訊及MostProbableMode資訊。關於這些資訊，在後面還會說明。
積存緩衝區17，係將從可逆編碼部16a所輸入之編碼串流，使用半導體記憶體等之記憶媒體而予以暫時積存。然後，積存緩衝區17，係將已積存之編碼串流，以符合傳輸路之頻寬的速率，輸出至未圖示的傳輸部(例如通訊介面或與周邊機器之連接介面等)。
速率控制部18，係監視著積存緩衝區17的剩餘容量。然後，速率控制部18係隨應於積存緩衝區17的剩餘容量而生成速率控制訊號，將所生成之速率控制訊號，輸出至量化部15。例如，速率控制部18係當積存緩衝區17之剩餘容量較少時，則生成用來降低量化資料之位元速率用的速率控制訊號。又，例如，速率控制部18係當積存緩衝區17之剩餘容量夠大時，則生成用來提高量化資料之位元速率用的速率控制訊號。
逆量化部21，係針對從量化部15所輸入之量化資 料，進行逆量化處理。然後，逆量化部21係將藉由逆量化處理而被取得的轉換係數資料，輸出至逆正交轉換部22。
逆正交轉換部22，係針對從逆量化部21所輸入之轉換係數資料，進行逆正交轉換處理，以復原預測誤差資料。然後，逆正交轉換部22係將已復原之預測誤差資料，輸出至加算部23。
加算部23，係藉由將從逆正交轉換部22所輸入之已被復原的預測誤差資料與從運動探索部30或畫面內預測部40a所輸入之預測影像資料，進行加算，以生成解碼影像資料。然後，加算部23係將已生成之解碼影像資料，輸出至去區塊濾波器24及畫格記憶體25。
去區塊濾鏡24係進行用來減少影像編碼時所產生之區塊失真所需的濾波處理。去區塊濾波器24，係藉由將從加算部23所輸入之解碼影像資料進行過濾以去除區塊失真，將過濾後的解碼影像資料，輸出至畫格記憶體25。
畫格記憶體25，係將從加算部23所輸入之解碼影像資料、及從去區塊濾波器24所輸入之過濾後的解碼影像資料，使用記憶媒體而加以記憶。
選擇器26，係將為了畫面間預測而被使用之過濾後的解碼影像資料，從畫格記憶體25予以讀出，將已讀出之解碼影像資料當作參照影像資料而供給至運動探索部30。又，選擇器26，係將為了畫面內預測而被使用之過濾前的解碼影像資料，從畫格記憶體25予以讀出，將已讀出之 解碼影像資料當作參照影像資料而供給至畫面內預測部40a。
選擇器27，係在畫面間預測模式下，將從運動探索部30所輸出的畫面間預測之結果的預測影像資料，輸出至減算部13，並且將畫面間預測之相關資訊，輸出至可逆編碼部16a。又，選擇器27，係在畫面內預測模式下，將從畫面內預測部40a所輸出的畫面內預測之結果的預測影像資料，輸出至減算部13，並且將畫面內預測之相關資訊，輸出至可逆編碼部16a。選擇器27係將畫面間預測模式與畫面內預測模式，隨應於從運動探索部30及畫面內預測部40a所輸出之成本函數值的大小，來做切換。
運動探索部30，係基於從排序緩衝區12所輸入之編碼對象之影像資料(原影像資料)，及透過選擇器26所供給之解碼影像資料，而進行畫面間預測處理(畫格間預測處理)。例如，運動探索部30係將各預測模式所致之預測結果，使用所定之成本函數來進行評價。接著，運動探索部30係將成本函數值呈最小的預測模式，亦即壓縮率會是最高的預測模式，選擇成為最佳的預測模式。又，運動探索部30，係依照該當最佳預測模式，來生成預測影像資料。然後，運動探索部30係將含有表示已選擇之最佳預測模式的預測模式資訊、運動向量資訊及參照影像資訊的畫面間預測之相關資訊、成本函數值、以及預測影像資料，輸出至選擇器27。
畫面內預測部40a，係基於從排序緩衝區12所輸入之 原影像資料、及從畫格記憶體25所供給之作為參照影像資料的解碼影像資料，而針對基礎圖層之影像內所被設定的每一預測單位，進行畫面內預測處理。然後，畫面內預測部40a，係將畫面內預測之相關資訊、成本函數值、以及預測影像資料，輸出至選擇器27。
第1圖像編碼部1a，係將此處說明之一連串編碼處理，針對基礎圖層之一連串影像資料而予以執行。畫面內預測部40a，係將對每一預測單位所決定之MostProbableMode資訊，使用圖層間緩衝區2而予以緩衝。被緩衝的MostProbableMode資訊，係被之後所說明之第2圖像編碼部1b所利用。
圖4B係圖2所示之第2圖像編碼部1b之構成之一例的區塊圖。參照圖4B，第2圖像編碼部1b係具備：排序緩衝區12、減算部13、正交轉換部14、量化部15、可逆編碼部16b、積存緩衝區17、速率控制部18、逆量化部21、逆正交轉換部22、加算部23、去區塊濾波器24、畫格記憶體25、選擇器26及27、運動探索部30、以及畫面內預測部40b。
可逆編碼部16b，係針對從量化部15所輸入之增強圖層的量化資料來進行可逆編碼處理，以生成增強圖層之編碼串流。可逆編碼部16b所做的可逆編碼，係可為例如可變長度編碼、或算術編碼等。又，可逆編碼部16b，係將從選擇器27所輸入之畫面內預測之相關資訊或畫面間預測之相關資訊，多工化至編碼串流的標頭領域內。然後， 可逆編碼部16b係將已生成之編碼串流，輸出至積存緩衝區17。
被可逆編碼部16b所編碼的畫面內預測之相關資訊，係可含有例如增強圖層之預測模式資訊及MostProbableMode資訊。但是，關於下位圖層之MostProbableMode資訊被再次利用的預測單位，可逆編碼部16b係可將上位圖層的MostProbableMode資訊之編碼(至少一部分)予以省略。關於MostProbableMode資訊的編碼之省略，在後面還會說明。
畫面內預測部40b，係使用從排序緩衝區12所輸入之原影像資料、從畫格記憶體25所供給之參照影像資料及被圖層間緩衝區2所記憶之下位圖層的MostProbableMode資訊，針對增強圖層之影像內所被設定的每一預測單位，進行畫面內預測處理。然後，畫面內預測部40a，係將畫面內預測之相關資訊、成本函數值、以及預測影像資料，輸出至選擇器27。
當增強圖層是複數存在的情況下，則第2圖像編碼部1b係將如此一連串之編碼處理，針對增強圖層分別執行。畫面內預測部40b，係亦可將對每一預測單位所決定之MostProbableMode資訊，為了更為上位圖層中的處理，而使用圖層間緩衝區2予以緩衝。
〔2-2.畫面內預測部的構成例〕
圖5係圖4A所示之畫面內預測部40a及圖4B所示之 畫面內預測部40b之詳細構成之一例的區塊圖。參照圖5，畫面內預測部40a係具有：預測控制部41a、預測部42a、判定部43a、模式緩衝區44a及參數生成部45a。畫面內預測部40b係具有：預測控制部41b、預測部42b、判定部43b、模式緩衝區44b及參數生成部45b。
預測控制部41a，係控制畫面內預測部40a所進行之基礎圖層的畫面內預測處理。更具體而言，預測控制部41a係將複數預測模式之候補之各者，對預測單位依序設定。預測部42a，係依照預測控制部41a所設定的預測模式之候補，使用從畫格記憶體25所輸入之參照影像資料，來生成各預測單位的預測影像。判定部43a係基於從排序緩衝區12所輸入之原影像資料和從預測部42a所輸入之預測影像資料，針對預測模式之各候補而算出成本函數值。然後，判定部43a係基於所算出之成本函數值，來判定最佳預測模式。模式緩衝區44a，係將表示最佳預測模式的預測模式資訊，予以暫時記憶。又，判定部43a係參照模式緩衝區44a所記憶之相鄰區塊的預測模式資訊，針對基礎圖層的影像內的各預測單位，判定MostProbableMode是否為有效。參數生成部45a，係隨應於判定部43a所做的判定結果，來生成預測模式資訊及MostProbableMode資訊。然後，判定部43a係將含有參數生成部45a所生成之預測模式資訊及MostProbableMode資訊的畫面內預測之相關資訊、成本函數值及預測影像資料，輸出至選擇器27。又，參數生成部45a係將 MostProbableMode資訊，輸出至圖層間緩衝區2。
預測控制部41b，係控制畫面內預測部40b所進行之增強圖層的畫面內預測處理。更具體而言，預測控制部41b係將複數預測模式之候補之各者，對預測單位依序設定。預測部42b，係依照預測控制部41b所設定的預測模式之候補，使用從畫格記憶體25所輸入之參照影像資料，來生成各預測單位的預測影像。判定部43b係基於從排序緩衝區12所輸入之原影像資料和從預測部42b所輸入之預測影像資料，針對預測模式之各候補而算出成本函數值。然後，判定部43b係基於所算出之成本函數值，來判定最佳預測模式。模式緩衝區44b，係將表示最佳預測模式的預測模式資訊，予以暫時記憶。又，判定部43b係參照模式緩衝區44b所記憶之相鄰區塊的預測模式資訊，針對增強圖層的影像內的各預測單位，判定MostProbableMode是否為有效。參數生成部45b，係隨應於判定部43b所做的判定結果，來生成預測模式資訊及MostProbableMode資訊。但是，關於下位圖層之MostProbableMode資訊被再次利用的預測單位，參數生成部45b係可省略上位圖層之MostProbableMode資訊之生成。然後，判定部43b係將含有參數生成部45b所生成之預測模式資訊及MostProbableMode資訊的畫面內預測之相關資訊、成本函數值及預測影像資料，輸出至選擇器27。參數生成部45b，係若還有更上位圖層存在時，則亦可將MostProbableMode資訊輸出至圖層間緩衝區2。
圖6係用來說明畫面內預測部40a及畫面內預測部40b中，採用角度畫面內預測法時所能選擇之預測方向之候補的說明圖。圖6所示的像素P1，係為預測對象像素。像素P1所隸屬之預測單位的周圍塗滿網點的像素，係為相鄰區塊的參照像素。當區塊尺寸是4×4像素時，圖中以實線(粗線及細線雙方)所表示的連結參照像素與預測對象像素的17種之預測方向(所對應之預測模式)，(加上DC預測)係為可選擇。當區塊尺寸是8×8像素、16×16像素、32×32像素時，圖中以虛線以及實線(粗線及細線雙方)所表示的連結參照像素與預測對象像素的33種之預測方向(所對應之預測模式)，(加上DC預測及平面預測)係為可選擇。當區塊尺寸是64×64像素時，圖中以粗線所示的2種之預測方向(所對應之預測模式)，(加上DC預測)係為可選擇。
此外，在上述的角度畫面內預測法中，當預測方向的角度的解析力較高，例如8×8像素時的相鄰之預測方向之間的角度的差，係為180度/32=5.625度。因此，預測部42a係首先計算如圖7所示的1/8像素精度的參照像素值，使用所計算出來的參照像素值，依照預測模式之各候補而計算預測像素值。
圖8~圖10係分別圖示了本實施形態中可被編碼的MostProbableMode資訊的例子。
(1)第1例
在圖8的左方係圖示了，下位圖層(例如基礎圖層)的預測對象區塊Ba、預測對象區塊Ba的上方之相鄰區塊NaU及左方之相鄰區塊NaL。預測對象區塊Ba的最佳預測模式，係為預測模式Ma。相鄰區塊NaU的參照預測模式，係為預測模式RMaU。相鄰區塊NaL的參照預測模式，係為預測模式RMaL。於第1例中，預測模式Ma及參照預測模式RMaL的預測方向係彼此相等。此時，預測對象區塊Ba的MostProbableMode資訊，係可表示為MPM索引=“左”、MPM旗標=“True”。MPM旗標，係為針對預測對象區塊而表示MostProbableMode是否有效的旗標。MPM索引，係當MostProbableMode為有效時，用來識別具有有效之MostProbableMode來作為參照預測模式的相鄰區塊之位置用的索引資訊。在第1例中，MPM索引係為，用來識別左及上方的相鄰區塊候補之其中哪一者的2值之資訊即可。
在圖8的右方係圖示了，上位圖層(增強圖層)的預測對象區塊Bb、預測對象區塊Bb的上方之相鄰區塊NbU及左方之相鄰區塊NbL。預測對象區塊Bb，係為下位圖層之預測對象區塊Ba所對應的上位圖層之區塊。預測對象區塊Bb的最佳預測模式，係為預測模式Mb。相鄰區塊NbU的參照預測模式，係為預測模式RMbU。相鄰區塊NbL的參照預測模式，係為預測模式RMbL。預測模式Mb及參照預測模式RMbL的預測方向係彼此相等。此時，MostProbableMode資訊，係可僅表示MPM旗標=“True”。 MPM索引，由於是從下位圖層而被再次利用，因此在上位圖層中不必生成，不必被編碼至上位圖層的編碼串流內。亦即，畫面內預測部40b的判定部43b，係將(例如畫面內預測部40a的參數生成部45a所生成，被可逆編碼部16a所編碼之)針對預測對象區塊Ba的MPM索引所示之位置(在圖8的例子中係為左)的相鄰區塊之參照預測模式，視為針對預測對象區塊Bb的MostProbableMode。
(2)第2例
在圖9的左方係圖示了，下位圖層(例如基礎圖層)的預測對象區塊Ba、以及預測對象區塊Ba的上、右上、左上及左下之相鄰區塊NaU、NaUR、NaLT、NaLB。預測對象區塊Ba的最佳預測模式，係為預測模式Ma。相鄰區塊NaU的參照預測模式，係為預測模式RMaU。相鄰區塊NaUR的參照預測模式，係為預測模式RMaUR。相鄰區塊NaLT的參照預測模式，係為預測模式RMaLT。相鄰區塊NaLB的參照預測模式，係為預測模式RMaLB。於第2例中，預測模式Ma及參照預測模式RMaLT的預測方向係彼此相等。此時，預測對象區塊Ba的MostProbableMode資訊，係可表示為MPM索引=“左上”、MPM旗標=“True”。在第2例中，MPM索引係為，用來識別4個相鄰區塊候補之其中哪一者的資訊即可。
在圖9的右方係圖示了，上位圖層(增強圖層)的預測對象區塊Bb、及預測對象區塊Bb的左上之相鄰區塊 NbLT。預測對象區塊Bb，係為下位圖層之預測對象區塊Ba所對應的上位圖層之區塊。預測對象區塊Bb的最佳預測模式，係為預測模式Mb。相鄰區塊NbLT的參照預測模式，係為預測模式RMbLT。預測模式Mb及參照預測模式RMbLT的預測方向係彼此相等。此時，MostProbableMode資訊，係可僅表示MPM旗標=“True”。MPM索引，由於是從下位圖層而被再次利用，因此在上位圖層中不必生成，不必被編碼至上位圖層的編碼串流內。亦即，畫面內預測部40b的判定部43b，係將(例如畫面內預測部40a的參數生成部45a所生成，被可逆編碼部16a所編碼之)針對預測對象區塊Ba的MPM索引所示之位置(在圖9的例子中係為左上)的相鄰區塊之參照預測模式，視為針對預測對象區塊Bb的MostProbableMode。
(3)第3例
在圖10的左方係圖示了，下位圖層(例如基礎圖層)的預測對象區塊Ba、預測對象區塊Ba的上方之相鄰區塊NaU及左方之相鄰區塊NaL。預測對象區塊Ba的最佳預測模式，係為預測模式Ma。相鄰區塊NaU的參照預測模式，係為預測模式RMaU。相鄰區塊NaL的參照預測模式，係為預測模式RMaL。於第3例中，預測模式Ma及參照預測模式RMaL的預測方向係彼此相等。此時，預測對象區塊Ba的MostProbableMode資訊，係可表示為MPM索引=“左”、MPM旗標=“True”。
在圖10的右方係圖示了，上位圖層(增強圖層)的預測對象區塊Bb、預測對象區塊Bb的上方之相鄰區塊NbU及左方之相鄰區塊NbL。預測對象區塊Bb，係為下位圖層之預測對象區塊Ba所對應的上位圖層之區塊。預測對象區塊Bb的最佳預測模式，係為預測模式Mb。相鄰區塊NbU的參照預測模式，係為預測模式RMbU。相鄰區塊NbL的參照預測模式，係為預測模式RMbL。於第3例中，預測模式Mb的預測方向，係不與參照預測模式RMbL相等而是與參照預測模式RMbU的預測方向相等。此時，MostProbableMode資訊，即使在上位圖層中，也並非僅表示MPM旗標=“True”，而是還有MPM索引=“上”。參數生成部45a，係還會生成再利用旗標=“False”來作為追加的參數。
亦即，於第3例中，導入再利用旗標來作為編碼參數，藉由該當再利用旗標，來表示是否應該再次利用下位圖層的MostProbableMode資訊。然後，當再利用旗標是表示應該再次利用下位圖層之MostProbableMode資訊時，於上位圖層中，MPM索引係不被編碼。另一方面，當再利用旗標並非表示應再次利用下位圖層之MostProbableMode資訊時，則於上位圖層中也會生成MPM索引，所被生成之MPM索引會(與再利用旗標及MPM旗標一起)被可逆編碼部16b進行編碼。
此外，第1~第3例皆是，當預測對象區塊的最佳預測模式是與任一相鄰區塊的參照預測模式不同的情況下， 則MPM旗標係表示“False”，針對該當預測對象區塊會生成預測模式資訊，並被編碼。又，若未導入再利用旗標，則如圖10的例子所示，預測對象區塊的最佳預測模式是與下位圖層之MostProbableMode資訊所識別之位置的相鄰區塊的參照預測模式不相等時，亦為MPM旗標係表示“False”，針對該當預測對象區塊會將預測模式資訊予以編碼即可。
<3.一實施形態所述之編碼時之處理的流程>
圖11及圖12係分別圖示了本實施形態所述之編碼時的畫面內預測處理的流程例。在圖11所示的第1例中，並未導入如使用圖10所說明的再利用旗標。在圖12所示的第2例中，係導入有再利用旗標。
(1)第1例
參照圖11，首先，畫面內預測部40a係進行基礎圖層的畫面內預測處理(步驟S100)。其結果為，基礎圖層的圖像內的預測單位之配置會被決定，針對各預測單位會決定最佳預測模式。於畫面內預測部40a中所生成之預測模式資訊及MostProbableMode資訊，係被可逆編碼部16a編碼至基礎圖層之編碼串流內。圖層間緩衝區2，係將針對各預測單位所生成之MostProbableMode資訊，予以緩衝。
步驟S110~S180的處理，係為增強圖層的畫面內預 測處理。這些處理當中的步驟S110~S165之處理，係將各增強圖層的各預測單位反覆當作預測對象區塊。此外，在以下的說明中，「上位圖層」係為預測對象之圖層，「下位圖層」係為預測對象之圖層的下位的圖層。
首先，一旦以預測部42b依照複數預測模式之候補而生成預測對象區塊的預測影像，則判定部43b係算出原影像與預測影像之差分所相應的成本函數值，基於已算出之成本函數值而判定最佳預測模式Mb(步驟S110)。
接著，判定部43b係判定，已被判定出來的最佳預測模式Mb，是否相等於下位圖層之MostProbableMode資訊中所含之MPM索引所識別之位置的相鄰區塊的參照預測模式(步驟S130)。此處，若預測模式Mb是與該當相鄰區塊的參照預測模式不同，則處理係前進至步驟S140。另一方面，若預測模式Mb是與該當相鄰區塊的參照預測模式相等，則處理係前進至步驟S165。
在步驟S140中，參數生成部45b係為，作為針對預測對象區塊的MostProbableMode資訊，係生成MPM旗標=“False”(步驟S140)。接著，參數生成部45b係生成表示最佳預測模式Mb的預測模式資訊(步驟S140)。
另一方面，在步驟S165中，參數生成部45b係為，作為針對預測對象區塊的MostProbableMode資訊，係生成MPM旗標=“True”(步驟S165)。參數生成部45b係為，作為針對上位圖層之預測對象區塊的MostProbableMode資訊，是不會生成MPM索引。
其後，若預測對象之圖層內有未處理之預測單位殘留時，則處理係返回至步驟S110(步驟S180)。另一方面，若沒有未處理之預測單位殘留時，則再來判定是否有殘留的圖層(更上位之圖層)存在(步驟S190)，此處，若有殘留的圖層存在，則將目前為止的預測對象之圖層當作下位圖層、將下個圖層當作上位圖層，步驟S110以後的處理會被重複進行。MostProbableMode資訊，係被圖層間緩衝區2所緩衝。若沒有殘留的圖層存在，則圖11的畫面內預測處理就結束。此外，此處所生成之上位圖層的預測模式資訊及MostProbableMode資訊，係被可逆編碼部16b編碼至上位圖層的編碼串流內。
(2)第2例
參照圖12，首先，畫面內預測部40a係進行基礎圖層的畫面內預測處理(步驟S100)。其結果為，基礎圖層的圖像內的預測單位之配置會被決定，針對各預測單位會決定最佳預測模式。於畫面內預測部40a中所生成之預測模式資訊及MostProbableMode資訊，係被可逆編碼部16a編碼至基礎圖層之編碼串流內。圖層間緩衝區2，係將針對各預測單位所生成之MostProbableMode資訊，予以緩衝。
步驟S110~S180的處理，係為增強圖層的畫面內預測處理。這些處理當中的步驟S110~S170之處理，係將各增強圖層的各預測單位反覆當作預測對象區塊。
首先，一旦以預測部42b依照複數預測模式之候補而生成預測對象區塊的預測影像，則判定部43b係算出原影像與預測影像之差分所相應的成本函數值，基於已算出之成本函數值而判定最佳預測模式Mb(步驟S110)。
接著，判定部43b係判定已被判定出來之最佳預測模式Mb是否相等於任一相鄰區塊的參照預測模式(步驟S120)。此處，若預測模式Mb是與任一相鄰區塊之參照預測模式不相等，則處理係前進至步驟S140。另一方面，若預測模式Mb是與任一相鄰區塊的參照預測模式相等，則處理係前進至步驟S130。
在步驟S130中，判定部43b係判定，預測模式Mb是否相等於下位圖層之MostProbableMode資訊中所含之MPM索引所識別之位置的相鄰區塊的參照預測模式(步驟S130)。此處，若預測模式Mb是與該當相鄰區塊的參照預測模式不同，則處理係前進至步驟S160。另一方面，若預測模式Mb是與該當相鄰區塊的參照預測模式相等，則處理係前進至步驟S170。
在步驟S140中，參數生成部45b係為，作為針對預測對象區塊的MostProbableMode資訊，係生成MPM旗標=“False”(步驟S140)。接著，參數生成部45b係生成表示最佳預測模式Mb的預測模式資訊(步驟S140)。
在步驟S160中，參數生成部45b係為，作為針對預測對象區塊的MostProbableMode資訊，係生成MPM旗標=“True”、再利用旗標=“False”及MPM索引(步驟 S160)。此處所生成之MPM索引，係表示具有與預測模式Mb相等之參照預測模式的相鄰區塊的位置。
在步驟S170中，參數生成部45b係為，作為針對預測對象區塊的MostProbableMode資訊，係生成MPM旗標=“True”及再利用旗標=“True”(步驟S170)。此時，參數生成部45b係為，作為針對上位圖層之預測對象區塊的MostProbableMode資訊，是不會生成MPM索引。
其後，若預測對象之圖層內有未處理之預測單位殘留時，則處理係返回至步驟S110(步驟S180)。另一方面，若沒有未處理之預測單位殘留時，則再來判定是否有殘留的圖層(更上位之圖層)存在(步驟S190)，此處，若有殘留的圖層存在，則將目前為止的預測對象之圖層當作下位圖層、將下個圖層當作上位圖層，步驟S110以後的處理會被重複進行。MostProbableMode資訊，係被圖層間緩衝區2所緩衝。若沒有殘留的圖層存在，則圖12的畫面內預測處理就結束。此外，此處所生成之上位圖層的預測模式資訊及MostProbableMode資訊，係被可逆編碼部16b編碼至上位圖層的編碼串流內。
<4.一實施形態所述之解碼部之構成例> 〔4-1.整體的構成例〕
圖13A係圖3所示之第1圖像解碼部6a之構成之一例的區塊圖。參照圖13A，第1圖像解碼部6a係具備：積存緩衝區61、可逆解碼部62a、逆量化部63、逆正交轉 換部64、加算部65、去區塊濾波器66、排序緩衝區67、D/A(Digital to Analogue)轉換部68、畫格記憶體69、選擇器70及71、運動補償部80、以及畫面內預測部90a。
積存緩衝區61，係將透過傳輸路所輸入之編碼串流，使用記憶媒體而予以暫時積存。
可逆解碼部62a，係將從積存緩衝區61所輸入之基礎圖層之編碼串流，依照編碼之際所使用過的編碼方式來進行解碼。又，可逆解碼部62a係將被多工化在編碼串流的標頭領域中的資訊，予以解碼。被可逆解碼部62a所解碼的資訊，係可能含有例如上述的畫面間預測之相關資訊及畫面內預測之相關資訊。畫面內預測之相關資訊，係含有針對基礎圖層之圖像內之預測單位的預測模式資訊及MostProbableMode資訊。可逆解碼部62a，係將畫面間預測之相關資訊，輸出至運動補償部80。又，可逆解碼部62a係將畫面內預測之相關資訊，輸出至畫面內預測部90a。
逆量化部63，係將可逆解碼部62a所解碼後的量化資料，進行逆量化。逆正交轉換部64係依照編碼之際所使用的正交轉換方式，針對從逆量化部63所輸入之轉換係數資料，進行逆正交轉換，藉此以生成預測誤差資料。然後，逆正交轉換部64係將已生成之預測誤差資料，輸出至加算部65。
加算部65，係藉由將從逆正交轉換部64所輸入之預 測誤差資料、與從選擇器71所輸入之預測影像資料，進行加算，以生成解碼影像資料。然後，加算部65係將已生成之解碼影像資料，輸出至去區塊濾波器66及畫格記憶體69。
去區塊濾波器66，係藉由將從加算部65所輸入之解碼影像資料進行過濾以去除區塊失真，將過濾後的解碼影像資料，輸出至排序緩衝區67及畫格記憶體69。
排序緩衝區67，係從去區塊濾波器66所輸入之影像予以排序，藉此以生成時間序列的一連串之影像資料。然後，排序緩衝區67係將已生成之影像資料，輸出至D/A轉換部68。
D/A轉換部68，係將從排序緩衝區67所輸入之數位形式的影像資料，轉換成類比形式的影像訊號。然後，D/A轉換部68係例如藉由對與影像解碼裝置60連接之顯示器(未圖示)輸出類比影像訊號，以顯示影像。
畫格記憶體69，係將從加算部65所輸入之過濾前的解碼影像資料、及從去區塊濾波器66所輸入之過濾後的解碼影像資料，使用記憶媒體而加以記憶。
選擇器70，係隨應於由可逆解碼部62a所取得的模式資訊，對影像內的每一區塊，將來自畫格記憶體69的影像資料的輸出目標，在運動補償部80與畫面內預測部90a之間做切換。例如，選擇器70係當畫面間預測模式已被指定時，則將從畫格記憶體69所供給之過濾後的解碼影像資料，當作參照影像資料而輸出至運動補償部80。又， 選擇器70係當畫面內預測模式已被指定時，則將從畫格記憶體69所供給之過濾前的解碼影像資料，當作參照影像資料而輸出至畫面內預測部90a。
選擇器71，係隨應於由可逆解碼部62a所取得的模式資訊，將應供給至加算部65的預測影像資料的輸出來源，在運動補償部80與畫面內預測部90a之間做切換。例如，選擇器71係當畫面間預測模式已被指定時，則將從運動補償部80所輸出之預測影像資料，供給至加算部65。又，選擇器71係當畫面內預測模式已被指定時，則將從畫面內預測部90a所輸出之預測影像資料，供給至加算部65。
運動補償部80，係基於從可逆解碼部62a所輸入之畫面間預測之相關資訊和來自畫格記憶體69的參照影像資料而進行運動補償處理，生成預測影像資料。然後，運動補償部80係將已生成之預測影像資料，輸出至選擇器71。
畫面內預測部90a，係基於從可逆解碼部62a所輸入之畫面內預測之相關資訊和來自畫格記憶體69的參照影像資料而進行基礎圖層的畫面內預測處理，生成預測影像資料。然後，畫面內預測部90a係將已生成之預測影像資料，輸出至選擇器71。針對如此畫面內預測部90a所致之畫面內預測處理，後面還會說明。
第1圖像解碼部6a，係將此處說明之一連串解碼處理，針對基礎圖層之一連串影像資料而予以執行。畫面內 預測部90a，係將對每一預測單位所解碼之MostProbableMode資訊，使用圖層間緩衝區7而予以緩衝。被緩衝的MostProbableMode資訊，係被之後所說明之第2圖像解碼部6b所利用。
圖13B係圖3所示之第2圖像解碼部6b之構成之一例的區塊圖。參照圖13B，第2圖像解碼部6b係具備：積存緩衝區61、可逆解碼部62b、逆量化部63、逆正交轉換部64、加算部65、去區塊濾波器66、排序緩衝區67、D/A轉換部68、畫格記憶體69、選擇器70及71、運動補償部80、以及畫面內預測部90b。
可逆解碼部62b，係將從積存緩衝區61所輸入之增強圖層之編碼串流，依照編碼之際所使用過的編碼方式來進行解碼。又，可逆解碼部62b係將被多工化在編碼串流的標頭領域中的資訊，予以解碼。被可逆解碼部62b所解碼的資訊，係可能含有例如上述的畫面間預測之相關資訊及畫面內預測之相關資訊。畫面內預測之相關資訊，係可含有針對增強圖層之圖像內之預測單位的預測模式資訊及MostProbableMode資訊。可逆解碼部62b，係將畫面間預測之相關資訊，輸出至運動補償部80。又，可逆解碼部62b係將畫面內預測之相關資訊，輸出至畫面內預測部90b。
此外，如使用圖8~圖10所說明，關於下位圖層之MostProbableMode資訊被再次利用的預測單位，上位圖層的MostProbableMode資訊之編碼，係可在編碼側中部份 省略。此時，可逆編碼部16b係不會解碼已被省略之MostProbableMode資訊。
畫面內預測部90b，係使用從可逆解碼部62b所輸入之畫面內預測之相關資訊、來自畫格記憶體69的參照影像資料及被圖層間緩衝區7所記憶之下位圖層的MostProbableMode資訊，進行增強圖層的畫面內預測處理，生成預測影像資料。然後，畫面內預測部90b係將已生成之預測影像資料，輸出至選擇器71。針對如此畫面內預測部90b所致之畫面內預測處理，後面還會說明。
當增強圖層是複數存在的情況下，則第2圖像解碼部6b係將如此一連串之解碼處理，針對增強圖層分別執行。畫面內預測部90b，係亦可將對每一預測單位所決定之MostProbableMode資訊，為了更為上位圖層中的處理，而使用圖層間緩衝區7予以緩衝。
〔4-2.畫面內預測部的構成例〕
圖14係圖13A所示之畫面內預測部90a及圖13B所示之畫面內預測部90b之詳細構成之一例的區塊圖。參照圖14，畫面內預測部90a係具有：預測控制部91a、參數取得部92a、預測部93a及模式緩衝區94a。畫面內預測部90b係具有：預測控制部91b、參數取得部92b、預測部93b及模式緩衝區94b。
預測控制部91a，係控制畫面內預測部90a所進行之基礎圖層的畫面內預測處理。更具體而言，預測控制部 91a係令可逆解碼部62a所解碼的畫面內預測之相關資訊，被參數取得部92a取得。被參數取得部92a所取得的資訊中，會含有針對基礎圖層之圖像內之預測單位的預測模式資訊及MostProbableMode資訊。預測部93a係依照參數取得部92a所取得的預測模式資訊及MostProbableMode資訊，而對各預測單位，設定預測模式。例如，預測部93a係對MPM旗標是表示“False”的預測單位，設定由預測模式資訊所示之預測模式。又，預測部93a係對MPM旗標是表示“True”的預測單位，設定和由MPM索引所識別之位置的相鄰區塊的參照預測模式相同的預測模式。然後，預測部93a係依照所設定的預測模式，使用從畫格記憶體69所輸入之參照影像資料，來生成各預測單位的預測影像。模式緩衝區94a，係將表示對各預測單位所設定之預測模式的預測模式資訊，予以暫時記憶。預測部93a所生成的預測影像資料，係被輸出至加算部65。又，被參數取得部92a所取得的MostProbableMode資訊，係被輸出至圖層間緩衝區7。
預測控制部91b，係控制畫面內預測部90b所進行之增強圖層的畫面內預測處理。更具體而言，預測控制部91b係令可逆解碼部62b所解碼的畫面內預測之相關資訊，被參數取得部92b取得。被參數取得部92b所取得的資訊中，會含有針對增強圖層之圖像內之預測單位的預測模式資訊及MostProbableMode資訊。又，預測控制部91b係令圖層間緩衝區7所記憶之下位圖層的 MostProbableMode資訊，被參數取得部92b取得。預測部93b係依照參數取得部92b所取得的預測模式資訊及MostProbableMode資訊，而對各預測單位，設定預測模式。例如，預測部93b係對MPM旗標是表示“False”的預測單位，設定由預測模式資訊所示之預測模式。又，預測部93b係可對MPM旗標是表示“True”的預測單位，設定和從圖層間緩衝區7所取得之MPM索引所識別之位置的相鄰區塊的參照預測模式相同的預測模式。預測部93b係亦可為，當針對某預測單位而解碼出表示“False”的再利用旗標時，則在增強圖層中將與另行解碼之MPM索引所識別之位置的相鄰區塊的參照預測模式相同的預測模式，對該當預測單位做設定。然後，預測部93b係依照所設定的預測模式，使用從畫格記憶體69所輸入之參照影像資料，來生成各預測單位的預測影像。模式緩衝區94b，係將表示對各預測單位所設定之預測模式的預測模式資訊，予以暫時記憶。預測部93b所生成的預測影像資料，係被輸出至加算部65。又，參數取得部92b，係若還有更上位圖層存在時，則亦可將MostProbableMode資訊輸出至圖層間緩衝區7。
<5.一實施形態所述之解碼時之處理的流程>
圖15及圖16係分別圖示了本實施形態所述之解碼時的畫面內預測處理的流程例。在圖15所示的第1例中，並未導入如使用圖10所說明的再利用旗標。在圖16所示 的第2例中，係導入有再利用旗標。
(1)第1例
參照圖15，首先，畫面內預測部90a係進行基礎圖層的畫面內預測處理(步驟S200)。藉此，針對基礎圖層的圖像內的各預測單位，會使用從編碼串流所解碼出來的預測模式資訊及MostProbableMode資訊，來生成預測影像資料。圖層間緩衝區7，係將針對各預測單位所生成之MostProbableMode資訊，予以緩衝。
步驟S210~S280的處理，係為增強圖層的畫面內預測處理。這些處理當中的步驟S210~S270之處理，係將各增強圖層的各預測單位反覆當作預測對象區塊。此外，在以下的說明中，「上位圖層」係為預測對象之圖層，「下位圖層」係為預測對象之圖層的下位的圖層。
首先，參數取得部92b係取得，針對上位圖層之預測對象區塊而被可逆解碼部62b所解碼之MostProbableMode資訊(步驟S210)。
接著，預測控制部91b係判定上位圖層之預測對象區塊的MPM旗標是否表示“True”(步驟S220)。此處，若MPM旗標並非表示“True”，則處理係前進至步驟S230。另一方面，若MPM旗標是表示“True”，則處理係前進至步驟S250。
在步驟S230中，參數取得部92b係取得針對預測對象區塊而被可逆解碼部62b所解碼之預測模式資訊(步驟 S230)。然後，參數取得部92b係將已取得之預測模式資訊，輸出至預測部93b。
在步驟S250中，參數取得部92b係取得圖層間緩衝區7所記憶之對應於預測對象區塊的下位圖層之預測單位的MostProbableMode資訊(步驟S250)。然後，參數取得部92b係將已取得之MostProbableMode資訊，輸出至預測部93b。預測部93b係將已被參數取得部92b所取得之MostProbableMode資訊中所含之MPM索引所示之位置的相鄰區塊的預測模式資訊，從模式緩衝區94b予以取得(步驟S260)。
接著，預測部93b係依照所取得之預測模式資訊而對預測對象區塊設定預測模式，依照所設定之預測模式而生成預測對象區塊的預測影像(步驟S270)。
其後，若預測對象之圖層內有未處理之預測單位殘留時，則處理係返回至步驟S210(步驟S280)。另一方面，若沒有未處理之預測單位殘留時，則再來判定是否有殘留的圖層(更上位之圖層)存在(步驟S290)，此處，若有殘留的圖層存在，則將目前為止的預測對象之圖層當作下位圖層、將下個圖層當作上位圖層，步驟S210以後的處理會被重複進行。MostProbableMode資訊，係被圖層間緩衝區7所緩衝。若沒有殘留的圖層存在，則圖15的畫面內預測處理就結束。
(2)第2例
參照圖16，首先，畫面內預測部90a係進行基礎圖層的畫面內預測處理(步驟S200)。藉此，針對基礎圖層的圖像內的各預測單位，會使用從編碼串流所解碼出來的預測模式資訊及MostProbableMode資訊，來生成預測影像資料。圖層間緩衝區7，係將針對各預測單位所生成之MostProbableMode資訊，予以緩衝。
步驟S210~S280的處理，係為增強圖層的畫面內預測處理。這些處理當中的步驟S210~S270之處理，係將各增強圖層的各預測單位反覆當作預測對象區塊。
首先，參數取得部92b係取得，針對上位圖層之預測對象區塊而被可逆解碼部62b所解碼之MostProbableMode資訊(步驟S210)。
接著，預測控制部91b係判定上位圖層之預測對象區塊的MPM旗標是否表示“True”(步驟S220)。此處，若MPM旗標並非表示“True”，則處理係前進至步驟S230。另一方面，若MPM旗標是表示“True”，則處理係前進至步驟S240。
在步驟S230中，參數取得部92b係取得針對預測對象區塊而被可逆解碼部62b所解碼之預測模式資訊(步驟S230)。然後，參數取得部92b係將已取得之預測模式資訊，輸出至預測部93b。
在步驟S240中，預測控制部91b係判定預測對象區塊的再利用旗標是否表示“True”(步驟S240)。此處，若再利用旗標是表示“True”，則處理係前進至步驟S250。另 一方面，若再利用旗標並非表示“True”，則處理係前進至步驟S265。
在步驟S250中，參數取得部92b係取得圖層間緩衝區7所記憶之對應於預測對象區塊的下位圖層之預測單位的MostProbableMode資訊(步驟S250)。然後，參數取得部92b係將已取得之MostProbableMode資訊，輸出至預測部93b。預測部93b係將已被參數取得部92b所取得之MostProbableMode資訊中所含之MPM索引所示之位置的相鄰區塊的預測模式資訊，從模式緩衝區94b予以取得(步驟S260)。
在步驟S265中，預測部93b係將針對預測對象區塊的MostProbableMode資訊中所含之MPM索引所示之位置的相鄰區塊的預測模式資訊，從模式緩衝區94b予以取得(步驟S265)。
接著，預測部93b係依照所取得之預測模式資訊而對預測對象區塊設定預測模式，依照所設定之預測模式而生成預測對象區塊的預測影像(步驟S270)。
其後，若預測對象之圖層內有未處理之預測單位殘留時，則處理係返回至步驟S210(步驟S280)。另一方面，若沒有未處理之預測單位殘留時，則再來判定是否有殘留的圖層(更上位之圖層)存在(步驟S290)，此處，若有殘留的圖層存在，則將目前為止的預測對象之圖層當作下位圖層、將下個圖層當作上位圖層，步驟S210以後的處理會被重複進行。MostProbableMode資訊，係被 圖層間緩衝區7所緩衝。若沒有殘留的圖層存在，則圖16的畫面內預測處理就結束。
<6.對各種影像編碼方式之適用>
本揭露所述之技術，係如上述，不僅可使用於可調式編碼，還可適用於例如多重視點編碼及交錯式編碼。在本節中係說明，本揭露所述之技術被適用於多重視點編碼的例子。
多重視點編碼，係為用來將所謂立體視覺影像進行編碼及解碼所需的影像編碼方式。在多重視點編碼中，對於被立體顯示之影像的右眼視點及左眼視點，會生成各自對應的2個編碼串流。將這2個視點的其中一方選擇成為基礎視點，另一方稱作非基礎視點。在將多重視點的影像資料進行編碼之際，基於針對基礎視點之圖像的編碼參數，來將非基礎視點之圖像予以編碼，藉此就可壓縮編碼串流整體的資料大小。
圖17係用來說明上述影像編碼處理對多重視點編碼之適用的說明圖。參照圖17，圖示了作為一例的多重視點編碼裝置810之構成。多重視點編碼裝置810係具備：第1圖像編碼部1a、第2圖像編碼部1b、視點間緩衝區2及多工部3。此外，這裡作為一例，是將左眼視點當成基礎視點。
第1圖像編碼部1a，係將左眼視點的影像予以編碼，生成基礎視點之編碼串流。第2圖像編碼部1b，係將右眼 視點的影像予以編碼，生成非基礎視點之編碼串流。視點間緩衝區2，係將被視點間再次利用之參數，予以暫時記憶。多工化部3係將第1圖像編碼部1a所生成之基礎視點之編碼串流、和第2圖像編碼部1b所生成之非基礎視點之編碼串流，進行多工化，生成多重視點的多工化串流。
圖18係用來說明上述影像解碼處理對多重視點編碼之適用的說明圖。參照圖18，圖示了作為一例的多重視點解碼裝置860之構成。多重視點解碼裝置860係具備：逆多工部5、第1圖像解碼部6a、第2圖像解碼部6b及視點間緩衝區7。
逆多工部5，係將多重視點之多工化串流進行逆多工化，成為基礎視點之編碼串流及非基礎視點之編碼串流。第1圖像解碼部6a，係從基礎視點之編碼串流，解碼出左眼視點之影像。第2圖像解碼部6b，係從非基礎視點之編碼串流，解碼出右眼視點之影像。視點間緩衝區7，係將被視點間再次利用之參數，予以暫時記憶。
本揭露所述之技術被適用於交錯式編碼的情況，係第1圖像編碼部1a會將構成1個畫格的2個圖場之一方予以編碼而生成第1編碼串流，第1圖像解碼部6a係將該當第1編碼串流予以解碼。又，第2圖像編碼部1b係將另一方圖場予以編碼以生成第2編碼串流，第2圖像解碼部6b係將該當第2編碼串流予以解碼。
<7.應用例>
上述實施形態所述之影像編碼裝置10及影像解碼裝置60，係可應用於衛星播送、有線TV等之有線播送、網際網路上的配送、及藉由蜂巢基地台通訊而對終端支配送等的送訊機或是收訊機，在光碟、磁碟及快閃記憶體等之媒體中記錄影像的記錄裝置、或從這些記憶媒體中再生出影像的再生裝置等各式各樣的電子機器。以下說明4個應用例。
〔7-1.第1應用例〕
圖19係圖示了適用上述實施形態的電視裝置的概略構成之一例。電視裝置900係具備：天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909、控制部910、使用者介面911、及匯流排912。
選台器902，係從透過天線901所接收之播送訊號中，抽出所望頻道之訊號，並將所抽出之訊號予以解調。然後，選台器902係將解調所得到之編碼位元串流，輸出至解多工器903。亦即，選台器902係將影像所被編碼而成的編碼串流予以接收，具有電視裝置900中的傳輸手段之功能。
解多工器903係從編碼位元串流中分離出視聽對象之節目的映像串流及聲音串流，將所分離之各串流，輸出至解碼器904。又，解多工器903，係從編碼位元串流中抽 出EPG(Electronic Program Guide)等輔助性資料，將所抽出的資料，供給至控制部910。此外，解多工器903係當編碼位元串流是有被擾頻時，則亦可進行去擾頻。
解碼器904，係將從解多工器903所輸入的映像串流及聲音串流，予以解碼。然後，解碼器904係將解碼處理所生成之映像資料，輸出至映像訊號處理部905。又，解碼器904係將解碼處理所生成之聲音資料，輸出至聲音訊號處理部907。
映像訊號處理部905，係將從解碼器904所輸入之映像資料予以再生，在顯示部906上顯示出映像。又，映像訊號處理部905，係亦可將透過網路而供給之應用程式畫面，顯示在顯示部906。又，映像訊號處理部905，係亦可針對映像資料，隨應於設定，而進行例如雜訊去除等之追加的處理。甚至，映像訊號處理部905係亦可生成例如選單、按鈕或游標等之GUI(Graphical User Interface)的影像，將所生成之影像重疊至輸出影像。
顯示部906，係受從映像訊號處理部905所供給之驅動訊號所驅動，在顯示裝置(例如液晶顯示器、電漿顯示器或OLED等)之映像面上，顯示出映像或影像。
聲音訊號處理部907，係針對從解碼器904所輸入的聲音資料，進行D/A轉換及增幅等之再生處理，使聲音從揚聲器908輸出。又，聲音訊號處理部907，係亦可針對聲音資料，進行雜訊去除等之追加的處理。
外部介面909，係為用來連接電視裝置900與外部機 器或網路所需的介面。例如，透過外部介面909所接收之映像串流或聲音串流，係亦可被解碼器904所解碼。亦即，外部介面909係亦為將影像所被編碼而成的編碼串流予以接收，具有電視裝置900中的傳輸手段之功能。
控制部910，係具有CPU(Central Processing Unit)等之處理器、以及RAM(Random Access Memory)及ROM(Read Only Memory)等之記憶體。記憶體係記憶著，被CPU所執行之程式、程式資料、EPG資料、及透過網路所取得之資料等。被記憶體所記憶的程式，係例如在電視裝置900啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面911所輸入的操作訊號，來控制電視裝置900的動作。
使用者介面911，係和控制部910連接。使用者介面911係具有例如，用來讓使用者操作電視裝置900所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面911，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部910。
匯流排912，係將選台器902、解多工器903、解碼器904、映像訊號處理部905、聲音訊號處理部907、外部介面909及控制部910，彼此連接。
在如此構成的電視裝置900中，解碼器904係具有上述實施形態所述之影像解碼裝置60的機能。藉此，電視裝置900上的影像的可調式解碼之際，就可更有效率地將 已被編碼之複數圖像的編碼串流，予以解碼。
〔7-2.第2應用例〕
圖20係圖示了適用上述實施形態的行動電話機的概略構成之一例。行動電話機920係具備：天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921係被連接至通訊部922。揚聲器924及麥克風925係被連接至聲音編解碼器923。操作部932，係被連接至控制部931。匯流排933係將通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931，彼此連接。
行動電話機920，係在包含語音通話模式、資料通訊模式、攝影模式及電視電話模式的各種動作模式下，進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像之攝影、及資料之記錄等動作。
於語音通話模式中，由麥克風925所生成的類比聲音訊號，係被供給至聲音編解碼器923。聲音編解碼器923，係將類比聲音訊號轉換成聲音資料，將已被轉換之聲音資料，進行A/D轉換並壓縮。然後，聲音編解碼器923係將壓縮後的聲音資料，輸出至通訊部922。通訊部 922，係將聲音資料進行編碼及調變，生成送訊訊號。然後，通訊部922係將已生成之送訊訊號，透過天線921而發送至基地台(未圖示)。又，通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。然後，通訊部922，係將收訊訊號進行解調及解碼而生成聲音資料，將已生成之聲音資料，輸出至聲音編解碼器923。聲音編解碼器923，係將聲音資料進行解壓縮及D/A轉換，生成類比聲音訊號。然後，聲音編解碼器923係將已生成之聲音訊號，供給至揚聲器924而輸出聲音。
又，在資料通訊模式下，例如，控制部931係隨應於使用者透過操作部932所做的操作，來生成構成電子郵件的文字資料。又，控制部931係將文字顯示在顯示部930。又，控制部931，係隨應於透過操作部932而從使用者下達的送訊指示而生成電子郵件資料，將已生成之電子郵件資料，輸出至通訊部922。通訊部922，係將電子郵件資料進行編碼及調變，生成送訊訊號。然後，通訊部922係將已生成之送訊訊號，透過天線921而發送至基地台(未圖示)。又，通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。然後，通訊部922係將收訊訊號進行解調及解碼以復原出電子郵件資料，將已復原之電子郵件資料，輸出至控制部931。控制部931，係令顯示部930顯示出電子郵件的內容，同時，令電子郵件資料被記憶至記錄再生部929的記憶媒體。
記錄再生部929，係具有可任意讀寫的記憶媒體。例如，記憶媒體係可為RAM或快閃記憶體等之內建型的記憶媒體，亦可為硬碟、磁碟、光磁碟、光碟、USB記憶體、或記憶卡等之外部裝著型的記憶媒體。
又，於攝影模式中，例如，攝影機部926係拍攝被攝體而生成影像資料，將已生成之影像資料，輸出至影像處理部927。影像處理部927，係將從攝影機部926所輸入之影像資料予以編碼，使編碼串流被記憶至記錄再生部929的記憶媒體中。
又，於電視電話模式中，例如，多工分離部928係將已被影像處理部927所編碼之映像串流、和從聲音編解碼器923所輸入之聲音串流，進行多工化，將已多工化之串流，輸出至通訊部922。通訊部922，係將串流進行編碼及調變，生成送訊訊號。然後，通訊部922係將已生成之送訊訊號，透過天線921而發送至基地台(未圖示)。又，通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。這些送訊訊號及收訊訊號中係可含有編碼位元串流。然後，通訊部922係將收訊訊號進行解調及解碼以復原出串流，將已復原之串流，輸出至多工分離部928。多工分離部928係從所被輸入之串流中，分離出映像串流及聲音串流，將映像串流輸出至影像處理部927、將聲音串流輸出至聲音編解碼器923。影像處理部927，係將映像串流予以解碼，生成映像資料。映像資料係被供給至顯示部930，藉由顯示部930而顯示 出一連串之影像。聲音編解碼器923，係將聲音串流進行解壓縮及D/A轉換，生成類比聲音訊號。然後，聲音編解碼器923係將已生成之聲音訊號，供給至揚聲器924而輸出聲音。
在如此構成的行動電話機920中，影像處理部927係具有上述實施形態所述之影像編碼裝置10及影像解碼裝置60的機能。藉此，行動電話機920上的影像的可調式編碼及解碼之際，就可更有效率地生成複數圖像的編碼串流，可將所被生成之這些編碼串流予以解碼。
〔7-3.第3應用例〕
圖21係圖示了適用上述實施形態的記錄再生裝置的概略構成之一例。記錄再生裝置940係例如，將所接收之播送節目的聲音資料及映像資料進行編碼，而記錄至記錄媒體。又，記錄再生裝置940係亦可，例如，將從其他裝置所取得之聲音資料及映像資料進行編碼，而記錄至記錄媒體。又，記錄再生裝置940係例如，隨應於使用者之指示，將記錄媒體中所記錄之資料，在監視器及揚聲器上進行再生。此時，記錄再生裝置940，係將聲音資料及映像資料予以解碼。
記錄再生裝置940係具備：選台器941、外部介面942、編碼器943、HDD(Hard Disk Drive)944、碟片驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)948、控制部949、及使用者介面950。
選台器941，係從透過天線(未圖示)所接收之播送訊號中，抽出所望頻道之訊號，並將所抽出之訊號予以解調。然後，選台器941係將解調所得到之編碼位元串流，輸出至選擇器946。亦即，選台器941係具有記錄再生裝置940中的傳輸手段之功能。
外部介面942，係為用來連接記錄再生裝置940與外部機器或網路所需的介面。外部介面942係可為例如IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，透過外部介面942所接收之映像資料及聲音資料，係被輸入至編碼器943。亦即，外部介面942係具有記錄再生裝置940中的傳輸手段之功能。
編碼器943，係當從外部介面942所輸入之映像資料及聲音資料是未被編碼的情況下，則將映像資料及聲音資料予以編碼。然後，編碼器943係將編碼位元串流，輸出至選擇器946。
HDD944，係將映像及聲音等之內容資料所被壓縮而成的編碼位元串流、各種程式及其他資料，記錄在內部的硬碟裡。又，HDD944係在映像及聲音之再生時，將這些資料從硬碟中讀出。
碟片驅動機945，係對所裝著之記錄媒體，進行資料記錄及讀出。被裝著在碟片驅動機945的記錄媒體，係可為例如DVD碟片(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)碟片等。
選擇器946，係在映像及聲音之記錄時，係選擇從選台器941或編碼器943所輸入的編碼位元串流，將已選擇之編碼位元串流，輸出至HDD944或碟片驅動機945。又，選擇器946，係在映像及聲音之再生時，將從HDD944或碟片驅動機945所輸入之編碼位元串流，輸出至解碼器947。
解碼器947，係將編碼位元串流予以解碼，生成映像資料及聲音資料。然後，解碼器947係將已生成之映像資料，輸出至OSD948。又，解碼器904係將已生成之聲音資料，輸出至外部的揚聲器。
OSD948，係將從解碼器947所輸入之映像資料予以再生，顯示出映像。又，OSD948係亦可對所顯示之映像，重疊上例如選單、按鈕或游標等之GUI的影像。
控制部949係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式，係例如在記錄再生裝置940啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面950所輸入的操作訊號，來控制記錄再生裝置940的動作。
使用者介面950，係和控制部949連接。使用者介面950係具有例如，用來讓使用者操作記錄再生裝置940所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面950，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部 949。
在如此構成的記錄再生裝置940中，編碼器943係具有上述實施形態所述之影像編碼裝置10的機能。又，解碼器947係具有上述實施形態所述之影像解碼裝置60的機能。藉此，記錄再生裝置940上的影像的可調式編碼及解碼之際，就可更有效率地生成複數圖像的編碼串流，可將所被生成之這些編碼串流予以解碼。
〔7-4.第4應用例〕
圖22係圖示了適用上述實施形態的攝像裝置的概略構成之一例。攝像裝置960係拍攝被攝體而生成影像，將影像資料進行編碼，而記錄至記錄媒體。
攝像裝置960係具備：光學區塊961、攝像部962、訊號處理部963、影像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動機968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961係被連接至攝像部962。攝像部962係被連接至訊號處理部963。顯示部965係被連接至影像處理部964。使用者介面971係被連接至控制部970。匯流排972係將影像處理部964、外部介面966、記憶體967、媒體驅動機968、OSD969、及控制部970，彼此連接。
光學區塊961，係具有對焦透鏡及光圈機構等。光學區塊961，係使被攝體的光學像，成像在攝像部962的攝像面。攝像部962，係具有CCD或CMOS等之影像感測 器，將成像在攝像面的光學像，藉由光電轉換而轉換成電氣訊號的影像訊號。然後，攝像部962係將影像訊號，輸出至訊號處理部963。
訊號處理部963，係對從攝像部962所輸入的影像訊號進行KNEE補正、γ補正、色彩補正等各種相機訊號處理。訊號處理部963，係將攝影機訊號處理後的影像資料，輸出至影像處理部964。
影像處理部964，係將從訊號處理部963所輸入的影像資料予以編碼，生成編碼資料。然後，影像處理部964，係將已生成之編碼資料，輸出至外部介面966或媒體驅動機968。又，影像處理部964，係將從外部介面966或媒體驅動機968所輸入之編碼資料予以解碼，生成影像資料。然後，影像處理部964係將已生成之影像資料，輸出至顯示部965。又，影像處理部964，係亦可將從訊號處理部963所輸入的影像資料，輸出至顯示部965而顯示出影像。又，影像處理部964，係亦可將從OSD969所取得之顯示用資料，重疊至對顯示部965輸出的影像上。
OSD969係生成例如選單、按鈕或游標等之GUI的影像，將所生成之影像，輸出至影像處理部964。
外部介面966，係被構成為例如USB輸出入端子。外部介面966，係例如在影像的列印時，將攝像裝置960與印表機做連接。又，外部介面966上係因應需要而連接有驅動機。驅動機上係裝著有例如磁碟或光碟等之可移除式媒體，從可移除式媒體所讀出的程式，係可被安裝至攝像 裝置960。甚至，外部介面966係還可被構成為連接LAN或網際網路等之網路的網路介面。亦即，外部介面966係具有攝像裝置960中的傳輸手段之功能。
被裝著至媒體驅動機968的記錄媒體，係可為例如磁碟、光磁碟、光碟、或半導體記憶體等之可任意讀寫之可移除式媒體。又，亦可被構成為，記錄媒體是對媒體驅動機968固定裝著，例如，內建型硬碟機或SSD(Solid State Drive)這類非可移除式的記憶部。
控制部970係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式，係例如在攝像裝置960啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面971所輸入的操作訊號，來控制攝像裝置960的動作。
使用者介面971，係和控制部970連接。使用者介面971係具有例如，用來讓使用者操作攝像裝置960所需的按鈕及開關。使用者介面971，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部970。
在如此構成的攝像裝置960中，影像處理部964係具有上述實施形態所述之影像編碼裝置10及影像解碼裝置60的機能。藉此，攝像裝置960上的影像的可調式編碼及解碼之際，就可更有效率地生成複數圖像的編碼串流，可將所被生成之這些編碼串流予以解碼。
<8.總結>
到這裡為止，使用了圖1~圖22，說明了一實施形態所述之影像編碼裝置10及影像解碼裝置60。若依據本實施形態，則在會編碼出複數串流的影像編碼方式中，針對某圖像內之預測單位執行畫面內預測之際，可將與共通之場景建立關連之另一圖像內的針對對應之預測單位所使用過的MostProbableMode資訊，予以再次利用。藉此，在會編碼出複數串流的影像編碼方式中，就能更有效率地將畫面內預測所需之參數予以編碼。
又，若依據本實施形態，則被再次利用的MostProbableMode資訊，係可以是用來識別具有被當作MostProbableMode之參照預測模式的相鄰區塊之位置用的索引資訊。共通之場景(並不一定要是完全相同的場景)是映出複數圖像的情況下，影像的空間相關，係在各個圖像間會彼此類似。因此，畫面內預測的最佳預測方向也會有在圖像間相類似的傾向。於是，若把依存於所述最佳預測方向而決定的索引資訊，在圖像間做再次利用，則可有效削減MostProbableMode資訊的編碼量。
又，若依據本實施形態，則上記索引資訊係可為，例如，用來識別左及上方的相鄰區塊候補之其中哪一者的資訊。所述構成，係可良好地適用於採用上記非專利文獻2所提議之手法的編碼器及解碼器。又，上記索引資訊係亦可為，用來識別相鄰之3個以上的相鄰區塊候補之其中哪 一者的資訊。若有3個以上的相鄰區塊候補存在時，則將相鄰區塊之位置予以指定的索引資訊的位元數係變得較多。因此，此情況下，藉由索引資訊之再次利用而能削減的MostProbableMode資訊的比率，也會增加。
又，若依據本實施形態，則只有當追加的編碼參數是表示應該再次利用MostProbableMode資訊的情況下，才會在圖像再次利用MostProbableMode資訊。若依據所述構成，就可成為，例如，將第1圖像內的針對第1預測單位所使用過的索引資訊，於第2圖像內的對應之第2預測單位中進行覆寫，針對第2預測單位而利用個別之MostProbableMode。藉此，就可更有彈性地切換是否再次利用MostProbableMode資訊。
此外，本說明書中主要是說明了，畫面內預測之相關資訊及畫面間預測之相關資訊是被多工化至編碼串流的標頭內，從編碼側往解碼側傳輸的例子。然而，這些資訊的傳輸手法係不限定於所述例子。例如，這些資訊係亦可不被多工化至編碼位元串流，而是以與編碼位元串流建立關連之個別資料的方式而被傳輸或記錄。此處，「建立關連」之用語係意味著，位元串流中所含之影像(切片或區塊等，亦可為影像之一部分)和該當影像所對應之資訊進行解碼時使其能夠彼此連結的意思。亦即，資訊係可有別於影像(或位元串流)而在另外的傳輸路上進行傳輸。又，資訊係亦可有別於影像(或位元串流)而被記錄在另外的記錄媒體(或是同一記錄媒體的其他記錄區域)。甚 至，資訊和影像(或位元串流)，係亦可以例如複數畫格、1畫格、或畫格內之一部分等之任意單位，而彼此關連。
以上雖然一面參照添附圖面一面詳細說明了本揭露的理想實施形態，但本揭露之技術範圍並非限定於所述例子。只要是本揭露之技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本揭露的技術範圍。
此外，如以下的構成也是屬於本揭露的技術範圍。
(1)
一種影像處理裝置，其特徵為，具備：解碼部，係從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊；和第1預測部，係使用被前記解碼部所解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測；和第2預測部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記第1預測部所使用之前記MostProbableMode資訊，來進行畫面內預測。
(2)
如前記(1)所記載之影像處理裝置，其中，前記 MostProbableMode資訊係含有索引資訊，其係用來識別，具有應被視為MostProbableMode之參照預測模式的相鄰區塊之位置。
(3)
如前記(2)所記載之影像處理裝置，其中，前記索引資訊係為，用來識別左及上方的相鄰區塊候補之其中哪一者的資訊。
(4)
如前記(2)所記載之影像處理裝置，其中，前記索引資訊係為，用來識別相鄰之3個以上的相鄰區塊候補之其中哪一者的資訊。
(5)
如前記(1)~(4)之任1項所記載之影像處理裝置，其中，前記第2預測部，係當從前記第2圖像之編碼串流所取得之參數是表示應該再利用前記MostProbableMode資訊的情況下，則使用前記MostProbableMode資訊來進行畫面內預測。
(6)
如前記(1)~(5)之任1項所記載之影像處理裝置，其中，前記第1圖像係相當於被進行可調式編碼之影像的第1圖層；前記第2圖像係相當於比前記第1圖層更為上位的第2圖層。
(7)
如前記(6)所記載之影像處理裝置，其中，前記第1圖層及前記第2圖層係空間解析度、雜訊比率或位元深度為彼此互異。
(8)
如前記(1)~(5)之任1項所記載之影像處理裝置，其中，前記第1圖像係相當於被進行立體顯示之影像的右眼視點及左眼視點之一方；前記第2圖像係相當於前記影像的右眼視點及左眼視點之另一方。
(9)
如前記(1)~(5)之任1項所記載之影像處理裝置，其中，前記第1圖像係相當於被進行交錯式編碼之影像的第1圖場；前記第2圖像係相當於前記影像的第2圖場。
(10)
一種影像處理方法，其特徵為，含有：從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊之步驟；和使用已被解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測之步驟；和 針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記MostProbableMode資訊來進行畫面內預測之步驟。
(11)
一種影像處理裝置，其特徵為，具備：第1判定部，係針對與共通之場景建立關連的2個以上之圖像當中的第1圖像內的第1預測單位，判定MostProbableMode是否有效；和第1編碼部，係隨應於前記第1判定部所作的判定結果，而將關於前記第1預測單位的MostProbableMode資訊，編碼至前記第1圖像之編碼串流內；和第2判定部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，判定使用前記MostProbableMode資訊而被特定之參照預測模式是否有效視為MostProbableMode。
(12)
如前記(11)所記載之影像處理裝置，其中，前記MostProbableMode資訊係含有索引資訊，其係用來識別，具有前記參照預測模式的相鄰區塊之位置。
(13)
如前記(12)所記載之影像處理裝置，其中，前記索引資訊係為，用來識別左及上方的相鄰區塊候補之其中哪一者的資訊。
(14)
如前記(12)所記載之影像處理裝置，其中，前記索引資訊係為，用來識別相鄰之3個以上的相鄰區塊候補之其中哪一者的資訊。
(15)
如前記(12)~(14)之任1項所記載之影像處理裝置，其中，還具備：第2編碼部，係當針對前記第2預測單位應該要再次利用前記MostProbableMode資訊的情況下，則將表示應再利用前記MostProbableMode資訊的參數，編碼至前記第2圖像之編碼串流內；前記第2編碼部，係當前記參數並非表示應再次利用前記MostProbableMode資訊的情況下，則將前記第2預測單位所需之個別的索引資訊，編碼至前記第2圖像之編碼串流內。
(16)
如前記(11)~(15)之任1項所記載之影像處理裝置，其中，前記第1圖像係相當於被進行可調式編碼之影像的第1圖層；前記第2圖像係相當於比前記第1圖層更為上位的第2圖層。
(17)
如前記(16)所記載之影像處理裝置，其中，前記第1圖層及前記第2圖層係空間解析度、雜訊比率或位元深 度為彼此互異。
(18)
如前記(11)~(15)之任1項所記載之影像處理裝置，其中，前記第1圖像係相當於被進行立體顯示之影像的右眼視點及左眼視點之一方；前記第2圖像係相當於前記影像的右眼視點及左眼視點之另一方。
(19)
如前記(11)~(15)之任1項所記載之影像處理裝置，其中，前記第1圖像係相當於被進行交錯式編碼之影像的第1圖場；前記第2圖像係相當於前記影像的第2圖場。
(20)
一種影像處理方法，其特徵為，含有：針對與共通之場景建立關連的2個以上之圖像當中的第1圖像內的第1預測單位，判定MostProbableMode是否有效之步驟；和隨應於前記判定之結果，將關於前記第1預測單位的MostProbableMode資訊，編碼至前記第1圖像之編碼串流內之步驟；和針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，判定使用前記 MostProbableMode資訊而被特定之參照預測模式是否有效視為MostProbableMode之步驟。
10,810‧‧‧影像編碼裝置(影像處理裝置)
1a‧‧‧第1圖像編碼部
1b‧‧‧第2圖像編碼部
2‧‧‧圖層間緩衝區
3‧‧‧多工部
60,860‧‧‧影像解碼裝置(影像處理裝置)
5‧‧‧逆多工部
6a‧‧‧第1圖像解碼部
6b‧‧‧第2圖像解碼部
7‧‧‧圖層間緩衝區
12‧‧‧排序緩衝區
13‧‧‧減算部
14‧‧‧正交轉換部
15‧‧‧量化部
16a,16b‧‧‧可逆編碼部
17‧‧‧積存緩衝區
18‧‧‧速率控制部
21‧‧‧逆量化部
22‧‧‧逆正交轉換部
23‧‧‧加算部
24‧‧‧去區塊濾波器
25‧‧‧畫格記憶體
26,27‧‧‧選擇器
30‧‧‧運動探索部
40a,40b‧‧‧畫面內預測部
41a,41b‧‧‧預測控制部
42a,42b‧‧‧預測部
43a,43b‧‧‧判定部
44a,44b‧‧‧模式緩衝區
45a,45b‧‧‧參數生成部
61‧‧‧積存緩衝區
62a,62b‧‧‧可逆解碼部
63‧‧‧逆量化部
64‧‧‧逆正交轉換部
65‧‧‧加算部
66‧‧‧去區塊濾波器
67‧‧‧排序緩衝區
68‧‧‧D/A轉換部
69‧‧‧畫格記憶體
70,71‧‧‧選擇器
80‧‧‧運動補償部
90a,90b‧‧‧畫面內預測部
91a,91b‧‧‧預測控制部
92a,92b‧‧‧參數取得部
93a,93b‧‧‧預測部
94a,94b‧‧‧模式緩衝區
900‧‧‧電視裝置
901‧‧‧天線
902‧‧‧選台器
903‧‧‧解多工器
904‧‧‧解碼器
905‧‧‧映像訊號處理部
906‧‧‧顯示部
907‧‧‧聲音訊號處理部
908‧‧‧揚聲器
909‧‧‧外部介面
910‧‧‧控制部
911‧‧‧使用者介面
912‧‧‧匯流排
920‧‧‧行動電話機
921‧‧‧天線
922‧‧‧通訊部
923‧‧‧聲音編解碼器
924‧‧‧揚聲器
925‧‧‧麥克風
926‧‧‧攝影機部
927‧‧‧影像處理部
928‧‧‧多工分離部
929‧‧‧記錄再生部
930‧‧‧顯示部
931‧‧‧控制部
932‧‧‧操作部
933‧‧‧匯流排
940‧‧‧記錄再生裝置
941‧‧‧選台器
942‧‧‧外部介面
943‧‧‧編碼器
944‧‧‧HDD
945‧‧‧碟片驅動機
946‧‧‧選擇器
947‧‧‧解碼器
948‧‧‧OSD
949‧‧‧控制部
950‧‧‧使用者介面
960‧‧‧攝像裝置
961‧‧‧光學區塊
962‧‧‧攝像部
963‧‧‧訊號處理部
964‧‧‧影像處理部
965‧‧‧顯示部
966‧‧‧外部介面
967‧‧‧記憶體
968‧‧‧媒體驅動機
969‧‧‧OSD
970‧‧‧控制部
971‧‧‧使用者介面
972‧‧‧匯流排
[圖1]用來說明可調式編碼的說明圖。
[圖2]一實施形態所述之影像編碼裝置之概略構成的區塊圖。
[圖3]一實施形態所述之影像解碼裝置之概略構成的區塊圖。
[圖4A]圖2所示之第1圖像編碼部之構成之一例的區塊圖。
[圖4B]圖2所示之第2圖像編碼部之構成之一例的區塊圖。
[圖5]圖4A及圖4B所示之畫面內預測部之詳細構成之一例的區塊圖。
[圖6]用來說明HEVC之角度畫面內預測法中所能選擇之預測方向之候補的說明圖。
[圖7]用來說明HEVC之角度畫面內預測法中的參照像素值之計算的說明圖。
[圖8]用來說明一實施形態中可被編碼之MostProbableMode資訊的第1例的說明圖。
[圖9]用來說明一實施形態中可被編碼之MostProbableMode資訊的第2例的說明圖。
[圖10]用來說明一實施形態中可被編碼之 MostProbableMode資訊的第3例的說明圖。
[圖11]一實施形態所述之編碼時的畫面內預測處理之流程之第1例的流程圖。
[圖12]一實施形態所述之編碼時的畫面內預測處理之流程之第2例的流程圖。
[圖13A]圖3所示之第1圖像解碼部之構成之一例的區塊圖。
[圖13B]圖3所示之第2圖像解碼部之構成之一例的區塊圖。
[圖14]圖13A及圖13B所示之畫面內預測部之詳細構成之一例的區塊圖。
[圖15]一實施形態所述之解碼時的畫面內預測處理之流程之第1例的流程圖。
[圖16]一實施形態所述之解碼時的畫面內預測處理之流程之第2例的流程圖。
[圖17]說明一實施形態所述之影像編碼處理對多重視點編碼之適用的說明圖。
[圖18]說明一實施形態所述之影像解碼處理對多重視點編碼之適用的說明圖。
[圖19]電視裝置之概略構成之一例的區塊圖。
[圖20]行動電話機之概略構成之一例的區塊圖。
[圖21]記錄再生裝置之概略構成之一例的區塊圖。
[圖22]攝像裝置之概略構成之一例的區塊圖。
1a‧‧‧第1圖像編碼部
2‧‧‧圖層間緩衝區
12‧‧‧排序緩衝區
13‧‧‧減算部
14‧‧‧正交轉換部
15‧‧‧量化部
16a‧‧‧可逆編碼部
17‧‧‧積存緩衝區
18‧‧‧速率控制部
21‧‧‧逆量化部
22‧‧‧逆正交轉換部
23‧‧‧加算部
24‧‧‧去區塊濾波器
25‧‧‧畫格記憶體
26,27‧‧‧選擇器
30‧‧‧運動探索部
40a‧‧‧畫面內預測部

Claims (20)

  1. 一種影像處理裝置，其特徵為，具備：解碼部，係從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊；和第1預測部，係使用被前記解碼部所解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測；和第2預測部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記第1預測部所使用之前記MostProbableMode資訊，來進行畫面內預測。
  2. 如請求項1所記載之影像處理裝置，其中，前記MostProbableMode資訊係含有索引資訊，其係用來識別，具有應被視為MostProbableMode之參照預測模式的相鄰區塊之位置。
  3. 如請求項2所記載之影像處理裝置，其中，前記索引資訊係為，用來識別左及上方的相鄰區塊候補之其中哪一者的資訊。
  4. 如請求項2所記載之影像處理裝置，其中，前記索引資訊係為，用來識別相鄰之3個以上的相鄰區塊候補之其中哪一者的資訊。
  5. 如請求項1所記載之影像處理裝置，其中，前記第2預測部，係當從前記第2圖像之編碼串流所取得之參 數是表示應該再利用前記MostProbableMode資訊的情況下，則使用前記MostProbableMode資訊來進行畫面內預測。
  6. 如請求項1所記載之影像處理裝置，其中，前記第1圖像係相當於被進行可調式編碼之影像的第1圖層；前記第2圖像係相當於比前記第1圖層更為上位的第2圖層。
  7. 如請求項6所記載之影像處理裝置，其中，前記第1圖層及前記第2圖層係空間解析度、雜訊比率或位元深度為彼此互異。
  8. 如請求項1所記載之影像處理裝置，其中，前記第1圖像係相當於被進行立體顯示之影像的右眼視點及左眼視點之一方；前記第2圖像係相當於前記影像的右眼視點及左眼視點之另一方。
  9. 如請求項1所記載之影像處理裝置，其中，前記第1圖像係相當於被進行交錯式編碼之影像的第1圖場；前記第2圖像係相當於前記影像的第2圖場。
  10. 一種影像處理方法，其特徵為，含有：從與共通之場景建立關連的2個以上之圖像當中的第1圖像之編碼串流，解碼出關於前記第1圖像內之第1預測單位的MostProbableMode資訊之步驟；和 使用已被解碼之前記MostProbableMode資訊，針對前記第1預測單位而進行畫面內預測之步驟；和針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，使用前記MostProbableMode資訊來進行畫面內預測之步驟。
  11. 一種影像處理裝置，其特徵為，具備：第1判定部，係針對與共通之場景建立關連的2個以上之圖像當中的第1圖像內的第1預測單位，判定MostProbableMode是否有效；和第1編碼部，係隨應於前記第1判定部所作的判定結果，而將關於前記第1預測單位的MostProbableMode資訊，編碼至前記第1圖像之編碼串流內；和第2判定部，係針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，判定使用前記MostProbableMode資訊而被特定之參照預測模式是否有效視為MostProbableMode。
  12. 如請求項11所記載之影像處理裝置，其中，前記MostProbableMode資訊係含有索引資訊，其係用來識別，具有前記參照預測模式的相鄰區塊之位置。
  13. 如請求項12所記載之影像處理裝置，其中，前記索引資訊係為，用來識別左及上方的相鄰區塊候補之其中哪一者的資訊。
  14. 如請求項12所記載之影像處理裝置，其中，前記索引資訊係為，用來識別相鄰之3個以上的相鄰區塊候 補之其中哪一者的資訊。
  15. 如請求項12所記載之影像處理裝置，其中，還具備：第2編碼部，係當針對前記第2預測單位應該要再次利用前記MostProbableMode資訊的情況下，則將表示應再利用前記MostProbableMode資訊的參數，編碼至前記第2圖像之編碼串流內；前記第2編碼部，係當前記參數並非表示應再次利用前記MostProbableMode資訊的情況下，則將前記第2預測單位所需之個別的索引資訊，編碼至前記第2圖像之編碼串流內。
  16. 如請求項11所記載之影像處理裝置，其中，前記第1圖像係相當於被進行可調式編碼之影像的第1圖層；前記第2圖像係相當於比前記第1圖層更為上位的第2圖層。
  17. 如請求項16所記載之影像處理裝置，其中，前記第1圖層及前記第2圖層係空間解析度、雜訊比率或位元深度為彼此互異。
  18. 如請求項11所記載之影像處理裝置，其中，前記第1圖像係相當於被進行立體顯示之影像的右眼視點及左眼視點之一方；前記第2圖像係相當於前記影像的右眼視點及左眼視點之另一方。
  19. 如請求項11所記載之影像處理裝置，其中， 前記第1圖像係相當於被進行交錯式編碼之影像的第1圖場；前記第2圖像係相當於前記影像的第2圖場。
  20. 一種影像處理方法，其特徵為，含有：針對與共通之場景建立關連的2個以上之圖像當中的第1圖像內的第1預測單位，判定MostProbableMode是否有效之步驟；和隨應於前記判定之結果，將關於前記第1預測單位的MostProbableMode資訊，編碼至前記第1圖像之編碼串流內之步驟；和針對前記2個以上之圖像當中的第2圖像內的對應於前記第1預測單位的第2預測單位，判定使用前記MostProbableMode資訊而被特定之參照預測模式是否有效視為MostProbableMode之步驟。
TW101142619A 2011-12-15 2012-11-15 影像處理裝置及影像處理方法 TW201332365A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011274660A JP2013126157A (ja) 2011-12-15 2011-12-15 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
TW201332365A true TW201332365A (zh) 2013-08-01

Family

ID=48612290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101142619A TW201332365A (zh) 2011-12-15 2012-11-15 影像處理裝置及影像處理方法

Country Status (14)

Country Link
US (1) US20140241428A1 (zh)
EP (1) EP2793465A4 (zh)
JP (1) JP2013126157A (zh)
KR (1) KR20140110842A (zh)
CN (1) CN103988507A (zh)
AU (1) AU2012353798A1 (zh)
BR (1) BR112014013858A2 (zh)
CA (1) CA2850349A1 (zh)
IN (1) IN2014CN04238A (zh)
MX (1) MX2014006764A (zh)
RU (1) RU2014123205A (zh)
TW (1) TW201332365A (zh)
WO (1) WO2013088833A1 (zh)
ZA (1) ZA201402438B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
JP2015211386A (ja) * 2014-04-28 2015-11-24 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置
WO2019100108A1 (en) * 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Image compression for digital reality
US11483555B2 (en) * 2018-01-11 2022-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Multiple boundary filtering
CN112073788B (zh) * 2019-06-10 2023-04-14 海信视像科技股份有限公司 视频数据处理方法、装置及显示设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101117A1 (en) * 2002-05-28 2003-12-04 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
JP5213456B2 (ja) * 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
JP5008664B2 (ja) * 2005-07-11 2012-08-22 トムソン ライセンシング マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
KR100678911B1 (ko) * 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
WO2012167711A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding

Also Published As

Publication number Publication date
RU2014123205A (ru) 2015-12-20
IN2014CN04238A (zh) 2015-08-14
KR20140110842A (ko) 2014-09-17
MX2014006764A (es) 2014-08-01
CN103988507A (zh) 2014-08-13
BR112014013858A2 (pt) 2017-06-13
JP2013126157A (ja) 2013-06-24
WO2013088833A1 (ja) 2013-06-20
CA2850349A1 (en) 2013-06-20
EP2793465A4 (en) 2015-07-22
AU2012353798A1 (en) 2014-04-03
US20140241428A1 (en) 2014-08-28
ZA201402438B (en) 2014-07-30
EP2793465A1 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
US10931955B2 (en) Image processing device and image processing method that horizontal filtering on pixel blocks
US10785504B2 (en) Image processing device and image processing method
TWI577175B (zh) Image processing apparatus and method, recording medium, and program
US9749625B2 (en) Image processing apparatus and image processing method utilizing a correlation of motion between layers for encoding an image
TWI569625B (zh) Image processing apparatus and method, program, and recording medium
TW201301901A (zh) 圖像處理裝置及圖像處理方法
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
TW201332365A (zh) 影像處理裝置及影像處理方法
US20160241882A1 (en) Image processing apparatus and image processing method
US20150043638A1 (en) Image processing apparatus and image processing method
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2014050311A1 (ja) 画像処理装置及び画像処理方法
WO2012124406A1 (ja) 画像処理装置及び画像処理方法