TWI526056B - A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program - Google Patents

A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program Download PDF

Info

Publication number
TWI526056B
TWI526056B TW101115145A TW101115145A TWI526056B TW I526056 B TWI526056 B TW I526056B TW 101115145 A TW101115145 A TW 101115145A TW 101115145 A TW101115145 A TW 101115145A TW I526056 B TWI526056 B TW I526056B
Authority
TW
Taiwan
Prior art keywords
block
motion
motion vector
prediction
image
Prior art date
Application number
TW101115145A
Other languages
English (en)
Other versions
TW201251473A (en
Inventor
Hideki Takehara
Original Assignee
Jvc Kenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012098924A external-priority patent/JP5853841B2/ja
Priority claimed from JP2012098925A external-priority patent/JP5853842B2/ja
Application filed by Jvc Kenwood Corp filed Critical Jvc Kenwood Corp
Publication of TW201251473A publication Critical patent/TW201251473A/zh
Application granted granted Critical
Publication of TWI526056B publication Critical patent/TWI526056B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Description

動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、送訊裝置、送訊方法、送訊程式、動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式、收訊裝置、收訊方法、收訊程式
本發明係有關於使用了運動補償預測的映像解碼技術,尤其是有關於在運動補償預測時所利用的運動向量之導出技術。
在映像壓縮編碼中,一般而言,為了利用圖像間的時間方向之相關性來提升壓縮效率,而會利用運動補償預測。在運動補償預測中,會考慮運動向量所示之運動方向與量,而從參照圖像獲得預測值。藉由將運動補償預測所得到之預測值與編碼對象圖像之像素值的差分值予以編碼就可去除冗長度,可提高壓縮效率。
在最新的映像壓縮編碼的MPEG-4AVC等中,是將1個圖像視為,進行圖像內編碼的I圖像、可進行單向運動補償預測的P圖像、可進行單向或雙向運動補償預測的B圖像,來進行編碼。
在將某編碼對象區塊之運動向量進行編碼時,首先從周邊區塊導出預測運動向量。然後,算出編碼對象區塊的運動向量與預測運動向量之差分運動向量,將差分運動向量進行熵編碼。此處,從周邊區塊導出預測運動向量的理由是,考慮編碼對象區塊的運動向量係與周邊區塊的運動向量具有相關性的緣故。在熵編碼中係利用該相關性,使得差分運動向量之絕對值越小則運動向量的壓縮效率越高 地進行壓縮。
專利文獻1中係揭露了有使用編碼對象區塊之周邊區塊的運動向量之預測方法。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2004-96705號公報
在上記的先前之運動向量編碼方法中,由於是將預測運動向量以前方、後方等之每一預測方向來進行導出,因此當有與編碼對象區塊之運動具有不同之時間相關性的物件之運動,是存在於周邊區塊內的情況下,就會導出與編碼對象區塊內之物件的原本之運動無關的預測運動向量,而無法提升運動向量之壓縮效率。
本發明係有鑑於此種狀況而研發,其目的在於,提供一種可一面提升編碼側的運動向量之壓縮效率,一面提升解碼側的運動向量導出之正確性的運動向量編碼技術及運動向量解碼技術。
為了解決上記課題,本發明的某個樣態的動態影像解碼裝置,係屬於將編碼列予以解碼的動態影像解碼裝置,該編碼列係以動態影像之各圖像所分割而成之區塊單位、 使用運動補償預測而被編碼者,其特徵為,具備:運動資訊導出部(550),係將解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測部(530),係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號。前記運動資訊導出部(550),係根據第1區塊的運動向量數與第2區塊的運動向量數是否為相同、且表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
本發明的另一其他樣態,係為動態影像解碼方法。此方法係屬於將編碼列予以解碼的動態影像解碼方法,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,具備:運動資訊導出步驟,係將解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出步驟所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號。前記運動資訊導出步驟,係根據第1區塊的運動向量數與第2區塊的運動向量數是否為相同、且表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表 示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
此外,即使將以上構成要素之任意組合、本發明之表現,在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者,對本發明的樣態而言皆為有效。
若依據本發明,則藉由考慮周邊區塊的運動向量,可一面提升編碼側的運動向量之壓縮效率,一面提升運動向量導出之正確性。
首先說明作為本發明的實施形態之前提的技術。
目前,以MPEG(Moving Picture Experts Group)等之編碼方式為依據的裝置及系統,已經普及。在此種編碼方式中,是將時間軸上連續的複數影像,以數位訊號的資訊的方式來對待。此時,為了高效率的資訊播送、傳輸或積存等目的,利用時間方向之冗長性的運動補償預測、及利用空間方向之冗長性的離散餘弦轉換等,會使用這類正交轉換而進行壓縮編碼。
1995年係把MPEG-2視訊(ISO/IEC 13818-2)編碼方式,制定成為通用的映像壓縮編碼方式,而被廣泛使用於DVD(Digital Versatile Disk)及D-VHS(註冊商標)規格的數位VTR所致之磁帶等之積存媒體、以及數位播送等之應用。
然後,在2003年,藉由國際標準化機構(ISO)與國際電氣標準會議(IEC)之聯合技術委員會(ISO/IEC),和國際電氣通訊聯合電氣通訊標準化部門(ITU-T)的共同作業,一種稱作MPEG-4 AVC/H.264的編碼方式(在ISO/IEC中稱作14496-10、在ITU-T中編號為H.264之規格號碼。以下稱之為MPEG-4AVC),被制定成為國際標準。
在這些編碼方式中,係利用了運動補償預測。在運動補償預測中,會考慮運動向量所示之運動方向與量,而從參照圖像獲得預測值。藉由將運動補償預測所得到之預測值與編碼對象圖像之像素值的差分值予以編碼就可去除冗長度,可提高壓縮效率。
隨著運動補償預測之利用方法,圖像係被分成3種類型。亦即不利用運動補償預測的I圖像、可進行單向運動補償預測的P圖像、可進行單向或雙向運動補償預測的B圖像。
在MPEG-2的P圖像中,將顯示順序上前一個I圖像或P圖像當作參照圖像而以巨集區塊單位進行運動補償預測。相對於此,在MPEG-4AVC中,可將複數已編碼之圖像當作參照圖像來使用,從其中針對每一預測區塊(說明後述)選擇最佳者來進行運動補償預測。此外,除了顯示順序較為前面的圖像,在顯示順序上較為後續的圖像也能參照。
又,在MPEG-2的B圖像中,係可進行:利用顯示順序上前方1張之參照圖像的運動補償預測、利用後方1張 之參照圖像的運動補償預測、或將該2張參照圖像做平均的運動補償預測之任一者。相對於此,在MPEG-4AVC中,不受到顯示順序的前方1張、後方1張之限制,可前方後方無關地將任意參照圖像,利用於運動補償預測。甚至,還可將B圖像也當作參照圖像來進行參照。
如此,在MPEG-4AVC中係可參照任意的已編碼圖像,因此將已解碼之圖像保存在參照畫格記憶體中而加以管理。
在MPEG-4AVC中,參照畫格記憶體中所儲存的圖像是以事先決定的方法來排列而作成參照圖像清單,在該編碼串流中記述該索引,藉此以指定參照圖像。此處,所謂「參照圖像清單」,係可將運動補償預測時所利用之參照畫格內的參照圖像做重排的清單。使用參照圖像清單而將參照圖像依照利用頻繁度來做重排,就可提升編碼效率。
又,參照圖像清單係在對每一切片所附加的切片標頭內,發送參照圖像清單變更資訊,藉此,也可將上述的清單進行重排。
在MPEG-4AVC的運動補償預測中,係以預測區塊單位,將已被登錄在參照圖像清單中的已編碼之圖像當作參照圖像,考慮運動向量所示之運動方向與量,而從參照圖像算出預測值。
參照圖像清單係準備有2方向。一般而言係為,將編碼對象圖像的時間上前方之已編碼圖像予以登錄的參照圖像清單L0、和將編碼對象圖像的時間上後方之已編碼圖 像予以登錄的參照圖像清單L1。在P圖像中係利用參照圖像清單L0,在B圖像中係利用參照圖像清單L0及參照圖像清單L1。
令參照圖像清單L0所做之運動補償預測的方向為方向0,參照圖像清單L1所做之運動補償預測的方向為方向1。
若針對預測區塊來說明,則圖像係首先被分割成水平16像素×垂直16像素的巨集區塊(以下稱作MB)單位,MB係再被分割成水平16像素×垂直16像素、水平16像素×垂直8像素、水平8像素×垂直16像素、水平8像素×垂直8像素、水平8像素×垂直4像素、水平4像素×垂直8像素、水平4像素×垂直4像素之任一種預測區塊。
對P圖像的預測區塊,係分別分配有1個表示運動方向與運動量的運動向量、和表示參照圖像清單之參照圖像的參照索引。對B圖像的預測區塊,係分別分配有1個或2個表示運動方向與運動量的運動向量、和表示參照圖像清單之參照圖像的參照索引。
運動向量與參照索引是被分別分配1個的預測區塊(以下稱作單向預測)中,該運動向量與參照索引所指示的參照圖像之像素值,就成為了預測值。另一方面,運動向量與參照索引是被分別分配2個的預測區塊(以下稱作雙向預測)中,各個運動向量與參照索引所指示的參照圖像之像素值的平均值,就成為了預測值。
接著,關於先前的預測運動向量導出方法,將專利文 獻1或MPEG-4AVC的預測運動向量之導出方法,參照圖1及圖2來說明。以下,除非特別指定,否則區塊係表示預測區塊。
如圖1(A)所示,將編碼對象區塊X的周邊區塊的區塊A、區塊B、及區塊C,加以決定(步驟S5000)。此處,將區塊A的方向0之參照索引定義為refIdxL0A、方向0之運動向量定義為mvL0A,方向1之參照索引定義為refIdxL1A、方向1之運動向量定義為mvL1A。以下同樣地,定義出區塊B的refIdxL0B、mvL0B、refIdxL1B、mvL1B、區塊C的refIdxL0C、mvL0C、refIdxL1C、mvL1C。
檢查是否在編碼對象區塊X中進行了方向0之運動補償預測(步驟S5010)。
若方向0之運動補償預測未被進行(步驟S5010的NO),則將編碼對象區塊X的方向0之參照索引refIdxL0X設成-1、將運動向量mvL0X設成(0,0)(步驟S5030)。
若方向0之運動補償預測有被進行(步驟S5010的YES),則在3個周邊區塊A、B、C的方向0之參照索引refIdxL0A、refIdxL0B、refIdxL0C之內,檢查是否僅任一者與編碼對象區塊X之參照索引亦即refIdxL0X相同(步驟S5020),若參照索引與編碼對象區塊X一致的參照索引僅存在一個時(步驟S5020的YES),則將其周邊區塊N的運動向量mvL0N,當作編碼對象區塊X的預測運動向量mvpL0X(步驟S5040)。
若參照索引與編碼對象區塊X一致的參照索引不存在 ,或是存在2個以上(步驟S5020的NO),則如式1所示 ,將周邊區塊A、B、C的方向0之運動向量mvL0A、mvL0B、mvL0C之各成分的中央值,當作預測運動向量mvpL0X(步驟S5050)。
mvpL0X(x)=Median[mvL0A(x),mvL0B(x),mvL0C(x)] mvpL0X(y)=Median[mvL0A(y),mvL0B(y),mvL0C(y)](式1)
在編碼對象區塊X中針對方向1之運動補償預測也是進行與方向0相同之處理(步驟S5110~步驟S5150)。
說明以上所述的先前方法之課題。在先前的運動向量預測方法中,藉由利用中位數濾波器,來避免預測運動向量被取成突發性的值。可是,在中位數濾波器中係有以下課題:無法將最有效率的運動向量,利用成為預測值。
因此,在先前的運動向量預測方法中,係在中位數濾波器的前段,導入以下機制:在每一預測方向上,若具有與編碼對象區塊之參照索引相同之參照索引的周邊區塊是僅存在一個時,則把該周邊區塊之運動向量優先當作預測運動向量。
一般而言,運動向量係依存於物件的運動,因此物件的運動係具有時間方向之相關性。可是,在先前的運動向量預測方法中,由於編碼對象區塊與周邊區塊的參照索引是否一致之檢查,是對每一預測方向獨立地進行,因此當 有與編碼對象區塊之運動具有不同之時間相關性的物件之運動,是存在於周邊區塊內的情況下,會有無法正確預測編碼對象區塊的原本之運動的課題。
參照圖3,以具體例來說明此種先前運動向量預測方法的課題。
對編碼對象圖像的編碼對象區塊X而言的周邊之區塊A、區塊B、區塊C的位置關係,係如圖示。由於編碼對象區塊X與區塊B中係存在有相同的物件,因此關於編碼對象區塊X與區塊B,係採用了使用前方參照圖像P0與後方參照圖像P1的雙向預測。另一方面,含有區塊C之物件係與前方參照圖像P0的相關較強,會使用單向預測,含有區塊A之物件係與後方參照圖像P1的相關較強,會使用單向預測。
編碼對象區塊X,係對參照圖像P0進行運動向量為(-8,8)的運動補償預測,對參照圖像P1進行運動向量為(8,-8)的運動補償預測。區塊A,係對參照圖像P1進行運動向量為(0,0)的運動補償預測。區塊B,係對參照圖像P0進行運動向量為(-8,8)的運動補償預測,對參照圖像P1進行運動向量為(8,-8)的運動補償預測。區塊C,係對參照圖像P0進行運動向量為(0,0)的運動補償預測。
此處,方向0之參照索引的'0'係表示參照圖像P0,方向1之參照索引的'0'係表示參照圖像P1。
編碼對象區塊X的方向0之參照索引refIdxL0X係為0,運動向量mvL0X係為(-8,8),方向1之參照索引refIdxL1X 係為0,運動向量mvL1B係為(8,-8)。
周邊區塊A的方向0之參照索引refIdxL0A係為-1,運動向量mvL0A係為(0,0),方向1之參照索引refIdxL1A係為0,運動向量mvL1A係為(0,0)。
周邊區塊B的方向0之參照索引refIdxL0B係為0,運動向量mvL0B係為(-8,8),方向1之參照索引refIdxL1B係為0,運動向量mvL1B係為(8,-8)。
周邊區塊C的方向0之參照索引refIdxL0C係為0,運動向量mvL0C係為(0,0),方向1之參照索引refIdxL1C係為-1,運動向量mvL1C係為(0,0)。
此處,refIdxL0A為-1、mvL0A為(0,0)、refIdxL1C為-1、mvL1C為(0,0)的原因是,區塊A與區塊C是單向預測的緣故。
在上述的先前之運動向量預測方法中,關於編碼對象區塊X的方向0,帶有與編碼對象區塊X的參照索引refIdxL0X相等值的參照索引,係有區塊B的參照索引refIdxL0B與區塊C的參照索引refIdxL0C這2者存在,因此預測運動向量mvpL0X,係如式2所示,藉由計算周邊區塊A、B、C的方向0之運動向量mvL0A、mvL0B、mvL0C之各成分的中央值,而為(0,0)。
mvpL0X=(Median[0,-8,0],Median[0,8,0])=(0,0)(式2)
此時,差分運動向量dmvL0X,係如式3所示,藉由計算編碼對象區塊X的運動向量mvL0X與預測運動向量mvpL0X的差分,而為(-8,8)。
dmvL0X=mvL0X-mvpL0X=(-8-0,8-0)=(-8,8)(式3)
同樣地,關於編碼對象區塊X的方向1,帶有與編碼對象區塊X的參照索引refIdxL1X相等值的參照索引,係有區塊A的參照索引refIdxL1A與區塊B的參照索引refIdxL1B這2者存在,因此預測運動向量mvpL1X,係如式4所示,藉由計算周邊區塊A、B、C的方向1之運動向量mvL1A、mvL1B、mvL1C之各成分的中央值,而為(0,0)。
mvpL1X=(Median[0,8,0],Median[0,-8,0])=(0,0)(式4)
此時,差分運動向量dmvL1X,係如式5所示,藉由計算編碼對象區塊X的運動向量mvL1X與預測運動向量mvpL1X的差分,而為(8,-8)。
dmvL1X=mvL1X-mvpL1X=(8-0,-8-0)=(8,-8)(式5)
如以上所述,原本被雙向預測的編碼對象區塊X,係與同樣被雙向預測的唯一之周邊區塊B具有較高相關性,但若就每一預測方向而獨立判斷參照索引之同一性時,則即使是周邊區塊B以外,也會有帶有相同參照索引的周邊區塊存在。因此,在先前的運動向量預測方法中,就會針對每一預測方向而將預測運動向量藉由所有的周邊區塊之中間值而加以求出,無法獲得正確的預測運動向量,無法削減編碼對象區塊之運動向量的冗長度來進行編碼。
依循如上述之前提技術及先前技術,以下詳細說明本發明的第1實施形態。
圖4係使用了第1實施形態之運動向量預測方法的動態影像編碼裝置之構成的圖示。動態影像編碼裝置,係含有:減算部100、預測誤差編碼部110、編碼列生成部120、預測誤差解碼部130、加算部140、運動補償預測方法決定部150、畫格記憶體160、運動向量編碼部170、運動資訊記憶部180、及運動向量數取得部190。
首先說明動態影像編碼裝置所進行之動態影像編碼處理的流程。
編碼係以巨集區塊單位而進行。輸入圖像10係被分割成巨集區塊單位,被供給至減算部100及運動補償預測方法決定部150。
運動補償預測方法決定部150,係從編碼對象巨集區塊與畫格記憶體160所供給之參照圖像,藉由區塊比對等 手法而偵測出各參照圖像的運動向量,從所測出之運動向量之中,藉由位元率失真最佳化法等,決定最佳之運動補償預測方法,生成預測圖像。
運動補償預測方法決定部150,係將由已決定之運動補償預測方法所生成之預測圖像,供給至減算部100及加算部140。又,運動補償預測方法決定部150,係將已決定之運動補償預測方法所對應之參照索引與運動向量,送往運動資訊記憶部180。
此處,所謂運動補償預測方法之決定,係為決定巨集區塊內的預測區塊之分割方法、已被分割之預測區塊的預測方法(單向預測/雙向預測)、各預測方向的參照圖像(參照索引)。
減算部100,係藉由編碼對象巨集區塊與從運動補償預測方法決定部150所供給之預測圖像的差分,而求出預測誤差,供給至預測誤差編碼部110。
預測誤差編碼部110,係對從減算部100所供給之預測誤差,進行正交轉換或量化等之處理而轉換成預測誤差編碼資料,供給至編碼列生成部120及預測誤差解碼部130。
預測誤差解碼部130,係對從預測誤差編碼部110所供給之預測誤差編碼資料,進行逆量化或逆正交轉換等之處理而轉換成預測誤差,將預測誤差供給至加算部140。
加算部140,係藉由將從預測誤差解碼部130所供給之預測誤差與從運動補償預測方法決定部150所供給之預 測圖像進行加算,以求出解碼圖像,供給至畫格記憶體160。
畫格記憶體160,係將從加算部140所供給之圖像,當作參照圖像而加以保持,並供給至運動補償預測方法決定部150。
運動資訊記憶部180,係將從運動補償預測方法決定部150所供給之運動向量與參照索引加以記憶,將該運動向量供給至運動向量編碼部170。運動資訊記憶部180,係將輸入圖像的所有巨集區塊有關的運動向量與參照索引加以記憶,將編碼對象巨集區塊的周邊巨集區塊的運動向量與參照索引,供給至運動向量編碼部170。
此外,在第1實施形態中,運動資訊記憶部180係雖然將輸入圖像的所有巨集區塊有關的運動向量與參照索引加以記憶,但運動資訊記憶部180的目的係為,將編碼對象巨集區塊的周邊區塊之運動向量與參照索引予以供給至運動向量編碼部170,若能實現這點,則不需要將輸入圖像的所有巨集區塊有關的運動向量與參照索引加以記憶,只需記憶必要的份量即可。
運動向量編碼部170,係根據從運動資訊記憶部180所供給之編碼對象巨集區塊的運動向量與參照索引、周邊巨集區塊的運動向量與參照索引、及從運動向量數取得部190所供給之編碼對象巨集區塊與周邊巨集區塊的運動向量數,來求出預測運動向量,根據編碼對象巨集區塊的運動向量與預測運動向量而求出差分運動向量,轉換成差分 運動向量,供給至編碼列生成部120。關於詳細的運動向量之預測方法,將於後述。
編碼列生成部120係將從預測誤差編碼部110所供給之預測誤差編碼資料、及從運動向量編碼部170所供給之差分運動向量編碼資料,與其他控制資訊等一起轉換成輸出編碼列而輸出。
運動向量數取得部190,係從運動資訊記憶部180取得每一巨集區塊的運動向量數,將編碼對象巨集區塊與周邊巨集區塊的運動向量數,供給至運動向量編碼部170。
此外,關於運動向量數之取得,係除了從運動資訊記憶部180取得每一巨集區塊的運動向量數的方法以外,還可以從將已被運動補償預測方法決定部150所決定之運動補償預測方法加以表示的資訊等,來取得之。
圖5係圖4之運動向量數取得部190及運動向量編碼部170之詳細構成的說明圖。
運動向量數取得部190係含有:編碼對象區塊運動向量數取得部210、周邊區塊運動向量數取得部220、及周邊區塊特定部230。
運動向量編碼部170係含有:預測運動向量導出部240、差分運動向量算出部250、及差分運動向量編碼部260。
編碼對象區塊運動向量數取得部210,係從運動資訊記憶部180取得編碼對象區塊的運動向量之數目。周邊區塊特定部230,係參照運動資訊記憶部180,將位於編碼 對象區塊之周邊而已編碼之複數之周邊區塊,加以特定。周邊區塊運動向量數取得部220,係將已被特定之各周邊區塊的運動向量之數目,從運動資訊記憶部180中加以取得。
預測運動向量導出部240,係從周邊區塊特定部230收取複數之周邊區塊的參照索引與運動向量之資訊,從編碼對象區塊運動向量數取得部210收取編碼對象區塊的運動向量數,從周邊區塊運動向量數取得部220收取周邊區塊的運動向量數。
預測運動向量導出部240,係當複數之周邊區塊內,具有與編碼對象區塊之運動向量數相同運動向量數的周邊區塊是只存在一個時,將該周邊區塊予以特定成為預測候補區塊,將該預測候補區塊的運動向量當作預測運動向量MVP而供給至差分運動向量算出部250。
差分運動向量算出部250,係根據從運動資訊記憶部180所讀出之編碼對象區塊的運動向量MV、和從預測運動向量導出部240所收取之預測運動向量MVP的差分,而算出差分運動向量MVD,供給至差分運動向量編碼部260。
差分運動向量編碼部,係將差分運動向量MVD予以編碼,供給至編碼列生成部120。
接著,參照圖1、圖2、及圖6,說明第1實施形態的預測運動向量之導出方法之細節。預測運動向量的導出,係以編碼對象巨集區塊中的預測區塊單位來進行處理。在 第1實施形態的預測運動向量之導出方法中,係在前段進行了第1預測運動向量導出處理後,在後段進行第2預測運動向量導出處理。第2預測運動向量導出處理,係和圖1所說明的先前預測運動向量之導出方法相同。
說明前段的第1預測運動向量導出處理。
首先,周邊區塊特定部230係如圖1(A)所示,將編碼對象區塊X的周邊區塊的區塊A、區塊B、及區塊C,加以決定(步驟S1000)。
接著,周邊區塊運動向量數取得部220,係取得周邊區塊亦即區塊A的運動向量數、區塊B的運動向量數、區塊C的運動向量數,預測運動向量導出部240,係檢查在周邊區塊A、B、C之內,具有與編碼對象區塊X之運動向量數相同運動向量數的周邊區塊N是否只存在一個(步驟S1100)。
若運動向量數與編碼對象區塊X相同的周邊區塊N是僅存在一個(步驟S1100的YES),則預測運動向量導出部240,係將該周邊區塊予以特定成為預測候補區塊,檢查編碼對象區塊X的運動向量數是否為2(步驟S1200)。
當只有一個周邊區塊N的運動向量數是與編碼對象區塊X相同,且編碼對象區塊X的運動向量數為2時(步驟S1200的YES),則如式6所示,雙向(前方L0及後方L1)都將周邊區塊N的運動向量當作編碼對象區塊X的預測運動向量(步驟S1300)。
mvpL0X=mvL0N mvpL1X=mvL1N(式6)
當只有一個周邊區塊N的運動向量數是與編碼對象區塊X相同,且編碼對象區塊X的運動向量數並非2時(步驟1200的NO),則如式7所示,將區塊N的單預測方向Z(前方L0或後方L1)的運動向量,當作編碼對象區塊X的預測運動向量(步驟S1400)。此外,單預測方向Z係為運動向量存在的方向。
mvpLZX=mvLZN(式7)
當任一周邊區塊的運動向量數都是不與編碼對象區塊X相同,或2個以上的周邊區塊的運動向量數是與編碼對象區塊X相同時(S1000的NO),則作為第2預測運動向量導出處理,是進行先前的步驟5000以下的處理。
在上記的說明中,周邊區塊亦即區塊A、區塊B、及區塊C,係位在圖1(A)所示的位置,但周邊區塊係並非限定於圖1(A)所示的位置,只要是已編碼之區塊,則可為任意之位置。又,周邊區塊係不必要為3個,只要是2以上即可。然後,周邊區塊係在不只是空間上與編碼對象區塊相鄰的相同圖像內的區塊,亦可為與時間上與編碼對象區 塊相鄰之前一個已編碼之參照圖像的編碼對象區塊同一位置的區塊或其相鄰之區塊。
在第1實施形態中,作為第2預測運動向量導出處理,是進行步驟5000以後的處理,但不限定於步驟5000以後之處理。例如,當2個以上之周邊區塊的運動向量數是與編碼對象區塊X相同時,則亦可將運動向量數與編碼對象區塊X相同的複數之周邊區塊之任一者的區塊的運動向量,當作預測運動向量,求出運動向量數與編碼對象區塊X相同的複數之周邊區塊的運動向量的加權平均,來當作預測運動向量。又,當任一周邊區塊的運動向量數都不與編碼對象區塊X相同時,也是亦可同樣地,可將任一周邊區塊的運動向量當作預測運動向量,求出複數之周邊區塊的運動向量的加權平均,來作為預測運動向量。
接著,說明第1實施形態的預測運動向量導出方法所致之效果。
假設對圖3所說明的具體例,適用第1實施形態的預測運動向量導出方法。由於與編碼對象區塊X的運動向量數2具有相同運動向量數的唯一的周邊區塊係為區塊B,因此編碼對象區塊X的預測運動向量mvpL0X、mvpL1X係根據式8而分別為(-8,8)、(8,-8)。
mvpL0X=mvL0B=(-8,8) mvpL1X=mvL1B=(8,-8)(式8)
此時,差分運動向量dmvL0X、dmvL1X係根據式9而分別為(0,0)、(0,0)。
dmvpL0X=mvL0X-mvpL0X=(-8,8)-(-8,8)=(0,0) dmvpL1X=mvL0X-mvpL0X=(8,-8)-(8,-8)=(0,0)(式9)
如以上所述,若依據第1實施形態的預測運動向量之導出方法,則藉由將具有與編碼對象區塊之運動向量數相同運動向量數的周邊區塊的運動向量,當作預測運動向量,即使有與編碼對象區塊之運動具有不同之時間相關性的物件之運動,是存在於周邊區塊中的情況下,仍可導出符合原本運動的預測運動向量,可削減編碼對象區塊之運動向量的冗長度而進行編碼。
圖7係使用了第1實施形態之運動向量預測方法的動態影像解碼裝置之構成的圖示。動態影像解碼裝置,係含有:編碼列解析部500、預測誤差解碼部510、加算部520、運動補償預測部530、畫格記憶體540、運動向量解碼部550、運動資訊記憶部560、及運動向量數取得部570。
首先說明動態影像解碼裝置所致之動態影像解碼處理的流程。
解碼係以巨集區塊單位而進行。輸入編碼列10係備供給至編碼列解析部500。
編碼列解析部500,係從輸入編碼列10,將預測誤差編碼資料、差分運動向量、參照索引、及巨集區塊類型加以解碼並取得之。編碼列解析部500,係以預測區塊單位,將預測誤差編碼資料供給至預測誤差解碼部510、將差分運動向量與參照索引供給至運動向量解碼部550、將巨集區塊類型供給至運動向量數取得部570。
例如,當巨集區塊內是由4個預測區塊所構成時,就將以後的處理,在巨集區塊內重複4次。
預測誤差解碼部510,係將從編碼列解析部500所供給之預測誤差編碼資料,進行逆量化或逆正交轉換等之處理而轉換成預測誤差,將預測誤差供給至加算部520。
運動向量解碼部550,係使用從編碼列解析部500所供給之解碼對象巨集區塊的差分運動向量與參照索引、從運動向量數取得部570所供給之解碼對象巨集區塊與周邊巨集區塊的運動向量數、從運動資訊記憶部560所供給之周邊巨集區塊的運動向量與參照索引來求出預測運動向量,根據解碼對象巨集區塊的差分運動向量與預測運動向量而將運動向量予以解碼,將已解碼之運動向量及參照索引,供給至運動補償預測部530並且供給至運動資訊記憶部560。關於詳細的運動向量之解碼方法,將於後述。
運動資訊記憶部560,係將從運動向量解碼部550所供給之運動向量與參照索引加以記憶,將因應需要而記憶之運動向量及參照索引,供給至運動向量解碼部550。
運動向量數取得部570,係根據從編碼列解析部500 所供給之巨集區塊類型,取得每一巨集區塊的運動向量數,將解碼對象巨集區塊與周邊巨集區塊的運動向量數,供給至運動向量解碼部550。
此外,關於運動向量數之取得,係除了從巨集區塊類型取得以外,還可以根據差分運動向量的數目或參照索引的數目來做判斷。
運動補償預測部530,係使用從運動向量解碼部550所供給之運動向量與參照索引、及從畫格記憶體540所供給之參照圖像,生成預測值,供給至加算部520。
加算部520,係將從預測誤差解碼部510所供給之預測誤差與從運動補償預測部530所供給之預測值予以加算而生成解碼值,供給至畫格記憶體540,並且當作影像輸出60而予以輸出。
畫格記憶體540係將從加算部520所供給之解碼圖像加以記憶,因應需要而將所記憶之解碼圖像當作參照圖像而供給至運動補償預測部530。
圖8係圖7之運動向量數取得部570及運動向量解碼部550之詳細構成的說明圖。
運動向量數取得部570係含有:解碼對象區塊運動向量數取得部610、周邊區塊運動向量數取得部620、及周邊區塊特定部630。
運動向量解碼部550係含有:預測運動向量導出部640及運動向量算出部650。
解碼對象區塊運動向量數取得部610,係從編碼列解 析部500取得解碼對象區塊的運動向量之數目。周邊區塊特定部230,係參照運動資訊記憶部560,將位於解碼對象區塊之周邊而已解碼之複數之周邊區塊,加以特定。周邊區塊運動向量數取得部620,係將已被特定之各周邊區塊的運動向量之數目,從運動資訊記憶部560中加以取得。
預測運動向量導出部640,係從周邊區塊特定部630收取複數之周邊區塊的參照索引與運動向量之資訊,從解碼對象區塊運動向量數取得部610收取解碼對象區塊的運動向量數,從周邊區塊運動向量數取得部620收取周邊區塊的運動向量數。
預測運動向量導出部640,係當複數之周邊區塊內,具有與解碼對象區塊之運動向量數相同運動向量數的周邊區塊是只存在一個時,將該周邊區塊予以特定成為預測候補區塊,將該預測候補區塊的運動向量當作預測運動向量MVP而供給至運動向量算出部650。
運動向量算出部650,係藉由將從編碼列解析部500所收取之解碼對象區塊的差分運動向量MVD、和從預測運動向量導出部640所收取之預測運動向量MVP進行加算,以算出運動向量MV,供給至運動補償預測部530。
第1實施形態的動態影像解碼裝置所致之預測運動向量之導出方法,係只要將「編碼對象區塊」改成「解碼對象區塊」,就和第1實施形態的動態影像編碼裝置所進行之預測運動向量之導出方法相同,因此省略說明。
接著,說明本發明的第2實施形態。
圖9係使用了第2實施形態之運動向量預測方法的動態影像編碼裝置之構成的圖示。動態影像編碼裝置係含有:減算部100、預測誤差編碼部110、編碼列生成部120、預測誤差解碼部130、加算部140、運動補償預測方法決定部150、畫格記憶體160、運動向量編碼部170、運動資訊記憶部180、運動向量數取得部190、及巨集區塊交界判定部200。
第2實施形態的減算部100、預測誤差編碼部110、編碼列生成部120、預測誤差解碼部130、加算部140、運動補償預測方法決定部150、畫格記憶體160、運動資訊記憶部180、及運動向量數取得部190,係、和第1實施形態的標示同符號之構成相同。關於與第1實施形態不同的運動向量編碼部170及巨集區塊交界判定部200,參照圖9與圖10來說明。
巨集區塊交界判定部200,係判定編碼對象區塊是否銜接於巨集區塊交界,若編碼對象區塊銜接於巨集區塊交界時則將巨集區塊交界旗標設成1,若編碼對象區塊沒有銜接於巨集區塊交界時則將巨集區塊交界旗標設成0,將巨集區塊交界旗標供給至運動向量編碼部170。
是否銜接於巨集區塊交界,係可使用例如預測區塊號碼來進行判定。關於預測區塊號碼將於後述。
運動向量編碼部170,係根據從運動資訊記憶部180所供給之編碼對象巨集區塊的運動向量與參照索引、周邊 巨集區塊的運動向量與參照索引、從運動向量數取得部190所供給之運動向量數、及從巨集區塊交界判定部200所供給之巨集區塊交界旗標,來求出預測運動向量,根據編碼對象巨集區塊的運動向量與預測運動向量而求出差分運動向量並轉換成差分運動向量編碼資料,供給至編碼列生成部120。
關於第2實施形態的詳細之運動向量的預測方法,使用圖1、圖10來說明。
首先,周邊區塊特定部230係如圖1(B)所示,將編碼對象區塊X的周邊區塊的區塊A、區塊B、區塊C、及區塊D,加以決定(步驟S2000)。
接著,巨集區塊交界判定部200係檢查巨集區塊交界旗標的值(步驟S2100)。
若巨集區塊交界旗標為1(步驟S2100的YES),則周邊區塊運動向量數取得部220,係取得周邊區塊亦即區塊A、區塊B、區塊C、及區塊D的運動向量數,預測運動向量導出部240,係檢查在周邊區塊A、B、C、D之內,具有與編碼對象區塊X之運動向量數相同運動向量數的周邊區塊N是否只存在一個(步驟S2200)。步驟S2200以後,係進行第1實施形態的步驟S1200以後之處理。
若巨集區塊交界旗標為0(步驟S2100的NO),則作為第2預測運動向量導出處理,是進行如第1實施形態所說明的步驟S5000以後的處理。
使用圖11來說明第2實施形態的運動向量之預測方 法的效果。
首先說明預測區塊號碼。圖11(A)係圖示了,巨集區塊內被分割成8x8的4個預測區塊時的預測區塊號碼。
如圖11(B)所示,未銜接於巨集區塊交界的,係有預測區塊號碼為3的區塊E。當區塊E係含有與巨集區塊內之其他區塊相同之物件、且呈現相同動態時,則區塊E係很有可能如圖11(C)、圖11(D)、或圖11(E)所示般地被當成1個區塊X而被編碼。因此,當區塊E是以獨立的預測區塊而存在時,則區塊E與巨集區塊內的其他區塊是含有同一物件且呈現相同動態的可能性係較低。因此,在此種情況下,係刻意不進行運動向量數所致之判定就前進至第2預測運動向量導出處理會比較理想,藉此就可排除突發性的運動向量。
此外,像區塊E這類未銜接於巨集區塊交界的預測區塊,係由於周邊區塊是存在於巨集區塊內,因此未銜接巨集區塊交界的此一條件,係亦可改說成「周邊區塊是位於相同巨集區塊內」此一條件。
若依據本實施形態的預測運動向量之導出方法,則當編碼對象區塊是銜接於巨集區塊交界時,則考慮編碼對象區塊的運動向量數與周邊區塊的運動向量數,當編碼對象區塊並未銜接於巨集區塊交界時,則不考慮編碼對象區塊的運動向量數與周邊區塊的運動向量數,藉此,可減低預測運動向量的錯誤偵測,可導出符合原本之運動的預測運動向量。
圖12係使用了第2實施形態之運動向量預測方法的動態影像解碼裝置之構成的圖示。動態影像解碼裝置,係含有:編碼列解析部500、預測誤差解碼部510、加算部520、運動補償預測部530、畫格記憶體540、運動向量解碼部550、運動資訊記憶部560、運動向量數取得部570、及巨集區塊交界判定部580。
第2實施形態的預測誤差解碼部510、加算部520、運動補償預測部530、畫格記憶體540、運動資訊記憶部560、及運動向量數取得部570,係、和第1實施形態的標示同符號之構成相同。說明與第1實施形態不同的編碼列解析部500、運動向量解碼部550、及巨集區塊交界判定部580。
編碼列解析部500,係從輸入編碼列10,將預測誤差編碼資料、差分運動向量、參照索引、及巨集區塊類型加以解碼並取得之。編碼列解析部500,係以預測區塊單位,將預測誤差編碼資料供給至預測誤差解碼部510、將差分運動向量與參照索引供給至運動向量解碼部550、將巨集區塊類型供給至運動向量數取得部570,將預測區塊號碼供給至巨集區塊交界判定部580。
巨集區塊交界判定部580,係根據從編碼列解析部500所供給之預測區塊號碼來判定解碼對象區塊是否銜接於巨集區塊交界,若解碼對象區塊有銜結於巨集區塊交界時則將巨集區塊交界旗標設成1,若解碼對象區塊沒有銜接於巨集區塊交界時則將巨集區塊交界旗標設成0,將巨 集區塊交界旗標供給至運動向量解碼部550。
運動向量解碼部550,係使用從編碼列解析部500所供給之解碼對象巨集區塊的差分運動向量與參照索引、從運動向量數取得部570所供給之解碼對象巨集區塊與周邊巨集區塊的運動向量數、從巨集區塊交界判定部580所供給之巨集區塊交界旗標、從運動資訊記憶部560所供給之周邊區塊的運動向量與參照索引來求出預測運動向量,根據解碼對象巨集區塊的差分運動向量與預測運動向量而將運動向量予以解碼,將已解碼之運動向量及參照索引,供給至運動補償預測部530並且供給至運動資訊記憶部560。
第2實施形態的動態影像解碼裝置所致之預測運動向量之導出方法,係只要將「編碼對象區塊」改成「解碼對象區塊」,就和第2實施形態的動態影像編碼裝置所進行之預測運動向量之導出方法相同,因此省略說明。
接著,在說明本發明的第3實施形態前,參照圖13,以別的具體例來說明先前的運動向量預測方法之課題。
對編碼對象區塊X而言的周邊之區塊A、區塊B、區塊C的位置關係,係如圖示。在此例中,對於編碼對象圖像,會使用2張前方參照圖像P0、P1與1張後方參照圖像P2。由於編碼對象區塊X與區塊B中係存在有相同的物件,因此關於編碼對象區塊X與區塊B,係採用了使用前方參照圖像P1與後方參照圖像P2的雙向預測。另一方面,含有區塊A之物件係使用前方參照圖像P0、後方參 照圖像P2的雙向預測,含有區塊C之物件係使用前方參照圖像P1的單向預測。
編碼對象區塊X,係對參照圖像P1進行運動向量為(-8,8)的運動補償預測,對參照圖像P2進行運動向量為(8,-8)的運動補償預測。區塊A,係對參照圖像P0進行運動向量為(0,0)的運動補償預測,對參照圖像P2進行運動向量為(0,0)的運動補償預測。區塊B,係對參照圖像P1進行運動向量為(-8,8)的運動補償預測,對參照圖像P2進行運動向量為(8,-8)的運動補償預測。區塊C,係對參照圖像P1進行運動向量為(0,0)的運動補償預測。
此處,假設方向0之參照索引的'0'係表示參照圖像P1,方向0之參照索引的'1'係表示參照圖像P0,方向1之參照索引的'0'係表示參照圖像P2。
編碼對象區塊X的方向0之參照索引refIdxL0X係為0,運動向量mvL0X係為(-8,8),方向1之參照索引refIdxL1X係為0,運動向量mvL1B係為(8,-8)。
周邊區塊A的方向0之參照索引refIdxL0A係為1,運動向量mvL0A係為(0,0),方向1之參照索引refIdxL1A係為0,運動向量mvL1A係為(0,0)。
周邊區塊B的方向0之參照索引refIdxL0B係為0,運動向量mvL0B係為(-8,8),方向1之參照索引refIdxL1B係為0,運動向量mvL1B係為(8,-8)。
周邊區塊C的方向0之參照索引refIdxL0C係為0,運動向量mvL0C係為(0,0),方向1之參照索引refIdxL1C 係為-1,運動向量mvL1C係為(0,0)。
在先前的運動向量預測方法中,關於編碼對象區塊X的方向0,帶有與編碼對象區塊X的參照索引refIdxL0X相等值的參照索引,係有區塊B的參照索引refIdxL0B與區塊C的參照索引refIdxL0C這2者存在,因此預測運動向量mvpL0X,係如式10所示,藉由計算周邊區塊A、B、C的方向0之運動向量mvL0A、mvL0B、mvL0C之各成分的中央值,而為(0,0)。
mvpL0X=(Median[0,-8,0],Median[0,8,0])=(0,0)(式10)
此時,差分運動向量dmvL0X,係如式11所示,藉由計算編碼對象區塊X的運動向量mvL0X與預測運動向量mvpL0X的差分,而為(-8,8)。
dmvL0X=mvL0X-mvpL0X=(-8-0,8-0)=(-8,8)(式11)
同樣地,關於編碼對象區塊X的方向1,帶有與編碼對象區塊X的參照索引refIdxL1X相等值的參照索引,係有區塊A的參照索引refIdxL1A與區塊B的參照索引refIdxL1B這2者存在,因此預測運動向量mvpL1X,係如式12所示,藉由計算周邊區塊A、B、C的方向1之運動 向量mvL1A、mvL1B、mvL1C之各成分的中央值,而為(0,0)。
mvpL1X=(Median[0,8,0],Median[0,-8,0])=(0,0)(式12)
此時,差分運動向量dmvL1X,係如式12所示,藉由計算編碼對象區塊X的運動向量mvL1X與預測運動向量mvpL1X的差分,而為(8,-8)。
dmvL1X=mvL1X-mvpL1X=(8-0,-8-0)=(8,-8)(式13)
如以上所述,原本被雙向預測的編碼對象區塊X,係與同樣被雙向預測的唯一之周邊區塊B具有較高相關性,但若就每一預測方向而獨立判斷參照索引之同一性時,則即使是周邊區塊B以外,也會有帶有相同參照索引的周邊區塊存在。因此,在先前的運動向量預測方法中,就會針對每一預測方向而將預測運動向量藉由所有的周邊區塊之中間值而加以求出,無法獲得正確的預測運動向量,無法削減編碼對象區塊之運動向量的冗長度來進行編碼。
又,此情況下,即使使用本發明的第1或第2實施形態的運動向量預測方法來評價編碼對象區塊與周邊區塊的運動向量數之同一性,仍由於相等於編碼對象區塊之運動 向量數2的周邊區塊是有區塊A與區塊B這2者存在,因此變成還是會執行第2運動向量預測處理,還是會獲得和先前的運動向量預測方法相同之結果,無法削減編碼對象區塊之運動向量的冗長度來進行編碼。
為了解決此種課題,在本發明的第3實施形態中,係在編碼對象區塊與周邊區塊之間不只是運動向量數為相同,就連參照圖像為相同,也納入評價,採用此種運動向量預測方法。
以下詳細說明本發明的第3實施形態。
第3實施形態的使用運動向量預測方法的動態影像編碼裝置及動態影像解碼裝置之構成係第1實施形態之動態影像編碼裝置及動態影像解碼裝置。關於與第1實施形態不同動作的運動向量編碼部170及運動向量解碼部550,使用圖14來說明。只不過,運動向量解碼部550的情況下,以下的說明中是將「編碼對象區塊」改成「解碼對象區塊」。
說明與第1實施形態不同的步驟S1200以後的處理。
若運動向量數與編碼對象區塊X相同的周邊區塊N是僅存在一個時,則預測運動向量導出部240係檢查編碼對象區塊X的運動向量數是否為2(步驟S1200)。
若編碼對象區塊X的運動向量數係為2(步驟S1200的YES),則預測運動向量導出部240,係檢查是否編碼對象區塊X的L0方向之參照索引refIdxL0X等於周邊區塊N的L0方向之參照索引refIdxL0N、且編碼對象區塊X的 L1方向之參照索引refIdxL1X等於周邊區塊N的L1方向之參照索引refIdxL1N(步驟S3000)。
若滿足步驟S3000的條件,則和第1實施形態同樣地,進行步驟S1300之處理,雙向(前方L0及後方L1)都將周邊區塊N的運動向量當作編碼對象區塊X的預測運動向量。若不滿足步驟S3000之條件,則進行先前的運動向量預測方法亦即步驟S5000之後的處理。
若編碼對象區塊X的運動向量數並非2(步驟1200的NO),則預測運動向量導出部240,係檢查編碼對象區塊X的單預測方向Z(前方L0或後方L1)的參照索引refIdxLZX,是否等於周邊區塊N的LZ方向之參照索引refIdxLZN(步驟S3100)。
若滿足步驟S3100的條件,則和第1實施形態同樣地,進行步驟S1400之處理,將區塊N的單預測方向Z的運動向量,當作編碼對象區塊X的預測運動向量。若不滿足步驟S3100之條件,則進行先前的運動向量預測方法亦即步驟S5000之後的處理。
說明第3實施形態的預測運動向量導出方法所致之效果。
假設對圖13所說明的具體例,適用第3實施形態的預測運動向量導出方法。與編碼對象區塊X的運動向量數2具有相同運動向量數的的周邊區塊係存在有區塊A和區塊B這2個,但在雙向上參照索引為相同的周邊區塊係都只有區塊B,因此編碼對象區塊X的預測運動向量mvpL0X 、mvpL1X係根據式14而分別為(-8,8)、(8,-8)。
mvpL0X=mvL0B=(-8,8) mvpL1X=mvL1B=(8,-8)(式14)
此時,差分運動向量dmvL0X、dmvL1X係根據式15而分別為(0,0)、(0,0)。
dmvpL0X=mvL0X-mvpL0X=(-8,8)-(-8,8)=(0,0) dmvpL1X=mvL0X-mvpL0X=(8,-8)-(8,-8)=(0,0)(式15)
如以上所述,若依據第3實施形態的預測運動向量之導出方法,則即使具有與編碼對象區塊的運動向量數相同之運動向量數的周邊區塊是有複數的情況下,仍可藉由考用各預測方向之參照索引是否相同、亦即編碼對象區塊與周邊區塊之參照圖像是否一致,來導出符合原本運動的預測運動向量,可削減編碼對象區塊之運動向量的冗長度而進行編碼。
無論哪種實施形態,周邊區塊的數目或位置均為任意。在藍光(商標)碟片等的一般記錄媒體中,前方L0之參照圖像係較多,後方L1之參照圖像係較少地進行編碼。在此種情況下,亦可例如,在前方L0時則特定出4區塊 ,在後方L1時則特定出2區塊等,藉由預測方向來改變周邊區塊數。
又,無論哪種實施形態的預測運動向量之導出方法中,藉由前段的第1預測運動向量導出處理、和後段的第2預測運動向量導出處理(先前的預測運動向量之導出方法)來改變周邊區塊的特定方法,就可隨著預測運動向量之導出方法或處理量來適應性選擇周邊區塊的特定方法。
以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流,係為了可隨著實施形態中所使用之編碼方法來進行解碼,而具有特定的資料格式,對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。
動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流,而使用有線或無線網路的情況下,可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下,會設置有:將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。
動態影像送訊裝置,係含有:將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置,係含有:將已被封 包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理,係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現,當然,也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供,或可透過有線或無線網路從伺服器來提供,也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示,這些各構成要素或各處理程序之組合中還有各種可能的變形例,而這些變形例也都屬於本發明之範圍,而能被當業者所理解。
[產業上利用之可能性]
可利用於,使用了運動補償預測的映像解碼技術。
100‧‧‧減算部
110‧‧‧預測誤差編碼部
120‧‧‧編碼列生成部
130‧‧‧預測誤差解碼部
140‧‧‧加算部
150‧‧‧補償預測方法決定部
160‧‧‧畫格記憶體
170‧‧‧運動向量編碼部
180‧‧‧運動資訊記憶部
190‧‧‧運動向量數取得部
200‧‧‧巨集區塊交界判定部
210‧‧‧編碼對象區塊運動向量數取得部
220‧‧‧周邊區塊運動向量數取得部
230‧‧‧周邊區塊特定部
240‧‧‧預測運動向量導出部
250‧‧‧差分運動向量算出部
260‧‧‧差分運動向量編碼部
500‧‧‧編碼列解析部
510‧‧‧預測誤差解碼部
520‧‧‧加算部
530‧‧‧運動補償預測部
540‧‧‧畫格記憶體
550‧‧‧運動向量解碼部
560‧‧‧運動資訊記憶部
570‧‧‧運動向量數取得部
580‧‧‧巨集區塊交界判定部
610‧‧‧解碼對象區塊運動向量數取得部
620‧‧‧周邊區塊運動向量數取得部
630‧‧‧周邊區塊特定部
640‧‧‧預測運動向量導出部
650‧‧‧運動向量算出部
[圖1]編碼對象區塊與周邊區塊之關係的說明圖。
[圖2]先前之運動向量預測方法的說明用流程圖。
[圖3]先前之運動向量預測方法之具體例的說明圖。
[圖4]第1實施形態的動態影像編碼裝置之構成的圖 示。
[圖5]圖4之運動向量數取得部及運動向量編碼部之詳細構成的說明圖。
[圖6]第1實施形態的預測運動向量之導出方法之細節的說明用流程圖。
[圖7]第1實施形態的動態影像解碼裝置之構成的圖示。
[圖8]圖7之運動向量數取得部及運動向量解碼部之詳細構成的說明圖。
[圖9]第2實施形態的動態影像編碼裝置之構成的圖示。
[圖10]第2實施形態的預測運動向量之導出方法之細節的說明用流程圖。
[圖11]巨集區塊交界與預測區塊之關係的說明圖。
[圖12]第2實施形態的動態影像解碼裝置之構成的圖示。
[圖13]先前之運動向量預測方法之另一具體例的說明圖。
[圖14]第3實施形態的預測運動向量之導出方法之細節的說明用流程圖。
10‧‧‧輸入影像
20‧‧‧輸出編碼列
500‧‧‧編碼列解析部
510‧‧‧預測誤差解碼部
520‧‧‧加算部
530‧‧‧運動補償預測部
540‧‧‧畫格記憶體
550‧‧‧運動向量解碼部
560‧‧‧運動資訊記憶部
570‧‧‧運動向量數取得部

Claims (12)

  1. 一種動態影像編碼裝置,係屬於以動態影像之各圖像被分割而成之區塊單位而使用運動補償預測來進行編碼的動態影像編碼裝置,其特徵為,具備:運動資訊導出部,係將編碼對象預測區塊的運動向量,基於從前記編碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測部,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記編碼對象預測區塊的預測訊號;前記運動資訊導出部,係在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  2. 一種動態影像編碼方法,係屬於以動態影像之各圖像被分割而成之區塊單位而使用運動補償預測來進行編碼的動態影像編碼方法,其特徵為,具有:運動資訊導出步驟,係將編碼對象預測區塊的運動向量,基於從前記編碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊 導出步驟所導出之運動向量的運動補償預測,以生成前記編碼對象預測區塊的預測訊號;於前記運動資訊導出步驟中,在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  3. 一種動態影像編碼程式,係屬於以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來進行編碼的動態影像編碼程式,其特徵為,前記動態影像編碼程式係令電腦執行:運動資訊導出步驟,係將編碼對象預測區塊的運動向量,基於從前記編碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出步驟所導出之運動向量的運動補償預測,以生成前記編碼對象預測區塊的預測訊號;於前記運動資訊導出步驟中,在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  4. 一種送訊裝置,其特徵為,具備: 封包處理部,係將編碼串流進行封包化而獲得編碼資料,該編碼串流係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來進行編碼之動態影像編碼方法所編碼而成者;和送訊部,係將已被封包化之前記編碼資料,予以發送;前記影像編碼方法係具有:運動資訊導出步驟,係將編碼對象預測區塊的運動向量,基於從前記編碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出步驟所導出之運動向量的運動補償預測,以生成前記編碼對象預測區塊的預測訊號;前記運動資訊導出步驟,係在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,而將前記第2區塊當作候補區塊。
  5. 一種送訊方法,其特徵為,具有:封包處理步驟,係將編碼串流進行封包化而獲得編碼資料,該編碼串流係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來進行編碼之動態影像編碼方法所編碼而成者;和 送訊步驟,係將已被封包化之前記編碼資料,予以發送;前記影像編碼方法係具有:運動資訊導出步驟,係將編碼對象預測區塊的運動向量,基於從前記編碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出步驟所導出之運動向量的運動補償預測,以生成前記編碼對象預測區塊的預測訊號;前記運動資訊導出步驟,係在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,而將前記第2區塊當作候補區塊。
  6. 一種送訊程式,其特徵為,令電腦執行:封包處理步驟,係將編碼串流進行封包化而獲得編碼資料,該編碼串流係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來進行編碼之動態影像編碼方法所編碼而成者;和送訊步驟,係將已被封包化之前記編碼資料,予以發送;前記影像編碼方法係具有:運動資訊導出步驟,係將編碼對象預測區塊的運動向量,基於從前記編碼對象預測區塊之周邊區塊所選擇之候 補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出步驟所導出之運動向量的運動補償預測,以生成前記編碼對象預測區塊的預測訊號;前記運動資訊導出步驟,係在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,而將前記第2區塊當作候補區塊。
  7. 一種動態影像解碼裝置,係屬於將編碼列予以解碼的動態影像解碼裝置,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,具備:運動資訊導出部,係將解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測部,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號;前記運動資訊導出部,係在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否 為相同,來判定是否將前記第2區塊當作候補區塊。
  8. 一種動態影像解碼方法,係屬於將編碼列予以解碼的動態影像解碼方法,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,具有:運動資訊導出步驟,係將解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號;於前記運動資訊導出步驟中,在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  9. 一種動態影像解碼程式,係屬於將編碼列予以解碼的動態影像解碼程式,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,前記動態影像解碼程式係令電腦執行:運動資訊導出步驟,係將解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候 補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號;於前記運動資訊導出步驟中,在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  10. 一種收訊裝置,係屬於將編碼列予以解碼的收訊裝置,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,具備:收訊部,係將已被封包化的編碼資料透過網路而進行接收;和記憶體,係將已被接收之編碼資料予以緩衝;和封包處理部,係將前記編碼資料進行封包處理而生成編碼串流;和運動資訊導出部,係將前記編碼串流中的解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測部,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼 對象預測區塊的預測訊號;前記運動資訊導出部,係在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  11. 一種收訊方法,係屬於將編碼列予以解碼的收訊方法,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,具有:收訊步驟,係將已被封包化的編碼資料透過網路而進行接收;和將已被接收之編碼資料予以緩衝之步驟;和封包處理步驟,係將前記編碼資料進行封包處理而生成編碼串流;和運動資訊導出步驟,係將前記編碼串流中的解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號;於前記運動資訊導出步驟中,在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前 記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
  12. 一種收訊程式,係屬於將編碼列予以解碼的收訊程式,該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而被編碼者,其特徵為,前記收訊程式係令電腦執行:收訊步驟,係將已被封包化的編碼資料透過網路而進行接收;和將已被接收之編碼資料予以緩衝之步驟;和封包處理步驟,係將前記編碼資料進行封包處理而生成編碼串流;和運動資訊導出步驟,係將前記編碼串流中的解碼對象預測區塊的運動向量,基於從前記解碼對象預測區塊之周邊區塊所選擇之候補區塊當中的任一候補區塊之運動向量,而加以導出;和運動補償預測步驟,係藉由使用了已被前記運動資訊導出部所導出之運動向量的運動補償預測,以生成前記解碼對象預測區塊的預測訊號;於前記運動資訊導出步驟中,在第1區塊的運動向量數與第2區塊的運動向量數為相同的情況下,根據表示前記第1區塊的運動向量所參照之參照圖像的參照索引與表示前記第2區塊的運動向量所參照之參照圖像的參照索引是否為相同,來判定是否將前記第2區塊當作候補區塊。
TW101115145A 2011-04-27 2012-04-27 A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program TWI526056B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011100030 2011-04-27
JP2011100031 2011-04-27
JP2012098924A JP5853841B2 (ja) 2011-04-27 2012-04-24 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2012098925A JP5853842B2 (ja) 2011-04-27 2012-04-24 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム

Publications (2)

Publication Number Publication Date
TW201251473A TW201251473A (en) 2012-12-16
TWI526056B true TWI526056B (zh) 2016-03-11

Family

ID=48139476

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115145A TWI526056B (zh) 2011-04-27 2012-04-27 A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program

Country Status (2)

Country Link
US (3) US10425657B2 (zh)
TW (1) TWI526056B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
EP3557867A4 (en) 2017-01-16 2020-05-13 Industry Academy Cooperation Foundation Of Sejong University METHOD AND DEVICE FOR IMAGE SIGNAL ENCODING AND DECODING

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2725577B1 (fr) 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP4150742B2 (ja) 2002-01-09 2008-09-17 松下電器産業株式会社 動きベクトル復号化方法
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JPWO2012017858A1 (ja) * 2010-08-03 2013-10-03 ソニー株式会社 画像処理装置と画像処理方法
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
MX2013009864A (es) * 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
WO2020004979A1 (ko) * 2018-06-27 2020-01-02 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
TW201251473A (en) 2012-12-16
US20210127130A1 (en) 2021-04-29
US10425657B2 (en) 2019-09-24
US10911774B2 (en) 2021-02-02
US11445212B2 (en) 2022-09-13
US20190394486A1 (en) 2019-12-26
US20140119450A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
TWI600315B (zh) 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TWI580263B (zh) Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
JP6065088B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US11445212B2 (en) Moving picture decoding device, moving picture decoding method, and moving picture decoding program
JP5725106B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5725009B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP6493592B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP6311816B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US11812052B2 (en) Moving picture decoding device, moving picture decoding method, and moving picture decoding program
JP5842803B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2013121163A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム