TW200806040A - Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs - Google Patents

Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs Download PDF

Info

Publication number
TW200806040A
TW200806040A TW96100149A TW96100149A TW200806040A TW 200806040 A TW200806040 A TW 200806040A TW 96100149 A TW96100149 A TW 96100149A TW 96100149 A TW96100149 A TW 96100149A TW 200806040 A TW200806040 A TW 200806040A
Authority
TW
Taiwan
Prior art keywords
parallax
image
information
decoding
shift
Prior art date
Application number
TW96100149A
Other languages
English (en)
Other versions
TWI364992B (zh
Inventor
Masayuki Tanimoto
Toshiaki Fujii
Kenji Yamamoto
Masaki Kitahara
Hideaki Kimata
Shinya Shimizu
Kazuto Kamikura
Yoshiyuki Yashima
Original Assignee
Nippon Telegraph & Telephone
Univ Nagoya Nat Univ Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228325&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TW200806040(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nippon Telegraph & Telephone, Univ Nagoya Nat Univ Corp filed Critical Nippon Telegraph & Telephone
Publication of TW200806040A publication Critical patent/TW200806040A/zh
Application granted granted Critical
Publication of TWI364992B publication Critical patent/TWI364992B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

200806040 I 九、發明說明: / 【發明所屬之技術領域】 • 本發明係關於一種多視點動態畫像之編碼及解碼的技 術。 -d 本申請案係根據於2006年1月5日所申請之日本特 2〇〇6-〇〇_號主張優先權,且將其内容援用於此。’、、 【先前技術】 多視點動態晝像细位在各種位置上之照相機拍相 同之被拍對象與背景的複數個動態晝像。以下,將以 =目機所拍攝之動態晝像稱為"2次元動態晝像",而將拍古 、目同之被拍對象與背景的2次元動態畫像之集夕 視點動態書像。吝满 為夕 ―像彳視點動悲晝像中所含的各照相機之 動^像,係在時間方向具有很強之相關性。另—方 由=之情況,對應相同時間的各照相機之圖框 ' 聶几全相同狀態之被拍對象與背景,所以才听士 機間具有报強之相關性。 、月厅、戶斤Μ在照相 衔。/ S敎述關於2次元動態晝像之編碼方式的先前祜 禽。在以國隊 尤則技 習知多數之Γί t .264、ΜΡΕ(Μ、MPEG—2為首的 償、正交轉人::恶晝像編碼方式中,係利用移動補 率之編石馬 置子化、可變長度編瑪的技術,進行高效 編碼例係在― P圖框中可利用盥過去 性進行編石馬,而在圖框的圖框間相關 而在B圖框中可利用與過去或是未來之每— 318889 5 200806040 极數張圖框的圖框間相關性進行編瑪。
有關H. 264技術之詳細,雖已記载於下述之非專利文 獻”’但是以下說明其概要。幻圖框中對圖框進行區 塊分割(將該區塊稱為巨集區塊,而區塊尺寸為Μ叫像 素))’且在各巨集區塊中進行晝面内預測 (intra-predict;i〇n) 〇 在推;^ 查品如…, ;隹進仃晝面内預測時,可將各巨 區塊進「步分割成小的區塊(以下,稱為次區塊),且以^ 次區塊進行不同的晝面内預測。 σ 另一方面’在Ρ圖框中,可以各巨集區塊 預測、或是晝面間預測(lnter_predictlQn)DP圖框2 畫面内預測,係與Γ圖框之情況相同。另一方面,在 畫面間預測時可進行移動補償。即使在移動補償中,亦可 莊錢塊分割成更小的區塊,並在各次區塊具有不2 移動向量、參照晝像。 另外’在B圖框中,雖亦可進行晝面内預測鱼
預測,但是在B圖框之金面門 /、旦面間 ㈣之旦面間制中,除了過去之圖框外 就連未來之圖框亦可作為移動補償之參照畫像 厂圖框—Β圖框—Ρ圖框之圖框構成編碼時= 卜β—β之順序編碼。然後,在Β圖框中,可參照 ^圖框而切移動補償。又,與ρ圖框之情況 :在將巨集區塊分割成每一次區塊上具有不同的移動: 但 當進行晝面内、晝面間預測時雖然可獲得預测殘差, 可於各巨集區__殘差區塊進行_(離散餘弦 318889 6 200806040 •轉換)進行量子化。然後,可對如此所獲得 '子化值進行可變長度編碼。 數的里 關多視點動態晝像之編碼,習知以來有依將移動補 :相同時刻之不同照相機之晝像的"視差補償"而古 ;ί:地編碼多視點動態晝像的方法。在此,所謂視差,: 之相同位置被投影的位置之差。 |拍對象上 將該照相制所產生之縣的概念目顯示 光轴係形成為垂直俯視平行的照相機增 :ΓΓ 在不同照相機之晝像平面上所投影的被拍 可表現:為目::零的位置,-般係稱為對應點。視差由於 次^向量ϋ訊Γ面内之位置的偏移’所以可表現作為2 ,視差補償方面,係從參照晝像推定與 ==的某個目標像素相對應的參照對象之以 像素之像素值。以下,為了方^目之像素值’預測目標 被推定的視差,,亦稱為”視差”。,對於⑽所述之" 獻2 編碼㈣,㈣㈣如非專利文 行視/式係對編碼對象之晝像的像素進 八右、二d对殘差之編碼。具體而言,該手法雖缺包 1 =以區塊單位進行視差補償之架構,但是係以2次以 里二=早位之視差。將該視差向量之概念圖顯 圖中。亦即,該手法係對2次元向量之視差資訊與預測 318889 7 200806040 • 殘差進行編碼。 _ .丄 、參數的編碼祕 並未進行利用照相機 •馬,所以對於照相機參數為未知之情況 ,’ 在有複數個來自照相機各為不同之 的^兄 二=意視點畫像技術進行視差補償。㈣=3 係利用任意視點畫像產生技術進行視差補償。:: 相機的料進 插’並預測編·象照相機之畫像的像素值象内 概念圖顯示於第n岡由._ 將該内插之 素m之參照晝:Γ二中像^ 象晝像之像素m的值。、〜m之值’而預測編碼對 另外’如非專利文獻3之情況 張以上的參照書像,則可不有不同照相機之2 照晝像推定關於編碼對象晝像之各像辛的視^ ^ 推定之概念圖顯示於第12圖中。^視差。將該視差 如該圖所示,真的視差中參昭金 藤 應會成為大致相同的值 ;' #應點的像素值 丄θ 西而,在多數的視差拍中、土士 有關各種深度之對應點可比較參照畫像之 j ’ 像素值最接近之深度而推定視差。該處理#^並根據 象晝像之像素單位進行。 ^ "、σ利用編碼對 如此’在有不同照相機之2張以上的夹… 解碼側可進行視差推定時,不 -…、旦像,且在 差資訊並提供至解碼側可力攸、4瑪側明示地編褐視 差資訊進行視差補償。馬側利用像素單位之視 (非專利文獻 i)m-T Ree.H.2641 1496_& 318889 8 200806040 nAdvanced Video Coding% Final Committee Draft, Document JVT-E022, September 2002 ' (非專利文獻 2)Hideaki Kimata and Masaki Ki tahara, "Preliminary results on multiple view video coding (3DAV)n, Document M10976 MPEG Redmond Meeting, July, ^ 2004 (非專利文獻 3)Masayuki Tanimoto,Toshiaki Fujii, nResponse to Call for Evidence on Multi-View Video _ Coding丨丨,Document Mxxxxx MPEG Hong Kong Meeting, January, 2005 【發明内容】 [發明所欲解決之問題] 若依據先前技術’則在有不同照相機之2張以上的參 照晝像’而在解瑪側可進行視差推定時,就不用從編碼側 明示地編碼視差資訊,而可在解碼側利用像素單位之視差 籲資訊進行視差補償。如此,在編碼及解碼側,可不使甩編 碼或解碼對象之晝像(解碼時則不解碼)來推定,將如此關 於編碼/解碼對象之晝像的視差稱為"參照視差"。 ,然而,在,碼側被推定之參照視差由於在預測效率之 意義上並非為最為適當,所以會有預測殘差之編碼量變多 的情況。因而、,容易類推得到藉由在編碼側求出使預測效 率最大化的視差’且就各像素對該視差與參昭視差之 下,稱為視差移位)進行編碼,從而使㈣效率提高,結果 使預測殘差之編$馬效率提高的方法。 318889 9 200806040 位編此可容易類推之技術中’由於係以料單 -2、、扁碼視歸位,所以會招來視差f訊之㈣=早 •、、、°果有整體無法實現較高之編碼效率的課題。 γ 揭明之目㈣謀求±料狀解決, ,於視差補償之精讀度的犧牲抑 將關 差資訊之資料量。 “于幻而面可減少視 [解決問題之手段] ㉛本發明與先前技術最為不同之點,係在於本發 课題:而進行決定晝像之區塊分割的處‘、及編 1的^ΐ斤决疋之區塊分割資訊及每—區塊之視差移位資 ’且將該等之#訊當作編碼資訊的點。、 -择右依據本㈣之影像編碼方法、影像解碼方法之第1 成、'、、扁碼對象之晝像性質而設定的區域分 副就各分割區域編碼視差移位資訊。 以葬視差移位由於在晝面内有空間相關性,所 即‘不:疋、虽的區域分割,且對該各區域編碼視差移位 :量 差補償之預测效率惡化而可抑制視差資訊之編 辑^夕L’影像編碼側係在參照視差設定步驟中,從已編 像)懷⑽編碼對_之視差. )進而’在區域分割設定步驟中,設定編碼對 士晝面内的區域分割。然後,在視差移位設定步驟 Γ,應以區域分割所設定之各區域的視差移位,在 w刀副貧訊編瑪步驟中’編石馬作為顯示區域分割之資訊 318889 10 200806040 ^域分割資訊’而在視差移位¥訊編碼 ,差移位資訊。 、、扁碼視 Γ 另外,作為在參照視差設定步驟中所設定夕▲、 ,差’亦可為例如根據第12圖所示之原 ::: .定,㈣下述之第3態樣)、基心意視=推 2寺,目的而利用其他手段編碼且送至解碼側之視^ 或3次凡模型的視差、或是以其 佴 旦 任一種。 力忐所美供的視差中之 另-方面’影像解碼侧係在參照視差設定步 編碼側同樣地從已解碼完之資訊( ^ 祕、旦象'視差’在區域分割資訊解碼步驟中解碼區 或/刀吾·】貧訊,在視差移位資訊解石馬步驟中,_ 區域分割資訊之區域的視差移位資訊。 ”、'修、乂據 本發明之影像編碼方法、影像解碼 =基本上與上述第1態樣相同,但是其係二L 域分割者。具體而言’例如可考細 =面揭示之第10圖般的矩形區塊分割。關於該2 可利用例如_之網(ent_編碼i 白知之熵編碼技術而有效率地編碼。 本發明之影像編碼方法、影傻鏟、 雖然基本上與上述第丨及第2:;=方法的第3態樣, 12圖所示之原理,不使用編碼料 糸以如第 參照畫像所推定之參照視差。如:二:,使:從複數個 照視差時,由於可只以已送至解碼例^參照晝像推定參 馬側之貝訊來設定參照視 318889 11 200806040 差所以可使為了設定參照視差而應編碼的附加資訊不產 • 生0 [發明效果] , 若依據本發明,則在從參照晝像推定視差之影像編碼 -;-〇碼方法中,利用在視差移位資訊中有空間相關性,即 可τ面抑制視差補償中之預測效率的惡化,而一面減小關 於視差移位資訊之編碼量,且可提高整體的編碼效氣。 【實施方式】 ^ 鲁 第1圖係顯示本發明實施例之影像編碼裝置的構成 圖。 該影像編碼裝置100,具備:輸入作為編碼對象责像 :照:機c之原晝像的晝像輸入部101;輸入作為參二畫 存:::::^之解碼晝像的參照晝像輪入部102;儲 f㈣晝像之㈣晝像記憶體1Q3;從參照晝像求出參照 視呈之荟照視差設定部1〇4;求出視差移位之視 籲定部1〇5;設定區塊分割之區塊分割設定部跡 巴洗 分割資訊之區塊分„訊編碼部1Q7;編碼視 之視差移位資訊編瑪部⑽;及編物則殘差之預測;差. 編碼部109。 、頂成至 本本實施例之照相機參照關係的示意圖。 1 昂2圖所示,係顯示在編碼 機之多視點影像時,將照相機Α與Β之解碼書後合 晝像’並編碼照相機C之動態晝像的情況f 田參知 目中之箭號係顯示視差補償時之參照關係,而在編焉 318889 12 200806040 '、’、相機c之晝像時,將在顯示時刻中為同 日” 與B的解竭晝像#作參照㊉=目機A 照相機AW之對絲a:、仃編碼。此\,係以關於 和所提供的w = m向量與參照視差向量之 測晝像者。—之像素)的像素值之平均值來製作預 〃第3圖係顯示本實施例之照相機配置的示意 施例中’例如第3圖所示,3個署只 間隔並排於直… 棧之視點位置係以等 垂 、直線上’而先軸相對於照相機所排列之直線呈 亦即,3個照相機之光軸係為平行。 旦像平面《xy座標彡’係由對與照相機所並排之 直,的平行移動(沒有旋轉等)所獲得,且藉由各個昭 ^間隔分割晝像平面之X軸及Υ轴而構成像素。·, 。照相機之解像度係為相同’更且,照相 的Μ象素份之視差,在照相機c與照相㈣係成為^素 之視差。 • 第4圖係顯示本實施例之編碼流程圖。更且,第5圖 係詳細記載第4圖之步驟S106之處理的流程圖。 本實施例,係以縱橫16像素所構成的巨集區塊單位來 指定巨集區塊内之區塊分割,且以該區塊分割所製作成之 ,塊(為了方便起見,簡稱為"區塊")單位來求出視差移位 資訊並予以編碼。 參照視差由於係表現為2次元向量,所以在解碼侧(及 編碼側),可從參照晝像中,以像素單位求出對各 書 之2次元向量(參照視差)。 、 318889 13 200806040 另力面,有關視差移位,係就各區塊對2次元向量 ,之視差移位進行-個(對照相機A之視差移位)編碼。此係 y因與求出麥照視差之情況同樣,當假設以關於各表昭晝像 -1各像素的視差移位向量與參照視差向量之和所提㈣向 :里(為視i補償所利用之視差向量),係指被拍對象上之相 同位置的物理限制條件時,若對照相機A之視差移位向量
為已知,則可無歧異地決定關於其他照相機之視 量所致。 J 另外,雖亦可考慮不假設該種限制條件,而獨立求出 對各參照晝像之視差移位並分別予以編碼,但是有關奸 =由於可容易適用作為本實施例之變更例所以省略其說/ 曰雖可考慮各種作為可在巨集區塊中適用之區塊分割, 但疋例如,可考慮第6圖所示者。另外,如第6圖所記载, 係將關於區塊分割之種類的指標表示為blkM〇de,將區塊 #分割blkMode中之區塊數表示為maxBlk[blkM〇de]。 ‘ 在該種前提下,沿著第4圖之流程說明編碼處理。 首先’利用晝像輸入部101輸入照相機c之晝像(步驟 S101)。另外’在此被輪入之照相機c的晝像與顯示時^為 相同之照相機A與B的解碼晝像係利用參照晝像輸入部一 102而輸入至參照晝像記憶體1 〇3。 其次,從參照晝像記憶體103輪入照相機儿與B 碼晝像(S102),且從所輸入之參照晝像,求出編碼對查 像對各像素之參照視差(S_。亦即,在參照視差設^ 318889 14 200806040 104讀入關於照相機A與B之2張參照晝像,且求出關於 •’照相機C之晝像之各像素的參照視差。 , 藉由進行此步驟,即可對照相機C之晝像的各像素求 7出一個2次元向量。在此,將與關於照相機[之晝像平面 上的座払(x、y)(x及y係以整數值表示像素之座標)之照 •相機A栢對的參照視差向量當作dA[x,y],而將與照相機 B相對的參照視差向量當作dB[X,y]。 在此,將巨集區塊之指標表示為||BBlk,將巨集區塊 _數表示為maxMBBlk。在將巨集區塊之指標1诎比初始化成 〇之後(S104),一面在巨集區塊之指標MBBlk上加 1(S110),而一面就各巨集區塊反覆執行以下之處理 至 Sill)。 首先,在將區塊分割(指標)blkM〇de初始化成〇之後 (S105),到區塊分割blkM〇de變成最大之指標值 maxBlkMode為止(S108),一面在區塊分割blkMode加 _ 1(S107),而一面求出關於巨集區塊MBMk及區塊分割 blkMode之失真率成本(s 106)。亦即,在視差移位設定部 105中’可求出關於各區塊分割bikMode之失真率成本 MBCost 〇 關於某個區塊分割blkMode之失真率成本MBCost,係 計算關於各區塊之失真率成本bIkCostC區塊總數係以 maxBlk[blkM0de]表示),且藉由取得其總和而獲得。 關於某個區塊之失真率成本b 1 kCost,係可當作利用 某個視差移位向量時之失真率成本c〇st的最小值而予以 15 318889 200806040 -求出。因而,有需要求出在各 位向量與其失真率成本。 吏⑺討最小化之視差移 之周^亦::用::碼之視差移位的探索係探索參照視差 , 亏慮e°、e!至eh作為視差梦曰 二 N 1反復進行計算有關满墓而旦η「 y]+en之失真率成本的# H差向里dA[x, 向量。成本的處理亚編碼該區塊之最佳視差移位 •以f 1卜旦在計算⑽時,首先,可求出關於使用某個視 聽位向置en時之預測殘差之區塊的絕對值總和SAD㈤。 更可求出編碼某個視差移位向量h時之視差移位 向量之編碼量的估計值R[en],⑽管 c〇st=SAD[en]+AR[en] ⑴ 其次,在區塊分割設定部1〇6中,關於各巨集區塊 MBBlk,可求出失真率成本MBC〇st變成最小之區塊分割 bestBlkMode(對應此之視差移位向量已求出)。 • 有關以上之步驟S106中,具體而言係進行第5圖所示 之處理。 首先’將巨集區塊之失真率成本MBCost與區塊blk 之指標值初始化成〇(Sl〇61),以將區塊blk中之失真率成 本blkCost形成最小之方式求出視差移位向量(sl〇62)。 在將所求出之區塊的失真率成本blkCost加在巨集區塊之 失真率成本MBCost之後(S1 063),在區塊blk加1,且在 區塊blk變成區塊總數maxBlk[blkMode]為止,反覆進行 步驟 S1062 至 S1064(S1 065)。 16 318889 200806040 若區塊b 1 k已變成區塊總數maxB 1 k [ b 1 kMode ]的話, - 則判定當時所算出的巨集區塊之失真率成本MBCost,比現 J 時點之最小的巨集區塊之失真率成本minMBCost小 _ (S1 066),若小的話,則記憶失真率成本祕Cost作為最小 之失真率成本minMBCost,且記憶當時之區塊分割 ~ blkMode,作為最佳的區塊分割 bestBlkMode(S1067)。 藉由進行上述之處理,由於求出利用於巨集區塊 MBBlk之視差補償的區塊分割資訊best BlkMode、視差移位 _資訊(視差移位向量)、依視差補償之預測殘差,所以以下 可利用區塊分割資訊編碼部107來編碼該區塊分割資訊. bestB 1 kMode ’且可利用視至移位貧訊編碼部108來編碼對 應bestBlkMode之視差移位資訊(S109)。 又,對應該視差移位資訊之預測殘差可利用預測殘差 編碼部10 9來編碼。 其次,第7圖係顯示本實施例中所用之影像解碼裝置。 φ 影像解碼裝置200具備:區塊分割資訊解碼部201、 視差移位資訊解碼部202、預測殘差解碼部203、視差補償 部204、及參照畫像記憶體205。 第8圖係顯示本實施例之影像解碼裝置200的解碼流 程。此係顯示將照相機C進行1圖框解碼之流程。以下先 詳細說明流程。另外’照相機A與B之同時刻的圖框會先 被解碼,且其解碼晝像被儲存在參照晝像記憶體205内。 首先,從參照晝像記憶體205輸入照相機A與B之解 •碼晝像(S201)、且從參照晝像中求出編碼對象晝像對各像 17 318889 200806040 素之參照視差(S202)。亦即,在視差補償部2〇4讀入關於 ,照相機A與B之2張參照晝像,且求出關於照相機c之晝 、/像之關於各像素的參照視差。藉由進行此項步驟,可對照 ;相機c之畫像之各像素求出二個2次元向量。 — 其次,在將巨集區塊之指標MBBlk初始化成〇之後 —(S203),一面在巨集區塊之指標·Blk加i(S211),而— 面就各巨集區塊以1圖框份反覆執行以下之處理(S2〇4至 S212)(1圖框之區塊數為maxMBBlk)。藉此可解碼照相機c •之1圖框。 / 在各巨集區塊之解碼中,貧先,可依區塊分割資訊解 碼部201解碼關於巨集區塊MBBlk之區塊分割資訊 beStBlkM〇de(S204)。其次,在將區塊blk之指標值初始化 成0之後(S205) ’就各區塊blk反覆進行以下之處理(S206 至 S209)(最大區塊數為 ^χΒ11ί[Μ1ίΜ〇(1ε])。 首先,在視差移位資訊解碼部202中解碼關於區塊blk ⑩之視差移位資訊(S206),而在視差補償部2〇4中,使用視 差移位資訊與參照視差製作關於區塊b 1 k之預測晝像(藉 由内插照相機A與B之像素值而製作)(s2〇7)。 在此’藉由進行關於上述區塊blk之反覆處理,即可 產生關於巨集區塊MBB1 k之預測晝像。因而,其次可在預 測殘差解碼部203中解碼關於巨集區塊MBB1k之預測殘 差。然後’藉由在視差補償部204計算預測晝像與預測殘 差之和’即可獲得關於巨集區塊MBBlk之解碼晝像(S21〇)。 可對1圖框份之全部的巨集區塊反覆進行以上之處理 18 318889 200806040 (S21 ]、S2】2),而可經级 吨了解碼照相機c之】圖框。 另外,本實施例中,在編碼照相機 照其他照相機C照相機A ^隹係猎由參 (一書像)内適杏絀A⑴進仃編碼,但是亦可在書面 1旦傢^遇虽地切換參照其他照相施;站s — 昭昭相機C之解踩查你 而、為碼之情況與參 瑪㈣晝像而進行移動補償之情況並予以編 如亦可以第6圖之區塊分割中所含的各 &塊為早位而切換視差補償與移動 。法、 像編碼側有必要編石弓顯干/貝 以月況,在影 文、屙碼頒不在各區塊是否 補償中之—個的資訊,碼視差/秒動 資訊。 、° σ守在衫像解碼側,有必要解碼該 r之以像編碼及影像解石馬的處理,可依電腦與軟體 二二’、現’且可將該程式記錄在電腦可讀取之記錄媒體 内來k供,亦可透過網路來提供。 [產業上可利用性] 在從參照畫像推定視差之影像編碼及解碼方$中,利 歸位魏中有空間相關性,即可—面抑制視差補 貝=預測效率的惡化而一面可減小關於視差移位資訊之 、、扁碼i ’且可提高整體的編碼效率。 【圖式之簡單說明】 第、1圖係顯示本發明實施例之影像編碼裝置的示意 圖0 第2圖係顯示實施例之照相機參照關係的示意圖。 第3圖係顯示實施例之照相機配置的示意圖。 318889 19 200806040 第4圖係本貫施例之編碼流程圖。 圖 【主 l〇〇 102 1〇4 106 108 109 201 202 203 205 第5圖係關於第4圖之步驟篇之處理的詳細流程 :6圖係顯示巨集區塊之區塊分割之例的示意圖。 第7圖係顯示實施例之影像解碼裝置的示意圖。 第8圖係實施例之解碼流程圖。 第9圖係照相機間所產生之視差的概念圖。 苐10圖係視差向量之概念圖。 第11圖係像素值内插之概念圖。 第12圖係視差推定之概念圖。 要元件符號說明】 晝像輸入部 麥照晝像記憶體 視差移位設定部 區塊分割資訊編碼部 衫像解石馬裝置 視差補償部 影像編碼裝置 ιοί 參照晝像輸入部 103 參照視差設定部 1〇5 區塊分割設定部 1〇7 視差移位資訊編碼部 預測殘差編碼部 200 區塊分割資訊解碼部 視差移位資訊解碼部 預測殘差解碼部 204 參照畫像記憶體 318889 20

Claims (1)

  1. 200806040 十、申請專利範圍: / 1. 一種影像編碼方法,係在將複數個影像當做一個影像編 碼時,利用使用複數個影像間之視差進行預測的視差補 償編碼者,其特徵在於具有: J 參照視差設定步驟,係設定從參照晝像所推定之對 γ 應於編碼對象畫像的參照視差; 區域分割設定步驟,係設定晝面内之區域分割; 視差移位設定步驟’係關於在上述區域分割設定步 ⑩ 驟中被設定之各區域,設定作為上述參照視差與用於上 述視差補償之視差間之差的視差移位; 區域分割資訊編碼步驟,係對用以顯示在上述區域 分割設定步驟中被設定之區域分割的區域分割資訊進 行編碼;及 視差移位資訊編碼步驟,係對用以顯示在上述視差 移位設定步驟中被設定之視差移位的視差移位資訊進 行編碼。 2. 如申請專利範圍第1項之影像編碼方法,其中,在上述 區域分割設定步驟中被設定之區域分割’係從對矩形區 塊進行分割之複數個區域分割方法中所選擇者。 3. 如申請專利範圍第1項之影像編碼方法,其中,在上述 參照視差設定步驟中被設定之參照視差,徐不使用上述 編碼對象晝像而是從複數個參照晝像推定。 4. 如申請專利範圍第3項之影像編碼方法,其中,上述參 照視差係從上述複數個參照晝像以像素單位推定。. 21 318889 200806040 5. -種影像解碼方法,係在將複數個影像當做—個影像 :ΐ: 用使用複數個影像間之視差進行預測的視 差補“而解碼者,其特徵在於具有:
    參照視差設定步驟,係設定從參照晝像所推定之對 應於解碼對象晝像的參照視差; 、 區域分割資訊解碼步驟,係對用以顯示編碼資訊 所含之區域分割的區域分割資訊進行解碼;及 視差移位資訊解碼步驟,係關於在上述 訊解碼步驟中被解巧之巴竹八宝丨次/ < °J貝 i阱馬之^域分副貧訊所示的各區域,解 碼上述編碼資訊中所含之作為上述參照視差與用於上 述視差補償之視差間之差的視差移位資訊。 6·如申請專利範圍第5項之影像解碼方法,其中,在上述 區域分割資訊解碼步驟中被解碼之區域分割資訊,係從 對矩形區塊進行分割之複數個區域分割方法中所選擇 • 丫·如申請專利範圍冑5項之影像解碼方法,其中,在上述 視差移位資訊解碼步驟中被解碼之視差移位資訊,係不 使用上述解碼對象晝像而是從複數個參照晝像推定的 多恥視差與用於上述視差補償之視差間之差的資訊。 8·=申請專利範圍第7項之影像解碼方法,其中,上述參 “、、視差係從上述複數個參照晝像以像素單位推定。 9. 一種影像編碼裝置,係在將複數個影像當做一個影像編 ^ R ’利用使用複數個影像間之視差進行預測的視差補 仏而編碼者,其特徵在於具有: 318889 22 200806040 參照視差設定手段,係設定從參照晝像所推定之對 應於編碼對象晝像之參照視差; 區域分割設定手段’係設定影像内之區域分割; 視差移位設定手段、係關於在上述區域分割設定手 段中被設定之各區域,設定作為上述參照視差與用於上 述視差補償之視差間之差的視差移位; 區域分割資訊編碼手段,係對用以顯示在上述區域 分割設定手段中被設定之區域分割的區域分割資訊進 行編碼;及 視差移位資訊編碼手段,係對用以顯示在上述視差 移位設定手段中被設定之視差移位的視差移位資訊進 行編碼。 1 〇. —種影像解碼裝置,係在將複數個影像當做一個影像進 行解碼時,利用使用複數個影像間之視差進行預測的視 差補償而解碼者,其特徵在於具有: 參照視差設定手段,係設定從參照晝像所推定之對 應於解碼對象晝像的參照視差; 區域分割資訊解碼手段,係對用以顯示編碼資訊中 所含之區域分割的區域分割資訊進行解碼;及 視差移位資訊解碼手段,係關於在上述區域分割資 訊解碼手段中被解碼之區域分割資訊所示的各區域,解 -碼上述編碼資訊中所含之作為上述參照視差與用於上 述視差補償之視差間之差的視差移位資訊。 11. 一種影像編碼程式,係用以使電腦執行如申請專利範圍 23 318889 200806040 第1、2及3項中任一項之影像編碼方法。 12.:=象解碼程式,係用以使電腦執行如申請專 弟5、β及7項中任一項之影像解碼方法。
    H-種電腦可讀取之記錄媒體’係記錄有用以使電腦 如申請專利範圍第卜2及3項中任—項之影像編碼方丁 法的影像編碼程式。 14· 一種電腦可讀取之記錄媒體,係記錄有用以使電腦執疒 如申請專利範圍第5、6及7項中任一項之影像解瑪方 法的影像解碼程式。
    318889 24
TW96100149A 2006-01-05 2007-01-03 Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs TW200806040A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006000393 2006-01-05

Publications (2)

Publication Number Publication Date
TW200806040A true TW200806040A (en) 2008-01-16
TWI364992B TWI364992B (zh) 2012-05-21

Family

ID=38228325

Family Applications (1)

Application Number Title Priority Date Filing Date
TW96100149A TW200806040A (en) 2006-01-05 2007-01-03 Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs

Country Status (11)

Country Link
US (1) US8451894B2 (zh)
EP (1) EP1971155B1 (zh)
JP (1) JP5234587B2 (zh)
KR (1) KR100977255B1 (zh)
CN (1) CN101361371B (zh)
BR (1) BRPI0706214B1 (zh)
CA (1) CA2634050C (zh)
ES (1) ES2388080T3 (zh)
RU (1) RU2384971C1 (zh)
TW (1) TW200806040A (zh)
WO (1) WO2007077989A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2663672C (en) * 2006-09-20 2014-08-12 Nippon Telegraph And Telephone Corporation Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
RU2406257C2 (ru) * 2006-09-20 2010-12-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования изображений, устройство для этого, программы для него и носитель информации для хранения программ
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
CN101170702B (zh) * 2007-11-23 2010-08-11 四川虹微技术有限公司 多视角视频编码方法
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
MY191783A (en) * 2010-04-13 2022-07-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
KR101626683B1 (ko) * 2011-08-30 2016-06-01 인텔 코포레이션 멀티뷰 비디오 코딩 방안
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US10390041B2 (en) 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
LT2854398T (lt) 2012-06-11 2018-01-10 Samsung Electronics Co., Ltd. Vaizdo kodavimo būdas, bendrinant sao parametrą pagal spalvio komponentą
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
CN104782128B (zh) * 2012-11-14 2017-10-24 寰发股份有限公司 用于三维或多维视图视频编码的方法及其装置
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
KR20150079742A (ko) * 2012-12-28 2015-07-08 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
CN105359529B (zh) * 2013-07-16 2018-12-07 寰发股份有限公司 用于三维或多视图视频编码的方法及装置
CN115037929A (zh) * 2016-02-03 2022-09-09 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
CN112702598B (zh) * 2020-12-03 2024-06-04 浙江智慧视频安防创新中心有限公司 基于位移操作进行编解码的方法、装置、电子设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130094A (ja) * 1988-11-10 1990-05-18 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像の動きベクトル情報符号化方式
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 3次元画像符号化装置
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3477023B2 (ja) * 1996-04-05 2003-12-10 松下電器産業株式会社 多視点画像伝送方法および多視点画像表示方法
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Kddi株式会社 ステレオ動画像用符号化装置
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
JP3790764B2 (ja) 2004-04-02 2006-06-28 一成 江良 投写型表示装置および投写型表示システム
JP4379221B2 (ja) 2004-06-17 2009-12-09 ブラザー工業株式会社 ミシンおよびその制御方法

Also Published As

Publication number Publication date
US20100220784A1 (en) 2010-09-02
CA2634050C (en) 2013-08-20
JP5234587B2 (ja) 2013-07-10
WO2007077989A1 (ja) 2007-07-12
CA2634050A1 (en) 2007-07-12
TWI364992B (zh) 2012-05-21
US8451894B2 (en) 2013-05-28
CN101361371A (zh) 2009-02-04
ES2388080T3 (es) 2012-10-08
CN101361371B (zh) 2010-11-03
EP1971155A4 (en) 2010-06-16
BRPI0706214A2 (pt) 2011-03-15
BRPI0706214B1 (pt) 2020-02-11
EP1971155A1 (en) 2008-09-17
KR20080078697A (ko) 2008-08-27
JPWO2007077989A1 (ja) 2009-06-11
RU2384971C1 (ru) 2010-03-20
KR100977255B1 (ko) 2010-08-23
EP1971155B1 (en) 2012-05-16
RU2008125839A (ru) 2009-12-27

Similar Documents

Publication Publication Date Title
TW200806040A (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP5234586B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP5268645B2 (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
JP6901468B2 (ja) 光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品
TWI364221B (zh)
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
CN101243692B (zh) 对多视角视频进行编码的方法和设备
TW200829036A (en) Prediction reference data generating method, video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2008020733A1 (en) A method and apparatus for encoding multiview video using hierarchical b frames in view direction, and a storage medium using the same
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP5894301B2 (ja) 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
CN105612748B (zh) 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序
JP2009164865A (ja) 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体
Roodaki-Lavasani et al. Efficient burst image compression using H. 265/HEVC
US10075691B2 (en) Multiview video coding method using non-referenced view video group
CN111630862A (zh) 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备
Wong et al. Horizontal scaling and shearing-based disparity-compensated prediction for stereo video coding
Monteiro et al. Disparity compensation using geometric transforms
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
Lee Motion estimation techniques by exploiting motion history and depth maps in video coding
Zheng et al. An effective global motion estimation method based on a compact motion model