TWI335185B - - Google Patents

Download PDF

Info

Publication number
TWI335185B
TWI335185B TW96100017A TW96100017A TWI335185B TW I335185 B TWI335185 B TW I335185B TW 96100017 A TW96100017 A TW 96100017A TW 96100017 A TW96100017 A TW 96100017A TW I335185 B TWI335185 B TW I335185B
Authority
TW
Taiwan
Prior art keywords
parallax
information
image
parameters
parameter
Prior art date
Application number
TW96100017A
Other languages
English (en)
Other versions
TW200737990A (en
Inventor
Masaki Kitahara
Hideaki Kimata
Shinya Shimizu
Kazuto Kamikura
Yoshiyuki Yashima
Masayuki Tanimoto
Toshiaki Fujii
Kenji Yamamoto
Original Assignee
Nippon Telegraph & Telephone
Univ Nagoya Nat Univ Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228291&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI335185(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nippon Telegraph & Telephone, Univ Nagoya Nat Univ Corp filed Critical Nippon Telegraph & Telephone
Publication of TW200737990A publication Critical patent/TW200737990A/zh
Application granted granted Critical
Publication of TWI335185B publication Critical patent/TWI335185B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

1335185 九、發明說明: 【發明所屬之技術領域】 ^明係關於多視點動態畫像之編碼及解碼的技術。 20〇Λ 根據雇年1月5日所申請的日本特願 6-_94號主張優先權,並在此援用其内容。、、 【先前技術】 ^視點動恶晝像為以位於各種位置的攝影機(咖 對相同的被攝體與背景進行攝影所得的複數個動態書像。 j下’將以一個攝影機所攝影的動態晝像稱為「2次元動 恶晝像」,將對同樣的被攝體與背景進行攝影所得的2次元 ^畫像之集合稱為多視㈣態晝像。包含於多視點動離 互像的各攝影機之2次元動態晝像在時間方向有較強的相 關。另-方面,當各攝影機被同步時,因對應於相同時間 料攝影機之圖框(frame)皆係對完全相同狀態的被攝體 與背景進行攝影,故於攝影機間有著強烈的相關。 首先’敘述關於2次元動態晝像之編碼方式的習知技 術。在以國際編碼標準之h.264、MPEG(動晝壓縮標準、 MPEG-2為首的多種習知2次元動態晝像編碼方式中,利 用所謂運動補償(Motion compensation)、正交變換 (orthogonal transform)、量子化(quantizati〇n)、熵編碼 (entropy coding)技術,而進行高效率的編碼。例如,於 H.264中,I圖框中可利用圖框内相關而進行編碼,p圖框 中則可利用與過去的複數格圖框的圖框間相關而進行編 碼,B圖框中則可利用與過去或未來的每複數個圖框的圖 318890 5 1335185 框間相關而進行編碼。 關於H.264的詳細技術,雖已於下述之非專利文獻1 有所記载,但以下仍說明其概要。於j圖框中將圖框予以 圖塊(block)分割(該圖塊稱作巨圖塊(macr〇 bi〇ck),圖塊大 小為16xl6(pixel,像素)),且於各巨圖塊中進行晝面内預 測(intra prediction)。在晝面内預測時,將各巨圖塊更分割 為較小的圖塊(以下稱為次圖塊),而可於各次圖塊執行相 異的晝面内預測方法。 另一方面,P圖框則可於各巨圖塊執行晝面内預測或 晝面間預測(inter prediction)。p圖框的晝面内預測係與工 圖才[π相1¾ #方面,於晝面間預測時則進行運動補償。 而即使於運動補償中,也可將巨圖塊分割為較小的圖塊, 而使各次圖塊可具有相異的運動向4、參照晝像。 又’雖於B圖框中也可執行晝面内預測與畫面間預 .測,但於B圖框+的晝面間預測,除了過去的圖框以外也
φ可將未來的圖框作為運動補償的參照晝像1如,在以I 圖框—Β圖框—Β圖框—Ρ同 圖框的圖框構成進行編碼時, 可依hp—B—Β的順序進行編^ H _ 圖框而進行運動補償。另外, 相 同可於將巨圖塊分割所得的各 ^ ^ 量。 谷- 人圖塊中具有相異的運動向 進行晝面内預測、晝面間 各巨圖塊則於預測殘差圖塊11付1預測殘差,在 Τ服sf〇rm,離散餘弦變換而進仃DCT(DiSC加e Cosine 夂換)而進行量子化。然後,對如此 318890 6 13-35185 而得的DCT係數之量子化值進行 length λ · 、 xr 欠長度編碼(variable .length coding)。又,於 P 圖框及 選摆夂昭蚩徬,.4 圖框中,雖可每次圖塊 k擇翏照畫像,但參昭書德益山 * 像係由破稱為參照書像帝引 (index)的數值來表示而被可變 一’、 ‘防本你, 贡度編碼。ii.264中,因袁 以旦像索引的值越小則越可用較短㈣進行可變長度編 碼,故採用於每圖框明示的將參昭全 又’ ^旦像索引予以變更的架 構。精由該功能,將使用頻度越 的參照書像索引值,_此可參照晝像設定為越小 碼。 #此可以有效率的將參照晝像索引編 關於多視點動態書傻的絶£ U的編碼,從以往就有藉由將運動 制員相於㈣時刻的相異攝f彡機之晝像的「視差補償」 :两效率的將多視點動態晝像進行編碼的方式。在此,所 :視差’係指在被配置於相異位置的攝影機之晝像平面 上,被攝體上之相同位置所投影的位置的差。 於第13圖表示於該攝影機間所產生的視差之概念 於該概念圖中,絲係形成為垂直烏料行的攝影機 之旦像平面者。如上所述,在相異的攝影機之晝像平面上 :斤投影出的被攝體上之相同位置的位置,一般係稱為對應 :、在視差補偵中,係從參照晝像推定出與編碼對象攝影 機之晝像上的某目標晝素對應的參照目的地之攝影機晝像 上=對應點,且以對應於該對應點的晝素值預測目標晝素 勺旦素值以下為求簡便,對如前所述的「被推定出的視 差」也%為「視差」。如上所述方式中係將視差資訊與預測 殘差予以編碼。 7 318890 1335185 向多料法巾,將視差表料晝像平面上的 向里(視差向量)。例如,於非專利文獻2的手法 人 =圖塊^進行視差補償的架構,但將圖塊單位的“ Γ ,亦即以2個參數(x成分及又成幻而予以表 現。弟Η圖不有該視差向量的㈣圖。亦即,該手法 以2參數(parame叫所構成的視差#訊與預測殘差予以編 :攝:機於Γ方法中因不進行利用攝影機參數的編喝,故 在攝衫钱夢數為未知的情形下也有效。 另-方面,於非專利文獻3中記载有多視點晝 編:方法,該方法係將攝影機參數利用於編碼,夢 =:元之資訊心表“有效率的將= 於第15圖不有核線幾何拘束的概念圖。藉由核線 拘束’在由2台攝影機(攝影機u攝影機2)所得 像中,與關聯於被攝體上之位置Μ的一方書像上的, 相對二另-方畫像…,’係被拘束-於稱為核: ㈣1Ρ(^Γ lme)的直線上。於非專利文獻3的手法中,係= 等於在-次兀之核線上的位置的一個參數來表現對於失昭 旦像的視差。亦即’於該手法中係將以-個參數予以表現、 的視差資訊與預測殘差進行編碼。 、 又即使參知晝像的張數有2張以上(各自為 機的參照晝像),也可利用妨綠说,仏+ 一攝衫 各參心像的視差。例如若已知對一個參照晝像的核線上 318890 8 1335185 之視差,則對於關聯於其他攝影機的參照晝像的視差也可 /復原。 ·; 另外,在來自各個相異的攝影機之參照晝像為複數個 時,則可利用任意視點晝像技術進行視差補償。非專利文 * 獻4係利用任意視點晝像產生技術進行視差補償。具體而 •言’係將編碼對象攝影機之晝像的晝素值,以與該晝素對 .應的相異攝影機之對應點的晝素值插補並進行預測。第16 圖示有該插補的概念圖。於該插補中,係對編碼對象晝像 •的晝素m之值,藉由插補與晝素m對應的參照晝像1、2 之晝素m’、m”之值而預測。 (非專利文獻 1)ITU-T Rec.H.264/ISO/IEC 11496- 10,,, Advanced Video Coding’’, Final Committee Draft, Document JVT-E022,September 2002 (非專利文獻 2)Hideaki Kimata and Masaki Kitahara, “Preliminary results on multiple view video coding 鲁(3DAV)”,document M10976 MPEG Redmond Meeting,July, 2004 (非專利文獻3)畑幸一 '榮藤稔、千原國宏··多視點晝像之 高效率編碼,電子情報通信學會論文誌、, YolJ82-D-ll,No.ll,pp. 1921-1929(1999) (非專利文獻 4)Masayuki Tanimoto, Toshiaki Fujii, ’’Response to Call for Evidence on Multi-View Video Coding’’,document Mxxxxx MPEG Hong Kong Meeting, January, 2005 318890 -L *503185 【發明内容】 (發明所欲解決的課題) 依據習知的多視點動態書 數為已知時’藉由利用核線幾==夫在:影機參 量無關地,將對於各參照晝像、次I參照晝像之數 表現,而可有效率地將視差資訊進行個麥數予以 作為將以實際的攝影機所取得的多視點動態晝像 抽^ 象,則因攝影機參數之測定誤差等,在將視差 形。另^線上而進行視差補償時,會有預測效率惡化的情 地拘束於核、it照畫像係混入了編瑪失真的晝像,若同樣 情形。若預>卜並進订視差補償,則會有預測效率惡化的 果導致全體的編碼率惡化。 里曰力、.、. 書發明之目的為謀求上述問題的解決,在多視點動態 2的編财,因應參照晝像的性f而控制視差補償的自 ^ 、且於存在有簽照晝像之編碼失真和攝影機參數之測 疋f、差,障形中,也使視差補償的精確度提升,而實現比 以在更向的編碼效率。 (用以解決課題的手段) 夹日s =發明與習知技術最大的不同點,係在於為了可因應 參照晝像之性質而控制視差補償的自由度,而使視差資訊 士二數數目為可變,且將表示該參數數目的視差參數數目 貝訊或索引資訊予以編碼而使其包含於編碼資訊中。 作為索引資訊,除了視差資訊之參數數目以外亦巧·以 10 318890 13-35185 包含表示用於視差補償的參照晝像的資訊,也可更含有其 .·他的資訊。 : 具體而言’本發明之影像編碼方法'影像解媽方法的 第1態樣,係實行將因應影像資訊的性質而指定用於視差 補償的視差資訊之參數數目的視差參數數目予以編碼、解 .碼的處理。 - 在此’視差參數數目資訊,例如為指定對應於各參照 晝像的視差向量之次元者。例如當參照晝像之張數為2張 鲁(參照晝像A、B)時,可考慮如以下的構成。 • pNum = 0 :對應於參照晝像a、b之任—者的視差向量 皆為1次元。 • PNum = 1 :對應於參照晝像a的視差向量為i次元,對 應於參照晝像B的視差向量為2次元。 • PNum = 2:對應於參照晝像A的視差向量為2次元,對 應於參照晝像B的視差向量為1次元。 # #PNUm = 3 :對應於參照晝像A、B之任—者的視差向量 皆為2次元。 上述的索引資訊pNum係可定義為視差參數數目資 訊。 首先,在影像編碼侧中,在視差參數數目設定步驟設 定用以表現視差資訊的參數數目。然後,將作為與在視差 參數數目設定步驟所設定的參數數目關聯的資訊的視差參 數數目資訊,於視差參數數目資訊編碼步驟予以編碼。然 後,將由在視差參數數目設定步驟所設定的參數數目所表 318890 11 13-35185 .貧訊在視差資訊編碼步驟中予以編碼。 ,另方面’影像解碼側則於視差參數數 驟中首先將視差參數數目資訊解碼一後,以二解石馬步 •=數數目資訊所指定的參數數目的視差資訊,::: 讯解碼步驟進行解碼。 於視差資 本發明的影像編碼方法、影像解碼方法 係對參昭書傻舍弓丨八弟2悲樣, t 像索W配可利用於視差補償 如在產生視差補償之預測晝像時利用2張參昭^像。例 1晝像記憶體有3張(A、B、C)可使用的===於 可考慮如以下的分配例。 …、、、旦像吩, • refldx = 〇 :參照晝像a與B。 • refldx = 1 :參照畫像b與c。 _ refldx = 2 :參照畫像a與c。 在此,·為參照畫像索引。除了前述以 建立加對應的蒼照晝像索引設定至 、已 晝像亦可。 ’對象攝影機之解碼 於影像編碼側,除了前述第丄態樣的處理 行:參照晝像設定步驟,將用於視差補償的參日=實 設定;及參照晝像索引編碼步驟,將參照晝1予以 :另-方面,於解碼側則具有將參照晝像索引予= 的步驟。 』μ %碼 若與如前所述的Η.264之參照晝像索引之 構組合,則可因應動態晝像的性質,對可產:又更采 測晝像的參照畫像予以設定較小的值 D〇質的預 1乍為其參照晝像索 318890 12 1335185 引’而可使蝙碼效率提升。 明之影像編碼方法、影像解碼方法的第3態樣, 'r、、、>照畫像索引使可供利用的視差參數數目資 對^係。例如,當於產生視差補償之預測晝像時利 張多照晝像,而於參照晝像記憶體可使 張(A、B、r、 丄. J*像有3 ),而在視差參數數目資訊PNUm有2 _ ► refldx ► refldx = 1 • refldx = 2 ►refldx = 3 ,reildx = 4 refldx = 5 ⑽則,1),可考慮如以下的分配例。 糾 ο 參,¾晝像A與B ’ pNum〒〇。 pNum pNum pNum pNum pNum 1 0 1 0 1 參照晝像A與B 參照晝像B與C 參照晝像B與C 參照晝像A與C 參照晝像A與C _ 编踩Z形中,雖在影像編碼側執行將參照晝像拿引予以 今牛跡、 |、、扁碼步驟,但視差參數數目資訊传於 >这步驟破編碼。另一方而祕士 貝甙係於 像索引予以Μ ,在影像解碼側執行將參照畫 目資吨係 “、"^晝像索引解碼步驟’但視差泉數數 目貝訊係於該步驟被料。 b數數 若組合如前所述的H 264 架構,則可因靡勒能全推 之旦像索引之順序變更 曰二>* ’以心旦像的性質而變更分配於視罢灸制·叙 目育訊的可變長度編碼之 數數 參數資訊予以編碼。 長度^有效率地將視差 (發明效果) 於多視點動態晝像之編 J硯差補j員中,能夠以圖框 318890 13 和圖塊為單位依據解碼晝像的特性適應性地進行下述 ^制:於因攝影機參數的敎誤差或參照晝像的編碼失 -而使依據核線成何拘束的預測之預測效率不佳時,在即 使令增加視差資訊的炎數赵曰从古Α山古 - ,數數目的间自由度預測依據核線幾 何拘束時預測效率也i0 _ 馒良的清形中,祙用以1個參數表示 ,視差的預測,而可實現比以往更高的編碼效率。 【實施方式】 [第1實施例] 获明瓦ϊ ί對第1實施例進行說明。於第1圖表示有本 發月之第1貫施例的影像編料置之構成圖。 該影像編碼裝置1〇〇将且古·. 係具有.晝像輸入部101,將作 2碼對I像的攝影機C之原畫像予轉人 予以輪入;參昭佥像;;Α的解碼晝像 m杯奴 憶體1〇3,將參照晝像予以儲存; ^俨的葙#-欠μ · 6又疋用以表現被利用於視差補 _ 4貝的視差員訊的參數數 ,腺、目¥ A 数数目,視差參數數目資訊編碼部 :、子:數數目資訊予以編碼;視差資訊編碼部 106,將視差資訊予以編碼;以及預測殘差編碼部107,將 於視差補償所產生的殘差信號予以編石馬。 η'表示第1實施例中之攝影機的參照關係。 多視點旦;::係:苐2圖所示,在將關聯於3個攝影機的 時’以攝影機Α與Β的解碼畫像作為 …像而將攝影機。之動態晝像予以編碼的情形。 圖中的箭號#妾-4目¥ -士 #+ 係表不視差補償時的參照關係,在將攝影 318890 14 撫“進行編碼時,係將於表示時刻為间 ” B之解碼晝像作為參照晝像而進/绝時刻的攝影 以關聯於攝影機A及B之對應點的丁之扁石馬。此時,係 預測畫像。 一值平均值來製作 例中第二::=實施例中的攝影機配置。…施 口攝〜機之視點位置係於直 尽灵施 光軸則為對攝影機所排列的直線呈垂直。亦仏的排列, 機之光軸為平行的。 μ 17,3台攝影 另外,晝像平面之xy座標系係由對於攝 直線的平行移動(無旋轉等)所得在斤拼列的 :晝像平面之x轴及”,等間隔的進行 解像度於各攝影機為相同,並且攝影機斤亦即, 畫素分的視差係變成在攝影機c與攝影機上… 差。 旦京的視 於第4圖表示有第丨實施例的編碼流程。
該流程圖係表示了將攝影機c的一個畫像 所執行的處理,而蕤由斟允蚩偾舌$ L 扁碼日τ 後编踩。 而藉由對各-像重複此處理而執行動態晝 然後,於本實施方式中,係將以下兩種視差資訊的表 現情形作為視差資訊的表現方法適應性地切換以進行視差 補償:藉由將對於攝影機A的核線上之位置以一個參數予 以表現的視差資訊,來表現對於攝影機入與B之各個參日召 晝像的視差的情形(索引pNum之值為〇);以及將對於攝影 機A與B之各個參照晝像的視差分別以2次元向量予以表 318890 15 1335185 合計以4個參數表現視差資訊的情形(索引之值 *、、、)。又,pNum為表示視差參數數目資訊的索引。 ^卜,視差參數數目的切㈣以將晝像分割所得的縱 松各自N晝素(NxN)的圖塊為單位來進行。亦即,對各似 N圖塊以i個(pNum,或4個(pNum=i)參數為視差資訊而 進行編碼。 、 在如上所述的前提之下依第4圖之流程說明編碼處 理。 >首力’藉由晝像輸入部101輸入攝影機c的晝像(步驟 S101)。在此顯示時刻與所輸入的攝影機c之晝像為相同 的攝影機A與B的解碼晝像,係藉由參照晝像輸入部1〇2 而輸入於參照畫像記憶體1〇3。 於該流程中’將表示由分割晝像所得的各個NxN圖塊 的索引表記為blk,絲對應於—個晝像的總圖塊數表記 為 maxBlk。 .將NxN圖塊之索引blk初始化為〇之後⑻⑽),一邊 將索引Mk力口 1(川5),一邊對各㈣圖塊重覆執行以下 的處理(S103至S116)至索引blk變為總圖塊數目贿服 為止。 百先,於視差參數數目設定部1〇4中,讀入對應於晝 像C之索引blk的編碼對象圖塊,且從參照晝像記憶體 讀入對應於攝影機A與B的參照晝像。接著,同樣在視差 參數數目設定部1〇4,針對pNum=〇及ρΝ·=1進行視差 探索的處理(S104至S106)。 318890 16 1335185 ^又,視差的探索,係以使依據由視差補償而來的預測 殘差之關聯於ΝχΝ圖塊的絕對值之總和sad與視差資訊 馬畺的估&十值之Rdisp所求出的失真率成本C0St為最 -小化的方式進行。在此,cost係以下式進行計算。 C〇st=SAD+ARdlsp (1) 在此,又為拉格朗(Lagrange)之未定乘數,且利用預 .先設定好之值。另外,為了求出Rdisp,對視差資訊施行可 變長度編碼而求得編碼量。 針對pNum=〇及pNum=l,求出cost之最小值pC〇st 及將pCost實現的視差資訊,且將pC〇st較小的視差資訊 採用於編碼(步驟S107至步驟su〇)。於第4圖之流程中 的mmPCost為儲存pCost之最小值用的變數,被設定為比 處理圖塊blk肖pC〇st所能取得的最大值更大的任意值 (maxPCost)而予以初始化。 在pNmn=0時,於步驟S105中進行以下處理。 • 在預先設定好的範圍中探索視差。以本實施例之攝影 機配置而言,若遵循核線幾何拘束,則對應於攝影機c之 像素(x,y)的視差,於攝影機A變為(x+(^,y),(其中,心 >=〇) ’於攝影機B則變為(x-dx,y)。但是,在縱橫工像素的 晝像平面上之座標系統,係.以左上之像素為(〇,〇)、右上為 (1-1,0)、左下為(〇,1-1)者。本實施例則以dx=〇至p的範圍 為探索範圍。因而,針對dx=0至P ,係以下式8人13[(^;|進 行計算。 318890 17 1335185 SAD[dx] =ς, ZjABS( DECA [x+i+dx. y+j]/2 + DECb [x+i+4 y+j]/2 • - IMGC [x+i, y+j]) ⑵ 其中’ Σ i係表示i從〇至N-1為止的總和,』係表 示j從0至N-1為止的總和。ABS()為取括弧内之絕對值 者’ DECA[x,y]與DECB[x,y]係分別表示攝影機a及B之解 碼畫像的(x,y)像素之輝度值,IMGc[x,y]則表示攝影機c之 屌晝像的(x,y)像素之輝度值。另外,(乂,^)為ΝχΝ圖塊之左 上的像素的晝像平面内的座標。 •更且,求出視差為dx時的視差資訊之編碼量估計值 Rdisp[dx],且藉由式⑴求出對應於視差a的失真率成本 cost[dx]。以所求得的cost[dx]為最小的視差設為 bestDispPNimiO,並將當時的成本設為p(:〇st。 然後,令minPCost —pCost,將〇代入儲存最佳 的bestPNum而進入pNum=i時的處理。 在PNUm=l時,於步驟sl〇6中進行以下處理。 在pNUm=1的情形中,不考慮核線幾何拘束而以2次 元進行視差的探索。具體而言’分別令關聯於攝影機A及 攝影機B的X軸上之探索範圍dxA, d p 1 1、ux,A,αχ,Β 分別為「-ρ至ρ」的範圍),y軸上之探索範圍 至P(dy,A,dy,B分別為「·Ρ至P」的範圍)。然後,針對^斤有 的(dx,A,dx,B,dy,A,dy,B)的組合’求出下式 , ,Ί LUx,A,dx,B, dy,A,dy,Bj。 SAD[dXiAt dXiB> dyA dyB] =I,I,ABS(DEC Γ + ^ ' + -J-,,1/2 - .mm':· :;;/;- y(;fd 318890 18 1335185 更且,求出視差為(dx,A,dx,B,dy,A,dy,B)時的視差資訊 .之編碼量估計值Rdisp[dx,A,dx,B,dy,A,dy,B],且藉由式⑴求 :·出對應於視差dx的失真率成本c〇st[dx a,dx B,dy A, dy B]。 然後’將使COSt[dx,A,dx,B,dy,A,dy,B]為最小的視差設為 bestDispPNuml,及將當時的成本設為pC〇st。 然後’若 pC〇St<mini>c〇st(S107),則令 minPC〇s卜 .pCost,且將1代入於儲存最佳pNum的bestpNum(si〇8)。 接者,於視差參數數目資訊編碼部1 〇 5中,將 •bestPNmn予以可變長度編碼(S111)。另外,於視差資訊編 碼部106中,將視差資訊予以編碼。當bestJ>Num為〇時, 將dx予以可變長度編碼’而當bestpNum為1時,則將(心A, dx,B,dy,A,dy,B)予以可變長度編碼。最後,於預測殘差編碼 部107,將預測殘差予以編碼(§丨〗2至S114)。 接著,於第5圖表示第1實施例之影像解碼裝置。影 像解碼裝置200係具有:視差參數數目資訊解碼部2〇1, 鲁將視差參數數目資訊予以解碼;視差資訊解碼部2〇2,將 因應於視差參數數目資訊的視差資訊予以解碼;預測殘差 解碼部203,將預測殘差予以解碼;視差補償部2〇4 ;以及 參照晝像記憶體205。 於第ό圖表示本實施例之解碼流程。此乃表示將攝影 機C解碼1圖框的流程。以下將詳細說明流程。 將ΝχΝ圖塊之索引blk初始化為〇後(S201),藉由對 各NxN圖塊於每一圖框分重複以下之步驟s2〇2至S208 的處理(1圖框之圖塊數目為maxBlk),使攝影機C的1圖 19 318890 1335185 框解碼。又,使攝影機A與B之同時刻的圖框事先被解碼, •且將其解碼晝像予以蓄積於參照晝像記憶體205。 • 首先错由視差參數數目資訊解碼部2 01,將視差灸 -數數目資訊bestPN解碼(S202)。因應bestPNum的值 (S203),進行以下的處理。 • 當bestPNum=0時,則於視差資訊解碼部2〇2中解碼 _視差資訊dx。於視差補償部2〇4輸入有視差參數數目資訊 鲁bestPNum與視差資訊dx’且從參照晝像記憶體2〇5輸入有 對應於視差資訊dx的攝影機A與B之ΝχΝ圖塊。然後, 右將編碼對像之ΝχΝ圖塊的像素之位置以(x,y)表示,則可 藉由下式產生預測晝像PRED[x+i,y+j](S204)。 PREDCx+ί, y+j]= DECa [ x+i + dxi y+j]/2 + DECe [ x+i + dxi y+j]/2 ⑷ 其中,i = 0,1,..·,Ν-1 且 j = 〇,1,…,N-l。 當bestPNum=l時,則於視差資訊解碼部202解碼視 差資訊(dx,A,dx,B,dy,A, dy,B)。於視差補償部2〇4輸入視差 _參數數目資訊bestPNum與視差資訊(dxA,dxB,dyA, dyB), 且從參照晝像記憶體205輸入對應於視差資訊(dxA,dxB, dy’A,dy,B)的攝影機a與B之ΝχΝ圖塊。然後,若將編石馬 對像之]SixN圖塊的像素之位置以(X,y)表示,則可藉由下式 產生預測晝像 PRED[x+i,y+j](S205)。 PREDfx+i, y+jj= D£Ca [ x+i + dXiAl y+j+dy,J/2 + DECe f x+i + dxB, y+j+ dy.B]/2 (5) 其中 ’ i = 0,1,...,N-1 且 j = 〇,i,...,N-l。 接著,於輸入有編碼後的預測殘差的預測殘差解碼部 20 318890 1335185 2的中,將ΝχΝ的預測殘差圖塊RES[x+i,y+】]予以解嗎。 之後預測殘差圖塊係輸入至視差補償部2〇4,且以如’、、’、 的方式°十异其與預測晝像的和,而求出解碼書像 、 DEC0[x+i,y+j](S2〇6)。 DEC0 [χ+i, y+jj= RES[x+|( y+jj+pRED[x+ji y+jJ ⑹ 藉由-邊於素引碰加1(S2〇7)一邊重複進行以 至碰變成1圖框之圖塊數目贿服為止,可 於攝影機C的解碼晝像。 &件關如 [第2實施例] 明。接著’針對第2個實施例(以下稱第2實施例)進行說 的方ΐ實=1=以5如第7圖所示的攝影機之參照關係 万式纟將關聯於5個攝影機的多 時,將攝影機A'b、d、e的解碼書像作為編碼 將攝影機C的動態晝像予以編碼。 〜’、、、旦象’而 .差補卞的畫像雄僅_ 換執行運動補償與視差補償的方式::ί:圖塊為單位切 箭號係表示著視差/運動補償時的參=編碼。且圖中的 的2台攝影機之複數個配 七中。又疋 種配對)而產生預㈣像。Η β、Β、Α與D、Β與Ε的3 施例相同,一匕 均值製作預測晝像的方式。 #應^的晝素值之平 31S890 21 1J35185 之視二中係與第1實施例相同地,5個攝影機 排成的直線呈垂直」:線先軸則對攝影機所 機,且各攝影機之光轴為平行。 攝衫 2=表示第2實施例中的影像編碼裝置之構成圖。 :像編碼裳置扇係具有:晝像輸入部斯 衫4 C之原畫像;參照晝像輸 ' Β、ϋ、E之解踽金# . & 鞠入攝衫機A、 像;視差補^Γο隹參照晝像記憶體3〇3,儲存參照晝 ^ 進仃視差補償;運動補償部3〇5,進 仃連勤補償;表昭查榇< — 3〇7 ;運動次^…象5又疋邓306 ;參照畫像索引編碼部 ^ % 〇 1 n ,視差貝訊編碼部309 ;預測殘 差'扁碼^ 310 ;局部(local)解石馬部311。 圖身於^圖表示本實施例中的編碼流程。另外,於第1〇 圖表不關於該、;* 4s + ” u π、乐i υ 。"L中的夕驟S304的詳細流程。 丨的處理,= :將攝影機C之-個晝像編碼時所進行 編碼。於本實_中Λ畫像重複該處理而進行動態畫像 適當的切換以進行編碼^ Μ ΝΧΝ圖塊為單位,將以下處理 •利用了攝韵擁r a 〇、i。 之過去的解碼晝像的運動補償:refldx = 鲁利用了攝影機A盥B少* 、 〇) : refldx = 2。 ” > -至像的視差補償(pNum = 鲁利用了攝影機A蛊R+ 1) : refldx = 3 〇 >照旦像的視差補償(pNum = 318890 22 1335185 •利用了攝影機A與D之參照晝像的視差補償(pNum = 〇) : refldx = 4 ° •利用了攝影機A與D之參照晝像的視差補償(pNum = 1) : refldx = 5 〇 »利用了攝影機B與E之參照晝像的視差補償(pNum = 0) : refldx = 6 〇 I利用了攝影機B與E之參照晝像的視差補償(pNum = 1) : refldx = 7 ° 在此,refldx係表示參照晝像索引。 另夕卜,關於refldx = 〇、】,〇 #對應_ f彡機 C之1圖框前的解碼晝像,时版叫係對應於2圖框前的 解碼畫像。 於本實施例中,編碼侧係將與利用於各圖塊的手法及 =晝像所對應的參照晝像索料以編碼,解仙係藉由 >如晝像索引將各圖塊之畫素值予以解碼。 又,前述之參照晝像索引的分配為在晝像C之第3圖 枢之後進行編碼時所用者。 於第1圖框中,因沒有攝影射之解碼晝像故益 關的參照畫像索引,而對關於視差補償的 前述各值分別小了2的值㈣ /、B之參照畫像的視差補償(pNum = 〇) refldx=0) 〇 )」中 索引a二在f 2圖框中’關於運動補償的參照晝像 ' e x — 0’故對關於視差補償的參照畫像索引 318890 23 1335185 分配比前述各值分別小了 1的值(例如「利用了攝影機A ,與B之參照晝像的視差補償(pNum = 0)中refldx = 0」)。 - 於如上所述的前提之下依第9圖的流程說明編碼處 理。但,該處理係設為攝影機C之第3圖框以後的編碼處 理。 . 由晝像輸入部301輸入攝影機C之晝像(S301)。又, 若與在此所輸入的攝影機C之晝像其顯示時刻相同的攝影 機A、B、D、E之解碼晝像係由參照晝像輸入部302輸入 籲至參照晝像記憶體303。另外,關聯於攝影機C的1圖框 前及2圖框前的解碼晝像係藉由局部解碼部311解碼,並 被輸入至參照晝像記憶體303。 將分割晝像所得的各NxN圖塊之索引以blk表示,且 將對應於一個晝像的總圖塊數以maxBlk予以表示。將Nx N圖塊之索引blk初始化為0後(S302),將以下的處理(S301 至S312)—邊將索引blk加1(S311)—邊對各NxN圖塊重複 鲁執行至索引blk變成總圖塊數maxB lk為止(S312)。 將參照晝像索引refldx初始化為0,且將儲存有成本 值refCost之最小值的變數minRefCost,予以初始化為比 將圖塊blk予以處理時refCost所能取得的最大值更大的任 意值 maxRefCost(S303)。 於索引blk所指的各NxN圖塊中,進行對應於各參照 晝像索引refldx的預測處理(S304)。此時,算出對應於各 參照晝像索引refldx的成本值refCost,並將使refCost為 最小的參照晝像索引bestRefldx採用於該NxN圖塊的編碼 24 318890 1335185 (S305 、 S306)。 • 以下依第10圖的流程說明與步驟S304之各參照畫像 -索引refldx對應的處理。又,以下雖進行運動補償或視差 補償,但無論於任一情形中,運動/視差資訊係以使以下式 中所給的cost最小化的方式求得。 cost= S AD+ Λ Rveo (7) 在此,Rvec為對運動或視差資訊之編碼量的估計值, SAD為預測殘差的絕對值之總和。 ί 當refldx為2以上時,可知其為對應於視差補償的 refIdx(S3041),而由視差補償部304將對應於該refldx的 2台攝影機之解碼晝像做為參照晝像而予以讀入,並進行 視差補償。 另外,當refldx為2以上時,refldx係具有對應的視 差參數數目資訊pNum = 1或0。從而,與第1實施例相同 地進行pNum = 0及1時的視差補償處理。 | 亦即,當視差參數數目(pNum)為1時(S3042),則針對 與參照晝像索引refldx對應的2個參照晝像,以使失真率 成本最小化的方式探索出核線上的視差,且令最小成本值 為 refCost(S3043)。 另外,當視差參數數目(pNum)並非1時(S3042),則針 對與參照晝像索引refldx對應的2個參照晝像,以使失真 率成本最小化的方式探索出晝像平面上的視差,且令最小 成本值為 refCost(S3044)。 將於前述S3 043、S3 044之中各自算出的cost之最小 25 318890 1335185 值(refCost),加上把參照晝像索引refldx進行編碼時的編 -·碼量估計值,而予以設為refCost。 - 當refldx為0或1時,其係為對應於運動補償的 refldx,故進入步驟S3045。此時,藉由運動補償部305讀 入與該refldx之值對應的攝影機C之解碼畫像作為參照晝 -像,並進行運動補償。此時之運動資訊,係以令用數式(7) .所算出的cost最小化的方式執行。接著,把參照晝像索引 refldx進行編碼時的編碼量估計值加上該cost最小值而設 籲為 refCost(S3〇45)。 當所算出的refCost比儲存有現在之最小值的 minRefCost 更小時(S305),將 refCost 儲存於 minRefCost, 且將當時的refldx作為bestRefldx而予以記憶(S306)。 一邊於refldx加1 一邊重複以上的處理至refldx變為 索引的總數maxRefNum為止(S307、S308)。 當對各參照晝像進行前述處理後,則由參照畫像設定 鲁部306求得使refCost為最小的參照晝像索引bestRefldx, 且決定被利用於編碼的參照晝像索引。 接著,藉由參照晝像索引編碼部307而將bestRefldx 予以編碼(S309),運動資訊或視差資訊則由運動資訊編碼 部308或視差資訊編碼部309編碼,而預測殘差則在預測 殘差編碼部310被編碼(S310)。 於索引blk加1(S311),且藉由重複該動作至達到總圖 塊數maxBlk為止(S312),將攝影機C之1圖框分的晝像 予以編碼。 26 318890 1335185 於第11圖7有第2實施例之影像解碼裝置。 〜”碼裝置400係具有··參照晝像索引解碼邙扣卜 予以解碼;視差資訊解碼部4〇2,將視差 運動資訊解碼部403,將運動資訊予以解 伯,、 解碼部404,將預測殘差?以解碼;束昭晝 2憶體彻,儲存參照畫像;視差補償部彻視差 補償;以及運動補償部407,崎運動補償。 機=第表示本實施例之解碼流程。此乃表示將攝影 進订1圖框解碼時的流程。以下將流料細說明。 將ΝΧΝ圖塊的索引blk初始化為〇之後(S401),-邊 =引blk加1(S彻)—邊對各細圖塊重覆執行以下的 ^ (S402至⑽)至索引趾變成總圖塊數目贿腿 為止(S410)。藉此,解碼攝影機⑶―圖框。 二 像 機A、B、D、E的同時刻圖框、及攝影機^的一圖框前^ 1框前的解碼晝像為儲存於參照晝像記憶體4G5之竺 首先由簽肢晝像索引解碼部401將參照晝像索引 bestRefidx解碼(S402)。因應參照晝像索引^㈣版的 值(S403、S404)而進行以下之處理。 若beStRefIdx = 0或!,則其為對應於運動補償的參 照,像索引,並藉由運動資訊解碼部4〇3解碼運動資訊。 然後,藉由運動補償部4G7讀人與bestRefIdx = G或^對 應的參照晝像,並產生預測畫像(S4〇乃。 然後,藉由預測殘差解碼部4〇4解碼預測殘差,於運 318890 27 1335185 動補償部407中對預測殘差加上預測晝像(S4〇8),而產生 ΝχΝ圖塊之解碼畫像。 若beStRefIdx為2以上,則其為對應於視差補償的參 …旦像索引’並頃入與該參照晝像索引bestRe玎如對應的 2台攝影機相關聯的參照晝像,且進行藉由視差補償所進 行之解碼。 因視差參數數目資訊pNum之值也被附加關聯於該參 照晝像索引bestRefldx,故會進行因應於pNum的處理。 且視差.補償之處理與第i實施例時為相同(§4〇4至S4〇6)。 然後,藉由預測殘差解碼部404解碼預測殘差,於視差補 償部406中對預測殘差加上預測晝像(s夠,而 圖塊之解碼晝像。 於索引blk加1(S4〇9)’藉由將其重複至變為總圖塊數 咖撕為止(S410),而將攝影機!龍分的晝像予以 田然,在以上所說明的實施例中的參照晝像索引鱼 於運動補償或視差補償的#訊、參照晝像、視差來數數 育訊間的相互制m在本發明时施巾, 方法為可任意決定的設計事項。 ^上㈣像編瑪及影像解碼的處理,可藉由電腦 體私式而貫現,可以將該程式紀錄於電腦可讀取的, 體而予以提供,也可經由網路而予以提供。 %、媒 (產業上的可利用性) 在多視點動態晝像之編碼的視差補償令,對於下述情 318890 28 133^185 況時的預測可藉由因應 亦即:當因攝影機參數的“誤::性予以順應地控制, 據核線幾何拘束的預測之預測:編媽失真 •視差貧訊的參數數目增加而作古 土守’貝“采用 :,線幾何拘束的預物也:良時:預:;當即使 數表示視差的預測;而可實現 ^用以1個參 【圖式簡單說明】 仕吏河的編碼效率。 第1圖係表示本發明之影像編碼 第2圖係表示第i斑 置之弟1貧施例〇 第3圖例的攝影機之參照關係。 f圖係表不弟1實施例的攝影機配置。 第4圖係第1實施例的編碼流程圖。 第5圖係表示第1實施例的影像解碼褒置。 第6圖係第1實施例的解碼流程圖。 係 第7圖係表示本發明之第2實施例的攝影機之參照關 第8圖係表示第2實施例的影像編碼裝置。 第9圖係表示第2實施例的編碼流程圖。 第圖係表示關於第9圖之步驟_ 流程圖。 土心砰細 第U圖係表示第2實施例的影像解碼裝置。 第12圖係第2實施例的影像解碼流程圖。 第13圖係攝影機間所產生的視差之示意圖。 第14圖係視差向量之示意圖。 第15圖係核線幾何拘束之示意圖。 318890 29 1335185 第16圖係晝素值插補之示意圖。 【主要元件符號說明】 100、300 影像編碼裝置 101 、 301 晝像輸入部 102 ' 302 參照晝像輸入部 103 > 205 、303、405 參照晝像記憶體 104 視差參數數目設定部 105 視差參數數目資訊編碼部 106 > 309 視差貧訊編碼部 107 、 310 預測殘差編碼部 200 、 400 影像解碼裝置 201 視差參數數目資訊解碼部 202 、 402 視差資訊解碼部 203 、 404 預測殘差解碼部 2〇4、304、406 視差補償部 305 > 407 運動補償部 306 參照晝像設定部 307 參照晝像索引編碼部 308 運動資訊編碼部 311 局部解碼部 401 參照晝像索引解碼部 403 運動資訊解碼部 30 318890

Claims (1)

  1. 第96100y17號專利申請案 两年 Μ 24 a)~~ --, 年月日修正替換頁I —、申請專利範圍: 推-:::碼方法’係為在將複數個影像作為-個影像 進行編碼時,藉由剎田$叔, ,7v/ ^ 視差補m 冑個影像間的視差進行預測的 差補&進灯編碼的影像編碼方法,其係且有. 差數目設定㈣,騎並設定利於前述視 差仙之對應於各參照晝像的視差資訊之參數數目; 視差參數數目資訊編石馬步驟,將由前述視差參數數 目設定步驟所設定的參數數目之資訊予以編碼;以及 _視差資訊編碼步驟,將因應於前述參數數目的視差 資訊予以編碼; 在前述視差參數數目設定步驟中所選擇的參數數 目係包含: " 第1參數數目,係表示下述模式:從預定之視 差資訊,生成相對於與拍攝各參照晝像之攝影機相 關之參照晝像的各個視差;及 第2參數數目,係表示下述模式:使用表示相 對於與拍攝各參照晝像之攝影機相關之參照畫像 的各個視差的視差資訊; 當選擇前述第1參數數目時,係根據所生成之相對 於各攝影機之參取畫像的視差、與該複數個參照晝像的 像素值’生成預測晝像,並且,在前述視差資訊編碼步 驟中,僅編碼前述預定之視差資訊; 當選擇前述第2參數數目時,係根據表示前述各個 視差的視差資訊、與該複數個參照晝像的像素值,生成 31 .318890修正本 1335185 ^ ,α| . |C_99 年 8 月 24 日了 —' 預測:像,並且,在前述視差資訊編碼步驟中 表不前述各個視差的視差資訊。 2.如申請專利範圍第〗項之f彡像編碼方法,復昇有: 像設定步驟’選擇並設定用於前述視差補償 的則述各參照畫像;以及 ^照晝像W編碼步驟,從與用於料視差補償的 麥…旦像預先建立對應關係的複數個參照書 I決定與由前述參照晝像設定步驟所設定料昭晝像 二:Ϊ照ί像索弓卜並將該參照晝像索引予以編碼。 .切專利靶圍第1項之影像編碼方法,其中,選擇前 述第1參數數目時的前述預定之通至次 ^ 個攝影機的視差資訊_ 定之-個㈣她預疋之視差資訊係為相對於預 4·如申請專利範圍第〗項之影像編碼方法,其中,選擇前 ^第2參數數目時的前述視差資訊係為由二量 表現之資訊。 n 口 法,係為在將複數個影像作為一個影像 318890修正本 32 1 , ^^^fa1 ^^^ 視差補彳貞而進行解碼的影像解碼方法,1係具有. 視差參數數目資訊解石馬步驟,將被包含於編病 =用以指定對應於各參照晝像的視差資訊之參數數目 的視差參數數目資訊予以解碣Γ 視差資訊解碼步驟’將與被包含在編瑪資訊的 參數數目對應的視差資訊予以解碼,·以及 視差補償步驟’利用前述解顺的視差資訊進行前 1335185 S>p T 3« !?y 半 ϋ 月 24 B7 年月日修正_胃 述視差補償; 前述被指定之參數數目係包含: 第1參數數目,係表示下述模式:從預定之視 差資訊,生成相對於與拍攝各參照晝像之攝影機相 關之參照畫像的各個視差;及 第2參數數目,係表示下述模式:使用表示相 對於與拍攝各參照晝像之攝影機相關之參照晝像 的各個視差的梘差資訊; 當前述第1參數數目被指定時,在前述視差資訊解 碼步驟中,僅解碼前述預定之視差#訊,並且,根據所 生成之相對於與各攝影機相關之參照畫像的視差、與該 複數個參照晝像的像素值,生成預測晝像; 當前述第2參數數目被指定時,在前述視差資訊解 碼步驟中’係解碼表示前述各個視差的視差資訊,並 二前述各個視差.的視差資訊、與該複數個參 _…旦像的像素值,生成預測晝像。 6.如申請補範圍第5項之影像解碼方法,復且有· 償的ί 索引解碼步驟’將係為與用於前述視差補 引的^ 1預先建立對應關係的複數個參照晝像索 引予二料者、且被包含於前述編碼資訊的參照畫像索 如申請專利範圍第5項之影像解心::選擇 述參=像補:步驟中,係利用由所解喝的前 如二:1索1丨所示的參照畫像進行視差補償》 刖 318890修正本 33 第96l〇〇pi7號專利申請案 述第1參數數目時的前述預定之視差資气係 定之一個攝影機的視差資訊。 “料相— 如申明專利範圍第5項 述筮7k ^ 〜像解碼方法,其中,選擇前 表現之資訊。4由二次元向量所 進=::!碼:置’係為在將複數個影像作為-個影像 視:::',藉由利用複數個影像間的視差進行預測的 視差補该而進行編碼的影像編碼裝置,其係具有: 差參數數目設定手段,選擇並設定利用於前述視 差仙之對應於各參照晝像的視差#訊之參數數目; 視差參數數目資訊編碼手段’將由前述視 目設定手段所設定的參數數目之資訊予以編瑪;以及 視差資訊編碼手段,將因應於前述參數數目的視差 資訊予以編碼; 在前述視差參數數目設定手段中所選擇的參數數 目係包含: " 第1參數數目’係表示下球模式:從預定之視 差資訊,生成相對於與拍攝各參照晝像之攝影機相 關之參照晝像的各個視差;及 第2參數數目’係表示下述模式:使用表示相 對於與拉攝各參照晝像之攝影機相關之參照晝像 的各個視差的視差資訊; 當選擇前述第1參數數目時,係根據所生成之相對 於各攝景> 機之參照晝像的視差、與該複數個參照晝像的 34 318890修正本 1335185 像素值,生成預測晝像,並且, 僅編碼前述預定之視差資訊; 第96100^)17號專利申諸奢 牛8月24日 年月 則述視差資訊 崎正替換頁j 當選擇前述第2參數數目時,係根據表㈣述各個 視差的視差資訊、與該複數個參照晝像的像素值, =畫像,並且,前述視差資訊編碼手段係編碼表示前 逑各個視差的視差資訊。 10.如,申請專利範圍第9項之影像編縣置,其中,選擇前 述第1參數數目時的前述預定之視差資 定之一個攝影機的視差資訊。 t於預 11·如★申請專利範圍第9項之影像編碼裝置,其中,選擇前 述第2參數數目時的前述視差資訊係為由二次元向量 表現之資訊。 12.一種影像解碼裝置,係為在將複數個影像作為一個影像 進行解碼時,藉由利用複數個影像間的視差進行預測的 視差補償而進行解碼的影像解碼裝置,其係具有: # 視差參歸目資訊料手段,將被包含於編碼資訊 之用以指定對應於各參照晝像的視差資訊之參數數目 的視差參數數目資訊予以解碼; 視差資訊解碼手段,將與被包含在編碼資訊的前由 參數數目對應的視差資訊予以解碼;以及 視差補償手段,利用前述解碼後的視差資訊 述視差補償; 洳述被指定之參數數目係包含:. 第1參數數目,係表示下述模式··從預定之視 318890修正本 35 1335185 差資訊,生成相對於與拍攝各參照晝像之 關之參照晝像的各個視差;及 第2參數數目,係表示下述模式:使用表示相 對於與拍攝各參照晝像之攝影機相關之參照晝像 的各個視差的視差資訊; 當前述第1參數數目被指定時,前述視差資訊解碼 手段僅解碼前述預定之視差資訊,並且,.根據所生成之 相對於與各攝影機相關之參照晝像的視差、與該複數個 參照晝像的像素值,生成預測晝像; 當前述第2參數數目被指定時,前述視差資訊解碼 手段係解碼表示前述各個視差的視差資訊,並且,根據 表不前述各個視差的視差資訊、與該複數個參照晝像的 像素值,生成預測晝像。 13=申請專利範圍帛12項之影像解碼褒置,其中’選擇 月ϋ述第1參數數目時的前述預定之視差資訊係為相對於 預定之一個攝影機的視差資訊。 ·、 14 ·如申請專㈣㈣i 2項之影像解碼裝置, =2參數數目時的前述視差資訊係為由;次元= 所表現之資訊。 . .丨J里 •15· —種載有影像編 式係用於武之電細転式產品,該影像編碼程 式係用於使電腦執 ..狂 方法。甲明專利靶圍第1項之影像編碼 16.一種载有影像解碼程 俨 式#用於祐φ 電細备式產品,該影像解碼程 飞係用於使電腦執行如 肝,柱 甲《月專利靶圍苐5項之影像解碼 318890修正本 36 1335185 方法 (yy 牛 8 月 24 0〕 年月日修正替 第961〇yi7號專利申請案 17.一種電腦可讀取的記錄媒體,其 行如申請判範㈣丨項之f彡編方、用於使電腦執 式。 如像編碼方法的影像編碼程 其係紀錄有用於使電腦執 像解碼方法的影像解碼程 18.—種電腦可讀取的記錄媒體, 行如申請專利範圍第5項之影 式。 19. 種影像編碼方法,係為在將禎童 .., 複數個影像作為一個影像 葙至莊户^ 像間的視差進行預測的 視差補彳員進行編碼的影像編碼方法,其係具有: 視差參數數目設定步驟,潠摆 哪、擇並扠夂利用於前述視 差補償之對應於各參照晝像的視 差貝訊之芩數數目; 視差參數數目資訊編碼步驟 a ^ ^ 將由刖述視差參數數 目设定步驟所設定的參數數目 、_ Q〈頁汛予以編碼;以及 視差資訊編碼步驟,將因靡 次^ 一 . 竹口應於刖述參數數目的視差 負訊予以編碼, 其中’當使用複數個參昭查梯主_ '像時’所選擇之參數數 目為2種類以上。 • · . 2〇.^f像解碼方法,係為在將複數個影像作為-個影像 進行解碼時,藉由利用複數個影像間的視差進行預測的 視差補償而進行解碼的影像解碼方法,其係具有: 視差參數數目.資訊解碼牛励 .. 鮮螞步驟,將被包含於編碼資訊 之用以指定對應於各參昭佥推 ^ ^像的視差資訊之參數 的視差參數數目資訊予以解碼; 318890修正本 37 丄」35185 f(99年8月24曰) • ^資轉料驟,將純^含麵碼資 〆數數目對應的視差資訊予以解碣;以及 償步驟,利用前述解石馬後的視差 述視差補償; …為類當使用複數個參照畫像時,所指定之參數數 目為2種類以上。 進由利用複數個影像間的視差進行預測的 視差補仏而進行編碼㈣像編碼裝置, 差補數目設定手段’選擇並設定利用於前述視 貝對應於各參照晝像的視差資訊之袁數數目. 視差參數數目資訊編碼手段,將由前 ,差手= 設定的參數數目之資訊予以編二=數 負、·爲碼手段,將因應於前 資訊予以編碼; 数数目的視差 目為=類::用複數個參照晝像時,所選擇之參數數 進::::码裝置’係為在將複數個影像作為一個影像 視差補償:進糟^用複數個影像間的視差進行預測的 m/了解碼的影像解碼裝置,其係具有: 之用以指定對;包含於編碼資訊 的視差參數數目資:予參照畫像的視差資訊之參數數目 双曰貝訊予以解碼; f fi解碼手段’將與被包含在編碼資訊的前述 318890修正本 38 I335185 第96100017號專利申誥宏 (99iTT27TT 年月日修正替換頁 、參數數目對應的視差資訊hx解碼;以及 —_ :差:償手段,利用前述解碼後的 . 述視差補償; • 其中’當使用複數個泉昭查徬姓_ ^ A 目為2種類以上。 …、旦像時,所指定之參數數 之3 ·種載有影像編碼程式之雷腦A ... Λ之電鲕耘式產品,該影像編碼程 式係用於使電腦執行如申請卷剎r囹铉, 碼方法。 甲明專利靶圍弟19項之影像編 麵^種載有影像解碼程式之電腦程式產品,該 式係用於使電腦執行如由^主 々 解馬私 碼方法。 執订如申凊專利範圍第20項之影像解 25.一種電腦可讀取的記錚 ς某體係紀錄有用於#雷聰抽 仃如申請專利範圍第19頊 ’用於使電腦執 程式。 項心像編碼方法的影像編碼 6.種電腦可讀取的記錄媒體,1係έρ样女 b行如申請專利範圍裳, 錄有用於使電腦執 程式專_第2()項之影像解財法的影像解碼 318890修正本 39
TW096100017A 2006-01-05 2007-01-02 Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs TW200737990A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006000394 2006-01-05

Publications (2)

Publication Number Publication Date
TW200737990A TW200737990A (en) 2007-10-01
TWI335185B true TWI335185B (zh) 2010-12-21

Family

ID=38228291

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096100017A TW200737990A (en) 2006-01-05 2007-01-02 Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs

Country Status (10)

Country Link
US (1) US8548064B2 (zh)
EP (1) EP1971154A4 (zh)
JP (1) JP5234586B2 (zh)
KR (1) KR100968920B1 (zh)
CN (1) CN101346998B (zh)
BR (1) BRPI0620645B8 (zh)
CA (2) CA2633637C (zh)
RU (1) RU2374786C1 (zh)
TW (1) TW200737990A (zh)
WO (1) WO2007077942A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI487333B (zh) * 2011-06-17 2015-06-01 Jvc建伍股份有限公司 Image coding apparatus, image coding method and image coding program, and image decoding apparatus, image decoding method and image decoding program
TWI513280B (zh) * 2011-11-07 2015-12-11 Ntt Docomo Inc Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program
TWI580251B (zh) * 2011-06-20 2017-04-21 Jvc Kenwood Corp Image coding apparatus, image coding method and image coding program

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999854B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101031624B1 (ko) * 2006-09-20 2011-04-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
EP2277318B1 (fr) * 2008-04-15 2020-11-04 Orange Codage et decodage d'une image ou d'une sequence d'images decoupees selon des partitions de pixels de forme lineaire
CN102656891B (zh) * 2009-10-20 2015-11-18 瑞典爱立信有限公司 用于多视野视频压缩的方法和装置
JP4927928B2 (ja) * 2009-11-30 2012-05-09 パナソニック株式会社 多視点動画像復号装置及び多視点動画像復号方法
JP4837772B2 (ja) * 2009-12-15 2011-12-14 パナソニック株式会社 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US8284307B1 (en) * 2010-11-01 2012-10-09 Marseille Networks, Inc. Method for processing digital video fields
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
JPWO2012131895A1 (ja) * 2011-03-29 2014-07-24 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
BR122015001002B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
JP5706264B2 (ja) 2011-08-01 2015-04-22 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラムおよび画像復号プログラム
CN103828359B (zh) 2011-09-29 2016-06-22 杜比实验室特许公司 用于产生场景的视图的方法、编码系统以及解码系统
KR101718488B1 (ko) * 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
JPWO2013136365A1 (ja) * 2012-03-14 2015-07-30 株式会社東芝 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法
WO2013136365A1 (ja) * 2012-03-14 2013-09-19 株式会社 東芝 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法
PT2842313T (pt) 2012-04-13 2016-12-22 Ge Video Compression Llc Fluxo de dados escaláveis e entidade de rede
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
EP2868103B1 (en) * 2012-06-29 2016-12-07 GE Video Compression, LLC Video data stream concept
CN108881921B (zh) * 2012-09-26 2021-01-12 太阳专利托管公司 图像编码方法、图像编码装置
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
WO2014168238A1 (ja) * 2013-04-12 2014-10-16 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
CN105247860B (zh) * 2013-06-05 2017-12-19 索尼公司 图像处理设备及图像处理方法
EP3080991B1 (en) * 2013-12-10 2020-02-12 Canon Kabushiki Kaisha Improved palette mode in hevc
JP6465890B2 (ja) 2013-12-10 2019-02-06 キヤノン株式会社 画素ブロックの符号化または復号の方法および装置
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
EP3610647B1 (en) 2017-04-26 2021-12-08 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a panoramic video signal
WO2018231087A1 (en) 2017-06-14 2018-12-20 Huawei Technologies Co., Ltd. Intra-prediction for video coding using perspective information
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1665545A1 (ru) 1988-07-21 1991-07-23 Винницкий политехнический институт Телевизионное устройство селекции изображений объектов
RU2030119C1 (ru) 1991-04-19 1995-02-27 Смирнов Александр Иванович Устройство формирования стереотелевизионного изображения подвижного объекта
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP4013286B2 (ja) 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
JPH11239351A (ja) 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体
JP3519594B2 (ja) 1998-03-03 2004-04-19 Kddi株式会社 ステレオ動画像用符号化装置
US6519358B1 (en) 1998-10-07 2003-02-11 Sony Corporation Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP4213646B2 (ja) 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP2006000394A (ja) 2004-06-17 2006-01-05 Tokai Kiki Kogyo Co Ltd 畳側面の縫着方法及び畳用縫着装置
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
KR100738867B1 (ko) * 2005-04-13 2007-07-12 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI487333B (zh) * 2011-06-17 2015-06-01 Jvc建伍股份有限公司 Image coding apparatus, image coding method and image coding program, and image decoding apparatus, image decoding method and image decoding program
TWI562617B (zh) * 2011-06-17 2016-12-11 Jvc Kenwood Corp
TWI628951B (zh) * 2011-06-17 2018-07-01 Jvc建伍股份有限公司 Image decoding device, image decoding method, image decoding program
TWI642298B (zh) * 2011-06-17 2018-11-21 日商Jvc建伍股份有限公司 Image decoding device, image decoding method, image decoding program
TWI580251B (zh) * 2011-06-20 2017-04-21 Jvc Kenwood Corp Image coding apparatus, image coding method and image coding program
TWI586147B (zh) * 2011-06-20 2017-06-01 Jvc Kenwood Corp An image decoding apparatus, an image decoding method, and a recording medium
TWI513280B (zh) * 2011-11-07 2015-12-11 Ntt Docomo Inc Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program

Also Published As

Publication number Publication date
EP1971154A4 (en) 2010-10-27
KR100968920B1 (ko) 2010-07-14
JP5234586B2 (ja) 2013-07-10
BRPI0620645B8 (pt) 2022-06-14
CA2633637C (en) 2014-06-17
KR20080076974A (ko) 2008-08-20
RU2374786C1 (ru) 2009-11-27
US8548064B2 (en) 2013-10-01
TW200737990A (en) 2007-10-01
CA2845591A1 (en) 2007-07-12
CA2633637A1 (en) 2007-07-12
WO2007077942A1 (ja) 2007-07-12
CN101346998A (zh) 2009-01-14
CN101346998B (zh) 2012-01-11
CA2845591C (en) 2015-12-08
JPWO2007077942A1 (ja) 2009-06-11
BRPI0620645A2 (pt) 2011-11-16
BRPI0620645B1 (pt) 2020-09-15
US20090028248A1 (en) 2009-01-29
EP1971154A1 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
TWI335185B (zh)
JP7210381B2 (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
TW200829036A (en) Prediction reference data generating method, video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN107431797B (zh) 用于全视差光场显示系统的方法和装置
JP4562774B2 (ja) 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
CN101361371B (zh) 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
TWI308028B (en) Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
JP6446488B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
TW200822761A (en) Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW201251472A (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP2013538474A (ja) 3次元画像に対する視差の算出
TW200910975A (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP2016513925A (ja) 3dビデオ符号化におけるビュー合成予測の方法と装置
CN104202612B (zh) 基于四叉树约束的编码单元的划分方法及视频编码方法
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN102291579A (zh) 一种快速的多目立体视频分形压缩与解压缩方法
JP2010021844A (ja) 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
Lee et al. Efficient multiview depth video coding using depth synthesis prediction
Li et al. Quadtree-based coding framework for high-density camera array-based light field image
JP2013106337A (ja) 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
Conti et al. Influence of self-similarity on 3D holoscopic video coding performance
Wang et al. Learning-based high-efficiency compression framework for light field videos
Wong et al. Horizontal scaling and shearing-based disparity-compensated prediction for stereo video coding
JP5531282B2 (ja) 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
Yang et al. FICNet: An End to End Network for Free-view Image Coding