TWI432034B - 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式 - Google Patents

多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式 Download PDF

Info

Publication number
TWI432034B
TWI432034B TW099103906A TW99103906A TWI432034B TW I432034 B TWI432034 B TW I432034B TW 099103906 A TW099103906 A TW 099103906A TW 99103906 A TW99103906 A TW 99103906A TW I432034 B TWI432034 B TW I432034B
Authority
TW
Taiwan
Prior art keywords
image
region
decoding
decoded
correction parameter
Prior art date
Application number
TW099103906A
Other languages
English (en)
Other versions
TW201034469A (en
Inventor
Shinya Shimizu
Hideaki Kimata
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201034469A publication Critical patent/TW201034469A/zh
Application granted granted Critical
Publication of TWI432034B publication Critical patent/TWI432034B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
本發明係有關：將利用拍攝某拍攝對象之複數台攝影機所拍攝之圖像予以編碼之多視點圖像編碼方法及其裝置；利用該多視點圖像編碼方法將已編碼過之編碼資料予以解碼之多視點圖像解碼方法及其裝置；實現該多視點圖像編碼方法所使用之多視點圖像編碼程式；以及實現該多視點圖像解碼方法所使用之多視點圖像解碼程式。
本申請案係根據於2009年2月12日在日本提出申請之特願2009-29249號主張優先權，並在此引用其內容。
所謂多視點圖像係指利用複數台攝影機將相同的拍攝對象與背景予以拍攝之複數張圖像，而多視點動畫(多視點影像)係指該動畫。
以使用於一般性的動畫編碼與多視點動畫編碼之技術而言，已有動作補償預測與視差補償預測之提案。
動作補償預測係在以H.264為代表之近幾年的動畫編碼方式之國際標準亦被採用的手法，其係於編碼對象圖框與已進行過編碼的參考圖框之間將拍攝對象之動作進行補償以取得圖像信號之圖框間差分，而僅對該差分信號進行編碼(參照非專利文獻1)。
另一方面，視差補償預測係藉由將使用其他的攝影機所拍攝之圖框作為參考圖框來補償拍攝對象的視差，並一邊取得圖像信號之圖框間差分一邊進行編碼(參照非專利文獻2)。
在此使用之視差，係指在配置於不同位置的攝影機之圖像平面上，將拍攝對象上之相同的位置進行投影之位置的差。於視差補償預測中，係以二維向量來表現該視差而進行編碼。如第8圖所示，視差係取決於攝影機以及從攝影機到拍攝對象之距離(深度(depth))而產生的資訊，故存在有被稱之為利用此原理之視點合成預測(視點內插預測)之方式。
視點合成預測(視點內插預測)之方式係如下述。即，針對在編碼側或解碼側所得到之多視點影像，利用攝影機的位置資訊以及三角測量的原理來推估拍攝對象的深度，且使用該推估之深度將編碼對象圖框予以合成(內插)來作為預測圖像(參照專利文獻1、非專利文獻3)。此外，在編碼側推估深度時，必須將使用之深度加以編碼。
於視差補償預測與視點合成預測中，當在攝影機之攝影元件的回應上有個體差異、或依各台攝影機來進行增益控制與伽瑪校正、或依各台攝影機拍攝對象深度與光圈等之設定不同、或於場景有方向依存之照明效應時，編碼效率會劣化。其理由係在編碼對象圖框與參考圖框中拍攝對象的亮度與顏色係相同之前提下進行預測之故。
以為了對應上述拍攝對象的亮度與顏色之變化而進行檢討之方式而言，有稱為亮度補償與顏色補正者。在此方式中，係藉由將補正參考圖框的亮度與顏色者作為使用於預測之圖框，將進行編碼之預測殘差抑制於較小。
在H.264中，採用有使用一次函數進行補正之Weighted Prediction(加權預測)(參照非專利文獻1)；在非專利文獻3中，提案有使用顏色表進行補正之方式。
(先前技術文獻) (專利文獻)
(專利文獻1)日本特開2007-036800號公報，“影像編碼方法、影像解碼方法、影像編碼程式、影像解碼程式及記錄有上述程式之電腦可讀取的記錄媒體”
(非專利文獻)
(非專利文獻1) ITU-T Rec.H.264/ISO/IEC 11496-10,“Advanced Video coding for generic audiovisual services”,Final Committee Draft,Document JVT-E022d7,September2002.(pp.10-13,pp.62-73)
(非專利文獻2) Hideaki Kimata and Masaki Kitahara,“Preliminary results on multiple view video coding (3DAV)”,document M10976 MPEG Redmond Meeting,July,2004.
(非專利文獻3) K. Yamamoto,M. kitahara,H. kimata,T. Yendo,T. Fujii,M. Tanimoto,S. Shimizu,K. Kamikura,and Y. Yashima,“Multiview Video Coding Using View Interpolation and Color Correction,”IEEE Transactions on Circuits and System for Video Technology,Vol. 17,No. 11,pp. 1436-1449,November,2007.
使用上述亮度補償與顏色補正進行編碼時，有下面二個問題。
第一個問題係因附加亮度補償/ 顏色補正參數所導致之編碼量的增加。在一般的視差補償預測與視點合成(內插)預測中產生必須對不必進行編碼之亮度補償/ 顏色補正參數進行編碼，故編碼效率降低。
第二個問題係對局部性的不匹配缺乏因應能力。在此，所謂不匹配係指存在於編碼對象圖框與參考圖框或視點合成圖像間的亮度與顏色之不一致。
一般的動畫編碼之褪色(fade)與閃光(flash)的情況中，因於整個畫面產生相同的變化，故以單一的補正參數可進行充分的亮度補償與顏色補正。但是，拍攝對象非為完全擴散反射體、以及每台攝影機的景深與焦點非為完全一致所引起之不匹配並非場景，而是取決於拍攝對象之不匹配且為局部性者。因此，以單一的補正參數進行亮度補償與顏色補正係無法充分減小預測差分。
針對此問題，為了因應局部性的變化，可考慮使用複數個補正參數的方法。但是，使用此方法時，不僅是將複數個補正參數進行編碼之編碼量而已，而且必須將用以表示要按各個圖像區域使用那一個補正參數之資訊亦進行編碼，故導致編碼量更增加而無法解決第一個問題。
本發明係鑑於上述課題而研創者，其目的在提供一種嶄新的多視點圖像編碼及解碼技術，即使在攝影機間伴隨有局部性的亮度與顏色的不匹配之多視點圖像(多視點的靜止圖像或動畫)中，亦能實現高效率的編碼，且於實現該高效率編碼時達成削減所需之編碼量。
[1]　本發明之基本的技術思想
為了解決前述課題，在本發明中，係於分割編碼/ 解碼對象圖框，且按各區域進行編碼/ 解碼時，採取以下手段。
首先，不僅在處理對象區域，在鄰接於該處理對象區域之已進行過編碼/ 解碼之區域中，亦利用相同的預測方法來產生預測圖像。其次，從鄰接區域之預測圖像與解碼圖像來推估補正亮度與顏色的不匹配之補正參數。其次，藉由使用所推估之補正參數，針對處理對象區域所產生之預測圖像進行補正，以產生實際使用之補正預測圖像。
於比較編碼對象圖框與參考圖框來算出補正參數之習知方法之情形中，由於無法在解碼側得到編碼對象圖框，故必須將補正參數進行編碼。
另一方面，在本發明中，係由鄰接區域之預測圖像與解碼圖像推估補正參數，然後將已進行過編碼/ 解碼之圖框與參考圖框(成為預測圖像的產生處之圖框)予以比較來算出補正參數。任何一種圖框皆可在解碼側得到，故不必對補正參數進行編碼。亦即，可藉由本發明來解決編碼量增加之問題。
再者，編碼處理係儘可能忠實地轉換輸入信號之處理，故編碼對象圖框與已進行過編碼/ 解碼之圖框係可視為相同。亦即，由本發明算出之補正參數係可使預測圖像接近編碼對象圖框，且可充分地減小進行編碼之預測差分。
再者，在本發明中，按各處理對象區域使用鄰接區域的資訊來推估補正參數。藉此方式，可進行按照局部性的亮度與顏色的不匹配之補正。
在上述多視點圖像編碼/ 解碼中，藉由使用所推估之補正參數來補正鄰接區域之預測圖像，且將該結果與鄰接區域之已進行過編碼/ 解碼之圖像予以比較，可算出補正參數的可靠度。該可靠度不超過閾值時(可靠度低時)，不進行補正參數之補正，而可將在處理對象區域產生之預測圖像直接作為補正預測圖像。此外，以可靠度而言，補正過的預測圖像與已進行過編碼/ 解碼之圖像的差分之最大值與分散值等變得愈大，愈可使用藉由顯示可靠度低的值之函數(如倒數等之函數)算出的值。
此外，推估補正參數時，亦可使用一種方法，即求取鄰接區域之預測圖像與已進行過編碼/ 解碼的圖像之每畫素的差分，且按照該差分值將鄰接區域之畫素進行分群(clustering)，而僅使用屬於要素數目最多的分群之畫素來導出補正參數。
[2]　本發明的構成
其次，針對本發明之多視點圖像編碼裝置及多視點圖像解碼裝置的構成加以說明。
[2-1]　本發明之多視點圖像編碼裝置的構成
本發明之多視點圖像編碼裝置係藉由將第1攝影機所拍攝之拍攝對象的輸入圖像分割為複數個編碼對象區域，且使用以配置在與前述第1攝影機不同位置之第2攝影機所拍攝的前述拍攝對象之已編碼過的圖像，按各個編碼對象區域進行預測編碼，而將多視點圖像(多視點的靜止圖像或動畫)進行編碼者，該裝置具備：(1)樣本區域設定部，係在前述輸入圖像中，將與編碼對象區域鄰接之已進行過解碼的區域設定為樣本區域；(2)預測圖像產生部，係對屬於編碼對象區域與樣本區域之畫素，從以前述第2攝影機所拍攝之前述已編碼過的圖像來產生預測圖像；(3)補正參數推估部，係根據關於樣本區域之預測圖像及關於前述樣本區域已進行過解碼之解碼圖像，來推估用以補正亮度與顏色的不匹配之補正參數；(4)預測圖像補正部，係使用補正參數，來補正關於編碼對象區域之預測圖像而產生第1補正預測圖像；(5)圖像編碼部，係使用第1補正預測圖像，來將編碼對象區域的圖像信號予以編碼而產生編碼資料；以及(6)圖像解碼部，係對此編碼資料進行解碼，來產生編碼對象區域之解碼圖像。
本發明實施形態之多視點圖像編碼裝置可復具備：(7)樣本圖像補正部，係使用所推估之補正參數，來補正對樣本區域的預測圖像且產生第2補正預測圖像；以及(8)補正參數評估部，係根據此第2補正預測圖像及解碼圖像，來評估所推估的補正參數。此情形中，預測圖像補正部，係藉由將所推估之補正參數的評估值與事先訂定之閾值進行比較，而於判斷為所推估之補正參數的可靠度高時，使用所推估的補正參數來將關於編碼對象區域之預測圖像予以補正而產生前述第1補正預測圖像，而於判斷此補正參數的可靠度低時，亦可將對編碼對象區域之預測圖像設為第1預測圖像。
再者，本發明的實施形態之多視點圖像編碼裝置復可具備：(9)樣本畫素分類部，係使用預測圖像與解碼圖像之差分值，將屬於樣本區域之畫素進行分群；以及(10)樣本區域修正部，係於透過分群所得到之群集內，將屬於要素數目最多之群集的畫素重新設定為樣本區域，且設定所修正的樣本區域。此情形時，補正參數推估部亦可設為僅使用屬於所修正的樣本區域之畫素來進行補正參數的推估。
藉由以上各處理手段進行動作而實現之本發明的多視點圖像編碼方法亦可利用電腦程式來達成。此電腦程式係記錄在適當的電腦可讀取之記錄媒體來提供，或透過網路而提供，而於實施本發明時，藉由進行安裝且在CPU等控制手段上進行動作來實現本發明。
[2-2]　本發明之多視點圖像解碼裝置的構成
本發明之多視點圖像解碼裝置係對以第1攝影機所拍攝之拍攝對象的圖像使用以配置在與前述第1攝影機不同位置之第2攝影機所拍攝之前述拍攝對象的圖像進行編碼所得的解碼對象圖像之編碼資料，使用以前述第2攝影機所拍攝之已進行過解碼的前述拍攝對象之圖像，按各個業已將前述解碼對象圖像進行分割過的複數個解碼對象區域來進行解碼者，其具備：(1)樣本區域設定部，係在前述解碼對象圖像中，將與解碼對象區域鄰接之已進行過解碼之區域設定為樣本區域；(2)預測圖像產生部，係針對屬於解碼對象區域與經設定的樣本區域之畫素，從以前述第2攝影機所拍攝之前述已編碼過的圖像來產生預測圖像；(3)補正參數推估部，係根據關於所設定之樣本區域之預測圖像及關於前述樣本區域，已進行過解碼之解碼圖像，來將補正亮度及顏色的不匹配之補正參數進行推估；(4)預測圖像補正部，係使用此補正參數，將對解碼對象區域之預測圖像予以補正而產生第1補正預測圖像；以及(5)圖像解碼部，係使用此第1補正預測圖像，從編碼資料將解碼對象區域之圖像信號予以解碼。
本發明實施形態之多視點圖像解碼裝置可復具備：(6)樣本圖像補正部，係使用所推估之補正參數，將關於樣本區域之前述預測圖像進行補正來產生第2補正預測圖像；以及(7)補正參數評估部，係根據此第2補正預測圖像及前述解碼圖像，來評估所推估之補正參數。此情形中，預測圖像補正部係可設成：藉由對前述補正參數的評估值與事先訂定之閾值進行比較，於判斷為前述補正參數之可靠度高時，使用此補正參數將關於解碼對象區域之前述預測圖像予以補正來產生前述第1補正預測圖像，而於判斷為前述補正參數之可靠度低時，將關於解碼對象區域之前述預測圖像設為前述第1預測圖像。
此外，本發明實施形態之多視點圖像解碼裝置復可具備：(8)樣本畫素分類部，係使用前述預測圖像與前述解碼圖像之差分值將屬於樣本區域之畫素進行分群；以及(9)樣本區域修正部，係在藉由進行分群而得到之群集內，將屬於要素數目最多的群集之畫素重新設定為樣本區域，而設定所修正之樣本區域。此情形時，補正參數推估部亦可設為僅使用屬於所修正之樣本區域之畫素來進行前述補正參數的推估。
藉由以上各處理手段進行動作所實現之本發明多視點圖像解碼方法亦可利用電腦程式來實現，此電腦程式係記錄在適當的電腦可讀取之記錄媒體來提供，或透過網路而提供，且在實施本發明時，藉由進行安裝而在CPU等控制手段上進行動作來實施本發明。
依據本發明，在攝影機間局部性地產生亮度與顏色之不匹配時，採局部性地求得用以因應此不匹配之補正參數之方式，故可減小預測差分。因此，可達成效率高的多視點圖像與多視點動畫之編碼及解碼。
而且，依據本發明，由於不必另外對以此方式求得之補正參數進行編碼/ 解碼，故可大幅地減少為進行多視點圖像或多視點動畫之編碼及解碼所需之編碼量。
以下，參照表示本發明的實施形態之圖式詳細說明本發明。
此外，在以下的說明中，係藉由在影像(圖框)附加可界定位置之資訊(即，以括號[ ]包夾之資訊，可與座標值或座標值相對應之指數)來表示以該位置的畫素取樣之影像信號。
[1]　本發明第1實施形態例之多視點影像編碼裝置在第1圖，將本發明第1實施形態之多視點影像編碼裝置100的裝置構成予以圖示。
如第1圖所示，第1實施形態例之多視點影像編碼裝置100係具備：編碼對象圖像輸入部101、編碼對象圖像記憶體102、參考攝影機圖像輸入部103、參考攝影機圖像記憶體104、預測圖像產生部105、補正參數推估部106、預測圖像補正部107、圖像編碼部108、圖像解碼部109、以及解碼圖像記憶體110。
編碼對象圖像輸入部101係將利用第1攝影機所拍攝之拍攝對象的圖像之圖框作為編碼對象來進行輸入。編碼對象圖像記憶體102係儲存所輸入之編碼對象圖框。參考攝影機圖像輸入部103係將利用第1攝影機之外的其他第2攝影機拍攝相同的拍攝對象而得到之圖像的圖框作為參考圖框而進行輸入。參考攝影機圖像記憶體104係儲存所輸入的參考圖框。預測圖像產生部105係使用參考圖框來產生編碼對象圖框之預測圖像。補正參數推估部106係根據編碼對象區域的周邊區域之預測圖像及解碼圖像來推估補正參數。預測圖像補正部107係使用所推估之補正參數來補正編碼對象區域之預測圖像。圖像編碼部108係一邊使用所補正之預測圖像作為預測信號而一邊將編碼對象區域的圖像信號予以編碼。圖像解碼部109係對編碼過之圖像信號進行解碼。解碼圖像記憶體110係儲存解碼過的圖像。
在第2圖揭示如上述構成之本實施形態的多視點影像編碼裝置100所執行的處理流程。
其次，依照此處理流程，就本實施形態之多視點影像編碼裝置100執行之處理加以詳細說明。
首先，利用編碼對象圖像輸入部101輸入編碼對象圖框Org且將之儲存到編碼對象圖像記憶體102。利用參考攝影機圖像輸入部103將參考圖框Ref予以輸入且儲存在參考攝影機圖像記憶體104[A1]。
欲輸入之參考圖框，係為將已編碼過的圖像進行解碼所得之圖像圖框。此係藉由使用與利用解碼裝置所得到之資訊相同的資訊來抑制漂移(drift)等編碼雜訊的產生之故。但是，容許上述編碼雜訊產生時，亦可輸入編碼前之原圖像。再者，有複數個參考圖框時，於此輸入複數個參考圖框。
其次，編碼裝置100係將編碼對象圖框分割成複數個編碼對象區域，且一邊按各該編碼對象區域將預測圖像予以產生/ 補正，一邊在圖像編碼部108將編碼對象圖框之圖像信號進行編碼[A2至A9]。
亦即，將編碼處理區塊的指數以blk表示，且將總編碼處理區塊數以numBlks來表示時，以0將blk進行初始化後[A2]，一邊在blk加算1[A8]，一邊直到blk成為numBlks為止[A9]，並重複以下的處理[A3至A7]。
在按各個編碼處理區塊進行重複之處理中，編碼裝置100係首先一邊在預測圖像產生部105使用參考圖框，一邊使用相同的產生技巧，將針對區塊blk(編碼對象區域)與該周邊之已編碼過的區域(樣本區域)之預測圖像Pred予以產生[A3]。
在此，以周邊區域而言，係可使用與區塊blk鄰接之編碼處理區塊與鄰接畫素等種種的單位之區域。亦可使用任何的定義之周邊區域，但必須使用與在解碼側使用之定義相同者。在本實施形態例中，將包含在區塊blk的周邊之已編碼過的區域之畫素的集合以Nblk 表示，而將包含在區塊blk之畫素的集合以Cblk 表示。
以預測圖像之產生方法而言，只要為使用參考圖框Ref者，亦可使用任何方法，但在區塊blk與該周邊區域中，係利用相同的方法來產生預測圖像Pred。例如，使用採用視差向量之視差補償預測時，係使用單一的視差向量dv，以如下式(1)之方式產生預測圖像Pred。
此外，使用視點合成(內插)預測時，係使用參考圖框Ref，對將編碼對象攝影機之整個圖像進行過合成(內插)之視點合成(內插)圖像Synth，以如下式(2)之方式產生預測圖像Pred。
其次，使用周邊區域之預測圖像與解碼圖像Dec，在補正參數推估部106求取補正參數[A4]。
以補正方法與補正參數推估而言，雖可使用任何方法，但必須使用與在解碼側使用者相同的方法。
以補正方法而言，例如，有利用偏移(offset)之補正、利用一次函數之補正、階數長度(tap length)k之二維線形濾波處理等。若將補正對象之畫素設為p，將補正前之值設為In，且將補正後的值設為Out時，上述補正方法可分別由以下式(3)至式(5)來表示。
Out [ p ]= In [ p ]+ offset 　‥‥式(3)
Out [ p ]=α‧ In [ p ]+ β　 ‥‥式(4)
利用偏移之補正與利用一次函數之補正，係利用線形濾波處理進行補正之特殊例。此外，補正處理不必為線形處理，只要可進行補正參數推估亦可使用非線形濾波。以非線形之補正方法的例子而言，有伽瑪校正。伽瑪校正可用下式(6)來表示。
[數學式2]
在上述補正模型之例子中，offset、(α,β)、({Fi,j },o)、(γ,a,b)各別為補正參數。
在周邊區域中，補正前的值為預測圖像，而理想的補正後的值成為解碼圖像。因此，若以使上述差變小的方式求取補正參數時，可進行精確度高的補正。
例如，在偏移值之補正中，可使用下式(7)求取offset。此外，∥∥表示該集合之要素數目。
[數學式3]
再者，進行利用一次函數之補正時，以將平方誤差減到最小之補正參數導出方法而言，可使用最小平方法來求取。此時之補正參數(α,β)係以下式(8)來表示。
[數學式4]
上述補正參數亦可按各個亮度與色差信號來求取，且亦可按RGB等之各顏色通道來求取。此外，亦可以例如利用R通道之0至127與128至255來進行使用有別的補正參數之補正的方式，可將各通道加以細分化且按照一定的範圍進行不同的補正。
推估補正參數後，在預測圖像補正部107中依照補正參數將針對區塊blk之預測圖像Pred進行補正，以產生補正預測圖像CPred[A5]。
此補正預測圖像CPred5之產生處理，具體而言，係如第3圖之處理流程所示地按各個畫素進行。在第3圖之處理流程中，pix表示畫素之識別資訊，而numPixblk表示區塊blk內之畫素數。
例如，進行使用偏移值之補正時，係依照下式(9)產生CPred。
繼以使用偏移值之式(3)進行補正時之例子作為補正方法(補正模型)加以說明。如第4圖所示，在處理A4中，藉由將周邊之已編碼過的區域之預測圖像的畫素值設為In，且將周邊之已編碼過的區域之解碼圖像的畫素值設為Out時之offset進行推估，來決定成為畫素值轉換式之補正模型。其次，在處理A5中，藉由將區塊blk之預測圖像的畫素值代入至該已決定之畫素值轉換式之In，來補正區塊blk之預測圖像。
對於區塊blk的預測圖像之補正結束後，在圖像編碼部108中，一邊將補正預測圖像CPred作為預測信號，一邊將對區塊blk之編碼對象圖框Org進行編碼[A6]。
雖可使用任何編碼方法，但在H.264等一般性的編碼手法中，係藉由對Org與CPred之差分，進行DCT/ 量化/ 2值化/ 熵編碼來進行編碼。
編碼結果之位元流係成為多視點影像編碼裝置100的輸出。在此同時，按各區塊在圖像解碼部109進行解碼，且為了進行其他區塊之補正參數推估，而使屬於解碼結果之時的解碼圖像Dec儲存到解碼圖像記憶體110[A7]。
依此方式，本實施形態之多視點影像編碼裝置100，係為了可在攝影機間將伴隨局部性的亮度與顏色的不匹配之類的多視點影像高效率地進行編碼，而局部性地求取用以因應此不匹配之補正參數。並且，為了避免編碼量的增加，一邊以不須另外進行編碼/ 解碼之形態來求取該補正參數，一邊執行該多視點影像的編碼。
於本實施形態例中，係在只有一個預測模式(mode)之情況作了說明，而在從具有複數個預測模式中選取一個編碼效率最佳者來進行編碼之多視點影像編碼裝置100之情況，亦可使用本發明。
具體而言，針對各預測模式進行處理A3至A6，並比較編碼效率，最後將針對編碼效率最高之預測模式的編碼結果作為多視點影像編碼裝置100的輸出，同時將之傳送到圖像解碼部109。此時，係將要使用那一種預測模式的控制信號從圖像編碼部108傳送到預測圖像產生部105。第1圖之虛線表示此控制信號。
[2]　本發明第2實施形態例之多視點影像解碼裝置
其次，就本發明第2實施形態例加以說明。
在第5圖，係將本發明第2實施形態例之多視點影像解碼裝置200的裝置構成予以圖示。
如第5圖所示，本實施形態的多視點影像解碼裝置200具備：編碼資料輸入部201、編碼資料記憶體202、參考攝影機圖像輸入部203、參考攝影機圖像記憶體204、預測圖像產生部205、補正參數推估部206、預測圖像補正部207、圖像解碼部208、以及解碼圖像記憶體209。編碼資料輸入部201係將利用第1攝影機所拍攝之拍攝對象的圖像圖框之編碼資料作為解碼對象予以輸入。編碼資料記憶體202係將所輸入之編碼資料予以儲存。參考攝影機圖像輸入部203，係將要成為參考圖框而利用第1攝影機之以外的第2攝影機所拍攝之相同拍攝對象之圖像圖框予以輸入。參考攝影機圖像記憶體204儲存所輸入之參考圖框。預測圖像產生部205係使用參考圖框而產生解碼對象圖框之預測圖像。補正參數推估部206係根據解碼對象區域的周邊區域之預測圖像及解碼圖像來推估補正參數。預測圖像補正部207係使用所推估之補正參數來補正解碼對象區域的預測圖像。圖像解碼部208係一邊將補正過之預測圖像使用作為預測信號，一邊將解碼對象區域之編碼資料進行解碼。
解碼圖像記憶體209儲存解碼過之圖像。
第6圖係表示如上述構成之第2實施形態的多視點影像解碼裝置200執行之處理流程。
其次，依照此處理流程，針對多視點影像解碼裝置200執行之處理加以詳細說明。
首先，利用編碼資料輸入部201輸入編碼資料且將之儲存在編碼資料記憶體202。藉由參考攝影機圖像輸入部203輸入參考圖框Ref，且將之儲存到參考攝影機圖像記憶體204[B1]。參考圖框Ref係已經藉由與拍攝該參考圖框Ref之攝影機建立對應關係而設置之多視點影像解碼裝置200進行過解碼。
此外，有複數個參考圖框時，在此輸入複數個參考圖框。
其次，解碼裝置200將解碼對象圖框分割為複數個解碼對象區域，且一邊按各該解碼對象區域產生/ 補正預測圖像，一邊在圖像解碼部208將解碼對象圖框之圖像信號進行解碼[B2至B8]。
亦即，將解碼處理區塊之指數以blk表示，且將總解碼處理區塊數以numBlks表示時，解碼裝置200係以0將blk進行初始化後[B2]，一邊在blk加算1[B7]，一邊重複以下的處理[B3至B6]，直到blk成為numBlks為止[B8]。
按各個解碼處理區進行重複之處理中，解碼裝置200係首先在預測圖像產生部205一邊使用參考圖框，一邊使用相同的產生手法，產生針對區塊blk(解碼對象區域)與該周邊已經解碼過的之區域(樣本區域)之預測圖像Pred[B3]。
此處之處理係與第1實施形態例之處理A3相同。與處理A3相同地，以周邊區域而言，係可使用鄰接於區塊blk之解碼處理區塊與鄰接畫素等種種單位。亦可使用任何定義之周邊區域，但必須使用與在編碼側使用之定義相同者。在本實施形態例中，以Nblk來表示包含在區塊blk周邊之已解碼過的區域之畫素的集合，並以Cblk表示包含在區塊blk之畫素的集合。
此外，以此處進行之預測圖像(第1及第2攝影機間之預測圖像)的產生手法而言，必須使用與在編碼側所使用者相同的方法。從複數個預測模式中選擇1個來進行編碼時，在編碼資料係包含有表示已使用過那一個預測模式之資訊。因此，在預測圖像產生部205中接收該控制信號，且利用指定之預測方法來產生區塊blk與周邊區域之預測圖像。第5圖之虛線表示此控制信號。
其次，使用周邊區域之預測圖像與解碼圖像Dec，在補正參數推估部206求取補正參數[B4]。
於補正方法與補正參數推估方面，亦可使用任何方法，但必須使用與在編碼側使用者相同的方法。此處之處理係與第1實施形態例之處理A4相同。
完成推估補正參數後，在預測圖像補正部207依照補正參數來補正針對區塊blk之預測圖像Pred，而產生補正預測圖像CPred[B5]。
在此之處理係與第1實施形態例的處理A5相同，而如第7圖的處理流程所示，係按各個畫素來進行。在此處，在第7圖的處理流程中，pix係表示畫素之識別資訊，而numPixblk則表示區塊blk的畫素數。
針對區塊blk的對預測圖像之補正結束後，在圖像解碼部208中一邊把補正預測圖像CPred設為預測信號一邊將針對區塊blk之編碼資料進行解碼，而取得針對區塊blk之解碼圖像Dec[blk][B6]。
在此進行之解碼處理的方法，必須使用與產生編碼資料時所使用之方法相對應者。例如，使用H.264進行編碼時，係藉由進行熵解碼、多值化、反量化、反DCT且對解碼過之殘差信號加總預測信號來進行解碼處理。
解碼結果之解碼圖像係成為多視點影像解碼裝置200的輸出，同時為了進行其他區塊之補正參數推估而儲存到解碼圖像記憶體209。
如此，如第5圖所構成之多視點影像解碼裝置200，係以將如第1圖所構成之多視點影像編碼裝置100所產生之多視點影像解碼的編碼資料進行解碼之方式進行處理。
在進行上述說明之第1實施形態例及第2實施形態例中，係設計成在所有區塊進行補正，惟亦可採取藉由按各個區塊對1位元的旗標資訊進行編碼，來選擇是否進行補正之構成。
再者，亦有一方法，係不對1位元的旗標資訊進行編碼，而是測量補正參數的可靠度，且依照該可靠度選擇是否進行補正。
具體而言，在處理A4及處理B4中，係於求取補正參數後，求取表達如以下的式(10)至式(12)所示之補正正確度與有效性的值。僅在該值比事先所提供之閾值大時，才在處理A5及處理B5中補正區塊blk的預測圖像。
[數學式5]
在此，式(10)之第1項係表示解碼圖像Dec與補正前之預測圖像Pred的差分絕對值和，第2項表示解碼圖像Dec與補正預測圖像CPred之差分絕對值和。由此等可顯示，式(10)係藉由進行補正而使真值與預測值之差分絕對值和減少到多少程度。此外，由式(11)之第1項係表示解碼圖像Dec與補正前的預測圖像Pred之差分平方和，第2項係表示解碼圖像Dec與補正預測圖像CPred之差分平方和。由此可顯示，式(11)係透過進行補正而使真值與預測值的差分平方和減少多少程度。再者，式(12)係對已求得補正模型的樣本表示其正確度多少的值。
上述式(10)至式(12)所示之值，其任何值皆非使用處理對象區塊求得，而是使用周邊區域的值來求得，故僅對整體上使用之閾值進行編碼並通知解碼側即可。
為求取更具穩健性的補正參數，在第1實施形態及第2實施形態之周邊區域的設定中，可進行將周邊區域之畫素中具有偏離值者從補正參數推估時之樣本除去之處理。
例如，以解碼圖像與預測圖像之差分作為尺度而將周邊區域之各畫素進行分群，且僅將屬於要素數目最多之群集的畫素設為使用於補正參數推估之周邊畫素集合Nblk的要素。
以作為最簡單的分群方法而言，有一個方法，亦即，解碼圖像與預測圖像之差分值的分散若在某一閾值以下時，則整體上設為1個群集，而比閾值大時，以差分值的平均為界線而分割為2個群集。此時，若包含在所有群集之畫素的解碼圖像與預測圖像之差分值的分散位在某一閾值以下時，便結束分群。
以更複雜的分群方法而言，有一個方法，亦即，起初以各畫素設為1個群集，且在將某2個群集進行融合時，將群集內的畫素之解碼圖像與預測圖像之差分值的分散之增加最少者予以依照順序融合。此情形中，即使融合任何2個群集，只要具有超過某閾值的分散之群集產生時便結束分群。
再者，在本實施形態例中，係將對1台攝影機之1圖框進行編碼或解碼之處理作說明，惟藉由按各個圖框重複此處理，即可達成多視點影像之編碼或解碼。並且，藉由按各台攝影機進行重複處理可實現複數台攝影機之多視點影像的編碼或解碼。
以上說明之處理，亦可利用電腦與軟體程式來達成。該程式可記錄在電腦可讀取的記錄媒體來提供，亦可透過網路來提供。
此外，在以上實施形態中，雖以多視點影像編碼裝置及多視點影像解碼裝置為中心作了說明，但可藉由對應此多視點影像編碼裝置之各部的動作之步驟來達成本實施形態之多視點影像編碼方法。此外，可藉由對應此多視點影像解碼裝置之各部的動作之步驟來實現本實施形態的多視點影像解碼方法。
以上，參照圖示將本發明之實施形態作了說明，而上述實施形態僅為本發明之例示，顯然地本發明不限定於上述實施形態。
因此，只要在不脫離本發明之範圍內，亦可進行構成要素的追加、省略、替換、其他變更。
(產業上之可利用性)
本發明係可應用於多視點圖像之編碼手法，而藉由應用本發明，即使在攝影機間局部性地產生亮度與顏色之不匹配時，亦可實現有效率的多視點圖像或多視點動畫的編碼及解碼。此外，可大幅減少實現此多視點圖像編碼時之編碼量。
100．．．多視點影像編碼裝置
101．．．編碼對象圖像輸入部
102．．．編碼對象圖像記憶體
103．．．參考攝影機圖像輸入部
104．．．參考攝影機圖像記憶體
105．．．預測圖像產生部
106．．．補正參數推估部
107．．．預測圖像補正部
108．．．圖像編碼部
109．．．圖像解碼部
110．．．解碼圖像記憶體
200．．．多視點影像解碼裝置
201．．．編碼資料輸入部
202．．．編碼資料記憶體
203．．．參考攝影機圖像輸入部
204．．．參考攝影機圖像記憶體
205．．．預測圖像產生部
206．．．補正參數推估部
207．．．預測圖像補正部
208．．．圖像解碼部
209．．．解碼圖像記憶體
第1圖係表示本發明第1實施形態之多視點圖像編碼裝置的方塊圖。
第2圖係表示本發明第1實施形態之多視點圖像編碼裝置執行的處理之流程圖。
第3圖係表示本發明第1實施形態之多視點圖像編碼裝置執行的處理之詳細流程圖。
第4圖係表示本發明第1實施形態之多視點圖像編碼裝置執行的處理之流程圖。
第5圖係表示本發明第2實施形態之多視點圖像解碼裝置的方塊圖。
第6圖係表示本發明第2實施形態之多視點圖像解碼裝置執行的處理之流程圖。
第7圖係表示本發明第2實施形態之多視點圖像解碼裝置執行的處理之詳細流程圖。
第8圖係表示視差補償預測方法之圖。
100．．．多視點影像編碼裝置
101．．．編碼對象圖像輸入部
102．．．編碼對象圖像記憶體
103．．．參考攝影機圖像輸入部
104．．．參考攝影機圖像記憶體
105．．．預測圖像產生部
106．．．補正參數推估部
107．．．預測圖像補正部
108．．．圖像編碼部
109．．．圖像解碼部
110．．．解碼圖像記憶體

Claims (10)

  1. 一種多視點圖像編碼方法，係將第1攝影機所拍攝之拍攝對象的輸入圖像分割為複數個編碼對象區域，且使用以配置在與前述第1攝影機不同位置之第2攝影機所拍攝的前述拍攝對象之已編碼過的圖像，按各個前述編碼對象區域進行預測編碼，該編碼方法具備：樣本區域設定步驟，係在前述輸入圖像中，將與前述編碼對象區域鄰接之已進行過解碼的區域設定為樣本區域；預測圖像產生步驟，係就屬於前述編碼對象區域與前述樣本區域之畫素，從以前述第2攝影機所拍攝之前述已編碼過的圖像來產生預測圖像；補正參數推估步驟，係根據關於前述樣本區域之前述預測圖像及關於前述樣本區域已進行過解碼之解碼圖像，來將補正亮度與顏色的不匹配之補正參數予以推估；預測圖像補正步驟，係使用前述補正參數，來補正關於前述編碼對象區域之前述預測圖像，以產生第1補正預測圖像；圖像編碼步驟，係使用前述第1補正預測圖像，來將前述編碼對象區域的圖像信號予以編碼而產生編碼資料；以及圖像解碼步驟，係對前述編碼資料進行解碼，而產生前述編碼對象區域之解碼圖像。
  2. 如申請專利範圍第1項之多視點圖像編碼方法，其中，具備：樣本圖像補正步驟，係使用前述補正參數，來補正關於前述樣本區域的前述預測圖像而產生第2補正預測圖像；以及補正參數評估步驟，係根據前述第2補正預測圖像及前述解碼圖像，來評估前述補正參數，而在前述預測圖像補正步驟中，係藉由將前述補正參數的評估值與事先訂定之閾值進行比較，而於判斷為前述補正參數的可靠度高時，使用前述補正參數來將關於前述編碼對象區域之前述預測圖像予以補正，而產生前述第1補正預測圖像，而於判斷前述補正參數的可靠度低時，將關於前述編碼對象區域之前述預測圖像設為前述第1預測圖像。
  3. 如申請專利範圍第1項之多視點圖像編碼方法，其中，具備：樣本畫素分類步驟，係使用前述預測圖像與前述解碼圖像之差分值，將屬於前述樣本區域之畫素進行分群；以及樣本區域修正步驟，係於透過前述分群所得到之群集內，將屬於要素數目最多之群集的畫素重新設定為前述樣本區域而設定所修正的樣本區域，在前述補正參數推估步驟中，僅使用屬於前述所修正的樣本區域之畫素來進行前述補正參數的推估。
  4. 一種多視點圖像解碼方法，其係對以第1攝影機所拍攝之拍攝對象的圖像使用以配置在與前述第1攝影機不同的位置之第2攝影機所拍攝之前述拍攝對象的圖像進行編碼所得的解碼對象圖像之編碼資料，使用以前述第2攝影機所拍攝之已進行過解碼的前述拍攝對象之圖像，按各個業已將前述解碼對象圖像進行分割過的複數個解碼對象區域來進行解碼者，該解碼方法具備：樣本區域設定步驟，係在前述解碼對象圖像中，將與前述解碼對象區域鄰接之已進行過解碼之區域設定為樣本區域；預測圖像產生步驟，係就屬於前述解碼對象區域與前述樣本區域之畫素，從以前述第2攝影機所拍攝之前述已編碼過的圖像來產生預測圖像；補正參數推估步驟，係根據關於前述樣本區域之前述預測圖像及就前述樣本區域已進行過解碼之解碼圖像，來將補正亮度及顏色的不匹配之補正參數進行推估；預測圖像補正步驟，係使用前述補正參數，將關於前述解碼對象區域之前述預測圖像予以補正來產生第1補正預測圖像；以及圖像解碼步驟，係使用前述第1補正預測圖像，從前述編碼資料將前述解碼對象區域之圖像信號予以解碼。
  5. 如申請專利範圍第4項之多視點圖像編碼方法，其中，具備：樣本圖像補正步驟，係使用前述補正參數，將關於前述樣本區域之前述預測圖像進行補正來產生第2補正預測圖像；以及補正參數評估步驟，係根據前述第2補正預測圖像及前述解碼圖像來評估前述補正參數，而在前述預測圖像補正步驟中，藉由對前述補正參數的評估值與事先訂定之閾值進行比較，於判斷為前述補正參數之可靠度高時，使用前述補正參數將關於前述解碼對象區域之前述預測圖像予以補正來產生前述第1補正預測圖像，而於判斷為前述補正參數之可靠度低時，將關於前述解碼對象區域之前述預測圖像設為前述第1預測圖像。
  6. 如申請專利範圍第4項之多視點圖像編碼方法，其中，具備：樣本畫素分類步驟，係使用前述預測圖像與前述解碼圖像之差分值將屬於前述樣本區域之畫素進行分群；以及樣本區域修正步驟，係在藉由前述分群而得到之群集內，將屬於要素數目最多的群集之畫素重新設定為樣本區域，而設定所修正之樣本區域，而在前述補正參數推估步驟中，僅使用屬於前述所修正之補樣本區域之畫素來進行前述補正參數的推估。
  7. 一種多視點圖像編碼裝置，係將第1攝影機所拍攝之拍攝對象的輸入圖像分割為複數個編碼對象區域，並使用以前述第1攝影機之外的其他第2攝影機所拍攝的前述拍攝對象之已編碼過的圖像，按各個前述編碼對象區域進行預測編碼，該裝置具備：樣本區域設定部，係在前述輸入圖像中將與前述編碼對象區域鄰接之已進行過解碼的區域設定為樣本區域；預測圖像產生部，係對屬於前述編碼對象區域與前述樣本區域之畫素，從以前述第2攝影機所拍攝之前述已編碼過的圖像來產生預測圖像；補正參數推估部，係根據關於前述樣本區域之前述預測圖像及對前述樣本區域已進行過解碼之解碼圖像，將補正亮度與顏色的不匹配之補正參數予以推估；預測圖像補正部，係使用前述補正參數來補正關於前述編碼對象區域之前述預測圖像，以產生補正預測圖像；圖像編碼部，係使用前述補正預測圖像來將前述編碼對象區域的圖像信號予以編碼而產生編碼資料；以及圖像解碼部，係對前述編碼資料進行解碼，以產生前述編碼對象區域之解碼圖像。
  8. 一種多視點圖像解碼裝置，係將對以第1攝影機所拍攝之拍攝對象的圖像，使用以前述第1攝影機之外的其他第2攝影機所拍攝之前述拍攝對象的圖像進行過編碼所得的解碼對象圖像之編碼資料，使用以前述第2攝影機所拍攝之已進行過解碼的前述拍攝對象之圖像，按各個業已將前述解碼對象圖像進行分割過的複數個解碼對象區域進行解碼者，其具備：樣本區域設定部，係在前述解碼對象圖像中，將與前述解碼對象區域鄰接之已進行過解碼之區域設定為樣本區域；預測圖像產生部，係對屬於前述解碼對象區域與前述樣本區域之畫素，從以前述第2攝影機所拍攝之前述已編碼過的圖像來產生預測圖像；補正參數推估部，係根據關於前述樣本區域之前述預測圖像及針對前述樣本區域已進行過解碼之解碼圖像，將補正亮度及顏色的不匹配之補正參數進行推估；預測圖像補正部，係使用前述補正參數，將關於前述解碼對象區域之前述預測圖像予以補正以產生補正預測圖像；以及圖像解碼部，係使用前述補正預測圖像，從前述編碼資料將前述解碼對象區域之圖像信號予以解碼。
  9. 一種多視點圖像編碼程式，係用以使電腦執行申請專利範圍第1項至第3項中任一項記載之多視點圖像編碼方法者。
  10. 一種多視點圖像解碼程式，係用以使電腦執行申請專利範圍第4項至第6項中任一項記載的多視點圖像解碼方法者。
TW099103906A 2009-02-12 2010-02-09 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式 TWI432034B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009029249 2009-02-12

Publications (2)

Publication Number Publication Date
TW201034469A TW201034469A (en) 2010-09-16
TWI432034B true TWI432034B (zh) 2014-03-21

Family

ID=42561621

Family Applications (2)

Application Number Title Priority Date Filing Date
TW099103906A TWI432034B (zh) 2009-02-12 2010-02-09 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
TW103105609A TW201424405A (zh) 2009-02-12 2010-02-09 多視點圖像編碼方法，及多視點圖像解碼方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103105609A TW201424405A (zh) 2009-02-12 2010-02-09 多視點圖像編碼方法，及多視點圖像解碼方法

Country Status (10)

Country Link
US (1) US8532411B2 (zh)
EP (1) EP2398241A1 (zh)
JP (1) JP5436458B2 (zh)
KR (1) KR101287458B1 (zh)
CN (1) CN102308584B (zh)
BR (1) BRPI1008226A2 (zh)
CA (1) CA2751297C (zh)
RU (1) RU2525850C2 (zh)
TW (2) TWI432034B (zh)
WO (1) WO2010092772A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI1008226A2 (pt) * 2009-02-12 2019-09-24 Nippon Telegraph & Telephone método de codificação de imagem como múltiplas vistas, método de decodificação de imagem com múltiplas vistas, dispositivo de codificação de imagem com múltiplas vistas,dispositivo de codificação de imagem com múltiplas vistas,programa de codificação de imagem como múltiplas vistas, programa de codificação de imagem como múltiplas vistas.
TWI517674B (zh) * 2009-02-23 2016-01-11 日本電信電話股份有限公司 多視點圖像編碼方法及多視點圖像解碼方法
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
AU2012232423A1 (en) 2011-03-18 2013-09-05 Sony Corporation Image processing device and image processing method
BR112014004062A2 (pt) * 2011-08-31 2017-03-07 Sony Corp dispositivos e métodos de codificação e decodificação
CN104601976A (zh) * 2012-01-31 2015-05-06 索尼公司 图像处理装置和图像处理方法
RU2493668C1 (ru) * 2012-03-15 2013-09-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе локальной коррекции яркости и контрастности опорных кадров без передачи дополнительных служебных данных
WO2013159330A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
RU2510944C2 (ru) 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
EP2854393A4 (en) * 2012-07-11 2015-12-30 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNALS
US9350970B2 (en) * 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
WO2014103966A1 (ja) 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
CN104919799A (zh) * 2013-01-07 2015-09-16 联发科技股份有限公司 用于三维视频编解码的从深度到视差矢量转换的方法和装置
EP3016075A1 (en) * 2014-11-03 2016-05-04 Graphine NV Prediction system for texture streaming
JP2016134803A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
US11082708B2 (en) * 2018-01-08 2021-08-03 Qualcomm Incorporated Multiple-model local illumination compensation
US10715810B2 (en) 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
WO2020102160A2 (en) 2018-11-12 2020-05-22 Massachusetts Institute Of Technology Scalable feedback control of single-photon sources for photonic quantum technologies
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。
EP3706419A1 (en) * 2019-03-08 2020-09-09 InterDigital VC Holdings, Inc. Multi-model local illumination compensation for video encoding or decoding
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
CN111353434A (zh) * 2020-02-28 2020-06-30 北京市商汤科技开发有限公司 信息识别方法及装置、系统、电子设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875095A (en) * 1987-06-30 1989-10-17 Kokusai Denshin Denwa Kabushiki Kaisha Noise-shaping predictive coding system
JP2938412B2 (ja) * 1996-09-03 1999-08-23 日本電信電話株式会社 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
US7064783B2 (en) * 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
JP3519673B2 (ja) * 2000-07-07 2004-04-19 松下電器産業株式会社 動画データ作成装置及び動画符号化装置
MXPA05003898A (es) * 2002-10-15 2005-06-22 Samsung Electronics Co Ltd Medio de almacenamiento de informacion con estructura de datos para angulos multiples y aparato del mismo.
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4937741B2 (ja) * 2005-01-07 2012-05-23 日本電信電話株式会社 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP4414379B2 (ja) 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
US9456223B2 (en) * 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
JP2009029249A (ja) 2007-07-26 2009-02-12 Bridgestone Corp 空気入りタイヤ
BRPI1008226A2 (pt) * 2009-02-12 2019-09-24 Nippon Telegraph & Telephone método de codificação de imagem como múltiplas vistas, método de decodificação de imagem com múltiplas vistas, dispositivo de codificação de imagem com múltiplas vistas,dispositivo de codificação de imagem com múltiplas vistas,programa de codificação de imagem como múltiplas vistas, programa de codificação de imagem como múltiplas vistas.
TWI517674B (zh) * 2009-02-23 2016-01-11 日本電信電話股份有限公司 多視點圖像編碼方法及多視點圖像解碼方法
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
JP4986086B2 (ja) * 2010-02-26 2012-07-25 ブラザー工業株式会社 画像形成装置、及び、ずれ量測定プログラム

Also Published As

Publication number Publication date
TW201424405A (zh) 2014-06-16
KR101287458B1 (ko) 2013-07-19
CN102308584B (zh) 2015-01-07
BRPI1008226A2 (pt) 2019-09-24
JPWO2010092772A1 (ja) 2012-08-16
JP5436458B2 (ja) 2014-03-05
WO2010092772A1 (ja) 2010-08-19
CA2751297C (en) 2014-05-13
CN102308584A (zh) 2012-01-04
CA2751297A1 (en) 2010-08-19
US20110286678A1 (en) 2011-11-24
US8532411B2 (en) 2013-09-10
TW201034469A (en) 2010-09-16
RU2011132661A (ru) 2013-03-27
KR20110114614A (ko) 2011-10-19
EP2398241A1 (en) 2011-12-21
RU2525850C2 (ru) 2014-08-20

Similar Documents

Publication Publication Date Title
TWI432034B (zh) 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
TWI517674B (zh) 多視點圖像編碼方法及多視點圖像解碼方法
US9253504B2 (en) Methods and apparatus for adaptive reference filtering
US8385628B2 (en) Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2008035665A1 (fr) procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme
KR20110135786A (ko) 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
US20150172715A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US20170041623A1 (en) Method and Apparatus for Intra Coding for a Block in a Coding System
JP5219199B2 (ja) 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
RU2493668C1 (ru) Способ кодирования/декодирования многоракурсной видеопоследовательности на основе локальной коррекции яркости и контрастности опорных кадров без передачи дополнительных служебных данных
JP5531282B2 (ja) 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体