TWI436637B - 多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置，以及程式 - Google Patents

多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置，以及程式 Download PDF

Info

Publication number
TWI436637B
TWI436637B TW100105721A TW100105721A TWI436637B TW I436637 B TWI436637 B TW I436637B TW 100105721 A TW100105721 A TW 100105721A TW 100105721 A TW100105721 A TW 100105721A TW I436637 B TWI436637 B TW I436637B
Authority
TW
Taiwan
Prior art keywords
view
image
viewpoint
synthesis image
frame
Prior art date
Application number
TW100105721A
Other languages
English (en)
Other versions
TW201218745A (en
Inventor
Shinya Shimizu
Hideaki Kimata
Norihiko Matsuura
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201218745A publication Critical patent/TW201218745A/zh
Application granted granted Critical
Publication of TWI436637B publication Critical patent/TWI436637B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Description

多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置，以及程式
本發明係有關一種將多視點畫像或多視點動態畫像予以編碼之多視點影像編碼方法與多視點影像編碼裝置、將多視點畫像或多視點動態畫像予以解碼之多視點影像解碼方法與多視點影像解碼裝置、以及程式。
本案係主張2010年2月24日於日本提出申請的日本特願2010-038680號申請案之優先權，並在此援用該申請案之內容。
所謂多視點畫像係指以複數個照相機拍攝相同被攝體及其背景的複數個畫像，所謂多視點動態畫像(多視點影像)係指該動態畫像。在一般的影像編碼中，使用利用了於影像中不同的拍攝時刻的訊框(frame)間所存在的高度相關之動作補償預測來實現有效率的編碼。動作補償預測係H.264所代表之近年來的影像編碼方式的國際標準規格所採用的手法。亦即，動作補償預測係下述之方法：在編碼對象訊框與已經編碼完成的參照訊框之間補償被攝體的動作以產生畫像，在所產生的畫像與編碼對象訊框之間取得訊框間差分，並將該差分訊號與動作向量予以編碼。
在多視點影像編碼中，不僅在不同的拍攝時刻的訊框間，在不同的視點的訊框間亦存在高度相關。因此，使用被稱為視差補償預測之手法，該手法係在補償視點間的視差(而非補償動作)所產生的畫像(訊框)與編碼對象訊框之間取得訊框間差分，並將差分訊號與視差向量予以編碼。視差補償預測係作為H.264 Annex.H而被國際標準規格所採用(參照例如非專利文獻1)。
此處所使用的視差係指在不同的位置或方向所配置的照相機的畫像平面上，被攝體上的相同的位置所投影之位置的差。在視差補償預測中，以二維向量表現該位置的差並進行編碼。如第7圖所示，由於視差為依存於照相機的視點位置與被攝體的離照相機的距離(縱深(depth))而產生之資訊，因此存在利用該原理之被稱為視點合成預測(視點插補預測)之方式。
視點合成預測(視點插補預測)係下述方式：依據照相機與被攝體的三維性的位置關係，使用已經完成處理所獲得的解碼結果之多視點影像的一部分，將用以進行編碼或解碼處理之其它視點所對應之訊框予以合成(插補)，並將合成所獲得的畫像作為預測畫像來使用(參照例如專利文獻2)。為了表現被攝體的三維性的位置，大多使用於每個像素表現從照相機至被攝體的距離(縱深)之縱深地圖(depth map)(亦稱為距離畫像、視差畫像、視差圖(disparity map))。除了縱深地圖之外，亦能使用被攝體的多邊形(polygon)資訊和被攝體空間的三維像素(voxel)資訊。
此外，用以取得縱深地圖之方法，大致區分係有下述方法：使用紅外線脈波等進行測量，藉此產生縱深地圖之方法；以及依據在多視點影像上成像(註：指拍攝被攝體所呈現的結果，本文中稱為成像)有相同的被攝體之點，使用三角測量的原理推定縱深，藉此產生縱深地圖之方法。要使用上述任一種方法所獲得的縱深地圖，在視點合成預測中並不是什麼大問題。此外，只要能獲得縱深地圖，要在何處進行推定亦不是什麼大問題。
然而，在進行預測編碼的情形中，一般而言在編碼側所使用的縱深地圖與在解碼側所使用的縱深地圖不一致時，會產生被稱為漂移(drift)的編碼失真。因此，係使用下述方法：將在編碼側所使用的縱深地圖傳送至解碼側，或者在編碼側與解碼側使用完全相同的資料與手法來推定縱深地圖。
在視差補償預測和視點合成預測中，若於照相機的攝像元件的響應存在個體差、於每個照相機進行增益控制或伽瑪(gamma)修正、或者於場景(scene)存在方向依存的照明效果時，編碼效率會劣化。此乃由於以在編碼對象訊框與參照訊框中被攝體的顏色為相同之前提下進行預測之故。
以應對應此種被攝體的亮度和顏色變化而進行檢討之方式而言，有被稱為亮度補償和顏色修正之方式。此種方式係將參照訊框的亮度和顏色經過修正後作為使用於預測之訊框，藉此將進行編碼之預測殘差抑制成較小。在非專利文獻1所記載的H.264中，係採用使用一次函數進行修正之權重預測(Weighted Prediction)。此外，亦提案有另一種使用顏色列表(table)進行修正之方式(參照例如非專利文獻3)。
此外，由於這些被攝體的亮度和顏色的照相機間的不匹配(mismatch)係依存於被攝體的局部性者，因此通常希望於局部性使用不同的修正參數(用以修正之參數)進行修正。此外，這些不匹配並非僅是單純的增益等不同而引起，亦會因為焦距的不同等或多或少存在的複雜模式(model)而產生。因此，並非是使用單純的修正態樣，而是希望使用已將投影製程等予以模式化的複雜的修正模式。
並且，為了對應局部性的變化，需要準備複數組(set)修正參數。一般而言，複雜的修正模式係作為具有多數個參數而予以表現。因此，在用以傳送修正參數之途徑(approach)中，即使能改善不匹配，亦由於需要很多的編碼量，因此仍無法達成高編碼效率。
以不增加修正參數的編碼量而可對應不匹配的局部性和複雜性的方法而言，有在解碼側推定修正參數來使用之手法。例如有下述方法：在處理對象區塊的鄰接區域中當假設相同的被攝體被拍攝時，推定用以將鄰接區域中的視點合成畫像與解碼畫像的差予以最小化之修正參數，而作為該區塊的修正參數來使用(參照例如非專利文獻4)。在此方式中，由於完全無需傳送修正參數，因此只要能使不匹配減少，則即使整體的修正參數數量增加，亦不會增加產生編碼量。
(非專利文獻)
非專利文獻1：Rec.ITU-T H.264“Advanced video coding for generic audiovisual services,”March 2009.
非專利文獻2：S.Shimizu,M.Kitahara,H.Kimata,K.Kamikura,and Y.Yashima,“View Scalable Multiview Video Coding Using 3-D Warping with Depth Map,”IEEE Transactions on Circuits and System for Video Technology,Vol.17,No.11,pp.1485-1495,November,2007.
非專利文獻3：K.Yamamoto,M.Kitahara,H.Kimata,T.Yendo,T.Fujii,M.Tanimoto,S.Shimizu,K.Kamikura,and Y.Yashima,“Multiview Video Coding Using View Interpolation and Color Correction,”IEEE Transactions on Circuits and System for Video Technology,Vol.17,No.11,pp.1436-1449,November,2007.
非專利文獻4：S.Shimizu,H.Kimata,and Y.Ohtani,“Adaptive Appearance Compensated View Synthesis Prediction for Multiview Video Coding,”Proceedings of ICIP2009,pp.2949-2952,November 2009.
在上述的習知技術中，於解碼時使用可參照的鄰接區塊的資訊來推定修正參數，藉此無須將修正參數予以編碼，而可修正照相機間的不匹配。因此，可實現多視點影像的效率性的壓縮編碼。
然而，在鄰接區塊中成像有與處理對象區塊不同的被攝體之情形，係存在有所獲得的修正參數無法適切地修正成像於處理對象區塊之被攝體所對應的不匹配之問題。此外，不僅無法適切地修正不匹配，甚至有反過來使不匹配放大，而導致編碼效率惡化之可能性。
以該課題的解決對策而言，容易想到下述方法：將用以表示是否於每個區塊進行修正之旗標(flag)予以編碼。然而，在該方法中，雖然可防止不匹配的增加，但由於產生需要將旗標予以編碼，因此不可能大幅改善編碼效率。
本發明乃有鑑於上述課題而研創者，其目的係提供一種多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置、以及程式，即使在伴隨有照相機間的局部性的亮度或顏色的不匹配之多視點影像中，亦無需另外將修正參數予以編碼/解碼，而能有效率地實現多視點畫像和多視點動態畫像的編碼/解碼。
為了解決上述課題，本發明的第一態樣係一種多視點影像編碼方法，用以將多視點影像予以編碼，該多視點影像編碼方法係包含有下述步驟：視點合成畫像產生步驟，係依據與前述多視點影像的編碼對象視點中的編碼對象訊框同時刻拍攝之與前述編碼對象視點不同的參照視點中的已經編碼完成的參照視點訊框，將與前述編碼對象視點的前述編碼對象訊框對應之視點合成畫像予以合成；參照區域推定步驟，係於每個預先決定的大的處理單位區域，探索與前述視點合成畫像對應之前述編碼對象視點中已經編碼完成的參照訊框上的參照區域；修正參數推定步驟，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正步驟，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像編碼步驟，係使用前述所修正的視點合成畫像，將前述編碼對象視點的影像予以預測編碼。
在本發明的第一態樣中，亦可為：復包含有可靠度設定步驟，係針對前述視點合成畫像的各像素設定用以表示前述視點合成畫像的正確性之可靠度；前述參照區域推定步驟係依據前述可靠度，對與前述視點合成畫像對應之用以探索前述參照訊框上的前述參照區域時的各像素的匹配成本(matching cost)賦予權重。
在本發明的第一態樣中，亦可為：前述修正參數推定步驟係依據前述可靠度，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
在本發明的第一態樣中，亦可為：復包含有推定精確度設定步驟，係針對前述視點合成畫像的各像素設定用以表示是否能正確地推定前述參照區域之推定精確度；並且，前述修正參數推定步驟係依據前述推定精確度以及前述可靠度的任一方或雙方，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
此外，為了解決上述課題，本發明的第二態樣係一種多視點影像解碼方法，用以將多視點影像予以解碼，該多視點影像解碼方法係包含有下述步驟：視點合成畫像產生步驟，係依據與前述多視點影像的解碼對象視點中的解碼對象訊框同時刻拍攝之與前述解碼對象視點不同的參照視點中的參照視點訊框，將與前述解碼對象視點的前述解碼對象訊框對應之視點合成畫像予以合成；參照區域推定步驟，係於每個預先決定的大小的處理單位區域，探索與前述視點合成畫像對應之前述解碼對象視點中已經解碼完成的參照訊框上的參照區域；修正參數推定步驟，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正步驟，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像解碼步驟，係將前述所修正的視點合成畫像作為預測訊號來使用，依據前述解碼對象視點所對應的影像的編碼資料將前述解碼對象視點中被預測編碼的解碼對象訊框予以解碼。
在本發明的第二態樣中，亦可為：復包含有可靠度設定步驟，係針對前述視點合成畫像的各像素設定用以表示前述視點合成畫像的正確性之可靠度；前述參照區域推定步驟係依據前述可靠度，對與前述視點合成畫像對應之用以探索前述參照訊框上的前述參照區域時的各像素的匹配成本賦予權重。
在本發明的第二態樣中，亦可為：前述修正參數推定步驟係依據前述可靠度，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
在本發明的第二態樣中，亦可為：復包含有推定精確度設定步驟，係針對前述視點合成畫像的各像素設定用以表示是否能正確地推定前述參照區域之推定精確度；並且，前述修正參數推定步驟係依據前述推定精確度以及前述可靠度的任一方或雙方，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
為了解決上述課題，本發明的第三態樣係一種多視點影像編碼裝置，用以將多視點影像予以編碼，該多視點影像編碼裝置係包含有下述手段：視點合成畫像產生手段，係依據與前述多視點影像的編碼對象視點中的編碼對象訊框同時刻拍攝之與前述編碼對象視點不同的參照視點中的已經編碼完成的參照視點訊框，將與前述編碼對象視點的前述編碼對象訊框對應之視點合成畫像予以合成；參照區域推定手段，係於每個預先決定的大小的處理單位區域，探索與藉由前述視點合成畫像產生手段所合成的前述視點合成畫像對應之前述編碼對象視點中已經編碼完成的參照訊框上的參照區域；修正參數推定手段，係依據前述處理單位區域所對應的前述視點合成畫像以及藉由前述參照區域推定手段所探索的前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正手段，係使用藉由前述修正參數推定手段所推定的前述修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像編碼手段，係使用藉由前述視點合成畫像修正手段所修正的視點合成畫像，將前述編碼對象視點的影像予以預測編碼。
在本發明的第三態樣中，亦可為：復包含有可靠度設定手段，係針對藉由前述視點合成畫像產生手段所合成的前述視點合成畫像的各像素設定用以表示前述視點合成畫像的正確性之可靠度；前述參照區域推定手段係依據藉由前述可靠度設定手段所設定的前述可靠度，對與前述視點合成畫像對應之用以探索前述參照訊框上的前述參照區域時的各像素的匹配成本賦予權重。
在本發明的第三態樣中，亦可為：前述修正參數推定手段係依據藉由前述可靠度設定手段所設定的前述可靠度，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
在本發明的第三態樣中，亦可為：復包含有推定精確度設定手段，係針對藉由前述視點合成畫像產生手段所合成的前述視點合成畫像的各像素設定用以表示是否能正確地推定前述參照區域之推定精確度；並且，前述修正參數推定手段係依據藉由前述推定精確度設定手段所設定的前述推定精確度以及藉由前述可靠度設定手段所設定的前述可靠度的任一方或雙方，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
為了解決上述課題，本發明的第四態樣係一種多視點影像解碼裝置，用以將多視點影像予以解碼，該多視點影像解碼裝置係包含有下述手段：視點合成畫像產生手段，係依據與前述多視點影像的解碼對象視點中的解碼對象訊框同時刻拍攝之與前述解碼對象視點不同的參照視點中的參照視點訊框，將與前述解碼對象視點的前述解碼對象訊框對應之視點合成畫像予以合成；參照區域推定手段，係於每個預先決定的大小的處理單位區域，探索與藉由前述視點合成畫像產生手段所合成的前述視點合成畫像對應之前述解碼對象視點中已經解碼完成的參照訊框上的參照區域；修正參數推定手段，係依據前述處理單位區域所對應的前述視點合成畫像以及藉由前述參照區域推定手段所探索的前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正手段，係使用藉由前述修正參數推定手段所推定的前述修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像解碼手段，係將藉由前述視點合成畫像修正手段所修正的視點合成畫像作為預測訊號予以使用，依據前述解碼對象視點所對應的影像的編碼資料，將前述解碼對象視點中被預測編碼的解碼對象訊框予以解碼。
為了解決上述課題，本發明的第五態樣係一種程式，係使用以將多視點影像予以編碼之多視點影像編碼裝置的電腦執行下述功能：視點合成畫像產生功能，係依據與前述多視點影像的編碼對象視點中的編碼對象訊框同時刻拍攝之與前述編碼對象視點不同的參照視點中的已經編碼完成的參照視點訊框，將與前述編碼對象視點的前述編碼對象訊框對應之視點合成畫像予以合成；參照區域推定功能，係於每個預先決定的大小的處理單位區域，探索與前述視點合成畫像對應之前述編碼對象視點中已經編碼完成的參照訊框上的參照區域；修正參數推定功能，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正功能，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像編碼功能，係使用前述所修正的視點合成畫像，將前述編碼對象視點的影像予以預測編碼。
此外，為了解決上述課題，本發明的第六態樣係一種程式，係使用以將多視點影像予以解碼之多視點影像解碼裝置的電腦執行下述功能：視點合成畫像產生功能，係依據與前述多視點影像的解碼對象視點中的解碼對象訊框同時刻拍攝之與前述解碼對象視點不同的參照視點中的參照視點訊框，將與前述解碼對象視點的前述解碼對象訊框對應之視點合成畫像予以合成；參照區域推定功能，係於每個預先決定的大小的處理單位區域，探索與前述視點合成畫像對應之前述解碼對象視點中已經解碼完成的參照訊框上的參照區域；修正參數推定功能，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正功能，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像解碼功能，係將前述所修正的視點合成畫像作為預測訊號來使用，依據前述解碼對象視點所對應的影像的編碼資料將前述解碼對象視點中被預測編碼的解碼對象訊框予以解碼。
依據本發明，即使在局部性地產生照相機間的亮度和顏色的不匹配之情形，亦無需另外將修正參數予以編碼/解碼，而能實現有效率的多視點畫像和多視點動態畫像的編碼/解碼。
在本發明的實施形態中，係使用所產生的視點合成畫像，求出處理中的區域所對應之已經編碼完成的訊框上的對應區域，將編碼完成訊框中的對應區域的影像訊號作為參考(reference)，進行視點合成畫像的亮度和顏色的修正。在本發明的實施形態中，並非進行使用於習知技術所利用的鄰接區域成像有相同的被攝體之假設，而是使用依存於被攝體之顏色和亮度的不匹配不會時間性地大幅變化之假設來求出修正參數。一般而言，由於在訊框內含有復數個被攝體，因此一定存在偏離習知技術的假設之區域。另一方面，由於只要沒有因為場景改變(scene change)等使場景急遽變化，則不匹配不會有時間性地變化，因此本發明的實施形態具有有效的功能。亦即，即使在習知技術的手法修正失敗的區域，亦可進行使不匹配減少之修正，而可實現有效率的多視點影像編碼。
以下，參照附圖說明本發明的實施形態。
此外，在以下的說明中，係於影像(訊框)附加可將以符號[]標示的位置予以特定之資訊(座標值、或者可與座標值賦予對應的指數(index))，藉此顯示有關對該位置的像素所取樣(sampling)的影像訊號。
A.第一實施形態
首先，說明本發明的第一實施形態。
第1圖係顯示本發明第一實施形態的多視點影像編碼裝置的構成之方塊圖。在第1圖中，多視點影像編碼裝置100係具備有：編碼對象訊框輸入部101、編碼對象畫像記憶體102、參照視點訊框輸入部103、參照視點畫像記憶體104、視點合成部105、視點合成畫像記憶體106、可靠度設定部107、視點合成畫像修正部108、預測殘差編碼部109、預測殘差解碼部110、解碼畫像記憶體111、預測殘差算出部112、以及解碼畫像算出部113。
編碼對象訊框輸入部101係輸入成為編碼對象之影像訊框(編碼對象訊框)。編碼對象畫像記憶體102係儲存所輸入的編碼對象訊框。參照視點訊框輸入部103係輸入與編碼對象訊框不同的視點(參照視點)所對應的參照影像訊框(參照視點訊框)。參照視點畫像記憶體104係儲存所輸入的參照視點訊框。視點合成部105係使用參照視點訊框來產生編碼對象訊框所對應的視點合成畫像。視點合成畫像記憶體106係儲存所產生的視點合成畫像。
可靠度設定部107係設定所產生的視點合成畫像的每個像素的可靠度。視點合成畫像修正部108係修正視點合成畫像的照相機間不匹配，並輸出修正視點合成畫像。預測殘差算出部112係產生編碼對象訊框與修正視點合成畫像之差(預測殘差訊號)。預測殘差編碼部109係將所產生的預測殘差訊號予以編碼，並輸出編碼資料。預測殘差解碼部110係將預測殘差訊號的編碼資料予以解碼。解碼畫像算出部113係將所解碼的預測殘差訊號與修正視點合成畫像予以相加，而產生編碼對象訊框的解碼畫像。解碼畫像記憶體111係儲存所產生的解碼畫像。
第2圖係顯示本發明第一實施形態的多視點影像編碼裝置100的視點合成畫像修正部108的構成之方塊圖。在第2圖中，本發明第一實施形態的視點合成畫像修正部108係具備有：參照區域設定部1081，係使用視點合成畫像，將與編碼對象區塊對應的參照訊框上的區塊作為參照區域予以探索；推定精確度設定部1082，係設定推定精確度，該推定精確度係用以顯示於參照區域的每個像素是否已經正確地設定對應區域；修正參數推定部1083，係推定用以修正視點合成畫像中的照相機間不匹配之參數；以及畫像修正部1084，係依據所求得的修正參數來修正視點合成畫像。
第3圖係用以說明本發明第一實施形態的多視點影像編碼裝置100的動作之流程圖。依據該流程圖，詳細說明多視點影像編碼裝置100所執行的處理。
首先，編碼對象訊框Org係被輸入至編碼對象訊框輸入部101，並儲存至編碼對象畫像記憶體102(步驟Sa1)。此外，與編碼對象訊框Org同時刻在參照視點所拍攝的參照視點訊框Refn 係被輸入至參照視點訊框輸入部103(n=1、2、…、N)，並儲存至參照視點畫像記憶體104(步驟Sa1)。此處所輸入的參照視點訊框係作為將已經編碼完成的畫像經過解碼者。此乃由於藉由使用與解碼裝置所獲得的資訊相同的資訊來抑制漂移等之編碼雜訊(noise)的產生之故。然而，在容許這些編碼雜訊產生之情形中，亦可輸入編碼前的原始(original)資訊。此外，n為用以表示參照視點之指數，N為此處可利用的參照視點的數量。
接著，在視點合成部105中，依據參照視點訊框的資訊，將與編碼對象訊框同時刻在相同視點所拍攝的畫像予以合成，並將所產生的視點合成畫像Syn儲存至視點合成畫像記憶體106(步驟Sa2)。該視點合成畫像Syn的產生方法係可使用任何的方法。例如，除了參照視點訊框的影像資訊以外，只要為提供參照視點訊框所對應的縱深資訊，亦可使用前述非專利文獻2和非專利文獻5(Y.Mori,N.Fukushima,T.Fujii,and M.Tanimoto,“View Generation with 3D Warping Using Depth Information for FTV,”Proceedings of 3DTV-CON2008,pp.229-232,May 2008.)等所記載的方法。
此外，在能獲得編碼對象訊框所對應的縱深資訊的情形中，亦可使用非專利文獻6(S.Yea and A.Vetro,“View Synthesis Prediction for Rate-Overhead Reduction in FTV,”Proceedings of 3DTV-CON2008,pp.145-148,May 2008.)等所記載的方法。而在完全無法獲得縱深資訊的情形中，係能使用非專利文獻7(J.Sun,N.Zheng,and H.Shum,“Stereo Matching Using Belief Propagation,”IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.25,No.7,pp.787-800,July 2003.)等所記載的立體(stereo)法或被稱為縱深推定法之方法，於製作參照視點訊框或者編碼對象訊框所對應的縱深資訊之後，應用前述的方法來產生視點合成畫像(非專利文獻8：S.Shimizu,Y.Tonomura,H.Kimata,and Y.Ohtani,“Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding,”Proceedings of ICDSC2009,August 2009.)。亦有不產生縱深資訊而是從參照視點訊框直接產生視點合成畫像之方法(參照上述的非專利文獻3)。
此外，使用這些方法基本上係需要用以表示照相機的位置關係和照相機所為之投影製程之照相機參數。這些照相機參數亦可從參照視點訊框來推定。此外，在解碼側不進行縱深資訊和照相機參數等推定之情形中，需要另外將在編碼裝置內所使用的這些資訊予以編碼並傳送。
接著，在可靠度設定部107中，係對於視點合成畫像的各像素產生可靠度ρ，該可靠度ρ係表示能以多少的正確性實現該像素所對應的合成(步驟Sa3)。在本發明第一實施形態中，可靠度ρ雖為0至1的實數，但只要為定義成值愈大則可靠度愈高者，則亦可以任何方式來表現可靠度。例如，亦可以1以上的8位元整數來表現可靠度。
如上所述，可靠度ρ只要為能顯示以何種程度正確地進行合成者即可為任何的構成。例如，以最簡當的方式而言，有使用視點合成畫像的各像素所對應的參照視點訊框上的像素的像素值的分散值之方法。由於在對應像素間當像素值愈接近時愈視同為相同的被攝體而表示能正確地進行視點合成，因此當分散愈小時表示可靠度愈高。亦即，可靠度係使用分散的倒數來表現。當以Refn [pn ]表示於用以合成視點合成畫像Syn [p]所使用的各參照視點訊框的像素時，可使用下述的數學式(1)或數學式(2)來表示可靠度。
【數1】
【數2】
由於分散的最小值為0，因此需要使用函數max來定義可靠度。此外，max係返回所供給的集合所對應的最大值之函數。此外，其它的的函數係以下述的數學式(3)來表現。
【數3】
除了分散以外，亦有以下述數學式(4)來表示之使用所對應的參照視點訊框的像素的最大值與最小值之差diff(p)之方法。此外，亦可非為分散的倒數，而是如下述數學式(4)’來定義使用有指數函數的可靠度。此外，函數f亦可為上述的var1、var2、diff的任一個。在此種情形中，即使於函數f的值域包含0，亦可定義可靠度。
【數4】
這些方法較為單純，但由於未考量到遮蔽(occlusion)的產生，因此未必能恆常地獲得最適當的可靠度。因此亦可為：考量到遮蔽的產生，藉由對應像素的像素值將參照視點訊框予以群聚(clustering)，針對屬於最大的群組(cluster)之參照視點訊框的對應像素的像素值，將分散值、最大值與最小值之差進行計算並使用。
此外，以其他的方法而言，亦可為：視點間的對應點中的誤差係依據正規分布或拉普拉斯(Laplace)分布予以假設，將分布的平均值或分散值作為參數，使用以上述數學式(4)的diff等所求得的各像素的誤差量所對應的機率的值來定義可靠度。此時，分布的模式、其平均值、分散值係可使用預定的模式或值，亦可將所使用的模式的資訊予以編碼並傳送。一般而言，只要被攝體予以完全擴散反射，理論上即能認為分布的平均值為0，因此亦可將模式簡略化。
此外，亦可使用下述方法：假設在產生視點合成畫像時的對應點所獲得的縱深附近對應像素的像素值的誤差量為最小時，從使縱深微小變化時的誤差量的變化來推定誤差分布模式，使用根據該誤差分布模式本身、或者該誤差分布模式與視點合成畫像產生時的參照視點訊框上的對應像素的像素值之值來定義可靠度。
以僅使用誤差分布模式的定義而言，有下述方法：誤差的發生機率依存於該誤差分布時，將誤差局限於一定範圍內的機率作為可靠度。以使用誤差分布模式與視點合成畫像產生時的參照視點訊框上的對應像素的像素值之定義而言，有下述方法：在誤差的產生機率依存於所推定的誤差分布之情形，將產生以視點合成畫像產生時的參照視點訊框上的對應像素的像素值所表示的狀況之機率作為可靠度。
以其他方法而言，亦可為下述方法：在推定進行視點合成時所需之視差(縱深)時，將使用稱為Belief Propagation(信念傳遞)之方法(上述非專利文獻7)時所獲得之視差(縱深)所對應的機率的值作為可靠度。除了Belief Propagation以外，只要為針對視點合成畫像的各像素內部性地計算解答的正確性之縱深推定演算法(algorithm)，即可將該資訊作為可靠度來使用。
在視點合成畫像產生時進行對應點探索、立體法、縱深推定之情形，存在有用以求出對應點的資訊或縱深資訊之處理的一部分成為可靠度計算的一部分之情況。在此種情形中，藉由同時進行視點合成畫像產生與可靠度計算可減少運算量。
當可靠度的計算結束後，將編碼對象訊框分割成區塊，於該區塊的每個區域，藉由視點合成畫像修正部108一邊修正視點合成畫像的照相機間不匹配，一邊將編碼對象訊框的影像訊號予以編碼(步驟Sa4至Sa12)。亦即，當以blk表示編碼對象區塊指數(block index)、以numBlks表示總編碼對象區塊數時，以0將blk予以初始化(步驟Sa4)後，對blk加算1(步驟Sa11)，直至blk成為numBlks為止(步驟Sa12)重複以下的處理(步驟Sa5至Sa10)。
此外，只要為可對每個編碼對象區塊進行視點合成畫像的產生和可靠度的計算，這些處理亦可在每個編碼對象區塊作為重複處理的一部分來進行。例如，相當於提供編碼對象區塊所對應的縱深資訊之情形。
在每個編碼對象區塊重複處理時，首先在參照區域設定部1081使用視點合成畫像，尋找出與區塊blk對應之屬於參照訊框上的區塊的參照區域(步驟Sa5)。在此，所謂參照訊框係指將已經完成編碼處理的資料予以解碼所獲得的局部譯碼(local decode)畫像。該局部譯碼畫像的資料係儲存至解碼畫像記憶體111之資料。
此外，使用局部譯碼畫像乃是由於使用與可在解碼側以相同時序(timing)所取得的資料相同的資料，藉此防止稱為漂移之編碼失真的產生之故。若可容許此種編碼失真的產生，則亦可不使用局部譯碼畫像，而是使用比編碼對象訊框先經過編碼的輸入訊框。
求出參照區域之處理乃是下述處理：將視點合成畫像Syn[blk]作為樣板(template)，以儲存至解碼畫像記憶體111之局部譯碼畫像上求出用以將適合度予以最大化或將偏差度予以最小化之對應區塊。在本發明第一實施形態中，使用用以表示偏差度之匹配成本。以用以表示偏差度之匹配成本的具體例而言，有下述數學式(5)和數學式(6)。
【數5】
【數6】
在此，vec係對應區塊間的向量，t係用以顯示儲存至解碼畫像記憶體111的局部譯碼畫像Dec的一個之指數值。除了這些之外，亦有下述方法：使用DCT(Discrete Cosine Transform；離散餘弦轉換)或哈達碼變換(Hadamard transform)等將視點合成畫像與局部譯碼畫像之間的差分值經過轉換後的值。當以行列A表示該轉換時，能以下述數學式(7)和數學式(8)來表示。此外，∥X∥係表示X的標準(norm)。
【數7】
Cost (vec ,t )=∥ρ [blk ]‧A ‧(Syn [blk ]-Dec t [blk +vec ])∥…………(7)
【數8】
Cost (vec ,t )=∥ρ [blk ]‧A ‧(|Syn [blk ]-Dec t [blk +vec ]|)∥…………(8)
亦即，求出用以將這些匹配成本予以最小化之區塊的處理係成為用以求出以下述數學式(9)所表示(best_vec,best_t)的組。在此，argmin係表示用以求出將所提供的函數予以最小化之參數的處理。予以導出之參數的集合係在argmin的下部所提供之集合。
【數9】
決定予以探索之訊框數、探索範圍、探索順序、以及切離之方法亦可使用任何的方法。然而，為了正確地進行解碼，需要使用與在解碼側所使用者相同者。此外，探索範圍和切離方法係對運算成本造成很大的影響。以用以在更少的探索範圍求出高的匹配精確度之其中一種方法而言，有適當地設定探索中心之方法。以一例而言，有下述方法：將在參照視點訊框上的對應區域所使用的動作向量所表示的對應點作為探索中心。
此外，以減少解碼側的探索所需的運算成本之其他方法而言，有下述方法：限定用以進行探索之對象的訊框。亦可預先決定探索對象的訊框決定法。例如，將最接近剛編碼完成的訊框作為探索對象之方法則相當於預先決定探索對象的訊框決定法。此外，以用以限定探索對象訊框之其他方法而言，亦有下述方法：將用以表示將哪個訊框作為對象之資訊予以編碼並通知至解碼側。在此情形中，需要具備下述機構：在解碼側將用以表示探索對象訊框之指數值等資訊予以解碼，並依據所解碼的資訊來決定探索對象訊框。
在本發明第一實施形態中，只求出一個與編碼對象區塊blk對應的區塊。然而，需要的資料係使用經時性而不同的訊框的影像訊號所表現的編碼對象區塊的影像訊號的預測值。因此，亦可為：針對編碼對象區塊blk內的各像素求出對應像素，將這些對應像素排列成區塊狀而作成的影像訊號作為參照區域。此外，亦可為：將與編碼對象區塊blk對應的區塊設定為複數個，並將該複數個區塊中的影像訊號的平均值所表示的影像訊號作為參照區域。如此，在探索對象訊框有雜訊重疊之情形和探索精確度較低之情形，可減少這些影響，並更穩健地(robust)設定參照區域。
決定參照區域Ref[blk](=Dect [blk+vec])之後，藉由推定精確度設定部1082，對參照區域Ref[blk]的每個像素設定用以表示參照區域是以多少正確性所獲得之推定精確度Ψ(步驟Sa6)。雖然推定精確度可使用任何值，但亦可使用依存於視點合成畫像及參照訊框中的對應像素間的誤差量之值。例如，有下述值等：以數學式(10)或數學式(11)所表示的平方誤差、絕對值誤差的倒數、以數學式(12)或數學式(13)所表示的平方誤差、以及對絕對值誤差乘上負號(minus)之值等。此外，以其他例子而言，亦可為：以誤差依照拉普拉斯分布等之假想，將與所獲得的對應像素間的畫像訊號的差分所對應的機率作為推定精確度來使用。拉普拉斯分布等之參數係可另外提供，亦可從參照區域推定時所計算的誤差分布予以推定。數學式(14)係使用將平均設為0之拉普拉斯分布的情形之例子，Φ成為參數。
【數10】
Ψ [blk ]=1/((Syn [blk ]-Ref[blk ])2 +1)　…………(10)
【數11】
Ψ [blk ]=1/(|Syn [blk ]-Ref[blk ]|+1)　…………(11)
【數12】
Ψ [blk ]=-(Syn [blk ]-Ref[blk ])2 　…………(12)
【數13】
Ψ [blk ]=-|Syn [blk ]-Ref[blk ]|　…………(13)
【數14】
當推定精確度的設定結束後，在修正參數推定部1083中，推定用以修正視點合成畫像Syn[blk]之修正參數(步驟Sa7)。修正方法和修正參數推定係可使用任何方法，但需要使用與解碼側所使用者相同的方法。
以修正方法的例子而言，係有偏位(offset)值所為之修正、一次函數所為之修正、以及伽瑪(gamma)修正等。當分別將修正前的值設為in、將修正後的值設為out時，可以下述數學式(15)、(16)、(17)來表示。
【數15】
out =in +offset 　…………(15)
【數16】
out =α ‧in +β 　…………(16)
【數17】
在這些例子中，offset、(α、β)、(γ、a、b)皆為修正參數。假設成像於編碼對象區塊blk之被攝體的畫像訊號不會經時性地變化時，修正前的值係視點合成畫像的畫像訊號，理想的修正後的值係成為參照區域的畫像訊號。亦即，以此兩個畫像訊號的偏差度所表示的匹配成本變小之方式，求出修正參數，藉此能進行精確度高的修正。此外，以兩個畫像訊號的適合度表示匹配成本之情形，係以將匹配成本予以最大化之方式求出參數。
亦即，當將表示修正處理之函數設為F、將表示兩個畫像訊號的偏差度之匹配成本函數設為C時，用以求出修正參數之處理係能以下述數學式(18)來表示。
【數18】
在此，parF 係表示修正方法的修正參數的集合，argmin係表示求出用以將所提供的函數予以最小化的參數之處理。進行導出之參數的集合係在argmin的下部所提供之集合。
匹配成本係可使用任何方式，但亦能使用例如兩個訊號的差的平方。此外，在匹配成本中亦可使用視點合成畫像的可靠度和參照區域的推定精確度雙方，對每個像素進行賦予權重。下述的數學式(19)、(20)、(21)、(22)係分別表示將兩個訊號的差的平方作為偏差度時，完全未賦予權重之情形、以視點合成畫像的可靠度進行賦予權重之情形、以參照區域的推定精確度進行賦予權重之情形、以及以視點合成畫像的可靠度與參照區域的推定精確度雙方進行賦予權重之情形的匹配成本函數的例子。
【數19】
C (Ref[p],F(Syn[p]) )=(Ref[p] -F(Syn[p]) )2 ………(19)
【數20】
C (Ref[p] ,F(Syn[p]) )=ρ[p] ‧(Ref[p] -F(Syn[p]) )2 ………(20)
【數21】
C (Ref[p],F(Syn[p]) )=Ψ[p] ‧(Ref[p] -F(Syn[p]) )2 ………(21)
【數22】
C (Ref[p],F(Syn[p]) )=ρ[p] ‧Ψ[p] ‧(Ref[p] -F(Syn[p]) )2 ………(22)
例如，在偏位值所為的修正中，使用數學式(22)作為匹配成本函數之情形中，係可使用下述的數學式(23)求出offset。
【數23】
進行一次函數所為之修正的情形，係可使用最小平方法導出用以將平方誤差予以最小化之參數。
此外，這些修正參數係可依每個亮度或每個色差訊號求得，亦可於RGB等每個顏色通道(color channel)求得。此外，亦可將各通道(channel)予以細分化，並對每個一定的範圍進行不同的修正(例如在R通道的0至127與128至255，進行使用了不同的修正參數之修正)。
當修正參數的推定結束後，在畫像修正部1084中，依據修正參數將區塊blk所對應的視點合成畫像予以修正，以產生修正視點合成畫像Pred(步驟Sa8)。此處之處理只要對代入有修正參數的修正模式輸入視點合成畫像即可。例如，在進行使用有偏位值的修正之情形中，係依據下述的數學式(24)產生修正視點合成畫像Pred。
【數24】
Pred [blk ]=Syn [blk ]+offset 　…………(24)
當區塊blk的視點合成畫像的修正完成後，將修正視點合成畫像Pred作為預測畫像來使用，並將編碼對象訊框Org[blk]予以預測編碼(步驟Sa9)。亦即，將編碼對象訊框Org[blk]與修正視點合成畫像Pred的差分作為預測殘差在預測殘差算出部112予以產生，並以預測殘差編碼部109將該預測殘差予以編碼。雖然可以使用任何的編碼方法，但在H.264等一般的編碼方法中，係對預測殘差施予DCT/量子化/2值化/平均訊息量(entropy)解碼，藉此進行編碼。
編碼結果的位元串流(bit stream)係成為多視點影像編碼裝置100的輸出，並於每個區塊被預測殘差解碼部110予以解碼，且以解碼畫像算出部113將解碼結果與修正視點合成畫像Pred予以相加，而構築局部譯碼畫像Deccur [blk]。由於所構築的局部譯碼畫像係使用於後續的預測，因此儲存至解碼畫像記憶體111(步驟Sa10)。
B.第二實施形態
接著，說明本發明的第二實施形態。
第4圖係顯示本發明第二實施形態的多視點影像解碼裝置的構成之方塊圖。在第4圖中，多視點影像解碼裝置200係具備有：編碼資料輸入部201、編碼資料記憶體202、參照視點訊框輸入部203、參照視點畫像記憶體204、視點合成部205、視點合成畫像記憶體206、可靠度設定部207、視點合成畫像修正部208、預測殘差解碼部210、解碼畫像記憶體211、以及解碼畫像算出部212。
編碼資料輸入部201係輸入成為解碼對象之影像訊框(解碼對象訊框)所對應的編碼資料。編碼資料記憶體202係儲存所輸入的編碼資料。參照視點訊框輸入部203係輸入與解碼對象訊框不同的視點所對應之屬於影像訊框的參照視點訊框。參照視點畫像記憶體204係儲存所輸入的參照視點訊框。視點合成部205係使用參照視點訊框來產生解碼對象訊框所對應的視點合成畫像。視點合成畫像記憶體206係儲存所產生的視點合成畫像。
可靠度設定部207係設定所產生的視點合成畫像的每個像素的可靠度。視點合成畫像修正部208係修正視點合成畫像的照相機間不匹配，並輸出修正視點合成畫像。預測殘差解碼部210係從編碼資料將解碼對象訊框與修正視點合成畫像之差作為預測殘差訊號予以解碼。解碼畫像記憶體211係將以解碼畫像算出部212將經過解碼的預測殘差訊號與修正視點合成畫像予以相加所獲得的解碼對象訊框的解碼畫像予以儲存。
此外，在上述多視點影像解碼裝置200的構成中，參照視點訊框輸入部203、參照視點畫像記憶體204、視點合成部205、視點合成畫像記憶體206、可靠度設定部207、視點合成畫像修正部208、預測誤差解碼部210、以及解碼畫像記憶體211係相當於第一實施形態的多視點影像編碼裝置100中的參照視點訊框輸入部103、參照視點畫像記憶體104、視點合成部105、視點合成畫像記憶體106、可靠度設定部107、視點合成畫像修正部108、預測誤差解碼部110、以及解碼畫像記憶體111。
此外，視點合成畫像修正部208的構成係與上述第一實施形態的多視點影像編碼裝置100的視點合成畫像修正部108(第2圖)相同。然而，在以下的說明中，如第5圖所示，係作為參照區域設定部2081、推定精確度設定部2082、修正參數推定部2083、以及畫像修正部2084予以說明。
第6圖係用以說明本發明第二實施形態的多視點影像解碼裝置200的動作之流程圖。依據該流程圖詳細說明多視點影像解碼裝置200所執行的處理。
首先，編碼資料輸入部201係輸入有解碼對象訊框所對應的編碼資料，並儲存至編碼資料記憶體202(步驟Sb1)。此外，參照視點訊框輸入部203係輸入有與解碼對象訊框同時刻在參照視點所拍攝的參照視點訊框Refn (n=1、2、…、N)，並儲存至參照視點畫像記憶體204(步驟Sb1)。
此處所輸入的參照視點訊框係作為另外被解碼的畫像。為了防止稱為漂移之編碼雜訊的產生，需要輸入與在編碼裝置所使用者相同者。然而，在容許這些編碼雜訊產生之情形中，亦可輸入與編碼裝置所使用者不同者。此外，n係表示參照視點之指數，N係此處可利用的參照視點的數量。
接著，在視點合成部205中，依據參照視點訊框的資訊將與解碼對象訊框同時刻在相同視點所拍攝的畫像予以合成，並將所產生的視點合成畫像Syn儲存至視點合成畫像記憶體206(步驟Sb2)。接著，在可靠度設定部207中，對於視點合成畫像的各像素產生可靠度ρ，該可靠度ρ係表示能以多少的正確性實現該像素所對應的合成(步驟Sb3)。這些處理係分別相當於第一實施形態的步驟Sa2以及步驟Sa3。
當可靠度的計算結束後，於預定的每個區塊，一邊以視點合成畫像修正部208將視點合成畫像的照相機間不匹配予以修正，一邊將解碼對象訊框的影像訊號予以解碼(步驟Sb4至Sb12)。亦即，當將解碼對象區塊指標以blk表示、將總解碼對象區塊數量以numBlks表示時，以0將blk予以初始化(步驟Sb4)後，一邊對blk加算1，一邊重複以下的處理(步驟Sb5至Sb10)，直至blk成為numBlks為止(步驟Sb12)。
此外，只要可於每個解碼對象區塊進行視點合成畫像的產生和可靠度的計算，這些處理亦可作為在每個解碼對象區塊重複處理的一部分來進行。例如，相當於提供解碼對象區塊所對應的縱深資訊。此外，後述的步驟Sb9亦可不於每個區塊進行，而是事前對全部的區塊進行，並將該結果予以儲存並利用。然而，在此情形中，需要用以儲存解碼預測殘差訊號的記憶體。
在每個解碼對象區塊所重複的處理中，首先，在參照區域設定部2081(≒參照區域設定部1081)中使用視點合成畫像找出與區塊blk對應之屬於參照訊框上的區塊處的參照區域Ref[blk](步驟Sb5)。此外，所謂參照訊框係指已經完成解碼處理並儲存於解碼畫像記憶體211的資料。
該處理係與第一實施形態的步驟Sa5相同。探索用的匹配成本/探索對象訊框的決定法/參照區域所對應的影像訊號的產生法等係可藉由使用與編碼裝置所使用的方法相同之方法來防止雜訊的產生。
當決定參照區域Ref[blk](=Dect [blk+vec])後，藉由推定精確設定部2082(≒推定精確設定部1082)，對參照區域Ref[blk]的每個像素設定用以表示參照區域是以多少正確性所獲得之推定精確度Ψ(步驟Sb6)。之後，在修正參數推定部2083(≒修正參數推定部1083)中，推定用以修正視點合成畫像Syn[blk]之修正參數(步驟Sb7)。接著，藉由畫像修正部2084(≒畫像修正部1084)，依據修正參數修正區塊blk所對應的視點合成畫像，而產生修正視點合成畫像Pred(步驟Sb8)。這些處理係分別相當於第一實施形態的步驟Sa6、Sa7、Sa8。
當完成區塊blk的視點合成畫像的修正後，藉由預測誤差解碼部210，從編碼資料將區塊blk所對應的預測殘差訊號予以解碼(步驟Sb9)。此處的解碼處理係成為與編碼手法所對應的處理。例如，在以H.264等一般的編碼手法進行編碼的情形中，藉由施予IDCT(Inverse Discrete Cosine Transform：逆離散餘弦轉換)/逆量子化/多值化/平均訊息量解碼等進行解碼。
最後，藉由解碼畫像算出部212將所獲得的解碼預測殘差訊號DecRes與修正視點合成畫像Pred相加而構築解碼對象訊框Deccur [blk]。為了於今後的預測使用，所構築的解碼對象訊框係儲存於解碼畫像記憶體211，並成為多視點影像解碼裝置200的輸出(步驟Sb10)。
依據上述第一及第二實施形態，使用所產生的視點合成畫像，求出處理中的區域所對應之已經編碼完成的訊框上的對應區域，並將編碼完成的訊框中的對應區域的影像訊號作為參考，進行視點合成畫像的亮度和顏色的修正。如此，可進行使不匹配減少之修正，而能實現有效率的多視點影像編碼。此外，對視點合成畫像的每個像素設定用以表示合成處理的正確性之可靠度，並依據該可靠度對每個像素將匹配成本賦予權重。如此，不會有因為視點合成時的誤差導致偏離的狀況，而可重視精確度佳地合成的像素，並設定適當的對應區域。
此外，在上述第一實施形態的步驟Sa5與第二實施形態的步驟Sb5中，使用參照訊框Dec求出與處理對象訊框(編碼對象訊框或解碼對象訊框)的視點合成畫像Syb[blk]所對應的參照訊框上的對應區塊。然而，在能獲得參照訊框的視點合成畫像RefSyn的情形中，亦可使用視點合成畫像RefSyn求出對應區塊以取代參照訊框Dec。亦即，在數學式(5)至(8)中，亦可使用將Dec置換成RefSyn的匹配成本，求出數學式(9)所表示的(best_vec,best_t)組，藉此求出參照訊框上的對應區塊。然而，在此情形中，參照區域Ref亦使用參照訊框Dec而產生。在能高精確度地進行視點合成處理之情形中，由於視點合成畫像RefSyn與參照訊框Dec可視為相等，因此即使使用視點合成畫像RefSyn來探索對應區塊，亦同樣可獲得本發明的實施形態的效果。
在使用視點合成畫像RefSyn的情形中，需要輸入與參照訊框同時刻拍攝的參照視點訊框，產生參照訊框的視點合成畫像並予以儲存。然而，在上述實施形態的編碼及解碼處理連續地應用於複數個訊框的情形中，在解碼畫像記憶體所儲存的處理完成訊框之間，藉由將視點合成畫像持續儲存於視點合成畫像記憶體，可避免於每個處理對象訊框重複地合成參照訊框的視點合成畫像。
此外，在使用視點合成畫像RefSyn的情形中，由於不需要在對應區域探索(第一實施形態的步驟Sa5與第二實施形態的步驟Sb5)中儲存於解碼畫像記憶體的處理完成訊框，因此對應區域探索的處理變成不需要同步地進行編碼處理與解碼處理。結果，可並列運算等，而可獲得能減少整體的運算時間之效果。
在上述第一及第二實施形態中，直接使用視點合成畫像和參照訊框。然而，受到於視點合成畫像和參照訊框所產生的軟片微粒(film grain)和編碼失真等雜訊的影響，使對應區域探索的精確度降低。由於這些雜訊為特定的頻率成分(特別是高頻成分)，因此對於對應區域探索所使用的訊框(畫像)附加帶通濾波器(Band Pass Filter)後進行探索，可減少雜訊的影響。
此外，在受到雜訊等影響而使對應區域探索的精確度降低之情形中，用以表示對應區域之向量的空間相關係降低。然而，在通常的影像中，由於在臨接區域成像相同的被攝體，因此區域間的向量被認為大致相等，且用以表示對應區域之向量的空間相關非常高。因此，亦可對在每個區塊所推定的動作向量施予平均值濾波或中央值濾波，並提高空間相關，藉此提升對應區域探索的精確度。
在上述第一及第二實施形態中，雖已說明處理對象區塊與對應區域探索的區塊為相同大小的情形，但該等區塊亦可無需為相同大小。由於影像的時間變化為非線性，因此在更小的每個區塊尋找對應區域能更正確地預測影像訊號的變化。然而，在使用小的區塊的情形中，不僅會增加運算量，包含於影像訊號的雜值的影響亦會變大。為了解決該問題，係構成為下述處理：於探索小的區域所對應的對應區域時，小的區域的周圍的數像素亦使用於探索，而可容易地推測減少雜訊影響的範圍。
此外，在上述第一及第二實施形態中，雖說明將一個照相機的一訊框予以編碼或解碼之處理，但亦可於每個訊框重覆該處理，藉此實現多視點動態畫像的編碼或解碼。此外，亦可於每個照相機重覆處理，藉此實現複數個照相機的多視點動態畫像的編碼或解碼。
如上所述，在本發明的實施形態中，使用依存於被攝體的顏色和亮度的不匹配不會經時性地大幅變化之假設來求出修正參數。因此，在場景改變等場景急遽變化的情形中，不匹配會經時性地變化。在此種情形，在本發明的實施形態中，有不能推定適當的修正參數，且因為修正而有使視點合成畫像與處理對象訊框的差增大之可能性。因此，亦可構成為：判斷有無場景改變等之急遽變化，而於判斷結果為沒有此種急遽的影像變化之情形中，修正視點合成畫像。此外，以判斷此種急遽的影像變化之方法而言，亦可使用下述方法：確認作為對應區域探索的結果所獲得的對應區域的偏差度的值，當偏差度為一定值以上時，則判斷成產生急遽的影像變化。
上述所說明的處理係可藉由電腦與軟體程式來實現。此外，亦可將該程式儲存於電腦可讀取的記憶媒體並予以提供，或亦可經由網路提供。
此外，在以上的實施形態中，以多視點影像編碼裝置及多視點影像解碼裝置為中心進行說明。然而，亦可藉由與這些多視點影像編碼裝置與多視點影像解碼裝置的各部位的動作對應的步驟來實現本發明的多視點影像編碼方法及多視點影像解碼方法。
以上雖已參照附圖說明本發明的實施形態，但上述實施形態僅為本發明的例示，本發明當然未限定於上述的實施形態。因此，亦可在未逸離本發明的精神與主旨的範圍內進行構成要素的追加、省略、置換、以及其他的變更。
(產業上的可利用性)
本發明係利用於例如多視點畫像或多視點動態畫像的編碼及解碼。依據本發明，即使局部性地產生照相機間的亮度和顏色的不匹配，亦無需另外將修正參數予以編碼/解碼，而能實現有效率的多視點畫像和多視點動態畫像的編碼/解碼。
100．．．多視點影像編碼裝置
101．．．編碼對象訊框輸入部
102．．．編碼對象畫像記憶體
103、203．．．參照視點訊框輸入部
104、204．．．參照視點畫像記憶體
105、205．．．視點合成部
106、206．．．視點合成畫像記憶體
107、207．．．可靠度設定部
108、208．．．視點合成畫像修正部
109．．．預測殘差編碼部
110、210．．．預測殘差解碼部
111、211．．．解碼畫像記憶體
112．．．預測殘差算出部
113、212．．．解碼畫像算出部
1081、2081．．．參照區域設定部
1082、2082．．．推定精確度設定部
1083、2083．．．修正參數推定部
1084、2084．．．畫像修正部
200．．．多視點影像解碼裝置
201．．．編碼資料輸入部
202．．．編碼資料記憶體
第1圖係顯示本發明第一實施形態的多視點影像編碼裝置的構成之方塊圖。
第2圖係顯示本發明第一實施形態的多視點影像編碼裝置100的視點合成畫像修正部108的構成之方塊圖。
第3圖係用以說明本發明第一實施形態的多視點影像編碼裝置100的動作之流程圖。
第4圖係顯示本發明第二實施形態的多視點影像解碼裝置的構成之方塊圖。
第5圖係顯示本發明第二實施形態的多視點影像解碼裝置200的視點合成畫像修正部208的構成之方塊圖。
第6圖係用以說明本發明第二實施形態的多視點影像解碼裝置200的動作之流程圖。
第7圖係顯示習知技術之在照相機間所產生的視差之概念圖。
100．．．多視點影像編碼裝置
101．．．編碼對象訊框輸入部
102．．．編碼對象畫像記憶體
103．．．參照視點訊框輸入部
104．．．參照視點畫像記憶體
105．．．視點合成部
106．．．視點合成畫像記憶體
107．．．可靠度設定部
108．．．視點合成畫像修正部
109．．．預測殘差編碼部
110．．．預測殘差解碼部
111．．．解碼畫像記憶體
112．．．預測殘差算出部
113．．．解碼畫像算出部

Claims (15)

  1. 一種多視點影像編碼方法，用以將多視點影像予以編碼，該多視點影像編碼方法係包含有下述步驟：視點合成畫像產生步驟，係依據與前述多視點影像的編碼對象視點中的編碼對象訊框同時刻拍攝之與前述編碼對象視點不同的參照視點中的已經編碼完成的參照視點訊框，將與前述編碼對象視點的前述編碼對象訊框對應之視點合成畫像予以合成；參照區域推定步驟，係於每個依預先決定大小所分割的處理單位區域，探索與前述視點合成畫像對應之前述編碼對象視點中已經編碼完成的參照訊框上的參照區域；修正參數推定步驟，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正步驟，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像編碼步驟，係使用前述所修正的視點合成畫像，將前述編碼對象視點的影像予以預測編碼。
  2. 如申請專利範圍第1項所述之多視點影像編碼方法，其中，復包含有可靠度設定步驟，係針對前述視點合成畫像的各像素設定用以表示前述視點合成畫像的正確性 之可靠度；前述參照區域推定步驟係依據前述可靠度，對與前述視點合成畫像對應之用以探索前述參照訊框上的前述參照區域時的各像素的匹配成本賦予權重。
  3. 如申請專利範圍第2項所述之多視點影像編碼方法，其中，前述修正參數推定步驟係依據前述可靠度，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
  4. 如申請專利範圍第2項所述之多視點影像編碼方法，其中，復包含有推定精確度設定步驟，係針對前述視點合成畫像的各像素設定用以表示是否能正確地推定前述參照區域之推定精確度；前述修正參數推定步驟係依據前述推定精確度以及前述可靠度的任一方或雙方，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
  5. 一種多視點影像解碼方法，用以將多視點影像予以解碼，該多視點影像解碼方法係包含有下述步驟：視點合成畫像產生步驟，係依據與前述多視點影像的解碼對象視點中的解碼對象訊框同時刻拍攝之與前述解碼對象視點不同的參照視點中的參照視點訊框，將與前述解碼對象視點的前述解碼對象訊框對應之視點合成畫像予以合成；參照區域推定步驟，係於每個依預先決定大小所分割的處理單位區域，探索與前述視點合成畫像對應之前述解碼對象視點中已經解碼完成的參照訊框上的參照 區域；修正參數推定步驟，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正步驟，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像解碼步驟，係將前述所修正的視點合成畫像作為預測訊號來使用，依據前述解碼對象視點所對應的影像的編碼資料將前述解碼對象視點中被預測編碼的解碼對象訊框予以解碼。
  6. 如申請專利範圍第5項所述之多視點影像解碼方法，其中，復包含有可靠度設定步驟，係針對前述視點合成畫像的各像素設定用以表示前述視點合成畫像的正確性之可靠度；前述參照區域推定步驟係依據前述可靠度，對與前述視點合成畫像對應之用以探索前述參照訊框上的前述參照區域時的各像素的匹配成本賦予權重。
  7. 如申請專利範圍第6項所述之多視點影像解碼方法，其中，前述修正參數推定步驟係依據前述可靠度，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
  8. 如申請專利範圍第6項所述之多視點影像解碼方法，其中，復包含有推定精確度設定步驟，係針對前述視點合 成畫像的各像素設定用以表示是否能正確地推定前述參照區域之推定精確度；前述修正參數推定步驟係依據前述推定精確度以及前述可靠度的任一方或雙方，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
  9. 一種多視點影像編碼裝置，用以將多視點影像予以編碼，該多視點影像編碼裝置係包含有下述手段：視點合成畫像產生手段，係依據與前述多視點影像的編碼對象視點中的編碼對象訊框同時刻拍攝之與前述編碼對象視點不同的參照視點中的已經編碼完成的參照視點訊框，將與前述編碼對象視點的前述編碼對象訊框對應之視點合成畫像予以合成；參照區域推定手段，係於每個依預先決定大小所分割的處理單位區域，探索與藉由前述視點合成畫像產生手段所合成的前述視點合成畫像對應之前述編碼對象視點中已經編碼完成的參照訊框上的參照區域；修正參數推定手段，係依據前述處理單位區域所對應的前述視點合成畫像以及藉由前述參照區域推定手段所探索的前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正手段，係使用藉由前述修正參數推定手段所推定的前述修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像編碼手段，係使用藉由前述視點合成畫像修正 手段所修正的視點合成畫像，將前述編碼對象視點的影像予以預測編碼。
  10. 如申請專利範圍第9項所述之多視點影像編碼裝置，其中，復包含有可靠度設定手段，係針對藉由前述視點合成畫像產生手段所合成的前述視點合成畫像的各像素設定用以表示前述視點合成畫像的正確性之可靠度；前述參照區域推定手段係依據藉由前述可靠度設定手段所設定的前述可靠度，對與前述視點合成畫像對應之用以探索前述參照訊框上的前述參照區域時的各像素的匹配成本賦予權重。
  11. 如申請專利範圍第10項所述之多視點影像編碼裝置，其中，前述修正參數推定手段係依據藉由前述可靠度設定手段所設定的前述可靠度，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
  12. 如申請專利範圍第10項所述之多視點影像編碼裝置，其中，復包含有推定精確度設定手段，係針對藉由前述視點合成畫像產生手段所合成的前述視點合成畫像的各像素設定用以表示是否能正確地推定前述參照區域之推定精確度；前述修正參數推定手段係依據藉由前述推定精確度設定手段所設定的前述推定精確度以及藉由前述可靠度設定手段所設定的前述可靠度的任一方或雙方，對用以推定前述修正參數時的各像素的匹配成本賦予權重。
  13. 一種多視點影像解碼裝置，用以將多視點影像予以解碼，該多視點影像解碼裝置係包含有下述手段：視點合成畫像產生手段，係依據與前述多視點影像的解碼對象視點中的解碼對象訊框同時刻拍攝之與前述解碼對象視點不同的參照視點中的參照視點訊框，將與前述解碼對象視點的前述解碼對象訊框對應之視點合成畫像予以合成；參照區域推定手段，係於每個依預先決定大小所分割的處理單位區域，探索與藉由前述視點合成畫像產生手段所合成的前述視點合成畫像對應之前述解碼對象視點中已經解碼完成的參照訊框上的參照區域；修正參數推定手段，係依據前述處理單位區域所對應的前述視點合成畫像以及藉由前述參照區域推定手段所探索的前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正手段，係使用藉由前述修正參數推定手段所推定的前述修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像解碼手段，係將藉由前述視點合成畫像修正手段所修正的視點合成畫像作為預測訊號予以使用，並依據前述解碼對象視點所對應的影像的編碼資料，將前述解碼對象視點中被預測編碼的解碼對象訊框予以解碼。
  14. 一種程式，係使用以將多視點影像予以編碼之多視點影像編碼裝置的電腦執行下述功能： 視點合成畫像產生功能，係依據與前述多視點影像的編碼對象視點中的編碼對象訊框同時刻拍攝之與前述編碼對象視點不同的參照視點中的已經編碼完成的參照視點訊框，將與前述編碼對象視點的前述編碼對象訊框對應之視點合成畫像予以合成；參照區域推定功能，係於每個依預先決定大小所分割的處理單位區域，探索與前述視點合成畫像對應之前述編碼對象視點中已經編碼完成的參照訊框上的參照區域；修正參數推定功能，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正功能，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像編碼功能，係使用前述所修正的視點合成畫像，將前述編碼對象視點的影像予以預測編碼。
  15. 一種程式，係使用以將多視點影像予以解碼之多視點影像解碼裝置的電腦執行下述功能：視點合成畫像產生功能，係依據與前述多視點影像的解碼對象視點中的解碼對象訊框同時刻拍攝之與前述解碼對象視點不同的參照視點中的參照視點訊框，將與前述解碼對象視點的前述解碼對象訊框對應之視點 合成畫像予以合成；參照區域推定功能，係於每個依預先決定大小所分割的處理單位區域，探索與前述視點合成畫像對應之前述解碼對象視點中已經解碼完成的參照訊框上的參照區域；修正參數推定功能，係依據前述處理單位區域所對應的前述視點合成畫像以及前述參照區域所對應的前述參照訊框，來推定用以修正照相機間不匹配之修正參數；視點合成畫像修正功能，係使用前述所推定的修正參數，修正前述處理單位區域所對應的前述視點合成畫像；以及畫像解碼功能，係將前述所修正的視點合成畫像作為預測訊號來使用，依據前述解碼對象視點所對應的影像的編碼資料，將前述解碼對象視點中被預測編碼的解碼對象訊框予以解碼。
TW100105721A 2010-02-24 2011-02-22 多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置，以及程式 TWI436637B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010038680 2010-02-24

Publications (2)

Publication Number Publication Date
TW201218745A TW201218745A (en) 2012-05-01
TWI436637B true TWI436637B (zh) 2014-05-01

Family

ID=44506745

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100105721A TWI436637B (zh) 2010-02-24 2011-02-22 多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置，以及程式

Country Status (10)

Country Link
US (1) US20120314776A1 (zh)
EP (1) EP2541943A1 (zh)
JP (1) JP5303754B2 (zh)
KR (1) KR101374812B1 (zh)
CN (1) CN102918846B (zh)
BR (1) BR112012020993A2 (zh)
CA (1) CA2790268A1 (zh)
RU (1) RU2527737C2 (zh)
TW (1) TWI436637B (zh)
WO (1) WO2011105337A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
WO2013087880A1 (en) 2011-12-14 2013-06-20 Thomson Licensing Method and system for interpolating a virtual image from a first and a second input images
CN103379349B (zh) * 2012-04-25 2016-06-29 浙江大学 一种视点合成预测编码方法、解码方法、对应的装置及码流
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
CN102761765B (zh) * 2012-07-16 2014-08-20 清华大学 一种用于三维立体视频的深度快速插帧方法
US9854138B2 (en) * 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
CN103079083B (zh) * 2012-12-06 2015-05-06 上海大学 一种已标定平行摄像机阵列多视图像校正方法
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
WO2014103966A1 (ja) 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
WO2014178051A2 (en) * 2013-04-30 2014-11-06 Mantisvision Ltd. Selective 3d registration
CN103402097B (zh) * 2013-08-15 2016-08-10 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN103763567B (zh) * 2013-12-31 2017-01-18 华中科技大学 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法
CN105184780B (zh) * 2015-08-26 2018-06-05 京东方科技集团股份有限公司 一种立体视觉深度的预测方法和系统
CN105430397B (zh) * 2015-11-20 2018-04-17 清华大学深圳研究生院 一种3d图像体验质量预测方法及装置
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
DE102021200225A1 (de) 2021-01-12 2022-07-14 Rheinisch-Westfälische Technische Hochschule (RWTH) Aachen, Körperschaft des öffentlichen Rechts Verfahren zur Wiedergabe eines Videostreams durch einen Client

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
JP2005505841A (ja) * 2001-10-08 2005-02-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定のための装置及び方法
JP2005506626A (ja) * 2001-10-25 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
PL378138A1 (pl) * 2003-05-20 2006-03-06 Lego A/S Sposób i układ do manipulowania cyfrową reprezentacją obiektu trójwymiarowego
JP4052331B2 (ja) * 2003-06-20 2008-02-27 日本電信電話株式会社 仮想視点画像生成方法及び３次元画像表示方法並びに装置
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
CN101375593A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US9456223B2 (en) * 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
EP2116062A2 (en) * 2007-01-04 2009-11-11 Thomson Licensing Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video
TW200843510A (en) * 2007-01-17 2008-11-01 Lg Electronics Inc Method and apparatus for processing a video signal
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP5008203B2 (ja) 2008-08-04 2012-08-22 株式会社ニレコ 超音波式厚み検出装置、及び、超音波式エッジ位置検出装置
US8639046B2 (en) * 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR101451286B1 (ko) * 2010-02-23 2014-10-17 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램

Also Published As

Publication number Publication date
BR112012020993A2 (pt) 2016-05-03
CA2790268A1 (en) 2011-09-01
EP2541943A1 (en) 2013-01-02
KR20120117888A (ko) 2012-10-24
WO2011105337A1 (ja) 2011-09-01
RU2527737C2 (ru) 2014-09-10
JP5303754B2 (ja) 2013-10-02
US20120314776A1 (en) 2012-12-13
KR101374812B1 (ko) 2014-03-18
TW201218745A (en) 2012-05-01
JPWO2011105337A1 (ja) 2013-06-20
CN102918846A (zh) 2013-02-06
RU2012135682A (ru) 2014-03-27
CN102918846B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
TWI436637B (zh) 多視點影像編碼方法、多視點影像解碼方法、多視點影像編碼裝置、多視點影像解碼裝置，以及程式
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US20120320986A1 (en) Motion vector estimation method, multiview video encoding method, multiview video decoding method, motion vector estimation apparatus, multiview video encoding apparatus, multiview video decoding apparatus, motion vector estimation program, multiview video encoding program, and multiview video decoding program
US9253486B2 (en) Method and system for motion field backward warping using neighboring blocks in videos
US9264691B2 (en) Method and system for backward 3D-view synthesis prediction using neighboring blocks
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP2007036800A (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US20130301721A1 (en) Multiview image encoding method, multiview image decoding method, multiview image encoding device, multiview image decoding device, and programs of same
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP4851564B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4851563B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method