TWI499277B - 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式 - Google Patents

多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式 Download PDF

Info

Publication number
TWI499277B
TWI499277B TW100144827A TW100144827A TWI499277B TW I499277 B TWI499277 B TW I499277B TW 100144827 A TW100144827 A TW 100144827A TW 100144827 A TW100144827 A TW 100144827A TW I499277 B TWI499277 B TW I499277B
Authority
TW
Taiwan
Prior art keywords
image
viewpoint
prediction
intra
decoding
Prior art date
Application number
TW100144827A
Other languages
English (en)
Other versions
TW201233142A (en
Inventor
Shinya Shimizu
Hideaki Kimata
Norihiko Matsuura
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201233142A publication Critical patent/TW201233142A/zh
Application granted granted Critical
Publication of TWI499277B publication Critical patent/TWI499277B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
本發明係有關於多視點畫像之編碼及解碼之方法或裝置之相關技術。
本申請案係依據於2010年12月6日在日本提出申請之專利申請2010-271259號而主張其優先權，並在此引用其內容。
所謂多視點畫像係指以複數的攝影機拍攝相同的被攝體和背景而取得之畫像群。一般的畫像編碼係使用利用被攝體為空間性地連續而存在之特徵的畫面內預測而實現有效的編碼。畫面內預測亦可稱為內部預測。畫面內預測係採用以264/AVC為代表之近年來的動畫像編碼方式之國際標準規格的方法(有關於H. 264/AVC之詳細內容係例如參考非專利文獻1)。
畫面內預測係將1張畫像予以分割成複數的區塊，並依光域掃描順序等之預定的順序進行編碼時，推定編碼對象區塊內的被攝體(或構成)的連續方向，根據該方向而複製已編碼完成之鄰接畫素的畫像信號，藉此而產生預測畫像。又，使用畫面內預測之區塊，其表示進行畫面內預測之方向的資訊、以及編碼對象畫像和預測畫像的差分係被編碼。
畫面內預測之預測品質係依存於是否能正確表現編碼對象畫像的連續性至何種程度。H. 264/AVC雖係將進行畫面內預測的方向定義為8方向，但，亦存在為了提高其精度而另予定義多數個方向以提高預測精度之方法(例如，參考非專利文獻2)。此外，對無方向性之複雜的構成等之區塊，作為至少可減少畫像的能量之畫面內預測方法而言，H. 264/AVC中係使用將鄰接畫素的平均值作為預測值之DC預測、或產生具有流暢的色彩的變化之預測畫像的Plane預測等。
由於多視點畫像編碼中，所拍攝的多視點畫像為大致相同的空間，故不僅在畫像內、於畫像之間亦存在高的相關性。因此，一種被稱為視差補償預測編碼之方法係被廣為使用，該方法係在補償視點間的視差而產生的畫像之間取得訊框(frame)間差分，且僅將差分信號進行編碼。視差補償預測係被採用為國際標準規格H. 264/AVC Annex. H。
此處所使用的視差係指在配置於不同的位置之攝影機的畫像平面上，被攝體被投影之位置的差異。視差補償預測雖係以二次元向量表現視差而進行編碼，但，因視差為依存於攝影機和攝影機距被攝體的位置(深度depth)而產生的資訊，故存在著利用該原理之視點合成預測(視點補足預測)之方式。
視點合成預測(視點補足預測)係根據攝影機或被攝體的三次元的位置關係，使用已結束處理之解碼結果所取得之多視點畫像的一部份，將對進行編碼或解碼處理之另外的視點之訊框予以合成(補足)而取得之畫像作為預測畫像而使用之方式(例如，參考非專利文獻3)。
為了顯示被攝體的三次元的位置，大多數為使用於各畫素顯示攝影機至被攝體的距離(深度)之深度圖(depth map，亦稱為距離畫像、視差畫像、視差圖(disparity map))。深度圖之外，亦可使用被攝體的多角形(polygon)資訊或被攝體空間的方盒形像素(voxel)資訊。
又，取得深度圖之方法可大致區分為：藉由使用紅外線脈衝等而測定產生之方法；以及在多視點畫像上尋找拍攝有相同的被攝體之點，並由該處使用三角測量的原理而推定之方法，但，無論使用何種方法所取得之深度圖，在視點合成預測當中均無大問題。此外，若取得深度圖，則由編碼側或解碼側等之何處推定亦無太大的問題。
但，在進行預測編碼時，一般而言，當編碼側所使用的深度圖和解碼側所使用的深度圖未一致時，則產生所謂漂移(drift)之編碼失真之情形。因此，亦使用將編碼側所使用的深度圖傳送至解碼側，或編碼側和解碼側使用完全相同的資料而推定深度圖之方法。
又，能在實施本發明之前提下使用技術有記載於下述之非專利文獻4至非專利文獻9之技術。特別是，非專利文獻4至非專利文獻8係表示視點合成畫像的產生方法之例。
(先前技術文獻) 非專利文獻：
[非專利文獻1]：Rec. ITU-TH.264,“Advanced video coding for generic audiovisual services,”March 2009.
[非專利文獻2]：K. McCann,W.-J. Han,and I. Kim,“Samsung’s Response to the Call for Proposals on Video Compression Technology,”Input document to Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16 WP3 and ISO/SC29/WG11,JCTVC-A124,April 2010.
[非專利文獻3]：S,Shimizu,M Kitahara,K. Kamikura,and Y. Yashima,“View Scalable Multiview Video Coding Using 3-D Warping with Depth Map,”IEEE Transactions on Circuits and System for Video Technology,Vol. 17,No. pp. 1485-1495,November,2007.
[非專利文獻4]：Y. Mori N. Fukusima,T. Fuji,and M. Tanimoto,“View Generation with 3D Warping Using Depth Information for FTV,”In Proceedings of 3DTV-CON2008,pp. 229-232,May 2008.
[非專利文獻5]：S. Yea and A. Vetro,“View Synthesis Prediction for Rate-Overhead Reduction in FTV,”In Proceedings of 3DTV-CON2008,pp. 145-148,May 2008.
[非專利文獻6]：J,Sun, N. Zheng,and H. Shum,“Stereo Matching Using Belief Propagation,”IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 25,No. 7,pp. 787-800,July,2003.
[非專利文獻7]：S,Shimizu,Y. Tonomura,H. Kimata,and Y. Ohtani,“Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding,”In Proceedings of ICDSC2009,August 2009.
[非專利文獻8]：K,Yamamoto,M Kitahara,H. Kamikura,T. Yendo,T. Fuji,M. Tanimoto,S. Shimizu,K,Kamikura,and Y. Yashima,“Multiview Video Coding Using View Interpolation and Color Correction,”IEEE Transactions on Circuits and System for Video Technology,Vol. 17,No. 11,pp. 1436-1449,November,2007.
[非專利文獻9]：K. Ugur,K. R. Andersson,and A. Fuldseth,“Description of video coding technology proposal by Tandberg,Nokia,Ericsson,”Input document to Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-A119,April 2010.
上述習知技術，由於係使用視差補償預測或視點合成預測而能去除攝影機之間的畫像信號之冗長性，故相較於將各個攝影機所拍攝的影像獨立進行編碼之情形，則更能高效率地將多視點畫像進行壓縮編碼。
但，多視點畫像係同時存有攝影機間相關、以及畫面內相關的兩者。因此，僅使用視差補償預測或視點合成預測時，由於無法利用畫面內相關而去除空間上之冗長性，故無法實現有效的編碼。
非專利文獻1係於各區塊導入畫面內預測和視差補償預測之適應選擇，藉此而得以利用攝影機間相關和畫面內相關的雙方。藉由使用該方法，相較於僅使用任何一方的相關之情形時更能實現有效的編碼。但，於各區塊分別選擇其中一方係指於各區塊分別利用表示更強之相關者，故僅能削減更多的冗長性，而無法削減同時存在於攝影機間和時間上之冗長性。
針對該課題之解決方法而言，可容易地類推出使用藉由利用內部預測(intra prediction)等之畫面內相關的方法所產生的預測畫像、以及藉由利用視差補償預測或視點合成預測等之攝影機間相關的方法而產生之預測影像之加權平均的方法。
藉由使用該方法，可取得某種程度之改善編碼效率的功效。但，使用加權平均而產生預測畫像充其量只是在畫面內相關和攝影機間相關之間分配利用該相關之比率。亦即，並非同時利用，而只是更柔軟地利用其中一種相關，故無法削減同時存在之冗長性。
此外，習知技術係藉由增加畫面內預測所使用的方向或方式而改善畫面內預測的預測精度。為了正確地將使用畫面內預測之區塊進行解碼，則必須將用以辨識往解碼側進行編碼時所使用之預測畫像產生方法的資訊進行編碼。因此，如習知技術，當增加預測畫像的產生方法之選擇項時，雖能提升畫像信號之預測精度，但，用以辨識預測畫像之產生方法的碼量則增大，而無法總計實現有效的編碼。
本發明係有鑑於該情形而創作，其目的為對同時存有畫面內相關和攝影機間相關之多視點畫像，藉由利用攝影機間相關之畫面內相關的推定，亦即利用攝影機間相關而推定進行畫面內預測之方向等的畫面內預測方法，而削減用以表示畫面內預測方法的資訊量，並實現有效的多視點影像編碼。
為達成解決上述課題之目的，本發明係採用如下之方法。
畫面內預測係利用被攝體之空間上的連續性而產生預測畫像。因此，一般之畫像編碼係假定各種空間上的連續性而產生複數的畫面內預測畫像候補，自其中將能有效顯示編碼對象畫像者作為預測畫像而使用。此時，為了在解碼側產生相同的預測畫像，則必須將表示使用何種畫面內預測畫像候補的資訊進行編碼。
本發明係使用另外之攝影機所拍攝的畫像而產生對應於編碼對象畫像之視點合成畫像，並使用該視點合成畫像而決定使用何種畫面內預測畫像候補。由於該視點合成畫像係能於解碼側產生相同者，故即使在沒有表示使用何種畫面內預測畫像候補的資訊的情況下，亦可使用相同的方法自複數的畫面內預測畫像候補而產生預測畫像。結果，本發明即使進行畫面內預測，亦無須將表示畫面內預測方法的資訊進行編碼，而能獲得可削減該部分碼量(code quantity)之功效。
此外，習知技術中，雖因表示預測精度和畫面內預測的方法的資訊碼量之關係而僅能使用有限數量的畫面內預測的方法，但，本發明並未限定畫面內預測方法的數量，且亦無須將該資訊進行編碼。因此，藉由使用本發明而能更精度良好地預測編碼對象畫像，亦可獲得能削減預測殘差的編碼所必需的碼量之功效。
[第1實施形態]
本發明係於各畫面內預測方法分別產生預測畫像，將其優劣點和視點合成畫像作比較，並決定1個畫面內預測方法。編碼側係使用該決定之畫面內預測方法而產生預測畫像並進行編碼。由於視點合成畫像在解碼側亦可產生相同的畫像，故解碼側亦根據相同的順序而能辨識相同的畫面內預測方法。因此，能產生相同的預測畫像，並正確地將畫像信號進行解碼。亦即，在編碼側將用以表示使用何種畫面內預測方法的資訊進行編碼，而無須通知解碼側，並可削減該程度之碼量。
例如，當畫面內預測方法存在著9種類時，在表示預測方法的資訊之編碼上，習知技術中雖係在各區塊需要log2 9≒3.1位元的碼量，但，第1實施形態則為0位元的碼量。此外，由於第1實施形態係和畫面內預測方法的數量無關而成為0位元的碼量，故亦可藉由增加畫面內預測方法的數量而提升預測效率，並削減畫像信號的編碼上所必需的碼量。
根據以上之情形，第1實施形態係具有削減用以將表示區塊內的畫像信號進行畫面內預測編碼時的畫面內預測方法的資訊進行編碼時所需的碼量之功效。
[第2實施形態]
視點合成畫像雖能以相當高的精度而產生，但，受到深度資訊或攝影機參數的誤差等的影響，而有部分產生雜訊之情形。因此，將視點合成畫像作為基準而決定預測畫像的產生方法時，受到該部分雜訊的影響，而有選擇預測殘差並非最小的方法之可能性。
因此，第2實施形態係在第1實施形態當中，更予以計算表示視點合成畫像為何種適度正確的信賴度，並使用該信賴度而於各畫素將評價值予以加權。據此，即可減輕部分所產生之雜訊的影響，而提升能選擇將預測殘差縮為更小之預測畫像產生方法的機率。藉由縮小預測殘差而能削減畫像信號的碼量。
根據以上之情形，第2實施形態係具有提升最佳之畫面內預測方法的推定精度、以及伴隨此項之削減畫像信號的碼量之功效。
[第3實施形態]
第3實施形態係於決定預測畫像產生法時，不使用解碼畫像而僅使用視點合成畫像，藉此而產生複數的畫面內預測畫像候補，並將其進行評價。據此，由於無須等待鄰接區塊的編碼(解碼)處理結束，而能對任意的區塊決定預測畫像產生法，故可平行處理決定預測畫像產生法之處理、以及根據該預測畫像產生法而將畫像信號進行編碼之處理，而能達成處理之高速化。
[第4實施形態]
將畫像信號進行編碼時形成最小的預測殘差之預測畫像產生法，必須使用在解碼側無法使用的編碼對象畫像，否則無法發現。因此，將解碼側亦能產生之視點合成畫像作為基準而推定之預測畫像產生法無法將預測殘差成為最小，故即使無須將用以表示預測畫像產生法的資訊進行編碼，亦有導致該區塊之總計的碼量增大之可能性。
因此，第4實施形態係將使用編碼對象畫像而決定之最佳預測畫像產生法、以及藉由使用視點合成畫像而於解碼側亦能同定之預測畫像產生法作比較，產生表示兩者是否為相同的二進位旗標。兩者為相同時，僅將該二進位旗標進行編碼，若非如此，則在二進位旗標之外，亦將表示最佳預測畫像產生法的資訊進行編碼。
如此處理，即可於解碼側得知推定是否為正確，即使推定為錯誤，亦可使用最佳預測畫像產生法而進行編碼。
習知技術中，為了表示預測畫像產生法而必需N位元時，使用本技術則為了表示預測畫像產生法所必需之位元數為p+(1-p)×(N+1)(p為推定正確之機率)。亦即，若推定有1/N以上的機率為正確，則能削減總計的碼量。若為9種類的預測畫像產生法(H. 264/AVC)，由於N≒3，故只要有30%以上之機率預測為正確時即能削減碼量。若為33種類的預測畫像產生法(非專利文獻2)，由於N≒5，故只要有20%以上之機率預測為正確時即能削減碼量。根據如上之敘述，第4實施形態係當預測畫像產生法的推定為錯誤時，亦能防止畫像信號的碼量增大。
根據本發明，則於將畫面內相關和攝影機間相關同時存在之多視點畫像進行編碼時，使用藉由另外之攝影機所拍攝的影像而產生之視點合成畫像而推定畫面內預測之方法，藉此而在畫面內預測方法的預測當中，可利用攝影機間相關，而在影像信號預測當中，可利用畫面內相關，並可同時利用2個之相關而實現有效的多視點畫像編碼。
參閱圖式而說明本發明之一實施形態如下。
[第1實施形態：多視點畫像編碼裝置]
首先，說明有關於本發明之第1實施形態。第1圖係表示本發明之第1實施形態的多視點畫像編碼裝置的構成之區塊圖。多視點畫像編碼裝置100係如第1圖所示，具備編碼對象畫像輸入部101、編碼對象畫像記憶體102、參考視點畫像輸入部103、參考視點畫像記憶體104、視點合成部105、視點合成畫像記憶體106、最佳預測畫像產生部107、畫像信號編碼部108、畫像信號解碼部109、以及解碼畫像記憶體110。
編碼對象畫像輸入部101係輸入成為編碼對象之視點的畫像。以下，將成為該編碼對象之視點稱為編碼對象視點，將該畫像稱為編碼對象畫像。編碼對象畫像記憶體102係積存輸入之編碼對象畫像。
參考視點畫像輸入部103其編碼對象之視點係自另外的視點，輸入同時刻拍攝相同的被攝體之畫像。以下，將有別於該編碼對象之視點稱為參考視點，將該畫像稱為參考視點畫像。參考視點畫像記憶體104係積存輸入之參考視點畫像。
視點合成部105係使用參考視點畫像而將編碼對象視點之畫像予以合成。以下，將該合成之畫像稱為視點合成畫像。視點合成畫像記憶體106係積存產生之視點合成畫像。
最佳預測畫像產生部107係具有：預測畫像候補產生部、以及預測畫像評價部的功能部分，使用對於編碼對象區域之視點合成畫像而從對於編碼對象區域的週邊的解碼畫像而產生編碼對象區域之預測畫像。畫像信號編碼部108係使用產生之預測畫像而將編碼對象畫像進行預測編碼。畫像信號解碼部109係使用產生之預測畫像，將產生之編碼資料進行解碼而產生解碼畫像。解碼畫像記憶體110係積存產生之解碼畫像。
第2圖係用以說明第1實施形態的多視點畫像編碼裝置100的動作之流程圖。根據該流程圖而詳細說明有關於多視點畫像編碼裝置100的執行處理。
首先，由編碼對象畫像輸入部101輸入編碼對象畫像0rg，並儲存於編碼對象畫像記憶體102。由參考視點畫像輸入部103輸入和編碼對象畫像Org同時刻以參考視點所拍攝之參考視點畫像Refn (n=1、2、…、N)，並積存於參考視點畫像記憶體104(步驟S101)。此處所輸入之參考視點畫像係將已編碼完成的畫像進行解碼而得者。此係因為使用和解碼裝置所取得之資訊完全相同的資訊，藉此而抑制漂移等之編碼雜訊的產生之故。其中，當容許如此之編碼雜訊的產生時，亦可輸入編碼前之原件(original)。又，n係表示參考視點之索引(index)，N係可利用之參考視點的數目。
繼而於視點合成部105使用參考視點畫像之畫像信號，將編碼對象畫像和同時刻以相同的視點所拍攝之畫像予以合成，並將產生之視點合成畫像Syn積存於視點合成畫像記憶體106(步驟S102)。該視點合成畫像的產生係使用任何的方法均可。例如，若除了參考視點畫像之外尚提供對於參考視點畫像的深度資訊，則可使用非專利文獻3或非專利文獻4等所記載的方法。
此外，有提供對於編碼對象畫像的深度資訊時，亦可使用非專利文獻5等所記載的方法。
當完全無法取得任何深度資訊時，可使用非專利文獻6等所記載的立體聲(stereo)法或深度推定法之方法，在產生對於參考視點畫像或編碼對象畫像的深度資訊之後，使用如前述之方法而產生視點合成畫像(非專利文獻7)。此外，亦有表面上不產生深度資訊而直接自參考視點畫像產生視點合成畫像之方法(非專利文獻8)。
又，使用此等的方法，通常係需要表示攝影機的位置關係或攝影機的投影處理(process)之攝影機參數。此等之攝影機參數亦可自參考視點畫像而推定。又，當在解碼側不推定深度資訊或攝影機參數時，在編碼裝置內所使用之此等資訊則必須另外編碼而傳送。
在結束視點合成畫像的產生之後，將編碼對象畫像予以分割，於各區域產生預測畫像，並將編碼對象畫像之畫像信號進行編碼(步驟S103至S109)。
亦即，以blk表示編碼對象區塊索引，以numBlks表示總編碼對象區塊數量時，在以0將blk進行初期化之後(步驟S103)，重覆進行以下的處理(步驟S104至步驟S107)並加算1於blk(步驟S108)，直到blk成為numBlks為止(步驟S109)。
又，若能於各區塊分別進行上述視點合成畫像的產生，則視點合成畫像的產生亦可作為於各編碼對象區塊分別進行的重覆處理的一部分而執行。例如，對於編碼對象畫像提供深度資訊時，即可於各區塊分別產生視點合成畫像。
於各編碼對象區塊重覆進行之處理，係首先於最佳預測畫像產生部107使用對於區塊blk之視點合成畫像Syn[blk]而決定對於區塊blk之最佳預測畫像產生法mode(步驟S104)，使用積存於解碼畫像記憶體110之區塊blk週邊的解碼畫像而產生對於區塊blk之預測畫像Pred[blk](步驟S105)。
決定對於區塊blk之最佳預測畫像產生法之處理係將視點合成畫像Syn[blk]視為目標(target)畫像，且於預定之預測方法的集合之中求得用以產生使適合度達成最大化或使乖離度達成最小化的畫面內預測畫像的方法之處理。該第1實施形態係使用表示乖離度之評價值。表示乖離度之評價值的具體例子有和下式(1)所表示之視點合成畫像的SAD(差分絕對值和)或和式(2)所表示之視點合成畫像的SSD(差分平方和)等。
cost(m)=Σp ∣Syn[p]-Predm [p]∣　式(1)
cost(m)=Σp (Syn[p]-Predm [p])2 　式(2)
此處，cost係表示評價值，m係表示產生畫面內預測畫像的方法之索引值，Predm 係表示根據方法m而自積存於解碼畫像記憶體110之區塊blk週邊的解碼畫像所產生之預測畫像候補。Σp 係表示有關於blk之和。此等之外，亦有使用DCT或阿達馬變換(Hadamard transform)等而將視點合成畫像和預測畫像候補之差分值予以變換之值的方法。將該變換以矩陣A予以表示時，即可以下式(3)予以表示。又，∥X∥係X之範數(norm)。
cost(m)=∥A‧(Syn[blk]-Predm [blk])∥　式(3)
此外，不使用如上述之僅測定視點合成畫像和預測畫像候補的乖離度之方法，而使用考量產生的碼量和失真量之RD成本亦可。此處所使用之RD成本係指使用將Predm [blk]作為預測畫像而將Syn[blk]進行編碼時之碼量R(m)、以及由該結果所取得之解碼畫像之Syn[blk]的失真量D(m)以下式(4)予以表示者。又，λ為拉格朗日(Lagrange)之未定乘數，係使用預定之值。
cost(m)=D(m)+λR(m)　式(4)
因此，步驟S104係以下式(5)予以表示，進行求得使評價值達成最小化之最佳預測畫像產生法之處理。
mode=argminm +(cost(m))　式(5)
第3圖係表示決定本發明之第1實施形態的步驟S104所進行之決定預測畫像產生之處理的詳細流程圖。決定預測畫像產生係求得各預測畫像產生法之評價值，並藉由比較其評價值而決定最佳預測畫像產生法。
亦即，分別使預測畫像產生法索引值m成為0，使用以記錄評價完成之預測畫像產生法之中評價值最佳者之變數mode成為0，使預測畫像產生法mode之評價值min_cost成為絕對無法取得之最大值MAX而進行初期化(步驟S1401)，重覆進行以下的處理(步驟S1402至步驟S1405)並將m加1(步驟S1406)，直到m成為預測畫像產生法的數目numModes為止(步驟S1407)。又，此處係表示評價值愈小愈佳之預測畫像產生法。
對於各預測畫像產生法重覆進行之處理係：首先，根據以m表示之預測畫像產生法，使用積存於解碼畫像記憶體110之區塊blk週邊的解碼畫像而產生預測畫像候補Predm [blk](步驟S1402)。
產生預測畫像候補之後，將預測畫像候補和視點合成畫像作比較而求得評價值cost(m)(步驟S1403)。評價值的計算係以和解碼側相同為限而可使用上述之式(1)至式(4)等任意之一項。
求得評價值之後，則檢查該值是否小於min_cost(步驟S1404)，較小時則以m改寫mode，以cost(m)改寫min_cost(步驟S1405)，並轉移至次一預測畫像產生法。若為min_cost以上時，則維持原狀而直接轉移至次一預測畫像產生法。如此，當處理到達結束(end)時之mode即對於區塊blk的最佳預測畫像產生法。
產生步驟S105的預測畫像Pred[blk]之處理係以下式(6)予以表示。又，進行步驟S104的評價時，亦可積存評價值最小的預測畫像候補，之後不以步驟S105所取得之預測方法mode產生預測畫像，而直接將已積存之預測畫像候補作為預測畫像而設定。
Pred[blk]=Predmode [blk]　式(6)
就用以產生畫面內預測畫像之方法的集合而言，只要為和解碼側相同時，則無論含有何種方法皆可，且無論其集合之大小為多少皆可。例如，如H. 264/AVC之內部預測般，使用由根據8個不同的預測方向之內部預測、以鄰接畫素之解碼畫像的平均值而產生預測畫像之DC預測、以及藉由假定等級而將鄰接畫素進行線形補足而產生預測畫像之Plane預測所構成之集合亦可。此外，如非專利文獻2或非專利文獻9之進而將更多數的預測方向加入於集合亦可，此外，如非專利文獻9之先將一部份進行編碼，並將使用該資訊而進行雙方向預測之方法加入於集合亦可。
取得預測畫像之後，以畫像信號編碼部108將對應於區塊blk之畫像信號Org[blk]進行預測編碼(步驟S106)。編碼係使用任意之方法均可。MPEG-2或H. 264/AVC等之一般的編碼係對區塊blk之畫像信號和預測畫像之差分信號(Org[blk]-Pred[blk])，依序實施DCT等之頻率變換、量子化、2值化、熵(entropy)編碼而進行編碼。
繼而在畫像信號解碼部109，使用作為編碼結果所取得之編碼資料和預測畫像，對區塊blk之畫像信號進行解碼，並將解碼結果之解碼畫像Dec[blk]積存於解碼畫像記憶體110(步驟S107)。此處係使用對應於編碼時所用的方法。例如，若為MPEG-2或H. 264/AVC等之一般的編碼時，則對編碼資料依序實施熵解碼、反2值化、反量子化、IDCT等之頻率逆變換，對取得之2次元信號增加預測信號，最後於畫素值之值域進行截波(clipping)處理，藉此而將畫像信號進行解碼。解碼所取得之畫像信號係被使用於產生將另外的區塊進行編碼時所需之預測畫像。
第1實施形態，雖係作成在全部的畫素當中能以相同程度的精度產生視點合成畫像，但，亦可考量視點合成的正確度而進行預測畫像產生法之評價。
第4圖係表示使用本發明之第1實施形態的視點合成的正確度而決定預測畫像產生法時之多視點畫像編碼裝置之區塊圖。第4圖所示的多視點畫像編碼裝置1001和第1圖所示的多視點畫像編碼裝置100，其不同點為增加了對視點合成畫像計算合成之正確度通知於最佳預測畫像產生部107之信賴度設定部111。
第5圖係表示本發明之第1實施形態之多視點畫像編碼裝置1001之處理流程圖。和第2圖所示之多視點畫像編碼裝置100的處理流程之不同點在於：係於各編碼處理區塊計算視點合成畫像之信賴度(步驟S1035)，使用其信賴度和對區塊blk之視點合成畫像Syn[blk]，而決定對區塊blk之最佳預測畫像產生法mode(步驟S104’)之點。
第1實施形態中，信賴度ρ雖係作成0至1為止的實數，但，只要是定義為0以上且愈大的值其信賴度愈高則以何種方式表示均可。例如，以1以上之8位元(bit)整數予以表示亦可。
如前所述，信賴度ρ只要為可表示合成進行的正確程度者，則為任何形式皆可。例如，最簡單之方法係使用視點合成畫像的各畫素所對應之參考視點訊框上的畫素之畫素值的分散值。其中，由於分散的最大值不明，故必須正規化而使畫像全體的分散值之最大值能成為1。以使用於視點合成之各參考畫像上的畫素Refn [pn ]表示視點合成畫像上的畫素Syn[p]時，信賴度ρ即可使用下式(7)或式(8)而予以表示。
ρ[p]=1-var1(p)/maxq (val1(q))　式(7)
ρ[p]=1-var2(p)/maxq (val2(q))　式(8)
又，max係對提供的集合返回最大值的函數，另外的函數係以下式(9)而予以表示。
除了分散以外，亦有使用以下式(10)所表示之對應的參考視點畫像的畫素之最大值和最小值的差之方法。
又，min係對提供的集合返回最小值的函數。此等之方法雖為單純，但，由於未考量遮蔽(occlusion)的產生，故不見得經常能取得最佳之信賴度。因此，亦可考量遮蔽的產生，根據畫素值而將參考視點畫像上的對應畫素之集合予以分組(clustering)，對屬於最大的群組(cluster)的畫素之畫素值，計算分散值或最大值和最小值的差而使用。
此外，另外的方法其視點間之對應點的誤差係根據正規分布或拉普拉斯分布而假定，亦可將分布之平均值或分散值作為參數，使用對應於前述式(10)的diff等所求得之各畫素的誤差量之機率值。分布之模型(model)或其平均值或分散值亦可使用預定者，將資訊進行編碼而傳送亦可。一般而言，被攝體若為完全擴散反射時，則理論上其分布的平均值可視為0。
此外，考量被攝體的完全擴散反射，亦可使用假設在可取得產生視點合成畫像時之對應點的深度附近，對應畫素之畫素值的誤差量為最小，根據將深度進行微小變化時的誤差量之變化而推定誤差分布模型，且使用根據該誤差分布模型、或該誤差分布模型和視點合成畫像產生時之參考視點畫像上的對應畫素之畫素值之方法。就根據誤差分布模型之值而言，係使用根據該分布時，其誤差為收束於固定的範圍內之機率之方法。就根據誤差分布模型和視點合成畫像產生時之參考視點畫像上的對應畫素的畫素值之值而言，其係使用根據推定誤差的產生機率之分布時，產生視點合成畫像產生時之參考視點訊框上的對應畫素之畫素值所表示的狀況之機率之方法。
此外，另外的方法係於推定進行視點合成時所必需之視差或深度時，使用稱為信任傳遞(Belief Propagation)的方法(參考非專利文獻6)時，在各畫素當中，為了求得對視差或深度的機率分布，亦可使用該資訊。除了Belief Propagation以外，只要為可對於視點合成畫像的各畫素計算合成之正確度者，亦可使用其資訊。
視點合成畫像產生時進行了對應點探索或立體聲法、以及深度推定時，存有求得該等資訊的處理之一部分和信賴度計算之一部分為相同之情形。在上述情形時，藉由同時進行視點合成畫像產生和信賴度計算，即可削減演算量。
使用該信賴度和對區塊blk之視點合成畫像Syn[blk]而決定對區塊blk之預測畫像產生法mode之處理(步驟S104’)，其係根據下式(11)至(13)而定義評價值cost以取代前述之式(1)至(3)，並進行式(5)所表示之最小化處理。
cost(m)=Σp ρ(p)‧∣Syn[p]-Predm [p]∣　式(11)
cost(m)=Σp ρ(p)‧(Syn[p]-Predm [p])2 　式(12)
此處，cost係表示評價值，m係表示產生畫面內預測畫像的方法之索引值，Predm 係表示根據方法m而自積存於解碼畫像記憶體110之區塊blk週邊的解碼畫像所產生之預測畫像候補。此等之外，亦有使用DCT或阿達馬變換等而將視點合成畫像和預測畫像候補之差分值予以變換(Hadamard transform)所得之值的方法。將該變換以矩陣A予以表示時，即可以下式(13)予以表示。又，∥x∥係表示X之範數，演算符號‧係表示矩陣積，演算符號＊係表示各要素之乘算。
cost(m)=∥ρ[blk]＊A‧(Syn[blk]-Predm [blk])∥式(13)
第1實施形態雖係於決定預測畫像產生法時，使用積存於解碼畫像記憶體110的區塊blk週邊的已編碼完成的畫素而進行評價，但，不使用解碼畫像而僅使用視點合成畫像進行評價亦可。
第6圖係表示本發明之第1實施形態的僅根據視點合成畫像而決定預測畫像產生法時的多視點畫像編碼裝置之區塊圖。第6圖所示之多視點畫像編碼裝置1002和第1圖所示之多視點畫像編碼裝置100之不同點在於：最佳預測畫像產生部107為分割成最佳預測畫像產生法決定部112、以及預測畫像產生部113之點。
最佳預測畫像產生法決定部112係僅使用視點合成畫像而從預定的預測畫像產生法之中決定1個適合產生對於區塊blk的預測畫像之方法。預測畫像產生部113係根據所提供之預測畫像產生法而使用積存於解碼畫像記憶體110的區塊blk週邊的解碼畫像而產生預測畫像。
多視點畫像編碼裝置1002之處理流程和第2圖所示之多視點畫像編碼裝置100之處理流程雖相同，但，步驟S104之詳細處理則不同。第7圖係表示在本發明之第1實施形態的步驟S104中，最佳預測畫像產生法決定部112所進行之處理的詳細流程圖。
最佳預測畫像產生法決定部112係求得各預測畫像產生法之評價值，藉由比較其評價值而決定預測畫像產生法。亦即，分別將預測畫像產生法索引值m設為0，將記錄評價完成之預測畫像產生法之中評價值最佳者之變數mode設為0，將預測畫像產生法mode之評價值min_cost設定絕對無法取得之最大值MAX以進行初期化後(步驟S1411)，重覆進行以下的處理(步驟S1412至步驟S1415)並將m加1(步驟S1416)，直到m成為預測畫像產生法的數目numModes為止(步驟S1417)。又，此處之評價值愈小則為愈佳之預測畫像產生法。
於各預測畫像產生法重覆進行之處理係首先根據以m表示之預測畫像產生法，使用區塊blk週邊的視點合成畫像而產生疑似預測畫像QPredm [blk](步驟S1412)。又，和第3圖之步驟S1402不同之點在於：並非使用解碼畫像而是使用視點合成畫像而產生畫像之點。
產生疑似預測畫像之後，將疑似預測畫像和視點合成畫像作比較而求得評價值cost(m)(步驟S1413)。此處之處理僅是將Predm 置換為QPredm ，其餘則和第3圖之步驟S1403相同。亦即，只要為在評價值的計算中將上述之式(1)至式(4)之Predm 置換為QPredm 者，以和解碼側相同為限而可使用任意之方法。
求得評價值之後，則檢查該值是否小於min_cost(步驟S1414)，較小時則以m改寫mode，以cost(m)改寫min_cost(步驟S1415)，轉移至次一預測畫像產生法。若為min_cost以上時，則維持原狀而直接轉移至次一預測畫像產生法。如此，當處理到達結束(end)時之mode即成為對於區塊blk的預測畫像產生法。
預測畫像產生部113係根據該mode，使用積存於解碼畫像記憶體110之區塊blk週邊的解碼畫像而產生預測畫像Pred。又，由於進行預測畫像產生法的評價時係使用視點合成畫像，故和第1圖之多視點畫像編碼裝置100不同，此處係必須進行預測畫像之產生處理。
如此，若於預測畫像產生法的評價中僅使用之視點合成畫像，則產生能平行演算處理之優點。第1圖所示之多視點畫像編碼裝置100為了決定區塊blk之預測畫像產生法，而必須產生區塊blk週邊的解碼畫像。亦即，為了決定區塊blk之預測畫像產生法，必須等待區塊blk週邊的編碼處理結束。但，由於第1實施形態的多視點畫像編碼裝置1002係僅根據視點合成畫像而決定區塊blk之預測畫像產生法，故於各區塊之編碼處理係可獨立而決定預測畫像產生法。
亦即，假定以Pblk 表示對區塊blk之預測畫像產生法之決定處理，以Eblk 表示畫像信號之編碼處理，並依光域掃描之順序而將區塊進行編碼時，多視點畫像編碼裝置100係必須如圖(A)地交互進行處理。另一方面，多視點畫像編碼裝置1002係如圖(B)，可分別獨立而進行處理，故能大幅削減處理時間。
第8圖雖係表示本發明之第1實施形態的預測畫像產生法之決定處理和畫像信號之編碼處理的處理時間為相同之情形，但，即使兩者的處理時間為不同之情形時，亦能削減處理時間。第9圖係表示本發明之第1實施形態的預測畫像產生法之決定處理的處理時間相較於編碼處理的處理時間為更長之情形。第9圖之例係在編碼處理當中，進行複雜的2值化或算術符號化之情形。該情形時，編碼處理可在不須要等待時間的情形下進行。
第10圖係表示本發明之第1實施形態的預測畫像產生法之決定處理的處理時間相較於編碼處理的處理時間為更長之情形。該情形為預測畫像產生法之數量為相當多之情形。該情形時，編碼處理雖必須等待預測畫像產生法之決定，但，由於進行編碼處理時，可進行續接之區塊的預測畫像產生法之決定處理，故能縮短處理時間。此外，預測畫像產生法之決定處理亦於各區塊獨立進行，故藉由平行進行決定預測畫像產生法之處理，亦可在不需等待時間的情形下進行編碼處理。第11圖係表示同時進行2個本發明之第1實施形態的預測畫像產生法的決定處理之情形。
在多視點畫像編碼裝置1002當中，亦可考量視點合成處理之信賴度而設定更適當之預測畫像產生法。該情形時之多視點畫像編碼裝置為第12圖所示。第12圖所示之多視點畫像編碼裝置1003相對於第6圖所示之多視點畫像編碼裝置1002係增加信賴度設定部111。信賴度設定部111係對視點合成畫像予以計算合成之正確度，並將其通知最佳預測畫像產生法決定部112。該信賴度設定部111所進行之處理和第4圖之多視點畫像編碼裝置1001所說明之信賴度設定部111的處理為相同。
[第2實施形態：多視點畫像編碼裝置]
繼而說明有關於本發明之第2實施形態。第13圖係表示本發明之第2實施形態的多視點畫像編碼裝置的構成之區塊圖。多視點畫像編碼裝置200係如第13圖所示，具備編碼對象畫像輸入部201、編碼對象畫像記憶體202、參考視點畫像輸入部203、參考視點畫像記憶體204、視點合成部205、視點合成畫像記憶體206、預測畫像產生法推定部207、預測畫像產生部208、預測資訊編碼部209、畫像信號編碼部210、畫像信號解碼部211、解碼畫像記憶體212、以及多工化(multiplexing)部213。
編碼對象畫像輸入部201係輸入編碼對象畫像。編碼對象畫像記憶體202係積存輸入之編碼對象畫像。參考視點畫像輸入部203係輸入參考視點畫像。參考視點畫像記憶體204係積存輸入之參考視點畫像。視點合成部205係使用參考視點畫像而將編碼對象視點之畫像予以合成。視點合成畫像記憶體206係積存產生之視點合成畫像。
預測畫像產生法推定部207係使用對編碼對象區域之視點合成畫像，推定自對編碼對象區域的週邊之解碼畫像產生編碼對象區域的預測畫像之方法。預測畫像產生部208係使用對編碼對象區域之編碼對象畫像而決定自對編碼對象區域的週邊之解碼畫像產生編碼對象區域的預測畫像之方法，並產生預測畫像。預測資訊編碼部209係根據預測畫像的產生方方法及其推定值，將用以表示預測畫像之產生方法的資訊進行編碼。以下，將該被編碼的資訊稱為預測資訊。
畫像信號編碼部210係使用產生之預測畫像，將編碼對象畫像進行預測編碼。畫像信號解碼部211係使用產生之預測畫像，將產生之編碼資料進行解碼而產生解碼畫像。解碼畫像記憶體212係積存產生之解碼畫像。多工化部213係將預測資訊之編碼資料和畫像信號之編碼資料進行多工化而予以輸出。
第14圖係用以說明本發明之第2實施形態的多視點畫像編碼裝置200的動作之流程圖。根據該流程圖而詳細說明有關於多視點畫像編碼裝置200的執行處理。
首先，由編碼對象畫像輸入部201輸入編碼對象畫像Org，並儲存於編碼對象畫像記憶體202。由參考視點畫像輸入部203輸入和編碼對象畫像Org同時刻以參考視點所拍攝之參考視點畫像Refn (n=1、2、…、N)，並積存於參考視點畫像記憶體204(步驟S201)。此處所輸入之參考視點畫像係將已編碼完成的畫像解碼而得者。此係因藉由使用和解碼裝置所取得之資訊完全相同的資訊，而抑制漂移等之編碼雜訊的產生之故。但，當容許如上所述之編碼雜訊的產生時，亦可輸入編碼前之原件。又，n係表示參考視點之索引，N係可利用之參考視點的數量。
繼而於視點合成部205使用參考視點畫像之畫像信號，將編碼對象畫像和同時刻以相同的視點所拍攝之畫像予以合成，並將產生之視點合成畫像Syn積存於視點合成畫像記憶體206(步驟S202)。此處之處理和第1實施形態之步驟S102相同。
在結束視點合成畫像的產生之後，將編碼對象畫像予以分割，於各區域產生預測畫像，並將編碼對象畫像之畫像信號進行編碼(步驟S203至S212)。亦即，以blk表示編碼對象區塊索引，以numBlks表示總編碼對象區塊數量時，在以0將blk進行初期化之後(步驟S203)，重覆進行以下的處理(步驟S204至步驟S210)並加算1於blk(步驟S211)，直到blk成為numBlks為止(步驟S212)。
又，若能於各區塊進行上述視點合成畫像的產生時，則視點合成畫像的產生亦可作為於各編碼對象區塊重覆進行的處理的一部分。例如，對編碼對象畫像提供深度資訊時，即可於各區塊產生視點合成畫像。
於各編碼對象區塊重覆進行之處理係首先於預測畫像產生法推定部207使用對區塊blk之視點合成畫像Syn[blk]而產生對區塊blk之預測畫像產生法的推定值pmode(步驟S204)。此處之處理和第1實施形態之步驟S104相同。
繼而在預測畫像產生部208使用對區塊blk之編碼對象畫像Org[blk]而決定對區塊blk之預測畫像產生法mode(步驟S205)，使用積存於解碼畫像記憶體212之對區塊blk週邊的解碼畫像而產生對區塊blk之預測畫像Pred[blk](步驟S206)。
決定對區塊blk之預測畫像產生法之處理係將編碼對象畫像Org[blk]視為目標畫像，且於預定之預測方法的集合之中求得用以產生使適合度達成最大化或使乖離度達成最小化的畫面內預測畫像的方法之處理。亦即，此處的處理係使用編碼對象畫像Org[blk]以取代視點合成畫像Syn[blk]，其處理和第1實施形態之步驟S104相同。但，當使用RD成本作為評價值時，則亦必須考量預測資訊的碼量。以pmode表示預測畫像產生法的推定值，以O(pmode、m)表示預測畫像產生法為m時之預測資訊的碼量時，使用RD成本之評價值係以下式(14)予以表示。又，D和R與式(4)相同。
cost(m)=D(m)+λ{R(m)+O(pmode、m)}　式(14)
產生對區塊blk之預測畫像Pred[blk]之處理為和第1實施形態之步驟S105相同的處理。又，同樣地，在步驟S205進行各預測畫像產生法的評價時，亦可積存評價值最小的預測畫像候補，而後在步驟S206中即不以預測方法mode產生預測畫像，而直接將已積存之預測畫像候補作為預測畫像予以設定。
繼而在預測畫像編碼部209依據所取得之預測畫像產生法mode和其推定值pmode將預測資訊進行編碼(步驟S207)。此處係當pmode和mode為相等時，將表示預測為正確的位元旗標(flag)進行編碼，若為不相等時，則將表示預測為不正確的位元旗標、以及用以表示預測畫像產生法的資訊進行編碼。
位元旗標係1位元之二進位資訊，例如預測為正確時可使用1，不正確時則使用0。用以表示預測畫像產生法的資訊可使用固定的表格而予以表示，亦可於各pmode使用不同的表格而予以表示。例如，當預測畫像產生法具有表示預測的方向之資訊時，亦可使用愈接近pmode所示的方向者成為愈短之編碼長度的表格。但，當於各pmode使用不同的表格時，則有必要在解碼側在全部區塊產生pmode而將增加解碼處理的演算量。此外，當pmode和mode為不同時，亦可如H. 264/AVC使用鄰接區塊所使用之預測畫像產生法而產生第2預測值，且將用以表示該第2預測值是否為正確的位元旗標進行編碼。又，亦可使用表格等而將預測畫像產生法予以二值化之後，使用算術編碼而進行編碼。此時，亦可如H. 264/AVC產生因應於鄰接區塊的狀況之情境(context)，且於各情境控制0/1的產生機率而進行編碼。
繼而在畫像信號編碼部210，將對區塊blk之畫像信號Org[blk]進行預測編碼(步驟S208)。編碼係可使用任意之方法。MPEG-2或H.264/AVC等之一般的編碼係對區塊blk之畫像信號和預測畫像之差分信號(Org[blk]-Pred[blk])，依序實施DCT等之頻率變換、量子化、2值化、熵編碼而進行編碼。又，此處之處理係和第1實施形態之步驟S106相同。
繼而在畫像信號解碼部211，使用編碼結果所取得之編碼資料和預測畫像，對區塊blk之畫像信號進行解碼，並將解碼結果之解碼畫像Dec[blk]積存於解碼畫像記憶體212(步驟S209)。此處係使用對應於編碼時所用的方法。例如，若為MPEG-2或H.264/AVC等之一般的編碼時，則對編碼資料依序實施熵解碼、反2值化、反量子化、IDCT等之頻率逆變換，對取得之2次元信號增加預測信號，最後於畫素值之值域進行截波處理，藉此而將畫像信號進行解碼。解碼所取得之畫像信號係被使用於用以產生將另外的區塊進行編碼時之預測畫像。又，此處之處理和第1實施形態之步驟S107相同。
最後在多工化部213，將預測資訊的編碼資料、以及畫像信號的編碼資料予以多工化而輸出(步驟S210)。又，此處雖係於各區塊分別進行多工化，但，待全部區塊結束之後再進行多工化亦可。但，該情形時，除了必須將編碼資料予以緩衝(buffering)之後再進行多工化之外，視多工化的方法亦有解碼側必須在接收全部的編碼資料之後再進行反多工化的情形。
第2實施形態雖係作成在全部的畫素當中，能以相同程度的精度產生視點合成畫像，但，亦可考量視點合成的正確度而進行預測畫像產生法之評價。
第15圖係表示使用本發明之第2實施形態的視點合成的正確度而決定預測畫像產生法時之多視點畫像編碼裝置之區塊圖。第15圖所示的多視點畫像編碼裝置2001和第13圖所示的多視點畫像編碼裝置200間的不同點為：增加信賴度設定部215，係對視點合成畫像計算合成之正確度而將其通知預測畫像產生法推定部207。
使用信賴度時，於步驟S204推定預測畫像產生法時，首先，計算對區塊blk之視點合成畫像的信賴度，使用其信賴度和對區塊blk之視點合成畫像Syn[blk]，而產生對區塊blk之預測畫像產生法的推定值pmode。計算信賴度之處理和第1實施形態之步驟S1035相同，使用信賴度而產生預測畫像產生法的推定值之處理係僅使其產生之值成為預測畫像產生法的推定值而和第1實施形態之步驟S104’相同。
第2實施形態雖係於推定預測畫像產生法時使用積存於解碼畫像記憶體212的區塊blk週邊之已編碼完成的畫素而進行評價，但，不使用解碼畫像而僅使用視點合成畫像進行評價亦可。
第16圖係表示僅根據本發明之第2實施形態的多視點合成畫像而決定預測畫像產生法時之多視點畫像編碼裝置之區塊圖。第16圖所示之多視點畫像編碼裝置2002和第13圖所示之多視點畫像編碼裝置200不同之點在於：往預測畫像產生法推定部207的輸入成為僅有視點合成畫像。
該情形時的推定預測畫像產生法之處理(步驟S204)和第1實施形態的第7圖之處理流程所示之處理相同。其中，求得預測畫像產生法的推定值pmode以取代預測畫像產生法mode。
如此，藉由於預測畫像產生法的評價僅使用視點合成畫像，即產生能平行演算處理之優點。多視點畫像編碼裝置200為了決定區塊blk之預測畫像產生法，而必須產生區塊blk週邊的解碼畫像，亦即，為了決定區塊blk之預測畫像產生法，必須等待區塊blk週邊的編碼處理結束。但，由於多視點畫像編碼裝置2002係僅根據視點合成畫像而決定區塊blk之預測畫像產生法，故於各區塊之編碼處理可獨立而決定預測畫像產生法。
在多視點畫像編碼裝置2002當中，亦可考量視點合成處理之信賴度而設定更適當之預測畫像產生法。該情形時之裝置構成則如第17圖所示之多視點畫像編碼裝置2003。
[第3實施形態：多視點畫像解碼裝置]
繼而說明有關於本發明之第3實施形態。第18圖係表示本發明之第3實施形態的多視點畫像解碼裝置的構成之區塊圖。多視點畫像解碼裝置300係如第18圖所示，具備編碼資料輸入部301、編碼資料記憶體302、參考視點畫像輸入部303、參考視點畫像記憶體304、視點合成部305、視點合成畫像記憶體306、最佳預測畫像產生部307、畫像信號解碼部308、以及解碼畫像記憶體309。
編碼資料輸入部301係輸入成為解碼對象之視點的畫像之編碼資料。以下，將成為該解碼對象之視點稱為解碼對象視點，將該解碼之畫像稱為解碼對象畫像。編碼資料記憶體302係積存輸入之編碼資料。
參考視點畫像輸入部303其解碼對象視點係自另外的視點，輸入同時刻拍攝相同的被攝體之畫像。以下，將有別於該解碼對象視點稱為參考視點，將該畫像稱為參考視點畫像。參考視點畫像記憶體304係積存輸入之參考視點畫像。視點合成部305係使用參考視點畫像而合成在解碼對象視點的畫像予以合成。以下，將該合成之畫像稱為視點合成畫像。視點合成畫像記憶體306係積存產生之視點合成畫像。
最佳預測畫像產生部307係使用對解碼對象區域之視點合成畫像，自對編碼對象區域的週邊之解碼畫像而產生解碼對象區域之預測畫像。畫像信號解碼部308係使用產生之預測畫像而將輸入之編碼資料進行解碼而產生解碼畫像。解碼畫像記憶體309係積存產生之解碼畫像。
第19圖係用以說明第3實施形態的多視點畫像解碼裝置300的動作之流程圖。根據該流程圖而詳細說明有關於多視點畫像解碼裝置300的執行處理。
首先，由編碼資料輸入部301輸入解碼對象畫像之編碼資料，並儲存於編碼資料記憶體302。由參考視點畫像輸入部303輸入和解碼對象畫像同時刻以參考視點所拍攝之參考視點畫像Refn (n=1、2、…、N)，並積存於參考視點畫像記憶體304(步驟S301)。此處所輸入之參考視點畫像和編碼側所使用者為相同。此係因藉由使用相同的資訊，而抑制漂移等之編碼雜訊的產生之故。但，當容許上述編碼雜訊的產生時，亦可輸入和編碼側不同者。又，n係表示參考視點之索引，N係可利用之參考視點的數量。
繼而於視點合成部305使用參考視點畫像之畫像信號，將解碼對象畫像和同時刻以相同的視點所拍攝之畫像予以合成，並將產生之視點合成畫像Syn積存於視點合成畫像記憶體306(步驟S302)。該處理和第1實施形態之步驟S102之處理相同。又，表示進行視點合成處理所必需之攝影機的位置關係或攝影機的投影製程之攝影機參數有被編碼時，則必須事前將其解碼。
在結束視點合成畫像的產生之後，將解碼對象畫像予以分割，於各區域產生預測畫像，並根據編碼資料而解碼出解碼對象畫像(步驟S303至S308)。亦即，以blk表示解碼對象區塊索引，以numBlks表示總解碼對象區塊數量時，在將blk進行初期化為0之後(步驟S303)，重覆進行以下的處理(步驟S304至步驟S306)，且加算1於blk(步驟S307)，直到blk成為numBlks為止(步驟S308)。
又，當能於各區塊分別進行上述視點合成畫像的產生時，則視點合成畫像的產生亦可作為於各解碼對象區塊進行的重覆處理的一部分。例如，當提供有對解碼對象畫像的深度資訊時，即可於各區塊分別產生視點合成畫像。
於各解碼對象區塊進行之重覆處理，首先係於最佳預測畫像產生部307使用對區塊blk之視點合成畫像Syn[blk]，而決定對區塊blk之預測畫像產生法mode(步驟S304)，接著使用積存於解碼畫像記憶體309之區塊blk週邊的解碼畫像而產生對區塊blk之預測畫像Pred[blk](步驟S305)。此處之處理係分別和第1實施形態之步驟S104、以及步驟S105相同。
取得預測畫像之後，以畫像信號解碼部308使用編碼資料和預測畫像而將對區塊blk之畫像信號進行解碼(步驟S306)。此處係使用對應於編碼時所用的方法。例如，若為MPEG-2或H. 264/AVC等之一般的編碼時，則對編碼資料依序實施熵解碼、反2值化、反量子化、IDCT等之頻率逆變換，對取得之2次元信號增加預測信號，最後於畫素值之值域進行截波處理，藉此而將畫像信號進行解碼。解碼所取得之畫像信號Dec[blk]係於成為多視點畫像解碼裝置300之輸出的同時，亦為了使用於另外的區塊之預測畫像產生而積存於解碼畫像記憶體309。
第3實施形態，雖係作成在全部的畫素當中，能以相同程度的精度而產生視點合成畫像，但，亦可考量視點合成的正確度而進行預測畫像產生法之評價。其中，是否考量視點合成的正確度之點則必須和編碼側相同。此係因為了防止漂移等之編碼雜訊的產生之故。
第20圖係表示使用本發明之第3實施形態的視點合成的正確度而決定預測畫像產生法時之多視點畫像解碼裝置之區塊圖。第20圖所示的多視點畫像解碼裝置3001和第18圖所示的多視點畫像解碼裝置300，其不同點為增加對視點合成畫像計算合成之正確度且將其通知最佳預測畫像產生部307之信賴度設定部310。
第21圖係表示本發明之第3實施形態之多視點畫像解碼裝置3001之處理流程圖。和第19圖所示之多視點畫像解碼裝置300的處理流程之不同點，在於各解碼處理區塊計算視點合成畫像之信賴度(步驟S3035)，使用其信賴度和對區塊blk之視點合成畫像Syn[blk]，而決定對區塊blk之預測畫像產生法mode(步驟S304’)之點。此處之處理係分別和第1實施形態之步驟S1035、以及S104’相同。
信賴度可使用為第1實施形態中所說明者等，只要為能表示合成正確進行之程度者即可，亦可使用任意之定義。但，必須使用和編碼側所使用的定義為相同者。此係因為能防止漂移等之編碼雜訊的產生之故。
第3實施形態雖係於決定預測畫像產生法時積存於解碼畫像記憶體309，並使用區塊blk週邊已編碼完成的畫素而進行評價，但，不使用解碼畫像而僅使用視點合成畫像進行評價亦可。
第22圖係表示僅根據本發明之第3實施形態的視點合成畫像而決定預測畫像產生法時之多視點畫像解碼裝置之區塊圖。第22圖所示之多視點畫像解碼裝置3002和第18圖所示之多視點畫像解碼裝置300不同之點在於：最佳預測畫像產生部307係分割成最佳預測畫像產生法決定部311、以及預測畫像產生部312之點。
最佳預測畫像產生法決定部311係具有預測畫像候補產生部、以及預測畫像評價部的功能部分，且僅使用視點合成畫像而自預定的預測畫像產生法之中決定1個適合於對區塊blk產生預測畫像的方法。預測畫像產生部312係根據提供之預測畫像產生法而使用被積存於解碼畫像記憶體309的區塊blk週邊的解碼畫像而產生預測畫像。
多視點畫像解碼裝置3002之處理流程雖和第19圖所示之多視點畫像解碼裝置300之處理流程相同，但，步驟S304之詳細處理則不同。此處係根據第7圖所示之處理流程而於最佳預測畫像產生法決定部311決定預測畫像產生法。處理的內容和第1實施形態當中使用第7圖而說明者相同。
預測畫像產生部312係根據該mode，使用被積存於解碼畫像記憶體309之區塊blk週邊的解碼畫像而產生預測畫像Pred。又，由於決定預測畫像產生法時所產生之畫像係使用視點合成畫像之疑似預測畫像，故和第18圖之多視點畫像解碼裝置300不同，此處係必須進行預測畫像之產生處理。
如此，由於在預測畫像產生法的評價中僅使用視點合成畫像，故即產生能平行演算處理之優點。於多視點畫像解碼裝置300中，為了決定區塊blk之預測畫像產生法，於解碼畫像記憶體309必須積存有區塊blk週邊的解碼畫像，亦即，為了決定區塊blk之預測畫像產生法，必須等待區塊blk週邊的解碼處理結束。但，由於多視點畫像解碼裝置3002係僅根據視點合成畫像而決定區塊blk之預測畫像產生法，故於各區塊之畫像信號的解碼處理可獨立決定預測畫像產生法。
亦即，假定以Pblk 表示對區塊blk之預測畫像產生法之決定處理，以Dblk 表示畫像信號之解碼處理，並依光域掃描之順序而將區塊進行解碼時，則多視點畫像編碼裝置300係必須如第23圖(A)般地交互進行處理。另一方面，多視點畫像解碼裝置3002係如第23圖(B)般地可分別獨立而進行處理，且能大幅削減處理時間。第23圖中，預測畫像產生法之決定處理和畫像信號的解碼處理的時間雖為相同，但，即使兩者的時間為不相同之情形時，亦能藉由平行化而大幅削減處理時間。
在多視點畫像解碼裝置3002當中，亦可考量視點合成處理之信賴度而設定更適當之預測畫像產生法。該情形時之裝置構成係如第24圖所示之多視點畫像解碼裝置3003。
[第4實施形態：多視點畫像解碼裝置]
繼而說明有關於本發明之第4實施形態。第25圖係表示本發明之第4實施形態的多視點畫像解碼裝置的構成之區塊圖。多視點畫像解碼裝置400係如第25圖所示，具備編碼資料輸入部401、編碼資料記憶體402、參考視點畫像輸入部403、參考視點畫像記憶體404、視點合成部405、視點合成畫像記憶體406、分離部407、預測資訊解碼部408、預測畫像產生法推定部409、預測畫像產生部410、畫像信號解碼部411、以及解碼畫像記憶體412。
編碼資料輸入部401係輸入解碼對象畫像之編碼資料。編碼資料記憶體402係積存輸入之編碼資料。參考視點畫像輸入部403係輸入參考視點畫像。參考視點畫像記憶體404係積存輸入之參考視點畫像。視點合成部405係使用參考視點畫像而將編碼對象視點之畫像予以合成。視點合成畫像記憶體406係積存產生之視點合成畫像。分離部407係將輸入之編碼資料分離成預測資訊的編碼資料、以及畫像信號的編碼資料。預測資訊解碼部408係將預測資訊的編碼資料進行解碼，產生用以表示預測畫像之產生法的資訊。
預測畫像產生法推定部409係使用對解碼對象區域之視點合成畫像而自對解碼對象區域的週邊之解碼畫像而推定用以產生解碼對象區域之預測畫像之方法。預測畫像產生部410係根據提供之預測畫像產生法而自對解碼對象區域的週邊之解碼畫像產生解碼對象區域之預測畫像。畫像信號解碼部411係使用產生之預測畫像，將編碼資料進行解碼而產生解碼畫像。解碼畫像記憶體412係積存產生之解碼畫像。
第26圖係用以說明本發明之第4實施形態的多視點畫像解碼裝置400的動作之流程圖。根據該流程圖而詳細說明有關於多視點畫像解碼裝置400的執行處理。
首先，由編碼資料輸入部401輸入解碼對象畫像的編碼資料，並儲存於編碼資料記憶體402，由參考視點畫像輸入部403輸入和解碼對象畫像同時刻以參考視點所拍攝之參考視點畫像Refn (n=1、2、…、N)，並積存於參考視點畫像記憶體404(步驟S401)。此處所輸入之參考視點畫像和編碼側所使用者相同。又，n係表示參考視點之索引，N係可利用之參考視點的數量。
繼而於視點合成部405使用參考視點畫像之畫像信號，將解碼對象畫像和同時刻以相同的視點所拍攝之畫像予以合成，並將產生之視點合成畫像Syn積存於視點合成畫像記憶體406(步驟S402)。此處之處理和第3實施形態之步驟S302相同。
在結束視點合成畫像的產生之後，將解碼對象畫像予以分割，於各區域產生預測畫像，並根據編碼資料將解碼對象畫像之畫像信號進行解碼(步驟S403至S412)。亦即，以blk表示解碼對象區塊索引，以numBlks表示總編碼對象區塊數量時，在將blk進行初期化為0之後(步驟S403)，重覆進行以下的處理(步驟S404至步驟S410)，且加算1於blk(步驟S411)，直到blk成為numBlks為止(步驟S412)。
又，若能於各區塊進行上述視點合成畫像的產生，則視點合成畫像的產生亦可作為於各解碼對象區塊重覆進行的處理的一部分。例如，當提供有對解碼對象畫像的深度資訊時，即可於各區塊產生視點合成畫像。
於各解碼對象區塊重覆進行之處理首先係於分離部407將對區塊blk之編碼資料分離成預測資訊的編碼資料、以及畫像信號的編碼資料(步驟S404)。繼而在預測資訊解碼部408，藉由預測資訊的編碼資料，將表示預測是否正確的預測成否旗標flag進行解碼(步驟S405)。取得預測成否旗標之後，檢查該預測成否旗標(步驟S406)，根據該結果而決定預測畫像產生法(步驟S407、步驟S408)。第26圖之流程係flag為1時則表示預測為正確，flag為0時則表示預測為錯誤。
判斷預測為正確時，在預測畫像產生法推定部409，使用對區塊blk之視點合成畫像Syn[blk]，而推定對區塊blk之預測畫像產生法mode(步驟S407)。此處之處理和第2實施形態之步驟S204相同。其中，所推定之值並非預測畫像產生法之推定值pmode，而是設定為預測畫像產生法mode。
判斷預測為錯誤時，在預測資訊解碼部408，係根據預測資訊的編碼資料而將預測畫像產生法進行解碼(步驟S408)。此處係使用對應於編碼側所進行的方法之方法。亦即，於編碼時，當進行2值化和熵編碼(entropy coding)時，則對編碼資料實施熵解碼(entropy decoding)處理，並由取得之二進位排列進行反2值化，藉此而取得預測畫像產生法mode。
取得預測畫像產生法之後，在預測畫像產生部410，根據預測畫像產生法mode，自積存於解碼畫像記憶體412的區塊blk週邊之解碼畫像而產生對區塊blk之預測畫像Pred[blk](步驟S409)。預測而取得預測畫像產生法時，由於在步驟S407使用各預測畫像產生法而產生預測畫像候補，故亦可積存評價值成為最小的預測畫像候補，並在此將所積存之預測畫像候補設定為預測畫像。又，當預測畫像產生法係進行解碼而取得時，此處則有常時產生預測畫像之必要。
取得預測畫像之後，在畫像信號解碼部411，使用畫像信號之編碼資料和預測畫像，對區塊blk之畫像信號進行解碼(步驟S410)。此處之處理和第3實施形態之步驟S306相同。解碼而取得之解碼畫像係於形成多視點畫像解碼裝置400之輸出的同時，亦為了使用於另外的區塊之預測畫像產生而積存於解碼畫像記憶體412。
又，上述之說明雖係針對常時對畫像全體產生視點合成畫像而說明，但，當能於各區塊分別產生視點合成畫像時，則亦可省略步驟S402，在步驟S407正前僅產生對區塊blk的視點合成畫像。該情形時，不會產生不被使用的視點合成畫像，且能削減解碼處理之演算量。
此外，上述之說明係說明預測畫像產生法mode為不根據預測畫像產生法之推定值pmode的方法而進行編碼。但，亦有根據pmode而改變編碼表格並進行編碼之情形。該情形時之處理流程係表示於第27圖。基本的處理雖為相同，但，第27圖之處理流程並不根據預測成否旗標，而在預測畫像產生法推定部409，使用對區塊blk之視點合成畫像Syn[blk]，產生對區塊blk之預測畫像產生法的推定值pmode(步驟S407’)。此處之處理和第2實施形態之步驟S204相同。此外，根據預測成否旗標而判斷預測為正確時，則將pmode作為預測畫像產生法mode(步驟S407”)，判斷預測為錯誤時，則根據pmode而改變表格，並根據預測資訊的編碼資料而將預測畫像產生法mode進行解碼(步驟S408’)。
第4實施形態，雖係作成在全部的畫素當中，能以相同程度的精度而產生視點合成畫像，但，亦可考量視點合成的正確度而進行預測畫像產生法之評價。第28圖係表示使用本發明之第4實施形態的視點合成的正確度而決定預測畫像產生法時之多視點畫像解碼裝置之區塊圖。第28圖所示的多視點畫像解碼裝置4001和第25圖所示的多視點畫像解碼裝置400，其不同點為：增加信賴度設定部413，係對視點合成畫像計算合成之正確度而通知於預測畫像產生法推定部409。
使用信賴度時，於步驟S407或步驟S407’推定預測畫像產生法時，首先，計算對區塊blk之視點合成畫像之信賴度，使用其信賴度和對區塊blk之視點合成畫像Syn[blk]，而產生對區塊blk之預測畫像產生法mode或其推定值pmode。計算信賴度之處理和第3實施形態之步驟S3035相同，使用信賴度而產生預測畫像產生法或其推定值之處理係僅其產生之值的處理不同，其餘則和第1實施形態之步驟S104’相同。
信賴度係如於第1實施形態中所說明者等，只要為能表示合成正確進行之程度者則亦可使用任意之定義。但，必須使用和編碼側所使用的定義相同者。此係因為能防止漂移等之編碼雜訊的產生之故。
第4實施形態雖係於推定預測畫像產生法時使用被積存於解碼畫像記憶體412的區塊blk的解碼畫像而進行評價，但，亦可不使用解碼畫像，而僅使用視點合成畫像進行評價。第29圖係表示本發明之第4實施形態的僅根據視點合成畫像而決定預測畫像產生法時之多視點畫像解碼裝置之區塊圖。第29圖所示之多視點畫像解碼裝置4002和第25圖所示之多視點畫像解碼裝置400不同之點，在於往預測畫像產生法推定部207的輸入為僅有視點合成畫像之點。
推定該情形時之預測畫像產生法之處理(步驟S407、步驟S407’)和第1實施形態之步驟S104相同，根據第7圖所示之處理流程，在預測畫像產生法推定部409產生預測畫像產生法mode。其中，步驟S407’係求得預測畫像產生法之推定值pmode，以取代預測畫像產生法mode。
如此，當在預測畫像產生法的評價中僅使用之視點合成畫像時，即產生能平行演算處理之優點。多視點畫像解碼裝置400為了決定區塊blk之預測畫像產生法，而必須產生區塊blk週邊的解碼畫像，亦即，為了決定區塊blk之預測畫像產生法，而必須等待區塊blk週邊的解碼處理結束。但，由於多視點畫像解碼裝置4002係僅根據視點合成畫像而決定預測畫像產生法，故於各區塊之畫像信號的解碼處理可獨立而決定預測畫像產生法。
又，在如上所述地提升平行處理性時，於未產生預測畫像產生法之推定值時，亦可於決定預測畫像產生法的處理(步驟S407)之正前，僅對區塊blk、以及疑似預測畫像的產生所使用的區塊blk之週邊畫素產生視點合成畫像。該情形時，不會產生不被使用的視點合成畫像，而能削減解碼處理之演算量。
在多視點畫像解碼裝置4002當中，亦可考量視點合成處理之信賴度而設定更適當之預測畫像產生法。該情形時之裝置構成為如第30圖所示之多視點畫像解碼裝置4003。
上述之第1至第4實施形態雖係說明藉由本發明之內部預測將畫像中的全部區塊進行編碼和解碼之處理，但，亦可將使用於H. 264/AVC Annex. H等之視差補償預測所代表之視角間(inter view)預測和內部預測作轉換，並進行編碼和解碼。該情形時，於各區塊須編碼及解碼用以表示是否有使用內部預測和是否有使用視角間預測的資訊。
上述之第1至第4實施形態雖係說明將多視點畫像進行編碼和解碼之處理，但，亦可藉由對複數之連續的畫像之適應而適用於多視點畫像之編碼和解碼。此外，亦可僅適用於動畫像之一部分的訊框或一部分的區塊。
上述之第1至第4實施形態係說明輸入以參考視點而同時刻拍攝編碼對象畫像或解碼對象畫像的畫像作為參考視點畫像，並利用於視點合成畫像的產生之情形。但，進行多視點動畫像之編碼和解碼時，亦可輸入以參考視點而於與編碼對象畫像或解碼對象畫像不同的時刻拍攝之已編碼或已解碼之畫像，並使用該畫像而產生時空間性之視點合成畫像。輸入於何時刻以參考視點拍攝的畫像係依存於產生視點合成畫像之演算法(algorithm)。其中，為了防止漂移等之編碼雜訊的產生，則必須在編碼側和解碼側輸入並使用相同者。
此外，上述之說明中，預測畫像產生方法雖限定於畫面內預測而說明，但，可輕易地類推為擴張至含有視差補償預測或動向補償預測等之訊框間預測。含有訊框間預測時，亦同樣地從已編碼完成之參考訊框產生預測畫像，並藉由將該預測畫像和視點合成畫像作比較，則亦能同樣地將該預測畫像產生方法進行評價。此外，亦可藉由對參考訊框產生視點合成畫像而產生疑似預測畫像，且將預測畫像產生方法的決定處理、以及畫像信號的編碼/解碼處理進行平行化。藉由進行如此之擴張動作，即可削減表示於各區塊使用畫面內預測和訊框間預測之任意一種的資訊之碼量。
以上說明之多視點畫像編碼、以及多視點畫像解碼之處理亦可藉由電腦和軟體程式而實現，該程式可記錄於可供電腦讀取之記錄媒體而提供，亦可透過網路而提供。
第31圖係表示藉由電腦和軟體程式而構成本發明之第4實施形態的多視點畫像編碼裝置時之硬體的構成例之圖示。本系統係以匯流排(bus)連接下列部分而構成：CPU50，其係執行程式；RAM等之記憶體51，其係儲存CPU50所存取之程式或資料；編碼對象畫像輸入部52(記憶硬體裝置等之畫像信號的記憶部亦可)，其係輸入來自攝影機等之編碼對象的畫像信號；參考視點畫像輸入部53(記憶硬體裝置等之畫像信號的記憶部亦可)，其係例如中介網路而輸入參考視點的畫像信號；程式記憶裝置54，其係儲存於CPU50執行第1圖和第2圖等所說明的處理之軟體程式的多視點畫像編碼程式541；以及編碼資料輸出部55(記憶硬體裝置等之多工化編碼資料的記憶部亦可)，其係例如中介網路而輸出藉由CPU 50執行讀取(load)於記憶體51之多視點畫像編碼程式541而產生的編碼資料。
雖省略圖示，但，另外亦設有視點合成畫像記憶部、預測畫像候補記憶部、預測畫像記憶部、編碼資料記憶部、以及解碼畫像記憶部等之硬體而被利用於本方法之實施。此外，亦使用信賴度記憶部、疑似預測畫像記憶部、預測畫像產生法記憶部、預測畫像產生方法推定值記憶部、畫像信號編碼資料記憶部、以及預測資訊編碼資料記憶部。
第32圖係表示藉由電腦和軟體程式而構成本發明之第4實施形態的多視點畫像解碼裝置時之硬體的構成例之圖示。本系統係以匯流排連接下列部分而構成：CPU60，其係執行程式；RAM等之記憶體61，其係儲存CPU60所存取之程式或資料；編碼資料輸入部62(記憶硬體裝置等之多工化編碼資料的記憶部亦可)，其係多視點畫像編碼裝置根據本方法而輸入編碼之編碼資料；參考視點畫像輸入部63(記憶硬體裝置等之畫像信號的記憶部亦可)，其係例如中介網路而輸入參考視點的畫像信號；程式記憶裝置64，其係儲存於CPU60執行第18圖和第19圖等所說明的處理之軟體程式的多視點畫像解碼程式641；以及解碼畫像輸出部65，其係藉由CPU60執行讀取載於記憶體61之多視點畫像編碼程式641，將編碼資料進行解碼而取得之解碼畫像輸出於再生裝置等。
雖省略圖示，但，另外亦設有視點合成畫像記憶部、預測畫像候補記憶部、預測畫像記憶部、以及解碼畫像記憶部等之硬體而被利用於本方法之實施。此外，亦使用信賴度記憶部、疑似預測畫像記憶部、預測畫像產生法記憶部、預測畫像產生方法推定值記憶部、預測成否旗標記憶部、畫像信號編碼資料記憶部、以及預測資訊編碼資料記憶部。
以上，雖係參閱圖式而說明本發明之實施形態，但，上述之實施形態係僅為本發明之例示，本發明並不限定於上述之實施形態。因此，亦可進行不脫離本發明的精神、以及技術的範圍之範圍的構成要素之追加、省略、轉換、以及另外的變更。
(產業上之可利用性)
根據本發明，即能削減將表示將區塊內的畫像信號進行畫面內預測編碼時的畫面內預測方法的資訊予以編碼之際所必需之編碼量。
100．．．多視點畫像編碼裝置
101．．．編碼對象畫像輸入部
102．．．編碼對象畫像記憶體
103．．．參考視點畫像輸入部
104．．．參考視點畫像記憶體
105．．．視點合成部
106．．．視點合成畫像記憶體
107．．．最佳預測畫像產生部
108．．．畫像信號編碼部
109．．．畫像信號解碼部
110．．．解碼畫像記憶體
111．．．信賴度設定部
112．．．最佳預測畫像產生法決定部
113．．．預測畫像產生部
200．．．多視點畫像編碼裝置
201．．．編碼對象畫像輸入部
202．．．編碼對象畫像記憶體
203．．．參考視點畫像輸入部
204．．．參考視點畫像記憶體
205．．．視點合成部
206．．．視點合成畫像記憶體
207．．．預測畫像產生法推定部
208．．．預測畫像產生部
209．．．預測資訊編碼部
210．．．畫像信號編碼部
211．．．畫像信號解碼部
212．．．解碼畫像記憶體
213．．．多工化部
215．．．信賴度設定部
300．．．多視點畫像解碼裝置
301．．．編碼資料輸入部
302．．．編碼資料記憶體
303．．．參考視點畫像輸入部
304．．．參考視點畫像記憶體
305．．．視點合成部
306．．．視點合成畫像記憶體
307．．．最佳預測畫像產生部
308．．．畫像信號解碼部
309．．．解碼畫像記憶體
310．．．信賴度設定部
311．．．最佳預測畫像產生法決定部
312．．．預測畫像產生部
400．．．多視點畫像解碼裝置
401．．．編碼資料輸入部
402．．．編碼資料記憶體
403．．．參考視點畫像輸入部
404．．．參考視點畫像記憶體
405．．．視點合成部
406．．．視點合成畫像記憶體
407．．．分離部
408．．．預測資訊解碼部
409．．．預測畫像產生法推定部
411．．．畫像信號解碼部
410．．．預測畫像產生部
412．．．解碼畫像記憶體
413．．．信賴度設定部
1001．．．多視點畫像編碼裝置
1002．．．多視點畫像編碼裝置
1003．．．多視點畫像編碼裝置
2001．．．多視點畫像編碼裝置
2002．．．多視點畫像編碼裝置
2003．．．多視點畫像編碼裝置
3001．．．多視點畫像解碼裝置
3002．．．多視點畫像解碼裝置
3003．．．多視點畫像解碼裝置
4001．．．多視點畫像解碼裝置
4002．．．多視點畫像解碼裝置
4003．．．多視點畫像解碼裝置
第1圖表示本發明之第1實施形態的多視點畫像編碼裝置的構成之區塊圖。
第2圖表示本發明之第1實施形態的多視點畫像編碼裝置之處理流程圖。
第3圖表示決定本發明之第1實施形態的預測畫像產生之處理的詳細之流程圖。
第4圖表示本發明之第1實施形態的多視點畫像編碼裝置之另外的構成例之區塊圖。
第5圖本發明之第1實施形態之第4圖所示的多視點畫像編碼裝置之處理流程圖。
第6圖表示本發明之第1實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第7圖本發明之第1實施形態的最佳預測畫像產生法決定部所進行之處理的詳細之流程圖。
第8圖表示本發明之第1實施形態的多視點畫像編碼裝置(第1圖和第6圖)的動作比較之圖示。
第9圖表示本發明之第1實施形態的多視點畫像編碼裝置(第1圖和第6圖)的動作比較之圖示。
第10圖表示本發明之第1實施形態的多視點畫像編碼裝置(第1圖和第6圖)的動作比較之圖示。
第11圖表示本發明之第1實施形態的多視點畫像編碼裝置(第1圖和第6圖)的動作比較之圖示。
第12圖表示本發明之第1實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第13圖表示本發明之第2實施形態的多視點畫像編碼裝置的構成之區塊圖。
第14圖表示本發明之第2實施形態的多視點畫像編碼裝置之處理流程圖。
第15圖表示本發明之第2實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第16圖表示本發明之第2實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第17圖表示本發明之第2實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第18圖表示本發明之第3實施形態的多視點畫像解碼裝置的構成之區塊圖。
第19圖表示本發明之第3實施形態的多視點畫像解碼裝置之處理流程圖。
第20圖表示本發明之第3實施形態的多視點畫像解碼裝置之另外的構成例之區塊圖。
第21圖本發明之第3實施形態之第20圖所示的多視點畫像解碼裝置之處理流程圖。
第22圖表示本發明之第3實施形態的多視點畫像解碼裝置之更另外的構成例之區塊圖。
第23圖表示本發明之第3實施形態的多視點畫像解碼裝置(第18圖和第22圖)的動作比較之圖示。
第24圖表示本發明之第3實施形態的多視點畫像解碼裝置之更另外的構成例之區塊圖。
第25圖表示本發明之第4實施形態的多視點畫像解碼裝置的構成之區塊圖。
第26圖表示本發明之第4實施形態的多視點畫像解碼裝置之處理流程圖。
第27圖表示本發明之第4實施形態的多視點畫像解碼裝置之另外的處理例之處理流程圖。
第28圖表示本發明之第4實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第29圖表示本發明之第4實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第30圖表示本發明之第4實施形態的多視點畫像編碼裝置之更另外的構成例之區塊圖。
第31圖表示藉由電腦和軟體程式而構成本發明之第4實施形態的多視點畫像編碼裝置時之硬體的構成例之圖示。
第32圖表示藉由電腦和軟體程式而構成本發明之第4實施形態的多視點畫像解碼裝置時之硬體的構成例之圖示。
100．．．多視點畫像編碼裝置
101．．．編碼對象畫像輸入部
102．．．編碼對象畫像記憶體
103．．．參考視點畫像輸入部
104．．．參考視點畫像記憶體
105．．．視點合成部
106．．．視點合成畫像記憶體
107．．．最佳預測畫像產生部
108．．．畫像信號編碼部
109．．．畫像信號解碼部
110．．．解碼畫像記憶體

Claims (18)

  1. 一種多視點畫像編碼方法，其係於對多視點畫像之編碼對象視點的畫像進行編碼時，使用以和前述編碼對象視點不同之1個或複數的參考視點於和編碼對象畫像同時刻拍攝之已編碼完成的參考視點畫像，於將編碼對象畫像予以分割之各區域進行預測編碼，其特徵在於：具有：視點合成畫像產生步驟，其係使用前述參考視點畫像而產生前述編碼對象視點之視點合成畫像；預測畫像候補產生步驟，其係於各編碼對象區域，根據週邊之已編碼完成的區域之解碼畫像而產生複數的畫面內預測畫像候補；預測畫像候補評價步驟，其係使用前述視點合成畫像而決定前述畫面內預測畫像候補之評價值；預測畫像產生步驟，其係根據前述評價值，自前述畫面內預測畫像候補而產生畫面內預測畫像；以及畫像信號編碼步驟，其係使用前述畫面內預測畫像而將編碼對象區域的前述編碼對象畫像進行預測編碼。
  2. 如申請專利範圍第1項所述之多視點畫像編碼方法，其中更含有信賴度設定步驟，其係針對前述視點合成畫像的各畫素，設定表示前述視點合成畫像的正確度之信賴度，前述預測畫像候補評價步驟係根據前述信賴度而 加權於評價值。
  3. 如申請專利範圍第1項或第2項所述之多視點畫像編碼方法，其中前述預測畫像候補產生步驟係於各編碼對象區域，根據週邊之已編碼完成的區域之視點合成畫像而產生複數的畫面內預測畫像候補，前述預測畫像產生步驟係根據前述評價值，自編碼對象區域週邊之已編碼完成的區域之解碼畫像而產生畫面內預測畫像。
  4. 如申請專利範圍第1項或第2項所述之多視點畫像編碼方法，其中更含有：預測畫像產生法決定步驟，其係於各編碼對象區域，使用編碼對象畫像而決定畫面內預測畫像的產生方法；預測畫像產生法推定步驟，其係根據前述評價值而推定前述畫面內預測畫像的產生方法；以及預測方法編碼步驟，其係於前述畫面內預測畫像的產生方法之推定值和前述預測畫像的產生方法相等時，將推定為正確的資訊進行編碼，若非如此時，則將推定為錯誤的資訊、以及表示前述預測畫像的產生方法的資訊進行編碼，前述預測畫像產生步驟係根據前述預測畫像的產生方法，自編碼對象區域週邊之已編碼完成的區域之解 碼畫像而產生畫面內預測畫像。
  5. 一種多視點畫像解碼方法，其係於對多視點畫像之解碼對象視點的畫像進行解碼時，使用以和前述解碼對象視點不同之1個或複數的參考視點在和解碼對象畫像同時刻拍攝之已解碼完成的參考視點畫像，於將解碼對象畫像予以分割之各區域進行解碼對象畫像之解碼，其特徵在於：具有：視點合成畫像產生步驟，其係使用前述參考視點畫像而產生前述解碼對象視點之視點合成畫像；預測畫像候補產生步驟，其係於各解碼對象區域，根據週邊之已解碼完成的區域之解碼畫像而產生複數的畫面內預測畫像候補；預測畫像候補評價步驟，其係使用前述視點合成畫像而決定前述畫面內預測畫像候補之評價值；預測畫像產生步驟，其係根據前述評價值，自前述畫面內預測畫像候補而產生畫面內預測畫像；以及畫像信號解碼步驟，其係將前述畫面內預測畫像作為預測信號，根據編碼資料而將預測編碼之解碼對象畫像進行解碼。
  6. 如申請專利範圍第5項所述之多視點畫像解碼方法，其中更含有信賴度設定步驟，其係針對前述視點合成畫像的各畫素，設定表示前述視點合成畫像的正確度之信 賴度，前述預測畫像候補評價步驟係根據前述信賴度而加權於評價值。
  7. 如申請專利範圍第5項或第6項所述之多視點畫像解碼方法，其中前述預測畫像候補產生步驟係於各解碼對象區域，根據週邊之已解碼完成的區域之視點合成畫像而產生複數的畫面內預測畫像候補，前述預測畫像產生步驟係根據前述評價值，自解碼對象區域週邊之已編碼完成的區域之解碼畫像而產生畫面內預測畫像。
  8. 如申請專利範圍第5項或第6項所述之多視點畫像解碼方法，其中更含有：預測畫像產生法推定步驟，其係根據前述評價值而推定畫面內預測畫像的產生方法；旗標解碼步驟，其係從編碼資料將表示前述畫面內預測畫像的產生方法之推定值是否正確的旗標進行解碼；以及預測畫像產生法設定步驟，其係於前述旗標表示推定值為正確時，將前述畫面內預測畫像的產生方法之推定值作為前述預測畫像的產生方法而設定，若非如此時，則從編碼資料將表示前述畫面內預測畫像的產生方法的資訊進行解碼所得之值作為前述預測畫像的產生 方法而設定，前述預測畫像產生步驟係根據前述預測畫像產生法，自解碼對象區域週邊之已解碼完成的區域之解碼畫像而產生畫面內預測畫像。
  9. 一種多視點畫像編碼裝置，其係於對多視點畫像之編碼對象視點的畫像進行編碼時，使用以和前述編碼對象視點不同之1個或複數的參考視點在和編碼對象畫像同時刻拍攝之已編碼完成的參考視點畫像，於將編碼對象畫像予以分割之各區域進行預測編碼，其特徵在於：具備：視點合成畫像產生部，其係使用前述參考視點畫像而產生前述編碼對象視點之視點合成畫像；預測畫像候補產生部，其係於各編碼對象區域，根據週邊之已編碼完成的區域之解碼畫像而產生複數的畫面內預測畫像候補；預測畫像候補評價部，其係使用前述視點合成畫像而決定前述畫面內預測畫像候補之評價值；預測畫像產生部，其係根據前述評價值，自前述畫面內預測畫像候補而產生畫面內預測畫像；以及畫像信號編碼部，其係使用前述畫面內預測畫像而將編碼對象區域的前述編碼對象畫像進行預測編碼。
  10. 如申請專利範圍第9項所述之多視點畫像編碼裝置，其中更含有信賴度設定部，其係針對前述視點合成畫像 的各畫素，設定表示前述視點合成畫像的正確度之信賴度，前述預測畫像候補評價部係根據前述信賴度而加權於評價值。
  11. 如申請專利範圍第9項或第10項所述之多視點畫像編碼裝置，其中前述預測畫像候補產生部係於各編碼對象區域，根據週邊之已編碼完成的區域之視點合成畫像而產生複數的畫面內預測畫像候補，前述預測畫像產生部係根據前述評價值，自編碼對象區域週邊之已編碼完成的區域之解碼畫像而產生畫面內預測畫像。
  12. 如申請專利範圍第9項或第10項所述之多視點畫像編碼裝置，其中更含有：預測畫像產生法決定部，其係於各編碼對象區域，使用編碼對象畫像而決定畫面內預測畫像的產生方法；預測畫像產生法推定部，其係根據前述評價值而推定前述畫面內預測畫像的產生方法；以及預測方法編碼部，其係於前述畫面內預測畫像的產生方法之推定值和前述預測畫像的產生方法相等時，將推定為正確的資訊進行編碼，若非如此時，則將推定為錯誤的資訊、以及表示前述預測畫像的產生方法的資訊進行編碼， 前述預測畫像產生部係根據前述預測畫像的產生方法，自編碼對象區域週邊之已編碼完成的區域之解碼畫像而產生畫面內預測畫像。
  13. 一種多視點畫像解碼裝置，其係於對多視點畫像之解碼對象視點的畫像進行解碼時，使用以和前述解碼對象視點不同之1個或複數的參考視點在和解碼對象畫像同時刻拍攝之已解碼完成的參考視點畫像，於將解碼對象畫像予以分割之各區域將解碼對象畫像進行解碼，其特徵在於：具備：視點合成畫像產生部，其係使用前述參考視點畫像而產生前述解碼對象視點之視點合成畫像；預測畫像候補產生部，其係於各解碼對象區域，根據週邊之已解碼完成的區域之解碼畫像而產生複數的畫面內預測畫像候補；預測畫像候補評價部，其係使用前述視點合成畫像而決定前述畫面內預測畫像候補之評價值；預測畫像產生部，其係根據前述評價值，自前述畫面內預測畫像候補而產生畫面內預測畫像；以及畫像信號解碼部，其係將前述畫面內預測畫像作為預測信號，且從編碼資料而將被預測編碼的解碼對象畫像進行解碼。
  14. 如申請專利範圍第13項所述之多視點畫像解碼裝置，其中 更含有信賴度設定部，其係針對前述視點合成畫像的各畫素，設定表示前述視點合成畫像的正確度之信賴度，前述預測畫像候補評價部係根據前述信賴度而加權於評價值。
  15. 如申請專利範圍第13項或第14項所述之多視點畫像解碼裝置，其中前述預測畫像候補產生部係於各解碼對象區域，根據週邊之已解碼完成的區域之視點合成畫像而產生複數的畫面內預測畫像候補，前述預測畫像產生部係根據前述評價值，自解碼對象區域週邊之已編碼完成的區域之解碼畫像而產生畫面內預測畫像。
  16. 如申請專利範圍第13項或第14項所述之多視點畫像解碼裝置，其中更含有：預測畫像產生法推定部，其係根據前述評價值而推定前述畫面內預測畫像的產生方法；旗標解碼部，其係從編碼資料將表示前述畫面內預測畫像的產生方法之推定值是否為正確的旗標進行解碼；以及預測畫像產生法設定部，其係於前述旗標表示推定值為正確時，將前述畫面內預測畫像的產生方法之推定值作為前述預測畫像的產生方法而設定，若非如此時， 則從編碼資料將表示前述畫面內預測畫像的產生方法的資訊進行解碼且將取得之值作為前述預測畫像的產生方法而設定，前述預測畫像產生部係根據前述預測畫像的產生方法，自解碼對象區域週邊之已解碼完成的區域之解碼畫像而產生畫面內預測畫像。
  17. 一種多視點畫像編碼程式，其特徵在於：用以於電腦執行申請專利範圍第1項至第4項中任一項所述之多視點畫像編碼方法。
  18. 一種多視點畫像解碼程式，其特徵在於：用以於電腦執行申請專利範圍第5項至第8項中任一項所述之多視點畫像解碼方法。
TW100144827A 2010-12-06 2011-12-06 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式 TWI499277B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010271259A JP5281632B2 (ja) 2010-12-06 2010-12-06 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
TW201233142A TW201233142A (en) 2012-08-01
TWI499277B true TWI499277B (zh) 2015-09-01

Family

ID=46207122

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100144827A TWI499277B (zh) 2010-12-06 2011-12-06 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式

Country Status (9)

Country Link
US (1) US20130301721A1 (zh)
EP (1) EP2651136A4 (zh)
JP (1) JP5281632B2 (zh)
KR (2) KR101550680B1 (zh)
CN (1) CN103370938A (zh)
BR (1) BR112013013722A2 (zh)
CA (1) CA2820133A1 (zh)
TW (1) TWI499277B (zh)
WO (1) WO2012077634A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5993694B2 (ja) * 2012-10-02 2016-09-14 日本放送協会 画像符号化装置
KR101737595B1 (ko) 2012-12-27 2017-05-18 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
KR20150122726A (ko) * 2013-04-11 2015-11-02 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
CN105075257A (zh) * 2013-04-11 2015-11-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
WO2015141613A1 (ja) * 2014-03-20 2015-09-24 日本電信電話株式会社 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
CN108293110B (zh) 2015-11-23 2022-07-05 韩国电子通信研究院 多视点视频编码/解码方法
US11042771B2 (en) * 2016-11-10 2021-06-22 Nippon Telegraph And Telephone Corporation Image evaluation device, image evaluation method, and image evaluation program
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200611579A (en) * 2004-08-16 2006-04-01 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
TW200829036A (en) * 2006-10-30 2008-07-01 Nippon Telegraph & Telephone Prediction reference data generating method, video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200910977A (en) * 2006-12-28 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatus therefor, programs therefor and storage media for storang the programs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
CN100463527C (zh) * 2005-10-18 2009-02-18 宁波大学 一种多视点视频图像视差估计的方法
JP5219062B2 (ja) * 2006-04-10 2013-06-26 株式会社メガチップス 画像データの生成方法
JP4999860B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4786585B2 (ja) * 2007-04-20 2011-10-05 Ｋｄｄｉ株式会社 多視点映像符号化装置
KR101287458B1 (ko) * 2009-02-12 2013-07-19 니폰덴신뎅와 가부시키가이샤 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
JP5180887B2 (ja) * 2009-03-24 2013-04-10 キヤノン株式会社 符号化装置およびその方法
US9654792B2 (en) * 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200611579A (en) * 2004-08-16 2006-04-01 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
TW200829036A (en) * 2006-10-30 2008-07-01 Nippon Telegraph & Telephone Prediction reference data generating method, video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200910977A (en) * 2006-12-28 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatus therefor, programs therefor and storage media for storang the programs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shinya Shimizu, " Improved view synthesis prediction using decoder-side motion derivation for multiview video coding", The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON), 20100609 *

Also Published As

Publication number Publication date
KR101550680B1 (ko) 2015-09-07
JP2012124564A (ja) 2012-06-28
EP2651136A4 (en) 2014-05-07
CN103370938A (zh) 2013-10-23
WO2012077634A1 (ja) 2012-06-14
EP2651136A1 (en) 2013-10-16
US20130301721A1 (en) 2013-11-14
TW201233142A (en) 2012-08-01
KR20130103568A (ko) 2013-09-23
KR20150061010A (ko) 2015-06-03
KR101631183B1 (ko) 2016-06-16
JP5281632B2 (ja) 2013-09-04
WO2012077634A9 (ja) 2012-10-11
CA2820133A1 (en) 2012-06-14
BR112013013722A2 (pt) 2016-09-13

Similar Documents

Publication Publication Date Title
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
JP2021168479A (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
JP5281623B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
KR20160079068A (ko) 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2009164865A (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP2015128252A (ja) 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6310340B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム