TWI514856B - Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program product - Google Patents

Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program product Download PDF

Info

Publication number
TWI514856B
TWI514856B TW098131359A TW98131359A TWI514856B TW I514856 B TWI514856 B TW I514856B TW 098131359 A TW098131359 A TW 098131359A TW 98131359 A TW98131359 A TW 98131359A TW I514856 B TWI514856 B TW I514856B
Authority
TW
Taiwan
Prior art keywords
view
decoding
bit stream
image
viewing angle
Prior art date
Application number
TW098131359A
Other languages
English (en)
Other versions
TW201018248A (en
Inventor
Tadamasa Toma
Takahiro Nishi
Taiji Sasaki
Hiroshi Yahata
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201018248A publication Critical patent/TW201018248A/zh
Application granted granted Critical
Publication of TWI514856B publication Critical patent/TWI514856B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/427—Display on the fly, e.g. simultaneous writing to and reading from decoding memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Description

圖像解碼裝置、圖像編碼裝置、圖像解碼方法、圖像編碼方法及程式產品 發明領域
本發明係關於一種將利用視角間預測而編碼的影像解碼之圖像解碼裝置，且關於一種利用視角間預測而將影像編碼之圖像編碼裝置。
 發明背景
發布電影作品等動畫內容時，廣泛使用DVD及藍光碟片(Blu-ray Disc)等光碟片。相對於目前DVD為SD(Standard Definition：標準解析度)，尤其是藍光碟片可處理最大至1920×1080的HD(High Definition：高解析度)，因此可儲存更高畫質的影像。光碟片目前儲存一般2D(2次元)影像，但近年來，隨著能夠欣賞可進行立體顯示之3D(3次元)影像的電影院增加，日益要求將3D影像維持高畫質而儲存於光碟片。
儲存有3D影像之光碟片被要求，與僅可播放儲存有2D影像之光碟片的播放裝置(以下稱為「2D播放裝置」)之播放相容性。2D播放裝置無法將儲存有3D影像之光碟片作為2D影像播放時，須對於相同內容製作「3D影像用光碟片」及「2D影像用光碟片」兩種光碟片，導致成本提高。故，儲存有3D影像之光碟片被要求在2D播放裝置能夠作為2D影像播放，在可播放2D及3D影像之播放裝置(以下稱為「2D/3D播放裝置」)，能夠作為2D影像或3D影像播放。
就儲存有3D影像的光碟片而言，用以確保播放相容性之光碟片及播放裝置之習知例，據知有諸如第39圖所示之方法。
光碟片1801中，多工儲存有已儲存左眼用畫面之左眼用影像串流及已儲存右眼用畫面之右眼用影像串流。左眼用影像串流與右眼用影像串流之圖框率相同，播放顯示時刻呈交替。例如各影像串流為1秒鐘24圖框之圖框率的情況時，左眼用影像串流與右眼用影像串流係每1/48秒交替顯示。各影像串流受到多工，於光碟片1801，以1GOP以上之圖像資訊之記錄單位交錯，亦即交替配置於碟片上。
於第39圖，左眼用影像串流之串流1802A、串流1802B及串流1802C，與右眼用影像串流之串流1803A、串流1803B及串流1803C係交錯配置於光碟片1801上。於分別依次播放配置有左眼用影像串流之串流1802A、串流1802B及串流1802C之情況下，為了使得播放不中斷，依據光碟片1801之循軌性能及載入速度等來配置。
當光碟片1801裝載於2D播放裝置1804時，播放左眼用影像串流即串流1802A、串流1802B及串流1802C，輸出2D影像。
另一方面，光碟片1801裝載於可播放3D影像之3D播放裝置1805的情況，或光碟片1801裝載於2D/3D播放裝置，使用者選擇3D播放的情況下，以交錯區塊為單位，交替載入左眼用影像串流與右眼用影像串流。總言之，依串流1802A、串流1803A、串流1802B、串流1803B、串流1802C及串流1803C的順序，使得驅動器不發生循軌而連續載入。
載入的影像串流中，左眼用影像串流輸入於左眼用影像解碼器，右眼用影像串流輸入於右眼用影像解碼器，分別將雙方串流解碼，左眼畫面及右眼畫面交替輸出至電視。左眼用影像串流與右眼用影像串流之解碼在同一解碼器實施亦可。該輸出圖像若以每1/48秒切換右眼與左眼快門之立體眼鏡1806觀看，將會看似立體影像。
藉由製成如此之構成，儲存有3D影像之碟片可於2D播放裝置播放2D影像，於3D或2D/3D播放裝置播放3D影像。作為關於用以在該儲存有3D影像之光碟片確保播放相容性之技術的先行技術，有以下專利文獻1所記載的技術。
ISO/IEC MPEG與ITU-T VCEG之共同計畫Joint Video Team(聯合視訊小組)(JVT)係於2008年7月，完成制訂稱為Multiview Video Coding(多視角視訊編碼)(MVC)之MPEG-4 AVC/H. 264之修正規格。MVC係匯總複數個視點(視角(view))的影像並予以編碼的規格，不僅將影像的時間方向之類似性，還將視角間之類似性亦利用於預測編碼，藉此比複數個視角獨立的壓縮更提升壓縮效率。
第40圖係表示2視點的情況下之預測參考例之圖。從稱為基礎視角(以下有時稱為第1視角)的視角，禁止參考其他視角，由於基礎視角可單獨解碼，因此與2D播放裝置之親和性高。又，關於MVC之多工方式，MPEG-2系統規格之增訂版的規格化在進展中，以下非專利文獻1所記載草案已發布完畢。
非專利文獻1係規定關於將MVC之影像串流予以封包多工之方法，及決定從載入經封包多工之MVC之資料，予以反向多工而取出MVC之位元串流，到輸入於解碼器為止一連串動作之系統目標解碼器等。
根據規定之播放裝置具備尺寸由系統目標解碼器所規定的緩衝區。如同非專利文獻1所記載，依接近解碼器的順序，緩衝區包含基本串流緩衝區(EB)、多工緩衝區(MB)及傳輸緩衝區(TB)。以下，總稱該等緩衝區而稱為STD(System Target Decoder：系統目標解碼器)緩衝區。根據規定之播放裝置若按照規定的資料之載入時序及載入率而動作，據判可使STD緩衝區不溢位及虧位(underflow)，並於特定解碼時刻將各圖框解碼。
[先行技術文獻] [專利文獻]
[專利文獻1]國際公開第97/032437號
[非專利文獻]
[非專利文獻1]Text of ISO/IEC 13818-1：2007/FPDAM 4-Transport of Multiview Video over ITU-T Rec H. 222.0∣ISO/IEC 13818-1(透過ITU-T Rec H. 222.0∣ISO/IEC 13818-1之多視角視訊傳輸)
描述以往例的問題。
於第39圖之以往的播放裝置，利用如MVC使用視角間預測之圖像編碼方法，以謀求提升2視點圖像之編碼效率的情況時，使用於視角間預測之第1視角的圖框須在被其他視角(以下稱為第2視角)參考前解碼。於同一解碼器實施第1視角與第2視角之解碼的情況下，此亦相同。
又，儲存於光碟片1801之以往的多工串流，其前提係對於第1視角與第2視角賦予同一解碼時刻(解碼時戳。以下稱為DTS)，並瞬間完成第1視角的解碼。而且，DTS及顯示時刻(呈現時戳。以下稱為PTS)可從MPEG-2系統規格之PES(Packetized Elementary Stream：封包化基本串流)封包之標頭、MVC之位元串流內之參數，或者從藍光碟片等應用規格中，於播放時所參考的資料庫資訊取得。
然而，於實際的播放裝置，不可能瞬間完成第1視角的解碼，因而有以下問題。
以往的播放裝置係根據DTS決定各視角之解碼時刻，但實際上於第1視角之解碼開始時刻無法開始第2視角的解碼，因此無法決定第2視角之解碼時刻。亦即，複數個視角由包含視角間預測之方法編碼的情況下，會有無法於根據被賦予之DTS的解碼時刻解碼之本質性的第1問題。
又，於以往的系統目標解碼器，以第1視角的解碼瞬間完成為前提而規定有STD緩衝區之大小，因此於第1視角的解碼未瞬間完成的情況下，於其間，STD緩衝區溢位，無法於STD緩衝區載入資料，會有到DTS前未備齊後續圖框之資料之第2問題。
以下，關於第2問題，參考第4及42圖來說明。第41圖係表示解碼瞬間完成之個案，第42圖係表示第1視角的解碼需要時間T_dec之個案中之基本串流緩衝區之佔用量。
於第41圖，在DTS1、DTS2及DTS3，分別同時抽出圖框1、圖框2及圖框3之第1視角及第2視角之串流資料，並瞬間解碼。
另一方面，於第42圖，在DTS1，抽出圖框1之第1視角之串流資料，在從DTS1延後T_dec的時刻，抽出圖框1之第2視角之串流資料，圖框2以後亦同樣地處理。此時，基本串流緩衝區係於時刻Tfull溢位，從時刻Tfull至第2視角之解碼時刻(DTS1+T_dec)之期間，未能載入資料。結果於DTS3，未備齊圖框3之第1視角之資料，基本串流緩衝區虧位。
本發明係解決上述問題，其目的在於提供一種圖像解碼裝置，其係即使為解碼未瞬間完成的情況，仍可將利用視角間預測而編碼的複數個視角解碼；而且提供一種圖像編碼裝置，其係為求可進行解碼，利用視角間預測而將複數個視角編碼。
為了解決上述以往的問題，本發明之圖像解碼裝置係將位元串流解碼，該位元串流由包含視角間預測之方法編碼，於各視角具有包含圖之複數個視角；且具備：解碼處理部，其係將經編碼的第1視角之位元串流、及參考前述第1視角而編碼的第2視角之位元串流解碼；及，緩衝區記憶體，其係配置於前述解碼處理部之前段，用以保持輸入於前述解碼處理部之位元串流；前述解碼處理部係於前述第1視角及前述第2視角被賦予之解碼時刻為同一時刻的情況下，在對前述第2視角被賦予之解碼時刻，加算到前述第1視角之圖解碼完成為止所需延遲時間而獲得的時刻，將前述第2視角的圖解碼。
藉此，於第1視角的圖解碼後，第2視角的圖係參考第1視角的圖而解碼。故，可將利用視角間預測而編碼的複數個視角解碼。
又，於前述緩衝區記憶體，按照前述位元串流被賦予之資料載入率載入前述位元串流亦可；前述解碼處理部亦可於將前述複數個視角所含各視角之位元串流解碼時，從前述緩衝區記憶體抽出將解碼的前述各視角之位元串流；前述緩衝區記憶體之大小係於已在前述解碼處理部加算前述延遲時間而獲得的時刻，抽出前述第2視角之位元串流的情況下，於前述解碼處理部要抽出前述各視角之位元串流時，前述緩衝區記憶體為不虧位之最小大小以上亦可。
藉此，不引起起因於解碼延遲之虧位而載入經編碼的資料。因此，圖像解碼裝置可更確實地將資料解碼。
又，前述緩衝區記憶體之大小係對一規定大小，加算前述延遲時間中，按照前述資料載入率所載入的位元串流之大小後之大小以上亦可，而前述規定大小係以在前述各視角被賦予之解碼時刻抽出前述各視角之位元串流為前提所決定者。
藉此，可決定緩衝區記憶體之大小。
又，前述解碼處理部逐次將前述複數個視角之位元串流解碼亦可；將前述複數個視角所含視角數設為n，前述複數個視角所含各圖之解碼所需時間之最大值設為T，前述資料載入率設為R，及前述規定大小設為D的情況下，前述緩衝區記憶體之大小係D+R×T×(n-1)以上之大小亦可。
藉此，於複數個視角之位元串流逐次解碼的情況下，會更具體決定緩衝區記憶體之大小。
又，前述解碼處理部將前述複數個視角之位元串流並行解碼亦可；由視角間預測所參考的視角之階層之最大值設為m，前述複數個視角所含各圖之解碼所需時間之最大值設為T，前述資料載入率設為R，及前述規定大小設為D的情況下，前述緩衝區記憶體之大小係D+R×T×(m-1)以上之大小亦可。
藉此，於複數個視角之位元串流並行解碼的情況下，會更具體決定緩衝區記憶體之大小。
又，前述解碼處理部亦可進一步具備：外部記憶體，其係用以記憶前述複數個視角所含的圖；第1解碼器，其係將前述第1視角之位元串流解碼，令使用於視角間預測的圖記憶於前述外部記憶體；及第2解碼器，其係參考表示保持有前述圖之前述外部記憶體內之位置之管理資訊，從前述外部記憶體取得使用於視角間預測的圖，藉此將前述第2視角之位元串流解碼。
藉此，即使為具備2個解碼器之圖像解碼裝置，各解碼器仍可共有用於視角間預測之參考圖像。
又，於前述緩衝區記憶體，有因前述延遲時間而未載入之位元串流的情況下，較前述位元串流被賦予之資料載入率更高速地載入前述位元串流亦可。
藉此，載入在發生解碼延遲之期間所未載入之資料。因此，圖像解碼裝置可更確實地將資料解碼。
又，前述解碼處理部亦可進一步具備：外部記憶體，其係用以記憶前述複數個視角所含的圖；第1解碼器，其係將前述第1視角之位元串流解碼，令使用於視角間預測的圖記憶於前述外部記憶體；及第2解碼器，其係參考表示保持有前述圖之前述外部記憶體內之位置之管理資訊，從前述外部記憶體取得使用於視角間預測的圖，藉此將前述第2視角之位元串流解碼。
藉此，即使為具備2個解碼器之圖像解碼裝置，各解碼器仍可共有用於視角間預測之參考圖像。再者，該類共有亦可適用於高速載入位元串流的情況。
又，本發明之圖像編碼裝置係以包含視角間預測之方法，將各視角包含圖之複數個視角編碼亦可；且亦可具備：編碼處理部，其係將前述複數個視角編碼，對前述複數個視角賦予同一解碼時刻；及速率控制部，其係載入經編碼的前述複數個視角之圖像解碼裝置之緩衝區記憶體之大小設為從一規定大小，減算在由視角間預測所參考的視角至解碼完成為止所需之延遲時間中，所載入且經編碼的前述複數個視角之資料大小而獲得之大小以下，並令編碼處理部編碼，而前述規定大小係設想解碼在前述解碼時刻瞬間完成而決定者。
藉此，使得複數個視角以在圖像解碼裝置不虧位之方式編碼。
又，前述速率控制部係於將經編碼的前述複數個視角之數目設為n，前述複數個視角所含各圖之解碼所需時間之最大值設為T，載入經編碼的前述複數個視角時之資料載入率設為R，及前述規定大小設為D的情況下，前述圖像解碼裝置之緩衝區記憶體之大小設為D-R×T×(n-1)以下之大小，並令編碼處理部編碼亦可。
藉此，可更具體地設下編碼的限制。
又，前述解碼處理部亦可進一步具備：外部記憶體，其係用以記憶前述複數個視角所含的圖；第1編碼器，其係將前述複數個視角所含之第1視角編碼，令使用於視角間預測的圖記憶於外部記憶體；及第2編碼器，其係參考表示保持有前述圖之前述外部記憶體內之位置之管理資訊，從前述外部記憶體取得使用於視角間預測之前述第1視角的圖，藉此使用視角間預測而將前述複數個視角所含之第2視角編碼。
藉此，即使為具備2個解碼器之圖像編碼裝置，各編碼器仍可共有用於視角間預測之參考圖像。
又，本發明之圖像解碼方法係將位元串流解碼，該位元串流由包含視角間預測之方法編碼，於各視角具有包含圖之複數個視角亦可；且亦可包含：解碼處理步驟，其係將經編碼的第1視角之位元串流、及參考前述第1視角而編碼的第2視角之位元串流解碼；及資料保持步驟，其係於前述解碼處理步驟前，保持輸入於解碼處理部之位元串流；在前述解碼處理步驟，於前述第1視角及前述第2視角被賦予之解碼時刻為同一時刻的情況下，在對前述第2視角被賦予之解碼時刻，加算到前述第1視角之圖解碼完成為止所需延遲時間而獲得的時刻，將前述第2視角的圖解碼。
藉此，於第1視角的圖解碼後，參考第1視角的圖而將第2視角的圖解碼。故，可將利用視角間預測而編碼的複數個視角解碼。
又，本發明之圖像編碼方法係以包含視角間預測之方法，將各視角包含圖之複數個視角編碼亦可；且亦可包含：編碼處理步驟，其係將前述複數個視角編碼，對前述複數個視角賦予同一解碼時刻；及速率控制步驟，其係載入經編碼的前述複數個視角之圖像解碼裝置之緩衝區記憶體之大小設為從一規定大小，減算在由視角間預測所參考的視角至解碼完成為止所需之延遲時間中，所載入且經編碼的前述複數個視角之資料大小而獲得之大小以下，並令編碼處理步驟編碼，而前述規定大小係設想解碼在前述解碼時刻瞬間完成而決定者。
藉此，使得複數個視角以在圖像解碼裝置不虧位之方式編碼。
又，亦可為一種程式，其係令電腦執行前述圖像解碼方法所包含的步驟。
藉此，前述圖像解碼方法作為程式而實現。
又，亦可為一種程式，其係令電腦執行前述圖像編碼方法所包含的步驟。
藉此，前述圖像編碼方法作為程式而實現。
藉由本發明，即使為解碼未瞬間完成的情況，以包含視角間預測之方法而編碼的位元串流仍會被解碼。
圖式簡單說明
第1圖係關於本發明之實施形態1之3D圖像解碼裝置之方塊圖。
第2圖係表示本發明之實施形態1之各視角實際的解碼時刻及顯示時刻例之圖。
第3圖係表示本發明之實施形態1之各視角實際的解碼時刻之決定方法之流程圖。
第4圖係表示第3圖所示各視角實際的解碼時刻之決定方法之變形例之流程圖。
第5圖係關於本發明之實施形態1之3D圖像解碼裝置之補償緩衝區之說明圖。
第6圖係表示關於本發明之實施形態1之補償緩衝區之效果之圖。
第7圖係表示第5圖所示之補償緩衝區之配置變形例之圖。
第8圖係表示第5圖所示之補償緩衝區之配置變形例之圖。
第9圖係說明具有2個以上視角的情況下之動作之圖。
第10圖係說明高速載入的情況下之動作之圖。
第11圖係表示關於本發明之實施形態1之構成要素之圖。
第12圖係關於本發明之實施形態1之3D圖像解碼裝置之變形例之方塊圖。
第13圖係表示本發明之實施形態1之變形例之各視角實際的解碼時刻及顯示時刻例之圖。
第14圖係關於本發明之實施形態2之3D圖像解碼裝置之方塊圖。
第15圖係表示本發明之實施形態2之各視角實際的解碼時刻及顯示時刻例之圖。
第16圖係表示第15圖所示各視角實際的解碼時刻及顯示時刻之變形例之圖。
第17圖係表示複數個視角之參考關係例之圖。
第18圖係關於本發明之實施形態3之3D圖像編碼裝置之方塊圖。
第19圖係關於本發明之實施形態3之3D圖像編碼裝置之效果之圖。
第20圖係關於本發明之實施形態3之3D圖像編碼裝置之變形例之方塊圖。
第21圖係關於本發明之實施形態4之3D圖像解碼裝置之方塊圖。
第22圖係表示能夠以具備2個解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第23圖係關於本發明之實施形態4之3D圖像編碼裝置之方塊圖。
第24圖係表示第22圖所示之PTS及DTS之決定方法之一例之流程圖。
第25圖係表示能夠以具備2個解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第26圖係表示第25圖所示之PTS及DTS之決定方法之一例之流程圖。
第27圖係關於本發明之實施形態4之3D圖像解碼裝置之變形例之方塊圖。
第28圖係關於本發明之實施形態4之3D圖像解碼裝置之變形例之方塊圖。
第29圖係關於本發明之實施形態5之3D圖像解碼裝置之方塊圖。
第30圖係表示能夠以具備加倍性能解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第31圖係關於本發明之實施形態5之3D圖像編碼裝置之方塊圖。
第32圖係表示第30圖所示之PTS及DTS之決定方法之一例之流程圖。
第33圖係表示能夠以具備加倍性能解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第34圖係表示第33圖所示之PTS及DTS之決定方法之一例之流程圖。
第35圖係關於本發明之實施形態6之3D圖像解碼裝置之解碼處理切換判斷流程圖。
第36圖係關於本發明之實施形態6之3D圖像解碼裝置之方塊圖。
第37圖係關於本發明之實施形態6之3D圖像解碼裝置之解碼處理切換判斷流程圖。
第38圖係關於本發明之實施形態6之3D圖像解碼裝置之方塊圖。
第39圖係以往的3D影像播放裝置之說明圖。
第40圖係表示MVC之2視點圖像編碼之預測參考例之圖。
第41圖係表示3D圖像播放時之緩衝區管理之圖。
第42圖係表示3D圖像播放時之緩衝區管理之問題之圖。
 用以實施發明之形態
以下，一面參考圖式一面說明關於本發明之實施形態。
(實施形態1)
首先，參考圖式說明關於本發明之實施形態1。
第1圖為實施形態1之3D圖像解碼裝置001之方塊圖。第1圖之3D圖像解碼裝置001具備解碼器112e，其係具有以3D影像之圖框率之2倍速度，將3D影像之單側視角之影像解碼的能力。然後，解碼器112e將第1視角及第2視角兩視角解碼。由於第2視角係參考第1視角而編碼，因此3D圖像解碼裝置001構成為可於第2視角之解碼中，參考第1視角之解碼圖像。
3D圖像解碼裝置001與以往的播放裝置之不同點在於，即使為第1視角之解碼未瞬間完成的情況，仍可於實際將各視角解碼的時刻，將各視角之串流資料解碼。
說明關於3D圖像解碼裝置001之動作。已輸入之多工位元串流101被輸入於STD緩衝區902。然後，藉由反向多工分離位元串流。其後，有關第1視角之位元串流係按照DTS，有關第2視角之位元串流係按照考慮到第1視角之解碼所需時間之解碼時刻(以下稱為DTS_MOD)而往解碼器112e輸入。
在此，作為多工方式係利用MPEG-2系統之傳輸串流。然後，藉由反向多工時、未圖示之反向多工手段，從傳輸封包串列中分離PES封包，取得儲存於PES封包之承載(payload)之位元串流。
而且，多工方式不限定於MPEG-2系統之傳輸串流。例如多工方式亦可為應用規格中經功能擴充之傳輸串流，或以MPEG規定之MP4檔案格式，進而以IETF(Internet Engineering Task Force：網際網路工程研究團隊)規定之RTP(Real Time streaming Protocol：即時串流協定)等，採經由網路之串流發送而使用的方式亦可。
解碼器112e將已輸入之多工位元串流101解碼，按照PTS輸出解碼圖像。切換器903係將輸出的圖像分離為第1視角之解碼圖像114及第2視角之解碼圖像115。然後，已分離的圖像係經由視訊輸出介面116，作為3D圖像而顯示於3D顯示器117。
解碼器112e係於解碼處理中，將由畫面間預測編碼所參考的解碼完畢圖框，複製到外部記憶體109上之第1圖框記憶體110c及第2圖框記憶體121，並保持於第1圖框記憶體110c及第2圖框記憶體121直到不被參考為止。在此，於第1圖框記憶體110c儲存有第1視角之圖框，於第2圖框記憶體121儲存有第2視角之圖框。
於各圖框記憶體保持有複數個圖框。因此，解碼器112e係藉由保持第1圖框記憶體管理資訊108g及第2圖框記憶體管理資訊120，來管理何時刻之圖框保持於第1圖框記憶體110c及第2圖框記憶體121上之何位置。
在此，第2視角之編碼係採用利用第1視角之圖框進行預測之視角間預測編碼。因此，解碼器112e在第2視角之解碼須參考第1視角之解碼圖像。於是，解碼器112e係每當第1視角之圖框解碼結束時，更新第1圖框記憶體管理資訊108g。然後，於第2視角之解碼中，亦保持第1圖框記憶體管理資訊108g。解碼器112e根據第1圖框記憶體管理資訊108g，來參考保持於第1圖框記憶體110c之第1視角之所期望圖框之解碼圖像。然後，解碼器112e將由包含視角間預測編碼之方式所編碼的第2視角之位元串流解碼。
而且，第1視角之位元串流可不參考其他視角而單獨解碼。故，藉由解碼器112e跳過讀取第2視角之位元串流，3D圖像解碼裝置001亦可作為2D圖像解碼裝置使用。
又，於解碼器112e之第2視角之解碼處理中，檢測到位元串流語法異常等某種異常的情況時，在藉由到達位元串流之隨機存取點(可跳躍播放點)等而可重新開始正常解碼為止的期間，3D圖像解碼裝置001亦可僅顯示第1視角之解碼圖像。又，檢測到上述異常的情況下，3D圖像解碼裝置001亦可將第1視角之解碼圖像作為第2視角之解碼圖像顯示。藉由該類顯示等，3D圖像解碼裝置001可減輕視聽者的不快感。
又，於解碼器112e之第1視角之解碼處理中，檢測到位元串流語法異常等某種異常的情況時，參考第1視角之第2視角亦無法正常解碼。因此，3D圖像解碼裝置001向高位系統通知解碼器112e的異常，在藉由到達位元串流之隨機存取點(可跳躍播放點)等而可重新開始正常解碼為止的期間，持續輸出第1視角及第2視角均可正常解碼之最後圖框亦可。藉由該類顯示等，3D圖像解碼裝置001可減輕視聽者的不快感。
第2圖係表示3D圖像解碼裝置001之解碼處理中之各視角之PTS及DTS的關係之一例之圖。於第2圖例中，各視角之圖框若依顯示順序，則作為I、B、B及P類型(P類型僅進行單向預測。B類型包含雙向預測)而編碼，若依編碼順序，則作為I、P、B及B類型而編碼。依據視角間預測而從第2視角對第1視角的參考，僅參考之前顯示之第1視角之圖框。又，第1視角及第2視角交替顯示。
於本例中，第1視角之開頭圖框I1首先解碼。然後，第2視角之開頭圖框P1參考第1視角之開頭圖框I1。因此，到第1視角之開頭圖框I1完成解碼為止，無法開始第2視角之開頭圖框P1的解碼。由於3D圖像解碼裝置001使用顯示圖框率之加倍速度之解碼器112e，因此第1視角之開頭圖框I1的解碼需要圖框週期Δt/2(Δt=1/圖框率)。
在此，從PES封包之標頭及MVC串流內之HRD(Hypothetical Reference Decoder：假想參考解碼器)相關參數等所獲得的DTS值係第1視角與第2視角為同一值。因此，第2視角之開頭圖框P1實際的解碼時刻DTS-MOD決定為，從第1視角之開頭圖框I1之DTS經Δt/2後。
又，由於第1視角之圖框P4係在預測中使用第1視角之圖框I1，原本於第1視角之圖框I1解碼完成後，第1視角之圖框P4可開始解碼。然而，於3D圖像解碼裝置001，由於以1個解碼器實施第1視角與第2視角的解碼，因此無法與第2視角之圖框P1同時解碼。因此，第1視角之圖框P4之DTS係從第2視角之圖框P1之DTS_MOD經Δt/2後。以後，第1視角與第2視角之圖框解碼係以Δt/2的間隔交替開始。
接著，說明關於PTS。對於顯示順序而言，解碼順序最晚的是第2視角之B圖框。因此，以可顯示第2視角之B圖框之時刻為基準，決定第1視角及第2視角之圖框之PTS。具體而言，由於解碼器112e解碼1圖框需要Δt/2，因此第2視角之圖框B2之PTS在DTS_MOD之Δt/2後。以該時刻為基準，第1視角之開頭圖框I1之PTS在DTS之3Δt/2後，第2視角之開頭圖框P1之PTS在DTS_MOD之3Δt/2後。
在此，作為3D圖像之顯示方式包括同時顯示第1視角與第2視角之方式，及如同3D圖像解碼裝置001，交替顯示第1視角與第2視角之方式。
若設想對前者方式的對應，可考慮於多工位元串流101中，第1視角與第2視角之PTS設定為同一值。該類多工串流輸入於3D圖像解碼裝置001的情況時，亦即從PES封包之標頭及MVC串流內之HRD(Hypothetical Reference Decoder：假想參考解碼器)相關參數等所獲得的PTS在第1視角與第2視角為同一值之情況時，亦可如第2圖例，決定第2視角實際的PTS，以使得第1視角與第2視角可交替顯示。
進一步而言，作為其他例，可考慮可從PES封包之標頭所取得的PTS僅有第1視角之PTS，第2視角之PTS根據第1視角之PTS決定，第2視角之PTS不儲存於PES封包之標頭。或者，亦可考慮儲存於PES封包之標頭之第2視角的PTS固定在特定值。例如亦可考慮所儲存的PTS始終固定在0，實際的PTS根據第1視角之PTS決定。該類情況下，亦可如第2圖例，決定第2視角實際的PTS，以使得第1視角與第2視角可交替顯示。
第3圖係表示於3D圖像解碼裝置001決定第1視角與第2視角之解碼時刻之動作之流程圖。
首先，解碼器112e取得PES封包中所示之各視角之DTS(S1000)。在此，於PES封包標頭未必儲存有關於所有圖框之視角之DTS。因此，於PES封包標頭未顯示DTS的情況時，解碼器112e亦可從另外取得之圖框率資訊等決定DTS。又，從儲存於PES封包之MVC串流之HRD相關資訊決定DTS亦可。
接著，解碼器112e判斷處理對象是否為第1視角(S1001)。在此，若為第1視角(於S1001為「是」)，解碼器112e根據所取得的DTS，決定開始解碼(S1002)。另一方面，若非第1視角(於S1001為「否」)，解碼器112e考慮第1視角之解碼所需時間，於DTS加算圖框週期Δt之1/2時間，決定第2視角之解碼時刻DTS_MOD(S1003)。
第4圖係表示第3圖之動作之變形例之流程圖。
於該例中，解碼器112e判斷處理對象是否為第1視角(S1001)。在此，若非第1視角(於S1001為「否」)，解碼器112e參考DTS變更用之輔助資訊，取得DTS之加算值DTS_DELTA(S1004)。接著，解碼器112e係於DTS加算DTS_DELTA，決定第2視角之解碼時刻DTS_MOD(S1005)。
DTS_DELTA可例如利用MVC串流內之輔助資訊儲存用之資料儲存單位，於隨機存取單位之每開頭等特定位置傳送。在此，合併第1視角與第2視角之資料而定義1個存取單元的情況時，可能因應輔助資訊儲存用之儲存單位、及像素資料儲存用之儲存單位等儲存單位之種類，限制存取單元內之配置順序。
此時，製作存取單元時，以不引起儲存單位重排之方式配置輔助資訊儲存用之儲存單位亦可。例如會有輔助資訊用之儲存單位須配置於像素資料用之儲存單位前的情況。此時，若將輔助資訊作為第2視角之資料儲存，於結合第1視角與第2視角之資料時，輔助資訊會在第1視角之像素資料之後，發生儲存單位重排。因此，預先將輔助資訊設為第1視角之資料，並配置於第1視角之像素資料之前亦可。
又，於MPEG-2系統規格之傳輸串流內(可使用例如描述符等)，或於藍光碟片等應用規格中，在播放時所參考的資料庫資訊內，儲存表示DTS_DELTA之輔助資訊亦可。又，輔助資訊表示DTS_DELTA之絕對值，亦或間接表示圖框間隔或其他基準時間間隔之整數倍，或者整數份之1倍等DTS_DELTA的值均可。進一步而言，作為輔助資訊傳送DTS_MOD亦可。而且，用以決定第2視角實際的PTS之輔助資訊亦可同樣地傳送。
上述設想由2個視角所構成的串流之3D顯示，但在諸如從3個以上視角選擇2個視角，並予以解碼及顯示的情況下，追加從複數個視角選擇2個視角的步驟即可。
又，亦設想並非3D顯示，一面切換複數個視角，或者同時分割畫面而顯示的用途。該等個案亦以可單獨解碼之第1視角為基準來決定後續視角之DTS_MOD。例如顯示3個視角的情況下，若以圖框週期Δt之1/3時間可完成各視角之解碼，第2視角之DTS_MOD可決定為DTS+(1/3)×Δt，第3視角之DTS_MOD可決定為DTS+(2/3)×Δt。
而且，在此所說明的圖框亦包含構成圖框之圖場。再者，本發明除可適用於漸進式影像，並且亦可適用於交織式影像。
接著，說明關於3D圖像解碼裝置001所具備的STD緩衝區902。關於以往的播放裝置，如上述第2問題所描述，考慮3D圖像解碼裝置001解碼第1視角所需時間而決定第2視角之解碼時刻的情況時，於第1視角之解碼期間，解碼器112e無法載入第2視角之位元串流資料。因此，STD緩衝區902溢位。再者，結果發生到DTS前，後續圖框資料未備齊的問題。
因此，於3D圖像解碼裝置001，為了避免於第1視角之解碼期間，起因於第2視角之位元串流資料之載入停止之STD緩衝區之溢位，除了以往以系統目標解碼器所規定的STD緩衝區以外，還新設有補償緩衝區。
第5圖係表示3D圖像解碼裝置001之STD緩衝區902之構成圖。藉由未圖示之控制部，輸入之多工位元串流101首先輸入於傳輸緩衝區902a，PES封包從傳輸封包分離後，輸入於多工緩衝區902b。接下來，從PES封包之承載所取得的位元串流資料係輸入於基本串流緩衝區902c。STD緩衝區902係作為儲存位元串流資料之緩衝區，除了基本串流緩衝區902c以外，還具備補償緩衝區902d。
於第5圖例中，分開表示基本串流緩衝區902c與補償緩衝區902d，但兩者的作用均為儲存從PES封包分離後之位元串流資料。因此，STD緩衝區902亦可具備單一緩衝區作為位元串流資料儲存用之緩衝區，該單一緩衝區具有該等2個緩衝區之大小加算後的大小。
然後，從基本串流緩衝區902c及補償緩衝區902d之任一緩衝區，按照第1視角及第2視角之解碼時刻，各視角之位元串流資料往解碼器112e輸入。
第6圖係表示可使得第42圖所例示之以往的播放裝置中發生問題之位元串流資料，在3D圖像解碼裝置001不發生STD緩衝區902之溢位及虧位而解碼之圖。第6圖之圖形內之實線及虛線分別表示3D圖像解碼裝置001及以往的播放裝置之緩衝區佔用量之變化。以往的播放裝置在時刻T1溢位，於STD緩衝區902，藉由具備補償緩衝區902d，可不發生溢位而繼續載入位元串流資料。其結果，圖框3之第1視角之資料在DTS3備齊，3D圖像解碼裝置001可實現不中斷的連續解碼。
第7及8圖係表示以不同通道處理第1視角及第2視角之資料時之STD緩衝區902之變形例之圖。
首先，說明關於第7圖。多工位元串流101係由切換器913，根據PID(Packet Indicator：封包指示符)等傳輸串流封包之識別資訊而分離為第1視角之封包101b與第2視角之封包101e。在僅播放第1視角的情況下，於切換器913僅選擇第1視角之傳輸封包，廢棄第2視角之傳輸封包。
第1視角之封包通過傳輸緩衝區9021a、多工緩衝區9021b及基本串流緩衝區9021c。第2視角之封包通過傳輸緩衝區9022a、多工緩衝區9022b、基本串流緩衝區9022c及補償緩衝區9022d。第1視角及第2視角之位元串流資料係按照個別的解碼時刻，經由切換器914而輸入於解碼器112a。
第7圖所示之STD緩衝區902係就第1視角而言，具備與以往的STD緩衝區具有相容性之構成。再者，具備對應第2視角之補償緩衝區9022d。藉由此類構成，解決起因於第2視角解碼之STD緩衝區的問題。
第8圖所示之STD緩衝區902係於切換器914的後段具備補償緩衝區9022d。而且，即使視角數為3個以上，藉由與第7及8圖所示之變形例相同，切換器913及切換器914進行視角選擇，STD緩衝區902能夠以不同通道來處理各視角。進一步而言，與第7圖採同樣構成時，亦可於第2視角及第3視角以後的視角共用補償緩衝區。
接著，說明關於補償緩衝區9022d之大小。
首先，從多工緩衝區往基本串流緩衝區之資料流入率之最大值設為Rin的情況時，對最大流入率Rin乘以第1視角之解碼時間(等於圖框週期Δt之1/2)所得之資料量DATA＿IN可能於第1視角之解碼期間內，流入基本串流緩衝區902c。於式1表示此時之計算式。
DATA_IN=(1/2)×Δt×Rin　(式1)
如同非專利文獻1所規定，最大流入率Rin係根據多工位元串流101之MVC串流之最大位元率、或者MVC串流所屬位準中所規定的最大速率而決定。在此，位準係指位元率、緩衝區大小、圖像大小及圖框率等規定參數上限值之資訊，參數上限值依每位準而不同。又，由於位準及MVC串流之位元率等資訊可於MVC之位元串流內編碼，因此3D圖像解碼裝置001可取得該等資訊來決定最大流入率Rin。其中，DATA_IN之上限值係受到基本串流緩衝區之大小EB_SIZE限制。
進一步而言，由第42圖之例等所示之基本串流緩衝區之溢位係起因於，在第1視角之解碼時刻無法抽出第2視角之資料。因此，補償緩衝區之大小若為第2視角之資料大小之上限值(以下稱為View2_MAX)以上即可。再者，View2_MAX的值係由MVC等編碼規格所規定。例如於各視角圖像，原圖像與編碼圖像之位元量比係由稱為MinCR(Minimum Compression Ratio：最小壓縮率)之參數所規定。再者，當MinCR為2時，編碼圖像之資料大小限制在原圖像之位元量之1/2以下。原圖像之資料大小可根據圖像大小或色差資訊之取樣方法等來決定。而且，亦可根據所有視角之合計資料大小之上限值來決定View2_MAX。
依據以上，DATA_IN、EB_SIZE及View2_MAX之3個參數值中，將大小最小的參數值(以下稱為COMP_BUF_SIZE)設為補償緩衝區之大小亦可。又，單純地選擇3個參數值中之任一個而設為補償緩衝區之大小亦可。如此所設定的補償緩衝區之大小係假定最劣個案而決定。實際的位元串流中所必需的補償緩衝區之大小為COMP_BUF_SIZE以下，其值係取決於編碼條件而變動。
因此，3D圖像編碼裝置亦可於位元串流之編碼時，設定各視角之解碼所需時間，根據設定時間而決定實際所必需的補償緩衝區之大小，並將表示所決定之大小之資訊作為位元串流內之參數資訊而編碼。3D圖像解碼裝置可取得該參數資訊而決定、確保補償緩衝區之大小。
而且，作為各視角之解碼所需時間而設定之值，亦可包含作為參數資訊。進一步而言，3D圖像編碼裝置亦可設想複數個候補作為各視角之解碼所需要的時間，並使對應於各個候補之補償緩衝區之大小包含於參數資訊。此時，3D圖像解碼裝置選擇對應於自身處理速度的候補而決定補償緩衝區之大小。
第5圖所示之STD緩衝區902d為位元串流儲存用之緩衝區。藉此，可較在包含PES封包之額外資料之多工緩衝區，或者於包含PES封包以外，再加上傳輸封包之額外資料之傳輸緩衝區的階段設置補償緩衝區，更刪減緩衝區大小。
另一方面，例如於播放裝置組入內建基本串流緩衝區之解碼器的情況下，有時無法於基本串流緩衝區的階段設置補償緩衝區。該情況下，與多工緩衝區等在同一階段設置補償緩衝區亦可。此時，由於在多工緩衝區，位元串流是以受到PES封包化的狀態下儲存，因此補償緩衝區之大小係對COMP_BUF_SIZE，加上PES封包之標頭及其他關於多工之額外資料的值。額外資料之大小可於多工緩衝區所保持的資料中，規定額外資料所佔比率，根據該規定來決定。
而且，補償緩衝區之大小亦可設定為COMP_BUF_SIZE以上之任意值。藉由在STD緩衝區加上如此所決定的補償緩衝區以解決問題。
第9圖係說明2個以上視角解碼時之COMP_BUF_SIZE之決定方法之圖。在此，需要2個以上視角之解碼的個案不僅包含顯示經解碼之所有視角的情況，亦包含例如從10個視角選擇2個視角而顯示的情況下，選擇的視角參考其他2個視角，結果需要4個視角之解碼的情況等。
第9圖係表示解碼4個視角時之基本串流緩衝區之佔用量之變化。從第1個視角View1至第3個視角View3之碼量小，因此於各視角之解碼中，緩衝區分別於時刻Tfull1、時刻Tfull2、時刻Tfull3溢位。然後，位元串流資料不再輸入。
若各視角之解碼分別在時間上僅耗費圖框週期Δt之1/4，則起因於第1個至第3個視角之解碼而無法往緩衝區輸入之資料大小之最大值為(3/4)×Rin。該值相當於DATA_IN。
而且，同樣地，視角數設為n，以及各視角所含各圖框之解碼所需時間之最大值設為Tmax的情況時，相當於DATA_IN的值係藉由式2獲得。
DATA_IN=Rin×Tmax×(n-1)　(式2)
再者，相當於View2_MAX的值設為從View2至View4之3個視角之資料大小上限值的和。最後比較包含EB_SIZE之3種值而決定COMP_BUF_SIZE亦可。又，單純地選擇3個參數值中之任一個而設為補償緩衝區之大小亦可。藉由在STD緩衝區加上如此所決定的補償緩衝區以解決問題。
然而，本方法中，隨著所解碼之視角數增加，補償緩衝區之大小會有增加的可能性。因此，將補償緩衝區之大小限制在例如視角之資料大小上限值之2倍等，於編碼時，以3D圖像編碼裝置符合限制值之方式進行編碼亦可。
再者，亦可藉由提高最大流入率而不需要補償緩衝區。於第2視角之解碼期間內，於基本串流緩衝區，追加載入COMP_BUF_SIZE份量之資料即可。例如第2視角之解碼期間內，資料載入率設為Rin+COMP_BUF_SIZE/(Δt/2)而載入資料。或者，予以簡化，以Rin之2倍速率載入亦可。
第10圖係表示將與第42圖同一位元串流解碼時之動作例之圖。圖形內之實線表示本方法之動作，虛線表示以往的播放裝置之動作。於圖框1之第2視角之解碼期間內，由於較Rin更高速地載入資料，因此於DTS3備齊圖框3之第1視角之資料。如同第10圖之動作，亦可僅於第1視角之解碼期間內，基本串流緩衝區溢位的情況下，於第2視角之解碼期間內高速地載入資料。
第11圖係表示實施形態1之3D圖像解碼裝置之特徵性構成要素之圖。實施形態1之3D圖像解碼裝置具備藉由STD緩衝區902等而安裝之緩衝區記憶體900、及藉由解碼器112e等所安裝之解碼處理部100。
緩衝區記憶體900保持輸入於解碼處理部100之位元串流。然後，解碼處理部100將第1視角之位元串流及第2視角之位元串流解碼。在此，解碼處理部100係於將第1視角之圖框解碼後，參考已解碼的圖框而將第2視角之圖框解碼。藉此，將利用視角間預測而編碼之複數個視角解碼。
進一步而言，藉由增大緩衝區記憶體900之大小，或者高速地於緩衝區記憶體900載入資料，以更確實地將利用視角間預測而編碼之複數個視角解碼。
第12圖係關於本發明之實施形態1之3D圖像解碼裝置之方塊圖，其係表示第1圖所示之3D圖像解碼裝置001之變形例之圖。
於第1圖所示之3D圖像解碼裝置001，再加上於第1視角之解碼圖像之路徑上，設置延遲緩衝區904。藉此可調整第1視角之顯示時序。
第13圖係表示第12圖所示之3D圖像解碼裝置001之各視角實際的解碼時刻及顯示時刻之例之圖。與第2圖所示之解碼時刻及顯示時刻比較，其調整為第1視角與第2視角在同一時刻顯示。第12圖所示之3D圖像解碼裝置001係如此藉由延遲緩衝區904，可於同一時刻顯示第1視角與第2視角。
如以上，實施形態1之3D圖像解碼裝置001係即使為解碼未瞬間完成的情況，仍可將利用視角間預測而編碼的複數個視角解碼。又，藉由恰當的緩衝區記憶體之大小或高速載入，以更確實地將利用視角間預測而編碼之複數個視角解碼。
(實施形態2)
接著，說明關於實施形態2。實施形態2之3D圖像解碼裝置具備2個解碼器。再者，各解碼器分別以與顯示圖框率相同的速度解碼。
第14圖係關於本發明之實施形態2之3D圖像解碼裝置之方塊圖。第14圖所示之3D圖像解碼裝置001具備與第7圖所示之STD緩衝區902同樣的STD緩衝區902。再者，STD緩衝區902不經由第7圖所示之切換器914而連接於2個解碼器。第1解碼器107a將第1視角解碼，第2解碼器112a將第2視角解碼。
第1解碼器107a係將已解碼之圖框複製到外部記憶體109之第1圖框記憶體110a，將表示圖框位置之第1圖框記憶體管理資訊108a，複製到外部記憶體109之第1圖框記憶體管理資訊108b。
第2解碼器107b係將外部記憶體109之第1圖框記憶體管理資訊108b，複製到第2解碼器112a之第1圖框記憶體管理資訊108c。然後，第2解碼器112a係藉由參考第1圖框記憶體管理資訊108c，以參考第1視角之圖框而將第2視角解碼。又，由於第2解碼器112a利用於畫面間預測，因此將已解碼之圖框複製到外部記憶體109之第2圖框記憶體111，保持表示圖框位置之第2圖框記憶體管理資訊113。
已解碼圖框之第1視角之解碼圖像114及第2視角之解碼圖像115，係經由視訊輸出介面116而顯示於3D顯示器117。在此，於第1視角之路徑配置有延遲緩衝區904。藉此調整第1視角之顯示時序。
第15圖係表示第14圖所示之3D圖像解碼裝置001之各視角實際的解碼時刻及顯示時刻例之圖。
由於第14圖所示之3D圖像解碼裝置001具備2個解碼器，因此可將2個視角並行解碼。因此，不須交替解碼。另外，於第14圖所示之3D圖像解碼裝置001，發生與圖框週期Δt相同時間之解碼延遲。而且，由於第2視角之圖框參考第1視角之圖框，因此於第1視角之圖框解碼後解碼。結果第2視角之圖框係延後圖框週期Δt之時間份而與第1視角之圖框同時解碼。
第16圖係表示第14圖所示之3D圖像解碼裝置001之各視角實際的解碼時刻及顯示時刻例之圖，其係表示與第15圖所示之例不同例之圖。
第16圖所示之解碼時刻及顯示時刻係與第15圖所示之解碼時刻及顯示蝕刻比較，調整為第1視角與第2視角在同一時刻顯示。第14圖所示之3D圖像解碼裝置001亦可如此藉由延遲緩衝區904，於同一時刻顯示第1視角與第2視角。
而且，實施形態2之3D圖像解碼裝置001雖具備2個解碼器，但具備3以上之解碼器亦可。又，此情況下，於3D圖像解碼裝置001，在將利用視角間預測而編碼之複數個視角解碼時，發生所參考的階層份之延遲。
第17圖係表示5個視角之視角間預測之參考關係例之圖。階層2之視角參考階層1之視角，階層3之視角參考階層2。此情況下，即使為被賦予相同DTS之圖框，仍發生圖框2個份之解碼延遲。總言之，發生相應於數目少於複數個視角所含視角之參考視角之階層數的延遲時間。
因此，最大流入率設為Rin，各圖框之解碼所需時間之最大值設為Tmax，及由視角間預測所參考的視角之階層之最大值設為m的情況下，相當於延遲期間中所載入的資料量，即相當於DATA_IN的值可藉由式3獲得。
DATA_IN=Rin×Tmax×(m-1)　(式3)
將如此所決定的補償緩衝區加入STD緩衝區亦可。
如以上，實施形態2之3D圖像解碼裝置001即使於具備複數個解碼器的情況下，藉由共有用於視角間預測之參考圖像，仍可將利用視角間預測而編碼之複數個視角解碼。
(實施形態3)
接著，說明關於實施形態3。實施形態3之3D圖像編碼裝置係以即使是在3D圖像解碼裝置發生解碼延遲的情況時，仍可解碼之方式進行編碼。
第18圖係關於本發明之實施形態3之3D圖像解碼裝置之方塊圖。第1視角之圖像601及第2視角之圖像611係經由切換器701而輸入於編碼處理部200之編碼器607b。在此，第2視角之圖像611亦可經由圖框緩衝區621而輸入。藉此，編碼處理部200可令第2視角之圖像611之編碼延遲，直到第1視角之圖像601之編碼完成為止。
編碼器607b係將第1視角及第2視角編碼。又，編碼器607b係將使用於畫面間預測之第1視角及第2視角之圖框予以局部解碼，分別複製到外部記憶體604之第1圖框記憶體605b及第2圖框記憶體606。進一步保持表示圖框位置之第1圖框記憶體管理資訊603d及第2圖框記憶體管理資訊608。然後，編碼器607b係藉由利用第1圖框記憶體管理資訊603d，以參考第1圖框記憶體605b而將第2視角編碼。
速率控制部201係令編碼器607b，以編碼之位元串流以特定比率載入於3D圖像解碼裝置之方式進行編碼。例如調整壓縮率、圖框率及像素數等。藉此，抑制3D圖像解碼裝置發生溢位。
然後，經編碼之第1視角及第2視角係作為多工位元串流101，經由系統編碼器610而輸出。
第19圖係表示關於本發明之實施形態3之3D圖像編碼裝置之效果之圖。
第18圖所示之3D圖像編碼裝置係設想，3D圖像解碼裝置備有第19圖所示之設想大小之基本串流緩衝區而進行編碼。亦即，3D圖像編碼裝置係將從實際上3D圖像解碼裝置所備有的基本串流緩衝區之大小，減算在發生解碼延遲之期間所載入的位元串流之大小而獲得之結果，作為限制值而進行編碼。藉此，即使為發生解碼延遲之期間，仍會確實載入位元串流。
而且，於發生解碼延遲之期間所載入的位元串流之大小，與實施形態1所示之DATA_IN相同，可藉由例如實施形態1之式2獲得。編碼時之限制值可設為設想解碼瞬間完成而決定之規定大小，減算在發生解碼延遲之期間所載入的位元串流之大小而獲得之值。
第20圖係關於本發明之實施形態3之變形例之3D圖像編碼裝置之方塊圖。第20圖所示之3D圖像編碼裝置具備第1編碼器602a及第2編碼器607a之2個編碼器。又，3D圖像編碼裝置具備連接於第1編碼器602a及第2編碼器607a之速率控制部202。
2個編碼器係與第14圖所示之2個編碼器同樣地共有圖框。亦即，第1編碼器602a係藉由將第1視角之圖框編碼後予以局部解碼，而於第1圖框記憶體605a儲存第1視角之圖框。然後，將表示圖框位置之第1圖框記憶體管理資訊603a，複製到第1圖框記憶體管理資訊603b。第2解碼器607a係將第1圖框記憶體管理資訊603b，複製到第1圖框記憶體管理資訊603c。然後，藉由參考第1圖框記憶體管理資訊603c，以參考第1視角之圖框而利用視角間預測將第2視角編碼。
速率控制部202係與第18圖之速率控制部201同樣地進行編碼控制。亦即，速率控制部202係令第1編碼器602a及第2編碼器607a，以編碼之位元串流以特定比率載入於3D圖像解碼裝置之方式進行編碼。然後，由2個編碼器所編碼的位元串流係經由切換器609而輸出。
藉由如此地構成，即使為具備2個編碼器之3D圖像編碼裝置，仍可限制載入於3D圖像解碼裝置之位元串流之大小。進一步藉由共有利用視角間預測之圖像，可有效率地編碼。
而且，與第18圖所示之3D圖像編碼裝置相同，第2視角之圖像611亦可經由圖框緩衝區621而輸入。藉此，編碼處理部200可令第2視角之圖像611之編碼延遲，直到第1視角之圖像601之編碼完成為止。
進一步而言，由第1編碼器602a所編碼的第1視角之位元串流103亦可經由串流緩衝區622而輸出。藉此，第1視角之位元串流103係於第2視角之同一時刻的圖框之編碼完成時序重疊。故，同一時刻之圖框在同一時序重疊。
如以上，實施形態3之3D圖像編碼裝置係利用視角間預測，以在圖像解碼裝置不虧位之方式，將複數個視角編碼。又，即使為具備複數個編碼器的情況，藉由共有用於視角間預測之參考圖像，仍可利用視角間預測而將複數個視角編碼。
(實施形態4)
接著，參考圖式說明關於利用有關本發明之圖像編碼方法及圖像解碼方法之實施形態4。於實施形態4，DTS及PTS之值係以對於各視角可設定不同值為前提。而且，即使DTS及PTS因規格而分別設定為同一值的情況，作為實際上解碼及顯示的時刻，亦可利用實施形態4所示之DTS及PTS。
第21圖係實施形態4之3D圖像解碼裝置之方塊圖。第21圖之3D圖像解碼裝置具備第1編碼器107a及第2解碼器112a，其係作為具有以與3D影像之圖框率相同的速度，將3D影像之單側視角之影像解碼的能力。而且，第1編碼器107a將第1視角解碼，第2解碼器112a將第2視角解碼。由於第2視角係參考第1視角而被編碼，因此第2解碼器112a構成為可參考第1視角之解碼圖像。
說明關於第21圖之3D圖像解碼裝置之動作。已輸入之多工位元串流101係於切換器102，分離為第1視角之位元串流103與第2視角之位元串流104。然後，已分離之各位元串流分別輸入於第1輸入緩衝區105或第2輸入緩衝區106。進一步而言，已輸入之各位元串流係按照DTS而往第1解碼器107a或第2解碼器112a輸入。
於第1解碼器107a及第2解碼器112a，分別將已輸入之第1視角之位元串流103及第2視角之位元串流104解碼。然後，各解碼器係按照PTS而輸出第1視角之解碼圖像114或第2視角之解碼圖像115。各解碼圖像係經由視訊輸出介面116，於3D顯示器117顯示作為3D圖像。
第1解碼器107a及第2解碼器112a係將解碼處理中由圖像間預測所參考的解碼完畢圖框，複製到外部記憶體109上之第1圖框記憶體110a或第2圖框記憶體111。然後，被複製的圖框保持於第1圖框記憶體110a及第2圖框記憶體111，直到不被參考為止。
由於在各圖框記憶體保持有複數個圖框，因此第1解碼器107a及第2解碼器112a係藉由分別保持第1圖框記憶體管理資訊108a及第2圖框記憶體管理資訊113，來管理何時刻之圖框保持於第1圖框記憶體110a或第2圖框記憶體111上之何位置。
在此，第2視角之編碼係採用利用第1視角之圖框進行預測之視角間預測編碼。因此，第2解碼器112a在第2視角之解碼須參考第1視角之解碼圖像。於是，第1解碼器107a係每當圖框解碼結束時，將第1圖框記憶體管理資訊108a作為第1圖框記憶體管理資訊108b而複製到外部記憶體109上。然後，第2解碼器112a係於圖框之解碼開始前，將第1圖框記憶體管理資訊108b複製到內部，並作為第1圖框記憶體管理資訊108c而保持。
第2解碼器112a係根據第1圖框記憶體管理資訊108c，來參考保持於第1圖框記憶體110a之第1視角之所期望圖框之解碼圖像。然後，第2解碼器112a將由包含視角間預測編碼之方式所編碼的第2視角之位元串流104解碼。
而且，第1視角之位元串流103可不參考其他視角而單獨解碼。故，實施形態4之3D圖像解碼裝置係藉由僅令第1解碼器107a動作，令第2解碼器112a不動作，亦可作為2D圖像解碼裝置使用。
又，於第2解碼器112a之第2視角之解碼處理中，檢測到位元串流語法異常等某種異常的情況時，3D圖像解碼裝置亦可向高位系統通知第2解碼器112a的異常。再者，在藉由到達位元串流之隨機存取點(可跳躍播放點)等而可重新開始正常解碼為止的期間，3D圖像解碼裝置亦可僅顯示第1視角之解碼圖像。又，亦可將第1視角之解碼圖像作為第2視角之解碼圖像顯示。藉由該類顯示等，可減輕視聽者的不快感。
又，於第1解碼器107a之第1視角之解碼處理中，檢測到位元串流語法異常等某種異常的情況時，參考第1視角之第2視角亦無法正常解碼。因此，3D圖像解碼裝置向高位系統通知第1解碼器107a的異常亦可。再者，在藉由到達位元串流之隨機存取點(可跳躍播放點)等而可重新開始正常解碼為止的期間，3D圖像解碼裝置持續輸出第1視角及第2視角均可正常解碼之最後圖框亦可。藉由該類輸出等，可減輕視聽者的不快感。
第22圖係表示第21圖之3D圖像解碼裝置之解碼處理中之各視角之PTS及DTS的關係之一例之圖。於第22圖例中，各視角之圖框若依顯示順序，則作為I、B、B及P類型(P類型僅進行單向預測。B類型包含雙向預測)而編碼，若依編碼順序，則作為I、P、B及B類型而編碼。依據視角間預測而從第2視角對第1視角的參考，僅參考之前顯示之第1視角之圖框。又，第1視角及第2視角交替顯示。
於本例中，第1視角之開頭圖框I1首先解碼。然後，第2視角之開頭圖框P1參考第1視角之開頭圖框I1。因此，到第1視角之開頭圖框I1完成解碼為止，無法開始第2視角之開頭圖框P1的解碼。
第21圖之3D圖像解碼裝置係使用與顯示圖框率相同速度之第1解碼器107a。因此，第1視角之開頭圖框I1之解碼需要圖框週期Δt(=1/圖框率)。因此，第2視角之開頭圖框P1之DTS係從第1視角之開頭圖框I1之DTS經Δt後。第1視角之圖框P4係在預測中使用第1視角之圖框I1。因此，於第1視角之圖框I1解碼完成後可開始解碼。
於第21圖之3D圖像解碼裝置，以個別的解碼器實施第1視角與第2視角的解碼。因此，第1視角之圖框P4可與第2視角之圖框P1同時解碼。故，第1視角之圖框P4之DTS係與第2視角之圖框P1之DTS相同。以後，依第1視角與第2視角之圖框B2與P4、B3與B2、P7與B3，然後B5與P7的順序，以Δt的間隔同時開始2個視角之圖框解碼。
接著，說明關於PTS。對於顯示順序而言，解碼順序最晚的是第2視角之B圖框。因此，以可顯示第2視角之B圖框之時刻為基準，決定第1視角及第2視角之圖框之PTS。具體而言，由於1圖框之解碼需要Δt，因此第2視角之圖框B2之PTS在DTS之Δt後。以該時刻為基準，第1視角之開頭圖框I1之PTS在DTS之5Δt/2後，第2視角之開頭圖框P1之PTS在DTS之2Δt後。
第23圖係製作能夠以第21圖之3D圖像解碼裝置解碼之位元串流之3D圖像編碼裝置之一例。第23圖之3D圖像編碼裝置具備第1編碼器602a及第2編碼器607a，其係作為具有以與3D影像之圖框率相同的速度，將3D影像之單側視角之影像編碼的能力。而且，第1編碼器602a將第1視角解碼，第2編碼器607a將第2視角編碼。由於參考第1視角而將第2視角編碼，因此第2編碼器607a構成為可參考第1視角之局部解碼圖像。
用以參考局部解碼圖像之構成係與第21圖所示之3D圖像解碼裝置相同。亦即，第2編碼器607a係根據第1圖框記憶體管理資訊603c，來參考保持於第1圖框記憶體605a之第1視角之所期望圖框之局部解碼圖像。然後，第2編碼器607a將由包含視角間預測編碼之方式所編碼的第2視角之圖像611編碼。
第24圖係表示於第23圖之3D圖像編碼裝置之系統編碼器610，按照第22圖所示之編碼順序，將第1視角與第2視角之圖框交替地賦予DTS及PTS之程序之流程圖。於第23圖之3D圖像編碼裝置，藉由按照第24圖之流程圖賦予DTS及PTS，可賦予第22圖所示之DTS及PTS。藉此，可製作能夠在第21圖之3D圖像解碼裝置不中斷地播放3D影像之位元串流。所製作的位元串流可記錄於光碟片或硬碟而搬運。進一步可經由無線LAN及光纖等通訊手段往遠處傳送。
第25圖係表示第21圖之3D圖像解碼裝置之解碼處理中之各視角之PTS及DTS之關係之一例之圖。除了第1視角及第2視角同時顯示之點以外，與第22圖均共通。
第26圖係表示於第23圖之3D圖像編碼裝置之系統編碼器610，按照第25圖所示之編碼順序，將第1視角與第2視角之圖框交替地賦予DTS及PTS之程序之流程圖。於第23圖之3D圖像編碼裝置，藉由按照第24圖之流程圖賦予DTS及PTS，可賦予第25圖所示之DTS及PTS。藉此，可製作能夠在第21圖之3D圖像解碼裝置不中斷地播放3D影像之位元串流。
第27圖係表示第21圖之3D圖像解碼裝置之第1變形例之圖。解碼第2視角之第2解碼器112b係構成為，可直接參考解碼第1視角之第1解碼器107b之第1圖框記憶體管理資訊108d。藉由該構成，於外部記憶體109上及第2解碼器112b內，不須確保保持第1視角之圖框記憶體管理資訊的區域，可刪減電路面積。
第28圖係表示第21圖之3D圖像解碼裝置之第2變形例之圖。解碼第2視角之第2解碼器112c係構成為，藉由模擬解碼第1視角之第1解碼器107c之第1圖框記憶體管理資訊108a之管理程序，來保持與第1圖框記憶體管理資訊108a一致之第1圖框記憶體管理資訊108e。於第2解碼器112c，管理程序所必需的第1視角之標頭資訊(圖框之編碼類型及時間資訊等)亦可於多工位元串流101製作時，埋入於第2視角之位元串流內。或者，藉由從第28圖之3D圖像解碼裝置之高位系統向第2解碼器112c通知等之手段，將標頭資訊通知第2解碼器112c亦可。
如以上，實施形態4之3D圖像編碼裝置係即使為具備複數個編碼器的情況，藉由共有用於視角間預測之參考圖像，仍可利用視角間預測而將複數個視角編碼。又，實施形態4之3D圖像解碼裝置係即使為具備複數個解碼器的情況，藉由共有用於視角間預測之參考圖像，仍可將利用視角間預測而編碼之複數個視角解碼。
(實施形態5)
參考圖式說明利用關於本發明之圖像編碼方法及圖像解碼方法之實施形態5。於實施形態5，DTS及PTS之值係以對於各視角可設定不同值為前提。而且，即使DTS及PTS因規格而分別設定為同一值的情況，作為實際上解碼及顯示的時刻，亦可利用實施形態5所示之DTS及PTS。
第29圖係實施形態5之3D圖像解碼裝置之方塊圖。第29圖之3D圖像解碼裝置具備解碼器112d，其係作為具有以與3D影像之圖框率之2倍速度，將3D影像之單側視角之影像解碼的能力。解碼器112d將第1視角及第2視角之兩視角解碼。由於第2視角係參考第1視角而被編碼，因此第29圖之3D圖像解碼裝置係構成為在第2視角之解碼中，可參考第1視角之解碼圖像。
說明關於第29圖之3D圖像解碼裝置之動作。已輸入之多工位元串流101輸入於輸入緩衝區901，按照DTS而往解碼器112d輸入。於解碼器112d，將已輸入之多工位元串流101解碼，並按照PTS輸出解碼圖像。切換器903係將輸出的位元串流分離為第1視角之解碼圖像114及第2視角之解碼圖像115。各解碼圖像係經由視訊輸出介面116，於3D顯示器117顯示作為3D圖像。
解碼器112d係於解碼處理中，將由畫面間預測編碼所參考的解碼完畢圖框，複製到外部記憶體109上之第1圖框記憶體110b及第2圖框記憶體111。然後，複製的圖框保持於第1圖框記憶體110b及第2圖框記憶體111，直到不被參考為止。由於在圖框記憶體保持有複數個圖框，因此解碼器112d係保持第1圖框記憶體管理資訊108f及第2圖框記憶體管理資訊113，管理何時刻之圖框保持於第1圖框記憶體110b及第2圖框記憶體111上之何位置。
在此，第2視角之編碼係採用利用第1視角之圖框進行預測之視角間預測編碼。因此，解碼器112d在第2視角之解碼須參考第1視角之解碼圖像。於是，解碼器112d係每當第1視角之圖框解碼結束時，更新第1圖框記憶體管理資訊108f。然後，於第2視角之解碼中，亦保持第1圖框記憶體管理資訊108f。解碼器112d根據第1圖框記憶體管理資訊108f，來參考保持於第1圖框記憶體110b之第1視角之所期望圖框之解碼圖像。然後，解碼器112d將由包含視角間預測編碼之方式所編碼的第2視角之位元串流解碼。
而且，第1視角之位元串流可不參考其他視角而單獨解碼。故，藉由解碼器112d跳過讀取第2視角之位元串流，3D圖像解碼裝置亦可作為2D圖像解碼裝置使用。
又，於解碼器112d之第2視角之解碼處理中，檢測到位元串流語法異常等某種異常的情況時，在藉由到達位元串流之隨機存取點(可跳躍播放點)等而可重新開始正常解碼為止的期間，3D圖像解碼裝置亦可僅顯示第1視角之解碼圖像。又，亦可將第1視角之解碼圖像作為第2視角之解碼圖像顯示。藉由該類顯示等，可減輕視聽者的不快感。
又，於解碼器112d之第1視角之解碼處理中，檢測到位元串流語法異常等某種異常的情況時，參考第1視角之第2視角亦無法正常解碼。因此，3D圖像解碼裝置向高位系統通知解碼器112d的異常，在藉由到達位元串流之隨機存取點(可跳躍播放點)等而可重新開始正常解碼為止的期間，持續輸出第1視角及第2視角均可正常解碼之最後圖框亦可。藉由該類顯示等，可減輕視聽者的不快感。
第30圖係表示第29圖之3D圖像解碼裝置之解碼處理中之各視角之PTS及DTS的關係之一例之圖。於第30圖例中，各視角之圖框若依顯示順序，則作為I、B、B及P類型(P類型僅進行單向預測。B類型包含雙向預測)而編碼，若依編碼順序，則作為I、P、B及B類型而編碼。依據視角間預測而從第2視角對第1視角的參考，僅參考之前顯示之第1視角之圖框。又，第1視角及第2視角交替顯示。
於本例中，第1視角之開頭圖框I1首先解碼。然後，第2視角之開頭圖框P1參考第1視角之開頭圖框I1。因此，到第1視角之開頭圖框I1完成解碼為止，無法開始第2視角之開頭圖框P1的解碼。由於第29圖之3D圖像解碼裝置使用顯示圖框率之加倍速度之解碼器112d，因此第1視角之開頭圖框I1的解碼需要圖框週期Δt/2(Δt=1/圖框率)。
因此，第2視角之開頭圖框P1之DTS係從第1視角之開頭圖框I1之DTS經Δt/2後。第1視角之圖框P4係在預測中使用第1視角之圖框I1，因此原本是於第1視角之圖框I1解碼完成後可開始解碼。然而，於第29圖之3D圖像解碼裝置，由於以1個解碼器實施第1視角與第2視角之解碼，因此無法與第2視角之圖框P1同時解碼。於是，第1視角之圖框P4之DTS係從第2視角之圖框P1之DTS經Δt/2之後。以後，第1視角與第2視角之圖框係以Δt/2之間隔交替地開始解碼。
接著，說明關於PTS。對於顯示順序而言，解碼順序最晚的是第2視角之B圖框。因此，以可顯示第2視角之B圖框之時刻為基準，決定第1視角及第2視角之圖框之PTS。具體而言，由於1圖框之解碼需要Δt/2，因此第2視角之圖框B2之PTS在DTS之Δt/2後。以該時刻為基準，第1視角之開頭圖框I1之PTS在DTS之3Δt/2後，第2視角之開頭圖框P1之PTS在DTS之2Δt後。
第31圖係製作能夠以第29圖之3D圖像解碼裝置解碼之位元串流之3D圖像編碼裝置之一例。第31圖之3D圖像編碼裝置具備編碼器607b，其係作為具有以3D影像之圖框率之加倍速度，將3D影像之單側視角之影像編碼的能力。編碼器607b將第1視角及第2視角編碼。由於第2視角係參考第1視角而將第2視角編碼，因此編碼器607b構成為在第2視角之編碼中，亦可參考第1視角之局部解碼圖像。
第32圖係表示於第31圖之3D圖像編碼裝置之系統編碼器610，按照第30圖所示之編碼順序，將第1視角之圖框與第2視角之圖框交替地賦予DTS及PTS之程序之流程圖。於第31圖之3D圖像編碼裝置，藉由按照第32圖之流程圖賦予DTS及PTS，可賦予第30圖所示之DTS及PTS。藉此，可製作能夠在第29圖之3D圖像解碼裝置不中斷地播放3D影像之位元串流。所製作的位元串流可記錄於光碟片或硬碟而搬運。進一步可經由無線LAN及光纖等通訊手段往遠處傳送。
第33圖係表示第29圖之3D圖像解碼裝置之解碼處理中之各視角之PTS及DTS之關係之一例之圖。除了第1視角及第2視角同時顯示之點以外，與第30圖均共通。
第34圖係表示係表示於第31圖之3D圖像編碼裝置之系統編碼器610，按照第33圖所示之編碼順序，將第1視角與第2視角之圖框交替地賦予DTS及PTS之程序之流程圖。於第31圖之3D圖像編碼裝置，藉由按照第34圖之流程圖賦予DTS及PTS，可賦予第33圖所示之DTS及PTS。藉此，可製作能夠在第29圖之3D圖像解碼裝置不中斷地播放3D影像之位元串流。
如以上，實施形態5之3D圖像編碼裝置可利用視角間預測而將複數個視角編碼。又，實施形態5之3D圖像解碼裝置可將利用視角間預測而編碼之複數個視角解碼。
(實施形態6)
如第22及30圖所示，可知DTS及PTS之賦予方法會依3D圖像解碼裝置之構成(具有等速性能之2解碼器或具有倍速性能之1解碼器)而不同。於是，在實施形態6，說明因應位元串流製作時所設想的3D圖像解碼裝置之構成、與實際的3D圖像解碼裝置之構成之組合，來切換解碼處理之方法。
第35圖係表示於實際的3D圖像解碼裝置具有等速性能之2解碼器的情況下，3D圖像解碼裝置因應位元串流製作時，由3D圖像編碼裝置所設想的3D圖像解碼裝置之構成，來切換處理之程序之流程圖。第36圖係表示因應第35圖所示之程序切換處理之3D圖像解碼裝置之例之圖。
實際的構成與設想的構成不同的情況時，第36圖所示之3D圖像解碼裝置係藉由延遲緩衝區1601，令第2視角之位元串流延後Δt/2，藉由延遲緩衝區1602及延遲緩衝區1603，分別令第1視角及第2視角之顯示延後Δt。藉此，可不中斷地播放3D影像。
第37圖係表示於實際的3D圖像解碼裝置具有倍速性能之1解碼器的情況下，3D圖像解碼裝置因應位元串流製作時，由3D圖像編碼裝置所設想的3D圖像解碼裝置之構成，來切換處理之程序之流程圖。第38圖係表示因應第37圖所示之程序切換處理之3D圖像解碼裝置之例之圖。
實際的構成與設想的構成不同的情況時，第38圖所示之3D圖像解碼裝置係藉由切換器1701，將多工位元串流101分離為第1視角與第2視角之位元串流。然後，藉由延遲緩衝區1702，令第1視角之位元串流延後Δt，藉由延遲緩衝區1704，令第2視角之位元串流延遲Δt/2。其後，第1視角及第2視角之位元串流分別輸入於第1輸入緩衝區1703及第2輸入緩衝區1705，並經由切換器輸入於解碼處理部100。其後的處理係與第29圖所示之3D圖像解碼裝置相同。
藉此，可不中斷地播放3D影像。
如以上，實施形態6之3D圖像解碼裝置係於將利用視角間預測而編碼之複數個視角解碼時，藉由使用緩衝區來調整解碼時刻及顯示時刻。
(其他變形例)
而且，雖已根據上述實施形態說明本發明，但本發明當然不受上述實施形態所限定。如以下的情況亦包含於本發明。
(1)上述各裝置具體而言係由微處理器、ROM(Read Only Memory：唯讀記憶體)、RAM(Random Access Memory：隨機存取記憶體)、硬碟單元、顯示器單元、鍵盤及滑鼠等所構成的電腦系統。於前述RAM或硬碟單元記憶有電腦程式。藉由前述微處理器按照前述電腦程式動作，各裝置達成其功能。在此，電腦程式係為了達成特定功能，組合複數個表示對於電腦之指令之命令碼而構成。
(2)構成上述各裝置之構成要素之一部分或全部亦可由1個系統LSI(Large Scale Integration：大規模積體電路)構成。系統LSI係於1個晶片上，將複數個構成要素予以積體製造之超多功能LSI，具體而言係包含微處理器、ROM、RAM等而構成之電腦系統。於前述RAM記憶有電腦程式。藉由前述微處理器按照前述電腦程式動作，系統LSI達成其功能。
(3)構成上述各裝置之構成要素之一部分或全部亦可由能夠在各裝置拆裝之IC(Integrated Circuit：積體電路)卡或單體的模組構成。前述IC卡或前述模組係由微處理器、ROM、RAM等所構成之電腦系統。前述IC卡或前述模組亦可包含上述超多功能LSI。藉由微處理器按照電腦程式動作，前述IC卡或前述模組達成其功能。該IC卡或該模組亦可具有防竄改性。
(4)本發明亦可為上述所示之方法。又，藉由電腦實現該等方法之電腦程式，亦或由前述電腦程式所組成的數位訊號均可。
又，本發明係電腦可讀取前述電腦程式或前述數位訊號之記錄媒體，記錄於例如軟碟、硬碟、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半導體記憶體等亦可。又，記錄於該等記錄媒體之前述數位訊號亦可。
又，本發明係將前述電腦程式或前述數位訊號，經由電子通訊線路、無線或有線通訊線路、以網際網路為代表之網路或資料廣播等而傳送亦可。
又，本發明係具備微處理器及記憶體之電腦系統，前述記憶體記憶上述電腦程式，前述微處理器按照前述電腦程式而動作亦可。
又，藉由將前述程式或前述數位訊號記錄於前述記錄媒體而移送，或藉由經由前述網路等而移動前述程式或前述數位訊號，以利用獨立的其他電腦系統來實施亦可。
(5)亦可分別組合上述實施形態、上述變形例及其等所示之構成要素。
而且，從複數個視角選擇之第1視角並非基礎視角亦可。即使為第1視角並非基礎視角的情況，仍可藉由本發明獲得同樣的效果。
又，雖以3D圖像解碼裝置及3D圖像編碼裝置的例為中心說明，但本發明不限於3D圖像解碼裝置及3D圖像編碼裝置，可適用於利用視角間預測之圖像解碼裝置及圖像編碼裝置。
 (產業上之可利用性)
若依據本發明之圖像解碼裝置及圖像編碼裝置，可藉由MVC等利用視角間預測之高性能圖像編碼方式，將要求性能的增加抑制在最小限度而進行3D影像之解碼及編碼。故，可供給市場更高品質的3D影像之電影主題等動態影像內容，可使電影市場或家用電器市場活化。因此，本發明之圖像解碼裝置及圖像編碼裝置係於電影產業或家用電器產業具有高度的可利用性。
001．．．3D圖像解碼裝置
100．．．解碼處理部
101．．．多工位元串流
101b、1014e．．．封包
102、609、701、903、913、914、1701．．．切換器
103、104．．．位元串流
105、1703．．．第1輸入緩衝區
106、1705．．．第2輸入緩衝區
107a、107b、107c．．．第1解碼器
108a、108b、108c、108d、108e、108f、108g、603a、603b、603c、603d．．．第1圖框記憶體管理資訊
109、604．．．外部記憶體
110a、110b、110c、605a、605b．．．第1圖框記憶體
111、121、606．．．第2圖框記憶體
112a、112b、112c．．．第2解碼器
112d、112e．．．解碼器
113、120、608．．．第2圖框記憶體管理資訊
114、115．．．解碼圖像
116．．．視訊輸出介面
117．．．3D顯示器
200．．．編碼處理部
201、202．．．速率控制部
601、611．．．圖像
602a．．．第1編碼器
607a．．．第2編碼器
607b．．．編碼器
610．．．系統編碼器
621．．．圖框緩衝區
622．．．串流緩衝區
900．．．緩衝區記憶體
901．．．輸入緩衝區
902．．．STD緩衝區
902a、9021a、9022a．．．傳輸緩衝區(TB)
902b、9021b、9022b．．．多工緩衝區(MB)
902c、9021c、9022c．．．基本串流緩衝區(EB)
902d、9022d．．．補償緩衝區
904、1601、1602、1603、1702、1704．．．延遲緩衝區
1801．．．光碟片
1802A、1802B、1802C、1803A、1803B、1803C．．．串流
1804．．．2D播放裝置
1805．．．3D播放裝置
1806．．．立體眼鏡
第1圖係關於本發明之實施形態1之3D圖像解碼裝置之方塊圖。
第2圖係表示本發明之實施形態1之各視角實際的解碼時刻及顯示時刻例之圖。
第3圖係表示本發明之實施形態1之各視角實際的解碼時刻之決定方法之流程圖。
第4圖係表示第3圖所示各視角實際的解碼時刻之決定方法之變形例之流程圖。
第5圖係關於本發明之實施形態1之3D圖像解碼裝置之補償緩衝區之說明圖。
第6圖係表示關於本發明之實施形態1之補償緩衝區之效果之圖。
第7圖係表示第5圖所示之補償緩衝區之配置變形例之圖。
第8圖係表示第5圖所示之補償緩衝區之配置變形例之圖。
第9圖係說明具有2個以上視角的情況下之動作之圖。
第10圖係說明高速載入的情況下之動作之圖。
第11圖係表示關於本發明之實施形態1之構成要素之圖。
第12圖係關於本發明之實施形態1之3D圖像解碼裝置之變形例之方塊圖。
第13圖係表示本發明之實施形態1之變形例之各視角實際的解碼時刻及顯示時刻例之圖。
第14圖係關於本發明之實施形態2之3D圖像解碼裝置之方塊圖。
第15圖係表示本發明之實施形態2之各視角實際的解碼時刻及顯示時刻例之圖。
第16圖係表示第15圖所示各視角實際的解碼時刻及顯示時刻之變形例之圖。
第17圖係表示複數個視角之參考關係例之圖。
第18圖係關於本發明之實施形態3之3D圖像編碼裝置之方塊圖。
第19圖係關於本發明之實施形態3之3D圖像編碼裝置之效果之圖。
第20圖係關於本發明之實施形態3之3D圖像編碼裝置之變形例之方塊圖。
第21圖係關於本發明之實施形態4之3D圖像解碼裝置之方塊圖。
第22圖係表示能夠以具備2個解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第23圖係關於本發明之實施形態4之3D圖像編碼裝置之方塊圖。
第24圖係表示第22圖所示之PTS及DTS之決定方法之一例之流程圖。
第25圖係表示能夠以具備2個解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第26圖係表示第25圖所示之PTS及DTS之決定方法之一例之流程圖。
第27圖係關於本發明之實施形態4之3D圖像解碼裝置之變形例之方塊圖。
第28圖係關於本發明之實施形態4之3D圖像解碼裝置之變形例之方塊圖。
第29圖係關於本發明之實施形態5之3D圖像解碼裝置之方塊圖。
第30圖係表示能夠以具備加倍性能解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第31圖係關於本發明之實施形態5之3D圖像編碼裝置之方塊圖。
第32圖係表示第30圖所示之PTS及DTS之決定方法之一例之流程圖。
第33圖係表示能夠以具備加倍性能解碼器之3D圖像解碼裝置播放之PTS及DTS之一例之圖。
第34圖係表示第33圖所示之PTS及DTS之決定方法之一例之流程圖。
第35圖係關於本發明之實施形態6之3D圖像解碼裝置之解碼處理切換判斷流程圖。
第36圖係關於本發明之實施形態6之3D圖像解碼裝置之方塊圖。
第37圖係關於本發明之實施形態6之3D圖像解碼裝置之解碼處理切換判斷流程圖。
第38圖係關於本發明之實施形態6之3D圖像解碼裝置之方塊圖。
第39圖係以往的3D影像播放裝置之說明圖。
第40圖係表示MVC之2視點圖像編碼之預測參考例之圖。
第41圖係表示3D圖像播放時之緩衝區管理之圖。
第42圖係表示3D圖像播放時之緩衝區管理之問題之圖。
100‧‧‧解碼處理部
900‧‧‧緩衝區記憶體

Claims (13)

  1. 一種圖像解碼裝置，係將位元串流解碼者，該位元串流已由包含視角間預測之方法編碼，於各視角具有包含圖之複數個視角，且前述圖像解碼裝置具備：解碼處理部，係將經編碼的第1視角之位元串流、及參考前述第1視角而編碼的第2視角之位元串流解碼者；及緩衝區記憶體，係配置於前述解碼處理部之前段，以保持輸入於前述解碼處理部之位元串流者；前述解碼處理部係於前述第1視角及前述第2視角被賦予之解碼時刻為同一時刻，並且在前述已編碼之第1視角之位元串流、及前述已編碼之第2視角之位元串流之各個位元串流、或者該等位元串流之多工資料之標頭資訊包含有前述同一個解碼時刻的情況下，在對前述第2視角之圖之解碼時刻，加算到前述第1視角之圖解碼完成為止所需的延遲時間而獲得的時刻，將前述第2視角的圖解碼，將在前述各視角被賦予之解碼時刻從前述緩衝區記憶體抽出前述各視角之位元串流為前提所決定之規定大小設為D，將前述複數個視角之位元串流所含視角數設為n，將前述複數個視角所含各圖之解碼所需時間之最大值設為T，及將前述各視角之位元串流資料載入前述緩衝區記憶體之預定之資料載入率設為R的情況下，前述緩衝區記憶體之大小係D+R×T×(n-1)以上之大 小。
  2. 如申請專利範圍第1項之圖像解碼裝置，其係於前述緩衝區記憶體，按照前述位元串流被賦予之前述預定之資料載入率載入前述位元串流；前述解碼處理部係於將前述複數個視角所含各視角之位元串流解碼時，從前述緩衝區記憶體抽出要解碼的前述各視角之位元串流；前述緩衝區記憶體之大小係於已在前述解碼處理部加算前述延遲時間而獲得的時刻，抽出前述第2視角之位元串流的情況下，於前述解碼處理部要抽出前述各視角之位元串流時，前述緩衝區記憶體為不虧位之最小大小以上。
  3. 如申請專利範圍第1項之圖像解碼裝置，其中前述解碼處理部逐次將前述複數個視角之位元串流解碼。
  4. 一種圖像解碼裝置，係將位元串流解碼者，該位元串流已由包含視角間預測之方法編碼，於各視角具有包含圖之複數個視角，且前述圖像解碼裝置具備：解碼處理部，係將經編碼的第1視角之位元串流、及參考前述第1視角而編碼的第2視角之位元串流解碼者；及緩衝區記憶體，係配置於前述解碼處理部之前段，以保持輸入於前述解碼處理部之位元串流者，且前述解碼處理部將前述複數個視角之位元串流並行解碼； 前述解碼處理部係於前述第1視角及前述第2視角被賦予之解碼時刻為同一時刻，並且在前述已編碼之第1視角之位元串流、及前述已編碼之第2視角之位元串流之各個位元串流、或者該等位元串流之多工資料之標頭資訊包含有前述同一個解碼時刻的情況下，在對前述第2視角之圖之解碼時刻，加算到前述第1視角之圖解碼完成為止所需延遲時間而獲得的時刻，將前述第2視角的圖解碼，將在前述各視角被賦予之解碼時刻從前述緩衝區記憶體抽出前述各視角之位元串流為前提所決定之規定大小設為D，將由視角間預測所參考的視角之階層之最大值設為m，將前述複數個視角所含各圖之解碼所需時間之最大值設為T，及將前述各視角之位元串流資料載入前述緩衝區記憶體之預定之資料載入率設為R的情況下，前述緩衝區記憶體之大小係D+R×T×(m-1)以上之大小。
  5. 如申請專利範圍第2項之圖像解碼裝置，其中前述解碼處理部進一步具備：外部記憶體，係用以記憶前述複數個視角所含的圖者；第1解碼器，係將前述第1視角之位元串流解碼，令使用於視角間預測的圖記憶於前述外部記憶體者；及第2解碼器，係參考管理資訊，從前述外部記憶體取得使用於視角間預測的圖，藉此將前述第2視角之位 元串流解碼者，且前述管理資訊係表示前述圖被保持之前述外部記憶體內的位置。
  6. 如申請專利範圍第1項之圖像解碼裝置，其中於前述緩衝區記憶體，有因前述延遲時間而未載入之位元串流的情況下，較前述位元串流被賦予之資料載入率更高速地載入前述位元串流。
  7. 如申請專利範圍第6項之圖像解碼裝置，其中前述解碼處理部進一步具備：外部記憶體，係用以記憶前述複數個視角所含的圖者；第1解碼器，係將前述第1視角之位元串流解碼，令使用於視角間預測的圖記憶於前述外部記憶體者；及第2解碼器，係參考管理資訊，從前述外部記憶體取得使用於視角間預測的圖，藉此將前述第2視角之位元串流解碼者，且前述管理資訊係表示前述圖被保持之前述外部記憶體內的位置。
  8. 一種圖像編碼裝置，係以包含視角間預測之方法，將各視角包含圖之複數個視角編碼者，且具備：編碼處理部，係將前述複數個視角編碼，對前述複數個視角賦予同一解碼時刻，且將在已編碼之前述複數個視角之複數個位元串流之各個位元串流、或者前述複數個位元串流之多工資料之標頭資訊，包含前述同一個解碼時刻的前述複數個位元串流輸出；及速率控制部，係依據用以載入經編碼的前述複數個 視角之圖像解碼裝置之緩衝區記憶體之設想大小，使編碼處理部進行編碼，前述速率控制部是在將於前述解碼時刻解碼瞬間完成為前提所決定之規定大小設為D，將已編碼之前述複數個視角之數目設為n，將前述複數個視角所含各圖之解碼所需時間之最大值設為T，及將載入經編碼的前述複數個視角時之資料載入率設為R之情況下，依據D-R×T×(n-1)以下之前述設想大小，使編碼處理部進行編碼。
  9. 如申請專利範圍第8項之圖像編碼裝置，其中前述編碼處理部進一步具備：外部記憶體，係用以記憶前述複數個視角所含的圖者；第1編碼器，係將前述複數個視角所含之第1視角編碼，令使用於視角間預測的圖記憶於外部記憶體者；及第2編碼器，係參考管理資訊，從前述外部記憶體取得使用於視角間預測之前述第1視角的圖，藉此使用視角間預測而將前述複數個視角所含之第2視角編碼者，前述管理資訊係表示前述圖被保持之前述外部記憶體內的位置。
  10. 一種圖像解碼方法，係將位元串流解碼者，該位元串流由包含視角間預測之方法編碼，於各視角具有包含圖之複數個視角，且前述圖像解碼方法包含：解碼處理步驟，係將經編碼的第1視角之位元串 流、及參考前述第1視角而編碼的第2視角之位元串流解碼者；及資料保持步驟，係於前述解碼處理步驟前，保持輸入於解碼處理步驟之位元串流者；在前述解碼處理步驟，於前述第1視角及前述第2視角被賦予之解碼時刻為同一時刻，並且在前述已編碼之第1視角之位元串流、及前述已編碼之第2視角之位元串流之分別之位元串流的各個位元串流、或者該等位元串流之多工資料之標頭資訊包含有前述同一個解碼時刻的情況下，在對前述第2視角之圖被賦予之解碼時刻，加算到前述第1視角之圖解碼完成為止所需延遲時間而獲得的時刻，將前述第2視角的圖解碼，前述資料保持步驟中，將在前述各視角被賦予之解碼時刻從緩衝區記憶體抽出前述各視角之位元串流為前提所決定之規定大小設為D，將前述複數個視角之位元串流所含視角數設為n，將前述複數個視角所含各圖之解碼所需時間之最大值設為T，及將前述各視角之位元串流載入前述緩衝區記憶體之預定之資料載入率設為R的情況下，在大小為D+R×T×(n-1)以上之前述緩衝區記憶體保持前述位元串流。
  11. 一種圖像編碼方法，係以包含視角間預測之方法，將各視角包含圖之複數個視角編碼者，包含：編碼處理步驟，係將前述複數個視角編碼，對前述複數個視角賦予同一解碼時刻，且將在已編碼之前述複 數個視角之複數個位元串流之各個位元串流、或者前述複數個位元串流之多工資料之標頭資訊，包含前述同一個解碼時刻的前述複數個位元串流輸出；及速率控制步驟，係依據用以載入經編碼的前述複數個視角之圖像解碼裝置之緩衝區記憶體之設想大小，使於編碼處理步驟進行編碼，前述速率控制步驟是將在前述解碼時刻解碼瞬間完成為前提所決定之規定大小設為D，將已編碼之前述複數個視角之數目設為n，將前述複數個視角所含各圖之解碼所需時間之最大值設為T，及將載入經編碼的前述複數個視角時之資料載入率設為R之情況下，依據D-R×T×(n-1)以下之前述設想大小，使於編碼處理步驟進行編碼。
  12. 一種圖像解碼程式產品，係令電腦執行如申請專利範圍第10項之圖像解碼方法所包含的步驟者。
  13. 一種圖像編碼程式產品，係令電腦執行如申請專利範圍第11項之圖像編碼方法所包含的步驟者。
TW098131359A 2008-09-18 2009-09-17 Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program product TWI514856B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US9794008P 2008-09-18 2008-09-18
JP2009077415 2009-03-26

Publications (2)

Publication Number Publication Date
TW201018248A TW201018248A (en) 2010-05-01
TWI514856B true TWI514856B (zh) 2015-12-21

Family

ID=42039269

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098131359A TWI514856B (zh) 2008-09-18 2009-09-17 Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program product

Country Status (7)

Country Link
US (1) US8885709B2 (zh)
EP (1) EP2326092A4 (zh)
JP (1) JP5568465B2 (zh)
KR (1) KR101609890B1 (zh)
CN (1) CN101861735B (zh)
TW (1) TWI514856B (zh)
WO (1) WO2010032419A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080948A1 (en) * 2009-10-05 2011-04-07 Xuemin Chen Method and system for 3d video decoding using a tier system framework
US8731053B2 (en) * 2009-11-18 2014-05-20 Tektronix, Inc. Method of multiplexing H.264 elementary streams without timing information coded
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US20110310956A1 (en) * 2010-06-22 2011-12-22 Jian-Liang Lin Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof
CN103081465B (zh) * 2010-08-18 2016-05-18 松下电器产业株式会社 3d编码装置
WO2012042884A1 (ja) 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
CN107071429B (zh) 2010-09-30 2019-12-10 太阳专利托管公司 解码方法及解码装置
KR101525713B1 (ko) * 2010-11-15 2015-06-03 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
US8548263B2 (en) 2011-01-19 2013-10-01 Microsoft Corporation Delayed image decoding
US8484391B2 (en) * 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
CN104185993B (zh) * 2012-03-30 2019-02-12 索尼公司 图像处理设备和方法以及记录介质
JP6046923B2 (ja) * 2012-06-07 2016-12-21 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
US10021388B2 (en) * 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US9369711B2 (en) 2013-01-07 2016-06-14 Qualcomm Incorporated Conditional signaling of picture order count timing information for video timing in video coding
US20140211843A1 (en) * 2013-01-31 2014-07-31 Kabushiki Kaisha Toshiba Moving image encoding device and moving image encoding method
KR102218735B1 (ko) * 2014-01-21 2021-02-23 삼성전자주식회사 불휘발성 메모리 장치를 포함하는 메모리 시스템 및 그것의 소거 방법
US10298931B2 (en) * 2014-09-25 2019-05-21 Microsoft Technology Licensing, Llc Coupling sample metadata with media samples
JP6649212B2 (ja) * 2016-09-06 2020-02-19 株式会社東芝 符号化装置、復号装置、および画像処理システム
US10944971B1 (en) * 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
US10567703B2 (en) * 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation
CN113574568A (zh) * 2019-03-26 2021-10-29 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028632A (en) * 1996-07-04 2000-02-22 Matsushita Electric Industrial Co., Ltd. Management of multiple buffers and video decoders in progressive digital video decoder
US20020080875A1 (en) * 1997-10-03 2002-06-27 Katsumi Tahara Coded stream splicing device and method, and coded stream generating device and method
US20040028142A1 (en) * 2002-08-08 2004-02-12 Kim Eung Tae Video decoding system
US20040184546A1 (en) * 2002-11-08 2004-09-23 Haskell Barin Geoffry Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US20050152400A1 (en) * 2002-04-26 2005-07-14 Sony Corporation Encoding device and method, decoding device and method, edition device and method, recording medium, and program
US20080089428A1 (en) * 2006-10-13 2008-04-17 Victor Company Of Japan, Ltd. Method and apparatus for encoding and decoding multi-view video signal, and related computer programs

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191461A (ja) * 1995-01-10 1996-07-23 Canon Inc 画像符号化装置および画像復号装置
EP0888018B1 (en) 1996-02-28 2006-06-07 Matsushita Electric Industrial Co., Ltd. Optical disk having plural streams of digital video data recorded thereon in interleaved manner, and apparatuses and methods for recording on, and reproducing from, the optical disk
JP3642550B2 (ja) * 1998-03-12 2005-04-27 株式会社日立国際電気 映像信号伝送方法及びその装置
CN1708991B (zh) * 2002-11-08 2010-08-18 苹果公司 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置
ATE557541T1 (de) * 2004-08-17 2012-05-15 Panasonic Corp Bildcodierungseinrichtung und -verfahren
EP1798981A4 (en) * 2004-10-07 2011-03-16 Nippon Telegraph & Telephone VIDEO CODING METHOD AND DEVICE, VIDEO CODING METHOD AND DEVICE, PROGRAM THEREFOR AND RECORDING MEDIA CONTAINING THE PROGRAMS
JP2007180982A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像復号装置、画像復号方法、及び画像復号プログラム
JP2008034892A (ja) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置
JP2008034893A (ja) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像復号装置
AU2007311476C1 (en) * 2006-10-16 2013-01-17 Nokia Technologies Oy System and method for implementing efficient decoded buffer management in multi-view video coding
CN101627634B (zh) 2006-10-16 2014-01-01 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
US20110149049A1 (en) * 2009-02-27 2011-06-23 Taiji Sasaki Recording medium, reproduction device, and integrated circuit
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028632A (en) * 1996-07-04 2000-02-22 Matsushita Electric Industrial Co., Ltd. Management of multiple buffers and video decoders in progressive digital video decoder
US20020080875A1 (en) * 1997-10-03 2002-06-27 Katsumi Tahara Coded stream splicing device and method, and coded stream generating device and method
US20050152400A1 (en) * 2002-04-26 2005-07-14 Sony Corporation Encoding device and method, decoding device and method, edition device and method, recording medium, and program
US20040028142A1 (en) * 2002-08-08 2004-02-12 Kim Eung Tae Video decoding system
US20040184546A1 (en) * 2002-11-08 2004-09-23 Haskell Barin Geoffry Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US20080089428A1 (en) * 2006-10-13 2008-04-17 Victor Company Of Japan, Ltd. Method and apparatus for encoding and decoding multi-view video signal, and related computer programs

Also Published As

Publication number Publication date
TW201018248A (en) 2010-05-01
KR20110068946A (ko) 2011-06-22
JPWO2010032419A1 (ja) 2012-02-02
US8885709B2 (en) 2014-11-11
US20100272174A1 (en) 2010-10-28
EP2326092A1 (en) 2011-05-25
WO2010032419A1 (ja) 2010-03-25
CN101861735A (zh) 2010-10-13
JP5568465B2 (ja) 2014-08-06
CN101861735B (zh) 2013-08-21
EP2326092A4 (en) 2012-11-21
KR101609890B1 (ko) 2016-04-06

Similar Documents

Publication Publication Date Title
TWI514856B (zh) Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program product
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
RU2653299C2 (ru) Способ и устройство для кодирования и декодирования видеоданных
JP4769717B2 (ja) 画像復号化方法
JP4311570B2 (ja) 再生装置、ビデオ復号装置および同期再生方法
JP4823349B2 (ja) 三次元映像復号装置及び三次元映像復号方法
JP6648783B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
TW201946473A (zh) 於分層視訊檔案格式中之樣本條目及操作點發訊設計
TWI801883B (zh) 視訊編碼器、視訊解碼器、用於編碼與解碼之方法及用以實現進階視訊寫碼概念之視訊資料串流
WO2010001609A1 (ja) 符号化ストリーム再生装置及び符号化ストリーム再生方法
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
EP2642764B1 (en) Transcoding a video stream to facilitate accurate display
US20080159636A1 (en) Encoding apparatus and encoding method
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
TW202130187A (zh) 用於虛擬參考解碼器和輸出層集的視頻資料流、視頻編碼器、裝置及方法
JP2008035294A (ja) 画像データ記録装置及び画像データ符号化装置
JP2010252151A (ja) 再生装置、及び同期再生方法
JP5343792B2 (ja) 画像符号化装置、画像符号化方法およびそのプログラム
WO2020184673A1 (ja) 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
JP2010206463A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JP2009232370A (ja) 動画像復号装置
JP2006311589A (ja) 動画像復号化方法及び装置
JP2010206465A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JP2010206464A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JP2006311135A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees